DE102014107155B4

DE102014107155B4 - Verbessertes Frontbordstein-Visualisierungssystem

Info

Publication number: DE102014107155B4
Application number: DE102014107155.7A
Authority: DE
Inventors: Wang Jinsong; Wende Zhang; Kent S. Lybecker; Jeffrey S. Piasecki; Bakhtiar Litkouhi; Ryan M. Frakes
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2013-05-23
Filing date: 2014-05-21
Publication date: 2021-01-28
Anticipated expiration: 2034-05-22
Also published as: DE102014107155A1; CN104210424B; US10093247B2; US20140347485A1; CN104210424A

Abstract

System zum Bereitstellen verbesserter Bilder eines Bereichs in Front eines Fahrzeugs, wobei das System umfasst:- eine erste Kamera, die auf der linken Frontseite des Fahrzeugs montiert ist;- eine zweite Kamera, die auf der rechten Frontseite des Fahrzeugs montiert ist;- ein Bildakquisitionsmodul in Kommunikation mit der ersten und der zweiten Kamera, wobei das Bildakquisitionsmodul unbearbeitete Bilder von den Kameras empfängt;- einen Prozessor, der ein Speichermodul einschließt, wobei der Prozessor konfiguriert ist, um zu bestimmen, ob eine Frontbordstein-Visualisierungsanzeige basierend auf einem erfassten frontalen Einparkmanöver zu aktivieren ist, wobei der Prozessor weiterhin konfiguriert ist, um zu bestimmen, welche Bilder in der Frontbordstein-Visualisierungsanzeige einzuschließen sind, und um die Bilder, die verbesserte Bilder synthetisiert von den unbearbeiteten Bildern der Kameras einschließen, bereitzustellen; und- eine Anzeigeeinheit in einem Cockpitbereich des Fahrzeugs zum Anzeigen der Frontbordstein-Visualisierungsanzeige von dem Prozessor zum Anschauen durch einen Fahrer des Fahrzeugs.

Description

Querverweis auf verwandte Anmeldungen
Diese Anmeldung beansprucht den Vorteil des Prioritätsdatums U.S. Provisional Patent Application Seriennr. 61/826,898, mit dem Titel „Verbessertes Frontbordstein-Visualisierungssystem“, die am 23. Mai 2013 eingereicht wurde.
Hintergrund der Erfindung
Gebiet der Erfindung
Diese Erfindung betrifft im Allgemeinen die Darstellung von verbesserten Bildern von Bordsteinen und anderen Strukturen in Front vor einem Fahrzeug und insbesondere ein System und ein Verfahren zum Bestimmen, wann ein Bordstein oder eine andere Struktur in der Nähe der Front eines Fahrzeugs vorhanden ist, zum Bestimmen, ob oder ob nicht Bilder des Bordsteins oder des Objekts auf einem Cockpitanzeigesichtgerät, basierend auf einer Fahrzeugsituation gezeigt werden sollen, unter Bestimmen welches von unterschiedlichen Bildarten darzustellen ist und unter Konstruieren und Darstellen der Bilder.
Beschreibung der relevanten Technik
Fahrzeuge, die mit Frontsichtkameras ausgestattet sind, werden zunehmend in jüngster Zeit üblich. Bilder von Frontsichtkameras werden für eine Vielfalt von Anwendungen verwendet, einschließlich eines Fahrspur- und Kollisionsassistenten. In diesen Anwendungen werden die Kamerabilder dem Fahrzeugfahrer nicht gezeigt, sondern die Bilder werden eher durch einen Fahrzeugcomputer unter Verwendung von Bildverarbeitungstechniken analysiert. Fahrspurgrenzen und potentielle Hindernisse werden von den Bildern erfasst und Warnungen werden an den Fahrer, falls erforderlich, ausgegeben.
Selbst als das Auftreten von neuen Technologien kompakte, zuverlässige und erschwingliche digitale Kameras zur Realität werden ließen, sucht weiterhin ein uraltes Problem die Fahrer heim. Dieses Problem ist das Unvermögen der Fahrer genau die Position der Front des Fahrzeugs relativ zu einem Hindernis, wie einem Bordstein beim Einparken zu beurteilen. Wegen der inhärenten Unfähigkeit eines Fahrers einen Bordstein zu sehen, wenn er eine Parklücke ansteuert, aufgrund der Behinderung durch die Front des Fahrzeugs, ist der Fahrer gezwungen zu schätzen, wie weit er vorwärts stoßen kann - hoffentlich ohne an den Bordstein anzustoßen. Diese Beurteilung kann schwierig sein, da sie von früheren Erfahrungen, peripheren visuellen Hinweisen und anderen indirekten Informationen abhängt. Wenn der Fahrer den Frontabstand nicht korrekt beurteilt, kann das Fahrzeug nicht weit genug in eine Parklücke eingefahren werden oder schlimmer, es kann die Front des Fahrzeugs an den Bordstein unter Verursachen einer Beschädigung des Fahrzeugs stoßen.
Während eines Einparkmanövers konzentriert sich gewöhnlich der Fahrer auf viele Facetten des einparkenden Fahrzeugs und kann nicht daran denken, manuell ein Frontbordstein-Visualisierungssichtgerät einzuschalten. Wenn jedoch ein Frontbordstein-Visualisierungssystem automatisch die am besten geeigneten frontalen Bilder basierend auf dem Kontext des Einparkmanövers anzeigt, würden viele Fahrer diese visuelle Information als hilfreich empfinden - insbesondere wenn das System nicht nur die eine oder andere Ansicht auswählt, welche die beste Assistenz für den Fahrer bereitstellt, sondern auch verbesserte Ansichten mit Korrekturen der visuellen Verzerrungen erzeugt, welche bei Weitwinkeloptikbildern inhärent vorhanden sind. DE 10 2011 014 699 A1 beschreibt ein Verfahren zum Betrieb eines Fahrassistenzsystems zum Schutz eines Kraftfahrzeuges vor Beschädigungen. DE 10 2012 018 471 A1 beschreibt ein Verfahren zur Erkennung einer Begrenzung eines Fahrbahnrandes für ein Fahrzeug.
Es gibt einen Bedarf für ein Frontansicht-Einparkassistenzsystem, welches bevorzugt die verfügbaren Bilder von Bordsteinen und anderen Strukturen in Front von Fahrzeugen nutzt und Fahrer mit optimierten Bildern versorgt, die dem Fahrer ermöglichen, präzise die Front des Fahrzeugs relativ zu dem Bordstein oder anderen frontalen Objekten zu positionieren.
Zusammenfassung der Erfindung
Entsprechend den Lehren der vorliegenden Erfindung werden ein System mit den Merkmalen des Anspruchs 1 offenbart zum Bestimmen, wann frontale Bordsteinansichtsbilder einem Fahrer eines Fahrzeugs anzuzeigen sind und welche Bilderarten anzuzeigen ist. Eine Vielfalt von Faktoren - wie die Fahrzeuggeschwindigkeit, GPS-Positionsdaten, die Existenz eines Bordsteins in Vorwärtsansichtsbildern und die Fahrhistorie des Fahrzeugs - werden als potentielle Trigger für die Bordsteinansichtsanzeige ausgewertet, was für Situationen beabsichtigt ist, in denen der Fahrer das Fahrzeug in eine Parklücke einfährt, welche in Front durch einen Bordstein oder eine andere Struktur begrenzt ist. Wenn eine Vorwärts-Borsteinansicht-Anzeige getriggert wird, wird eine zweite Auswertung durchgeführt, um zu bestimmen, welches Bild oder welche Bilder anzuzeigen sind, welche die beste Ansicht der Fahrzeugposition relativ zum Bordstein zeigen. Die ausgewählten Bilder werden digital synthetisiert oder verbessert und auf einem konsolenmontierten oder auf einem Armaturenbrett-Gerät angezeigt.
Zusätzliche Merkmale der vorliegenden Erfindung werden von der nachfolgenden Beschreibung und den anhängenden Ansprüchen in Verbindung mit den begleitenden Zeichnungen sichtbar.
Figurenliste

1 ist eine Draufsicht auf ein Fahrzeug einschließlich Frontalkameras, welche für ein Bordsteinvisualisieren verwendet werden können;
2 ist eine Seitenansichtsdarstellung des Fahrzeugs der 1, die weitere Details der Kameraanordnung zeigt;
3 ist ein schematisches Diagramm eines Systems zum automatischen und verbesserten Bordsteinvisualisieren;
4 ist ein Blockdiagramm eines Systems, das eine erste Ausführungsform eines verbesserten Bordstein-Visualisierungssystems ist;
5 ist ein Blockdiagramm eines Systems, das eine zweite Ausführungsform eines verbesserten Bordstein-Visualisierungssystems ist;
6 ist ein Blockdiagramm eines Systems, das eine dritte Ausführungsform eines verbesserten Bordstein-Visualisierungssystems ist;
7 ist ein Blockdiagramm eines Systems der 6, das zeigt, wie das Lernmodul arbeitet;
8 ist ein Flussdiagramm eines Verfahrens zum Bereitstellen eines verbesserten Bordsteinvisualisierens in einem Fahrzeug;
9 ist eine Darstellung eines Anzeigesichtgeräts, das in 3 gezeigt wird, das ein Beispiel eines Anzeigemodus oder Anordnungen von Ansichten auf einem Bildschirm des Anzeigesichtgeräts zeigt;
10 ist eine Darstellung, wie Fahrzeugkarosserieteile in dem Stoßdämpfer/Frontblendenbereich einen künstlichen Überstandseffekt in einer virtuellen von oben nach unten Ansicht erzeugen können;
11 ist eine Darstellung einer virtuellen von oben nach unten Ansicht, in welcher der Überstandseffekt, der in 10 gezeigt wird, sich künstlich nach vorn erstreckt als ein Ergebnis einer Kamera/Fahrzeuggeometrie und einer Bildentzerrung, die eine Okklusionsregion erzeugt;
12 ist eine Darstellung einer virtuellen von oben nach unten Ansicht, in welcher die Okklusionsregion durch Bildmanipulation restrukturiert wurde;
13 ist ein Flussdiagramm eines Verfahrens zum Entfernen künstlicher Fahrzeugkarosserieteil-Erscheinungen in einer virtuellen von oben nach unten Ansicht, die von Fahrzeugfrontkamerabildern konstruiert wird;
14 ist eine Darstellung einer virtuellen von oben nach unten Ansicht, in der bestimmte Abschnitte der Ansicht eine niedrige Auflösung und/oder ein Bildrauschen zeigen;
15 ist ein Flussdiagramm eines Verfahrens zum Entfernen der niedrigen Auflösung und des Bildrauschens in Kantenregionen einer virtuellen von oben nach unten Ansicht, die von den Fahrzeugfrontalkamerabildern konstruiert wird;
16A und 16B sind Darstellungen von virtuellen von oben nach unten Ansichten von der linken Frontkamera beziehungsweise der rechten Frontkamera;
17 ist eine Darstellung, wie einige Teile der virtuellen von oben nach unten Ansicht erscheinen können als haben sie ein „Doppelbild“, wenn linke und rechte Kamerabilder fusioniert werden;
18 ist ein Flussdiagramm eines ersten Verfahrens zum Entfernen des Doppelbildeffekts für oberirdische Hindernisse in einer virtuellen von oben nach unten Ansicht, die von den Fahrzeugfrontalkamerabildern konstruiert wird;
19 ist ein Flussdiagramm eines zweiten Verfahrens zum Eliminieren des Doppelbildeffekts für oberirdische Hindernisse in einer virtuellen von oben nach unten Ansicht, die von Fahrzeugfrontalkamerabildern erzeugt wird;
20 ist ein Flussdiagramm eines Verfahrens zum Erzeugen einer verbesserten virtuellen von oben nach unten Ansicht, die von Fahrzeugfrontalkamerabildern erzeugt wird;
21 ist eine Darstellung einer perspektivischen Ansicht vor einem Fahrzeug, welche Verzerrungen einschließt, die inhärent in Bildern von Weitwinkeloptiken sind, die unter Verwendung traditioneller Bildverzerrungsverfahren durchgeführt wurden;
22 ist ein Diagramm eines Kamerabildoberflächenmodells, das verwendet werden kann, um die Verzerrungen, die in 21 zu sehen sind, zu korrigieren;
23 ist eine Darstellung einer perspektivischen Ansicht vor einem Fahrzeug, in der die Verzerrungen, die in 21 zu sehen sind, korrigiert wurden durch Anwendung des neuen virtuellen Bildoberflächenmodells der 22 und anderer Verarbeitungstechniken; und
24 ist ein Flussdiagramm eines Verfahrens zum Erzeugen einer verbesserten perspektivischen Ansicht, die von Fahrzeugfrontalkamerabildern konstruiert sind unter Verwendung des Kamerabildoberflächenmodells der 22.

Detaillierte Beschreibung der Ausführungsformen
Die nachfolgende Erörterung der Ausführungsformen der Erfindung, die auf ein System und ein Verfahren zum Bereitstellen von verbesserten Frontbordstein-Ansichtbildern gerichtet sind, ist nur beispielhafter Natur und soll in keiner Weise die Erfindung oder ihre Anwendungen oder ihre Verwendungen begrenzen. Die unten beschriebene Erfindung hat zum Beispiel eine besondere Anwendung für eine Frontbordsteinansicht zum Abbilden für Fahrzeuge. Die Erfindung ist jedoch auch anwendbar für andere motorisierte Geräte, wie Gabelstapler, und kann auch in Rückansichts- oder Seitenansichtssituationen nützlich sein.
1 ist eine Draufsicht auf ein Fahrzeug 100 einschließlich Frontalkameras, welche für ein Bordsteinvisualisieren verwendet werden können. Die Kamera 100 umfasst ein Paar der Kameras 102, 104, die hinter dem Grill oder in dem Frontstoßdämpfer des Fahrzeugs 100 positioniert sind. Die erste (oder linke) Kamera 102 ist durch einen horizontalen oder lateralen Abstand 106 von der zweiten (oder rechten) Kamera 14 beabstandet. Der Abstand 106 wird abhängig von der Ausführung und dem Modell des Fahrzeugs 100 variieren, aber in einigen Ausführungsformen kann er ungefähr ein Meter sein. Die Kameras 102 und 104 haben eine optische Achse 108, die von der Vorwärtsrichtung des Fahrzeugs durch einen Schwenkwinkel θ versetzt ist. Der Winkel θ, der verwendet wird, kann abhängig von der Marke und dem Modell des Fahrzeugs 100 variieren, aber in einigen Ausführungsformen ist er etwa 10°. Welche Orientierung auch immer für die Kameras 102 und 104 gewählt wird, fängt jede Kamera ein ultraweites Ansichtsfeld (FOV) unter Verwendung von Fischaugenlinsen bzw. Fischaugenoptiken ein, um ungefähr 180° FOV bereitzustellen, das sich teilweise im Bereich 110 überlappt. Das FOV der Kamera 102 wird durch den Sektor 112 präsentiert und das FOV der Kamera 104 wird durch den Sektor 114 präsentiert. Die Bilder, die durch die Kameras 102 und 104 eingefangen werden, können durch ein Videoakquisitionsgerät 116 empfangen werden und die Bilder können weiter in dem Prozessor 118 verarbeitet werden, der eine Bildverarbeitungshardware und/oder Software aufweist, wie es unten im Detail erörtert wird, um eine oder mehrere Arten von Fahrerassistenzbildern auf einem Anzeigesichtgerät 120 bereitzustellen.
Der Prozessor 118 ist ein Computergerät, das mindestens einen Mikroprozessor und ein Speichermodul jeder in Fahrzeugen gebräuchlichen Art einschließt. Der Prozessor 118 kann ein Gerät für einen allgemeinen Zweck sein, das auch andere Computerfunktionen durchführt, oder der Prozessor 118 kann eine Sonderanfertigung sein, die speziell für eine Frontbordsteinansicht-Bildverarbeitung konfiguriert ist. In jedem Fall ist der Prozessor 118 konfiguriert, um die Schritte der Verfahren, die hierin erörtert werden, durchzuführen. Das bedeutet, dass die Verfahren für ein verbessertes Bordsteinvisualisieren auf einem Computergerät, wie einem Prozessor 118, durchgeführt werden sollen und nicht im Kopf einer Person oder unter Verwendung von Papier und Bleistift.
2 zeigt eine Seitenansicht des Fahrzeugs 100. Die rechte Kamera 104 wird gezeigt, die in einem Abstand 130 über der Straße/dem Boden positioniert ist. Der Abstand 130 wird von der Marke und dem Modell des Fahrzeugs 100 abhängen, aber in einigen Ausführungsformen beträgt er ungefähr einen halben Meter. Den Abstand 130 zu kennen ist zum Berechnen virtueller Bilder von dem Ansichtsfeld 114 nützlich, um dem Fahrer des Fahrzeugs 100 zu assistieren. Die Kamera 104 (und die Kamers 102 auf der gegenüberliegenden Seite des Fahrzeugs) ist typischerweise derart ausgerichtet, dass sie leicht nach unten angewinkelt ist durch einen Neigungswinkel φ, um das Ansichtsfeld 114 wie gezeigt bereitzustellen. Der Winkel φ wird durch die Marke und das Modell des Fahrzeugs 100 variieren, aber in einigen Ausführungsformen kann er ungefähr 10° sein.
Wie oben erörtert, ist die duale Frontkameraanordnung der 1 und 2 an heutigen Fahrzeugen üblich, wobei die Bilder typischerweise für eine Kollisionsvermeidung und für Spurassistenzanwendungen verwendet werden. Wie auch oben erörtert, können die Frontkamerabilder auch für ein Bordsteinvisualisieren als Fahrerhilfe verwendet werden. Jedoch gibt es bis heute kein automatisches System, um verbesserte Frontbordstein-Visualisierungssituationen bereitzustellen, wo es durch den Fahrer erwünscht wird.
3 ist ein schematisches Diagramm eines Systems 140 zum automatischen und verbesserten Bordsteinvisualisieren. Das System 140 schließt Elemente, die oben mit Bezug auf 1 erörtert wurden, ein, umfassend die Frontkameras 102 und 104, das Videoakquisitionsgerät 116, den Prozessor 118 und das Anzeigesichtgerät 120. 3 stellt eine hochrangige Darstellung des Systems 140 dar, das die Grundelemente zeigt. Wie erwartet kann der Prozessor 118 viele unterschiedliche Funktionen und Module einschließen, welche in den nachfolgenden Figuren erörtert werden.
4 zeigt ein Blockdiagramm eines Systems 160, das eine erste Ausführungsform eines verbesserten Bordstein-Visualisierungssystems ist. Diese erste Ausführungsform ist ein einfacher Entwurf, in dem ein Nutzerkommando ein primärer Trigger zum Beginn des Frontbordsteinvisualisierens ist. Eine Nutzereingabe 162 liefert ein Signal von dem Fahrer des Fahrzeugs 100, ob der Fahrer die Frontbordsteinbilder sehen möchte. Die Nutzereingabe 162 kann eine physische Taste, ein Schalter, eine virtuelle Taste auf einem Touchscreengerät wie dem Anzeigesichtgerät 120, ein Audiomikrofon zum Erfassen eines gesprochenen Kommandos oder eine andere Art einer Eingabe sein. Wenn der Fahrer die Nutzereingabe 162 aktiviert, wird das als ein Trigger erfasst, um Frontbordsteinbilder auf dem Anzeigesichtgerät 120 bereitzustellen, aber nur wenn die Fahrzeuggeschwindigkeit unter einem bestimmten Schwellwert ist, welcher eine behördliche Anforderung sein kann. Ein Fahrzeuggeschwindigkeitssignal wird von einem Fahrzeugzustandsmodul 164 bereitgestellt, welche Daten von unterschiedlichen Fahrzeugsensoren, einschließlich der Fahrzeuggeschwindigkeit, dem Lenkungswinkel, der Gierrate, der longitudinalen und lateralen Beschleunigung usw., einschließen kann.
Wenn die Nutzereingabe 162 aktiviert worden ist und die Fahrzeuggeschwindigkeit unter dem Schwellwert ist, dann stellt ein Triggermodul 166 einen Frontbordstein-Visualisierungsbildzustand auf ja ein. Ein Schalter 168 bestimmt, was auf dem Anzeigesichtgerät 120 zu zeigen ist. Wenn der Frontbordstein-Visualisierungsbildzustand gleich ja ist, dann weist der Schalter 168 ein Verarbeitungsmodul an, verbesserte Frontbordstein-Visualisierungsbilder unter Verwendung von Bildeingaben von dem Videoakquisitionsgerät 116 zu berechnen. Schließlich bestimmt ein Modusauswahlmodul 172, welche Ansicht oder welche Ansichten auf dem Anzeigesichtgerät 120 zu zeigen sind. In einer einfachen Ausführungsform des Systems 160 kann das Modusauswahlmodul 172 eine Fehlanordnung der Bilder auswählen (einschließlich zum Beispiel einer perspektivischen Vorwärtsansicht und einer virtuellen von oben nach unten Bordsteinansicht - welche später im Detail erörtert wird). Das Modusauswahlmodul 172 kann auch eine Nutzerauswahl des Visualisierungsmodus unterstützen - zum Beispiel durch die Nutzereingabe 162.
Wenn der Frontbordstein-Visualisierungsbildstatus gleich nein ist, dann gibt der Schaler 168 die Steuerung weiter zu dem Anzeigesteuermodul 174, das andere Informationen auf dem Anzeigesichtgerät 120 anzeigt. Wenn der Fahrer zum Beispiel nicht auf die Frontbordsteinbilder schaut, kann das Anzeigesichtgerät 120 als ein Radio oder als eine andere Audio/Videoschnittstelle oder als eine Navigationskartenanzeige oder irgendeine andere geeignete Funktion dienen.
Das Triggermodul 166, der Schalter 168, das Verarbeitungsmodul 170 und das Modusauswahlmodul 172 können alle vorgesehen werden als seinen sie in dem Prozessor 116, wie vorher erörtert, enthalten. Das bedeutet, die Elemente 166 bis 172, die jedes eine getrennte Funktion durchführen, sind nicht notwendigerweise getrennte physische Geräte, sondern vielmehr können sie in einer Hardware oder einer Software enthalten sein, die alle in dem Prozessor 118 enthalten sind.
5 ist ein Blockdiagramm eines Systems 180, das eine zweite Ausführungsform eines verbesserten Bordstein-Visualisierungssystems ist. Diese zweite Ausführungsform schließt zusätzlich triggernde Signalquellen zum Beginnen des Frontbordsteinvisualisierens ein. Die Nutzereingabe 162 bildet weiterhin ein direktes Mittel für den Fahrer des Fahrzeugs 100, um anzuzeigen, dass er/sie wünscht, Frontbordsteinbilder zu sehen, wenn die Fahrzeuggeschwindigkeit unterhalb des Schwellwerts ist. Zusätzlich zu der Nutzereingabe 162 verwendet jedoch ein Heuristikmodul 182 unterschiedliche Datenquellen, um die Betriebsumgebung des Fahrzeugs zu evaluieren, und wendet Regeln an, um zu bestimmen, wann ein Frontbordsteinvisualisieren von dem Fahrer wahrscheinlich gewünscht wird. Das Heuristikmodul 182 umfasst das Fahrzeugzustandsmodul 164, das vorher erörtert wurde, das nicht nur ein Fahrzeuggeschwindigkeitssignal zum Vergleich des Geschwindigkeitsschwellwerts bereitstellt, sondern auch einen Lenkungswinkel, eine Gierrate, eine longitudinale und eine laterale Beschleunigung und andere Daten. Vorschriften, welche das Frontbordsteinvisualisieren triggern, können definiert werden, wenn zum Beispiel die Fahrzeuggeschwindigkeit niedrig ist und der Lenkungswinkel hoch ist, was ein wahrscheinliches Einparkmanöver anzeigt.
Das Heuristikmodul 182 schließt außerdem ein Objekterfassungsmodul 184 ein, welches die Kamerabilder von dem Videoakquisitionsgerät 116 empfängt. Das Objekterfassungsmodul 184 analysiert die Frontkamerabilder, um einen Parkplatz, einen Bordstein oder irgendein anderes Objekt vor dem Fahrzeug 100 zu erfassen. Wenn ein Parkplatz erfasst wurde und wenn andere Fahrzeugparameter, wie die Geschwindigkeit, geeignet sind, kann daraus geschlossen werden, dass der Fahrer das Fahrzeug 100 manövriert, um in dem erfassten Parkplatz zu parken. Dieses veranlasst das Heuristikmodul 182 ein Triggersignal auszugeben, um das Frontbordsteinvisualisieren zu aktualisieren. Selbst in Abwesenheit eines erfassten Parkplatzes kann das Vorhandensein eines Bordsteins vor dem Fahrzeug 100 auch das Heuristikmodul 182 veranlassen ein Triggersignal auszugeben, um das Frontbordsteinvisualisieren zu aktivieren. Der Bordstein kann eine allein stehende Einheit mit einem definierten linken und rechten Ende oder er kann ein kontinuierlicher erhöhter Gehweg sein, wie er in vielen kommerziellen Gebäudeparkplätzen üblich ist. In ähnlicher Weise kann jedes andere Objekt, das unmittelbar vor dem Fahrzeug 100 - wie eine Wand oder ein oder mehrere Pfosten, ein Zaun usw. - erfasst wird, ein Triggern des Frontbordstein-Visualisierungssignal von dem Objekterfassungsmodul 184 des Heuristikmoduls 182 triggern.
Das Heuristikmodul 182 umfasst auch ein GPS/Kartenmodul 186, welches Fahrzeugpositionsdaten von einem Globalen Positionssystem (GPS) Empfänger verwendet, zusammen mit Daten von einer digitalen Karte und/oder einem Navigationssystem, um zu bestimmen, wann das Fahrzeug 100 sich in einer Einparksituation befindet. Es kann zum Beispiel leicht von dem GPS und den digitalen Kartendaten bestimmt werden, dass das Fahrzeug 100 auf einem Parkplatzgelände eines Einkaufszentrums ist oder auf einem Parkplatzgelände eines Bürogebäudes. Dieses Wissen kann verwendet werden, um eine Suche nach einem Parkplatz oder einem Bordstein unter Verwendung des Objekterfassungsmoduls 184 zu beginnen, oder das Wissen kann verwendet werden, um direkt ein Frontbordsteinvisualisieren zu triggern, wenn die Fahrzeugparameter, wie die Geschwindigkeit und der Lenkungswinkel (von dem Fahrzeugzustandsmodul 164) bestimmte Kriterien erfüllen.
Das Heuristikmodul 182 evaluiert alle verfügbaren Daten, wie oben diskutiert, und bestimmt, ob ein Frontbordsteinvisualisieren von dem Fahrer wahrscheinlich gewünscht wird basierend auf einem Satz von vorher eingeführten Regeln. Wenn natürlich das Bordsteinvisualisieren über die Nutzereingabe 162 gewählt wird, dann wird das Frontbordsteinvisualisieren aktiviert (solange wie die Fahrzeuggeschwindigkeit unter dem Schwellwert liegt), unabhängig davon, welche Feststellung durch das Heuristikmodul 182 gemacht wird. In ähnlicher Weise wird, wenn der Fahrer über die Nutzereingabe 162 anzeigt, dass ein Bordssteinvisualisieren nicht gewünscht ist, das Frontbordsteinvisualisieren deaktiviert, unabhängig davon, welche Feststellung durch das Heuristikmodul 182 gemacht wird.
Die Nutzereingabe 162 und das Heuristikmodul 182 stellen Signale dem Triggermodul 166 zur Verfügung, welches den Frontbordstein- Visualisierungsbildzustand, abhängig von den Signalen, auf ja oder nein einstellt. Wie in der ersten Ausführungsform bestimmt der Schalter 168, was auf dem Anzeigesichtgerät 120 anzuzeigen ist. Wenn der Frontbordstein-Visualisierungsbildzustand gleich ja ist, dann ordnet der Schalter 168 dem Verarbeitungsmodul 170 an, verbesserte Frontbordstein-Visualisierungsbilder unter Verwendung der Bildeingabe von dem Videoakquisitionsgerät 116 zu berechnen. Schließlich bestimmt das Modusauswahlmodul 172, welche Ansicht oder Ansichten auf dem Anzeigesichtgerät 120 angezeigt werden sollen.
In der zweiten Ausführungsform, die durch das System 180 repräsentiert wird, kann das Modusauswahlmodul 172 einen vorbestimmten Anzeigemodus basierend auf dem Kontext der Situation, wie er durch Daten von dem Heuristikmodul 182 definiert ist, auswählen. Wenn das Fahrzeug 100 zum Beispiel nach rechts gesteuert wird oder wenn ein Parkplatz davor und zur rechten Seite des Fahrzeugs 100 erfasst wurde, dann kann eine von vorn nach rechts perspektivische Ansicht von dem Anzeigemodul gewählt werden, möglicherweise zusammen mit einer visuellen von oben nach unten Ansicht. Viele Kombinationen von Ansichten können in dem Anzeigemodus definiert werden. Auf ähnliche Weise können viele unterschiedliche Faktoren in der Logik für ein Auswählen des Anzeigemodus berücksichtigt werden, mit der Aufgabe die Ansicht oder Ansichten, welche die größte Fahrerassistenz in dem Kontext der gegenwärtigen Parksituation bereitstellen, anzuzeigen. Das Modusauswahlmodul 172 kann auch eine Nutzerauswahl eines Visualisierungsmodus unterstützen - zum Beispiel über die Nutzereingabe 162.
Wenn der Frontbordstein-Visualisierungsbildzustand gleich nein ist, dann gibt der Schalter 168 das zu dem Anzeigesteuermodul 174 weiter, welches andere Informationen auf dem Anzeigesichtgerät 120 anzeigt, wie es vorhergehend erörtert wurde. Das Triggermodul 166, der Schalter 168, das Verarbeitungsmodul 170 und das Modusauswahlmodul 172 können alle in dem Prozessor 188 als enthalten betrachtet werden, wie es ebenfalls vorher erörtert wurde. Zusätzlich kann das Heuristikmodul 182 des Systems 180 in dem Prozessor 118 enthalten sein.
6 ist ein Blockdiagramm eines Systems 200, das eine dritte Ausführungsform eines verbesserten Bordstein-Visualisierungssystems ist. Das System 200 schließt alle Elemente des Systems 180 (der zweiten Ausführungsform), die oben erörtert wurde, ein. Die dritte Ausführungsform umfasst jedoch noch eine weitere Triggersignalquelle für das Beginnen des Frontbordsteinvisualisierens. Ein Verhalten/Historielernmodul 202 verwendet Maschinenlernverfahren, um zu bestimmen, wann es wahrscheinlich ist, dass der Fahrer des Fahrzeugs 100 die Frontbordsteinbilder sehen möchte. Das Lernmodul 202 liefert ein Signal an das Triggermodul 166, welches den Frontbordstein-Visualisierungsbildzustand auf ja oder nein einstellt, abhängig von drei Signalquellen. Das Lernmodul 202 kann auch Präferenzen des Fahrers für die Anzeigemoden lernen - das bedeutet, welche Ansicht oder Ansichten in welcher Parksituation anzuzeigen sind - und kann diese Daten an das Modusauswahlmodul 127 liefern (über das Triggermodul 166, wie in 6 gezeigt, oder direkt).
7 ist ein Blockdiagramm des Systems 200, das zeigt, wie das Lernmodul 202 arbeitet. Elemente des Systems 200, die nicht mit dem Lernmodul 202 interagieren - speziell alles, was unterhalb des Triggermoduls 166 ist - sind von 7 zur Vereinfachung entfernt. Das Lernmodul 202 schließt sowohl offline oder vorprogrammiertes Lernen als auch adaptives Lernen ein. Eine Datenbasis 204 enthält Daten, die eine allgemeine Population von Fahrern repräsentiert. Die Datenbasis 204 ist vorprogrammiert und ist verfügbar, wenn das Fahrzeug 100 neu ist. Die Datenbasis 204 wird nicht kontinuierlich aktualisiert, aber kann periodisch aktualisiert werden (zum Beispiel über einen Telematikservice) mit neuen Daten für eine allgemeine Fahrerpopulation. Daten der Datenbasis 204 werden in einem offline Lernmodul 206 verwendet, um eine erste Bestimmung durchzuführen, ob ein Frontvisualisieren gewünscht ist, und dieses wird über ein Signal von dem offline Lernmodul 206 zu dem Lernmodul 202 kommuniziert.
Eine Datenbasis 208 sammelt kontinuierlich Daten von der Nutzereingabe 162, dem Heuristikmodul 182 und dem Triggermodul 166 während des Fahrzeugbetriebs. Die Daten von der Datenbasis 208 werden in einem adaptiven Lernmodul 210 verwendet, um eine zweite Bestimmung durchzuführen, ob ein Frontbordsteinvisualisieren gewünscht ist und dieses wird über ein Signal von dem adaptiven Lernmodul 210 zu dem Lernmodul 202 kommuniziert. Das adaptive Lernmodul 210 wendet Maschinenlerntechniken auf die Daten von der Datenbasis 208 an, um zu bestimmen, ob ein Frontbordsteinvisualisieren in einer vorliegenden Situation getriggert werden sollte basierend darauf, ob ein Frontbordsteinvisualisieren in ähnlichen vorhergehenden Umständen getriggert wurde. Es kann zum Beispiel aus den Daten offensichtlich sein, dass der Fahrer des Fahrzeugs 100 häufig das Frontbordsteinvisualisieren an bestimmten Fahrzeugstandorten aktiviert, selbst wenn Kartendaten nicht den Standort als ein Parkplatzgelände identifiziert. In dieser Situation kann, wenn das Fahrzeug 100 wieder den Standort erreicht und wenn die Fahrzeuggeschwindigkeit unterhalb des Schwellwerts liegt, das adaptive Lernmodul 210 das Frontbordsteinvisualisieren triggern. Diese Analyse kann weiterhin verbessert werden, um eine Wiedererkennung eines spezifischen Musters eines Lenkmanövers einzuschließen, dem der Fahrer typischerweise folgen kann, um einen bestimmten Parkplatz zu erreichen.
Als ein anderes Beispiel kann das adaptive Lernmodul 210 bestimmen, dass der Fahrer des Fahrzeugs 100 typischerweise nicht ein Frontbordsteinvisualisieren wünscht, wenn er sich Bordsteinen und Gehwegen nähert (möglicherweise weil das Fahrzeug 100 eine hohe Bodenfreiheit aufweist), aber der Fahrer ein Frontvisualisieren, beim Annähern von Pfosten, Wänden oder Zäunen, wünscht. Dieses Muster kann in den Daten von dem Objekterfassungsmodul 184 und der Nutzereingabe 162 erfasst sein. Alle diese Arten der Bestimmungen können durch ein Auswerten nicht nur der Daten von den drei Teilen des Heuristikmoduls 182, sondern auch von Daten von der Nutzereingabe 162 und dem Triggermodul 166 durchgeführt werden. Das bedeutet, dass es wichtig ist, nicht nur die Umstände, in denen ein Frontbordsteinvisualisieren vorher aktiviert wurde zu berücksichtigen, sondern auch die Präferenzen des Fahrers, welche durch manuelles Aktivieren oder Deaktivieren des Frontbordsteinvisualisierens über den Nutzereingang 162 angezeigt sind, zu berücksichtigen.
Das adaptive Lernmodul 210 kann auch zwischen unterschiedlichen Fahrern des Fahrzeugs 100 unterscheiden, aufgrund eines Schlüsselanhänger-Identifizierers oder anderer Fahrerwiedererkennungstechniken und kann entsprechend angepasst sein. Zwei Fahrer des Fahrzeugs 100 können zum Beispiel sehr unterschiedliche Präferenzen für ein Frontbordsteinvisualisieren haben, wobei ein Fahrer es nie zu verwenden wünschen kann und der andere Fahrer es häufig verwenden möchte. Andererseits können beide Fahrer des Fahrzeugs 100 den gleichen „Heimatstandort“ haben und es kann bestimmt sein, dass beide Fahrer das Bordsteinvisualisieren an dem Heimatstandort bevorzugen. Diese Arten von fahrerspezifischen und/oder fahrzeugspezifischen Bestimmungen können leicht durch das adaptive Lernmodul 210 durchgeführt werden. Die Fähigkeit, die Präferenzen der Fahrer des Fahrzeugs 100 zu lernen, wenn es gefahren wird, unterscheidet das adaptive Lernmodul 210 von dem offline Lernmodul 206 und dem Heuristikmodul 182.
8 ist ein Flussdiagramm 220 eines Verfahrens zum Bereitstellen eines verbesserten Frontbordsteinvisualisierens in einem Fahrzeug. Bei dem Block 222 wird ein Fahrzeuggeschwindigkeitssignal von einem Fahrzeuggeschwindigkeitssensor gelesen. In der Entscheidungsraute 224 wird bestimmt, ob die Fahrzeuggeschwindigkeit unter einem Geschwindigkeitsschwellwert liegt, welcher durch staatliche Verordnung für das Anzeigen von frontalen Bordstein-Ansichtsbildern definiert werden kann. Wenn die Fahrzeuggeschwindigkeit nicht unterhalb des Schwellwerts liegt, wird das Verfahren zurück zu dem Block 222 geschleift bis zu der Zeit, zu der die Fahrzeuggeschwindigkeit unterhalb des Schwellwerts liegt. Wenn die Fahrzeuggeschwindigkeit bei der Entscheidungsraute 224 unterhalb des Schwellwerts liegt, dann wird in der Entscheidungsraute 226 bestimmt, ob der Fahrzeugfahrer die Frontbordsteinvisualisierung über die Nutzereingabe 162 ausgewählt hat.
Wenn der Fahrer die Frontbordsteinvisualisierung nicht gewählt hat, dann wird in dem Block 228 die Fahrzeugbetriebsumgebung evaluiert, um zu bestimmen, ob irgendwelche Faktoren anzeigen, dass das Frontbordsteinvisualisieren aktiviert werden sollte. Die Fahrzeugbetriebsumgebungsauswertung wird durch das Heuristikmodul 182 durchgeführt und schließt die Fahrzeuggeschwindigkeit, den Lenkungswinkel, das Vorhandensein eines Parkplatzes, eines Bordsteins oder anderer Hindernisse vor dem Fahrzeug, und den Fahrzeugstandort, wie er durch das GPS und die digitale Karte angezeigt wird, ein. In dem Block 230 werden das Fahrverhalten und die Historie des Fahrzeugs durch das Lernmodul 202 evaluiert, um zu bestimmen, ob ein Frontbordsteinvisualisieren in einer vorliegenden Situation getriggert werden sollte basierend darauf, ob das Frontbordsteinvisualisieren in ähnlichen vorangegangenen Umständen getriggert wurde. Bei der Entscheidungsraute 232 werden die Signale von den Blöcken 228 und 230 evaluiert, um zu bestimmen, ob irgendwelche Trigger existieren, welche anzeigen, dass das Frontbordsteinvisualisieren aktiviert werden sollte. Wenn keine derartigen Trigger existieren, dann wird bei einem Endblock 234 der Prozess beendet und andere Informationen (wie ein Radio oder eine Navigation) wird auf dem Anzeigesichtgerät 120 dargestellt.
Wenn der Fahrer das Frontbordsteinvisualisieren bei der Entscheidungsraute 226 ausgewählt hat oder Trigger bei der Entscheidungsraute 232 existieren, welche anzeigen, dass ein Frontbordsteinvisualisieren aktiviert werden sollte, dann werden beim Block 236 die Videosignale von dem Videoakquisitionsgerät 116 verarbeitet, um verbesserte Frontbordsteinvisualisierungsbilder zu erzeugen. Bei dem Block 238 wird ein Anzeigemodus für das Frontbordsteinvisualisieren basierend auf vergangene Fahrerpräferenz und/oder in der vorliegenden Parksituation ausgewählt, wie es vorhergehend erörtert wurde. Bei Block 240 werden die verbesserten Frontbordsteinvisualisierungsbilder entsprechend dem ausgewählten Anzeigemodus dargestellt.
Unter Verwendung der Techniken, die oben beschrieben wurden, kann ein verbessertes Frontbordstein-Visualisierungssystem geliefert werden, welches dem Fahrzeugfahrer mit einer wertvollen visuellen Assistenz für ein Manövrieren in der Nähe von Bordsteinen und anderen Hindernissen in Front eines Fahrzeug bereitstellt. Das verbesserte Frontbordstein-Visualisierungssystem verwendet ein vorhandenes Anzeigesichtgerät und Kameras und liefert dem Fahrer visuelle Informationen, welche auf andere Weise nicht verfügbar wären - dadurch ergibt sich ein deutlich geringeres Auftreten von Fahrzeugbeschädigungen aufgrund von Kontakten zu frontalen Hindernissen.
Wie es von der obigen Erörterung verstanden werden kann, ist die Auswahl und die Anzeige von bestimmten frontalen Ansichten wesentlich für die Effizienz eines Frontbordstein-Visualisierungssystems. Die Ansichten können sowohl verbesserte Versionen der vorhandenen Kameraansichten (wie eine vorwärts gerichtete perspektivische Ansicht von der linken oder der rechten Kamera) und „virtuellen Ansichten“, welche Ansichten sind, die durch Verarbeiten mehrerer Kamerabilder synthetisiert sind, um eine perspektivische Ansicht zu erzeugen, welche keine der Kameras direkt wiedergeben können.
9 ist eine Darstellung eines Anzeigesichtgeräts 120, das ein Beispiel eines Anzeigemodus oder eine Anordnung von Ansichten auf dem Bildschirm des Anzeigesichtgeräts 120 zeigt. Das Beispiel, das in 9 gezeigt wird, schließt mindestens drei Bildansichten ein, wobei die rechte Seite des Anzeigesichtgeräts 120 eine Ansicht 250 einschließt, welche eine vorwärts gerichtete perspektivische Ansicht ist (eine verbesserte perspektivische Ansichtserzeugung ist unten erörtert). Die linke Seite des Anzeigesichtgeräts 120 umfasst eine Vogelperspektive des Bereichs rund um das Bauteil 100. Die Ansicht 252 ist eine virtuelle von oben nach unten Frontansicht (welche eine Ansicht ist, die von den Bildern der Kameras 102 und 104 synthetisiert wurden) und die Ansicht 254 ist eine virtuelle von oben nach unten Rückansicht (welche nützlich sein kann, wenn das Fahrzeug vorwärts und rückwärts während des Parkens manövriert wird). Eine Darstellung des Fahrzeugs 100 ist zwischen der Ansicht 252 und der Ansicht 254 zum Vergleich bereitgestellt. Die Seitenansichten 256 können von Bildern von Seitensichtkameras, falls verfügbar, konstruiert sein oder sie können unter Verwendung temporärer Ergänzungstechniken (erörtert unten) von Front- und Heckkamerabildern konstruiert sein. Wie leicht vorstellbar können unterschiedliche Kombinationen der Ansichten als Anzeigemoden definiert sein, die, wie oben im Detail erörtert, ausgewählt werden.
Wenn der Frontstoßdämpfer des Fahrzeugs 100 innerhalb von zwei Fuß zu einem Bordstein angeordnet ist, empfinden viele Fahrer eine von oben nach unten Frontansicht als äußerst hilfreich. Tatsächlich mögen während des Vorwärtseinparkmanövers viele Fahrer einen Anzeigemodus bevorzugen, bei dem eine verbesserte von oben nach unten Frontansicht den ganzen Bildschirm des Anzeigesichtgeräts 120 einnimmt. Techniken zur Verarbeitung von digitalen Bildern sind im Stand der Technik bekannt - einschließlich einem Konstruieren virtueller Bildansichten und ein Entzerren der Bilder einer Weitwinkel- oder Fischaugenoptik, um die Verzerrung zu entfernen. Die Erzeugung von einer virtuellen von oben nach unten Ansicht einer Weitwinkeloptik, die darauf abzielt stärker nahezu horizontal als vertikal abzubilden, erzeugt jedoch Herausforderungen, die bis jetzt nicht gelöst wurden.
Drei Problemarten wurden identifiziert, die mit virtuellen von oben nach unten Ansichten assoziiert und von Bildern der Kameras 102 und 104 synthetisiert sind. Diese drei Klassen der Probleme, für die Lösungen im Detail unten erörtert werden, sind folgende:

1) Karosserieteilstörungen in einem entzerrten Bild;
2) Geringe Auflösung und/oder Rauschen rund um Grenzen eines entzerrten Bildes;
3) „Doppelbildeffekte“ in Flächen und Objekten oberhalb des Bodenniveaus.

10 ist eine Darstellung, wie Fahrzeugkarosserieteile in dem Stoßdämpfer/Frontblendenbereich einen künstlichen Überstandseffekt in einer virtuellen von oben nach unten Ansicht erzeugen können. In 10 kann gesehen werden, dass die Kamera 104 so montiert ist, dass die Linsen nahezu bündig mit der Fläche des Stoßdämpfers des Fahrzeugs 100 sind. Jedoch umfassen viele Fahrzeuge Vorsprünge von dem niedrigen Frontstoßdämpfer oder der Frontblende. Diese Vorsprünge, wie der Vorsprung 260, erstrecken sich vorwärts vor den Linsen der Kameras 104 und stören die Ansicht des Bodens für die Kamera 104. Somit wird in einer virtuellen von oben nach unten Ansicht der Vorsprung 260 weiter voraus und größer erscheinen, als es in einer wahren von oben nach unten Ansicht sein würde. Die Differenz zwischen der erscheinenden Größe/Position des Vorsprungs 260 und der wahren Größe/Position in einer von oben nach unten Ansicht wird durch den Abstand 262 repräsentiert. Dieser Abstand 262 ist eine Funktion der Geometrie der Kamera, des Vorsprungs 260 und des Abstands 130 über dem Boden und kann kompensiert werden.
11 ist eine Darstellung einer virtuellen von oben nach unten Ansicht, in der sich der Vorsprung 260 künstlich vorwärts als ein Ergebnis der Kamera/Fahrzeuggeometrie und der Bildentzerrung, die eine Okklusionsregion 280 erzeugt, erstreckt. Die virtuelle von oben nach unten Ansicht, die gezeigt wird, als sei sie auf dem Anzeigesichtgerät 120 dargestellt, zeigt eine horizontale Parkplatzgeländeoberfläche 270, eine horizontale Gehwegoberfläche 272, die sich in einer gewissen Höhe über der Oberfläche 270 erhöht, und eine vertikale Fläche 274, die als ein Bordstein wirkt, ab. Diese Konfiguration einer Parkplatzgeländeoberfläche und eines erhöhten Bordsteins/Gehwegs ist in vielen kommerziellen und privaten Parkplatzgeländen üblich. Verbindungen 276 repräsentieren Verbindungen in den Betonabschnitten der Gehwegoberfläche 272, wobei die Verbindungen 276 vertikal an der vertikalen Fläche 274 werden, und die Verbindungen 276 können sich in einem gewissen Abstand in der Parkplatzgeländeoberfläche 270 erstrecken.
In der virtuellen von oben nach unten Ansicht auf dem Anzeigesichtgerät 120 repräsentiert die Bodenkante die wahre Front des Fahrzeugs 100. Wenn somit das Fahrzeug 100 langsam vorwärts gefahren wird, kann der Fahrer sehen, wann ein Hindernis erreicht ist. Wie oben erörtert, ist das Erscheinen, dass der Vorsprung 260 sich deutlich vorwärts erstreckt, künstlich, wobei die Okklusionsregion 280 eine Störung des entzerrten Bildes und der natürlichen Geometrieverhältnisse der Kameralinsen und des Vorsprungs 260 relativ zueinander und des Bodens ist. Es wurden Techniken entwickelt, welche ermöglichen die Okklusionsregion 280 zu modifizieren, so dass der Vorsprung 260 in seiner wahren Position in einer synthetisierten virtuellen von oben nach unten Ansicht erscheint und die Okklusionsregion 280 synthetisch texturiert ist, um als umgebender Boden zu erscheinen. 12 ist eine Darstellung einer virtuellen von oben nach unten Ansicht, in der die Größe der Okklusionsregion 280 deutlich reduziert wurde, um die wahre Position des Vorsprungs 260 wiederzugeben, und wobei der größte Teil der Fläche, die ursprünglich in der Okklusionsregion 280 enthalten ist, durch Bildmanipulation retexturiert wurde.
13 ist ein Flussdiagramm 300 eines Verfahrens zum Entfernen einer künstlichen Fahrzeugkarosserieteil-Erscheinung in einer virtuellen von oben nach unten Ansicht, die von Fahrzeugfrontalkamerabildern konstruiert wird. Ein Erzeugen einer verbesserten virtuellen von oben nach unten Ansicht, die in 12 gezeigt wird, beginnt mit dem Block 302 durch Quantifizieren der geometrischen Verhältnisse, welche oben erörtert und in 10 gezeigt wurden. Diese dreidimensionalen Verhältnisse sind für unveränderte Fahrzeugentwurfsmengen für jedes bestimmte Fahrzeugmodell bekannt. Deshalb wird es eine ziemlich einfache Berechnung, um exakt zu bestimmen, welche Pixel eines Kamerabildes durch den Vorsprung 260 abgedeckt sind. Es ist auch möglich, eine wahre von oben nach unten Ansicht der Front des Fahrzeugs 100 mit der virtuellen von oben nach unten Ansicht, die in 11 gezeigt wird, zu vergleichen und manuell die Pixel zu identifizieren, die künstlich durch den Vorsprung 260 abgedeckt werden.
Im Block 304 wird eine Entzerrungsberechnung durchgeführt, um die Verzerrung des Bildes zu berücksichtigen, wenn das natürliche verzerrte Bild von der Weitwinkeloptik und der Kamera 102 und 104 eingeebnet oder „entzerrt“ wurde, um gerade Linien gerade erscheinend zu erstellen. Bildentzerrungsberechnungen sind in der Technik bekannt. Im Block 306 wird ein Satz von Pixeln, welche künstlich durch den Fahrzeugkarosserievorsprung 260 verdeckt werden, bereitgestellt. Die Pixel von dem Block 306, welche die Okklusionsregion 280 der 11 bilden, müssen retexturiert werden, um als Bodenoberfläche zu erscheinen.
Im Block 308 werden die gleichen Pixel in der Okklusionsregion 280 analysiert und retexturiert. Zwei Techniken können zum Auffüllen und zum Retexturieren der Pixel in der Okklusionsregion 280 verwendet werden. In dem Block 310 wird ein räumliches Auffüllen durchgeführt. Das räumliche Auffüllen in dem Block 310 umfasst ein Identifizieren der Textur (wie die gekörnte graue Erscheinung des verwitterten Betons) und der Struktur (wie der Verbindungen 276) nahe der Okklusionsregion 280 und ein Auffüllen in der Okklusionsregion 280 basierend auf der umgebenden Textur und Struktur. Die räumliche Auffülltechnik des Blocks 310 kann sehr effektiv sein, wenn die Okklusionsregion 280 ziemlich klein und/oder die Textur der Parkplatzgeländeoberfläche 270 ziemlich einheitlich ist.
Im Block 312 wird ein temporäres Auffüllen durchgeführt. Das temporäre Auffüllen in dem Block 312 betrifft ein Verwenden von aktuellen Bildpixeln der Parkplatzgeländeoberfläche 270, die erhalten werden, wenn solche Pixel gerade außerhalb der Okklusionsregion 280 sind, und die Pixel in der Okklusionsregion 280 basierend auf einer Fahrzeugbewegung transponiert werden. Die Fahrzeugbewegung für das temporäre Auffüllen kann von einer optischen Bewegung oder von dynamischen Sensoren des Fahrzeugs bestimmt werden, wobei die optische Bewegung ein Folgen der Bewegung von Merkmalspunkten betrifft, die durch aufeinanderfolgende Bilder erhalten werden. Unter Verwendung der Fahrzeugbewegung, die typischerweise langsam und stetig während eines Parkmanövers ist, können Pixel, die den aktuellen Teil der Parkplatzgeländeoberfläche 270 repräsentieren, welche innerhalb der Okklusionsregion 280 ist, von vorhergehenden Bildern in nachfolgende Bilder der virtuellen von oben nach unten Ansicht kopiert werden.
Im Block 314 wird die Okklusionsregion 280 unter Verwendung einer Kombination der räumlichen Auffülltechnik des Blocks 310 und der temporären Auffülltechnik des Blocks 312 aufgefüllt und retexturiert. Im Block 316 wird eine verbesserte virtuelle von oben nach unten Ansicht erzeugt, in der die von der Karosserie verdeckte Region von dem Block 306 mit umgebender Hintergrundtextur von dem Block 314 aufgefüllt wird, so dass nur die wahre Form des Vorsprungs 260 in der Ansicht verbleibt. Wie es in 12 zu sehen ist, wird das Erscheinen des Vorsprungs 260 unter Verwendung der aufgefüllten und retexturierten Okklusionsregion 280 reduziert.
Die zweite Problemart, die mit virtuellen von oben nach unten Ansichten verbunden ist, die von Links- und Rechtsfrontkameras synchronisiert werden, sind niedrige Auflösung und/oder Bildrauschen rund um Grenzen des entzerrten Bildes. 14 ist eine Darstellung einer virtuellen von oben nach unten Ansicht, in der bestimmte Abschnitte der Ansicht eine niedrige Auflösung und/oder ein Bildrauschen zeigen. Die virtuelle von oben nach unten Ansicht der 14 zeigt wie die 11 und 12 die horizontale Parkplatzgeländeoberfläche 270, die horizontale Gehwegoberfläche 272, die sich in einer gewissen Höhe über der Oberfläche 270 erhöht, und eine vertikale Fläche 274, die als ein Bordstein wirkt, und die Verbindungen 276 in den Betonabschnitten der Gehwegoberfläche 272.
Wie oben erörtert, ist es notwendig, die Bilder der Weitwinkeloptik zu „entzerren“, um Verzerrungen zu entfernen und eine realistisch ausschauende von oben nach unten Ansicht zu erzeugen. Wenn die entzerrten Bilder für jeden Pixel in diesen Regionen vergrößert werden, um mehr von dem Bild zu okkupieren, geht die Bildauflösung in peripheren oder Kantenregionen der virtuellen Ansicht verloren. Linke und rechte periphere Regionen 320 und eine obere periphere Region 322, wie es in 14 gezeigt wird, repräsentieren die gering auflösenden Regionen der virtuellen von oben nach unten Ansicht. Bild/Videorauschen in dem Bild ist auch ein Problem in den Regionen 320 und 322, wenn ein kleiner heller oder dunkler Fleck vergrößert wird, um viel größer, als er in Wirklichkeit ist, zu erscheinen. Natürlich sind die Grenzen der niedrigen Bildauflösungsregionen nicht perfekt gerade, wie es in 14 gezeigt wird - sondern die Regionen 320 und 322 sind illustrativ für das Konzept. Es gibt keine niedrige Bildauflösungsregion in dem unteren Teil des Bildes, da diese Kante am nächsten zu den Kameras 102 und 104 ist und die Pixel in diesem Teil des Bildes nicht in dem Entzerrungsprozess deutlich vergrößert werden müssen.
15 ist ein Flussdiagramm 340 eines Verfahrens zum Entfernen der niedrigen Auflösung und des Bildrauschens in Kantenregionen einer virtuellen von oben nach unten Ansicht, die von den Fahrzeugfrontalkamerabildern konstruiert wird. Im Block 342 wird eine Entzerrungsberechnung an der virtuellen von oben nach unten Ansicht durchgeführt, um die Verzerrung des Bildes zu berücksichtigen, wenn das natürlich verzerrte Bild von der Weitwinkeloptik der Kameras 102 und 104 geglättet wird, um gerade Linien gerade erscheinend zu erstellen. Im Block 344 wird ein Satz von Pixeln bereitgestellt, welche künstlich in ihrer Bildauflösung gering sind. Diese Pixel repräsentieren die Kantenregionen 320 und 322, wo die niedrige Auflösung und das Bildrauschen ein Resultat der Pixelvergrößerung in dem Entzerrungsprozess sind.
Zwei Techniken können zum Auffüllen und Retexturieren der Pixel in den niedrigen Bildauflösungsregionen 320 und 322 verwendet werden. Im Block 346 wird eine räumliche Bildauflösungsverbesserung und eine Berechnung eines Entrauschens durchgeführt. Die räumliche Verbesserung im Block 346 schließt ein Identifizieren sowohl der Farben- als auch der Intensitätskanäle in den niedrigen Bildauflösungsregionen 320 und 322 ein und verwendet die natürlichen Farben und Intensitäten in einer glättenden Berechnung, welche die Kanten, wie die Kanten der vertikalen Fläche 274, beibehält. Das räumliche Füllen im Block 346 umfasst auch ein Ausleihen der Textur von benachbarten voll auflösenden Bereichen, wie der Region 324, welche für die linksseitige niedrige Bildauflösungsregion 320 und den linken Abschnitt der oberen niedrigen Bildauflösungsregion 322 verwendet werden kann. Unter Verwendung der Oberflächentextur von den benachbarten voll auflösenden Regionen 324 und der Farben- und der Intensitätsmuster von den niedrigen Bildauflösungsregionen 320 und 322 selbst, kann die räumliche Auflösungsverbesserung und die Berechnung des Entrauschens im Block 346 die Bildqualität rund um die Kanten der visuellen von oben nach unten Ansicht restaurieren.
Im Block 348 wird eine temporäre Bildauflösungsverbesserung und eine Berechnung zum Entrauschen durchgeführt. Die temporäre Verbesserung im Block 348 bezieht sich auf ein Verwenden von aktuellen Bildpixeln auf der Oberfläche 270, 272 und 274, die erhalten werden, wenn derartige Pixel gerade außerhalb der niedrigen Bildauflösungsregionen 320 und 322 sind und die Pixel in die niedrigen Bildauflösungsregionen 320 und 322 basierend auf einer Fahrzeugbewegung transponiert werden. Wie vorher erörtert, kann die Fahrzeugbewegung für die temporäre Verbesserung von der optischen Bewegung von dynamischen Sensoren des Fahrzeugs bestimmt werden, wobei die optische Bewegung ein Folgen der Bewegung der Merkmalspunkte, wenn aufeinanderfolgende Bilder erhalten werden, betrifft. Die Fahrzeugbewegung tendiert dazu, gegen die temporäre Verbesserung der Region 322 insbesondere zu arbeiten, da Pixel in dieser Region vorher nicht in einer hoch auflösenden Region des Bildes vorhanden waren, wenn das Fahrzeug 100 nur vorwärts bewegt wurde. Eine temporäre Verbesserung kann jedoch für die links- und rechtsseitigen niedrigen Bildauflösungsregionen 320 hilfreich sein, insbesondere wenn sich das Fahrzeug 100 während eines Manövrierens zum Parken dreht. Unter Verwendung der Fahrzeugbewegung können Pixel, welche aktuelle Teile der Oberflächen 270-274 repräsentieren und welche sich innerhalb der niedrigen Bildauflösungsregionen 320 befinden, von vorhergehenden Bildem in nachfolgende Bilder der virtuellen von oben nach unten Ansicht im Block 348 kopiert werden.
Im Block 350 werden die niedrigen Bildauflösungsregionen 320 und 322 unter Verwendung einer Kombination der Ergebnisse der räumlichen Verbesserungstechnik vom Block 346 und der temporären Verbesserungstechnik vom Block 348 neu definiert. Im Block 352 wird eine verbesserte virtuelle von oben nach unten Ansicht erzeugt, in der die ursprünglichen Pixel von den niedrigen Bildauflösungsregionen 320 und 322 mit neu definierten Pixeln des Blockes 350 ersetzt werden und mit dem Verbliebenen von dem entzerrten Bild vom Block 342 kombiniert werden.
Der dritte Problemtyp, der mit den virtuellen von oben nach unten Ansichten assoziiert ist, die von den Links und Rechtsfrontkamerabildern synthetisiert werden, ist ein „Doppelbildeffekt“ in Objekten, welche sich über dem Bodenniveau erstrecken. Die 16A und 16B sind Darstellungen von virtuellen von oben nach unten Ansichten von der linken Frontkamera beziehungsweise der rechten Frontkamera 104, und 17 ist eine Darstellung, wie einige Teile der virtuellen von oben nach unten Ansicht erscheinen können, indem sie „Doppelbilder“ aufweisen, wenn die linken und die rechten Kamerabilder verbunden werden. In 16 und 17 erscheinen die Oberfläche 270, 272 und 274 wie in den vorhergehenden Figuren, genauso wie die Verbindungen 276 (es gibt dort zwei unterschiedliche Verbindungen 276 - eine zur Linken und eine zur Rechten - wie in den 11, 12 und 14 gezeigt). In den 16A und 16B kann ein Bruch 360 in der Gehwegoberfläche 272 gesehen werden. Der Bruch 360 erscheint auf der rechten Seite des linken Kamerabildes in 16A und der Bruch 360 erscheint auf der linken Seite des rechten Kamerabildes in 16B.
In 17 erscheint der Bruch 360 zweimal, obgleich es nur einen einzigen Bruch 360 in der Gehwegoberfläche 272 gibt. dieser „Doppelbildeffekt“ ist ein Ergebnis der Kombination des linken und des rechten Bildes, was auf den Berechnungen basiert unter der Annahme, dass alles in dem Bild auf dem gleichen Bodenniveau angeordnet ist. Objekte oder Hindernisse, die sich oberhalb des Bodenniveaus erstrecken (welches in der unteren Kante des Bildes angeordnet ist, welche der Abschnitt des Bildes am nächsten zu den Kameras 102 und 104 ist und als der Abstand 130 unterhalb der Kameras bekannt ist), können außerhalb der Position in der entzerrten und kombinierten virtuellen von oben nach unten Ansicht erscheinen. Dieser Doppelbildeffekt kann jedoch in der verbesserten virtuellen von oben nach unten Ansicht über Berechnungen, die unten erörtert werden, korrigiert werden.
18 ist ein Flussdiagramm 380 eines ersten Verfahrens zum Entfernen des Doppelbildeffekts für oberirdische Hindernisse in einer virtuellen von oben nach unten Ansicht, die von den Fahrzeugfrontalkamerabildern konstruiert wird. Im Block 382 wird eine Entzerrungsberechnung an der virtuellen von oben nach unten Ansicht durchgeführt, die von Links- und Rechtsfrontkamerabildern konstruiert wird, um die Verzerrung zu berücksichtigen, wenn die natürlich verzerrten Bilder von den Weitwinkellinsen der Kameras 102 und 104 geglättet werden, um gerade Linien gerade erscheinend zu erstellen. Im Block 384 sind Bordsteine und erhöhte Gehwege in der konstruierten virtuellen von oben nach unten Ansicht erfasst. Wie vorhergehend erörtert, können diese Parkplatzgrenzen durch ein Analysieren einer Sequenz von Bildern während der Fahrzeugbewegung erfasst werden, wobei nach geraden Linien und anderen visuellen Indikatoren der Bordsteine und der erhöhten Gehwege gesucht wird.
Im Block 386 werden Hindernisse oberhalb des Bodens in den Bildern der Kameras 102 und 104 unter Verwendung von Stereoansichten und/oder Strukturen von Bewegungstechniken erfasst. Strukturen von Bewegungen (SFM) beziehen sich auf den Prozess des Abschätzens dreidimensionaler Strukturen von den zweidimensionalen Bildfolgen, welche mit lokalen Bewegungssignalen gekoppelt sein können. Die Stereoansicht- und SFM-Analyse liefern Informationen über die Größe, Form und den Ort der Hindernisse oberhalb des Bodens in dem Vorwärtsweg des Fahrzeugs 100. Im Block 388 liefern andere Sensoren an Bord des Fahrzeugs 100 Objekterfassungssignale für den Bereich vor dem Fahrzeug 100. Die anderen Sensoren an Bord können zum Beispiel einschließen - sind aber nicht begrenzt auf - Ultraschall, Kurzbereichsradar und LIDAR.
An dem Verbindungspunkt 390 werden die frontalen Hindernisse, die in den Blöcken 384 bis 388 identifiziert wurden, skaliert und kombiniert, um zu ermöglichen, dass alle Daten zum Definieren einer Objektkarte in dem Bereich vor dem Fahrzeug 100 verwendet werden. In dem Block 392 wird ein vollständiges Modell der dreidimensionalen Objekte - einschließlich Bordsteine, erhöhte Gehwege, Pfosten usw. - in Front des Fahrzeug 100 von den Daten der Blöcke 384 bis 388 zusammengefasst. Das Modell der dreidimensionalen Objekte schließt den Ort, die Größe und die Form der Objekte ein. Dort, wo Bordsteine und erhöhte Gehwege vorhanden sind, ist es extrem wertvoll in der Lage zu sein, die Höhe von diesen Objekten aus mindestens zwei Gründen zu bestimmen. Erstens, wenn ein Bordstein oder ein erhöhter Gehweg eine Höhe von sechs Zoll über der Parkplatzgeländeoberfläche aufweist und das Fahrzeug 100 nur eine Frontspoilerbodenfreiheit von 5 Zoll aufweist, können Warnungen an den Fahrer ausgegeben werden, um anzuzeigen, dass das Fahrzeug 100 gestoppt werden sollte bevor der Frontstoßdämpfer den Bordstein oder den erhöhten Gehweg erreicht (im Gegensatz zu einem Vorwärtsfahren bis die Fronträder gegen einen Stopp stoßen). Zweitens, das Wissen der Höhe des erhöhten Gehwegs 272 über der Parkplatzgeländeoberfläche 270 ermöglicht eine Rechnung durchzuführen, welche das Doppelbild des Bruchs 360 entfernt, wie es in 17 zu sehen ist.
Im Block 394 werden Bilder von Bordsteinen oder anderen Hindernissen oberhalb des Bodens unter Verwendung des 3D-Modells der Objekte des Blocks 392 und der ursprünglichen entzerrten Bilddaten des Blocks 382 wiedergegeben. Durch Wissen des Ortes, der Größe und der Form von jedem der Hindernisse über dem Boden vor dem Fahrzeug 100, können die Links- und Rechtsfrontkamerabilder zuverlässig kombiniert werden, ohne doppelte Kopien der Hindernisse anzuzeigen. Zum Beispiel bei Berücksichtigung einer Situation, wo ein Pfahl vor dem Fahrzeug 100, links vom Zentrum vorhanden ist. Wenn die Links- und Rechtsfrontkamerabilder einfach entzerrt und kombiniert werden, würden dort zwei Pfosten, jeder mit einem unterschiedlichen Abstand und an einem unterschiedlichen Ort, in dem kombinierten Bild, erscheinen Mit dem Wissen von dem 3D-Objektmodell, dass dort nur ein einzelner derartiger Pfosten vorhanden ist, und dem Wissen des aktuellen Ortes des Pfostens, können jedoch die Links- und Rechtsfrontkamerabilder so bearbeitet werden, dass der Pfosten korrekt nur einmal erscheint. Die gleiche Art der Bildverarbeitung kann auch verwendet werden, um korrekt jedes Merkmal oberhalb des Bodens, einschließlich des Bruchs 360 der 17, wiederzugeben, welcher nur einmal erscheinen wird.
Schließlich wird im Block 396 die verfeinerte virtuelle von oben nach unten Ansicht synthetisiert, einschließlich des Hindernisses oberhalb des Bodens, das von dem Block 394 wiedergegeben wird. Die verfeinerte virtuelle von oben nach unten Ansicht schließt keine Fehler von Doppelbildern der Gegenstände oberhalb des Bodens, wie den Bruch 360, ein und die verfeinerte Ansicht verbessert auch die visuelle Wiedergabe der 3D-Objekte, basierend auf ihrer aktuellen Größe, Form und Ort, wie es unter Verwendung aller verfügbaren Datenquellen modelliert wurde.
19 ist ein Flussdiagramm 400 eines zweiten Verfahrens zum Eliminieren des Doppelbildeffekts für oberirdische Objekte in einer virtuellen von oben nach unten Ansicht, die von Fahrzeugfrontalkamerabildern erzeugt wird. Im Block 402 wird eine Entzerrungsrechnung an der virtuellen von oben nach unten Ansicht durchgeführt, die von den Links- und Rechtsfrontkamerabildern konstruiert ist, um die Verzerrung zu berücksichtigen, wenn die natürlich verzerrten Bilder der Weitwinkeloptik der Kameras 102 und 104 geglättet werden, um gerade Linien gerade erscheinend erstellen. Im Block 404 wird das entzerrte Bild analysiert, um jeden Doppelbildeffekt in der Textur oder in der Struktur zu erfassen. Es sind zum Beispiel Analysetechniken bekannt, die bereits erkennen, dass der Bruch 360, welcher in 17 doppelt erscheint, in Wirklichkeit das gleiche Objekt ist.
Wenn der Doppelbildeffekt im Block 404 gefunden wird, dann wird in der Entscheidungsraute 406 der Prozess zurück zum Block 408 geleitet, wo eine Höhe über dem Boden der Doppelbildstruktur basierend auf einem lateralen Abstand zwischen den Doppelbildern abgeschätzt wird. Dann kehrt der Prozess zurück zum Block 402, wo die Entzerrungsberechnung unter Verwendung einer revidierten Annahme über die Höhe über dem Boden für den Abschnitt des Feldes der Ansicht, die eine Doppelbildstruktur enthält, ausgeführt wird. Die revidierte Annahme über eine Höhe über dem Boden wird durch die Entzerrungsberechnung modifiziert, die eine laterale Verschiebung der Objekte in diesem Abschnitt des Gebiets der Ansicht verursacht.
Das Bild wird dann im Block 404 nach-analysiert und, wenn notwendig, wird die Höhenannahme weiter revidiert. Dieses wird fortgesetzt bis der Doppelbildeffekt entfernt ist und von der Entscheidungsraute 406 der Prozess zum Block 410 geht, wo die endgültige verfeinerte virtuelle von oben nach unten Ansicht ausgegeben wird.
Andere, einfachere Verfahren zum Entfernen des „Doppelbildeffekts“ in Objekten, welche oberhalb des Bodenniveaus herausragen, wie es in 16 und 17 gezeigt wird, sind auch möglich. In einem derart einfacheren Verfahren kann im Gegensatz zu einem iterativen Abschätzen der Bordkantenhöhe, wie es in dem Verfahren der 19 oben erörtert wurde, ein Satz von Standardbordsteinhöhen (wie 5, 6, 7 und 8 Zoll) angenommen werden und die Bildtransformationskartierung kann für jede dieser Höhen vorausberechnet werden. Wenn dann ein Doppelbildeffekt in einem fusionierten Bild erfasst wird, kann eine Bildtransformationsberechnung schnell für alle Standardbordsteinhöhen durchlaufen werden und das Ergebnis kann analysiert werden, um zu bestimmen, welche Bordsteinhöhentransformation die besten Voraussetzungen für ein Eliminieren des Doppelbildeffekts bietet. Dieses Verfahren vermeidet die iterative Berechnung, die vorher erörtert wurde, und stellt direkt ein Endbild mit minimalem Doppelbildeffekt bereit, während es auch eine Abschätzung der Bordsteinhöhe liefert, die in anderen Fahrzeugsystemen verwendet werden kann.
Noch ein anderes Verfahren zum Entfernen des „Doppelbildeffekts“ in Objekten, welche über das Bodenniveau herausragen, ist es einfach die linken und rechten Bilder zu vergleichen, wenn gemeinsame Bildpunkte in dem überlappenden Bereich der Bilder gefunden werden, und eine Bildregistrierung zu verwenden, um die Bilder zu transformieren, so dass die gemeinsamen Merkmalspunkte in dem überlappenden Bereich übereinanderliegen, wenn die Bilder fusioniert werden. Dieses Verfahren liefert keine Abschätzung der Bordsteinhöhe, aber kann das einfachste sein, um Berechnungen durchzuführen, und stellt dennoch ein Endbild mit minimalen Doppelbildeffekten bereit.
20 ist ein Flussdiagramm 420 eines Verfahrens zum Erzeugen einer verbesserten virtuellen von oben nach unten Ansicht, die von Fahrzeugfrontalkamerabildern erzeugt wird. Im Block 422 wird eine Entzerrungsberechnung auf der virtuellen von oben nach unten Ansicht durchgeführt, die von den Links- und Rechtsfrontkamerabildern konstruiert ist, um die Verzerrung zu berücksichtigen, wenn die natürlich verzerrten Bilder von den Weitwinkeloptiken der Kameras 102 und 104 geglättet sind, um gerade Linien als gerade erscheinend zu erstellen. Im Block 424 werden künstlich übermäßige Fahrzeugkarosserieteilartefakte von dem entzerrten Bild unter Verwendung der Verfahren des Flussdiagramms 300, das in 13 gezeigt wird, entfernt. Im Block 426 werden eine niedrige Auflösung und ein Bild/Videorauschen rund um die Kanten des entzerrten Bildes unter Verwendung der Verfahren des Flussdiagramms 340, wie es in 15 gezeigt wird, korrigiert. Im Block 428 wird der „Doppelbildeffekt“ in Oberflächen oder Objekten oberhalb des Bodenniveaus unter Verwendung von einem der Verfahren, die in 18 oder 19 gezeigt werden, oder mit einem der einfacheren Verfahren, die nachfolgend beschrieben werden, korrigiert. Das Ergebnis der Bildverbesserungen durch die Blöcke 424-428 ist eine virtuelle von oben nach unten Ansicht, die deutlich realistischer in ihrer Erscheinung ist als ein gewöhnliches entzerrtes Bild.
Unter Verwendung der Techniken, die oben beschrieben sind, können drei Probleme, die typischerweise mit den virtuellen von oben nach unten Ansichten assoziiert sind, und die von Mehrfachkamerabildern synthetisiert sind, gelöst werden, was in einer sehr realistischen virtuellen von oben nach unten Frontbordsteinansicht resultiert. In Prototypsystemprüfungen wurde demonstriert, dass die verbesserte virtuelle von oben nach unten Ansicht extrem hilfreich für Fahrer, die nahe von Bordsteinen und anderen Hindernissen manövrieren, ist. Die virtuellen von oben nach unten Ansichtsynthetisierungstechniken, die oben im Kontext mit einer Frontansicht diskutiert wurden, sind auch für virtuelle von oben nach unten Ansichten für den Heckbereich und die Seiten des Fahrzeugs 100 anwendbar, wenn Kamerabilder verfügbar sind. Die Techniken können auch mit mehr als zwei Kameras pro virtueller Ansicht verwendet werden. Wenn mehr als zwei Kameras verfügbar sind, um eine virtuelle von oben nach unten Frontansicht zu konstruieren, wird die resultierende Ansichtsqualität zum Beispiel verbessert, weil mehr Bildpixel als Eingaben verwendet werden können und Bildentzerrungseffekte reduziert werden können.
Wie oben erörtert, kann eine vorwärtsgerichtete perspektivische Ansicht als die größte Ansicht auf dem Anzeigesichtgerät 120 ausgewählt werden, was für Fahrer typischerweise komfortabel ist, die auf eine perspektivische Ansicht blicken. Techniken zum Verarbeiten digitaler Bilder sind in der Technik bekannt - einschließlich Entzerren von Bildern von Weitwinkeloptiken, um die Verzerrung zu entfernen, die einen Fischaugeneffekt erzeugt, bei dem Objekte in dem Frontzentrum des Bildes künstlich vergrößert werden und Objekte zu der Peripherie des Bildes verkleinert werden und von dem Zentrum weg schräg gestellt werden. Traditionelle Entzerrungstechniken und Kameramodelle können jedoch andere Probleme in den verarbeiteten Bildern erzeugen.
21 ist eine Darstellung einer perspektivischen Ansicht in Front des Fahrzeugs 100, welche Verzerrungen einschließt, die durch traditionelle Entzerrungstechniken erzeugt werden. 21 ist eine perspektivische Ansicht von im Wesentlichen der gleichen Szene, die in den vorhergehenden Figuren gezeigt wird - einschließlich der horizontalen Parkplatzgeländeoberfläche 270, der horizontalen Gehwegoberfläche 272, die sich in einer gewissen Höhe über der Oberfläche 270 erhöht, der vertikalen Fläche 274, die als ein Bordstein wirkt, und der Verbindung 276 in den Betonabschnitten der Gehwegoberfläche 272. Die perspektivische Ansicht schließt einen über Horizontbereich 440 ein, welcher Hintergrundobjekte 442 wie Bäume und Telefonmasten einschließt.
Zwei Haupttypen des Problems wurden identifiziert, die mit virtuellen perspektivischen Ansichten assoziiert sind, welche von Bildern von den Kameras 102 und 104 synthetisiert werden, wenn sie mit traditionellen Kameramodellen verarbeitet werden. Diese zwei Problemklassen, deren Lösungen im Detail unten erörtert werden, sind folgende:

1) Dehnungs- und niedrige Bildauflösungseffekte an peripheren Teilen des entzerrten Weitwinkelbildes, wegen der geradlinigen Projektion des Lochblendenmodells;
2) „Doppelbildeffekt“ in dem überlappenden Feld der Ansichtsregion und fehlende Objekte in toter Zone von fusionierten Bildern.

Das erste Problem mit perspektivischen Ansichten, welche unter Verwendung traditioneller Entzerrung durch geradlinige Projektion unter Verwendung von Lochbildkameramodellen durchgeführt werden - Dehnung und geringe Bildauflösung - wird an zwei Stellen der 21 deutlich. Erstens, die Bildauflösung ist in dem Bereich 444 aufgrund der Dehnung vermindert. Zweitens, die vertikale Verbindung 446, welche den vertikalen Abschnitt der Verbindung 276 darstellt, erscheint eher geneigt als vertikal. Zusätzlich kann ein übermäßiges Erscheinen von Karosserieteilvorsprüngen vorhanden sein, wie der Vorsprung 260, der vorher erörtert wurde, aufgrund dieser Dehnung. Diese Probleme können alle durch Verwendung neuerer Kamerabildoberflächenmodelle adressiert werden.
22 ist ein Diagramm eines Kamerabildoberflächenmodells, das verwendet werden kann, um die Verzerrungen, die in 21 zu sehen sind, zu korrigieren. Ein traditionelles Lochbildkameramodell 460 wird gezeigt, in welchem Licht von einer Szene durch eine Lochblende hindurchgeht und auf eine Bildoberfläche einwirkt. In dem traditionellen Modell 460 ist die Bildoberfläche eine flache Ebene. Diese Art des Modells resultiert in den Dehnungseffekten in dem peripheren Bereich des entzerrten Bildes, wie es in 21 gezeigt wird. Um diesen Dehnungseffekt zu korrigieren, kann eine abbildende Oberfläche 462 definiert werden, die in ihrer Form einen horizontalen Halbzylinder bildet. Unter Anwendung eines Modells der abbildenden Oberfläche 462 für das virtuelle perspektivische Bild der 21 können die Dehnungseffekte im unter Horizontbereich reduziert werden. Die zylindrische Projektion im über Horizontbereich des Bildes kann jedoch Hintergrundobjekte 442 verursachen als zum Zentrum des Bildes geneigt zu erscheinen. Um diesen unerwünschten Verzerrungseffekt zu vermeiden, kann eine abbildende Oberfläche 464 definiert werden, wobei die abbildende Oberfläche 464 in einer Form eines horizontalen Viertelzylinders für den unter dem Horizontbereich des Bildes ist und eine flache ebene Form für den über dem Horizontbereich des Bildes ist. Ein Kameramodell, das die abbildende Oberfläche 464 einschließt, um eine übergeordnete visuelle perspektivische Ansicht der Bildsynthese zu erzeugen, wurde gezeigt.
Kameramodelle mit abbildenden Oberflächen, andere als jene, die in 22 gezeigt werden, können auch definiert werden. Anstelle eines Vierteilzylinders und einer flachen Ebene wie in der Oberfläche 464 kann zum Beispiel eine Bildoberfläche mit zunehmend sich änderndem Radius der Krümmung definiert werden. Auch können Oberflächenkrümmungseffekte von links nach rechts eingeführt werden, zusammen mit den vom Boden zur Spitze verlaufenden Krümmungseffekten. Unter Verwendung unterschiedlicher Kombinationen wie diesen, können Verbindungsbildoberflächen definiert werden, die sowohl realistische als auch visuelle zufriedenstellende virtuelle perspektivische Ansichten erzeugen.
Das zweite Problem mit einer fusionierten perspektivischen Ansicht, die von Linksfront- und Rechtsfrontkamerabildern in einem „Doppelbildeffekt“ in einem überlappenden Feld der Bildregion konstruiert werden, ist in der doppelten Erscheinung des Baums 448 in 21 zu sehen. Der überlappende Bereich, der hier beschrieben wird, wird ungefähr als der Überlappungsbereich 110 der 1 gezeigt. Blindzonen - oder Gebiete, die weder durch das linke noch durch das rechte Kamerabild bedeckt werden - können auch existieren, was in fehlenden Objekten oder Texturen in der fusionierten Ansicht resultiert. Andere Verarbeitungstechniken, die unten erörtert werden, können auf die virtuelle perspektivische Ansicht angewandt werden, um Diskrepanzen in dem Überlappungsbereich oder in eine toten Zone zwischen den Bildern von der Kamera 102 und der Kamera 104 zu korrigieren.
Eine Technik, die auf den Überlappungsbereich zwischen den Linksfront- und den Rechtsfrontbildern angewandt werden kann, ist als Videoverwandlung bekannt. In der Videoverwandlungstechnik werden Merkmalspunkte, die in dem Zentrum des Überlappungsbereichs der Bilder erfasst werden und Schlüsselpunkte registriert. Die linken und rechten Bilder werden dann verwandelt, was ein Dehnen oder Transformieren bedeutet, um die Merkmalspunkte in dem fusionierten Bild aufeinander anzupassen. Vorhergehende Bildrahmen und Fahrzeugbewegungsinformationen können zur verbesserten Bildsynthese in dem Überlappungsbereich verwendet werden, wobei einige Objekte von einem Nicht-Überlappungsbereich des Bildes zu dem Überlappungsbereich bewegt werden. Unter Verwendung sowohl der Bildverwandlung als auch der vorhergehenden Bildrahmen kann eine temporäre Videoverwandlung auf die virtuelle perspektivische Ansicht, welche sowohl ein Doppelbild als auch tote Zonen in dem Überlappungsbereich korrigiert, angewandt werden.
Eine andere Technik, welche auf den Überlappungsbereich zwischen Linksfront- und Rechtsfrontbildern angewandt werden kann, ist ein Bild, das basierend auf 3D-Szene-Abschätzung wiedergegeben wird. Diese Technik ist ähnlich zu dem Verfahren, das oben in dem Flussdiagramm 380 der 18 beschrieben wurde. Wie oben erörtert, bezieht sich diese Technik auf ein Anwenden von Stereoansichten, auf eine Struktur von der Bewegung (SFM) und auf Daten von anderen an Bord vorhandenen Sensoren, um ein 3D-Modell der Szene in Front des Fahrzeugs 100 zu konstruieren, ein. Die 3D-Objektszene kann mit den Objekten in dem Bild korreliert werden und das perspektivische Ansichtsbild kann wiedergegeben werden, um das doppelte Erscheinen von irgendwelchen Objekten, wie dem Baum 448, zu eliminieren.
23 ist eine Darstellung einer perspektivischen Ansicht in Front des Fahrzeugs 100, in der die Verzerrungen, die in 21 zu sehen sind, durch Anwendung des neuen virtuellen Bildoberflächenmodells der 22 und anderer Techniken, die oben erörtert wurden, korrigiert wurden. Es kann in 23 gesehen werden, dass der Dehneffekt in der Fläche 444 aufgrund der Anwendung des zylindrischen Kamerabildmodells in dem unter dem unter Horizontbereich eliminiert wurde. Somit gibt es keinen Verlust an Auflösung in dem Bereich 444. Es kann auch in 23 gesehen werden, dass die vertikale Verbindung 446 vertikal erscheint, wie es sein sollte, aufgrund der Anwendung des zylindrischen Kamerabildmodells in dem unter Horizontbereich. Schließlich ist das Doppelbild des Baums 448 aufgrund der Anwendung der Überlappungsbereichs-Korrekturtechniken wie oben erörtert eliminiert.
24 ist ein Flussdiagramm 480 eines Verfahrens zum Erzeugen einer verbesserten perspektivischen Ansicht, die von Fahrzeugfrontalkamerabildern unter Verwendung des Kamerabildoberflächenmodells der 22 und anderer Korrekturtechniken konstruiert ist. In dem Block 482 wird eine Entzerrungsberechnung an der virtuellen perspektivischen Ansicht, die von den Links- und Rechtsfrontkamerabildern konstruiert sind, durchgeführt, um die Verzerrung zu berücksichtigen, wenn die natürlich verzerrten Bilder von der Weitwinkeloptik der Kameras 102 und 104 geglättet sind, um gerade Linien gerade erscheinend zu erstellen. Im Block 484 wird die Kameramodellbildoberfläche 464 angewandt, um das entzerrte Bild in der Dehnung und in dem unter Horizontteil des Bildes zu korrigieren, während die vertikale Erscheinung der vertikalen Objekte in dem über Horizontteil des Bildes erhalten bleibt. Im Block 486 wird der Bereich, in dem die linken und rechten Kamerabilder überlappen, korrigiert, um Doppelabbildungen der Objekte und tote Zonen zu eliminieren. Die Korrekturen in dem Überlappungsbereich können sowohl Videoverwandlungs- als auch 3D-Szenenabschätzungstechniken, wie oben erörtert, umfassen. Im Block 488 wird eine endgültige virtuelle perspektivische Ansicht bereitgestellt, welche die Korrekturen, die oben erörtert wurden, umfasst und wie sie in 23 gezeigt sind.
Unter Verwendung der Techniken, die oben beschrieben sind, können Probleme, welche typisch mit virtuellen perspektivischen Ansichten verbunden sind, die von Weitwinkelkamerabildern unter Verwendung traditioneller Kameramodelle erzeugt werden, gelöst werden, indem sie in einer sehr realistischen virtuellen frontperspektivischen Ansicht resultieren. Die virtuellen perspektivischen Ansichtssynthesentechniken, die oben im Kontext mit einer Frontansicht erörtert werden, sind auch für virtuelle perspektivische Ansichten des Heckbereichs und der Seiten des Fahrzeugs 100 anwendbar, wenn entsprechende Kamerabilder zur Verfügung stehen. Die Techniken können auch mit mehr als zwei Kameras pro virtueller Ansicht verwendet werden. Wenn mehr als zwei Kameras verfügbar sind, um eine virtuelle perspektivische Frontansicht zu konstruieren, wird zum Beispiel die sich ergebende Ansicht in der Qualität verbessert, weil mehr Bildpixel als Eingabe verwendet werden und Bildentzerrungseffekte reduziert werden können.
Verbesserte Frontbordstein-Visualisierungssysteme versehen den Fahrer mit visuellen Informationen, die sonst nicht verfügbar sind. Die Frontbordsteinansichten versehen die Fahrer mit der benötigten Assistenz, um genau ihr Fahrzeugs in der Nähe von Bordsteinen und andern frontalen Hindernissen einzuparken und mit der Gemütsruhe des Wissens, dass sie nicht zufällig an das Hindernis stoßen und das Fahrzeug beschädigen werden. Die automatische Erzeugung und Anzeige dieser Frontbordsteinansichten liefern Werte für den Fahrer, die in einer erhöhten Kundenzufriedenheit mit dem Fahrzeug und dem potentiellen Vermeiden von teuren Reparaturrechnungen resultieren.

Claims

System zum Bereitstellen verbesserter Bilder eines Bereichs in Front eines Fahrzeugs, wobei das System umfasst: - eine erste Kamera, die auf der linken Frontseite des Fahrzeugs montiert ist; - eine zweite Kamera, die auf der rechten Frontseite des Fahrzeugs montiert ist; - ein Bildakquisitionsmodul in Kommunikation mit der ersten und der zweiten Kamera, wobei das Bildakquisitionsmodul unbearbeitete Bilder von den Kameras empfängt; - einen Prozessor, der ein Speichermodul einschließt, wobei der Prozessor konfiguriert ist, um zu bestimmen, ob eine Frontbordstein-Visualisierungsanzeige basierend auf einem erfassten frontalen Einparkmanöver zu aktivieren ist, wobei der Prozessor weiterhin konfiguriert ist, um zu bestimmen, welche Bilder in der Frontbordstein-Visualisierungsanzeige einzuschließen sind, und um die Bilder, die verbesserte Bilder synthetisiert von den unbearbeiteten Bildern der Kameras einschließen, bereitzustellen; und - eine Anzeigeeinheit in einem Cockpitbereich des Fahrzeugs zum Anzeigen der Frontbordstein-Visualisierungsanzeige von dem Prozessor zum Anschauen durch einen Fahrer des Fahrzeugs.
System nach Anspruch 1, weiterhin umfassend ein Nutzereingabegerät, um dem Fahrer des Fahrzeugs zu ermöglichen, zu signalisieren, dass er eine Frontbordstein-Visualisierungsanzeige zu aktivieren wünscht.
System nach Anspruch 2, wobei das Nutzereingabegerät ein Mikrofon ist, und der Fahrer ein gesprochenes Kommando äußert, um die Frontbordstein-Visualisierungsanzeige zu aktivieren.
System nach Anspruch 1, wobei der Prozessor ein Heuristikmodul zum Erfassen eines frontalen Einparkmanövers einschließt, wobei das Heuristikmodul ein Fahrzeugstatusmessmodul zum Evaluieren der dynamischen Bedingungen des Fahrzeugs, ein Objekterfassungsmodul zum Erfassen eines Bordsteins oder eines Parkplatzes vor dem Fahrzeug und ein Kartenmodul zum Bestimmen von globalen Positionssystemdaten und digitalen Kartendaten einschließt, dass sich das Fahrzeug in einem Parkplatzgelände befindet.
System nach Anspruch 4, wobei das Heuristikmodul konfiguriert ist, um die Frontbordstein-Visualisierungsanzeige zu aktivieren, wenn eine Fahrzeuggeschwindigkeit unterhalb eines vorbestimmten Schwellwerts ist und ein Bordstein oder ein Parkplatz vor dem Fahrzeug erfasst wird.
System nach Anspruch 4, wobei das Fahrzeugzustandsmessmodul eine Fahrzeuggeschwindigkeit, einen Lenkungswinkel, eine Gierrate, eine longitudinale Beschleunigung und eine laterale Beschleunigung erfasst und das Fahrzeugzustandsmessmodul bestimmt, wann ein Einparkmanöver im Gange oder möglich ist.
System nach Anspruch 4, wobei das Objekterfassungsmodul Bildverarbeitungstechniken verwendet, um ein oder mehrere Parkplätze oder Strukturen vor dem Fahrzeug zu identifizieren, und wobei die Parkplätze oder Strukturen in der Frontbordstein-Visualisierungsanzeige eingeschlossen sind.
System nach Anspruch 7, wobei das Objekterfassungsmodul auch Signale verwendet von einem Objekterfassungssensor, um einen Bordstein oder eine Struktur vor dem Fahrzeug zu erfassen, wobei das Heuristikmodul konfiguriert ist, um die Frontbordstein-Visualisierungsanzeige zu aktivieren, wenn eine Fahrzeuggeschwindigkeit unterhalb eines vorbestimmten Schwellwerts und der Bordstein oder eine Struktur vor dem Fahrzeug erfasst worden ist.
System nach Anspruch 8, wobei der Objekterfassungssensor aus einer Gruppe ausgewählt wird, bestehend aus einem Ultraschallsensor, einem Kurzbereichsradarsensor und einem LIDAR-Sensor.
System nach Anspruch 4, wobei der Prozessor ein Modusauswahlmodul einschließt, das konfiguriert ist, um einen optimalen Anzeigemodus in der Frontbordstein-Visualisierungsanzeige basierend auf Daten von dem Heuristikmodul auszuwählen, wobei der optimale Anzeigemodus eine oder mehrere Ansichten in Front des Fahrzeugs einschließt, welche einen Parkplatz oder eine Struktur, auf welche das Fahrzeug zu bewegt wird, darstellt.