-
GEBIET
-
Die vorliegende Offenbarung betrifft ein Fahrzeug und ein Steuerverfahren dafür, die in der Lage sind, Umgebungsbilder des Fahrzeugs bereitzustellen.
-
HINTERGRUND
-
Die Angaben in diesem Abschnitt stellen lediglich Hintergrundinformationen in Bezug auf die vorliegende Erfindung/Offenbarung bereit und müssen nicht unbedingt den Stand der Technik bilden.
-
Eine Umgebungsansicht bezieht sich auf eine Funktion, die ein von oben auf ein Fahrzeug aufgenommenes Draufsichtsbild auf einem Navigationsbildschirm anzeigt, indem vier Kameras verwendet werden, die an einem vorderen und einem hinteren Abschnitt des Fahrzeugs und an unteren Enden des rechten und des linken Außenspiegels installiert sind. Der Fahrer eines Fahrzeugs kann mittels eines Rundum-Sicht-Überwachungssystems die Situation um das Fahrzeug herum auf einen Blick erfassen, so dass der Fahrer das Fahrzeug sicher parken oder auf einer engen Wegstrecke fahren kann.
-
Eine derartige Umgebungsansicht, insbesondere eine Rundumsicht kann jedoch in einer normalen Fahrumgebung in Abhängigkeit von einem Gefälle, Reifendruckschwankungen, der Anzahl von Fahrzeuginsassen und dergleichen variieren.
-
Da ein Bild, das zum Erstellen der Rundumsicht verwendet wird, unter Verwendung einer Weitwinkelkamera erhalten wird, kann darüber hinaus eine lineare Komponente in der radialen Richtung auf der Grundlage der Kameraposition verändert sein.
-
Es wurde erkannt, dass in diesem Fall ein Fahrer das Fahrzeug möglicherweise basierend auf einem verzerrten Rundumsichtbild fährt oder parkt, und dass somit Probleme in Bezug auf eine Bildkonsistenz zu einer verschlechterten Zuverlässigkeit und Sicherheit führen können.
-
ERLÄUTERUNG DER ERFINDUNG
-
Die vorliegende Erfindung/Offenbarung stellt ein Fahrzeug und ein Steuerverfahren dafür bereit, die einen Zustand eines Fahrzeugs oder ein Gefälle einer Straßenoberfläche mittels eines durch das Fahrzeug erfassten Bildes ermitteln und ein Draufsichtsbild mit einer geringeren Verzerrung bereitstellen, indem das Bild basierend auf dem Zustand des Fahrzeugs und dem Gefälle der Straßenoberfläche korrigiert wird.
-
Zusätzliche Aspekte der Erfindung/Offenbarung sind teilweise in der nachfolgenden Beschreibung erläutert und zum Teil aus der Beschreibung ersichtlich oder können durch Ausführen der Offenbarung verstanden werden.
-
In einer Ausführungsform der vorliegenden Offenbarung weist ein Fahrzeug auf: eine Anzeige, eine Bilderfassungseinheit, die konfiguriert ist, um ein Bild um das Fahrzeug herum zu erfassen, und eine Steuereinrichtung, die konfiguriert ist, um das Bild um das Fahrzeug herum basierend auf einem Unterschied zwischen dem Bild um das Fahrzeug herum und mindestens einer vorbestimmten Referenzlinie zu ändern und das geänderte Bild an die Anzeige auszugeben.
-
Die mindestens eine vorbestimmte Referenzlinie kann zum Beispiel eine Mehrzahl von vorbestimmten Referenzlinien enthalten, und die Steuereinrichtung kann eine Mehrzahl von Merkmalslinien aus dem Bild um das Fahrzeug herum extrahieren und das Bild um das Fahrzeug herum durch Vergleichen der Mehrzahl von Merkmalslinien mit der Mehrzahl von vorbestimmten Referenzlinien ändern.
-
Die Steuereinrichtung kann das Bild um das Fahrzeug herum basierend auf Winkeln ändern, die durch die Mehrzahl von Merkmalslinien und die Mehrzahl von vorbestimmten Referenzlinien definiert sind.
-
Die Steuereinrichtung kann das Bild um das Fahrzeug herum basierend auf einem Unterschied zwischen einem ersten Winkel, der durch die Mehrzahl von Merkmalslinien definiert ist, und einem zweiten Winkel, der durch die Mehrzahl von vorbestimmten Referenzlinien definiert ist, ändern.
-
Die Steuereinrichtung kann einen Betrachtungswinkel für das Bild um das Fahrzeug herum basierend auf den Winkeln, die durch die Merkmalslinien und die vorbestimmten Referenzlinien definiert sind, verkleinern, wenn der erste Winkel, der durch die Merkmalslinien definiert ist, kleiner als der zweite Winkel ist, der durch die vorbestimmten Referenzlinien definiert ist.
-
Die Steuereinrichtung kann einen Betrachtungswinkel für das Bild um das Fahrzeug herum basierend auf einem Winkel, der durch die Merkmalslinien und die vorbestimmten Referenzlinien definiert ist, vergrößern, wenn der erste Winkel, der durch die Merkmalslinien definiert ist, größer oder gleich dem zweiten Winkel ist, der durch die vorbestimmten Referenzlinien definiert ist.
-
Die Steuereinrichtung kann eine Merkmalslinie der Mehrzahl von Merkmalslinien mit einer vorbestimmten Referenzlinie der Mehrzahl von vorbestimmten Referenzlinien vergleichen, um ein Straßengefälle um das Fahrzeug herum zu ermitteln.
-
Die Steuereinrichtung kann zum Beispiel die Merkmalslinien mit den vorbestimmten Referenzlinien vergleichen, um eine Neigung des Fahrzeugs zu ermitteln.
-
Die Steuereinrichtung kann zum Beispiel die Mehrzahl von Merkmalslinien basierend auf mindestens einer von einer Parklinie, einer Fahrspur und einer stereoskopischen vertikalen Struktur extrahieren, die in dem Bild um das Fahrzeug herum enthalten ist.
-
Gemäß einem weiteren Aspekt der vorliegenden Erfindung/Offenbarung weist ein Verfahren zum Steuern eines Fahrzeugs auf: Erfassen eines Bildes um ein Fahrzeug herum und Ändern des Bildes um das Fahrzeug herum basierend auf einem Unterschied zwischen dem Bild um das Fahrzeug herum und mindestens einer vorbestimmten Referenzlinie, um das geänderte Bild auf einer Anzeige auszugeben.
-
Die mindestens eine vorbestimmte Referenzlinie kann eine Mehrzahl von vorbestimmten Referenzlinien aufweisen, und das Ändern des Bildes um das Fahrzeug herum kann das Extrahieren einer Mehrzahl von Merkmalslinien aus dem Bild um das Fahrzeug herum und das Ändern des Bildes um das Fahrzeug herum durch Vergleichen einer Merkmalslinie der Mehrzahl von Merkmalslinien mit einer vorbestimmten Referenzlinie der Mehrzahl von vorbestimmten Referenzlinien aufweisen.
-
Das Ändern des Bildes um das Fahrzeug herum kann das Ändern des Bildes um das Fahrzeug herum basierend auf Winkeln aufweisen, die durch die Mehrzahl von Merkmalslinien und die Mehrzahl von vorbestimmten Referenzlinien definiert sind.
-
Das Ändern des Bildes um das Fahrzeug herum kann das Ändern des Bildes um das Fahrzeug herum basierend auf einem Unterschied zwischen einem ersten Winkel, der durch Merkmalslinien der Mehrzahl von Merkmalslinien definiert ist, und einem zweiten Winkel, der durch vorbestimmte Linien der Mehrzahl von vorbestimmten Referenzlinien definiert ist, aufweisen.
-
Das Ändern des Bildes um das Fahrzeug herum kann das Verkleinern eines Betrachtungswinkels für das Bild um das Fahrzeug herum basierend auf den Winkeln, die durch die Merkmalslinien und die vorbestimmten Referenzlinien definiert sind, aufweisen, wenn der erste Winkel, der durch die Merkmalslinien definiert ist, kleiner als der zweite Winkel ist, der durch die vorbestimmten Referenzlinien definiert ist.
-
Das Ändern des Bildes um das Fahrzeug herum kann das Vergrößern eines Betrachtungswinkels für das Bild um das Fahrzeug herum basierend auf den Winkeln, die durch die Merkmalslinien und die vorbestimmten Referenzlinien definiert sind, aufweisen, wenn der erste Winkel, der durch die Merkmalslinien definiert ist, größer oder gleich dem zweiten Winkel ist, der durch die vorbestimmten Referenzlinien definiert ist.
-
Das Verfahren kann ferner das Vergleichen einer Merkmalslinie der Mehrzahl von Merkmalslinien mit einer vorbestimmten Linie der Mehrzahl von vorbestimmten Referenzlinien aufweisen, um ein Straßengefälle um das Fahrzeug herum zu ermitteln.
-
Das Verfahren kann ferner das Vergleichen der Merkmalslinien mit den vorbestimmten Referenzlinien aufweisen, um eine Neigung des Fahrzeugs zu ermitteln.
-
Das Verfahren kann ferner das Extrahieren der Mehrzahl von Merkmalslinien basierend auf mindestens einer von einer Parklinie, einer Fahrspur und einer stereoskopischen vertikalen Struktur aufweisen, die in dem Bild um das Fahrzeug herum enthalten ist.
-
Weitere Anwendungsgebiete sind aus der vorliegenden Beschreibung ersichtlich. Es wird angemerkt, dass die Beschreibung und spezifische Beispiele lediglich der Erläuterung dienen sollen und den Schutzbereich der vorliegenden Erfindung/Offenbarung nicht beschränken sollen.
-
Figurenliste
-
Für eine gut verständliche Offenbarung sind nachfolgend verschiedene Ausführungsformen davon beschrieben, die als Beispiel dienen sollen, wobei Bezug auf die angehängten Zeichnungen genommen wird.
-
In den Zeichnungen zeigen:
- 1 eine Ansicht, die ein Äußeres eines Fahrzeugs und einer Bilderfassungseinheit zeigt,
- 2 eine Draufsicht auf das Fahrzeug,
- 3 ein Steuer-Blockdiagramm des Fahrzeugs,
- 4A und 4B Ansichten zum Beschreiben eines Vorgangs zum Extrahieren von Merkmalslinien,
- 5A und 5B Ansichten zum Beschreiben einer Winkelübereinstimmung zwischen einem Winkel von Merkmalslinien und einem Winkel von Referenzlinien,
- 6A und 6B Ansichten zum Beschreiben eines Falls, in dem sich das Fahrzeug gemäß einer Ausführungsform auf einer Straße mit einem Abwärtsgefälle befindet,
- 7A und 7B Ansichten zum Beschreiben einer Änderung eines Bildes um ein Fahrzeug herum, wenn sich das Fahrzeug auf einer Straße mit einem Abwärtsgefälle befindet,
- 8A und 8B Ansichten zum Beschreiben eines Falls, in dem sich das Fahrzeug auf einer Straße mit einem Aufwärtsgefälle befindet,
- 9A und 9B Ansichten zum Beschreiben einer Änderung eines Bildes um ein Fahrzeug herum, wenn sich das Fahrzeug auf einer Straße mit einem Aufwärtsgefälle befindet,
- 10A und 10B Ansichten zum Beschreiben eines Falls, in dem eine linke Seite des Fahrzeugs abwärts geneigt ist,
- 11A und 11B Ansichten zum Beschreiben einer Änderung eines Bildes um das Fahrzeug herum in einem Fall der 10A und der 10B,
- 12A und 12B Ansichten zum Beschreiben eines Falls, in dem eine rechte Seite des Fahrzeugs abwärts geneigt ist,
- 13A und 13B Ansichten zum Beschreiben einer Änderung eines Bildes um das Fahrzeug herum in einem Fall der 12A und der 12B, und
- 14 ein Ablaufdiagramm, welches ein Verfahren erläutert.
-
Die hier beschriebenen Zeichnungen dienen lediglich der Erläuterung und sollen den Schutzbereich der vorliegenden Erfindung/Offenbarung in keiner Weise beschränken.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die folgende Beschreibung ist lediglich beispielhafter Natur und soll nicht als die vorliegende Offenbarung, Anwendung oder Verwendungen beschränkend verstanden werden. Es wird angemerkt, dass korrespondierende Bezugszeichen in den Figuren gleiche oder korrespondierende Teile und Merkmale bezeichnen.
-
Die vorliegende Offenbarung beschreibt nicht sämtliche Elemente der Ausführungsformen, und auf allgemeine Inhalte der verwandten Technik oder mehrfache Inhalte in den Ausführungsformen wird verzichtet. Die Begriffe „Einheit“, „Modul“, „Element“ und „Block“, die hier verwendet werden, können durch Hardware oder Software implementiert sein. Es ist auch möglich, dass eine Mehrzahl von Einheiten, Modulen, Elementen und Blöcken als ein Element implementiert ist, oder dass eine Einheit, ein Modul, ein Element oder ein Block eine Mehrzahl von Elementen gemäß den Ausführungsformen enthält.
-
In der vorliegenden Offenbarung kann ein Element, wenn es als mit einem anderen Element „verbunden“ bezeichnet ist, mit dem anderen Element direkt oder indirekt verbunden sein. Die indirekte Verbindung schließt eine Verbindung durch ein drahtloses Kommunikationsnetzwerk mit ein.
-
Wenn darüber hinaus ein Teil einige Elemente „enthält“ oder „aufweist“, bedeutet dies, sofern nicht das Gegenteil beschrieben ist, dass ferner andere Elemente enthalten jedoch nicht ausgeschlossen sein können.
-
In der vorliegenden Offenbarung kann, wenn ein Element als „auf“ einem anderen Element befindlich bezeichnet ist, ein drittes Element zwischen den beiden Elementen zusätzlich zu den zwei Elementen, die in Kontakt sind, vorhanden sein.
-
Begriffe wie zum Beispiel „erste/erster“ oder zweite/zweiter“ können verwendet werden, um ein Element von einem anderen zu unterscheiden, wobei die Elemente nicht auf die Begriffe beschränkt sind.
-
Singularformen sollen Pluralformen miteinschließen, sofern der Kontext nicht ausdrücklich etwas Gegenteiliges offenbart.
-
Bezugszeichen von Vorgängen werden für ein besseres Verständnis der Beschreibung verwendet, und die Bezugszeichen geben nicht die Reihenfolge der Vorgänge an. Die Vorgänge können in einer Reihenfolge durchgeführt werden, die sich von der beschriebenen Reihenfolge unterscheidet, sofern im Kontext nicht ausdrücklich eine bestimmte Reihenfolge beschrieben ist.
-
Nachfolgend sind ein Funktionsprinzip und Ausführungsformen der vorliegenden Erfindung/Offenbarung mit Bezug auf die angehängten Zeichnungen beschrieben.
-
1 ist eine Ansicht, die ein Äußeres eines Fahrzeugs gemäß einer Ausführungsform der vorliegenden Erfindung/Offenbarung zeigt.
-
Mit Bezug auf die 1 weist ein Äußeres eines Fahrzeugs 1 auf: Räder 12 und 13, die konfiguriert sind, um das Fahrzeug 1 zu bewegen, Türen 15L und 15R, die konfiguriert sind, um einen Innenraum des Fahrzeugs 1 nach außen abzuschirmen, eine Frontscheibe 16, die konfiguriert ist, um einem Fahrer eine Ansicht in einer Vorwärtsrichtung des Fahrzeugs 1 bereitzustellen, und Außenspiegel 14L und 14R, die konfiguriert sind, um dem Fahrer eine Ansicht in einer Rückwärtsrichtung des Fahrzeugs 1 bereitzustellen.
-
Die Räder schließen Vorderräder, die vorne am Fahrzeug vorgesehen sind, und Hinterräder, die hinten am Fahrzeug vorgesehen sind, mit ein, und eine Antriebsvorrichtung (nicht gezeigt), die in dem Fahrzeug 1 vorgesehen ist, stellt den Vorderrädern oder den Hinterrädern eine Drehkraft bereit, so dass sich das Fahrzeug 1 vorwärts oder rückwärts bewegt. Die Antriebsvorrichtung kann einen Verbrennungsmotor verwenden, der durch das Verbrennen von fossilen Brennstoffen eine Drehkraft erzeugt, oder einen Elektromotor, der Leistung erzeugt, indem er Leistung von einem Kondensator erhält.
-
Die Türen können schwenkbar auf der linken und der rechten Seite des Fahrzeugs 1 vorgesehen sein, so dass der Fahrer oder ein Beifahrer in das Fahrzeug 1 einsteigen kann, wenn die jeweilige Tür geöffnet ist, und die Tür kann den Innenraum des Fahrzeugs 1 nach außen abschirmen, wenn die Tür geschlossen ist. Türgriffe können außen am Fahrzeug 1 vorgesehen sein, um die Türen 15L und 15R zu öffnen oder zu schließen, und die Türgriffe können mit einer (nicht gezeigten) Niederfrequenzantenne (LF) versehen sein, die in der Lage ist, ein Niederfrequenzsignal zu übermitteln.
-
Die Frontscheibe 16 ist an einer vorderen oberen Seite einer Fahrzeugkarosserie vorgesehen, so dass ein Fahrer innerhalb des Fahrzeugs 1 in der Vorwärtsrichtung des Fahrzeugs 1 visuelle Informationen erfassen kann, wobei die Frontscheibe 16 auch als Windschutzscheibe bezeichnet wird.
-
Die Außenspiegel 14L und 14R schließen einen linken Außenspiegel 14L, der auf der linken Seite des Fahrzeugs 1 vorgesehen ist, und einen rechten Außenspiegel 14R, der auf der rechten Seite des Fahrzeugs vorgesehen ist, mit ein. Die Außenspiegel 14L und 14R stellen dem Fahrer visuelle Informationen für die seitliche Seite und die Rückseite des Fahrzeugs bereit.
-
Darüber hinaus kann das Fahrzeug 1 aufweisen: einen Näherungssensor, der konfiguriert ist, um Hindernisse oder andere Fahrzeuge zu detektieren, die sich hinter oder neben dem Fahrzeug 1 befinden, und einen Sensor, wie zum Beispiel einen Regensensor, der konfiguriert ist, um Regen zu antizipieren oder zu detektieren.
-
Der Näherungssensor kann ein Detektionssignal von einer seitlichen Seite oder einer hinteren Seite des Fahrzeugs übermitteln und ein Reflexionssignal empfangen, das von einem Hindernis, wie zum Beispiel einem anderen Fahrzeug reflektiert wird. Es ist möglich, die Anwesenheit oder die Abwesenheit eines Hindernisses auf der seitlichen Seite oder der Rückseite des Fahrzeugs 1 basierend auf der Wellenform des empfangenen Reflexionssignals zu detektieren und die Position des Hindernisses zu detektieren. Zum Beispiel kann der Näherungssensor Ultraschallwellen oder Infrarotstrahlen übermitteln und eine Entfernung zu einem Hindernis mittels der Ultraschallwellen oder der Infrarotstrahlen erfassen, die von dem Hindernis reflektiert werden.
-
Das Fahrzeug kann eine Bilderfassungseinheit 100 aufweisen, die Kameras 101-1, 101-2, 101-3 und 101-4 aufweist. Die Kameras 101-1, 101-2, 101-3 und 101-4, die die Bilderfassungseinheit 100 ausbilden und Bilder um das Fahrzeug herum erfassen, können an einer vorderen, einer hinteren und seitlichen Seiten des Fahrzeugs vorgesehen sein, um die Bilder zu erfassen, und die von den Kameras 101-1, 101-2, 101-3 und 101-4 erfassten Bilder können durch ein nachfolgend beschriebenes Verfahren als die Bilder um das Fahrzeug herum ausgegeben werden.
-
2 ist ein Draufsichtsbild, das gemäß einer Ausführungsform an eine Anzeige 300 des Fahrzeugs ausgegeben wird.
-
Ein Vorwärtsbild, ein Rückwärtsbild, ein Linksbild und ein Rechtsbild, die von vier Bilderfassungseinheiten erfasst werden, die jeweils an einer Fahrzeugfront, einem Kofferraum des Fahrzeugs und einem linken und einem rechten Außenspiegel installiert sind, können in das Draufsichtsbild des Fahrzeugs konvertiert werden, welches von der Oberseite des Fahrzeugs aus aufgenommen ist.
-
Das Fahrzeug kann eine Bildregistrierungs-Verarbeitungstechnik einsetzen, um die verschiedenen Vorwärts-, Rückwärts, Rechts- und Linksbilder in ein Draufsichtsbild zu konvertieren. Die Anzeigequalität des Draufsichtsbildes kann in Abhängigkeit von der Einheitlichkeit der Bildregistrierung-Verarbeitungstechnik bestimmt werden.
-
3 ist ein Steuer-Blockdiagramm des Fahrzeugs 1 gemäß einer Ausführungsform der vorliegenden Offenbarung.
-
Bezugnehmend auf die 3 kann das Fahrzeug eine Bilderfassungseinheit 100, eine Steuereinrichtung 200 und eine Anzeige 300 aufweisen.
-
Die Bilderfassungseinheit 100 kann Bilder um das Fahrzeug herum erfassen. Die Bilderfassungseinheit 100 kann mindestens eine Kamera aufweisen, die in dem Fahrzeug vorgesehen ist.
-
Die Kamera kann die Vorwärts-, Rechts-, Links- und Rückwärtsbilder des Fahrzeugs fotografieren und die fotografierten Bilder an die Steuereinrichtung 200 übermitteln. Gemäß einer Ausführungsform kann die Kamera 101 in den Außenspiegeln 14R und 14L vorgesehen sein, die in dem Fahrzeug 1 installiert sind, um Bilder um das Fahrzeug 1 herum zu erfassen.
-
Die Kamera 101, die in dem Fahrzeug 1 installiert ist, kann eine ladungsgekoppelte (CCD) Kamera 101 oder einen komplementärer-Metalloxid-Halbleiter- (CMOS) -Farbbildsensor aufweisen. CCD und CMOS beziehen sich auf einen Sensor, der durch eine Linse der Kamera 101 empfangenes Licht in ein elektrisches Signal umwandelt und das elektrische Signal speichert. Insbesondere ist die CCD-Kamera 101 eine Vorrichtung, die ein Bild unter Verwendung einer ladungsgekoppelten Vorrichtung (CCD) in ein elektrisches Signal umwandelt. Darüber hinaus bezieht sich ein CMOS-Bildsensor (CIS) auf eine Bildaufnahmevorrichtung des niedrige-Leistung-Verbrauchstyps, die eine CMOS-Struktur hat und als ein elektronischer Film einer digitalen Vorrichtung dient. Im Allgemeinen ist die CCD empfindlicher als der CIS und wird somit hauptsächlich die CCD in einem Fahrzeug 1 verwendet, wobei die vorliegende Offenbarung nicht darauf beschränkt ist.
-
Die Anzeige 300 kann als eine Anzeigevorrichtung implementiert sein, die auf einem mittleren Armaturenbrett des Fahrzeugs vorgesehen ist.
-
Die Anzeige 300 kann eine Kathodenstrahlröhre (CRT), ein digitale-Lichtverarbeitung-Paneel (DLP), ein Plasma-Anzeigepaneel (PDP), ein Flüssigkristallanzeige-Paneel (LCD), ein Elektrolumineszenzpaneel (EL), ein elektrophoretische-Anzeige-Paneel (EPD), ein elektrochrome-Anzeige-Paneel (ECD), ein lichtemittierende-Diode-Paneel (LED) oder ein organischelichtemittierende-Diode-Paneel (OLED) aufweisen, wobei die vorliegende Offenbarung nicht darauf beschränkt ist.
-
Die Steuereinrichtung 200 kann ein Draufsichtsbild des Fahrzeugs basierend auf dem Unterschied zwischen dem Bild um das Fahrzeug herum und einer vorbestimmten Referenzlinie R erzeugen und das Draufsichtsbild an die Anzeige 300 ausgeben.
-
Die vorbestimmte Referenzlinie R kann zuvor als eine Referenz zum Extrahieren eines Gefälles einer Straße um das Fahrzeug herum in der Steuereinrichtung 200 gespeichert worden sein.
-
Eine Mehrzahl von vorbestimmten Referenzlinien R, die als eine Referenz für die Steuereinrichtung 200 dienen, kann vorgesehen sein.
-
Darüber hinaus kann die Steuereinrichtung 200 eine Mehrzahl von Merkmalslinien aus dem Bild um das Fahrzeug herum extrahieren und die Merkmalslinien mit den vorbestimmten Referenzlinien R vergleichen, um das Draufsichtsbild des Fahrzeugs zu bilden.
-
Die Steuereinrichtung 200 kann das Bild um das Fahrzeug herum basierend auf Winkeln verändern, die durch die Merkmalslinien und die vorbestimmten Referenzlinien R definiert sind.
-
Insbesondere kann die Steuereinrichtung 200 das Bild um das Fahrzeug herum basierend auf dem Unterschied zwischen einem ersten Winkel, der durch die Merkmalslinien definiert ist, und einem zweiten Winkel, der durch die vorbestimmten Referenzlinien R definiert ist, ändern.
-
Die Steuereinrichtung 200 kann den Betrachtungswinkel für das Bild um das Fahrzeug herum basierend auf dem Unterschied zwischen dem ersten Winkel und dem zweiten Winkel verkleinern, wenn der erste Winkel, der durch die Merkmalslinien definiert ist, kleiner als der zweite Winkel ist, der durch die vorbestimmten Referenzlinien R definiert ist.
-
Der Betrachtungswinkel für das Bild um das Fahrzeug herum bezieht sich auf einen Winkel, der durch die Kamera und das Fahrzeug definiert ist, wobei die Kamera dazu dient, eine Ansicht für das Bild um das Fahrzeug herum zu erzeugen. Wenn der Betrachtungswinkel größer wird, kann das Bild für einen größeren Bereich um das Fahrzeug herum erfasst werden, und wenn der Betrachtungswinkel kleiner wird, kann das Bild für einen kleineren Bereich um das Fahrzeug herum erfasst werden. Der in dieser Beschreibung offenbarte Betrachtungswinkel kann als ein Betrachtungswinkel einer virtuellen Kamera im Bild um das Fahrzeug herum interpretiert werden.
-
Die Steuereinrichtung 200 kann den Betrachtungswinkel für das Bild um das Fahrzeug herum basierend auf dem Unterschied zwischen dem ersten Winkel und dem zweiten Winkel vergrößern, wenn der erste Winkel, der durch die Merkmalslinien definiert ist, größer als der zweite Winkel ist, der durch die vorbestimmten Referenzlinien R definiert ist.
-
Darüber hinaus kann die Steuereinrichtung 200 die Merkmalslinien mit den vorbestimmten Referenzlinien vergleichen, um das Gefälle der Straße um das Fahrzeug herum und die Neigung des Fahrzeugs vor der Bildverarbeitung zu ermitteln, wobei Einzelheiten hiervon nachfolgend beschrieben sind.
-
Die Steuereinrichtung 200 kann die Mehrzahl von Merkmalslinien basierend auf mindestens einer von einer Parklinie, einer Fahrspur und einer stereoskopischen vertikalen Struktur extrahieren, die in dem Bild um das Fahrzeug herum enthalten ist.
-
Die Merkmalslinien beziehen sich auf Linien, die mit zuvor gespeicherten Referenzlinien R verglichen werden können, um das Gefälle der Straße in dem Bild um das Fahrzeug herum zu ermitteln, oder um die Neigung des Fahrzeugs zu ermitteln, und können basierend auf geraden Linien extrahiert werden, die in dem Bild um das Fahrzeug herum enthalten sind.
-
Die Steuereinrichtung 200 kann aufweisen: einen (nicht gezeigten) Speicher, der konfiguriert ist zum Speichern eines Algorithmus zum Steuern der Funktion von Komponenten in dem Fahrzeug oder von Daten eines Programms, das konfiguriert ist, um den Algorithmus wiederzugeben, und einen Prozessor (nicht gezeigt), der die obige Funktion unter Verwendung der in dem Speicher gespeicherten Daten ausführt. In diesem Fall können der Speicher und der Prozessor als getrennte Chips implementiert sein. Alternativ können der Speicher und der Prozessor als ein einziger Chip implementiert sein.
-
Mindestens eine Komponente kann entsprechend der Leistung der Komponenten des Fahrzeugs, wie in 3 gezeigt, hinzugefügt oder entfernt werden. Der Fachmann auf dem Gebiet wird leicht erkennen, dass die relative Position der Komponenten entsprechend der Leistung oder der Struktur des Systems geändert werden kann.
-
Die in 3 gezeigten Komponenten beziehen sich auf Softwarekomponenten und/oder Hardwarekomponenten, wie zum Beispiel ein Field Programmable Gate Array (FPGA) und einen anwendungsspezifischen integrierten Schaltkreis (ASIC).
-
4A und 4B sind Ansichten zum Beschreiben eines Vorgangs zum Extrahieren von Merkmalslinien gemäß einer Ausführungsform der vorliegenden Erfindung/Offenbarung.
-
Mit Bezug auf die 4A und 4B kann das Bild um das Fahrzeug 1 herum gerade Linienelemente, wie zum Beispiel Parklinien L41 und L42 und Straßenlinien L43 und L44 aufweisen. Da die Parklinien L41 und L42 auf der Straße unter Berücksichtigung von Straßenoberflächeneigenschaften vorgesehen sind, kann die Steuereinrichtung die geraden Linienkomponenten der Parklinien aus dem Bild, das durch die Bilderfassungseinheit erfasst wird, als Merkmalslinien extrahieren.
-
Gemäß einer weiteren Ausführungsform kann es aufgrund einer Beschleunigung oder einer Neigung des Fahrzeugs oder einer Luftdruckdifferenz zu einer Winkelverformung in einem vorderen und einem hinteren Bereich kommen, da die Straßenlinien L43 und L44 als gerade Linien in der Fahrtrichtung des Fahrzeugs dargestellt sind. Somit kann die Steuereinrichtung die geraden Linien der Straßenlinien als Merkmalslinien extrahieren, um die geraden Linien mit den zuvor gespeicherten Referenzlinien R, wie oben beschrieben, zu vergleichen.
-
Gemäß einer weiteren Ausführungsform können die Merkmalslinien aus einer stereoskopischen vertikalen Struktur erfasst werden, die in dem Bild um das Fahrzeug herum enthalten ist. Die stereoskopische vertikale Struktur kann ein Gebäude oder eine Vorrichtung auf dem Boden enthalten, das/die in dem Bild um das Fahrzeug herum enthalten ist, und der Typ der stereoskopischen vertikalen Struktur muss nicht beschränkt sein, solange das Gefälle der Straße und die Neigung des Fahrzeugs aus der stereoskopischen vertikalen Struktur ermittelt werden können.
-
5A und 5B sind Ansichten zum Beschreiben einer Winkelübereinstimmung zwischen dem Winkel der Merkmalslinie und dem Winkel der Referenzlinie R gemäß einer Ausführungsform der vorliegenden Erfindung/Offenbarung.
-
Bezugnehmend auf die 5A und die 5B wird die zuvor in der Steuereinrichtung gespeicherte Referenzlinie R mit der Merkmalslinie verglichen, die aus dem Bild um das Fahrzeug herum extrahiert wird.
-
Die Referenzlinien R können zuvor zum Zeitpunkt des Herstellens des Fahrzeugs in der Steuereinrichtung gespeichert worden sein. Die Referenzlinie R kann als eine Referenz zum Ermitteln des Grades des Gefälles der Straße in dem erfassten Bild um das Fahrzeug herum dienen. Die Steuereinrichtung kann die Merkmalslinie in dem Bild um das Fahrzeug herum, die wie oben beschrieben extrahiert wird, mit der zuvor gespeicherten Referenzlinie R vergleichen, um das Gefälle der Straße zu ermitteln, auf der sich das Fahrzeug befindet.
-
Die Referenzlinie R und eine Merkmalslinie F5 können Längen- und Winkelkomponenten beinhalten. Die Länge kann voreingestellt sein, um die Referenzlinie R und die Merkmalslinie F5 miteinander zu vergleichen. Winkel PR und PF können durch zwei gerade Linien definiert sein. Wenn der Winkel PR, der durch die Referenzlinie R definiert ist, gleich einem Winkel PF5 ist, der aus dem Bild um das Fahrzeug herum erfasst wird, kann die Steuereinrichtung ermitteln, dass der Winkel Null ist, was anzeigt, dass um das Fahrzeug herum kein Gefälle vorliegt. Obwohl die 5A die Referenzlinie R und die Merkmalslinie F5 derart zeigt, dass diese im Wesentlichen miteinander übereinstimmen, kann darüber hinaus die Steuereinrichtung ermitteln, dass die Straße, wo sich das Fahrzeug befindet, eine flache Straße ist, wenn die durch die Merkmalslinie und die Referenzlinie R definierten Winkel im Wesentlichen miteinander übereinstimmen, selbst wenn die Merkmalslinie und die Referenzlinie R nicht miteinander übereinstimmen.
-
Das bedeutet, dass, selbst wenn die Steuereinrichtung ermittelt, dass die Referenzlinie und die Merkmalslinie nicht im Wesentlichen miteinander übereinstimmen, da sich die Position der Referenzlinie R von der Position der Merkmalslinie F5 unterscheidet, die Steuereinrichtung ermitteln kann, dass die Straße flach ist oder das Fahrzeug nicht zu einer Seite geneigt ist, wenn der Winkel, der durch die Referenzlinie R definiert ist, im Wesentlichen gleich einem Winkel ist, der durch die Merkmalslinie F5 definiert ist.
-
In einer weiteren Ausführungsform der vorliegenden Offenbarung sind die 6A und die 6B Ansichten zum Beschreiben eines Falls, in dem sich das Fahrzeug auf einer Straße mit einem Abwärtsgefälle befindet, und sind die 7A und 7B Ansichten zum Beschreiben einer Änderung eines Bildes um ein Fahrzeug herum, wenn sich das Fahrzeug auf einer Straße mit einem Abwärtsgefälle befindet.
-
Bezugnehmend auf die 6A und die 6B befindet sich die Merkmalslinie F6 der Straße außerhalb der Referenzlinie R des Fahrzeugs. Die Merkmalslinie F6 des Bildes um das Fahrzeug herum kann wie in 6A vorgesehen sein, wenn die Straße abwärts geneigt ist.
-
In diesem Fall kann ein Winkel PF6, der durch die Merkmalslinien F6 des Bildes um das Fahrzeug herum definiert ist, kleiner als ein Winkel sein, der durch die Referenzlinie R definiert ist. Die Steuereinrichtung kann den Winkel PF6, der durch die Merkmalslinien F6 definiert ist, mit dem Winkel PR vergleichen, der durch die Referenzlinie R gebildet ist. Die Steuereinrichtung kann ermitteln, dass das Gefälle der Straße, auf der sich das Fahrzeug befindet, ein Abwärtsgefälle ist, wenn der Winkel, der durch die Merkmalslinie F6 definiert ist, kleiner als der Winkel PR ist, der durch die Referenzlinie R definiert ist. Darüber hinaus kann die Steuereinrichtung das Bild um das Fahrzeug herum basierend auf den Winkeln verändern, die durch die Merkmalslinie und die vorbestimmte Referenzlinie R definiert sind.
-
7A und 7B erläutert die Situation der 6A und der 6B durch einen Betrachtungswinkel des Fahrzeugs. Das bedeutet, dass, wenn ein Gefälle einer Seitenstraße des Fahrzeugs ein Abwärtsgefälle ist, die Steuereinrichtung einen Betrachtungswinkel AA7 verkleinern kann, um das Draufsichtsbild zu erzeugen. Der Vorgang des Änderns des Betrachtungswinkels kann basierend auf den Winkeln durchgeführt werden, die durch die Merkmalslinie und die vorbestimmte Referenzlinien definiert sind.
-
Der Betrachtungswinkel AA7, der in 7B gezeigt ist, kann als ein Betrachtungswinkel einer virtuellen Kamera in dem Bild um das Fahrzeug herum interpretiert werden, das durch das Fahrzeug erfasst wird. Die Steuereinrichtung kann basierend auf dem Bild, in dem der Betrachtungswinkel AA7 verkleinert ist, eine Draufsicht erzeugen, um die Konvertierungsgenauigkeit zwischen tatsächlichen Koordinaten und Bildkoordinaten zu sichern, wodurch die Genauigkeit der Bilderkennung und dergleichen verbessert ist.
-
In einer Ausführungsform der vorliegenden Offenbarung sind die 8A und die 8B Ansichten zum Beschreiben eines Falls, in dem sich das Fahrzeug auf einer Straße mit einem Aufwärtsgefälle befindet, und sind die 9A und die 9B Ansichten zum Beschreiben einer Änderung eines Bildes um ein Fahrzeug herum, wenn sich das Fahrzeug auf einer Straße mit einem Aufwärtsgefälle befindet.
-
Bezugnehmend auf die 8A befindet sich die Merkmalslinie F8 innerhalb der Referenzlinie R des Fahrzeugs. Die Merkmalslinie des Bildes um das Fahrzeug herum kann wie in 8A vorgesehen sein, wenn die Straße ein Aufwärtsgefälle hat.
-
In diesem Fall kann ein Winkel F8, der durch die Merkmalslinie des Bildes um das Fahrzeug herum definiert ist, größer als der Winkel sein, der durch die Referenzlinie R definiert ist. Die Steuereinrichtung kann den Winkel F8, der durch die Merkmalslinie definiert ist, mit dem Winkel vergleichen, der durch die Referenzlinie R definiert ist. Die Steuereinrichtung kann ermitteln, dass das Gefälle der Straße, auf der sich das Fahrzeug befindet, ein Aufwärtsgefälle ist, wenn der Winkel F8, der durch die Merkmalslinie definiert ist, größer als der Winkel PR ist, der durch die Referenzlinie R definiert ist. Die Steuereinrichtung kann das Bild um das Fahrzeug herum basierend auf einem Winkel FF8 ändern, der durch die Merkmalslinie und die vorbestimmte Referenzlinie R definiert ist.
-
9A und 9B zeigen die Situation der 8A und der 8B durch einen Betrachtungswinkel A9 des Fahrzeugs. Das bedeutet, dass, wenn das Gefälle der Seitenstraße des Fahrzeugs ein Aufwärtsgefälle ist, die Steuereinrichtung einen Betrachtungswinkel AA9 des Bildes um das Fahrzeug herum vergrößern kann, um eine Draufsicht zu erzeugen. Die Steuereinrichtung kann den Betrachtungswinkel basierend auf dem Winkel FF8, der durch die Merkmalslinie und die vorbestimmte Referenzlinie R definiert ist, ändern.
-
Der Betrachtungswinkel, der in der 8A und der 8B gezeigt ist, kann als der Betrachtungswinkel A9 der virtuellen Kamera in dem Bild um das Fahrzeug herum interpretiert werden, welches durch das Fahrzeug erfasst wird. Die Steuereinrichtung kann basierend auf dem Bild, in dem der Betrachtungswinkel AA9 verkleinert ist, eine Draufsicht erzeugen, um die Konvertierungsgenauigkeit zwischen tatsächlichen Koordinaten und Bildkoordinaten sicherzustellen, wodurch die Genauigkeit der Bilderkennung und dergleichen verbessert ist.
-
In einer weiteren Ausführungsform der vorliegenden Erfindung/Offenbarung sind die 10A und die 10B Ansichten zum Beschreiben eines Falls, in dem eine linke Seite des Fahrzeugs nach unten geneigt ist, und die 11A und die 11B sind Ansichten zum Beschreiben einer Änderung eines Bildes um das Fahrzeug herum in einem Fall der 10A und der 10B.
-
Bezugnehmend auf die 10A und die 10B ist eine linke Seite des Fahrzeugs abgesenkt und ist eine rechte Seite des Fahrzeugs erhöht, wenn das Fahrzeug von hinten betrachtet wird.
-
Dieser Fall ähnelt der Situation der 6A und der 6B, wo sich eine Straße mit einem Abwärtsgefälle auf einer lateralen Seite des Fahrzeugs befindet. Das bedeutet, dass der Fall, der in der 10A und der 10B gezeigt ist, das gleiche Verhältnis der Referenzlinie R und der Merkmalslinie F10 wie in 6A haben kann. Wenn das Fahrzeug nach links geneigt ist, kann sich die Merkmalslinie F10 des Bildes um das Fahrzeug herum außerhalb der Referenzlinie R befinden. Die Merkmalslinie F10, die sich außerhalb der Referenzlinie R befindet, kann den Winkel PF10 definieren, der kleiner als der Winkel PR ist, der durch die Referenzlinie R definiert ist. In diesem Fall ist es auch möglich, das Bild um das Fahrzeug herum zu korrigieren, um die Genauigkeit des Draufsichtsbildes, das durch die Steuereinrichtung gebildet wird, zu verbessern. Darüber hinaus kann die Steuereinrichtung das Bild um das Fahrzeug herum basierend auf einem Winkel FF10 korrigieren, der durch die Merkmalslinie und die Referenzlinie definiert ist.
-
Bezugnehmend auf die 11A und die 11B kann das Draufsichtsbild in einer Ausführungsform der vorliegenden Offenbarung durch Verkleinern eines Betrachtungswinkels A11 des Bildes um das Fahrzeug herum gebildet werden, da das Draufsichtsbild, das durch die Steuereinrichtung gebildet wird, verzerrt sein kann, wenn das Fahrzeug nach links geneigt ist. Das Korrigieren des Bildes um das Fahrzeug herum bei einer Neigung des Fahrzeugs nach links kann dem Vorgang entsprechen, wenn das Gefälle der Straße um das Fahrzeug herum ein Abwärtsgefälle ist.
-
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung sind die 12A und die 12B Ansichten zum Beschreiben eines Falls, in dem eine rechte Seite des Fahrzeugs nach unten geneigt ist, und sind die 13A und die 13B Ansichten zum Beschreiben einer Änderung eines Bildes um das Fahrzeug herum in einem Fall der 12A und der 12B.
-
Bezugnehmend auf die 12A und die 12B ist eine rechte Seite des Fahrzeugs abgesenkt und ist eine linke Seite des Fahrzeugs erhöht, wenn das Fahrzeug von hinten betrachtet wird.
-
Dieser Fall ähnelt der Situation der 8A und der 8B, wo sich eine Straße mit einem Aufwärtsgefälle (z.B. einer Aufwärtsneigung) auf einer seitlichen Seite des Fahrzeugs befindet. Das bedeutet, dass der Fall, der in der 12A und der 12B gezeigt ist, das gleiche Verhältnis der Referenzlinie R und einer Merkmalslinie F12 haben kann, wie in der 8A. Wenn das Fahrzeug nach rechts geneigt ist, kann sich die Merkmalslinie F12 des Bildes um das Fahrzeug herum innerhalb der Referenzlinie R befinden. Die Merkmalslinie F12, die sich innerhalb der Referenzlinie R befindet, kann den Winkel PF12 definieren, der größer als den Winkel ist, der durch die Referenzlinie R definiert ist. In diesem Fall ist es auch möglich, das Bild um das Fahrzeug herum zu korrigieren, um die Genauigkeit des Draufsichtsbildes, das durch die Steuereinrichtung erzeugt wird, zu verbessern. Darüber hinaus kann die Steuereinrichtung das Bild um das Fahrzeug herum basierend auf dem Winkel FF12 korrigieren, der durch die Merkmalslinie und die Referenzlinie definiert ist.
-
Bezugnehmend auf die 13A und die 13B kann das Draufsichtsbild durch Vergrößern eines Betrachtungswinkels AA13 des Bildes um das Fahrzeug herum erzeugt werden, da das Draufsichtsbild, das durch die Steuereinrichtung erzeugt wird, verzerrt sein kann, wenn das Fahrzeug nach rechts geneigt ist. Das Korrigieren des Bildes um das Fahrzeug herum bei einer Neigung des Fahrzeugs nach rechts kann dem Vorgang entsprechen, wenn das Gefälle der Straße um das Fahrzeug herum ein Aufwärtsgefälle ist.
-
14 ist ein Ablaufdiagramm gemäß einer Ausführungsform der vorliegenden Offenbarung.
-
Bezugnehmend auf die 14 wird ein Bild um ein Fahrzeug herum erfasst (1001) und wird eine Merkmalslinie basierend auf dem Bild um das Fahrzeug herum extrahiert (1002). Eine Steuereinrichtung vergleicht eine Referenzlinie R mit einer Merkmalslinie (1003) und ändert das Bild um das Fahrzeug herum, um ein Draufsichtsbild mit einer geringeren Verzerrung zu bilden (1004). Die Steuereinrichtung kann das Draufsichtsbild basierend auf dem geänderten Bild um das Fahrzeug herum an eine Anzeige des Fahrzeugs ausgeben (1005).
-
Die offenbarten Formen können als ein Aufzeichnungsmedium zum Speichern von Befehlen implementiert sein, die durch einen Rechner ausführbar sind. Die Befehle können als Programmcode gespeichert sein und können ein Programmmodul erzeugen, wenn sie durch einen Prozessor ausgeführt werden, um die Vorgänge der offenbarten Ausführungsformen durchzuführen. Das Aufzeichnungsmedium kann als ein computerlesbares Aufzeichnungsmedium implementiert sein.
-
Das computerlesbare Aufzeichnungsmedium kann jede Art von Aufzeichnungsmedium enthalten, bei dem Befehle gespeichert sind, die durch einen Rechner entschlüsselt werden können. Zum Beispiel kann das Aufzeichnungsmedium einen Nur-Lese-Speicher (ROM), einen Vielfachzugriffsspeicher (RAM), ein Magnetband, einen Magnetplattenspeicher, einen Flash-Speicher, eine optische Datenspeichervorrichtung und dergleichen aufweisen.
-
Wie aus der obigen Beschreibung ersichtlich, können ein Fahrzeug und ein Steuerverfahren dafür gemäß einer Ausführungsform der vorliegenden Erfindung/Offenbarung einen Zustand des Fahrzeugs oder ein Gefälle einer Straßenoberfläche unter Verwendung eines Bildes ermitteln, das von dem Fahrzeug erfasst wird, und ein Draufsichtsbild mit einer geringeren Verzerrung durch Korrigieren des Bildes basierend auf dem Zustand des Fahrzeugs und dem Gefälle der Straßenoberfläche bereitstellen.
-
Der Fachmann auf dem Gebiet wird verstehen, dass verschiedene Änderungen an der Form und an Details durchführbar sind, ohne dabei den Schutzbereich der vorliegenden Offenbarung/Erfindung zu verlassen. Die offenbarten Ausführungsformen dienen lediglich der Erläuterung und sollen die vorliegende Offenbarung nicht beschränken.
