DE112018004496T5

DE112018004496T5 - Bildverarbeitungsvorrichtung

Info

Publication number: DE112018004496T5
Application number: DE112018004496.3T
Authority: DE
Inventors: Kenji Kohara
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2017-10-13
Filing date: 2018-10-11
Publication date: 2020-10-08
Also published as: US20200231099A1; JP2019074850A; WO2019074065A1; CN111201788A

Abstract

Eine Bildverarbeitungsvorrichtung (3) ist an einem Fahrzeug montiert. Die Bildverarbeitungsvorrichtung beinhaltet eine Bilderlangungseinheit (25), eine Grenzfestlegungseinheit (29), eine Anzeigebilderzeugungseinheit (31) und eine Richtungsänderungserlangungseinheit (27). Die Anzeigebilderzeugungseinheit erzeugt ein Anzeigebild durch Synthetisieren mehrerer Bilder an den Grenzen. Die Richtungsänderungserlangungseinheit erlangt eine Änderungsrichtung von einer geraden Fahrtrichtung des Fahrzeugs und einen Änderungsbetrag. Die Anzeigebilderzeugungseinheit legt einen Anzeigebereich des Anzeigebilds näher an der Richtung der Änderung von der geraden Fahrrichtung fest, wenn der Änderungsbetrag von der Fahrtrichtung zunimmt. Die Grenzfestlegungseinheit legt eine Position mindestens einen Teil einer Grenze, die näher an der Änderungsrichtung von Grenzen innerhalb des Anzeigebilds existiert, näher an der Änderungsrichtung fest, wenn der Änderungsbetrag zunimmt.

Description

[Querverweis auf zugehörige Anmeldung]
Die vorliegende internationale Anmeldung beansprucht die Priorität basierend auf der japanischen Patentanmeldung mit der Nummer 2017-199383 , die am 13. Oktober 2017 beim japanischen Patentamt eingereicht wurde und deren gesamter Inhalt hier durch Verweis aufgenommen wird.
[Technisches Gebiet]
Die vorliegende Offenbarung betrifft eine Bildverarbeitungsvorrichtung.
[Stand der Technik]
Herkömmlicherweise ist eine Bildverarbeitungsvorrichtung bekannt, wie sie nachfolgend beschrieben ist. Mehrere Bilder, die die Umgebungen eines Fahrzeugs repräsentieren, werden unter Verwendung mehrerer Kameras erlangt. Ein Anzeigebild betrachtet von einem Gesichtspunkt eines Fahrers des Fahrzeugs wird durch Synthetisieren der mehreren Bilder erzeugt. Diese Bildverarbeitungsvorrichtung ist in Patentdokument 1 offenbart.
[Literaturliste]
[Patentliteratur]
[Patentdokument 1] JP 6014433 B
[Überblick über die Erfindung]
Als ein Ergebnis detaillierter Studien durch den Erfinder wurden die folgenden Probleme herausgefunden. Innerhalb eines Anzeigebilds gibt es Grenzen zwischen mehreren Bildern, die zur Synthese verwendet werden. In einem Fall, in dem sich eine Fahrtrichtung eines Fahrzeugs ändert, ist es denkbar, einen Anzeigebereich des Anzeigebilds zu einer Richtung zu ändern, in der die Fahrtrichtung geändert wird (nachfolgend als eine Richtung einer Änderung von einer geraden Fahrtrichtung bezeichnet). Beispielsweise in einem Fall, in dem linke und rechte Grenzen zwischen einem Bild, das durch eine Frontkamera aufgenommen wird, und Bildern, die durch Seitenkameras aufgenommenen werden, jeweils an Positionen bei 45 Grad bezüglich der geraden Fahrtrichtung festgelegt sind, wenn das Fahrzeug geradeaus fährt, falls die Positionen der Grenzen immer fixiert sind, in einem Fall, in dem der Anzeigebereich des Anzeigebilds zur Richtung der Änderung von der geraden Fahrrichtung bewegt wird, nähert sich eine Position mindestens eines Teils der Grenzen einer Mitte eines Anzeigebildschirms.
In dem Bild nahe der Grenze kann ein Phänomen wie Verzerrung oder, dass ein Objekt doppelt angezeigt wird, aufgrund einer Differenz von Abbildungspositionen von zwei Bildern, die zu synthetisieren sind, oder durch Konversion auftreten. Demnach kann das Bild nahe der Grenze Unbehagen des Benutzers verursachen. Die Abbildungspositionen sind Positionen, an denen die Kameras vorgesehen sind. Ist die Grenze nahe der Mitte des Anzeigebilds angeordnet, wird es schwierig für einen Passagier des Fahrzeugs ein Umgebungsobjekt von dem Anzeigebild zu erkennen. In einem Aspekt der vorliegenden Offenbarung ist es bevorzugt, eine Bildverarbeitungsvorrichtung bereitzustellen, die verhindern kann, dass sich die Grenze der Mitte des Anzeigebildschirms annähert.
Ein Aspekt der vorliegenden Offenbarung ist eine Bildverarbeitungsvorrichtung, die konfiguriert ist, um an einem Fahrzeug montiert zu werden. Eine Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung beinhaltet eine Bilderlangungseinheit, die konfiguriert ist, um mehrere Bilder zu erlangen, in denen Teile von Bereichen, die angezeigt werden können, sich einander überlappen, unter Verwendung mehrerer Kameras, die die Umgebungen des Fahrzeugs aufnehmen.
Eine Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung beinhaltet eine Grenzfestlegungseinheit, die konfiguriert ist, um Grenzen von Bildern, in denen Teile der Bereiche, die angezeigt werden können, sich überlappen und die in den mehreren Bildern beinhaltet sind, innerhalb Bereichen festzulegen, in denen sich die Bereiche, die angezeigt werden, überlappen.
Eine Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung beinhaltet eine Anzeigebilderzeugungseinheit, die konfiguriert ist, um ein Anzeigebild betrachtet von einem Gesichtspunkt innerhalb eines Fahrzeuginnenraums des Fahrzeugs durch Synthetisieren von mindestens Teilen der mehreren Bilder an den Grenzen zu erzeugen.
Eine Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung beinhaltet eine Ausgabeeinheit, die konfiguriert ist, um das Anzeigebild auszugeben.
Eine Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung beinhaltet eine Richtungsänderungserlangungseinheit, die konfiguriert ist, um eine Richtung einer Änderung von einer geraden Fahrtrichtung des Fahrzeugs und einen Änderungsbetrag von der geraden Fahrtrichtung zu erlangen.
Die Bildanzeigeerzeugungseinheit ist konfiguriert, um einen Anzeigebereich des Anzeigebilds näher zur Änderungsrichtung festzulegen, wenn der Änderungsbetrag zunimmt, und die Grenzfestlegungseinheit ist konfiguriert, um eine Position mindestens eines Teils von mindestens der Grenze, die auf der Änderungsrichtung existiert, von den Grenzen innerhalb des Anzeigebilds näher an der Änderungsrichtung festzulegen, wenn der Änderungsbetrag zunimmt.
Die Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung legt den Anzeigebereich des Anzeigebilds näher an die Richtung der Änderung von der geraden Fahrrichtung fest, wenn der Änderungsbetrag von der geraden Fahrtrichtung zunimmt. Wenn die Positionen der Grenzen bezüglich mehrerer Bilder immer fixiert wären, würde sich die Position eines Teils der Grenzen der Mitte des Anzeigebilds nähern, wenn der Änderungsbetrag von der geraden Fahrtrichtung zunimmt.
Ist das Bild nahe der Grenze, kann es unklar sein und kann den Benutzer veranlassen, sich unwohl zu fühlen. Befindet sich die Grenze nahe der Mitte des Anzeigebilds, wird es schwierig für einen Passagier des Fahrzeugs ein Umgebungsziel aus dem Anzeigebild zu erkennen.
Eine Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung legt eine Position mindestens eines Teils der Grenze, die näher an der Richtung der Änderung von der geraden Fahrrichtung existiert, von den Grenzen innerhalb des Anzeigebilds näher an der Richtung der Änderung von der geraden Fahrrichtung fest, wenn der Änderungsbetrag von der geraden Fahrtrichtung zunimmt. Demnach kann die Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung verhindern, dass die Position der Grenze sich der Mitte des Anzeigebilds nähert, sogar in einem Fall, in dem die Fahrtrichtung des Fahrzeugs sich ändert. Demzufolge wird es einfach für einen Passagier des Fahrzeugs, ein Ziel in der Umgebung aus dem Anzeigebild zu erkennen.
Ferner geben Bezugszeichen in Klammern in den Ansprüchen Korrespondenzbeziehungen mit spezifischen Mitteln in Ausführungsformen an, die später als ein Aspekt beschrieben werden, und beschränken einen technischen Umfang der vorliegenden Offenbarung nicht.
Figurenliste

1 ist ein Blockschaltbild, das Konfigurationen eines fahrzeuggebunden Systems und einer Bildverarbeitungsvorrichtung illustriert;
2 ist ein Blockschaltbild, das eine funktionelle Konfiguration der Bildverarbeitungsvorrichtung illustriert;
3 ist eine Vogelperspektivansicht, die mehrere Bilder und Grenzen illustriert;
4 ist ein Ablaufdiagramm, das eine Verarbeitung illustriert, die durch die Bildverarbeitungsvorrichtung auszuführen ist;
5 ist eine Vogelperspektivansicht, die eine Konfiguration eines Gesichtspunkts, eine Sichtlinienrichtung, eines Anzeigebereich oder dergleichen illustriert;
6 ist ein erläuterndes Diagramm, das ein Beispiel eines Anzeigebilds illustriert;
7 ist eine Vogelperspektivansicht, die eine Konfiguration eines Gesichtspunkts, einer Sichtlinienrichtung, eines Anzeigebereich oder dergleichen illustriert;
8 ist ein erläuterndes Diagramm, das ein Beispiel des Anzeigebilds illustriert; und
9 ist ein erläuterndes Diagramm, das ein Verfahren zum Festlegen einer Grenze illustriert.

[Beschreibung von Ausführungsformen]
Exemplarische Ausführungsformen der vorliegenden Offenbarung werden nachstehend unter Bezugnahme auf die Zeichnungen beschrieben.
<Erste Ausführungsform>
1. Konfigurationen von fahrzeuggebundem System 1 und Bildverarbeitungsvorrichtung 3.
Die Konfigurationen eines fahrzeuggebundenen Systems 1 und einer Bildverarbeitungsvorrichtung 3 werden gemäß 1 bis 3 beschrieben. Das fahrzeuggebunde System 1, das in 1 illustriert ist, ist ein System, das an einem Fahrzeug montiert ist. Nachfolgend wird das Fahrzeug, an dem das fahrzeuggebundene System 1 montiert ist, als ein Eigenfahrzeug bezeichnet. Das fahrzeuggebundene System 1 beinhaltet eine Bildverarbeitungsvorrichtung 3, eine Frontkamera 5, eine rechte Kamera 7, eine linke Kamera 9 und eine hintere Kamera 11. Die Bildverarbeitungsvorrichtung 3 und die Kameras 5, 7, 9 und 11 sind über eine Bildübertragungsleitung wie LVDS verbunden. Bilddaten, die durch die jeweiligen Kameras 5, 7, 9 und 11 aufgenommen werden, werden an die Bildverarbeitungsvorrichtung 3 nach Bedarf übertragen. Das fahrzeuggebundene System 1 ist mit einem Schaltsensor 13, einem Lenkwinkelsensor 15 und einem Hindernissensor 16 über einen fahrzeuggebundenen Kommunikationsbus wie ein fahrzeuggebundenes CAN (eingetragene Marke) und LIN verbunden. Das fahrzeuggebundene System 1 und eine Anzeige 17 sind über eine Bildübertragungsleitung verbunden.
Die Bildverarbeitungsvorrichtung 3 beinhaltet einen Mikrocomputer mit einer CPU 19 und einem Halbleiterspeicher (nachfolgend als Speicher 21 bezeichnet) wie beispielsweise ein RAM und ein ROM. Jede Funktion der Bildverarbeitungsvorrichtung 3 wird durch die CPU 19 realisiert, die ein Programm ausführt, das in einem nichtflüchtigen, computerlesbaren Speichermedium gespeichert ist. In diesem Beispiel entspricht der Speicher 21 einem nichtflüchtigen, computerlesbaren Speichermedium, das ein Programm speichert. Ferner wird ein Verfahren entsprechend dem Programm dadurch ausgeführt, dass dieses Programm ausgeführt wird. Es ist zu beachten, dass die Bildverarbeitungsvorrichtung 3 einen Mikrocomputer oder mehrere Mikrocomputer beinhalten kann.
Wie in 2 illustriert ist, beinhaltet die Bildverarbeitungsvorrichtung 3 eine Anzeigerichtungsbestimmungseinheit 23, eine Bilderlangungseinheit 25, eine Richtungsänderungserlangungseinheit 27, eine Grenzfestlegungseinheit 29, eine Anzeigebilderzeugungseinheit 31, eine Ausgabeeinheit 33 und eine Hinderniserfassungseinheit 35.
Ein Verfahren zum Realisieren von Funktionen der jeweiligen Einheiten, die in der Bildverarbeitungsvorrichtung 3 beinhaltet sind, ist nicht auf Software beschränkt und ein Teil oder alle der Funktionen kann unter Verwendung eines oder mehrerer Stücke von Hardware realisiert werden. Beispielsweise in einem Fall, in dem die vorstehend beschriebenen Funktionen durch eine elektronische Schaltung realisiert werden, die Hardware ist, kann die elektronische Schaltung durch eine Digitalschaltung, eine Analogschaltung oder eine Kombination der beiden realisiert werden.
Wie in 3 illustriert ist, nimmt die Frontkamera 5 einen vorderen Abschnitt der Umgebungen des Eigenfahrzeugs 36 auf und erzeugt ein Bild (nachfolgend als ein Frontbild 37 bezeichnet). Die Frontkamera 5 beinhaltet beispielsweise ein Fischaugenobjektiv oder dergleichen. Ein Anzeigebereich bzw. anzeigbarer Bereich 37A des Frontbilds 37 ist beispielsweise annähernd 180 Grad.
Die rechte Kamera 7 nimmt einen rechten Abschnitt von den Umgebungen des Eigenfahrzeugs 36 auf und erzeugt ein Bild (nachfolgend als ein rechtes Bild 39 bezeichnet). Die rechte Kamera 7 beinhaltet beispielsweise ein Fischaugenobjektiv oder dergleichen. Ein Anzeigebereich bzw. anzeigbarer Bereich 39A des rechten Bilds 39 ist beispielsweise annähernd 180 Grad. Ein Teil des Anzeigebereichs 37A des Frontbilds 37 überlappt einen Teil des Anzeigebereich 39A des rechten Bilds 39. Ein sich überlappender Bereich ist als ein Überlappungsbereich 41 definiert. Der Überlappungsbereich 41 ist beispielsweise 90 Grad.
Die linke Kamera 9 nimmt einen linken Abschnitt von den Umgebungen des Eigenfahrzeugs 36 auf und erzeugt ein Bild (nachfolgend als ein linkes Bild 43 bezeichnet). Die linke Kamera 9 beinhaltet beispielsweise ein Fischaugenobjektiv oder dergleichen. Ein Anzeigebereich bzw. anzeigbarer Bereich 43A des linken Bilds 43 ist beispielsweise annähernd 180 Grad. Ein Teil des Anzeigebereichs 43A des linken Bilds 43 überlappt einen Teil des Anzeigebereich 37A des Frontbilds 37. Ein sich überlappender Bereich ist als ein Überlappungsbereich 45 definiert. Der Überlappungsbereich 45 ist beispielsweise 90 Grad.
Die hintere Kamera 11 nimmt einen hinteren Abschnitt von den Umgebungen des Eigenfahrzeugs 36 auf und erzeugt ein Bild (nachfolgend als ein hinteres Bild 47 bezeichnet). Die hintere Kamera 11 beinhaltet beispielsweise ein Fischaugenobjektiv oder dergleichen. Ein Anzeigebereich bzw. anzeigbarer Bereich 47A des hinteren Bilds 47 ist beispielsweise annähernd 180 Grad. Ein Teil des Anzeigebereichs 47A des hinteren Bilds 47 überlappt einen Teil des Anzeigebereich 39A des rechten Bilds 39. Ein sich überlappender Bereich ist als ein Überlappungsbereich 49 definiert. Der Überlappungsbereich 49 ist beispielsweise 90 Grad.
Ferner überlappt sich ein Teil des Anzeigebereich 47A des hinteren Bilds 47 einen Teil des Anzeigebereichs 43A des linken Bilds 43. Ein sich überlappender Bereich ist als ein Überlappungsbereich 51 definiert. Der Überlappungsbereich 51 ist beispielsweise 90 Grad.
Der Schaltsensor 13 erfasst einen Gangschaltzustand des Eigenfahrzeugs und erzeugt Schaltinformationen. Der Schaltsensor 13 überträgt die Schaltinformationen an das fahrzeuggebundene CAN. Die Schaltinformationen sind Informationen, die den Gangschaltzustand des Eigenfahrzeugs repräsentieren. Beispielsweise des Gangschaltzustands können beispielsweise Vorwärtsbewegung und Rückwärtsbewegung sein.
Der Lenkwinkelsensor 15 erfasst eine Lenkwinkelrichtung und einen Lenkwinkelbetrag des Eigenfahrzeugs und erzeugt Lenkwinkelinformationen. Der Lenkwinkelsensor 15 überträgt die Lenkwinkelinformationen an das fahrzeuggebundene CAN. Die Lenkwinkelinformationen sind Informationen, die die Lenkwinkelrichtung des Eigenfahrzeugs und den Lenkwinkelbetrag repräsentieren. Die Richtung des Lenkwinkels bzw. die Lenkwinkelrichtung entspricht der Richtung der Änderung von der geraden Fahrrichtung des Eigenfahrzeugs. Beispiele der Lenkwinkelrichtung können beispielsweise Rechtslenken bzw. Rechtsabbiegen nach Geradeausfahrt, Linkslenken bzw. Linksabbiegen nach der Geradeausfahrt, weiteres Rechtslenken bzw. Rechtsabbiegen nach Rechtslenken bzw. Rechtsabbiegen und Linkslenken bzw. Linksabbiegen nach Rechtslenken bzw. Rechtsabbiegen beinhalten. Der Lenkwinkelbetrag entspricht dem Änderungsbetrag von der geraden Fahrtrichtung des Eigenfahrzeugs. Der Lenkwinkelbetrag repräsentiert einen Lenkbetrag bzw. Abbiegebetrag bezüglich der geraden Fahrtrichtung des Eigenfahrzeugs. Der Lenkwinkelbetrag wird als ein Winkel ausgedrückt.
Der Hindernissensor 16 erfasst ein Hindernis, das um das Eigenfahrzeug herum existiert und erzeugt Hindernisinformationen. Die Hindernisinformationen sind Informationen hinsichtlich eines Hindernisses. Die Hindernisinformationen repräsentieren beispielsweise eine Position des Hindernisses bezüglich des Eigenfahrzeugs, eine relative Distanz von dem Eigenfahrzeug zu dem Hindernis, relative Geschwindigkeit des Hindernisses bezüglich des Eigenfahrzeugs oder dergleichen. Der Hindernissensor 16 überträgt die Hindernisinformationen an das fahrzeuggebundene CAN. Beispiele des Hindernissensors 16 können beispielsweise ein Millimeterwellenradar und ein LIDAR beinhalten.
Die Anzeige 17 ist in dem Fahrzeuginnenraum des Eigenfahrzeugs vorgesehen. Die Anzeige 17 ist beispielsweise in einem Instrumententafelabschnitt vorgesehen. Der Instrumententafelabschnitt ist mit einem Armaturenbrettabschnitt, einem Konsolenabschnitt, einem Instrument oder dergleichen ausgerichtet. Die Anzeige 17 kann ein Bild anzeigen. Das Bild, das auf der Anzeige 17 angezeigt wird, beinhaltet einen virtuellen Bildschirm nach xxxKartierungyyy, was später beschrieben wird, oder ein Anzeigebild, das von einem synthetisierten Bild extrahiert wird, einen Navigationsbildschirm, unterschiedliche Arten von Indikatoren, einen Operationsbildschirm für Klimatisierung, Audio oder dergleichen.
2. Verarbeitung, die durch Bildverarbeitungsvorrichtung 3 auszuführen ist.
Die Verarbeitung, die wiederholt durch die Bildverarbeitungsvorrichtung 3 in vorbestimmten Zeitintervallen auszuführen ist, wird basierend auf 4 bis 6 beschrieben. In Schritt 1 in 4 erlangt die Anzeigerichtungsbestimmungseinheit 23 die Schaltinformationen von dem Schaltsensor 13.
In Schritt 2 bestimmt die Anzeigerichtungsbestimmungseinheit 23 die Anzeigerichtung. Die Anzeigerichtung ist eine Richtung einer Anzeige, die durch ein Anzeigebild gezeigt wird, das später beschrieben wird. Die Anzeigerichtung beinhaltet eine Vorwärtsrichtung und eine Rückwärtsrichtung. In einem Fall, in dem der Gangschaltzustand, der durch die Schaltinformationen repräsentiert wird, die in Schritt 1 erlangt werden, die Vorwärtsbewegung ist, legt die Anzeigerichtungsbestimmungseinheit 23 die Anzeigerichtung auf die Vorwärtsrichtung fest. In einem Fall, in dem der Gangschaltzustand, der durch die Schaltinformationen repräsentiert wird, die in Schritt 1 erlangt werden, die Rückwärtsbewegung ist, legt die Anzeigerichtungsbestimmungseinheit 23 die Anzeigerichtung auf die Rückwärtsrichtung fest.
In Schritt 3 erlangt die Bilderlangungseinheit 25 das Frontbild 37, das rechte Bild 39, das linke Bild 43 und das hintere Bild 47 von der Frontkamera 5, der rechten Kamera 7, der linken Kamera 9 und der rechten Kamera 11.
In Schritt 4 erlangt die Richtungsänderungserlangungseinheit 27 die Lenkwinkelinformationen von dem Lenkwinkelsensor 15.
In Schritt 5 legt die Anzeigebilderzeugungseinheit 31 einen Gesichtspunkt 53 in dem Fahrzeuginnenraum des Eigenfahrzeugs 36 fest, wie in 5 illustriert ist. Die Position des Gesichtspunkts 53 bezüglich des Eigenfahrzeugs 36 ist immer fixiert. Ferner legt die Anzeigebilderzeugungseinheit 31 eine Sichtlinienrichtung 55 basierend auf den Lenkwinkelinformationen unter Verwendung des Gesichtspunkts 53 als Startpunkt fest.
In einem Fall, in dem die Anzeigerichtung, die bei Schritt 2 bestimmt wird, die Vorwärtsrichtung ist, ist die gerade Fahrtrichtung 57 des Eigenfahrzeugs die Vorwärtsrichtung des Eigenfahrzeugs 36. Die Sichtlinienrichtung 55 ist eine Richtung, die von der geraden Fahrtrichtung 57 in einer Lenkwinkelrichtung X um den Gesichtspunkt 53 gedreht ist. In einem Fall, in dem die gerade Fahrtrichtung 57 die Vorwärtsrichtung ist, entspricht die Lenkwinkelrichtung X der Richtung der Änderung von der geraden Fahrrichtung 57.
Andererseits ist in einem Fall, in dem die Anzeigerichtung, die bei Schritt 2 bestimmt wird, die Rückwärtsrichtung ist, ist die gerade Fahrtrichtung 57 die Rückwärtsrichtung des Eigenfahrzeugs 36. Die Sichtlinienrichtung 55 ist eine Richtung, die von der geraden Fahrtrichtung 57 in einer Richtung entgegengesetzt zur Lenkwinkelrichtung X um den Gesichtspunkt 53 gedreht ist. In einem Fall, in dem die gerade Fahrtrichtung 57 die Rückwärtsrichtung ist, entspricht eine Richtung entgegengesetzt zur Lenkwinkelrichtung X der Richtung der Änderung von der geraden Fahrrichtung 57.
Ungeachtet dessen, ob die Anzeigerichtung, die bei Schritt 2 bestimmt wird, die Vorwärtsrichtung oder die Rückwärtsrichtung ist, wird ein Winkel Y, der durch die Sichtlinienrichtung 55 und die gerade Fahrtrichtung 57 gebildet wird, größer, wenn der Lenkwinkelbetrag zunimmt. Die Lenkwinkelrichtung X und der Lenkwinkelbetrag sind in den Lenkwinkelinformationen beinhaltet, die bei Schritt 4 erlangt werden. Eine Aufzeichnung, die eine Beziehung zwischen dem Winkel Y und dem Lenkwinkelbetrag definiert, wird vorab in dem Speicher 21 gespeichert. Die Anzeigebilderzeugungseinheit 31 legt die Sichtlinienrichtung 55 unter Verwendung dieser Aufzeichnung und der Lenkwinkelinformationen fest. Es ist zu beachten, dass die Beziehung zwischen dem Winkel Y und dem Lenkwinkel aus einer vorbestimmten Formel anstelle der Verwendung der Aufzeichnung berechnet werden kann.
Bei Schritt 6 legt die Grenzfestlegungseinheit 29 eine Grenze fest. Diese Verarbeitung wird basierend auf dem in 5 illustrierten Beispiel beschrieben. In dem Beispiel, das in 5 illustriert ist, ist die Anzeigerichtung, die bei Schritt 2 bestimmt wird, die Vorwärtsrichtung und die gerade Fahrtrichtung 57 ist die Vorwärtsrichtung. Ferner ist in dem Beispiel, das in 5 illustriert ist, die Lenkwinkelrichtung X, die in den Lenkwinkelinformationen beinhaltet ist, die in Schritt 4 erlangt werden, die Rechtsrichtung. Die Richtung der Änderung von der geraden Fahrrichtung 57 ist die Lenkwinkelrichtung X.
Die Grenzfestlegungseinheit 29 legt eine Grenze 59 innerhalb des Überlappungsbereichs 41 fest. Die Grenzfestlegungseinheit 29 legt eine Grenze 61 innerhalb des Überlappungsbereichs 45 fest. Die Grenze 59 ist eine Linie, wo ein virtueller Bildschirm, der später beschrieben wird, eine vertikale Ebene schneidet, die eine Kreuzung A innerhalb des Überlappungsbereichs 41 passiert. Die Grenze 61 ist eine Linie, wo ein virtueller Bildschirm, der später beschrieben wird, eine vertikale Ebene schneidet, die eine Kreuzung B innerhalb des Überlappungsbereichs 45 passiert.
Hierbei sind die Kreuzungen A und B Kreuzungen von Rahmenlinien, die die Bereiche definieren, die von Bildern angezeigt werden können, die durch die jeweiligen Kameras aufgenommen werden. Die Bereiche, die von den Bildern, die durch die jeweiligen Kameras aufgenommen werden, angezeigt werden können, sind Bildbereiche, die zur Anzeige zu verwenden sind, von den Bildern, die durch die jeweiligen Kameras aufgenommen werden. Die Grenzen 59 und 61 sind Grenzen, die in einem Anzeigebild beinhaltet sein können, das später beschrieben wird, in einem Fall, in dem die Anzeigerichtung, die bei Schritt 2 bestimmt wird, die Vorwärtsrichtung ist. In dem Beispiel, das in 5 illustriert ist, ist die Grenze 59 eine Grenze, die von den Grenzen in dem Anzeigebild näher an der Richtung der Änderung von der geraden Fahrrichtung 57 existiert.
Die Grenzfestlegungseinheit 29 legt eine Position mindestens eines Teils der Grenze 59 näher an der Lenkwinkelrichtung X fest, wenn der Lenkwinkelbetrag zunimmt. Die Lenkwinkelrichtung X und der Lenkwinkelbetrag sind in den Lenkwinkelinformationen beinhaltet, die bei Schritt 4 erlangt werden. Eine Aufzeichnung, die eine Beziehung zwischen der Position eines Teils der Grenze 59 und des Lenkwinkelbetrags definiert, wird vorab in dem Speicher 21 gespeichert. Die Grenzfestlegungseinheit 29 legt die Position der Grenze 59 unter Verwendung dieser Aufzeichnung und der Lenkwinkelinformationen fest. Die Grenzfestlegungseinheit 29 legt eine Position der Grenze 61 an beispielsweise einer Standardposition fest. Die Standardposition ist beispielsweise eine Position bei 45 Grad bezüglich der geraden Fahrtrichtung 57. Die Standardposition wird vorab in dem Speicher 21 gespeichert.
Ungleich dem Beispiel, das in 5 illustriert ist, in einem Fall, in dem die Anzeigerichtung, die bei Schritt 2 bestimmt wird, die Vorwärtsrichtung ist und die Lenkwinkelrichtung X, die in den Lenkwinkelinformationen beinhaltet ist, die bei Schritt 4 erlangt werden, die Linksrichtung ist, ist die Grenze 61 eine Grenze, die von den Grenzen innerhalb des Anzeigebilds näher an der Änderungsrichtung von der geraden Fahrtrichtung 57 ist. In diesem Fall legt die Grenzfestlegungseinheit 29 eine Position mindestens eines Teils der Grenze 61 näher an der Lenkwinkelrichtung X fest, wenn der Lenkwinkelbetrag zunimmt. Ferner legt die Grenzfestlegungseinheit 29 die Position der Grenze 59 an der Standardposition fest.
Ungleich dem Beispiel, das in 5 illustriert ist, in einem Fall, in dem die Anzeigerichtung, die in Schritt 2 bestimmt wird, die Rückwärtsrichtung ist und die Lenkwinkelrichtung X, die in den Lenkwinkelinformationen beinhaltet ist, die bei Schritt 4 erlangt werden, die Rechtsrichtung ist, legt die Grenzfestlegungseinheit 29 eine Grenze 63 in dem Überlappungsbereich 49 fest und legt eine Grenze 65 in dem Überlappungsbereich 51 fest. Die Grenzen 63 und 65 sind Linien, wo ein virtueller Bildschirm, der später beschrieben wird, eine vertikale Ebene schneidet, die Kreuzungen innerhalb der Überlappungsbereiche 49 und 51 passiert. Die Grenzen 63 und 65 sind Grenzen, die in einem Anzeigebild beinhaltet sein können, das später beschrieben wird, in einem Fall, in dem die Anzeigerichtung, die bei Schritt 2 bestimmt wird, die Rückwärtsrichtung ist.
In einem Fall, in dem die Anzeigerichtung, die bei Schritt 2 bestimmt wird, die Rückwärtsrichtung ist, ist die Richtung der Änderung von der geraden Fahrrichtung 57 eine Richtung entgegengesetzt zu der Lenkwinkelrichtung X. In einem Fall, in dem die Lenkwinkelrichtung X, die in den Lenkwinkelinformationen beinhaltet ist, die bei Schritt 4 erlangt werden, die Rechtsrichtung ist, ist die Grenze 63 eine Grenze, die näher an der Richtung der Änderung von der geraden Fahrrichtung 57 von den Grenzen innerhalb des Anzeigebilds existiert. Die Grenzfestlegungseinheit 29 legt eine Position mindestens eines Teils der Grenze 63 näher an der Richtung der Änderung von der geraden Fahrrichtung 57 fest, wenn der Lenkwinkelbetrag zunimmt. Ferner legt die Grenzfestlegungseinheit 29 eine Position der Grenze 65 an der Standardposition fest.
Ungleich dem Beispiel, das in 5 illustriert ist, in einem Fall, in dem die Anzeigerichtung, die bei Schritt 2 bestimmt wird, die Rückwärtsrichtung ist und die Lenkwinkelrichtung X, die in den Lenkwinkelinformationen beinhaltet ist, die bei Schritt 4 erlangt werden, die Linksrichtung ist, legt die Grenzfestlegungseinheit 29 die Grenze 63 in dem Überlappungsbereich 49 fest und legt die Grenze 65 in dem Überlappungsbereich 51 fest.
In einem Fall, in dem die Anzeigerichtung, die bei Schritt 2 bestimmt wird, die Rückwärtsrichtung ist, ist die Richtung der Änderung von der geraden Fahrrichtung 57 eine Richtung entgegengesetzt zu der Lenkwinkelrichtung X. In einem Fall, in dem die Lenkwinkelrichtung X, die in den Lenkwinkelinformationen beinhaltet ist, die bei Schritt 4 erlangt werden, die Linksrichtung ist, ist die Grenze 65 eine Grenze, die näher an der Richtung der Änderung von der geraden Fahrrichtung 57 von den Grenzen in dem Anzeigebild existiert. Die Grenzfestlegungseinheit 29 legt eine Position mindestens eines Teils der Grenze 65 näher an der Richtung der Änderung von der geraden Fahrrichtung 57 fest, wenn der Lenkwinkelbetrag zunimmt. Ferner legt die Grenzfestlegungseinheit 29 eine Position der Grenze 63 an der Standardposition fest.
Bei Schritt 7 führt die Hinderniserfassungseinheit 35 Verarbeitung zum Erfassen eines Hindernisses, das um das Eigenfahrzeug existiert, unter Verwendung von Hindernisinformationen aus, die von dem Hindernissensor 16 übertragen werden.
Bei Schritt 8 beurteilt die Grenzfestlegungseinheit 29, ob das Hindernis, das bei Schritt 7 erfasst wird, betrachtet von dem Gesichtspunkt 53 nahe der Grenze, die in Schritt 6 festgelegt wird, angeordnet ist. In einem Fall, in dem das Hindernis auf der Grenze angeordnet ist, fährt die Verarbeitung mit Schritt 9 fort, während in einem Fall, in dem das Hindernis nicht auf der Grenze ist, die Verarbeitung mit Schritt 10 fortfährt.
Bei Schritt 9 korrigiert die Grenzfestlegungseinheit 29 eine Position der Grenze, die bei Schritt 6 festgelegt ist, um das bei Schritt 7 erfasste Hindernis zu vermeiden. Hierbei wird, wenn die Position der Grenze korrigiert wird, um das Hindernis zu vermeiden, die Position korrigiert, um das Hindernis in der gleichen Richtung wie die Lenkwinkelrichtung X zu vermeiden, während die Lenkwinkelrichtung X berücksichtigt wird.
Bei Schritt 10 erzeugt die Bildanzeigeerzeugungseinheit 31 ein Anzeigebild wie folgt. Die Anzeigebilderzeugungseinheit 31 nimmt an, dass es einen virtuellen Bildschirm um das Eigenfahrzeug im dreidimensionalen Raum gibt. Der virtuelle Bildschirm ist eine Bildprojektionsebene. Als nächstes führt die Bildanzeigeerzeugungseinheit 31 eine Kartierung durch Projizieren des Frontbilds 37, des rechten Bilds 39, des linken Bilds 43 und des hinteren Bilds 47, die bei Schritt 3 erlangt werden, auf den vorstehend beschriebenen virtuellen Bildschirm aus.
Als nächstes, wie in 5 illustriert ist, legt die Anzeigebilderzeugungseinheit 31 als ein Anzeigebild 69 ein Bild, das innerhalb des Anzeigebereichs 67 von dem Gesichtspunkt 53 in dem virtuellen Bildschirm nach der Kartierung sichtbar ist. Ferner, wie in 5 illustriert ist, kann die Anzeigebilderzeugungseinheit 31 als das Anzeigebild 69 ein Bild verwenden, das innerhalb des Anzeigebereich 67 von dem Gesichtspunkt 53 sichtbar ist, von einem Bild, das durch Synthetisieren der Bilder erlangt wird, die von den jeweiligen Kameras am gleichen Gesichtspunkt erlangt werden. Der Anzeigebereich 67 ist ein Bereich mit einer gewissen Streuung um die Sichtlinienrichtung 55. Der Anzeigebereich 67 wird näher an der Richtung der Änderung von der geraden Fahrrichtung 57 festgelegt, wenn der Lenkwinkelbetrag zunimmt.
Das heißt, in einem Fall, in dem die gerade Fahrtrichtung 57 die Vorwärtsrichtung ist, wird der Anzeigebereich 67 näher an der Lenkwinkelrichtung X festgelegt, wenn der Lenkwinkelbetrag zunimmt. Ferner wird in einem Fall, in dem die gerade Fahrtrichtung 57 die Rückwärtsrichtung ist, der Anzeigebereich 67 näher an einer Seite entgegengesetzt zur Lenkwinkelrichtung X festgelegt, wenn der Lenkwinkelbetrag zunimmt.
Das Anzeigebild 69 ist ein Bild, das durch Synthetisieren von mindestens Teilen des Frontbilds 37, des rechten Bilds 39, des linken Bilds 43 und des hinteren Bilds 47 an den Grenzen erlangt wird. Ein Beispiel des Anzeigebilds 69 ist in 6 illustriert.
Das Anzeigebild 69, das in 6 illustriert ist, ist ein Anzeigebild 69 in einem Fall, in dem die Anzeigerichtung, die bei Schritt 2 bestimmt wird, die Vorwärtsrichtung ist, und die Lenkwinkelrichtung X, die in den Lenkwinkelinformationen beinhaltet ist, die bei Schritt 4 erlangt werden, die Rechtsrichtung ist. Eine Position des Anzeigebereichs 67 in diesem Anzeigebild 69 ist an einer Position in der Rechtsrichtung verglichen zu einem Fall, in dem der Lenkwinkel 0 Grad ist, festgelegt. Die Rechtsrichtung ist in diesem Beispiel die Richtung der Änderung von der geraden Fahrrichtung 57.
In dem Anzeigebild 69 werden ein vorderes extrahiertes Bild 37B und ein rechtes extrahiertes Bild 39B an der Grenze 59 zusammengefügt. Das vordere extrahierte Bild 37B ist ein Abschnitt zwischen der Grenze 59 und der Grenze 61 in dem Frontbild 37. Das rechte extrahierte Bild 39B ist betrachtet von dem Gesichtspunkt 53 ein Abschnitt auf der rechten Seite der Grenze 59 in dem rechten Bild 39.
Ferner werden in dem Anzeigebild 69 das vordere extrahierte Bild 37B und ein linkes extrahiertes Bild 43B an der Grenze 61 zusammengefügt. Das linke extrahierte Bild 43B ist betrachtet von dem Gesichtspunkt 53 ein Abschnitt auf der linken Seite der Grenze 61 in dem linken Bild 43.
In Schritt 6 wird die Position mindestens eines Teils der Grenze 59 näher an der Richtung der Änderung von der geraden Fahrrichtung 57 festgelegt, wenn der Lenkwinkelbetrag zunimmt. Als ein Verfahren zum Festlegen der Position mindestens eines Teils der Grenze 59 näher an die Richtung der Änderung von der geraden Fahrrichtung 57, wenn der Lenkwinkelbetrag zunimmt, gibt es, wie beispielsweise in 6 illustriert ist, ein Verfahren, in dem Grenze 59 mehr hin zur Richtung der Änderung von der geraden Fahrrichtung 57 geneigt wird, wenn der Lenkwinkelbetrag zunimmt. In diesem Verfahren kann beispielsweise eine Position eines unteren Endes 59A der Grenze 59 an einer fixierten Position bezüglich des Eigenfahrzeugs festgelegt werden. Eine Achse 71, die an einem Rahmen fixiert ist, der das Eigenfahrzeug 36 repräsentiert, und die in einer Richtung entgegengesetzt zur Lenkwinkelrichtung X betrachtet von der Grenze 59 angeordnet ist, wird angenommen. Es ist zu beachten, dass die Achse 71 ein Teil der Rahmenlinie des rechten Bilds 39 ist und im Wesentlichen parallel zur geraden Fahrtrichtung 57 ist. Ein Winkel θ, der durch die Achse 71 und die Grenze 59 ausgebildet ist, wird größer, wenn die Grenze 59 mehr hin zur Richtung der Änderung von der geraden Fahrrichtung 57 geneigt wird.
Die Anzeigebilderzeugungseinheit 31 erzeugt ein Anzeigebild ebenso in einem Fall, in dem die Anzeigerichtung, die bei Schritt 2 bestimmt wird, die Rückwärtsrichtung ist, und in einem Fall, in dem die Lenkwinkelrichtung X, die in den Lenkwinkelinformationen beinhaltet ist, die bei Schritt 4 erlangt werden, die Linksrichtung ist, auf ähnliche Weise wie in dem Fall des Anzeigebilds 69, das in 6 illustriert ist.
Bei Schritt 11 gibt die Ausgabeeinheit 33 das Anzeigebild, das bei Schritt 10 erzeugt wird, an die Anzeige 17 aus. Die Anzeige 17 zeigt das Anzeigebild an.
3. Wirkungen, die durch die Bildverarbeitungsvorrichtung 3 bereitzustellen sind.
(1A) Die Bildverarbeitungsvorrichtung 3 legt den Anzeigebereich 67 näher an der Richtung der Änderung von der geraden Fahrrichtung 57 fest, wenn der Lenkwinkelbetrag zunimmt. Demnach, wenn die Position der Grenze bezüglich des Frontbilds 37, des rechten Bilds 39, des linken Bilds 43 und des hinteren Bilds 47 immer fixiert ist, nähert sich die Position eines Teils der Grenze der Mitte des Anzeigebilds, wenn der Lenkwinkelbetrag zunimmt.
Beispielsweise in dem Anzeigebild 69, wenn die Position der Grenze bezüglich des Frontbilds und des rechten Bilds immer fixiert ist, in einem Fall, in dem der Anzeigebereich 67 näher an der Lenkwinkelrichtung X festgelegt ist, nähert sich die Position der Grenze der Mitte des Anzeigebilds 69 auf ähnliche Weise einer Grenze 159.
In dem Bild nahe der Grenze kann ein Phänomen wie Verzerrung oder, dass ein Objekt doppelt angezeigt wird, aufgrund einer Differenz von Abbildungspositionen von zwei Bildern, die zu synthetisieren sind, oder durch Konversion auftreten. Die Abbildungspositionen sind Positionen, an denen die Kameras vorgesehen sind. Befindet sich die Grenze nahe der Mitte des Anzeigebilds, wird es schwierig für den Passagier des Eigenfahrzeugs ein Umgebungsziel aus dem Anzeigebild zu erkennen.
Die Bildverarbeitungsvorrichtung 3 legt mindestens einen Teil einer Position auf der Grenze, die näher an der Richtung der Änderung von der geraden Fahrrichtung 57 von den Grenzen innerhalb des Anzeigebilds existiert, näher an der Richtung der Änderung von der geraden Fahrtrichtung 57 fest, wenn der Lenkwinkelbetrag zunimmt. Demnach kann die Bildverarbeitungsvorrichtung 3 verhindern, dass die Position der Grenze sich der Mitte des Anzeigebilds nähert, sogar in einem Fall, in dem die Sichtlinienrichtung 55 sich ändert. Demzufolge wird es einfach für den Passagier des Eigenfahrzeugs ein Umgebungsziel aus dem Anzeigebild zu erkennen.
(1B) Die Bildverarbeitungsvorrichtung 3 neigt die Grenze, die näher an der Richtung der Änderung von den geraden Fahrtrichtung 57 von den Grenzen innerhalb des Anzeigebilds existiert, näher zur Richtung der Änderung von der geraden Fahrtrichtung 57, wenn der Lenkwinkelbetrag zunimmt. Demnach kann die Bildverarbeitungsvorrichtung 3 Festlegungen so tätigen, dass die Grenze sich nicht der Mitte des Anzeigebildschirms nähert. Demzufolge kann die Bildverarbeitungsvorrichtung 3 verhindern, dass der Benutzer Unbehagen verspürt.
(1C) Die Bildverarbeitungsvorrichtung 3 spezifiziert eine Position des Hindernisses basierend auf den Informationen, die von dem Hindernissensor 16 übertragen werden. Dann legt die Bildverarbeitungsvorrichtung 3 eine Grenze fest, während das erfasste Hindernis vermieden wird. Demnach wird es für den Passagier des Eigenfahrzeugs einfach, ein Hindernis in dem Anzeigebild zu erkennen.
(1D) Die Bildverarbeitungsvorrichtung 3 erzeugt ein Anzeigebild 69 betrachtet von dem Gesichtspunkt 53 in der Sichtlinienrichtung 55. Ferner legt die Bildverarbeitungsvorrichtung 3 die Sichtlinienrichtung 55 näher an der Richtung der Änderung von der geraden Fahrrichtung 57 fest, wenn der Lenkwinkelbetrag zunimmt. Es ist daher möglich, das Anzeigebild 69 mit einer fixierten Position des Gesichtspunkts 53 zu erlangen.
(Zweite Ausführungsform)
Unterschiede zur ersten Ausführungsform
Da eine Basiskonfiguration einer zweiten Ausführungsform ähnlich zu der der ersten Ausführungsform ist, werden nachfolgend Unterschiede beschrieben. Es ist zu beachten, dass die gleichen Bezugszeichen wie die in der ersten Ausführungsform die gleichen Komponenten angeben und diesbezüglich auf die vorhergehende Beschreibung Bezug genommen wird.
In der ersten Ausführungsform, die vorstehend beschrieben ist, ist die Position des Gesichtspunkts 53 fixiert und die Sichtlinienrichtung 55 wird gemäß der Lenkwinkelrichtung X geändert. Im Gegensatz dazu ist in der zweiten Ausführungsform die Sichtlinienrichtung 55 fixiert, wie in 7 illustriert ist. Ferner wird in der zweiten Ausführungsform die Position des Gesichtspunkts 53 gemäß der Richtung der Änderung von der geraden Fahrrichtung 57 geändert. Die Position des Gesichtspunkts 53 ändert sich in einer Links-Rechts-Richtung des Eigenfahrzeugs. Die Position des Gesichtspunkts 53 wird näher an der Richtung der Änderung von der geraden Fahrrichtung 57 festgelegt, wenn der Lenkwinkelbetrag zunimmt. Die Richtung der Änderung von der geraden Fahrrichtung 57 ist die Lenkwinkelrichtung X in einem Fall, in dem die gerade Fahrtrichtung 57 die Vorwärtsrichtung ist. Ferner ist die Richtung der Änderung von der geraden Fahrrichtung 57 eine Richtung entgegengesetzt zur Lenkwinkelrichtung X in einem Fall, in dem die gerade Fahrtrichtung 57 die Rückwärtsrichtung ist.
Bei Schritt 10 legt die Anzeigebilderzeugungseinheit 31 ein Bild, das innerhalb des Anzeigebereichs 67 von dem Gesichtspunkt 53 sichtbar ist, der wie vorstehend beschrieben festgelegt wird, als ein Anzeigebild 69 fest. Der Anzeigebereich 67 ist ein Bereich mit einer gewissen Streuung um die fixierte Sichtlinienrichtung 55. Der Anzeigebereich 67 wird näher an der Richtung der Änderung von der geraden Fahrrichtung 57 festgelegt, wenn der Lenkwinkelbetrag zunimmt.
Ein Beispiel des Anzeigebilds 69 ist in 8 illustriert. Das Anzeigebild 69 ist ein Anzeigebild 69 in einem Fall, in dem die Anzeigerichtung die Vorwärtsrichtung und die Lenkwinkelrichtung X die Linksrichtung ist. Die Position des Anzeigebereichs 67 in diesem Anzeigebild 69 ist in der Linksrichtung verglichen zu einem Fall, in dem der Lenkwinkel 0 Grad ist, festgelegt. Die Linksrichtung ist in diesem Beispiel die Richtung der Änderung von der geraden Fahrrichtung 57.
In dem Anzeigebild 69 werden das vordere extrahierte Bild 37B und das rechte extrahierte Bild 39B an der Grenze 59 zusammengefügt. Ferner werden in dem Anzeigebild 69 das vordere extrahierte Bild 37B und das linke extrahierte Bild 43B an der Grenze 61 zusammengefügt.
Eine Position mindestens eines Teils der Grenze 61 wird näher an der Richtung der Änderung von der geraden Fahrrichtung 57 festgelegt, wenn der Lenkwinkelbetrag zunimmt. Als ein Verfahren zum Festlegen der Position mindestens eines Teils der Grenze 61 näher an der Richtung der Änderung von der geraden Fahrrichtung 57 ist, wenn der Lenkwinkelbetrag zunimmt, gibt es, wie beispielsweise in 8 illustriert ist, ein Verfahren, in dem Grenze 61 mehr hin zur Richtung der Änderung von der geraden Fahrrichtung 57 geneigt wird, wenn der Lenkwinkelbetrag zunimmt. In diesem Verfahren kann beispielsweise die Position eines unteren Endes 61A der Grenze 61 an einer Position festgelegt werden, die bezüglich des Eigenfahrzeugs 36 fixiert ist. Es wird eine Achse 72 angenommen. Die Achse 72 ist eine Achse die bezüglich eines Rahmens fixiert ist, der das Eigenfahrzeug 36 repräsentiert. Die Achse 72 ist eine Achse in einer Richtung entgegengesetzt zur Lenkwinkelrichtung X, betrachtet von der Grenze 61. Es ist zu beachten, dass die Achse 72 ein Teil einer Rahmenlinie des linken Bilds 43 ist und im Wesentlichen parallel zur geraden Fahrtrichtung 57 ist. Ein Winkel δ, der durch die Achse 72 und die Grenze 61 ausgebildet ist, wird größer, wenn die Grenze 61 mehr hin zur Richtung der Änderung von der geraden Fahrrichtung 57 geneigt wird.
2. Wirkungen, die durch die Bildverarbeitungsvorrichtung 3 bereitzustellen sind.
Gemäß der zweiten Ausführungsform, die vorstehend im Detail beschrieben ist, werden die Wirkungen (1A) bis (1C) der ersten Ausführungsform, die vorstehend beschrieben ist, bereitgestellt und die folgenden Wirkungen werden ferner bereitgestellt.
(2A) Die Bildverarbeitungsvorrichtung 3 erzeugt das Anzeigebild 69 betrachtet von dem Gesichtspunkt 53 in der Sichtlinienrichtung 55. Ferner legt die Bildverarbeitungsvorrichtung 3 den Gesichtspunkt 53 näher an der Lenkwinkelrichtung X fest, wenn der Lenkwinkelbetrag zunimmt. Die Bildverarbeitungsvorrichtung 3 kann das Anzeigebild 69 mit einer fixierten Position der Sichtlinienrichtung 55 erlangen.
<Andere Ausführungsformen>
Während die Ausführungsformen der vorliegenden Offenbarung vorstehend beschrieben wurden, ist die vorliegende Offenbarung nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt und kann mit unterschiedlichen Modifikationen implementiert werden.
(1) Die Richtungsänderungserlangungseinheit 27 kann die Richtung der Änderung von der geraden Fahrrichtung 57 und den Betrag der Änderung von der geraden Fahrtrichtung 57 aus Parametern außer dem Lenkwinkel berechnen. Beispielsweise können die Richtung der Änderung von der geraden Fahrrichtung 57 und der Betrag der Änderung von der geraden Fahrtrichtung 57 aus einer Gierrate des Eigenfahrzeugs, Anzeige eines Richtungssignals, Anzeige einer Warnblinkanlage oder dergleichen berechnet werden.
(2) Ein Verfahren zum Festlegen der Grenze in Schritt 6 kann beispielsweise das folgende Verfahren sein. 9 illustriert das Anzeigebild 69 bevor und nachdem sich die gerade Fahrtrichtung zur Rechtsrichtung ändert. Die Grenze 59 ist eine Grenze, die näher an der Richtung der Änderung von der geraden Fahrrichtung 57 von den Grenzen innerhalb des Anzeigebilds 69 existiert. Die Position eines fixierten Punkts 59B, der ein Teil der Grenze 59 ist, bezüglich des Anzeigebereichs 67 ist fixiert, bevor und nachdem sich die gerade Fahrtrichtung 57 zur Rechtsrichtung ändert. Der fixierte Punkt 59B ist beispielsweise ein Abschnitt außer dem unteren Ende 59A.
(3) Die Hinderniserfassungseinheit 35 kann ein Hindernis unter Verwendung von Ergebnissen einer Bildverarbeitung von Bildern, die durch die Frontkamera 5, die rechte Kamera 7, die linke Kamera 9 und die hintere Kamera 11 aufgenommen werden, anstelle der Informationen von dem Hindernissensor 16 erfassen oder kann ein Hindernis durch Integrieren der Informationen von dem Hindernissensor 16 und Ergebnissen einer Bilderkennung erfassen. Die Bildverarbeitung der aufgenommenen Bilder ist Bilderkennung der aufgenommenen Bilder.
Es ist ebenso möglich, sowohl die Position des Gesichtspunkts 53 als auch die Sichtlinienrichtung 55 gemäß dem Lenkwinkelbetrag zu ändern, um ein Anzeigebild durch Kombinieren der ersten und der zweiten Ausführungsform zu erzeugen.
(4) Mehrere Funktionen einer Komponente in den vorstehend beschriebenen Ausführungsformen kann durch mehrere Komponenten realisiert werden, oder eine einzelne Funktion einer Komponente kann durch mehrere Komponenten realisiert werden. Ferner können mehrere Funktionen mehrerer Komponenten durch eine Komponente realisiert werden, oder eine Funktion, die durch mehrere Komponenten realisiert wird, kann durch eine Komponente realisiert werden. Ferner kann ein Teil der Komponenten der vorstehend beschriebenen Ausführungsformen weggelassen werden. Ferner kann mindestens ein Teil der Komponenten der vorstehend beschriebenen Ausführungsformen zu den Komponenten anderer Ausführungsformen hinzugefügt oder durch diese ersetzt werden. Es ist zu beachten, dass Ausführungsformen der vorliegenden Offenbarung jeden Aspekt enthalten, der in der technischen Idee beinhaltet ist, die aus dem in den Ansprüchen angegebenen Wortlaut spezifiziert ist.
(5) Die vorliegende Offenbarung kann in verschiedenen Modi realisiert werden, wie beispielsweise zusätzlich zu der vorstehend beschriebenen Bildverarbeitungsvorrichtung als ein System mit der Bildverarbeitungsvorrichtung als Komponente, ein Programm zum Bewirken, dass ein Computer als Bildverarbeitungsvorrichtung fungiert, ein nichtflüchtiges computerlesbares Speichermedium, wie ein Halbleiterspeicher, in dem dieses Programm aufgezeichnet ist, ein Bildverarbeitungsverfahren, ein Bildanzeigeverfahren und ein Fahrunterstützungsverfahren.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017199383 [0001]
JP 6014433 B [0004]

Claims

Bildverarbeitungsvorrichtung (3), die konfiguriert ist, um an einem Fahrzeug (36) montiert zu werden, wobei die Bildverarbeitungsvorrichtung aufweist: eine Bilderlangungseinheit (25), die konfiguriert ist, um mehrere Bilder (37, 39, 43, 47), in denen Teile von Bereichen, die angezeigt werden können (37A, 39A, 43A, 47A), sich überlappen, unter Verwendung mehrerer Kameras (5, 7, 9, 11) zu erlangen, die Umgebungen des Fahrzeugs aufnehmen; eine Grenzfestlegungseinheit (29), die konfiguriert ist, um Grenzen (59, 61, 63, 65) der Bilder, in denen Teile der Bereiche, die angezeigt werden können, sich überlappen und die in den mehreren Bildern beinhaltet sind, innerhalb Bereichen (41, 45, 49, 51) festzulegen, in denen sich die Bereiche, die angezeigt werden, überlappen; eine Anzeigebilderzeugungseinheit (31), die konfiguriert ist, um ein Anzeigebild (69) betrachtet von einem Gesichtspunkt (53) innerhalb eines Fahrzeuginnenraums des Fahrzeugs durch Synthetisieren von mindestens Teilen von Bildern der mehreren Bilder an den Grenzen zu erzeugen; eine Ausgabeeinheit (33), die konfiguriert ist, um das Anzeigebild auszugeben; und eine Richtungsänderungserlangungseinheit (27), die konfiguriert ist, um eine Änderungsrichtung (X) von einer geraden Fahrtrichtung (57) des Fahrzeugs und einen Änderungsbetrag von der geraden Fahrtrichtung zu erlangen, wobei die Bildanzeigeerzeugungseinheit konfiguriert ist, um einen Anzeigebereich des Anzeigebilds näher an der Änderungsrichtung festzulegen, wenn der Änderungsbetrag zunimmt, und die Grenzfestlegungseinheit konfiguriert ist, um eine Position mindestens eines Teils von mindestens der Grenze, die näher an der Änderungsrichtung von den Grenzen innerhalb des Anzeigebilds existiert, näher an der Änderungsrichtung festzulegen, wenn der Änderungsbetrag zunimmt.
Bildverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Grenzfestlegungseinheit konfiguriert ist, um die Grenze, die näher an der Änderungsrichtung von den Grenzen innerhalb des Anzeigebilds existiert, hin zur Änderungsrichtung zu neigen, wenn der Änderungsbetrag zunimmt.
Bildverarbeitungsvorrichtung gemäß Anspruch 1 oder 2, ferner aufweisend: eine Hinderniserfassungseinheit (35), die konfiguriert ist, um ein Hindernis zu erfassen, wobei die Grenzfestlegungseinheit konfiguriert ist, um die Grenze festzulegen, um das Hindernis zu vermeiden, das an der Hinderniserfassungseinheit erfasst wird.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die Anzeigebilderzeugungseinheit konfiguriert ist, um ein Anzeigebild betrachtet von dem Gesichtspunkt in einer Sichtlinienrichtung (55) zu erzeugen, und die Anzeigebilderzeugungseinheit konfiguriert ist, um die Sichtlinienrichtung näher an der Änderungsrichtung festzulegen, wenn der Änderungsbetrag zunimmt.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die Anzeigebilderzeugungseinheit konfiguriert ist, um eine Position des Gesichtspunkts näher an der Änderungsrichtung festzulegen, wenn der Änderungsbetrag zunimmt.