DE102017117243A1

DE102017117243A1 - Umfeldüberwachungsvorrichtung

Info

Publication number: DE102017117243A1
Application number: DE102017117243.2A
Authority: DE
Inventors: Tetsuya Maruoka; Kazuya Watanabe; Yoji Inui; Kinji Yamamoto; Takashi Hiramaki; Takuya HASHIKAWA; Naotaka Kubota; Osamu Kimura; Itsuko OHASHI
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2016-09-29
Filing date: 2017-07-31
Publication date: 2018-03-29
Anticipated expiration: 2037-08-01
Also published as: US20180089907A1; DE102017117243B4; JP2018056794A; JP6766557B2; CN107878327B; CN107878327A

Abstract

Eine Umfeldüberwachungsvorrichtung umfasst: eine Erfassungseinheit (200), die ein Bild, das eine Umfeldumgebung eines Fahrzeugs (1) zeigt, und Informationen, die einem Zustand des Fahrzeugs entsprechen, erfasst, wobei das Bild durch eine Bildgebungsvorrichtung (16, 16a, 16b, 16c, 16d) aufgenommen ist, die in dem Fahrzeug bereitgestellt ist; einen Speicher (210), der ein Fahrzeugmodell speichert, das eine dreidimensionale Form des Fahrzeugs bezeichnet; eine Verarbeitungseinheit (204), die das Fahrzeugmodell basierend auf den Informationen verarbeitet; und eine Ausgabeeinheit (205), die das durch die Verarbeitungseinheit verarbeitete Fahrzeugmodell an einer Position in dem die Umfeldumgebung zeigenden Bild überlagert, die einer Position in der Umfeldumgebung entspricht, wo sich das Fahrzeug befindet, und das Bild, das die Umfeldumgebung zeigt und das Fahrzeugmodell überlagert hat, auf einem Anzeigebildschirm (8) anzeigt, der in einem Fahrzeuginnenraum (2a) des Fahrzeugs bereitgestellt ist.

Description

TECHNISCHES GEBIET
Diese Offenbarung bezieht sich auf eine Fahrzeugumfeldüberwachungsvorrichtung bzw. eine Vorrichtung zur Überwachung/Beobachtung eines/einer Fahrzeugumfelds/-peripherie.
HINTERGRUNDERÖRTERUNG
Im Stand der Technik gab es eine Technik zum Aufnehmen eines Bilds einer Umfeldumgebung eines Fahrzeugs unter Verwendung einer in dem Fahrzeug bereitgestellten Kamera und Bereitstellen des aufgenommenen Bilds an einen Fahrer über einen in einem Fahrzeuginnenraum des Fahrzeugs bereitgestellten Anzeigebildschirm. Siehe z.B. JP 2016-021653 A .
Zum Beispiel kann ein Fahrer den Fahrzeugzustand objektiv überprüfen wollen, während er in dem Fahrzeuginnenraum bleibt. In dieser Hinsicht weist die vorstehend beschriebene Technik Spielraum zur Verbesserung auf.
Daher besteht ein Bedarf für eine Umfeldüberwachungsvorrichtung, die einen Zustand eines Fahrzeugs in einer objektiv und leicht verständlichen Art und Weise anzeigt.
KURZFASSUNG
Eine Umfeldüberwachungsvorrichtung gemäß einem Aspekt dieser Offenbarung umfasst, zum Beispiel, eine Erfassungseinheit, die ein Bild, das eine Umfeldumgebung eines Fahrzeugs zeigt, und Informationen, die einem Zustand des Fahrzeugs entsprechen, erfasst, wobei das Bild durch eine Bildgebungsvorrichtung aufgenommen ist, das in dem Fahrzeug bereitgestellt ist; einen Speicher, der ein Fahrzeugmodell speichert, das eine dreidimensionale Form des Fahrzeugs bezeichnet; eine Verarbeitungseinheit, die das Fahrzeugmodell basierend auf den Informationen verarbeitet; und eine Ausgabeeinheit, die das durch die Verarbeitungseinheit verarbeitete Fahrzeugmodell an einer Position in dem die Umfeldumgebung zeigenden Bild überlagert, die einer Position in der Umfeldumgebung entspricht, wo sich das Fahrzeug befindet, und das Bild, das die Umfeldumgebung zeigt und das Fahrzeugmodell überlagert hat, auf einem Anzeigebildschirm anzeigt, der in einem Fahrzeuginnenraum des Fahrzeugs bereitgestellt ist. Die Umfeldüberwachungsvorrichtung widerspiegelt den Zustand des Fahrzeugs auf dem Bild des Fahrzeugs, das auf dem Anzeigebildschirm angezeigt wird, in Echtzeit, und kann daher den Zustand des Fahrzeugs in einer objektiv und leicht verständlichen Art und Weise anzeigen.
Bei der Umfeldüberwachungsvorrichtung können, zum Beispiel, die Informationen Informationen sein, die ein Ausdehnungs-/Kontraktionsmaß einer Federung bezeichnen, die konfiguriert ist zum Durchführen einer Positionierung eines Rads gemäß einer Ausdehnung/Kontraktion, und kann die Verarbeitungseinheit einen Abstand zwischen einem Modell des Rads und einem Modell eines Fahrzeugkörpers, die in dem Fahrzeugmodell umfasst sind, gemäß dem Ausdehnungs-/Kontraktionsmaß ändern. Dementsprechend kann der Benutzter den Zustand des Rads gemäß der Umfeldumgebung verstehen bzw. erfassen, während er in dem Fahrzeuginnenraum bleibt.
Bei der Umfeldüberwachungsvorrichtung kann, zum Beispiel die Erfassungseinheit ferner eine dreidimensionale Form einer Fahrbahnoberfläche erfassen, die durch eine in dem Fahrzeug bereitgestellte Messeinheit gemessen wird, kann die Umfeldüberwachungsvorrichtung ferner einen Generator umfassen, der ein Umgebungsmodell erzeugt, in dem das die Umfeldumgebung zeigende Bild auf die durch die Erfassungseinheit erfasste dreidimensionale Form der Fahrbahnoberfläche projiziert ist, und kann die Ausgabeeinheit das durch den Generator erzeugte Umgebungsmodell auf dem Anzeigebildschirm anzeigen. Dementsprechend kann der Benutzer über den Anzeigebildschirm erkennen, ob das Rad mit Untergrund in Kontakt ist.
Bei der Umfeldüberwachungsvorrichtung können, zum Beispiel, die Informationen Informationen sein, die bezeichnen, ob eine in dem Fahrzeug bereitgestellte Beleuchtungsvorrichtung eingeschaltet oder ausgeschaltet ist, und kann die Verarbeitungseinheit eine Farbe eines Modells der Beleuchtungsvorrichtung, das in dem Fahrzeugmodell umfasst ist, demgemäß ändern, ob die Beleuchtungsvorrichtung eingeschaltet oder ausgeschaltet ist. Dementsprechend kann der Benutzer über den Anzeigebildschirm die Ein-/Ausschaltung der Beleuchtungsvorrichtung überprüfen.
Bei der Umfeldüberwachungsvorrichtung können, zum Beispiel, die Informationen Informationen sein, die bezeichnen, ob eine in dem Fahrzeug bereitgestellte Tür geöffnet oder geschlossen ist, und kann die Verarbeitungseinheit einen Winkel zwischen einem Modell der Tür und einem Modell eines Fahrzeugkörpers, die in dem Fahrzeugmodell umfasst sind, demgemäß ändern, ob die Tür geöffnet oder geschlossen ist. Dementsprechend kann der Benutzer über den Anzeigebildschirm überprüfen, ob die Tür geöffnet oder geschlossen ist.
Bei der Umfeldüberwachungsvorrichtung kann, zum Beispiel, die Erfassungseinheit ferner einen Ort eines Hindernisses erfassen, der durch eine in dem Fahrzeug bereitgestellte Messeinheit gemessen wird, kann die Umfeldüberwachungsvorrichtung ferner einen Rechner umfassen, der einen Bewegungsbereich der Tür berechnet, der durch das Hindernis begrenzt ist, und kann die Ausgabeeinheit ferner ein Anzeigeobjekt, das den durch den Rechner berechneten Bewegungsbereich bezeichnet, auf dem Anzeigebildschirm anzeigen. Dementsprechend kann der Benutzer die Tür bequem bzw. entspannt öffnen, ohne seinen Kopf aus dem Fenster zu stecken, um den Außenbereich zu überprüfen.
Bei der Umfeldüberwachungsvorrichtung können, zum Beispiel, die Informationen Informationen sein, die einen Winkel zwischen einer in dem Fahrzeug bereitgestellten Tür und einem Fahrzeugkörperseitenflächenteil des Fahrzeugs bezeichnen, und kann die Verarbeitungseinheit einen Winkel zwischen einem Modell der Tür und einem Modell des Fahrzeugkörperseitenflächenteils, die in dem Fahrzeugmodell umfasst sind, gemäß dem Winkel zwischen der in dem Fahrzeug bereitgestellten Tür und dem Fahrzeugkörperseitenflächenteil des Fahrzeugs ändern.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die vorgenannten und weitere Merkmale und Eigenschaften dieser Offenbarung werden aus der folgenden detaillierten Beschreibung deutlicher, wenn diese unter Bezugnahme auf die begleitenden Zeichnungen betrachtet wird, wobei gilt:
1 ist eine Perspektivansicht, die ein beispielhaftes Fahrzeug veranschaulicht, das mit einer Umfeldüberwachungsvorrichtung gemäß einem ersten Ausführungsbeispiel ausgestattet ist, wobei durch diese ein Fahrzeuginnenraum teilweise zu sehen ist;
2 ist eine Draufsicht (Überkopfansicht), die das beispielhafte Fahrzeug veranschaulicht, das mit der Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel ausgestattet ist;
3 ist eine Ansicht, die ein beispielhaftes Armaturenbrett des Fahrzeugs veranschaulicht, das mit der Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel ausgestattet ist, wenn dieses von der Rückseite des Fahrzeugs aus betrachtet wird;
4 ist ein Blockschaltbild, das eine beispielhafte Konfiguration eines Umfeldüberwachungssystems gemäß dem ersten Ausführungsbeispiel veranschaulicht;
5 ist eine Ansicht, die ein Anzeigebeispiel eines Anzeigebildschirms gemäß dem ersten Ausführungsbeispiel veranschaulicht;
6 ist eine Ansicht, die ein weiteres Anzeigebeispiel eines Anzeigebildschirms gemäß dem ersten Ausführungsbeispiel veranschaulicht;
7 ist eine Ansicht, die ein weiteres Anzeigebeispiel eines Anzeigebildschirms gemäß dem ersten Ausführungsbeispiel veranschaulicht;
8 ist eine Ansicht, die ein weiteres Anzeigebeispiel eines Anzeigebildschirms gemäß dem ersten Ausführungsbeispiel veranschaulicht;
9 ist ein Blockschaltbild, das eine funktionale Konfiguration von einer ECU veranschaulicht, die als die Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel dient;
10 ist eine Ansicht, die die Struktur eines Ringpuffers gemäß dem ersten Ausführungsbeispiel veranschaulicht;
11 ist ein Ablaufdiagramm, das einen Bildspeicherungsverarbeitungsvorgang in der Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel veranschaulicht;
12 ist ein Ablaufdiagramm, das einen Anzeigesteuerungsverarbeitungsvorgang in der Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel veranschaulicht;
13 ist ein Blockschaltbild, das eine funktionale Konfiguration von einer ECU veranschaulicht, die als die Umfangsüberwachungsvorrichtung gemäß einem zweiten Ausführungsbeispiel dient;
14 ist eine Ansicht, die ein Anzeigebeispiel eines Anzeigebildschirms gemäß dem zweiten Ausführungsbeispiel veranschaulicht; und
15 ist eine Ansicht, die ein weiteres Anzeigebeispiel eines Anzeigebildschirms gemäß dem zweiten Ausführungsbeispiel veranschaulicht.
AUSFÜHRLICHE BESCHREIBUNG
Nachstehend werden hierin Beschreibungen bezüglich eines Beispiels einer Umfeld- bzw. Peripherieüberwachungsvorrichtung gemäß den Ausführungsbeispielen, die in einem Fahrzeug 1 installiert ist, gegeben.
<Erstes Ausführungsbeispiel>
Das Fahrzeug 1 gemäß dem ersten Ausführungsbeispiel kann zum Beispiel ein Automobil bzw. Kraftfahrzeug sein, das eine (nicht veranschaulichte) Brennkraftmaschine als Antriebsquelle nutzt, nämlich ein Brennkraftmaschinenautomobil bzw. -kraftfahrzeug, oder ein Automobil bzw. Kraftfahrzeug, das einen (nicht veranschaulichten) Elektromotor als Antriebsquelle nutzt, nämlich ein Elektroautomobil bzw. -kraftfahrzeug, ein Brennstoffzellenautomobil bzw. -kraftfahrzeug oder dergleichen. Alternativ kann das Fahrzeug 1 ein Hybridautomobil bzw. -kraftfahrzeug sein, das beide von diesen als Antriebsquelle nutzt, oder ein Automobil bzw. Kraftfahrzeug, das mit einer anderen Antriebsquelle versehen ist. Das Fahrzeug 1 kann mit verschiedenen Getriebevorrichtungen oder verschiedenen Vorrichtungen (z.B. Systemen und Komponenten), die zum Betreiben einer Brennkraftmaschine oder eines Elektromotors erforderlich sind, ausgestattet sein. Die Typen, die Anzahl, die Anordnung bzw. Ausgestaltung oder dergleichen von diesen Vorrichtungen hinsichtlich eines Antriebs eines Rads 3 in dem Fahrzeug 1 können verschiedenartig bestimmt sein.
1 ist eine Perspektivansicht, die ein beispielhaftes Fahrzeug 1 veranschaulicht, das mit einer Umfeldüberwachungsvorrichtung gemäß einem ersten Ausführungsbeispiel ausgestattet ist, wobei durch diese ein Teil eines Fahrzeugsinnenraums 2a zu sehen ist. 2 ist eine Draufsicht (Überkopfansicht), die das beispielhafte Fahrzeug 1 veranschaulicht, das mit der Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel ausgestattet ist. 3 ist eine Ansicht, die ein beispielhaftes Armaturenbrett des Fahrzeugs 1 veranschaulicht, das mit der Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel ausgestattet ist, und ist eine Ansicht von hinter dem Fahrzeug 1. 4 ist ein Blockschaltbild, das die beispielhafte Konfiguration eines Umfeld- bzw. Peripherieüberwachungssystems 100, das die Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel umfasst, veranschaulicht.
Wie es in 1 veranschaulicht ist, bildet ein Fahrzeugköper bzw. eine Fahrzeugkarosserie 2 den Fahrzeuginnenraum 2a, in den ein (nicht veranschaulichter) Benutzer einsteigt. In dem Fahrzeuginnenraum 2a sind eine Lenkeinheit 4, eine Beschleunigungseinheit 5, eine Bremseinheit 6, eine Gangschaltungseinheit 7 und dergleichen in einer Lage bereitgestellt, dass sie einem Sitz 2b eines als Benutzer fungierenden Fahrers zugewandten sind. Die Lenkeinheit 4 ist zum Beispiel ein Lenkrad, das von dem Armaturenbrett hervorragt, die Beschleunigungseinheit 5 ist zum Beispiel ein Fahr- bzw. Gaspedal, das unter den Füßen des Fahrers angeordnet ist, die Bremseinheit 6 ist zum Beispiel ein Bremspedal, das unter den Füßen des Fahrers angeordnet ist, und die Gangschaltungseinheit 7 ist zum Beispiel ein Schalthebel, der von einer Mittelkonsole hervorragt. Die Lenkeinheit 4, die Beschleunigungseinheit 5, die Bremseinheit 6 und die Gangschaltungseinheit 7 sind nicht auf diese beschränkt.
Wie es in 1 und 3 veranschaulicht ist, ist eine Monitorvorrichtung 10, die einen Anzeigebildschirm 8 umfasst, in dem Fahrzeuginnenraum 2a bereitgestellt. Der Anzeigebildschirm 8 ist zum Beispiel durch eine Flüssigkristallanzeige (LCD), eine organische Elektrolumineszenzanzeige (OELD) oder dergleichen gebildet. Der Anzeigebildschirm 8 ist mit einer transparenten Monitorbedieneinheit 9 bedeckt. Die Monitorbedieneinheit 9 ist zum Beispiel ein Berührungsfeld. Der Benutzer kann ein auf dem Anzeigebildschirm 8 angezeigtes Bild durch die Monitorbedieneinheit 9 visuell erkennen. Der Benutzer kann an eine Bedienung des Berührens, Drückens oder Bewegens auf der Monitorbedieneinheit 9 mit einem Finger oder dergleichen an einer Position durchführen, die dem auf dem Anzeigebildschirm 8 angezeigten Bild entspricht, um so eine Bedienungseingabe auszuführen. Die Monitorvorrichtung 10 ist zum Beispiel im mittleren Abschnitt des Armaturenbretts in der Fahrzeugbreitenrichtung (nämlich der Links-Rechts-Richtung) bereitgestellt. Die Monitorvorrichtung 10 kann eine Monitorbedieneinheit zusätzlich zu dem Berührungsfeld umfassen. Zum Beispiel kann die Monitorvorrichtung 10 einen Schalter, eine Wählvorrichtung, einen Joystick oder einen Druckknopf als eine weitere Monitorbedieneinheit umfassen. Die Monitorvorrichtung 10 kann zum Beispiel auch als Navigationssystem oder Audiosystem verwendet werden.
In dem Fahrzeuginnenraum 2a ist eine Blinkerbedieneinheit 19, die ein Hebel zum Annehmen eine Bedienung ist, um einen Blinker bzw. Fahrtrichtungsanzeiger zu veranlassen, einen Fahrtrichtungshinweis anzuzeigen, auf der rechten Seite einer die Lenkeinheit 4 tragenden Lenksäule bereitgestellt. Der Benutzer kann den Blinker bzw. Fahrtrichtungsanzeiger veranlassen, einen gewünschten Kurs anzuzeigen, indem er die Blinkerbedieneinheit 19 vertikal nach unten oder nach oben drückt. Der Hinweis auf den Kurs wird durch Blinken des Blinkers bzw. Fahrtrichtungsanzeigers in der Fahrtrichtung ausgedrückt. Eine Scheinwerferbedieneinheit 20, die eine Wählvorrichtung zum Annehmen einer Bedienung ist, um einen Scheinwerfer ein- oder auszuschalten, ist am äußeren Ende der Blinkerbedieneinheit 19 angeordnet. Der Benutzer kann den Scheinwerfer ein- oder ausschalten, indem er die Scheinwerferbedieneinheit 20 dreht. Wie bei der Monitorbedieneinheit 9 sind verschiedene Bedieneinheiten 19 und 20 nicht darauf beschränkt. Die Stellen, wo die verschieden Bedieneinheiten 19 und 20 angeordnet sind, und Bedienmethoden der Bedieneinheiten 19 und 20 können beliebig geändert werden.
Wie es in 1 und 2 veranschaulicht ist, ist bei dem ersten Ausführungsbeispiel das Fahrzeug 1 zum Beispiel ein vierrädriges Fahrzeug, und umfasst es zwei linke/rechte Vorderräder 3F und zwei linke/rechte Hinterräder 3R. Zum Beispiel werden die Reifenwinkel der Vorderräder 3F gemäß der Bedienung der Lenkeinheit 4 geändert.
Bei dem ersten Ausführungsbeispiel, wie es in 2 veranschaulicht ist, sind ein Laserentfernungsscanner 15 und Bildgebungseinheiten 16 (hier vier Bildgebungseinheiten 16a bis 16d) bereitgestellt. Jede der Bildgebungseinheiten 16 ist zum Beispiel eine Bildgebungsvorrichtung, die ein Bildgebungselement wie etwa ein ladungsgekoppeltes Bauelement (CCD) oder einen CMOS-Bildsensor (CIS) enthält. Jede der Bildgebungseinheiten 16 kann ein Bild, das die Umfeld- bzw. Peripherieumgebung zeigt, durch das Bildgebungselement aufnehmen. Die Bildgebungseinheit 16 kann eine Bildaufnahme und eine Ausgabe eines aufgenommenen Bilds mit einer vorbestimmten Rahmenrate bzw. Bildfrequenz ausführen.
Bei dem ersten Ausführungsbeispiel ist die Bildgebungseinheit 16a an einem Abschnitt eines vorderen Endes (z.B. einem Frontgitter/-grill 2c) des Fahrzeugkörpers 2 angeordnet. Die Bildgebungseinheit 16a kann die Umfeldumgebung in der Vorwärtsrichtung des Fahrzeugs 1 abbilden. Indessen wird eine Richtung, in die der Fahrer, der auf dem Sitz 2b sitzt, der Front entgegensieht, nämlich eine von dem Fahrer gesehene Windschutzscheibenseite, als die Vorderseite des Fahrzeugs 1 und die Vorderseite des Fahrzeugkörpers 2 betrachtet. Die Bildgebungseinheit 16b ist an einem linken Tür- bzw. Außenspiegel 2f bereitgestellt. Die Bildgebungseinheit 16b kann die Umfeldumgebung in der Linksrichtung des Fahrzeugs 1 abbilden. Die Bildgebungseinheit 16c ist an einem unteren Bordwandabschnitt einer Tür 2g eines hinteren Kofferraums bereitgestellt. Die Bildgebungseinheit 16c kann an einer hinteren Stoßstange 2e bereitgestellt sein. Die Bildgebungseinheit 16c kann die Umfeldumgebung in der Rückwärtsrichtung des Fahrzeugs 1 abbilden. Die Bildgebungseinheit 16d ist an einem rechten Tür- bzw. Außenspiegel 2f bereitgestellt. Die Bildgebungseinheit 16d kann die Umfeldumgebung in der Rechtsrichtung des Fahrzeugs 1 abbilden.
Die Umfeldumgebung bezieht sich auf eine Situation rund um das Fahrzeug 1. Zum Beispiel umfasst die Umfeldumgebung eine Fahrbahnoberfläche rund um das Fahrzeug 1. Solange jede der Bildgebungseinheiten 16 ein Bild ausgeben kann, auf dem die Umfeldumgebung des Fahrzeugs 1 aufgenommen ist, sind die Konfigurationen, die Anzahl, die Installationsorte und die Richtungen der Bildgebungseinheiten 16 nicht auf die vorstehend beschriebenen Inhalte beschränkt. Die Bereiche, in denen die mehreren Bildgebungseinheiten 16 Bilder aufnehmen können, können überlappen oder nicht.
Der Laserentfernungsscanner 15 ist ein Beispiel einer Messeinheit zum Messen einer dreidimensionalen Form einer Fahrbahnoberfläche. Der Laserentfernungsscanner 15 ist zum Beispiel in der Nähe der Bildgebungseinheit 16a an dem Frontgitter/-grill 2c bereitgestellt. Der Laserentfernungsscanner 15 misst die dreidimensionale Form einer Fahrbahnoberfläche (hier einer Fahrbahnoberfläche in der Vorwärtsrichtung des Fahrzeugs 1). Der Laserentfernungsscanner 15 umfasst eine Lichtquelle (eine Laserdiode, usw.) und ein Lichtempfangselement. Die Lichtquelle strahlt einen Laserstrahl dreidimensional in ein Gebiet aus, das die Fahrbahnoberfläche in der Vorwärtsrichtung des Fahrzeugs 1 abdeckt. Wenn ein Objekt, das sich in dem entsprechenden Gebiet befindet, mit dem Laserstrahl bestrahlt wird, wird der Laserstrahl reflektiert. Der reflektierte Laserstrahl (reflektierte Wellen) wird (werden) durch das Lichtempfangselement empfangen. Informationen des Lichtempfangselements werden an eine elektronische Steuereinheit (ECU) 14 gesendet, und die ECU 14 kann topographische Daten erhalten, die die dreidimensionale Form der Fahrbahnoberfläche bezeichnen, indem sie die von dem Lichtempfangselement gesendeten Informationen auswertet und eine Berechnung durchführt. In einem Beispiel erzeugt der Laserentfernungsscanner 15 Punktgruppendaten, die Abstände und Richtungen von jeweiligen Positionen, die den Laserstrahl reflektieren, in dem mit dem Laserstrahl bestrahlten Gebiet bezeichnen. Der Laserentfernungsscanner 15 überträgt die erzeugten Punktgruppendaten an die ECU 14. Die durch den Laserentfernungsscanner 15 ausgebebenen Daten sind nicht auf die Punktgruppendaten beschränkt. Der Laserentfernungsscanner 15 ist konfiguriert zum Ausgeben von topographischen Daten.
Solange die dreidimensionale Form der Fahrbahnoberfläche in der Fahrtrichtung des Fahrzeugs 1 gemessen werden kann, sind die Konfiguration, der Installationsort und die Richtung des Laserentfernungsscanners 15, sowie die Anzahl von Laserentfernungsscannern 15 nicht auf die vorstehend beschriebenen Inhalte beschränkt. Als eine Messeinheit zum Messen der dreidimensionalen Form der Fahrbahnoberfläche kann jede beliebige Vorrichtung anstelle des Laserentfernungsscanners 15 eingesetzt werden. Zum Beispiel kann eine Stereokamera als die Messeinheit eingesetzt werden.
Wie es in 4 veranschaulicht ist, sind in dem Umfeldüberwachungssystem 100 die Monitorvorrichtung 10, die ECU 14, die Blinkerbedieneinheit 19, die Scheinwerferbedieneinheit 20, ein Schaltsensor 21, ein Radgeschwindigkeitssensor 22, ein Beschleunigersensor 23, vier Fahrzeughöhensensoren 24, vier Türsensoren 25, ein Lenkwinkelsensor 26, zwei Beschleunigungssensoren 27, ein Bremssystem 28 und ein Lenksystem 29 über ein Fahrzeugnetzwerk 30 elektrisch miteinander verbunden. Das Fahrzeugnetzwerk 30 ist zum Bespiel als ein Controller Area Network (CAN) konfiguriert. Die ECU 14 kann das Bremssystem 28 und dergleichen steuern, indem sie Steuersignale über das Fahrzeugnetzwerk 30 sendet, und kann Detektionsinformationen von dem Schaltsensor 21, dem Radgeschwindigkeitssensor 22, dem Beschleunigersensor 23, den Fahrzeughöhensensoren 24, den Türsensoren 25, dem Lenkwinkelsensor 26, den Beschleunigungssensoren 27, einem Bremssensor 28b, einem Drehmomentsensor 29b und dergleichen, sowie Bedieninformationen von der Monitorbedieneinheit 9, der Blinkerbedieneinheit 19, der Scheinwerferbedieneinheit 20 und dergleichen über das Fahrzeugnetzwerk 30 empfangen. Die ECU 14 kann Punktgruppendaten von dem Laserentfernungsscanner 15 und Bilder von den Bildgebungseinheiten 16a bis 16d empfangen.
Das Lenksystem 29 ist konfiguriert zum Lenken von zumindest zwei Rädern 3. Das Lenksystem 29 umfasst einen Aktor bzw. ein Stellglied 29a und den Drehmomentsensor 29b. Das Lenksystem 29 wird durch die ECU 14 oder dergleichen elektrisch gesteuert, um den Aktor bzw. das Stellglied 29a zu betätigen. Das Lenksystem 29 ist zum Beispiel ein elektrisches Servolenksystem, ein Steer-by-Wire-(SBW-)System oder dergleichen. Das Lenksystem 29 kann ein Hinterradlenksystem (aktive Hinterradlenkung (ARS)) sein. Der Aktor bzw. das Stellglied 29a kann ein Rad 3 oder mehrere Räder 3 lenken. Der Drehmomentsensor 29b detektiert zum Beispiel ein Drehmoment, das der Fahrer auf die Lenkeinheit 4 anwendet.
Der Schaltsensor 21 detektiert zum Beispiel die Position eines beweglichen Teils der Gangschaltungseinheit 7.
Der Radgeschwindigkeitssensor 22 detektiert den Drehbetrag des Rads 3 oder die Anzahl von Umdrehungen des Rads 3 pro Zeiteinheit.
Der Beschleunigersensor 23 detektiert zum Beispiel die Position eines Beschleuniger- bzw. Fahrpedals, das als ein bewegliches Teil der Beschleunigungseinheit 5 dient.
Die vier Türsensoren 25 sind an unterschiedlichen Türen 2d angeordnet. Jeder der Türsensoren 25 detektiert zumindest, ob die entsprechende Tür 2d geöffnet oder geschlossen ist. Jeder Türsensor 25 kann den Winkel detektieren, in dem die Tür 2d geöffnet ist. Wenn die Anzahl der Türen 2d, die in dem Fahrzeug 1 bereitgestellt sind, nicht vier ist, ist die Anzahl der Türsensoren 25 nicht auf vier beschränkt. Die Türsensoren 25 können nicht in allen Türen 2d bereitgestellt sein. Der Türsensor 25 kann in der Tür 2g des hinteren Kofferraums bereitgestellt sein.
Der Lenkwinkelsensor 26 detektiert um Beispiel den Lenkbetrag der Lenkeinheit 4 wie etwa eines Lenkrads. Der Lenkwinkelsensor 26 detektiert die Lenkwinkelinformation wie etwa einen Lenkbetrag der Lenkeinheit 4, die durch den Fahrer gelenkt wird, und einen Lenkbetrag von jedem Rad 3 während einer automatischen Lenkung.
Die zwei Beschleunigungssensoren 27 detektieren eine Beschleunigung, die zum Berechnen eines Nickwinkels und eines Rollwinkels verwendet wird. Einer von den zwei Beschleunigungssensoren 27 detektiert eine Beschleunigung in der Links-Rechts-Richtung des Fahrzeugs 1. Der andere der zwei Beschleunigungssensoren 27 detektiert eine Beschleunigung in der Vorne-Hinten-Richtung des Fahrzeugs 1.
Das Bremssystem 28 umfasst einen Aktor bzw. ein Stellglied 28a und den Bremssensor 28b. Das Bremssystem 28 wendet durch den Aktor bzw. das Stellglied 28 eine Bremskraft auf die Räder 3 an. Der Bremssensor 28b detektiert zum Beispiel die Position eines Bremspedals, das als ein bewegliches Teil der Bremseinheit 6 dient.
Die vier Fahrzeughöhensensoren 24 sind an verschiedenen (nicht veranschaulichte) Federungen bzw. Aufhängungen angeordnet. Die Federungen bzw. Aufhängungen sind ausdehnungsfähig und führen zumindest eine Positionierung der entsprechenden Räder 3 durch. Indem sie sich ausdehnen und kontrahieren, können die Federungen bzw. Aufhängungen die Aus- bzw. Stoßwirkung von der Fahrbahnoberfläche dämpfen. Jeder der Fahrzeughöhensensoren 24 detektiert das Ausdehnungs-/Kontraktionsmaß einer entsprechenden Federung bzw. Aufhängung.
Die ECU 14 ist zum Beispiel ein Computer. Die ECU 14 umfasst eine Zentralverarbeitungseinheit (CPU) 14a, einen Festwertspeicher (ROM) 14b, einen Direktzugriffsspeicher (RAM) 14c, eine Anzeigesteuereinheit 14d und ein Festkörperlaufwerk (SSD) 14e. Die CPU 14a, der ROM 14b und der RAM 14c können in dem gleichen Gehäuse bzw. der gleichen Einheit integriert sein.
Die CPU 14a liest ein Programm, das in einer nichtflüchtigen Speichervorrichtung wie etwa dem ROM 14b gespeichert ist, und führt verschiedene arithmetische Verarbeitungen und Steuerungen gemäß dem Programm aus. Die CPU 14a führt zum Beispiel eine Bildgebungsverarbeitung oder dergleichen mit Bezug auf ein Bild aus, das auf dem Anzeigebildschirm 8 anzuzeigen ist.
Der ROM 14b speichert Programme, sowie Parameter und dergleichen, die zum Ausführen der Programme erforderlich sind. Der RAM 14c speichert vorrübergehend verschieden Daten, die zur Berechnung in der CPU 14a verwendet werden. Die Anzeigesteuereinheit 14d führt, unter arithmetischer Verarbeitungen in der ECU 14, hauptsächlich eine Verarbeitung eines aufgenommenen Bilds, das durch die Bildgebungseinheit 16 erfasst und an die CPU 14a ausgegeben wird, eine Datenwandlung eines Anzeigebilds, das von der CPU 14a erfasst und auf dem Anzeigebildschirm 8 angezeigt wird, und dergleichen aus. Das SSD 14e ist eine wiederbeschreibbare nichtflüchtige Speichereinheit und kann Daten speichern, die von CPU 14a erfasst werden, selbst wenn die ECU 14 ausgeschaltet ist.
Hier stellt die ECU 14 ein Beispiel einer Umfeldüberwachungsvorrichtung dar. Haupteigenschaften der Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel werden nun beschrieben.
5 ist eine Ansicht, die ein Anzeigebeispiel des Anzeigebildschirms 8 gemäß dem ersten Ausführungsbeispiel veranschaulicht. Wie es in der Zeichnung veranschaulicht ist, zeigt die Umfeldüberwachungsvorrichtung ein Bild, das eine Umfeldumgebung zeigt, auf dem Anzeigebildschirm 8 an, und zeigt sie ein (hierin nachstehend als "Fahrzeugmodellbild 81" bezeichnetes) Bild 81, das die äußere Erscheinung des Fahrzeugs 1 zeigt an und überlagert bzw. überblendet dieses auf dem die Umfeldumgebung zeigenden Bild. Die Umfeldüberwachungsvorrichtung speichert im Voraus ein Fahrzeugmodell (Fahrzeugmodell 211), das die dreidimensionale Form des Fahrzeugs 1 bezeichnet. Die Umfeldüberwachungsvorrichtung ordnet das Fahrzeugmodell 211 und einen virtuellen Betrachtungspunkt in einem virtuellen Raum an, berechnet ein Bild, das sichtbar ist, wenn das Fahrzeugmodell 211 von dem virtuellen Betrachtungspunkt aus betrachtet wird, und stellt das erhaltene Bild als das Fahrzeugmodellbild 81 ein. Das heißt, dass das Fahrzeugmodellbild 81 ein Beispiel des Fahrzeugmodells 211 ist, das angezeigt wird. Die Beziehung zwischen dem Fahrzeugmodellbild 81 und dem die Umfeldumgebung zeigenden Bild entspricht der tatsächlichen Beziehung zwischen dem Fahrzeug 1 und der Umfeldumgebung. Das heißt, dass die Umfeldüberwachungsvorrichtung das Fahrzeugmodell 211 an der Position in dem die Umfeldumgebung zeigenden Bild, die der Position der Umfeldumgebung entspricht, wo sich das Fahrzeug 1 befindet, überlagert bzw. überblendet, sodass ein Bild, das die Umfeldumgebung zeigt, auf der das Fahrzeugmodell 211 überlagert bzw. überblendet ist, auf dem Anzeigebildschirm 8 angezeigt wird.
Hier erfasst die Umfeldüberwachungsvorrichtung den Zustand des Fahrzeugs 1, und widerspiegelt sie den erfassten Zustand auf dem Fahrzeugmodell 211, wodurch der Zustand des Fahrzeugs 1 auf dem Fahrzeugmodellbild 81 widergespiegelt wird. Der Zustand des Fahrzeugs 1 umfasst die äußeren Aspekte der Bauteile oder Aufbauten bzw. Ausstattungen des Fahrzeugs 1. Die Umfeldüberwachungsvorrichtung bestimmt den Zustand des Fahrzeugs 1 basierend auf Informationen, die dem Zustand des Fahrzeugs 1 entsprechen. Die Informationen, die dem Zustand des Fahrzeugs 1 entsprechen, umfassen Detektionsergebnisse von verschiedenen Sensoren oder Bedieninformationen, die an verschiedenen Bedieneinheiten eingegeben werden.
In einem Beispiel umfasst der Zustand des Fahrzeugs 1 eine Position von jedem Rad 3. Jedes Rad 3 kann sich durch Ausdehnung und Kontraktion einer Federung bzw. Aufhängung hauptsächlich vertikal mit Bezug auf den Fahrzeugkörper 2 bewegen. 6 und 7 sind Ansichten, die weitere Anzeigebeispiele des Anzeigebildschirms 8 gemäß dem ersten Ausführungsbeispiel veranschaulichen. Diese Zeichnungen veranschaulichen Anzeigebeispiele, wenn das Fahrzeug 1 auf einem Gelände abseits einer Straße (Offroad) fährt. Gemäß 6 ist, mit Bezug auf ein den Fahrzeugkörper 2 zeigendes Teil, der in dem Fahrzeugmodellbild 81 umfasst ist (ein Fahrzeugkörperteil 82), die Position von einem ein rechtes Vorderrad 3F zeigenden Teil (Reifenteil 83) gleich einer Standard- bzw. Normalposition. Gemäß 7 befindet sich der Reifenteil 83, mit Bezug auf den Fahrzeugkörperteil 82, unterhalb einer Standard- bzw. Normalposition. Das heißt, dass ein Abstand L2 zwischen dem Fahrzeugkörperteil 82 und dem Reifenteil 83 im Fall von 7 länger ist als ein Abstand L1 zwischen dem Fahrzeugkörperteil 82 und dem Reifenteil 83 im Fall von 6. Auf diese Art und Weise widerspiegelt die Umfeldüberwachungsvorrichtung die vertikale Positionsänderung von jedem Rad 3 auf dem Fahrzeugmodellbild 81 in Echtzeit.
Die Umfeldüberwachungsvorrichtung kann der Fahrzeugkörperteil 82 transparent anzeigen, sodass der Zustand von jedem Rad 3 über den Anzeigebildschirm 8 visuell erkannt werden kann. Die transparente Anzeige kann eine transparente oder semitransparente Anzeige sein. In dem Beispiel von 6 und 7 wird der Fahrzeugkörperteil 82 semitransparent angezeigt, sodass der Zustand des linken Vorderrads 3F, das in Wirklichkeit hinter dem Fahrzeugkörper 2 verborgen und nicht zu sehen ist, visuell erkannt werden kann.
In einem weiteren Beispiel umfasst der Zustand des Fahrzeugs 1 eine Ein-/Ausschaltung eines Scheinwerfers. Die Umfeldüberwachungsvorrichtung kann die Ein-/Ausschaltung des Scheinwerfers basierend auf Bedieninformationen bezüglich der Scheinwerferbedieneinheit 20 bestimmen. Wenn der Scheinwerfer eingeschaltet wird, ändert die Umfeldüberwachungsvorrichtung auch auf dem Anzeigebildschirm 8 einen Modus von einem den Scheinwerfer zeigenden Teil in dem Fahrzeugmodellbild 81 (der hierin nachstehend als Scheinwerferteil bezeichnet wird) auf einen Modus, durch den die Einschaltung des Scheinwerfers erkannt werden kann. Zum Beispiel wird das Scheinwerferteil in einer hellen Farbe wie etwa gelb gefärbt. Wenn der Scheinwerfer ausgeschaltet wird, ändert die Umfeldüberwachungsvorrichtung auch auf dem Anzeigebildschirm 8 einen Modus von dem Scheinwerferteil auf einen Modus, durch den die Ausschaltung des Scheinwerfers erkannt werden kann. Zum Beispiel wird das Scheinwerferteil in einer dunklen Farbe wie etwa grau gefärbt. Auf diese Art und Weise widerspeigelt die Umfeldüberwachungsvorrichtung den ein-/ausgeschalteten Zustand des Scheinwerfers auf dem Fahrzeugmodellbild 81 in Echtzeit.
In einem weiteren Beispiel umfasst der Zustand des Fahrzeugs 1 eine Nicht-/Anzeige des Blinkers bzw. Fahrtrichtungsanzeigers. Die Umfeldüberwachungsvorrichtung kann eine Anzeige oder Nichtanzeige des Blinkers bzw. Fahrtrichtungsanzeigers basierend auf Bedieninformationen bezüglich der Blinkerbedieneinheit 19 bestimmen. Wenn der Blinker bzw. Fahrtrichtungsanzeiger blinkt, ändert die Umfeldüberwachungsvorrichtung einen Modus von einem einen entsprechenden Blinker bzw. Fahrtrichtungsanzeiger zeigenden Teil in dem Fahrzeugmodellbild 81 (der hierin nachstehend als "Fahrtrichtungsanzeigerteil" bezeichnet wird) auf einen Modus, durch den ein Blinken erkannt werden kann. Zum Beispiel zeigt die Umfeldüberwachungsvorrichtung auf dem Anzeigebildschirm 8 den Fahrtrichtungsanzeigerteil in einem blinkenden Zustand an. Wenn der Blinker bzw. Fahrtrichtungsanzeiger nicht blinkt, zeigt die Umfeldüberwachungsvorrichtung auf dem Anzeigebildschirm 8 den Fahrtrichtungsanzeigerteil in einem nichtblinkenden Zustand an. Auf diese Art und Weise widerspiegelt die Umfeldüberwachungsvorrichtung einen Anzeige- oder Nichtanzeigezustand des Blinkers bzw. Fahrtrichtungsanzeigers auf dem Fahrzeugmodellbild 81 in Echtzeit.
In einem weiteren Beispiel umfasst der Zustand des Fahrzeugs 1 einen geöffneten/geschlossenen Zustand von jeder Tür 2d. Die Umfeldüberwachungsvorrichtung kann den geöffneten/geschlossenen Zustand von jeder Tür 2d basierend auf Detektionsinformationen der Türsensoren 25 bestimmen. Wenn eine von Türen 2d geöffnet ist, zeigt die Umfeldüberwachungsvorrichtung ein Teil einer entsprechenden Tür in dem Fahrzeugmodellbild 81 (der hierin nachstehend als "Türteil" bezeichnet wird) in einem geöffneten Zustand auf dem Anzeigebildschirm 8 an. Wenn eine von Türen 2d geschlossen ist, zeigt die Umfeldüberwachungsvorrichtung einen entsprechenden Türteil in einem geschlossenen Zustand auf dem Anzeigebildschirm 8 an. 8 ist eine Ansicht, die ein weiteres Anzeigebeispiel des Anzeigebildschirms 8 gemäß dem ersten Ausführungsbeispiel veranschaulicht. Gemäß der Zeichnung beträgt ein Winkel zwischen einem Türteil 84 und einer rechten Seitenfläche des Fahrzeugkörperteils 82 ungefähr 60°, was bezeichnet, dass die Tür 2d auf einer Fahrersitzseite geöffnet ist. Auf diese Art und Weise widerspiegelt die Umfeldüberwachungsvorrichtung den geöffneten/geschlossenen Zustand von jeder Tür 2d auf dem Fahrzeugmodellbild 81 in Echtzeit. Wenn als der Türsensor 25 ein Sensor eingesetzt wird, der zum Detektieren eines Winkels der Tür 2d im Stande ist, kann die Umfeldüberwachungsvorrichtung einen Winkel zwischen dem entsprechenden Türteil 84 und der Seitenfläche des Fahrzeugkörperteils 82 in dem Fahrzeugmodellbild 81 mit einem detektierten Winkel abstimmen bzw. an diesen anpassen.
Die Umfeldüberwachungsvorrichtung kann derart konfiguriert sein, dass der virtuelle Betrachtungspunkt geändert werden kann. Zum Beispiel, wie es in 5 veranschaulicht ist, kann die Umfeldüberwachungsvorrichtung die Umfeldumgebung und das Fahrzeugmodellbild 81 in dem Fall, dass ein virtueller Betrachtungspunkt auf einer diagonalen linken Seite vor dem Fahrzeug 1 eingestellt ist, auf dem Anzeigebildschirm 8 anzeigen. Wie es in 6 und 7 veranschaulicht ist, kann die Umfeldüberwachungsvorrichtung die Umfeldumgebung und das Fahrzeugmodellbild 81 in dem Fall, dass ein virtueller Betrachtungspunkt auf einer diagonalen rechten Seite hinter dem Fahrzeug 1 eingestellt ist, auf dem Anzeigebildschirm 8 anzeigen. Wie es in 8 anschaulich ist, kann die Umfeldüberwachungsvorrichtung die Umfeldumgebung und das Fahrzeugmodellbild 81 in dem Fall, dass ein virtueller Betrachtungspunkt über dem Fahrzeug 1 eingestellt ist, auf dem Anzeigebildschirm 8 anzeigen. Die Umfeldüberwachungsvorrichtung kann derart konfiguriert sein, dass ein gewünschter virtueller Betrachtungspunkt aus einer Anzahl von voreingestellten virtuellen Betrachtungspunkten ausgewählt werden kann, oder derart, dass der Benutzer einen beliebigen virtuellen Betrachtungspunkt zum Beispiel über die Monitorbedieneinheit 9 oder dergleichen eingeben kann.
Auf diese Art und Weise kann der Benutzer, da der Zustand der äußeren Erscheinung des Fahrzeugs 1 auf dem Fahrzeugmodellbild 81 in Echtzeit widergespiegelt wird, den Zustand des Fahrzeugs 1 objektiv überprüfen, während er in dem Fahrzeuginnenraum 2a bleibt. Das heißt, dass die Umfeldüberwachungsvorrichtung den Zustand des Fahrzeugs 1 in einer objektiv und leicht verständlichen Art und Weise anzeigen kann.
Gemäß einem weiteren Merkmal der Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel zeigt die Umfeldüberwachungsvorrichtung ein die Umfeldumgebung zeigendes Bild, das ein Teil bzw. einen Abschnitt unter dem Boden des Fahrzeugs 1 umfasst, auf dem Anzeigebildschirm 8 stereoskopisch an. Im Speziellen kann die Umfeldüberwachungsvorrichtung das die Umfeldumgebung zeigende Bild, das das Teil bzw. den Abschnitt unter dem Boden des Fahrzeugs 1 umfasst, auf topographische Daten projizieren, wodurch das die Umfeldumgebung zeigende Bild stereoskopisch angezeigt wird. Indem das die Umfeldumgebung zeigende Bild stereoskopisch angezeigt wird, widerspiegelt die Umfeldüberwachungsvorrichtung eine vertikale Bewegung von jedem Rad 3 auf dem Fahrzeugmodellbild 81. Dementsprechend wird eine Bildschirmanzeige gemäß 6 und 7 durchgeführt. Da sowohl das Fahrzeug 1 als auch die Umfeldumgebung stereoskopisch angezeigt werden, indem sie auf dem Anzeigebildschirm 8 überlagert bzw. überblendet werden, kann der Benutzer auf dem Anzeigebildschirm 8 visuell erkennen, ob jedes Rad 3 mit dem Untergrund in Kontakt ist, sodass der Komfort bzw. die Zweckdienlichkeit der Umfeldüberwachungsvorrichtung verbessert ist.
Die Umfeldüberwachungsvorrichtung erzeugt das die Umfeldumgebung zeigende Bild unter Verwendung von Bildern, durch die Bildgebungseinheiten 16 aufgenommen werden. Hier ist es bei dem ersten Ausführungsbeispiel für jede Bildgebungseinheit 16 unmöglich, ein Bild, das eine Fahrbahnoberfläche unter dem Boden des Fahrzeugs 1 zeigt, in Echtzeit aufzunehmen. Dementsprechend speichert die Umfeldüberwachungsvorrichtung jeweilige Bilder, die durch die Bildgebungseinheiten 16a bis 16d in der Vergangenheit aufgenommen wurden, und erzeugt sie ein aktuelles Bild, das die Fahrbahnoberfläche unter dem Boden des Fahrzeugs 1 zeigt, basierend auf den gespeicherten Bildern. Zum Beispiel, wenn das Fahrzeug 1 geradeaus fährt, überfährt das Fahrzeug 1, nachdem die Bildgebungseinheit 16a ein Bild zu einer bestimmten Zeit aufgenommen hat, eine auf dem Bild aufgenommenen Fahrbahnoberfläche zu einer späteren Zeit. Die Umfeldüberwachungsvorrichtung kann das durch die Bildgebungseinheit 16a zu einer etwas früheren Zeit aufgenommenen Bild speichern und das Bild als ein Bild verwenden, das eine Fahrbahnoberfläche zeigt, die das Fahrzeug 1 überfährt. Alternativ kann eine weitere Bildgebungseinheit unter dem Boden des Fahrzeugs 1 bereitgestellt sein, sodass die Umfeldüberwachungsvorrichtung ein Bild, das eine Fahrbahnoberfläche unter dem Boden zeigt, von dieser Bildgebungseinheit in Echtzeit erfassen kann. Abhängig von der Fahrtrichtung kann die Umfeldüberwachungsvorrichtung ein Bild, das eine Fahrbahnoberfläche zeigt, die das Fahrzeug 1 überfährt, aus einem Bild erfassen, das durch eine andere Bildgebungseinheit 16 als die Bildgebungseinheit 16a zu einer etwas früheren Zeit aufgenommen wurde.
Die Detektionsreichweite des Laserentfernungsscanners 15 ist gemäß dem Installationsbeispiel von 2 auf eine Teilgebiet beschränkt, das eine vorwärts gelegene Fahrbahnoberfläche des Fahrzeugs 1 umfasst. Ähnlich zu dem die Umfeldumgebung zeigenden Bild erzeugt die Umfeldüberwachungsvorrichtung, auch in Bezug auf die topographischen Daten, topographische Daten einer Fahrbahnoberfläche einschließlich eines Teils bzw. Abschnitts unter dem Boden des Fahrzeugs 1 basierend auf Daten, die zu einer etwas früheren Zeit detektiert wurden. Alternativ kann ein weiterer Laserentfernungsscanner 15 unter dem Boden das Fahrzeugs 1 bereitgestellt sein, sodass die Umfeldüberwachungsvorrichtung topographische Daten einer Fahrbahnoberfläche unter dem Boden basierend auf den Detektionsinformationen von diesem Laserentfernungsscanner 15 in Echtzeit berechnen kann. Die Laserentfernungsscanner 15 können auch auf der linken und der rechten Seite und der Rückseite des Fahrzeugkörpers 2 bereitgestellt sein.
9 ist ein Blockschaltbild, das eine funktionale Konfiguration von der ECU 14 veranschaulicht, die als die Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel dient. Die CPU 14a implementiert eine Erfassungseinheit 200, eine Vorverarbeitungseinheit 201 und einen Anzeigeprozessor 202 durch Ausführung eines Programms, das im Voraus in dem ROM 14b gespeichert ist. Der Anzeigeprozessor 202 umfasst einen Umgebungsmodellgenerator 203, eine Fahrzeugmodellverarbeitungseinheit 204 und eine Ausgabeeinheit 205. Die ECU 14 implementiert eine Speichereinheit 210, in der Daten vorrübergehend gespeichert werden. Die Speichereinheit 210 ist zum Beispiel auf dem RAM 14c gesichert. Das Programm zur Implementierung dieser funktionalen Konfigurationen kann über jedes beliebige computerlesbare Aufzeichnungsmedium abgesehen von dem ROM 14b bereitgestellt werden. Die ECU 14 implementiert einen Ringpuffer 212 auf der Speichereinheit 210. Die ECU 14 speichert das Fahrzeugmodell 211 auf der Speichereinheit 210. Zum Beispiel ist das Fahrzeugmodell 211 in dem SSD 14e im Voraus gespeichert, und lädt die ECU 14 das Fahrzeugmodell 211 aus dem SSD 14e in die Speichereinheit 210 in dem RAM 14c, wenn sie aktiviert wird. Einige oder alle von der Erfassungseinheit 200, der Vorverarbeitungseinheit 201, dem Anzeigeprozessor 202, dem Umgebungsmodellgenerator 203, der Fahrzeugmodellverarbeitungseinheit 204 und der Ausgabeeinheit 205 kann oder können durch eine Hardwareschaltung oder eine Kombination von einer Hardwareschaltung und Software (einem Programm) implementiert werden.
Die Erfassungseinheit 200 erfasst Bilder von den Bildgebungseinheiten 16. Die Erfassungseinheit 200 erfasst Punktgruppendaten von dem Laserentfernungsscanner 15.
Die Erfassungseinheit 200 erfasst verschiedene Informationen von verschiedenen Sensoren, die in dem Fahrzeug 1 bereitgestellt sind, und verschiedenen Bedieneinheiten, die in dem Fahrzeug 1 bereitgestellt sind. Die Erfassungseinheit 200 gemäß dem ersten Ausführungsbeispiel erfasst Fahrzeughöheninformationen von den Fahrzeughöhensensoren 24 und Öffnungs-/Schließinformationen von den Türsensoren 25 als Informationen, die dem Zustand des Fahrzeugs 1 entsprechen. Die Erfassungseinheit 200 erfasst verschiedene Bedieninformationen, die an die Blinkerbedieneinheit 19 und die Scheinwerferbedieneinheit 20 eingegeben werden, als Informationen, die dem Zustand des Fahrzeugs 1 entsprechen. Die Erfassungseinheit 200 erfasst Beschleunigungsinformationen von den Beschleunigungssensoren 27.
Die Erfassungseinheit 200 korreliert Bilder, Punktgruppendaten, verschiedene Detektionsinformationen und verschiedene Bedieninformationen miteinander, die zu im Wesentlichen identischen Zeiten erfasst werden.
Die Vorverarbeitungseinheit 201 verarbeitet gewisse Informationen unter Informationen, die durch die Erfassungseinheit 200 erfasst werden, auf geeignet Weise.
Bei dem ersten Ausführungsbeispiel wandelt, als Beispiel, die Vorverarbeitungseinheit 201 die von dem Laserentfernungsscanner 15 erfassten Punktgruppendaten in topographische Daten. Die topographischen Daten geben die dreidimensionale Form der Fahrbahnoberfläche zum Beispiel durch eine Polygonmodellmethode wieder. Die Wiedergabemethode der dreidimensionalen Form ist nicht auf das Polygonmodell beschränkt. Als Methode zum Wiedergeben der dreidimensionalen Form können beliebige andere Methoden eingesetzt werden, wie etwa zum Beispiel ein Oberflächenmodell, ein Drahtgittermodell und ein Volumen- bzw. Festkörpermodell.
Die Vorverarbeitungseinheit 201 berechnet Winkelinformationen (einen Nickwinkel und einen Rollwinkel) des Fahrzeugs 1 basierend auf den Beschleunigungsinformationen, die von den zwei Beschleunigungssensoren 27 empfangen werden. Der Nickwinkel bezeichnet einen Winkel, der eine Neigung um die Links-Rechts-Achse des Fahrzeugs 1 bezeichnet, und der Rollwinkel bezeichnet einen Winkel, der eine Neigung um die Vorne-Hinten-Achse des Fahrzeugs 1 bezeichnet.
Die Vorverarbeitungseinheit 201 führt eine Korrektur auf einem Bild der Umfeldumgebung vor dem Fahrzeug 1, das durch die Bildgebungseinheit 16a aufgenommen wird, und topographischen Daten basierend auf dem Nickwinkel und dem Rollwinkel durch. Da das Bild und die topographischen Daten von der Installationsposition des Laserentfernungsscanners 15 und der Bildgebungseinheit 16, die in dem Fahrzeug 1 bereitgestellt sind, als Betrachtungspunkt aus gesehen werden, wurde die Umfeldumgebung mit/in einen gekippten bzw. geneigten Betrachtungspunkt abgebildet. Die Vorverarbeitungseinheit 201 korrigiert das Bild, das durch die Neigung des Betrachtungspunkts schräg bzw. schief aufgenommen wurde, basierend auf dem Nickwinkel und dem Rollwinkel, wodurch Neigungen von Betrachtungspunkten von mehreren Bildern, die zu unterschiedlichen Zeiten aufgenommen werden, vereinheitlicht werden.
Die Vorverarbeitungseinheit 201 schätzt die Position des Fahrzeugs 1. Die Positionsschätzmethode des Fahrzeugs 1 ist nicht auf eine bestimmte Methode beschränkt. Hier berechnet die Vorverarbeitungseinheit 201, in einem Beispiel, einen optischen Fluss unter Verwendung eines vorher aufgenommenen Bilds und eines aktuell aufgenommenen Bilds, berechnet sie einen Bewegungsbetrag des Fahrzeugs 1 zwischen Zeiten, zu denen die Bilder aufgenommen wurden, basierend auf dem berechneten optischen Fluss, und schätzt sie die Position des Fahrzeugs 1 basierend auf dem Bewegungsbetrag. Die Positionsschätzmethode des Fahrzeugs 1 ist nicht darauf beschränkt. Zum Beispiel kann die Vorverarbeitungseinheit 201 die Position des Fahrzeugs 1 basierend auf anderen Informationen schätzen, wie etwa (nicht veranschaulichten) GPS-Informationen, einem Drehbetrag des Rads 3, Lenkinformationen und dergleichen.
Die Vorverarbeitungseinheit 201 speichert das korrigierte Bild und die korrigierten topographischen Daten in dem Ringpuffer 212 in Zusammenhang mit den Positionsinformationen und den Winkelinformationen (dem Nickwinkel und dem Rollwinkel) des Fahrzeugs 1, verschiedenen Detektionsinformationen und verschiedenen Bedieninformationen.
10 ist eine Ansicht, die die Struktur des Ringpuffers 212 veranschaulicht. Wie es in der Zeichnung veranschaulicht ist, werden ein Bild und topographische Daten zu der Zeit, zu der das entsprechende Bild aufgenommen ist, Positionsinformationen und Winkelinformationen des Fahrzeugs 1, verschiedene Detektionsinformationen und verschiedene Bedieninformationen zu der Zeit der Aufnahme des entsprechenden Bilds in Zusammenhang miteinander in dem Ringpuffer 212 angesammelt. Der Ringpuffer 212 ist ein Speicherbereich, der logisch in Ringform eingerichtet ist. In dem Ringpuffer 212 wird in Erwiderung auf die Speicheranforderung der Vorverarbeitungseinheit 201 das entsprechende Bild oder dergleichen, das zu speichern angefordert wird, in dem ältesten aktualisierten Bereich überschrieben und gespeichert.
Bei dem ersten Ausführungsbeispiel ist ein Intervall, in dem Bilder oder dergleichen in dem Ringpuffer 212 gespeichert werden, nicht beschränkt, aber ist das Speicherintervall auf einen Wert eingestellt, der nicht zu lang ist, sodass zum Beispiel ein Bild, das durch Aufnahme der Fahrbahnoberfläche erhalten wird, die das Fahrzeug 1 gerade überfährt, und topographische Daten, die eine Unebenheit der Fahrbahnoberfläche bezeichnen, zu jeder Zeit aus zumindest einem vorher gespeicherten Bild und vorher gespeicherten topographischen Daten erfasst werden können. Hier wird angenommen, das die Speicherung in den Ringpuffer 212 in einem hinreichend kurzen Zeitintervall durchgeführt wird, sodass ein Bild, das zuletzt in dem Ringpuffer 212 gespeichert ist, als Echtzeitbild betrachtet wird. In einer anderen Konfiguration, in der das Echtzeitbild über einen anderen Puffer aus dem Ringpuffer 212 erfasst wird, ist das Intervall, in dem Bilder in dem Ringpuffer 212 gespeichert werden, nicht auf das Vorgenannte beschränkt.
Das Echtzeitbild ist ein Bild, das von dem Benutzer als ein Bild betrachtet werden kann, das zu der aktuellen Zeit aufgenommen ist, und die verstrichene Zeit von dem Zeitpunkt, zu dem das entsprechende Bild aufgenommen ist, bis zu der aktuellen Zeit ist hinreichend kurz, um vernachlässigbar zu sein. Unter Bildern, die in dem Ringpuffer 212 gespeichert sind, werden andere Bilder als das Echtzeitbild als frühere Bilder bezeichnet. Das heißt, dass unter in dem Ringpuffer 212 gespeicherten Bildern andere Bilder als das zuletzt gespeicherte Bild früheren Bildern entsprechen. Die in dem Ringpuffer 212 in Zusammenhang mit dem Echtzeitbild gespeicherten topographischen Daten werden als topographische Echtzeitdaten bezeichnet. Die in dem Ringpuffer 212 in Zusammenhang mit den früheren Bildern gespeicherten topographischen Daten werden als frühere topographische Daten bezeichnet.
Der Anzeigeprozessor 202 führt eine Anzeigeverarbeitung auf dem Anzeigebildschirm 8 durch.
Der Umgebungsmodellgenerator 203 erzeugt ein Bild, das die Umfeldumgebung einschließlich einer Fahrbahnoberfläche unter dem Boden des Fahrzeugs 1 zeigt. Der Umgebungsmodellgenerator 203 erfasst ein Echtzeitbild und ein früheres Bild aus dem Ringpuffer 212 und synthetisiert die erfassten Bilder, wodurch das die Umfeldumgebung zeigende Bild erzeugt wird. Die Synthese von Bildern verbindet mehrere Bilder naht- bzw. übergangslos.
Der Umgebungsmodellgenerator 203 erfasst topographische Echtzeitdaten und frühere topographische Daten aus dem Ringpuffer 212 und synthetisiert die erfassten topographischen Daten, wodurch die topographischen Daten erzeugt werden, die die Umfeldumgebung einschließlich der Fahrbahnoberfläche unter dem Boden des Fahrzeugs 1 bezeichnen. Die Synthese von topographischen Daten verbindet mehrere topographische Daten naht- bzw. übergangslos.
Der Umgebungsmodellgenerator 203 projiziert das erzeugte Bild über eine Methode wie etwa Texture-Mapping auf die erzeugten topographischen Daten. Die eine stereoskopische Form der Umfeldumgebung bezeichnenden Informationen, die durch die Verarbeitung erzeugt werden, werden als Umgebungsmodell bezeichnet. Wenn ein Teil, dem topographische Daten fehlen, in dem Bildbereich vorhanden ist, kann der Umgebungsmodellgenerator 203 den entsprechenden Teil durch eine beliebige Methode verarbeiten. Zum Beispiel kann der Umgebungsmodellgenerator 203 den Teil, dem topographische Daten fehlen, mit einer ebenen bzw. flachen Form ergänzen bzw. vervollständigen.
Die Fahrzeugmodellverarbeitungseinheit 204 verarbeitet das Fahrzeugmodell 211 basierend auf Informationen, die dem Zustand des Fahrzeugs 1 entsprechen. Im speziellen erfasst die Fahrzeugmodellverarbeitungseinheit 204 Winkelinformationen, verschieden Detektionsinformationen und verschiedene Bedieninformationen, die dem Echtzeitbild entsprechen. Die Fahrzeugmodellverarbeitungseinheit 204 verarbeitet einige oder alle von der Form, der Farbe und der Neigung des Fahrzeugmodells 211 basierend auf den verschiedenen Detektionsinformationen oder den verschiedenen Bedieninformationen. Das heißt, dass die Fahrzeugmodellverarbeitungseinheit 204 den Zustand des Fahrzeugs 1, der basierend auf den verschiedenen Detektionsinformationen oder den verschiedenen Bedieninformationen bestimmt wird, auf dem Zustand des Fahrzeugmodells 211 widerspiegelt. Die Fahrzeugmodellverarbeitungseinheit 204 neigt, kippt bzw. schwenkt das Fahrzeugmodell 211 gemäß den erfassten Winkelinformationen.
Das Fahrzeugmodell 211 stellt Daten dar, die eine dreidimensionale Form des Fahrzeugs 1 bezeichnen. Als eine Methode zum Wiedergeben der dreidimensionalen Form des Fahrzeugmodells 211 kann, ähnlich zu den vorstehend beschriebenen topographischen Daten, jede beliebige Methode eingesetzt werden.
Die Ausgabeeinheit 205 ordnet das durch den Umgebungsmodellgenerator 203 erzeugte Umgebungsmodell und das durch die Fahrzeugmodellverarbeitungseinheit 204 verarbeitete Fahrzeugmodell 211 in dem gleichen virtuellen Raum an. Die Ausgabeeinheit 205 erzeugt einen Bildrahmen bzw. ein Vollbild, der bzw. das auf dem Anzeigebildschirm 8 anzuzeigen ist, basierend auf dem Umgebungsmodell und dem Fahrzeugmodell 211, die in dem virtuellen Raum angeordnet sind, und gibt den erzeugten Bildrahmen bzw. das erzeugte Vollbild an den Anzeigebildschirm 8 aus. Somit wird, wie es in 5 bis 8 veranschaulicht ist, ein Bild, das das Fahrzeugmodellbild 81 umfasst, das auf dem die Umfeldumgebung zeigenden Bild überlagert ist, an den Anzeigebildschirm 8 ausgegeben. In dieser Beschreibung wird, nachdem das Umgebungsmodell und das Fahrzeugmodell 211 in dem virtuellen Raum angeordnet sind, ein Bild von einem virtuellen Betrachtungspunkt aus berechnet. Indessen können das die Umfeldumgebung zeigende Bild und das Fahrzeugmodellbild 81 separat erzeugt werden, und kann dann das Fahrzeugmodellbild 81 auf dem die Umfeldumgebung zeigenden Bild überlagert werden.
Nachstehend werden hierin Beschreibungen bezüglich eines Betriebs der Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel gegeben, die wie vorstehend dargelegt konfiguriert ist. 11 ist ein Ablaufdiagramm, das den Vorgang eines Speicherprozesses eines Bilds in der Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel veranschaulicht. Der Prozess von 11 wird für jeden Zyklus ausgeführt, in dem verschiedene Daten in dem Ringpuffer 212 gespeichert werden.
Zunächst nehmen die Bildgebungseinheiten 16a bis 16d ein Bild einer Umfeldumgebung des Fahrzeugs 1 auf (S101). Insbesondere nimmt die Bildgebungseinheit 16a ein Bild eines Gebiets auf, das eine Fahrbahnoberfläche in der Fahrtrichtung des Fahrzeugs 1 umfasst. Der Laserentfernungsscanner 15 misst eine dreidimensionale Form der Fahrbahnoberfläche in der Vorwärtsrichtung des Fahrzeugs 1 (S102).
Danach erfasst die Erfassungseinheit 200 die Bilder von den Bildgebungseinheiten 16a bis 16d, Punktgruppendaten als Messergebnis von dem Laserentfernungsscanner 15, Detektionsinformationen von verschiedenen Sensoren und Bedieninformationen von verschiedenen Bedieneinheiten (S103). Die Detektionsinformationen umfassen zum Beispiel Fahrzeughöheninformationen von den vier Fahrzeughöhensensoren 24, Öffnungs-/Schließinformationen von den vier Türsensoren 25 und Beschleunigungsinformationen von den zwei Beschleunigungssensoren 27. Die Bedieninformationen umfassen Bedieninformationen von der Blinkerbedieneinheit 19 und der Scheinwerferbedieneinheit 20. Die Arten der Detektionsinformationen und die Arten der Bedieninformationen können auf geeignete Weise geändert werden.
Dann wandelt die Vorverarbeitungseinheit 201 die Punktgruppendaten in topographische Daten (S104).
Nachfolgend berechnet die Vorverarbeitungseinheit 201 einen Rollwinkel und einen Nickwinkel des Fahrzeugs 1 basierend auf den Beschleunigungsinformationen von den Beschleunigungssensoren 27 unter durch die Erfassungseinheit 200 erfassten Detektionsinformationen (S105). Dann führt die Vorverarbeitungseinheit 201 eine Korrektur auf dem durch die Erfassungseinheit 200 erfassten Bild und den durch Wandlung erhaltenen topographischen Daten gemäß dem Rollwinkel und dem Nickwinkel durch (S106).
Die Vorverarbeitungseinheit 201 schätz einen Bewegungsbetrag des Fahrzeugs 1 von dem Zeitpunkt, zu dem ein Bild zuletzt aufgenommen wurde, bis zu dem Zeitpunkt, zu dem ein Bild diesmal aufgenommen wurde, basierend auf einem optischen Fluss (S107). Wie es vorstehend beschrieben ist, ist die Bewegungsbetragsschätzmethode nicht auf die Methode unter Verwendung des optischen Flusses beschränkt.
Dann speichert die Vorverarbeitungseinheit 201 das korrigierte Bild in dem ältesten aktualisierten Bereich des Ringpuffers 212 in einer überschreibenden Art und Weise (S108). Hier speichert die Vorverarbeitungseinheit 201 die korrigierten topographischen Daten, die Positionsinformationen und die Winkelinformationen des Fahrzeugs 1, verschiedene Detektionsinformationen und verschiedene Bedieninformationen in dem Ringpuffer 212 in Zusammenhang mit jedem Bild. Hier sind, in einem Beispiel, die Positionsinformationen des Fahrzeugs 1 Informationen mit der aktuellen Position als Referenz (nämlich Ursprung), aber ist die Referenz der Positionsinformationen nicht darauf beschränkt. In der Verarbeitung in S108 werden, als Positionsinformationen, Ursprungspositionsinformationen gespeichert.
Danach aktualisiert die Vorverarbeitungseinheit 201 Positionsinformationen, die in dem Ringpuffer 212 gespeichert wurden, als jedes Bild in der Vergangenheit aufgenommen wurde, auf Positionsinformationen basierend auf aktuellen Positionsinformationen gemäß dem berechneten Bewegungsbetrag (S109). Durch die Verarbeitung in S109 wird ein Bildspeicherprozess in dem vorliegenden Speicherzyklus abgeschlossen.
12 ist ein Ablaufdiagramm, das den Vorgang eines Prozesses zur Steuerung einer Anzeige in der Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel veranschaulicht. Die Zeichnung veranschaulicht einen Prozess, bis ein Bildrahmen bzw. Vollbild an den Anzeigebildschirm 8 ausgegeben wird. Wenn die in der Zeichnung veranschaulichte Aufeinanderfolge von Verarbeitungen in einem vorbestimmten Steuerzyklus wiederholt ausgeführt wird, wird ein Bildrahmen bzw. ein Vollbild in jedem Steuerzyklus geändert, und kann als Folge hiervon der Benutzer die angezeigten Inhalte auf dem Anzeigebildschirm 8 als Bild erkennen. Der Steuerzyklus ist zum Beispiel gleich dem Zyklus, in dem ein Bild in den Ringpuffer 212 gespeichert wird. Der Steuerzyklus kann von dem Zyklus verschieden sein, in dem das Bild in den Ringpuffer 212 gespeichert wird.
Zunächst erfasst der Umgebungsmodellgenerator 203 ein Echtzeitbild aus dem Ringpuffer 212 (S201). Das heißt, dass der Umgebungsmodellgenerator 203 ein zuletzt gespeichertes Bild aus dem Ringpuffer 212 erfasst. Hier erfasst der Umgebungsmodellgenerator 203 durch die Bildgebungseinheiten 16a bis 16d aufgenommene Bilder.
Der Umgebungsmodellgenerator 203 verarbeitet die durch die Bildgebungseinheiten 16a bis 16d aufgenommenen erfassten Bilder, wodurch ein die Umfeldumgebung mit Ausnahme eines Unterbodenteils bzw. -abschnitts des Fahrzeugs 1 zeigendes Bild erzeugt wird (S202). Die Verarbeitungen auf den Bildern umfassen Ausschnitt, Maskierung, Synthese von mehreren Bildern, Filterung von einem Teil oder einer Gesamtheit eines Bilds, Korrektur und Betrachtungspunktwandlung. Die Korrektur ist zum Beispiel eine Verzerrungskorrektur oder eine Gammakorrektur. Zum Beispiel dient die Betrachtungspunktwandlung dazu, ein von einem anderen Betrachtungspunkt aus betrachtetes Bild, wie etwa ein Vogelperspektivbild, aus einem durch jede der Bildgebungseinheiten 16 erhaltenen Bild zu erzeugen. In einem Beispiel erzeugt der Umgebungsmodellgenerator 203 ein Bild durch naht- bzw. übergangsloses Synthetisieren der durch die Bildgebungseinheiten 16a bis 16d aufgenommenen Bilder.
Die Bildgebungseinheiten 16a bis 16d nehmen Bilder der Umfeldumgebung vor und hinter dem Fahrzeug 1, sowie auf der linken und der rechten Seite des Fahrzeugs 1 auf. Somit können die durch die durch die Bildgebungseinheiten 16a bis 16d erhaltenen Bilder synthetisiert werden, sodass ein Bild erhalten wird, das die Umfeldumgebung mit Ausnahme des Unterbodenteils des Fahrzeugs 1, der einen blinden Fleck darstellt, zeigt. Der Teil des blinden Flecks kann ausgedehnter sein als der Unterbodenteil des Fahrzeugs 1, und in diesem Fall kann ein den Teil des blinden Flecks zeigender Teil durch die folgenden Verarbeitungen (S203 und S204) ergänzt bzw. vervollständigt werden.
Der Umgebungsmodellgenerator S203 kann eine Betrachtungspunktwandlung in S202 durchführen. Zum Beispiel kann der Umgebungsmodellgenerator 203 ein Vogelperspektivbild erzeugen. Obgleich dies nachstehend nicht besonders spezifiziert ist, kann eine Betrachtungspunktwandlung auf einem Bild und topographischen Daten zu einer beliebigen Zeit durchgeführt werden. Eine beliebige Verarbeitung abgesehen von der Betrachtungspunktwandlung kann auf der Gesamtheit oder einem Teil des Bild und der topographischen Daten zu einer beliebigen Zeit ausgeführt werden.
Danach erfasst der Umgebungsmodellgenerator 203 ein Bild, auf dem eine Fahrbahnoberfläche, die das Fahrzeug 1 gerade überfährt, aufgenommen ist, unter den in dem Ringpuffer 212 gespeicherten früheren Bildern (S203). Der Umgebungsmodellgenerator 203 wählt ein Bild, auf dem die Fahrbahnoberfläche aufgenommen ist, die das Fahrzeug 1 gerade überfährt, aus den in dem Ringpuffer 212 gespeicherten früheren Bildern durch eine beliebige Methode aus. In einem Beispiel wird das Bild, auf dem die Fahrbahnoberfläche aufgenommen ist, die das Fahrzeug 1 gerade überfährt, basierend auf Positionsinformationen in Zusammenhang mit jedem Bild ausgewählt.
Dann ergänzt bzw. vervollständigt der Umgebungsmodellgenerator 203 den aktuellen Unterbodenteil des Fahrzeugs 1 in dem durch die Verarbeitung in S202 erzeugten Bild basieren auf dem erfassten früheren Bild (S204). Zum Beispiel schneidet der Umgebungsmodellgenerator 203 einen Teil, auf dem die Fahrbahnoberfläche aufgenommen ist, die das Fahrzeug 1 gerade überfährt, nämlich die aktuelle Unterbodenfahrbahnoberfläche des Fahrzeugs 1, aus dem erfassten früheren Bild aus, führt er eine Betrachtungspunktwandlung auf dem ausgeschnittenen Bild auf geeignete Weise durch, und synthetisiert er das einer Betrachtungspunktwandlung unterzogene Bild mit dem durch die Verarbeitung in S202 erzeugten Bild naht- bzw. überganslos.
Wenn die Fahrbahnoberfläche, die das Fahrzeug 1 gerade überfährt, ge- bzw. unterteilt wird/ist und die ge- bzw. unterteilten Fahrbahnoberflächen auf separaten Bildern aufgenommen sind, kann der Umgebungsmodellgenerator 203 all diese separaten Bilder erfassen. Die separaten Bilder können Bilder sein, die durch verschiedene Bildgebungseinheiten 16 aufgenommen sind, oder können Bilder sein, die zu unterschiedlichen Zeiten aufgenommen sind. In der Verarbeitung in S204 schneidet der Umgebungsmodellgenerator 203 Teile, auf denen die Fahrbahnoberfläche aufgenommen ist, die das Fahrzeug 1 gerade überfährt, aus mehreren erfassten Bildern aus, und ergänzt bzw. vervollständigt er den aktuellen Unterbodenteil des Fahrzeugs 1 unter Verwendung der mehreren ausgeschnittenen Bilder.
Nachfolgend erfasst der Umgebungsmodellgenerator 203 topographische Echtzeitdaten aus dem Ringpuffer 212 (S205). Der Umgebungsmodellgenerator 203 erfasst topographische Daten bezüglich einer Fahrbahnoberfläche, die das Fahrzeug 1 gerade überfährt, unter den in dem Ringpuffer 212 gespeicherten früheren topographischen Daten (S206). Der Umgebungsmodellgenerator 203 synthetisiert die durch die Verarbeitung in S205 erfassten topographischen Daten naht- bzw. übergangslos mit den durch die Verarbeitung in S206 erfassten topographischen Daten (S207).
Ähnlich zu der Synthese von Bildern kann der Umgebungsmodellgenerator 203, in Bezug auf die topographischen Daten, drei oder mehr topographische Daten synthetisieren. Der Umgebungsmodellgenerator 203 kann Verarbeitungen einschließlich einer Betrachtungspunktwandlung auf jeglichen topographische Daten von einer Synthese auf geeignete Weise durchführen.
Nachfolgend projiziert der Umgebungsmodellgenerator 203 das die Umfeldumgebung zeigende Bild, das durch die Verarbeitung in S204 ergänzt bzw. vervollständigt wurde, auf die durch die Verarbeitung in S206 ergänzten bzw. vervollständigten topographischen Daten (S208). Zum Beispiel, wenn ein Polygonmodell in den topographischen Daten eingesetzt wird, fügt bzw. setzt der Umgebungsmodellgenerator 203 einen entsprechenden Teil in das die Umfeldumgebung zeigende Bild auf jeder von einer großen Anzahl von Oberflächen ein, die das Gelände darstellen. Durch S207 wird das Umgebungsmodell komplettiert.
Dann erfasst die Fahrzeugmodellverarbeitungseinheit 204 verschiedene Detektionsinformationen und verschiedenen Bedieninformationen in Zusammenhang mit dem Echtzeitbild aus dem Ringpuffer 212 (S209). Die Fahrzeugmodellverarbeitungseinheit 204 verarbeitet einige oder alle von der Form, der Farbe und der Neigung des Fahrzeugmodells 211 basierend auf den verschiedenen Detektionsinformationen oder den verschiedenen Bedieninformationen (S210).
In der Verarbeitung in S210 berechnet, in einem Beispiel, die Fahrzeugmodellverarbeitungseinheit 204 ein Ausdehnungs-/Kontraktionsmaß einer Federung bzw. Aufhängung von jedem Rad 3 basierend auf den Fahrzeughöheninformationen von dem Fahrzeughöhensensor 24 für jedes Rad 3, die in den erfassten Detektionsinformationen umfasst sind. Dann berechnet die Fahrzeugmodellverarbeitungseinheit 204 eine Position von jedem Rad 3 basierend auf dem Ausdehnungs-/Kontraktionsmaß der Federung bzw. Aufhängung von jedem Rad 3. Die Fahrzeugmodellverarbeitungseinheit 204 widerspiegelt die berechnete Position von jedem Rad 3 auf dem Fahrzeugmodell 211. Zum Beispiel umfasst das Fahrzeugmodell 211 ein Modell von jedem Rad 3 und ein Modell von dem Fahrzeugkörper 2 als separate Daten, sodass die relative Lagebeziehung zwischen dem Modell von jedem Rad 3 und dem Modell von dem Fahrzeugkörper 2 frei geändert werden kann. Wenn ein bestimmtes Rad 3 einer Ausdehnung unterliegt, bewegt die Fahrzeugmodellverarbeitungseinheit 204 die Position des Modells des entsprechenden Rads 3, das in dem Fahrzeugmodell 211 umfasst ist, um den Ausdehnungsbetrag nach unten. Wenn ein bestimmtes Rad 3 einer Kontraktion unterliegt, bewegt die Fahrzeugmodellverarbeitungseinheit 204 die Position des Modells des entsprechenden Rads 3, das in dem Fahrzeugmodell 211 umfasst ist, um den Kontraktionsbetrag nach oben. Auf diese Art und Weise ändert die Fahrzeugmodellverarbeitungseinheit 204 einen Abstand zwischen dem Modell des Rads 3 und dem Modell des Fahrzeugkörpers 2 gemäß dem Ausdehnungs-/Kontraktionsmaß der Federung bzw. Aufhängung.
Die Fahrzeugmodellverarbeitungseinheit 204 kann einen vorbestimmten Teil des Fahrzeugmodells 211 transparent oder semitransparent machen. Zum Beispiel kann die Fahrzeugmodellverarbeitungseinheit 204 das Modell des Fahrzeugkörpers 2, das in dem Fahrzeugmodell 211 umfasst ist, transparent oder semitransparent machen.
In der Verarbeitung in S210 bestimmt, in einem weiteren Beispiel, die Fahrzeugmodellverarbeitungseinheit 204 die Ein-/Ausschaltung des Scheinwerfers basierend auf Bedieninformationen, die an die Scheinwerferbedieneinheit 20 eingegeben werden. Die Fahrzeugmodellverarbeitungseinheit 204 ändert die Farbe eines Teils des Fahrzeugmodells 211, der dem Scheinwerfer (nämlich einem Scheinwerfermodell) entspricht, gemäß der Ein-/Ausschaltung des Scheinwerfers.
In einem weiteren Beispiel umfasst die Verarbeitung in S210 eine Anzeige/Nichtanzeige des Blinkers bzw. Fahrtrichtungsanzeigers. Die Fahrzeugmodellverarbeitungseinheit 204 bestimmt eine Anzeige oder Nichtanzeige des Blinkers bzw. Fahrtrichtungsanzeigers basierend auf Bedieninformationen, die an die Blinkerbedieneinheit 19 eingegeben werden. Die Fahrzeugmodellverarbeitungseinheit 204 versetzt eine Anzeige eines Teils des Fahrzeugmodells 211, der dem Blinker bzw. Fahrtrichtungsanzeiger (nämlich einem Blinkermodell) entspricht, in einem blinkenden oder nichtblinkenden Zustand gemäß der Anzeige/Nichtanzeige des Blinkers bzw. Fahrtrichtungsanzeigers. Ein Blinken des Teils des Fahrzeugmodells 211, der den Blinker bzw. Fahrtrichtungsanzeiger entspricht, bezieht sich auf ein wiederholtes Ein-/Ausschalten des Teils des Modells 211, das dem Blinker bzw. Fahrtrichtungsanzeiger entspricht. Wenn der Teil des Fahrzeugmodells 211, der dem Blinker bzw. Fahrtrichtungsanzeiger entspricht, zum Blinken veranlasst wird/ist, bestimmt die Fahrzeugmodellverarbeitungseinheit 204, ob der Teil, der dem Blinker bzw. Fahrtrichtungsanzeiger in einem zu dieser Zeit zu erzeugenden Bildrahmen bzw. Vollbild entspricht, in einen eingeschalteten Modus oder einen ausgeschalteten Modus zu versetzen ist, gemäß einem Bildrahmen bzw. Vollbild, der bzw. das zuletzt erzeugt wurde.
In der Verarbeitung in S210 umfasst, in einem weiteren Beispiel, das Fahrzeugmodell 211 zum Beispiel ein Teil des Fahrzeugmodells 211, der jeder Tür entspricht, und ein Modellteil des Fahrzeugmodells 211, der dem Teil des Fahrzeugkörpers 2 entspricht, als separate Daten, sodass die relative Lagebeziehung zwischen dem Modell des Fahrzeugkörpers 2 und dem Modell von jeder Tür 2d frei geändert werden kann. Die Fahrzeugmodellverarbeitungseinheit 204 ändert einen Winkel zwischen dem Modell der entsprechenden Tür, das in dem Fahrzeugmodell 211 umfasst ist, und dem Modell des Fahrzeugkörpers 2, das in dem Fahrzeugmodell 211 umfasst ist, gemäß Detektionsinformationen von jedem Türsensor 25.
Auf die Verarbeitung in S210 folgend ändert die Fahrzeugmodellverarbeitungseinheit 204 einen Neigungswinkel des Fahrzeugmodells 211 gemäß den erfassten Winkelinformationen (211).
Danach ordnet die Ausgabeeinheit das Umgebungsmodell und das Fahrzeugmodell 211, das in S210 verarbeitet wurde, in dem gleichen virtuellen Raum an (S212). Bei der Anordnung passt die Ausgabeeinheit 205 die Lagebeziehung zwischen dem Umgebungsmodell und dem verarbeiteten Fahrzeugmodell 211 so an, dass eine tatsächliche Lagebeziehung zwischen dem Fahrzeug 1 und der Umfeldumgebung der Lagebeziehung zwischen dem Umgebungsmodell und dem verarbeiteten Fahrzeugmodell 211 entspricht. Das Bild, das als Quelle einer Umgebungsmodellerzeugung dient, wird mit Positionsinformationen und Winkelinformationen zu der Zeit in Zusammenhang gebracht, zu der das entsprechende Bild aufgenommen wurde, wenn es in dem Ringpuffer 212 gespeichert wird. Die Richtung einer optischen Achse von jeder der Bildgebungseinheiten 16 ist üblicherweise bekannt oder kann erfasst werden. Die Ausgabeeinheit 205 kann die Lagebeziehung zwischen dem Umgebungsmodell und dem verarbeiteten Fahrzeugmodell 211 basierend auf diesen Informationen abgleichen bzw. anpassen.
Dann stellt die Ausgabeeinheit 205 einen virtuellen Betrachtungspunkt in dem virtuellen Raum ein (S213), und berechnet sie ein Bild (einen Bildrahmen bzw. ein Vollbild), das an den Anzeigebildschirm 8 auszugeben ist, basierend auf dem virtuellen Betrachtungspunkt (S214). Die Ausgabeeinheit 205 gibt das Bild (den Bildrahmen bzw. das Vollbild), das durch Berechnung erhalten wird, an den Anzeigebildschirm 8 aus (S215), und der Prozess zur Steuerung der Anzeige wird abgeschlossen.
Wie es vorstehend beschrieben ist, erfasst gemäß dem ersten Ausführungsbeispiel die Umfeldüberwachungsvorrichtung ein Bild, das die Umfeldumgebung des Fahrzeugs 1 zeigt, und Informationen, die dem Zustand des Fahrzeugs 1 entsprechen, und verarbeitet sie das Fahrzeugmodell 211 gemäß den erfassten Informationen. Die Umfeldüberwachungsvorrichtung überlagert das verarbeitete Fahrzeugmodell 211 auf dem die Umfeldumgebung zeigenden Bild und gibt das Bild, das die Umfeldumgebung zeigt, auf der das Fahrzeugmodell 211 überlagert ist, an den Anzeigebildschirm 8 aus. Somit wird der Zustand des Fahrzeugs 1 auf dem Fahrzeugmodellbild 81 in Echtzeit widergespiegelt, und kann der Benutzer somit den Zustand des Fahrzeugs 1 objektiv überprüfen, während er in dem Fahrzeuginnenraum 2a bleibt. Das heißt, dass die Umfeldüberwachungsvorrichtung den Zustand des Fahrzeugs 1 in einer objektiv und leicht verständlichen Art und Weise anzeigen kann.
Die Umfeldüberwachungsvorrichtung erfasst ein Ausdehnungs-/Kontraktionsmaß einer Federung bzw. Aufhängung als Informationen, die dem Zustand des Fahrzeugs 1 entsprechen. Die Umfeldüberwachungsvorrichtung ändert einen Abstand zwischen einem Modell des Fahrzeugkörpers 2 und einem Modell des Rads 3, die in dem Fahrzeugmodell 211 umfasst sind, um das Ausdehnungs-/Kontraktionsmaß der Federung bzw. Aufhängung. Dementsprechend kann der Benutzer den Zustand des Rads 3 gemäß der Umfeldumgebung verstehen bzw. erfassen, während er in dem Fahrzeuginnenraum 2a bleibt.
Wenn eine relative Position zwischen dem Modell des Fahrzeugkörpers 2 und dem Modell des Rads 3 geändert wird, kann die Umfeldüberwachungsvorrichtung ein Nachbild des Modells des Rads 3 an einer Position vor der Änderung der relativen Position erzeugen. In einem Beispiel dupliziert die Fahrzeugmodellverarbeitungseinheit 204 das Modell des Rads 3 an der Position vor der Änderung der relativen Position, und stellt sie die Transparenz des duplizierten Modells des Rads 3 so ein, dass sie höher ist als diejenige des Modells des Rads 3, das an einer Position nach der Änderung der relativen Position angeordnet ist (nämlich des Modells des Rads 3, das einen Echtzeitzustand zeigt). Da der Reifenteil 83 vor der Positionsänderung als ein Nachbild auf dem Anzeigebildschirm 8 angezeigt wird, kann der Benutzer dementsprechend herausfinden, wie sich die Position des Rads 3 ändert. Die Anzahl von anzeigbaren Nachbildn des Reifenteils 83 ist nicht auf eins für jedes Rad 3 beschränkt. Es können mehrere Nachbild für jedes Rad 3 angezeigt werden. Die mehreren Nachbild können so angezeigt werden, dass sie entsprechend Positionen zu unterschiedlichen Zeiten lokalisiert sind. Alternativ kann ein Nachbild jedes Mal dann erzeugt und angezeigt werden, wenn die relative Position um einen vorbestimmten Betrag geändert wird. Die Fahrzeugmodellverarbeitungseinheit 204 nimmt eine Änderung vor, sodass die Transparenz des Nachbilds mit Verstreichen der Zeit zunimmt, und somit kann der entsprechende Reifenteil 83 mit Verstreichen der Zeit allmählich transparent werden, und kann er schließlich aus dem Anzeigebildschirm 8 gelöscht bzw. entfernt sein. Die Löschungs- bzw. Entfernungsmethode des Nachbilds ist nicht auf das Vorgenannte beschränkt.
Eine Fahrzeughöhenanpassungsvorrichtung kann in dem Fahrzeug 1 bereitgestellt sein. In diesem Fall erfasst die Umfeldüberwachungsvorrichtung, während die Fahrzeughöhenanpassungsvorrichtung die Fahrzeughöhe ändert, sukzessive das Ausdehnungs-/Kontraktionsmaß einer Federung bzw. Aufhängung, und widerspiegelt sie das erfasste Ausdehnungs-/Kontraktionsmaß auf dem Fahrzeugmodell 211 in Echtzeit. Während einer Anpassung der Fahrzeughöhe kann die Änderung der Fahrzeughöhe auf dem Fahrzeugmodellbild 81 in Echtzeit widergespiegelt werden, sodass eine Präsentation mit hohem Unterhaltungswert vorgenommen werden kann.
Wenn der Fahrzeughöhensensor 24 außer Betrieb bzw. gestört/defekt ist, kann die Umfeldüberwachungsvorrichtung eine beliebige Verarbeitung in Bezug auf die Verarbeitung des Fahrzeugmodells 211 ausführen. Zum Beispiel, wenn der Fahrzeughöhensensor 24 außer Betrieb bzw. gestört/defekt ist, stellt die Umfeldüberwachungsvorrichtung die Position des Modells des Rads 3 mit Bezug auf das Modell des Fahrzeugkörpers 2 als Referenzposition ein. In einem weiteren Beispiel kann, wenn der Fahrzeughöhensensor 24 außer Betrieb bzw. gestört/defekt ist, die Umfeldüberwachungsvorrichtung das Modell des Rads 3 entsprechend dem ausgefallenen Fahrzeughöhensensor 24 in einer Farbe anzeigen, die von einer üblichen Farbe verschieden ist.
Die Umfeldüberwachungsvorrichtung kann einen Lenkwinkel oder eine Drehgeschwindigkeit von jedem Rad 3 auf dem Modell des Rads 3 widerspiegeln. Zum Beispiel ändert die Umfeldüberwachungsvorrichtung den Lenkwinkel des Modells des Rads 3 gemäß den Lenkwinkelinformationen von dem Lenkwinkelsensor 26. Der Benutzer kann die Entsprechung zwischen der Umfeldumgebung und dem Lenkwinkel des Rads 3 leicht verstehen bzw. erfassen. Zum Beispiel zeigt die Umfeldüberwachungsvorrichtung das Modell des Rads 3 in einem Drehzustand gemäß den Detektionsinformationen von dem Radgeschwindigkeitssensor 22 an. Der Benutzer kann die Drehung des Rads 3 gemäß der Umfeldumgebung verstehen bzw. erfassen.
Die Umfeldüberwachungsvorrichtung kann das die Umfeldumgebung zeigende Bild, so wie es ist, über eine Betrachtungspunktwandlung an den Anzeigebildschirm 8 ausgeben, aber sie kann das die Umfeldumgebung zeigende Bild in ein Bild wandeln, das die Umfeldumgebung stereoskopisch zeigt, und das verarbeitete Bild dann ausgeben. Im Speziellen erfasst die Umfeldüberwachungsvorrichtung ferner das Messergebnis der dreidimensionalen Form der Fahrbahnoberfläche von dem Laserentfernungsscanner 15, und widerspiegelt sie das die Umfeldumgebung zeigende Bild auf der dreidimensionalen Form der Fahrbahnoberfläche, wodurch ein Umgebungsmodell erzeugt wird. Dann zeigt die Umfeldüberwachungsvorrichtung das Fahrzeugmodell 211 zusammen mit dem Umgebungsmodell auf dem Anzeigebildschirm 8 an. Dementsprechend kann der Benutzer über den Anzeigebildschirm 8 erkennen, ob das Rad 3 mit dem Untergrund in Kontakt ist.
Die Umfeldüberwachungsvorrichtung kann nach- bzw. ausdrücklich anzeigen, ob das Rad 3 mit dem Untergrund in Kontakt ist. In einem Beispiel ändert die Umfeldüberwachungsvorrichtung eine Farbe des Modells des Rads 3 abhängig davon, ob das Rad 3 mit dem Untergrund in Kontakt ist. In einem weiteren Beispiel ändert die Umfeldüberwachungsvorrichtung die Transparenz des Modells des Rads 3 abhängig davon, ob das Rad 3 mit dem Untergrund in Kontakt ist. Die Methode zum Bestimmen, ob das Rad 3 mit dem Untergrund in Kontakt ist, ist nicht auf eine bestimmte Methode beschränkt. In einem Beispiel ordnet die Umfeldüberwachungsvorrichtung das Fahrzeugmodell 211 und das Umgebungsmodell in einem virtuellen Raum an, und bestimmt sie, ob das Modell des Rads 3 mit dem Umgebungsmodell in Kontakt ist, aus der Lagebeziehung zwischen den Modellen. In einem weiteren Beispiel bestimmt die Umfeldüberwachungsvorrichtung, ob das Rad 3 leerläuft/-dreht, basierend auf den Detektionsinformationen von dem Radgeschwindigkeitssensor 22 und dem Bewegungsbetrag des Fahrzeugs 1. Dann bestimmt die Umfeldüberwachungsvorrichtung, ob das Rad 3 mit dem Untergrund in Kontakt ist, abhängig davon, ob das Rad 3 leerläuft/-dreht.
Die Umfeldüberwachungsvorrichtung kann nach- bzw. ausdrücklich anzeigen, ob das Rad 3 rutscht. In einem Beispiel ändert die Umfeldüberwachungsvorrichtung eine Farbe des Modells des Rads 3 abhängig davon, ob das Rad 3 rutscht. In einem weiteren Beispiel ändert die Umfeldüberwachungsvorrichtung die Transparenz des Modells des Rads 3 abhängig davon, ob das Rad 3 rutscht. Zum Beispiel stellt die Umfeldüberwachungsvorrichtung die Transparenz des Modells eines rutschenden Rads 3 höher ein als diejenige des Modells eines nichtrutschenden Rads 3. Die Methode zum Bestimmen, ob das Rad 3 rutscht, ist nicht auf eine bestimmte Methode beschränkt.
Die Umfeldüberwachungsvorrichtung erfasst Bedieninformationen von einer Bedieneinheit einer Beleuchtungsvorrichtung wie etwa einem Blinker bzw. Fahrtrichtungsanzeiger oder einem Scheinwerfer (der Blinkerbedieneinheit 19 und der Scheinwerferbedieneinheit 20) als Informationen die dem Zustand des Fahrzeugs 1 entsprechen. Die Umfeldüberwachungsvorrichtung bestimmt, ob die Beleuchtungsvorrichtung ein-/ausgeschaltet ist, basierend auf den Bedieninformationen. Die Umfeldüberwachungsvorrichtung ändert eine Farbe eines entsprechenden Beleuchtungsvorrichtungsmodells, das in dem Fahrzeugmodell 211 umfasst ist, gemäß der Ein-/Ausschaltung der Beleuchtungsvorrichtung. Dementsprechend kann der Benutzer über den Anzeigebildschirm 8 überprüfen, ob die Beleuchtungsvorrichtung ein-/ausgeschaltet ist.
In Bezug auf Beleuchtungsvorrichtungen abgesehen von dem Blinker bzw. Fahrtrichtungsanzeiger und dem Scheinwerfer, wie etwa ein Rücklicht, ein Seitenmarkierungslicht, ein Kennzeichen- bzw. Nummernschildlicht, ein vorderes Nebellicht, ein hinteres Nebellicht, ein Bremslicht, ein Rückfahrlicht, ein Parklicht, ein Hilfsbremslicht oder einen Notfallblinkanzeiger kann die Umfeldüberwachungsvorrichtung eine Farbe eines entsprechenden Beleuchtungsvorrichtungsmodells, das in dem Fahrzeugmodell 211 umfasst ist, gemäß der Ein-/Ausschaltung der entsprechenden Beleuchtungsvorrichtung ändern. Die Umfeldüberwachungsvorrichtung kann basierend auf anderen Informationen als den Bedieninformationen bestimmen, ob die Beleuchtungsvorrichtung ein-/ausgeschaltet ist. Zum Beispiel kann ein Sensor zum Detektieren, ob die Beleuchtungsvorrichtung ein-/ausgeschaltet ist, in dem Fahrzeug 1 bereitgestellt sein, und kann die Umfeldüberwachungsvorrichtung basierend auf Detektionsinformationen, die von diesem Sensor ausgegeben werden, bestimmen, ob die Beleuchtungsvorrichtung ein-/ausgeschaltet ist. Hinsichtlich einer Beleuchtungsvorrichtung, die abhängig von einer anderen Bedienung ein-/ausgeschaltet wird, kann die Umfeldüberwachungsvorrichtung basierend auf Detektionsinformationen von einem Sensor zum Detektieren der entsprechenden Bedienung bestimmen, ob die Beleuchtungsvorrichtung ein-/ausgeschaltet ist. Wenn der Blinker bzw. Fahrtrichtungsanzeiger blinkt, kann die Umfeldüberwachungsvorrichtung einen Modus des Blinkers bzw. Fahrtrichtungsanzeigers, der in dem Fahrzeugmodell 211 umfasst ist, in Synchronisation mit dem Blinken des Blinkers bzw. Fahrtrichtungsanzeigers in einem blinkenden Zustand anzeigen.
Die Umfeldüberwachungsvorrichtung erfasst die Detektionsinformationen von dem Türsensor 25 als Informationen, die dem Zustand des Fahrzeugs 1 entsprechen. Die Detektionsinformationen von dem Türsensor 25 bezeichnen, ob die Tür 2d geöffnet oder geschlossen ist. Die Umfeldüberwachungsvorrichtung ändert den Winkel zwischen dem Modell der Tür 2d und dem Modell des Fahrzeugkörpers 2 abhängig davon, ob die Tür 2d geöffnet oder geschlossen ist. Dementsprechend kann der Benutzer über den Anzeigebildschirm 8 überprüfen, ob die Tür 2d geöffnet oder geschlossen ist.
Die Umfeldüberwachungsvorrichtung kann einen Modus eines Modells eines entsprechenden Tür- bzw. Außenspiegels 2f, das in dem Fahrzeugmodell 211 umfasst ist, abhängig davon ändern, ob der Tür- bzw. Außenspiegel 2f geöffnet oder geschlossen ist. Die Umfeldüberwachungsvorrichtung kann den geöffneten/geschlossenen Zustand des Tür- bzw. Außenspiegels 2f basierend auf einer Eingabe an einen Schalter bestimmen, der zum Bedienen eines Öffnens/Schließens des Tür- bzw. Außenspiegels 2f verwendet wird. Die Umfeldüberwachungsvorrichtung kann den Zustand einer anderen Komponente, wie etwa eine Betätigung eines Scheibenwischers bzw. Wischerblatts, auf einem Modus eines entsprechenden Modells, das in dem Fahrzeugmodell 211 umfasst ist, widerspiegeln. Die Umfeldüberwachungsvorrichtung kann einen Modus eines entsprechenden Fenstermodells, das in dem Fahrzeugmodell 211 umfasst ist, abhängig davon ändern, ob ein in der Tür 2d bereitgestelltes Fenster geöffnet oder geschlossen ist. Die Umfeldüberwachungsvorrichtung kann basierend auf einer Eingabe an einen Schalter, der zum Bedienen des Fensters verwendet wird, bestimmen, ob das Fenster geöffnet oder geschlossen ist. Alternativ kann ein Sensor zum Detektieren, ob das Fenster geöffnet oder geschlossen ist, bereitgestellt sein, und kann die Umfeldüberwachungsvorrichtung basierend auf Detektionsinformationen von dem entsprechenden Sensor bestimmen, ob das Fenster geöffnet oder geschlossen ist. Die Umfeldüberwachungsvorrichtung kann einen Öffnungsgrad eines Fensters basierend auf Bedieninformationen eines Schalters, der zum Bedienen des Fensters verwendet wird, oder Detektionsinformationen von dem Sensor zum Detektieren, ob das Fenster geöffnet oder geschlossen ist, erfassen und den erfassten Grad auf einem Modus eines entsprechenden Fenstermodells, das in dem Fahrzeugmodell 211 umfass ist, widerspiegeln.
In der vorstehenden Beschreibung wurden als der Zustand des Fahrzeugs 1, der auf dem Fahrzeugmodellbild 81 widerzuspiegeln ist, externe Aspekte des Fahrzeugs 1 beispielhaft dargelegt. Der Zustand des Fahrzeugs 1, der auf dem Fahrzeugmodellbild 81 widerzuspiegeln ist, ist jedoch nicht darauf beschränkt. Die Umfeldüberwachungsvorrichtung kann eine Komponente, die in Wirklichkeit an dem Fahrzeug 1 schwer von außen visuell zu erkennen ist, oder einen Aufbau bzw. eine Ausstattung, die schwer von außen visuell zu erkennen ist, auf dem Fahrzeugmodellbild 81 widerspiegelt.
In einem Beispiel umfasst der Zustand des Fahrzeugs 1 ein Sperren/Entsperren eines (nicht veranschaulichten) Differenzialgetriebes. Das Fahrzeugmodell 211 umfasst ein Modell des Differenzialgetriebes. Die Umfeldüberwachungsvorrichtung zeigt das Modell des Fahrzeugkörpers 2 in einem semitransparenten Zustand an, und zeigt ein Modell des Differenzialgetriebes an. Hier ändert die Umfeldüberwachungsvorrichtung, in der Anzeige des Differenzialgetriebes, den Anzeigemodus eines Modells des Differenzialgetriebes abhängig von dem gesperrten Zustand oder dem entsperrten Zustand. Zum Beispiel, wenn das Differenzialgetriebe gesperrt ist, färbt die Umfeldüberwachungsvorrichtung das Modell des Differenzialgetriebes rot. Wenn das Differenzialgetriebe entsperrt ist, färbt die Umfeldüberwachungsvorrichtung das Modell des Differenzialgetriebes blau. Die Umfeldüberwachungsvorrichtung kann bestimmen, ob das Differenzialgetriebe gesperrt oder entsperrt ist, basierend zum Beispiel auf einer Eingabe an einen (nicht veranschaulichten) Schalter zum Wechseln eines gesperrten Zustands und eines entsperrten Zustands.
In einem weiteren Beispiel umfasst der Zustand des Fahrzeugs 1 eine Ausdehnung/Kontraktion einer (nicht veranschaulichten) Federung bzw. Aufhängung. Das Fahrzeugmodell 211 umfasst ein Modell der Federung bzw. Aufhängung von jedem Rad 3. Die Umfeldüberwachungsvorrichtung zeigt das Modell des Fahrzeugkörpers 2 in einem semitransparenten Zustand an, und zeigt das Modell der Federung bzw. Aufhängung für jedes Rad 3 an. Die Umfeldüberwachungsvorrichtung widerspiegelt das Ausdehnungs-/Kontraktionsmaß von jeder Federung bzw. Aufhängung in Echtzeit auf dem Modell der Federung bzw. Aufhängung.
Auf diese Art und Weise kann die Umfeldüberwachungsvorrichtung eine Komponente, die schwer von außen visuell zu erkennen ist, oder einen Aufbau bzw. eine Ausstattung, die schwer von außen visuell zu erkennen ist, in einem visuell zu erkennenden Modus anzeigen.
<Zweites Ausführungsbeispiel>
13 ist ein Blockschaltbild, das eine funktionale Konfiguration von einer ECU 14 veranschaulicht, die als die Umfeldüberwachungsvorrichtung gemäß dem zweiten Ausführungsbeispiel dient. Die Umfeldüberwachungsvorrichtung gemäß dem zweiten Ausführungsbeispiel unterscheidet sich von der Umfeldüberwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel darin, dass ein Rechner bzw. eine Recheneinheit 206 zu dem Anzeigeprozessor 202 hinzugefügt ist. Hier werden hauptsächlich Teile beschrieben, die sie von denjenigen bei dem ersten Ausführungsbeispiel unterscheiden, und werden redundante Beschreibungen ausgelassen.
Bei dem zweiten Ausführungsbeispiel dient der Laserentfernungsscanner 15 als eine Messeinheit, die die Position eines Hindernisses misst. Als die Messeinheit zum Messen der Position des Hindernisses können andere Vorrichtungen, wie etwa ein Ultraschallsonar, eine Stereokamera oder dergleichen, anstelle des Laserentfernungsscanners 15 eingesetzt werden.
Der Rechner 206 erfasst die Position des Hindernisses, das in einem Bewegungsbereich der Tür 2d vorhanden ist, basierend auf topographischen Daten, die aus dem Messergebnis des Laserentfernungsscanners 15 erhalten werden. Das Hindernis bezieht sich auf ein Hindernis, das ein Öffnen/Schließen der Tür 2d blockiert bzw. behindert. Der Rechner 206 berechnet einen Bewegungsbereich, der durch das Hindernis begrenzt ist, basierend auf der Position des Hindernisses. Der Bewegungsbereich, der durch das Hindernis begrenzt ist, bezieht sich auf einen Bereich, in dem die Tür 2d geöffnet werden kann, ohne mit dem Hindernis zu kollidieren bzw. zusammenzustoßen.
Die Ausgabeeinheit 205 zeigt ein Anzeigeobjekt, das den durch das Hindernis begrenzen Bewegungsbereich bezeichnet, auf dem Anzeigebildschirm 8 an, sodass der durch das Hindernis begrenzten Bewegungsbereich über den Anzeigebildschirm 8 erkannt werden kann.
14 und 15 sind Ansichten, die Anzeigebeispiele des Anzeigebildschirms 8 gemäß dem zweiten Ausführungsbeispiel veranschaulichen. In dem Beispiel von 14 ist die Position, an der die Tür 2d bis innerhalb des durch das Hindernis begrenzten Bewegungsbereichs maximal geöffnet ist, durch ein Anzeigeobjekt 85 angezeigt, das das Modell der Tür 2d in gestrichelten Linien darstellt. In dem Beispiel von 15 ist der durch das Hindernis begrenzte Bewegungsbereich durch ein Anzeigeobjekt 86 in einer schraffierten Fächerform angezeigt. Beispiele eines Anzeigeobjekts, das den durch das Hindernis begrenzten Bewegungsbereich bezeichnet, sind nicht darauf beschränkt.
Wie es vorstehend beschrieben ist, erfasst, gemäß dem zweiten Ausführungsbeispiel, die Umfeldüberwachungsvorrichtung zusätzlich die Position des Hindernisses, und berechnet sie den Bewegungsbereich der Tür 2d, der durch das Hindernis begrenzt ist. Die Umfeldüberwachungsvorrichtung zeigt den Bewegungsbereich der Tür 2d, der durch das Hindernis begrenzt ist, durch das Anzeigeobjekt auf dem Anzeigebildschirm 8 an. Dies ermöglicht dem Benutzer, die Tür 2d bequem bzw. entspannt zu öffnen, ohne seinen Kopf aus dem Fenster zu strecken, um den Außenbereich zu überprüfen.
Obwohl hierin offenbarte Ausführungsbeispiele beispielhaft dargelegt wurden, sind diese Ausführungsbeispiele und Abwandlungen nur beispielhaft, aber nicht zur Einschränkung des Umfangs der Offenbarung bestimmt. Die Ausführungsbeispiele und Abwandlungen können in anderen verschiedenen Formen bzw. Ausgestaltungen implementiert werden, und verschiedene Weglassungen, Ersetzungen, Kombinationen und Änderungen können vorgenommen werden, ohne von dem Grundgedanken der Offenbarung abzuweichen. Auch können die Konfigurationen oder Formen bzw. Ausgestaltungen der jeweiligen Ausführungsbeispiele und Abwandlungen in einer Implementierung teilweise ersetzt bzw. ausgetauscht werden.
Die Prinzipien, bevorzugten Ausführungsbeispiele und Betriebsarten der vorliegenden Erfindung wurden in der vorangehenden Spezifikation beschrieben. Die Erfindung, die zu schützen beabsichtigt ist, ist jedoch nicht dahingehend auszulegen, dass sie auf die offenbarten speziellen Ausführungsbeispiele beschränkt ist. Weiterhin sind die hierin beschriebenen Ausführungsbeispiele als veranschaulichend und nicht als einschränkend zu betrachten. Abwandlungen und Änderungen können vorgenommen werden, und Äquivalente können eingesetzt werden, ohne von dem Grundgedanken der vorliegenden Erfindung abzuweichen. Dementsprechend ist es ausdrücklich beabsichtigt, dass alle derartigen Abwandlungen, Änderungen und Äquivalente, die in den Grundgedanken und Umfang der vorliegenden Erfindung fallen, wie sie in den Patentansprüchen definiert ist, dadurch umfasst bzw. abgedeckt sind.
Eine Umfeldüberwachungsvorrichtung umfasst: eine Erfassungseinheit (200), die ein Bild, das eine Umfeldumgebung eines Fahrzeugs (1) zeigt, und Informationen, die einem Zustand des Fahrzeugs entsprechen, erfasst, wobei das Bild durch eine Bildgebungsvorrichtung (16, 16a, 16b, 16c, 16d) aufgenommen ist, die in dem Fahrzeug bereitgestellt ist; einen Speicher (210), der ein Fahrzeugmodell speichert, das eine dreidimensionale Form des Fahrzeugs bezeichnet; eine Verarbeitungseinheit (204), die das Fahrzeugmodell basierend auf den Informationen verarbeitet; und eine Ausgabeeinheit (205), die das durch die Verarbeitungseinheit verarbeitete Fahrzeugmodell an einer Position in dem die Umfeldumgebung zeigenden Bild überlagert, die einer Position in der Umfeldumgebung entspricht, wo sich das Fahrzeug befindet, und das Bild, das die Umfeldumgebung zeigt und das Fahrzeugmodell überlagert hat, auf einem Anzeigebildschirm (8) anzeigt, der in einem Fahrzeuginnenraum (2a) des Fahrzeugs bereitgestellt ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016-021653 A [0002]

Claims

Umfeldüberwachungsvorrichtung mit: einer Erfassungseinheit (200), die ein Bild, das eine Umfeldumgebung eines Fahrzeugs (1) zeigt, und Informationen, die einem Zustand des Fahrzeugs entsprechen, erfasst, wobei das Bild durch eine Bildgebungsvorrichtung (16, 16a, 16b, 16c, 16d) aufgenommen ist, die in dem Fahrzeug bereitgestellt ist; einem Speicher (210), der ein Fahrzeugmodell speichert, das eine dreidimensionale Form des Fahrzeugs bezeichnet; einer Verarbeitungseinheit (204), die das Fahrzeugmodell basierend auf den Informationen verarbeitet; und einer Ausgabeeinheit (205), die das durch die Verarbeitungseinheit verarbeitete Fahrzeugmodell an einer Position in dem die Umfeldumgebung zeigenden Bild überlagert, die einer Position in der Umfeldumgebung entspricht, wo sich das Fahrzeug befindet, und das Bild, das die Umfeldumgebung zeigt und das Fahrzeugmodell überlagert hat, auf einem Anzeigebildschirm (8) anzeigt, der in einem Fahrzeuginnenraum (2a) des Fahrzeugs bereitgestellt ist.
Umfeldüberwachungsvorrichtung gemäß Anspruch 1, wobei die Informationen Informationen sind, die ein Ausdehnungs-/Kontraktionsmaß einer Federung bezeichnen, die konfiguriert ist zum Durchführen einer Positionierung eines Rads (3, 3F, 3R) gemäß einer Ausdehnung/Kontraktion, und die Verarbeitungseinheit einen Abstand zwischen einem Modell des Rads und einem Modell eines Fahrzeugkörpers (2), die in dem Fahrzeugmodell umfasst sind, gemäß dem Ausdehnungs-/Kontraktionsmaß ändert.
Umfeldüberwachungsvorrichtung gemäß Anspruch 2, wobei die Erfassungseinheit ferner eine dreidimensionale Form einer Fahrbahnoberfläche erfasst, die durch eine in dem Fahrzeug bereitgestellte Messeinheit gemessen wird, die Umfeldüberwachungsvorrichtung ferner einen Generator (203) aufweist, der ein Umgebungsmodell erzeugt, in dem das die Umfeldumgebung zeigende Bild auf die dreidimensionale Form der Fahrbahnoberfläche, die durch die Erfassungseinheit erfasst wird, projiziert ist, und die Ausgabeeinheit das durch den Generator erzeugte Umgebungsmodell auf dem Anzeigebildschirm anzeigt.
Umfeldüberwachungsvorrichtung gemäß Anspruch 1, wobei die Informationen Informationen sind, die bezeichnen, ob eine in dem Fahrzeug bereitgestellte Beleuchtungsvorrichtung eingeschaltet oder ausgeschaltet ist, und die Verarbeitungseinheit eine Farbe eines Modells der Beleuchtungsvorrichtung, das in dem Fahrzeugmodell umfasst ist, demgemäß ändert, ob die Beleuchtungsvorrichtung eingeschaltet oder ausgeschaltet ist.
Umfeldüberwachungsvorrichtung gemäß Anspruch 1, wobei die Informationen Informationen sind, die bezeichnen, ob eine in dem Fahrzeug bereitgestellte Tür (2d) geöffnet oder geschlossen ist, und die Verarbeitungseinheit einen Winkel zwischen einem Modell der Tür und einem Modell eines Fahrzeugkörpers, die in dem Fahrzeugmodell umfasst sind, demgemäß ändert, ob die Tür geöffnet oder geschlossen ist.
Umfeldüberwachungsvorrichtung gemäß Anspruch 5, wobei die Erfassungseinheit ferner einen Ort eines Hindernisses erfasst, der durch eine in dem Fahrzeug bereitgestellte Messeinheit gemessen wird, die Umfeldüberwachungsvorrichtung ferner einen Rechner (206) aufweist, der einen Bewegungsbereich der Tür berechnet, der durch das Hindernis begrenzt ist, und die Ausgabeeinheit ferner ein Anzeigeobjekt, das den durch den Rechner berechneten Bewegungsbereich bezeichnet, auf dem Anzeigebildschirm anzeigt.
Umfeldüberwachungsvorrichtung gemäß Anspruch 1, wobei die Informationen Informationen sind, die einen Winkel zwischen einer in dem Fahrzeug bereitgestellten Tür und einem Fahrzeugkörperseitenflächenteil des Fahrzeugs bezeichnen, und die Verarbeitungseinheit einen Winkel zwischen einem Modell der Tür und einem Modell des Fahrzeugkörperseitenflächenteils, die in dem Fahrzeugmodell umfasst sind, gemäß dem Winkel zwischen der in dem Fahrzeug bereitgestellten Tür und dem Fahrzeugkörperseitenflächenteil des Fahrzeugs ändert.