DE112014006597T5

DE112014006597T5 - Fahrzeugmontierte Vorrichtung

Info

Publication number: DE112014006597T5
Application number: DE112014006597.8T
Authority: DE
Inventors: Kiyotaka Kato; Yasunori Hoshihara
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-04-17
Filing date: 2014-04-17
Publication date: 2017-04-06
Also published as: WO2015159407A1; JPWO2015159407A1; US20170066375A1; CN106232427A

Abstract

Es wird eine fahrzeugmontierte Anzeigevorrichtung 1 offenbart, die eine Mehrzahl von Anzeigen 9-1 bis 9-m, die in einem Fahrzeug montiert sind, eine Mehrzahl von Bedienempfängern (zum Beispiel Berührungspaneele) jeweils entsprechend der Mehrzahl von Anzeigen 9-1 bis 9-m, einen Bilderfasser zum Erfassen einer Mehrzahl von Kamerabildern aus einer Mehrzahl von extern montierten Kameras, die Umgebungen des Fahrzeugs schießen, eine Bildverarbeitungssteuerung 2a, um, wenn eine der Bedienempfänger eine Passagierbedienung des Auswählens eines auf der entsprechenden der Anzeigen 9-1 bis 9-m anzuzeigenden Kamerabildes aus der Mehrzahl von Kamerabildern akzeptiert, einen Bildverarbeitungsbefehl zu erteilen, um Bilddaten zu erzeugen, die auf der, dem oben erwähnten Bedienempfänger entsprechenden Anzeige anzuzeigen sind, und einen Bild-Integrationsprozessor 4, um für jede der Mehrzahl von Anzeigen 9-1 bis 9-m ein auf der oben erwähnten Anzeige anzuzeigendes Kamerabild aus der Mehrzahl von Kamerabildern anhand des Bildverarbeitungsbefehls aus der Bildverarbeitungssteuerung 2a auszuwählen, um die Bilddaten zu erzeugen, beinhaltet.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf eine fahrzeugmontierte Anzeigevorrichtung, die Kamerabilder anzeigt, die durch Aufnehmen der Umgebungen eines Fahrzeugs eingefangen werden, auf einer im Fahrzeug montierten Anzeige.
HINTERGRUND DER ERFINDUNG
Durch Anzeigen von Kamerabildern, die durch Schießen der Umgebung eines Fahrzeugs aufgenommen werden, auf einer im Fahrzeug montierte Anzeige, wird es Passagieren ermöglicht, visuell ein Hindernis und ein sich näherndes Objekt (ein anderes Fahrzeug, ein Motorrad, ein Fahrrad, einen Fußgänger und so weiter) vor, hinter, an linken und rechten Bereichen des Fahrzeugs auf der Anzeige zu erkennen. Daher wird einem neben dem Fahrer sitzenden Beifahrer oder einem Rücksitzpassagier ermöglicht, die Bedingungen der Umgebung des Fahrzeugs auf der Anzeige zu prüfen und dann dem Fahrer die Bedingungen mitzuteilen und die Bedingungsinformation für eine Sicherheitsprüfung beim Verlassen des Fahrzeugs zu verwenden, und dies führt zu einer Fahrunterstützung für den Fahrer.
Beispielsweise in der in Patentreferenz 1 offenbarten fahrzeugmontierten Elektronikausrüstung, wenn ein Rücksitzsitzplatz-Detektionssensor ein Rücksitzsitzen detektiert, detektiert ein Rücksitztüröffnungs-Detektionssensor eine Rücksitztüröffnungsbewegung, und detektiert ein Bewegtobjekt-Annäherungs-Detektionssensor eine Annäherung eines sich bewegenden Objekts, befiehlt eine Steuerung eine Anzeige für den Rücksitz, eine Warnung vor dem Öffnen der Rücksitztür anzuzeigen. Die Warnung ist eine Anzeige nur von Zeicheninformation oder eine Anzeige von Zeicheninformation und des Typs des sich nähernden bewegten Objekts.
Weiter, beispielsweise in einem in Patentreferenz 2 offenbarten Fahrzeugumgebungs-Überwachungssystem, bevor eine Tür eines Fahrzeugs in einem Zustand, in welchem das Fahrzeug in Ruhe ist, geöffnet wird, wird ein Bild zumindest eines Bereichs in der Umgebung der Tür des Fahrzeugs unter Verwendung einer Bildgebungseinheit aufgenommen und wird auf einer im Fahrzeug montierten Anzeigevorrichtung angezeigt und wenn eine Annäherungsobjekt-Detektionseinheit ein sich annäherndes Objekt zumindest in dem Bereich der Umgebung der Tür des Fahrzeugs detektiert, wird ein Bild des sich annähernden Objekts auf der Anzeigevorrichtung angezeigt.
DOKUMENTE DES STANDS DER TECHNIK
PATENTREFERENZEN

Patentreferenz 1: Japanische ungeprüfte Patentveröffentlichung Nr. 2013-180634
Patentreferenz 2: Japanische ungeprüfte Patentveröffentlichung Nr. 2007-148618

ZUSAMMENFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
Weil in der, in der oben erwähnten Patentreferenz 1 offenbarten fahrzeugmontierten Elektronikausrüstung Informationen zu allen Hindernissen und allen sich bewegenden Objekten im Detektionsbereich der Sensoren angezeigt werden, sind in einer textbasierten Form auf einem Bildschirm die Informationsteile für Passagiere schwierig intuitiv aufzufassen und daher gibt es die Möglichkeit, dass Passagiere veranlasst werden, verwirrt zu sein. Ein weiteres Problem bei der in den oben erwähnten Patentreferenzen 1 und 2 beschriebenen, fahrzeugmontierten Elektronikausrüstung und dem Fahrzeugumgebungs-Überwachungssystem ist, dass Passagieren nicht gestattet wird, frei auszuwählen, welches Kamerabild, das durch Schießen eines Teils der Umgebungen des Fahrzeugs aufgenommen wird, auf dem Bildschirm anzuzeigen ist, und keine Fahrunterstützung basierend auf der Auswahl eines Kamerabildes dem Fahrer bereitgestellt werden kann.
Die vorliegende Erfindung ist gemacht worden, um die oben erwähnten Probleme zu lösen und es ist daher eine Aufgabe der vorliegenden Erfindung, eine fahrzeugmontierte Anzeigevorrichtung bereitzustellen, die Passagieren ermöglicht, frei eine Kamerabild auszuwählen, welches durch Schießen der Umgebung eines Fahrzeugs aufgenommen wird und eine Anzeige zu veranlassen, das Kamerabild anzuzeigen.
MITTEL ZUM LÖSEN DES PROBLEMS
Gemäß der vorliegenden Erfindung wird eine fahrzeugmontierte Anzeigevorrichtung bereitgestellt, die beinhaltet: eine Mehrzahl von in einem Fahrzeug montierter Anzeigen; eine Mehrzahl von Bedienempfängern, jeweils entsprechend der Mehrzahl von Anzeigen; einen Bilderfasser zum Erfassen einer Mehrzahl von Kamerabildern aus einer Mehrzahl von extern montierten Kameras, die Umgebungen des Fahrzeugs schießen; eine Bildverarbeitungssteuerung zum, wenn der Bedienempfänger eine Passagierbedienung des Auswählens eines auf der Anzeige anzuzeigenden Kamerabilds aus der Mehrzahl von Kamerabildern akzeptiert, Erteilen eines Bildverarbeitungsbefehl zum Erzeugen von auf der Anzeige anzuzeigenden Bilddaten entsprechend dem oben erwähnten Bedienempfänger; und einen Bildintegrationsprozessor zum, für jedes der Mehrzahl von Anzeigen, Auswählen eines auf der oben erwähnten Anzeige anzuzeigenden Kamerabildes aus der Mehrzahl von Kamerabildern anhand des Bildverarbeitungsbefehls aus der Bildverarbeitungssteuerung, um die Bilddaten zu erzeugen.
VORTEILE DER ERFINDUNG
Weil beim Akzeptieren einer Passagierbedienung des Auswählens eines auf einer Anzeige anzuzeigenden Kamerabildes aus einer Mehrzahl von Kamerabildern die fahrzeugmontierte Anzeigevorrichtung gemäß der vorliegenden Erfindung das auf der Anzeige anzuzeigende Kamerabild aus der Mehrzahl von Kamerabildern auswählt und Bilddaten erzeugt, ermöglicht es die fahrzeugmontierte Anzeigevorrichtung Passagieren, ein Kamerabild frei auszuwählen und eine Anzeige zu veranlassen, das ausgewählte Kamerabild anzuzeigen.
KURZE BESCHREIBUNG DER FIGUREN
1 ist ein Blockdiagramm, welches die Konfiguration einer fahrzeugmontierten Anzeigevorrichtung gemäß Ausführungsform 1 der vorliegenden Erfindung zeigt;
2 ist ein Diagramm, das ein Beispiel der Installation extern montierter Kameras, die mit einem Bilderfasser gemäß Ausführungsform 1 verbunden sind, zeigt und diese durch die extern montierten Kameras aufgenommenen Anzeigebilder anzeigt;
3 ist ein Diagramm, welches die Installations-Situation auf den in 2 gezeigten Anzeigen zeigt, die vom Rücksitz eines Fahrzeugs betrachtet werden,
4 ist ein Diagramm, das ein Beispiel eines Verfahrens zum Verbinden von Bildempfängern gemäß Ausführungsform 1 zeigt;
5 ist ein Diagramm, das ein Beispiel des Bildschirm-Layouts einer mit jedem der Bildempfänger gemäß Ausführungsform 1 verbundenen Anzeige zeigt;
6 ist ein Diagramm, das ein Beispiel von Bildschirmübergängen einer mit einem Bildempfänger gemäß Ausführungsform 1 verbundenen Anzeige zeigt;
7 ist ein Diagramm, das ein Beispiel von Bildschirmübergängen einer mit einem Bildempfänger gemäß Ausführungsform 1 verbundenen Anzeige zeigt;
8 ist ein Diagramm, das ein Beispiel eines Bildschirmübergangs einer mit einem Bildempfänger gemäß Ausführungsform 1 verbundenen Anzeige zeigt;
9 ist ein Diagramm, das ein Beispiel eines Bildschirmübergangs einer mit einem Bildempfänger gemäß Ausführungsform 1 verbundenen Anzeige zeigt;
10 ist ein Flussdiagramm, das den Betrieb der fahrzeugmontierten Anzeigevorrichtung gemäß Ausführungsform 1 zeigt;
11 ist ein Diagramm, das Bedingungen innerhalb und außerhalb des Fahrzeugs erläutert, in welchem die fahrzeugmontierte Anzeigevorrichtung gemäß Ausführungsform 1 montiert ist;
12 ist ein Diagramm, das ein Beispiel von Menü-Bedingungen auf einer Anzeige zeigt, die ein Passagier unter den in 11 gezeigten Bedingungen durchführt und Bildschirmübergänge der Anzeige;
13 ist ein Diagramm, das ein Beispiel von Einstellungen von Puffern zum Durchführen eines Bildaufbereitungsprozesses und eines Bild-Integrationsprozesses unter Verwendung eines Bild-Integrationsprozessors gemäß Ausführungsform 1 zeigt; und
14 ist ein Timing-Diagramm, das Operationen auf einer Rahmen-zu-Rahmen-Basis und einer Linien-zu-Linien-Basis des Bild-Integrationsprozessors und eines Bild-übertragungsprozessors zeigt.
AUSFÜHRUNGSFORMEN DER ERFINDUNG
Nachfolgend werden, um diese Erfindung detaillierter zu erklären, bevorzugte Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
Ausführungsform 1
Wie in 1 gezeigt, beinhaltet eine fahrzeugmontierte Anzeigevorrichtung 1 gemäß Ausführungsform 1 eine CPU (Zentraleinheit) 2, welche den Betrieb der gesamten fahrzeugmontierten Anzeigevorrichtung steuert, einen Bilderfasser 3, der aus einer Mehrzahl von Bilderfassungseinheiten 3-1 bis 3-n aufgebaut ist, einen Bild-Integrationsprozessor 4, der Komposition, Integration etc. an einer Mehrzahl von Bildern durchführt, einen Bild-Übertragungsprozessor 5, der Bilddaten an Bildempfänger 8-1 bis 8-m sendet, die Bildempfänger 8-1 bis 8-m, welche die durch den Bild-Übertragungsprozessor 5 gesendete Bilddaten empfangen, und Anzeigen 9-1 bis 9-m, die dadurch empfangene Bilddaten anzeigen. Weiter sind eine Fahrzeugsteuerung 10, die in einem Fahrzeug montierte fahrzeugmontierte Ausrüstung steuert und die fahrzeugmontierte Anzeigevorrichtung 1 miteinander über ein Fahrzeugnetzwerk verbunden.
Die CPU 2 beinhaltet eine Bildverarbeitungssteuerung 2a, die die Gesamt-Bildverarbeitung der fahrzeugmontierten Anzeigevorrichtung 1 steuert und einen Fahrzeugsteuerkommandeur 2b, der der Fahrzeugsteuerung 10 über das Fahrzeugnetzwerk einen Befehl erteilt. Weiter, obwohl nicht illustriert, beinhaltet diese CPU 2 einen internen Speicher, einen Eingabe/Ausgabe-Anschluss, der Informationen peripherer Ausrüstung austauscht und eine Netzwerk-Schnittstelle.
Die Bildverarbeitungssteuerung 2a erfasst die Anzahl, die Anzeigegrößen, die Kommunikationszustände und die Teile von Fehlerinformation der Bildempfänger 8-1 bis 8-m aus den Teilen von Statusinformation über die Bildempfänger 8-1 bis 8-m, die in einem Speicher 6b gespeichert sind, über den Bild-Übertragungsprozessor 5 und den internen Bus 7. die Bildverarbeitungssteuerung 2a erfasst auch Informationsteile jeweils über eine Passagierbedienung aus den Anzeigen 9-1 bis 9-m über die Bildempfänger 8-1 bis 8-m, den Bild-Übertragungsprozessor 5 und den internen Bus 7. Die Bildverarbeitungssteuerung 2a steuert den Bild-Integrationsprozessor 4 und den Bild-Übertragungsprozessor 5 auf Basis der erfassten Information.
Der Fahrzeugsteuerkommandeur 2b erfasst über den internen Bus 7 Detektionsinformation zu einem Hindernis oder einem sich nähernden Objekt in der Umgebung des Fahrzeugs, wobei das Hindernis oder das sich nähernde Objekt durch den Bild-Integrationsprozessor 4 detektiert werden. Der Fahrzeugsteuerkommandeur 2b gibt einen Befehl zur Steuerung einer Operation über das Fahrzeug, wie etwa einen Befehl zum Verriegeln oder Entriegeln einer Tür, wobei der Befehl auf dieser Detektionsinformation basiert, über das Fahrzeugnetzwerk an die Fahrzeugsteuerung 10 aus. Die Fahrzeugsteuerung 10 steuert das Türverriegelungs-Steuersystem des Fahrzeugs oder dergleichen anhand des Befehls aus dem Fahrzeugsteuerkommandeur 2b, um ein Verriegeln oder Entriegeln einer Tür oder dergleichen durchzuführen.
Der Bilderfasser 3 beinhaltet die n (n >= 2) Bilderfassungseinheiten 3-1 bis 3-n. Jede der Bilderfassungseinheiten 3-1 bis 3-n führt eine Vorverarbeitung, wie etwa Farbumwandlung und Formatumwandlung, am daran eingegebenen Bild durch und gibt das Bild an den Bild-Integrationsprozessor 4 aus. Als eingegebenes Bild gibt es ein Bild der Umgebung (Front, Heck, rechts- oder linksseitige Bereiche oder dergleichen) des Fahrzeugs, welche durch eine extern montierte Kamera aufgenommen werden. Weiter kann beispielsweise die fahrzeugmontierte Anzeigevorrichtung 1 auch für RSE (Rear Seat Entertainment, Rücksitzunterhaltung) verwendet werden, und ein aus einer im Fahrzeug montierten Disk-Vorrichtung ausgegebenes Disk-Bild, wie etwa ein Bild auf der DVD (Digital Versatile Disc) oder einer BD (Blu-ray Disc; (registrierte Marke, die Beschreibung der registrierten Marke wird nachfolgend weggelassen), ein aus einer Navigationsvorrichtung ausgegebenes Navigationsbild, ein aus einem mit einem externen Eingangsanschluss der fahrzeugmontierten Anzeigevorrichtung 1 verbundenen Smartphone ausgegebenes Smartphonebild oder dergleichen kann als das eingegebene Bild verwendet werden.
2 zeigt ein Beispiel der Installation der mit dem Bilderfasser 3 verbundenen, extern montierten Kameras und Anzeigen, von denen jede ein Bild anzeigt, welches durch eine extern montierte Kamera aufgenommen wird. Eine Frontkamera 11-1, die einen Frontseitenbereich des Fahrzeugs aufnimmt, ist an der Front des Fahrzeugs montiert, eine Heckkamera 11-2, die einen Rückseitenbereich des Fahrzeugs aufnimmt, ist auf dem Heck des Fahrzeugs montiert, eine Linksseitenkamera 11-3, die einen Linksseitenbereich des Fahrzeugs aufnimmt, und eine Linksheckkamera 11-4, die einen linken Heckseitenbereich des Fahrzeugs aufnimmt, sind auf dem linken Seitentürspiegel des Fahrzeugs montiert, und eine Rechtsseitenkamera 11-5, die einen rechtsseitigen Bereich des Fahrzeugs aufnimmt, und eine Rechtsheckkamera 11-6, die einen rechten Heckseitenbereich des Fahrzeugs aufnimmt, sind auf dem rechten Seitentürspiegel des Fahrzeugs montiert. Weiter ist, als mit den Bildempfängern 8-1 bis 8-m verbundenen Anzeigen eine Vordersitzanzeige 9-1 auf dem Frontzentrum zwischen dem Fahrersitz und dem Vordersitz neben dem Fahrer montiert, und sind eine linke Rücksitzanzeige 9-2 und eine rechte Rücksitzanzeige 9-3 jeweils auf den Rückseiten des Fahrersitzes und des Vordersitzes neben dem Fahrer montiert. 3 zeigt die Installationssituation der Frontsitzanzeige 9-1, der linken Rücksitzanzeige 9-2 und der rechten Rücksitzanzeige 9-3, bei Sicht aus dem Rücksitz im Fahrzeug.
Die Anzahl von verwendeten Kameras und ihre Installationspositionen können abhängig von Sichtwinkeln und Definitionsgraden etc. der verwendeten Kameras verändert werden.
Der Bild-Integrationsprozessor 4 führt einen Prozess des Integrierens oder des Komponierens einer Mehrzahl von durch die Bilderfassungseinheiten 3-1 bis 3-n erfassten Bildern, Bildverarbeitung zum Detektieren eines sich bewegenden Objekts und eines Hindernisses aus jedem der Bilder, einen Graphikzeichenprozess des Markierens (Kolorierens, Heraushebens oder dergleichen) des bewegten Objektes und des Hindernisses etc. durch. Der Bild-Integrationsprozessor 4 führt die Prozesse in Reaktion auf einen Bildverarbeitungsbefehl über den internen Bus 7 aus der Bildverarbeitungssteuerung 2a durch und speichert die verarbeiteten Ergebnisse des Bild-Integrationsprozesses (Bilddaten) im Speicher 6a. Der Bild-Integrationsprozessor 4 liest auch die Bilddaten, an welchen die Prozesse durchzuführen sind, aus dem Speicher 6a aus und gibt die Bilddaten an den Bild-Übertragungsprozessor 5. Puffer zum Bildaufnehmen und Puffer zum Bildintegrierungsprozess und Anzeige, welche durch den Bild-Integrationsprozessor 4 verwendet werden, sind im Speicher 6a angeordnet. Der Speicher 6a kann außerhalb des Bild-Integrationsprozessors 4 angeordnet sein, wie in 1 gezeigt, oder kann innerhalb des Bild-Integrationsprozessors 4 angeordnet sein.
Der Bild-Übertragungsprozessor 5 verpackt die aus dem Bild-Integrationsprozessor 4 empfangenen Bilddaten in Pakete als auf den Anzeigen 9-1 bis 9-m anzuzeigende Bilder und führt Kopfinformation zu jedem der Pakete hinzu und sendet die Pakete. Der Bild-Übertragungsprozessor 5 empfängt auch die Teile von Statusinformation über die Bildempfänger 8-1 bis 8-m und Teile von Bedieninformation über die Anzeigen 9-1 bis 9-m und speichert sie im Speicher 6b. Die Bildverarbeitungssteuerung 2a liest die Teile von Information, die im Speicher 6b gespeichert sind, aus, wodurch sie in der Lage ist, die Teile von Statusinformationen über die Bildempfänger 8-1 bis 8-m und die Teile von Bedieninformation zu erkennen.
Mit den m (m ≥ 2) Bildempfängern 8-1 bis 8-m sind jeweils die m Anzeigen 9-1 bis 9-m verbunden. Weiter sind die Bildempfänger 8-1 bis 8-m kaskadiert. Jeder der Bildempfänger selektiert und empfängt die Paketdaten, die für ihn selbst bestimmt sind, aus den aus dem Bild-Übertragungsprozessor 5 gesendete Bilddaten und sendet die Paketdaten an die stromabwärts davon kaskadierten Bildempfänger. Die Bildempfänger 8-1 bis 8-m geben die in den empfangenen Paketdaten enthaltenen Bilddaten an die Anzeigen 9-1 bis 9-m aus und zeigen sie an. Die m Anzeigen 9-1 bis 9-m können jeweils mit den m Bildempfängern 9-1 bis 9-m verbunden sein, wie oben erwähnt, oder die Bildempfänger 9-1 bis 9-m und die Anzeigen 9-1 bis 9-m können integral konfiguriert sein.
In dem Fall, dass die Bildempfänger 8-1 bis 8-m kaskadiert sind, wie in 1 gezeigt, wird der Vorteil bereitgestellt, in der Lage zu sein, leicht die Anzahl kaskadierter Bildempfänger zu ändern.
Das Verbindungsverfahren ist nicht auf die Kaskadenverbindung beschränkt. In einem in 4(a) gezeigten Beispiel ist der Bild-Übertragungsprozessor 5 mit jedem der Bildempfänger 8-1 bis 8-m über einen Bus 12 verbunden. In einem in 4(b) gezeigten Beispiel ist jeder der Bildempfänger 8-1 bis 8-m individuell mit dem Bild-Übertragungsprozessor 5 verbunden. In den 4(a) und 4(b) sind die anderen Komponenten als der Bild-Übertragungsprozessor und die Bildempfänger 8-1 bis 8-m nicht illustriert.
Jede der Anzeigen 9-1 bis 9-m ist auf solche Weise konfiguriert, dass ihr Bildschirm und ein Touch-Panel miteinander integral sind. Jede der Anzeigen 9-1 bis 9-m akzeptiert aus den entsprechenden von Bildempfängern 8-1 bis 8-m ausgegebene Bilddaten und erzeugt eine Bildschirmanzeige der Bilddaten und gibt als Bedieninformation eine durch den Touch-Panel derselben akzeptierte Passagier-Bedieneingabe an entsprechenden der Bildempfänger 8-1 bis 8-m aus.
Obwohl in Ausführungsform 1 das Touch-Panel jeder der Anzeigen 9-1 bis 9-m als Bedienempfänger verwendet wird, der eine Passagier-Bedieneingabe akzeptiert, kann alternativ eine Eingabevorrichtung wie etwa ein Schalter, Tasten oder eine Spracherkennungsvorrichtung als Bedienempfänger verwendet werden.
5 zeigt ein Beispiel der Bildschirm-Layouts der Anzeigen 9-1 bis 9-3, die mit den Bildempfängern 8-1 bis 8-3 verbunden sind. Wenn eine Mehrzahl von Bildern eingegeben wird, können Bildschirme frei konfiguriert werden, wie in 5 gezeigt. Beispielsweise wird auf jedem Bildschirm eines der Mehrzahl von eingegebenen Bildern angezeigt, oder sind eine Mehrzahl von eingegebenen Bildern in einem Raster angeordnet und werden simultan als ein einzelner integrierter Bildschirm angezeigt.
Beispielsweise zeigt in 5(a) die Frontsitzanzeige 9-1 nur ein Navigationsbild an, zeigt die linke Rücksitzanzeige 9-2 nur ein Disk-Bild an (zum Beispiel einen Kinofilm auf einer DVD), und zeigt die rechte Rücksitzanzeige 9-3 ein Rechtsrücksichtbild an, welches durch die rechte Heckkamera 11-6 aufgenommen wird. Die Frontsitzanzeige 9-1, die in 5(b) gezeigt ist, zeigt einen Bildschirm an, in welchem ein Disk-Bild, ein Smartphone-Bild, ein durch die linke Heckkamera 11-4 aufgenommenes linkes Rücksichtbild und ein durch die rechte Heckkamera 11-6 aufgenommenes rechtes Rücksichtbild integriert werden. In 5(c) zeigen die linke Rücksitzanzeige 9-2 und die rechte Rücksitzanzeige 9-3 integrierte Bildschirme an und die Flächen angezeigter Bilder differieren voneinander. Die linke Rücksitzanzeige 9-2, die n 5(d) gezeigt ist, zeigt einen integrierten Bildschirm an, in welchem durch extern montierte Kameras aufgenommene Bilder in einem Raster um ein Bild angeordnet sind, welches das von oben betrachtete Fahrzeug zeigt. Ein in dieser Figur gezeigtes komposites Rücksichtbild ist eines, welches durch Compositing von drei Bildern erfasst wird, welche durch die Heckkamera 11-2, die linke Heckkamera 11-4 und die rechte Heckkamera 11-6 aufgenommen sind, um den toten Bereich hinter dem Fahrzeug zu eliminieren.
Die 6 bis 9 zeigen Beispiele von Bildschirmübergängen der mit dem Bildempfänger 8-2 verbundenen linken Rücksitzanzeige 9-2. Wie in den 6 bis 9 gezeigt, wenn ein Passagier ein Bild durch Betätigen einer Berührungstaste auf dem Menübildschirm der linken Rücksitzanzeige 9-2 auswählt, oder eine Berührbedienung auf dem Bildschirm durchführt, wird das Bild auf dem Gesamtbildschirm angezeigt. Die Auswahl eines Bildes kann anhand eines Bedienverfahrens unter Verwendung eines Schalters, einer Taste, von Stimme oder dergleichen durchgeführt werden, neben der Bedienung des Berührens einer Taste auf dem Menübildschirm und der Bedienung des Berührens des Bildschirms.
Beispielsweise wird in 6 ein Menübildschirm M auf der linken Rücksitzanzeige 9-2 angezeigt. Wenn ein Passagier die "Navigation"-Taste N auf dem Menübildschirm M betätigt, erzeugt die linke Rücksitzanzeige 9-2 eine Vollbildschirmanzeige des Navigationsbilds. Wenn ein Passagier die "DVD"-Taste O betätigt, führt die linke Rücksitzanzeige 9-2 eine Vollbildschirmanzeige des Disk-Bilds durch. Wenn ein Passagier die "Extern"-Taste P betätigt, führt die linke Rücksitzanzeige 9-2 eine Vollbildschirmanzeige des Smartphone-Bilds durch. Wenn ein Passagier die "links hinten"-Taste Q betätigt, führt die linke Rücksitzanzeige 9-2 eine Vollbildschirmanzeige des linken Rücksichtbilds durch. Obwohl in 6 die linke Rücksitzanzeige 9-2 vor einer Tastenbetätigung illustriert wird, während sie vergrößert wird, um den Menübildschirm M lesbar zu machen, ist die Größe der linken Rücksitzanzeige 9-2 tatsächlich vor und nach irgendeiner Tastenbetätigung dieselbe.
In 7 wird ein integrierter Bildschirm, in welchem ein Navigationsbild N, ein Disk-Bild O, ein Smartphone-Bild P, und ein linkes Rücksichtbild Q integriert sind, auf der linken Rücksitzanzeige 9-2 angezeigt. Wenn ein Passagier das Navigationsbild N berührt, erzeugt die linke Rücksitzanzeige 9-2 eine Vollbildschirmanzeige des Navigationsbilds. Wenn ein Passagier das Disk-Bild O berührt, erzeugt die linke Rücksitzanzeige 9-2 eine Vollbildschirmanzeige des Disk-Bilds. Wenn ein Passagier das Smartphone-Bild P berührt, erzeugt die linke Rücksitzanzeige 9-2 eine Vollbildschirmanzeige des Smartphone-Bilds. Wenn ein Passagier das linke Rücksichtbild Q berührt, erzeugt die linke Rücksitzanzeige 9-2 eine Vollbildschirmanzeige des linken Rücksichtbilds.
In 8 und 9 wird in einem linken Bereich der linken Rücksitzanzeige 9-2 ein Bildschirm, in welchem durch extern montierte Kameras aufgenommene Bilder um ein Bild angeordnet sind, das ein Fahrzeug bei Sicht von oben zeigt, angezeigt. In dem Fall von 8, wenn ein Passagier von einem Punkt R zu einem unteren Punkt S auf dem Bildschirm durch Berühren einer Berührbedienung spurt, erzeugt die linke Rücksitzanzeige 9-2 als Einzelbildschirm eine vergrößerte Anzeige eines Linkssichtbildes und eines kompositen Rücksichtbilds, welche über die Berührbedienung ausgewählt werden. Im Fall von 9, wenn ein Passagier ab einem Punkt R zu einem Punkt S in einer diagonalen Abwärtsbewegung auf dem Bildschirm durch Durchführen einer Berührbedienung spurt, erzeugt die linke Rücksitzanzeige 9-2 als einen Einzelbildschirm eine vergrößerte Anzeige von Bildern, die durch einen rechteckigen Rahmen spezifiziert sind, dessen diagonale Linie durch den Pfad der Berührbedienung definiert ist. Als Verfahren zum Auswählen von Bildern gibt es beispielsweise ein Verfahren des Berührens des Bildschirms vom Punkt R bis zum Punkt S auf dem Bildschirm auf solche Weise, dass vom Punkt R zum Punkt S gespurt wird, und ein Verfahren des Berührens der Punkte R und S innerhalb einer vorbestimmten Zeitperiode.
Weiter, wenn ein Passagier eine Fläche durch Durchführen eines Doppeltippens, eines Herausklammerns oder dergleichen auf dem Bildschirm unter Verwendung von Fingern spezifiziert, kann die Anzeige eine vergrößerte Anzeige der spezifizierten Fläche auf solche Weise erzeugen, dass die spezifizierte Fläche im Zentrum des Bildschirms positioniert wird.
Wie oben erwähnt, wird es Passagieren ermöglicht, ein Bild, das sie ansehen möchten, aus den an der fahrzeugmontierten Anzeigevorrichtung 1 eingegebenen Bildern und den kompositen Bildern frei auszuwählen, und die fahrzeugmontierte Anzeigevorrichtung zu veranlassen, das Bild auf einer Anzeige anzuzeigen. Wenn beispielsweise der Fahrer das Fahrzeug parkt oder einen Spurwechsel vornimmt, wird einem Passagier ermöglicht, die Umgebung des Fahrzeugs auf einer Anzeige zu prüfen und den Fahrer zu unterstützen. Weiter, weil, wenn ein Passagier das Fahrzeug verlässt, diesem Passagier ermöglicht wird, auf einer Anzeige sicherzustellen, dass er oder sie dies sicher tun kann, muss sich der Fahrer nicht um das Verlassen kümmern.
Als Nächstes wird der Betrieb der fahrzeugmontierten Anzeigevorrichtung 1 erläutert.
10 ist ein Flussdiagramm, welches den Betrieb der fahrzeugmontierten Anzeigevorrichtung 1 zeigt. 11 ist ein Diagramm, das Bedingungen innerhalb und außerhalb des Fahrzeugs erläutert, in welchem die fahrzeugmontierte Anzeigevorrichtung 1 montiert ist. Ein Fahrer 21 sitzt auf dem Fahrersitz, ein linker Rücksitzpassagier 22, der ein Kind ist, sitzt auf der linkshändigen Seite des Rücksitzes und ein rechter Rücksitzpassagier 23, der eine Erwachsener ist, sitzt auf der rechthändigen Seite des Rücksitzes. Weiter bewegt sich eine ein Fahrrad fahrende Person (ab jetzt als ein sich annäherndes Objekt 24 bezeichnet) links vom Fahrzeug. Es ist für den rechten Rücksitzpassagier 23 schwierig, dem Fahrer 21 diese Zustände bei visueller Prüfung von der rechtshändigen Seite des Rücksitzes aus mitzuteilen, wenn eine Mitteilung der Notwendigkeit gemacht wird, die Sicherheit des sich nähernden Objekts 24 und von Hindernissen links vom Fahrzeug und so weiter zu bestätigen. Daher erkennt der rechte Rücksitzpassagier 23 visuell ein Kamerabild der Umgebung des Fahrzeugs auf der rechten Rücksitzanzeige 9-3, um Fahrunterstützung durchzuführen.
In dieser Situation sind eine Menübedienung auf der rechten Rücksitzanzeige 9-3, welche der rechte Rücksitzpassagier 23 durchführt, und Bildschirmübergänge in 12 gezeigt.
Wenn der Zündschlüssel des Fahrzeugs auf EIN geschaltet wird (IG-EIN), startet die fahrzeugmontierte Anzeigevorrichtung 1 und steuert die Bildverarbeitungssteuerung 2a jede der Einheiten anhand des in 10 gezeigten Flussdiagramms. Zuerst erteilt die Bildverarbeitungssteuerung 2a einen Verarbeitungsbefehl zur Anzeige von Ausgangsbildschirmen an den Bild-Integrationsprozessor 4, um die Anzeigen 9-1 bis 9-m zu veranlassen, die Anfangsbildschirme anzuzeigen (Schritt ST1). Wie in 12(a) gezeigt, werden Kamerabilder, welche durch Schießen der Umgebung eines Fahrzeugs aufgenommen werden, ein Disk-Bild und ein Smartphone-Bild auf der rechten Rücksitzanzeige 9-3 als ihr Anfangsbildschirm angezeigt. Zu dieser Zeit integriert der Bild-Integrationsprozessor 4 die durch die Bilderfassungseinheiten 3-1 bis 3-n aufgenommenen Kamerabilder, das Disk-Bild und das Smartphone-Bild, um Bilddaten für Anfangsbildschirme zu erzeugen, und sendet die Bilddaten aus dem Bild-Übertragungsprozessor 5 an die Bildempfänger 8-1 bis 8-m. Die Bildempfänger 8-1 bis 8-m empfangen die Bilddaten und zeigen die Bilddaten auf den Anzeigen 9-1 bis 9-m an.
Wenn der rechte Rücksitzpassagier 23 eine Betätigung des Auswählens des Disk-Bilds aus dem Anfangsbildschirm in 12(b) durchführt, akzeptiert die rechte Rücksitzanzeige 9-3 diese Bedieneingabe und sendet Information über diese Bedienung an den Bild-Übertragungsprozessor 5 (wenn "JA" in Schritt ST2). In diesem Beispiel, um die Bedienung durch den rechten Rücksitzpassagier 23 verständlich zu machen, wird die Auswahlbedienung unter Verwendung eines Cursors ausgedrückt.
Die Bildverarbeitungssteuerung 2a bestimmt die Beschreibungen dieser Bedieninformation und befiehlt dem Bild-Integrationsprozessor 4 Bilddaten über das Disk-Bild zu erzeugen (Schritt ST3). Der Bild-Integrationsprozessor 4 führt einen Graphikprozess des Zeichnens einer Taste "Rück" auf dem durch die Bilderfassungseinheit 3-1 erfassten Disk-Bild durch, um Bilddaten zu erzeugen. Der Bildempfänger 8-3 empfängt diese Bilddaten über den Bild-Übertragungsprozessor 5 und zeigt die Bilddaten auf der rechten Rücksitzanzeige 9-3 an (Schritt ST4). Um zum Ausgangsbildschirm zurückzukehren, kann somit die Taste "Rück" als eine Graphik auf dem Bildschirm angezeigt werden oder können alternativ ein Schalter, Spracherkennung oder dergleichen verwendet werden.
Wenn der Zündschlüssel ausgeschaltet ist, beendet die Bildverarbeitungssteuerung 2a die Bildschirmanzeige (wenn "JA" in Schritt ST6). Im Gegensatz dazu, wenn der Zündschlüssel im EIN-Zustand ist (wenn "NEIN" in Schritt ST6), kehrt die Bildverarbeitungssteuerung zum Schritt ST2 zurück und überprüft, ob die Bildverarbeitungssteuerung eine Eingabe einer neuen Bedieninformation empfangen hat (Schritt ST2). Wenn sie keine neue Bedieninformation empfangen hat (wenn "JA" in Schritt ST2), steuert die Bildverarbeitungssteuerung 2a den Bild-Integrationsprozessor 4, um so die Anzeige des aktuellen Bildschirms fortzusetzen (in diesem Fall das Disk-Bild) (Schritt ST5).
Wenn die Anwesenheit oder Abwesenheit eines sich nähernden Objekts 24 oder dergleichen links des Fahrzeugs überprüft wird, um das Fahren durch den Fahrer 21 zu unterstützen, während das Disk-Bild angezeigt wird, führt der rechte Rücksitzpassagier 23 zuerst eine Bedienung des Auswählens der Taste "Rück" durch, die auf dem Disk-Bild auf der rechten Rücksitzanzeige 9-3 überlagert und angezeigt ist (12(d)). Wenn Bedieninformation über die Auswahl des Ausgangsbildschirms akzeptiert wird (wenn "JA" in Schritt ST2), erteilt die Bildverarbeitungssteuerung 2a einen Verarbeitungsbefehl zum Anzeigen des Ausgangsbildschirms an den Bild-Integrationsprozessor 4 (Schritt ST3) und zeigt den Ausgangsbildschirm auf der rechten Rücksitzanzeige 9-3 an, wie in 12(e) gezeigt (Schritt ST4).
Als Nächstes führt der rechte Rücksitzpassagier 23 eine Bedienung des Auswählens des Linkssichtbilds aus dem Anfangsbildschirm durch (12(f)). Wenn Bedieninformation zur Auswahl des Linkssichtbilds akzeptiert wird (wenn "JA" in Schritt ST2), erteilt die Bildverarbeitungssteuerung 2a einen Verarbeitungsbefehl zum Anzeigen des Linkssichtbildes dem Bild-Integrationsprozessor 4 (Schritt ST3) und veranlasst die rechte Rücksitzanzeige 9-3, eine Bildschirmanzeige des Linkssichtbilds zu erzeugen, wie in 12(g) gezeigt (Schritt ST4). Zu dieser Zeit, wenn ein sich näherndes Objekt 24 aus dem Linkssichtbild detektiert wird, kann der Bild-Integrationsprozessor 4 das sich nähernde Objekts 24 unter Verwendung einer Rahmenlinie 24 einschließen und ein Icon 26 zeichnen, um das sich nähernde Objekt herauszuheben. Der rechte Rücksitzpassagier 23 unterstützt das Fahren durch Bereitstellen einer Führung, eines Rats oder einer Benachrichtigung von Anwesenheit oder Abwesenheit von Gefahr, oder dergleichen, für den Fahrer 21, während das auf der rechten Rücksitzanzeige 9-3 angezeigte Linkssichtbild betrachtet wird.
Wenn gewünscht wird, weiter detaillierte Information zu erfassen (gewünscht wird, ein Detailbild anzusehen), führt der rechte Rücksitzpassagier 23 eine Bedienung zum Berühren des Bildschirms auf der rechten Rücksitzanzeige 9-3 auf solche Weise durch, wie in 12(h) gezeigt, um eine interessierende Fläche auszuwählen, deren Ecken die Punkte R und S sind. Beim Akzeptieren von Bedieninformation zur Auswahl der interessierenden Fläche (wenn "JA" in Schritt ST2), erteilt die Bildverarbeitungssteuerung 2a einen Verarbeitungsbefehl zum Vergrößern der interessierenden Fläche an den Bild-Integrationsprozessor 4 (Schritt ST3) und veranlasst die rechte Rücksitzanzeige 9-3, die interessierende Fläche im Linkssichtbild zu vergrößern und anzuzeigen, wie in 12(i) gezeigt (Schritt ST4). Als Ergebnis kann der rechte Rücksitzpassagier 23 das Fahren auf Basis der detaillierten Information unterstützen. Weiter, weil, wenn ein Hindernis oder ein sich näherndes Objekts 24 in der Umgebung des Fahrzeugs existiert, das Hindernis oder das sich nähernde Objekt auf dem Bildschirm hervorgehoben wird, kann der rechte Rücksitzpassagier 23 Unterstützung bereitstellen, und damit weiter Gefahr für den Fahrer vermeiden. Zusätzlich, wenn ein Objekt wie in Hindernis oder ein sich näherndes Objekt 24 in der Umgebung des Fahrzeugs existiert, kann der rechte Rücksitzpassagier 23 die rechte Rücksitzanzeige 9-3 veranlassen, eine vergrößerte Anzeige des Objekts auf dem Linkssichtbild zu erzeugen, wodurch er in der Lage ist, zu bestimmen, ob das Objekt ein Hindernis für das Fahren sein kann oder nicht, und dem Fahrer 21 das Objekt mitteilen.
Weiter, wenn der linke Rücksitzpassagier 23, der ein Kind ist, das Fahrzeug verlässt, kann der rechte Rücksitzpassagier 23, der ein Erwachsener ist, die rechte Rücksitzanzeige 9-3 veranlassen, das Linkssichtbild anzuzeigen, um eine Sicherheitsprüfung durchzuführen. Zusätzlich, wenn ein Hindernis oder ein sich näherndes Objekt 24 in der Umgebung des Fahrzeugs zu der Zeit existiert, zu der ein Passagier das Fahrzeug verlässt, kann die fahrzeugmontierte Anzeigevorrichtung 1 eine Tür des Fahrzeugs verriegeln, um zu verhindern, dass der Passagier aus dem Fahrzeug kommt. Konkret, wenn der Bild-Integrationsprozessor 4 ein sich näherndes Objekt 24, welches sich dem Fahrzeug nähert, aus einem Kamerabild detektiert, welches durch Schießen der Umgebung des Fahrzeugs erfasst wird, erfasst der Fahrzeugsteuerkommandeur 2b Information zur Detektieren aus dem Bild-Integrationsprozessor 4 und sendet einen Befehl zum Verriegeln der Tür auf der Seite des Fahrzeugs, wo das sich nähernde Objekt 24 detektiert worden ist, an die Fahrzeugsteuerung 10. Wenn der Türverriegelungsbefehl aus dem Fahrzeugsteuerkommandeur 2b über das Fahrzeugnetzwerk empfangen wird, verriegelt die Fahrzeugsteuerung 10 die Tür, welche das Ziel des Befehls ist.
Als Nächstes wird eine detaillierte Operation der fahrzeugmontierten Anzeigevorrichtung 1 erläutert.
Nachfolgend wird ein Fall, in welchem die Anzahl von eingegebenen Bildern Vier beträgt (n = 4) und die Anzahl von ausgegebenen Bildern Drei beträgt (m = 3) erläutert. Die Bilderfassungseinheit 3-1 erfasst eine Disk-Bild, die Bilderfassungseinheit 3-2 erfasst ein Navigationsbild, die Bilderfassungseinheit 3-3 erfasst ein linkes Rücksichtbild der linken Heckkamera 11-4 und die Bilderfassungseinheit 3-4 erfasst ein Rücksichtbild der Heckkamera 11-2. Aus Gründen der Einfachheit wird angenommen, dass die Definition und die Bildrate jedes eingegebenen Bilds 720×480 Pixel bzw. 30 fps beträgt.
Der Bildempfänger 8-1 gibt Bilddaten an die Frontsitzanzeige 9-1 aus, der Bildempfänger 8-2 gibt Bilddaten an die linke Rücksitzanzeige 9-2 aus, und der Bildempfänger 8-3 gibt Bilddaten an die rechte Rücksitzanzeige 9-3 aus. Es wird angenommen, dass die Definition/Auflösung der mit den Bildempfängern 8-1 bis 8-3 verbundenen Anzeigen WVGA (800×480 Pixel) beträgt.
Jede der Bilderfassungseinheiten 3-1 bis 3-4 führt A/D-Umwandlung, Formatumwandlung etc. an dem eingegebenen Bild durch und gibt dieses Bild an den Bild-Integrationsprozessor 4 aus. Wenn beispielsweise das eingegebene Bild ein analoges Signal ist, wandelt jede der Bilderfassungseinheiten 3-1 bis 3-4 dieses Analogsignal in ein Digitalsignal um. Im Falle eines Luminanz/Chrominanz-(YUV/YCbCr-Farbraum)Format wandelt jede der Bilderfassungseinheiten das Farbformat in ein RGB-Format um.
Die Farbumwandlung und die Formatumwandlung können durch den Bild-Integrationsprozessor 4 ausgeführt werden, statt von jeder der Bilderfassungseinheiten 3-1 bis 3-4.
13 zeigt ein Beispiel von Einstellungen von Puffern zum Durchführen eines Bildaufbereitungsprozesses und des Bildintegrationsprozesses unter Verwendung des Bild-Integrationsprozessors 4. Der Bild-Integrationsprozessor 4 führt zuerst eine Puffereinstellung zum Aufbereiten der durch die Bilderfassungseinheiten 3-1 bis 3-4 ausgegebenen Bilder im Speicher 6a durch. Jeder Puffer besteht aus einem Doppelpuffer (A-Puffer und B-Puffer). Der Bild-Integrationsprozessor 4 baut einen Puffer für ein Disk-Bild aus den Doppelpuffern (A-Puffer und B-Puffer) auf und weist Pufferbereiche (cap_1_A und cap_1_B) zu. Auf dieselbe Weise weist der Bild-Integrationsprozessor einen Puffer für ein Navigationsbild (cap_1_A und cap_1_B), einen Puffer für ein linkes Rücksichtbild (cap_2_A und cap_2_B), und einen Puffer für ein Rücksichtbild (cap_3_A und cap_3_B) zu.
Zu dieser Zeit ist die Puffergröße jeder der A- und B-Puffer die Definition des eingegebenen Bilds × Gradationsanzahl × Anzahl eingegebener Bilder.
Der Bild-Integrationsprozessor 4 stellt dann einen Puffer für Bildintegrationsprozess und Anzeige im Speicher 6 ein. Um drei Bildschirme, die alle eine Definition von WVGA aufweisen, anzuzeigen, weist jeder der A- und B-Puffer eine Größe von (Definition des ausgegebenen Bilds × Gradationsanzahl × Anzahl von ausgegebenen Bildern) auf. Der Bild-Integrationsprozessor 4 stellt einen A-Puffer (dist_cell_0_A, dist_cell_1_A und dist_cell_2_A) und einen B-Puffer (dist_cell_0_B, dist_cell_1_B und dist_cell_2_B) als den Puffer für Bild-Integrationsprozess und Anzeige ein.
Der Bild-Integrationsprozessor 4 stellt dann einen A-Puffer (cap_0_A) als einen Puffer für Bildaufbereitung des Puffers für das Disk-Bild ein und stellt einen B-Puffer (cap_0_B) als einen Puffer für Bildlesen des Puffers für Disk-Bild ein. Der Bild-Integrationsprozessor 4 bestimmt zuerst, ob der Puffer A eine Operation des Aufbereitens des Disk-Bildes durchführt, als die Operation des Aufbereitens eines eingegebenen Bilds. Wenn der Puffer A das Disk-Bild aufbereitet, führt der Bild-Integrationsprozessor kein Umschalten an den Puffern durch und ändert nicht die Einstellung jedes Puffers. Wenn das Aufbereiten abgeschlossen ist, schaltet der Bild-Integrationsprozessor den Puffer für Bildaufbereitung vom A-Puffer zum B-Puffer um und schaltet auch den Puffer für Bildlesen vom B-Puffer zum A-Puffer um und startet eine andere Aufbereitungsoperation. Nach Starten der anderen Aufbereitungsoperation stoppt der Bild-Integrationsprozessor diese Aufbereitungsoperation, wenn das Bildaufbereiten für einen 720×480 Pixelbildschirm abgeschlossen ist. Danach wiederholt der Bild-Integrationsprozessor den Prozess des Startens einer Bildaufbereitungsoperation, den Prozess des Erfassens eines Rahmens und den Prozess des Stoppens der Aufbereitungsoperation. Der Bild-Integrationsprozessor 4 führt auch dieselben Prozesse am Navigationsbild, dem linken Rücksichtbild und dem Rücksichtbild durch.
Der Bild-Integrationsprozessor 4 führt dann den Bild-Integrationsprozess durch. Der Bild-Integrationsprozessor 4 führt Bild-Umwandlungsprozesse (Vergrößerung, Verkleinerung, Drehung, Spiegelung, etc.) und einen Compositing-Prozess durch, wobei Beschreibungen der Bild-Umwandlungsprozesse und des Compositing-Prozesses durch die Bildverarbeitungssteuerung 2a unter Verwendung des Disk-Bilds, des Navigationsbilds, des linken Rücksichtbilds und des Rücksichtbilds, die in dem Puffer zum Bildlesen gespeichert sind, spezifiziert werden, und speichert Ergebnisbilder in den Puffern für den Bild-Integrationsprozess und die Anzeige. Bei dieser Ausführungsform, weil die linke Rücksichtbildeingabe 720×480 Pixel hat und die Bildanzeigeausgabe 800×480 Pixel hat, ist ein Teil der Bildanzeigeausgabe, wobei der Teil eine laterale Breite von 80 Pixeln aufweist, schwarz gefärbt und wird die Bildanzeigeausgabe in derselben Größe wie die linke Rücksichtbildeingabe angezeigt. Alternativ kann der Bild-Integrationsprozessor eine Definitionsumwandlung an der linken Rücksichtbildeingabe durchführen, um ein laterales langes Bild als die Bildanzeigeausgabe anzuzeigen. Weiter können vier eingegebene Bilder vertikal und horizontal in einer Kachelanordnung angeordnet und angezeigt werden (zum Beispiel der Anzeigebeispiel der in 5(b) gezeigten Rücksitzanzeige 9-2). In diesem Fall, weil ein Viertel der Bildschirmgröße von 800×480 Pixeln 400×240 Pixel ist, führt der Bild-Integrationsprozessor eine Definitionsumwandlung an jedem eingegebenen Bild auf solche Weise durch, dass seine Bildschirmgröße von 720×480 Pixel zu 400×240 Pixel geändert wird, und integriert die Bilddaten über die vier Bilder in Bilddaten zu Bildern in einer Kachelanordnung. Wie in 5 gezeigt, kann der Bild-Integrationsprozessor eine beliebige Anzahl eingegebener Bilder, die alle eine beliebige Größe haben, in einen einzelnen integrierten Bildschirm integrieren. Weiter, wenn das Aufbereiten jedes eingegebenen Bilds nicht zum Zeitpunkt der Durchführung des Bild-Integrationsprozesses abgeschlossen ist, verwendet der Bild-Integrationsprozessor 4 die Daten zum vorherigen Rahmen, während, wenn das Aufbereiten abgeschlossen ist, der Bild-Integrationsprozessor 4 den Integrationsprozess unter Verwendung der Daten über den aktuellen Rahmen, an welchem das Aufbereiten abgeschlossen ist, durchführt.
Weiter weist der Bild-Integrationsprozessor 4 eine Graphik-Verarbeitungsfunktion zum Durchführen von Menubildschirmerzeugung, Hervorheben eines Hindernisses und eines sich nähernden Objekts, Bildverarbeitung etc., und Durchführen von Überlagerung auf einem eingegebenen Bild auf. Die Graphikverarbeitung beinhaltet beispielsweise ein Punktzeichnen, Linienzeichnen, Polygon-Zeichnen, Rechteckzeichnen, Farbausfüllen, Gradation, Schraffur-Abbilden, Blenden, Anti-Aliasing, eine Animation, einen Schriftschnitt, Zeichnen unter Verwendung einer Anzeigenliste und 3D-Zeichnen.
Weiter detektiert der Bild-Integrationsprozessor 4 ein sich näherndes Objekt und ein Hindernis aus jedem eingegebenen Bild und überlagert einen Anzeige-Effekt (Hervorheben, einen Kasten, Farbgebung oder dergleichen), ein Icon, eine Warnnachricht oder dergleichen auf das sich nähernde Objekt und das Hindernis auf Basis des Detektionsergebnisses und unter Verwendung der oben erwähnten Graphik-Verarbeitungsfunktion.
Nach Abschließen der Reihe von Bild-Integrationsprozessen wartet der Bild-Integrationsprozessor 4 auf ein vertikales Synchronisationssignal zur Anzeige, um den Puffer für den Bild-Integrationsprozess und die Anzeige vom Puffer A zum Puffer B umzuschalten. Das vertikale Synchronisationssignal wird beispielsweise durch die Bildverarbeitungssteuerung 2 ausgegeben. Wenn die Rahmenrate der Anzeigen 60 fps beträgt, weist das vertikale Synchronisationssignal eine Frequenz von einem Zyklus pro 1/60 Sekunde auf. Wenn der Bild-Integrationsprozess nicht innerhalb des Ein-Rahmen-Zeitintervalls abgeschlossen wird, wartet der Bild-Integrationsprozessor 4 auf das nächste vertikale Synchronisationssignal, um den Puffer umzuschalten.
In diesem Fall beträgt die Rahmenrate für Bild-Aktualisierung 30 fps.
Danach gibt der Bild-Integrationsprozessor 4 die auf der Frontsitzanzeige 9-1, der linken Rücksitzanzeige 9-2 und der rechten Rücksitzanzeige 9-3 anzuzeigenden Bilddaten an den Bild-Übertragungsprozessor 5 aus.
14 ist ein Timing-Diagramm, das Operationen auf einer Rahmen-zu-Rahmen-Basis (vertikale Synchronisation) und einer Zeilen-zu-Zeilen-Basis (horizontale Synchronisation) des Bild-Integrationsprozessors 4 und des Bild-Übertragungsprozessors 5 zeigt, und die horizontale Achse zeigt eine Zeit an.
Während der Bild-Integrationsprozessor 4 den Bild-Integrationsprozessor unter Verwendung des A-Puffers durchführt, gibt der Bild-Integrationsprozessor 4 die in dem B-Puffer gespeicherten Bilddaten an den Bild-Übertragungsprozessor 5 aus. Im Gegensatz dazu, während der Bild-Integrationsprozessor den Bild-Integrationsprozess unter Verwendung des B-Puffers durchführt, gibt der Bild-Integrationsprozessor 4 die im A-Puffer gespeicherten Bilddaten an den Bild-Übertragungsprozessor 5 aus. Im Gegensatz dazu, während der Bild-Integrationsprozessor den Bild-Integrationsprozess unter Verwendung des B-Puffers durchführt, gibt der Bild-Integrationsprozessor die im A-Puffer gespeicherten Bilddaten an den Bild-Übertragungsprozessor 5 aus. In dieser Ausführungsform, um die Bilddaten auf den drei Anzeigen 9-1 bis 9-3 anzuzeigen, multiplext der Bild-Übertragungsprozessor 5 die Bilddaten zu den drei Bildern für jede horizontale Linie und sendet ein gemultiplextes Signal an die Bildempfänger 8-1 bis 8-m.
Als Nächstes wird der Betrieb des Bild-Übertragungsprozessors 5 erläutert. Die Datenübertragung zwischen dem Bild-Übertragungsprozessor 5 und den Bildempfängern 8-1 bis 8-m wird in beide Richtungen durchgeführt. Nachfolgend wird die Übertragung vom Bild-Übertragungsprozessor 5 zu den Bildempfängern 8-1 bis 8-m als Downlink-Übertragung bezeichnet und wird die Übertragung von den Bildempfängern 8-1 bis 8-m zum Bild-Übertragungsprozessor 5 als die Uplink-Übertragung bezeichnet. Zur Zeit der Downlink-Übertragung packt der Bild-Übertragungsprozessor 5 das gemultiplexte Signal der Bilddaten zu jeder Zeile, welche aus dem Bild-Integrationsprozessor 4 empfangen wird, in eine Mehrzahl von Paketdaten und fügt Kopfinformation (einen Paketkopf) allen Paketdaten hinzu und sendet diese Paketdaten an die Bildempfänger 8-1 bis 8-m. Die Kopfinformation enthält eine Paket-ID, eine Zeilennummer, eine Datendestination, Identifikationsinformation (die einen der Bildempfänger 8-1 bis 8-m identifiziert) und die Größe der Bilddaten.
Zum Zeitpunkt der Uplink-Übertragung empfängt der Bild-Übertragungsprozessor 5 Köpfe und Paketdaten aus den Bildempfängern 8-1 bis 8-m, um die Statusinformation zu jedem der Bildempfänger 8-1 bis 8-m zu erfassen. Jede Kopfinformation beinhaltet eine Paket-ID, eine Zeilennummer und eine Datensendequelle (Identifikationsinformation, die einen der Bildempfänger 8-1 bis 8-m identifiziert). Alle Paketdaten enthalten keine Bilddaten, enthalten aber Statusinformation, die den Status eines der Bildempfänger 8-1 bis 8-m zeigt (einen Kommunikationszustand, Fehlerinformation und Information zur Verbindung mit der entsprechenden der Anzeigen 9-1 bis 9-m) und Betriebsinformation. Der Bild-Übertragungsprozessor 5 speichert die die dadurch empfangene und erfasste Statusinformation und Bedieninformation im Speicher 6b.
Als Nächstes werden Operationen der Bildempfänger 8-1 bis 8-m erläutert.
Der Bildempfänger 8-1, welche der obere der skalierten Bildempfänger 8-1 bis 8-m ist, wie in 1 gezeigt, empfängt zum Zeitpunkt einer Downlink-Übertragung einen Paketkopf und Paketdaten aus dem Bild-Übertragungsprozessor 5, bestimmt, ob die Paketdaten dafür bestimmt sind oder nicht, auf Basis von der in dem Paketkopf enthaltenen Kopfinformation, um nur dafür bestimmte Paketdaten zu empfangen und zeigt die in den empfangenen Paketdaten enthaltenen Bilddaten auf der Anzeige 9-1 an. Der Bildempfänger 8-1 empfängt keinerlei andere Paketdaten als die dafür bestimmten und sendet den Paketkopf und die Paketdaten an den Bildempfänger 8-2, der in einer dem Bildempfänger 8-1 selbst nachfolgenden Stufe verbunden ist. Der Bildempfänger 8-1 sendet auch seine Statusinformation und Operationsinformation an den Bild-Übertragungsprozessor 5 als Uplink-Übertragung.
Ähnlich empfängt auch der Bildempfänger 8-2 nur dafür bestimmte Paketdaten aus den aus dem Bildempfänger 8-1 auf einer höheren Ordnungsseite desselben gesendeten Paketdaten und zeigt die in den empfangenen Paketdaten enthaltenen Bilddaten auf der Anzeige 9-2 an und sendet auch ihre Statusinformation und Operationsinformation über den Bildempfänger 8-1 an den Bild-Übertragungsprozessor 5.
Danach führt jeder der Bildempfänger 8-3 bis 8-m ebenfalls dieselben Prozesse aus.
Wie oben erwähnt, ist die fahrzeugmontierte Anzeigevorrichtung 1 gemäß Ausführungsform 1 auf solche Weise konfiguriert, dass sie die Mehrzahl von in dem Fahrzeug montierten Anzeigen 9-1 bis 9-m beinhaltet, die Mehrzahl von Bildempfängern (zum Beispiel Touch-Panels) jeweils entsprechend der Mehrzahl von Anzeigen 9-1 bis 9-m, den Bilderfasser 3 zum Erfassen einer Mehrzahl von Kamerabildern aus der Mehrzahl von extern montierten Kameras, welche die Umgebung des Fahrzeugs schießen, die Bildverarbeitungssteuerung 2a, um, wenn einer der Bedienempfänger eine Passagierbedienung des Auswählens eines auf der entsprechenden der Anzeigen 9-1 bis 9-m anzuzeigenden Kamerabilds aus der Mehrzahl von Kamerabildern akzeptiert, einen Bildverarbeitungsbefehl zum Erzeugen von auf der, dem oben erwähnten Bedienempfänger entsprechenden Anzeige anzuzeigenden Bilddaten zu erteilen, und den Bild-Integrationsprozessor 4, um für jede der Mehrzahl von Anzeigen 9-1 bis 9-m ein auf der oben erwähnten Anzeige anzuzeigendes Kamerabild aus der Mehrzahl von Kamerabildern anhand des Bildverarbeitungsbefehls aus der Bildverarbeitungssteuerung 2a auszuwählen, um die Bilddaten zu erzeugen. Daher wird es einem Passagier, der auf dem Sitz neben dem Fahrer oder auf einem Rücksitz sitzt, ermöglicht, ein Kamerabild der Umgebung des Fahrzeugs auf der für den Sitz montierten Anzeige frei auszuwählen und die Anzeige zu veranlassen, das ausgewählte Kamerabild anzuzeigen.
Daher wird irgendeinem Passagier ermöglicht, Fahrunterstützung, wie etwa Führung, Rat oder eine Benachrichtigung von Anwesenheit oder Abwesenheit von Gefahr für den Fahrer bereitzustellen, einschließlich einer Person, die Fahren nicht gewöhnt ist, wie ein Fahranfänger, ein älterer Fahrer oder ein nur nomineller Fahrer, von jeglichem Sitz des Fahrzeugs aus, und daher kann diese fahrzeugmontierte Anzeigevorrichtung eine sicherere Fahrumgebung bereitstellen.
Weiter ist die fahrzeugmontierte Anzeigevorrichtung gemäß Ausführungsform 1 auf solche Weise konfiguriert, dass, wenn einer der Bildempfänger (zum Beispiel Touch-Panels) eine Passagierbedienung des Auswählens eines Teils von auf der entsprechenden der Anzeigen 9-1 bis 9-m angezeigten ersten Bilddaten akzeptiert, die Bildverarbeitungssteuerung 3a einen Bildverarbeitungsbefehl zum Vergrößern des oben erwähnten Teils erteilt und der Bild-Integrationsprozessor 4 eine Mehrzahl von Kamerabildern zusammensetzt, um die ersten Bilddaten zu erzeugen (zum Beispiel das in 8 gezeigte komposite Rücksichtbild), und erzeugt zweite Bilddaten, in welchen der Teil der ersten Bilddaten vergrößert ist, anhand des Bildverarbeitungsbefehls. Daher wird einem Passagier ermöglicht, einen interessierenden Bereich, den er oder sie betrachten möchte, aus einem kompositen Bild auszuwählen, in welches eine Mehrzahl von Kamerabildern zusammengesetzt ist, und eine Anzeige zu veranlassen, eine Vollbildschirmanzeige des interessierenden Bereichs zu erzeugen. Weiter kann die fahrzeugmontierte Anzeigevorrichtung tote Bereiche der extern montierten Kameras durch Zusammensetzen einer Mehrzahl von Kamerabildern eliminieren.
Weiter, gemäß Ausführungsform 1, weil die zweiten Bilddaten, in denen ein Teil der oben erwähnten Bilddaten vergrößert sind, zumindest zwei Kamerabilder beinhalten, wie in 8 und 9 gezeigt, kann die Bildverarbeitungssteuerung die Anzeige veranlassen, die Mehrzahl von Bildern anzuzeigen, welche der Passagier wünscht, gleichzeitig zu sehen.
Weiter, weil der Bild-Integrationsprozessor 4 gemäß Ausführungsform 1 ein sich näherndes Objekt 24 detektiert, das sich dem Fahrzeug nähert, unter Verwendung der Mehrzahl von Kamerabildern, und Information überlagert, die eine Warnung zu einer Annäherung des oben erwähnten, sich annähernden Objektes auf den Bilddaten zeigt, macht es die fahrzeugmontierte Anzeigevorrichtung für den Passagier einfach, das Objekt zu bemerken (zum Beispiel ein anderes Fahrzeug, ein Motorrad, ein Fahrrad, einen Fußgänger oder dergleichen), welches sich dem Fahrzeug nähert.
Weiter kann gemäß Ausführungsform 1, weil die eine Warnung zur Annäherung eines Objektes zeigende Information hervorgehoben ist, der Passagier intuitiv das sich nähernde Objekt durch Betrachten der Bildschirmanzeige wahrnehmen. Als Hervorheben kann ein Verfahren des Bereitstellens einer Warnung unter Verwendung von Zeichen oder dergleichen, wie auch ein Verfahren des Einschließens des sich annähernden Objekts unter Verwendung einer Umrahmungslinie verwendet werden.
Weiter ist die fahrzeugmontierte Anzeigevorrichtung gemäß Ausführungsform 1 auf solche Weise konfiguriert, dass, wenn einer der Bildempfänger (zum Beispiel Touch-Panels) eine Passagierbedienung des Selektierens eines Teils der auf den entsprechenden der Anzeigen 9-1 bis 9-m angezeigten ersten Bilddaten akzeptiert, die Bildverarbeitungssteuerung 3a einen Bildverarbeitungsbefehl zum Vergrößern des oben erwähnten Teils in einem zentralen Teil des Bildschirms der entsprechenden der Anzeigen 9-1 bis 9-m erteilt und der Bild-Integrationsprozessor 4 die ersten Bilddaten erzeugt, in welchen die Mehrzahl von Kamerabildern in einem Raster angeordnet sind (zum Beispiel der in 8 gezeigte integrierte Bildschirm, auf welchem das Linkssichtbild und das komposite Rechtssichtbild in einem Raster angeordnet sind) und erzeugt zweite Bilddaten, in welchen der Teil der ersten Bilddaten vergrößert und im zentralen Teil des Bildschirms auf der Anzeige angezeigt wird, anhand des Bildverarbeitungsbefehls. Daher ermöglicht die fahrzeugmontierte Anzeigevorrichtung jeglichem Passagier, eine einfache Operation, wie etwa eine Operation des Einschließens oder Durchführens von Doppeltippen oder Aufspreizens einer interessierenden Fläche durchzuführen, die der Passagier betrachten möchte, unter Verwendung eines Fingers, wodurch eine Anzeige veranlasst wird, eine vergrößerte Anzeige der interessierenden Fläche zu erzeugen, und kann somit intuitive und verständliche Bedienungen implementieren. Weiter, weil die fahrzeugmontierte Anzeigevorrichtung eine vergrößerte Anzeige der ausgewählten interessierenden Fläche im zentralen Teil des Bildschirms erzeugt, kann die fahrzeugmontierte Anzeigevorrichtung verhindern, dass das sich nähernde Objekt oder dergleichen vom Bildschirm verschwindet, selbst falls die fahrzeugmontierte Anzeigevorrichtung eine vergrößerte Anzeige des sich nähernden Objekts oder dergleichen erzeugt.
Während die vorliegende Erfindung in ihrer bevorzugten Ausführungsform beschrieben worden ist, versteht es sich, dass verschiedene Änderungen an beliebigen Komponenten anhand der Ausführungsform vorgenommen werden können, und eine beliebige Komponente gemäß der Ausführungsform innerhalb des Schutzumfangs der Erfindung weggelassen werden kann.
INDUSTRIELLE ANWENDBARKEIT
Wie oben erwähnt, weil die fahrzeugmontierte Anzeigevorrichtung gemäß der vorliegenden Erfindung das Bild, das auf der Anzeige anzuzeigen ist, in Übereinstimmung mit einer Passagierbedienung ändert, ist die fahrzeugmontierte Anzeigevorrichtung zur Verwendung für Fahrunterstützung geeignet, die es einem Passagier ermöglicht, eine Sicherheitsprüfung der Umgebung eines Fahrzeugs auf der Anzeige durchzuführen, und dem Fahrer eine Mitteilung oder dergleichen bereit zu stellen.
ERLÄUTERUNG VON BEZUGSZEICHEN

1 Fahrzeugmontierte Anzeigevorrichtung, 2 CPU, 2a Bildverarbeitungssteuerung, 2b Fahrzeugsteuerkommandeur, 3 Bilderfasser, 3-1 bis 3-n Bilderfassungseinheiten, 4 Bild-Integrationsprozessor, 5 Bild-Übertragungsprozessor, 6a und 6b Speicher, 7 interner Bus, 8-1 bis 8-m Bildempfänger, 9-1 bis 9-m Anzeige, 10 Fahrzeugsteuerung, 12 Bus, 11-1 bis 11-6 Kamera, 21 Fahrer, 22 linker Rücksitzpassagier, 23 rechter Rücksitzpassagier, 24 sich näherndes Objekt, 25 Umrahmungslinie, und 26 Icon.

Claims

Fahrzeugmontierte Anzeigevorrichtung, die umfasst: eine Mehrzahl von in einem Fahrzeug montierten Anzeigen; eine Mehrzahl von Bedienempfängern, jeweils entsprechend der Mehrzahl von Anzeigen; einen Bilderfasser zum Erfassen einer Mehrzahl von Kamerabildern aus einer Mehrzahl von extern montierten Kameras, die Umgebungen des Fahrzeugs aufnehmen; eine Bildverarbeitungssteuerung zum, wenn der Bedienempfänger eine Passagierbedienung des Auswählens eines auf der Anzeige anzuzeigenden Kamerabilds aus der Mehrzahl von Kamerabildern akzeptiert, Erteilen eines Bildverarbeitungsbefehls zum Erzeugen von auf der Anzeige anzuzeigenden Bilddaten entsprechend dem Bedienempfänger; und einen Bildintegrationsprozessor zum, für jedes der Mehrzahl von Anzeigen, Auswählen eines auf der Anzeige anzuzeigenden Kamerabildes aus der Mehrzahl von Kamerabildern anhand des Bildverarbeitungsbefehls aus der Bildverarbeitungssteuerung, um die Bilddaten zu erzeugen.
Fahrzeugmontierte Anzeigevorrichtung gemäß Anspruch 1, wobei, wenn der Bedienempfänger die Passagierbedienung des Auswählens eines Teils von auf der Anzeige angezeigten ersten Bilddaten akzeptiert, die Bildverarbeitungssteuerung einen Bildverarbeitungsbefehl zum Vergrößern des Teils erteilt, und wobei der Bild-Integrationsprozessor die Mehrzahl von Kamerabildern zusammensetzt, um die ersten Bilddaten zu erzeugen, und zweite Bilddaten erzeugt, in welchen der Teil der ersten Bilddaten vergrößert ist, gemäß dem Bildverarbeitungsbefehl.
Fahrzeugmontierte Anzeigevorrichtung gemäß Anspruch 2, wobei die zweiten Bilddaten zumindest zwei der Kamerabilder enthalten.
Fahrzeugmontierte Anzeigevorrichtung gemäß Anspruch 1, wobei der Bild-Integrationsprozessor ein Objekt detektiert, welches sich dem Fahrzeug nähert, unter Verwendung der Mehrzahl von Kamerabildern, und Information, die eine Warnung zu einer Annäherung des Objekts zeigt, den Bilddaten überlagert.
Fahrzeugmontierte Anzeigevorrichtung gemäß Anspruch 4, wobei die eine Warnung zu einer Annäherung des Objektes zeigende Information hervorgehoben ist.
Fahrzeugmontierte Anzeigevorrichtung gemäß Anspruch 1, wobei, wenn der Bedienempfänger die Passagierbedienung des Auswählens eines Teils der auf der Anzeige angezeigten ersten Bilddaten akzeptiert, die Bildverarbeitungssteuerung einen Bildverarbeitungsbefehl zum Vergrößern des Teils in einem zentralen Bereich eines Bildschirms der Anzeige erteilt, und wobei der Bild-Integrationsprozessor die ersten Bilddaten erzeugt, in welchen die Mehrzahl von Kamerabildern in einem Raster angeordnet sind, und zweite Bilddaten erzeugt, in welchen der Teil der ersten Bilddaten vergrößert und in dem zentralen Bereich des Bildschirms der Anzeige angezeigt wird, gemäß dem Bildverarbeitungsbefehl.