DE112017005211T5 - Anzeigesteuerungsvorrichtung - Google Patents

Anzeigesteuerungsvorrichtung Download PDF

Info

Publication number
DE112017005211T5
DE112017005211T5 DE112017005211.4T DE112017005211T DE112017005211T5 DE 112017005211 T5 DE112017005211 T5 DE 112017005211T5 DE 112017005211 T DE112017005211 T DE 112017005211T DE 112017005211 T5 DE112017005211 T5 DE 112017005211T5
Authority
DE
Germany
Prior art keywords
image
past
bird
eye view
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112017005211.4T
Other languages
English (en)
Inventor
Kenji Kohara
Hirohiko Yanagawa
Akihiro Sunasaka
Satoshi Hoshi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE112017005211T5 publication Critical patent/DE112017005211T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Eine Bildverarbeitungseinheit (13) erlangt wiederholt ein aufgenommenes Vogelperspektivenbild, das ein Bild ist, das durch Vogelperspektivenumwandlung eines aufgenommenen Bildes der Umgebung eines Fahrzeugs erhalten wird. Außerdem erlangt die Bildverarbeitungseinheit ein Vergangenheitsbild, das ein Vogelperspektivenbild ist, das einem vorbestimmten Bereich in der Fahrtrichtung voraus entspricht, zu einem jeweiligen Zeitpunkt, der entsprechend einer vorbestimmten Bedingung bestimmt wird. Genauer gesagt erlangt die Bildverarbeitungseinheit ein Vergangenheitsbild zu einem jeweiligen vorbestimmten ersten Zyklus in einem normalen Zustand, in dem eine instabile Bedingung betreffend ein Verhalten des Fahrzeugs nicht erfüllt ist. In einer Situation anderseits, in der eine instabile Bedingung erfüllt ist, wird das Vergangenheitsbild zu einem späteren Zeitpunkt als zu dem ersten Zyklus erlangt. Dann erzeugt die Bildverarbeitungseinheit ein Vogelperspektivenbild für eine Anzeige durch Extrahieren eines Bereichs, der einem Nicht-Abbildungsbereich entspricht, aus dem zuletzt aufgenommenen Vogelperspektivenbild unter den akkumulierten Vergangenheitsbildern und Kombinieren des extrahierten Bereichs mit dem Nicht-Abbildungsbereich.

Description

  • Inhalt durch Bezugnahme
  • Diese Anmeldung basiert auf der am 14. Oktober 2016 beim Japanischen Patentamt eingereichten japanischen Patentanmeldung Nr. 2016-202516 , deren Inhalte hiermit durch Bezugnahme darauf enthalten sind, und beansprucht deren Priorität.
  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft eine Anzeigesteuerungsvorrichtung, die bewirkt, dass ein Bild einer Umgebung eines Fahrzeugs auf einer Anzeigevorrichtung angezeigt wird.
  • Stand der Technik
  • Es ist eine Technik zum Aufnehmen eines Bildes einer Umgebung eines Fahrzeugs (mit anderen Worten eines Host-Fahrzeugs) durch eine Kamera, die an dem Fahrzeug angebracht ist, Umwandeln des aufgenommenen Bildes in ein Vogelperspektivenbild, das ein Bild eines Blickpunktes ist, von dem von oberhalb des Host-Fahrzeugs auf dieses herabgesehen wird, und Anzeigen dieses Vogelperspektivenbildes auf einer Anzeigevorrichtung, die innerhalb des Fahrzeugs angeordnet ist, bekannt.
  • Außerdem beschreibt die Patentliteratur 1 eine Technik zum Ergänzen von Informationen einer Straßenoberfläche der Unterseite eines Host-Fahrzeugs, die nicht in einem Abbildungsbereich einer Kamera enthalten ist, unter Verwendung eines Bildes, das in der Vergangenheit aufgenommen wurde. Genauer gesagt wird ein Bewegungsbereich, der außerhalb des Sichtfeldes eines derzeitig erlangten Vogelperspektivenbildes (mit anderen Worten eines realen bzw. echten Bildes) liegt, aus einem Vogelperspektivenbild (mit anderen Worten einem Historienbild bzw. Vergangenheitsbild), das in der Vergangenheit erlangt wurde, extrahiert. Dann wird der Bewegungsbereich des Vergangenheitsbildes um die Größe der Bewegung des Fahrzeugs verschoben und dem realen Bild überlagert, wodurch ein synthetisiertes Vogelperspektivenbild erzeugt wird.
  • Zitierungsliste
  • Patentliteratur
  • Patentliteratur 1: JP 2004 - 336 613 A
  • Zusammenfassung der Erfindung
  • Gemäß der Technik, die in der Patentliteratur 1 beschrieben ist, wird jedes Mal, wenn ein Bild erlangt wird, das von einer Kamera aufgenommen wird, ein Prozess zum Extrahieren eines Bewegungsbereichs eines Vergangenheitsbildes zwischen zwei zeitlich kontinuierlichen Vogelperspektivenbildern wiederholt. Mit anderen Worten, jedes Mal, wenn ein Bild von einer Kamera eingegeben wird, wird das Vergangenheitsbild aktualisiert. Dann wird ein neuer Bewegungsbereich, der aus dem aktualisierten Vergangenheitsbild extrahiert wird, dem realen Bild überlagert. Außerdem werden in einem Fall, in dem ein Nicht-Abbildungsbereich, der von dem Abbildungsbereich der Kamera abweicht, einen breiten Bereich abdeckt, Bewegungsbereiche, die jeweils aus mehreren Vergangenheitsbildern extrahiert werden, die zu unterschiedlichen Zeiten aufgenommen wurden, in zeitlicher Folge miteinander verbunden, wodurch ein synthetisiertes Vogelperspektivenbild erzeugt wird.
  • Als Ergebnis einer genaueren Untersuchung durch die Erfinder wurden die folgenden Probleme in Bezug auf den oben beschriebenen Stand der Technik herausgefunden. Wenn beispielsweise ein Fahrzeug auf einer ungleichmäßigen Straße wie beispielsweise einer Schotterstraße oder einer Pflastersteinstraße fährt, rüttelt das Fahrzeug, und das Verhalten wird instabil. Wenn das Verhalten des Fahrzeugs instabil wird, ändert sich die Position der Kamera in Bezug auf den Boden im Verlaufe der Zeit, und es ändert sich das Erscheinungsbild der Straßenoberfläche, die von der Kamera aufgenommen wird. Dann kann die Straßenoberfläche, die in dem Bewegungsbereich erscheint, der aus dem Vergangenheitsbild extrahiert wird, nicht kontinuierlich mit der Straßenoberfläche verbunden werden, die in einem realen Bild oder in dem Bewegungsbereich erscheint, der zu einem anderen Zeitpunkt extrahiert wurde. Als Ergebnis wird die Straßenoberfläche in dem synthetisierten Vogelperspektivenbild nicht kontinuierlich überlagert. Die Erfinder haben herausgefunden, dass das Problem, gemäß dem die Straßenoberfläche in dem synthetisierten Vogelperspektivenbild nicht kontinuierlich überlagert ist, beachtlich ist, wenn das Vergangenheitsbild jedes Mal aktualisiert wird, wenn ein Bild von der Kamera eingegeben wird.
  • Ein Aspekt der vorliegenden Erfindung schafft vorzugsweise eine Technik, die zum Erzeugen eines synthetisierten Vogelperspektivenbildes unter Verwendung von Vergangenheitsbildern geeignet ist, die in der Vergangenheit in einer Situation aufgenommen wurden, in der ein Verhalten eines Fahrzeugs instabil war.
  • Eine Anzeigesteuerungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung enthält eine Aufnahmebilderlangungseinheit, eine Vogelperspektivenumwandlungseinheit, eine Vergangenheitsbilderlangungseinheit, eine Vergangenheitsbildspeichereinheit, eine Bewegungsgrößenberechnungseinheit, eine Anzeigebilderzeugungseinheit, eine Anzeigeverarbeitungseinheit und eine Bestimmungseinheit. Die Aufnahmebilderlangungseinheit ist ausgelegt, aufgenommene Bilder periodisch zu erlangen, die Bilder sind, die von einem vorbestimmten Abbildungsbereich in der Umgebung eines Fahrzeugs von Kameras aufgenommen werden, die an einem Fahrzeug montiert sind. Die Vogelperspektivenumwandlungseinheit ist ausgelegt, mittels Durchführung einer Vogelperspektivenumwandlung von aufgenommenen Bildern, die periodisch von der Aufnahmebilderlangungseinheit erlangt werden, aufeinanderfolgend aufgenommene Vogelperspektivenbilder zu erzeugen, die Vogelperspektivenansichten der Umgebung des Fahrzeugs sind. Die Vergangenheitsbilderlangungseinheit ist ausgelegt, aus den aufgenommenen Bildern, die von der Aufnahmebilderlangungseinheit erlangt werden, zu einem jeweiligen Zeitpunkt, der entsprechend einer vorbestimmten Bedingung bestimmt wird, ein Vergangenheitsbild zu erlangen, das ein Vogelperspektivenbild ist, das einem vorbestimmten Bereich vor dem Fahrzeug in dessen Fahrtrichtung entspricht.
  • Die Vergangenheitsbildspeichereinheit ist ausgelegt, mindestens ein Vergangenheitsbild zu speichern, das von der Vergangenheitsbilderlangungseinheit erlangt wird bzw. wurde. Die Bewegungsgrößenberechnungseinheit ist ausgelegt, eine Bewegungsgröße des Fahrzeugs auf der Grundlage von Informationen zu berechnen, die ein Verhalten des Fahrzeugs repräsentieren. Die Anzeigebilderzeugungseinheit extrahiert einen Bereich, der einem Nicht-Abbildungsbereich eines derzeitig erlangten aufgenommenen Vogelperspektivenbildes entspricht, aus den Vergangenheitsbildern, die in der Vergangenheitsbildspeichereinheit gespeichert sind, auf der Grundlage der Bewegungsgröße des Fahrzeugs. Die Anzeigebilderzeugungseinheit ist ausgelegt, durch Kombinieren des extrahierten Bereichs mit dem Nicht-Abbildungsbereich ein Anzeigevogelperspektivenbild als ein Vogelperspektivenbild für die Anzeige zu erzeugen. Die Anzeigeverarbeitungseinheit ist ausgelegt, das Anzeigevogelperspektivenbild, das von der Anzeigebilderzeugungseinheit erzeugt wird, auf einer Anzeigevorrichtung anzuzeigen, die in dem Fahrzeug angeordnet ist.
  • Die Bestimmungseinheit ist ausgelegt, auf der Grundlage von Zustandsinformationen, die einen Zustand des Fahrzeugs repräsentieren, zu bestimmen, ob ein Verhalten des Fahrzeugs einem speziellen instabilen Zustand entspricht. Bei einer Bedingung, von der von der Bestimmungseinheit bestimmt wird, dass sie nicht dem instabilen Zustand entspricht, ist die Vergangenheitsbilderlangungseinheit ausgelegt, das Vergangenheitsbild von dem zuletzt aufgenommenen Vogelperspektivenbild zu jedem vorbestimmten ersten Zyklus zu erlangen, der einem Zyklus entspricht, während dem aufgenommene Bilder von den Kameras aufgenommen werden. Bei einer Bedingung, von der von der Bestimmungseinheit bestimmt wird, dass sie dem instabilen Zustand entspricht, ist die Vergangenheitsbilderlangungseinheit jedoch ausgelegt, das Vergangenheitsbild von dem zuletzt aufgenommenen Vogelperspektivenbild zu einem späteren Zeitpunkt als dem ersten Zyklus zu erlangen.
  • Mit der Anzeigesteuerungsvorrichtung gemäß der vorliegenden Erfindung kann in einer Situation, in der das Verhalten eines Fahrzeugs instabil ist, der Zeitpunkt einer Aktualisierung eines Vergangenheitsbildes auf später als in einer normalen Situation verlegt werden, in der das Verhalten des Fahrzeugs nicht instabil ist. Auf diese Weise wird der Bereich, der aus Vergangenheitsbildern synthetisiert wird, die gleichzeitig in einem Nicht-Abbildungsbereich aufgenommen werden, breiter als zu einem normalen Zeitpunkt. Als Ergebnis kann die Häufigkeit, mit der Vergangenheitsbilder, die zu unterschiedlichen Zeiten aufgenommen werden, verbunden werden, verringert werden. Daher ist es in dem Anzeigevogelperspektivenbild, das aus dem aufgenommenen Vogelperspektivenbild und dem Vergangenheitsbild synthetisiert wird, möglich, eine Diskontinuität von Bildern der Straßenoberfläche, die in dem Nicht-Abbildungsbereich wiedergegeben werden, zu verhindern.
  • Figurenliste
  • Die oben beschriebenen Aufgaben und weitere Aufgaben, Merkmale und Vorteile der Technik gemäß der vorliegenden Erfindung werden anhand der folgenden detaillierten Beschreibung mit Bezug auf die zugehörigen Zeichnungen deutlich. Es zeigen:
    • 1 ein Blockdiagramm, das eine Konfiguration eines Anzeigesystems darstellt;
    • 2 ein Flussdiagramm, das die Prozedur eines Anzeigesteuerungsprozesses darstellt;
    • 3 ein erläuterndes Diagramm, das ein Verfahren zum Synthetisieren eines Anzeigevogelperspektivenbildes in einem normalen Zustand darstellt; und
    • 4 ein erläuterndes Diagramm, das ein Verfahren zum Synthetisieren eines Anzeigevogelperspektivenbildes in einem instabilen Zustand darstellt.
  • Beschreibung der Ausführungsformen
  • Im Folgenden werden Ausführungsformen der Technik gemäß der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben. Man beachte, dass die Technik gemäß der vorliegenden Erfindung nicht auf die folgenden Ausführungsformen beschränkt ist, sondern in verschiedenen Modi implementiert werden kann.
  • Beschreibung der Konfiguration eines Anzeigesystems
  • Eine Konfiguration eines Anzeigesystems 1, das eine Anzeigesteuerungsvorrichtung 9 gemäß einer Ausführungsform einer Technik gemäß der vorliegenden Erfindung enthält, wird mit Bezug auf 1 beschrieben. Das Anzeigesystem 1 ist eine fahrzeugeigene Vorrichtung, die ein aufgenommenes Bild der Umgebung des Fahrzeugs anzeigt. Wie es in 1 dargestellt ist, enthält das Anzeigesystem 1 vier Kameras 2, 3, 4 und 5, eine Anzeigevorrichtung 7 und eine Anzeigesteuerungsvorrichtung 9. Jede der Kameras 2 bis 5 und die Anzeigevorrichtung 7 sind mit der Anzeigesteuerungsvorrichtung 9 verbunden. Im Folgenden wird ein Fahrzeug, in dem das Anzeigesystem 1 montiert ist, als „Host-Fahrzeug“ bezeichnet.
  • Die vier Kameras 2 bis 5 sind auf der vorderen, hinteren, linken und rechten Seite des Host-Fahrzeugs als eine vordere Kamera 2, eine hintere Kamera 3, ein linke Kamera 4 und eine rechte Kamera 5 fixiert und montiert. Die Kameras 2 bis 5 sind derart angeordnet, dass sie die gesamte Umgebung des Host-Fahrzeugs aufnehmen können, wobei die vordere, hintere, linke und rechte Seite des Fahrzeugs die jeweiligen Abbildungsbereiche sind. Die Straßenoberfläche jedoch, die unterhalb des Host-Fahrzeugs verborgen ist, ist nicht in den Abbildungsbereichen der Kameras 2 bis 5 enthalten.
  • Jede der Kameras 2 bis 5 nimmt wiederholt Bilder des jeweiligen Abbildungsbereiches in festen Zeitintervallen (beispielsweise in einem Zyklus von 1/30 Sekunden) auf und gibt die Daten der aufgenommenen Bilder als Abbildungsergebnisse an die Anzeigesteuerungsvorrichtung 9 aus. Wie es später beschrieben wird, werden die aufgenommenen Bilder, die an die Anzeigesteuerungsvorrichtung 9 ausgegeben werden, durch die Anzeigesteuerungsvorrichtung 9 in ein Vogelperspektivenbild umgewandelt. In der vorliegenden Ausführungsform wird ein Beispiel beschrieben, bei dem die Kameras auf der vorderen, hinteren, rechten und linken Seite des Host-Fahrzeugs angeordnet sind, es sind jedoch auch Beispiele möglich, bei denen die Kamera(s) nur an der vorderen und hinteren oder nur an der vorderen oder nur an der hinteren Seite angeordnet sind (ist).
  • Die Anzeigevorrichtung 7 ist eine Anzeige, die eine Funktion zum Anzeigen verschiedener Bilder aufweist. Die Anzeigevorrichtung 7 ist an einer Position angeordnet, bei der ein Insasse wie beispielsweise ein Fahrer innerhalb des Fahrzeugs ein angezeigtes Bild visuell erkennen kann. Ein Vogelperspektivenbild, das einen Bereich repräsentiert, der die Umgebung des Host-Fahrzeugs enthält, und das von der Anzeigesteuerungsvorrichtung 9 eingegeben wird, wird auf der Anzeigevorrichtung 7 angezeigt. Man beachte, dass dieses Vogelperspektivenbild, das auf der Anzeigevorrichtung 7 angezeigt wird, ein Anzeigevogelperspektivenbild ist.
  • Die Anzeigesteuerungsvorrichtung 9 ist eine elektronische Steuerungsvorrichtung, die eine Eingangssignalverarbeitungseinheit 11, eine Bildverarbeitungseinheit 13, eine Speichereinheit 15 und eine Ausgangssignalverarbeitungseinheit 17 enthält. Die Eingangssignalverarbeitungseinheit 11 ist eine Schnittstelle zum Ausgeben von aufgenommenen Bildern, die von den jeweiligen Kameras 2 bis 5 eingegeben werden, an die Bildverarbeitungseinheit 13.
  • Die Bildverarbeitungseinheit 13 ist eine Informationsverarbeitungsvorrichtung, die hauptsächlich eine CPU, einen RAM, einen ROM, einen Halbleiterspeicher wie beispielsweise einen Flash-Speicher oder Ähnliches, eine Eingangs/Ausgangsschnittstelle und Ähnliches (nicht dargestellt) enthält. Die Bildverarbeitungseinheit 13 ist beispielsweise als ein Mikrocontroller oder Ähnliches ausgebildet, in dem Funktionen als ein Computersystem integriert sind. Die Funktion der Bildverarbeitungseinheit 13 wird durch die CPU erzielt, die Programme ausführt, die in einem Speichermedium wie beispielsweise einem ROM, einem Halbleiterspeicher oder Ähnlichem gespeichert sind. Die Anzahl der Mikrocontroller der Bildverarbeitungseinheit 13 kann eins oder mehr betragen.
  • Die Bildverarbeitungseinheit 13 enthält als Bestandteile der Funktion eine Aufnahmebilderlangungseinheit 21, eine Vogelperspektivenumwandlungseinheit 23, eine Bewegungsgrößenberechnungseinheit 25, eine Vergangenheitsbilderlangungseinheit 27, eine Anzeigebilderzeugungseinheit 29 und eine Anzeigeverarbeitungseinheit 31. Außerdem weist die Vergangenheitsbilderlangungseinheit 27 Funktionen als eine Bestimmungseinheit 33 und eine Bilderlangungseinheit 35 auf. Das Verfahren zum Erzielen dieser Elemente, die die Bildverarbeitungseinheit 13 bilden, ist nicht auf Software beschränkt, und es können ein Teil oder sämtliche der Elemente unter Verwendung von Hardware erzielt werden, die Logikschaltkreise, analoge Schaltkreise und Ähnliches kombiniert.
  • Die Aufnahmebilderlangungseinheit 21 erlangt wiederholt aufgenommene Bilder von den jeweiligen Kameras 2 bis 5 über die Eingangssignalverarbeitungseinheit 11. Die Vogelperspektivenumwandlungseinheit 23 führt eine bekannte Vogelperspektivenumwandlung der aufgenommenen Bilder durch, die wiederholt von der Aufnahmebilderlangungseinheit 21 erlangt werden, und wandelt diese aufgenommenen Bilder aufeinanderfolgend in ein Vogelperspektivenbild eines Blickpunktes um, von dem das Host-Fahrzeug von direkt oberhalb oder in einem Winkel herab betrachtet wird. Mit anderen Worten, die Vogelperspektivenumwandlungseinheit 23 erzeugt aufeinanderfolgend ein aufgenommenes Vogelperspektivenbild, das ein Vogelperspektivenbild der aufgenommenen Bilder ist. Die Bewegungsgrößenberechnungseinheit 25 berechnet die Bewegungsgröße des Host-Fahrzeugs auf der Grundlage von Schaltbereichsinformationen, die von dem Host-Fahrzeug eingegeben werden, und Fahrzeugverhaltensinformationen, die Fahrzeuggeschwindigkeitsinformationen und Lenkwinkel- oder Gierrateninformationen enthalten.
  • Die Vergangenheitsbilderlangungseinheit 27 extrahiert einen Teilbereich vor dem Host-Fahrzeug in dessen Fahrtrichtung als ein Vergangenheitsbild aus dem aufgenommenen Vogelperspektivenbild, das von der Vogelperspektivenumwandlungseinheit 23 erzeugt wird, zu einem vorbestimmten Zeitpunkt entsprechend dem Fahrzustand des Fahrzeugs. Die Vergangenheitsbilderlangungseinheit 27 speichert die extrahierten Vergangenheitsbilder in zeitlicher Folge in dem Vergangenheitsbereich 43 der Speichereinheit 15. Man beachte, dass, wenn sich das Host-Fahrzeug vorwärts bewegt, die Vergangenheitsbilderlangungseinheit 27 den Abbildungsbereich auf der Vorderseite des Host-Fahrzeugs als ein Vergangenheitsbild erlangt. Wenn sich das Host-Fahrzeug rückwärts bewegt, erlangt die Vergangenheitsbilderlangungseinheit 27 den Abbildungsbereich auf der Rückseite des Host-Fahrzeugs als Vergangenheitsbild.
  • Die Bestimmungseinheit 33 bestimmt entsprechend dem Fahrzustand des Host-Fahrzeugs, ob eine instabile Bedingung erfüllt ist, die angibt, dass sich das Verhalten des Host-Fahrzeugs in einem speziellen instabilen Zustand befindet. Genauer gesagt bestimmt die Bestimmungseinheit 33 auf der Grundlage des Verhaltens, das durch die Messergebnisse eines Kreiselsensors, eines Beschleunigungssensor, eines Fahrzeughöhensensors und Ähnlichem repräsentiert wird, die in dem Host-Fahrzeug angeordnet sind, dass eine instabile Bedingung in dem Fall erfüllt ist, in dem das Host-Fahrzeug auf einer schlechten Straße mit vielen unebenen Bereichen fährt. In dem Fall, in dem auf der Grundlage des Messergebnisses eines Raddrehzahlsensors bestimmt wird, dass das Fahrzeug schleudert oder rutscht, bestimmt die Bestimmungseinheit, dass eine instabile Bedingung erfüllt ist. Alternativ kann die Bestimmungseinheit 33 auf der Grundlage von Kartendaten, die in einem Navigationssystem oder Ähnlichem verwendet werden, in dem Fall, in dem die Straße, auf der das Host-Fahrzeug fährt, einer schlechten Straße entspricht, ausgelegt sein, zu bestimmen, dass eine instabile Bedingung erfüllt ist.
  • Die Bilderlangungseinheit 35 extrahiert zu dem Zeitpunkt Vergangenheitsbilder aus den aufgenommenen Vogelperspektivenbildern entsprechend dem Bestimmungsergebnis der Bestimmungseinheit 33 und speichert die Bilder in zeitlicher Folge in dem Vergangenheitsbereich 43 der Speichereinheit 15. Genauer gesagt erlangt die Bilderlangungseinheit 35 in dem Fall, in dem eine instabile Bedingung nicht erfüllt ist, mit anderen Worten in einem normalen Fahrzustand, ein Vergangenheitsbild jedes Mal, wenn ein aufgenommenes Bild von der Aufnahmebilderlangungseinheit 21 erlangt wird (beispielsweise in einem Zyklus von 1/30 Sekunden). Im Folgenden wird der Zyklus, mit dem die Bilderlangungseinheit 35 das Vergangenheitsbild in einem normalen Zustand aktualisiert, als Standardzyklus bezeichnet.
  • In dem Fall, in dem eine instabile Bedingung erfüllt ist, mit anderen Worten in einer Situation, in der der Fahrzustand instabil ist, erlangt die Bilderlangungseinheit 35 andererseits Vergangenheitsbilder in Zeitintervallen, die länger als der Standardzyklus sind. Genauer gesagt bewegt die Bilderlangungseinheit 35 den Abbildungsbereich des zuvor erlangten Vergangenheitsbildes entsprechend der Bewegungsgröße des Host-Fahrzeugs, und wenn der Abbildungsbereich des Vergangenheitsbildes eine vorbestimmte Position erreicht, wird ein neues Vergangenheitsbild erlangt. Alternativ erlangt die Bilderlangungseinheit 35 ein neues Vergangenheitsbild mit einem jeweiligen Zeitintervall, das länger als der Standardzyklus ist.
  • Man beachte, dass das aufgenommene Vogelperspektivenbild die letzte Situation eines vorbestimmten Bereichs in der Richtung nach vorne, hinten, links und rechts des Host-Fahrzeugs von der Umgebung des Host-Fahrzeugs repräsentiert. Auch wenn das Vergangenheitsbild nicht die letzte Situation angibt, kann dieses eine Situation in einem Bereich repräsentieren, der aufgrund der Bewegung des Host-Fahrzeugs nicht durch das aufgenommene Vogelperspektivenbild abgedeckt ist, beispielsweise eine Stelle unterhalb des Host-Fahrzeugs.
  • Die Speichereinheit 15 ist eine Speichervorrichtung zum Speichern des oben beschriebenen aufgenommenen Vogelperspektivenbildes und Vergangenheitsbildern sowie des später beschriebenen Anzeigevogelperspektivenbildes. In der Speichereinheit 15 sind ein Realbereich 41, ein Vergangenheitsbereich 43 und ein Ausgangsbereich 45 im Voraus als Speicherbereiche zum Speichern verschiedener Bilder gesichert.
  • Der Realbereich 41 ist ein Bereich zum Speichern des zuletzt aufgenommenen Vogelperspektivenbildes, das von der Vogelperspektivenumwandlungseinheit 23 erzeugt wird. Der Vergangenheitsbereich 43 ist ein Bereich zum Speichern der Vergangenheitsbilder, die von der Vergangenheitsbilderlangungseinheit 27 erlangt und erzeugt werden. In dem Vergangenheitsbereich 43 wird eine zeitliche Folge von Vergangenheitsbildern während einer festen Zeitdauer in der Vergangenheit seit dem letzten Vergangenheitsbild gespeichert. Der Vergangenheitsbereich 43 entspricht einer Vergangenheitsbildspeichereinheit gemäß der vorliegenden Erfindung. Der Ausgangsbereich 45 ist ein Bereich zum Speichern eines Anzeigevogelperspektivenbildes, das ein Vogelperspektivenbild ist, das durch Kombinieren des Vergangenheitsvogelperspektivenbildes und des aufgenommenen Bildes erzeugt wird. Das Anzeigevogelperspektivenbild, das in dem Ausgangsbereich 45 gespeichert ist, wird auf der Anzeigevorrichtung 7 angezeigt.
  • Die Anzeigebilderzeugungseinheit 29 erzeugt ein Anzeigevogelperspektivenbild, das ein Vogelperspektivenbild ist, das durch Kombinieren eines aufgenommenen Vogelperspektivenbildes und eines Vergangenheitsbildes erhalten wird. In dem aufgenommenen Vogelperspektivenbild, in dem ein Bild der Umgebung des Host-Fahrzeugs aufgenommen ist, ist der mittlere Abschnitt des aufgenommenen Vogelperspektivenbildes leer, da der Bereich, der unterhalb des Host-Fahrzeugs verborgen ist, in dem Abbildungsbereich der jeweiligen Kameras 2 bis 3 nicht enthalten ist. Im Folgenden wird dieser leere Bereich als Nicht-Abbildungsbereich bezeichnet. Die Anzeigebilderzeugungseinheit 29 extrahiert einen Bereich, der dem Nicht-Abbildungsbereich entspricht, auf der Grundlage der Bewegungsgröße des Host-Fahrzeugs aus der zeitlichen Folge der Vergangenheitsbilder, die in dem Vergangenheitsbereich 43 angesammelt wurden. Durch Verbinden der Bereiche, die aus einem jeweiligen Vergangenheitsbild extrahiert werden, erzeugt die Anzeigebilderzeugungseinheit 29 ein ergänzendes Bild als ein Bild eines Bereiches, das dem gesamten Nicht-Abbildungsbereich entspricht. Die Anzeigebilderzeugungseinheit 29 erzeugt dann das Anzeigevogelperspektivenbild durch Kombinieren des erzeugten Ergänzungsbildes mit dem Nicht-Abbildungsbereich des zuletzt aufgenommenen Vogelperspektivenbildes. Das Anzeigevogelperspektivenbild, das von der Anzeigebilderzeugungseinheit 29 erzeugt wird, wird in dem Ausgangsbereich 45 der Speichereinheit 15 gespeichert.
  • Die Anzeigeverarbeitungseinheit 31 bewirkt über die Ausgangssignalverarbeitungseinheit 17, dass die Anzeigevorrichtung 7 das Anzeigevogelperspektivenbild anzeigt, das in dem Ausgangsbereich 45 der Speichereinheit 15 gespeichert ist. Die Bildverarbeitungseinheit 13 führt einen später beschriebenen Anzeigesteuerungsprozess aus, wodurch die oben beschriebenen Funktionen der Aufnahmebilderlangungseinheit 21, der Vogelperspektivenumwandlungseinheit 23, der Bewegungsgrößenberechnungseinheit 25, der Vergangenheitsbilderlangungseinheit 27, der Anzeigebilderzeugungseinheit 29 und der Anzeigeverarbeitungseinheit 31 erzielt werden. Die Ausgangssignalverarbeitungseinheit 17 ist eine Schnittstelle zum Ausgeben des Anzeigevogelperspektivenbildes, das von der Bildverarbeitungseinheit 13 erzeugt wird, an die Anzeigevorrichtung 7.
  • Beschreibung des Anzeigesteuerungsprozesses
  • Die Prozedur des Anzeigesteuerungsprozesses, der von der Bildverarbeitungseinheit 13 der Anzeigesteuerungsvorrichtung 9 ausgeführt wird, wird mit Bezug auf das Flussdiagramm der 2 beschrieben. Der Anzeigesteuerungsprozess wird durch Ausgeben einer vorbestimmten Anweisung gestartet. Der Anzeigesteuerungsprozess wird jedes Mal ausgeführt, wenn Bilder von den jeweiligen Kameras 2 bis 5 über die Eingangssignalverarbeitungseinheit 11 eingegeben werden. Mit anderen Worten, der Anzeigesteuerungsprozess wird synchron zu der Rahmenrate (beispielsweise 30 Rahmen je Sekunde) der Bilder ausgeführt, die von den jeweiligen Kameras 2 bis 5 aufgenommen werden. Dieser Anzeigesteuerungsprozess kann für einen beliebigen Fall verwendet werden, bei dem sich das Host-Fahrzeug vorwärts oder rückwärts bewegt.
  • In S100 erlangt die Bildverarbeitungseinheit 13 die zuletzt aufgenommenen Bilder, die von den Kameras 2 bis 5 aufgenommen wurden, mit einem Rahmen zu einem Zeitpunkt. Man beachte, dass S100 ein Prozess ist, der als eine Funktion der Aufnahmebilderlangungseinheit 21 ausgeführt wird. In Schritt S102 erzeugt die Bildverarbeitungseinheit 13 ein aufgenommenes Vogelperspektivenbild eines Blickpunktes, der von oberhalb auf die gesamte Umgebung des Host-Fahrzeugs herabblickt, durch Verwenden einer Vogelperspektivenumwandlung für die aufgenommenen Bilder, die in Schritt S100 erlangt wurden. Man beachte, dass S102 ein Prozess ist, der als eine Funktion der Vogelperspektivenumwandlungseinheit 23 ausgeführt wird. Das aufgenommene Vogelperspektivenbild, das hier erzeugt wird, wird in dem Realbereich 41 der Speichereinheit 15 als ein Echtzeitbild gespeichert.
  • In S104 berechnet die Bildverarbeitungseinheit 13 die vorherige Bewegungsgröße des Host-Fahrzeugs auf der Grundlage der Fahrzeugverhaltensinformationen, die von dem Host-Fahrzeug eingegeben werden. S104 ist ein Prozess, der als eine Funktion der Bewegungsgrößenberechnungseinheit 25 ausgeführt wird. Genauer gesagt berechnet die Bewegungsgrößenberechnungseinheit 25 die Bewegungsgröße des Host-Fahrzeugs auf der Grundlage der Schaltbereichsinformationen und der Fahrzeugverhaltensinformationen wie beispielsweise den Fahrzeuggeschwindigkeitsinformationen, den Lenkwinkel- oder Gierrateninformationen und Ähnlichem. Die hier genannte Bewegungsgröße ist eine Änderung der Position und Richtung des Host-Fahrzeugs während einer Zeitdauer von dem Erlangungszeitpunkt des vorherigen aufgenommenen Bildes bis zu dem Erlangungszeitpunkt des derzeitig aufgenommenen Bildes.
  • In S106 bewegt die Bildverarbeitungseinheit 13 die Position jedes Vergangenheitsbildes, das in dem Vergangenheitsbereich der Speichereinheit 15 akkumuliert wurde, entsprechend der in S104 berechneten Bewegungsgröße. Genauer gesagt wird die Position jedes Vergangenheitsbildes durch Bewegen der Relativpositionsbeziehung zwischen dem Abbildungsbereich, in dem das Vergangenheitsbild erscheint, und dem Host-Fahrzeug um gerade die Bewegungsgröße des Host-Fahrzeugs während der Zeitdauer von dem Erlangungszeitpunkt des vorherigen aufgenommenen Bildes bis zu dem Erlangungszeitpunkt des derzeitig aufgenommenen Bildes auf den jüngsten Zustand aktualisiert.
  • In S108 bestimmt die Bildverarbeitungseinheit 13, ob eine instabile Bedingung in Bezug auf das Verhalten des Host-Fahrzeugs erfüllt ist. Man beachte, dass S108 ein Prozess ist, der als eine Funktion der Bestimmungseinheit 33 der Vergangenheitsbilderlangungseinheit 27 ausgeführt wird. In dem Fall, in dem eine instabile Bedingung nicht erfüllt ist (mit anderen Worten, S108: Nein), schreitet die Bildverarbeitungseinheit 13 zu S114.
  • In S114 extrahiert die Bildverarbeitungseinheit 13 einen Abschnitt, der einem Bereich entspricht, der als Vergangenheitsbild zu sichern ist, aus dem zuletzt aufgenommenen Vogelperspektivenbild, das in dem Realbereich 41 gespeichert ist, und sichert das extrahierte Vergangenheitsbild in dem Vergangenheitsbereich 43. In einem Fall, in dem sich das Host-Fahrzeug vorwärts bewegt, erlangt hier die Bildverarbeitungseinheit 13 ein Bild, das dem Abbildungsbereich entspricht, der auf der Vorderseite des Host-Fahrzeugs eingestellt ist, als ein Vergangenheitsbild. In einem Fall anderseits, in dem sich das Host-Fahrzeug rückwärts bewegt, wird ein Bild, das dem Abbildungsbereich entspricht, der auf der Rückseite des Host-Fahrzeugs eingestellt ist, als ein Vergangenheitsbild erlangt. Die Bildverarbeitungseinheit 13 sichert das erlangte Vergangenheitsbild als das letzte Vergangenheitsbild in der zeitlichen Folge der Vergangenheitsbilder, die in dem Vergangenheitsbereich 43 gespeichert sind.
  • In S116 erzeugt die Bilderverarbeitungseinheit 13 ein Anzeigevogelperspektivenbild durch Kombinieren des Echtzeitbildes, das das letzte aufgenommene Vogelperspektivenbild ist, das in dem Realbereich 41 gespeichert ist, mit den jeweiligen Vergangenheitsbildern, die in dem Vergangenheitsbereich 43 gespeichert sind. Man beachte, dass S116 ein Prozess ist, der als eine Funktion der Anzeigebilderzeugungseinheit 29 ausgeführt wird.
  • Hier wird ein Beispiel mit Bezug auf 3 beschrieben, bei dem die Anzeigebilderzeugungseinheit 29 ein Anzeigevogelperspektivenbild in einer Situation erzeugt, in der eine instabile Bedingung nicht erfüllt ist. Wie es in dem Beispiel der 3 dargestellt ist, gibt es in dem mittleren Abschnitt des Echtzeitbildes A, das das letzte aufgenommene Vogelperspektivenbild der Umgebung des Host-Fahrzeugs ist, einen Nicht-Abbildungsbereich B, der einem Abschnitt entspricht, der unterhalb des Host-Fahrzeugs verborgen ist.
  • Andererseits werden zu dem Zeitpunkt einer normalen Fahrt, während der eine instabile Bedingung nicht erfüllt ist, für die aufgenommenen Bilder, die wiederholt in die Bildverarbeitungseinheit 13 eingegeben werden, Vergangenheitsbilder zu jedem Standardzyklus erlangt, der derselbe wie die Rahmenrate der aufgenommenen Bilder ist, und der Vergangenheitsbereich 43 wird aufeinanderfolgend aktualisiert. Wie es in dem Beispiel der 3 dargestellt ist, wird demzufolge eine Vergangenheitsbildgruppe C in zeitlicher Folge entsprechend aufeinanderfolgender Rahmen in dem Vergangenheitsbereich 43 akkumuliert. Die Anzeigebilderzeugungseinheit 29 erzeugt ein Ergänzungsbild D, das dem Nicht-Abbildungsbereich B entspricht, durch aufeinanderfolgendes Verbinden von Teilbereichen, die dem Nicht-Abbildungsbereich B entsprechen, aus dem neuen Vergangenheitsbild der akkumulierten Vergangenheitsbildgruppe C.
  • In dem Beispiel der 3 wird das Ergänzungsbild D durch aufeinanderfolgendes Verbinden der Bereiche F1 bis F10 erzeugt, die aus den jeweiligen Vergangenheitsbildern extrahiert werden, die aufeinanderfolgend zu einem jeweiligen Rahmenzeitpunkt entlang der Fahrtrichtung des Host-Fahrzeugs erlangt wurden. Dann kombiniert die Anzeigebilderzeugungseinheit 29 das Anzeigevogelperspektivenbild E durch Einpassen des Ergänzungsbildes D in den Nicht-Abbildungsbereich B in dem Echtzeitbild A, wie es in dem Beispiel in 3 dargestellt ist.
  • Die Erläuterung wird mit der Beschreibung des Flussdiagrammes der 2 fortgesetzt. In S118 gibt die Bildverarbeitungseinheit 13 das Anzeigevogelperspektivenbild, das in dem Ausgangsbereich 45 der Speichereinheit 15 gespeichert ist, über die Ausgangssignalverarbeitungseinheit 17 an die Anzeigevorrichtung 7aus und zeigt das Anzeigevogelperspektivenbild auf der Anzeigevorrichtung 7 an. Man beachte, dass S118 ein Prozess ist, der als eine Funktion der Anzeigeverarbeitungseinheit 31 ausgeführt wird. Nach S118 beendet die Bildverarbeitungseinheit 13 den Anzeigesteuerungsprozess des derzeitigen Rahmenzeitpunktes und nimmt den Prozess ab S100 zu dem nächsten Rahmenzeitpunkt wieder auf.
  • In einem Fall anderseits, in dem in S108 bestimmt wird, dass eine instabile Bedingung erfüllt ist (S108: Ja), schreitet die Bildverarbeitungseinheit 13 zum Prozess in S110. In Schritt S110 bestimmt die Bildverarbeitungseinheit 13 für das letzte Vergangenheitsbild, das in dem Vergangenheitsbereich 43 akkumuliert wurde, ob die Relativposition des Abbildungsbereichs des Vergangenheitsbildes in Bezug auf das Host-Fahrzeug eine vorbestimmte Vergangenheitsbildaktualisierungsposition erreicht hat. Die Vergangenheitsbildaktualisierungsposition ist eine vorbestimmte Position in Bezug auf den Nicht-Abbildungsbereich, der der Position des Host-Fahrzeugs entspricht, und wird entsprechend der Fahrbedingung (mit anderen Worten: vorwärts oder rückwärts) des Host-Fahrzeugs im Voraus bestimmt. Man beachte, dass S116 ein Prozess ist, der als eine Funktion der Bilderlangungseinheit 35 ausgeführt wird.
  • In einem Fall, in dem der Abbildungsbereich des letzten Vergangenheitsbildes die Vergangenheitsbildaktualisierungsposition nicht erreicht hat (S110: Nein), schreitet die Bildverarbeitungseinheit 13 zum Prozess in S112. In S112 bestimmt die Bildverarbeitungseinheit 13, ob die Vergangenheitsbildaktualisierungszeit erreicht wurde. Die Vergangenheitsbildaktualisierungszeit reguliert die Zeitdauer, während der sich das zu aktualisierende Vergangenheitsbild in einer instabilen Zeit befindet. Die Vergangenheitsbildaktualisierungszeit wird auf einen Zeitpunkt eingestellt, zu dem eine vorbestimmte Zeit verstrichen ist, seitdem das Vergangenheitsbild das letzte Mal aktualisiert wurde. Es wird jedoch angenommen, dass der Zyklus der Vergangenheitsbildaktualisierungszeit auf ein längeres Zeitintervall als der Standardzyklus zum Aktualisieren des Vergangenheitsbildes einer normalen Zeit eingestellt wird. Man beachte, dass S116 ein Prozess ist, der als eine Funktion der Bilderlangungseinheit 35 ausgeführt wird.
  • In einem Fall, in dem die Vergangenheitsbildaktualisierungszeit nicht erreicht ist (S112: Nein), überspringt die Bildverarbeitungseinheit 13 S114 und schreitet zum Prozess in S116. Danach erzeugt die Bildverarbeitungseinheit 13 in S116 ein Anzeigevogelperspektivenbild, gibt das Anzeigevogelperspektivenbild in S118 aus und beendet dann den Anzeigesteuerungsprozess des derzeitigen Rahmenzeitpunktes.
  • In einem Fall anderseits, in dem S110 bestimmt wird, dass der Abbildungsbereich des letzten Vergangenheitsbildes die Vergangenheitsbildaktualisierungsposition erreicht hat (S110: Ja), oder in einem Fall, in dem bestimmt wird, dass die Vergangenheitsbildaktualisierungszeit erreicht wurde (S112: Ja), schreitet die Bildverarbeitungseinheit 13 zum Prozess in S114. Danach erlangt die Bildverarbeitungseinheit 13 in S114 ein neues Vergangenheitsbild. Dann erzeugt die Bildverarbeitungseinheit 13 in S116 ein Anzeigevogelperspektivenbild. Nach dem Ausgeben des Anzeigevogelperspektivenbildes in S118 beendet die Bildverarbeitungseinheit 13 den Anzeigesteuerungsprozess des derzeitigen Rahmenzeitpunktes.
  • Wie es oben beschrieben wurde, wird in der vorliegenden Ausführungsform in einer Situation, in der eine instabile Bedingung wie beispielsweise eine Fahrt auf einer schlechten Straße oder ein Rutschen erfüllt ist, das Vergangenheitsbild nicht aktualisiert, solange wie sich der Abbildungsbereich nicht um eine vorbestimmte Strecke bewegt hat oder solange wie die Vergangenheitsbildaktualisierungszeit noch nicht erreicht ist. Als Ergebnis wird der Zyklus, während dem das Vergangenheitsbild aktualisiert wird, im Vergleich zu dem Fall einer normalen Fahrt verzögert. Hier wird ein Beispiel mit Bezug auf 4 beschrieben, bei dem die Anzeigebilderzeugungseinheit 29 ein Anzeigevogelperspektivenbild in einer Situation erzeugt, in der eine instabile Bedingung erfüllt ist. 4 stellt schematisch für aufeinanderfolgende Zeiten T0 bis T7 zu einem jeweiligen Rahmenzeitpunkt den Verlauf der Positionsbeziehung zwischen Echtzeitbildern A0 bis A7, die aufgenommene Vogelperspektivenbilder sind, die zu jeweiligen Zeitpunkten erlangt werden, und Vergangenheitsbildern dar, die während dieser Zeitdauer erlangt werden.
  • Wie es in dem Beispiel in 4 dargestellt ist, wird angenommen, dass die Bildverarbeitungseinheit 13 das Vergangenheitsbild C0 aus dem Abbildungsbereich auf der Vorderseite in der Fahrtrichtung, die mit dem Pfeil angegeben ist, zu dem Zeitpunkt T0 erlangt. Man beachte, dass in 4 das Bezugszeichen 50 eine Vergangenheitsbildaktualisierungsposition angibt. Außerdem geben die Bezugszeichen B0 bis B7 Nicht-Abbildungsbereiche an, die in der Mitte der Echtzeitbilder A0 bis A7 zu den jeweiligen Zeitpunkten verteilt sind, und geben Bereiche an, die unterhalb des Host-Fahrzeugs verborgen sind. In dem Beispiel der 4 wird die Vergangenheitsbildaktualisierungsposition 50 an einer Position festgelegt, die gegenüber dem vorderen Endabschnitt der Fahrtrichtungsseite der Nicht-Abbildungsbereiche B0 bis B7 um gerade dieselbe Strecke wie die Länge des Abbildungsbereiches der Vergangenheitsbildes in der Richtung entgegengesetzt zu der Fahrtrichtung fortgeschritten ist. Diese Strecke bzw. dieser Abstand basiert jedoch auf der Annahme, dass die Strecke im Wesentlichen länger als die Fahrstrecke des Host-Fahrzeugs während der Zeitdauer eines Zyklus ist, in dem das aufgenommene Bild eingegeben wird.
  • Bei den nächsten Zeitpunkten T1, T2 und T3 ändert sich die Position des Vergangenheitsbildes C0 in Bezug auf das Host-Fahrzeug, wenn sich das Fahrzeug bewegt hat. Die Bildverarbeitungseinheit 13 erzeugt Anzeigevogelperspektivenbilder der Zeiten T1, T2 und T3 durch Kombinieren von Teilbereichen, die sich mit den Nicht-Abbildungsbereichen B1 bis B3 überdecken, aus dem Vergangenheitsbild C0 als Ergänzungsbilder mit den Echtzeitbildern A1 bis A3 zu den jeweiligen Zeiten. Bei den Zeiten T1 bis T3 werden jedoch keine neuen Vergangenheitsbilder erlangt. Als Ergebnis wird der Bereich des Bildes, der aus dem letzten erlangten Vergangenheitsbild C0 für den Nicht-Abbildungsbereich synthetisiert wird, graduell ausgedehnt bzw. vergrößert.
  • Zu dem nächsten Zeitpunkt T4 erlangt die Bildverarbeitungseinheit 13 das nächste Vergangenheitsbild C4, wenn der Abbildungsbereich des Vergangenheitsbildes C0 die Vergangenheitsbildaktualisierungsposition 50 erreicht hat. Außerdem erzeugt die Bildverarbeitungseinheit 13 zu dem Zeitpunkt T4 ein Anzeigevogelperspektivenbild durch Kombinieren eines Teilbereichs, der sich mit dem Nicht-Abbildungsbereich B4 überdeckt, aus dem Vergangenheitsbild C0, als ein Ergänzungsbild mit dem Echtzeitbild A4.
  • Zu den nächsten Zeiten T5, T6 und T7 ändert sich die Relativpositionen der Vergangenheitsbilder C0, C4 in Bezug auf das Host-Fahrzeug, wenn sich das Fahrzeug bewegt hat. Die Bildverarbeitungseinheit 13 erzeugt zu den jeweiligen Zeiten T4, T5 und T6 ein Anzeigevogelperspektivenbild durch Kombinieren der Teilbereiche, die sich mit den Nicht-Abbildungsbereichen B5 bis B7 überdecken, aus den Vergangenheitsbildern C0 und C4 als Ergänzungsbilder mit den Echtzeitbildern A5 bis A7 zu einer jeweiligen Zeit. Zu den Zeiten T5 bis T7 wird jedoch kein neues Vergangenheitsbild erlangt, da das letzte erlangte Vergangenheitsbild C4 die Vergangenheitsbildaktualisierungsposition 50 noch nicht erreicht hat. Als Ergebnis wird der Bereich des Bildes, das aus dem letzten erlangten Vergangenheitsbild C4 für den Nicht-Abbildungsbereich synthetisiert wird, graduell erweitert bzw. vergrößert.
  • Wirkung
  • Mit der Anzeigesteuerungsvorrichtung 9 der Ausführungsform werden die folgenden Wirkungen erzielt.
  • In einer Situation, in der das Verhalten des Fahrzeugs instabil ist, beispielsweise wenn es auf einer schlechten Straße fährt, wenn es rutscht oder Ähnliches, kann der Zeitpunkt eines Aktualisierens des Vergangenheitsbildes später als in einem normalen Zustand gemacht werden. Dadurch wird der Bereich, der aus Vergangenheitsbildern synthetisiert wird, die gleichzeitig für den Nicht-Abbildungsbereich aufgenommen werden, breiter als zu einer normalen Zeit, und die Häufigkeit, mit der die zu unterschiedlichen Zeiten aufgenommenen Vergangenheitsbilder verbunden werden, wird verringert. Daher ist es möglich, eine Diskontinuität von Bildern einer Straßenoberfläche, die in einem Nicht-Abbildungsbereich wiedergegeben wird, in einem synthetisierten Anzeigevogelperspektivenbild zu verhindern.
  • Außerdem kann in einer Situation, in der das Verhalten des Fahrzeugs instabil ist, der Zeitpunkt einer Aktualisierung des Vergangenheitsbildes durch die Größe der Bewegung des Host-Fahrzeugs und das Zeitintervall bestimmt werden. Auf diese Weise ist es möglich, das Vergangenheitsbild auf flexible Weise entsprechend dem Bewegungszustand oder Ähnlichem des Host-Fahrzeugs zu aktualisieren.
  • Variation
  • Die Funktionen eines Bestandsteils in den jeweiligen oben beschriebenen Ausführungsformen kann von mehreren Bestandteilen geteilt werden, oder eine Funktion von mehreren Bestandteilen kann von einem einzelnen Bestandteil angezeigt werden. Außerdem kann ein Teil der Konfigurationen der oben beschriebenen Ausführungsformen weggelassen werden. Weiterhin kann mindestens ein Teil der Konfiguration einer jeweiligen oben beschriebenen Ausführungsform durch eine Konfiguration einer anderen oben beschriebenen Ausführungsform ergänzt oder ersetzt werden. Sämtliche Aspekte, die in dem technischen Konzept enthalten sind, das in den Ansprüchen angegeben ist, sind Ausführungsformen gemäß der vorliegenden Erfindung.
  • Die Technik gemäß der vorliegenden Erfindung kann in verschiedener Form realisiert werden, d.h. als ein System, das die oben beschriebene Anzeigesteuerungsvorrichtung 9 als ein Element aufweist, ein Programm zum Bewirken, dass ein Computer als Anzeigesteuerungsvorrichtung 9 dient, ein Aufzeichnungsmedium wie beispielsweise ein Halbleiterspeicher, in dem dieses Programm aufgezeichnet ist, ein Anzeigesteuerungsverfahren und Ähnliches.
  • In der oben beschriebenen Ausführungsform wurde ein Beispiel beschrieben, bei dem ein aufgenommenes Vogelperspektivenbild aus Bildern erzeugt wird, die von vier Kameras 2 bis 5 aufgenommen werden. Die Technik gemäß der vorliegenden Erfindung ist nicht darauf beschränkt, und es ist eine Konfiguration möglich, bei der ein Vogelperspektivenbild auf der Grundlage von Bildern erzeugt werden kann, die mit weniger oder mehr als vier Kameras aufgenommen werden.
  • In der oben beschriebenen Ausführungsform wurde ein Beispiel beschrieben, bei dem in dem Anzeigesteuerungsprozess der Prozess in S110 zum Bestimmen, ob ein Vergangenheitsbild einer Aktualisierungsposition erreicht hat, und der Prozess in S112 zum Bestimmen, ob die Vergangenheitsbildaktualisierungszeit erreicht wurde, durchgeführt werden. Die vorliegende Erfindung ist nicht darauf beschränkt, und es ist eine Konfiguration möglich, bei der nur einer der Prozesse von S110 und S112 durchgeführt wird.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2016202516 [0001]
    • JP 2004336613 A [0005]

Claims (4)

  1. Anzeigesteuerungsvorrichtung, die aufweist: eine Aufnahmebilderlangungseinheit (21), die ausgelegt ist, aufgenommene Bilder periodisch zu erlangen, die Bilder sind, die von einem vorbestimmten Abbildungsbereich in der Umgebung eines Fahrzeugs von einer oder mehreren Kameras (2 bis 5) aufgenommen werden, die an einem Fahrzeug montiert sind (S100); eine Vogelperspektivenumwandlungseinheit (23), die ausgelegt ist, mittels Durchführung einer Vogelperspektivenumwandlung von aufgenommenen Bildern, die periodisch von der Aufnahmebilderlangungseinheit erlangt werden, aufeinanderfolgend aufgenommene Vogelperspektivenbilder zu erzeugen, die Vogelperspektivenansichten der Umgebung des Fahrzeugs sind (S102); eine Vergangenheitsbilderlangungseinheit (35), die ausgelegt ist, ein Vergangenheitsbild , das ein Vogelperspektivenbild ist, das einem vorbestimmten Bereich auf der Vorderseite in der Fahrtrichtung des Fahrzeugs entspricht, aus den aufgenommenen Bildern, die von der Aufnahmebilderlangungseinheit erlangt werden, zu einem jeweiligen Zeitpunkt, der entsprechend einer vorbestimmten Bedingung bestimmt wird, zu erlangen(S110 bis S114); eine Vergangenheitsbildspeichereinheit (43), die ausgelegt ist, mindestens ein Vergangenheitsbild zu speichern, das von der Vergangenheitsbilderlangungseinheit erlangt wird; eine Bewegungsgrößenberechnungseinheit (25), die ausgelegt ist, eine Bewegungsgröße des Fahrzeugs auf der Grundlage von Informationen zu berechnen, die ein Verhalten des Fahrzeugs repräsentieren (S104); eine Anzeigebilderzeugungseinheit (29), die ausgelegt ist, ein Anzeigevogelperspektivenbild als ein Vogelperspektivenbild für eine Anzeige durch Extrahieren eines Bereichs, der einem Nicht-Abbildungsbereich entspricht, der einem Bereich entspricht, der nicht in dem Abbildungsbereich der Kameras in dem zuletzt aufgenommenen Vogelperspektivenbild enthalten ist, aus den Vergangenheitsbildern, die in der Vergangenheitsbilderspeichereinheit für den Nicht-Abbildungsbereich gespeichert wurden, auf der Grundlage der Bewegungsgröße, die von der Bewegungsgrößenberechnungseinheit berechnet wird, und durch Kombinieren des extrahierten Bereichs mit dem Nicht-Abbildungsbereich zu erzeugen (S116); eine Anzeigeverarbeitungseinheit (31), die ausgelegt ist, das Anzeigevogelperspektivenbild, das von der Anzeigebilderzeugungseinheit erzeugt wird, auf einer Anzeigevorrichtung anzuzeigen, die in dem Fahrzeug angeordnet ist (S118); und eine Bestimmungseinheit (33), die ausgelegt ist, auf der Grundlage von Zustandsinformationen, die einen Zustand des Fahrzeugs repräsentieren, zu bestimmen, ob ein Verhalten des Fahrzeugs einem speziellen instabilen Zustand entspricht (S108); wobei bei einer Bedingung, von der von der Bestimmungseinheit bestimmt wird, dass sie nicht dem instabilen Zustand entspricht, die Vergangenheitsbilderlangungseinheit ausgelegt ist, das Vergangenheitsbild aus dem zuletzt aufgenommenen Vogelperspektivenbild zu einem jeweiligen vorbestimmten ersten Zyklus zu erlangen, der einem Zyklus entspricht, während dem aufgenommene Bilder von den Kameras aufgenommen werden, und bei einer Bedingung, von der von der Bestimmungseinheit bestimmt wird, dass sie dem instabilen Zustand entspricht, die Vergangenheitsbilderlangungseinheit ausgelegt ist, das Vergangenheitsbild aus dem zuletzt aufgenommenen Vogelperspektivenbild zu einem späteren Zeitpunkt als zu dem ersten Zyklus zu erlangen.
  2. Anzeigesteuerungsvorrichtung nach Anspruch 1, wobei bei einer Bedingung, von der von der Bestimmungseinheit bestimmt wird, dass sie dem instabilen Zustand entspricht, die Vergangenheitsbilderlangungseinheit ausgelegt ist, den nächsten Vergangenheitsbereich aus dem zuletzt aufgenommenen Vogelperspektivenbild zu erlangen, wenn ein Abbildungsbereich, in dem das letzte Vergangenheitsbild, das in dem Vergangenheitsbildspeicherabschnitt gespeichert ist, erscheint, eine vorbestimmte Aktualisierungsposition in Bezug auf den Nicht-Abbildungsbereich in dem aufgenommenen Vogelperspektivenbild erreicht, wenn sich das Fahrzeug bewegt hat.
  3. Anzeigesteuerungsvorrichtung nach Anspruch 1 oder 2, wobei bei einer Bedingung, von der von der Bestimmungseinheit bestimmt wird, dass sie dem instabilen Zustand entspricht, die Vergangenheitsbilderlangungseinheit ausgelegt ist, den nächsten Vergangenheitsbereich aus dem zuletzt aufgenommenen Vogelperspektivenbild zu erlangen, wenn eine vorbestimmte Aktualisierungszeit, die länger als der erste Zyklus ist, seit dem Zeitpunkt der Erlangung des letzten Vergangenheitsbildes verstrichen ist.
  4. Anzeigesteuerungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Bestimmungseinheit ausgelegt ist, zu bestimmen, dass ein Zustand dem instabilen Zustand entspricht, wenn eine Straße, auf der das Fahrzeug fährt, eine schlechte Straße ist, oder wenn ein Rutschen des Fahrzeugs erfasst wird.
DE112017005211.4T 2016-10-14 2017-10-05 Anzeigesteuerungsvorrichtung Pending DE112017005211T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016202516A JP6572862B2 (ja) 2016-10-14 2016-10-14 表示制御装置
JP2016-202516 2016-10-14
PCT/JP2017/036307 WO2018070338A1 (ja) 2016-10-14 2017-10-05 表示制御装置

Publications (1)

Publication Number Publication Date
DE112017005211T5 true DE112017005211T5 (de) 2019-07-11

Family

ID=61905704

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017005211.4T Pending DE112017005211T5 (de) 2016-10-14 2017-10-05 Anzeigesteuerungsvorrichtung

Country Status (4)

Country Link
US (1) US10873725B2 (de)
JP (1) JP6572862B2 (de)
DE (1) DE112017005211T5 (de)
WO (1) WO2018070338A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220105187A (ko) * 2021-01-18 2022-07-27 현대자동차주식회사 차량의 탑뷰 영상 표시 방법 및 그 표시 장치
JP2024010758A (ja) * 2022-07-13 2024-01-25 パナソニックIpマネジメント株式会社 表示処理装置、表示処理方法、及び表示処理プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336613A (ja) 2003-05-12 2004-11-25 Denso Corp 車両周辺表示装置、および車両周辺表示プログラム
JP2016202516A (ja) 2015-04-21 2016-12-08 学校法人 関西大学 心容積及び心拍出量の推定装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4724522B2 (ja) 2004-10-28 2011-07-13 株式会社デンソー 車両周囲視界支援システム
JP2006341641A (ja) 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4650142B2 (ja) * 2005-07-25 2011-03-16 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP5068779B2 (ja) 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
EP2680247B1 (de) * 2011-02-21 2018-12-26 Nissan Motor Co., Ltd Vorrichtung für regelmässige stationäre objekterkennung und verfahren für regelmässige stationäre objekterkennung
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
EP2927863B1 (de) * 2012-11-27 2020-03-04 Clarion Co., Ltd. Fahrzeugmontierte bildverarbeitungsvorrichtung
JP6024581B2 (ja) * 2013-04-15 2016-11-16 株式会社デンソー 車両用画像処理装置
JP6260891B2 (ja) * 2013-08-08 2018-01-17 パナソニックIpマネジメント株式会社 画像処理装置および画像処理方法
RU2618514C1 (ru) * 2013-09-30 2017-05-04 Ниссан Мотор Ко., Лтд. Устройство беспроводной подачи энергии и устройство помощи при парковке
JP6330383B2 (ja) * 2014-03-12 2018-05-30 株式会社デンソー 合成画像生成装置、および合成画像生成プログラム
US20160150189A1 (en) * 2014-11-20 2016-05-26 Caterpillar Inc. Image processing system and method
US10282074B2 (en) 2017-03-10 2019-05-07 GM Global Technology Operations LLC Method and apparatus for enhancing top view image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336613A (ja) 2003-05-12 2004-11-25 Denso Corp 車両周辺表示装置、および車両周辺表示プログラム
JP2016202516A (ja) 2015-04-21 2016-12-08 学校法人 関西大学 心容積及び心拍出量の推定装置

Also Published As

Publication number Publication date
JP6572862B2 (ja) 2019-09-11
JP2018064229A (ja) 2018-04-19
WO2018070338A1 (ja) 2018-04-19
US10873725B2 (en) 2020-12-22
US20190246068A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE112017006840B4 (de) Informationsverarbeitungsprogramm, Informationsverarbeitungsverfahren und Informationsverarbeitungsvorrichtung
DE112017001410T5 (de) Informationsverarbeitungsvorrichtung
DE102016208056A1 (de) Verfahren und Vorrichtung zur Verarbeitung von Bilddaten und Fahrerassistenzsystem für ein Fahrzeug
DE112018007485T5 (de) Straßenoberflächen-Detektionsvorrichtung, Bildanzeige-Vorrichtung unter Verwendung einer Straßenoberflächen-Detektionsvorrichtung, Hindernis-Detektionsvorrichtung unter Nutzung einer Straßenoberflächen-Detektionsvorrichtung, Straßenoberflächen-Detektionsverfahren, Bildanzeige-Verfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, und Hindernis-Detektionsverfahren unter Nutzung eines Straßenoberflächen-Detektionsverfahrens
DE102018212655A1 (de) Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern
DE112016000689T5 (de) Kameraparametereinstellvorrichtung
EP2387017B1 (de) Verfahren und Vorrichtung zur Erfassung von Verkehrsdaten aus digitalen Luftbildsequenzen
DE102015003666A1 (de) Verfahren zur Verarbeitung von erfassten Messdaten eines Sensors
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
DE102021110477A1 (de) Dynamische anpassung eines bildes mit erweiterter realität
DE112017005211T5 (de) Anzeigesteuerungsvorrichtung
DE112015004341B4 (de) Fahrzeug-bildverarbeitungsvorrichtung
DE102015211871A1 (de) Objekterkennungsvorrichtung
DE102016114693A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102011118171A1 (de) Verfahren und Vorrichtung zur Schätzung einer Fahrbahnebene und zur Klassifikation von 3D-Punkten
DE102009052868A1 (de) Verfahren zum Betrieb eines Fahrassistenzsystems eines Fahrzeugs
DE102018214874B3 (de) Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung
DE10137582A1 (de) Bildverarbeitungsvorrichtung für ein Fahrzeug
DE102019218479A1 (de) Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs
WO2014146864A1 (de) Verfahren und vorrichtung zum erstellen einer aufnahme eines gepulst aufleuchtenden objekts
DE102018209898A1 (de) Verfahren zur Bestimmung von zueinander korrespondierenden Bildpunkten, SoC zur Durchführung des Verfahrens, Kamerasystem mit dem SoC, Steuergerät und Fahrzeug
DE112016001238B4 (de) Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung und fahrzeugumgebungsbildanzeigesteuerungsprogramm
DE112015005753B4 (de) Bildverarbeitungssystem und Vorrichtung davon
DE112020003788T5 (de) Peripheres-Video-Erzeugungsvorrichtung, Verfahren zur Erzeugung peripherer Videos, und Programm

Legal Events

Date Code Title Description
R012 Request for examination validly filed