DE112010005565T5 - Einparkunterstützungsvorrichtung, Einparkunterstützungssystem und Einparkunterstützungskameraeinheit - Google Patents

Einparkunterstützungsvorrichtung, Einparkunterstützungssystem und Einparkunterstützungskameraeinheit Download PDF

Info

Publication number
DE112010005565T5
DE112010005565T5 DE112010005565T DE112010005565T DE112010005565T5 DE 112010005565 T5 DE112010005565 T5 DE 112010005565T5 DE 112010005565 T DE112010005565 T DE 112010005565T DE 112010005565 T DE112010005565 T DE 112010005565T DE 112010005565 T5 DE112010005565 T5 DE 112010005565T5
Authority
DE
Germany
Prior art keywords
image
information
camera
vehicle
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112010005565T
Other languages
English (en)
Inventor
Tatsuya Mitsugi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE112010005565T5 publication Critical patent/DE112010005565T5/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Es ist eine Aufgabe, eine Einparkunterstützungsvorrichtung bereitzustellen, die fähig ist zum leichten Erzeugen eines Führungslinienbildes, das Führungslinien zeigt, die als Ziele verwendet werden, wenn ein Fahrzeug eingeparkt wird. Auf der Grundlage der Führungslinienintervall-Information über Intervalle zwischen Führungslinien und einer Anbringungsinformation, die eine Anbringungsposition und -winkel einer Kamera bezüglich eines Fahrzeugs angibt, erzeugt die Einparkunterstützungsvorrichtung eine Führungslinieninformation über Positionen der Führungslinien, die auf der Einparkebene gesetzt sind, in einem Kamerabild, und zeigt ein Bild an, in dem die Führungslinien auf der Einparkebene gesetzt sind, auf der Grundlage eines Führungslinienbildes, das aus der Führungslinieninformation und einem Kamerabild erzeugt worden ist.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft eine Einparkunterstützungsvorrichtung, die einen Fahrer unterstützt, wenn er ein Fahrzeug einparkt, um das Fahrzeug auf einen markierten Parkplatz (Engl.: parking stall) hinter dem Fahrzeug zu bewegen und einzuparken, indem dem Fahrer eine visuelle Bestätigung einer Umgebung hinter dem Fahrzeug ermöglicht wird.
  • Hintergrundtechnik
  • Eine Einparkunterstützungsvorrichtung erfasst ein Bild einer Parkebene (Engl.: parking plane) hinter einem Fahrzeug mit Verwendung einer an dem Fahrzeug angebrachten Kamera und zeigt auf der Grundlage des erfassten Kamerabildes ein Bild an, in dem Führungslinien, die als Führung zu einer Einparkposition dienen, wenn ein Fahrer des Fahrzeugs das Fahrzeug einparkt, auf der Parkebene gesetzt sind. Solch eine Anzeige wird erreicht durch Anzeigen einer Überlagerung bzw. Einblendung eines Führungslinienbildes, das die Führungslinien auf dem Kamerabild zeigt. In der verwandten Technik wird das Führungslinienbild vorbereitend erzeugt durch Erfassen eines Bildes einer Parkebene mit einer Kamera eines Fahrzeugs, das in einem vorbestimmten Referenzzustand bezüglich der Parkebene geparkt ist, und Setzen von Führungslinien für/auf das erfasste Referenzkamerabild. Die Einparkunterstützungsvorrichtung unterstützt den Fahrer beim Einparken des Fahrzeugs durch Anzeigen einer Überlagerung des vorbereitend erzeugten Führungslinienbildes auf dem Kamerabild. Selbst mit dem auf diese Weise erzeugten Führungslinienbild scheitert die Einparkunterstützungsvorrichtung jedoch, die Führungslinien bei zweckgemäßen Positionen in einem Fall anzuzeigen, wo ein Anbringungsfehler auftritt, wenn die Kamera tatsächlich an dem Fahrzeug angebracht wird. Zur Überwindung dieser Unannehmlichkeit gibt es eine Vorrichtung, die ausgestaltet ist zum Korrigieren des Anbringungsfehlers mit Verwendung des Führungslinienbildes (Patentdokument 1).
  • Zitierungsliste
  • Patentdokument
    • Patentdokument 1: JP-A-2007-158695
  • Inhaltsangabe der Erfindung
  • Von der Erfindung zu lösende Probleme
  • Um das Referenzkamerabild zu erfassen, ist es jedoch erforderlich, ein Fahrzeug zuerst exakt in dem Referenzzustand zu parken und dann die Kamera genau bei einer vorbestimmten Anbringungsposition und mit einem vorbestimmten Winkel anzubringen, die beide für Fahrzeuge typweise bestimmt werden. Weil ein Kamerabild verzerrt wird, um ein Bild in einem breiteren Bereich zu erfassen, wird außerdem das Führungslinienbild manuell gezeichnet, um das Führungslinienbild an eine Verzerrung des Kamerabildes anzupassen. Demgemäß nimmt es Zeit in Anspruch, das Führungslinienbild zu erzeugen, und diese Erzeugungsarbeit wird eine Belastung für Hersteller der Einparkunterstützungsvorrichtung.
  • Unter diesen Umständen hat die Erfindung eine Aufgabe, eine Einparkunterstützungsvorrichtung bereitzustellen, die fähig ist zum leichten Erzeugen eines Führungslinienbildes.
  • Mittel zum Lösen der Probleme
  • Eine Einparkunterstützungsvorrichtung der Erfindung ist eine Einparkunterstützungsvorrichtung, die mit einer Kamera verbunden ist, die an einem Fahrzeug angebracht ist und ein Bild einer Parkebene hinter dem Fahrzeug erfasst, und auf einer Anzeigevorrichtung ein Bild anzeigt, in dem Führungslinien, die als ein Ziel verwendet werden, wenn das Fahrzeug geparkt ist/wird, auf der Parkebene gesetzt sind, auf der Grundlage eines von der Kamera erfassten Kamerabildes. Die Einparkunterstützungsvorrichtung enthält: einen Informationsspeicherabschnitt, der eine Führungslinienintervall-Information über Intervalle zwischen den Führungslinien und eine Anbringungsinformation speichert, die eine Anbringungsposition und einen Anbringungswinkel der Kamera bezüglich des Fahrzeugs angibt; einen Führungslinieninformation-Erzeugungsabschnitt, der eine Führungslinieninformation über Positionen der Führungslinien, die auf der Parkebene gesetzt sind, in dem Kamerabild auf der Grundlage der Führungslinienintervall-Information und der Anbringungsinformation erzeugt; einen Führungslinienbild-Erzeugungsabschnitt, der ein Führungslinienbild, das die Führungslinien darstellt, auf der Grundlage der Führungslinieninformation erzeugt; und einen Bildausgabeabschnitt, der an die Anzeigevorrichtung ein Bild ausgibt, in dem die Führungslinien auf der Parkebene gesetzt sind, auf der Grundlage des Führungslinienbildes und des Kamerabildes.
  • Vorteil der Erfindung
  • Gemäß der Erfindung wird es möglich, leicht ein Führungslinienbild zu erzeugen.
  • Kurze Beschreibung der Zeichnungen
  • 1 ist ein Blockdiagramm, das eine Ausgestaltung eines Einparkunterstützungssystems einer ersten Ausführungsform zeigt.
  • 2 ist ein Blockdiagramm, das eine Ausgestaltung eines Führungslinien-Berechnungsabschnitts des Einparkunterstützungssystems der ersten Ausführungsform zeigt.
  • 3 zeigt ein Beispiel von Führungslinien auf einem tatsächlichen Freiraum, die in einem Führungslinien-Erzeugungsabschnitt des Einparkunterstützungssystems der ersten Ausführungsform berechnet worden sind.
  • 4 ist ein Blockdiagramm, das eine Ausgestaltung eines Kamerabild-Korrekturabschnitts des Einparkunterstützungssystems der ersten Ausführungsform zeigt.
  • 5 zeigt ein Beispiel eines Führungslinienbildes, das unter einer ersten Anzeigebedingung in dem Einparkunterstützungssystem der ersten Ausführungsform angezeigt wird.
  • 6 zeigt ein Beispiel eines Führungslinienbildes, das unter einer zweiten Anzeigebedingung in dem Einparkunterstützungssystem der ersten Ausführungsform angezeigt wird.
  • 7 zeigt ein Beispiel eines Führungslinienbildes, das unter einer dritten Anzeigebedingung in dem Einparkunterstützungssystem der ersten Ausführungsform angezeigt wird.
  • 8 ist ein Blockdiagramm, das eine Ausgestaltung eines Einparkunterstützungssystems einer zweiten Ausführungsform zeigt.
  • 9 ist ein Blockdiagramm, das eine Ausgestaltung eines Einparkunterstützungssystems einer dritten Ausführungsform zeigt.
  • 10 ist ein Blockdiagramm, das eine Ausgestaltung eines Einparkunterstützungssystems einer vierten Ausführungsform zeigt.
  • 11 ist ein Blockdiagramm, das eine Ausgestaltung eines Einparkunterstützungssystems einer fünften Ausführungsform zeigt.
  • 12 ist ein Blockdiagramm, das eine Ausgestaltung eines Einparkunterstützungssystems einer sechsten Ausführungsform zeigt.
  • 13 ist ein Blockdiagramm, das eine Ausgestaltung eines Einparkunterstützungssystems einer siebten Ausführungsform zeigt.
  • Modus zum Ausführen der Erfindung
  • Erste Ausführungsform
  • 1 ist ein Blockdiagramm, das eine Ausgestaltung eines Einparkunterstützungssystems einer ersten Ausführungsform zeigt. Mit Verweis auf 1 enthält das Einparkunterstützungssystem eine Hauptrechnereinheit 1, die eine Einparkunterstützungsvorrichtung ist, und eine mit der Hauptrechnereinheit 1 verbundene Kameraeinheit 2. Eine Elektroniksteuereinheit 3 ist eine ECU (Electric Control Unit), die im Allgemeinen in einem Fahrzeug installiert ist zum Steuern elektronischer Komponenten des Fahrzeugs mit Verwendung eines elektronischen Schaltkreises, und dient als eine Fahrzeuginformation-Ausgabevorrichtung, die eine Fahrzeuginformation erfasst und die Fahrzeuginformation an die Hauptrechnereinheit 1 ausgibt. Im Besonderen dient die Fahrzeuginformation-Ausgabevorrichtung dieser Ausführungsform als eine Schaltungspositionsinformation-Ausgabevorrichtung und gibt an die Hauptrechnereinheit 1 eine Schaltungspositionsinformation aus, die einen Zustand eines Getriebes eines Fahrzeugs angibt, der in Ansprechen auf eine Bedienung durch einen Fahrer variiert. Fahrzeugnavigationsvorrichtungen, die eine Route zu einem Bestimmungsort zeigen, sind häufig in Automobilen installiert. Es gibt in Fahrzeugen vorinstallierte Fahrzeugnavigationsvorrichtungen und Fahrzeugnavigationsvorrichtungen, die getrennt vom Fahrzeug verkauft und später an dem Fahrzeug angebracht werden. Für an Fahrzeugen anzubringende kommerziell verfügbare Fahrzeugnavigationsvorrichtungen ist die ECU mit einem Anschluss versehen, von dem die Schaltungspositionsinformation ausgegeben wird. Daher wird es in dem Einparkunterstützungssystem dieser Ausführungsform möglich, die Schaltungspositionsinformation zu akquirieren durch Verbinden der Hauptrechnereinheit 1 mit diesem Ausgabeanschluss. Die Hauptrechnereinheit 1 kann integral mit der Fahrzeugnavigationsvorrichtung oder in der Form einer separaten Vorrichtung bereitgestellt sein.
  • Die Hauptrechnereinheit 1 enthält einen Schaltungspositions-Erfassungsabschnitt 10, der einen Zustand des Getriebes des Fahrzeugs auf der Grundlage der von der Elektroniksteuereinheit 3 ausgegebenen Schaltungspositionsinformation erfasst, einen Informationsspeicherabschnitt 11, der eine Information gespeichert hat, die zum Berechnen unten beschriebener Führungslinien verwendet wird, einen Anzeigebedingungs-Speicherabschnitt 12, der eine Anzeigebedingungsinformation speichert, auf deren Grundlage bestimmt wird, auf welche Weise ein unten beschriebenes Linienbild und ein Kamerabild auf einem Anzeigeabschnitt 8 angezeigt werden, einen Führungslinien-Berechnungsabschnitt 13 (Führungslinieninformation-Erzeugungsabschnitt), der eine Führungslinieninformation berechnet, die eine Information über Zeichnungspositionen von Führungslinien ist, wenn angezeigt auf dem unten beschriebenen Anzeigeabschnitt 18, d. h. Positionen und Formen der Führungslinien in einem von der Kamera erfassten Kamerabild, auf der Grundlage der in dem Informationsspeicherabschnitt 11 gespeicherten Information und der in dem Anzeigebedingungs-Speicherabschnitt 12 gespeicherten Anzeigebedingungsinformation, einen Linienzeichnungsabschnitt 14 (Führungslinienbild-Erzeugungsabschnitt), der ein Führungslinienbild erzeugt, in dem die Führungslinien gezeichnet sind, auf der Grundlage der in dem Führungslinien-Berechnungsabschnitt 13 berechneten Führungslinieninformation, einen Kamerabild-Empfangsabschnitt 15, der ein von der Kameraeinheit 2 übertragenes Kamerabild empfängt, einen Kamerabild-Korrekturabschnitt 16, der das in dem Kamerabild-Empfangsbschnitt 15 empfangene Kamerabild auf der Grundlage der in dem Informationsspeicherabschnitt 11 gespeicherten Information und der in dem Anzeigebedingungs-Speicherabschnitt 12 gespeicherten Anzeigebedingungsinformation korrigiert, einen Bildüberlagerungsabschnitt 17, der das von dem Linienzeichnungsabschnitt 14 ausgegebene Führungslinienbild und ein von dem Kamerabild-Korrekturabschnitt 16 ausgegebenes korrigiertes Kamerabild zu Bildern in unterschiedlichen Schichten setzt und dadurch das Führungslinienbild und das korrigierte Kamerabild überlagert, und den Anzeigeabschnitt 18 (z. B. ein Im-Fahrzeug-Monitor), der das Führungslinienbild und das korrigierte Kamerabild in unterschiedlichen Schichten, die von dem Bildüberlagerungsabschnitt 17 ausgegeben worden sind, in ein Bild kombiniert und das resultierende Verbundbild darauf anzeigt. Die Kameraeinheit 2 hat eine (nicht gezeigte) Kamera als einen Abbildungsabschnitt, der ein Bild einer Umgebung um (besonders hinter) dem Fahrzeug erfasst, und überträgt ein durch die Kamera erfasstes Kamerabild an die Hauptrechnereinheit 1 auf die Eingabe der Schaltungspositionsinformation, die informiert, dass das Getriebe des Fahrzeugs in einem Rückwärtsgang-(rückwärts)Zustand ist, von dem Schaltungspositions-Erfassungsabschnitt 10 in der Hauptrechnereinheit 1. Der Kamerabild-Korrekturabschnitt 16 und der Bildüberlagerungsabschnitt 17 bilden zusammen einen Bildausgabeabschnitt. Dank der Ausgestaltung wie oben wird ein Bild, in dem das in dem Linienzeichnungsabschnitt 14 erzeugte Führungslinienbild dem von der Kameraeinheit 2 übertragenen Kamerabild überlagert wird, auf dem Anzeigeabschnitt 18 angezeigt. Durch Bestätigung dieses Bildes wird der Fahrer des Fahrzeugs daher fähig, das Fahrzeug mit Verwendung der Führungslinien als ein Ziel einzuparken, während der visuellen Bestätigung der Umgebung hinter und um das Fahrzeug, das er fährt. Hier werden im Nachfolgenden jeweilige Komponenten, die das Einparkunterstützungssystem bilden, im Detail beschrieben werden.
  • Mit Verweis auf 1 speichert der Informationsspeicherabschnitt 11 eine Führungslinien-Berechnungsinformation, die zum Berechnen der unten beschriebenen Führungslinien verwendet wird, genauer genommen eine Anbringungsinformation, Feldwinkelinformation, Projektionsinformation, Blickpunktinformation, Linsenverzerrungsinformation, Parkbreiteinformation, Fahrzeugbreiteinformation, Distanzinformation über eine sichere Distanz, eine Vorsichtsdistanz und eine Warnungsdistanz von einem hinteren Ende des Fahrzeug. Die Anbringungsinformation ist eine Information, die die Weise angibt, auf die die Kamera an dem Fahrzeug angebracht ist, d. h. eine Anbringungsposition und ein Anbringungswinkel. Die Feldwinkelinformation ist eine Winkelinformation, die einen Bereich eines Subjektes angibt, das durch die Kamera der Kameraeinheit 2 erfasst worden ist, und außerdem eine Anzeigeinformation, die einen Anzeigebereich angibt, wenn ein Bild auf dem Anzeigeabschnitt 18 angezeigt wird. Die Winkelinformation enthält einen maximalen Horizontalfeldwinkel Xa und einen maximalen Vertikalfeldwinkel Ya oder einen Diagonalfeldwinkel der Kamera. Die Anzeigeinformation enthält eine maximale horizontale Zeichnungspixelgröße Xp und eine maximale vertikale Zeichnungspixelgröße Yp des Anzeigeabschnitts 18. Die Projektionsinformation ist eine Information, die ein Projektionsverfahren einer Linse angibt, das in der Kamera der Kameraeinheit 2 verwendet wird. In dieser Ausführungsform wird eine Fischaugenlinse als die Linse der Kamera verwendet. Infolge dessen wird irgendeine von einer stereographischen Projektion, äquidistanten Projektion, Äqui-Raumwinkel-Projektion und orthogonaler Projektion als ein Wert der Projektionsinformation verwendet. Die Blickpunktinformation ist eine Information über eine unterschiedliche Position, bei der angenommen wird, dass die Kamera dort vorhanden ist. Die Linsenverzerrungsinformation ist eine Information über Eigenschaften der Linse mit Bezug zu einer durch die Linse verursachten Bildverzerrung. Die Projektionsinformation, die Linsenverzerrungsinformation und die Blickpunktinformation bilden zusammen eine unten beschriebene Kamerakorrekturinformation. Die Parkbreiteinformation ist eine Information, die eine Parkbreite (z. B. eine Breite eines markierten Parkplatzes) angibt, die gefunden wird durch Addieren einer vorbestimmten Breitenreserve zu einer Breite des Fahrzeugs. Die Distanzinformation über eine sichere Distanz, eine Vorsichtsdistanz und eine Warnungsdistanz von dem hinteren Ende des Fahrzeugs gibt eine Distanz nach hinten von dem hinteren Ende des Fahrzeugs an und gibt eine ungefähre Distanz zu der Rückseite des Fahrzeugs an, die beispielsweise wie folgt gesetzt wird: die sichere Distanz ist 1 m von dem hinteren Ende des Fahrzeugs, die Vorsichtsdistanz ist 50 cm, und die Warnungsdistanz ist 10 cm. Der Fahrer wird fähig, eine ungefähre Distanz von dem hinteren Ende des Fahrzeugs zu einem Hindernis zu verstehen, das hinter dem Fahrzeug angezeigt wird, unter Bezugnahme auf die Führungslinien, die bei der sicheren Distanz, der Vorsichtsdistanz und der Warnungsdistanz von dem hinteren Ende des Fahrzeugs gezeichnet sind. Es sollte beachtet werden, dass die Parkbreiteinformation, die Fahrzeugbreiteinformation und die Distanzinformation über die sichere Distanz, die Vorsichtsdistanz und die Warnungsdistanz von dem hinteren Ende des Fahrzeugs eine Führungslinienintervall-Information über Intervalle zwischen den Führungslinien sind, die in dem Führungslinienbild gesetzt und gezeichnet sind.
  • 2 ist ein Blockdiagramm, das eine Ausgestaltung des Führungslinien-Berechnungsabschnitts 13 zeigt. Der Führungslinie-Berechnungsabschnitt 13 enthält einen Führungslinien-Erzeugungsabschnitt 131, einen Linsenverzerrungsfunktion-Berechnungsabschnitt 132, einen Projektionsfunktion-Berechnungsabschnitt 133, einen Projektionsebene-Transformationsfunktion-Berechnungsabschnitt 134, einen Blickpunkt-Transformationsfunktion-Berechnungsabschnitt 135 und einen Videoausgabe-Transformationsfunktion-Berechnungsabschnitt 136. Der Linsenverzerrungsfunktion-Berechnungsabschnitt 132, der Projektionsfunktion-Berechnungsabschnitt 133 und der Blickpunkt-Transformationsfunktion-Berechnungsabschnitt 135 werden in manchen Fällen in Abhängigkeit von der Anzeigebedingungsinformation nicht betrieben. Zur Erleichterung des Verständnisses wird demgemäß zuerst eine Beschreibung eines Falles gegeben werden, wo sämtliche dieser Komponenten arbeiten.
  • Der Führungslinien-Erzeugungsabschnitt 131 setzt gewissermaßen/virtuell Führungslinien auf der Parkebene, die eine Ebene bei einer Position hinter dem Fahrzeug ist, bei der das Fahrzeug geparkt werden soll, auf der Grundlage der Parkbreiteinformation und der Fahrzeugbreiteinformation, die von dem Informationsspeicherabschnitt 11 akquiriert worden sind, auf eine Eingabe der Schaltungspositionsinformation, die mitteilt, dass das Getriebe des Fahrzeugs in einem Rückwärtsgang-(rückwärts)Zustand ist, von dem Schaltungsposition-Erfassungsabschnitt 10. 3 zeigt ein Beispiel der Führungslinien auf einem tatsächlichen Freiraum, die in dem Führungslinien-Erzeugungsabschnitt 131 berechnet werden. In 3 sind Linien L1 Führungslinien, die eine Breite eines markierten Parkplatzes angeben, sind Linien L2 Führungslinien, die eine Breite des Fahrzeugs angeben, und sind Linien L3 bis L5 Führungslinien, die Distanzen von dem hinteren Ende des Fahrzeugs angeben. Die Linie L3 gibt die Warnungsdistanz an, die Linie L4 gibt die Vorsichtsdistanz an, und die Linie L5 gibt die sichere Distanz an. Die Linien L1 und L2 starten von einer Seite näher zu dem Fahrzeug als die Linie L3 am nächsten zu dem Fahrzeug und haben eine Länge von mindestens ungefähr einer Länge des markierten Parkplatzes auf ein von dem Fahrzeug entfernteren Seite. Die Linien L3 bis L5 werden gezeichnet, um die Linien L2 auf den beiden Seiten zu verbinden. Eine Richtung D1 gibt eine Richtung an, in der das Fahrzeug auf den markieren Parkplatz kommt. Beide Führungslinien, die die Fahrzeugbreite und die Parkbreite angeben, werden hier angezeigt. Es sollte jedoch erkannt werden, dass die Führungslinien, die nur eine von der Fahrzeugbreite und der Parkbreite angeben, angezeigt werden können. Außerdem können die Führungslinien, die eine Distanz von dem hinteren Ende des Fahrzeugs angeben, zwei oder weniger oder vier oder mehr Linien sein. Beispielsweise kann eine Führungslinie bei einer Distanz so lang wie eine Länge des Fahrzeugs von irgendeiner der Linien L3 bis L5 angezeigt werden. Alternativ können entweder die Führungslinien parallel zu einer Bewegungsrichtung des Fahrzeugs (L1 und L2 in 3) oder die Führungslinien, die eine Distanz von dem hinteren Ende des Fahrzeugs allein angeben, angezeigt werden. Eine Anzeigeform (Farbe, Dicke, Linientypen) der Führungslinien parallel zu der Bewegungsrichtung des Fahrzeugs kann mit einer Distanz von dem hinteren Ende des Fahrzeugs variiert werden, oder eine Markierung, die eine vorbestimmte Distanz von dem hinteren Ende des Fahrzeugs angibt, kann auf diese Führungslinie gelegt werden. Eine Länge der Führungslinien, die eine Distanz von dem hinteren Ende des Fahrzeugs angibt/angeben, kann gleich der Parkbreite oder der Fahrzeugbreite oder irgendeine andere Länge sein. In einem Fall, wo diese Führungslinien in einer Länge so lang wie oder länger als die Parkbreite angezeigt werden, können diese Führungslinien angezeigt werden, so dass ein Abschnitt, der entweder einem oder beiden von der Fahrzeugbreite und der Parkbreite entspricht, unterschieden werden kann.
  • Der Führungslinien-Erzeugungsabschnitt 131 findet Koordinaten eines Startpunkt und eines Endpunktes jeder in 3 gezeigten Führungslinie und gibt diese aus. Die jeweiligen Funktionsberechnungsabschnitte in den späteren Stufen berechnen einen Wert einer Koordinate, der dieselben Auswirkungen wie die Auswirkungen ergibt, die sich ergeben, wenn ein Bild der Führungslinien von der Kamera erfasst wird für notwendige Punkte auf den jeweiligen Führungslinien. Auf der Grundlage der Führungslinieninformation als ein Ergebnis der Berechnungen wird ein Führungslinienbild in dem Linienzeichnungsabschnitt 14 erzeugt. Ein Bild, in dem das Führungslinienbild dem Kamerabild ohne Versatz überlagert wird, wird auf dem Anzeigeabschnitt 18 angezeigt. Zur Einfachheit der Beschreibung wird hier im Nachfolgenden eine Beschreibung für eine einzelne Koordinate P = (x, y) auf den Führungslinien gegeben werden, die virtuell auf der Parkebene hinter dem Fahrzeug gesetzt sind, in 3 beispielhaft gezeigt. Die Koordinate P kann zum Beispiel als eine Position auf orthogonalen Koordinaten definiert sein, deren Ursprung ein Punkt auf der Parkebene hinter dem Fahrzeug bei einer vorbestimmten Distanz von dem Fahrzeug ist.
  • Der Linsenverzerrungsfunktion-Berechnungsabschnitt 132 berechnet eine Linsenverzerrungsfunktion i(), die bestimmt worden ist auf der Grundlage der Linsenverzerrungsinformation, die von dem Informationsspeicherabschnitt 11 akquiriert worden ist, für die Koordinate P, die die Führungslinie angibt, die in dem Führungslinien-Erzeugungsabschnitt 131 berechnet worden ist, und transformiert dadurch die Koordinate P zu einer Koordinate i(P), die einer Linsenverzerrung unterzogen worden ist. Die Linsenverzerrungsfunktion i() ist eine Funktion, die eine Verzerrung ausdrückt, der das Kamerabild aufgrund einer Linsenform ausgesetzt ist, wenn ein Bild eines Subjektes durch die Kamera der Kameraeinheit 2 erfasst wird. Die Linsenverzerrungsfunktion i() kann beispielsweise aus einem Zhang-Modell mit Bezug zu einer Linsenverzerrung gefunden werden. In einem Zhang-Modell wird eine Linsenverzerrung durch eine radiale Verzerrung modelliert, und eine Berechnung wird wie folgt ausgeführt.
  • Es sei (u, v) eine durch eine Linsenverzerrung unbeeinflusste normalisierte Koordinate, und es sei (um, vm) eine durch eine Linsenverzerrung beeinflusste normalisierte Koordinate. Dann wird eine Beziehung wie folgt aufgebaut: um = u + u·(k1·r2 + k2·r4) vm = v + v·(k1·r2 + k2·r4) r2 = u2 + v2 wobei k1 und k2 Koeffizienten sind, wenn eine Linsenverzerrung in der Form einer radialen Verzerrung durch einen Polynomausdruck ausgedrückt wird, und jeder eine für die Linse eindeutige Konstante ist.
    die Koordinate P = (x, y) und die Koordinate i(P) = (xm, ym), die einer Linsenverzerrung unterzogen wurde, haben eine wie folgt ausgedrückte Beziehung: xm = x + (x – x0)·(k1·r2 + k2·r4) ym = y + (y – y0)·(k1·r2 + k2·r4) r2 = (x – x0)2 + (y – y0)2 wobei (x0, y0) ein Punkt auf der Parkebene entsprechend einem Hauptpunkt ist, der eine Mitte der radialen Verzerrung bei der durch eine Linsenverzerrung unbeeinflussten Koordinate ist. Hierbei wird (x0, y0) vorbereitend gefunden aus der Anbringungsinformation der Kameraeinheit 2. Für den Linsenverzerrungsfunktion-Berechnungsabschnitt 132 und den Projektionsfunktion-Berechnungsabschnitt 133 sei angenommen, dass eine optische Achse der Linse senkrecht zu der Parkebene ist und durch das oben beschriebene (x0, y0) passiert.
  • Der Projektionsfunktion-Berechnungsabschnitt 133 berechnet eine Funktion h() durch ein Projektionsverfahren, das auf der Grundlage der Projektionsinformation bestimmt worden ist, die von dem Informationsspeicherabschnitt 11 akquiriert worden ist, für die Koordinate i(P), die von dem Linsenverzerrungsfunktion-Berechnungsabschnitt 132 ausgegeben wird und deshalb einer Linsenverzerrung ausgesetzt war, wodurch die Koordinate i(P) zu einer Koordinate h(i(P)) transformiert wird, die durch das Projektionsverfahren beeinflusst ist (hier im Nachfolgenden als einer Projektionsverzerrung ausgesetzt/unterzogen gewesen bezeichnet). Die Funktion h() durch das Projektionsverfahren ist eine Funktion, die ausdrückt, wie weit von einer Mitte der Linse Licht, das auf die Linse bei einem Winkel θ einfällt, konvergiert. Mit der Funktion h() durch das Projektionsverfahren sei f eine Brennweite der Linse, sei θ ein Einfallswinkel des einfallenden Lichts, d. h. ein Halbfeldwinkel (Engl.: half field angle), und sei Y eine Bildhöhe (eine Distanz zwischen der Mitte der Linse und der Lichtkonvergierposition) in einem Abbildungsbereich der Kamera, dann wird die Bildhöhe Y für jedes Projektionsverfahren mit Berechnung einer der folgenden Gleichungen berechnet:
    Stereographische Projektion Y = 2·f·tan(θ/2)
    Äquidistanzprojektion Y = f·θ
    Äqui-Raumwinkel-Projektion Y = 2·f·sin(θ/2)
    Orthogonale Projektion Y = f·sinθ.
  • Der Projektionsfunktion-Berechnungsabschnitt 133 berechnet die Koordinate h(i(P)), die einer Projektionsverzerrung ausgesetzt war, durch Transformieren der Koordinate i(P), die von dem Linsenverzerrungsfunktion-Berechnungsabschnitt 132 ausgegeben wird und deshalb einer Linsenverzerrung ausgesetzt war, zu dem Einfallswinkel θ bezüglich der Linse, Berechnen der Bildhöhe Y durch Substituieren des Einfallswinkels θ in irgendeine der obigen Projektionsgleichungen, und durch Zurückbringen der Bildhöhe Y zu der Koordinate.
  • Der Projektionsebene-Transformationsfunktion-Berechnungsabschnitt 134 berechnet ferner eine Projektionsebene-Transformationsfunktion f(), die bestimmt worden ist auf der Grundlage der Anbringungsinformation, die aus dem Informationsspeicherabschnitt 11 akquiriert worden ist, für die Koordinate h(i(P)), die von dem Projektionsfunktion-Berechnungsabschnitt 133 ausgegeben wird und deshalb einer Projektionsverzerrung unterzogen worden ist, wodurch die Koordinate h(i(P)) zu einer Koordinate f(h(i(P))) transformiert wird, die der Projektionsebene-Transformation unterzogen worden ist. Die Projektionsebene-Transformation ist eine Transformation zum Hinzufügen von Einflüssen eines Anbringungszustands mit der Begründung, dass ein von der Kamera erfasstes Bild durch den Anbringungszustand, so wie die Anbringungsposition und -winkel der Kamera, beeinflusst wird. Durch diese Transformation werden die die Führungslinien darstellenden jeweiligen Koordinaten zu Koordinate transformiert, wie wenn durch die Kamera erfasst, die an dem Fahrzeug bei der durch die Anbringungsinformation spezifizierten Position angebracht ist. Die für die Projektionsebene-Transformationsfunktion f() verwendete Anbringungsinformation enthält eine Höhe L der Anbringungsposition der Kamera bezüglich der Parkebene, einen Anbringungsvertikalwinkel ϕ, der ein Winkel einer Neigung der optischen Achse der Kamera bezüglich einer vertikalen Linie ist, einen Anbringungshorizontalwinkel θ, der ein Winkel einer Neigung bezüglich einer Mittellinie ist, die längswärts von der Front zu der Rückseite des Fahrzeugs verläuft, und eine Distanz H von einer Mitte der Fahrzeugbreite. Die Projektionsebene-Transformationsfunktion f() wird durch eine geometrische Funktion mit Verwendung dieser Parameter ausgedrückt. Hierbei sei angenommen, dass die Kamera ordentlich angebracht ist, ohne einen Versatz in einer Richtung einer Kippdrehung zu verursachen, mit Verwendung der optischen Achse als die Drehachse.
  • Der Blickpunkt-Transformationsfunktion-Berechnungsabschnitt 135 berechnet ferner eine Blickpunkt-Transformationsfunktion j(), die bestimmt worden ist auf der Grundlage der Blickpunktinformation, die von dem Informationsspeicherabschnitt 11 akquiriert worden ist, für die Koordinate f(h(i(P))), die von dem Projektionsebene-Transformationsfunktion-Berechnungsabschnitt 134 ausgegeben wird und deshalb der Projektionsebene-Transformation ausgesetzt worden ist, wodurch die Koordinate f(h(i(P))) zu einer Koordinate j(f(h(i(P)))) transformiert wird, die der Blickpunkttransformation unterzogen worden ist. Ein Bild, das erhalten worden ist, wenn ein Subjekt durch eine Kamera erfasst wird, ist ein Bild des Subjektes, betrachtet von der Position, bei der die Kamera angebracht ist. Die Blickpunkttransformation transformiert dieses Bild zu einem Bild, wie wenn von einer Kamera erfasst, die bei einer unterschiedlichen Position vorhanden ist (z. B. eine Kamera, die virtuell bei einer vorbestimmten Höhenposition in der Parkebene hinter dem Fahrzeug gesetzt ist, um der Parkebene gegenüberzustehen), d. h. ein Bild von einem unterschiedlichen Blickpunkt. Die Blickpunkttransformation kann erzielt werden durch Hinzufügen einer Transformation eines Typs einer sogenannten affinen Transformation zu einem ursprünglichen Bild. Die affine Transformation ist eine Koordinatentransformation als eine Kombination einer Paralleltransformation und einer linearen Abbildung. Eine parallele Translation durch die affine Transformation entspricht einem Bewegen der Kamera von der durch die Anbringungsinformation spezifizierten Anbringungsposition zu der unterschiedlichen Position. Eine lineare Abbildung entspricht einem Drehen der Kamera von der durch die Kameraanbringungsinformation spezifizierten Richtung, um mit der Orientierung der Kamera übereinzustimmen, von der angenommen wird, dass sie bei der unterschiedlichen Position vorhanden ist. Es sollte beachtet werden, dass die in der Blickpunkttransformation verwendete Bildtransformation nicht auf die affine Transformation beschränkt ist, und andere Informationstypen können ebenso verwendet werden.
  • Der Videoausgabefunktion-Berechnungsabschnitt 136 berechnet ferner eine Videoausgabefunktion g(), die bestimmt worden ist auf der Grundlage der Feldwinkelinformation, die akquiriert worden ist von dem Informationsspeicherabschnitt 11, für die Koordinate j(f(h(i(P)))), die der Blickpunkttransformation unterzogen worden ist, und transformiert dadurch die Koordinate j(f(h(i(P)))) zu einer Videoausgabekoordinate g(j(f(h(i(P))))). Weil es üblich ist, dass eine Größe eines durch die Kamera erfassten Kamerabildes unterschiedlich ist von einer auf dem Anzeigeabschnitt 18 anzeigbaren Größe eines Bildes, wird das Kamerabild zu einer anzeigbaren Größe des Anzeigeabschnitts 18 verändert. Durch Anwenden einer Transformation äquivalent zum Ändern des Kamerabildes zu einer anzeigbaren Größe des Anzeigeabschnitts 18 zu der Koordinate j(f(h(i(P)))), die der Blickpunkttransformation in dem Videoausgabefunktion-Berechnungsabschnitt 136 unterzogen worden ist, kann das Kamerabild zur Skalierung geändert werden. Die Videoausgabe-Transformationsfunktion g() wird durch eine Abbildungsfunktion mit Verwendung des maximalen horizontalen Feldwinkels Xa und des maximalen vertikalen Feldwinkels Ya der Kamera und der maximalen horizontalen Zeichnungspixelgröße Xp und der maximalen vertikalen Zeichnungspixelgröße Yp in einer Videoausgabe ausgedrückt.
  • In der obigen Beschreibung werden die Linsenverzerrungsfunktion, die Projektionsfunktion, die Blickpunkt-Transformationsfunktion, die Projektionsebene-Transformatorsfunktion und die Videoausgabefunktion in dieser Reihenfolge für die jeweiligen Koordinaten berechnet, die die Führungslinien darstellen. Es sollte erkannt werden, dass jedoch die jeweiligen Funktionen nicht notwendigerweise in dieser Reihenfolge berechnet werden.
  • Die Projektionsebene-Transformationsfunktion f() in dem Projektionsebene-Transformationsfunktion-Berechnungsabschnitt 134 enthält einen Kamerafeldwinkel (der maximale horizontale Feldwinkel Xa und der maximale vertikale Feldwinkel Ya der Kamera) als die Information, die eine Größe des erfassten Kamerabildes angibt. Selbst in einem Fall, wo ein Teil des Kamerabildes, das in dem Kamerabild-Empfangsabschnitt 15 empfangen worden ist, extrahiert und angezeigt wird, wird es somit durch Ändern von Koeffizienten des Kamerafeldwinkels in der Projektionsebene-Transformationsfunktion f() möglich, die Führungslinien anzuzeigen, um den extrahierten Teil des Kamerabildes anzugleichen bzw. anzupassen.
  • 4 ist ein Blockdiagramm, das eine Ausgestaltung des Kamerabild-Korrekturabschnitts 16 zeigt. Der Kamerabild-Korrekturabschnitt 16 enthält einen Linsenverzerrungs-Umkehrfunktion-Berechnungsabschnitt 161, einen Projektionsverzerrungs-Umkehrfunktion-Berechnungsabschnitt 162 und einen Blickpunkt-Transformationsfunktion-Berechnungsabschnitt 163. Diese Komponenten werden in manchen Fällen in Abhängigkeit von der Anzeigebedingungsinformation nicht betrieben. Zur Erleichterung des Verständnisses wird zuerst demgemäß eine Beschreibung eines Falles gegeben werden, wo sämtliche dieser Komponenten arbeiten.
  • Der Linsenverzerrungs-Umkehrfunktion-Berechnungsabschnitt 161 findet eine Umkehrfunktion i–1() der oben beschriebenen Linsenverzerrungsfunktion i() auf der Grundlage der in der Kamerakorrekturinformation enthaltenen Linsenverzerrungsinformation und führt eine Berechnung für das Kamerabild durch. Das von der Kameraeinheit 2 übertragene Kamerabild wird durch eine Linsenverzerrung beeinflusst, wenn es von der Kamera erfasst wird. Durch Berechnen der Linsenverzerrungs-Umkehrfunktion i–1() wird es somit möglich, das Kamerabild zu korrigieren, um ein Kamerabild ohne Beeinflussung durch eine Linsenverzerrung zu sein.
  • Der Projektions-Umkehrfunktion-Berechnungsabschnitt 162 findet eine Umkehrfunktion h–1() der oben beschriebenen Projektionsfunktion h() auf der Grundlage der in der Kamerakorrekturinformation enthaltenen Projektionsinformation und führt eine Berechnung für das Kamerabild durch, das von dem Linsenverzerrungs-Umkehrfunktion-Berechnungsabschnitt 161 ausgegeben wird und deshalb ohne Beeinflussung durch eine Linsenverzerrung ist. Das von der Kameraeinheit 2 übertragene Kamerabild ist einer Verzerrung aufgrund des Projektionsverfahrens der Linse unterzogen worden, wenn es von der Kamera erfasst worden ist. Durch Berechnen der Projektions-Umkehrfunktion h–1() wird es somit möglich, das Kamerabild zu korrigieren, um ein Kamerabild zu sein, das nicht einer Projektionsverzerrung unterzogen worden ist.
  • Der Blickpunkt-Transformationsfunktion-Berechnungsabschnitt 163 wendet die oben beschriebene Blickpunkt-Transformationsfunktion j() auf das Kamerabild an, das von dem Projektions-Umkehrfunktion-Berechnungsabschnitt 162 ausgegeben wird und deshalb nicht einer Projektionsverzerrung unterzogen worden ist, auf der Grundlage der in der Kamerakorrekturinformation enthaltenen Blickpunktinformation. Auf diese Weise kann ein Kamerabild erhalten werden, das der Blickpunktkameratransformation unterzogen worden ist.
  • Für das Führungslinienbild, das berechnet und gezeichnet worden ist in dem Linienzeichnungsabschnitt 14, das dem korrigierten Kamerabild zu überlagern ist, das von dem Kamerabild-Korrekturabschnitt 16 ausgegeben worden ist, überlagert der Bildüberlagerungsabschnitt 17 das Führungslinienbild und das korrigierte Kamerabild als Bilder in unterschiedlichen Schichten. Von dem Führungslinienbild und dem korrigierten Kamerabild in unterschiedlichen Schichten wendet der Anzeigeabschnitt 18 die Videoausgabefunktion g() auf das korrigierte Kamerabild an, so dass eine Größe des korrigierten Kamerabildes zu einer anzeigbaren Größe des Anzeigeabschnitts 18 geändert wird. Dann werden das Führungslinienbild und das korrigierte Kamerabild der geänderten Größe kombiniert und angezeigt. Die Videoausgabefunktion g() kann in dem Kamerabild-Korrekturabschnitt 16 angewendet werden.
  • Operationen werden nun beschrieben werden. Operationen des Führungslinien-Berechnungsabschnitts 13 und des Kamerabild-Korrekturabschnitts 16 unterscheiden sich in Abhängigkeit von der Anzeigebedingungsinformation, die mit Verweis auf den Anzeigebedingungs-Speicherabschnitt 12 akquiriert worden ist. Die Anzeigebedingungsinformation kann zum Beispiel vier Anzeigebedingungen wie folgt in Abhängigkeit von den Operationen des Kamerabild-Korrekturabschnitts 16 sein, das heißt Unterschiede der Anzeigeverfahren des Kamerabildes.
    • (1) Unter einer ersten Anzeigebedingung korrigiert der Kamerabild-Korrekturabschnitt 16 das Kamerabild nicht. Der Führungslinien-Berechnungsabschnitt 13 berechnet die Führungslinieninformation, auf die die Projektionsebene-Transformation angewendet wird, durch Addieren einer Linsenverzerrung und einer Verzerrung aufgrund des Projektionsverfahrens.
    • (2) Unter einer zweiten Anzeigebedingung korrigiert der Kamerabild-Korrekturabschnitt 16 das Kamerabild, um eine Linsenverzerrung und eine Verzerrung aufgrund des Projektionsverfahrens zu eliminieren. Der Führungslinien-Berechnungsabschnitt 13 berechnet die Führungslinieninformation, auf die die Projektionsebene-Transformation alleine angewendet wird.
    • (3) Unter einer dritten Anzeigebedingung korrigiert der Kamerabild-Korrekturabschnitt 16 das Kamerabild, als ob es der Blickpunkttransformation unterzogen worden ist. Der Führungslinien-Berechnungsabschnitt 13 berechnet die Führungslinieninformation, auf die Projektionsebene-Transformation und die Blickpunkttransformation angewendet werden, durch Addieren einer Linsenverzerrung und einer Verzerrung aufgrund des Projektionsverfahrens.
    • (4) Unter einer vierten Anzeigebedingung korrigiert der Kamerabild-Korrekturabschnitt 16 das Kamerabild, als ob es der Blickpunkttransformation unterzogen worden ist, durch Eliminieren einer Linsenverzerrung und einer Verzerrung aufgrund des Projektionsverfahrens. Der Führungslinien-Berechnungsabschnitt 13 berechnet die Führungslinieninformation, auf die die Projektionsebene-Transformation und die Blickpunkttransformation angewendet werden.
  • Unter irgendeiner dieser Anzeigebedingungen wird das Führungslinienbild gezeichnet, um zu dem Kamerabild zu passen.
  • In einem Fall, wo die Anzeigebedingungsinformation die erste Anzeigebedingung aufweist, werden von den Komponenten, die den in 2 gezeigten Führungslinien-Berechnungsabschnitt 13 bilden, die Komponenten, die anders als der Blickpunkt-Transformationsfunktion-Berechnungsabschnitt 135 sind, betrieben. Genauer genommen werden Berechnungsergebnisse des Linsenverzerrungsfunktion-Berechnungsabschnitts 132, des Projektionsfunktion-Berechnungsabschnitts 133 und des Projektionsebene-Transformationsfunktion-Berechnungsabschnitt 134 in den Videoausgabe-Transformationsfunktion-Berechnungsabschnitt 136 eingegeben. Folglich ist das in dem Linienzeichnungsabschnitt 14 erzeugte Führungslinienbild wie in 5 gezeigt. 5 zeigt ein Beispiel des Führungslinienbildes, das unter der ersten Anzeigebedingung erzeugt worden ist. Ein Kamerabild mit einer Linsenverzerrung und einer Verzerrung aufgrund des Projektionsverfahrens und das Führungslinienbild, dem dieselben Verzerrungen hinzugefügt werden, werden angezeigt durch Überlagern des Letzteren dem Vorherigeren. In 5 sind Linien L1a Führungslinien, die eine Breite des markierten Parkplatzes angeben, und entsprechen der Linie L1 von 3. Linien L2a sind Führungslinien, die eine Breite des Fahrzeugs angeben, und entsprechen der Linie L2 von 3. Linien L3a bis L5a sind Führungslinien, die Distanzen von dem Fahrzeug angeben, und entsprechen der jeweiligen Linie L3 bis L5 von 3. Außerdem werden nicht sämtliche der Komponenten, die den in 4 gezeigten Kamerabild-Korrekturabschnitt 16 bilden, betrieben. Genauer genommen gibt der Kamerabild-Korrekturabschnitt 16 das dorthin eingegebene Kamerabild intakt bzw. unversehrt an den Bildüberlagerungsabschnitt 17 aus.
  • In einem Fall, wo die Anzeigebedingungsinformation die zweite Anzeigebedingung aufweist, werden von den Komponenten, die den in 2 gezeigten Führungslinien-Berechnungsabschnitt 13 bilden, der Linsenverzerrungsfunktion-Berechnungsabschnitt 132, der Projektionsfunktion-Berechnungsabschnitt 133 und der Blickpunkt-Transformationsfunktion-Berechnungsabschnitt 135 nicht betrieben. Genauer genommen wird die von dem Führungslinien-Erzeugungsabschnitt 131 ausgegebene Koordinate P intakt in den Projektionsebene-Transformationsfunktion-Berechnungsabschnitt 134 eingegeben. Folglich ist das in dem Linienzeichnungsabschnitt 14 erzeugte Führungslinienbild wie in 6 gezeigt. 6 zeigt ein Beispiel des unter der zweiten Anzeigebedingung erzeugten Führungslinienbildes. Ein Kamerabild, von dem eine Linsenverzerrung und eine Verzerrung aufgrund des Projektionsverfahrens eliminiert sind, und das Führungslinienbild ohne Verzerrung werden angezeigt durch Überlagerung des Letzteren auf dem Vorherigeren. In 6 sind Linien L1b Führungslinien, die eine Breite des markierten Parkplatzes angeben, und entsprechen der Linie L1 von 3. Linien L2b sind Führungslinien, die eine Breite des Fahrzeugs angeben, und entsprechen der Linie L2 von 3. Linien L3b bis L5b sind Führungslinien, die Distanzen von dem Fahrzeug angeben, und entsprechen der jeweiligen Linie L3 bis L5 von 3. Außerdem werden von den Komponenten, die den in 4 gezeigten Kamerabild-Korrekturabschnitt 16 bilden, die Komponenten betrieben, die anders sind als der Blickpunkt-Transformationsfunktion-Berechnungsabschnitt 163. Genauer genommen wird das von dem Projektions-Umkehrfunktion-Berechnungsabschnitt 162 ausgegebene Kamerabild in den Bildüberlagerungsabschnitt 17 als das korrigierte Kamerabild eingegeben.
  • In einem Fall, wo die Anzeigebedingungsinformation die dritte Anzeigebedingung aufweist, werden sämtliche der Komponenten betrieben, die den in 2 gezeigten Führungslinien-Berechnungsabschnitt 13 bilden. Folglich ist das in dem Linienzeichnungsabschnitt 14 erzeugte Führungsliniebild wie in 7 gezeigt. 7 zeigt ein Beispiel des unter der dritten Anzeigebedingung erzeugten Führungslinienbildes. Ein Kamerabild mit einer Linsenverzerrung, wie wenn von einem unterschiedlichen Blickpunkt erfasst, und einer Verzerrung aufgrund des Projektionsverfahrens und ein Führungslinienbild, wie wenn von dem unterschiedlichen Blickpunkt durch Hinzufügung derselben Verzerrungen betrachtet, werden angezeigt durch Überlagerung des Letzteren dem Vorherigeren. In 7 sind Linien L1c Führungslinien, die eine Breite des markierten Parkplatzes angeben, und entsprechen der Linie L1 von 3. Linien L2c sind Führungslinien, die eine Breite des Fahrzeugs angeben, und entsprechen der Linie L2 von 3. Linien L3c bis L5c sind Führungslinien, die Distanzen von dem Fahrzeug angeben, und entsprechen jeweils der Linie L3 bis L5 von 3. Außerdem wird von den Komponenten, die den in 4 gezeigten Kamerabild-Korrekturabschnitt 16 bilden, der Blickpunkt-Transformationsfunktion-Berechnungsabschnitt 163 alleine betrieben. Genauer genommen wird ein in dem Kamerabild-Empfangsbschnitt 15 empfangenes Kamerabild intakt in den Blickpunkt-Transformationsfunktion-Berechnungsabschnitt 163 eingegeben. Ein Bild, das der Blickpunkttransformation in dem Blickpunkt-Transformationsfunktion-Berechnungsabschnitt 163 unterzogen worden ist, wird an den Bildüberlagerungsabschnitt 17 als das korrigierte Kamerabild ausgegeben.
  • In einem Fall, wo die Anzeigebedingungsinformation die vierte Anzeigebedingung aufweist, werden von den Komponenten, die den in 2 gezeigten Führungslinien-Berechnungsabschnitt 13 bilden, die Komponenten betrieben, die anders sind als der Linsenverzerrungsfunktion-Berechnungsabschnitt 132 und der Projektionsfunktion-Berechnungsabschnitt 133. Genauer genommen wird die Koordinate P eines Punktes auf den Führungslinien, die in dem Führungslinien-Erzeugungsabschnitt 131 erzeugt worden sind, intakt in den Blickpunkt-Transformationsfunktion-Berechnungsabschnitt 135 eingegeben. Folglich ist das in dem Linienzeichnungsabschnitt 14 erzeugte Führungslinienbild wie in 3 gezeigt. Außerdem werden sämtliche der Komponenten betrieben, die den in 4 gezeigten Kamerabild-Korrekturabschnitt 16 bilden. Ein Kamerabild, wie wenn von einem unterschiedlichen Blickpunkt durch Eliminierung einer Linsenverzerrung und einer Verzerrung aufgrund des Projektionsverfahrens erfasst, und ein Führungslinienbild ohne Verzerrung, wie von dem unterschiedlichen Blickpunkt betrachtet, werden angezeigt durch Überlagern des Letzteren dem Vorherigeren.
  • Wie beschrieben worden ist, wird gemäß dem Einparkunterstützungssystem der ersten Ausführungsform eine Koordinate von Führungslinien, die in dem Führungslinien-Berechnungsabschnitt berechnet worden sind, Folgendem unterworfen: einer Transformation, die eine Linsenverzerrung aufgrund einer Linsenform ergibt, in dem Linsenverzerrungsfunktion-Berechnungsabschnitt 132, der Projektionstransformation durch das Projektionsverfahren der Linse in dem Projektionsfunktion-Berechnungsabschnitt 133, und der Projektionsebene-Transformation in dem Projektionsebene-Transformationsfunktion-Berechnungsabschnitt 134, um ein Bild zu erhalten, wie wenn es durch die an dem Fahrzeug angebrachte Kamera erfasst worden ist. Folglich wird es möglich, das Führungslinienbild, das als ein Ziel verwendet wird, wenn der Fahrer das Fahrzeug einparkt, auf dem Anzeigeabschnitt 18 in einer Weise entsprechend zu einem durch die Kamera der Kameraeinheit 2 erfassten Kamerabild anzuzeigen.
  • Außerdem ist ein Anbringungszustand der Kamera als Parameter gegeben: eine Höhe L der Kameraanbringungsposition bezüglich der Parkebene, ein Anbringungsvertikalwinkel ϕ, der ein Winkel einer Neigung der optischen Achse der Kamera bezüglich einer vertikalen Linie ist, ein Anbringungshorizontalwinkel θ, der ein Winkel einer Neigung bezüglich einer Mittellinie ist, die längswärts von der Front zur Rückseite des Fahrzeugs verläuft, und eine Distanz H von einer Mitte der Breite des Fahrzeugs, so dass die Zeichnungspositionen der Führungslinien automatisch berechnet werden gemäß den Werten der Parameter. Es wird somit möglich, das Führungslinienbild leicht zu erzeugen. Wenn zum Beispiel ein mit dem Einparkunterstützungssystem dieser Ausführungsform ausgestattetes Fahrzeug hergestellt wird, wird die Kamera an der vorbestimmten Anbringungsposition mit dem vorbestimmten Anbringungswinkel fixiert, die beide durch das Design bzw. den Entwurf bestimmt worden sind, und die vorbestimmte Anbringungsposition und -winkel, die durch das Design bestimmt worden sind, werden in den Informationsspeicherabschnitt 11 gespeichert. Dank dieser Ausgestaltung wird es möglich, leicht ein Führungslinienbild entsprechend einem Typ des Fahrzeugs zu erzeugen. Hier ist eine Beschreibung unter der Annahme gegeben worden, dass eine Orientierung der Kamera nicht geändert werden kann während der Herstellung des mit dem Einparkunterstützungssystem ausgestatteten Fahrzeugs. In einem Fall, wo ein Einparkunterstützungssystem, das aus einer Kamera und einer Hauptrechnereinheit gebildet ist, separat von dem Fahrzeug oder der Navigationsvorrichtung verkauft wird, kann es auf solch eine Weise ausgestaltet sein, dass zum Beispiel der Anbringungsvertikalwinkel ϕ änderbar ist, so dass ein Anbringungszustand der Kamera an dem Fahrzeug eingestellt werden kann.
  • Außerdem variieren eine Größe und eine Form des Fahrzeugs von Typ zu Typ des Fahrzeugs, und so tut es die Kameraanbringungsposition. Durch Anbringen der Kamera an dem Fahrzeug bei der vorbestimmten Position und dem vorbestimmten Winkel, die beide durch das Design bestimmt sind, und durch Speichern der vorbestimmten Anbringungsposition und des -winkels, die durch das Design bestimmt sind, wird es jedoch gemäß dem Einparkunterstützungssystem dieser Ausführungsform möglich, leicht ein erfasstes Kamerabild und das Führungslinienbild zur Übereinstimmung bzw. zur Anpassung zu bringen. Um Einflüsse eines Anbringungsfehlers zu eliminieren, kann es auf solch eine Weise ausgestaltet sein, dass ein Anbringungsfehler gemessen wird, um die Anbringungsposition und -winkel durch das in Patentdokument 1 oder dergleichen beschriebene Verfahren zu korrigieren.
  • Zweite Ausführungsform
  • 8 ist ein Blockdiagramm, das eine Ausgestaltung eines Einparkunterstützungssystems einer zweiten Ausführungsform zeigt. In 8 sind Komponenten, die dieselben oder entsprechende zu den Komponenten von 1 sind, mit denselben Bezugszeichen beschriftet, und eine Beschreibung solcher Komponenten wird weggelassen. Eine Hauptrechnereinheit 1a von 8 hat einen Eingabeinformation-Akquisitionsabschnitt 19, der eine Eingabeinformation von außen akquiriert. Eine in dem Informationsspeicherabschnitt 11 gespeicherte Information wird gemäß der in dem Eingabeinformation-Akquisitionsabschnitt 19 akquirierten Eingabeinformation geändert. Der Eingabeinformation-Akquisitionsabschnitt 19 kann gebildet sein, um eine HMI(Human Machine Interface bzw. Mensch-Maschine-Schnittstelle) zu haben, und der Fahrer kann darin eine Information mittels Bedienung der HMI eingeben. Von der in dem Informationsspeicherabschnitt 11 gespeicherten Information sind eine Höhe L der Kameraabringungsposition bezüglich der Parkebene, ein Anbringungsvertikalwinkel ϕ, der ein Winkel einer Neigung der optischen Achse der Kamera bezüglich einer vertikalen Linie ist, ein Anbringungshorizontalwinkel θ, der ein Winkel der Neigung bezüglich einer Mittellinie ist, die längswärts von der Front zu der Rückseite des Fahrzeugs läuft, eine Distanz H von einer Mitte der Breite des Fahrzeugs, ein maximaler horizontaler Feldwinkel Xa und ein maximaler vertikaler Feldwinkel Ya der Kamera, eine maximale horizontale Zeichnungspixelgröße Xp und eine maximal vertikale Zeichnungspixelgröße Yp in einer Videoausgabe, Koordinaten eines Subjektvideomusters, ein Projektionsverfahren und ein unterschiedlicher Blickpunkt, auf den eine Blickpunkttransformation durchgeführt wird, für das Einparkunterstützungssystem eindeutige Parameter. Durch Bereitstellen des Eingabeinformation-Akquisitionsabschnitts 19 wird es möglich, Werte dieser Parameter zu einem beliebigen Zeitpunkt zu verändern. Folglich wird es möglich, eine Änderung der Kameraanbringungsposition oder eine Änderung der Kamera selbst der Kameraeinheit 2 leicht zu adressieren.
  • Der Fahrer kann gemessene Werte der Parameter mit Bezug zu einem Anbringungszustand der Kamera erhalten durch Messen der Höhe L der Kameraanbringungsposition und der Distanz H von der Mitte der Breite des Fahrzeugs mit einem Maß und durch Messen des Anbringungshorizontalwinkels θ und des Anbringungsvertikalwinkels ϕ der Kamera mit einem Winkelmesser. Durch Ändern der Höhe L der Kameraanbringungsposition bezüglich der Parkebene, des Anbringungsvertikalwinkels ϕ, der ein Winkel einer Neigung der optischen Achse der Kamera bezüglich einer vertikalen Linie ist, des Anbringungshorizontalwinkels θ, der ein Winkel einer Neigung bezüglich der Mittellinie ist, die von der Front zu der Rückseite des Fahrzeugs läuft, und der Distanz H von der Mitte der Breite des Fahrzeugs, gespeichert in dem Informationsspeicherabschnitt 11, zu gemessenen Werten mit Verwendung des Eingabeinformation-Akquisitionsabschnitts 19 wird es möglich, Führungslinien entsprechend einem Fahrzeug, an dem die Kamera angebracht ist, einfach anzuzeigen. In einem Fall, wo es bereits eine Liste von Daten über Anbringungspositionen auf einer typweisen Basis von Fahrzeugen gibt, an denen die Kamera angebracht ist, können in der Liste bekannt gemachte Werte eingegeben werden.
  • Dritte Ausführungsform
  • 9 ist ein Blockdiagramm, das eine Ausgestaltung eines Einparkunterstützungssystems einer dritten Ausführungsform zeigt. In 9 hat eine Hauptrechnereinheit 1b einen Lenkinformation-Akquisitionsabschnitt 20, der eine Lenkinformation des Fahrzeugs akquiriert, die von einer außen liegenden Elektroniksteuereinheit 3a übertragen worden ist, und ein Informationsspeicherabschnitt 11b hat die durch den Lenkinformation-Akquisitionsabschnitt 20 akquirierte Lenkinformation gespeichert. Außerdem werden Koordinaten von Führungslinien und Koordinaten von Fahr-Führungslinien in einem Führungslinien-Erzeugungsabschnitt (nicht gezeigt) eines Führungslinien-Berechnungsabschnitts 13b berechnet. Es sollte beachtet werden, dass die Führungslinien bei einer Position gesetzt werden, wenn es angenommen wird, dass das Fahrzeug um eine vorbestimmte Distanz ohne Ändern eines aktuellen Lenkwinkels gefahren wird. Die Fahr-Führungslinien (bzw. laufende Führunglinien) sind Kurven, die geschätzte Bewegungstrajektorielinien angeben, die einen vorhergesagten Pfad darstellen, hinsichtlich welcher Trajektorielinien jeweilige Vorderräder und Hinterräder des Fahrzeugs folgen, wenn das Fahrzeug sich von der aktuellen Position zu der Position bewegt, bei der die Führungslinien gesetzt sind. Durch Anzeigen auch der Fahr-Führungslinien wird der Fahrer des Fahrzeugs fähig, zu bestimmen, ob das Fahrzeug ein Hindernis oder dergleichen trifft, aufgrund einer Differenz zwischen den durch die Vorder- und Hinterräder oder äußeren Räder des Fahrzeugs befolgten Trajektorielinien.
  • Durch Ausführen einer Operation, so wie einer Linsenverzerrungsfunktion-Berechnung, für nicht nur die Koordinaten der Führungslinien sondern auch die Koordinaten der Fahr-Führungslinien wird es möglich, Fahr-Führungslinien zu berechnen und zu zeichnen, die zu einem Ansprechen auf eine Änderung der Lenkinformation (Winkel) durch eine Lenkoperation hinsichtlich des Fahrzeugs gebracht werden können.
  • Vierte Ausführungsform
  • Die erste bis dritte Ausführungsform oben sind unter der Annahme beschrieben worden, dass die Hauptrechnereinheit den Anzeigeabschnitt hat. Sie kann jedoch auf solch eine Weise ausgestaltet sein, dass eine Bildausgabevorrichtung 4, die ein Verbundbild ausgibt, auf dem das Führungslinienbild überlagert ist, und eine äußere Anzeigevorrichtung 5, zum Beispiel eine Im-Fahrzeug-Navigationsvorrichtung, kombiniert werden, um ein von der Bildausgabevorrichtung 4 ausgegebenes Verbundbild auf der Anzeigevorrichtung 5 anzuzeigen. In dieser Ausführungsform ist die Bildausgabevorrichtung 4 die Einparkunterstützungsvorrichtung. 10 ist ein Blockdiagramm, das eine Ausgestaltung eines Einparkunterstützungssystems der vierten Ausführungsform zeigt. Komponenten, die dieselben wie oder entsprechende zu den Komponenten von 1 sind, sind mit denselben Bezugszeichen beschriftet, und eine Beschreibung solcher Komponenten wird weggelassen. In 4 wird eine Schaltungspositionsinformation von einer Elektroniksteuereinheit 3 an einen Schaltungspositions-Erfassungsabschnitt 10 und die Anzeigevorrichtung 5 ausgegeben. Eine Verbindungsschnittstelle der Bildausgabevorrichtung 4 mit der Elektroniksteuereinheit 3 ist dieselbe wie die einer typischen Navigationsvorrichtung. Somit werden Kommunikationen zwischen der Bildausgabevorrichtung 4 und der Elektroniksteuereinheit 3 ohne Erfordernis eines Vorbereitens einer speziellen Schnittstelle ermöglicht. Während die Schaltungspositionsinformation, die mitteilt, dass ein Getriebe des Fahrzeugs in einem Rückwärtsgangzustand ist, in die Anzeigevorrichtung 5 von der Elektroniksteuereinheit 3 eingegeben wird, schaltet die Anzeigevorrichtung 5 zu einem Modus um, in dem ein dorthin eingegebenes Bild anzuzeigen ist, und zeigt deshalb ein von der Bildausgabevorrichtung 4 ausgegebenes Bild an. Wenn der Fahrer des Fahrzeugs einen Gang des Fahrzeugs zu einer Rückwärtsgangposition schaltet, wird demgemäß ein Verbundbild ausgegeben von der Bildausgabevorrichtung 4, und das Verbundbild wird auf der Anzeigevorrichtung 5 angezeigt. Auf diese Weise wird es möglich, den Fahrer beim Einparken des Fahrzeugs durch Anzeigen eines Bildes der Parkebene hinter dem Fahrzeug zu der Zeit des Einparkens zu unterstützen.
  • In der obigen Beschreibung ist die Anzeigevorrichtung 5 konfiguriert zum Anzeigen eines Bildes, das von der Bildausgabevorrichtung 4 ausgegeben worden ist, auf eine Eingabe der Schaltungspositionsinformation, die mitteilt, dass das Getriebe des Fahrzeugs in einem Rückwärtsgangzustand ist, von der Elektroniksteuereinheit 3. Zusätzlich zu dieser Ausgestaltung kann sie auf solch eine Weise ausgestaltet sein, dass die Anzeigevorrichtung 5 mit einem Umschaltungsschalter versehen ist, der die Anzeigevorrichtung 5 zu einem Modus schaltet in dem ein dorthin eingegebenes Bild anzuzeigen ist, so dass die Anzeigevorrichtung 5 ein Bild anzeigt, das von der Bildausgabevorrichtung 4 ausgegeben worden ist, wenn der Benutzer den Umschaltungsschalter drückt.
  • Fünfte Ausführungsform
  • 11 ist ein Blockdiagramm, das eine Ausgestaltung eines Einparkunterstützungssystems einer fünften Ausführungsform zeigt. In 11 sind Komponenten, die dieselben wie oder entsprechende zu den Komponenten von 10 sind, mit denselben Bezugszeichen beschriftet, und eine Beschreibung solcher Komponenten wird weggelassen. Eine Bildausgabevorrichtung 4a hat einen Eingabeinformation-Akquisitionsabschnitt 19, der eine Eingabeinformation akquiriert. Durch Verwendung des Eingabeinformation-Akquisitionsabschnitts 19, der der Bildausgabevorrichtung 4a bereitgestellt ist, so wie ein DIP-Schalter, ein Wähler, und ein Drückknopf, der zum Eingeben numerischer Werte oder zum Auswählen von Werten verwendet wird, wird es möglich, die Eingabeinformation in einen Informationsspeicherabschnitt 11 zu speichern. Unterschiedlich von der Hauptrechnereinheit 1 der ersten und anderen Ausführungsformen oben hat die Bildausgabevorrichtung 4a nicht einen Bildanzeigeabschnitt, der ein Bild darauf anzeigt. In einem Fall, wo der Fahrer eine in dem Informationsspeicherabschnitt 11 gespeicherte Information ändert, wird somit eine in dem Informationsspeicherabschnitt 11 gespeicherte Information auf der Anzeigevorrichtung 5 angezeigt, so dass der Fahrer die angezeigte Information betrachtet und bestimmt, ob ein Wert, den er eingeben möchte, in dem Informationsspeicherabschnitt 11 gespeichert wird. In einem Fall, wo der Wert nicht gespeichert wird, tätigt der Fahrer eine Änderung mit Verwendung des Eingabeinformation-Akquisitionsabschnitts 19.
  • Sechste Ausführungsform
  • In der ersten Ausführungsform oben werden ein Kamerabild und ein Führungslinienbild, das von der Kameraeinheit übertragen worden ist, in der Hauptrechnereinheit kombiniert. Es ist jedoch auch möglich, Komponenten zum Erzeugen eines Führungslinienbildes, so wie ein Informationsspeicherabschnitt, ein Führungslinien-Berechnungsabschnitt und ein Linienzeichnungsabschnitt, innerhalb der Kameraeinheit bereitzustellen. Eine Kameraeinheit, die ein Verbundbild ausgibt, in dem das Führungslinienbild dem Kamerabild überlagert ist, wird als eine Einparkunterstützungs-Kameraeinheit bezeichnet. In der sechsten Ausführungsform ist ein Einparkunterstützungssystem gebildet durch Kombinieren der Einparkunterstützungs-Kameraeinheit und einer Anzeigevorrichtung, die darauf ein von der Einparkunterstützungs-Kameraeinheit ausgegebenes Bild anzeigt.
  • 12 ist ein Blockdiagramm, das eine Ausgestaltung des Einparkunterstützungssystems der sechsten Ausführungsform zeigt. In 12 sind Komponenten, die dieselben wie oder entsprechende zu den Komponenten von 10 sind, mit denselben Bezugszeichen bezeichnet, und eine Beschreibung solcher Komponenten wird weggelassen. Ein Abbildungsabschnitt 21 einer Kameraeinheit 2a erfasst ein Bild der Parkebene hinter dem Fahrzeug, während die Schaltungspositionsinformation, die mitteilt, dass ein Getriebe des Fahrzeugs in einem Rückwärtsgangzustand ist, empfangen wird von einem Schaltungspositions-Erfassungsabschnitt 10. Ein durch den Abbildungsabschnitt 21 erfasstes Kamerabild wird an einen Kamerabild-Korrekturabschnitt 16 ausgegeben. Wie in derselben Weise in den ersten und anderen Ausführungsformen oben gibt der Kamerabild-Korrekturabschnitt 16 ein Verbundbild, in dem das Führungslinienbild dem Kamerabild überlagert ist, an die Anzeigevorrichtung aus.
  • Wie mit der Anzeigevorrichtung 5 in der vierten Ausführungsform oben schaltet die Anzeigevorrichtung dieser Ausführungsform auch zu einem Modus, in dem ein Bild anzuzeigen ist, das dorthin eingegeben worden ist, während die Schaltungspositionsinformation, die mitteilt, dass das Getriebe des Fahrzeugs in einem Rückwärtsgangzustand ist, dorthin eingegeben wird von einer Elektroniksteuereinheit 3. Wenn das Getriebe des Fahrzeugs zu einem Rückwärtsgangzustand in Reaktion auf eine Bedienung durch den Fahrer des Fahrzeugs verändert wird, wird somit ein Bild zur Einparkunterstützung auf der Anzeigevorrichtung 5 angezeigt.
  • Siebte Ausführungsform
  • 13 ist ein Blockdiagramm, das eine Ausgestaltung eines Einparkunterstützungssystems einer siebten Ausführungsform zeigt. In 13 sind Komponenten, die dieselben wie oder entsprechende zu den Komponenten von 12 sind, mit denselben Bezugszeichen beschriftet, und eine Beschreibung solcher Komponenten wird weggelassen. Eine Kameraeinheit 2b hat ferner einen Eingabeinformation-Akquisitionsabschnitt 19, der eine Eingabeinformation akquiriert und die Eingabeinformation in den Informationsspeicherabschnitt 11 speichert. Der Eingabeinformation-Akquisitionsabschnitt 19 ist eine Vorrichtung, die der Kameraeinheit 2b bereitgestellt ist, so wie ein DIP-Schalter, ein Wähler und eine Druckknopf, der zum Eingeben numerischer Werte oder zum Auswählen von Werten verwendet wird. Der Fahrer speichert eine Eingabeinformation in den Informationsspeicherabschnitt 11 mit Verwendung des Eingabeinformation-Akquisitionsabschnitts 19. Unterschiedlich von der Hauptrechnereinheit 1 der ersten und anderen Ausführungsformen oben hat die Kameraeinheit 2b nicht einen Bildanzeigeabschnitt, der ein Bild darauf anzeigt. In einem Fall, wo der Fahrer eine Information eingibt oder eine Information ändert, die in dem Informationsspeicherabschnitt 11 gespeichert worden ist, wird somit eine in dem Informationsspeicherabschnitt 11 gespeicherte Information auf einer Anzeigevorrichtung 5 angezeigt, so dass der Fahrer die angezeigte Information betrachtet und bestimmt, ob ein Wert, den er beabsichtigt einzugeben, in dem Informationsspeicherabschnitt 11 gespeichert wird.
  • In den oben beschriebenen Ausführungsformen ist eine Koordinate eines Subjektbildmusters der Führungslinien in einem tatsächlichen Freiraum durch einen zweidimensionalen Wert (x, y) gegeben. Es sollte jedoch erkannt werden, dass diese Koordinate durch einen dreidimensionalen Wert gegeben sein kann.
  • Es sollte beachtet werden, dass die oben beschriebenen Einparkunterstützungssysteme beispielsweise aus einer Im-Fahrzeug-Navigationsvorrichtung als die Hauptrechnereinheit und einer Im-Fahrzeug-Kamera als die Kameraeinheit gebildet sein können.
  • In den oben beschriebenen Einparkunterstützungssystemen werden das Führungslinienbild und das korrigierte Kamerabild in unterschiedlichen Schichten in den Anzeigeabschnitt eingegeben und in dem Anzeigeabschnitt kombiniert. Es kann jedoch auf solch eine Weise ausgestaltet sein, dass diese Bilder in dem Bildüberlagerungsabschnitt kombiniert werden und das resultierende Verbundbild an den Anzeigeabschnitt ausgegeben wird. In diesem Fall wird eine Größe des korrigierten Kamerabildes zu einer anzeigbaren Größe des Anzeigeabschnitts geändert durch Berechnen einer Videoausgabefunktion g() für das Korrekturkamerabild, und dann werden das Führungslinienbild und das korrigierte Kamerabild in der geänderten Größe kombiniert in dem Bildüberlagerungsabschnitt.
  • Bezugszeichenliste
  • 1, 1 und 1b
    Hauptrechnereinheit (Einparkunterstützungsvorrichtung)
    2
    Kameraeinheit
    2a und 2b
    Kameraeinheit (Einparkunterstützungs-Kameraeinheit)
    3 und 3a
    Elektroniksteuereinheit
    4 und 4a
    Bildausgabevorrichtung (Einparkunterstützungsvorrichtung)
    5
    Anzeigevorrichtung
    11 und 11b
    Informationsspeicherabschnitt
    12
    Anzeigebedingungs-Speicherabschnitt
    13 und 13b
    Führungslinien-Berechnungsabschnitt (Führungslinieninformation-Erzeugungsabschnitt)
    14
    Linienzeichnungsabschnitt (Führungslinienbild-Erzeugungsabschnitt)
    15
    Kamerabild-Empfangsabschnitt
    16
    Kamerabild-Korrekturabschnitt (Bildausgabeabschnitt)
    17
    Bildüberlagerungsabschnitt (Bildausgabeabschnitt)
    18
    Anzeigeabschnitt
    19
    Eingabeinformation-Akquisitionsabschnitt
    20
    Lenkinformation-Akquisitionsabschnitt
    21
    Abbildungsabschnitt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2007-158695 A [0003]

Claims (10)

  1. Einparkunterstützungsvorrichtung, die mit einer Kamera verbunden ist, die an einem Fahrzeug angebracht ist und ein Bild einer Parkebene hinter dem Fahrzeug erfasst, und auf einer Anzeigevorrichtung ein Bild anzeigt, in dem Führungslinien, die als ein Ziel verwendet werden, wenn das Fahrzeug eingeparkt wird, auf der Parkebene gesetzt sind, auf der Grundlage eines durch die Kamera erfassten Kamerabildes, umfassend: einen Informationsspeicherabschnitt, der eine Führungslinienintervall-Information über Intervalle zwischen den Führungslinien und eine Anbringungsinformation speichert, die eine Anbringungsposition und -winkel der Kamera bezüglich des Fahrzeugs angibt; einen Führungslinieninformation-Erzeugungsabschnitt, der eine Führungslinieninformation über Positionen der Führungslinien, die gesetzt worden sind auf der Parkebene, in dem Kamerabild auf der Grundlage der Führungslinienintervall-Information und der Anbringungsinformation erzeugt; einen Führungslinienbild-Erzeugungsabschnitt, der ein Führungslinienbild, das die Führungslinien darstellt, auf der Grundlage der Führungslinieninformation erzeugt; und einen Bildausgabeabschnitt, der an die Anzeigevorrichtung ein Bild, in dem die Führungslinien auf der Parkebene gesetzt sind, auf der Grundlage des Führungslinienbildes und des Kamerabildes ausgibt.
  2. Einparkunterstützungsvorrichtung gemäß Anspruch 1, dadurch gekennzeichnet, dass: die Kamera bei einer vorbestimmten Anbringungsposition und bei einem vorbestimmten Anbringungswinkel angebracht ist, die gemäß einem Fahrzeugtyp bestimmt sind; und die Anbringungsinformation die vorbestimmte Anbringungsposition und den vorbestimmten Anbringungswinkel angibt.
  3. Einparkunterstützungsvorrichtung gemäß Anspruch 1, dadurch gekennzeichnet, dass: die Einparkunterstützungsvorrichtung mit einer Schaltungspositionsinformation-Ausgabevorrichtung verbunden ist, die eine Schaltungspositionsinformation ausgibt, die einen Zustand eines Getriebes des Fahrzeugs angibt; und der Bildausgabeabschnitt das Bild, in dem die Führungslinien auf der Parkebene gesetzt sind, in einem Fall ausgibt, wo die Schaltungspositionsinformation angibt, dass das Getriebe des Fahrzeugs in einem Rückwärtsgangzustand ist.
  4. Einparkunterstützungsvorrichtung gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass: der Informationsspeicherabschnitt eine Linsenverzerrungsinformation, die eine Verzerrung des Kamerabildes aufgrund einer Linsenform der Kamera angibt, und eine Projektionsverzerrungsinformation, die eine Verzerrung des Kamerabildes aufgrund eines Projektionsverfahrens der Linse angibt, gespeichert hat; und der Führungslinieninformation-Erzeugungsabschnitt die Führungslinieninformation auf der Grundlage der Linsenverzerrungsinformation und der Projektionsverzerrungsinformation erzeugt.
  5. Einparkunterstützungsvorrichtung gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass: der Informationsspeicherabschnitt eine Linsenverzerrungsinformation, die eine Verzerrung des Kamerabildes aufgrund einer Linsenform der Kamera angibt, und eine Projektionsinformation, die eine Verzerrung des Kamerabildes aufgrund eines Projektionsverfahrens der Linse angibt, gespeichert hat; und der Bildausgabeabschnitt das Kamerabild korrigiert, ein Kamerabild zu sein, von dem Verzerrungen aufgrund der Linsenform und des Projektionsverfahrens eliminiert sind, auf der Grundlage der Linsenverzerrungsinformation und der Projektionsverzerrungsinformation und an die Anzeigevorrichtung das Bild ausgibt, in dem die Führungslinien auf der Parkebene gesetzt sind, auf der Grundlage des korrigierten Kamerabildes und des Führungslinienbildes.
  6. Einparkunterstützungsvorrichtung gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass: der Informationsspeicherabschnitt eine Linsenverzerrungsinformation, die eine Verzerrung des Kamerabildes aufgrund einer Linsenform der Kamera angibt, eine Projektionsinformation, die eine Verzerrung des Kamerabildes aufgrund eines Projektionsverfahrens der Linse angibt, und eine Blickpunktinformation gespeichert hat, die eine Position und eine Orientierung eines Blickpunktes angibt, der bei einer von einer Position der Kamera unterschiedlichen Position vorhanden ist; der Führungslinieninformation-Erzeugungsabschnitt die Führungslinieninformation auf der Grundlage der Linsenverzerrungsinformation, der Projektionsverzerrungsinformation und der Blickpunktinformation erzeugt; und der Bildausgabeabschnitt das Kamerabild korrigiert, ein Kamerabild zu sein, als ob es von dem Blickpunkt erfasst worden ist, auf der Grundlage der Blickpunktinformation und an die Anzeigevorrichtung das Bild ausgibt, in dem die Führungslinien auf der Parkebene gesetzt sind, auf der Grundlage des korrigierten Kamerabildes und des Führungslinienbildes.
  7. Einparkunterstützungsvorrichtung gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass: der Informationsspeicherabschnitt eine Linsenverzerrungsinformation, die eine Verzerrung des Kamerabildes aufgrund einer Linsenform der Kamera angibt, eine Projektionsinformation, die eine Verzerrung des Kamerabildes aufgrund eines Projektionsverfahrens der Linse angibt, und eine Blickpunktinformation gespeichert hat, die eine Position und eine Orientierung eines Blickpunktes angibt, der bei einer von einer Position der Kamera unterschiedlichen Position vorhanden ist; der Führungslinieninformation-Erzeugungsabschnitt die Führungslinieninformation auf der Grundlage der Blickpunktinformation erzeugt; und der Bildausgabeabschnitt das Kamerabild korrigiert, ein Kamerabild zu sein, das von dem Blickpunkt erfasst worden ist, und von dem Verzerrungen aufgrund der Linsenform und des Projektionsverfahrens eliminiert sind, auf der Grundlage der Linsenverzerrungsinformation der Projektionsverzerrungsinformation und der Blickpunktinformation, und an die Anzeigevorrichtung das Bild ausgibt, in dem die Führungslinien auf der Parkebene gesetzt sind, auf der Grundlage des korrigierten Kamerabildes und des Führungslinienbildes.
  8. Einparkunterstützungsvorrichtung gemäß einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass sie umfasst: einen Informationsänderungsabschnitt, der einen Inhalt einer in dem Informationsspeicherabschnitt gespeicherten Information in Ansprechen auf eine Eingabe von außen ändert.
  9. Einparkunterstützungssystem mit: der Kamera, die an einem Fahrzeug angebracht ist und ein Bild einer Parkebene hinter dem Fahrzeug erfasst; und der Einparkunterstützungsvorrichtung, die in einem der Ansprüche 1 bis 8 bekannt gemacht worden ist, die mit der Kamera verbunden ist und auf einer Anzeigevorrichtung ein Bild anzeigt, in dem die Führungslinien auf der Parkebene gesetzt sind, auf der Grundlage des durch die Kamera erfassten Kamerabildes.
  10. Einparkunterstützungs-Kameraeinheit, die ein Bild anzeigt, in dem Führungslinien, die als ein Ziel verwendet werden, wenn ein Fahrzeug eingeparkt wird, auf einer Einparkebene hinter dem Fahrzeug gesetzt sind, umfassend: eine Kamera, die an dem Fahrzeug angebracht ist und ein Bild der Parkebene hinter dem Fahrzeug erfasst; einen Informationsspeicherabschnitt, der eine Führungslinienintervall-Information über Intervalle zwischen den Führungslinien und eine Anbringungsinformation speichert, die eine Anbringungsposition und -winkel der Kamera bezüglich des Fahrzeugs angibt; einen Führungslinieninformation-Erzeugungsabschnitt, der eine Führungslinieninformation über Positionen der Führungslinien, die auf der Parkebene gesetzt worden sind, in dem Kamerabild auf der Grundlage der Führungslinienintervall-Information und der Anbringungsinformation erzeugt; einen Führungslinienbild-Erzeugungsabschnitt, der ein Führungslinienbild, das die Führungslinien darstellt, auf der Grundlage der Führungslinieninformation erzeugt; und einen Bildausgabeabschnitt, der an die Anzeigevorrichtung ein Bild ausgibt, in dem die Führungslinien auf der Parkebene gesetzt sind, auf der Grundlage des Führungslinienbildes und des Kamerabildes.
DE112010005565T 2010-05-14 2010-05-14 Einparkunterstützungsvorrichtung, Einparkunterstützungssystem und Einparkunterstützungskameraeinheit Withdrawn DE112010005565T5 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/003274 WO2011141971A1 (ja) 2010-05-14 2010-05-14 駐車支援装置、駐車支援システム、および駐車支援カメラユニット

Publications (1)

Publication Number Publication Date
DE112010005565T5 true DE112010005565T5 (de) 2013-02-28

Family

ID=44914040

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112010005565T Withdrawn DE112010005565T5 (de) 2010-05-14 2010-05-14 Einparkunterstützungsvorrichtung, Einparkunterstützungssystem und Einparkunterstützungskameraeinheit

Country Status (4)

Country Link
US (1) US20130010119A1 (de)
JP (1) JP5379913B2 (de)
DE (1) DE112010005565T5 (de)
WO (1) WO2011141971A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110869245A (zh) * 2017-07-07 2020-03-06 日产自动车株式会社 泊车辅助方法以及泊车辅助装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175064A (ja) * 2012-02-24 2013-09-05 Kyocera Corp 映像処理装置、映像処理方法、および映像表示システム
JP5888087B2 (ja) * 2012-04-25 2016-03-16 ソニー株式会社 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置
US10304217B2 (en) * 2012-07-30 2019-05-28 Toshiba Medical Systems Corporation Method and system for generating image using filtered backprojection with noise weighting and or prior in
JP5986877B2 (ja) * 2012-10-17 2016-09-06 日立マクセル株式会社 画像伝送システム
KR101450428B1 (ko) 2013-01-17 2014-10-14 (주) 티아이에스 정보통신 Ip 카메라의 영상 기술을 적용한 주차유도 시스템
KR101519209B1 (ko) * 2013-08-06 2015-05-11 현대자동차주식회사 Avm 영상 제공 장치 및 방법
KR102175961B1 (ko) * 2013-11-29 2020-11-09 현대모비스 주식회사 차량 후방 주차 가이드 장치
KR101572065B1 (ko) * 2014-01-03 2015-11-25 현대모비스(주) 영상 왜곡 보정 방법 및 이를 위한 장치
JP6541318B2 (ja) * 2014-09-10 2019-07-10 アイテル株式会社 運転支援装置
US10196005B2 (en) * 2015-01-22 2019-02-05 Mobileye Vision Technologies Ltd. Method and system of camera focus for advanced driver assistance system (ADAS)
DE102015211754A1 (de) * 2015-06-24 2016-12-29 Bayerische Motoren Werke Aktiengesellschaft Parkassistenzsystem zum automatisierten Durchführen eines Einparkmanövers in eine Querparklücke mit Erkennung eines die Querparklücke nach hinten begrenzenden Bodenhindernisses
US10227017B2 (en) 2015-11-30 2019-03-12 Faraday & Future Inc. Camera-based vehicle position determination with known target
JP6658392B2 (ja) * 2016-08-09 2020-03-04 株式会社Jvcケンウッド 表示制御装置、表示制御方法及びプログラム
WO2018029927A1 (ja) * 2016-08-09 2018-02-15 株式会社Jvcケンウッド 表示制御装置、表示装置、表示制御方法及びプログラム
US10025317B2 (en) * 2016-09-30 2018-07-17 Faraday&Future Inc. Methods and systems for camera-based autonomous parking
JP6939494B2 (ja) * 2017-12-11 2021-09-22 トヨタ自動車株式会社 画像表示装置
US11294060B2 (en) 2018-04-18 2022-04-05 Faraday & Future Inc. System and method for lidar-based vehicular localization relating to autonomous navigation
JP7087820B2 (ja) * 2018-08-22 2022-06-21 トヨタ自動車株式会社 ラベル読取システム
JP7267755B2 (ja) * 2019-01-23 2023-05-02 株式会社小松製作所 作業機械のためのシステム及び方法
DE102019110871A1 (de) * 2019-04-26 2020-10-29 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug
CN110930336B (zh) * 2019-11-29 2023-11-28 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158695A (ja) 2005-12-05 2007-06-21 Nissan Motor Co Ltd 車載画像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3183284B2 (ja) * 1999-01-19 2001-07-09 株式会社豊田自動織機製作所 車両の後退時の操舵支援装置
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP3624769B2 (ja) * 1999-09-30 2005-03-02 株式会社豊田自動織機 車両後方監視装置用画像変換装置
JP3960153B2 (ja) * 2002-07-16 2007-08-15 日産自動車株式会社 車両周辺監視装置
JP2010136289A (ja) * 2008-12-08 2010-06-17 Denso It Laboratory Inc 運転支援装置及び運転支援方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158695A (ja) 2005-12-05 2007-06-21 Nissan Motor Co Ltd 車載画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110869245A (zh) * 2017-07-07 2020-03-06 日产自动车株式会社 泊车辅助方法以及泊车辅助装置

Also Published As

Publication number Publication date
JPWO2011141971A1 (ja) 2013-07-22
JP5379913B2 (ja) 2013-12-25
WO2011141971A1 (ja) 2011-11-17
US20130010119A1 (en) 2013-01-10

Similar Documents

Publication Publication Date Title
DE112010005565T5 (de) Einparkunterstützungsvorrichtung, Einparkunterstützungssystem und Einparkunterstützungskameraeinheit
DE10296593B4 (de) Fahrunterstützungsvorrichtung
DE102006003538B3 (de) Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
DE112010005670B4 (de) Fahrunterstützungsvorrichtung, Fahrunterstützungssystem und Fahrunterstützungs-Kameraeinheit
DE102014116140B4 (de) Einparkhilfsvorrichtung und Einparkhilfsverfahren für ein Fahrzeug
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
DE102016212405A1 (de) Fahrzeugbildverarbeitungsvorrichtung und Fahrzeugbildverarbeitungssystem
DE102013220669A1 (de) Dynamische Rückspiegelanzeigemerkmale
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
DE102007054067A1 (de) Verfahren zum Verhindern einer Fahrspurabweichung zum Gebrauch bei Fahrzeugen
EP1404545A1 (de) Vorrichtung zur bilddetektion von gegenständen, personen oder dergleichen im umfeld eines fahrzeuges
WO2012152475A1 (de) Verfahren und vorrichtung zur kalibrierung einer projektionseinrichtung eines fahrzeugs
DE102017209427B3 (de) Vorrichtung zur Fahrschlauchabsicherung
DE102013010010B4 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems zum Rangieren und/oder Parken
DE102019120796A1 (de) Fahrzeugfahrumgebungs-Detektionsvorrichtung und Fahrzeugfahr-Steuersystem
DE102013202915A1 (de) Verfahren und Vorrichtung zum Vermessen einer Parklücke für ein Einparkassistenzsystem eines Kraftfahrzeugs
DE102016211227A1 (de) Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102016203710A1 (de) Abstands- und Richtungsschätzung eines Zielpunkts von einem Fahrzeug unter Verwendung einer monokularen Videokamera
DE112015002764T5 (de) Montagewinkeleinstellverfahren und Montagewinkelerfassungseinrichtung für bordeigene Kamera
DE102007016055A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung und Fahrzeugumgebungsüberwachungs-Videoanzeigeverfahren
EP3292023A1 (de) Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges
DE102014206677A1 (de) Kamerasystem und Verfahren zum Erfassen eines Umfeldes eines Fahrzeuges
EP2603403B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung in einem kraftfahrzeug, fahrerassistenzsystem und kraftfahrzeug
EP1724726A1 (de) Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R084 Declaration of willingness to licence
R016 Response to examination communication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee