DE60224473T2 - Fahrhilfssystem - Google Patents

Fahrhilfssystem Download PDF

Info

Publication number
DE60224473T2
DE60224473T2 DE60224473T DE60224473T DE60224473T2 DE 60224473 T2 DE60224473 T2 DE 60224473T2 DE 60224473 T DE60224473 T DE 60224473T DE 60224473 T DE60224473 T DE 60224473T DE 60224473 T2 DE60224473 T2 DE 60224473T2
Authority
DE
Germany
Prior art keywords
image
vehicle
hitch
camera
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60224473T
Other languages
English (en)
Other versions
DE60224473D1 (de
Inventor
Kazufumi Kawasaki-shi Mizusawa
Shusaku Hirakata-shi Okamoto
Takashi Ikoma-shi Yoshida
Ryosuke Yokohama-shi Iida
Yuichi Yokohama-shi Hirama
Michio Urayasu-shi Miwa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Application granted granted Critical
Publication of DE60224473D1 publication Critical patent/DE60224473D1/de
Publication of DE60224473T2 publication Critical patent/DE60224473T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)

Description

  • ALLGEMEINER STAND DER ERFINDUNG
  • 1. GEBIET DER ERFINDUNG
  • Die vorliegende Erfindung betrifft ein Fahrhilfssystem zum Unterstützen des Fahrens, indem ein Bild, das von einer Kamera, mit der ein Fahrzeug ausgestattet ist, aufgenommen wird, auf einer Anzeigeeinrichtung angezeigt wird, die an einer Position bereitgestellt ist, die von einem Fahrersitz aus sichtbar ist, und insbesondere ein Fahrhilfssystem zum Unterstützen des Rückwärtsfahrens des Fahrzeugs beim Ankoppelvorgang einer Anhängekupplung durch Zurücksetzen des Fahrzeugs, das mit einer Anhängekupplung ausgestattet ist, die an ein angehängtes Fahrzeug an dem rückwärtigen Abschnitt des Fahrzeugs angekoppelt wird. Ein Fahrhilfssystem gemäß dem Oberbegriff von Anspruch 1 ist im Dokument EP-A-01 022 903 offenbart.
  • 2. BESCHREIBUNG DES STANDS DER TECHNIK
  • Die Fahrzeuge, die mit einem Fahrhilfssystem ausgestattet sind, das in der Lage ist, die Sicherheit zu überwachen, indem eine Rückfahrkamera an dem rückwärtigen Abschnitt des Fahrzeugs bereitgestellt wird und dann, wenn das Fahrzeug zurückgesetzt werden soll, das von der Rückfahrkamera aufgenommene Bild auf dem Bildschirm angezeigt wird, der in der Nähe des Fahrersitzes bereitgestellt ist, sind immer häufiger anzutreffen. Zu dem Zweck, den Kontakt mit einem rückwärtigen Hindernis zu verhindern, wenn das Fahrzeug zum Zeitpunkt des Parkens zurückgesetzt werden soll, wird die Weitwinkelkamera als diese Rückfahrkamera eingesetzt, so dass der Weitenbereich in der Bildschirmanzeige abgedeckt werden kann.
  • Um das angehängte Fahrzeug, wie beispielsweise den Anhänger, den Campingwagen usw. an den rückwärtigen Abschnitt zu koppeln, gibt es Fahrzeuge, bei denen die An hängekupplung an dem rückwärtigen Abschnitt bereitgestellt ist. Wenn der Anhänger usw. an diese Anhängekupplung gekoppelt wird, muss das Fahrzeug so zurückgesetzt werden, dass sich die Anhängekupplung des Fahrzeugs mit der Kupplungsvorrichtung der Anhängerseite deckt. Aber es ist ein sehr mühsamer Fahrvorgang, das Fahrzeug zurückzusetzen und gleichzeitig das Lenkrad so zu steuern, dass sich die Anhängekupplung, die in einer Position im toten Winkel angebracht ist, die vom Fahrer nicht direkt eingesehen wird, mit der anhängeseitigen Kupplungsvorrichtung deckt.
  • Der Fahrer kann den Vorgang des Ankoppelns der Anhängekupplung, der durch Zurücksetzen des Fahrzeugs ausgeführt wird, allein durch Anzeigen des Bilds, das von der Rückfahrkamera aufgenommen wird, auf dem Bildschirm und dann durch Überwachen des Bilds auf dem Bildschirm ausführen. Die Rückfahrkamera des bisherigen Stands der Technik weist jedoch den hauptsächlichen Zweck auf, die Sicherheitsüberwachung beim Zurücksetzen des Fahrzeugs auszuführen, indem das von der Kamera aufgenommene Bild für den Fahrer bereitgestellt wird, wie oben beschrieben. Somit wird das Bildschirm-Bildanzeigeformat, in dem die Anhängekupplung an die Kupplungsvorrichtung auf der Seite des angehängten Fahrzeugs angekoppelt wird, nicht bereitgestellt. Wenn daher der Kameramodus, in dem die Anhängekupplung nicht in dem von der Kamera aufgenommenen Bild enthalten ist, eingerichtet ist, ist es unmöglich, die Lage der angekoppelten Abschnitte vom Bild auf dem Bildschirm aus zu überwachen. Als Ergebnis dessen wird das Problem verursacht, dass das Fahrhilfssystem des bisherigen Stands der Technik für den Ankoppelvorgang der Anhängekupplung insgesamt nicht von Nutzen ist.
  • KURZDARSTELLUNG DER ERFINDUNG
  • Es ist eine Aufgabe der vorliegenden Erfindung, ein Fahrhilfssystem bereitzustellen, das in der Lage ist, die Ausführung des Rückwärtsfahrvorgangs des Fahrzeugs beim Ankoppelvorgang der Anhängekupplung mit hoher Präzision zu unterstützen, selbst wenn sich die Anhängekupplung nicht auf dem Bild befindet, das von der Kamera aufgenommen wird.
  • Die vorgenannte Aufgabe kann erfüllt werden, indem ein Fahrhilfssystem bereitgestellt wird, wie es in den Ansprüchen im Anhang definiert ist.
  • Gemäß dieser Konfiguration, auch wenn die Anhängekupplung vor der Kamera verborgen ist, kann die Anhängekupplungsposition auf dem Bildschirm überwacht werden, und damit kann der Ankoppelvorgang der Anhängekupplung erleichtert werden.
  • Vorzugsweise weist die Bildverarbeitungseinrichtung in dem Vorgenannten eine Einrichtung zum Anzeigen einer Führungslinie auf, um eine Position einer Kupplungsvorrichtung auf der Seite des angehängten Fahrzeugs, die angekoppelt werden soll, auf dem Bildschirm zu der Anhängekupplung der Anzeigeeinrichtung zu führen.
  • Wenn der Fahrer gemäß dieser Konfiguration das eigene Fahrzeug zurücksetzt, während er das Lenkrad so steuert, dass ein vorgegebener Abschnitt des anderen Fahrzeugs, das an das eigene Fahrzeug gekoppelt wird, sich mit der Führungslinie deckt, kann das eigene Fahrzeug zu der Position geführt werden, in der die Anhängekupplung angekoppelt werden kann, selbst wenn das tatsächliche Bild der Anhängekupplung nicht auf dem Bildschirm angezeigt wird. Damit kann der Ankoppelvorgang der Anhängekupplung erleichtert werden.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist ein Blockschaltbild eines Fahrhilfssystems gemäß einer Ausführungsform der vorliegenden Erfindung.
  • 2 ist eine erläuternde Ansicht einer Zuordnungstabelle, die in einem Fahrhilfssystems in 1 verwendet wird.
  • 3A ist eine Seitenansicht eines Fahrzeugs, an dem eine Rückfahrkamera angebracht ist, und
  • 3B ist eine Draufsicht davon.
  • 4 ist eine Ansicht eines Beispiels für eine Bildschirmanzeige, die in dem in 1 gezeigten Fahrhilfssystem angezeigt wird.
  • 5 ist eine Ansicht, die ein weiteres Beispiel für die Bildschirmanzeige zeigt, die in dem in 1 gezeigten Fahrhilfssystem angezeigt wird.
  • 6A ist eine Ansicht, die den Zustand zeigt, in dem ein anhängendes Fahrzeug von einem angehängten Fahrzeug entfernt ist, und
  • 6B ist eine Ansicht eines angezeigten Beispiels für die Bildschirmanzeige zu diesem Zeitpunkt.
  • 7A ist eine Ansicht, die den Zustand zeigt, in dem sich das anhängende Fahrzeug dem angehängten Fahrzeug nähert, und
  • 7B ist eine Ansicht eines angezeigten Beispiels für die Bildschirmanzeige zu diesem Zeitpunkt.
  • 8A ist eine Ansicht, die den Zustand zeigt, in dem sich das anhängende Fahrzeug dem angehängten Fahrzeug nähert, um eine Ankopplung der Anhängekupplung zu ermöglichen, und
  • 8B ist eine Ansicht eines angezeigten Beispiels der Bildschirmanzeige zu diesem Zeitpunkt.
  • 9 ist eine Ansicht, die ein weiteres Beispiel für die Bildschirmanzeige zeigt, die in dem in 1 gezeigten Fahrhilfssystem angezeigt wird.
  • 10A ist eine Seitenansicht eines Fahrzeugs, an dem eine Anhängekupplung in der Position angebracht ist, an der die Anhängekupplung vor der Rückfahrkamera verborgen ist, und
  • 10B ist eine rückwärtige Ansicht davon.
  • 11 ist eine Ansicht, die ein angezeigtes Beispiel für die Bildschirmanzeige in dem Fahrhilfssystem zeigt, das an dem Fahrzeug in 10a und 10B angebracht ist.
  • 12 ist eine Ansicht, die ein Beispiel für die Bildschirmanzeige zeigt, die einen solchen Zustand veranschaulicht, in dem das angehängte Fahrzeug näher an die Ankoppelposition der Anhängekupplung herankommt als an diejenige in dem angezeigten Beispiel der Bildschirmanzeige in 10A und 10B.
  • BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Eine Ausführungsform der vorliegenden Erfindung wird hierin im Folgenden unter Bezugnahme auf die Zeichnungen beschrieben.
  • 1 ist ein Blockschaltbild, das eine Konfiguration eines Fahrhilfssystems gemäß einer Ausführungsform der vorliegenden Erfindung zeigt. Das Fahrhilfssystem gemäß der vorliegenden Erfindung umfasst eine Bilderfassungseinrichtung 10, einen Bildverarbeitungsabschnitt 20 und eine Anzeigeeinrichtung 30.
  • Die Bilderfassungseinrichtung 10 weist N Bilderfassungseinrichtungen (Kameras 1 bis N) auf, die an dem Fahrzeug angebracht sind. Zum Beispiel weist die Bilderfassungseinrichtung 10 insgesamt acht Kameras auf, d. h. zwei Kameras, die am vorderen Abschnitt des Fahrzeugs angebracht sind, um die Vorderseite des Fahrzeugs zu überwachen, zwei Kameras, die an dem linken Seitenabschnitt des Fahrzeugs angebracht sind, um die linke Seite des Fahrzeugs zu überwachen, zwei Kameras, die an dem rechten Seitenabschnitt des Fahrzeugs angebracht sind, um die rechte Seite des Fahrzeugs zu überwachen, und zwei Kameras, die an dem rückwärtigen Abschnitt des Fahrzeugs angebracht sind, um die rückwärtige Seite des Fahrzeugs zu überwachen.
  • Jede Kamera ist typischerweise eine Farb- oder monochromatische Digitalkamera, die eine Halbleiterbildgebungsvorrichtung wie beispielsweise CCD, CMOS-Vorrichtung usw. aufweist. Außerdem kann jede Kamera aus der (nicht gezeigten) Kombination von Prisma und Spiegel bestehen und kann so konstruiert sein, dass das einfallende Licht, das durch die Linse, das Prisma oder den Spiegel hindurchgeht, zu der Bildgebungsvorrichtung übertragen werden kann, die sich an einer entfernten Position befindet.
  • Obwohl das Fahrzeug hier unter Bezugnahme auf den Personenkraftwagen in der vorliegenden Ausführungsform erläutert wird, umfasst ein solches Fahrzeug das kleine Personenkraftfahrzeug, den Lastkraftwagen, den Bus usw. und umfasst auch Spezialfahrzeuge, wie beispielsweise das Kranfahrzeug, den Schaufellader usw.
  • Die Bilderfassungseinrichtung 10 weist des Weiteren zwei Bildspeicher auf, die den jeweiligen Kameras entsprechen. Zum Beispiel liest ein Bildverarbeitungsabschnitt 20 die Informationen, (aufgenommenes Bild zum vorhergehenden Erfassungszeitpunkt), die in dem anderen Bildspeicher Nb gespeichert werden, mitten in der Erfassung des aufgenommenen Bilds in einen Bildspeicher Na von der Kamera N.
  • Der Bildverarbeitungsabschnitt 20 umfasst eine Bildsynthetisiereinrichtung 21 zum Empfangen der aufgenommenen Bilder von jeweiligen Kameras und zum anschließenden Synthetisieren des Bilds, eine Einrichtung zum Durchsuchen von Zuordnungstabellen 22, die bereitgestellt ist, um die Bildsynthese mit einer hohen Geschwindigkeit zu verarbeiten, eine Videosignal-Generierungseinrichtung 23 zum Umwandeln des Bilds, das von der Bildsynthetisiereinrichtung 21 generiert worden ist, in das Videosignal, eine Zeitsteuerungs-Generierungseinrichtung 24 zum Ausgeben eines Zeitsteuerungssignals an die Bilderfassungseinrichtung 10, die Einrichtung zum Durchsuchen von Zuordnungstabellen 22 und die Videosignal-Generierungseinrichtung 23.
  • Die Bildsynthetisiereinrichtung 21 empfängt die aufgenommenen Bilder von den Kameras 1 bis N und verarbeitet diese aufgenommenen Bilder dann. Die Verarbeitungen hierin sind i) der Bildumwandlungsprozess und ii) der Syntheseprozess, (der den Umriss-Prozess (boundary process) enthält), für die umgewandelten Teilbilder. Diese Prozesse i), ii) können jeweils getrennt durchgeführt werden, andernfalls können alle oder ein Teil dieser Prozesse in einem Schritt durchgeführt werden. In dem Beispiel in 1 wird die Konfiguration mit der Zuordnungstabelle verwendet, so dass die Verarbeitung des aufgenommenen Bilds in einem Schritt ausgeführt wird.
  • Die Zuordnungstabelle ist eine Tabelle, die zum Ausführen des Prozesses bereitgestellt wird, mit dem Positionskoordinaten der Pixel des aufgenommenen Bilds mit hoher Geschwindigkeit in Positionskoordinaten der Pixel des synthetisierten Bilds umgewandelt werden. Die Positionskoordinaten der Pixel des aufgenommenen Bilds und der Positi onskoordinaten der Pixel des synthetisierten Bilds können entweder eine Eins-zu-Eins-Entsprechung oder eine Viele-zu-Eins-Entsprechung aufweisen. Es hängt von Abschnitten des Fahrzeugs ab, an denen jeweilige Kameras angebracht werden sollen, welches synthetisierte Bild von jeweiligen Kameras usw. generiert werden soll, dass die Positionskoordinaten der Pixel des aufgenommenen Bilds und die Positionskoordinaten der Pixel des synthetisierten Bilds eine Entsprechung auf einer Eins-zu-Eins-Basis oder eine Entsprechung auf einer Viele-zu-Eins-Basis aufweisen. Wenn zum Beispiel der Umrissprozess an den Umrissabschnitten zwischen den aufgenommenen Bildern angewendet wird, weisen die Positionskoordination der Pixel des aufgenommenen Bilds und die Positionskoordinaten der Pixel des synthetisierten Bilds nicht immer eine Entsprechung auf Eins-zu-Eins-Basis auf.
  • 2 ist eine Ansicht, die ein Beispiel der Zuordnungstabelle zeigt. In diesem Beispiel wird die Entsprechung zwischen dem synthetisierten Bild und den Zuordnungsdaten basierend auf Pixelkoordinaten (i, j) des synthetisierten Bilds gezeigt. Die Pixelkoordinate (i1, j1) ist das Pixel des Bilds, das von der Kamera 1 aufgenommen worden ist, und Daten der X-Koordinate und der Y-Koordinate (12, 45) des aufgenommenen Bilds und Daten des Notwendigkeitsgrads (1, 0) werden in Entsprechung zu den Koordinaten (Zuordnungsdaten Beispiel 1) aufbereitet. In dem Beispiel in 2 werden in der Pixelkoordinate (i1, j1) des synthetisierten Bilds Pixeldaten des aufgenommenen Bilds an (12, 45) mit dem Notwendigkeitsgrad "1" verwendet, d. h. die Pixeldaten des aufgenommenen Bilds werden unverändert kopiert und dann verwendet.
  • Im Gegensatz dazu ist die Pixelkoordinate (i2, j2) das Pixel, das dem überlappenden Abschnitt zwischen dem Bild, das von der Kamera 1 aufgenommen wurde, und dem Bild, das von der Kamera 2 aufgenommen wurde, entspricht, und die Daten der X-Koordinate und die Y-Koordinate der Bilder, die von der Kamera 1 und der Kamera 2 aufgenommen wurden, und die Daten des Notwendigkeitsgrads werden aufbereitet (Zuordnungsdaten Beispiel 2).
  • In diesem Fall kann der Pixelwert (i2, j2) zum Beispiel bestimmt werden, wie beispielsweise als Pixelwert = {(Pixelwert der Koordinate (56, 80) der Kamera 2) × 0,5 + (Pixelwert der Koordinate (10, 10) der Kamera 1) × 0,3}/(0,5 + 0,3).
  • Wenn die Tabelle, die diese Entsprechungen darstellt, durch die Berechnung oder die manuelle Operation aufbereitet ist, kann das synthetisierte Bild, welches das gesamte Umgebungsterrain des Fahrzeugs darstellt, oder das synthetisierte Bild, das einen Teil des Umgebungsterrains des Fahrzeugs darstellt, (z. B. das rückwärtige Umgebungsterrain des Fahrzeugs oder das seitliche Umgebungsterrain des Fahrzeugs usw.), mit einer hohen Geschwindigkeit generiert werden. Zum Beispiel ist es möglich, das Weitenbereichsbild, das angrenzende Bild oder das synthetisierte Bild, das durch Anordnen beider Bilder auf einer Bildschirmanzeige, was später zu beschreiben ist, unter Verwendung dieser Zuordnungstabelle mit hoher Geschwindigkeit zu synthetisieren.
  • Die Zuordnungstabelle kann in der Bildsynthetisiereinrichtung 21 aufbereitet werden oder außerhalb in der Bildsynthetisiereinrichtung 21 aufbereitet werden. Der (nicht gezeigte) Prozessor in der Bildsynthetisiereinrichtung 21 durchsucht eine beliebige der Zuordnungstabellen zum Generieren des notwendigen synthetisierten Bilds und generiert dann das synthetisierte Bild mit einer hohen Geschwindigkeit. In diesem Fall, wenn der Prozessor die Verarbeitung mit höherer Geschwindigkeit ausführen kann, kann das synthetisierte Bild natürlich mit einer höheren Geschwindigkeit ohne die Verwendung der Zuordnungstabelle generiert werden.
  • Insbesondere ist die Zuordnungstabelle zum Beispiel im ROM (einschließlich beschreibbarer/löschbarer ROM, wie zum Beispiel EEPROM usw.) oder RAM gespeichert. Der Prozessor in der oben genannten Bildsynthetisiereinrichtung 21 kann die Zuordnungstabelle auf den RAM oder ROM schreiben, indem die Zuordnungstabellendaten berechnet werden, andernfalls können die Zuordnungstabellendaten, die als Firmware bereitgestellt werden, auf den oben genannten RAM oder ROM geschrieben werden, indem zum Beispiel die Datenübertragungseinrichtungen verwendet werden, wie beispielsweise die Kommunikationsleitung, das Plattenlaufwerk usw.
  • Die Anzeigeeinrichtung 30 ist typischerweise die Flüssigkristallanzeige, aber es können andere Anzeigevorrichtungen verwendet werden, wie beispielsweise die Plasmaanzeige usw. Außerdem kann diese Anzeigeeinrichtung 30 gemeinsam mit der im Fahrzeug ein gebauten GPS-Terminal-Anzeige verwendet werden, (Anzeige des so genannten Fahrzeug-Navigationssystems), oder sie kann getrennt davon bereitgestellt werden.
  • 3A und 3B sind schematische Ansichten, die die Situation zeigen, dass die Kamera an dem rückwärtigen Abschnitt des Fahrzeugs angebracht ist, wobei 3A eine Seitenansicht des Fahrzeugs ist und 3B eine Draufsicht davon ist. Wie in 3A und 3B gezeigt, ist eine Anhängekupplung 35 zum Ankoppeln eines angehängten Fahrzeugs wie beispielsweise des Anhängers, des Campingswagens usw. unter dem mittleren Abschnitt der hinteren Stoßstange eines anhängenden Fahrzeugs 36 befestigt. Eine Rückfahrkamera 37 ist an dem rückwärtigen Abschnitt des eigenen Fahrzeugs 36 angebracht. In der vorliegenden Ausführungsform ist die Kamera 37 an dem Fahrzeug 36 so befestigt, dass wenigstens ein Teil der Anhängekupplung 35 in den Abbildungsbereich der Kamera 37 gelangen kann.
  • Wenn die Anzahl der eingerichteten Rückfahrkameras 37 Eins beträgt, wird die Rückfahrkamera 37 an dem rückwärtigen Abschnitt des Fahrzeugs 36 angebracht, vorzugsweise an der Position über der Anhängekupplung 35. Diese Position über der Anhängekupplung 35 bedeutet direkt über der Anhängekupplung 35, wie in 3B gezeigt, aber diese Position ist nicht immer auf direkt über der Anhängekupplung 35 begrenzt. Diese Position kann leicht seitlich verschoben sein. In diesem Fall, wenn diese Position zu weit seitlich verschoben ist, weicht die horizontale Komponente der Anhängekupplung 35, auf welche die Kamera 37 hinunterblickt, von der geraden Rücksetzrichtung des Fahrzeugs 36 ab. Daher, selbst wenn die Anhängekupplung 35 in dem aufgenommenen Bild der Kamera 37 erfasst wird, wird die Positionsausrichtung zwischen der Anhängekupplung 35 und der Gegenkopplungsvorrichtung schwierig. In dieser Hinsicht ist es wünschenswert, dass die Kamera 37 so genau wie möglich direkt über der Anhängekupplung 35 befestigt ist.
  • Wie in der vorliegenden Ausführungsform, wenn wenigstens ein Teil der Anhängekupplung 35 in dem aufgenommenen Bild der Kamera 37 erfasst wird, kann die relative Positionsbeziehung zwischen der Anhängekupplung 35 und Kupplungsvorrichtung auf der Seite des angehängten Fahrzeugs durch einen Blick auf das Bild bestätigt werden. Daher lässt sich ein solcher Vorteil erzielen, dass der Ankoppelvorgang der Anhängekupplung erleichtert wird.
  • 4 ist eine Ansicht, die ein Beispiel des synthetisierten Bilds zeigt, das basierend auf dem aufgenommenen Bild der Rückfahrkamera 37 unter Verwendung der oben genannten Zuordnungstabelle synthetisiert wird. In diesem Beispiel wird das synthetisierte Bild gezeigt, das durch Verarbeiten des aufgenommenen Bilds einer Rückfahrkamera 37 unter Verwendung der Zuordnungstabelle erhalten wird, doch kann das in 4 gezeigte synthetisierte Bild generiert werden, indem die Bilder des rechten und linken rückwärtigen Abschnitts des Fahrzeugs mittels jeweils zwei Rückfahrkameras getrennt aufgenommen werden.
  • Da das aufgenommene Bild der Rückfahrkamera 37 auch als das Bild verwendet wird, mit dem die Sicherheit geprüft wird, wenn das Fahrzeug zurückgesetzt wird, wird die Weitwinkelkamera verwendet, um das Bild mit einem Bereich aufzunehmen, der so weitgefasst wie möglich ist. Daher ist das tatsächliche Bild, das von der Kamera 37 aufgenommen wird, ein beträchtlich verzerrtes Bild und stellt eine unverständliche Bildschirmanzeige bereit, wenn ein solches tatsächliches Bild unverändert auf der Anzeigeeinrichtung 30 angezeigt wird. Somit wird in dem in 4 gezeigten Beispiel, da das synthetisierte Bild, aus dem die dem Weitwinkelobjektiv eigene Verzerrung entfernt worden ist, unter Verwendung der Zuordnungstabelle generiert wird, eine horizontale Linie 40 als eine reale gerade Linie angezeigt, und somit kann die Bildschirmanzeige erhalten werden, aus der sich die Wahrnehmung der Entfernung nachvollziehen lässt.
  • In 4 ist ein Bezugszeichen 41a ein Bild des angehängten Fahrzeugs auf der Ankopplungs-Zielseite, und ein Bild 42a der zielseitigen Kupplungsvorrichtung ist darauf angezeigt. Ein Bezugszeichen 36a ist ein Bild des anhängenden Fahrzeugs (eigenes Fahrzeug) 36. Wenn die Kamera so installiert ist, dass der rückwärtige Endabschnitt des eigenen Fahrzeugs 36 in dem Erfassungsbereich der Kamera 37 erfasst werden kann, kann das von der Kamera aufgenommene Bild selbst oder das Bild, das der Koordinatenumwandlung unter Verwendung der Zuordnungstabelle unterzogen wird, als dieses Bild 36a verwendet werden. Wenn im Gegensatz dazu die Kamera 37 so installiert ist, dass der rückwärtige Endabschnitt des eigenen Fahrzeugs 36 nicht erfasst werden kann (siehe 3A), wird ein veranschaulichendes Bild als das Bild 36a des rückwärtigen Endabschnitts des eigenen Fahrzeugs 36 verwendet. Ein Bild 35a der Anhängekupplung 35 auf der Bildschirmanzeige ist das Bild, das durch Koordinatenumwandlung des echten Bilds unter Verwendung der Zuordnungstabelle erhalten wird. Wenn eine Führungslinie 43, die die gerade Rückseite angibt, von diesem Bild 35a auf der Bildschirmanzeige angezeigt wird, kann der Fahrer angeleitet werden, zu erkennen, ob die zielseitige Kupplungsvorrichtung in der Rückwärtsrichtung der Anhängekupplung positioniert ist oder nicht.
  • Der Arbeitsprozess zum Ankoppeln der Anhängekupplung 35 an die Kupplungsvorrichtung auf der Seite des angehängten Fahrzeugs lässt sich grob in zwei Prozesse klassifizieren. Einer ist der Arbeitsprozess, mit dem die Anhängekupplung 35 bis zu einem gewissen Grad nahe an die Ziel-Kupplungsvorrichtung herangebracht wird, und der andere ist der Arbeitsprozess, um die Anhängekupplung 35 exakt an der Ziel-Kupplungsvorrichtung zu befestigen mittels der Feinsteuerung über das Lenkrad, nachdem sie sich bis zu einem gewissen Grad aneinander angenähert haben.
  • Bei dem Ankoppelvorgang der Anhängekupplung, der aus solchen zwei Arbeitsprozessen besteht, wird das Problem verursacht, dass, selbst wenn die Projektion des gleichen Bilds von einem Typ fortgesetzt wird, d. h. selbst wenn während zwei Arbeitsschritten nur das in 4 gezeigte Bild auf der Bildschirmanzeige angezeigt wird, ein solches Bild für die Ankopplung der Anhängekupplung nicht besonders nützlich ist. Der Grund dafür ist, dass das Bild, das für einen Arbeitsprozess geeignet ist, in dem anderen Arbeitsprozess kaum zu verwenden ist, weil der Blickfeldbereich eines solchen Bilds auf der Bildschirmanzeige zu weit oder zu eng ist, oder das dazwischen liegende Bild, das auf beide Arbeitsprozesse anwendbar zu sein scheint, einen für beide Arbeitsprozesse unvollständigen Blickfeldbereich aufweist.
  • Um dieses Problem zu überwinden, werden in der vorliegenden Ausführungsform ein Weitenbereich-Bild zum Anzeigen eines weiten Bereichs der rückwärtigen Seite des Fahrzeugs, das die Anhängekupplung 35 umfassen soll, und ein angrenzendes Bild zum Anzeigen von nur einem extrahierten Teilbereich, das die Anhängekupplung 35 in diesem Weitenbereich-Bild umfassen soll, generiert, (wobei das angrenzende Bild nicht auf die angrenzende Umgebung begrenzt ist, sondern ein Teil des Weitenbereich-Bilds verwendet werden kann), und dann werden das Weitenbereich-Bild und das angrenzende Bild geschaltet, um sie anzuzeigen. Vorzugsweise, wie in 5 gezeigt, ist die Bildschirmanzeige der Anzeigeeinrichtung 30 in zwei Bildschirmanzeigen unterteilt, und das Weitenbereich-Bild 50 und das angrenzende Bild 51 werden parallel angezeigt. Es ist möglich, sowohl das Weitenbereich-Bild 50 als auch das angrenzende Bild 51 gleichzeitig unter Verwendung einer Zuordnungstabelle zu generieren, um sie auf der Bildschirmanzeige der Anzeigeeinrichtung 30 anzuzeigen, andernfalls ist es möglich, das Weitenbereich-Bild 50 und das angrenzende Bild 51 getrennt zu generieren, um sie anzuzeigen. In diesem Fall bezeichnet ein Bezugszeichen 70 in 4 und 5 eine Führungslinie, die eine Breite des eigenen Fahrzeugs angibt, und ein Bezugszeichen 71 gibt eine Führungslinie an, die eine Breite des eigenen Fahrzeugs und eine Entfernung von dem eigenen Fahrzeug angibt.
  • 6A, 6B, 7A, 7B, 8A und 8B sind Ansichten, die den Übergang des Bilds veranschaulichen, das auf der Bildschirmanzeige der Anzeigeeinrichtung 30 zusammen mit dem Fortschritt der jeweiligen Arbeitsprozesse beim Ankoppeln der Anhängekupplung angezeigt wird. 6B ist ein angezeigtes Beispiel für die Bildschirmanzeige im Anfangszustand des Ankoppelvorgangs der Anhängekupplung (wie in 6A gezeigt, ist das eigene Fahrzeug 36 von dem angehängten Fahrzeug 41 entfernt). In diesem Zustand wird das angehängte Fahrzeug 41 in dem angrenzenden Bild 51 rechts neben dem synthetisierten Bild nicht angezeigt. Daher setzt der Fahrer das eigene Fahrzeug 36 unter Beobachtung des Weitenbereich-Bilds 50 auf der linken Seite des synthetisierten Bilds zurück, um sich dem angehängten Fahrzeug 41 anzunähern, bis das angehängte Fahrzeug 41 in dem angrenzenden Bild 52 angezeigt werden kann.
  • Wenn dann wie in 7A gezeigt, das eigene Fahrzeug 36 bis zu einem gewissen Grad nahe an das angehängte Fahrzeug 41 herangebracht worden ist, und auch das Bild 42a der Kupplungsvorrichtung des angehängten Fahrzeugs in dem angrenzenden Bild 51 in 7B erscheint, wird der beständige Blick des Fahrers von dem Weitenbereich-Bild 50, das auf der linken Seite angezeigt wird, auf das angrenzende Bild 51 gelenkt, das auf der rechten Seite angezeigt wird. In diesem Zustand setzt der Fahrer das eigene Fahrzeug mit einer geringen Geschwindigkeit zurück, wobei er das Lenkrad steuert, um die hochgenaue Positionsausrichtung zwischen der Anhängekupplung 35 und der Ziel-Kupplungsvorrichtung 42 zu erreichen. Auf diese Weise, wie in 8A gezeigt, wird die Positionsausrichtung zwischen der Anhängekupplung 35 und der Ziel-Kupplungsvorrichtung 42 abgeschlossen, und die Bildschirmanzeige zu diesem Zeitpunkt ist in 8B gezeigt.
  • Auf diese Weise kann der Fahrer sein eigenes Fahrzeug 36 langsam zurücksetzen, während er die grobe relative Positionsbeziehung zwischen dem angehängten Fahrzeug 41 und dem eigenen Fahrzeug 36 über das Weitenbereich-Bild 50 auf der linken Seite des Bildschirms in dem ersten Prozess des Ankoppelvorgangs der Anhängekupplung prüft und dann die präzise Positionsausrichtung zwischen ihnen ausführt, während er im nächsten Prozess das angrenzende Bild 51 im Blick behält, in dem das Anhängekupplungsbild 36a und die Ziel-Kupplungsvorrichtung 42a vergrößert sind.
  • 9 ist eine Ansicht, die ein angezeigtes Beispiel der Bildschirmanzeige gemäß einer anderen Ausführungsform der vorliegenden Erfindung zeigt. In dem in 5 gezeigten synthetisierten Bild werden das Weitenbereich-Bild 50 und das angrenzende Bild 51 nur parallel auf einer Bildschirmanzeige angezeigt. Im Gegensatz dazu wird in dem in 9 gezeigten Beispiel der Bildschirmanzeige die Beziehung zwischen ihnen auf der Bildschirmanzeige deutlich gezeigt. Insbesondere ist eine Hilfslinie 53, die den Bereich des angrenzenden Bilds 51 angibt, in dem Weitenbereich-Bild 50 dargestellt. Das heißt, der Bereich, der von einem Trapezoid, (der Hilfslinie 53), an dem mittleren unteren Abschnitt des linken Weitenbereich-Bilds 50 umgeben ist, entspricht dem dargestellten Bereich des angrenzenden Bilds 51 rechts.
  • Auf diese Weise, weil die Entsprechung zwischen diesen beiden Bildern 50, 51 deutlich gezeigt ist, kann der Fahrer den Zeitpunkt problemlos erfassen, an dem die Überwachung des Objekts von dem Weitenbereich-Bild 50 auf das angrenzende Bild 51 wechseln sollte. Somit kann jede Verwechselung in Bezug darauf, welches Bild betrachtet werden sollte, verhindert werden.
  • In diesem Fall können sowohl das Weitenbereich-Bild 50 als auch das angrenzende Bild 51 in einer Bildschirmanzeige angezeigt werden, nachdem der Bildschirm geteilt wurde, wie im Beispiel in 5. Das Weitenbereich-Bild 50 und das angrenzende Bild 51 werden auch getrennt so generiert, dass zwei Bilder getrennt angezeigt werden können, und dann können diese zwei Bilder durch den Bildschirmanzeige-Umschaltevorgang des Fahrers umgeschaltet werden, z. B. durch den Vorgang des Berührens des Bildschirms. Es ist auch möglich, dieses Umschalten automatisch auszuführen. Zum Beispiel ist der Entfernungssensor, wie beispielsweise der Ultraschallsensor, an dem rückwärtigen Ab schnitt des eigenen Fahrzeugs angebracht, und dann kann das Weitenbereich-Bild 50 auf der Bildschirmanzeige der Anzeigeeinrichtung 30 bis zu einer Entfernung angezeigt werden, an der das angehängte Fahrzeug eine vorgegebene Entfernung erreicht, und dann kann das angrenzende Bild 51 auf der Bildschirmanzeige angezeigt werden, wenn das eigene Fahrzeug sich auf mehr als die vorgegebene Entfernung nähert.
  • In der oben genannten Ausführungsform wird die Einbauposition der Kamera an dem Fahrzeug so bestimmt, dass wenigstens ein Teil der Anhängekupplung von der Kamera erfasst werden kann. Allerdings sind die Fälle, in den die Kamera tatsächlich physisch nicht so auf dem Fahrzeug angebracht werden kann, dass sie die Anhängekupplung erfasst, von nicht geringer Anzahl. Wie in 10A und 10B gezeigt, wenn zum Beispiel ein konkaver Abschnitt 61a in dem mittleren unteren Abschnitt einer rückwärtigen Stoßstange 61 eines anhängenden Fahrzeugs 60 ausgebildet ist, und dann eine Anhängekupplung 62 an der unteren Position des konkaven Abschnitts 61a befestigt wird, kann die Anhängekupplung 62 nicht direkt von der Rückfahrkamera 63 gesehen werden, die an dem rückwärtigen Abschnitt des Fahrzeugs 60 angebracht ist. In einem solchen Fall besteht die Notwendigkeit, dass der Fahrer den Ankoppelvorgang der Anhängekupplung ausführen kann, während er auf das von der Rückfahrkamera aufgenommene Bild blickt. Außerdem muss in dem Fall des in 10A und 10B gezeigten Fahrzeugs 60 das eigene Fahrzeug 60 so zurückgesetzt werden, dass die Ziel-Kupplungsvorrichtung sowie die Anhängekupplung in dem konkaven Abschnitt 61a der Stoßstange 61 eingepasst werden können (10B). Somit ist eine Steuerung des Lenkrads mit höherer Genauigkeit erforderlich.
  • Wenn daher das Bild der Anhängekupplung nicht direkt von der Kamera aufgenommen werden kann, setzen sich die in 11 und 12 gezeigten Ausführungsformen mit einem solchen Fall auseinander. In einem angezeigten Beispiel der in 11 gezeigten Bildschirmanzeige wird eine Führung 62a, welche die Position der Anhängekupplung angibt, (in diesem Beispiel das dargestellte Bild der Anhängekupplung), durch Überlagern des synthetisierten Bilds, wie in 4 gezeigt, angezeigt. Außerdem werden in der vorliegenden Ausführungsform eine Ausrichtungsführung, (eine Führung, die dem konkaven Abschnitt 61a der Stoßstange entspricht: eine Führungslinie, die in einer Form von fast einem "U" durch eine gepunktete Linie um das dargestellte Anhängekupplungsbild 62a in 11 angegeben ist), 64 der Ziel-Kupplungsvorrichtung und eine Führungs linie 65, die das obere Ende der Stoßstangenposition des angehängten Fahrzeugs angibt, die als ein Ziel der Ankopplung der Anhängekupplung dient, angezeigt. Da diese Führungslinie 65 in der Form von fast einem "U" von beiden Endabschnitten ausgebildet ist, wodurch die Führungslinien 65L, 65R, die die Positionen der Breiten angeben, welche die gleichen wie die Bildbreiten des angehängten Fahrzeugs sind, bereitgestellt werden, kann die Ziel-Kupplungsvorrichtung, (deren Bild 42a), in das Innere der Führungslinie 64 gelangen, wenn das Bild 41a des angehängten Fahrzeugs genau auf eine Breite dieser Führungslinie 65 eingepasst wird. Daher ist die Führungslinie 64 unerlässlich und wird bereitgestellt, wenn sich die Notwendigkeit ergibt.
  • Während er auf die Bildschirmanzeige in 11 blickt, d. h. während er die Führung 62a überwacht, die die Position der Anhängekupplung angibt, steuert der Fahrer das Lenkrad so, dass er die Anhängekupplung nahe an die Ziel-Kupplungsvorrichtung heranbringt und setzt das eigene Fahrzeug zurück, bis die Ziel-Kupplungsvorrichtung von der Stoßstange des eigenen Fahrzeugs verdeckt wird oder dergleichen. Der Punkt des Augenmerks zu diesem Zeitpunkt ist, das eigene Fahrzeug so zurückzusetzen, dass seitliche Positionen der Anhängekupplungsführung, (dargestelltes Bild der Anhängekupplung), 62a und das Bild 42a der Ziel-Kupplungsvorrichtung sich mit der Führungslinie 43 decken können, d. h. das Bild 42a der Ziel-Kupplungsvorrichtung sich mit der Führungslinie 43 decken kann, die sich von der Anhängekupplungsposition direkt nach hinten erstreckt. Wenn sich beide nicht decken, wird das Vorwärts- und Rückwärtsfahren des eigenen Fahrzeugs wiederholt, bis beide sich decken können. Zu diesem Zeitpunkt, um den Fall zu verhindern, dass die Kupplungsvorrichtung aus dem konkaven Abschnitt 61a der eigenen Fahrzeug-Stoßstange entfernt wird und störend auf die Stoßstange 61 einwirkt, muss darauf geachtet werden, das Bild 41a des angehängten Fahrzeugs nicht aus der rechten und der linken Führung 65L, 65R der Führungslinie 65 zu verschwenken, wenn das Bild 42a der Ziel-Kupplungsvorrichtung von dem Bild des eigenen Fahrzeugs 60a verdeckt wird.
  • Wenn sich das dargestellte Bild 62a der Anhängekupplung auf diese Weise mit dem Bild 42a der Ziel-Kupplungsvorrichtung deckt, dann wird das eigene Fahrzeug geradeaus und langsam unverändert zurückgesetzt, um den in 12 gezeigten Zustand zu erreichen. Die Positionsausrichtung der Anhängekupplung ist dann zu einem Zeitpunkt ab geschlossen, an dem die Führungslinie 65 und das Bild des oberen Endes der Stoßstange des angehängten Fahrzeugs sich genau überlappen.
  • Auf diese Weise kann die Positionsausrichtung gemäß der vorliegenden Erfindung zwischen der Anhängekupplung und der Kupplungsvorrichtung auf der Seite des angehängten Fahrzeugs mit einer guten Präzision ausgeführt werden, selbst wenn die Rückfahrkamera das Bild der Anhängekupplung nicht erfassen kann.
  • In den Ausführungsformen in 11 und 12 können das Weitenbereich-Bild und das angrenzende Bild, die in der vorhergehenden Ausführungsform beschrieben worden sind, jeweils so geschaltet werden, dass sie angezeigt werden, oder sie können parallel in einer Bildschirmanzeige angezeigt werden. In diesem Fall wird das angrenzende Bild erläutert, aber das Bild, das den angrenzenden Bereich aufnimmt, sollte nicht immer verwendet werden. Wenn zum Beispiel der Bildabschnitt der Ziel-Kupplungsvorrichtung zum Anzeigen extrahiert wird, ist ein solcher Bildabschnitt bei der Positionsausrichtung der Anhängekupplung effektiv. Auch das vergrößerte Bild wird nicht immer als das angrenzende Bild verwendet, und das verzerrte Bild, auf das die Koordinatenumwandlung angewendet wird, um den Sichtpunkt über das Fahrzeug festzulegen, kann verwendet werden.
  • Gemäß der vorliegende Erfindung ist die Kamera so eingerichtet, dass wenigstens ein Teil der Anhängekupplung in dem von der Kamera erfassten Bild angezeigt werden kann. Daher kann die relative Positionsbeziehung zwischen der Anhängekupplung und der Ziel-Kupplungsvorrichtung leicht über das von der Kamera aufgenommene Bild erfasst werden, und somit kann der Ankoppelvorgang mit guter Genauigkeit ausgeführt werden.
  • Auch in diesem Ankoppelvorgang wird eine Vielzahl von Bildern, die für den Fahrer erforderlich sind und verschiedene Blickfelder umfassen, so geschaltet, dass sie jeweils angezeigt werden oder gleichzeitig parallel angezeigt werden. Daher lässt sich der Ankoppelvorgang noch weiter erleichtern.
  • Außerdem, selbst wenn die Anhängekupplung von der Kamera nicht erfasst werden kann, kann die eigentliche Führungsanzeige auf dem Bildschirm angezeigt werden. Da her kann die Positionsausrichtung, die für den Ankoppelvorgang mit höherer Präzision erforderlich ist, erreicht werden.

Claims (4)

  1. Fahrhilfssystem, umfassend: – eine Anzeigeeinrichtung (30), die an einer Position angeordnet ist, auf die von einem Fahrersitz eines Fahrzeugs (60) aus geblickt werden kann; – eine Bilderfassungseinrichtung (10, 63) zum Erfassen eines Bilds einer Rückwärtsrichtung des Fahrzeugs (60), wobei das Fahrzeug (60) mit einer Anhängerkupplung (62) ausgestattet ist; gekennzeichnet durch eine Bildverarbeitungseinrichtung (20) zum Überlagern eines dargestellten Bilds der Anhängerkupplung (62), das eine Anwesenheitsposition der Anhängerkupplung (62) angibt, mit der ein rückwärtiger Teil des Fahrzeugs (60) ausgestattet ist, über ein synthetisch hergestelltes Bild, wobei es angezeigt werden soll, wenn das synthetisch hergestellte Bild, das durch Bildverarbeitung des von der Bilderfassungseinrichtung (10, 63) erfassten Bilds erhalten wird, auf der Anzeigeeinrichtung (30) angezeigt wird.
  2. Fahrhilfssystem nach Anspruch 1, wobei die Bildverarbeitungseinrichtung (20) eine Einrichtung zum Umschalten des synthetisch hergestellten Bilds und eines extrahierten Bilds aufweist, das erhalten wird, indem ein vorgegebener Bereich des synthetisch hergestellten Bilds ausgeschnitten wird, um es zu vergrößern oder umzuformen und es auf der Anzeigeeinrichtung anzuzeigen.
  3. Fahrhilfssystem nach Anspruch 2, wobei die Bildverarbeitungseinrichtung (20) eine Einrichtung zum Anzeigen des synthetisch hergestellten Bilds und eines extrahierten Bilds aufweist, das erhalten wird, indem ein vorgegebener Bereich des synthetisch hergestellten Bilds ausgeschnitten wird, der parallel auf einer Bildschirmanzeige der Anzeigeeinrichtung vergrößert oder umgeformt werden soll.
  4. Fahrhilfssystem nach Anspruch 1, wobei die Bildverarbeitungseinrichtung eine Einrichtung zum Bewirken einer Führungslinie zum Führen einer Position einer Anhängerfahrzeug-Seitenkupplung aufweist, die an die Anhängerkupplung gekoppelt werden soll, die auf einer Bildschirmanzeige der Anzeigeeinrichtung angezeigt werden soll.
DE60224473T 2001-04-09 2002-04-05 Fahrhilfssystem Expired - Lifetime DE60224473T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001110257 2001-04-09
JP2001110257A JP3483143B2 (ja) 2001-04-09 2001-04-09 運転支援装置

Publications (2)

Publication Number Publication Date
DE60224473D1 DE60224473D1 (de) 2008-02-21
DE60224473T2 true DE60224473T2 (de) 2009-01-08

Family

ID=18962066

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60224473T Expired - Lifetime DE60224473T2 (de) 2001-04-09 2002-04-05 Fahrhilfssystem

Country Status (4)

Country Link
US (1) US7006127B2 (de)
EP (1) EP1251025B1 (de)
JP (1) JP3483143B2 (de)
DE (1) DE60224473T2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009045284A1 (de) * 2009-10-02 2011-04-07 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
DE102017211395B4 (de) 2016-08-05 2024-03-14 Volkswagen Aktiengesellschaft Verfahren zur Unterstützung eines Ankuppelvorgangs sowie Unterstützungssystem

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7375728B2 (en) * 2001-10-01 2008-05-20 University Of Minnesota Virtual mirror
JP4739569B2 (ja) * 2001-04-09 2011-08-03 パナソニック株式会社 運転支援装置
JP2003104145A (ja) * 2001-09-28 2003-04-09 Matsushita Electric Ind Co Ltd 運転支援表示装置
US20060061008A1 (en) 2004-09-14 2006-03-23 Lee Karner Mounting assembly for vehicle interior mirror
JP2004212658A (ja) * 2002-12-27 2004-07-29 Sumitomo Electric Ind Ltd 画像表示システム、画像表示方法及び画像処理装置
DE102004008928A1 (de) * 2004-02-24 2005-09-08 Bayerische Motoren Werke Ag Verfahren zum Ankuppeln eines Anhängers unter Einsatz einer Fahrzeugniveauregulierung
US20050206225A1 (en) * 2004-03-18 2005-09-22 Ford Global Technologies, Llc Method and apparatus for predicting the position of a trailer relative to a vehicle
US20050206231A1 (en) * 2004-03-18 2005-09-22 Ford Global Technologies, Llc Method and apparatus for controlling an automotive vehicle using brake-steer and normal load adjustment
US7950751B2 (en) * 2004-03-18 2011-05-31 Ford Global Technologies Method and apparatus for maintaining a trailer in a straight position relative to the vehicle
US8380416B2 (en) * 2004-03-18 2013-02-19 Ford Global Technologies Method and apparatus for controlling brake-steer in an automotive vehicle in reverse
DE102004029130A1 (de) * 2004-06-17 2005-12-29 Daimlerchrysler Ag Verfahren zur Ankupplung eines Anhängers an ein Kraftfahrzeug
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
DE102005031365B4 (de) * 2005-06-30 2008-04-30 Jost-Werke Gmbh Vorrichtung zum Nachweis und zur Anzeige der Position von Komponenten von Fahrzeugkupplungen
JP4679293B2 (ja) * 2005-08-08 2011-04-27 三洋電機株式会社 車載パノラマカメラシステム
JP2007108159A (ja) * 2005-09-15 2007-04-26 Auto Network Gijutsu Kenkyusho:Kk 運転支援装置
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
DE102005055350A1 (de) * 2005-11-21 2007-05-24 Robert Bosch Gmbh Verfahren zur Steuerung der Gesichtsfeldgröße eines Videosystems und Videosystem für ein Kraftfahrzeug
US8194132B2 (en) * 2006-01-20 2012-06-05 Old World Industries, Llc System for monitoring an area adjacent a vehicle
US8698894B2 (en) 2006-02-07 2014-04-15 Magna Electronics Inc. Camera mounted at rear of vehicle
JP4104631B2 (ja) 2006-03-27 2008-06-18 三洋電機株式会社 運転支援装置
US20070233361A1 (en) * 2006-03-30 2007-10-04 Ford Global Technologies, Llc Centralized Image Processing For An Automobile With A Navigation System
JP4257356B2 (ja) * 2006-09-26 2009-04-22 株式会社日立製作所 画像生成装置および画像生成方法
DE102006049541B4 (de) * 2006-10-20 2018-10-31 Volkswagen Ag Verfahren und Vorrichtung zur Ermittlung einer Anhängerstützlast
JP4853712B2 (ja) * 2006-12-28 2012-01-11 アイシン精機株式会社 駐車支援装置
US8888120B2 (en) * 2007-01-25 2014-11-18 Target Hitch Llc Towing vehicle guidance for trailer hitch connection
US8888121B2 (en) * 2007-01-25 2014-11-18 Target Hitch Llc Towing vehicle guidance for trailer hitch connection
JP4286294B2 (ja) * 2007-02-21 2009-06-24 三洋電機株式会社 運転支援システム
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US20090002487A1 (en) * 2007-06-26 2009-01-01 Martin Poulin Portable Vehicle Mounted Monitoring System
US8451107B2 (en) 2007-09-11 2013-05-28 Magna Electronics, Inc. Imaging system for vehicle
US7777615B2 (en) 2008-03-20 2010-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. System for assisting the attachment of a trailer to a vehicle
US20090271078A1 (en) * 2008-04-29 2009-10-29 Mike Dickinson System and method for identifying a trailer being towed by a vehicle
TWI334393B (en) * 2008-10-07 2010-12-11 Ind Tech Res Inst Image-based vehicle maneuvering assistant method and system
CN101727756B (zh) * 2008-10-16 2012-07-25 财团法人工业技术研究院 交通工具移动图像辅助导引方法与系统
JP5116657B2 (ja) * 2008-12-25 2013-01-09 本田技研工業株式会社 牽引物接続検知装置
GB2469438B (en) * 2009-03-09 2014-04-09 Applic Solutions Electronics & Vision Ltd Display movement of an object
US8138899B2 (en) * 2009-07-01 2012-03-20 Ford Global Technologies, Llc Rear camera backup assistance with touchscreen display using two points of interest
US20110153266A1 (en) * 2009-12-23 2011-06-23 Regents Of The University Of Minnesota Augmented vehicle location system
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
US9085261B2 (en) 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
EP3188480B1 (de) 2011-03-02 2019-01-02 Panasonic Intellectual Property Management Co., Ltd. Fahrhilfevorrichtung und zugfahrzeug
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9723274B2 (en) 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US10196088B2 (en) 2011-04-19 2019-02-05 Ford Global Technologies, Llc Target monitoring system and method
DE102012200946A1 (de) * 2012-01-24 2013-07-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterstützen eines Ankuppelns eines Anhängers
US20130226390A1 (en) * 2012-02-29 2013-08-29 Robert Bosch Gmbh Hitch alignment assistance
US8976246B1 (en) * 2012-04-03 2015-03-10 Michael E. Rappuhn Gooseneck or fifth wheel trailer hitch alignment and safety system
US9446713B2 (en) 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9558409B2 (en) 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
US10755110B2 (en) 2013-06-28 2020-08-25 Magna Electronics Inc. Trailering assist system for vehicle
US20150115571A1 (en) * 2013-10-24 2015-04-30 GM Global Technology Operations LLC Smart tow
CN105898189A (zh) * 2014-05-06 2016-08-24 无锡威莱斯电子有限公司 倒车辅助线可调节的无线倒车影像系统
US9963004B2 (en) 2014-07-28 2018-05-08 Ford Global Technologies, Llc Trailer sway warning system and method
US9804022B2 (en) 2015-03-24 2017-10-31 Ford Global Technologies, Llc System and method for hitch angle detection
US10611407B2 (en) 2015-10-19 2020-04-07 Ford Global Technologies, Llc Speed control for motor vehicles
US10384607B2 (en) 2015-10-19 2019-08-20 Ford Global Technologies, Llc Trailer backup assist system with hitch angle offset estimation
JP6763728B2 (ja) * 2015-10-22 2020-09-30 新明和工業株式会社 コンテナ荷役車両
JP6716411B2 (ja) * 2015-10-22 2020-07-01 新明和工業株式会社 コンテナ荷役車両
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10017115B2 (en) 2015-11-11 2018-07-10 Ford Global Technologies, Llc Trailer monitoring system and method
US9731568B2 (en) * 2015-12-01 2017-08-15 GM Global Technology Operations LLC Guided tow hitch control system and method
US10011228B2 (en) 2015-12-17 2018-07-03 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system using multiple imaging devices
US10155478B2 (en) 2015-12-17 2018-12-18 Ford Global Technologies, Llc Centerline method for trailer hitch angle detection
US9610975B1 (en) * 2015-12-17 2017-04-04 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US9798953B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Template matching solution for locating trailer hitch point
US9796228B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US9827818B2 (en) 2015-12-17 2017-11-28 Ford Global Technologies, Llc Multi-stage solution for trailer hitch angle initialization
US9934572B2 (en) 2015-12-17 2018-04-03 Ford Global Technologies, Llc Drawbar scan solution for locating trailer hitch point
US10005492B2 (en) 2016-02-18 2018-06-26 Ford Global Technologies, Llc Trailer length and hitch angle bias estimation
US10106193B2 (en) 2016-07-01 2018-10-23 Ford Global Technologies, Llc Enhanced yaw rate trailer angle detection initialization
US10046800B2 (en) 2016-08-10 2018-08-14 Ford Global Technologies, Llc Trailer wheel targetless trailer angle detection
US10222804B2 (en) 2016-10-21 2019-03-05 Ford Global Technologies, Llc Inertial reference for TBA speed limiting
JP6729409B2 (ja) 2017-01-16 2020-07-22 アイシン精機株式会社 周辺監視装置
EP3379222B1 (de) 2017-03-22 2020-12-30 Methode Electronics Malta Ltd. Auf magnetoelastik basierte sensoranordnung
US10332002B2 (en) * 2017-03-27 2019-06-25 GM Global Technology Operations LLC Method and apparatus for providing trailer information
US10710585B2 (en) 2017-09-01 2020-07-14 Ford Global Technologies, Llc Trailer backup assist system with predictive hitch angle functionality
EP3495202B1 (de) * 2017-12-05 2020-08-19 Guima Palfinger S.A.S. Lastwagenmontierbares detektionssystem
US11221262B2 (en) 2018-02-27 2022-01-11 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
EP3758959A4 (de) 2018-02-27 2022-03-09 Methode Electronics, Inc. Schleppsysteme und -verfahren mit verwendung von magnetfeldmessung
US11084342B2 (en) 2018-02-27 2021-08-10 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11491832B2 (en) 2018-02-27 2022-11-08 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11014417B2 (en) 2018-02-27 2021-05-25 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11135882B2 (en) 2018-02-27 2021-10-05 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US10351061B1 (en) * 2018-03-09 2019-07-16 Deere & Company Implement attachment guidance system
US11050933B2 (en) * 2018-04-27 2021-06-29 Continenal Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
US11077795B2 (en) 2018-11-26 2021-08-03 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
US20200238912A1 (en) * 2019-01-30 2020-07-30 AISIN Technical Center of America, Inc. Backup camera system for a vehicle having a trailer hitch
US10829046B2 (en) 2019-03-06 2020-11-10 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
WO2021141935A1 (en) * 2020-01-06 2021-07-15 Gentex Corporation Full display mirror system with ruggedized portable imager
US20210347410A1 (en) * 2020-05-08 2021-11-11 Ford Global Technologies, Llc Trailer gps location storage and recall for hitch assist operation

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03295759A (ja) 1990-04-12 1991-12-26 Hitachi Ltd 監視装置
US5112172A (en) * 1990-09-12 1992-05-12 Knorr Brake Holding Corporation Sliding pull up stanchion and method
DE4135795A1 (de) 1991-10-30 1993-05-06 Rockinger Spezialfabrik Fuer Anhaengerkupplungen Gmbh & Co, 8000 Muenchen, De Sattelzug stichwort: multikupplung fuer sattelauflieger
JP3214022B2 (ja) 1992-01-31 2001-10-02 株式会社島津製作所 車両連結作業用ディスプレイ
US5650764A (en) 1994-08-25 1997-07-22 Mccullough; Deborah Y. Trailer alignment device with visual display
EP1783724A2 (de) * 1996-06-19 2007-05-09 Matsushita Electric Industrial Co., Ltd. Gerät zur Gewinnung von Straßennetzzonendaten aus den Blockdaten einer Straßennetzkarte, System zum Umformen dieser Daten für die Erstellung einer umgeformten Karte aus den mit dem Gerät erhaltenen Straßennetzzonendaten, Karteninformationslieferungssystem, System zur Lieferung geografischer Informationen und Verfahren zur Beschreibung geografischer Informationen
JP3575279B2 (ja) 1998-05-22 2004-10-13 アイシン精機株式会社 駐車補助装置
JP3183284B2 (ja) 1999-01-19 2001-07-09 株式会社豊田自動織機製作所 車両の後退時の操舵支援装置
US7366595B1 (en) 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
WO2001012472A1 (fr) * 1999-08-12 2001-02-22 Kabushiki Kaisha Toyoda Jidoshokki Seisakusho Dispositif d'assistance directionnelle
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP2002359839A (ja) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009045284A1 (de) * 2009-10-02 2011-04-07 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
DE102017211395B4 (de) 2016-08-05 2024-03-14 Volkswagen Aktiengesellschaft Verfahren zur Unterstützung eines Ankuppelvorgangs sowie Unterstützungssystem

Also Published As

Publication number Publication date
JP2002312768A (ja) 2002-10-25
US7006127B2 (en) 2006-02-28
EP1251025A2 (de) 2002-10-23
EP1251025A3 (de) 2005-12-07
EP1251025B1 (de) 2008-01-09
DE60224473D1 (de) 2008-02-21
US20020145663A1 (en) 2002-10-10
JP3483143B2 (ja) 2004-01-06

Similar Documents

Publication Publication Date Title
DE60224473T2 (de) Fahrhilfssystem
DE102018101542B4 (de) Bordanzeigevorrichtung, Steuerverfahren für Bordanzeigevorrichtung und Steuerprogramm für Bordanzeigevorrichtung
EP3501897B1 (de) Sichtsystem zur erfassung einer fahrzeugumgebung
DE102005018773B4 (de) Vorrichtung zur Sicht der Umgebung eines Fahrzeugs
DE60200152T2 (de) Hilfsvorrichtung zur Steuerung eines Kraftfahrzeuges
DE19923964C2 (de) Umgebungs-Überwachungsgerät für ein Fahrzeug
EP3024700B1 (de) Verfahren und vorrichtung zur wiedergabe eines seitlichen und/oder rückwärtigen umgebungsbereichs eines fahrzeugs
DE10109350B4 (de) Unterstützungseinrichtung zum Rückwärtseinparken eines Fahrzeugs in Reihe
DE60218260T2 (de) Vorrichtung zum Überwachen der Umgebung eines Fahrzeuges und Verfahren zur Einstellung derselben
DE102004043257B4 (de) Kameraeinheit und Vorrichtung zur Überwachung der Fahrzeugumgebung
EP3157786B1 (de) Fahrzeug mit umfeldüberwachungseinrichtung sowie verfahren zum betreiben einer solchen überwachungseinrichtung
DE60310799T2 (de) Bildanzeigevorrichtung und Verfahren für ein Fahrzeug
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
EP2987663B1 (de) Fahrerassistenzsystem für ein nutzfahrzeuggespann sowie verfahren zur durchführung eines ankuppelvorgangs
DE10083445B4 (de) Fahrzeug-Rückwärts-Überwachungsvorrichtung mit einer Anzeigesteuereinrichtung zur Transformation eines Eingabebildes
EP2603413A1 (de) Verfahren zur unterstützung eines parkvorgangs eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
DE112016000767T5 (de) Fahrassistenzvorrichtung und fahrassistenzverfahren
EP3012154B1 (de) Verfahren und vorrichtung zur unterstützung eines fahrers eines fahrzeug-gespanns, insbesondere eines nutzfahrzeug-gespanns
DE60211928T2 (de) Fahrunterstützungsanzeigevorrichtung
DE102011079913A1 (de) Sichtunterstützungssystem für einen Fahrer und Fahrzeug mit einem solchen System
DE102007059735A1 (de) Stereo-Sichtsystem für Fahrzeuge zur Erkennung seitlich liegender Hindernisse
DE102014205078A1 (de) System zur Betrachtung eines Bordsteines in einem vorderen Bereich auf Basis von zwei Kameras
DE102010032411A1 (de) Vorrichtung zur Überwachung der seitlichen und rückwärtigen Umgebung eines Fahrzeugs
EP2851242B1 (de) Sichtsystem
EP3539826A1 (de) Fahrerassistenzsystem sowie verfahren für ein kraftfahrzeug zum anzeigen einer erweiterten realität

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: PANASONIC CORP., KADOMA, OSAKA, JP