DE10246652A1 - Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug - Google Patents

Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug Download PDF

Info

Publication number
DE10246652A1
DE10246652A1 DE10246652A DE10246652A DE10246652A1 DE 10246652 A1 DE10246652 A1 DE 10246652A1 DE 10246652 A DE10246652 A DE 10246652A DE 10246652 A DE10246652 A DE 10246652A DE 10246652 A1 DE10246652 A1 DE 10246652A1
Authority
DE
Germany
Prior art keywords
image
vehicle
screen
observation area
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE10246652A
Other languages
English (en)
Other versions
DE10246652B4 (de
Inventor
Tim Dr.-Ing. Weis
Benno Tobias Schindler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magna Mirrors & Co Kg De GmbH
Original Assignee
Donnelly Hohe GmbH and Co KG
Hohe GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donnelly Hohe GmbH and Co KG, Hohe GmbH and Co KG filed Critical Donnelly Hohe GmbH and Co KG
Priority to DE10246652A priority Critical patent/DE10246652B4/de
Priority to US10/679,896 priority patent/US6917378B2/en
Publication of DE10246652A1 publication Critical patent/DE10246652A1/de
Application granted granted Critical
Publication of DE10246652B4 publication Critical patent/DE10246652B4/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug (01) mit zumindest einer Kamera, mit der ein Beobachtungsbereich (02) in der Umgebung des Fahrzeugs (01) aufgenommen werden kann, mit einer Bildverarbeitungseinheit, in der die von der Kamera kommenden Bilddaten verarbeitet werden können, einem Bildschirm (05) im Fahrzeuginnenraum, an dem die von der Bildverarbeitungseinheit kommenden Bilddaten als Bild (07) angezeigt werden können, einem Sensorsystem, mit dem die Fahrzeugbewegung erfasst und als Bewegungsdaten an die Bildverarbeitungseinheit weitergeleitet werden können. Dabei wird zu einem Startzeitpunkt eine Fahrzeugposition als Startpunkt festgelegt, das Fahrzeug (01), ausgehend vom Startpunkt, weiterbewegt, der Drehwinkel des Fahrzeugs (01) um seine Vertikalachse, ausgehend von der Orientierung im Startpunkt vom Sensorsystem, erfasst und die von der Kamera kommenden Bilddaten in der Bildverarbeitungseinheit unter Einbeziehung des jeweils aktuellen Drehwinkels des Fahrzeugs derart verarbeitet, dass die Orientierung von am Bildschirm (05) im Bild (07) dargestellten Objekten (03, 04, 03a, 04a, 04b, 04c) aus dem Beobachtungsbereich (02) der Orientierung zum Startzeitpunkt entspricht.

Description

  • Gattungsgemäße Darstellungssysteme für Fahrzeuge mit einer Kamera, einer Bildverarbeitungseinheit, einem im Fahrzeuginnenraum angeordneten Bildschirm und einem Sensorsystem zur Erfassung der Bewegungsdaten des Fahrzeuges sind aus dem Stand der Technik bekannt. Beispielsweise die DE 100 45 616 A1 beschreibt ein derartiges Darstellungssystem, das den Fahrer insbesondere beim Einparken unterstützen soll.
  • Ein großes Problem bei der Benutzung bekannter Darstellungssysteme ist es, dass die zur Aufnahme vorgesehene Kamera sich mit dem Fahrzeug bewegt. D.h. dem Fahrer werden am Bildschirm jeweils Live-Bilder angezeigt, die der jeweiligen Stellung der Kamera, die beispielsweise am Fahrzeugheck angeordnet ist, entsprechen. Aufgrund dieser ständigen Änderung des Kamerastandpunktes zusammen mit dem Fahrzeug wird die Interpretation der angezeigten Bilder für den Fahrer erschwert, wodurch die Unterstützung des Fahrers durch gattungsgemäße Darstellungssysteme insbesondere beim Einparken erheblich eingeschränkt wird.
  • Aufgabe der vorliegenden Erfindung ist es deshalb, ein Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug vorzuschlagen, durch das die Interpretation der angezeigten Bilder für den Fahrer erleichtert wird.
  • Diese Aufgabe wird durch ein Verfahren nach der Lehre des vorliegenden Anspruchs 1 gelöst.
  • Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
  • Die vorliegende Erfindung beruht auf dem Grundgedanken, dass dem Fahrer nicht mehr die von der Kamera aufgenommenen aktuellen Live-Bilder angezeigt werden, sondern dass die Bilddaten dieser Live-Bilder in einer Bildverarbeitungseinheit geeignet aufbereitet werden. Die Aufbereitung der Bilddaten in der Bildverarbeitungseinheit dient dabei dazu, dass die Orientierung von am Bildschirm dargestellten Objekten, insbesondere Markierungslinien, Bordsteine oder andere Fahrzeuge, immer der Orientierung zum Startzeitpunkt entspricht. Dies bedeutet mit anderen Worten, dass der Fahrer durch Auslösung des erfindungsgemäßen Verfahrens die Möglichkeit hat, sich die von der Kamera aufgenommenen Bilddaten immer in einer rotationsfreien Darstellung anzeigen zu lassen. Erfindungsgemäß wird dazu der Drehwinkel des Fahrzeuges um seine Vertikalachse ausgehend von der Orientierung im Startpunkt von einem geeigneten Sensorsystem, beispielsweise einem Lenkwinkelsensor im Zusammenwirken mit einem Geschwindigkeitssensor und einer Zeitnehmeinheit, erfasst und die von der Kamera aufgenommenen Bilddaten in der Bildverarbeitungseinheit derart verarbeitet, dass die angezeigten Bilder gerade immer um den Winkel gegengleich verdreht sind, um den sich das Fahrzeug ausgehend vom Startpunkt gedreht hat.
  • Im Ergebnis werden dem Fahrer durch das erfindungsgemäße Verfahren Bilder am Bildschirm angezeigt, die einem festen Beobachtungspunkt außerhalb des Fahrzeuges entsprechen.
  • Um einen möglichst großen Beobachtungsbereich in der Umgebung des Fahrzeuges darstellen zu können, ist es besonders vorteilhaft, wenn in der Bildverarbeitungseinheit die Bilddaten mehrerer Kameras miteinander gemischt und zu einem gemeinsamen Bild zusammengesetzt werden können. Beispielsweise ist es denkbar, am Fahrzeugheck zwei Videokameras, insbesondere CCD-Kameras, anzuordnen, wobei die eine Kamera den Bereich links von der Mitte und die Mitte und die andere Kamera den Bereich rechts von der Mitte und die Mitte beobachtet. Die Bilddaten beider Kameras können dann gemischt werden, um ein einziges Bild mit einem entsprechend vergrößerten Beobachtungsbereich darstellen zu können.
  • Alternativ zu dieser Maßnahme bzw. additiv dazu können an den Kameras Weitwinkelobjektive vorgesehen sein, um den Beobachtungsbereich zu vergrößern. Da durch die Weitwinkelobjektive eine Verzerrung von geraden Linien hervorgerufen wird, was eine Interpretation des dargestellten Bildes für den Fahrer wiederum erschwert, kann in der Bildverarbeitungseinheit zusätzlich ein Verarbeitungsschritt durchgeführt werden, durch den die von den Weitwinkelobjektiven hervorgerufenen Verzerrungen wieder herausugerechnet werden.
  • Zusätzlich zur erfindungsgemäßen Derotation der am Bildschirm angezeigten Bilder kann die Interpretation für den Fahrer noch dadurch erleichtert werden, dass die Bilddaten in der Bildverarbeitungseinheit derart verarbeitet werden, dass das am Bildschirm angezeigte Bild einer Perspektive außerhalb des Fahrzeuges, insbesondere in einer Draufsicht von oberhalb des Fahrzeuges, entspricht. Geeignete Verfahren für die Umwandlung eines Bildes in eine Draufsicht sind beispielsweise aus der DE 197 41 896 bekannt. Durch die Kombination der erfindungsgemäßen Derotation und der Darstellung aus der Perspektive von oberhalb des Fahrzeuges erhält der Fahrer am Bildschirm Bilder angezeigt, die einem festen Beobachtungspunkt oberhalb des Fahrzeuges entsprechen. Diese Darstellungsweise kommt dem menschlichen Vorstellungsvermögen außerordentlich entgegen, so dass der Fahrer eine gute Orientierungshilfe insbesondere beim Rückwärtseinparken erhält.
  • Bei gattungsgemäßen Darstellungssystemen ist der von der Kamera aufnehmbare Beobachtungsbereich in der Regel im Wesentlichen rechteckig, wobei das Verhältnis von Höhe und Breite des Beobachtungsbereiches dem Verhältnis von Höhe und Breite des Bildschirmes entspricht, so dass im Normalfall der gesamte Beobachtungsbereich am Bildschirm angezeigt werden kann. Wird nun erfindungsgemäß bei der Darstellung der Bilddaten am Bildschirm so vorgegangen, dass der Beobachtungsbereich jeweils so dargestellt ist, dass die Rotation des Fahrzeuges um seine Hochachse herausgerechnet ist, folgt daraus, dass zwangsläufig die Größe des darstellbaren Beobachtungsbereiches nicht mehr der Größe des Bildschirmes entspricht. Denn durch das erfindungsgemäße Verfahren muss der dargestellte Beobachtungsbereich um den Winkel verschwenkt werden, um den sich das Fahrzeug seit dem Startzeitpunkt um die Hochachse gedreht hat. Abhängig von den Erfordernissen der jeweiligen Fahrsituation ist es deshalb notwendig, den am Bildschirm angezeigten Beobachtungsbereich geeignet um einen Verkleinerungsfaktor zu verkleinern.
  • Insbesondere ist es denkbar, dass der Verkleinerungsfaktor abhängig vom Drehwinkel des Fahrzeuges seit dem Startzeitpunkt jeweils so gewählt ist, dass der gesamte Beobachtungsbereich der Kameras am Bildschirm angezeigt werden kann. Dabei ist es zwar erforderlich, dass nicht der gesamte Bildschirm zur Anzeige des Beobachtungsbereiches ausgenutzt wird, wobei zugleich der dargestellte Beobachtungsbereich zu verkleinern ist. Bei dieser Vorgehensweise ist jedoch jederzeit gewährleistet, dass dem Fahrer alle Bildinformationen, die durch die Kameras aufgenommen werden, angezeigt sind.
  • Alternativ zur Darstellung des gesamten von den Kameras aufgenommenen Beobachtungsbereiches ist es auch denkbar, dass abhängig von bestimmten Parametern, beispielsweise der Fahrzeuggeschwindigkeit oder dem jeweiligen Lenkwinkel, andere Verkleinerungsfaktoren gewählt werden, so dass eine dann jeweils nur geringere Verkleinerung erforderlich ist, wobei jedoch die Ecken des von den Kameras aufgenommenen Beobachtungsbereiches nicht am Bildschirm dargestellt sind.
  • In bestimmten Fahrsituationen sind für den Fahrer Bildinformationen aus ganz bestimmten Bereichen des Beobachtungsbereiches besonders interessant. Erfindungsgemäß ist deshalb vorgesehen, dass bestimmte Bildausschnitte aus dem Beobachtungsbereich bei der Darstellung am Bildschirm durch Wahl eines entsprechenden Zoomfaktors herangezoomt werden können. D.h. je nach Wahl des Zoomfaktors wird nicht mehr der gesamte Beobachtungsbereich sondern ein daraus heraus vergrößerter Bildausschnitt am Bildschirm angezeigt.
  • Nach einer bevorzugten Ausführungsform ist es dabei zudem auch noch möglich, die Anordnung des herangezoomten Bildausschnittes relativ zu den Grenzen des Beobachtungsbereiches zu verändern. D.h. der herangezoomte Bildausschnitt kann relativ zu den Grenzen des Beobachtungsbereiches nach vorne, hinten, rechts und links verschoben werden, so dass im Ergebnis ein in Größe und Anordnung beliebig wählbarer Bildausschnitt anzeigbar ist.
  • In welcher Weise der Zoomfaktor gewählt wird, ist erfindungsgemäß grundsätzlich beliebig. Nach einer ersten Ausführungsform der Erfindung hat der Bediener die Möglichkeit den Zoomfaktor bzw. die Anordnung des herangezoomten Bildausschnittes manuell einzustellen. D.h. ausgehend von dem jeweils angezeigten Bild kann der Fahrer durch Bedienung entsprechend geeigneter Bedienungselemente, beispielsweise Drucktasten, in das dargestellte Bild herein- bzw. herauszoomen und dadurch zusätzlich den dargestellten Bildausschnitt innerhalb der Grenzen des Beobachtungsbereiches nach vorne, hinten, links oder rechts verschieben.
  • Alternativ zur manuellen Wahl des Zoomfaktors ist es auch denkbar, dass der Zoomfaktor bzw. die Anordnung des herangezoomten Bildausschnittes automatisch in Abhängigkeit anderer Zustandsparameter durch die Bildverarbeitungseinheit erfolgt.
  • Das erfindungsgemäße Verfahren wird nachfolgend durch die Zeichnungen beispielhaft erläutert.
  • Es zeigen:
  • 1 ein schematisch dargestelltes Fahrzeug in einer ersten Fahrsituation (Startzeitpunkt) in Ansicht von oben;
  • 2 ein an einem Bildschirm im Fahrzeug angezeigtes Bild, das in der Fahrsituation gemäß 1 aufgenommen ist;
  • 3 das Fahrzeug gemäß 1 in einer zweiten Fahrsituation in Ansicht von oben;
  • 4 das am Bildschirm angezeigte Bild, das in der Fahrsituation gemäß 3 aufgenommen ist;
  • 5 das Fahrzeug gemäß 1 in einer dritten Fahrsituation in Ansicht von oben;
  • 6 das am Bildschirm angezeigte Bild, das in der Fahrsituation gemäß 5 aufgenommen ist;
  • 7 die gleiche Fahrsituation wie gemäß 5 mit einem zusätzlichen Bildausschnitt im Beobachtungsbereich zur Zoomdarstellung;
  • 8 das am Bildschirm angezeigte Bild, das in der Fahrsituation gemäß 7 aufgenommen ist im heranzuzoomenden Bildausschnitt.
  • 1 stellt ein Fahrzeug 01 in einer ersten Fahrsituation, nämlich beim Suchen eines Parkplatzes, in Ansicht von oben dar. Das Fahrzeug 01 ist mit zwei Kameras ausgestattet, die am Fahrzeugheck angeordnet sind und mit denen ein in 1 strichliniert angedeuteter Beobachtungsbereich 02 hinter dem Fahrzeug 01 aufgenommen werden kann. Links vom Fahrzeug 01 befinden sich eine Vielzahl von Parkbuchten 03, die durch am Boden angebrachte Markierungsstreifen 04 begrenzt werden.
  • Will nun der Fahrer des Fahrzeuges 01 in eine Parkbucht 03a einparken, so wird er in erfindungsgemäßer Weise durch das am Fahrzeug 01 vorgesehene Darstellungssystem mit Kameras, Bildverarbeitungseinheit, Bildschirm im Fahrzeuginnenraum und Sensorsystem zur Erfassung der Fahrzeugbewegungsdaten unterstützt. Die in 1 dargestellte Fahrsituation stellt den Startzeitpunkt des Einparkvorganges dar, in dem das Fahrzeug eine Position einnimmt, die dem gewünschten Startpunkt entspricht.
  • In 2 ist ein Bildschirm 05 schematisch dargestellt, an dem der Beobachtungsbereich 02 im Startzeitpunkt durch ein Bild 07 angezeigt wird. Am oberen Rand des Bildschirmes 05 wird das Heck des Fahrzeuges 01 als schematisiertes Symbol 06 in das Live-Bild eingeblendet. Die anderen am Bildschirm 05 dargestellten Objekte entsprechen der Situation, die von den Kameras am Fahrzeugheck zu dem entsprechenden Zeitpunkt aufgenommen werden. Insbesondere werden dem Fahrer am Bildschirm 05 die Markierungsstreifen 04a und 04b angezeigt, die die anzusteuernde Parkbucht 03a begrenzen und deren Enden in den Beobachtungsbereich 02 hineinreichen (s. 1). Will der Fahrer nun in die von den Markierungsstreifen 04a und 04b begrenzte Parkbucht 03a einparken, so löst er durch Betätigung eines geeigneten Betätigungselementes, beispielsweise eines Drucktasters, das erfindungsgemäße Bildverarbeitungsverfahren aus.
  • In 3 ist eine zweite Fahrsituation mit dem Fahrzeug 01 dargestellt, bei dem sich das Fahrzeug 01 ausgehend von der ersten Fahrsituation (s.
  • 1) der Parkbucht 03a bereits angenähert hat. Bei der Fahrzeugbewegung zur Annäherung an die Parkbucht 03a hat sich das Fahrzeug um ungefähr 45° um seine Hochachse gedreht, so dass von den Kameras im Beobachtungsbereich 02 ein entsprechend anderer Teil aus dem Umgebungsbereich erfasst wird.
  • In 4 ist der Bildschirm 05 bei Darstellung der zweiten Fahrsituation (s. 3) dargestellt. Man erkennt , dass die Orientierung der Markierungsstreifen 04a und 04b relativ zum Bildschirm 05 trotz der Eigenbewegung des Fahrzeuges 01 der Orientierung zum Startzeitpunkt (s. 2) entspricht. D.h. die Markierungsstreifen 04a und 04b verlaufen trotz der Eigenbewegung des Fahrzeuges 01 weiterhin im Wesentlichen horizontal im Bild 07, was der Orientierung der Markierungsstreifen 04a und 04b zum Startzeitpunkt entspricht. Bei der Verarbeitung der von den Kameras aufgenommenen Bilddaten in der Bildverarbeitungseinheit werden die Bilddaten dabei so umgerechnet, dass für den Fahrer eine Perspektive dargestellt wird, wie sie einer Draufsicht von oberhalb des Fahrzeuges entspricht. Außerdem werden Verzerrungen, die durch an den Kameras vorgesehene Weitwinkelobjektive entstehen, herausgerechnet, so dass die geraden Markierungsstreifen 04 auch am Bildschirm 05 als gerade Linien dargestellt werden.
  • Damit der gesamte Beobachtungsbereich 02 auch in der zweiten Fahrsituation (s. 3), bei dem der Beobachtungsbereich 02 um ca. 45° relativ zu den feststehenden Objekten in der Fahrzeugumgebung verschwenkt ist, dargestellt werden kann, wird das am Bildschirm 05 dargestellte Bild 07 entsprechend verkleinert. D.h. das Bild 07 füllt nicht mehr den gesamten Bildschirm 05 aus, sondern wird von einer geschwärzten Bildschirmbereich 08 umfasst. Dieser Effekt der nicht vollen Ausnutzung des Bildschirmes 05 bei Anwendung des erfindungsgemäßen Verfahrens kann durch Verwendung von kreisförmigen Bildschirmen und der Wahl eines kreisförmigen Beobachtungsbereiches vermieden werden.
  • 5 stellt das Fahrzeug 01 in einer dritten Fahrsituation dar, in der das Fahrzeug 01 die Parkbucht 03a bereits vollständig erreicht hat und zum Anfahren der Endposition nur noch gerade zurückstoßen muss. Die Enden der Markierungsstreifen 04a und 04b sind bereits aus dem Beobachtungsbereich 02 herausgetreten und können somit nicht mehr am Bildschirm 05 angezeigt werden.
  • 6 stellt die Anzeige des Bildes 07 am Bildschirm 05 während der dritten Fahrsituation (s. 5) dar. Die Markierungsstreifen 04a und 04b verlaufen weiterhin horizontal über dem Bildschirm 05. Da der Beobachtungsbereich 02 nun rechtwinklig zur Ursprungsorientierung im Startpunkt angeordnet ist, kann der Verkleinerungsfaktor zur Verkleinerung des Bildes 07 im Vergleich zur zweiten Fahrsituation wieder vergrößert werden, da zur Darstellung des Bildes 07 nun die volle Höhe des Bildschirmes 05 zur Verfügung steht.
  • In 7 ist die dritte Fahrsituation entsprechend 5 noch einmal dargestellt, wobei der Fahrer durch Betätigung entsprechender Betätigungselemente im Beobachtungsbereich 02 einen heranzuzoomenden Bildausschnitt 09 gewählt hat. Bei der Wahl des Bildausschnittes 09 kann der Fahrer die Größe des Bildausschnittes 09 und dessen relative Anordnung zu den Grenzen des Beobachtungsbereiches 02 nach vorne, hinten, rechts und links bestimmen.
  • 8 zeigt den Bildschirm 05 bei Darstellung der Bilddaten aus dem herangezoomten Bildausschnitt 09. Das Symbol 06 zur Darstellung des Fahrzeuges 01 im Bildschirm 05 ist entsprechend dem gewählten Zoomfaktor vergrößert. Durch Betätigung der Tasten 10 und 11 kann der Fahrer den Zoomfaktor vergrößern bzw. verkleinern, um dadurch den am Bildschirm 05 darzustellenden Bildausschnitt 09 in seiner Größe zu verändern. Durch Betätigung der Tasten 12, 13, 14 und 15 kann der Fahrer den herangezoomten Bildausschnitt 09 in den Grenzen des Beobachtungsbereiches 02 nach vorne, hinten, rechts und links verschieben. Im Ergebnis hat der Fahrer damit die Möglichkeit, sich am Bildschirm 05 jeweils den Bildausschnitt 09 aus dem Beobachtungsbereich 02 anzeigen zu lassen, den er zur Bewältigung der jeweiligen Fahrsituation, beispielsweise beim Rückwärtseinparken, benötigt. Für den Fahrer uninteressante Teile des Beobachtungsbereiches können dadurch ausgeblendet werden. Das Zoomen zur Darstellung des Bildausschnitts 09 erfolgt nicht durch Verstellung der Brennweite im Kameraobjektiv, sondern durch Selektion der Bilddaten in der Bildverarbeitungseinheit.

Claims (12)

  1. Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug (01) – mit zumindest einer Kamera, mit der ein Beobachtungsbereich (02) in der Umgebung des Fahrzeugs (01) aufgenommen werden kann, – mit einer Bildverarbeitungseinheit, in der die von Kamera kommenden Bilddaten verarbeitet werden können, – einem Bildschirm (05) im Fahrzeuginnenraum, an dem die von der Bildverarbeitungseinheit kommenden Bilddaten als Bild (07) angezeigt werden können, – einem Sensorsystem, mit dem die Fahrzeugbewegung erfasst und als Bewegungsdaten an die Bildverarbeitungseinheit weitergeleitet werden können, dadurch gekennzeichnet, dass – zu einem Startzeitpunkt eine Fahrzeugposition als Startpunkt festgelegt wird, – das Fahrzeug (01) ausgehend vom Startpunkt weiterbewegt wird, – der Drehwinkel des Fahrzeugs (01) um seine Vertikalachse ausgehend von der Orientierung im Startpunkt vom Sensorsystem erfasst wird, – die von der Kamera kommenden Bilddaten in der Bildverarbeitungseinheit unter Einbeziehung des jeweils aktuellen Drehwinkels des Fahrzeugs derart verarbeitet werden, dass die Orientierung von am Bildschirm (05) im Bild (07) dargestellten Objekten (03. 04, 03a, 04a, 04b, 04c) aus dem Beobachtungsbereich (02) der Orientierung zu Startzeitpunkt entspricht.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bilddaten mehrer Kameras gemeinsam in der Bildverarbeitungseinheit gemischt werden, um aus den Bilddaten ein gemeinsames am Bildschirm (05) anzuzeigendes Bild (07) zu generieren.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Kamera mit einem Weitwinkelobjektiv ausgestattet ist, wobei durch das Weitwinkelobjektiv verursachte Bildverzerrungen durch Bearbeitung der Bilddaten in der Bildverarbeitungseinheit zumindest teilweise entfernt werden.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Beobachtungsbereich (02) der Kamera hinter dem Heck des Fahrzeugs (01) liegt.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Bilddaten in der Bildverarbeitungseinheit derart verarbeitet werden, dass das am Bildschirm (05) angezeigte Bild (07) einer Perspektive außerhalb des Fahrzeugs (01), insbesondere einer Draufsicht von oberhalb des Fahrzeugs (01), entspricht.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass abhängig vom Drehwinkel des Fahrzeugs (01) relativ zur Startposition bei der Darstellung des Bildes (07) am Bildschirm (05) ein Verkleinerungsfaktor bei der Darstellung des den Beobachtungsbereich (02) am Bildschirm (05) abbildenden Bildes (07) eingestellt wird.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Verkleinerungsfaktor jeweils so gewählt ist, dass der gesamte Beobachtungsbereich (02) vom Bild (07) am Bildschirm (05) dargestellt wird.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass bestimmte Bildausschnitte (09) aus dem Bobachtungsbereich (02) bei der Darstellung am Bildschirm durch Wahl eine entsprechenden Zoomfaktors herangezoomt werden.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Anordnung des herangezoomten Bildausschnitts (09) relativ zu den Grenzen des Bobachtungsbereichs (02) verändert werden kann.
  10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Wahl des Zoomfaktors und/oder der Anordnung des herangezoomten Bildausschnitts (09) durch Einstellung des Bedieners erfolgt.
  11. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass das die Wahl des Zoomfaktors und/oder der Anordnung des herangezoomten Bildausschnitts in Abhängigkeit anderer Zustandsparameter automatisch durch die Bildverarbeitungseinheit erfolgt.
  12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass in das Bild (07) am Bildschirm (05) ein Symbol (06) eingeblendet wird, das die Position des Fahrzeugs (01) im Bild (07) symbolisiert.
DE10246652A 2002-10-07 2002-10-07 Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug Expired - Lifetime DE10246652B4 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE10246652A DE10246652B4 (de) 2002-10-07 2002-10-07 Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug
US10/679,896 US6917378B2 (en) 2002-10-07 2003-10-06 Method of operating a display system in a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10246652A DE10246652B4 (de) 2002-10-07 2002-10-07 Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug

Publications (2)

Publication Number Publication Date
DE10246652A1 true DE10246652A1 (de) 2004-04-15
DE10246652B4 DE10246652B4 (de) 2012-06-06

Family

ID=32010320

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10246652A Expired - Lifetime DE10246652B4 (de) 2002-10-07 2002-10-07 Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug

Country Status (2)

Country Link
US (1) US6917378B2 (de)
DE (1) DE10246652B4 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2907395A1 (fr) * 2006-10-23 2008-04-25 Renault Sas Dispositif retroviseur electronique.
WO2009036849A2 (de) * 2007-09-18 2009-03-26 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum überwachen der umgebung eines kraftfahrzeugs
DE102007015498B4 (de) * 2006-03-31 2009-08-06 Denso Corporation, Kariya Vorrichtung und Programm zur Bildverarbeitung
WO2009036848A3 (de) * 2007-09-18 2009-09-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur fahrerinformation in einem kraftfahrzeug
DE102017010626A1 (de) 2017-11-16 2019-06-13 Luca Marius Meyers Optisches Frühwarnsystem zur Identifikation, Lokalisation und somit zur Prävention von Schimmelbefall ...

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4466571B2 (ja) * 2005-05-12 2010-05-26 株式会社デンソー ドライバ状態検出装置、車載警報装置、運転支援システム
JP2007142624A (ja) * 2005-11-16 2007-06-07 Matsushita Electric Ind Co Ltd 車両搭載撮像装置
DE102009050368A1 (de) 2008-10-24 2010-05-27 Magna Electronics Europe Gmbh & Co.Kg Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
CN103253184A (zh) * 2012-02-16 2013-08-21 环达电脑(上海)有限公司 基于人像识别的智能倒车系统及方法
US9598836B2 (en) 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
JP6011104B2 (ja) * 2012-07-24 2016-10-19 株式会社デンソー 車両用視界支援装置
US8773286B1 (en) * 2013-02-08 2014-07-08 Caterpillar Inc. Operator assistance system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10065327A1 (de) * 1999-12-28 2001-08-02 Toyoda Automatic Loom Works Lenkhilfsvorrichtung
DE19723963C2 (de) * 1996-06-06 2001-09-06 Fuji Heavy Ind Ltd Objekterkennungsvorrichtung und -verfahren für Fahrzeuge
DE10109350A1 (de) * 2000-02-29 2001-09-20 Toyoda Automatic Loom Works Unterstützungseinrichtung zum Rückwärtseinparken eines Fahrzeugs in Reihe
DE10109680A1 (de) * 2000-02-29 2001-10-18 Aisin Seiki Einparkhilfsgerät und Einparkhilfsverfahren für ein Fahrzeug
DE10136410A1 (de) * 2000-07-27 2002-02-21 Honda Motor Co Ltd Einparkhilfssystem
DE10059315A1 (de) * 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs
DE10161316A1 (de) * 2000-12-15 2002-07-11 Honda Motor Co Ltd Parkvorgang-Unterstützungssystem

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19741896C2 (de) 1997-09-23 1999-08-12 Opel Adam Ag Vorrichtung zur bildlichen Darstellung von Bereichen der Umgebung eines Kraftfahrzeugs
EP1119155B1 (de) * 2000-01-20 2005-03-23 Telefonaktiebolaget LM Ericsson (publ) Schalenteil eines elektronischen Geräts mit einer dreidimensionalen Erscheinung
DE10045616B4 (de) 2000-09-15 2011-03-17 Volkswagen Ag Verfahren zum automatischen Einparken eines Kraftfahrzeugs
JP3947375B2 (ja) * 2001-08-24 2007-07-18 アイシン精機株式会社 駐車補助装置
JP2003072495A (ja) * 2001-09-06 2003-03-12 Yazaki Corp 駐車支援装置および駐車支援方法
US6683539B2 (en) * 2001-12-27 2004-01-27 Koninklijke Philips Electronics N.V. Computer vision based parking assistant

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19723963C2 (de) * 1996-06-06 2001-09-06 Fuji Heavy Ind Ltd Objekterkennungsvorrichtung und -verfahren für Fahrzeuge
DE10065327A1 (de) * 1999-12-28 2001-08-02 Toyoda Automatic Loom Works Lenkhilfsvorrichtung
DE10109350A1 (de) * 2000-02-29 2001-09-20 Toyoda Automatic Loom Works Unterstützungseinrichtung zum Rückwärtseinparken eines Fahrzeugs in Reihe
DE10109680A1 (de) * 2000-02-29 2001-10-18 Aisin Seiki Einparkhilfsgerät und Einparkhilfsverfahren für ein Fahrzeug
DE10136410A1 (de) * 2000-07-27 2002-02-21 Honda Motor Co Ltd Einparkhilfssystem
DE10059315A1 (de) * 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs
DE10161316A1 (de) * 2000-12-15 2002-07-11 Honda Motor Co Ltd Parkvorgang-Unterstützungssystem

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007015498B4 (de) * 2006-03-31 2009-08-06 Denso Corporation, Kariya Vorrichtung und Programm zur Bildverarbeitung
FR2907395A1 (fr) * 2006-10-23 2008-04-25 Renault Sas Dispositif retroviseur electronique.
WO2008050022A2 (fr) * 2006-10-23 2008-05-02 Renault S.A.S Dispositif retroviseur electronique
WO2008050022A3 (fr) * 2006-10-23 2008-07-31 Renault Sa Dispositif retroviseur electronique
WO2009036849A2 (de) * 2007-09-18 2009-03-26 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum überwachen der umgebung eines kraftfahrzeugs
WO2009036848A3 (de) * 2007-09-18 2009-09-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur fahrerinformation in einem kraftfahrzeug
WO2009036849A3 (de) * 2007-09-18 2009-09-17 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum überwachen der umgebung eines kraftfahrzeugs
US8947532B2 (en) 2007-09-18 2015-02-03 Bayerische Motoren Werke Aktiengesellschaft System for monitoring the environment of a motor vehicle
US9802538B2 (en) 2007-09-18 2017-10-31 Bayerische Motoren Werke Aktiengesellschaft Method for providing driver information in a motor vehicle
DE102017010626A1 (de) 2017-11-16 2019-06-13 Luca Marius Meyers Optisches Frühwarnsystem zur Identifikation, Lokalisation und somit zur Prävention von Schimmelbefall ...

Also Published As

Publication number Publication date
DE10246652B4 (de) 2012-06-06
US6917378B2 (en) 2005-07-12
US20040201671A1 (en) 2004-10-14

Similar Documents

Publication Publication Date Title
DE102008038463B4 (de) Bildverarbeitungsvorrichtung
EP3029929B1 (de) Sichtsystem
DE19741896C2 (de) Vorrichtung zur bildlichen Darstellung von Bereichen der Umgebung eines Kraftfahrzeugs
DE102006007493B4 (de) Vorrichtung zum Sehen der Peripherie eines Fahrzeuges
EP3512739B1 (de) Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs
EP2810120A1 (de) Anzeigevorrichtung für ein fahrzeug mit kompensation der eigenbewegung
DE102009025205A1 (de) Anzeige und Verfahren für eine Umgebungsdarstellung eines Kraftfahrzeug-Surround-View-Systems
WO2008055644A2 (de) Verfahren zur erzeugung eines gesamtbilds der umgebung eines kraftfahrzeugs
DE102005023461A1 (de) Überwachungsvorrichtung
DE102018100194B3 (de) Spiegelersatzsystem sowie Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs
DE10246652B4 (de) Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug
DE102009035422B4 (de) Verfahren zur geometrischen Bildtransformation
DE19539642A1 (de) Verfahren zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes insbesondere bei einem Fahrzeug, und Vorrichtung zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes
DE10221513B4 (de) Verfahren zur Darstellung von Bildern mit verändertem Breite-Höhe-Verhältnis
DE102004030593B4 (de) Digitalkamerabildbearbeiter
DE102016122004B4 (de) Verfahren zur Darstellung von Bildern eines digitalen Operationsmikroskops und digitales Operationsmikroskop-System
DE4037739C1 (de)
DE102014116441A1 (de) Verfahren zum Darstellen einer Sicherheitsinformation, Fahrerassistenzsystem und Kraftfahrzeug
EP3857303A1 (de) Verfahren zur fokuseinstellung einer filmkamera
DE102018100211A1 (de) Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung
EP3106349B1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
DE102020134814A1 (de) Vorrichtung zum Überwachen von Umgebungen eines Fahrzeugs
DE102014206928A1 (de) Beobachtung einer Umgebung eines Fahrzeugs
DE10243620A1 (de) Verfahren zur Bildverarbeitung der von einem System zur Umfelderfassung eines Fahrzeuges erfassten optischen Signale und System zur Umfelderfassung eines Fahrzeuges
DE102014225883A1 (de) Kamerasystem und Verfahren zum Visualisieren mindestens eines Fahrzeugumfeldbereiches einesFahrzeugumfeldes eines Fahrzeuges

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20120907

R082 Change of representative

Representative=s name: RAUSCH, GABRIELE, DIPL.-PHYS. DR.RER.NAT., DE

R081 Change of applicant/patentee

Owner name: MAGNA MIRRORS GMBH & CO. KG, DE

Free format text: FORMER OWNER: DONNELLY HOHE GMBH & CO. KG, 97903 COLLENBERG, DE

Effective date: 20140923

R082 Change of representative

Representative=s name: RAUSCH, GABRIELE, DIPL.-PHYS. DR.RER.NAT., DE

Effective date: 20140923

R071 Expiry of right