DE102006003538B3 - Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive - Google Patents

Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive Download PDF

Info

Publication number
DE102006003538B3
DE102006003538B3 DE102006003538A DE102006003538A DE102006003538B3 DE 102006003538 B3 DE102006003538 B3 DE 102006003538B3 DE 102006003538 A DE102006003538 A DE 102006003538A DE 102006003538 A DE102006003538 A DE 102006003538A DE 102006003538 B3 DE102006003538 B3 DE 102006003538B3
Authority
DE
Germany
Prior art keywords
image
bird
eye view
section
sections
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102006003538A
Other languages
English (en)
Inventor
Tobias Dipl.-Inform. Ehlgen
Joachim Dipl.-Inform. Gloger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to DE102006003538A priority Critical patent/DE102006003538B3/de
Priority to US12/161,925 priority patent/US20090022423A1/en
Priority to PCT/EP2007/000231 priority patent/WO2007087975A2/de
Priority to JP2008551689A priority patent/JP2009524171A/ja
Application granted granted Critical
Publication of DE102006003538B3 publication Critical patent/DE102006003538B3/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Circuits (AREA)

Abstract

Beim Zusammensetzen mehrerer aneinander angrenzender Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive können in den Übergangsbereichen einzelner Bildausschnitte (7, 8) neben Verzerrungen auch Sprungstellen auftreten, worin erfasste Objekte auf Grund perspektivischer Unterschiede nicht zu sehen sind. Es wird daher ein Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive vorgeschlagen, wobei wenigstens zwei Bildaufnahmen von sich überlappenden oder aneinander angrenzenden Umgebungsbereichen aus unterschiedlichen Bildaufnahmepositionen (2, 3) erfasst werden. Die Bildaufnahmen werden in die Vogelperspektive transformiert und Bildausschnitte der transformierten Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive zusammengefügt. Die Bildausschnitte sind dabei derart gewählt, dass durch bewegte Objekte hervorgerufene Abschattungen (5, 6) beim Übergang im Gesamtbild von einem ersten Bildausschnitt (7, 8) in einen zweiten Bildausschnitt (8, 7) im Wesentlichen in dieselbe Richtung auf eine zuvor definierte Referenzfläche projiziert werden.

Description

  • Die Erfindung betrifft ein Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive.
  • Aus dem Stand der Technik ist es bekannt, dass mehrere aus unterschiedlichen Aufnahmepositionen und/oder Aufnahmerichtungen gewonnene Bildaufnahmen zu einem Gesamtbild zusammengesetzt werden. Der Grund hierfür ist häufig, dass ein möglichst großer Umgebungsbereich mit einer einzigen Bilddarstellung wiedergegeben werden soll. Dies ist beispielsweise aus der Fotografie bekannt, wobei mehrere Einzelbilder zu einem Panoramabild zusammengefügt werden. Auch ist es bekannt, dass mehrere Bildaufnahmen unterschiedlicher Bildsensoren (Kamera, Radar, ...) mittels einer Rechnereinheit zu einem Gesamtbild fusioniert werden. Hierbei entsteht jedoch üblicherweise ein hoher Verarbeitungsaufwand, da die jeweiligen Bildinformationen vor der Fusionierung aneinander angepasst werden müssen. Beispielsweise werden Bildaufnahmen mehrerer Kameras mit unterschiedlicher Auflösung oder welche in unterschiedlichen Wellenlängenspektren (IR, VIS, ...) empfindlich sind zu einem Gesamtbild zusammengefügt. Weiterhin ist es bekannt, dass panoramische Bildaufnahmen oder Bildaufnahmen in einer beliebigen anderen Perspektive in eine Bilddarstellung in Vogelperspektive umgerechnet werden. Beispielsweise werden derartige Darstellungen in einer Vogelperspektive bei der Umgebungserfassung mittels Kameras an Fahrzeugen verwendet, wobei z.B. einem Fahrer auf einem Display während des Einparkens ein Umgebungsbild in der Vogelperspektive dargestellt wird.
  • In der DE 10 2005 023 461 A1 wird eine Überwachungseinrichtung mit mehreren Bildaufnahmeeinheiten und einer Einheit zum Zusammensetzen von Bildern gezeigt. Aufgenommene Bilder werden durch Anpassung des Blickwinkels in jeweils ein Überblicksbild mit demselben Neigungswinkel umgewandelt. Es wird ein breitbandiges Überblicksbild erzeugt, indem alle Überblicksbilder mittels der Einheit zur Zusammensetzung von Bildern vereint werden, wobei identische Szenenbereiche aller Überblicksbilder überlagert werden. In dem breitbandigen Überblicksbild wird jeweils dasjenige Überblicksbild mit der höchsten Bildqualität des überlagerten Bereichs unter allen Überblicksbildern ausgewählt, sodass Verzerrungen minimiert werden. Dabei handelt es sich bei dem Überblicksbild mit der höchsten Bildqualität gemäß einer Ausführung, um dasjenige Überblicksbild, in welchem ein bestimmtes Objekt innerhalb des Überlagerungsbereichs am größten dargestellt ist. Gemäß einer weiteren Ausführung handelt es sich bei dem Überblicksbild mit der höchsten Bildqualität, um dasjenige Überblicksbild, bei dem der Betrag der Änderung des Neigungswinkels eines bestimmten Objektes im Überlagerungsbereich vor und nach der Umwandlung des Blickwinkels am geringsten ist.
  • Aus der DE 10296593 T5 ist es bekannt, dass beim Überlagern mehrerer Teilbilder mit unterschiedlicher Perspektive zu einem Gesamtbild Verzerrungen entstehen. Dies wird am Beispiel von Bildaufnahmen eines geparkten Fahrzeugs gezeigt, welches mittels einer Rückseitenkamera und einer über dem Fahrzeug angeordneten virtuellen Kamera erfasst wird. Dabei sind für die Umwandlung zu einem Gesamtbild nur diejenigen Blickpunkte geeignet, welche sich auf dem dreidimensionalen Fahrboden befinden, die darüber befindlichen Objekte werden im Gesamtbild verzerrt dargestellt. Mit der vorgestellten Vorrichtung zur Fahrerunterstützung wird daher ein erfasstes Umgebungsbild zunächst in ein Bild gewandelt, welches von einem virtuellen Blickpunkt oberhalb der Bildaufnahmeeinrichtung gesehen wird oder ein Bild, das von oben orthogonal projiziert wird, auf der Basis eines Straßenoberflächenmodells. Anschließend werden dreidimensionale Informationen, welche andere als jene auf der Straßenoberfläche sind, auf der Basis einer Parallaxe zwischen Bildern detektiert. Auf der Grundlage der detektierten dreidimensionalen Informationen werden sodann Verzerrungskorrekturen durchgeführt.
  • DE 10035223 A1 beschreibt ein Hindernis-Erfassungssystem zur Überwachung eines Objekts, insbesondere eines Nutzfahrzeugs. An dem Nutzfahrzeug sind mehrere Kameras derart angeordnet, dass damit mehrere Umgebungsbilder aus der Vogelperspektive erfasst werden, wobei sich das Blickfeld von zwei benachbarten Kameras überschneidet. Die Bilder benachbarter Kameras werden anschließend zu einem Gesamtbild zusammengesetzt, wobei der Überlappungsbereich bzw. Überschneidungsbereich bei der Auswertung berücksichtigt und als kontinuierlicher Übergang zwischen den Einzeldarstellungen benachbarter Kameras dargestellt wird. Die Überwachungseinrichtung ist dabei selbstjustierend ausgebildet, indem identische Pixel aus dem Überschneidungsbereich benachbarter Blickfelder erkannt werden.
  • Aus der DE 600 03 750 T2 ist ein Einparksystem bekannt, womit die Position eines Fahrzeugs in der Vogelperspektive dargestellt wird. Mittels einer Fahrzeugpositionsberechnungseinheit wird dabei die Fahrzeugposition in der Vogelperspektive berechnet und mittels einer Bewegungsortberechnungseinheit wird die Fahrzeugbewegung abgeschätzt. Anhand der berechneten Fahr zeugposition und der geschätzten Fahrzeugbewegung wird ein Ort des Fahrzeugkörpers in der Draufsicht bestimmt. Die Fahrzeugpositionsberechnungseinheit umfasst dabei eine Bildaufnahmeeinheit mit einer Mehrzahl von das Fahrzeug umgebenden Bildaufnahmevorrichtungen, sowie eine Bildzusammensetzteileinheit. Die Bildzusammensetzteileinheit erstellt unter Verwendung einer Transformationseinheit ein zusammengesetztes Ansichtsbild der Fahrzeugumgebung in der Vogelperspektive. In diesem Ansichtsbild wird sodann ein zusammengesetztes Bild des Fahrzeugkörpers eingesetzt.
  • In der DE 102 92 327 T5 wird eine Bildverarbeitungseinrichtung für Fahrzeuge gezeigt, womit die Fahrzeugumgebung erfasst und dem Fahrer auf einer Bildanzeige dargeboten wird. Die mittels einer Kamera erfassten Bilder werden dabei zunächst in eine Vogelperspektive umgewandelt. Anschließend werden ein erstes Bild aus einer Vogelperspektive und ein zweites Bild aus einer Vogelperspektive, welche zu unterschiedlichen Zeitpunkten erfasst sind, zu einem Gesamtbild in der Vogelperspektive zusammengesetzt. Die beiden Bildaufnahmen werden hierzu mittels einer Bereichsunterscheidungseinrichtung verglichen, wobei ein zusammenpassender Bereich und ein nicht zusammenpassender Bereich unterschieden werden. Aus dem nicht zusammenpassenden Bereich und dem zweiten Bild aus der Vogelperspektive wird sodann ein zusammengesetztes Bild erzeugt.
    •
  • Der Erfindung liegt die Aufgabe zu Grunde ein Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive zu schaffen, welches einen geringen Verarbeitungsaufwand erfordert und eine zuverlässige Wiedergabe von Bildinformationen ermöglicht.
  • Die Aufgabe wird gemäß der Erfindung durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen werden in den Unteransprüchen aufgezeigt.
  • Gemäß der Erfindung wird ein Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive vorgeschlagen. Es werden dabei wenigstens zwei Bildaufnahmen von sich überlappenden oder aneinander angrenzenden Umgebungsbereichen aus unterschiedlichen Bildaufnahmepositionen erfasst. Die wenigstens zwei Bildaufnahmen werden sodann in die Vogelperspektive transformiert und Bildausschnitte der transformierten Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive zusammenfügt. Die Bildausschnitte sind dabei derart gewählt, dass durch bewegte Objekte hervorgerufene Abschattungen beim Übergang von einem ersten Bildausschnitt in einen zweiten Bildausschnitt im Gesamtbild im Wesentlichen in dieselbe Richtung auf eine zuvor definierte Referenzfläche projiziert werden. Bei einem geringen Verarbeitungsaufwand wird es mit der Erfindung hierdurch möglich, Bildinformationen auf zuverlässige Weise wiederzugeben. Dabei sind in einer besonders gewinnbringenden Weise selbst erhabene Objekte, welche sich bewegen und zwischen den wenigstens beiden Bildausschnitten wechseln, zu jeder Zeit im Gesamtbild in der Vogelperspektive sichtbar. Dies wäre sonst nicht zwingend der Fall, da im Übergangsbereich zwischen den Bildausschnitten im Gesamtbild aufgrund von Skalierungseffekten Sprungstellen auftreten können, wobei in diesem Übergangsbereich befindliche Objekte dann zumindest zeitweise nicht sichtbar sind. Die Erklärung hierfür ist, dass ein Objekt welches aus zwei unterschiedlichen Aufnahmepositionen erfasst wird und sich zwischen diesen beiden Aufnahmepositionen befindet in den dazugehörigen Bildaufnahmen in unterschiedlichen Perspektiven zu sehen ist. Aufgrund dieser unterschiedlichen Perspektiven kommt es beim Zusammensetzen der einzelnen Bildausschnitte zu einem Gesamtbild in der Vogelperspektive am Übergangsbereich zwischen den zwei Bildausschnitten im Gesamtbild in der Vogelperspektive zu Unterschieden bei der Skalierung, weshalb erhabene Objekte im Übergangsbereich verzerrt dargestellt sind oder sogar überhaupt nicht sichtbar sind. Es wird daher bei der Transformation in die Vogelperspektive eine Referenzebene definiert, wobei diejenigen Objekte welche sich innerhalb der Referenzebene befinden immer sichtbar sind und nicht verzerrt dargestellt werden. Dagegen werden Objekte, welche sich über der Referenzebene befinden verzerrt dargestellt. Die Verzerrungen nehmen dabei mit zunehmendem Abstand eines Objektes von der Referenzebene zu. Falls das Objekt eine Höhe aufweist und aus der Referenzebene herausragt, ist das Objekt beim Übergang von einem ersten Bildausschnitt in einen zweiten Bildausschnitt im Gesamtbild zumindest kurzzeitig nicht sichtbar. Die Zeitdauer in welcher ein Objekt beim Übergang nicht sichtbar ist, nimmt dabei mit zunehmendem Abstand der Aufnahmepositionen bzw. mit zunehmendem Unterschied der Perspektiven im Übergangsbereich zu. Dass Objekte beim Übergang zwischen benachbarten Bildausschnitten nicht sichtbar sind wird mit dem erfindungsgemäßen Verfahren verhindert, indem die Bildausschnitte so gewählt werden, dass durch bewegte Objekte hervorgerufene Abschattungen beim Übergang im Gesamtbild von einem ersten Bildausschnitt in einen zweiten Bildausschnitt im Wesentlichen in dieselbe Richtung auf die zuvor definierte Referenzfläche projiziert werden. Dadurch werden Objekte beim Übergang zwischen Bildausschnitten im Gesamtbild zwar mit unterschiedlicher Skalierung dargestellt, jedoch sind die Objekte zu jeder Zeit sichtbar. Ein Nutzer wird somit beim Einsatz des erfindungsgemäßen Verfahrens mit hoher Sicherheit über das Vorhandensein von Objekten informiert, wofür weder eine aufwendige 3D-Bilddatenauswertung noch eine Objektnachverfolgung, sogenanntes Tracking, benötigt wird.
  • Die aus unterschiedlichen Aufnahmepositionen erfassten Bildinformationen werden in die Vogelperspektive transformiert, indem diese zunächst auf eine zuvor definierte Referenzfläche projiziert werden. Anschließend werden Bilder der projizierten Bildinformationen aus einer virtuellen Position, welche sich oberhalb der Referenzfläche befindet, vorzugsweise mittels eines Lochkameramodells aus der Vogelperspektive erfasst. In einer besonders vorteilhaften Weise der Erfindung handelt es sich bei der Referenzfläche dabei um diejenige Ebene oder eine parallele Ebene zu derjenigen Ebene, welche die Bodenfläche über der sich die Bildaufnahmepositionen befinden approximiert. Durch Variation des Abstandes der virtuellen Kameraposition und der Referenzebene kann die Skalierung im Gesamtbild in der Vogelperspektive angepasst werden.
  • Im Rahmen der Erfindung werden einzelne Bildaufnahmen oder einzelne Bildausschnitte üblicherweise unabhängig voneinander in die Vogelperspektive transformiert. Dabei besteht die Möglichkeit, dass die aus unterschiedlichen Aufnahmepositionen erfassten Bildaufnahmen vollständig in die Vogelperspektive transformiert werden, wobei anhand der transformierten Bildaufnahmen sodann geeignete Bildausschnitte für eine Darstellung oder zur weiteren Verarbeitung ausgewählt werden. Alternativ dazu besteht aber auch die Möglichkeit, dass in einer weiteren vorteilhaften Weise der Erfindung die wenigstens zwei Bildausschnitte bereits vor der Transformation in die Vogelperspektive ausgewählt werden. Hierdurch wird in vorteilhafter Weise die Menge der zu transformierenden Bilddaten verringert, wodurch der Verarbeitungsaufwand deutlich reduziert wird.
  • Auch ist es von Vorteil, falls das Flächenverhältnis der wenigstens zwei Bildaufnahmen und/oder Bildausschnitte unterschiedlich ist. Selbst wenn die wenigstens beiden Bildaufnahmen aufgrund des/der eingesetzten Bildsensoren dieselbe Größe besitzen, ist es sinnvoll, dass die Größe der Bildaufnahmen oder Bildausschnitte derart angepasst werden, sodass diese unterschiedlich große Flächen aufweisen.
  • Hierdurch ergibt sich bei der Transformation in die Vogelperspektive für den Nutzer eine intuitiv besser eingängige Darstellung. Bei einer bevorzugten Ausgestaltung der Erfindung wird die Transformation vorzugsweise derart durchgeführt, dass im Gesamtbild in etwa ¾ der Bildanteile von einer Bildaufnahme aus einer ersten Bildaufnahmeposition und in etwa ¼ der Bildanteile von einer weiteren Bildaufnahme aus einer zweiten Bildaufnahmeposition stammen. Somit beträgt das Flächenverhältnis der wenigstens zwei Bildausschnitte im Gesamtbild in etwa 3:4. Der Übergang zwischen den beiden Bildausschnitten erfolgt hierbei vorzugsweise nicht entlang einer Grenzlinie, welche vertikal in der Mitte des Gesamtbildes verläuft, sondern vorzugsweise entlang einer Grenzlinie, welche asymmetrisch zwischen den Bildausschnitten im Gesamtbild verläuft. Dabei muss es sich bei der Grenzlinie nicht zwangsweise um eine Gerade handeln, es kann sich bei der Grenzlinie dabei z.B. in Abhängigkeit der Anordnung der Bildsensorik und/oder deren Bauform auch um eine Kurve handeln.
  • Bei einer besonders bevorzugten Ausführungsform werden, bei der Transformation der Bildaufnahmen in eine Vogelperspektive Verweistabellen, sogenannte Lookup-Tabellen, herangezogen. Hierzu ist eine Beschreibung der Beziehungen zwischen einer Bildaufnahme und einem in die Vogelperspektive transformierten Bild im Speicher in einer Datenstruktur hinterlegt. Bei der Transformation werden deshalb komplizierte und aufwendige Laufzeitprobleme durch einfachen Zugriff auf diese Datenstruktur ersetzt. Diese Maßnahme führt in einer gewinnbringenden Weise zu einer erheblichen Reduzierung des Verarbeitungsaufwandes.
  • Für einen Einsatz bei dem erfindungsgemäßen Verfahren eignen sich vorzugsweise Bildsensoren, wie z.B. CCD- oder CMOS-Sensoren, welche sowohl im sichtbaren als auch im nichtssichtbaren Wellenlängenspektrum empfindlich sein können. Im Zusammenhang mit der Erfindung handelt es sich bei den Bildaufnahmen dabei um Bildaufnahmen kalibrierter Bildsensoren. Falls die Bildsensoren bei ihrem Einsatz fest angeordnet sind und sich die wenigstens zwei Bildaufnahmepositionen und/oder die Sensororientierungen nicht ändern, ist in vorteilhafter Weise eine einmalige Kalibrierung des/der Bildensor(en) vollkommen ausreichend. Falls sich jedoch die Bildaufnahmepositionen und/oder Sensororientierungen ändern ist jedoch eine erneute Kalibrierung erforderlich. Dem Fachmann auf dem Gebiet der Bildverarbeitung sind hierzu etliche Verfahren zur Kamerakalibrierung aus dem Stand der Technik bereits bekannt.
  • Besonders vorteilhaft ist es, falls die Bildaufnahmen mittels omnidirektionaler Kameras erfasst werden. Derartige Kameras sind aus dem Stand der Technik bereits bekannt, diese umfassen im Wesentlichen einen Kamerachip und einen Spiegel. Damit ist es möglich, mit einer einzigen Bildaufnahme Umgebungsbereiche von bis zu 360° zu erfassen. Im Zusammenhang mit der Erfindung werden bei der Verwendung mehrerer omnidirektionaler Kameras, diese auf eine Referenzebene in einem gemeinsamen Koordinatensystem kalibriert.
  • In einer besonders gewinnbringenden Weise wird das erfindungsgemäße Verfahren zur Umgebungserfassung an einem Kraftfahrzeug eingesetzt. Damit der Fahrer Hindernisse oder andere Verkehrsteilnehmer nicht übersieht, wird ein Gesamtbild der Fahrzeugumgebung in der Vogelperspektive auf einem Display im Fahrzeuginnenraum dargestellt. Dabei kann die Fahrzeugumgebung durch eine geeignete Auswahl von Bildausschnitten dem Fahrer intuitiv und besser eingehend dargestellt werden. Die Darstellung der Fahrzeugumgebung erfolgt dabei vorzugsweise lückenlos. Dabei werden alle Totwinkelbereiche um das Fahrzeug mit erfasst, auch diejenigen, welche der Fahrer mit den Fahrzeugspiegeln sonst nicht einsehen könnte. In der Praxis hat sich gezeigt, dass in den Totwinkelbereichen eines Fahrzeugs sogar ganze Fahrzeuge oder Personen „verschwinden" können. Erst durch die Darstellung in einer lückenlosen Vogelperspektive werden dem Fahrer beim Einsatz des erfindungsgemäßen Verfahrens auch die in den Totwinkelbereichen enthaltenen Objekte auf eine zuverlässige Weise dargestellt. Selbst wenn diese erhaben sind und sich bewegen kommt es dabei an den Übergangsstellen einzelner Bildausschnitte im Gesamtbild zu keinen Sprungstellen aufgrund der Perspektive, sondern lediglich zu Verzerrungen, weshalb Objekte in diesen Bereichen im Gesamtbild jederzeit vollständig sichtbar sind. Objekte können dabei in einer optischen Anzeige farblich hervorgehoben und im Falle einer drohenden Kollision z.B. blinkend dargestellt sein, sodass der Fahrer die Objekte auf zuverlässige Weise erfassen kann. Neben optischen Anzeigen eignen sich z.B. aber auch akustische Warnsignale. Mit einer geeigneten Soundanlage können akustische Warnsignale auch richtungsabhängig ausgegeben werden. Auch besteht die Möglichkeit die mit dem Verfahren gewonnenen Ergebnisse über das Vorhandensein von Objekten weiter zu verarbeiten und damit z.B. Steuersignale für einen automatischen Eingriff in die Fahrdynamik zu generieren und somit Kollisionen zu vermeiden. Neben einem Einsatz bei Pkws eignet sich das Verfahren beispielsweise auch für den Einsatz bei LKWs, Omnibussen oder Baufahrzeugen, insbesondere da der Fahrer hierbei aufgrund des Fahrzeugaufbaus häufig einen schlechten Einblick in die Fahrzeugumgebung hat. Der Fahrer kann durch den Einsatz des Verfahrens z.B. beim Einparken, Abbiegen an Verkehrskreuzungen oder beim Rangieren in vorteilhafter Weise unterstützt werden. Eine ideale Position für die Anordnung von Bildsensoren an einem Fahrzeug sind vor allem Positionen in der Nähe der Fahrzeugspiegel. Beispielsweise wird lediglich jeweils eine omnidirektionale Kamera an den vorderen äußeren Ecken eines Fahrzeugs benötigt, um sowohl den Totwinkelbereich vor der Fahrzeugfront als auch die Totwinkelbereiche auf beiden Seiten des Fahrzeugs zu erfassen.
    •
  • Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung von bevorzugten Ausführungsbeispielen anhand der Figuren. Dabei zeigen:
  • 1 eine Umgebungserfassung aus 2 Aufnahmepositionen, mit Abschattungen in unterschiedliche Richtungen
  • 2 eine Umgebungserfassung aus 2 Aufnahmepositionen, mit Abschattungen in derselben Richtung
  • 1 zeigt beispielhaft eine Umgebungserfassung anhand von zwei Aufnahmepositionen mit Abschattungen in unterschiedlichen Richtungen. Es handelt sich hierbei um ein Straßenfahrzeug (1) in der Vogelperspektive, welches an den äußeren Ecken der Fahrzeugfront mit jeweils einer omnidirektionalen Kamera (2, 3) ausgestattet ist. Hierbei wurde eine Grenzlinie (4) zur Festlegung von Bildausschnitten (7, 8) derart gewählt, sodass durch Objekte hervorgerufene Abschattungen (5, 6) in unterschiedlichen Richtungen auf eine Referenzebene projiziert werden. Bei der Beschreibung der Ausführungsbeispiele wird im Folgenden davon ausgegangen, dass sich die Referenzebene in der Zeichenebene befindet. Objekte welche sich links von der Grenzlinie (4) im Bildausschnitt (7) befinden werden mittels der omnidirektionalen Kamera (2) und Objekte, welche sich rechts von der Grenzlinie (4) im Bildausschnitt (8) befinden mittels der omnidirektionalen Kamera (3) erfasst. Beim Übergang eines Objekts zwischen den Bildausschnitten (7, 8) kann es an der Grenzlinie (4) in Abhängigkeit von der Objekthöhe neben Verzerrungen auch zu Sprungstellen kommen. Objekte die sich in der Referenzebene befinden, werden in den Bildausschnitten (7, 8) an denselben Positionen im Bild projiziert. Dagegen werden Objekte, welche sich außerhalb der Referenzebene befinden in den Bildausschnitten (7, 8) an unterschiedlichen Stellen projiziert. Daher sind erhabene Objekte im Bereich der Grenzlinie (4) nicht sichtbar. Aufgrund der Anordnung der omnidirektionalen Kameras (2, 3), welche gleich große Bildausschnitte (7, 8) im Gesamtbild liefern, werden Objekte im Bereich der Grenzlinie (4) aus unterschiedlichen Perspektiven gesehen und durch diese Objekte hervorgerufene Abschattungen (5, 6) werden in der Referenzebene in unterschiedliche Richtungen projiziert. Ein Objekt, welches sich im Bereich der Grenzlinie (4) befindet und mittels der omnidirektionalen Kamera (2) erfasst wird, verursacht in der Referenzebene eine Abschattung (5), welche im Gesamtbild in der Vogelperspektive nach rechts orientiert ist. Wird dagegen dasselbe Objekt mittels der omnidirektionalen Kamera (3) erfasst, so entsteht in der Referenzebene eine Abschattung (6), welche im Gesamtbild in der Vogelperspektive nach links orientiert ist.
  • 2 zeigt beispielhaft eine Umgebungserfassung anhand von zwei Aufnahmepositionen mit Abschattungen in etwa derselben Richtung. Im Gegensatz zu der in der 1 gezeigten Situation ist hierbei die Grenzlinie (4) zur Auswahl von Bildausschnitten (7, 8) derart gewählt, sodass durch Objekte hervorgerufene Abschattungen (5, 6) im Wesentlichen in dieselbe Richtung auf die Referenzfläche projiziert werden. Die Grenzlinie (4) verläuft im Gesamtbild in der Vogelperspektive von der omnidirektionalen Kamera (3) aus gesehen durch die Position an der die omnidirektionale Kamera (2) verbaut ist. Mit der omnidirektionalen Kamera (3) wird dabei der dem Fahrzeug (1) vorausliegende Umgebungsbereich erfasst und im Gesamtbild als Bildausschnitt (7), welcher sich oberhalb der Grenzlinie (4) befindet, dargestellt. Mit der omnidirektionalen Kamera (2) wird der Bereich links neben dem Fahrzeug (1) erfasst und im Gesamtbild als Bildausschnitt (8), welcher sich unterhalb der Grenzlinie (4) befindet, dargestellt. Durch die Auswahl einer derart verlaufenden Grenzlinie (4) werden die durch ein Objekt hervorgerufenen Abschattungen (5, 6) im Gesamtbild im Bereich der Grenzlinie (4) zwar unterschiedlich skaliert, jedoch sind die Abschattungen unabhängig von der Objekthöhe zu jeder Zeit im Gesamtbild sichtbar. In vorteilhafter Weise wurde der Verlauf der Grenzlinie (4) derart gewählt, sodass sich der Übergang zwischen den Bildausschnitten (7, 8) bei einem Linkslenker auf der Fahrerseite befindet. Somit werden die größeren Totwinkelbereiche auf der rechten Seite des Fahrzeugs (1) mit der omnidirektionalen Kamera (3) erfasst, wobei kein Übergang zwischen Bildausschnitten auf dieser Seite vorhanden ist. Gleichsam ist es aber auch möglich, den Übergang anhand der Grenzlinie (4) auf die rechte Seite des Fahrzeugs (1) zu legen. Weiterhin ist es nicht notwendig, dass die Grenzlinie (4) horizontal im Gesamtbild verläuft. Es ist auch ein diagonaler Verlauf der Grenzlinie (4) denkbar, wobei sichergestellt sein muss, dass durch bewegte Objekte hervorgerufene Abschattungen (5, 6) beim Übergang im Gesamtbild von einem ersten Bildausschnitt (7, 8) in einen zweiten Bildausschnitt (8, 7) im Wesentlichen in dieselbe Richtung auf eine zuvor definierte Referenzfläche projiziert werden.
    • 1
    Fahrzeug
    2, 3
    Omnidirektionale Kameras
    4
    Grenzlinie
    5, 6
    Abschattung
    7, 8
    Bildausschnitt

Claims (10)

  1. Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive, wobei wenigstens zwei Bildaufnahmen von sich überlappenden oder aneinander angrenzenden Umgebungsbereichen aus unterschiedlichen Bildaufnahmepositionen erfasst werden, wobei die wenigstens zwei Bildaufnahmen in die Vogelperspektive transformiert werden, wobei Bildausschnitte (7, 8) der transformierten Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive zusammenfügt werden und wobei die Bildausschnitte (7, 8) dabei derart gewählt sind, dass durch bewegte Objekte hervorgerufene Abschattungen (5, 6) beim Übergang im Gesamtbild von einem ersten Bildausschnitt (7, 8) in einen zweiten Bildausschnitt (8, 7) in dieselbe Richtung auf eine zuvor definierte Referenzfläche projiziert werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei der Referenzfläche um diejenige Ebene oder eine parallele Ebene zu derjenigen Ebene handelt, welche die Bodenfläche über der sich die Bildaufnahmepositionen befinden approximiert.
  3. Verfahren nach einem der vorstehenden Ansprüche dadurch gekennzeichnet, dass die wenigstens zwei Bildausschnitte (7, 8) bereits vor der Transformation in die Vogelperspektive ausgewählt werden.
  4. Verfahren nach einem der vorstehenden Ansprüche dadurch gekennzeichnet, dass das Flächenverhältnis der wenigstens zwei Bildaufnahmen und/oder Bildausschnitte (7, 8) unterschiedlich ist.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Flächenverhältnis 3:4 beträgt.
  6. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass eine Grenzlinie (4) zwischen den Bildausschnitten im Gesamtbild asymmetrisch verläuft.
  7. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass bei der Transformation der Bildaufnahmen in eine Vogelperspektive Verweistabellen herangezogen werden.
  8. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei den Bildaufnahmen um Bildaufnahmen kalibrierter Bildsensoren handelt.
  9. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Bildaufnahmen mittels omnidirektionaler Kameras (2, 3) erfasst werden.
  10. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 9 zur Umgebungserfassung an einem Kraftfahrzeug (1).
DE102006003538A 2006-01-24 2006-01-24 Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive Expired - Fee Related DE102006003538B3 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102006003538A DE102006003538B3 (de) 2006-01-24 2006-01-24 Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
US12/161,925 US20090022423A1 (en) 2006-01-24 2007-01-12 Method for combining several images to a full image in the bird's eye view
PCT/EP2007/000231 WO2007087975A2 (de) 2006-01-24 2007-01-12 Verfahren zum zusammenfügen mehrerer bildaufnahmen zu einem gesamtbild in der vogelperspektive
JP2008551689A JP2009524171A (ja) 2006-01-24 2007-01-12 複数の画像を結合して鳥瞰図画像にする方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102006003538A DE102006003538B3 (de) 2006-01-24 2006-01-24 Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive

Publications (1)

Publication Number Publication Date
DE102006003538B3 true DE102006003538B3 (de) 2007-07-19

Family

ID=38190247

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102006003538A Expired - Fee Related DE102006003538B3 (de) 2006-01-24 2006-01-24 Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive

Country Status (4)

Country Link
US (1) US20090022423A1 (de)
JP (1) JP2009524171A (de)
DE (1) DE102006003538B3 (de)
WO (1) WO2007087975A2 (de)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007049821A1 (de) 2007-10-16 2009-04-23 Daimler Ag Verfahren zum Kalibrieren einer Anordnung mit mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit
DE102008035428A1 (de) 2008-07-30 2010-02-04 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102011077143A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Fahrzeugkamerasystem und Verfahren zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung
DE102011088332A1 (de) 2011-12-13 2013-06-13 Robert Bosch Gmbh Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
DE102012215026A1 (de) * 2012-08-23 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE102014213536A1 (de) * 2014-07-11 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Zusammenfügen von Teilbildern zu einem Abbild einer Umgebung eines Fortbewegungsmittels
DE102014220324A1 (de) * 2014-10-07 2016-06-30 Continental Automotive Gmbh Head-up-Display zur Überwachung eines Verkehrsraums
DE102015010009A1 (de) 2015-08-05 2017-02-09 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
DE102015010011A1 (de) 2015-08-05 2017-02-09 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
DE102015121952A1 (de) * 2015-12-16 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
DE102016225073A1 (de) * 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung
DE102014116140B4 (de) 2013-12-19 2018-09-13 Hyundai Mobis Co., Ltd. Einparkhilfsvorrichtung und Einparkhilfsverfahren für ein Fahrzeug

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006052779A1 (de) * 2006-11-09 2008-05-15 Bayerische Motoren Werke Ag Verfahren zur Erzeugung eines Gesamtbilds der Umgebung eines Kraftfahrzeugs
JP5108605B2 (ja) * 2008-04-23 2012-12-26 三洋電機株式会社 運転支援システム及び車両
JP2010250640A (ja) * 2009-04-17 2010-11-04 Sanyo Electric Co Ltd 画像処理装置
US8416300B2 (en) 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
DE102009036200A1 (de) * 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP4952765B2 (ja) * 2009-10-21 2012-06-13 トヨタ自動車株式会社 車両用夜間視界支援装置
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
US20150286878A1 (en) 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
KR101596751B1 (ko) * 2014-09-26 2016-02-23 현대자동차주식회사 운전자 맞춤형 사각 영역 표시 방법 및 장치
US10189405B2 (en) * 2015-01-14 2019-01-29 Yazaki North America, Inc. Vehicular multi-purpose warning head-up display
WO2018076196A1 (en) * 2016-10-26 2018-05-03 Continental Automotive Gmbh Method and system for generating a composed top-view image of a road
KR101992917B1 (ko) * 2016-11-30 2019-06-25 엘지디스플레이 주식회사 표시 장치용 기판과, 그를 포함하는 유기 발광 표시 장치 및 그 제조 방법
JPWO2020105698A1 (ja) * 2018-11-22 2021-10-21 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、カメラシステム及び画像処理方法
KR102473404B1 (ko) * 2020-02-25 2022-12-02 삼성전기주식회사 탑뷰 제공 장치
US12077948B2 (en) 2022-03-04 2024-09-03 Deere &Company System and method for maintaining a view of an area of interest proximate a work vehicle
US11680387B1 (en) 2022-04-21 2023-06-20 Deere & Company Work vehicle having multi-purpose camera for selective monitoring of an area of interest

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10035223A1 (de) * 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
DE10296593T5 (de) * 2001-03-28 2004-05-06 Matsushita Electric Industrial Co., Ltd., Kadoma Fahrunterstützungsvorrichtung
DE60003750T2 (de) * 1999-04-28 2004-06-03 Matsushita Electric Industrial Co., Ltd., Kadoma Einparkhilfe-Assistenz-Vorrichtung
DE10292327T5 (de) * 2001-06-13 2004-09-23 Denso Corp., Kariya Fahrzeugumgebungsbildverarbeitungsvorrichtung und Aufzeichnungsmedium

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
EP1303140A4 (de) * 2000-07-19 2007-01-17 Matsushita Electric Ind Co Ltd Überwachungssystem
JP3652678B2 (ja) * 2001-10-15 2005-05-25 松下電器産業株式会社 車両周囲監視装置およびその調整方法
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP3744002B2 (ja) * 2002-10-04 2006-02-08 ソニー株式会社 表示装置、撮像装置、および撮像／表示システム
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60003750T2 (de) * 1999-04-28 2004-06-03 Matsushita Electric Industrial Co., Ltd., Kadoma Einparkhilfe-Assistenz-Vorrichtung
DE10035223A1 (de) * 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
DE10296593T5 (de) * 2001-03-28 2004-05-06 Matsushita Electric Industrial Co., Ltd., Kadoma Fahrunterstützungsvorrichtung
DE10292327T5 (de) * 2001-06-13 2004-09-23 Denso Corp., Kariya Fahrzeugumgebungsbildverarbeitungsvorrichtung und Aufzeichnungsmedium

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007049821A1 (de) 2007-10-16 2009-04-23 Daimler Ag Verfahren zum Kalibrieren einer Anordnung mit mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit
DE102008035428A1 (de) 2008-07-30 2010-02-04 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102008035428B4 (de) * 2008-07-30 2010-11-18 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102011077143A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Fahrzeugkamerasystem und Verfahren zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung
DE102011088332B4 (de) 2011-12-13 2021-09-02 Robert Bosch Gmbh Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
WO2013087362A1 (de) 2011-12-13 2013-06-20 Robert Bosch Gmbh Verfahren zur verbesserung der objektdetektion bei multikamerasystemen
DE102011088332A1 (de) 2011-12-13 2013-06-13 Robert Bosch Gmbh Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
DE102012215026A1 (de) * 2012-08-23 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US9682655B2 (en) 2012-08-23 2017-06-20 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a vehicle
DE102014116140B4 (de) 2013-12-19 2018-09-13 Hyundai Mobis Co., Ltd. Einparkhilfsvorrichtung und Einparkhilfsverfahren für ein Fahrzeug
DE102014213536A1 (de) * 2014-07-11 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Zusammenfügen von Teilbildern zu einem Abbild einer Umgebung eines Fortbewegungsmittels
US11087438B2 (en) 2014-07-11 2021-08-10 Bayerische Motoren Werke Aktiengesellschaft Merging of partial images to form an image of surroundings of a mode of transport
DE102014220324A1 (de) * 2014-10-07 2016-06-30 Continental Automotive Gmbh Head-up-Display zur Überwachung eines Verkehrsraums
EP3135822A1 (de) 2015-08-05 2017-03-01 Wirtgen GmbH Selbstfahrende baumaschine und verfahren zur anzeige der umgebung einer selbstfahrenden baumaschine
EP3135823A1 (de) 2015-08-05 2017-03-01 Wirtgen GmbH Selbstfahrende baumaschine und verfahren zur anzeige der umgebung einer selbstfahrenden baumaschine
US10086761B2 (en) 2015-08-05 2018-10-02 Wirtgen Gmbh Automotive construction machine and method for displaying the surroundings of an automotive construction machine
US10378162B2 (en) 2015-08-05 2019-08-13 Wirtgen Gmbh Automotive construction machine and method for displaying the surroundings of an automotive construction machine
US10377311B2 (en) 2015-08-05 2019-08-13 Wirtgen Gmbh Automotive construction machine and method for displaying the surroundings of an automotive construction machine
DE102015010011B4 (de) * 2015-08-05 2020-03-19 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
DE102015010011A1 (de) 2015-08-05 2017-02-09 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
DE102015010009A1 (de) 2015-08-05 2017-02-09 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
DE102015121952A1 (de) * 2015-12-16 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
US10635896B2 (en) 2015-12-16 2020-04-28 Valeo Schalter Und Sensoren Gmbh Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
DE102016225073A1 (de) * 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung
US10824884B2 (en) 2016-12-15 2020-11-03 Conti Temic Microelectronic Gmbh Device for providing improved obstacle identification

Also Published As

Publication number Publication date
WO2007087975A2 (de) 2007-08-09
JP2009524171A (ja) 2009-06-25
WO2007087975A3 (de) 2007-12-21
US20090022423A1 (en) 2009-01-22

Similar Documents

Publication Publication Date Title
DE102006003538B3 (de) Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
EP3501897B1 (de) Sichtsystem zur erfassung einer fahrzeugumgebung
EP3328686B1 (de) Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
DE102008031784B4 (de) Verfahren und Vorrichtung zur Verzerrungskorrektur und Bildverbesserung eines Fahrzeugrückblicksystems
DE10296593B4 (de) Fahrunterstützungsvorrichtung
EP3157786B1 (de) Fahrzeug mit umfeldüberwachungseinrichtung sowie verfahren zum betreiben einer solchen überwachungseinrichtung
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE102010035772B4 (de) System und Verfahren zum Liefern von Leitinformation für einen Fahrer eines Fahrzeugs
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
DE102007059735A1 (de) Stereo-Sichtsystem für Fahrzeuge zur Erkennung seitlich liegender Hindernisse
DE102014205078A1 (de) System zur Betrachtung eines Bordsteines in einem vorderen Bereich auf Basis von zwei Kameras
EP3167427A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE102012203491A1 (de) Elektronisches Rückspiegel-System
WO2010025792A1 (de) Verfahren und vorrichtung zur überwachung einer umgebung eines fahrzeuges
EP2500216A1 (de) Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem
DE102007016055A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung und Fahrzeugumgebungsüberwachungs-Videoanzeigeverfahren
DE102016217037B4 (de) Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs mit einer digitalen Anzeigefläche und Kraftfahrzeug
DE102006037600A1 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
EP3833576B1 (de) Kameraüberwachungssystem
EP3041710B1 (de) Verfahren zum manövrieren eines fahrzeuges
DE102014225883A1 (de) Kamerasystem und Verfahren zum Visualisieren mindestens eines Fahrzeugumfeldbereiches einesFahrzeugumfeldes eines Fahrzeuges
WO2022049040A1 (de) Verfahren zum anzeigen einer umgebung eines fahrzeuges auf einer anzeigeeinrichtung, verarbeitungseinheit und fahrzeug
DE102021106670A1 (de) Verfahren und Umfeld-Erfassungssystem zum Erzeugen eines Umgebungsbildes eines mehrgliedrigen Gesamtfahrzeugs
DE102018215006A1 (de) Vorrichtung und verfahren zur darstellung einer umgebungsansicht für ein fahrzeug

Legal Events

Date Code Title Description
8100 Publication of patent without earlier publication of application
8327 Change in the person/name/address of the patent owner

Owner name: DAIMLER AG, 70327 STUTTGART, DE

8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee