DE102014012250A1

DE102014012250A1 - Verfahren zur Bilderverarbeitung und -darstellung

Info

Publication number: DE102014012250A1
Application number: DE201410012250
Authority: DE
Inventors: Christoph Rößing
Original assignee: Daimler AG
Current assignee: ADC Automotive Distance Control Systems GmbH
Priority date: 2014-08-19
Filing date: 2014-08-19
Publication date: 2015-03-26
Anticipated expiration: 2034-08-20
Also published as: DE102014012250B4

Abstract

Die Erfindung betrifft ein Verfahren zur Bilderverarbeitung und -darstellung, wobei mittels mehrerer Bilderfassungseinheiten (2, 3) eine Szene aus unterschiedlichen Perspektiven erfasst wird und aus mittels der Bilderfassungseinheiten (2, 3) erfassten Einzelbildern anhand einer mittels einer Bildverarbeitungseinheit ausgeführten Projektion der Einzelbilder auf zumindest eine virtuelle Referenzebene ein Gesamtbild (B) erzeugt wird, welches zumindest ein Objekt (O) und dessen Umgebung aus einer Vogelperspektive zeigt. Erfindungsgemäß wird in Abhängigkeit zumindest eines erkannten erhabenen Objekts (O) eine dreidimensionale Form der zumindest einen Projektionsfläche zumindest abschnittsweise dynamisch verändert. Die Erfindung betrifft weiterhin eine Verwendung eines solchen Verfahrens zur Erfassung und Darstellung zumindest eines verdeckten Objekts (O).

Description

Die Erfindung betrifft ein Verfahren zur Bilderverarbeitung und -darstellung, wobei mittels mehrerer Bilderfassungseinheiten eine Szene aus unterschiedlichen Perspektiven erfasst wird aus mittels der Bilderfassungseinheiten erfassten Einzelbildern anhand einer mittels einer Bildverarbeitungseinheit ausgeführten Projektion der Einzelbilder auf zumindest eine virtuelle Referenzebene ein Gesamtbild erzeugt wird, welches zumindest ein Objekt und dessen Umgebung aus einer Vogelperspektive zeigt.
Die Erfindung betrifft weiterhin eine Verwendung eines solchen Verfahrens.
Aus der DE 10 2008 035 428 A1 ist ein Verfahren zur Überwachung einer Umgebung eines Fahrzeugs bekannt, wobei die Umgebung mittels zumindest einer ersten Bilderfassungseinheit und einer zweiten Bilderfassungseinheit, deren Erfassungsbereiche sich zumindest teilweise überlappen und einen Überlappungsbereich bilden, erfasst wird. Aus mittels der Bilderfassungseinheiten erfassten Einzelbildern wird anhand einer mittels einer Bildverarbeitungseinheit ausgeführten Projektion der Einzelbilder auf eine virtuelle Referenzebene ein Gesamtbild erzeugt, welches das Fahrzeug und dessen Umgebung aus einer Vogelperspektive zeigt. Ein Bereich der virtuellen Referenzebene wird in dem Überlappungsbereich gegenüber einem außerhalb des Überlappungsbereiches liegenden Bereich erhöht. Dabei wird die Erhöhung der virtuellen Referenzebene anhand jeweils in Blickrichtung der Bilderfassungseinheiten verlaufender linearer, stufenförmiger und kurvenförmiger Anstiege der virtuellen Referenzebene erzielt.
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Bilderverarbeitung und -darstellung und eine Verwendung eines solchen Verfahrens anzugeben.
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Verwendung durch die im Anspruch 6 angegebenen Merkmale gelöst.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem Verfahren zur Bilderverarbeitung und -darstellung wird mittels mehrerer Bilderfassungseinheiten eine Szene aus unterschiedlichen Perspektiven erfasst und aus mittels der Bilderfassungseinheiten erfassten Einzelbildern wird anhand einer mittels einer Bildverarbeitungseinheit ausgeführten Projektion der Einzelbilder auf zumindest eine virtuelle Referenzebene ein Gesamtbild erzeugt, welches zumindest ein Objekt und dessen Umgebung aus einer Vogelperspektive zeigt.
Erfindungsgemäß wird in Abhängigkeit zumindest eines erkannten erhabenen Objekts eine dreidimensionale Form der zumindest einen Projektionsfläche zumindest abschnittsweise dynamisch verändert.
Hieraus ergibt sich in besonders vorteilhafter Weise, dass Abweichungen der Projektionsfläche von einer tatsächlichen räumlichen Struktur und daraus folgend Projektionsfehler und inkorrekte Höhenannahmen minimiert werden können. Somit kann eine Anzahl von insbesondere durch Verzerrungen hervorgerufenen Darstellungsfehlern im Gesamtbild zumindest verringert werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
1 schematisch ein Gesamtbild nach dem Stand der Technik, welches ein Fahrzeug aus einer Vogelperspektive zeigt, und
2 schematisch ein mittels eines erfindungsgemäßen Verfahrens erzeugtes Gesamtbild, welches ein Fahrzeug aus einer Vogelperspektive zeigt.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist ein Gesamtbild B nach dem Stand der Technik dargestellt, welches ein Fahrzeug 1 und dessen Umgebung aus einer Vogelperspektive von einem Betrachtungspunkt aus zeigt. Dieses Gesamtbild B ist einem Fahrer des Fahrzeugs 1 in nicht näher dargestellter Weise mittels einer optischen Anzeigeeinheit im Fahrzeuginnenraum ausgebbar, so dass für diesen insbesondere ein Rangieren des Fahrzeugs 1 erleichtert ist.
Zur Erzeugung des Gesamtbildes B umfasst das Fahrzeug 1 zwei an unterschiedlichen Positionen am Fahrzeug 1 angeordnete Bilderfassungseinheiten 2, 3, wobei die Bilderfassungseinheit 2 einen Erfassungsbereich E1 und die Bilderfassungseinheit 3 einen Erfassungsbereich E2 aufweist. Die Erfassungsbereiche E1, E2 überlappen sich teilweise, so dass ein Überlappungsbereich U entsteht.
Die Bilderfassungseinheiten 2, 3 weisen insbesondere einen großen Erfassungsbereich E1, E2 auf und sind beispielsweise jeweils als Mono- oder Stereokamera oder omnidirektionale Kamera ausgebildet. Diese omnidirektionalen Kameras können beispielsweise mosaikbasierte Kameras, rotierende Kameras, Kameras mit speziellen Weitwinkellinsen, so genannten Fischaugen-Linsen, sein oder auf einem katadioptrischen System basieren.
Mittels der Bilderfassungseinheiten 2, 3 werden Einzelbilder der Umgebung des Fahrzeugs 1 in den Erfassungsbereichen E1, E2 erfasst, wobei die Einzelbilder mittels einer nicht näher dargestellten Bildverarbeitungseinheit in das Gesamtbild B anhand einer Projektion dieser auf eine virtuelle Referenzebene umgewandelt werden.
Bei dieser virtuellen Referenzebene handelt es sich insbesondere um eine Ebene, welche auf Höhe einer Fahrbahn des Fahrzeugs 1, d. h. auf dem Boden, angeordnet ist. Stimmt eine Struktur der dabei angenommenen virtuellen Referenzebene nicht mit einer tatsächlichen Struktur überein, kann es – wie dargestellt – zu Projektionsfehlern kommen, so dass ein im Überlappungsbereich U befindliches Objekt O fehlerhaft, insbesondere verzerrt und/oder in der falschen Größe, im Gesamtbild B dargestellt wird.
Im dargestellten Gesamtbild B nach dem Stand der Technik wird das Objekt O, bei welchem es sich um eine Person, ein Hindernis, einen Gegenstand oder andere Objekte handeln kann, trapezförmig verzerrt nach dem ”Keystone-Effekt” dargestellt.
2 zeigt ein mittels eines erfindungsgemäßen Verfahrens erzeugtes Gesamtbildbild B, welches das Fahrzeug 1 aus der Vogelperspektive zeigt.
Um die in 1 dargestellte Verzerrung des Objekts O auf dem Gesamtbild B zu vermeiden und somit die Darstellung signifikant zu verbessern, ist vorgesehen, in Abhängigkeit eines erkannten erhabenen Objekts O eine dreidimensionale Form der Projektionsfläche zumindest abschnittsweise dynamisch zu verändern.
Die Erkennung des Objekts O erfolgt dabei insbesondere mittels allgemein bekannter Methoden zur Fußgänger-, Fahrzeug- und/oder Objekterkennung und/oder anhand so genannter dreidimensionaler Rekonstruktionsverfahren, wobei als Grundlage für die Erkennung des Objekts O Daten der Bilderfassungseinheiten 2, 3 oder zumindest einer weiteren, beispielsweise als Kamera, Radarsensor, Ultraschallsensor und/oder Lidarsensor ausgebildeten Erfassungseinheit verwendet werden.
Beispielsweise wird die die Projektionsfläche zumindest abschnittsweise im Bereich des erhabenen Objekts O erhöht. Handelt es sich bei dem Objekt O um einen Fußgänger, wird die Projektionsfläche beispielsweise derart im Bereich ”unter” dem Fußgänger erhöht, dass ein Zylinder aus der sonst eben ausgebildeten Projektionsfläche herausragt.
Somit werden verzerrte und unvollständige Darstellungen von Objekten O vermieden, wobei ein derartiges Verfahren in nicht näher dargestellter Weise auch zur Erfassung und Darstellung von verdeckten Objekten im Kamerabildern verwendet werden kann, um durch das betreffende Objekt verdeckte Bereiche mittels der jeweils anderen Kamera zu erfassen und dem Betrachter darzustellen.
Bezugszeichenliste

1: Fahrzeug
2: Bilderfassungseinheit
3: Bilderfassungseinheit
B: Gesamtbild
E1: Erfassungsbereich
E2: Erfassungsbereich
O: Objekt
U: Überlappungsbereich

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102008035428 A1 [0003]

Claims

Verfahren zur Bilderverarbeitung und -darstellung, – wobei mittels mehrerer Bilderfassungseinheiten (2, 3) eine Szene aus unterschiedlichen Perspektiven erfasst wird und – aus mittels der Bilderfassungseinheiten (2, 3) erfassten Einzelbildern anhand einer mittels einer Bildverarbeitungseinheit ausgeführten Projektion der Einzelbilder auf zumindest eine virtuelle Referenzebene ein Gesamtbild (B) erzeugt wird, – welches zumindest ein Objekt (O) und dessen Umgebung aus einer Vogelperspektive zeigt, dadurch gekennzeichnet, dass – in Abhängigkeit zumindest eines erkannten erhabenen Objekts (O) eine dreidimensionale Form der zumindest einen Projektionsfläche zumindest abschnittsweise dynamisch verändert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Projektionsfläche zumindest abschnittsweise im Bereich des erhabenen Objekts (O) erhöht wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das zumindest eine Objekt (O) anhand von Daten der Bilderfassungseinheiten (2, 3) erkannt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zumindest eine Objekt (O) anhand von Daten zumindest einer weiteren Erfassungseinheit erkannt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass als weitere Erfassungseinheit zumindest eine Kamera, eine Radarsensor, ein Ultraschallsensor und/oder ein Lidarsensor verwendet werden bzw. wird.
Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche zur Erfassung und Darstellung zumindest eines verdeckten Objekts (O).