-
Die Erfindung betrifft ein Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs, bei welchem ein Kamerabild eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera des Kraftfahrzeugs erfasst wird. Die Erfindung betrifft außerdem eine Fahrerassistenzeinrichtung zum Durchführen eines derartigen Verfahrens, wie auch ein Kraftfahrzeug mit einer solchen Fahrerassistenzeinrichtung sowie ein Computerprogramm zum Durchführen des Verfahrens.
-
Fahrerassistenzeinrichtungen mit optischen Kameras sind bereits Stand der Technik. Es ist auch bekannt, auf einer optischen Anzeigeeinrichtung eines Kraftfahrzeugs – etwa auf einem Display – Bilder anzuzeigen, die den Umgebungsbereich des Kraftfahrzeugs abbilden. Derartige Bilder können mittels einer Kamera erfasst werden, die an dem Kraftfahrzeug angebracht ist, etwa in einem Heckbereich oder aber einem Frontbereich. Im Stand der Technik werden in der Regel Kameras eingesetzt, die einen relativ breiten Erfassungswinkel – d. h. Öffnungswinkel – aufweisen. Dieser Erfassungswinkel kann beispielsweise 130°, 180° oder sogar 190° betragen. Das aufgenommene Bild einer solchen Kamera ist in jedem Bildbereich scharf, sodass der Fahrer die abgebildeten Objekte in jedem Bereich des angezeigten Bildes ohne viel Aufwand erkennen kann. Die Bildschärfe des gesamten aufgenommenen Bildes ist außerdem erforderlich, um in der Umgebung des Kraftfahrzeugs befindliche Hindernisse – etwa andere Verkehrsteilnehmer, wie insbesondere andere Fahrzeuge oder aber Fußgänger – anhand des aufgenommenen Bildes identifizieren zu können. Aus diesem Grund soll die optische Schärfe der Bilder nicht mithilfe einer entsprechenden Optikeinrichtung verändert werden, so dass auch die Schärfentiefe (Depth of Field, DOF) des Kamerabildes relativ groß ist.
-
Dass die aufgenommenen Bilder in jedem Bildbereich scharf sind, ist auch mit gewissen Nachteilen verbunden: Die Aufmerksamkeit des Fahrers wird auf das gesamte, auf der Anzeigeeinrichtung angezeigte Bild gerichtet, und nicht etwa ausschließlich auf die relevanten Hindernisse bzw. auf die relevanten Bildbereiche.
-
Aus dem Dokument
US 7 974 460 B2 sind ein Verfahren sowie ein System bekannt, welche zur Erfassung der dreidimensionalen Ausgestaltung von Hindernissen dienen, die sich in der Umgebung eines automatisch angetriebenen Kraftfahrzeugs befinden. Eine Kamera des Kraftfahrzeugs wird auf eine Vielzahl von unterschiedlichen Entfernungen vom Kraftfahrzeug fokussiert, um bei jeder Entfernung ein Kamerabild aufzunehmen. Anschließend wird untersucht, welche Bildbereiche in den aufgenommenen Bildern scharf sind. Jedem scharfen Bildbereich wird dann ein Brennpunkt der Linse zugeordnet. Die dreidimensionale Hindernis-Karte wird dann aus einem Gesamtbild erzeugt, welches aus der Vielzahl der aufgenommenen Bilder bereitgestellt wird, wobei die Bildbereiche mit den zugeordneten Brennpunktwerten gekennzeichnet werden.
-
Die Druckschrift
US 7 733 464 B2 beschreibt ein Bildgebungssystem für ein Kraftfahrzeug. Das Bildgebungssystem ist zur Aufnahme von Bildern bei Dunkelheit ausgebildet.
-
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung der Fahrer des Kraftfahrzeugs besonders zuverlässig mittels der Anzeigeeinrichtung beim Führen des Kraftfahrzeugs unterstützt werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Fahrerassistenzeinrichtung, durch ein Kraftfahrzeug sowie durch ein Computerprogramm mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs. Eine Kamera des Kraftfahrzeugs erfasst ein Kamerabild eines Umgebungsbereiches des Kraftfahrzeugs. Es werden Informationen über Entfernungen zwischen dem Kraftfahrzeug und in dem Umgebungsbereich befindlichen Objekten erfasst. Bevorzugt wird ein Tiefenbild des Umgebungsbereichs erfasst, welches solche Informationen über die Entfernungen beinhaltet. Das Kamerabild wird anhand der Entfernungsinformationen in zumindest zwei Bildbereiche unterteilt, in denen jeweilige Objekte in unterschiedlichen Entfernungen zum Kraftfahrzeug abgebildet sind. Dieses Unterteilen erfolgt mittels einer elektronischen Recheneinrichtung des Kraftfahrzeugs. Einer der Bildbereiche wird dann unabhängig von dem anderen Bildbereich mittels der Recheneinrichtung digital verarbeitet. Die Bildbereiche werden dann zu einem Anzeigebild zusammengefügt und das Anzeigebild wird auf der Anzeigeeinrichtung angezeigt.
-
Die Erfindung geht also den Weg, das aufgenommene Kamerabild in zumindest zwei Schichten (layers) – d. h. zumindest zwei Bildbereiche – zu unterteilen, und zwar in Abhängigkeit von den Entfernungen zwischen dem Kraftfahrzeug einerseits und den in der Umgebung befindlichen Objekten andererseits. Die Schichten können dann unabhängig voneinander – also separat voneinander – digital verarbeitet und anschließend zu einem gemeinsamen Anzeigebild zusammengefügt werden. Es ist somit beispielsweise möglich, einen der Bildbereiche scharf und den anderen Bildbereich unscharf darzustellen, sodass die Schärfentiefe (depth of field) des angezeigten Anzeigebildes durch die digitale Bildverarbeitung beliebig künstlich eingestellt werden kann. Auf diesem Wege kann die Aufmerksamkeit des Fahrers auf den relevanten Bildbereich gerichtet werden, etwa auf ein in der Umgebung befindliches Hindernis.
-
Unter dem Begriff „Objekte” werden vorliegend jegliche, in dem Kamerabild abgebildete Gegenstände verstanden, die sich in der Umgebung des Kraftfahrzeugs befinden und somit die Umgebung gestalten. Dies sind sowohl nahe als auch ferne Gegenstände. Zu den „Objekten” zählen somit insbesondere jegliche Hindernisse, wie beispielsweise andere Verkehrsteilnehmer – zum Beispiel Fahrzeuge und/oder Fußgänger –, Gebäude, Bäume, wie auch der Hintergrund des Kamerabildes, also beispielsweise auch Hügel und der Himmel.
-
Hinsichtlich der Erfassung der Informationen über die Entfernungen können unterschiedlichste Ausführungsformen vorgesehen sein: Grundsätzlich können die Informationen über die Entfernungen auch anhand des erfassten Kamerabildes erfasst werden. In dieser Ausführungsform kann ein Stereokamerasystem eingesetzt werden. Die Informationen über die Entfernungen können insgesamt mittels zumindest einer der folgenden Sensoreinrichtungen erfasst werden:
- – mittels einer TOF-Kamera (time of flight camera) des Kraftfahrzeugs, mittels welcher ein Tiefenbild der Umgebung erzeugt wird, und/oder
- – mittels einer LIDAR-Einrichtung des Kraftfahrzeugs und/oder
- – mittels eines Stereokamerasystems des Kraftfahrzeugs und/oder
- – mittels eines Radargeräts des Kraftfahrzeugs und/oder
- – mittels einer Ultraschallsensoreinrichtung des Kraftfahrzeugs und/oder
- – mittels einer Infrarotsensoreinrichtung des Kraftfahrzeugs.
-
All die genannten Sensoreinrichtungen ermöglichen die Erfassung der Entfernungen mit einer hohen Genauigkeit, sodass das Kamerabild in eine Vielzahl von Bildbereichen unterteilt werden kann, die jeweils Objekte in unterschiedlichen Entfernungen vom Kraftfahrzeug abbilden.
-
Es erweist sich als besonders vorteilhaft, wenn zumindest ein Bildbereich des Kamerabildes in seiner Bildschärfe unbeeinflusst auf der Anzeigeeinrichtung dargestellt wird. Dies bedeutet, dass die Bildschärfe dieses zumindest einen Bildbereiches mittels der Recheneinrichtung nicht verändert, insbesondere nicht verringert, wird. Dieser Bildbereich wird somit mit der ursprünglichen Schärfe auf der Anzeigeeinrichtung dargestellt, sodass die Aufmerksamkeit des Fahrers auf diesen Bildbereich fokussiert werden kann.
-
Die digitale Verarbeitung kann umfassen, dass auf zumindest einen der Bildbereiche ein Schwarz-Weiß-Filter angewendet wird, so dass dieser Bildbereich in Schwarz-Weiß-Darstellung und der andere Bildbereich in Farbe dargestellt werden. Wird beispielsweise ein Hindernis in dem aufgenommenen Kamerabild identifiziert, so kann dieses Hindernis auf der Anzeigeeinrichtung in Farbe angezeigt werden, während der restliche Bereich des Bildes in Schwarz-Weiß-Darstellung angezeigt werden kann. Die Aufmerksamkeit des Fahrers wird somit auf das Hindernis fokussiert.
-
Besonders bevorzugt ist es auch, wenn im Rahmen der digitalen Verarbeitung ein optisches Filter auf zumindest einen der Bildbereiche angewendet wird, sodass die optische Bildschärfe dieses Bildbereiches verringert wird. Somit kann die Schärfentiefe des Anzeigebildes beliebig eingestellt werden. Beispielsweise kann die nahe Umgebung des Kraftfahrzeugs mit einer unveränderten Schärfe dargestellt werden, während die ferne Umgebung des Kraftfahrzeugs mit einer verringerten Bildschärfe – also unscharf – auf der Anzeigeeinrichtung dargestellt werden kann. Die Aufmerksamkeit des Fahrers wird somit auf die relevanten Bildbereiche – hier auf die nahe Umgebung des Kraftfahrzeugs – gerichtet.
-
Die künstliche Unschärfe zumindest eines der Bildbereiche kann auf unterschiedlichste Art und Weise erzeugt werden:
Die digitale Verarbeitung kann beinhalten, dass auf zumindest einen der Bildbereiche ein optisches Verwischfilter (blurring filter) angewendet wird. Diese Ausführungsform ist einerseits relativ einfach zu implementieren; andererseits ist der Unschärfeeffekt eines derartigen Verwischfilters besonders überzeugend. Ein derartiger „Blur-Effekt” kann mittels zumindest einer der folgenden Methoden der Bildverarbeitung erzeugt werden:
mittels des so genannten Weichzeichnens (Gaussian blur) und/oder mittels einer morphologischen Bildverarbeitung, insbesondere einer Dilatation, und/oder mittels eines Prewitt-Filters und/oder mittels einer Mean-Matrix.
-
Ergänzend oder alternativ kann zum Erzeugen der Unschärfe ein optisches Kontrastfilter verwendet werden, welches auf zumindest einen der Bildbereiche angewendet werden kann. Zur Verringerung der Schärfe kann bei dieser Ausführungsform der optische Kontrast dieses Bildbereiches gegenüber dem anderen Bildbereich verringert werden. Die Verwendung eines Kontrastfilters hat den Vorteil, dass ein derartiges Filter ohne viel Aufwand digital implementiert werden kann. Außerdem können die abgebildeten Objekte mithilfe eines derartigen Filters auch wirkungsvoll „verwischt” werden.
-
Es kann auch vorgesehen sein, dass in dem aufgenommenen Kamerabild ein Hindernis, nämlich insbesondere ein Fußgänger oder ein Fahrzeug, identifiziert wird. Unter einem Hindernis wird dabei ein Objekt verstanden, welches eine Gefahr für das Kraftfahrzeug darstellt und sich auf oder aber neben der Straße befindet, Insbesondere sind hier Objekte umfasst, welche eine vorgegebene geometrische Form aufweisen, die mittels der Recheneinrichtung detektiert werden kann, so dass somit das Hindernis identifiziert werden kann. Unter den Begriff „Hindernis” fallen somit insbesondere andere Verkehrsteilnehmer, wie beispielsweise Fahrzeuge und/oder Fußgänger. Wird ein derartiges Hindernis in dem Kamerabild detektiert, kann ein dieses Hindernis abbildender Bildbereich des Kamerabildes in seiner Bildschärfe unbeeinflusst auf der Anzeigeeinrichtung dargestellt werden, während auf zumindest einen anderen Bildbereich, insbesondere auf den gesamten restlichen Bildbereich, das optische Filter angewendet werden kann. Dies bedeutet, dass der Bildbereich, in welchem das Hindernis abgebildet ist, unverändert und somit scharf auf der Anzeigeeinrichtung dargestellt wird, während die anderen Bildbereiche unscharf angezeigt werden. Es wird somit erreicht, dass der Fahrer seine Aufmerksamkeit auf den scharfen, relevanten Bildbereich richtet, und nicht etwa auf die irrelevanten Bildbereiche.
-
Es erweist sich als vorteilhaft, wenn in dem Anzeigebild ausschließlich das detektierte Hindernis scharf – also unbeeinflusst – dargestellt wird, während auf den restlichen Bildbereich das optische Filter angewendet wird, nämlich insbesondere das genannte Verwischfilter und/oder das Kontrastfilter. Somit ist ausschließlich das detektierte Hindernis scharf angezeigt, während der gesamte restliche Bildbereich unscharf dargestellt ist.
-
Werden in dem Kamerabild zwei Hindernisse detektiert, die sich in unterschiedlichen Entfernungen zum Kraftfahrzeug befinden, so kann das nähere Hindernis (also dasjenige Hindernis, das sich näher dem Kraftfahrzeug befindet) in seiner Bildschärfe unbeeinflusst – also scharf – dargestellt werden. Demgegenüber kann auf das fernere Hindernis das optische Filter angewendet werden, nämlich insbesondere das Verwischfilter und/oder das Kontrastfilter. Der Fahrer richtet somit seine Aufmerksamkeit hauptsächlich auf das relevantere Hindernis.
-
Bei der Ausführungsform, in welcher zwei Hindernisse in unterschiedlichen Entfernungen zum Kraftfahrzeug identifiziert werden, kann auch auf die restlichen Bildbereiche das optische Filter angewendet werden. Dies kann so aussehen, dass die optische Schärfe dieser restlichen Bildbereiche noch geringer als die optische Schärfe des ferneren – bereits unscharfen – Hindernisses ist. Somit wird auf der Anzeigeeinrichtung das nähere Hindernis scharf angezeigt, während das fernere Hindernis weniger scharf und die restlichen Bildbereiche noch unschärfer dargestellt werden.
-
Es sind auch Situationen möglich, in denen in dem Kamerabild kein relevantes Hindernis identifiziert wird, nämlich insbesondere kein anderer Verkehrsteilnehmer. In einer solchen Situation kann das Kamerabild in zumindest einen ersten Bildbereich, in welchem die nahe Umgebung des Kraftfahrzeugs abgebildet ist, sowie in einen zweiten Bildbereich unterteilt werden, in welchem die ferne Umgebung des Kraftfahrzeugs (etwa im Hintergrund vorhandene Gebäude oder aber der Himmel) abgebildet ist. Der erste Bildbereich kann in seiner Bildschärfe unbeeinflusst auf der Anzeigeeinrichtung dargestellt werden, während auf den zweiten Bildbereich das optische Filter – das Verwischfilter und/oder das Kontrastfilter – angewendet werden kann. Die nahe Umgebung des Kraftfahrzeugs wird somit auf der Anzeigeeinrichtung scharf dargestellt. Demgegenüber wird die fernere Umgebung des Kraftfahrzeugs unscharf angezeigt. Der Fahrer konzentriert sich somit auf die relevante nahe Umgebung.
-
In einer Ausführungsform erfolgt die Verarbeitung zumindest einer der Bildbereiche unter Berücksichtigung des aktuellen Werts zumindest eines Betriebsparameters des Kraftfahrzeugs. Beispielsweise wird die aktuelle Geschwindigkeit des Kraftfahrzeugs berücksichtigt. Wird das Kamerabild beispielsweise – wie oben bereits ausgeführt – in einen ersten, die nahe Umgebung abbildenden Bildbereich sowie einen zweiten, die ferne Umgebung abbildenden Bildbereich unterteilt, so kann beispielsweise die Position der Grenze zwischen den beiden Bildbereichen im Anzeigebild in Abhängigkeit von der aktuellen Geschwindigkeit des Kraftfahrzeugs eingestellt werden. Dies bedeutet, dass die Größe des auf der Anzeigeeinrichtung scharf angezeigten Abbilds der nahen Umgebung in Abhängigkeit von der aktuellen Geschwindigkeit des Kraftfahrzeugs variiert werden kann. Es gilt beispielsweise die Beziehung, dass, je größer die Geschwindigkeit des Kraftfahrzeugs ist, desto größer der scharf angezeigte Bildbereich und desto kleiner der unscharf angezeigte Bildbereich ist. Bei einer höheren Geschwindigkeit kann sich der Fahrer somit auf einen größeren Umgebungsbereich konzentrieren.
-
Die Erfindung betrifft auch eine Fahrerassistenzeinrichtung, welche zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.
-
Ein erfindungsgemäßes Kraftfahrzeug beinhaltet eine erfindungsgemäße Fahrerassistenzeinrichtung.
-
Erfindungsgemäß wird darüber hinaus ein Computerprogramm bereitgestellt, welches – wenn es auf einer Recheneinrichtung ausgeführt wird – zum Durchführen eines erfindungsgemäßen Verfahrens ausgelegt ist.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Fahrerassistenzeinrichtung, das erfindungsgemäße Kraftfahrzeug sowie das erfindungsgemäße Computerprogramm.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand einzelner bevorzugter Ausführungsbeispiele, wie auch unter Bezugnahme auf die beigefügten Zeichnungen, näher erläutert.
-
Dabei zeigen:
-
1 in schematischer Darstellung ein Kraftfahrzeug mit einer Fahrerassistenzeinrichtung gemäß einer Ausführungsform der Erfindung;
-
2 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung;
-
3 in schematischer Darstellung unterschiedliche Schichten bzw. Bildbereiche eines Kamerabildes, wobei ein Verfahren gemäß einer Ausführungsform näher erläutert wird;
-
4 in schematischer Darstellung ein Szenario, anhand dessen ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird;
-
5 in schematischer Darstellung ein weiteres Szenario, anhand dessen ein Verfahren gemäß einer weiteren Ausführungsform der Erfindung näher erläutert wird;
-
6 in schematischer Darstellung ein Kamerabild, welches mittels einer Kamera beim Szenario gemäß 5 aufgenommen wird; und
-
7 in schematischer Darstellung ein Tiefenbild des Szenarios gemäß 5 mit Entfernungsinformationen.
-
Ein in 1 schematisch dargestelltes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 weist eine Fahrerassistenzeinrichtung 2 auf, welche ein Kamerasystem ist und zum Anzeigen von Bildern auf einer Anzeigeeinrichtung 3 dient, die im Innenraum des Kraftfahrzeugs 1 angeordnet ist. Die Anzeigeeinrichtung 3 ist ein Bestandteil der Fahrerassistenzeinrichtung 2 und ist im Sichtbereich des Fahrers angeordnet, etwa auf einer Instrumententafel oder aber einer Mittelkonsole des Kraftfahrzeugs 1. Die Anzeigeeinrichtung 3 kann beispielsweise ein LED-Display sein.
-
Die Fahrerassistenzeinrichtung 2 umfasst eine elektronische Recheneinrichtung 4, die zum Beispiel einen Mikrocontroller und/oder einen digitalen Signalprozessor beinhaltet. Die Recheneinrichtung 4 ist zum Verarbeiten von Bildern ausgelegt, die mithilfe von Kameras des Kraftfahrzeugs 1 aufgenommen werden. Zur Fahrerassistenzeinrichtung 2 gehören eine erste Kamera 5, eine zweite Kamera 6 und eine dritte Kamera 7. Im Ausführungsbeispiel ist die erste Kamera 5 in einem vorderen linken Eckbereich des Kraftfahrzeugs angeordnet, und zwar insbesondere im linken Randbereich eines vorderen Stoßfängers 8. Entsprechend ist die zweite Kamera 6 spiegelsymmetrisch zur ersten Kamera 5 angeordnet, nämlich im rechten Randbereich des vorderen Stoßfängers 8. Die dritte Kamera 7 ist in einem Heckbereich des Kraftfahrzeugs 1 angeordnet. Während die erste Kamera 5 einen vorderen Umgebungsbereich auf der linken Seite des Kraftfahrzeugs 1 und die zweite Kamera 6 einen vorderen Umgebungsbereich auf der rechten Seite erfassen, erfasst die dritte Kamera 7 einen Umgebungsbereich hinter dem Kraftfahrzeug 1. Die Anzahl sowie die Anordnung der Kameras 5, 6, 7 sind in 1 lediglich beispielhaft dargestellt. Die Anzahl sowie die Anordnung der Kameras 5, 6, 7 können je nach Ausführungsform variieren. Die Erfindung ist also nicht auf eine bestimmte Anzahl und Anordnung der Kameras 5, 6, 7 beschränkt.
-
Die Kameras 5, 6, 7 sind bevorzugt optische Bilderfassungseinrichtungen, die Licht im vom Menschen sichtbaren Spektralbereich detektieren und so Bilder aufnehmen können. Die Kameras 5, 6, 7 sind auch Video-Kameras, welche jeweils eine zeitliche Sequenz von Bildern aufzeichnen. Diese Bilder werden dann an die Recheneinrichtung 4 übertragen und durch die Recheneinrichtung 4 verarbeitet.
-
Die Kameras 5, 6, 7 weisen jeweils einen relativ breiten Erfassungswinkel auf, der in einem Wertebereich von 90° bis 200° liegen kann. Der Erfassungswinkel kann zum Beispiel 130° oder 180° oder 190° betragen. Die aufgenommenen Kamerabilder sind somit insgesamt in jedem Bildbereich besonders scharf.
-
Die Recheneinrichtung 4 kann auf der Anzeigeeinrichtung 3 Anzeigebilder darstellen, in denen die Umgebung des Kraftfahrzeugs 1 abgebildet ist. Beispielsweise kann die Recheneinrichtung 4 die Bilder einer der Kameras 5, 6, 7 anzeigen.
-
Zum Erfassen von Entfernungsinformationen beinhaltet die Fahrerassistenzeinrichtung 2 zu jeder Kamera 5, 6, 7 eine separate Sensoreinrichtung 9, 10, 11. Diese Sensoreinrichtungen 9, 10, 11 sind zum Erfassen von Abständen zwischen dem Kraftfahrzeug 1 einerseits und den in der Umgebung befindlichen Objekten andererseits ausgebildet. Auch die Anzahl und die Anordnung der Sensoreinrichtungen 9, 10, 11 ist in 1 lediglich beispielhaft dargestellt und kann je nach Ausführungsform unterschiedlich sein. Die Sensoreinrichtungen 9, 10, 11 können so genannte Tiefensensoren sein, welche Tiefenbilder der Umgebung erfassen können. Derartige Tiefenbilder beinhalten Informationen über die Entfernung der abgebildeten Objekte bis hin zum abgebildeten Hintergrund (etwa Himmel). Beispielsweise sind die Sensoreinrichtungen 9, 10, 11 die so genannten TOF-Kameras, welche die genannten Tiefenbilder bereitstellen können. Es können aber auch Stereokamerasysteme eingesetzt werden, die dann auch optional mit der zugeordneten Kamera 5, 6, 7 kombiniert werden können. Alternativ können auch folgenden Sensoreinrichtungen eingesetzt werden: eine LIDAR-Einrichtung, ein Radargerät, eine Ultraschallsensoreinrichtung oder aber eine Infrarotsensoreinrichtung.
-
Durch die Sensoreinrichtungen 9, 10, 11 können also dreidimensionale Entfernungsinformationen der Umgebung bereitgestellt werden.
-
In 2 ist ein Flussdiagramm dargestellt, anhand dessen ein Verfahren gemäß einer Ausführungsform der Erfindung nachfolgend näher erläutert wird: In einem ersten Schritt S1 wird ein Kamerabild BK – mittels einer der Kameras 5, 6, 7 – aufgenommen. In einem weiteren Schritt S2 wird ein Tiefenbild BT mittels der zugeordneten Sensoreinrichtung 9, 10, 11 bereitgestellt. Dieses Tiefenbild beinhaltet Informationen über die Entfernungen zwischen dem Kraftfahrzeug 1 und den Objekten. Im Schritt S2 wird das Tiefenbild mittels eines Tiefensensors (depth sensor) erfasst, nämlich beispielsweise mittels einer TOF-Kamera. Alternativ zu den Schritten S1 und S2 können in einem gemeinsamen Schritt S3 gleichzeitig das Kamerabild BK und die Entfernungsinformationen BT erfasst werden, und zwar mittels eines Stereokamerasystems. Ein solches Stereokamerasystem stellt nämlich gleichzeitig sowohl ein Kamerabild als auch Entfernungsinformationen bereit.
-
In einem Schritt S4 steht somit das Kamerabild BK des Umgebungsbereichs des Kraftfahrzeugs 1 in der Recheneinrichtung 4 zur weiteren Bildverarbeitung zur Verfügung. Der Block S4 repräsentiert also in 2 grundsätzlich auch das aufgenommene Kamerabild BK, welches in einem weiteren Schritt S5 in eine Vielzahl von Bildbereichen B1, B2, B3 – d. h. in eine Vielzahl von Schichten – in Abhängigkeit von den Entfernungsinformationen unterteilt wird. Diese Bildbereiche B1, B2, B3 werden in einem nachfolgenden Schritt S6 unabhängig bzw. separat voneinander verarbeitet. Hier können unterschiedliche optische Filter auf die unterschiedlichen Bildbereiche B1, B2, B3 angewendet werden. Es entsteht somit im Schritt S7 eine Vielzahl von bereits verarbeiteten Bildbereichen B1', B2' und B3', die in einem nachfolgenden Schritt S8 zu einem gemeinsamen Anzeigebild BA zusammengefügt werden. Dieses Anzeigebild BA kann dann auf der Anzeigeeinrichtung 3 im Kraftfahrzeug 1 dargestellt werden.
-
Die auf der Anzeigeeinrichtung 3 angezeigten Anzeigebilder BA werden in Echtzeit verarbeitet und dargestellt. Dies bedeutet, dass auf der Anzeigeeinrichtung 3 fortlaufend neue Anzeigebilder BA dargestellt werden, die insgesamt ein Video ergeben.
-
Die Unterteilung eines Kamerabildes BK wird bezugnehmend auf 3 näher erläutert. 3 zeigt dabei ein Kamerabild BK, welches in eine Vielzahl von Schichten bzw. Bildbereichen B1 bis B4 unterteilt ist. Diese Unterteilung erfolgt in Abhängigkeit von den Entfernungsinformationen der Sensoreinrichtung 9, 10, 11. In einem Bildbereich B1 ist dabei ein Hindernis 12 abgebildet, welches hier ein Fußgänger ist. In einem zweiten Bildbereich B2 sind Gegenstände abgebildet, die sich bis zu 2 m hinter dem Hindernis 12 befinden. In einem dritten Bildbereich B3 sind wiederum Gegenstände abgebildet, die sich etwa 6 m hinter dem Hindernis 12 befinden. Gegenstände, die sich mehr als 6 m hinter dem Hindernis 12 befinden, sind in einem vierten Bildbereich B4 abgebildet. Solche Entfernungsinformationen können anhand des genannten Tiefenbildes BT erfasst werden, welches beispielsweise mittels einer TOF-Kamera erfasst werden kann. Nun werden alle Bildbereiche B1 bis B4 unabhängig voneinander verarbeitet, nämlich mittels der Recheneinrichtung 4.
-
Wenn das Hindernis 12 im Kamerabild BK identifiziert wird, wird der dieses Hindernis 12 abbildende Bildbereich B1 – und insbesondere ausschließlich das Hindernis 12 – durch die Recheneinrichtung 4 unverändert auf der Anzeigeeinrichtung 3 dargestellt. Dies bedeutet, dass der erste Bildbereich B1 in seiner Bildschärfe nicht verändert wird und das Hindernis 12 in seiner ursprünglichen Bildschärfe angezeigt wird. Demgegenüber können die anderen Bereiche B2 bis B4 dahingehend verarbeitet werden, dass sie unscharf auf der Anzeigeeinrichtung 3 angezeigt werden. Beispielsweise wird auf den zweiten Bildbereich B2 ein Verwischfilter (blurring filter) mit einem moderaten „Blur-Effekt” angewendet. Auf den weiteren, dritten Bildbereich B3 kann ein Verwischfilter angewendet werden, mittels welchem ein stärkerer „Blur-Effekt” als beim zweiten Bildbereich B2 erzeugt wird. Bei dem vierten Bildbereich B4 kann zusätzlich zu dem starken „Blur-Effekt” auch der Kontrast reduziert werden, sodass die im vierten Bildbereich B4 abgebildeten Gegenstände insgesamt sehr unscharf dargestellt werden. In dem Anzeigebild BA ist somit ausschließlich das Hindernis 12 scharf dargestellt, während der zweite Bildbereich B2 ein wenig unscharf, der dritte Bildbereich B3 unschärfer und der vierte Bildbereich B4 noch unschärfer dargestellt werden.
-
Durch diese Verarbeitung der unterschiedlichen Bildbereiche B1 bis B4 unabhängig voneinander kann die Schärfentiefe (depth of field) für verschiedenste Szenarien individuell eingestellt werden. So ist im Anzeigebild gemäß 3 ausschließlich das Hindernis 12 scharfdargestellt, sodass die Schärfentiefe insgesamt geringer als beim ursprünglichen Kamerabild BK ist. Die Aufmerksamkeit des Fahrers wird somit auf das relevante Hindernis 12 gerichtet, und nicht etwa auf die weniger relevanten Objekte, die sich hinter dem Hindernis 12 befinden.
-
In 4 ist ein Straßenszenario dargestellt, anhand dessen ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird. Das Kraftfahrzeug 1, welches die in 1 näher dargestellte Fahrerassistenzeinrichtung 2 aufweist, fährt aus einer Garage 13 oder dergleichen heraus, wobei die Ausfahrt durch hohe Wände 14, 15 begrenzt ist. Der Fahrer sieht somit nicht, ob andere Kraftfahrzeuge auf einer Straße 16 vorhanden sind oder nicht. Auf der Straße 16 nähert sich dem Kraftfahrzeug 1 ein weiteres Fahrzeug 17, und zwar von der linken Seite. Das Fahrzeug 17 stellt ein Hindernis dar, welches von dem Fahrer des Kraftfahrzeugs 1 nicht gesehen werden kann. Auf der rechten Seite des Kraftfahrzeugs 1 sind hingegen keine Hindernisse vorhanden. Bei der Darstellung der Anzeigebilder kann hier zwischen der linken Kamera 5 und der rechten Kamera 6 (siehe 1) unterschieden werden:
In den durch die linke Kamera 5 aufgenommenen Kamerabildern ist auch das Fahrzeug 17 abgebildet. Dieses Fahrzeug 17 kann nun durch die Recheneinrichtung 4 anhand der Kamerabilder und/oder anhand von Informationen der Sensoreinrichtung 9 verfolgt werden, sodass die momentane Entfernung des Fahrzeugs 17 vom Kraftfahrzeug 1 in der Recheneinrichtung 4 bekannt ist. Die Kamerabilder der linken Kamera 5 werden nun beispielsweise in zwei Bildbereiche unterteilt, nämlich einen ersten Bildbereich, in welchem ausschließlich das Fahrzeug 17 abgebildet ist, und einen zweiten Bildbereich, in welchem die restliche Umgebung des Fahrzeugs 17 abgebildet ist, also jegliche Gegenstände wie zum Beispiel Bäume, Gebäude und auch der Hintergrund (etwa der Himmel). Der erste Bildbereich, in welchem das Fahrzeug 17 abgebildet ist, wird auf der Anzeigeeinrichtung 3 scharf angezeigt. Demgegenüber wird der zweite Bildbereich einer Filterung unterzogen. Beispielsweise kann hier das oben genannte Verwischfilter angewendet werden, sodass der zweite Bildbereich insgesamt unscharf auf der Anzeigeeinrichtung 3 dargestellt wird.
-
Werden hingegen die Bilder der rechten Kamera 6 auf der Anzeigeeinrichtung 3 dargestellt, so können diese Kamerabilder ebenfalls in zwei Bildbereiche unterteilt werden. Weil jedoch auf der rechten Seite kein Hindernis vorhanden ist, werden diese Kamerabilder anhand der erfassten Entfernungsinformationen derart in zwei Bildbereiche unterteilt, dass in dem ersten Bildbereich die nahe Umgebung des Kraftfahrzeugs 1 – also der Nahbereich – abgebildet ist, während in dem zweiten Bildbereich die ferne Umgebung des Kraftfahrzeugs 1 – also der Fernbereich einschließlich des Himmels, der entfernten Gebäude und dergleichen – abgebildet ist. Der erste Bereich, also die nahe Umgebung, kann dann ohne eine Änderung der Bildschärfe auf der Anzeigeeinrichtung 3 angezeigt werden. Hingegen kann der zweite Bildbereich, in welchem die ferne Umgebung abgebildet ist, einer Filterung mithilfe des Verwischfilters und/oder des Kontrastfilters unterzogen werden. Somit wird ausschließlich die nahe Umgebung des Kraftfahrzeugs 1 auf der Anzeigeeinrichtung 3 scharf angezeigt, während die ferne Umgebung unscharf dargestellt wird. Der Fahrer richtet somit seine Aufmerksamkeit auf die nahe Umgebung.
-
In 5 ist ein weiteres Szenario dargestellt. Hinter dem in 5 nicht dargestellten Kraftfahrzeug 1 befindet sich auf einer Straße 20 ein Fahrzeug 18, wie auch ein Fußgänger 19, der die Straße 20 überquert. Das Fahrzeug 18 sowie der Fußgänger 19 sind Verkehrsteilnehmer, die Hindernisse darstellen. Weit weg hinter dem Kraftfahrzeug 1 befinden sich auch andere Objekte 21, wie beispielsweise Bäume, Gebäude, Hügel und dergleichen.
-
Ein Kamerabild BK der hinteren Kamera 7, welches bei dem Szenario gemäß 5 erfasst wird, ist in 6 schematisch dargestellt. Wie aus 6 hervorgeht, sind in den aufgenommenen Kamerabildern der Kamera 7 sowohl das Fahrzeug 18' als auch der Fußgänger 19', wie auch die Straße 20', eine Straßenlaterne 22' sowie die weiteren Objekte 21' dargestellt. Die weiteren Objekte 21' bilden zusammen mit einem Himmel 23' einen Hintergrund des Kamerabildes BK.
-
Bevor die Kamerabilder BK der hinteren Kamera 7 auf der Anzeigeeinrichtung 3 dargestellt werden, werden sie zu Anzeigebildern BA verarbeitet, und zwar mithilfe der Recheneinrichtung 4. Zu diesem Zwecke erfasst die Sensoreinrichtung 11 ein Tiefenbild BT, wie es beispielhaft in 7 dargestellt ist. Wie aus 7 hervorgeht, beinhaltet das Tiefenbild BT, welches zum Beispiel mit einer TOF-Kamera aufgenommen wird, insgesamt drei Tiefenbereiche, nämlich einen ersten Tiefenbereich T1 (einfache Linienschraffur), einen zweiten Tiefenbereich T2 (Kreuzschraffur) sowie einen dritten Tiefenbereich T2 (keine Schraffur). Das Tiefenbild BT beinhaltet also Informationen über die Entfernungen zwischen dem Kraftfahrzeug 1 einerseits und den Objekten 18, 19, 21, 22 andererseits. Zum ersten Tiefenbereich T1 gehört ein kleiner Abschnitt der Straße 20'' hinter dem Kraftfahrzeug 1, wie auch der Fußgänger 19''. Im ersten Tiefenbereich T1 sind also Objekte abgebildet, die sich bis zu einer bestimmten Entfernung vom Kraftfahrzeug 1 befinden. Zum zweiten Tiefenbereich T2 gehört ein weiterer Abschnitt der Straße 20'', wie auch das Fahrzeug 18''. Somit ergibt sich, dass sich das Fahrzeug 18 noch weiter weg vom Kraftfahrzeug 1 als der Fußgänger 19 befindet. Alle Objekte, die sich noch weiter weg vom Kraftfahrzeug 1 befinden, fallen in den dritten Tiefenbereich T3. Dieses Tiefenbild BT, wie es in 7 schematisch dargestellt ist, wird nun zur Verarbeitung des Kamerabildes BK gemäß 6 herangezogen. Das Kamerabild BK wird nämlich auch in drei Bildbereiche unterteilt, welche den Tiefenbereichen T1, T2, T3 entsprechen. Diese Bildbereiche können nun separat und unabhängig voneinander verarbeitet werden, um anschließend dann zu einem gemeinsamen Anzeigebild zusammengefügt und als solches Anzeigebild auf der Anzeigeeinrichtung 3 angezeigt zu werden.
-
Bevorzugt wird folgende Bildverarbeitung: Der erste Bildbereich gemäß dem ersten Tiefenbereich T1 – also mit dem Fußgänger 19 – wird unverändert auf der Anzeigeeinrichtung 3 angezeigt, ohne dass seine Bildschärfe verändert wird. Der zweite Bildbereich gemäß dem zweiten Tiefenbereich T2 wird einer leichten Filterung mithilfe des Verwischfilters unterzogen, sodass dieser zweite Bildbereich einschließlich des Fahrzeugs 18 ein wenig unscharf dargestellt wird. Hier kann beispielsweise ein „Gaussian-Blur-Filter 4 × 4” eingesetzt werden. Der dritte Bildbereich, in welchem die weiter entfernten Objekte abgebildet sind und welcher dem dritten Tiefenbereich T3 entspricht, kann einer stärkeren Filterung unterzogen werden, nämlich beispielsweise mittels eines „Gaussian-Blur-Filter 9 × 9”. Somit ist der dritte Bildbereich noch unschärfer als der zweite Bildbereich dargestellt. Der Fahrer richtet seine Aufmerksamkeit somit hauptsächlich auf den Fußgänger 19, und erst zweitrangig auf das Fahrzeug 18.
-
Alternativ kann auch vorgesehen sein, dass sowohl der erste Bildbereich mit dem Fußgänger 19 als auch der zweite Bildbereich mit dem Fahrzeug 18 ohne eine Änderung der Bildschärfe angezeigt werden, sodass die Aufmerksamkeit des Fahrers gleichzeitig sowohl auf den Fußgänger 19 als auch auf das Fahrzeug 18 gerichtet wird.
-
Optional kann auch vorgesehen sein, dass die Bilder des Umgebungsbereiches hinter dem Kraftfahrzeug 1 auch nur bis zu einer bestimmten Geschwindigkeit des Kraftfahrzeugs 1 auf der Anzeigeeinrichtung 3 angezeigt werden. Die Grenze kann beispielsweise bei 30 km/h oder 40 km/h oder 50 km/h liegen.
-
Werden in den Bildern keine Hindernisse – insbesondere keine Fußgänger und keine Fahrzeuge – erkannt, so können die Kamerabilder ähnlich wie im Ausführungsbeispiel gemäß 4 auch in zwei Bildbereiche unterteilt werden, nämlich einen ersten Bildbereich, in welchem die nahe Umgebung abgebildet ist, und einen zweiten Bildbereich, in welchem die ferne Umgebung des Kraftfahrzeugs 1 abgebildet ist. Während der erste Bildbereich auf der Anzeigeeinrichtung 3 scharf dargestellt werden kann, kann der zweite Bildbereich unscharf angezeigt werden. Die Grenze zwischen den beiden Bildbereichen kann hier auch unter Berücksichtigung der aktuellen Geschwindigkeit des Kraftfahrzeugs 1 eingestellt werden, sodass auch die Größe des scharfen und des unscharfen Bereichs in Abhängigkeit von der aktuellen Geschwindigkeit variiert werden kann. Beispielsweise gilt, dass je größer die Geschwindigkeit ist, desto größer der scharfe und desto kleiner der unscharfe Bildbereich ist.
-
In allen Ausführungsformen kann ergänzend oder alternativ zu dem Verwischfilter auch ein Schwarz-Weiß-Filter verwendet werden, so dass der irrelevante Bereich des Bildes in Schwarz-Weiß-Darstellung angezeigt werden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 7974460 B2 [0004]
- US 7733464 B2 [0005]
