DE102016112483A1

DE102016112483A1 - Verfahren zum Reduzieren von Störsignalen in einem Draufsichtbild, das ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs zeigt, Fahrerassistenzsystem sowie Kraftfahrzeug

Info

Publication number: DE102016112483A1
Application number: DE102016112483.4A
Authority: DE
Inventors: Huanqing Guo; Brian Michael Thomas Deegan; Vladimir Zlokolica
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2016-07-07
Filing date: 2016-07-07
Publication date: 2018-01-11

Abstract

Die Erfindung betrifft ein Verfahren zum Reduzieren von Störsignalen (17) in einem Draufsichtbild (14), das ein Kraftfahrzeug (1) und einen Umgebungsbereich (4) des Kraftfahrzeugs (1) zeigt, wobei das Draufsichtbild (14) auf der Basis von Rohbildern (11a, 11b, 11c, 11d) bestimmt wird, die durch mindestens zwei fahrzeugseitige Kameras (5a, 5b, 5c, 5d) aufgenommen werden, mit mindestens einem der folgenden Schritte a) bis c): a) Unterdrücken oder Abschwächen einer Kontrastschärfung und/oder einer Kantenschärfung für die aufgenommenen Rohbilder (11a, 11b, 11c, 11d) im Fall von Kameras, die mit integrierten Schärfungsfunktionen (5a, 5b, 5c, 5d) ausgestattet sind, und Bestimmen des Draufsichtbildes (14) auf der Basis der Rohbilder (11a, 11b, 11c, 11d) ohne die Kontrastschärfung und/oder Kantenschärfung, b) Erzeugen von Fokussierversätzen innerhalb der aufgenommenen Rohbilder (11a, 11b, 11c, 11d) und Bestimmen des Draufsichtbildes (14) auf der Basis der Rohbilder (11a, 11b, 11c, 11d) mit den Fokussierversätzen, c) Identifizieren von mindestens einem mit Störsignalen (17) behafteten Bildbereich (16) in dem Draufsichtbild (14) und Reduzieren der Störsignale (17) durch Anwenden eines Filters auf mit diesem Bildbereich (16) korrespondierende Bildelemente des Draufsichtbildes (14) und/oder der Rohbilder (11a, 11b, 11c, 11d). Außerdem betrifft die Erfindung ein Fahrerassistenzsystem (2) sowie ein Kraftfahrzeug (1).

Description

Die Erfindung betrifft ein Verfahren zum Reduzieren von Störsignalen in einem Draufsichtbild, das ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs zeigt, wobei das Draufsichtbild auf der Basis von Rohbildern bestimmt wird, die durch mindestens zwei fahrzeugseitige Kameras aufgenommen werden. Außerdem betrifft die Erfindung ein Fahrerassistenzsystem für ein Kraftfahrzeug sowie ein Kraftfahrzeug.
Es ist bereist aus dem Stand der Technik bekannt, einen Umgebungsbereich eines Kraftfahrzeugs durch Aufnehmen des Umgebungsbereichs durch am Fahrzeug montierte Kameras eines Kamerasystems, beispielsweise eines Rundumsichtkamerasystems, und Anzeigen der durch die Kameras aufgenommenen Bilder auf einer Anzeigevorrichtung zu überwachen. Dabei werden zunehmend auch dreidimensionale Darstellungen des Umgebungsbereichs auf der Anzeigevorrichtung aus einer sogenannten Dritte-Person-Perspektive angezeigt. Eine solche Dritte-Person-Perspektive zeigt den Umgebungsbereich des Kraftfahrzeugs sowie das Kraftfahrzeug selbst aus der Sicht eines fahrzeugexternen Betrachters, einer sogenannten virtuellen Kamera. Eine solche Dritte-Person-Ansicht kann eine Draufsicht sein, in der der Betrachter von oben auf das Kraftfahrzeug blickt. Dieses Draufsichtbild kann auf der Anzeigevorrichtung dargestellt werden und zeigt eine Oberseite des Kraftfahrzeugs mit dem Fahrzeugdach sowie den Umgebungsbereich, der das Kraftfahrzeug umgibt. Das Draufsichtbild kann durch Kombinieren der Rohbilder, die von den Kameras des Kamerasystems aufgenommen werden, erzeugt werden. Das Draufsichtbild erweckt den Eindruck, als ob es durch eine reale Kamera in einer Position der virtuellen Kamera aufgenommen worden wäre.
Dabei kann es vorkommen, dass das kombinierte Draufsichtbild einige Störsignale wie künstliche Flackereffekte umfasst, die auch als Aliasing-Effekt bezeichnet werden. Diese Flackereffekte verschlechtern die einem Fahrer angezeigte Bildqualität und können daher den Fahrer stören. Dabei ist es im Allgemeinen aus dem Stand der Technik bekannt, Filter anzuwenden, um das Aliasing zu verringern. Die US 5684293 A beschreibt beispielsweise ein Anti-Aliasing-Tiefpassunschärfefilter zum Reduzieren von Artefakten in einem Abbildungsgerät. Die US 6021005 A offenbart ein Anti-Aliasing-Gerät und Verfahren zur optischen Abbildung.
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung bereitzustellen, wie Draufsichtbilder mit hoher Qualität, die ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs zeigen, erzeugt werden können, damit sie einem Fahrer des Kraftfahrzeugs angezeigt werden.
Gemäß der Erfindung wird diese Aufgabe durch ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungsbeispiele der Erfindung sind der Gegenstand der abhängigen Ansprüche, der Beschreibung sowie der Figuren.
Bei einem Verfahren gemäß der Erfindung zum Reduzieren von Störsignalen in einem Draufsichtbild, das ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs zeigt, wird das Draufsichtbild auf der Basis von Rohbildern bestimmt, die von mindestens zwei fahrzeugseitigen Kameras aufgenommen werden. Dabei wird mindestens einer der folgenden Schritte a) bis c) innerhalb des Verfahrens durchgeführt:

a) Unterdrücken oder Abschwächen einer Kontrastschärfung und/oder einer Kantenschärfung für die aufgenommenen Rohbilder im Fall von Kameras, die mit integrierten Schärfungsfunktionen ausgestattet sind, und Bestimmen des Draufsichtbildes auf der Basis der Rohbilder ohne die Kontrastschärfung und/oder Kantenschärfung,
b) Erzeugen von Fokussierversätzen innerhalb der aufgenommenen Rohbilder und Bestimmen des Draufsichtbildes auf der Basis der Rohbilder mit den Fokussierversätzen,
c) Identifizieren von mindestens einem mit Störsignalen behafteten Bildbereich in dem Draufsichtbild und Reduzieren der Störsignale durch Anwenden eines Filters auf mit diesem Bildbereich korrespondierende Bildelemente des Draufsichtbildes und/oder der Rohbilder.

Das Verfahren dient zum Erzeugen von qualitativ hochwertigen Draufsichtbildern, die das Kraftfahrzeug und den das Kraftfahrzeug umgebenden Umgebungsbereich zeigen und die einem Fahrer des Kraftfahrzeugs in Form einer Videosequenz, insbesondere eines Echtzeitvideos, angezeigt werden können. Die Draufsichtbilder werden durch die Rohbilder erzeugt, die durch die mindestens zwei fahrzeugseitigen Kameras aufgenommen werden. Zum Erzeugen oder Rendern des Draufsichtbildes werden die Rohbilder kombiniert, z. B. durch eine fahrzeugseitige Steuervorrichtung. Insbesondere werden die Rohbilder durch Kraftfahrzeug-Weitwinkel-Mehrkamerasysteme mit hoher Auflösung aufgenommen. Das Mehrkamerasystem kann beispielsweise als Rundumsichtkamerasystem mit vier am Fahrzeug montierten Kameras ausgebildet sein. Das Rundumsichtkamerasystem kann eine Frontkamera zum Aufnehmen von Rohbilddaten aus dem Umgebungsbereich vor dem Kraftfahrzeug, eine Heckkamera zum Aufnehmen von Rohbilddaten aus dem Umgebungsbereich hinter dem Kraftfahrzeug und zwei Seitenkameras zum Aufnehmen von Rohbilddaten aus dem Umgebungsbereich neben dem Kraftfahrzeug umfassen. Die Rohbilder sowie die Draufsichtbilder können auf einer Anzeigevorrichtung angezeigt werden, beispielsweise gemäß einer vom Fahrer ausgewählten Ansicht. Mittels der Anzeige der Draufsichtbilder auf der fahrzeugseitigen Anzeigevorrichtung kann der Fahrer beim Manövrieren des Kraftfahrzeugs unterstützt werden. Der Fahrer kann den Umgebungsbereich durch Blicken auf die Anzeigevorrichtung erfassen. Das Rundumsichtkamerasystem und die Anzeigevorrichtung bilden ein Kamera-Monitor-System (CMS – Camera Monitor System), das Spiegel des Kraftfahrzeugs ersetzen kann. Mittels des CMS kann folglich ein spiegelloses Auto bereitgestellt werden.
Um die Bildqualität der Draufsichtbilder zu verbessern, werden Störsignale oder Aliasing-Effekte in den Draufsichtbildern zumindest reduziert. Insbesondere sind die Störsignale Hochfrequenzsignale, die als Flackern oder Funkeln in den Draufsichtbildern erscheinen. Die Störsignale sind insbesondere in den Rohbildern nicht vorhanden, aber sie werden während des Renderns der Draufsichtbilder basierend auf den Rohbildern eingeführt, die insbesondere aufgenommen werden, während sich das Kraftfahrzeug bewegt. In einem ersten möglichen Schritt, Schritt a), werden eingebaute Schärfungsfunktionen oder Schärfungseigenschaften der Kameras ausgeschaltet oder verringert. Die meisten Kameras oder Kamerasysteme umfassen integrierte Bildverarbeitungseinheiten mit eingebauter Kontrastschärfung und/oder Kantenschärfung. Selbst wenn die Störsignale nicht durch die eingebauten Schärfungsfunktionen erzeugt werden, verschlimmern diese Schärfungsfunktionen eine Schwere der Störsignale. Die Verarbeitungseinheit der Kameras kann beispielsweise durch die fahrzeugseitige Steuervorrichtung gesteuert werden, woraufhin die Schärfungsfunktionen nicht auf die Rohbilder angewendet werden und der Steuervorrichtung unverarbeitete Rohbilder zum Rendern des Draufsichtbildes auf der Basis der unverarbeiteten Rohbilder bereitgestellt werden. Durch Unterdrücken oder zumindest Abschwächen dieser Schärfungsfunktionen der Kameras und Bestimmen der Draufsichtbilder auf der Basis der unverarbeiteten Rohbilder kann die Einführung von Störsignalen in die Draufsichtbilder in einfacher Weise vermieden oder reduziert werden.
Alternativ oder zusätzlich kann ein zweiter Schritt, Schritt b), durchgeführt werden, der sich auf ein optisches Verfahren bezieht. In Schritt b) wird der Fokussierversatzinnerhalb der Rohbilder absichtlich erzeugt. Der Fokussierversatz erzeugt einen Fokussierfehler und ist in Form von verschwommenen Rohbildern, die durch die Kameras aufgenommen werden, sichtbar, wobei die optische Unschärfe die Hochfrequenzsignale und folglich das Aliasing in den Draufsichtbildern, die auf der Basis der verschwommenen Rohbilder bestimmt werden, verringert. Die Schritte a) und b) werden insbesondere vor dem Draufsichtbild-Rendern durchgeführt und können folglich als präventive Maßnahmen gesehen werden, um die Einführung von Störsignalen in das Draufsichtbild zu vermeiden.
Überdies kann ein dritter Schritt, Schritt c) durchgeführt werden, der sich auf ein Bildverarbeitungsverfahren bezieht. Innerhalb dieses dritten Schritts wird der mindestens eine Bildbereich im Draufsichtbild, der mit den Störsignalen behaftet ist, bestimmt oder vorhergesagt. Bildelemente oder Pixel innerhalb dieses Bildbereichs des Draufsichtbildes und/oder Bildelemente der Rohbilder, die zum betroffenen Bildbereich beitragen, werden gefiltert. Schritt c) kann vor der Draufsichtbilderzeugung durch Anwenden des Filters auf die Rohbilder, nach dem Draufsichtbild-Rendern durch Anwenden des Filters auf das Draufsichtbild oder beides durchgeführt werden. Durch Identifizieren und Filtern der betroffenen Bildbereiche in den Draufsichtbildern und/oder den Rohbildern können eine Rechenzeit und ein Rechenaufwand verringert werden.
Zusammengefasst kann durch Durchführen von mindestens einem der Schritte a) bis c), insbesondere aller Schritte a) bis c), eine Bildqualität des dem Fahrer angezeigten Draufsichtbildes verbessert werden und daher die visuelle Qualität des Fahrers erhöht werden.
In einem Ausführungsbeispiel der Erfindung, falls Schritt c) durchgeführt wird, wird ein Teilbereich in einem jeweiligen Detektionsbereich der Kameras mit einer vorbestimmten Abmessung und/oder einer vorbestimmten Lage bezüglich der jeweiligen Kamera bestimmt und die Bildelemente des Draufsichtbildes, die dem jeweiligen Teilbereich entsprechen, werden als Bildelemente des mit Störsignalen behafteten Bildbereichs bestimmt. Dieses Ausführungsbeispiel basiert auf der Erkenntnis, dass Aliasing hauptsächlich in bestimmten Bereichen im Umgebungsbereich des Kraftfahrzeugs auftritt, wobei eine Lage und eine Größe dieser bestimmten Bereiche von Kameraparametern abhängen. Dies bedeutet, dass ein Bereich für jede Kamera existiert, nämlich der Teilbereich im Detektionsbereich dieser Kamera, dessen entsprechende Bildelemente die Störsignale in den Bildbereich des Draufsichtbildes einfügen. Durch Auffinden dieses Teilbereichs können daher die Bildelemente der Rohbilder und/oder die Draufsichtbildelemente, die für das Aliasing verantwortlich sind, identifiziert werden. Zum Bestimmen des Teilbereichs des Detektionsbereichs einer Kamera wird ein Abstand von dieser Kamera vorgegeben und Ränder des Teilbereichs werden in diesem Abstand festgelegt. Diese Methode berücksichtigt die Tatsache, dass das Aliasing hauptsächlich auf einer Straßenoberfläche nahe dem Fahrzeug und folglich nahe der Kamera auftritt. Außerdem kann ein Winkelbereich um eine zentrale Projektionsachse der Kamera vorgegeben werden und die Ränder des Teilbereichs können an diesen Winkelbereich angepasst werden. Durch Vorgeben der Abmessung und/oder der Lage des Teilbereichs für jede Kamera kann daher der Teilbereich auf schnelle und einfache Weise definiert werden. Daher kann der mit dem Störsignal behaftete Bildbereich auch auf schnelle und einfache Weise bestimmt werden.
In einem vorteilhaften Ausführungsbeispiel der Erfindung, falls Schritt c) durchgeführt wird, wird eine Verteilung bestimmt, die eine Anzahl von Bildelementen der Rohbilder beschreibt, die zur Erzeugung des Draufsichtbildes innerhalb eines bestimmten Bildbereichs beitragen, und der mindestens eine mit Störsignalen behaftete Bildbereich wird auf der Basis der Verteilung bestimmt. Vorzugsweise wird die Verteilung durch Unterteilen des Umgebungsbereichs, z. B. einer Bodenoberfläche, in Teilbereiche und Bestimmen eines Maßes für jeden Teilbereich, das ein Verhältnis zwischen Anzahlen von Bildelementen der Rohbilder und des Draufsichtbildes beschreibt, die für die Darstellung des jeweiligen Teilbereichs im Draufsichtbild verwendet werden, bestimmt. Mit anderen Worten ist die Verteilung, die auch als "Pixeldichtekarte" bezeichnet wird, eine Metrik, um das Pixelverhältnis von den Rohbildern zu den kombinierten Draufsichtbildern zu messen, und gibt Aufschluss über eine Schwere des Aliasing-Effekts in Abhängigkeit von einem Ort der Bildelemente im Draufsichtbild. Daher wird der Umgebungsbereich unterteilt, ein bestimmter Bereich auf der Bodenoberfläche wird ausgewählt und es wird bestimmt, wie viele Pixel dieser bestimmte Bereich in den Roh- bzw. Draufsichtbildern belegt. Da die Verteilung von den Kameraparametern unabhängig ist, kann der mit Störsignalen behaftete Bildbereich vorteilhaft in einer allgemein gültigen Weise bestimmt werden.
In einer Weiterbildung der Erfindung werden nur die Bildelemente innerhalb des mindestens einen Bildbereichs und/oder die zu dem mindestens einen mit Störsignalen behafteten Bildbereich beitragenden Bildelemente durch Anwenden eines Tiefpassfilters auf diese Bildelemente gefiltert. Falls der Bildbereich des Draufsichtbildes durch Definieren der Lage und/oder der Größe der Teilbereiche der Detektionsbereiche der Kameras bestimmt wird, wird insbesondere das Filter lokal auf den Bildbereich des Draufsichtbildes und/oder auf die Bildelemente der Rohbilder, die zum Bildbereich des Draufsichtbildes beitragen, angewendet. Eine solche Filteroperation kann Abwärtsabtasten, Nachbarschaftsinterpolation und/oder Pixelmittelung sein und filtert Hochfrequenz-Komponenten des Bildsignals.
Alternativ wird ein geführtes Filter zum Filtern der Bildelemente der Rohbilder und/oder des Draufsichtbildes durch Bestimmen von Gewichtungsfaktoren abhängig von der Verteilung zum Gewichten der Bildelemente der Rohbilder und/oder des Draufsichtbildes bestimmt. Hier dient die Pixeldichtekarte als sogenanntes Führungsbild für ein geführtes Filter, das auf das Draufsichtbild und/oder die Rohbilder angewendet wird. Über das Führungsbild kann die Bildverarbeitungsoperation lokal eingeschränkt werden, während ein glatter Übergang zwischen den mit Störsignalen behafteten Bildbereichen und Bildbereichen ohne Störsignale gewährleistet wird.
In einem vorteilhaften Ausführungsbeispiel der Erfindung, falls Schritt a) durchgeführt wird, wird der mindestens eine mit Störsignalen behaftete Bildbereich innerhalb des Draufsichtbildes abgeschätzt und die integrierten Schärfungsfunktionen werden für jene Bildelemente der Rohbilder unterdrückt oder abgeschwächt, die dem abgeschätzten Bildbereich des Draufsichtbildes entsprechen. In diesem Ausführungsbeispiel werden die Kantenschärfung und/oder die Kontrastschärfung lokal unterdrückt oder abgeschwächt und nur auf die Bildelemente der Rohbilder angewendet, die für die Aliasing-Artefakte in dem kombinierten Draufsichtbild verantwortlich sind. Daher kann ein qualitativ hochwertiges und kontrastreiches Draufsichtbild kombiniert werden, das reduzierte Störsignale umfasst.
Alternativ, falls Schritt a) durchgeführt wird, werden die integrierten Schärfungsfunktionen für alle Bildelemente der Rohbilder unterdrückt oder abgeschwächt und eine selektive Kanten- und/oder Kontrastschärfung wird für Bildbereiche des Draufsichtbildes ohne Störsignale nach der Bestimmung des Draufsichtbildes durchgeführt. Hier wird das Draufsichtbild nachverarbeitet, wobei die Kantenschärfung und/oder Kontrastschärfung auf jene Bildbereiche des Draufsichtbildes angewendet werden, die nicht mit Störsignalen behaftet sind. Durch Anwenden der Schärfungsfunktionen nur auf Bildbereiche, in denen der Aliasing-Effekt nicht verstärkt wird, kann dem Fahrer ein kontrastreiches und rauscharmes Draufsichtbild angezeigt werden.
Falls Schritt b) durchgeführt wird, wird der Fokussierversatzvorzugsweise in den Rohbildern durch bereitstellen einer Fehlausrichtung von Linsen der Kameras und durch Aufnehmen der Rohbilder mit den Linsen mit der Fehlausrichtung erzeugt. Die Kameras umfassen insbesondere Fischaugenlinsen, um den Detektionsbereich der Kameras zu vergrößern. Diese Linsen können geringfügig von ihrer nominalen Position versetzt werden, um einen Fokusversatz und daher fehlausgerichtete Linsen zu erreichen. Die Linsen können während einer Herstellung der Kameras oder während einer Befestigung der Kameras am Kraftfahrzeug fehlausgerichtet werden. Folglich umfassen die Kameras eine eingebaute Linsenfehlausrichtung und können verschwommene Rohbilder aufnehmen. Innerhalb dieser verschwommenen Rohbilder werden Hochfrequenzen der Pixelluminanz geglättet und folglich werden die Störsignale innerhalb der kombinierten Draufsichtbilder reduziert.
In einem Ausführungsbeispiel der Erfindung wird vor dem Durchführen von mindestens einem der Schritte a) bis c) bestimmt, ob bei der Bestimmung des Draufsichtbildes Störsignale zu erwarten sind, wobei die Schritte a) bis c) nur durchgeführt werden, falls Störsignale zu erwarten sind. Dieser Schritt basiert auf der Erkenntnis, dass der Aliasing-Effekt nicht immer auftritt, z. B. in Abhängigkeit von Umgebungsbedingungen. In Gegenwart dieser Umgebungsbedingungen ist Anti-Aliasing nicht erforderlich und daher kann eine Durchführung der Schritte a) bis c) unterbleiben. Dies erweist sich als vorteilhaft, da das Verfahren effizient ausgebildet ist.
Vorzugsweise wird mindestens eine Umgebungsbedingung, insbesondere eine Textur einer Straßenoberfläche für das Kraftfahrzeug und/oder eine Tageszeit und/oder Wetterbedingungen, bestimmt. Auf der Basis der mindestens einen Umgebungsbedingung wird bestimmt, ob Störsignale zu erwarten sind. Wenn beispielsweise die Straße mit einem Wasserfilm bedeckt ist, sind Aliasing-Effekte sehr gering aufgrund des verringerten Kontrasts der Straßenoberfläche und der durch den Wasserfilm auf der Straßenoberfläche verursachten Reflexionen. Der Wasserfilm kann auch die Linsen der Kamera bedecken, wobei die Kameras verschwommene Bilder aufgrund der mit Wasser bedeckten Linsen aufnehmen. Ein Draufsichtbild, das auf der Basis von verschwommenen Bildern bestimmt wird, umfasst reduzierte Störsignale. Eine Textur der Straßenoberfläche, die das Flackern in den Draufsichtbildern verringert, kann in Form von sehr kleinem oder sehr großem Straßenschotter gebildet sein. Bei niedrigen Lichtpegeln, wie z. B. während Nachtfahrten, sind außerdem Störsignale in den Draufsichtbildern kaum sichtbar. In diesen Fällen kann die Durchführung des Anti-Aliasing-Verfahrens unterdrückt werden.
Falls Störsignale zu erwarten sind, wird vorzugsweise eine Schwere der Störsignale bestimmt und eine Stärke der Schritte a) bis c) wird an die Schwere der Störsignale angepasst. Die Schwere der Störsignale kann variieren, z. B. in Abhängigkeit von der Umgebungsbedingung. Wenn beispielsweise sich das Wetter von starkem Regen auf leichten Regen ändert, kann sich die Schwere der Störsignale auch ändern. Daher wird die Schwere der Störsignale bestimmt, insbesondere in Abhängigkeit von der aktuellen Umgebungsbedingung, um die Stärke des Anti-Aliasing-Algorithmus anzupassen. Die Kantenschärfung und/oder Kontrastschärfung kann beispielsweise vollständig ausgeschaltet oder lediglich verringert werden. Daher kann sichergestellt werden, dass das Anti- Aliasing-Verfahren für jeden Fall, z. B. jede Umgebungsbedingung, gut funktioniert.
In einem Ausführungsbeispiel der Erfindung wird eine Schwere der Störsignale durch Bestimmen einer statistischen Streuung von Bildelementwerten als Funktion einer Position der Bildelemente in dem Draufsichtbild bestimmt. Über die statistische Streuung können Schwellenparameter als Aliasing-Bereich-Indikatoren berechnet werden, da Aliasing-Draufsichtbildbereiche eine höhere Streuung von digitalen Pixelwerten als Nicht-Aliasing-Bildbereiche aufweisen. Auf der Basis der Berechnung des Aliasing-Indikators können Aliasing-Bereiche von Aliasing-freien Bereichen unterschieden werden. Solche Aliasing-Bereich-Indikatoren können eine Pixelwert-Standardabweichung sein, die für festgelegte Bereiche berechnet wird. Wenn beispielsweise die für einen festgelegten Bereich berechnete Standardabweichung einen vordefinierten Schwellenwert überschreitet, kann das Anti-Aliasing-Verfahren aufweisend mindestens einen der Schritte a) bis c) durchgeführt werden.
Außerdem betrifft die Erfindung ein Fahrerassistenzsystem für ein Kraftfahrzeug mit mindestens zwei Kameras zum Aufnehmen von Rohbildern aus einem Umgebungsbereich des Kraftfahrzeugs, einer Steuervorrichtung, die dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen, und einer Anzeigevorrichtung zum Anzeigen des Draufsichtbildes mit reduzierten Störsignalen, das durch die Steuervorrichtung bestimmt wird. Insbesondere umfasst das Fahrerassistenzsystem vier Kameras, die ein Rundumsichtkamerasystem ausbilden.
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.
Die mit Bezug auf das erfindungsgemäße Verfahren dargestellten bevorzugten Ausführungsbeispiele und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
Mit Angaben von "vor", "hinter", "neben", "über", "links", "rechts" usw. sind die bei einem vor dem Kraftfahrzeug stehenden und in einer Richtung einer Längsachse des Kraftfahrzeugs blickenden Beobachter gegebenen Positionen und Orientierungen angegeben.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Nun wird die Erfindung auf der Basis von bevorzugten Ausführungsbeispielen sowie mit Bezug auf die beigefügten Zeichnungen genauer erläutert.
Es zeigen:
1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs gemäß der Erfindung;
2 eine schematische Darstellung eines durch eine fahrzeugseitige Kamera aufgenommenen Rohbildes;
3 eine schematische Darstellung eines aus Rohbildern erstellen Draufsichtbildes;
4 eine schematische Darstellung einer allgemeinen Bild-Pipeline;
5 eine schematische Darstellung einer Bild-Pipeline zum Erzeugen des Draufsichtbildes;
6 eine schematische Darstellung eines Blockdiagramms eines Beispiels eines Verfahrens gemäß der Erfindung;
7a, 7b Darstellungen von Bildern, die durch eingebaute Schärfungsfunktionen der Kameras verarbeitet sind;
8a, 8b Darstellungen von Bildern, ohne dass sie durch eingebaute Schärfungsfunktionen der Kameras verarbeitet sind;
9 eine Darstellung eines Bildbereichs, der durch eine fokussierte Kamera aufgenommen ist;
10 eine Darstellung eines Bildbereichs, der durch eine defokussierte Kamera aufgenommen ist;
11a, 11b, 11c Darstellungen von Draufsichtbildern mit Aliasing-Bereichen;
12a, 12b Darstellungen von gefilterten Bildern; und
13 Diagramme von Pixelwerten einer willkürlich ausgewählten Pixelzeile aus den in 9 und 10 gezeigten Bildbereichen.
In den Figuren sind gleiche sowie funktionsgleiche Elemente mit denselben Bezugszeichen versehen.
1 zeigt ein Kraftfahrzeug 1, das im vorliegenden Fall als Personenkraftwagen ausgebildet ist. Das Kraftfahrzeug 1 umfasst ein Fahrerassistenzsystem 2, das einen Fahrer des Kraftfahrzeugs 1 beim Führen des Kraftfahrzeugs 1 unterstützen kann. Das Fahrerassistenzsystem 2 umfasst ein Rundumsichtkamerasystem 3 zum Überwachen eines Umgebungsbereichs 4 des Kraftfahrzeugs 1. Hierbei umfasst das Fahrerassistenzsystem 2 vier am Fahrzeug montierte Kameras 5a, 5b, 5c, 5d. Eine erste Kamera 5a ist in einem Frontbereich 6 des Kraftfahrzeugs 1 befestigt und dient zum Aufnehmen von Rohbildern 11a, die den Umgebungsbereich 4 vor dem Kraftfahrzeug 1 zeigen. Eine zweite Kamera 5b ist in einem Heckbereich 7 des Kraftfahrzeugs 1 befestigt und dient zum Aufnehmen von Rohbildern 11b, die den Umgebungsbereich 4 hinter dem Kraftfahrzeug 1 zeigen. Eine dritte Kamera 5c ist an einer linken Seite 8 des Kraftfahrzeugs 1 befestigt und dient zum Aufnehmen von Rohbildern 11c, die den Umgebungsbereich 4 links neben dem Kraftfahrzeug 1 zeigen, und eine vierte Kamera 5d ist auf einer rechten Seite 9 des Kraftfahrzeugs 1 befestigt und dient zum Aufnehmen von Rohbildern 11d, die den Umgebungsbereich 4 rechts neben dem Kraftfahrzeug 1 zeigen. Die Rohbilder 11a, 11b, 11c, 11d oder Roh-Videoeinzelbilder, die durch die Kameras 5a, 5b, 5c, 5d aufgenommen werden, können auf einer Anzeigevorrichtung 10 des Fahrerassistenzsystems 2 in Form eines Videos angezeigt werden.
2 zeigt das Rohbild 11b, das von der zweiten Kamera 5b aufgenommen wird, die im Heckbereich 7 des Kraftfahrzeugs 1 befestigt ist. Folglich ist das Rohbild 11b ein Rückansichtsbild, das den Umgebungsbereich 4 hinter dem Kraftfahrzeug 1 zeigt. Insbesondere zeigt das Rohbild 11b eine Straßenoberfläche 12 einer Straße für das Kraftfahrzeug 1 sowie Orientierungslinien 13, die eine Bewegung von Rädern des Kraftfahrzeugs 1 für den Fahrer visualisieren. Das in 2 gezeigte Rohbild 11b sowie die Rohbilder 11a, 11c, 11d, die durch die restlichen Kameras 5a, 5c, 5d des Rundumsichtkamerasystems 3 aufgenommen werden, können kombiniert werden, um ein Draufsichtbild 14’, 14 des Kraftfahrzeugs 1 und des Umgebungsbereichs 4 zu bestimmen.
3 zeigt ein Draufsichtbild 14', das mit Störsignalen 17 behaftet ist. Draufsichtbilder 14’, 14 oder Draufsichtvideoeinzelbilder können auf der Anzeigevorrichtung 10 angezeigt werden. Im Draufsichtbild 14, 14’ ist der Umgebungsbereich 4 aus der Perspektive eines Betrachters über dem Kraftfahrzeug 1, der nach unten auf das Kraftfahrzeug 1 blickt, gezeigt. Das Draufsichtbild 14, 14’ vermittelt den Eindruck, dass es durch eine Kamera, eine sogenannte virtuelle Kamera, aufgenommen ist, die über dem Kraftfahrzeug 1 angeordnet ist. Da das Kraftfahrzeug 1 selbst nicht durch die Kameras 5a, 5b, 5c, 5d des Rundumsichtkamerasystems 3 erfasst werden kann, wird ein Modell 15 des Kraftfahrzeugs 1 in das Draufsichtbild 14, 14’ eingefügt. Aufgrund der Bildfusion sind Bildbereiche 16, die mit Störsignalen 17 in Form von Flackereffekten behaftet sind, in dem Draufsichtbild 14' vorhanden. Hier treten diese Flackereffekte, die auch als Aliasing-Effekte oder Aliasing bezeichnet werden, hauptsächlich nahe den Montagestellen der Kameras 5a, 5b, 5c, 5d, insbesondere wenn sich das Kraftfahrzeug 1 bewegt, auf.
4 zeigt eine schematische Darstellung einer allgemeinen Bild-Pipeline 18 oder Video-Pipeline, welche durch einen Satz von Komponenten 19, 20, 21, 22, 23 dargestellt wird. Mittels der Video-Pipeline 18 kann ein Kundenansichtsbild 24 wie das Draufsichtbild 14’ auf der Basis von Rohbildern oder Rohvideos 25 wie der Rohbilder 11a, 11b, 11c, 11d, die durch die Kameras 5a, 5b, 5c, 5d des Rundumsichtkamerasystems 3 aufgenommen werden, erzeugt werden. Dabei wird Licht vom Umgebungsbereich 4 der Kameras 5a, 5b, 5c, 5d über Linsen 19 auf eine Bildsensoreinheit 20 der Kameras 5a, 5b, 5c, 5d mit einem Bildwandler und einem Mikroprozessor, z. B. einem Begleitchip, projiziert. Auf der Basis von Bildqualitätseinstellungen 21 der Kameras 5a, 5b, 5c, 5d erzeugt die Bildsensoreinheit 20 die Rohbilder 25 als Ausgabe. Auf der Basis der Rohbilder 25 erzeugt eine Rechenvorrichtung 22, die z. B. in einer fahrzeugseitigen Steuervorrichtung 26 oder ECU (elektronische Steuereinheit) enthalten sein kann, eine virtuelle Ansicht, beispielsweise die Draufsicht. Auf der Basis von Einstellungen der virtuellen Ansicht und einer Kalibrierungsausgabe 23 kann das Kundenansichtsbild 24 für die Anzeige auf der Anzeigevorrichtung 10 bestimmt werden.
5 zeigt eine Darstellung einer Video-Pipeline 27 zum Erzeugen des Draufsichtbildes 14’ mit einem Punkt, an dem die Störsignale 17 in das Draufsichtbild 14' eingeführt werden. Hier umfasst die Video-Pipeline einen parallelen Pfad für Algorithmen für maschinelles Sehen. Die Rohbilder 11a, 11b, 11c, 11d, die durch die Kameras 5a, 5b, 5c, 5d aufgenommen werden, werden der Steuervorrichtung 26 zugeführt. Insbesondere sind Störsignale 17 nicht vorhanden oder vielmehr nicht sichtbar innerhalb der Rohbilder 11a, 11b, 11c, 11d. Die Rohbilder 11a, 11b, 11c, 11d können in einer Speichervorrichtung 28 oder einem RAM (Direktzugriffsspeicher) gespeichert werden. Die gespeicherten Rohbilder 11a, 11b, 11c, 11d können einer Verarbeitungseinheit 29 für maschinelles Sehen bereitgestellt werden, welche die Rohbilder 11a, 11b, 11c, 11d analysiert. Die Rohbilder 11a, 11b, 11c, 11d können beispielsweise im Hinblick auf Objekte, die im Umgebungsbereich 4 vorhanden sind, analysiert werden, um Informationen 30 auf Objektbasis auszugeben. Die Informationen 30 auf Objektbasis können ebenfalls dem Fahrer angezeigt werden.
Überdies können die Rohbilder 11a, 11b, 11c, 11d einem Digitalsignalprozessor 31 mit einem Vorfilter 32, um die Rohbilder 11a, 11b, 11c, 11d zu filtern, und einem Draufsicht-Renderer 33, um das Draufsichtbild 14' zu rendern, zugeführt werden. Die Störsignale 17 werden durch den Draufsicht-Renderer 33 als Teil des Draufsichtbild-Renderns eingeführt. Das Draufsichtbild 14' umfasst die Störsignale 17. Trotz der Anwendung eines Nachfilters 34 auf das Draufsichtbild 14 können die Störsignale 17 nicht aus dem Draufsichtbild 14' entfernt werden. Diese Draufsichtbilder 14', die mit den Flackereffekten behaftet sind, können als störend wahrgenommen werden, wenn sie dem Fahrer angezeigt werden.
Um ein Draufsichtbild 14 zu erzeugen, in dem die Störsignale 17 zumindest reduziert sind, ist die Steuervorrichtung 26 des Fahrerassistenzsystems 2 dazu ausgelegt, einen Schritt S1, S2, S3, S4, S5 eines Verfahrens, das beispielhaft in 6 gezeigt ist, durchzuführen. Der Zweck der Schritte S1, S2, S3, S4, S5 des Anti-Aliasing-Verfahrens besteht darin, eine visuelle Qualität des Rundumsichtkamerasystems 3 in einer Kraftfahrzeuganwendung zu verbessern.
Ein erster Schritt S1 betrifft eine Unterdrückung oder Abschwächung einer eingebauten Kontrastschärfung und/oder Kantenschärfung von mindestens einer der Kameras 5a, 5b, 5c, 5d. Bevor ein endgültiges Bild geliefert wird, kann ein Kamerasystem gewöhnlich gewisse Vorverarbeitungsprozeduren, z. B. lokale Kantenschärfung und Unscharfmaskierungen, durchführen, um eine visuelle Qualität des endgültigen Ausgangsbildes zu verbessern. Die Kontrast- und Kantenschärfung sind umfangreich verwendete Verfahren zum Erhöhen einer scheinbaren Schärfe eines Bildes, d. h. einer Bildschärfe. Die Kantenschärfung wird häufig in einer Kamera-Bildsignalverarbeitungs-(ISP) Kette angewendet. Wenn die Kantenschärfung in der Kamera-ISP, oder bevor das Draufsichtbild 14‘ erzeugt wird, angewendet wird, kann in Bereichen, in denen Draufsicht-Aliasing auftritt, die Kantenschärfung den Aliasing-Effekt verschlimmern. Es ist jedoch erwähnenswert, dass die Kantenschärfung nicht den Aliasing-Effekt erzeugt, sondern vielmehr den existierenden Effekt verstärkt. 7a zeigt das Draufsichtbild 14' innerhalb der Bildbereiche 16 mit den Störsignalen 17, die auch als Aliasing-Bereiche bezeichnet werden. Die Störsignale 17 sind im Draufsichtbild 14‘ aufgrund der Kontrast- und/oder Kantenschärfung, die auf die Rohbilder 11a, 11b, 11c, 11d vor der Bildfusion angewendet wird, vorhanden. 7b zeigt beispielhaft das Rohbild 11a, das durch die erste Kamera 5a aufgenommen wird. Um die Bildqualität des Rohbildes 11a zu verbessern, wurde eine Kontrast- und/oder Kantenschärfung auf das Rohbild 11a angewendet. Aufgrund dieser eingebauten Schärfungsfunktionen der Kamera 5a umfasst das Rohbild 11a kontrastreiche Bildbereiche 35.
Beim Ausschalten der eingebauten Schärfungsfunktionen von mindestens einer der Kameras 5a, 5b, 5c, 5d können der Aliasing-Effekt oder die Störsignale 17 signifikant reduziert werden. Vorzugsweise wird die Schärfung lokal für die Aliasing-Bereiche 16 ausgeschaltet, während die Schärfungsfunktionen für andere Nicht-Aliasing-Bildbereiche eingeschaltet gehalten werden. Um das Draufsicht-Aliasing abzuschwächen, wird die Kanten- und Kontrastschärfung in den Rohbildern 11a, 11b, 11c, 11d vor der Draufsichtbilderzeugung verringert oder deaktiviert. Um zu verhindern, dass Bereiche ohne Aliasing nicht so scharf erscheinen können wie es erwünscht wäre, kann eine selektive Kantenschärfung als Nachverarbeitungsschritt am ausgegebenen Draufsichtbild 14 angewendet werden, beispielsweise im Digitalsignalprozessor 31. 8a zeigt das Draufsichtbild 14 mit reduzierten Störsignalen 17, das mittels der Rohbilder 11a, 11b, 11c, 11d mit ausgeschalteten Schärfungsfunktionen erstellt wird. In 8b ist das mit der ersten Kamera 5a aufgenommene Rohbild 11a mit kontrastarmen Bildbereichen 36 gezeigt.
Ein zweiter Schritt S2 zum Reduzieren der Störsignale 17 bezieht sich auf ein optisches Verfahren. Die optischen Linsen 19, beispielsweise Fischaugenlinsen, der Kameras 5a, 5b, 5c, 5d haben die Fähigkeit, Frequenzkomponenten an den endgültigen Rohbildern 11a, 11b, 11c, 11d zu verändern. Um die Störsignale 17 im kombinierten Draufsichtbild 14 zu reduzieren, werden die optischen Fischaugenlinsen 19 geringfügig von ihren nominalen Positionen versetzt, um gewisse defokussierte Kameras 5a, 5b, 5c, 5d zu erreichen. Ein gewisses Ausmaß an optischer Unschärfe wird erzeugt und Aliasing mit hoher Frequenz kann reduziert werden. 9 zeigt einen scharfen Bildbereich 37 von einem der Rohbilder 11a, 11b, 11c, 11d, die von einer fokussierten Kamera 5a, 5b, 5c, 5d aufgenommen sind. Innerhalb des scharfen Bildbereichs 37 ist eine Textur 38 der Straßenoberfläche 12 deutlich sichtbar. 10 zeigt einen verschwommenen Bildbereich 39 von einem der Rohbilder 11a, 11b, 11c, 11d, die von einer defokussierten Kamera 5a, 5b, 5c, 5d aufgenommen sind. Aus 10 kann beobachtet werden, dass die hohe Frequenz der Pixelluminanz geglättet wird, wenn die Kameralinse 19 einen Fokusversatz aufweist. Daher wird der Aliasing-Effekt reduziert.
Ein dritter Schritt S3 betrifft ein Bildverarbeitungsverfahren zum Bearbeiten der Eingangs/Ausgangs-Bilder, nämlich der Rohbilder 11a, 11b, 11c, 11d und/oder des Draufsichtbildes 14, auf Pixelebene. Dies kann dazu beitragen, das Hochfrequenz-Aliasing zu filtern. Das Anwenden von üblichen Bildverarbeitungsverfahren für Hochfrequenzfiltern wie z. B. Abwärtsabtasten, Nachbarschaftsinterpolation und/oder Mitteln an Pixeln (z. B. Luma-Teil für das YUV-Bildformat) verringert den Aliasing-Effekt. Dies kann an den Eingangsrohbildern 11a, 11b, 11c, 11d oder an den kombinierten Ausgangsbildern 14 oder an beiden, sowohl räumlich als auch zeitlich, durchgeführt werden. Da es eine Herausforderung ist, diese Bildverarbeitungstechniken in einer eingebetteten Systemumgebung zu implementieren, in der die Echtzeitgeschwindigkeit eine kritische Anforderung ist, ist es erwünscht, den dritten Schritt S3 im Hinblick auf die Zeiteffizienz zu verbessern.
Da das Draufsicht-Aliasing hauptsächlich an bestimmten lokalen Orten 40 im Umgebungsbereich 4 des Kraftfahrzeugs 1 auftritt, kann die Bildverarbeitung nur auf jene Bildbereiche 16, die den Orten 40 entsprechen, angewendet werden. Diese Orte 40, welche Teilbereichen von Ansichtsfenstern oder Detektionsbereichen der Kameras 5a, 5b, 5c 5d im Umgebungsbereich 4 entsprechen, sind innerhalb des Draufsichtbildes 14' in 11a gezeigt. Folglich weisen die Teilbereiche 40 Beziehungen mit wenigen Parametern auf, wie z. B. einem Abstand zur jeweiligen realen Kamera 5a, 5b, 5c, 5d und/oder einem Einfallswinkel zu einer zentralen Projektionsachse der Kamera 5a, 5b, 5c 5d. Der Aliasing-Effekt ist beispielsweise fortschreitend schwächer mit zunehmendem Abstand der Bodenoberfläche oder Straßenoberfläche 12 zur realen Kamera 5a, 5b, 5c, 5d. Auf der Basis dieser Orte 40 werden die Bildbereiche 16 mit Störsignalen 17 als halbkreisförmige Bereiche 41 identifiziert, die in 11b gezeigt sind. Die Bildverarbeitungsverfahren wie z. B. Pixelabwärtsabtastung, Mittelung und Interpolation, können nur lokal auf die Rohbilder 11a, 11b, 11c, 11d innerhalb der Bildbereiche der Rohbilder 11a, 11b, 11c, 11d angewendet werden, die zu den Aliasing-Bereichen 16 des Draufsichtbildes 14 beitragen.
Da ein nicht-glatter Übergang von einem lokal verarbeiteten Bereich 16, z.B. der halbkreisförmigen Bereiche 41, zu Bereichen, die nicht verarbeitet werden, auftreten kann, kann eine lokale Operation geführt werden, um dieses Problem zu überwinden. Zum Führen der Filterung der Rohbilder 11a, 11b, 11c, 11d und/oder des Draufsichtbildes 14 kann eine Pixeldichtekarte 42 (siehe 11c) bestimmt werden. Die Pixeldichte ist ein quantitatives Maß der Schwere des Aliasing-Effekts. Die Pixeldichte ist eine Metrik zum Messen eines Pixelverhältnisses von den Kamerarohbildern 11a, 11b, 11c, 11d zum kombinierten Ausgangsdraufsichtbild 14. Mehrere Verfahren können verwendet werden, um dieses Pixelverhältnis zu berechnen, während, um ihre Berechnung von variablen Parametern der Kameras 5a, 5b 5c 5d und Ansichtsfenstern unabhängig zu machen, ein bestimmter Bereich auf dem Boden 12 ausgewählt werden kann. Dann kann berechnet werden, wie viele Pixel oder Bildelemente dieser Bereich in den Rohbildern 11a, 11b, 11c, 11d bzw. Ausgangsbildern 14 belegen kann. 11c zeigt die Pixeldichtekarte 42 oder Pixeldichteverteilung im Draufsichtbild 14. Bereiche 43 mit höherer Pixeldichte entsprechen den Aliasing-Bereichen 16 und geben an, dass mehr Pixel von den ursprünglichen Pixeln in den Rohbildern 11a, 11b, 11c, 11d für das Draufsichtbild verwendet werden. Die Dichte nimmt im Allgemeinen von einem bestimmten Punkt weg abhängig von der Position der realen Kamera 5a, 5b, 5c, 5d ab. Die Verwendung dieses Trends und die Anwendung von verschiedenen Gewichten auf die Pixelverarbeitung kann der Inhalt des dritten Schritts S3 sein. Dies kann helfen, die Grenze des verarbeiteten Bereichs zu glätten, und auch dazu beitragen, die hohe Frequenz selektiv zu filtern. Unter Verwendung von Pixeldichtedaten als Führung kann folglich die Bildverarbeitungsoperation lokal eingeschränkt werden und nur auf den Aliasing-Bereich 16 abzielen, welcher einen gewissen Pixeldichtebereich aufweist. Der rechteckige Bildbereich 44 in 11a und 11b entspricht dem durch das Modell 15 des Kraftfahrzeugs 1 belegten Bildbereich. In 12a ist das Draufsichtbild 14 gezeigt, wobei die Störsignale 17 aufgrund der Bildverarbeitung zumindest reduziert sind, die hier auf das Draufsichtbild 14 und das in 12b gezeigte Rohbild 11b angewendet wird.
Ein vierter Schritt S4 betrifft eine Detektion der Aliasing-Bildbereiche 16 und eine Auswertung ihrer Schwere. Die Schwere kann mittels eines Aliasing-Indikators angegeben werden. Unter bestimmten Szenarios kann der Draufsicht-Aliasing-Effekt schwach sein oder sogar verschwunden sein. Mit anderen Worten bedeutet dies, dass der Aliasing-Effekt nicht immer auftritt und es unter bestimmten Umgebungsbedingungen nicht erforderlich sein könnte, Anti-Aliasing-Lösungen anzuwenden.
Ohne die Operation des Anti-Aliasing kann Systemleistung eingespart werden. Der Aliasing-Effekt wurde beispielsweise als niedrig beobachtet, falls die Straßenoberfläche 12 nass ist, wie z. B. nach Regen, da der Wasserfilm auf der Straßenoberfläche 12 einen Kontrast der Straßenoberfläche 12 verringert und ebenso eine gewisse diffuse Lichtreflexion erzeugt. Wenn die Kameralinse 19 einen Wasserfilm aufweist, nimmt der Aliasing-Effekt auch ab. Dies kann aus der Unschärfe resultieren, die durch die Linse 19 verursacht wird. Ferner sind die Störsignale 17 bei niedrigem Lichtpegel wie z. B. Nachtfahren aufgrund der geringen Lichtintensität der Straßenoberfläche 12 nicht vorhanden. Wenn Sonnenlicht bei Tage vorhanden ist, ist auch der Aliasing-Effekt im Schatten des Kraftfahrzeugs 1 aufgrund des relativ geringen Lichtpegels im Schattenbereich nicht sichtbar. Überdies wird der Aliasing-Effekt bei bestimmten Straßenoberflächen mit sehr kleinem oder sehr großem Straßenschotter reduziert. Dies könnte durch den Frequenzbereich des Straßenschotters erklärt werden, was darauf hinweist, dass eine raue Straßenoberfläche 12 eine erforderliche, aber nicht ausreichende Bedingung für die Aliasing-Ausgabe ist.
Ein Prinzip der Berechnung des Aliasing-Indikators besteht darin, die Aliasing-Bereiche 16 von Aliasing-freien Bereichen zu unterscheiden. Eine Pixelwert-Standardabweichung in festgelegten Bereichen kann ein einfacher Indikator für Aliasing sein. Wie vorstehend erwähnt, kann in Abhängigkeit von der Glätte der Straßenoberfläche 12 und Größe des Straßenschotters der Aliasing-Effekt eine veränderte Schwere aufweisen. Um das Verfahren des Anti-Aliasing zu verbessern, kann eine Metrik zum Bewerten der Schwere des Aliasing bestimmt werden. Auf der Basis dieser Metrik, die auch eine Bewertung des Ergebnisses von Anti-Aliasing-Operationen gibt, kann die Stärke des Anti-Aliasing für variierende Szenarios angepasst werden, beispielsweise durch Abschalten des Anti-Aliasing-Algorithmus oder Verringern der Stärke des Algorithmus.
Da der Draufsicht-Aliasing-Bereich 16 eine höhere Streuung von digitalen Pixelwerten aufweist als der Nicht-Aliasing-Bereich, kann die Datenvariabilität der Pixelmatrix, die auch statistische Streuung genannt wird, berechnet werden, um Aliasing-Bereiche 16 zu detektieren. Die statistische Datenstreuung kann in mehreren statistischen Indizes gemessen werden, wie z. B. Datenbereich, Standardabweichung, Abstands-Standardabweichung, mittlere absolute Abweichung, Variationskoeffizient und relative mittlere Differenz usw. Im Allgemeinen geben höhere Indizes mehr Streuung der Daten an. Die Schwere des Aliasing könnte durch die relativen Werte der statistischen Indizes bewertet werden. 13 zeigt zwei graphische Darstellungen von Datensätzen 45, 46 der digitalen Werte 47 (Ordinate) der Pixel für eine beliebig ausgewählte Pixelzeile 48 (Abszisse) der in 9 und 10 gezeigten zwei Bildern. Der Datensatz 45 stammt aus 9 und der Datensatz 46 stammt aus 10. Standardabweichungen für die zwei Sätze von Daten 45, 46, die in 13 gezeigt sind, können berechnet werden, wobei die Standardabweichung des Datensatzes 45 höher ist als die Standardabweichung des Datensatzes 46. Dies weist darauf hin, dass der Aliasing-Effekt, der durch den Bildbereich 39 in 10 verursacht wird, weniger offensichtlich ist als der Aliasing-Effekt, der durch den Bildbereich 37 in 9 verursacht. Die Standardabweichung eines anderen Teils des Rohbildes, in dem insgesamt kein Aliasing-Effekt auftritt, kann auch berechnet werden und das Ergebnis kann als Ziel der Anti-Aliasing-Operation festgelegt werden.
Ein fünfter Schritt S5 umfasst eine Mischform der Schritte S1 bis S4. Dies bedeutet, dass zumindest einer der Schritte S1 bis S4 durch die Steuervorrichtung 26 des Fahrerassistenzsystems 2 durchgeführt wird, um Störsignale in dem Draufsichtbild 14 zu reduzieren.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 5684293 A [0003]
US 6021005 A [0003]

Claims

Verfahren zum Reduzieren von Störsignalen (17) in einem Draufsichtbild (14), das ein Kraftfahrzeug (1) und einen Umgebungsbereich (4) des Kraftfahrzeugs (1) zeigt, wobei das Draufsichtbild (14) auf der Basis von Rohbildern (11a, 11b, 11c, 11d) bestimmt wird, die durch mindestens zwei fahrzeugseitige Kameras (5a, 5b, 5c, 5d) aufgenommen werden, und wobei bei dem Verfahren mindestens einer der folgenden Schritte a) bis c) durchgeführt wird: a) Unterdrücken oder Abschwächen einer Kontrastschärfung und/oder einer Kantenschärfung für die aufgenommenen Rohbilder (11a, 11b, 11c, 11d) im Fall von Kameras, die mit integrierten Schärfungsfunktionen (5a, 5b, 5c, 5d) ausgestattet sind, und Bestimmen des Draufsichtbildes (14) auf der Basis der Rohbilder (11a, 11b, 11c, 11d) ohne die Kontrastschärfung und/oder Kantenschärfung, b) Erzeugen von Fokussierversätzen innerhalb der aufgenommenen Rohbilder (11a, 11b, 11c, 11d) und Bestimmen des Draufsichtbildes (14) auf der Basis der Rohbilder (11a, 11b, 11c, 11d) mit den Fokussierversätzen, c) Identifizieren von mindestens einem mit Störsignalen (17) behafteten Bildbereich (16) in dem Draufsichtbild (14) und Reduzieren der Störsignale (17) durch Anwenden eines Filters auf mit diesem Bildbereich (16) korrespondierende Bildelemente des Draufsichtbildes (14) und/oder der Rohbilder (11a, 11b, 11c, 11d).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass falls Schritt c) durchgeführt wird, ein Teilbereich (40) in einem jeweiligen Detektionsbereich der Kameras (5a, 5b, 5c, 5d) mit einer vorbestimmten Abmessung und/oder einer vorbestimmten Lage bezüglich der jeweiligen Kameras (5a, 5b, 5c, 5d) bestimmt wird und die mit dem jeweiligen Teilbereich (40) korrespondierenden Bildelemente des Draufsichtbildes (14) als Bildelemente des mindestens einen mit Störsignalen (17) behafteten Bildbereichs (16) bestimmt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass falls Schritt c) durchgeführt wird, eine Verteilung (42) bestimmt wird, die eine Anzahl von Bildelementen der Rohbilder (11a, 11b, 11c, 11d) beschreibt, die zur Erzeugung des Draufsichtbildes (14) beitragen, und der mindestens eine mit Störsignalen (17) behaftete Bildbereich (16) basierend auf der Verteilung (42) bestimmt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Verteilung (42) bestimmt wird, indem der Umgebungsbereich (4) in Teilbereiche unterteilt wird und für jeden Teilbereich ein Maß bestimmt wird, welches ein Verhältnis zwischen Anzahlen von Bildelementen der Rohbilder (11a, 11b, 11c, 11d) und des Draufsichtbildes (14) beschreibt, die für die Darstellung des jeweiligen Teilbereichs verwendet werden.
Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass nur die Bildelemente innerhalb des mindestens einen Bildbereichs (16) und/oder die zu dem mindestens einen mit Störsignalen (17) behafteten Bildbereich (16) beitragenden Bildelemente durch Anwenden eines Tiefpassfilters auf diese Bildelemente gefiltert werden.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass ein geführtes Filter zum Filtern der Bildelemente der Rohbilder (11a, 11b, 11c, 11d) und/oder des Draufsichtbildes (14) bestimmt wird, indem Gewichtungsfaktoren abhängig von der Verteilung (42) zum Gewichten der Bildelemente der Rohbilder (11a, 11b, 11c, 11d) und/oder des Draufsichtbildes (14) bestimmt werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass falls Schritt a) durchgeführt wird, der mindestens eine mit Störsignalen (17) behaftete Bildbereich (16) innerhalb des Draufsichtbildes (14) abgeschätzt wird und die integrierten Schärfungsfunktionen für jene Bildelemente der Rohbilder (11a, 11b, 11c, 11d), die dem abgeschätzten Bildbereich des Draufsichtbildes (14) entsprechen, unterdrückt oder abgeschwächt werden.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass falls Schritt a) durchgeführt wird, die integrierten Schärfungsfunktionen für alle Bildelemente der Rohbilder (11a, 11b, 11c, 11d) unterdrückt oder abgeschwächt werden und eine selektive Schärfung für Bildbereiche des Draufsichtbildes (14) ohne Störsignale (17) nach der Bestimmung des Draufsichtbildes (14) durchgeführt wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass falls Schritt b) durchgeführt wird, der Fokussierversatz in den Rohbildern (11a, 11b, 11c, 11d) durch Bereitstellen einer Fehlausrichtung von Linsen (19) der Kameras (5a, 5b, 5c, 5d) und durch Aufnehmen der Rohbilder (11a, 11b, 11c, 11d) mit den Linsen (19) mit der Fehlausrichtung erzeugt wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass vor dem Durchführen von mindestens einem der Schritte a) bis c) festgestellt wird, ob Störsignale (17) bei der Bestimmung des Draufsichtbildes (14) zu erwarten sind, wobei die Schritte a) bis c) nur durchgeführt werden, falls Störsignale (17) zu erwarten sind.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass mindestens eine Umgebungsbedingung, insbesondere eine Textur (38) einer Straßenoberfläche (12) für das Kraftfahrzeug (1) und/oder eine Tageszeit und/oder Wetterbedingungen, bestimmt wird und auf der Basis der mindestens einen Umgebungsbedingung festgestellt wird, ob Störsignale (17) zu erwarten sind.
Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass falls Störsignale (17) zu erwarten sind, eine Schwere der Störsignale (17) bestimmt wird und eine Stärke der Schritte a) bis c) an die Schwere der Störsignale (17) angepasst wird.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass eine Schwere der Störsignale (17) durch Bestimmen einer statistischen Streuung von Bildelementwerten als Funktion einer Position der Bildelemente in dem Draufsichtbild (14) bestimmt wird.
Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1) mit mindestens zwei Kameras (5a, 5b, 5c, 5d) zum Aufnehmen von Rohbildern (11a, 11b, 11c, 11d) von einem Umgebungsbereich (4) des Kraftfahrzeugs (1), einer Steuervorrichtung (26), die dazu ausgelegt ist, ein Verfahren nach einem der vorangehenden Ansprüche durchzuführen, und einer Anzeigevorrichtung (10) zum Anzeigen des Draufsichtbildes (14) mit reduzierten Störsignalen (17), das durch die Steuervorrichtung (26) bestimmt wird.
Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 14.