-
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Bestimmung eines Blindheitszustandes, auch Blockierung genannt, von mindestens einer Kamera in einem stereoskopischen System, das an Bord eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, eingebaut ist und dazu beiträgt, den Fahrer beim Führen des Fahrzeugs zu unterstützen.
-
Im Bereich der Fahrzeugsicherheit und Fahrassistenz dienen die an Bord von Fahrzeugen eingebauten Videosysteme dazu, Hindernisse – Objekte oder Personen – oder Ereignisse außerhalb dieses Fahrzeuges zu erfassen. Auf der Grundlage von zwei eingebauten Kameras ermöglicht das von einem digitalen Verarbeitungssystem verwaltete Videosystem, die Entfernung zwischen dem Fahrzeug und diesen Hindernissen zu bestimmen. Es ist damit möglich, verschiedene Funktionalitäten zu gewährleisten, zum Beispiel die Erfassung von Hindernissen, die Erfassung von Gefahren, die Erfassung und Erkennung von Verkehrszeichen, der durchgängigen weißen Sperrlinie der Straße oder auch die Erfassung eines aus der Gegenrichtung kommenden Fahrzeugs. Letztere Erfassung kann mit der Steuerung der Fahrzeugbeleuchtung gekoppelt werden.
-
Die Erkennung dieser Hindernisse oder Ereignisse wird dem Fahrer darüber hinaus durch die Anzeige eines Eingriffs von Fahrassistenzsystemen zur Kenntnis gegeben. Daher ist die Zuverlässigkeit der Kameras ein kritischer Punkt und kann entscheidend werden, wenn man beispielsweise in Echtzeit wissen muss, ob bei nicht angezeigten Hindernissen die Straße tatsächlich frei von Hindernissen ist oder ob eine der Kameras zumindest teilweise blind ist. Die Erfassung der Blindheit der Kameras ist daher ebenso wichtig wie die Feststellung einer guten Sicht. Eine häufige Ursache der Blindheit ist die Kondensation von Wasser auf der Kameraoptik. Im Allgemeinen führt die Erfassung einer Blindheit dazu, dass dem Fahrer eine solche Kondensation angezeigt wird und Maßnahmen zur Beseitigung ausgelöst werden können.
-
Die Bestimmung eines Blindheitsgrades einer eingebauten Kamera wird im Patentdokument
US 2013/0070966 behandelt. In diesem Dokument wird der Bildschirm in Sektoren unterteilt, und die Blindheitswahrscheinlichkeit pro Sektor wird auf der Grundlage einer Messung der Anzahl von Objekten, die über ihre Umrisse in jedem Sektor erfasst werden, analysiert. Es handelt sich dabei um eine Methode der Analyse pro Bildsektor.
-
Die Erfassung der Kamerablindheit nach dieser Methode weist verminderte Leistungen auf: Ein teilweiser Blindheitsgrad der Kamera wird nur in 75 % der Fälle erfasst, da die durchschnittliche Entfernung zur Durchführung dieser Erfassung 200 Meter beträgt. Darüber hinaus ist beim Starten eine durchschnittliche Entfernung von 30 Metern erforderlich, um die Blindheit der Kamera zu beurteilen.
-
Bei Nutzung des gleichen sektorbezogenen Ansatzes schlägt das Patentdokument
US 8 116 523 vor, durch eine Kantenerfassung (Englisch: „edge map extraction“) und eine Erfassung von Merkmalspunkten anhand dieser Daten Bilddaten zu erzeugen. Die Merkmalspunkte werden nach drei Abtastbereichen der Erfassung klassifiziert, die in kurzer, mittlerer beziehungsweise weiter Entfernung vom Fahrzeug angeordnet sind: ein Bereich für die Fahrbahnen, ein weiterer Bereich für die Fahrbahnabzweigungen und ein Bereich für Sackgassen oder Hindernisse. Auf diese Weise wird die Anzahl der Bildbearbeitungsschritte, verglichen mit der Erfassung von fixen Modellen mit einer Abtastung des gesamten Bildes zur Prüfung der Entsprechung des Bildes mit den Modellen, reduziert.
-
Für stereoskopische Systeme mit zwei Kameras wurden weitere Methoden entwickelt, die es ermöglichen, eine zusätzliche Information zur Tiefe der Objekte und Hindernisse der sich dem Fahrer darstellenden Szene bereitzustellen. Die Tiefe eines Pixels eines Elements dieser Szene ist umgekehrt proportional zum Versatz, auch „Disparität“ genannt, der einander zugeordneten Pixel des rechten und linken Bildes, die dem Anfangspixel der Szene entsprechen und die von der rechten beziehungsweise linken Kamera erfasst werden. Von sämtlichen Disparitäten zwischen den derart zugeordneten Pixeln wird eine Disparitätskarte erstellt.
-
Die Erzeugung von zeitlich aufeinanderfolgenden Disparitätskarten ermöglicht es, die Leistungen der Fahrassistenzanwendungen auf der Grundlage der Informationen zur Tiefe der Szene zu erhöhen. Die Verwendung von Disparitätskarten wird beispielsweise durch die Patentdokumente
US 2010/0013908 ,
EP 2 381 416 oder
FR 2 958 774 veranschaulicht.
-
Das Problem besteht darin, die Pixel des linken und rechten Bildes korrekt einander zuzuordnen. Auf klassische Art und Weise erfolgt die Erzeugung einer Disparitätskarte in zwei Schritten: Bestimmung von unterschiedlichen Zuordnungsgraden für jedes Pixelpaar, auch „Matching Scores“ genannt, und die Extraktion einer Disparitätsschätzung für jedes Pixelpaar.
-
Der erste Schritt erfolgt, indem für jeden Pixel eines analysierten Paares die Pixel in dessen Umgebung berücksichtigt werden. Die Scores drücken den Ähnlichkeitsgrad der Pixel des analysierten Paares aus. Der zweite Schritt ermöglicht es, jedem Pixel des linken oder des rechten Bildes – Referenzbild genannt – die wahrscheinlichste Disparität zuzuordnen, die auf der Grundlage der Matching Scores dieses Pixels beurteilt wird. Sämtliche Pixel des Referenzbildes, auf die die erfassten Disparitäten übertragen wurden, bilden die Disparitätskarte des stereoskopischen Bildes.
-
Generell wurden drei Typen von Methoden entwickelt, um je nachdem, wie die Scores bestimmt und die Disparitäten ausgedrückt werden, eine Disparitätskarte zu erstellen: die lokalen, globalen und semi-globalen Methoden.
-
Die lokalen Methoden basieren auf den Matching Scores eines jeden Pixelpaares jedes Bildes, die zwischen den Pixeln, die zwei einander zuzuordnende Pixel unmittelbar umgeben, ermittelt wurden. Es können unterschiedliche Korrelationsfunktionen verwendet werden (Summe der quadratischen Abweichungen, Summe der absoluten Abweichungen, Zero-Mean Normalized Cross-Correlation usw.), um damit die Disparitäten der einander zugeordneten Pixeln zu bestimmen. Für jedes analysierte Pixelpaar wird die dem besten Score entsprechende Disparität ausgewählt.
-
Diese lokalen Methoden sind am einfachsten und benötigen damit weniger Ressourcen. Sie erzeugen Disparitätskarten mit hoher Dichte, das heißt, mit einer hohen Rate von Pixeln mit einer als gültig beurteilten Disparität, wobei die Gültigkeit auf einem Kohärenzkriterium zwischen den Disparitäten benachbarter Pixel beruht. Allerdings weisen diese lokalen Methoden eine hohe Fehlerquote auf, insbesondere in den Okklusionsbereichen und den wenig texturierten Bereichen, zum Beispiel bei einer neuen Straße.
-
Die globalen Methoden bestehen darin, eine definierte Energiefunktion auf dem gesamten Referenzbild zu optimieren. Die Energiefunktion definiert die Anforderungen, denen die Disparitätskarte entsprechen muss, zum Beispiel die Kontinuität der Disparitäten bei Objekten. Anschließend werden sämtliche Disparitäten, die diese Energiefunktion minimieren, ermittelt. Die Methode des Graphenschnitts (Englisch: Graph-Cut) und der Belief Propagation sind die ausgereiftesten globalen Methoden.
-
Diese Methoden ergeben dichte Disparitätsbilder mit wenigen Fehlern. Allerdings sind sie kompliziert umzusetzen und erfordern sehr umfangreiche Berechnungs- und Speicherressourcen, die mit den Sachzwängen des Einbaus schwer vereinbar sind.
-
Die semi-globalen Methoden basieren auf dem gleichen Prinzip wie die globalen Methoden, beruhen jedoch auf Subteilen des Bildes, nämlich auf Zeilen oder Blöcken. Die Untergliederung des Problems der Optimierung der Energiefunktion in Teilprobleme ermöglicht es, den Bedarf an Berechnungs- und Speicherressourcen im Vergleich zu den globalen Methoden zu verringern, führt allerdings immer wieder zum Auftreten von Artefakten auf der Disparitätskarte bei einer nicht zu vernachlässigenden Fehlerquote und einer durchschnittlichen bis dürftigen Dichte der Disparitätskarte (was das Auftreten von Artefakten erklärt).
-
Das hauptsächliche Ziel der Erfindung besteht darin, die Leistungen der Bestimmung eines Blindheitszustandes eines stereoskopischen Systems mit zwei Kameras bei geringer Fehlerquote zu verbessern und gleichzeitig mit Berechnungs- und Speicherressourcen von angemessener Größe, die einen einfachen Einbau ermöglichen, Disparitätskarten mit hoher Dichte zu extrahieren. Dazu schlägt die Erfindung einen hybriden Ansatz zwischen den lokalen und semi-lokalen Methoden vor, bei dem besondere Disparitätskarten auf der Grundlage der Zerlegung der Bilder in Sektoren im Rahmen einer direkten semi-gobalen Analyse verwendet werden, ohne dass eine Energiefunktion genutzt wird.
-
Zu diesem Zweck hat die vorliegende Erfindung ein Verfahren zur Bestimmung eines Blindheitszustandes von mindestens einer Kamera in einem an Bord eines Fahrzeugs eingebauten Multikamera-System zum Gegenstand, das die folgenden Schritte umfasst:
- • Erfassung von aufeinanderfolgenden stereoskopischen Bildern eines Sichtfeldes, wobei jedes stereoskopische Bild des Multikamera-Systems auf der Grundlage des linken und des rechten Bildes, die simultan erzeugt und digital in Form von Pixeln gespeichert werden, erstellt wird,
- • Berechnung einer Disparitätskarte auf der Grundlage der aufeinanderfolgenden Multikamera-Bilder und
- • Berechnung eines Blindheitsgrades.
-
In diesem Verfahren ist der Blindheitsgrad ein gewogenes Mittel, das durch die folgenden, aufeinanderfolgenden Schritte bestimmt wird:
- • Unterteilung der Disparitätskarte in Sektoren,
- • Bestimmung der Dichte jedes Sektors durch die Rate der Pixel mit als gültig beurteilter Disparität,
- • Bestimmung einer Stereo-Blindheitswahrscheinlichkeit pro Sektor der Disparitätskarte durch Vergleich zwischen der Dichte dieses Sektors und einem vordefinierten Blindheitsgrad und
- • Bestimmung eines gewogenen Mittels der Blindheitswahrscheinlichkeiten der Sektoren in Abhängigkeit einer Gewichtung der Position dieser Sektoren auf der Disparitätskarte.
-
Damit weist dieses Verfahren im Vergleich zu anderen, eine oder mehrere Kameras nutzenden Verfahren eine höhere Entscheidungsschnelligkeit bezüglich einer eventuellen Blindheit – selbst bei Abwesenheit von das Fahrzeug teilweise überdeckenden Objekten – eine höhere Erfassungsgeschwindigkeit und eine höhere Rate der Erfassung von Blindheiten auf.
-
Um im Rahmen der Erfindung einen Blindheitsgrad zu definieren, kann damit eine einzige, im Sichtfeld vorhandene texturierte Oberfläche – zum Beispiel eine Straße – ausreichend sein, und die Anwesenheit von Objekten ist somit nicht erforderlich. Die mit der Erfindung erzielten Leistungen sind auf die Schnelligkeit der Berechnungen auf Grund der genutzten Methodik zurückzuführen. Beispielsweise sind die Kameras nach einer Zeit, während der das Fahrzeug lediglich 12 Meter fährt, frei von Blindheit, verglichen mit 30 Metern bei den früheren Methoden.
-
In einer bevorzugten Ausgestaltungsart
- • kann vor der Bestimmung der Dichte der Sektoren auf der Disparitätskarte eine digitale Filterung des Disparitätsrauschens pro Sektor erfolgen,
- • kann die digitale Filterung des Disparitätsrauschens durch die Anwendung von Modellen der mathematischen Morphologie auf der Disparitätskarte erfolgen.
-
Gemäß weiterer besonders vorteilhafter Ausgestaltungen
- • wird, da jeder Sektor in Subteile, genannt Makroblöcke, zerlegt wird, und da diese Makroblöcke die gleiche Abmessung haben und in jedem Sektor gleichmäßig verteilt werden können, die digitale Filterung des Disparitätsrauschens pro Sektor durchgeführt, indem die Dichte eines jeden Makroblocks dieses Sektors über dessen Rate von Pixeln, deren über einem Schwellwert liegende Disparität als gültig beurteilt wird, gemessen wird, wobei der Anteil der als gültig beurteilten Makroblöcke die Dichte des Sektors bestimmt,
- • wird die Stereo-Blindheitswahrscheinlichkeit pro Sektor durch Vergleich zwischen der Rate der in diesem Sektor als gültig beurteilten Makroblöcke und einem vordefinierten Blindheitsgrad bestimmt,
- • kann die Anzahl der Sektoren im Wesentlichen zwischen 10 und 50 gewählt werden,
- • kann die Anzahl der Makroblöcke pro Sektor im Wesentlichen zwischen 10 und 100 gewählt werden.
-
Vorteilhafterweise wird zusätzlich zur Berechnung des Blindheitsgrades ein kombinierter Mono-Stereo-Analysetest durchgeführt, um die Anwesenheit eines Objekts vor einer Kamera festzustellen. Dieser Test sieht für jedes analysierte Bild die folgenden Schritte vor:
- • Auswahl eines der beiden zu analysierenden Stereobilder, genannt Monobild,
- • Unterteilung dieses Monobildes in Sektoren von gleicher Abmessung wie die der Disparitätskarte, um eine Monokarte zu bilden,
- • Berechnung einer Mono-Blindheitswahrscheinlichkeit pro Sektor des auf die Monokarte übertragenen Monobildes,
- • Vergleich der Stereo- und Mono-Blindheitswahrscheinlichkeiten, danach Fusion zwischen der gefilterten Disparitätskarte mit den Stereo-Blindheitswahrscheinlichkeiten pro Sektor und der Monokarte mit den Mono-Blindheitswahrscheinlichkeiten pro Sektor, indem jedem Sektor der gefilterten Disparitätskarte die geringste Blindheitswahrscheinlichkeit, die der höchsten Dichte entspricht, zugeordnet wird, um eine gefilterte, so genannte fusionierte Disparitätskarte zu erstellen, und
- • wenn die fusionierte Blindheitswahrscheinlichkeit insgesamt geringer als die Stereo-Blindheitswahrscheinlichkeit ist, wird die dem analysierten Bild entsprechende Kamera als möglicherweise blind betrachtet,
- • andernfalls wird davon ausgegangen, dass das Sichtfeld der analysierten Kamera durch ein mobiles Objekt überdeckt wird, und es wird eine Bearbeitung ausgelöst.
-
Vorzugsweise erfolgt die Berechnung der Mono-Blindheitswahrscheinlichkeit pro Sektor durch eine Kantenerfassungsanalyse und eine Erfassung von Merkmalspunkten anhand der Erfassungsdaten.
-
Weitere Daten, Merkmale und Vorteile der vorliegenden Erfindung werden deutlich beim Lesen der folgenden ausführlichen, nicht einschränkenden Beschreibung anhand der anliegenden Figuren, die Folgendes darstellen:
-
1, ein Beispiel der von den beiden Kameras eines stereoskopischen Systems aufgenommenen Bilder in Verbindung mit der Disparitätskarte, die gemäß einer Ausgestaltungsart des erfindungsgemäßen Verfahrens anhand dieser Bilder gebildet wird,
-
2, ein Beispiel einer Disparitätskarte, deren Sektoren gemäß einer besonderen Ausgestaltungsart der Erfindung in Makroblöcke zerlegt sind,
-
3, ein Gewichtungsbeispiel für die Berechnung des Blindheitsgrades einer Kamera des stereoskopischen Systems,
-
4a und 4b, das Logigramm einer erfindungsgemäßen Art der Bestimmung des Blindheitsgrades einer Kamera mithilfe einer Disparitätskarte, und
-
5, einen kombinierten Mono-Stereo-Ansatz zur Erfassung einer momentanen Überdeckung des Sichtfeldes einer Kamera auf der Grundlage einer Kantenerfassung vom Typ Mono und eines Vergleichs der Mono- und Stereo-Blindheitsgrade.
-
Die 1 veranschaulicht ein Beispiel für ein linkes Bild 11 und ein rechtes Bild 12, die von den Kameras eines stereoskopischen Visualisierungssystems an Bord eines Kraftfahrzeugs empfangen werden. Die von einem (nicht dargestellten) digitalen Verarbeitungssystem anhand dieser Bilder 11 und 12 erstellte Disparitätskarte 20 wird ebenfalls dargestellt. Die Bilder 11, 12 sind in 5 × 3 gleichmäßige Sektoren 10 zerlegt, und die Disparitätskarte 20 ist folglich in 5 × 3 Sektoren untergliedert. Alternativ ist es möglich, die Disparitätskarte direkt in Sektoren zu unterteilen.
-
Das rechte Bild 12 ist vollständig, wohingegen zu erkennen ist, dass das linke Bild 11 zumindest den maßgeblichen oberen Bereich A1, der auf dem rechten Bild 12 zu sehen ist, nicht wiedergibt. Das dem Bild 11 entsprechende Sichtfeld der linken Kamera ist demnach in diesem oberen Bereich A1, der die fünf oberen Sektoren abdeckt, teilweise blind.
-
Die Disparitätskarte 20 wird durch Übertragung der Disparitäten pro Sektor 10 anhand der Pixel eines der als Referenz dienenden Bilder, hier das linke Bild 11, bestimmt. Im Beispiel stellt jede Disparität die durch die quadratische Abweichung berechnete Entfernung zwischen den Pixeln der Bilder 11 und 12, die das beste Matching-Score aufweisen, dar.
-
Aus der teilweisen Blindheit des Bereichs A1 ergibt sich, dass die Disparitätskarte 20 Artefakte 21 aufweist. Diese Fehler äußern sich durch geringe Dichtepegel pro Sektor, die anhand der Disparitäten in diesen Sektoren bestimmt wurden, und damit durch einen erhöhten Blindheitsgrad, wie im Folgenden näher erläutert wird.
-
Bezug nehmend auf das in 2 dargestellte Beispiel einer besonderen Ausgestaltungsvariante wird jeder Sektor 10 der Disparitätskarte 20 vorteilhafterweise in 6 × 11 Makroblöcke 30 von gleicher Abmessung unterteilt (um die Übersichtlichkeit der Figur nicht zu beeinträchtigen, ist ein einziger Makroblock dargestellt). Dieser zusätzliche Zerlegungsschritt wird für eine Feinanalyse der Dichte verwendet, die anhand der 4a und 4b dargestellt wird.
-
Auf dieser derart in Sektoren 10 und Makroblöcke 30 zerlegten Disparitätskarte 20 werden die Disparitätsdichten für jeden Makroblock 30 gemessen. Danach wird auf der Grundlage der Disparitätsdichten der Makroblöcke 30 dieses Sektors 10 die Dichte pro Sektor 10 berechnet, wobei ein dichter Sektor durch einen hohen Anteil an Makroblöcken mit einer über einem gegebenen Schwellwert liegenden Dichte definiert ist.
-
Generell wird der Blindheitsgrad einer Kamera durch Gewichtung der Dichten der Sektoren in Abhängigkeit von ihrer Position in dem von der Kamera erzeugten Bild berechnet. Die 3 zeigt ein Beispiel der Gewichtung zur Berechnung des Gesamtblindheitsgrades einer Kamera des stereoskopischen Systems. Jeder Sektor 10 wird mit Gewichtungsfaktoren 40 versehen, und der Gesamtblindheitsgrad der Kamera wird durch einen Durchschnittswert der Dichtepegel der mithilfe dieser Faktoren 40 gewichteten Sektoren 10 berechnet. Die stärksten Gewichtungen mit dem Faktor „4“ entsprechen den Sektoren 10, die zuvor als Teil von maßgeblichen Bereichen beurteilt wurden. Eine derartige Gewichtung bezieht sich auf die Dichten, die pro Sektor 10 der in 5 dargestellten Disparitätskarte 42 bestimmt werden.
-
Ein Beispiel für die Bestimmung eines Blindheitszustandes einer Kamera anhand eines gewichteten Mittels der Dichtepegel pro Sektor der Disparitätskarte wird durch das Logigramm in 4a veranschaulicht, das in 4b vervollständigt wird. Alle Schritte 102 bis 108 der 4a werden unter der Bezeichnung „B“ auf die 4b übertragen, um deren Lesbarkeit in dieser 4b zu vereinfachen. In der 4a dient der erste Anfahrschritt 100, „Start“ genannt, zur Vornahme von Grundeinstellungen, insbesondere zur Kalibrierung der einen Kamera zur anderen, indem kleine ähnliche Zonen jedes der Bilder paarweise einander zugeordnet werden.
-
Der Schritt 101 betrifft die Aufnahme von aufeinanderfolgenden stereoskopischen Links- und Rechtsbildern des Sichtfeldes, wie die Bilder 11 und 12 der 1, nach einer festgelegten Frequenz. Die Bilder werden in einem digitalen Verarbeitungssystem gespeichert.
-
Diese Bilder ermöglichen es, die Disparitätskarte (Schritt 102) zu erstellen, indem jedem Pixel ein Matching-Score zugeordnet wird, der repräsentativ für den Grad der Ähnlichkeit zwischen zwei Pixeln der einander zugeordneten stereoskopischen Links- und Rechtsbilder ist. Diese Karte wird als ungefiltert bezeichnet, da sie auf Grund einer Blindheit, einer Überdeckung einer Kamera durch ein Objekt oder einer Dekalibrierung einer Kamera ein Disparitätsrauschen enthalten kann. Mit den folgenden Schritten kann das eventuelle Disparitätsrauschen unterdrückt werden.
-
Im Laufe von Schritt 103 wird die Disparitätskarte in Sektoren unterteilt (gemäß der Beschreibung zu 2).
-
In diesem Beispiel werden die 15 Sektoren der Disparitätskarte in Makroblöcke zerlegt, in diesem Beispiel in 66 Makroblöcke (Schritt 104). Vorteilhafterweise ermöglicht es eine digitale Filterung des Disparitätsrauschens, durch eine Analyse der Dichte in jedem Makroblock eines jeden Sektors (Schritt 105), die Dichte dieses Sektors feiner zu definieren. Der Schritt 105 zur Analyse der Dichte wird auf folgende Weise ausgeführt: Für jeden Makroblock wird über dessen Rate von Pixeln, deren Disparität durch Vergleich mit einem Schwellwert als gültig beurteilt wird, die Dichte gemessen. In diesem Beispiel werden die Makroblöcke, deren Dichte über einer Rate von 80 % liegt, als gültig beurteilt.
-
Alternativ dazu kann eine digitale Filterung des Disparitätsrauschens direkt pro Sektor durch dem Fachmann bekannte Modelle der mathematischen Morphologie durchgeführt werden.
-
Optional oder unabhängig davon ist es in einer parallelen Sequenz möglich, im Anschluss an den Schritt 105 zur Analyse der Dichte in einem Dekalibrierungstest 106 nachzuweisen, ob ein festgestelltes Rauschen auf eine Dekalibrierung oder auf eine Störung vom Typ Blindheit zurückzuführen ist, da die Disparitätskarte in diesen beiden Fällen unterschiedlich betroffen ist. Dieser Test erfolgt durch eine Grundeinstellung des eingebauten Multikamerasystems. Falls der Dekalibrierungstest eine Dekalibrierung ergibt, wird vorteilhafterweise eine Neukalibrierung durchgeführt (Schritt 107).
-
Danach wird im Schritt 108 durch den Anteil von als gültig beurteilten Makroblöcken innerhalb eines jeden Sektors die Dichte pro Sektor bestimmt. Nachdem die Dichte sämtlicher Sektoren bestimmt wurde, wird die Disparitätskarte als gefiltert bezeichnet.
-
Anschließend wird pro Sektor die Berechnung der Blindheitswahrscheinlichkeit durchgeführt. Sie besteht darin, dass in Schritt 109 die Raten der als gültig beurteilten Makroblöcke in diesem Sektor mit einem vordefinierten Blindheitsgrad verglichen werden. Wenn im Beispiel die Rate der als gültig beurteilten Makroblöcke über 35 % liegt, wird dieser Sektor als nicht blind betrachtet.
-
Alternativ dazu ist es in einer vereinfachten Version des Ausführungsbeispiels ebenfalls möglich, die Makroblöcke in den Analyse-Schritten B (Schritte mit den Nummern 104 bis 108) außer Acht zu lassen. Dazu werden in Schritt 109 zur Berechnung der Blindheitswahrscheinlichkeit anstelle der als gültig beurteilten Dichten der Makroblöcke direkt die Dichten pro gefiltertem Sektor verwendet, indem die Dichte jedes Sektors (die in Schritt 108 zur Berechnung der Dichte durch die Rate der Pixel mit als gültig beurteilter Disparität pro Sektor definiert wird) mit der vordefinierten Dichterate, hier 35 %, verglichen wird.
-
Im weiteren Verlauf des Verfahrens wird anhand der Dichte der Makroblöcke, aus denen jeder der Sektoren besteht, eine Disparitätsanalyse durchgeführt.
-
Nachdem in Schritt 108 die Dichte der Makroblöcke pro Sektor definiert wurde, wird die aus der Berechnung (Schritt 109) hervorgegangene Blindheitswahrscheinlichkeit pro Sektor als Stereo-Blindheitswahrscheinlichkeit (die von der nachfolgend beschriebenen Mono-Blindheitswahrscheinlichkeit zu unterscheiden ist) bezeichnet, da sie für die Sektoren der aus den Bildern des stereoskopischen Systems erstellten Disparitätskarte ermittelt wurde.
-
Die 4b stellt den weiteren Verlauf des erfindungsgemäßen Verfahrens dar, das es vorteilhafterweise ermöglichen wird zu überprüfen, ob das auf der Disparitätskarte festgestellte Rauschen auf eine tatsächliche Blindheit oder auf ein das Sichtfeld einer der beiden Kameras überdeckendes Objekt zurückzuführen ist.
-
Diese Überprüfung besteht darin, anhand der gefilterten so genannten „Stereo“-Disparitätskarte 22 und einer aus dem von der analysierten Kamera gelieferten Bild erstellten so genannten „Mono“-Karte 32 die Blindheitswahrscheinlichkeiten pro Sektor 10c einer in der (weiter unten beschriebenen) 5 dargestellten so genannten „fusionierten“ Disparitätskarte 42 zu ermitteln.
-
Diese Monokarte entspricht tatsächlich dem Bild, das aus den beiden in Schritt 101 aufgenommenen stereoskopischen Bildern 11 und 12 (1) ausgewählt wurde (Schritt 112). Um den Blindheits- oder Überdeckungszustand jeder Kamera zu bestimmen, erfolgt die Analyse, genauer gesagt, indem das eine oder das andere der Bilder 11 oder 12 ausgewählt wird (Schritt 112), im veranschaulichten Beispiel (siehe 5) das linke Bild 11, um die entsprechende Kamera zu analysieren. Vor dem Vergleichs- und Fusionsschritt (Schritt 115) wird das ausgewählte Bild auf die gleiche Weise wie die Disparitätskarte in Sektoren unterteilt (Schritt 113), in diesem Beispiel in 15 Sektoren, um somit die Monokarte 32 zu bilden. Anschließend wird auf der Monokarte 32 eine Analyse der Blindheitswahrscheinlichkeit mittels eines Monoverfahrens (Schritt 114), im Beispiel eine Kantenerfassungsanalyse, durchgeführt. Die Berechnung der Mono-Wahrscheinlichkeiten pro Sektor 10a (5) wird dann auf die Monokarte 32 übertragen.
-
Der Vergleich im Schritt 115 erfolgt Sektor pro Sektor zwischen den auf der Stereo-Disparitätskarte enthaltenen Stereo-Blindheitswahrscheinlichkeiten pro Sektor (Schritt 109) und den Mono-Blindheitswahrscheinlichkeiten pro Sektor der Monokarte. Dieser Vergleich führt – noch im Schritt 115 – dazu, dass jeder Sektor der Stereo-Disparitätskarte mit der geringsten Mono- oder Stereo-Blindheitswahrscheinlichkeit (oder mit anderen Worten mit der höchsten Dichte) des entsprechenden Sektors versehen wird. Die ermittelten Werte werden als „fusioniert“ bezeichnet, und die in Schritt 115 so gewonnene Karte mit den so „fusionierten“ Blindheitswahrscheinlichkeiten wird ebenfalls als „fusioniert“ bezeichnet.
-
Dieser Schritt 115 zum Vergleich und zur Fusion der Stereo- und Mono-Blindheitswahrscheinlichkeiten ermöglicht es, wie nachfolgend erläutert, eine eventuelle Überdeckung einer Kamera durch ein Objekt zu beseitigen.
-
Wenn in einem Überdeckungstest 116 die in Schritt 115 ermittelte fusionierte Gesamtblindheitswahrscheinlichkeit der Disparitätskarte größer oder gleich der Gesamtblindheitswahrscheinlichkeit der Stereokarte ist, dann wird die Kamera, die im Schritt zur Analyse der Mono-Blindheitswahrscheinlichkeit (Schritt 114) analysiert wurde, als möglicherweise blind, jedoch nicht als überdeckt betrachtet. Die Gesamtblindheitswahrscheinlichkeiten werden durch einen Mittelwert oder durch Summierung der Werte pro Sektor berechnet.
-
Andernfalls wird davon ausgegangen, dass das Sichtfeld der analysierten Kamera durch ein Hindernis oder ein Objekt, beispielsweise durch ein in der Nähe dieser Kamera befindliches Objekt, überdeckt wird. Die Analyse der Ergebnisse dieses Überdeckungstests 116 führt somit dazu, in der Folge (Schritt 117) geeignete Maßnahmen zu treffen (vorübergehende Ausschaltung der Kamera oder Eingriff in die Kamera) und/oder den Fahrer zu informieren.
-
Wenn die analysierte Kamera als nicht überdeckt betrachtet wird, wird danach in Schritt 119 mit der Gewichtung der Sektoren die auf dem gewogenen Mittel der Blindheitswahrscheinlichkeit der Sektoren basierende Gesamtblindheitswahrscheinlichkeit berechnet. Die Gewichtung wird zuvor in Schritt 118 in Abhängigkeit von der Position der Sektoren im Bild wie oben beschrieben (unter Bezugnahme auf 3) ermittelt.
-
Der dem Fahrzeugführer anzuzeigende Blindheitszustand entspricht einer der folgenden Informationen: keine Blindheit – Kondensation – teilweise Blindheit – Blindheit. Die Blindheit kann durch Kondensation, durch das Vorhandensein eines Klebeetiketts, durch Schnee, Eis oder Salz oder Ähnliches auf der Windschutzscheibe bedingt sein. Im Beispiel wird das System bei einer Gesamtwahrscheinlichkeit von mindestens 90 % als vollständig blind betrachtet, und zwischen 70 % und 90 % wird das System durch Kondensation oder teilweise Blindheit als „beeinträchtigt“ betrachtet.
-
Die 5 veranschaulicht den kombinierten Mono-Stereo-Ansatz, der für die Erfassung einer eventuellen Überdeckung des Sichtfeldes einer Kamera, wie in 4b in Schritt 115 dargestellt, genutzt wird. Diese Erfassung erfolgt durch Vergleich der Stereo- und Mono-Blindheitswahrscheinlichkeiten pro Sektor, wobei der Vergleich für die Stereo-Blindheitswahrscheinlichkeit pro Sektor anhand der auf die gefilterte Disparitätskarte 22 übertragenen Werte und für die Mono-Blindheitswahrscheinlichkeit pro Sektor anhand der Werte, die auf eine dem analysierten Bild – im Beispiel Bild 11 – entsprechende Monokarte 32 übertragen werden, erfolgt (Schritte 109 beziehungsweise 114 in 4b).
-
Für jedes Paar korrespondierender Sektoren 10a, 10b dieser beiden Karten 32 und 22 werden die Mono- und Stereodichten verglichen (Pfeile Fa, Fb), wie unter Bezugnahme auf das Logigramm der 4b beschrieben. Der Vergleich (Pfeile Fa, Fb) zwischen den Mono- und Stereo-Ansätzen definiert pro Sektor 10c eine modifizierte Disparitätskarte 42 mit einer fusionierten Blindheitswahrscheinlichkeit pro Sektor. Für jeden Sektor 10c dieser Karte entspricht die Blindheitswahrscheinlichkeit der Kamera dem Mindestwert der Mono- und Stereodichten. Wenn die Dichte der Disparitätskarte 42 insgesamt unter der Stereo-Gesamtdichte liegt, wird die Kamera als blind betrachtet. Andernfalls ist davon auszugehen, dass das Sichtfeld der analysierten Kamera wahrscheinlich durch ein Hindernis oder ein mobiles Objekt überdeckt wird.
-
Die Erfindung ist nicht auf die beschriebenen und dargestellten Ausführungsbeispiele beschränkt. So kann die Erfindung für Systeme mit mehr als zwei Kameras angewendet werden, indem das Verfahren für jede Kameraeinheit des Systems (Zweier-, Dreier-, Vierereinheit usw.) genutzt wird.
-
Zudem ist es möglich, das erfindungsgemäße Verfahren ohne eine Zerlegung der Sektoren in Makroblöcke anzuwenden, indem die Schritte, die sich in Abhängigkeit von den Dichten der Makroblöcke unterscheiden, durch Schritte ersetzt werden, die sich nach Filterung durch mathematische Morphologie oder nach einer gleichwertigen Filterung direkt aus der Dichte der Sektoren ergeben.
-
Des Weiteren haben die einander zugeordneten Sektoren des einen und des anderen Kamerabildes identische Abmessungen, während die Sektoren ein und desselben Bildes unterschiedliche Abmessungen aufweisen können. Beispielsweise können in Abhängigkeit von der sicherheitstechnischen Relevanz die Sektoren der oberen Reihen, wie der obere maßgebliche Bereich A1 (unter Bezugnahme auf 1) geringere Abmessungen und eine mehr oder weniger starke Gewichtung haben, um deren Anzahl und somit die Genauigkeit der Analyse zu steigern.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2013/0070966 [0004]
- US 8116523 [0006]
- US 2010/0013908 [0008]
- EP 2381416 [0008]
- FR 2958774 [0008]
