DE102017218405A1

DE102017218405A1 - Verfahren zum Verarbeiten von Bildern

Info

Publication number: DE102017218405A1
Application number: DE102017218405.1A
Authority: DE
Inventors: Agnes Swadzba
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2017-10-13
Filing date: 2017-10-13
Publication date: 2019-04-18
Also published as: WO2019072451A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Verarbeiten von Bildern, umfassend die Schritte Aufnehmen einer Umgebung mit zumindest zwei an unterschiedlichen Orten platzierten Kameras (2), um zumindest ein erstes Bild (3) und ein zweites Bild (4) zu erhalten, die die Umgebung aus unterschiedlichen Perspektiven zeigen, Ermitteln von ersten Bildbereichen (5, 6, 7) in dem ersten Bild (3) und von zweiten Bildbereichen (8, 9, 10) in dem zweiten Bild (4), die dieselben vordefinierten Untersuchungsbereiche (11, 12, 13) der Umgebung abbilden, und Erkennen zumindest eines, denselben Szeneninhalt darstellen, Paares aus erstem Bildbereich (5, 6, 7) und zweitem Bildbereich (8, 9, 10).

Description

Stand der Technik
Die vorliegende Erfindung betrifft ein Verfahren zum Verarbeiten von Bildern. Außerdem betrifft die Erfindung ein zugehöriges Computerprogrammprodukt und ein Steuergerät zum Ausführen eines derartigen Verfahrens.
Aus dem Stand der Technik sind Kamerasysteme bekannt, bei denen mehrere Kameras denselben Bereich einer Umgebung erfassen, um eine algorithmische Szeneninterpretation zu ermöglichen. Solche Systeme sind oftmals in Fahrzeugen integriert, um Rundumsichten um das Fahrzeug erzeugen zu können. Aktuelle Algorithmen verwenden von Kameras aufgezeichnete Bilder einer Umgebung, um Bildinformationen und darauf aufbauende Informationen über die Umgebung zu generieren. Wird das System in Fahrzeugen eingesetzt, so lassen sich auch Informationen über das Fahrzeug selbst generieren. Die Verarbeitung der Bilder kann dabei auf Einzelbildern oder einem Vergleich zeitlich und räumlich unterschiedlich aufgenommener Bilder basieren. Eine Voraussetzung zur Realisierung von Funktionen auf räumlich versetzten Bildern, wie insbesondere Stereofluss und/oder Helligkeitsharmonisierung und Farbharmonisierung von zwei benachbarten Kameras eines Surround-View-Systems, ist die Auswahl geeigneter Bildbereiche. Die Funktionen sind darauf angewiesen, dass diese Bereiche nach Möglichkeit identischen Szeneninhalt beinhalten. In aktuellen Systemen wird pro Kamera manuell ein statischer Bildbereich festgelegt. Diese statischen Bildbereiche haben aber das Problem, dass in vielen Szenarien durch Verdeckung von fernen Objekten durch nahe Objekte in Teilen oder komplett divergierende Szeneninhalte vorhanden sind. Dies führt in vielen Szenarien zu Degradation der Algorithmen und Funktionen des Systems.
Offenbarung der Erfindung
Durch das erfindungsgemäße Verfahren ist ermöglicht, solche Bildbereiche zu erkennen, die denselben Szeneninhalt darstellen. Eine weitere Verarbeitung der Bilder lässt sich somit basierend auf diesen Bildbereichen ausführen, wodurch bekannte Algorithmen und Funktionen verwendet werden können, ohne dass eine Gefahr besteht, dass besagte Algorithmen und Funktionen degradieren.
Das erfindungsgemäße Verfahren umfasst die folgenden Schritte: Zunächst erfolgt ein Aufnahmen einer Umgebung mit zumindest zwei an unterschiedlichen Orten platzierten Kameras, um zumindest ein erstes Bild und ein zweites Bild zu erhalten. Das erste Bild und das zweite Bild zeigen die Umgebung somit aus unterschiedlichen Perspektiven. Anschließend erfolgt ein Ermitteln von ersten Bildbereichen in dem ersten Bild und zweiten Bildbereichen in dem zweiten Bild, die dieselben vordefinierten Untersuchungsbereiche der Umgebung abbilden. Zuletzt erfolgt ein Erkennen zumindest eines denselben Szeneninhalt darstellenden Paares aus erstem Bildbereich und zweitem Bildbereich. Es wird somit insbesondere eine Menge an möglichen, für nachfolgende Algorithmen interessanten, Untersuchungsbereichen in der Umgebung der Kameras in absoluten Weltkoordinaten definiert. Diese Untersuchungsbereiche stellen somit konkrete Bereiche direkt in der Umgebung dar. Diese konkreten Bereiche werden anschließend in die Bildebene der einzelnen Kameras projiziert und/oder umgerechnet. Dies bedeutet, dass sich sowohl in dem ersten Bild als auch in dem zweiten Bild entsprechende Abschnitte finden, auf denen der jeweilige Untersuchungsbereich der Umgebung abgebildet ist. Auf diese Weise lassen sich die ersten Bildbereiche und die zweiten Bildbereiche ermitteln. Allerdings ist das Ermitteln der ersten und zweiten Bildbereiche noch nicht aussagekräftig hinsichtlich der Frage, ob in den ersten Bildbereichen und den zweiten Bildbereichen derselbe Szeneninhalt dargestellt ist. So kann beispielsweise ein Hindernis vor einer der Kameras angeordnet sein, das dahinterliegende Objekte verdeckt. Dieses Hindernis kann aber beispielsweise von der anderen Kamera aus nicht sichtbar sein. Somit wird in dem letzten beschriebenen Schritt erkannt, welche Paare von erstem Bildbereich und zweiten Bildbereich tatsächlich denselben Szeneninhalt anzeigen. Insbesondere zeigen zwei Bildbereiche denselben Szeneninhalt dann an, wenn sämtliche Objekte in dem einen Bildbereich auch in dem anderen Bildbereich erkennbar sind. Es ist somit ermöglicht, Bereiche mit identischen Szeneninhalt zu erkennen, um nachfolgende Algorithmen zur Weiterverarbeitung der Bilder besagten Paare aus erstem Bildbereich und zweitem Bildbereich anzuwenden, wodurch besagte Algorithmen sehr effektiv und zuverlässig eingesetzt werden können.
Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
Bevorzugt ist vorgesehen, dass der erste Bildbereich und der zweite Bildbereich anhand einer extrinsischen Kalibrierung und/oder intrinsischen Kalibrierung der Kameras ermittelt werden. Durch besagte Kalibrierung der Kameras ist festgelegt, welche Bereiche der Umgebung auf welchen Bereichen der Bilder dargestellt werden. Somit lässt sich anhand besagter Kalibrierung ebenfalls einfach und aufwandsarm ermitteln, auf welchen Bildbereichen die entsprechenden Untersuchungsbereiche der Umgebung dargestellt werden. Auf diese Weise ist garantiert, dass in allen Bildern stets derselbe Untersuchungsbereich als Grundlage für die Bildbereiche verwendet wird, unabhängig von einem Blickwinkel und/oder von Projektionseigenschaften der aufnehmenden Kamera. Durch die Definition der Untersuchungsbereiche direkt in der Umgebung ist somit die Anwendungsspezifikation von der Sensorspezifikation entkoppelt. Das bedeutet, dass die Untersuchungsbereiche unabhängig von den Kameras ausgewählt werden können. Insbesondere lassen sich die Untersuchungsbereiche derart auswählen, dass diese für eine nachfolgende Weiterverarbeitung der Bilder optimal sind. Gleichzeitig ist das Verfahren auf eine beliebige Anzahl von Kameras anwendbar, solange stets zwei Kameras überlappende Bereiche der Umgebung anzeigen. Sollen für unterschiedliche Anwendungsfälle unterschiedliche Untersuchungsbereiche verwendet werden, so ist dies einfach und aufwandsarm ermöglicht.
Vorteilhafterweise umfasst der zuvor beschriebene Schritt des Erkennens die folgenden Teilschritte: Zunächst werden erste Bildbereiche und zweite Bildbereiche zu Paaren aus jeweils einem ersten Bildbereich und einem zweiten Bildbereich gruppiert, wobei der jeweils erste Bildbereich und der jeweils zweite Bildbereich denselben Untersuchungsbereich der Umgebung abbilden. Anschließend wird jeder erste Bildbereich und jeder Bildbereich eines Paares mittels eines Deskriptors codiert. Zuletzt erfolgt ein Festlegen, dass ein Paar aus erstem Bildbereich und zweitem Bildbereich denselben Szeneninhalt darstellt, wenn die zugehörigen Deskriptoren einen vordefinierten Deskriptorabstand unterschreiben und/oder einen minimalen Deskriptorabstand aufweisen. Durch die Codierung mittels Deskriptoren erfolgt eine Transformation der jeweiligen Bildbereiche in einem Deskriptorraum. Innerhalb dieses Deskriptorraums lässt sich der Deskriptorabstand einfach und aufwandsarm ermitteln. Somit lassen sich einfach und aufwandsarm solche Paare aus erstem Bildbereich und zweiten Bildbereich erkennen, die denselben Szeneninhalt darstellen. Bei dem Deskriptor handelt es sich vorteilhafterweise um einen solchen Deskriptor, der gegenüber Beleuchtungsänderungen im Bild und Verzerrungen durch die Projektionseigenschaften der Kameras invariant ist. Solche Deskriptoren sind insbesondere aus dem Stand der Technik bekannt.
Besonders vorteilhaft ist vorgesehen, dass der Deskriptor jedes ersten Bildbereichs und/oder zweiten Bildbereichs auf Gradientenhistogrammen oder binären Vergleichsoperatoren mit Berücksichtigung der Projektionsänderung durch Sichtwinkeländerungen beruht. Solche Deskriptoren sind beispielsweise als „SIFT“, als „SURF“ oder als „BRIEF“ aus dem Stand der Technik bekannt. Diese Deskriptoren generieren den Vorteil, dass dadurch Bildbereiche in einer abstrakten Weise beschrieben werden. Diese Beschreibungen können dann verwendet werden, um für Paare aus erstem Bildbereich und zweiten Bildbereich zu bestimmen, ob sie denselben Szeneninhalt darstellen oder aufgrund von Verdeckungen voneinander divergieren. Diese abstrakte Bewertungsstrategie liefert für viele Anwendungen, die nachfolgend beschrieben sind, wertvollen Input.
In einer vorteilhaften Ausführungsform der Erfindung erfolgt ein Erstellen einer Abbildung der Umgebung aus einer vordefinierten Perspektive, insbesondere einer Vogelperspektive. Diese Abbildung aus der vordefinierten Perspektive, insbesondere der Vogelperspektive, wird aus dem ersten Bild und dem zweiten Bild berechnet. Dabei ist eine Harmonisierung des ersten Bildes und des zweiten Bildes notwendig. Bei einer solchen Harmonisierung handelt es sich insbesondere um eine Farbharmonisierung und/oder Helligkeitsharmonisierung, die vorzunehmen ist, damit in dem entstehenden Bild aus der vordefinierten Perspektive, insbesondere Vogelperspektive, keine oder nahezu keine sichtbaren Grenzen zwischen dem ersten Bild und dem zweiten Bild entstehen. Solche Harmonisierungen sind insbesondere aus dem Stand der Technik bekannt. Ebenso ist bekannt, dass derartige Harmonisierungen dann versagen, wenn diese auf Bildbereiche angewandt wird, die nicht denselben Szeneninhalt darstellen. Somit bevorzugt vorgesehen, dass die Harmonisierung des ersten Bilds und des zweiten Bilds anhand solcher Paare aus erstem Bildbereich und zweitem Bildbereich erfolgt, die im Schritt des Erkennens als denselben Szeneninhalt darstellend erkannt wurden. Somit lassen sich Harmonisierungen von hoher Qualität erreichen. Insbesondere ist für den Anwendungsfall „Bildharmonisierung“ stets dieselbe Menge von identischen Untersuchungsbereichen definiert. Bei den Untersuchungsbereichen handelt es somit um solche Bereiche der Umgebung, die für ein Zusammensetzen der einzelnen Bilder zu der Vogelperspektive relevant sind. Allerdings kann szenenabhängig ein verschiedenes Paar aus erstem Bildbereich und zweitem Bildbereich erkannt werden, die denselben Szeneninhalt darstellen. Somit ist die Bildharmonisierung erheblich verbessert, da bereits einzelne Objekte, die einem Bildbereich vorhanden sind, in einem anderen Bildbereich jedoch nicht, zu einer deutlichen Minderung der Qualität der Harmonisierung führen. Im Gegensatz zum Stand der Technik, in dem stets ein statischer Bildbereich ausgewählt wurde, lassen sich durch das dynamische Erkennen von Paaren aus erstem Bildbereich und zweitem Bildbereich mit demselben Szeneninhalt stets solche Bildbereiche erkennen, die zuverlässig denselben Szeneninhalt darstellen.
In einer vorteilhaften Weiterbildung ist außerdem vorgesehen, dass eine Korrespondenzsuche von korrespondierenden Bildpunkten auf dem ersten Bild und dem zweiten Bild ausgeführt wird. Eine solche Korrespondenzsuche ist insbesondere dann notwendig, wenn Bildverarbeitungsverfahren wie Stereofluss, Structure-from-Motion, Objektverfolgung oder ähnliches ausgeführt werden soll. Eine große Herausforderung für Korrespondenzsuchverfahren stellt dabei der Umgang mit Verdeckungen dar, da in dem Bildbereich, in dem eine Verdeckung auftritt, keine Korrespondenz gefunden werden kann. Idealerweise wird daher in solchen Bildbereichen das Korrespondenzsuchverfahren gar nicht erst angewandt, um falsche Korrespondenzergebnisse zu vermeiden und Rechenressourcen zu schonen. Somit ist vorgesehen, dass vorteilhafterweise die Korrespondenzsuche nur in solchen Paaren aus erstem Bildbereich und zweiten Bildbereich durchgeführt wird, die im Schritt des Erkennens als denselben Szeneninhalt darstellend erkannt wurden. Durch diese effiziente Vorverarbeitung der Bilder ist es ermöglicht, das Korrespondenzsuchverfahren nur auf geeignete Bildbereiche anzuwenden. Dies hilft insbesondere auch, den Aufwand der Nachverarbeitung der Korrespondenzergebnisse zu vereinfachen, da insbesondere keine falschen Korrespondenzen aufgrund von Verdeckungen herausgefiltert werden müssen.
Des Weiteren ist vorgesehen, dass eine Vielzahl von Untersuchungsbereichen mit jeweils bekanntem Abstand zu den Kameras verwendet werden. Diese Untersuchungsbereiche stellen somit ein Raster dar, das einen zunehmenden Abstand zu den Kameras aufweist. Mittels des zuvor beschriebenen Erkennens von Paaren aus erstem Bildbereich und zweitem Bildbereich, die denselben Szeneninhalt darstellen, lässt sich somit eine Sichtweite der Kameras abschätzen. Dazu wird festgestellt, welche der Untersuchungsbereiche identischen Szeneninhalt aufweisen. Sobald dies nicht der Fall ist, ist erkennbar, dass ein Hindernis vorhanden ist. Da die Abstände der Untersuchungsbereiche zu den Kameras bekannt ist, kann durch denjenigen Abstand desjenigen Untersuchungsbereichs, der erstmals nicht zu Bildbereichen mit identischem Szeneninhalt führt, die Entfernung zu dem Hindernis abgeschätzt werden. Bei den Untersuchungsbereichen handelt es sich vorteilhafterweise um parallele Ebenen, die unterschiedliche Abstände zu den Kameras aufweisen.
Die Erfindung betrifft außerdem ein Computerprogramm, das eingerichtet, das Verfahren wie zuvor beschrieben auszuführen. Das Computerprogramm ist insbesondere ein Computerprogrammprodukt, umfassend Instruktionen, die, wenn sie auf einem Prozessor einer Rechenvorrichtung ausgeführt werden, den Prozessor veranlassen, die Schritte des Verfahrens wie zuvor beschrieben auszuführen. Bei dem Prozessor der Rechenvorrichtung handelt es sich insbesondere um einen Prozessor, besonders vorteilhaft um einen Mikroprozessor, eines Steuergeräts, insbesondere eines Steuergeräts eines Fahrzeugs.
Die Erfindung betrifft außerdem ein maschinenlesbares Speichermedium. Auf dem Speichermedium ist das Computerprogramm wie zuvor beschrieben gespeichert.
Schließlich betrifft die Erfindung ein Steuergerät. Das Steuergerät ist insbesondere ein Steuergerät eines Fahrzeugs. Das Steuergerät ist eingerichtet, das Verfahren wie zuvor beschrieben auszuführen. Insbesondere ist das Steuergerät eingerichtet, das Computerprogramm wie zuvor beschrieben ablaufen zu lassen.
Figurenliste
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:

1 eine schematische Darstellung eines Fahrzeugs mit einem Steuergerät gemäß einem Ausführungsbeispiel der Erfindung,
2 eine schematische Darstellung des Ablaufs des Verfahrens gemäß einem Ausführungsbeispiel der Erfindung,
3 eine schematische Darstellung von Deskriptoren einer ersten Alternative, die in dem Verfahren gemäß dem Ausführungsbeispiel der Erfindung verwendet werden,
4 eine schematische Darstellung von Deskriptoren einer zweiten Alternative, die bei Ausführen des Verfahrens gemäß dem Ausführungsbeispiel verwendet werden,
5 eine schematische Darstellung von Untersuchungsbereichen gemäß einer ersten Alternative des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung,
6 eine erste schematische Darstellung von Bildern bei den Untersuchungsbereichen gemäß der ersten Alternative des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung,
7 eine zweite schematische Darstellung von Bildern bei den Untersuchungsbereichen gemäß der ersten Alternative des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung,
8 eine schematische Darstellung von Untersuchungsbereichen gemäß einer zweiten Alternative des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung, und
9 eine schematische Darstellung von Bildern bei den Untersuchungsbereichen der zweiten Alternative des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung.

Ausführungsformen der Erfindung
1 zeigt schematisch ein Fahrzeug 18, umfassend eine Vielzahl von Kameras 2 sowie ein Steuergerät 1. Das Steuergerät 1 ist zum Erfassen von Bildern der Umgebung des Fahrzeugs 18 mittels der Kamera 2 ausgebildet. Das Steuergerät 1 dient zum Durchführen eines Bildbearbeitungsverfahrens gemäß einem Ausführungsbeispiel der Erfindung.
In den nachfolgenden 2 bis 9 wird beispielhaft auf zwei Kameras 2 verwiesen, auf eine nach vorne gerichtete Kamera 2 und auf eine rechte Seite des Fahrzeugs 18 gerichtete Kamera 2. Diese beiden Kameras 2 nehmen teilweise überlappende Bilder der Umgebung des Fahrzeugs 18 auf.
2 zeigt schematisch einen Ablauf des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung. Dabei werden mittels der Kameras 2 Bilder 3, 4 der Umgebung aufgenommen. Somit steht ein erstes Bild 3 und ein zweites Bild 4 zur Verfügung, wobei das erste Bild 3 und das zweite Bild 4 mit unterschiedlichen Kameras 2 aufgenommen wurden. In der Umgebung werden Untersuchungsbereiche 11, 12, 13 festgelegt (vgl. 5), zu denen sich korrespondierende erste Bildbereiche 5, 6, 7 und zweite Bildbereiche 8, 9, 10 finden lassen. Wie aber insbesondere aus dem zweiten Bild 4 ersichtlich ist, weisen nicht alle ersten Bildbereiche 5, 6, 7 und zweiten Bildbereiche 8, 9, 10 denselben Szeneninhalt auf, da diese teilweise durch Hindernisse verdeckt sind. Insbesondere ist ersichtlich, dass ein erster erster Bildbereich 6 und erster zweiter Bildbereich 8 gleiche Szeneninhalte aufweisen. Dahingegen weisen ein zweiter erster Bildbereich 6 und ein zweiter zweiter Bildbereich 9 ebenso wie ein dritter erster Bildbereich 7 und ein dritter zweiter Bildbereich 10 unterschiedliche Szeneninhalte auf. Um dies zu erkennen, werden Deskriptoren 16 verwendet.
Mittels der Deskriptoren 16 erfolgt ein Codieren von den ersten Bildbereichen 5, 6, 7 und den zweiten Bildbereichen 8, 9, 10 in einem Deskriptorraum 17. Durch diese abstrakte Beschreibung der ersten Bildbereiche 5, 6, 7 und zweiten Bildbereiche 8, 9, 10, lässt sich auf sichere und gleichzeitig einfache Weise ermitteln, ob die jeweiligen Bildbereiche 5, 6, 7, 8, 9, 10 identische Szeneninhalte aufweisen.
Weisen zwei Deskriptoren 16 in dem Deskriptorraum 17 einen minimalen Deskriptorabstand und/oder einen solchen Deskriptorabstand auf, der einen vordefinierten Grenzwert unterschreitet, so werden die zugehörigen Bildbereiche 5, 6, 7, 8, 9, 10 als denselben Szeneninhalt darstellend erkannt. In dem in 2 gezeigten Beispiel ist dies für den ersten ersten Bildbereich 5 und den ersten zweiten Bildbereich 8 der Fall.
Die 3 und 4 illustrieren unterschiedliche Deskriptoren 16, wie in 2 verwendet. So zeigt die 3 die Verwendung von projektionsabhängigen SIFT-Deskriptoren 14. Die 4 zeigt die Verwendung von projektionsabhängigen BRIEF-Deskriptoren 15. Anstelle des SIFT-Deskriptor 14 kann auch ein SURF-Deskriptor verwendet werden. Bei eine SIFT-Deskriptor 14 oder einem SURF-Deskriptor handelt es sich um solche Deskriptoren, die auf Gradientenhistogrammen beruhen. Bei dem BRIEF-Deskriptor 15 handelt es sich um einen solchen Deskriptor, der auf binären Vergleichsoperationen beruht. In jedem Fall sind die Deskriptoren 14, 15, 16 gegenüber Beleuchtungsänderungen im Bild und Verzerrungen durch die Projektionseigenschaften der Kameras 2 invariant. Es ist lediglich die Projektionsänderung durch eine Sichtwinkeländerung zu berücksichtigen. Solche Deskriptoren 14, 15, 16 generieren den Vorteil, dass dadurch Bildbereiche 5, 6, 7, 8, 9, 10 in einer abstrakten Weise beschrieben werden können, nämlich durch den Deskriptorraum 17. Diese Beschreibungen können dann verwendet werden, um für Bereichspaare zu bestimmen, ob sie gleiche Szeneninhalte enthalten oder aufgrund von Abdeckungen voneinander divergieren.
Insbesondere werden nur solche Bildbereiche 5, 6, 7, 8, 9, 10 verglichen, die denselben Untersuchungsbereich 11, 12, 13 darstellen. Dies bedeutet, dass ein Deskriptorabstand nur für den ersten ersten Bildbereich 5 und den ersten zweiten Bildbereich 8, den zweiten ersten Bildbereich 6 und den zweiten zweiten Bildbereich 9, sowie für den dritten ersten Bildbereich 7 und den dritten zweiten Bildbereich 10 bestimmt werden. Nur diese Paare von Bildbereichen 5, 6, 7, 8, 9, 10 stellen denselben Untersuchungsbereich 11, 12, 13 dar, so dass nur diese Paare überhaupt identischen Szeneninhalt beinhalten können.
Die 5 bis 7 zeigen einen ersten Anwendungsfall des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung. In 5 ist dargestellt, wie bezüglich dem Fahrzeug 18 und damit bezüglich der Kameras 2 ein erster Untersuchungsbereich 11, ein zweiter Untersuchungsbereich 12 und ein dritter Untersuchungsbereich 13 definiert sind. Diese Untersuchungsbereiche 11, 12, 13 sind relevante Bereiche, die benötigt werden, um aus den Bildern der Kameras 2 eine Ansicht aus einer virtuellen Vogelperspektive zu generieren. Für die Generierung der Ansicht aus der Vogelperspektive ist notwendig, die mittels der Kameras 2 aufgenommenen Bildern hinsichtlich Farbe und Helligkeit zu harmonisieren. Dies ist grundsätzlich aus dem Stand der Technik bekannt. Allerdings weisen bekannte Harmonisierungsverfahren große Schwächen auf, wenn die zu harmonisierenden Bereiche nicht dieselben Inhalte darstellen. Daher wird mittels des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung erkannt, welche Bildbereiche 5, 6, 7, 8, 9, 10, die die Untersuchungsbereiche 11, 12, 13 darstellen, denselben Szeneninhalt aufweisen.
6 zeigt ein erstes Beispiel. Es ist ersichtlich, dass in dem ersten Bild 3 der erste erste Bildbereich 5 den ersten Untersuchungsbereich 11 darstellt. Der zweite erste Bildbereich 6 stellt den zweiten Untersuchungsbereich 12 dar. Schließlich stellt der dritte erste Bildbereich 7 den dritten Untersuchungsbereich 13 dar. Gleiches gilt für das zweite Bild 4. Hier stellt ein erster zweiter Bildbereich 8 den ersten Untersuchungsbereich 11 dar. Ein zweiter zweiter Bildbereich 9 stellt den zweiten Untersuchungsbereich 12 dar. Schließlich stellt ein dritter zweiter Bildbereich 10 den dritten Untersuchungsbereich 13 dar.
Wie zuvor beschrieben, wird erkannt, dass lediglich der dritte erste Bildbereich 7 und der dritte zweite Bildbereich 10 identischen Szeneninhalt zeigen. Somit wird eine Harmonisierung der Bilder 3, 4 der Kameras 2 anhand des dritten ersten Bildbereichs 7 und des dritten zweiten Bildbereichs 10 durchgeführt. Somit ist sichergestellt, dass eine Harmonisierung mit höchster Güte ausgeführt werden kann.
7 zeigt dasselbe Beispiel einer anderen Umgebung. Hier ist ersichtlich, dass lediglich der erste erste Bildbereich 5 und der zweite erste Bildbereich 8 dieselben Szeneninhalte aufweisen. Somit zeigt sich ein großer Vorteil des beschriebenen Verfahrens, der darin zu sehen ist, dass umgebungsabhängig solche Untersuchungsbereiche 11, 12, 13 erfasst werden, die in allen Bildern 3, 4 zu demselben Szeneninhalt führen. Der jeweils ausgewählte Bildbereich 5, 6, 7, 8, 9, 10 bei dem in 6 gezeigten Beispiel ist unterschiedlich von dem in 7 gezeigten Beispiel. Würde man, wie im Stand der Technik, lediglich einen statischen Bildbereich vorgeben, so würde dies in dem ein oder anderen Beispiel zu einer erheblichen Verschlechterung der Harmonisierung der Bilder 3, 4 der Kameras 2 führen.
Die 8 und 9 zeigen einen zweiten Anwendungsfall des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung. Wiederum ist in 8 gezeigt, dass unterschiedliche Untersuchungsbereiche 11, 12, 13 bezüglich dem Fahrzeug 18 und damit bezüglich der Kameras 2 definiert sind. Insbesondere ist vorgesehen, dass die Untersuchungsbereiche 11, 12, 13 Flächen darstellen, die parallel zueinander angeordnet sind und mit zunehmendem Abstand von dem Fahrzeug 18 vergrößert sind. In 8 sind beispielhaft nur drei Untersuchungsbereiche 11, 12, 13 dargestellt, vorteilhafterweise lassen sich weitere Untersuchungsbereiche verwenden, die mit zunehmendem Abstand vom Fahrzeug 18 eine größere Fläche aufweisen. Alle Untersuchungsbereiche 11, 12, 13 weisen einen bekannten vordefinierten Abstand zu dem Fahrzeug 18 und damit zu den Kameras 2 auf.
Mittels eines solchen Anwendungsfalls ist ermöglicht, eine Sichtweite der Kameras 2 abzuschätzen. In 9 ist wiederum das erste Bild 3 und das zweite Bild 4 dargestellt. Anhand des zuvor beschriebenen Verfahrens lassen sich wiederum Bildbereiche 5, 6, 7, 8, 9, 10 erkennen, die denselben Szeneninhalt aufweisen. Anhand dieser Feststellung lassen sich Untersuchungsbereiche 11, 12, 13 ermitteln, an denen kein Hindernis vorhanden ist. Anhand des bekannten Abstands der Untersuchungsbereiche 11, 12, 13 lässt sich somit ein Abstand des Hindernisses zu dem Fahrzeug 18 und damit zu den Kameras 2 derart ermitteln, dass der dem Fahrzeug am nächsten gelegene Untersuchungsbereich 11, 12, 13, für den kein identischer Szeneninhalt des zugehörigen ersten Bildbereichs 5, 6, 7 und zweiten Bildbereichs 8, 9, 10 erkannt wurde, als Maß für die maximale Sichtweite der jeweiligen Kameras 2 dient. Somit lässt sich einfach und aufwandsarm eine Sichtweite der Kameras 2 und/oder ein Abstand des Hindernisses zu den Kameras 2 und/oder zu dem Fahrzeug 18 ermitteln.

Claims

Verfahren zum Verarbeiten von Bildern umfassend die Schritte • Aufnehmen einer Umgebung mit zumindest zwei an unterschiedlichen Orten platzierten Kameras (2), um zumindest ein erstes Bild (3) und ein zweites Bild (4) zu erhalten, die die Umgebung aus unterschiedlichen Perspektiven zeigen, • Ermitteln von ersten Bildbereichen (5, 6, 7) in dem ersten Bild (3) und von zweiten Bildbereichen (8, 9, 10) in dem zweiten Bild (4), die dieselben vordefinierten Untersuchungsbereiche (11, 12, 13) der Umgebung abbilden, und • Erkennen zumindest eines denselben Szeneninhalt darstellenden Paares aus einem erstem Bildbereich (5, 6, 7) und einem zweitem Bildbereich (8, 9, 10).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass jeder erste Bildbereich (5, 6, 7) und jeder zweite Bildbereich (5, 6, 7) anhand einer extrinsischen Kalibrierung und/oder intrinsischen Kalibrierung der das erste Bild (3) oder zweite Bild (4) aufnehmenden Kamera (2) ermittelt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Erkennens folgende Teilschritte umfasst: • Gruppieren der ersten Bildbereiche (5, 6, 7) und zweiten Bildbereiche (8, 9, 10) zu Paaren aus erstem Bildbereich (5, 6, 7) und zweitem Bildbereich (8, 9, 10), die denselben Untersuchungsbereich (11, 12, 13) der Umgebung abbilden, • Kodieren jedes ersten Bildbereichs (5, 6, 7) und jedes zweiten Bildbereichs (8, 9, 10) eines Paares mittels eines Deskriptors (14, 15, 16), und • Festlegen, dass ein Paar aus erstem Bildbereich (5, 6, 7) und zweiten Bildbereich (8, 9, 10) denselben Szeneninhalt darstellt, wenn die zugehörigen Deskriptoren (14, 15, 16) einen vordefinierten Deskriptorabstand unterschreiten und/oder einen minimalen Deskriptorabstand aufweisen.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Deskriptor (14, 15, 16) jedes ersten Bildbereichs (5, 6, 7) und/oder zweiten Bildbereichs (8, 9, 10) auf Gradientenhistogrammen oder binären Vergleichsoperatoren mit Berücksichtigung der Projektionsänderung durch Sichtwinkeländerungen beruht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Abbildung der Umgebung aus einer vordefinierten Perspektive aus dem ersten Bild (3) und dem zweiten Bild (4) erstellt wird, wobei eine Harmonisierung des ersten Bildes (3) und des zweiten Bildes (4) anhand solcher Paare aus erstem Bildbereich (5, 6, 7) und zweitem Bildbereich (8, 9, 10) erfolgt, die im Schritt des Erkennens als denselben Szeneninhalt darstellend erkannt wurden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Korrespondenzsuche von korrespondierenden Bildpunkten auf dem ersten Bild (3) und dem zweiten Bild (4) ausgeführt wird, wobei die Korrespondenzsuche nur in solchen Paaren aus erstem Bildbereich (5, 6, 7) und zweitem Bildbereich (8, 9, 10) durchgeführt wird, die im Schritt des Erkennens als denselben Szeneninhalt darstellend erkannt wurden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Vielzahl von Untersuchungsbereichen (11, 12, 13) mit jeweils bekanntem Abstand zu den Kameras (2) verwendet werden und anhand solcher Paare aus erstem Bildbereich (5, 6, 7) und zweitem Bildbereich (8, 9, 10), die im Schritt des Erkennens als denselben Szeneninhalt darstellend erkannt wurden, diejenigen Untersuchungsbereiche (11, 12, 13) ermittelt werden, an denen ein Hindernis (19) vorhanden ist, um anhand des vordefinierten Abstands der Untersuchungsbereiche (11, 12, 13) von den Kameras (2) einen Abstand des Hindernisses (19) zu den Kameras (2) zu ermitteln.
Computerprogramm, das eingerichtet ist, das Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 8 gespeichert ist.
Steuergerät (1) eingerichtet zum Ausführen des Verfahrens gemäß einem der Ansprüche 1 bis 7.