DE102016124123A1

DE102016124123A1 - Verfahren zum Erzeugen eines Clusters von Bildbereichen zum Erfassen eines Zielobjekts in einem Bild, Computerprogrammprodukt, Kamerasystem und Kraftfahrzeug

Info

Publication number: DE102016124123A1
Application number: DE102016124123.7A
Authority: DE
Inventors: Swaroop Kaggere Shivamurthy; Sunil Chandra
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2016-12-13
Filing date: 2016-12-13
Publication date: 2018-06-14
Also published as: EP3555801A1; WO2018108524A1

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen mindestens eines Clusters (C, C, C) von Bildbereichen eines Bildes (A), das von einem Umgebungsbereich (20) eines Kraftfahrzeugs (10) aufgenommen wird, wobei der Cluster zum Erfassen mindestens eines Zielobjekts (18) in dem Umgebungsbereich (20) verwendbar ist, wobei das Verfahren die folgenden Schritte aufweist:Identifizieren einer vorgegebenen Anzahl Ncharakteristischer Merkmale in dem Bild (A) und Unterteilen des Bildes (A) in mehrere Bildbereiche (T1A, T1B, T1C, T2A, ..., T3), Bestimmen mindestens eines Parameters der charakteristischen Merkmale für jeden Bildbereich (T1A, T1B, T1C, T2A, ..., T3),Clusterbildung benachbarter Bildbereiche (T1A, T1B, T1C, T2A, ..., T3) mit charakteristischen Merkmalen, deren Parameter innerhalb eines gemeinsamen Parameterbereichs liegt. Erfindungsgemäß ist der Parameter der charakteristischen Merkmale oder einer der Parameter der charakteristischen Merkmale eine Merkmalssalienz der charakteristischen Merkmale in einem jeweiligen Bildbereich (T1A, T1B, T1C, T2A, ..., T3).Die Erfindung betrifft ferner eine entsprechende Verwendung des Verfahrens zum Erfassen von Zielobjekten (18), ein Computerprogrammprodukt, ein entsprechendes Kamerasystem (12) und ein Kraftfahrzeug (10) mit einem derartigen Kamerasystem (12).

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen mindestens eines Clusters von Bildbereichen eines von einem Umgebungsbereich eines Kraftfahrzeugs aufgenommenen Bildes, wobei der Cluster zum Erfassen mindestens eines Zielobjekts in dem Umgebungsbereich verwendbar ist. Das Verfahren weist die folgenden Schritte auf: (i) Identifizieren einer vorgegebenen Anzahl N_initial charakteristischer Merkmale in dem Bild; (ii) Unterteilen des Bildes in mehrere Bildbereiche; (iii) Bestimmen mindestens eines statistischen Parameters der charakteristischen Merkmale für jeden Bildbereich; und (iv) Clusterbildung benachbarter Bildbereiche, deren charakteristische Merkmale statistische Parameter innerhalb eines gemeinsamen Parameterbereichs haben. Die Erfindung betrifft ferner eine entsprechende Verwendung des Verfahrens zum Erfassen von Zielobjekten, ein Computerprogrammprodukt, ein entsprechendes Kamerasystem und ein Kraftfahrzeug mit einem derartigen Kamerasystem.
Kamerasysteme für Kraftfahrzeuge sind aus dem Stand der Technik bekannt. Im Allgemeinen weist ein derartiges Kamerasystem mindestens eine am Kraftfahrzeug befestigte Kamera auf, die einen Umgebungsbereich des Kraftfahrzeugs aufnimmt. Es können auch mehrere derartige Kameras verwendet werden, die die gesamte Umgebung des Kraftfahrzeugs aufnehmen. Die am Kraftfahrzeug montierte Kamera stellt eine zeitliche Folge von Bildern des Umgebungsbereichs bereit, d.h. mehrere Bilder pro Sekunde. Diese Bildfolge wird dann an eine elektronische Auswerteeinrichtung übertragen, die die erfassten Bilder verarbeitet und dazu geeignet ist, basierend auf den Bildern unterschiedliche Funktionalitäten im Kraftfahrzeug bereitzustellen. Gegenwärtig gilt das Interesse der Erfassung von Zielobjekten, die sich in dem dargestellten Umgebungsbereich des Fahrzeugs befinden. Wird in den Bildern ein Zielobjekt erfasst, so kann dieses Zielobjekt in der Bildfolge verfolgt werden. Zu diesem Zweck wird gemäß dem Stand der Technik üblicherweise das optische Flussverfahren verwendet, bei dem charakteristische Merkmale, wie beispielsweise Kanten und/oder Ecken, in den Bildern erfasst werden und für jedes charakteristische Merkmal ein Flussvektor berechnet wird, der die Bewegungsrichtung und die Bewegungsgeschwindigkeit des charakteristischen Merkmals in der Bildfolge spezifiziert.
Bei der Erfassung von Zielobjekten in den Kamerabildern besteht eine große Herausforderung darin, zwischen charakteristischen Merkmalen, die verschiedenen Zielobjekten zugeordnet sind, zu differenzieren. Um diese Differenzierung zu gewährleisten, erfolgt üblicherweise eine sogenannte Clusterbildung, gemäß der mehrere Bereiche mit charakteristischen Merkmalen zu einem Cluster zusammengefasst werden, der ein erfasstes Zielobjekt darstellt.
Das Dokument WO 2015/014882 A1 beschreibt ein Verfahren zum Erfassen mindestens eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs basierend auf einem Bild des Umgebungsbereichs, wobei eine vorgegebene Anzahl charakteristischer Merkmale im Bild identifiziert werden, mindestens ein Teil des Bildes in mehrere Bildbereiche unterteilt wird, die durch Bildknoten verbunden sind, und eine lokale Merkmalsdichte der charakteristischen Merkmale für jeden Bildknoten bzw. Bildbereich bestimmt wird. Die Erfassung des Zielobjekts beinhaltet, dass mehrere der Bildknoten/Bildbereiche in Abhängigkeit von der jeweiligen Merkmalsdichte zu einem das Zielobjekt darstellenden Cluster kombiniert werden. Der bei diesem Verfahren verwendete statistische Parameter der charakteristischen Merkmale ist eine Merkmalsdichte der charakteristischen Merkmale in einem entsprechenden Bildbereich.
Die Erkennung charakteristischer Merkmale in einem durch eine Kamera aufgenommenen Bild kann sehr CPU-intensiv sein, auch wenn in einigen Bereichen des Bildes überhaupt keine charakteristischen Merkmale vorhanden sind.
Es ist eine Aufgabe der Erfindung, ein Verfahren zum Erzeugen mindestens eines Clusters von Bildbereichen für eine Zielerfassung, eine Verwendung dieses Verfahrens zum Erfassen von Zielobjekten, ein Computerprogrammprodukt, ein Kamerasystem sowie ein Kraftfahrzeug bereitzustellen, die gegenüber dem Stand der Technik verbessert sind.
Diese Aufgabe wird gelöst durch ein Verfahren, eine Verwendung des Verfahrens, ein Computerprogrammprodukt, ein Kamerasystem sowie ein Kraftfahrzeug mit den Merkmalen der jeweiligen unabhängigen Ansprüche. Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Figuren.
Gemäß dem erfindungsgemäßen Verfahren zum Erzeugen mindestens eines Clusters von Bildbereichen eines von einem Umgebungsbereich eines Kraftfahrzeugs aufgenommenen Bildes ist der Parameter der charakteristischen Merkmale oder mindestens einer der Parameter der charakteristischen Merkmale eine Merkmalssalienz. Die Merkmalssalienz charakteristischer Merkmale in einem Bild ist ein Maß für die Merkmalsrelevanz. Dieses Maß ist dem Fachmann aus einer andersartigen Analyse von Bildmerkmalen zum Identifizieren wichtiger Bildbereiche eines Bildes bekannt (Stichwort: Salienzkarte). Die Salienz eines charakteristischen Merkmals (oder eines einfachen Pixels) basiert auf seinem Kontrast zu seiner Umgebung.
Das Verfahren gewährleistet, dass keine charakteristischen Merkmale in Schlüsselobjekten aufgrund eines niedrigen statistischen Parameters bezüglich Bereichen mit hoher Textur (d.h. Bereichen mit hoher lokaler Merkmalsdichte der charakteristischen Merkmale) in dem Bild ausgelassen werden.
Jeder der Bildbereiche wird dem Cluster oder einem der Cluster durch Clusterbildung von Bildbereichen zugeordnet, wobei ein Score-Wert der charakteristischen Merkmale innerhalb der Bildbereiche jedes Clusters in einem gemeinsamen Parameterbereich liegt (= Parameter-Score-Wert, z.B. Merkmalssalienz-Score-Wert). Diese Parameterbereiche können eine vordefinierte Anzahl X von Clusterklassen oder Clustertypen bilden. Basierend auf drei Parameterbereichen des Merkmalssalienz-Score-Wertes/ Merkmalsvarianz-Score-Wertes gibt es drei Clustertypen X = 3: einer mit einem niedrigen Merkmalsvarianz-Score-Wert C_L, einer mit einem mittelgroßen Merkmalsvarianz-Score-Wert C_M und einer mit einem hohen Merkmalsvarianz-Score-Wert C_H. Die Bildbereiche können Kacheln oder andere rechteckige Bildzellen sein.
Vorzugsweise ist ein anderer Parameter der charakteristischen Merkmale in einem Bildbereich eine Merkmalsdichte der charakteristischen Merkmale in dem jeweiligen Bildbereich. D.h., das Verfahren weist die folgenden Schritte auf: (a) Bestimmen sowohl der Merkmalssalienz als auch der Merkmalsdichte der charakteristischen Merkmale für jeden Bildbereich des Bildes, und (b) Clusterbildung benachbarter Bildbereiche, deren charakteristische Merkmale einen gemeinsamen Parameterbereich bezüglich des Merkmalssalienz-Score-Wertes und/oder der Merkmalsdichte der charakteristischen Merkmale haben.
Gemäß einer bevorzugten Ausführungsform der Erfindung wird das Bild mittels eines iterativen Teilungsschemas, das eine Unterteilung des Bildes in mehrere Bildbereiche verschiedener Größe ermöglicht, in die mehreren Bildbereiche unterteilt. Das iterative Teilungsschema verwendet Zwischenbildbereiche, um in den End-Bildbereichen zu enden, in die das Bild letztendlich unterteilt wird. Diese Endbereiche haben keine einheitliche Größe. Da mindestens einige der Endbereiche relativ groß sind, benötigt das Verfahren unter Verwendung dieses iterativen Schemas keinen zeitaufwändigen und/oder arbeitsaufwändigen Verschmelzungsvorgang am Ende.
Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung wird in jedem Iterationsschritt für jeden Bereich mindestens einer der Parameter der Merkmale in dem jeweiligen Bereich bestimmt, insbesondere die Merkmalsalienz, wobei in jedem Iterationsschritt die Größe möglicher Teilbereiche des Bereichs, der durch Teilen im vorangehenden Iterationsschritt erzeugt wird, auf dem Parameter basiert, der dem im vorangehenden Iterationsschritt erzeugten entsprechenden Bereich zugeordnet ist.
Gemäß einer noch anderen bevorzugten Ausführungsform der Erfindung werden die (End-)Bildbereiche mit der höchsten Merkmalsdichte und die Bildbereiche mit der niedrigsten Merkmalsdichte getrennt zu Clustern kombiniert.
Der Clusterbildungsprozess endet mit einer Anzahl von Clustern C_X verschiedener Clustertypen X. Diese Cluster C werden durch einen Schwellenwertvergleich der Merkmalsdichte und der Merkmalssalienz der charakteristischen Merkmale gebildet. Die Anzahl der charakteristischen Merkmale, die jedem der Cluster C zugewiesen sind, ist N_features.
Gemäß einer Ausführungsform des Verfahrens wird ein Neuverteilungsschritt zum Neuverteilen der charakteristischen Merkmale in jedem Cluster (C) durch $N_{f e a t u r e s} = \frac{N_{i n i t i a l}}{N_{c l u s t e r s}}$
bereitgestellt. Die Neuverteilungen der charakteristischen Merkmale in jedem Cluster C basieren auf der Merkmalsdichte und der Merkmalssalienz der charakteristischen Merkmale. N_Cx bezeichnet die Anzahl der Merkmalszuordnungen für die Neuverteilungen in Cluster C_X ⁱ, die in X Clusterklassen mit i-Clustern für jede der Klassen I = 1, 2, ... n_X geteilt sind.
Die Anzahl von Merkmalen, die für eine Neuverteilung in jedem der Cluster C_x ⁱ mit i = 1, 2, .. n zulässig sind, ist: $N_{C^{i}} = N_{C_{X}} \times \frac{A r e a (C_{X}^{i})}{\sum_{i = 1, \dots, N} A r e a (C_{X}^{i})}$
mit i = 1, ..., n.
Die Erfindung betrifft ferner die Verwendung des vorstehend erwähnten Erzeugungsverfahrens zum Erfassen mindestens eines Zielobjekts im Umgebungsbereich des Kraftfahrzeugs. D.h., die Erfindung betrifft ferner ein erfindungsgemäßes Verfahren unter Verwendung des vorstehend erwähnten Verfahrens zum Erzeugung mindestens eines Clusters von Bildbereichen eines von einem Umgebungsbereich eines Kraftfahrzeugs aufgenommenen Bildes zum Erfassen mindestens eines Zielobjekts in dem Umgebungsbereich des Kraftfahrzeugs.
Das erfindungsgemäße Computerprogrammprodukt weist auf einem Computer ausführbare Programmcodeabschnitte mit Programmcodebefehlen auf, die dafür konfiguriert sind, das vorstehend erwähnte Verfahren auszuführen.
Das erfindungsgemäße Kamerasystem für ein Kraftfahrzeug weist eine Kamera zum Bereitstellen eines Bildes eines Umgebungsbereichs des Kraftfahrzeugs und eine Auswerteeinrichtung auf, die dazu geeignet ist, das vorstehend erwähnte Verfahren auszuführen.
Schließlich betrifft die Erfindung ein Kraftfahrzeug mit dem vorstehend erwähnten Kamerasystem.
Weitere Merkmale der Erfindung werden anhand der Ansprüche, der Figuren und der Beschreibung der Figuren deutlich. Alle in der vorstehenden Beschreibung erwähnten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Beschreibung der Figuren erwähnten und/oder nur in den Figuren dargestellten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils dargestellten spezifischen Kombination, sondern auch in anderen Kombinationen oder auch eigenständig verwendbar.
Die Erfindung wird nachstehend anhand einer bevorzugten Ausführungsform sowie unter Bezug auf die beigefügten Zeichnungen näher erläutert; es zeigen:

1 ein Kraftfahrzeug mit einem Kamerasystem gemäß einer bevorzugten Ausführungsform der Erfindung;
2 einen ersten Schritt eines iterativen Teilungsschemas zum Teilen eines Bildes eines Umgebungsbereichs des Fahrzeugs in mehrere Bildbereiche;
3 einen zweiten Schritt eines iterativen Teilungsschemas zum Teilen eines Bildes eines Umgebungsbereichs des Fahrzeugs in mehrere Bildbereiche;
4 einen dritten Schritt eines iterativen Teilungsschemas zum Teilen eines Bildes eines Umgebungsbereichs des Fahrzeugs in mehrere Bildbereiche;
5 einen vierten Schritt eines iterativen Teilungsschemas zum Teilen eines Bildes eines Umgebungsbereichs des Fahrzeugs in mehrere Bildbereiche;
6 einen fünften Schritt eines iterativen Teilungsschemas zum Teilen eines Bildes eines Umgebungsbereichs des Fahrzeugs in mehrere Bildbereiche;
7 einen sechsten Schritt eines iterativen Teilungsschemas zum Teilen eines Bildes eines Umgebungsbereichs des Fahrzeugs in mehrere Bildbereiche;
8 einen letzten Schritt eines iterativen Teilungsschemas zum Teilen eines Bildes eines Umgebungsbereichs des Fahrzeugs in mehrere Bildbereiche;
9 einen Clusterbildungsschritt zum Bilden von Clustern der in 8 dargestellten End-Bildbereiche; und
10 ein Ablaufdiagramm eines entsprechenden Verfahrens zum Erfassen von Zielobjekten gemäß einer bevorzugten Ausführungsform der Erfindung.

1 zeigt ein Kraftfahrzeug 10 gemäß einer Ausführungsform in einer schematischen Darstellung. Das Kraftfahrzeug 10 ist beispielsweise ein Personenkraftwagen. Es weist ein Kamerasystem 12 mit einer Kamera 14 auf. Das Kraftfahrzeug 10 befindet sich auf einer Straße 16. Auf der Straße 16 befindet sich außerdem ein Zielobjekt 18, das ein Hindernis sein kann. Das Kamerasystem 12 ist beispielsweise ein Kollisionswarnsystem und dient dazu, den Fahrer vor dem Vorhandensein des Zielobjekts 18 in einem Umgebungsbereich 20 des Kraftfahrzeugs 10 zu warnen. Das Kamerasystem 12 dient somit zum Erfassen des Zielobjekts 18 und vorzugsweise auch zum Verfolgen des Zielobjekts 18 im Umgebungsbereich 20. Im Kamerasystem 12 werden durch die Kamera 14 Bilder A aufgenommen, die dann durch eine nicht näher dargestellte elektronische Auswerteeinrichtung (Signalprozessor) verarbeitet werden. Die Auswerteeinrichtung empfängt die Bilder von der Kamera 14 und verarbeitet sie. Die Auswerteeinrichtung kann in der Kamera 14 integriert sein oder eine von der Kamera 14 getrennte Komponente des Kamerasystems 12 sein. Optional können die Bilder auch auf einem Display in dem (nicht dargestellten) Kraftfahrzeug 10 dargestellt werden, wobei die Erfassung des Zielobjekts 18 beispielsweise zu dem Zweck erfolgen kann, das Zielobjekt 18 in den Bildern mit einer Begrenzung darzustellen.
Die Kamera 14 kann eine CMOS-Kamera oder eine CCD-Kamera oder eine beliebige Bilderfassungsvorrichtung sein, die dafür konfiguriert ist, Licht im sichtbaren Spektralbereich zu erfassen. Die Kamera 14 ist vorzugsweise eine Videokamera, die kontinuierlich eine Folge von Bildern bereitstellt. Die elektronische Auswerteeinrichtung verarbeitet dann die Bildfolge in Echtzeit und kann basierend auf dieser Bildfolge das Zielobjekt 18 erfassen und verfolgen.

Nachstehend wird ein Verfahren zum Erzeugen von Clustern C von Bildbereichen eines vom Umgebungsbereich 20 des Kraftfahrzeugs 10 aufgenommenen Bildes A beschrieben. Diese Art von Clustern C kann zum Erfassen von Zielobjekten 18 im Umgebungsbereich 20 verwendet werden. Es werden die folgenden Bezeichnungen/Kürzel verwendet: Tabelle 1: Details der verwendeten Bezeichnungen/Kürzel

Bezeichnungen	Bedeutung
ROI	Bereich von Interesse
N_features	Anzahl von Merkmalen in jedem Cluster
N_tiles	anfängliche Anzahl von Kacheln/Teilbildern
Density_initial	anfängliche Merkmalsdichte
Variance_initial	anfängliche Merkmalssalienz/-varianz
Threshold_min	minimaler Schwellenwert zum Ermöglichen einer maximalen Anzahl von Merkmalen
Threshold_adaptive	maximaler Schwellenwert
TileSize_Xmin	minimale Kachelgröße entlang der X-Achse. Dieser Wert ist konfigurierbar
TileSize_Ymin	minimale Kachelgröße entlang der Y-Achse. Dieser Wert ist konfigurierbar
Feature_density	Merkmalsdichte
Feature_variance	Merkmalssalienz/-varianz
X_tiles	Kachelgröße entlang der X-Achse oder Kachelbreite
Y_tiles	Kachelgröße entlang der Y-Achse oder Kachelhöhe
N_initial	Vordefinierte Anzahl gesamter Merkmale
N_Clusters	Gesamtzahl von Clustern, die bezogen auf ihre Dichte gebildet werden

Das Verfahren zum Erzeugen von Clustern C weist drei Hauptschritte auf:

(i) Identifizieren/Erfassen einer vorgegebenen Anzahl N_initial charakteristischer Merkmale im Bild A oder in einem ROI (ROI: Bereich von Interesse) im Bild A;
(ii) Unterteilen des Bildes A oder des ROI in mehrere End-Bildbereiche unter Verwendung eines iterativen Teilungsschemas unter Berücksichtigung zweier statistischer Parametern der charakteristischen Merkmale für jeden Bildbereich, nämlich (a) der Merkmalssalienz (Feature_variance) der charakteristischen Merkmale in einem jeweiligen Bildbereich und (b) der Merkmalsdichte (Feature_density) der charakteristischen Merkmale in einem jeweiligen Bildbereich (in den 2 bis 8 dargestellt); und
(iii) Clusterbildung benachbarter End-Bildbereiche, deren charakteristische Merkmale statistische Parametern innerhalb eines gemeinsamen Parameterbereichs haben (in 9 dargestellt).

Merkmalserfassung bezeichnet Verfahren, die darauf abzielen, Abstraktionen von Bildinformation zu berechnen und an jedem Bildpunkt lokale Entscheidungen zu treffen, ob an diesem Punkt ein Bildmerkmal eines vorgegebenen Typs vorhanden ist oder nicht.
Viele Computer-Vision-Algorithmen verwenden Merkmalserfassung als Anfangsschritt, so dass als Ergebnis eine sehr große Anzahl von Merkmalsdetektoren entwickelt worden sind, wie beispielsweise Harries, FAST, LOG, HOG usw. Wenn die Merkmalserfassung rechentechnisch aufwändig ist und Zeiteinschränkungen für eingebettete Anwendungen vorliegen, kann ein höherer Algorithmus verwendet werden, um die Merkmalserfassungsstufe so auszuführen, dass die Merkmale auf gewünschte Bereiche in einem vorgegebenen Bereich von Interesse verteilt werden.
Die 2 bis 8 zeigen sieben Schritte eines iterativen Teilungsschemas zum Teilen des Bildes A in mehrere End-Bildbereiche T1A, T1B, T1C, T2A, ..., T3, wie in 8 dargestellt ist. Bei diesem Verfahren wird das Bild oder der ROI des Bildes iterativ in mehrere Kacheln oder eine andere Art von Bildbereichen geteilt basierend auf dem statistischen Parameter (a) Merkmalssalienz-Score-Wert (Merkmalsvarianz-Score-Wert) und (b) Merkmalsdichte der charakteristischen Merkmale innerhalb jeder Kachel. Die Kachelgröße ist nicht fest. Eine Szene kann beispielsweise Blöcke mit rechteckigen Kacheln mit mehreren Größen haben. Nur die endgültige minimale Blockgrößenbreite und -höhe ist konfigurierbar, d.h. die geteilte Blockbreite und -höhe sollten größer sein als eine konfigurierte minimale Blockbreite und -höhe. Der Merkmalssalienz-Score-Wert ist ein Maß für einen Parameterbereich mit ähnlichen Merkmalssalienzen.
2 zeigt einen ersten Schritt des iterativen Teilungsschemas zum Teilen des Bildes A in mehrere Bildbereiche. Nachfolgend werden diese Bildbereiche als „Kacheln“ T bezeichnet. Das Bild A wird in drei (Zwischen) Kacheln T1, T2, T3 geteilt, und es wird eine lokale statistische Analyse der Merkmalsdichte und der Merkmalssalienz (räumliche Merkmalsvarianz) für jede Kachel durchgeführt. Jede Kachel hat einen charakteristischen Merkmalssalienz-Score-Wert fcs (allgemeiner: Merkmalsparameter-Score-Wert) fcs = 400 für T1, fcs = 2000 für T2 und fcs = 200 für T3. Kacheln mit höheren Merkmalsdichten und einer höheren Merkmalssalienz/-varianz (T2 im dargestellten Beispiel) werden weiter unterteilt in kleinere Kacheln.
Dieser Schritt ist erforderlich, um die Bereiche basierend auf Merkmalsdichten und Merkmalssalienzen weiter in kleinere Bereiche zu teilen, die höhere Merkmalsdichten darstellen. Bereiche, die keine höheren Merkmalsdichten aufweisen, werden zusammen in Clustern gruppiert und verwenden einen Salienzschwellenwert bezüglich der Kachelgröße. Eine kleinere Kachelgröße wird aufgrund der hohen Merkmalsdichte einen höheren Salienzschwellenwert aufweisen.
3 zeigt das Ergebnis dieser Unterteilung. Nach der Unterteilung wird eine lokale statistische Analyse von Merkmalsdichten und Merkmalssalienzen in jeder Kachel/jedem Teilbild ausgeführt. Als Ergebnis wird die Kachel T2 in Kacheln T2A mit einem neu berechneten Merkmalssalienz-Score-Wert fcs = 1200 und T2B mit einem neu berechneten Merkmalssalienz-Score-Wert fcs = 800 unterteilt.
4 zeigt eine Unterteilung der Kachel T2A bezüglich der Merkmalsdichte und höherer Merkmalssalienz/-varianz. Weitere kleinere Kacheln werden analysiert, um die Merkmalsdichten und Merkmalssalienzen zu extrahieren. Wieder werden diese kleineren Kacheln basierend auf ihrer lokalen statistischen Analyse von Merkmalsdichten und Merkmalssalienzen unterteilt. Die 5 bis 7 zeigen eine weitere Teilung von Fliesen bezüglich der Merkmalsdichten (Feature_density) und höherer Merkmalssalienz (Feature_variance).
Dieses iterative Teilungsschema zum Unterteilen in kleinere Kacheln wird fortgesetzt, bis der Prozess die minimale konfigurierbare Kachelgröße erreicht hat, wie in Fig. 8 dargestellt ist.
Nach Erreichen dieser Verteilung mit minimaler konfigurierbarer Kachelgröße werden benachbarte End-Bildbereiche, deren charakteristische Merkmalen statistische Parametern innerhalb eines gemeinsamen Parameterbereiches haben, zu Clustern C verschiedener Clusterklassen/Clustertypen gruppiert.
9 zeigt das Ergebnis der Clusterbildung benachbarter Bildbereiche, deren charakteristische Merkmale statistische Parameter innerhalb eines gemeinsamen Parameterbereichs haben. Die Kacheln mit der höchsten Dichte und der niedrigsten Dichte werden getrennt in Cluster gruppiert.
Schließlich können Neuverteilungen der charakteristischen Merkmale in jedem Cluster C basierend auf der Merkmaldichte und der Merkmalssalienz ausgeführt werden. In dem Beispiel wird das Bild A (ROI) in drei verschiedenen Typen von Clustern C_H, C_M, C_L (N_Cluster = 3) angeordnet:

1. Cluster C_H mit hoher Merkmalssalienz;
2. Cluster C_M mit mittlerer (mittelgroßer) Merkmalssalienz; und
3. Clusters C_L mit geringer Merkmalssalienz.

Normalerweise werden die meisten Merkmale innerhalb des Clusters mit einer hohen Merkmalssalienz verteilt sein. Weil das allgemeine Ziel dieser Erfindung darin besteht, Merkmalsverteilungen gleichmäßig zu verbessern, wird die Anzahl der Merkmale in jedem Cluster gemäß der folgenden Gleichung (1) gewählt: $N_{f e a t u r e s} = \frac{N_{i n i t i a l}}{N_{c l u s t e r s}}$
Als ein Ergebnis wird das Bild A schließlich in zehn Cluster C mit drei verschiedenen Merkmalssalienz-Score-Werten (niedrig, mittel, hoch) unterteilt, d.h. in vier Cluster C_L mit einem niedrigen Merkmalssalienz-Score-Wert, drei Clustern C_M mit einem mittleren Merkmalssalienz-Score-Wert und drei Clustern C_H mit einem hohen Merkmalssalienz-Score-Wert.
Dieser gesamte Prozess ist vollständig adaptiv und automatisch und wird gewährleisten, dass die Verteilung der unter Verwendung verschiedenartiger Computer-Vision-basierter Merkmalserfassungsverfahren extrahierten/erfassten Merkmale gleichmäßig sein wird.
Das vorgeschlagene Verfahren gewährleistet, dass keine Merkmale für Schlüsselobjekte aufgrund eines niedrigen Merkmalssalienz-Score-Wertes bezüglich eines Bereichs mit hoher Textur in der Szene unberücksichtigt bleiben.
10 zeigt ein entsprechendes Ablaufdiagramm des Verfahrens für effiziente Merkmalsverteilungen basierend auf Merkmals-Clusterbildung durch Analysieren globaler und lokaler statistischer Eigenschaften der Szene. Das Verfahren weist die folgenden Schritte auf:
Schritt 1 (S1): Erfassen einer vordefinierten Anzahl N_initial von Merkmalen im Bild A oder in einem ROI des Bildes.
Schritt 2 (S2): Unterteilen des ROI (Bild A) in mehrere Kacheln/Teilbilder, wie in 2 dargestellt ist.
Schritt 3 (S3): Ausführen einer lokalen statistischen Analyse von Merkmalsdichten und Merkmalssalienzen in jeder Kachel/jedem Teilbild.
Schritt 4 (S4): Auffinden der Kacheln mit einem Maximalwert von Feature_density und Feature_variance, und Unterteilen dieser Kacheln in weitere Kacheln gemäß folgender Regel:

IF (X ≥ 2 × TilesSize_Xmin OR Y ≥ 2 × TilesSize_Ymin) mit der folgenden Abfrage fortfahren:
- IF (X_tiles > Y_tiles): Halbieren entlang der X-Achse oder der Kachelbreite OR
- IF (X_tiles < Y_tiles): Halbieren entlang der Y-Achse oder der Kachelhöhe OR
- IF (X_tiles == Y_tiles): Halbieren entlang entweder (X-Achse oder Y-Achse) oder Teilen beider Achsen
- ELSE: Übergehen zu der Kachel mit dem nächsten Maximalwert von Feature_density und Feature_variance.

Kacheln mit höheren Merkmalsdichten und höheren Merkmalssalienzen/-varianzen werden weiter gleichmäßig in kleinere Kacheln unterteilt. Dieser Schritt ist erforderlich, um die Bereiche basierend auf Merkmalsdichten und Merkmalssalienzen in kleinere Bereiche zu teilen, so dass kleinere Bereiche höhere Merkmalsdichten darstellen. Bereiche, die keine höheren Merkmalsdichten aufweisen, werden zusammen zu Clustern gruppiert, und der Salienzschwellenwert bezüglich der Kachelgröße wird angepasst. Die kleinere Kachelgröße wird aufgrund der hohen Merkmalsdichte einen höheren Salienzschwellenwert aufweisen.
Kleinere Kacheln werden analysiert, um die Merkmalsdichten und Merkmalssalienzen zu extrahieren. Diese kleineren Kacheln werden basierend auf ihrer lokalen statistischen Analyse von Merkmalsdichten und Merkmalssalienzen erneut unterteilt.
Dieser Prozess zum Unterteilen in kleinere Kacheln wird fortgesetzt, bis der Prozess die minimale konfigurierbare Kachelgröße erreicht hat, was in der Abfrage R („alle Kacheln verarbeitet“) abgefragt wird. Falls der Prozess die minimale konfigurierbare Kachelgröße nicht erreicht hat (Pfad „Nein“), werden die Schritte 3 und 4 in der nächsten Iterations(Unter)stufe erneut ausgeführt. Andernfalls (Pfad „Ja“) wird das Verfahren mit Schritt 5 fortgesetzt. Die Schritte S3, S4 und R bilden eine Schleife eines iterativen Teilungsschemas.
Schritt 5 (S5): Erzeugen der Cluster C
(a) Clusterbildung von Kacheln mit niedrigem Merkmalssalienz-Score-Wert C_L ⁱ (mit i = 1, 2,3...):
Die größte Kachel wird einen Bildbereich mit niedriger Merkmalsdichte und -varianz darstellen. Diese Kachel wird als Ausgangspunkt eines Clusters mit einem niedrigen Merkmalssalienz-Score-Wert betrachtet. Benachbarte Kacheln mit ähnlicher niedriger Merkmalsdichte und Merkmalssalienz (Varianz) werden vereinigt, um einen Cluster C_L ¹ zu erzeugen, bis alle benachbarten Kacheln vereinigt sind. Anschließend muss eine andere Kachel mit ähnlicher Merkmalsdichte und -varianz wie der Cluster C_L ¹ gefunden werden. Diese Kachel ist ein Ausgangspunkt für einen anderen Cluster C_L ² mit einem niedrigen Merkmalssalienz-Score-Wert. Wieder werden benachbarte Kacheln mit ähnlicher niedriger Merkmalsdichte und -varianz vereinigt, um einen Cluster zu erzeugen, bis alle benachbarten Kacheln vereinigt sind. Dieser Prozess muss wiederholt werden, um alle Cluster C_L ^1-4 mit niedrigem Merkmalssalienz-Score-Wert zu erzeugen.
(b) Clusterbildung von Kacheln mit dem höchstem Merkmalssalienz-Score-Wert C_H ⁱ (mit i = 1, 2, ...)
Die kleinste Kachel wird einen Bildbereich mit hoher Merkmalsdichte und -varianz darstellen. Diese Kachel wird als Ausgangspunkt eines Clusters mit einem hohen Merkmalssalienz-Score-Wert betrachtet. Es wird begonnen, benachbarte Kacheln mit ähnlicher hoher Merkmalsdichte und -varianz zu vereinigen, um einen Cluster C_H ¹ zu erzeugen, bis alle benachbarten Kacheln vereinigt sind. Anschließend muss eine weitere Kachel mit ähnlicher Merkmalsdichte und -varianz wie der Cluster C_H ¹ gefunden werden. Diese Kachel ist ein Ausgangspunkt für einen anderen Cluster C_H ² mit hohem Merkmalssalienz-Score-Wert. Wieder werden benachbarte Kacheln mit einer ähnlichen hohen Merkmalsdichte und -varianz vereinigt, um einen Cluster zu erzeugen, bis alle benachbarten Kacheln vereinigt sind. Dieser Prozess muss wiederholt werden, um alle Cluster C_H ^1-3 mit einem hohen Merkmalssalienz-Score-Wert zu erzeugen.
(c) Clusterbildung von Kacheln mit mittelgroßem Merkmalssalienz-Score-Wert C_M ⁱ (mit i =1,2, ...)
Die verbleibenden unmarkierten Kacheln gehören zu Clustern C_M mittlerer Merkmalssalienz. Zunächst wird eine unmarkierte Kachel gefunden. Diese Kachel wird als Ausgangspunkt eines Clusters C_M ¹ mittelgroßer Merkmalssalienz betrachtet. Es wird begonnen, benachbarte unmarkierte Kacheln zu vereinigen, um den Cluster C_M ¹ zu erzeugen, bis alle benachbarten Kacheln vereinigt sind. Anschließend muss eine andere Kachel mit einer ähnlichen Merkmalsdichte und -varianz wie der Cluster C_M ¹ gefunden werden. Diese Kachel ist ein Ausgangspunkt für einen anderen Cluster C_M ² mit mittelgroßem Merkmalssalienz-Score-Wert. Wieder werden benachbarte Kacheln mit ähnlich großer Merkmalsdichte und -varianz vereinigt, um einen Cluster zu erzeugen, bis alle benachbarten Kacheln vereinigt sind. Dieser Prozess muss wiederholt werden, um alle Cluster C_M ^1-3 mit mittelgroßem Merkmalssalienz-Score-Wert zu erzeugen.
Schritt 6 (S6): Neuverteilung der charakteristischen Merkmale in jedem der Cluster:
Der Clusterbildungsprozess endet im vorstehenden Beispiel mit einer Anzahl von Clustern C verschiedener Clustertypen C_X mit X = H, L, M (C_H, C_M, C_L). Diese Cluster werden durch Schwellenwertvergleich bezüglich der Merkmalsdichte und der Merkmalsvarianz erzeugt. Die Anzahl der jedem Cluster C zugeordneten charakteristischen Merkmale ist N_features.
N_Cx ist die Anzahl der Merkmalszuordnungen für die Neuverteilung zu Clustern C_X ⁱ, aufgeteilt in X-Clusterklassen mit i-Clustern für jede der Klassen I = 1, 2, ... n_X.
Die für eine Neuverteilung in jedem der Cluster C_X ⁱ zulässige Anzahl von Merkmalen mit i = 1, 2, .. n ist: $N_{C^{i}} = N_{C_{X}} \times \frac{A r e a (C_{X}^{i})}{\sum_{i = 1, \dots N} A r e a (C_{X}^{i})} mit i = 1, \dots n .$
In dem Beispiel von 9 beträgt die Anzahl n verschiedener Cluster für den Typ „niedrige“ Merkmalsdichte (L) 4. Die für eine Neuverteilung in jedem der Cluster C_L ⁱ zulässige Anzahl von Merkmalen mit i = 1, 2, .. n = 4 ist: $N_{C^{i}} = N_{C_{L}} \times \frac{A r e a (C_{X}^{i})}{\sum_{i = 1, \dots N} A r e a (C_{X}^{i})} mit i = 1, \dots n = 4$
Das Neuverteilungsverfahren für Cluster der Typen/Klassen „hohe Merkmalsdichte“ und „mittelgroße Merkmalsdichte“ ist ähnlich.
Mit anderen Worten: Die Neuverteilungen der Merkmale erfolgt durch einen gewichteten Bereich, der durch jeden Teil von Clustern einer einzelnen Klasse eingenommen wird. Dies ist der Fall, weil jedem der Cluster C_L ⁱ mit i = 1, 2, ... n eine Anzahl von Merkmalen pro durch ihn belegte Fläche zugewiesen ist.
Bezugszeichenliste

Fahrzeug	10
Kamerasystem	12
Kamera	14
Straße	16
Zielobjekt	18
Umgebungsbereich 20
Bild	A
Bildbereich	T1A, T1B, T1C, T2A, T2B, ..., T3
Cluster	C, C_H, C_M, C_L
S1 - S6	Schritte
R	Abfrage
Y	Ja
N	Nein
E	Ende

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2015/014882 A1 [0004]

Claims

Verfahren zum Erzeugen mindestens eines Clusters (C_H, C_M, C_L) von Bildbereichen eines von einem Umgebungsbereich (20) eines Kraftfahrzeugs (10) aufgenommenen Bildes (A), wobei der Cluster verwendbar ist, um mindestens ein Zielobjekt (18) in dem Umgebungsbereich (20) zu erfassen, wobei das Verfahren die folgenden Schritte aufweist: Identifizieren einer vorgegebenen Anzahl N_initial charakteristischer Merkmale in dem Bild (A) und Unterteilen des Bildes (A) in mehrere Bildbereiche (T1A, T1B, T1C, T2A, ..., T3); Bestimmen mindestens eines Parameters der charakteristischen Merkmale für jeden Bildbereich (T1A, T1B, T1C, T2A, ..., T3); und Clusterbildung benachbarter Bildbereiche (T1A, T1B, T1C, T2A, ..., T3) mit charakteristischen Merkmalen, deren Parameter innerhalb eines gemeinsamen Parameterbereichs liegt; dadurch gekennzeichnet, dass der Parameter der charakteristischen Merkmale oder einer der Parameter der charakteristischen Merkmale eine Merkmalssalienz (fcs) der charakteristischen Merkmale in einem jeweiligen Bildbereich (T1A, T1B, T1C, T2A, ..., T3) ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein anderer Parameter der charakteristischen Merkmale in einem Bildbereich (T1A, T1B, T1C, T2A, ..., T3) eine Merkmalsdichte der charakteristischen Merkmale im jeweiligen Bildbereich (T1A, T1B, T1C, T2A, ..., T3) ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bild (A) mittels eines iterativen Teilungsschemas (S4, R), das eine Unterteilung des Bildes (A) in Bildbereiche (T1A, T1B, T1C, T2A, ..., T3) unterschiedlicher Größe ermöglicht, in die mehreren Bildbereiche (T1A, T1B, T1C, T2A, ..., T3) unterteilt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass in jedem Iterationsschritt mindestens einer der Parameter (fcs) der Merkmale in dem jeweiligen Bereich, insbesondere die Merkmalssalienz, für jeden Bereich bestimmt wird, wobei in jedem Iterationsschritt die Größe möglicher Teilbereiche des durch die Teilung im vorangehenden Iterationsschritt erzeugten Bereichs auf dem Parameter (fcs) basiert, der dem im vorangehenden Iterationsschritt erzeugten entsprechenden Bereich zugewiesen ist.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass die Bildbereiche (T1A, T1B, T1C, T2A, ..., T3) mit der höchsten Merkmalsdichte und die Bildbereiche (T1A, T1B, T1C, T2A, ..., T3) mit der niedrigsten Merkmalsdichte separat zu Clustern (C_H , C_M, C_L) kombiniert werden.
Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Neuverteilung der charakteristischen Merkmale in jedem Cluster (C_H, C_M, C_L) durch $N_{f e a t u r e s} = N_{i n i t i a l} / N_{c l u s t e r s} .$
Verwendung des Verfahrens nach einem der vorhergehenden Ansprüche zum Erfassen mindestens eines Zielobjekts (18) in einem Umgebungsbereich (20) eines Kraftfahrzeugs (10).
Computerprogrammprodukt mit auf einem Computer ausführbaren Programmcodeabschnitten mit Programmcodebefehlen, die dafür konfiguriert sind, das Verfahren nach einem der Ansprüche 1 bis 6 auszuführen.
Kamerasystem (12) für ein Kraftfahrzeug (10) mit einer Kamera (14) zum Bereitstellen eines Bildes (A) eines Umgebungsbereichs (20) des Kraftfahrzeugs (10) und mit einer Auswerteeinrichtung, die dazu geeignet ist, ein Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.
Kraftfahrzeug (10) mit einem Kamerasystem (12) nach Anspruch 10.