DE112009003144B4

DE112009003144B4 - Verfahren und Vorrichtung zum Feststellen eines Hindernisses in einem Bild

Info

Publication number: DE112009003144B4
Application number: DE112009003144.7T
Authority: DE
Inventors: Bobo Duan; Wei Liu; Huai Yuan
Original assignee: Neusoft Corp
Current assignee: Neusoft Reach Automotive Technology Shanghai Co Ltd
Priority date: 2008-12-15
Filing date: 2009-04-30
Publication date: 2019-05-29
Anticipated expiration: 2029-05-01
Also published as: US20110262009A1; CN101419667A; WO2010069167A1; US8406474B2; JP5276721B2; CN101419667B; JP2012512446A; DE112009003144T5

Abstract

Es wird ein Verfahren zum Feststellen von Barrieren in Bildern offenbart. Bei dem Verfahren werden Bilder eines aktuellen Frame und von N Frame, der am nächsten zu dem aktuellen Frame ist, erhalten, die erhaltenen Bilder der Frames werden in gleicher Weise geteilt und das Bild jedes Frame erhält mehrere geteilte Blockbereiche; die Bewegungsbarrierenkonfidenz jedes Blockbereichs, der dem aktuellen Frame und dem N Frame entspricht, der am nächsten zu dem aktuellen Frame ist, wird berechnet; ob jeder Blockbereich in dem Bild des aktuellen Bereichs nacheinander entsprechend der Bewegungsbarrierenkonfidenz jedes Blockbereichs, der dem aktuellen Frame und dem N Frame entspricht, der am nächsten zu dem aktuellen Frame ist, entschieden wird; die Barrieren in den Bildern werden entsprechend jedem Blockbereich ermittelt.

Description

Diese Anmeldung beansprucht die Priorität aus der chinesischen Patentanmeldung Nr. 200810185833.4 mit dem Titel „Method and Apparatus for Detecting Obstacle in Image“, die am 15. Dezember 2008 beim Staatlichen Amt für Geistiges Eigentum eingereicht wurde und hiermit durch Bezugnahme vollumfänglich hierin aufgenommen ist.
Gebiet der Erfindung
Die vorliegende Erfindung betrifft das Gebiet der Hindernisdetektion und insbesondere ein Verfahren und eine Vorrichtung zum Detektieren eines Hindernisses in einem Bild.
Die WO 2004/072901 A1 offenbart ein Verfahren zum Detektieren eines Hindernisses. Hierin werden Koordinaten von Bildpunkten, die einem Boden in der echten Welt entsprechen, auf Grundlagen von Ego-Bewegungsparametern geschätzt. Daher werden Koordinaten der Bildpunkte in dem Bild zu einer darauffolgenden Zeit erhalten, um einen wahren Bewegungsfluss zu bilden. Zudem werden Koordinaten der Bildpunkte in dem Bild bei einem darauffolgenden Zeitpunkt nach einem Bewegungsschätzverfahren erhalten (insbesondere durch eine Bildmerkmalspunktverfolgung) um einen Bildbewegungsfluss zu erzeugen. Im Anschluss daran werden die beiden Bewegungsflüsse verglichen, um festzustellen, ob die Punkte Hindernisse sind.
Die DE 10 2006 001 033 A1 offenbart ein Verfahren zum Verknüpfen und Zuweisen von Kennungen unter Objekten. Zum Festlegen, ob ein Objekt in einem Bild das gleiche Objekt in einem anderen späteren Bild ist, wird eine Egobewegungskompensation auf die Bilder angewandt, um einen Einfluss wie eine Kamerarotation und eine Fahrzeugbewegung zu kompensieren. Danach werden das Bild und das spätere Bild nach der Egobewegungskompensation auf Basis eines Überlappungsgrads verglichen, um festzustellen, ob die zwei Objekte in den zwei Bildern dieselben Objekte sind.
Niemann et al. offenbaren in Integrated Motion and Geometry Based Obstacle Detection in Image Sequences of Traffic Scenes (Proceedings - Society of Photo-Optical Instrumentation Engineers, 07/1996, 2736: 228-229) ein Verfahren zum Erfassen eines Hindernisses. Nach diesem Verfahren werden Punkte an derselben Stelle in zwei aufeinanderfolgenden Bilder auf den Boden projiziert, um einen Schätzvektor zu erhalten, der dann mit einem tatsächlichen durch einen Egobewegungsparameter erhaltenen Vektor verglichen wird, sodass beurteilt werden kann, ob die Punkte Hindernisse sind. Der vollzogene Vergleich zwischen dem Schätzvektor und dem aktuellen Vektor basiert auf Punkten, die wiederum einen Verfolgungsfehler oder sogar ein Verfolgungsversagen aufgrund von Rauschen und Beleuchtung verursachen können.
Hintergrund der Erfindung
In dem Gebiet bezeichnet ein Hindernis normalerweise ein dreidimensionales Objekt oberhalb des Bodens.
Heutzutage beruht ein übliches monokularbasiertes Hindernisdetektionsverfahren auf Bewegungskompensation. Der Gedanke besteht darin, dass bei flacher Straße und bei über einen beschränkten Zeitraum festen Lichtverhältnissen für einen beliebigen der Punkte in der Straßenebene der Pixelwert seines Bilds in aufeinanderfolgenden so genannte Frames unverändert bleibt. Unter der Annahme, dass jedes der Pixel eines vorangegangenen Frame einem Punkt in der Straßenebene entspricht, ist bei Bewegen der Kamera ein hypothetischer Frame ableitbar, der aus den Pixeln des vorangegangenen Frame gemäß Kamerabewegungsparametern und Bildverarbeitungsgrundlagen berechnet werden kann. Die Unterschiede zwischen dem hypothetischen Frame und einem tatsächlichen, der zu dem Zeitpunkt erfasst wird, sind also das alleinige Ergebnis dieser Punkte, die nicht in der Straßenebene liegen. Den Unterschieden entsprechende Pixel können ein Hindernis oberhalb des Bodens sein.
Das vorliegende Verfahren ermittelt allein auf dem Ergebnis der Bewegungskompensation, ob ein Hindernis irgendwo im Bild vorliegt. Wenn aber die Genauigkeit der Bewegungsparameter gering oder von Bildrauschen beeinträchtigt ist, könnte das Ergebnis der Bewegungskompensation nicht gut sein, was dazu führt, dass etwas fälschlicherweise als Hindernis detektiert wird.
Zusammenfassung der Erfindung
Ausführungsformen der vorliegenden Erfindung sehen ein Verfahren und eine Vorrichtung zum Detektieren eines Hindernisses in einem Bild vor, die Fehlerdetektion verringern können.
Ein Verfahren zum Detektieren eines Hindernisses in einem Bild gemäß einer Ausführungsform der vorliegenden Erfindung umfasst:

Erfassen eines aktuellen Frame und von N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, und Partitionieren der erhaltenen Frames in gleicher Weise, so dass jeder der Frames in mehrere Blöcke partitioniert wird;
Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen;
für jeden der Blöcke des aktuellen Frame Ermitteln in einer Reihenfolge gemäß den Bewegungshinderniskonfidenzen der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, ob der Block ein Hindernis ist; und
Ermitteln des Hindernisses in dem Bild gemäß jedem der Blöcke.

Der Schritt des Berechnens einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frame umfasst:

i) Erfassen eines Bewegungsparameters und Erzeugen eines hypothetischen aktuellen Frame, der einem vorangegangenen Frame zum Zeitpunkt n-k entspricht, wobei n>=2 und k>=1;
ii) für einen Block Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem hypothetischen Frame, um eine erste Bewegungskonfidenz C_M_A1 zu erhalten;
iii) für den Block Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem hypothetischen Frame zu dem Zeitpunkt n-k, um eine zweite Bewegungskonfidenz C_M_A2 zu erhalten;
iv) wenn die erste Bewegungskonfidenz C_M_A1 größer als ein erster Bewegungsschwellenwert ist und wenn das Verhältnis der ersten Bewegungskonfidenz C_M_A1 zu der zweiten Bewegungskonfidenz C_M_A2 größer als ein zweiter Bewegungsschwellenwert ist, dann ist für den Block die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frame 1, ansonsten ist die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frame 0; und
v) Wiederholen der Schritte ii) bis iv), um die Bewegungshinderniskonfidenz jedes der Blöcke zu erhalten.

Der Schritt des Ermittelns für jeden der Blöcke des aktuellen Frame, ob der Block ein Hindernis ist, kann umfassen:

wenn bei einem Block die Anzahl der Bewegungshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein erster Schwellenwert ist, dann ist eine Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1, ansonsten ist die Gesamtkonfidenz C_Total des Blocks 0; und
wenn die Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1 ist, dann ist der Block ein Hindernis, ansonsten ist der Block kein Hindernis.

Ein anderes Verfahren zum Detektieren eines Hindernisses in einem Bild gemäß einer Ausführungsform der vorliegenden Erfindung umfasst:

Erfassen eines aktuellen Frame und von N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, und Partitionieren der erhaltenen Frames in gleicher Weise, so dass jeder der Frames in mehrere Blöcke partitioniert wird;
Berechnen einer Bewegungshinderniskonfidenz und einer Eigenschaftshinderniskonfidenz für jeden der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen;
für jeden der Blöcke des aktuellen Frame Ermitteln in einer Reihenfolge gemäß den Bewegungshinderniskonfidenzen und der Eigenschaftshinderniskonfidenz der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, ob der Block ein Hindernis ist; und
Ermitteln des Hindernisses in dem Bild gemäß jedem der Blöcke.

Die Eigenschaftshinderniskonfidenz kann eine vertikale merkmalsbasierte Eigenschaftshinderniskonfidenz oder eine texturmerkmalbasierte Eigenschaftshinderniskonfidenz umfassen.
Der Schritt des Berechnens einer Eigenschaftshinderniskonfidenz für jeden der Blöcke des aktuellen Frame beruhend auf deren vertikalen Merkmalen kann umfassen:

a) Ermitteln, ob ein Block des aktuellen Frame ein vertikales Merkmal hat; und wenn ja, ist die Eigenschaftshinderniskonfidenz C_F des Blocks des aktuellen Frame 1, ansonsten ist die Eigenschaftshinderniskonfidenz C_F des Blocks des aktuellen Frame 0; und
b) Wiederholen von Schritt a), um die Eigenschaftshinderniskonfidenz jedes der Blöcke zu erhalten.

Der Schritt des Ermitteins, ob ein Block des aktuellen Frame ein vertikales Merkmal hat, kann umfassen:

a01) Berechnen einer vertikalen Richtungsintensität I_v des Blocks: $I_{v} = \sum_{i = 0}^{N} \sum_{j = 0}^{M} | c_{i, j} - c_{i, j - k} |, 1 \leq k < j$
wobei c_i,j der Graustufenwert eines Pixel an Zeile i und Spalte j des aktuellen Frame ist, k eine ganze Zahl ist, i, j ∈R, wobei R der Block ist, N die Breite des Bilds ist und M die Höhe des Bilds ist; und
a02) wenn die vertikale Richtungsintensität Iv gemäß Schritt a01) größer als ein Intensitätsschwellenwert ist, dann wird ermittelt, dass der Block ein vertikales Merkmal hat, ansonsten wird ermittelt, dass der Block kein vertikales Merkmal hat.

Der Schritt des Ermittelns für jeden der Blöcke des aktuellen Frame, ob der Block ein Hindernis ist, kann umfassen:
wenn bei einem Block die Anzahl der Bewegungshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein erster Schwellenwert ist, und wenn die Anzahl der Eigenschaftshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein zweiter Schwellenwert ist, dann ist eine Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1, ansonsten ist die Gesamtkonfidenz C_Total des Blocks 0; und
wenn die Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1 ist, dann ist der Block ein Hindernis, ansonsten ist der Block kein Hindernis.
Eine Vorrichtung zum Detektieren eines Hindernisses in einem Bild gemäß einer Ausführungsform der vorliegenden Erfindung umfasst:

eine Bildpartitionierungseinheit, die zum Erfassen eines aktuellen Frame und von N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, und zum Partitionieren der erhaltenen Frames in gleicher Weise, so dass jeder der Frames in mehrere Blöcke partitioniert wird, ausgelegt ist;
eine Bewegungshinderniskonfidenzberechnungseinheit, die zum Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, ausgelegt ist;
eine erste Blockhindernisdetektionseinheit, die für jeden der Blöcke des aktuellen Frame , zum Ermitteln in einer Reihenfolge gemäß den Bewegungshinderniskonfidenzen der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, ob der Block ein Hindernis ist, ausgelegt ist; und
eine Hindernisermittlungseinheit, die zum Ermitteln des Hindernisses in dem Bild gemäß jedem der Blöcke ausgelegt ist.

Die Bewegungshinderniskonfidenzberechnungseinheit umfasst:

eine ein hypothetisches Bild erzeugende Einheit, die zum Erfassen eines Bewegungsparameters und Erzeugen eines hypothetischen aktuellen Frame, der einem vorangegangenen Frame zum Zeitpunkt n-k entspricht, wobei n>=2 und k>=1 ausgelegt ist;
eine erste Bewegungskonfidenzberechnungseinheit, die für einen Block zum Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem hypothetischen Frame, um eine erste Bewegungskonfidenz C_M_A1 zu erhalten, ausgelegt ist;
eine zweite Bewegungskonfidenzberechnungseinheit, die für den Block zum Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem vorangegangenen Frame zu dem Zeitpunkt n-k, um eine zweite Bewegungskonfidenz C_M_A2 zu erhalten, ausgelegt ist; und
eine Bewegungshinderniskonfidenzermittlungseinheit, die ausgelegt ist, um zu ermitteln, wenn die erste Bewegungskonfidenz C_M_A1 größer als ein erster Bewegungsschwellenwert ist und wenn das Verhältnis der ersten Bewegungskonfidenz C_M_A1 zu der zweiten Bewegungskonfidenz C_M_A2 größer als ein zweiter Bewegungsschwellenwert ist, dass die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frame 1 ist, ansonsten zu ermitteln, dass die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frame 0 ist.

Die erste Blockhindernisdetektionseinheit kann umfassen:

eine erste Gesamtkonfidenzermittlungseinheit, die ausgelegt ist, um für einen Block zu ermitteln, wenn die Anzahl der Bewegungshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein erster Schwellenwert ist, dass eine Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1 ist, ansonsten zu ermitteln, dass die Gesamtkonfidenz C_Total des Blocks 0 ist; und
eine erste Detektionseinheit, die ausgelegt ist, um zu ermitteln, wenn die Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1 ist, dass der Block ein Hindernis ist, ansonsten zu ermitteln, dass der Block kein Hindernis ist.

Eine andere Vorrichtung zum Detektieren eines Hindernisses in einem Bild gemäß einer Ausführungsform der vorliegenden Erfindung umfasst:

eine Bildpartitionierungseinheit, die zum Erfassen eines aktuellen Frame und von N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, und zum Partitionieren der erhaltenen Frames in gleicher Weise, so dass jeder der Frames in mehrere Blöcke partitioniert wird, ausgelegt ist;
eine Bewegungshinderniskonfidenzberechnungseinheit, die zum Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, ausgelegt ist;
eine Eigenschaftshinderniskonfidenzberechnungseinheit, die zum Berechnen einer Eigenschaftshinderniskonfidenz für jeden der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, ausgelegt ist;
eine zweite Blockhindernisdetektionseinheit, die für jeden der Blöcke des aktuellen Frame zum Ermitteln in einer Reihenfolge gemäß den Bewegungshinderniskonfidenzen und der Eigenschaftshinderniskonfidenz der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, ob der Block ein Hindernis ist, ausgelegt ist; und
eine Hindernisermittlungseinheit, die zum Ermitteln des Hindernisses in dem Bild gemäß jedem der Blöcke ausgelegt ist.

Die Bewegungshinderniskonfidenzberechnungseinheit umfasst:

Die Eigenschaftshinderniskonfidenz kann eine auf einem vertikalen Merkmal basierende Eigenschaftshinderniskonfidenz, eine auf einem vertikalen Kantenmerkmal basierende Eigenschaftshinderniskonfidenz oder eine texturmerkmalbasierte Eigenschaftshinderniskonfidenz umfassen.
Wenn die Eigenschaftshinderniskonfidenz auf einem vertikalen Merkmal beruht, kann die Eigenschaftshinderniskonfidenzberechnungseinheit umfassen:

eine ein vertikales Merkmal ermittelnde Einheit, die zum Ermitteln, ob ein Block des aktuellen Frame ein vertikales Merkmal aufweist, und zum Melden eines Ermittlungsergebnisses an eine Eigenschaftshinderniskonfidenzermittlungseinheit ausgelegt ist; und
die Eigenschaftshinderniskonfidenzermittlungseinheit, die ausgelegt ist, um zu ermitteln, wenn ihr der Block des aktuellen Frame mit einem vertikalen Merkmal gemeldet wird, dass die Eigenschaftshinderniskonfidenz C_F des Blocks des aktuellen Frame 1 ist, ansonsten um zu ermitteln, dass die Eigenschaftshinderniskonfidenz C_F des Blocks des aktuellen Frame 0 ist.

Die zweite Blockhindernisdetektionseinheit kann umfassen:

eine zweite Gesamtkonfidenzermittlungseinheit, die ausgelegt ist, um zu ermitteln, wenn bei einem Block die Anzahl der Bewegungshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein erster Schwellenwert ist, und wenn die Anzahl der Eigenschaftshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein zweiter Schwellenwert ist, dass eine Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1 ist, ansonsten zu ermitteln, dass die Gesamtkonfidenz C_Total des Blocks 0 ist; und
eine zweite Detektionseinheit, die ausgelegt ist, um zu ermitteln, wenn ihr gemeldet wird, dass die Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1 ist, dass der Block ein Hindernis ist, ansonsten zu ermitteln, dass der Block kein Hindernis ist.

Verglichen mit dem herkömmlichen Verfahren, das allein auf Bewegungskompensation beruht, verwenden das Verfahren und die Vorrichtung zum Detektieren eines Hindernisses in einem Bild gemäß den Ausführungsformen der vorliegenden Erfindung sowohl einen absoluten Wert der Bewegungskompensation als auch einen relativen Wert der Bewegungskompensation, wodurch Fehlerdetektion reduziert und die Genauigkeit beim Detektieren von Hindernissen in Bildern verbessert wird.
Verglichen mit dem herkömmlichen Verfahren, das allein auf Bewegungskompensation beruht, verwenden das andere Verfahren und die andere Vorrichtung zum Detektieren eines Hindernisses in einem Bild gemäß den Ausführungsformen der vorliegenden Erfindung sowohl einen absoluten Wert der Bewegungskompensation als auch einen relativen Wert der Bewegungskompensation sowie eine Eigenschaftsanalysestrategie, die die Fehlerdetektion weiter reduzieren und die Genauigkeit beim Detektieren von Hindernissen in Bildern verbessern kann.
Figurenliste
Um die von den erfindungsgemäßen Ausführungsformen vorgesehene technische Lösung klarer zu beschreiben, werden hierin nachstehend Begleitzeichnungen der Ausführungsformen kurz erläutert. Wie ersichtlich ist, stellen die hierin beschriebenen Zeichnungen nur einige Ausführungsformen der vorliegenden Erfindung dar, und andere Zeichnungen sind beruhend auf diesen Zeichnungen von einem Fachmann ohne erfinderisches Zutun ableitbar.

1 ist ein Flussdiagramm eines Verfahrens zum Detektieren eines Hindernisses in einem Bild gemäß einer Ausführungsform der vorliegenden Erfindung;
2 ist ein Flussdiagramm eines Verfahrens zum Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frame gemäß einer erfindungsgemäßen Ausführungsform;
3 ist ein Diagramm, das die Beziehung zwischen dem festgelegten Weltkoordinatensystems und einem Kamerakoordinatensystem aus einem vorangegangenen Frame gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
4 ist ein Diagramm, das einen hypothetischen aktuellen Frame gemäß einer erfindungsgemäßen Ausführungsform veranschaulicht;
5 ist ein strukturelles Diagramm einer Vorrichtung zum Detektieren eines Hindernisses in einem Bild gemäß einer Ausführungsform der vorliegenden Erfindung; und
6 ist ein strukturelles Diagramm einer anderen Vorrichtung zum Detektieren eines Hindernisses in einem Bild gemäß einer Ausführungsform der vorliegenden Erfindung.

Eingehende Beschreibung der Erfindung
Nachstehend werden die technischen Lösungen, die von den Ausführungsformen der vorliegenden Erfindung vorgesehen werden, klar und vollständig in Verbindung mit den Begleitzeichnungen der Ausführungsformen der vorliegenden Erfindung beschrieben. Wie ersichtlich ist, sind die hierin beschriebenen Ausführungsformen nur einige Ausführungsformen der vorliegenden Erfindung und nicht alle möglichen Ausführungsformen der vorliegenden Erfindung. Etwaige andere Ausführungsformen, die von dem Fachmann ohne erfinderisches Zutun beruhend auf den hierin beschriebenen Ausführungsformen erhalten werden, sollen in den Schutzumfang der vorliegenden Erfindung fallen.
Ein Verfahren zum Detektieren eines Hindernisses in einem Bild gemäß einer Ausführungsform der vorliegenden Erfindung umfasst: Erfassen eines aktuellen Frame und von N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, und Partitionieren der erhaltenen Frames in gleicher Weise, so dass jeder der Frames in mehrere Blöcke partitioniert wird; Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen; für jeden der Blöcke des aktuellen Frame Ermitteln in einer Reihenfolge gemäß den Bewegungshinderniskonfidenzen der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, ob der Block ein Hindernis ist; und Ermitteln des Hindernisses in dem Bild gemäß jedem der Blöcke. Verglichen mit dem herkömmlichen Verfahren, das allein auf Bewegungskompensation beruht, verwendet die vorliegende Erfindung sowohl einen absoluten Wert der Bewegungskompensation als auch einen relativen Wert der Bewegungskompensation, wodurch Fehlerdetektion reduziert und die Genauigkeit beim Detektieren von Hindernissen in Bildern verbessert wird.
Ein anderes Verfahren zum Detektieren eines Hindernisses in einem Bild gemäß einer Ausführungsform der vorliegenden Erfindung umfasst: Erfassen eines aktuellen Frame und von N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, und Partitionieren der erhaltenen Frames in gleicher Weise, so dass jeder der Frames in mehrere Blöcke partitioniert wird; Berechnen einer Bewegungshinderniskonfidenz und einer Eigenschaftshinderniskonfidenz für jeden der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen; für jeden der Blöcke des aktuellen Frame Ermitteln in einer Reihenfolge gemäß den Bewegungshinderniskonfidenzen und der Eigenschaftshinderniskonfidenz der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, ob der Block ein Hindernis ist; und Ermitteln des Hindernisses in dem Bild gemäß jedem der Blöcke. Verglichen mit dem herkömmlichen Verfahren, das allein auf Bewegungskompensation beruht, verwendet die vorliegende Erfindung sowohl einen absoluten Wert der Bewegungskompensation als auch einen relativen Wert der Bewegungskompensation sowie eine Eigenschaftsanalysestrategie, die Fehlerdetektion reduzieren, Detektionsgenauigkeit verbessern und Hindernisse in Bildern korrekt detektieren kann.
Wie in 1, einem Flussdiagramm eines Verfahrens zum Detektieren eines Hindernisses in einem Bild gemäß einer erfindungsgemäßen Ausführungsform, gezeigt, verwendet diese Ausführungsform sowohl einen absoluten Wert von Bewegungskompensation als auch einen relativen Wert von Bewegungskompensation sowie eine Eigenschaftsanalysestrategie. Das Verfahren umfasst im Einzelnen:
Schritt 101, Partitionieren des Bilds in Blöcke, im Einzelnen Erfassen eines aktuellen Frame und von N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, und Partitionieren der erhaltenen Frames in gleicher Weise, so dass jeder der Frames in mehrere Blöcke partitioniert wird.
Zum Beispiel werden zunächst ein aktueller Frame F_n (d.h. der Frame zum Zeitpunkt n) und N vorangegangene Frames, die dem aktuellen Frame unmittelbar vorangehen, aus einer Bildfolge erfasst, wobei n>=2, und der Intervall zwischen Frames wird als Δt bezeichnet.
Zweitens wird jeder der Frames in mehrere Blöcke partitioniert. Die Blöcke können eine beliebige Form haben, die das Bild vollständig teilen kann, z.B. Rechteck oder Dreieck. In dieser Ausführungsform sind die Frames in nicht überschneidende rechteckige Blöcke mit NXM Pixeln partitioniert. Für jeden der Frames erhalten wir also die gleiche Anzahl an gleich großen rechteckigen Blöcken. Es gibt keine Einschränkungen, wie im Einzelnen die Frames geteilt werden, solange sie in mehrere rechteckige Blöcke partitioniert werden.
Der spezifische Wert von N, d.h. die Anzahl von vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, kann gemäß dem tatsächlichen Bedarf ermittelt werden. N kann zum Beispiel als die Zahl der Frames, die gemäß der Bewegungsgeschwindigkeit des Objekts während eines Zeitraums erfasst werden, in dem sich vor der Kamera ein Objekt befindet, ermittelt werden.
Schritt 102, Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen.
Die Bewegungshinderniskonfidenz bezeichnet eine bewegungskompensationsbasierte Konfidenz, ob ein Block ein Hindernis ist. Hier unterscheidet sich die Bewegungskompensation geringfügig von der herkömmlichen Bewegungskompensation, da die herkömmliche Bewegungskompensation nur einen bewegungskompensationsbasierten absoluten Wert umfasst, während die Bewegungskompensation in der vorliegenden Erfindung sowohl einen bewegungskompensationsbasierten absoluten Wert als auch einen bewegungskompensationsbasierten relativen Wert umfasst.
Es versteht sich, dass das Verfahren zum Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, das gleiche wie das Verfahren zum Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frame sein würde. Daher wird nachstehend nur das Verfahren zum Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frame beschrieben, und auf das Verfahren für die N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, wird verzichtet.
Weiter nun zu 2, einem Flussdiagramm eines Verfahrens zum Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frame gemäß einer erfindungsgemäßen Ausführungsform. Das Verfahren umfasst im Einzelnen:
Schritt 201, Erfassen eines Kamerabewegungsparameters.
Der Kamerabewegungsparameter kann mittels eines Sensors, z.B. eines Geschwindigkeitssensors, oder eines Gyroskopsensors, erhalten werden oder kann aus der Bildfolge berechnet werden, z.B. durch ein optisches Flussverfahren, ein Struktur-aus-Bewegung-Verfahren (SFM) oder ein auf Merkmalspunktdetektion beruhendes oder direktes Verfahren. Zum Beispiel verwendet Schrift 1 „A robust method for computing vehicle ego-motion“ ein direktes Verfahren, um Bewegungsparameter zu schätzen, und Schrift 2 „Transforming camera geometry to a virtual downward-looking camera: robust ego-motion estimation and ground-layer detection“ verwendet ein abgewandeltes direktes Verfahren, um Bewegungsparameter zu erhalten. In dieser erfindungsgemäßen Ausführungsform wird der Kamerabewegungsparameter unter Verwenden des direkten Verfahrens von Schrift 1 geschätzt.
In der erfindungsgemäßen Ausführungsform nehmen wir an, dass der Ursprung des Weltkoordinatensystems [O; X_w , Y_w , Z_w ] mit dem Ursprung des Kamerakoordinatensystems [O'; X_c , Y_c , Z_c ] von einem vorangegangenen Frame zusammenfällt und zwischen ihren Achsen ein Drehwinkel vorhanden sein kann. Die Z_w -Achse des Weltkoordinatensystems ist parallel zur Straßenebene und die Y_w Achse ist senkrecht zu der Straßenebene, wie in 3 gezeigt ist.
Gemäß der Straßenebenenannahme ist der Kamerabewegungsparameter gegeben durch m= {t_x,t_z, ω_y}, d.h. eine Umsetzung entlang der X_w -, Z_w -Achsen und eine Drehung um die Y_w -Achse.
Schritt 202, Erzeugen eines hypothetischen aktuellen Frame, der einem vorangegangenen Frame entspricht, zum Zeitpunkt n-k, wobei n>=2 und k>=1;
Unter der Annahme, dass jedes der Pixel eines vorgegangenen Frame (gemäß dieser Ausführung zum Zeitpunkt n-k) ein Bild eines Punkts in der Straßenebene ist (wobei Y_w = Kamerahöhe), bezeichnet der hypothetische Frame einen Frame, der durch die neuen Bilder der Punkte in der Straßenebene mit der zu einer neuen Position bewegten Kamera gebildet ist, wie in 4 gezeigt ist. Das Verfahren zum Erzeugen des hypothetischen Frame mit der neuen Kameraposition wird nachstehend mit dem Beispiel eines Pixel P in dem vorangegangenem Frame beschrieben.
Unter der Annahme, dass der Pixel P in dem vorangegangenen Frame ein Bild eines Punkts P₀ in der Straßenebene ist (tatsächlich ein Bild eines Punkts P1 eines dreidimensionalen Objekts), hat, wenn die Kamera bewegt wird, der Punkt P0 ein Bild P', das in dem hypothetischen aktuellen Frame liegt und dem Pixel P entspricht, d.h. das Pixel P' hat den Graustufenwert des Pixels P zu haben. Nach dem gleichen Prinzip kann eine Korrespondenzbeziehung zwischen anderen Pixeln in dem hypothetischen aktuellen Frame und den Pixeln in dem vorangegangenen Frame abgeleitet werden, wodurch der hypothetische aktuelle Frame mit der neuen Kameraposition erhalten wird.
Nachstehend wird beschrieben, wie die Koordinaten des Pixels P' in dem hypothetischen Frame berechnet werden.
Zum Beispiel ein Pixel P(r, c) in dem vorangegangenen Frame, der ein Bild eines Punkts P₀ (X_W , Y_W , Z_W ) in der Straßenebene ist, wobei r, c die Zeilenkoordinate bzw. die Spaltenkoordinate sind.
Nach der Kameraabbildungsgleichung (die auch als Videokameraabbildungsgleichung bekannt sein kann) sind Weltkoordinaten (X_w , Y_w , Z_w ) des Punkts P₀ gegeben durch: $Z_{c} [\begin{matrix} r \\ c \\ 1 \end{matrix}] = [\begin{array}{l} a_{x} & 0 & u_{0} & 0 \\ 0 & a_{y} & v_{0} & 0 \\ 0 & 0 & 1 & 0 \end{array}] [\begin{matrix} R & t \\ 0^{T} & 1 \end{matrix}] [\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{matrix}]$
wobei α_x, α_y, u₀, v₀ interne Parameter der Kamera sind, die durch Kalibrierung der Kamera erhalten werden können;
t= [T_x, T_y, T_z]^T ist ein Umsetzungsvektor, wobei T_x, T_y, T_z die Position des Ursprungs des Kamerakoordinatensystems in dem Weltkoordinatensystem darstellen und externe Parameter der Kamera sind, die während Einbau der Kamera erhältlich sind; $R = (\begin{matrix} cos γ cos β & cos γ sin β sin α -sin γ cos α & cos γ sin β cos α + sin γ sin α \\ sin γ cos β & cos α cos γ + sin γ sin β sin α & sin γ sin β cos α - cos γ sin α \\ - sin β & cos β sin α & cos β cos α \end{matrix})$
ist eine Drehmatrix, wobei α, β, γ jeweils Drehwinkel des Kamerakoordinatensystems um die X-, Y-, Z-Achsen des Weltkoordinatensystems darstellen und externe Parameter der Kamera sind, die während Einbau der Kamera erhältlich sind;
bekannt: Y_W= Kamerahöhe; und P(r, c), Koordinaten des Pixel.
Durch Lösen der Gleichung (1) können X_W , Z_W und Z_c erhalten werden, wobei Z_c die Z-Achsenkoordinate von P in dem Kamerakoordinatensystem ist.
Unter Verwenden des erhaltenen Bewegungsparameters m = {t_x, t_z, ω_y) sind Nachbewegungskoordinaten des Ursprungs des Kamerakoordinatensystems in dem Weltkoordinatensystem gegeben durch: T_x+ t_x, T_y, T_z+ t_z, und die Drehwinkel des Kamerakoordinatensystems um die x-, y-, z-Achsen des Weltkoordinatensystems werden α, β+ ω_y, γ. Gemäß der aktualisierten Drehmatrix und Umsetzungsmatrix der Kamera und den erhaltenen Weltkoordinaten (X_W , Y_W , Z_W ) von P₀ kann durch Lösen der Kameraabbildungsgleichung (1), deren rechte Seite bekannt ist, die Unbekannte auf der linken Seite, d.h. Koordinaten des Bilds P' des Punkts P₀ in dem hypothetischen Frame erhalten werden. Im Einzelnen können beruhend auf der vorstehenden Transformation alle Pixel in einem vorangegangenen Frame F_n-k gemäß dem Bewegungsparameter bewegt werden, um einen neuen hypothetischen Frame F'_n zu erzeugen. Unter der Annahme, dass kein Rauschen und Ebenheit der Bewegung vorliegen, sollte der Ebenenbereich in dem hypothetischen Frame mit dem Ebenenbereich in dem aktuellen Frame F_n übereinstimmen, während die Nichtebenenbereiche unterschiedlich sind. Dieses Prinzip wird nachstehend genutzt, um die Konfidenz zu ermitteln, ob ein Block ein dreidimensionales Objekt ist.
Schritt 203, für einen Block Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem hypothetischen aktuellen Frame, der einem vorangegangenen Frame bei Zeitpunkt n-k entspricht, als bewegungskompensationsbasierte erste Bewegungskonfidenz C_M_A1.
Zu beachten ist, dass die Ähnlichkeit zwischen dem aktuellen Frame und dem hypothetischen Frame als erste Bewegungskonfidenz C_M_A1 bezeichnet wird, die eigentlich ein absoluter Wert von Bewegungskompensation ist; die Ähnlichkeit zwischen dem aktuellen Frame und dem tatsächlichen Frame bei Zeitpunkt n-k wird als zweite Bewegungskonfidenz C_M_A2 bezeichnet, die eigentlich keine Bewegungskompensation hat; und das Verhältnis der ersten Bewegungskonfidenz C_M_A1 zu der zweiten Bewegungskonfidenz C_M_A2 ist eigentlich ein relativer Wert von Bewegungskompensation.
Im Einzelnen umfasst Schritt 203: für jeden der Pixel in einem Block von F_n das Finden eines Pixel mit den gleichen Koordinaten in dem hypothetischen Frame und das Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem hypothetischen aktuellen Frame beruhend auf dem Wert des entsprechenden Pixel, um die erste Bewegungskonfidenz C_M_A1 zu erhalten, ob der Block ein Hindernis ist. Als Ähnlichkeit kann eine normalisierte Korrelation (NC) verwendet werden: $N C = \frac{\sum_{i = 1}^{N} \sum_{j = 1}^{M} X (i, j) \times X' (i, j)}{\sqrt{\sum_{i = 1}^{N} \sum_{j = 1}^{M} X^{2} (i, j) \times \sum_{i = 1}^{N} \sum_{j = 1}^{M} X'^{2} (i, j)}}$
wobei die Größe des Blocks N*M ist, X(i, j) der Graustufenwert des Pixels (i, j) in F_n ist und X'(i, j) der Graustufenwert des Pixels (i, j) in dem hypothetischen Frame F'_n von Fn ist.
Schritt 204, für den Block Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem hypothetischen Frame zu dem Zeitpunkt n-k, als zweite Bewegungskonfidenz C_M_A2 ohne Bewegungskompensation.
Für jeden der Pixel in einem Block F_n wird im Einzelnen ein Pixel mit den gleichen Koordinaten in F_n-k gefunden, und es wird Ähnlichkeit zwischen dem Block in dem aktuellen Frame und vorangegangenen Frame zum Zeitpunkt n-k beruhend auf den Werten der Pixelpaare berechnet, um die zweite Bewegungskonfidenz C_M_A2 zu erhalten, ob der Block ein Hindernis ist. Als Ähnlichkeit kann eine normalisierte Korrelation (NC) verwendet werden: $N C = \frac{\sum_{i = 1}^{N} \sum_{j = 1}^{M} X (i, j) \times X'' (i, j)}{\sqrt{\sum_{i = 1}^{N} \sum_{j = 1}^{M} X^{2} (i, j) \times \sum_{i = 1}^{N} \sum_{j = 1}^{M} X''^{2} (i, j)}}$
wobei die Größe des Blocks N*M ist, X(i, j) der Graustufenwert des Pixels (i, j) in F_n ist und X"(i, j) der Graustufenwert des Pixels (i, j) in dem vorangegangenen Frame bei Zeitpunkt n-k F"_n.
Schritt 205, Ermitteln der Bewegungshinderniskonfidenz C_M.
Wenn im Einzelnen die erste Bewegungskonfidenz C_M_A1 größer als ein erster Bewegungsschwellenwert ist und wenn das Verhältnis der ersten Bewegungskonfidenz C_M_A1 zu der zweiten Bewegungskonfidenz C_M_A2 größer als ein zweiter Bewegungsschwellenwert ist, dann ist die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frame 1, ansonsten ist die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frame 0.
D.h. die vorstehende Bewegungshinderniskonfidenz C_M wird beruhend auf einem absoluten Wert von Bewegungskompensation (wenn C_M_A1 größer als der erste Bewegungsschwellenwert ist) und einem relativen Wert von Bewegungskompensation (wenn das Verhältnis von C_M_A1 zu C_M_A2 größer als der zweite Bewegungsschwellenwert ist) erhalten.
Zu beachten ist, dass „das Verhältnis der ersten Bewegungskonfidenz C_M_A1 zu der zweiten Bewegungskonfidenz C_M_A2“ ein breiter Begriff ist, der interpretiert werden kann als: C_M_A1/C_M_A2 oder (C_M_A1-C_M_A2)/(1-C_M_A2) oder andere Formen.
Schritt 206, Wiederholen der Schritte 203-205, um die Bewegungshinderniskonfidenz jedes der Blöcke zu erhalten.
Schritt 103, Berechnen einer Eigenschaftshinderniskonfidenz C_F für jeden der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen.
Die Eigenschaftshinderniskonfidenz umfasst eine auf einem vertikalen Merkmal basierende Eigenschaftshinderniskonfidenz, eine auf einem vertikalen Kantenmerkmal basierende Eigenschaftshinderniskonfidenz oder eine texturmerkmalbasierte Eigenschaftshinderniskonfidenz.
Das Verfahren zum Berechnen der Eigenschaftshinderniskonfidenz C_F wird nachstehend mit dem Beispiel des vertikalen Merkmals beschrieben.
Schritt a, Ermitteln, ob ein Block des aktuellen Frame ein vertikales Merkmal hat; und wenn ja, ist die Eigenschaftshinderniskonfidenz C_F des Blocks des aktuellen Frame 1, ansonsten ist die Eigenschaftshinderniskonfidenz C_F des Blocks des aktuellen Frame 0. Der Schritt des Ermittelns, ob ein Block des aktuellen Frame ein vertikales Merkmal hat, umfasst im Einzelnen:

a01) Berechnen einer vertikalen Richtungsintensität I_v des Blocks; $I_{v} = \sum_{i = 0}^{N} \sum_{j = 0}^{M} | c_{i, j} - c_{i, j - k} |, 1 \leq k < j$
wobei c_i,j der Graustufenwert eines Pixel an Zeile i und Spalte j des aktuellen Frame ist, k eine ganze Zahl ist, i, j ∈ R, wobei R der Block ist, N die Breite des Bilds ist und M die Höhe des Bilds ist; und
a02) wenn die vertikale Richtungsintensität I_v gemäß Schritt a01) größer als ein Intensitätsschwellenwert T, nämlich, I_v> T ist, dann wird ermittelt, dass der Block ein vertikales Merkmal hat, ansonsten wird ermittelt, dass der Block kein vertikales Merkmal hat.

Schritt b) Wiederholen von Schritt a, um die Eigenschaftshinderniskonfidenz jedes der Blöcke zu erhalten.
Schritt 104, für jeden der Blöcke des aktuellen Frame Ermitteln in einer Reihenfolge gemäß den Bewegungshinderniskonfidenzen und der Eigenschaftshinderniskonfidenz der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, ob der Block ein Hindernis ist.
Unter der Annahme, dass im Einzelnen bei einem Block die Bewegungshinderniskonfidenzen des Blocks in den N vorangegangenen Frames C_M_t, C_M_t-1, ..., C_M_t-N-1sind, berechnen wir die Anzahl Sum_M der Bewegungshinderniskonfidenzen, die 1 sind;
unter der Annahme, dass die Eigenschaftshinderniskonfidenzen des Blocks in den N vorangegangenen Frames C_F_t,C_F_t-1, ..., C_F_t-N-1sind, berechnen wir die Anzahl Sum_M der Eigenschaftshinderniskonfidenzen, die 1 sind;
wenn Sum_M größer als ein erster Schwellenwert S_M_Limit ist und wenn Sum_F größer als ein zweiter Schwellenwert C_F_Limit ist, dann ist eine Gesamtkonfidenz C_Total 1, ansonsten ist die Gesamtkonfidenz C_Total 0.
Wenn die Gesamtkonfidenz C_Total des Blocks in dem aktuellen Frame 1 ist, dann ist der Block ein Hindernis, ansonsten ist der Block kein Hindernis.
D.h. wenn bei einem Block die Anzahl der Bewegungshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein erster Schwellenwert ist, und wenn die Anzahl der Eigenschaftshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein zweiter Schwellenwert ist, dann ist die Gesamtkonfidenz C_Totat des Blocks des aktuellen Frame 1, ansonsten ist die Gesamtkonfidenz CTotal des Blocks 0. Wenn die Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1 ist, dann ist der Block ein Hindernis, ansonsten ist der Block kein Hindernis.
Schritt 105, Ermitteln des Hindernisses in dem Bild gemäß jedem der Blöcke.
Wenn im Einzelnen durch Synthetisieren aller Ergebnisse für jeden der Blöcke ermittelt wird, ob der Block ein Hindernis ist, kann das Hindernis in dem Bild erhalten werden.
Es ist ersichtlich, dass verglichen mit dem herkömmlichen Verfahren, das allein auf Bewegungskompensation beruht, das Verfahren zum Detektieren eines Hindernisses in einem Bild gemäß 1 sowohl einen absoluten Wert der Bewegungskompensation als auch einen relativen Wert der Bewegungskompensation sowie eine Eigenschaftsanalysestrategie, die Fehlerdetektion reduzieren, Detektionsgenauigkeit verbessern und Hindernisse in Bildern korrekt detektieren kann, verwendet.
Die in 1 gezeigte Ausführungsform ist eine bevorzugte Ausführungsform. In der Praxis kann ein anderes Verfahren nur Bewegungskompensation (einschließlich des absoluten Werts und des relativen Wertes) ohne die auf Eigenschaftanalyse basierende Kompensation verwenden, was auch Fehlerdetektion verringern kann.
Dieses Verfahren kann Schritte aufweisen, die ähnlich den in 1 gezeigten sind, doch wird Schritt 103 nicht ausgeführt und Schritt 104 wird abgewandelt zu: für jeden der Blöcke des aktuellen Frame Ermitteln in einer Reihenfolge gemäß den Bewegungshinderniskonfidenzen der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, ob der Block ein Hindernis ist. Und der Schritt des Ermittelns für jeden der Blöcke des aktuellen Frame, ob der Block ein Hindernis ist, umfasst:
Unter der Annahme, dass im Einzelnen bei einem Block die Bewegungshinderniskonfidenzen des Blocks in den N vorangegangenen Frames C_M_t, C_M_t-1, ..., C_M_t-N-1sind, berechnen wir die Anzahl Sum_M der Bewegungshinderniskonfidenzen, die 1 sind; wenn Sum_M größer als ein erster Schwellenwert S_M_Limit ist, dann ist eine Gesamtkonfidenz C_Total 1, ansonsten ist die Gesamtkonfidenz C_Total 0.
Wenn die Gesamtkonfidenz C_Total des Blocks in dem aktuellen Frame 1 ist, dann ist der Block ein Hindernis, ansonsten ist dieser Block kein Hindernis.
D.h. wenn bei einem Block die Anzahl der Bewegungshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein erster Schwellenwert ist, dann ist die Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1, ansonsten ist die Gesamtkonfidenz C_Total des Blocks 0. Wenn die Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1 ist, dann ist der Block ein Hindernis, ansonsten ist der Block kein Hindernis.
Wie in 5 gezeigt sehen die erfindungsgemäßen Ausführungsformen auch eine Vorrichtung zum Detektieren eines Hindernisses in einem Bild vor, die der in 1 gezeigten Ausführungsform entspricht. Die Vorrichtung umfasst: eine Bildpartitionierungseinheit 501, eine Bewegungshinderniskonfidenzberechnungseinheit 502, eine Eigenschaftshinderniskonfidenzberechnungseinheit 503, eine zweite Blockhindernisdetektionseinheit 504 und eine Hindernisermittlungseinheit 505.
Die Bildpartitionierungseinheit 501 ist zum Erfassen eines aktuellen Frame und von N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, und zum Partitionieren der erhaltenen Frames in gleicher Weise, so dass jeder der Frames in mehrere Blöcke partitioniert wird, ausgelegt.
Die Bewegungshinderniskonfidenzberechnungseinheit 502 ist zum Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, ausgelegt.
Die Eigenschaftshinderniskonfidenzberechnungseinheit 503 ist zum Berechnen einer Eigenschaftshinderniskonfidenz für jeden der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, ausgelegt. Die Eigenschaftshinderniskonfidenz kann eine auf einem vertikalen Merkmal basierende Eigenschaftshinderniskonfidenz, eine auf einem vertikalen Kantenmerkmal basierende Eigenschaftshinderniskonfidenz oder eine texturmerkmalbasierte Eigenschaftshinderniskonfidenz umfassen.
Die zweite Blockhindernisdetektionseinheit 504 ist für jeden der Blöcke des aktuellen Frame gemäß den Bewegungshinderniskonfidenzen und der Eigenschaftshinderniskonfidenz der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, zum Ermitteln in einer Reihenfolge, ob der Block ein Hindernis ist, ausgelegt.
Die Hindernisermittlungseinheit 505 ist zum Ermitteln des Hindernisses in dem Bild gemäß jedem der Blöcke ausgelegt.
Die vorstehende Bewegungshinderniskonfidenzberechnungseinheit 502 kann weiterhin umfassen: eine ein hypothetisches Bild erzeugende Einheit, eine erste Bewegungskonfidenzberechnungseinheit, eine zweite Bewegungskonfidenzberechnungseinheit und eine Bewegungshinderniskonfidenzermittlungseinheit.
Die ein hypothetisches Bild erzeugende Einheit ist zum Erfassen eines Bewegungsparameters und Erzeugen eines hypothetischen aktuellen Frame, der einem vorangegangenen Frame zum Zeitpunkt n-k entspricht, wobei n>=2 und k>=1 ausgelegt.
Die erste Bewegungskonfidenzberechnungseinheit ist für einen Block zum Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem hypothetischen Frame, um eine erste Bewegungskonfidenz C_M_A1 zu erhalten, ausgelegt.
Die zweite Bewegungskonfidenzberechnungseinheit ist für den Block zum Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem vorangegangenen Frame zu dem Zeitpunkt n-k, um eine zweite Bewegungskonfidenz C_M_A2 zu erhalten, ausgelegt.
Die Bewegungshinderniskonfidenzermittlungseinheit ist ausgelegt, um zu ermitteln, wenn die erste Bewegungskonfidenz C_M_A1 größer als ein erster Bewegungsschwellenwert ist und wenn das Verhältnis der ersten Bewegungskonfidenz C_M_A1 zu der zweiten Bewegungskonfidenz C_M_A2 größer als ein zweiter Bewegungsschwellenwert ist, dass die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frame 1 ist, ansonsten zu ermitteln, dass die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frame 0 ist.
Wenn die Eigenschaftshinderniskonfidenz auf einem vertikalen Merkmal beruht, kann die Eigenschaftshinderniskonfidenzberechnungseinheit 503 eine ein vertikales Merkmal ermittelnde Einheit und eine Eigenschaftshinderniskonfidenzermittlungseinheit umfassen.
Die ein vertikales Merkmal ermittelnde Einheit ist zum Ermitteln, ob ein Block des aktuellen Frame ein vertikales Merkmal aufweist, und zum Melden eines Ermittlungsergebnisses an eine Eigenschaftshinderniskonfidenzermittlungseinheit ausgelegt.
Die Eigenschaftshinderniskonfidenzermittlungseinheit ist ausgelegt, um zu ermitteln, wenn ihr der Block des aktuellen Frame mit einem vertikalen Merkmal gemeldet wird, dass die Eigenschaftshinderniskonfidenz C_F des Blocks des aktuellen Frame 1 ist, ansonsten um zu ermitteln, dass die Eigenschaftshinderniskonfidenz C_F des Blocks des aktuellen Frame 0 ist.
Die zweite Blockhindernisdetektionseinheit 504 kann umfassen: eine zweite Gesamtkonfidenzermittlungseinheit und eine zweite Detektionseinheit.
Die zweite Gesamtkonfidenzermittlungseinheit ist ausgelegt ist, um zu ermitteln, wenn bei einem Block die Anzahl der Bewegungshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein erster Schwellenwert ist, und wenn die Anzahl der Eigenschaftshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein zweiter Schwellenwert ist, dass eine Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1 ist, ansonsten zu ermitteln, dass die Gesamtkonfidenz C_Total des Blocks 0 ist.
Die zweite Detektionseinheit, ist ausgelegt, um zu ermitteln, wenn ihr gemeldet wird, dass die Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1 ist, dass der Block ein Hindernis ist, ansonsten zu ermitteln, dass der Block kein Hindernis ist.
Wie in 6 gezeigt sehen die erfindungsgemäßen Ausführungsformen auch eine Vorrichtung zum Detektieren eines Hindernisses in einem Bild vor. Abweichend von der Ausführungsform von 5 umfasst diese Vorrichtung nicht die Eigenschaftshinderniskonfidenzberechnungseinheit 503. D.h. die Vorrichtung von 6 umfasst: eine Bildpartitionierungseinheit 601, eine Bewegungshinderniskonfidenzberechnungseinheit 602, eine erste Blockhindernisdetektionseinheit 603 und eine Hindernisermittlungseinheit 604.
Die Bildpartitionierungseinheit 601 ist zum Erfassen eines aktuellen Frame und von N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, und zum Partitionieren der erhaltenen Frames in gleicher Weise, so dass jeder der Frames in mehrere Blöcke partitioniert wird, ausgelegt.
Die Bewegungshinderniskonfidenzberechnungseinheit 602 ist zum Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, ausgelegt.
Die erste Blockhindernisdetektionseinheit 603 ist für jeden der Blöcke des aktuellen Frame gemäß den Bewegungshinderniskonfidenzen der Blöcke des aktuellen Frame und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, zum Ermitteln in einer Reihenfolge, ob der Block ein Hindernis ist, ausgelegt.
Die Hindernisermittlungseinheit 604 ist zum Ermitteln des Hindernisses in dem Bild gemäß jedem der Blöcke ausgelegt.
Die Bewegungshinderniskonfidenzberechnungseinheit 602 kann die gleiche wie die Bewegungshinderniskonfidenzberechnungseinheit 502 von 5 sein, und umfassen: eine ein hypothetisches Bild erzeugende Einheit, eine erste Bewegungskonfidenzberechnungseinheit, eine zweite Bewegungskonfidenzberechnungseinheit und eine Bewegungshinderniskonfidenzermittlungseinheit. Auf ausführliche Beschreibungen wird hier verzichtet.
Die erste Blockhindernisdetektionseinheit 603 kann umfassen:

Verglichen mit dem herkömmlichen Verfahren, das allein auf Bewegungskompensation beruht, verwenden das andere Verfahren und die andere Vorrichtung zum Detektieren eines Hindernisses in einem Bild gemäß den Ausführungsformen der vorliegenden Erfindung sowohl einen absoluten Wert der Bewegungskompensation als auch einen relativen Wert der Bewegungskompensation sowie eine Eigenschaftsanalysestrategie, die die Fehlerdetektion weiter reduzieren und die Genauigkeit beim Detektieren von Hindernissen in Bildern verbessern kann.
Es versteht sich für den Fachmann, dass alle oder einige der hierin in den Verfahrensausführungen beschriebenen Schritte durch ein Programm umgesetzt werden können, das einer zugehöriger Hardware Befehle erteilt, wobei das Programm in einem maschinell lesbaren Medium, z.B. ROM/RAM, Magnetplatte oder Bildplatte, gespeichert ist.

Claims

Verfahren zum Detektieren eines Hindernisses in einem Bild, welches umfasst: Erfassen eines aktuellen Frames und von N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, und Partitionieren der erhaltenen Frames in gleicher Weise, so dass jeder der Frames in mehrere Blöcke partitioniert wird; Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frames und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen; für jeden der Blöcke des aktuellen Frame, Ermitteln in einer Reihenfolge gemäß den Bewegungshinderniskonfidenzen der Blöcke des aktuellen Frames und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, ob der Block ein Hindernis ist; und Ermitteln des Hindernisses in dem Bild gemäß jedem der Blöcke, wobei der Schritt des Berechnens einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frames umfasst: i) Erfassen eines Bewegungsparameters und Erzeugen eines hypothetischen aktuellen Frames, der einem vorangegangenen Frame zum Zeitpunkt n-k entspricht, wobei n>=2 und k>=1; ii) für einen Block, Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem hypothetischen Frame, um eine erste Bewegungskonfidenz C_M_A1 zu erhalten; iii) für den Block, Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem vorangegangenen Frame zu dem Zeitpunkt n-k , um eine zweite Bewegungskonfidenz C_M_A2 zu erhalten; iv) wenn die erste Bewegungskonfidenz C_M_A1 größer als ein erster Bewegungsschwellenwert ist und wenn das Verhältnis der ersten Bewegungskonfidenz C_M_A1 zu der zweiten Bewegungskonfidenz C_M_A2 größer als ein zweiter Bewegungsschwellenwert ist, dann ist für den Block die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frames 1, ansonsten ist die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frames 0; und v) Wiederholen der Schritte ii) bis iv), um die Bewegungshinderniskonfidenz jedes der Blöcke zu erhalten.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt des Ermittelns für jeden der Blöcke des aktuellen Frames, ob der Block ein Hindernis ist, umfasst: wenn bei einem Block die Anzahl der Bewegungshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein erster Schwellenwert ist, dann ist eine Gesamtkonfidenz C_Total des Blocks des aktuellen Frame 1, ansonsten ist die Gesamtkonfidenz C_Total des Blocks 0; und wenn die Gesamtkonfidenz C_Total des Blocks des aktuellen Frames 1 ist, dann ist der Block ein Hindernis, ansonsten ist der Block kein Hindernis.
Verfahren zum Detektieren eines Hindernisses in einem Bild, welches umfasst: Erfassen eines aktuellen Frames und von N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, und Partitionieren der erhaltenen Frames in gleicher Weise, so dass jeder der Frames in mehrere Blöcke partitioniert wird; Berechnen einer Bewegungshinderniskonfidenz und einer Eigenschaftshinderniskonfidenz für jeden der Blöcke des aktuellen Frames und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen; für jeden der Blöcke des aktuellen Frames, Ermitteln in einer Reihenfolge gemäß den Bewegungshinderniskonfidenzen und der Eigenschaftshinderniskonfidenz der Blöcke des aktuellen Frames und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, ob der Block ein Hindernis ist; und Ermitteln des Hindernisses in dem Bild gemäß jedem der Blöcke, wobei der Schritt des Berechnens einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frames umfasst: i) Erfassen eines Bewegungsparameters und Erzeugen eines hypothetischen aktuellen Frames, der einem vorangegangenen Frame zum Zeitpunkt n-k entspricht, wobei n>=2 und k>=1; ii) für einen Block, Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem hypothetischen Frame, um eine erste Bewegungskonfidenz C_M_A1 zu erhalten; iii) für den Block, Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem vorangegangenen Frame zu dem Zeitpunkt n-k , um eine zweite Bewegungskonfidenz C_M_A2 zu erhalten; iv) wenn die erste Bewegungskonfidenz C_M_A1 größer als ein erster Bewegungsschwellenwert ist und wenn das Verhältnis der ersten Bewegungskonfidenz C_M_A1 zu der zweiten Bewegungskonfidenz C_M_A2 größer als ein zweiter Bewegungsschwellenwert ist, dann ist für den Block die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frames 1, ansonsten ist die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frames 0; und v) Wiederholen der Schritte ii) bis iv), um die Bewegungshinderniskonfidenz jedes der Blöcke zu erhalten.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Eigenschaftshinderniskonfidenz eine auf einem vertikalen Merkmal basierende Eigenschaftshinderniskonfidenz oder eine texturmerkmalsbasierte Eigenschaftshinderniskonfidenz umfasst.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Schritt des Berechnens einer Eigenschaftshinderniskonfidenz für jeden der Blöcke des aktuellen Frames beruhend auf deren vertikalen Merkmalen umfasst: a) Ermitteln, ob ein Block des aktuellen Frames ein vertikales Merkmal hat; und wenn ja, ist die Eigenschaftshinderniskonfidenz C_F des Blocks des aktuellen Frames 1, ansonsten ist die Eigenschaftshinderniskonfidenz C_F des Blocks des aktuellen Frames 0; und b) Wiederholen von Schritt a), um die Eigenschaftshinderniskonfidenz jedes der Blöcke zu erhalten.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Schritt des Ermittelns, ob ein Block des aktuellen Frames ein vertikales Merkmal hat, umfasst: a01) Berechnen einer vertikalen Richtungsintensität I_v des Blocks: $I_{v} = \sum_{i = 0}^{N} \sum_{j = 0}^{M} | c_{i, j} - c_{i, j - k} |, 1 \leq k < j$
wobei c_i,j der Graustufenwert eines Pixel an Zeile i und Spalte j des aktuellen Frames ist, k eine ganze Zahl ist, i , j ∈ R , wobei R der Block ist, N die Breite des Bilds ist und M die Höhe des Bilds ist; und a02) wenn die vertikale Richtungsintensität I_v gemäß Schritt a01) größer als ein Intensitätsschwellenwert ist, dann wird ermittelt, dass der Block ein vertikales Merkmal hat, ansonsten wird ermittelt, dass der Block kein vertikales Merkmal hat.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Schritt des Ermittelns für jeden der Blöcke des aktuellen Frames, ob der Block ein Hindernis ist, umfasst: wenn bei einem Block die Anzahl der Bewegungshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein erster Schwellenwert ist, und wenn die Anzahl der Eigenschaftshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein zweiter Schwellenwert ist, dann ist eine Gesamtkonfidenz CTotal des Blocks des aktuellen Frames 1, ansonsten ist die Gesamtkonfidenz C_Total des Blocks 0; und wenn die Gesamtkonfidenz C_Total des Blocks des aktuellen Frames 1 ist, dann ist der Block ein Hindernis, ansonsten ist der Block kein Hindernis.
Vorrichtung zum Detektieren eines Hindernisses in einem Bild, welche umfasst: eine Bildpartitionierungseinheit, die zum Erfassen eines aktuellen Frames und von N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, und zum Partitionieren der erhaltenen Frames in gleicher Weise, so dass jeder der Frames in mehrere Blöcke partitioniert wird, ausgelegt ist; eine Bewegungshinderniskonfidenzberechnungseinheit, die zum Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frames und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, ausgelegt ist; eine erste Blockhindernisdetektionseinheit, die für jeden der Blöcke des aktuellen Frames gemäß den Bewegungshinderniskonfidenzen der Blöcke des aktuellen Frames und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, zum Ermitteln in einer Reihenfolge, ob der Block ein Hindernis ist, ausgelegt ist; und eine Hindernisermittlungseinheit, die zum Ermitteln des Hindernisses in dem Bild gemäß jedem der Blöcke ausgelegt ist, wobei die Bewegungshinderniskonfidenzberechungseinheit umfasst: eine ein hypothetisches Bild erzeugende Einheit, die zum Erfassen eines Bewegungsparameters und Erzeugen eines hypothetischen aktuellen Frames, der einem vorangegangenen Frame zum Zeitpunkt n-k entspricht, wobei n>=2 und k>=1, ausgelegt ist; eine erste Bewegungskonfidenzberechnungseinheit, die für einen Block zum Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem hypothetischen Frame, um eine erste Bewegungskonfidenz C_M_A1 zu erhalten, ausgelegt ist; eine zweite Bewegungskonfidenzberechnungseinheit, die für den Block zum Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem vorangegangenen Frame zu dem Zeitpunkt n-k , um eine zweite Bewegungskonfidenz C_M_A2 zu erhalten, ausgelegt ist; und eine Bewegungshinderniskonfidenzermittlungseinheit, die ausgelegt ist, um zu ermitteln, wenn die erste Bewegungskonfidenz C_M_A1 größer als ein erster Bewegungsschwellenwert ist und wenn das Verhältnis der ersten Bewegungskonfidenz C_M_A1 zu der zweiten Bewegungskonfidenz C_M_A2 größer als ein zweiter Bewegungsschwellenwert ist, dass die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frames 1 ist, ansonsten zu ermitteln, dass die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frame 0 ist.
Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die erste Blockhindernisdetektionseinheit umfasst: eine erste Gesamtkonfidenzermittlungseinheit, die ausgelegt ist, um für einen Block zu ermitteln, wenn bei einem Block die Anzahl der Bewegungshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein erster Schwellenwert ist, dass eine Gesamtkonfidenz C_Total des Blocks des aktuellen Frames 1 ist, ansonsten zu ermitteln, dass die Gesamtkonfidenz CTotal des Blocks 0 ist; und eine erste Detektionseinheit, die ausgelegt ist, um zu ermitteln, wenn die Gesamtkonfidenz C_Total des Blocks des aktuellen Frames 1 ist, dass der Block ein Hindernis ist, ansonsten zu ermitteln, dass der Block kein Hindernis ist.
Vorrichtung zum Detektieren eines Hindernisses in einem Bild, welche umfasst: eine Bildpartitionierungseinheit, die zum Erfassen eines aktuellen Frames und von N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, und zum Partitionieren der erhaltenen Frames in gleicher Weise, so dass jeder der Frames in mehrere Blöcke partitioniert wird, ausgelegt ist; eine Bewegungshinderniskonfidenzberechnungseinheit, die zum Berechnen einer Bewegungshinderniskonfidenz für jeden der Blöcke des aktuellen Frames und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, ausgelegt ist; eine Eigenschaftshinderniskonfidenzberechnungseinheit, die zum Berechnen einer Eigenschaftshinderniskonfidenz für jeden der Blöcke des aktuellen Frames und der N vorangegangenen Frames, die dem aktuellen Frame unmittelbar vorangehen, ausgelegt ist; eine zweite Blockhindernisdetektionseinheit, die für jeden der Blöcke des aktuellen Frames zum Ermitteln in einer Reihenfolge gemäß den Bewegungshinderniskonfidenzen und der Eigenschaftshinderniskonfidenz der Blöcke des aktuellen Frames und der N vorangegangenen Frames, die dem aktuellen Block unmittelbar vorangehen, ob der Block ein Hindernis ist, ausgelegt ist; und eine Hindernisermittlungseinheit, die zum Ermitteln des Hindernisses in dem Bild gemäß jedem der Blöcke ausgelegt ist, wobei die Bewegungshinderniskonfidenzberechungseinheit umfasst: eine ein hypothetisches Bild erzeugende Einheit, die zum Erfassen eines Bewegungsparameters und Erzeugen eines hypothetischen aktuellen Frames, der einem vorangegangenen Frame zum Zeitpunkt n-k entspricht, wobei n>=2 und k>=1, ausgelegt ist; eine erste Bewegungskonfidenzberechnungseinheit, die für einen Block zum Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem hypothetischen Frame, um eine erste Bewegungskonfidenz C_M_A1 zu erhalten, ausgelegt ist; eine zweite Bewegungskonfidenzberechnungseinheit, die für den Block zum Berechnen von Ähnlichkeit zwischen dem Block in dem aktuellen Frame und in dem vorangegangenen Frame zu dem Zeitpunkt n-k , um eine zweite Bewegungskonfidenz C_M_A2 zu erhalten, ausgelegt ist; und eine Bewegungshinderniskonfidenzermittlungseinheit, die ausgelegt ist, um zu ermitteln, wenn die erste Bewegungskonfidenz C_M_A1 größer als ein erster Bewegungsschwellenwert ist und wenn das Verhältnis der ersten Bewegungskonfidenz C_M_A1 zu der zweiten Bewegungskonfidenz C_M_A2 größer als ein zweiter Bewegungsschwellenwert ist, dass die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frames 1 ist, ansonsten zu ermitteln, dass die Bewegungshinderniskonfidenz C_M des Blocks des aktuellen Frames 0 ist.
Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Eigenschaftshinderniskonfidenz eine auf einem vertikalen Merkmal basierende Eigenschaftshinderniskonfidenz, eine auf einem vertikalen Kantenmerkmal basierende Eigenschaftshinderniskonfidenz oder eine texturmerkmalsbasierte Eigenschaftshinderniskonfidenz umfasst.
Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass bei Beruhen der Eigenschaftshinderniskonfidenz auf einem vertikalen Merkmal die Eigenschaftshinderniskonfidenzberechnungseinheit umfasst: eine ein vertikales Merkmal ermittelnde Einheit, die zum Ermitteln, ob ein Block des aktuellen Frames ein vertikales Merkmal aufweist, und zum Melden eines Ermittlungsergebnisses an eine Eigenschaftshinderniskonfidenzermittlungseinheit ausgelegt ist; und die Eigenschaftshinderniskonfidenzermittlungseinheit, die ausgelegt ist, um zu ermitteln, wenn ihr der Block des aktuellen Frames mit einem vertikalen Merkmal gemeldet wird, dass die Eigenschaftshinderniskonfidenz C_F des Blocks des aktuellen Frames 1 ist, ansonsten um zu ermitteln, dass die Eigenschaftshinderniskonfidenz C_F des Blocks des aktuellen Frames 0 ist.
Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die zweite Blockhindernisdetektionseinheit umfasst: eine zweite Gesamtkonfidenzermittlungseinheit, die ausgelegt ist, um zu ermitteln, wenn bei einem Block die Anzahl der Bewegungshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein erster Schwellenwert ist, und wenn die Anzahl der Eigenschaftshinderniskonfidenzen des Blocks in dem aktuellen Frame und in den N vorangegangenen Frames, die 1 sind, größer als ein zweiter Schwellenwert ist, dass eine Gesamtkonfidenz C_Total des Blocks des aktuellen Frames 1 ist, ansonsten zu ermitteln, dass die Gesamtkonfidenz CTotal des Blocks 0 ist; und eine zweite Detektionseinheit, die ausgelegt ist, um zu ermitteln, wenn ihr gemeldet wird, dass die Gesamtkonfidenz C_Total des Blocks des aktuellen Frames 1 ist, dass der Block ein Hindernis ist, ansonsten zu ermitteln, dass der Block kein Hindernis ist.