-
Stand der Technik
-
Das Verfahren betrifft eine Objekterkennung in einem Überwachungsbereich. Das Verfahren sieht die Aufnahme eines ersten und eines zweiten Bildes zur Stereobildverarbeitung vor. Die Erkennung des eintretenden Objekts erfolgt basierend auf dem ersten und zweiten Bild.
-
Aus der Druckschrift
DE 10 2012 021 617 A1 ist das Verfahren zur Objektsegmentierung und Objekterkennung bekannt, bei dem eine Umgebung erfasst wird und in einem erzeugten Bild der Umgebung in hindernisfreier Raum identifiziert wird, wobei der Bereich außerhalb dieses Raums segmentiert wird. Das Verfahren sieht die Suche nach Objekten im segmentierten Bereich, hindernisreichen Raum, vor.
-
Aus der Druckschrift Ramos, Sebastian, et al. Detecting unexpected obstacles for selfdriving cars: Fusing deep learning and geometric modeling. In: 2017 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2017. Seiten 1025 bis 1032 ist ein Verfahren zur Detektion unerwarteter Hindernisse für autonome Fahrzeuge bekannt.
-
Aus der Druckschrift Enzweiler, Markus, et al. Efficient stixel-based object recognition. In: 2012 IEEE Intelligent Vehicles Symposium. IEEE, 2012. Seiten 1066 bis 1071 ist ein Verfahren zur effizienten stixel-basierten Objekterkennung bekannt.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund stellt sich die Aufgabe, ein Verfahren bereitzustellen, das eine verbesserte Robustheit gegenüber falsch positiven Objektdetektionen, insbesondere aufgrund von durch die Objekte erzeugtem Schattenwurf in den Bildern, aufweist.
-
Es wird ein Verfahren zur Objekterkennung mit den Merkmalen des Anspruchs 1 vorgeschlagen. Ferner werden ein Computerprogramm, ein maschinenlesbares Speichermedium und eine Steuereinrichtung vorgeschlagen. Bevorzugte und/oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren.
-
Es wird ein Verfahren zur Erkennung eines Objekts, auch Objekterkennung genannt, vorgeschlagen. Das Verfahren ist beispielsweise zur Ausführung auf einem Computer, einer Steuereinrichtung oder einer Kamera ausgebildet. Im Speziellen ist das Verfahren zum Einsatz im autonomen Fahren, beispielsweise eines PKWs, landwirtschaftlichen Fahrzeuges oder Fluggerätes, ausgebildet. Das Verfahren kann insbesondere ein maschinenlernendes Verfahren bilden, welches beispielsweise unter Verwendung eines neuronalen Netzes trainierbar ist.
-
Das Verfahren sieht die Erkennung eines Objektes in einem Überwachungsbereich vor. Objekterkennung bedeutet hierbei beispielsweise das Erkennen einer bestimmbaren Objektart, z.B. Mensch, Tier, Auto. Insbesondere wird als Objekterkennung das Erkennen eines Objekts als Vordergrund verstanden, so dass ein Bild, eine Szene und/oder der Überwachungsbereich in Vordergrund und Hintergrund zerfällt.
-
Der Überwachungsbereich ist insbesondere ein kamera-, bildtechnisch und/oder videotechnisch überwachter Bereich. Vorzugsweise ist der Überwachungsbereich die Umgebung um ein Fahrzeug, beispielsweise PKW, landwirtschaftliches Fahrzeug oder Fluggerät. Der Überwachungsbereich kann ferner als ein Gefahrenbereich, beispielsweise einer Produktionsanlage bzw. Maschine, ausgebildet sein. Die erscheinenden Objekte sind beispielsweise Personen, Tiere oder sachliche Objekte.
-
Das Verfahren sieht die Aufnahme eines ersten Bildes und eines zweiten Bildes vor. Die Aufnahme der Bilder kann dem Verfahren auch vorgelagert sein, sodass das Verfahren die Übernahme des ersten und des zweiten Bildes, beispielsweise von einer Kamera, vorsieht. Das erste Bild und das zweite Bild werden insbesondere zeitgleich aufgenommen. Die Aufnahme des ersten und des zweiten Bildes erfolgt beispielsweise mit einer Stereokamera. Das erste und das zweite Bild stellen eine Aufnahme des Überwachungsbereichs dar. Insbesondere erfolgt die Aufnahme des Überwachungsbereichs vorzugsweise als Farbaufnahme, alternativ als Grauaufnahme oder Schwarz-Weiß-Aufnahme. Im Speziellen erfolgt die Aufnahme des ersten Bildes und des zweiten Bildes mit einer Kamera des Fahrzeugs, beispielsweise einer Frontkamera oder einer Rückkamera. Die ersten Bilder und die zweiten Bilder sind ausgebildet, gemeinsam in einer stereoskopischen Bildverarbeitung verarbeitet werden zu können. Besonders bevorzugt ist es, dass die Aufnahme des ersten Bildes und des zweiten Bildes mit einer Bildrate von mindestens 20 Hz, im Speziellen mindestens 30 Hz, erfolgt.
-
Das Verfahren sieht die Ermittlung und/oder Bestimmung einer Disparitätskarte vor. Die Ermittlung und/oder Bestimmung der Disparitätskarte erfolgt basierend und/oder mit dem ersten und dem zweiten Bild. Im Speziellen kann statt und/oder ergänzend zu der Disparitätskarte eine Tiefenkarte des Überwachungsbereichs bestimmt und/oder ermittelt werden. Die Disparitätskarte beschreibt Tiefen- und/oder Abstandsverhältnisse von Objekten im Überwachungsbereich, beispielsweise relativ zueinander und/oder relativ zur Kamera. Die Tiefenkarte und/oder die Disparitätskarte ist insbesondere als eine Entfernungsaufnahme zu verstehen.
-
Basierend auf der Disparitätskarte wird ein Überwachungsbereichsfreiraum bestimmt. Der Überwachungsbereichsfreiraum ist beispielsweise ein objektfreier Abschnitt, ein hindernisfreier Abschnitt, ein flacher und/oder ein ebener Abschnitt des Überwachungsbereichs. Im Speziellen ist der Überwachungsbereichsfreiraum ein Abschnitt ohne Objekte im Vordergrund, beispielsweise nur aus Hintergrund. Beispielsweise ist als Überwachungsbereichsfreiraum eine freie Straße ohne Hindernisse, wie weitere Fahrzeuge, zu verstehen, Seitenstreifen, sowie beispielsweise im Anwendungsfall von Landmaschinen freie Acker-, Flur- und/oder Feldabschnitte. Der Überwachungsbereichsfreiraum ist als eine Teilmenge des Überwachungsbereichs, im Speziellen als eine Teilmenge des ersten Bildes des zweiten Bildes und/oder der Disparitätskarte aufzufassen.
-
Das Verfahren sieht eine Segmentierung in Stixelbereiche vor. Stixelbereiche sind beispielsweise Segmente der Disparitätskarte, im Speziellen des Überwachungsbereichsfreiraum, wobei die Segmente insbesondere eine gleiche Breite aufweisen. Die Segmente eines Stixelbereichs weisen insbesondere eine gleiche und/oder ähnliche Steigung bezüglich einer Bildebene auf. Insbesondere sind die Segmente, insbesondere Stixel genannt, vertikal ausgerichtete Segmente. Stixel basieren insbesondere auf der Überlegung, dass auf ebenen Flächen Objekte vertikal angeordnet sind, sodass eine Segmentierung von Objekten bevorzugt in vertikaler Richtung zu erfolgen hat. Mehrere Stixel werden zu einem Stixelbereich zusammengefasst, wobei diese Stixelbereiche freie Abschnitte, hindernisfreie Abschnitte, insbesondere Straßen, Randstreifen, Flur und/oder Feldbereiche darstellen. Abschnitte des Überwachungsbereichs mit einem Hindernis, beispielsweise einem vorausfahrenden Fahrzeug, einem Straßenhindernis, einem Baum und/oder einem Haus, welche insbesondere keine Freiräume darstellen, sind im Speziellen nicht Teil von Stixelbereichen. Basierend auf der Disparitätskarte, insbesondere auf dem ersten und dem zweiten Bild können insbesondere eine Mehrzahl an Stixelbereichen ermittelt und/oder bestimmt werden. Bei einer Mehrzahl an Stixelbereichen können diese zusammenhängend und/oder unzusammenhängend angeordnet sein.
-
-
Das Verfahren sieht die Auswertung des ersten und/oder des zweiten Bildes auf vorhandene Objekte vor. Dabei wird beispielsweise ein Objekterkennungsalgorithmus auf das erste Bild und/oder das zweite Bild angewendet, wobei insbesondere gängige Objekterkennungsalgorithmen des Stands der Technik anwendbar sind. Der Objekterkennungsalgorithmus ist zur Objekterkennung in Bildaufnahmen, insbesondere 2D-Bildern, ausgebildet. Die Objekterkennung kann auf spezifische, insbesondere festlegbare, Objektarten, zum Beispiel Personenerkennung, ausgebildet sein. Basierend auf der Objekterkennung werden Objektbereiche bestimmt. Objektbereiche sind insbesondere Abschnitte des ersten und/oder des zweiten Bildes, an denen sich ein erkanntes Objekt befindet. Insbesondere ist ein Objekterkennungsbereich ein flächiger Abschnitt des ersten und/oder zweiten Bildes.
-
Das Verfahren sieht vor, dass der oder die Objektbereiche mit dem oder den Stixelbereichen verglichen und/oder auf Plausibilität überprüft wird. Das Verfahren sieht vor, dass Objektbereiche, insbesondere das zugehörige Objekt, als ein relevantes Objekt basierend auf einem Abgleich des Objektbereichs mit den Stixelbereichen bewertet. Beispielsweise wird dabei abgeglichen, ob der Objektbereich mit einem Stixelbereich zusammenfällt, insbesondere ob der Bildabschnitt eines Objektbereichs mit einem Bildabschnitt eines Stixelbereichs zusammenfällt. Die Stixelbereiche werden gemäß dem Verfahren insbesondere zur Verifikation und/oder Falsifikation einer klassischen Objekterkennung herangezogen.
-
Dem Verfahren liegt die Überlegung zu Grunde, dass die reine Verwendung von Objektbereichen häufig zu falsch positiven Erkennung von Objekten im Überwachungsbereich führt. Beispielsweise bereitet Schattenwurf Probleme bei der Objektfrüherkennung, zum Beispiel wegen fälschlicher Bewertung als eintretendes Objekt. Insbesondere nutzt das Verfahren die Überlegung, dass Schatten, also falsch positive Detektionen, im Überwachungsbereichfreiraum zu erwarten sind, wohingegen reale Objekte aufgrund ihrer räumlichen Ausdehnung gerade nicht in Überwachungsbereichfreiräumen zu erwarten sind.
-
Insbesondere ist der mindestens eine Stixelbereich oder sind Stixelbereiche als Abschnitt des ersten Bildes und/oder des zweiten Bildes ausgebildet. Ein Stixelbereich ist beispielsweise ein Abschnitt des ersten Bildes und/oder des zweiten Bildes, der einen hindernisfreien Bereich des Überwachungsbereichs abbildet und/oder einen Hintergrund des ersten und/oder zweiten Bildes zeigt. Ein Stixelbereich umfasst insbesondere mindestens einen Stixel. Ein Stixel umfasst vorzugsweise eine Mehrzahl an Pixel des ersten Bildes und/oder des zweiten Bildes, insbesondere mindestens drei Pixel und im Speziellen mindestens 5 Pixel. Die Mindestanzahl an Pixel ist vorzugsweise in vertikale Richtung gefordert. Stixel sind beispielsweise als vertikale Rechtecke und/oder Abschnitte des ersten Bildes und/oder des zweiten Bildes ausgebildet. Im Speziellen bilden mehrere Stixel, insbesondere in horizontale Richtung benachbarte Stixel, zusammengefasst den Stixelbereich. Dies basiert auf der Überlegung, dass vordergründige Objekte eine vertikale Ausdehnung aufweisen, sodass Vordergrund (Objekt) und Hintergrund (Freiraum) durch vertikale Bildabschnitte besonders gut zu unterteilen sind. Insbesondere sind Tiefen und/oder Abstände zur Aufnahmekamera in vertikalen Bildabschnitten häufiger gleich als in eine horizontale Richtung.
-
Als Objektbereiche werden insbesondere Abschnitte des ersten Bildes und/oder des zweiten Bildes verstanden. Insbesondere umfassen die Objektbereiche eine Mehrzahl an Pixeln des ersten Bildes und/oder des zweiten Bildes. Die Objektbereiche sind insbesondere Abschnitte, vorzugsweise zusammenhängende Abschnitte, des ersten Bildes und/oder des zweiten Bildes, die das Objekt zeigen und/oder abbilden. Insbesondere hat ein Objektbereich eine Mindestpixelzahl zu umfassen, beispielsweise mindestens drei, vorzugsweise mindestens fünf und im Speziellen mindestens 10 Pixel.
-
Zum Abgleich von Objektbereich und Stixelbereich wird beispielsweise ein Überlapp zwischen dem Objektbereich mit dem und/oder den Stixelbereichen bestimmt. Der Überlapp ist beispielsweise als eine Überlapppixelzahl ausgebildet, wobei diese die Anzahl der Pixel des Objektbereichs beschreibt, die mit den Pixeln des Stixelbereichs und/oder den Stixelbereichen zusammenfallen. Der Überlappt kann ferner als ein Prozentsatz ausgebildet sein, beispielsweise wieviel Prozent eines Objektbereichs, z.B. Fläche, in einen oder mehrere Stixelbereiche fallen. Als ein relevantes Objekt wird zum Beispiel ein Objekt bewertet, dessen Objektbereich zu höchstens 50 Prozent, im Speziellen höchstens 30 Prozent, in einen oder mehrere Stixelbereiche fällt. Insbesondere wird als relevantes Objekt ein Objekt verstanden, dessen Überlapp von Objektbereich und Stixelbereich und/oder Stixelbereichen kleiner als ein Schwellwert ist, wobei der Schwellwert beispielsweise als eine Pixelanzahl oder ein Prozentsatz ausgebildet ist.
-
Vorzugsweise wird auf das erste Bild und/oder das zweite Bild eine Bildregistrierung vorgenommen. Beispielsweise wird hierzu eines der Bilder als Referenzbild festgelegt, wobei das andere Bild transformiert wird, dass Bildbereiche von ersten und zweiten Bild, die ein gleiches Objekt und/oder Abschnitt des Überwachungsbereichs zeigen, aufeinanderliegen. Die Bildregistrierung kann eine Translation, Rotation, Scherung, Streckung und/oder Stauchung als Transformation umfassen. Insbesondere kann die Bildregistrierung eine Rektifizierung eines der Bilder umfassen. Dieser Ausgestaltung liegt die Überlegung zu Grunde, dass die Kameras zur Aufnahme des ersten und des zweiten Bildes unterschiedliche Perspektiven auf den Überwachungsbereich haben, sodass eines der Bilder zum anderen transformiert werden muss, damit gleiche Abschnitte der Bilder gleiche Abschnitte des Überwachungsbereichs zeigen.
-
Die Objekterkennung ist insbesondere als eine Personenerkennung ausgebildet. Die Objekterkennung kann zur Erkennung von Personen basierend auf Personenmerkmalen ausgebildet sein, vorzugsweise ist die Objekterkennung trainierbar und/oder maschinengelernt. Im Speziellen kann die Personenerkennung eine personifizierte Personenerkennung bilden, beispielsweise „Finde Herrn XY“, wobei zum Beispiel die Kleidung und/oder das Gesicht der Person bekannt ist. Alternativ kann die Objekterkennung eine Erkennung von bewegenden Objekten bilden, beispielsweise mit einer Mindestgeschwindigkeit, im Speziellen die Erkennung von Fahrzeugen, Tieren und Menschen. Dieser Ausgestaltung liegt die Überlegung zu Grunde eine spezifische, robuste Objekterkennung bereitzustellen.
-
Vorzugsweise wird für den und/oder für die Stixelbereiche eine Flachheit bestimmt. Die Flachheit beschreibt beispielsweise wie eben der Abschnitt des Überwachungsbereichs ist, insbesondere welche Steigungen vorliegen. Freie Abschnitte, beispielsweise freie Straßen, sind im wesentlichen flach und weißen nur eine geringe Steigung auf, wohingegen reale, ausgedehnte Objekte bezüglich dem Untergrund eine Steigung aufweisen und nicht eben dargestellt sind. Die Einstufung als relevantes oder nichtrelevantes Objekt erfolgt insbesondere basierend auf der bestimmten Flachheit. Beispielsweise kann eine maximale Steigung festgelegt sein, wobei bei Überschreiten der maximalen Steigung eines Stixelbereiches, dieser ausgeschlossen werden kann vom Abgleich mit dem oder den Objektbereichen.
-
Der Objektbereich kann beispielsweise durch eine Boundingbox festgelegt werden. Die Boundingbox ist vorzugsweise als ein rechteckiger Abschnitt des ersten Bildes und/oder des zweiten Bildes ausgebildet. Die Boundingbox bildet beispielsweise das kleinste Rechteck, das dem Objekt umschrieben werden kann.
-
Der Objektbereich und/oder der Stixelbereich wird vorzugsweise als eine Textdatei ausgegeben und/oder gespeichert. Die Textdatei kann dabei beispielsweise Position, Lage, Schwerpunkt, Größe und/oder Form des jeweiligen Bereichs umfassen. Insbesondere erfolgt der Abgleich und/oder die Einstufung des Objekts basierend auf und/oder mittels der Textdatei. Dieser Ausgestaltung liegt die Überlegung zu Grunde, ein besonders datensparendes Verfahren bereitzustellen.
-
Die Objektdetektion basiert insbesondere auf mindestens einem Sensitivitätsparameter, einem Objekterkennungsmerkmal und/oder einer Mindestgröße, wobei diese vorzugsweise voreingestellt sind, einstellbar und/oder maschinenlernbar ausgebildet sind. Ferner kann es vorgesehen sein, dass die Segmentierung des Stixelbereichs und/oder Bestimmung des Überwachungsbereichsfreiraum auf Bestimmungs- und/oder Segmentierungsparametern basiert, wobei diese voreingestellt, einstellbar und/oder maschinengelernt ausgebildet sein können.
-
Vorzugsweise bildet, beschreibt und/oder basiert der Überwachungsbereichfreiraum auf einer Freifläche, insbesondere einem Untergrund, Boden, Straße und/oder Feld. Beispielsweise wird die Disparitätskarte auf Höhen- und/oder Tiefenänderungen, die nicht durch die Perspektive verursacht sind, untersucht werden, wobei solche Bereiche mit nicht perspektivisch verursachten Tiefen- und/oder Höhenänderungen als Überwachungbereichfreiräumen ausgeschlossen werden. Im Speziellen werden Abschnitte der Disparitätskarte und/oder des Überwachungsbereiches als Überwachungsbereichfreiräume bewertet, die die rein perspektivische (Fluchtlinienförmige) Höhen- unter Tiefenänderungen aufweisen.
-
Besonders bevorzugt ist es, dass das Verfahren und/oder Verfahrensschritte des Verfahrens ein maschinelles Lernen umfassen. Beispielsweise kann die Objektbestimmung, Objektklassifizierung, die Bestimmung von Überwachungsbereichfreiräumen, die Segmentierung in Stixelbereiche, die Festlegung von Schwellwerten und/oder Parametern maschinengelernt und/oder trainiert werden, beispielsweise durch Verwendung eines neuronalen Netzes.
-
Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm, insbesondere mit Programmcodemitteln. Das Computerprogramm ist zur Ausführung auf einem Computer, einem Navigationsgerät, einer Steuereinrichtung und/oder einem Bordcomputer ausgebildet. Das Computerprogramm ist ausgebildet, bei Ausführung das Verfahren wie vorher beschrieben durchzuführen und/oder auszuführen.
-
Einen weiteren Gegenstand der Erfindung bildet ein maschinenlesbares Speichermedium, beispielsweise CD oder DVD. Das maschinenlesbare Speichermedium umfasst das Computerprogramm wie vorher beschrieben.
-
Einen weiteren Gegenstand der Erfindung bildet eine Steuereinrichtung, wobei die Steuereinrichtung ausgebildet ist, das Verfahren wie vorher beschrieben auszuführen. Die Steuereinrichtung kann beispielsweise Teil eines Fahrzeugs, beispielsweise PKW, landwirtschaftlichen Fahrzeugs oder Fluggeräts bilden. Insbesondere ist die Steuereinrichtung Teil einer Einrichtung zum autonomen Fahren. Beispielsweise kann die Steuereinrichtung das autonom fahrende Fahrzeug steuern, beispielsweise bremsen und/oder beschleunigen, im Speziellen eine Warnung an einen Fahrer ausgeben, beispielsweise, wenn ein seitlich erscheinendes und/oder eintretendes Objekt im Überwachungsbereich detektiert wird.
-
Weitere Vorteile, Wirkungen und Ausgestaltungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:
- 1 eine schematische Darstellung eines Kraftfahrzeugs mit einer Steuereinrichtung;
- 2 ein Beispiel für ein Bild mit Stixelbereich;
- 3 Bild aus 1 mit Objektbereich;
- 4 schematischer Ablauf eines Ausführungsbeispiels des Verfahrens.
-
1 zeigt beispielhaft eine Anordnung eines Kraftfahrzeuges 1 mit einer Steuereinrichtung 2. Das Kraftfahrzeug 1 ist als landwirtschaftliches Fahrzeug ausgebildet, welches beispielsweise zur Feldbearbeitung eingesetzt wird. Das Kraftfahrzeug 1 ist ein Fortbewegungsmittel und bewegt sich in Fahrtrichtung 3 vor. Die Steuereinrichtung 2 ist beispielsweise als eine Alarmierungseinrichtung für den Fahrer ausgebildet, alternativ und/oder ergänzend als ein Bremssystem zum Bremsen bei Erscheinen von Personen 4 und/oder Objekten vor dem Kraftfahrzeug 1. Der Steuereinrichtung 2 sind von einer Kameraanordnung 5 Bilder 6 bereitgestellt.
-
Die Kameraanordnung 5 ist in einem Frontbereich des Kraftfahrzeug 1 angeordnet. Die Kameraanordnung 5 ist ausgebildet, einen Überwachungsbereich 7 aufzunehmen und als Bilder 6 auszugeben. Die Kameraanordnung 5 nimmt von dem Überwachungsbereich 7 erste und zweite Bilder 6 auf. Der Überwachungsbereich 7 ist als ein Abschnitt in Fahrtrichtung 3 vor dem Kraftfahrzeug 1 ausgebildet. In dem von der Kameraanordnung 5 erfassten Überwachungsbereichs 7 ist als Objekt die Person 4 angeordnet, wobei zusätzlich ein Schatten 8 der Person 4 und ein Schatten 9 des Kraftfahrzeugs 1 im Bild 6 abgebildet wird.
-
2 zeigt beispielhaft ein erstes Bild 6, aufgenommen von der Kameraanordnung 5 aus 1. Die Kameraanordnung 5 aus 1 hat von dem Überwachungsbereich 5 auch ein zweites Bild aufgenommen, wobei erstes und zweites Bild 6 so aufgenommen sind, dass dieses zusammen stereoskopisch auswertbar sind. Das erste Bild 6 zeigt den Schatten 8 der Person 4 und den Schatten 9 des Kraftfahrzeugs 1. Die Steuereinrichtung 2, die ausgebildet ist, das Verfahren zu Objekterkennung anzuwenden, hat basierend auf dem ersten und zweiten Bild 6 eine stereoskopische Auswertung durchgeführt und eine Disparitätskarte bestimmt. Basierend auf der Disparitätskarte sind Abstände zu Bildebenen, Abstände zwischen Objekten und/oder Abstände von Objekt zu Kameraanordnung bestimmbar. Insbesondere sind basierend auf der Disparitätskarte Steigungen und/oder eine Flachheit der aufgenommenen Überwachungsbereichabschnitte bestimmbar.
-
Basierend auf der Disparitätskarte wurden Überwachungsbereichfreiräume 10 bestimmt. Diese sind Bereiche des Überwachungsbereichs 7 und/oder des ersten bzw. des zweiten Bildes 6, die keine Hindernisse aufweisen. Der Überwachungsbereichfreiraum 10 erstreckt sich hier auf eine Straße vor dem Kraftfahrzeug. Ein Böschungsbereich 11 des Überwachungsbereichs 5 weist eine Steigung auf und ist nicht teil des Überwachungsbereichfreiraum 10.
-
Basierend auf der stereoskopischen Auswertung, insbesondere der Disparitätskarte wird der Überwachungbereichfreiraum 10, insbesondere im Bild 6, stixeliert und/oder segementiert, wobei die Segmente als Stixel 12 bezeichnet werden. Stixel 12 sind Abschnitte des Umgebungsbereichs 7, die zu dem Überwachungbereichsfreiraum 10 zählen, wobei die Stixel 12 vertikal orientiert sind und eine gleiche Breite aufweisen. Stixel 12 welche eine ähnliche Steigung aufweisen, werden zu einem Stixelbereich 13 zusammengefasst.
-
3 zeigt ein weiteres erstes Bild 6, zum gleichen Überwachungsbereich aus 1, wobei hier die Person 4 schon von der Kameraanordnung 5 erfasst wird und im Bild 6 zu sehen ist. Ferner ist der Stixelbereich 13 bereits ermittelt und eingezeichnet.
-
Auf das Bild 6 wurde eine Objekterkennung angewendet, die ausgebildet ist, Personen im Bild zu erkennen. Beispielsweise basierend auf einer Größe, Form und/oder weiteren Merkmalen. Durch die Objekterkennung wurden zwei Objektbereiche 14a, 14b bestimmt, wobei der Objektbereich 14a zu der realen Person 4 gehört und der Objektberiech 14b zu dem Schatten 8 gehört. Für beide Objektbereiche wurde jeweils ein Wahrscheinlichkeitsmaß bestimmt, dass es sich bei dem Objekt um eine Person handelt. Für den Objektbereich 14a beträgt diese beispielsweise 90 Prozent und für den Objektbereich 14b 97 Prozent. Ferner wurde für beide Objektbereiche 14a, b jeweils eine Bounding Box 15a, b bestimmt, die den Objektbereich beschreibt und/oder begrenzt. Ohne einen weiteren Abgleich, würde der Objektbereich 14b falsch positiv als Person erkannt.
-
Zum Abgleich, ob es sich um eine Person als Objekt bei den Objektbereichen 14a, b handelt, wird jeweils ein Überlapp von Objektbereich 14a, b mit dem Stixelbereich 13 bestimmt. Der Überlapp beträgt für den Objektbereich 14a beispielsweise 2 Prozent, wobei der Überlapp für den Objektbereich 14b beispielsweise 53 Prozent beträgt. Zur Bewertung als relevantes Objekt, hier reale Person, und nichtrelevantes Objekt, hier Fehldetektion, wird ein Schwellwert von 40 Prozent angewendet, sodass bei einem Überlapp von mehr als 40 Prozent, der Objektbereich als nichtrelevantes Objekt bewertet wird. Durch Anwendung des Verfahrens wird damit das Objekt 4 des Objektbereichs 14a als relevantes Objekt (Person) bewertet, wobei das Objekt 8 des Objektbereichs 14b als nichtrelevantes Objekt korrekt bewertet wird.
-
4 zeigt beispielhaft einen Ablauf des Verfahrens zur Erkennung eines eintretenden Objektes gemäß 3. Im Verfahrensschritt 100 wird ein erstes und ein zweites Bild 6 von der Kameraanordnung 5 aufgenommen. Diese Bilder werden im Verfahrensschritt 200 registriert, wobei eine Rektifizierung durchgeführt wird, sodass Bildabschnitte von ersten und zweiten Bild 6 jeweils gleiche Überwachungsbereichabschnitte abbilden.
-
Ein weiterer Schritt des Verfahrens sieht die Bestimmung der Stixelbereiche 13 vor. Hierzu wird im Verfahrensschritt 300 eine Disparitätskarte basierend auf den registrierten Bildern aus Verfahrensschritt 200 bestimmt. Im Verfahrensschritt 400 wird eine Vorverarbeitung der Disparitätskarte durchgeführt, wobei beispielsweise ein Medianfilter angewendet wird, Ausreiser (z.B. Tiefe/Abstand) bestimmt und ggf. ausgeschlossen werden, Bildbereiche ausgeschlossen werden oder anderweite Filter angewendet werden.
-
Im Verfahrensschritt 500 wird die verarbeitete Disparitätskarte aus Verfahrensschritt 400 segmentiert, wobei die Stixel 12 bestimmt werden. Die Stixel 12 aus Schritt 500 werden im Verfahrensschritt 600 gefiltert und überprüft, wobei beispielsweise Stixel mit weniger als 5 Pixel, insbesondere in vertikale Richtung, verworfen werden. Die übriggebliebenen Stixel 12 werden im Verfahrensschritt 700 zu Stixelbereichen 13 zusammengefasst.
-
In einem zweiten Zweig des Verfahrensablaufs wird im Verfahrensschritt 800 eine Objekterkennung auf das erste und/oder zweite Bild angewendet. Hierbei werden Objekte, insbesondere Personen in den Bildern gesucht und detektiert. Für die gefundenen Objekte, hier Personen, werden im Verfahrensschritt 900 Bounding Boxen 15 bestimmt.
-
Die Objekte bzw. Objektbereiche 14 werden im Verfahrensschritt 1000 auf Plausibilität überprüft, wobei hier ein Abgleich mit den Stixelbereichen 13 erfolgt. Liegen zu große Teile eines Objektbereichs in den Stixelbereichen 13, werden diese als nichtrelevantes Objekt bewertet und/oder verworfen.
