DE102020200572A1

DE102020200572A1 - Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern

Info

Publication number: DE102020200572A1
Application number: DE102020200572.9A
Authority: DE
Inventors: Martin Pfitzer; Stefan Heinrich; Manuel du Bois; Felix HACHFELD; Elias Strigel
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2019-12-18
Filing date: 2020-01-20
Publication date: 2021-06-24
Also published as: WO2021121489A1; DE112020006161A5

Abstract

Die Erfindung betrifft ein Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern (1) mit den folgenden Schritten:- Aufnehmen (S1) eines Umgebungsbildes (7) mittels zumindest eines Umfelderfassungssensors eines Fahrzeugs;- Durchführen (S2) einer Konturfindung in dem Umgebungsbild (7) zum Erkennen eines Fußgängers- Ausschneiden (S3) einer erkannten Kontur des Fußgängers (1) aus dem Umgebungsbild (7) und;- Ermitteln (S4) von Landmarken in dem Umgebungsbild (7) .

Description

Die Erfindung betrifft ein Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern.
Aus dem Stand der Technik sind bereits Verfahren zur Detektion und Erfassung von Fußgängern hinreichend bekannt. So zeigt beispielsweise die Druckschrift EP2580739A2 eine Monokulare 3D-Poseneinschätzung und Verfolgung durch Erkennung. Ebenso zeigt die Druckschrift US2009175540A1 ein System, ein Verfahren und ein Computerprogrammprodukt zum Einschätzen einer Pose eines menschlichen Oberkörpers.
Bei den bisher bekannten Verfahren wird die Pose über eine Skelettdarstellung repräsentiert. Zum Festlegen eines relevanten Bereichs, in welchem sich der Fußgänger befindet, wird jeweils eine rechteckige Bounding-Box um den erkannten Fußgänger gelegt, da das Erfassen der genauen Kontur schwierig ist. Dies ist so auch in den Figuren der EP2580739A2 gezeigt. Dieser Ansatz wird auch bei anderen Objekten wie Fahrzeugen verwendet, um schnell die maximalen Ausmaße des jeweiligen Objekts abschätzen zu können.
Nachteilig bei den genannten Verfahren ist, dass die Bounding-Box je nach Objekt bzw. Ausrichtung und/oder Entfernung des Objekts zum optischen Sensor sehr groß werden kann und ggf. relevante Umgebungsmerkmale durch die Bounding-Box verdeckt sind.
Aus diesem Grund ist es eine Aufgabe der vorliegenden Erfindung ein Verfahren für eine verbesserte Objekt- und Fußgängererkennung bereitzustellen, wodurch auch die weitere Bildverarbeitung sowie eine Landmarkenerkennung verbessert werden kann.
Diese Aufgabe wird durch den Gegenstand des unabhängigen Anspruchs 1 gelöst. Weitere vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.
Erste Überlegungen waren dahingehend, dass die Bounding-Box eines Fußgängers je nach Entfernung zur Kamera oder bei entsprechender Körperhaltung, wie z.B. vom Körper weggestreckte Arme sehr groß ausfallen kann. Dies ist dann ein Problem, wenn Fußgänger für eine Lokalisierung aus dem Bild ausgespart werden sollen, um eine eindeutigere Landmarkenerkennung durchzuführen, da bei zu großen Bounding-Boxes ggf. relevante Landmarken nicht erkannt werden können.
Hierfür wird erfindungsgemäß ein Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern mit den folgenden Schritten vorgeschlagen:

- Aufnehmen eines Umgebungsbildes mittels zumindest eines Umfelderfassungssensors eines Fahrzeugs;
- Durchführen einer Konturfindung in dem Umgebungsbild zum Erkennen eines Fußgängers;
- Ausschneiden einer erkannten Kontur des Fußgängers aus dem Umgebungsbild und;
- Ermitteln von Landmarken in dem Umgebungsbild.

Bei dem Umfelderfassungssensor handelt es sich bevorzugt um eine Monokamera oder eine Stereokamera eines Fahrzeugs. Denkbar wäre auch die Verwendung einer oder mehrerer Surroundview Kameras. Mit zumindest einer dieser Kameras wird ein Umgebungsbild bzw. eine folge an Umgebungsbildern aufgenommen. Auf dieses Umgebungsbild bzw. die Folge aus Bildern wird dann ein Algorithmus angewandt, welcher Objekte und Personen in Bildern erkennt. Hierfür wird beispielsweise eine Konturfindung durchgeführt. Somit wird in dem gesamten Umgebungsbild nach entsprechenden Konturen gesucht und somit eine Fußgängerdetektion durchgeführt. Geeignet hierfür sind beispielsweise sog. Convolutional Nerual Networks (CNN) bzw. neuronale Netzwerke. Diese CNNs können unter anderem für eine Fußgängererkennung trainiert werden, um anhand von bestimmten Merkmalen in dem Umgebungsbild auf einen Fußgänger schließen zu können.
Nach dem Erkennen der Konturen eines Fußgängers können diese aus dem Umgebungsbild ausgeschnitten werden. Durch das Ausschneiden entlang der erkannten Konturen kann im Gegensatz zu einem klassischen Bounding-Box Ansatz, bei welchem eine Bounding-Box den gesamten Fußgänger umgibt, verhindert werden, dass potentielle Landmarken fälschlicherweise ausgeschnitten werden, da die Kontur in der Regel direkt am Fußgänger oder zumindest sehr nahe am Fußgänger verläuft. So wird nur der Fußgänger selbst und kein bzw. nur sehr wenig von dem Umfeld des Fußgängers ausgeschnitten.
Hiernach können in dem bearbeiteten Bild Landmarken ermittelt werden.
In einer besonders Bevorzugten Ausführungsform wird nach der Konturfindung eine Pose des Fußgängers segmentiert. Für den detektierten Fußgänger kann als Ausgestaltung der Konturfindung eine skelettähnliche Darstellung generiert werden. Diese skelettähnliche Darstellung wird mittels Detektion von Schlüsselpunkten bzw. Key-Points generiert, indem die erkannten Key-Points miteinander verbunden werden. Die skelettähnliche Darstellung stellt demnach eine relative Position und Ausrichtung einzelner Körperteile des Fußgängers dar. In dem neuronalen Netz ist beispielsweise eine Liste hinterlegt, mittels welcher sich die Segmente bestimmten Körperteilen zuordnen lassen. Denkbar wäre auch, dass anstelle der skelettähnlichen Darstellung und der Key-Point Detektion als Ausgestaltung der Konturfindung eine semantische Segmentierung durchgeführt wird, mittels welcher ebenfalls Fußgänger und Posen dieser Fußgänger detektierbar sind.
In einer weiteren bevorzugten Ausführungsform wird nach der Segmentierung der Pose des Fußgängers jedem Segment eine Segment-Bounding-Box zugeordnet. Durch das Zuordnen einer Segment-Bounding-Box zu jedem Segment der Pose lässt sich die Kontur bzw. allgemein die Größe des Fußgängers genauer bestimmen. Dies ist insbesondere dann vorteilhaft, wenn die Bereiche mit Fußgängern für einen Lokalisierungsalgorithmus ausgespart werden, da die ausgesparten Bereiche der einzelnen Segment-Bounding-Boxes kleiner sind, als ein Bereich einer einzigen, den gesamten Fußgänger umfassenden Bounding-Box. Auf diese Weise wird verhindert, dass Landmarken, welche für die Lokalisierung potentiell wichtig sind, aufgrund einer zu großen Bounding-Box ausgespart werden und dem Lokalisierungsalgorithmus nicht mehr zur Verfügung stehen. Das Verfahren ist weiterhin insbesondere bei mehreren erkannten Fußgängern besonders vorteilhaft. Bei mehreren Personen wäre mit dem derzeitigen Stand der Technik ein weitaus größerer Bereich durch die Bounding-Boxes abgedeckt und noch mehr potentiell nutzbare Landmarken würden ausgespart werden. So ist bevorzugt vorgesehen, die Segment-Bounding-Boxes auszuschneiden, um dann in dem verbliebenen Umgebungsbild eine Landmarkenerkennung durchzuführen. Das verbliebene Umgebungsbild entspricht dann lediglich der Umgebung ohne Fußgänger. Dies ist vorteilhaft, da dadurch das Bild bzw. die Datenmenge verkleinert wird und ein kleinerer Bereich des Umgebungsbildes auf Landmarken überprüft werden muss. Die Landmarkenerkennung selbst kann ebenfalls mittels einer semantischen Segmentierung realisiert werden. Unter Ausschneiden der Bounding-Boxes wird im Lichte der Erfindung das Aussparen der durch die Segment-Bounding-Boxes abgedeckten Bereiche verstanden.
In einer bevorzugten Ausführungsform wird für die Segmentierung der Pose eine räumliche Ausdehnung von bestimmten Key-Points im Bildbereich modelliert. Diese bestimmten Key-Points können beispielsweise Gelenkverbindungen von Armen und Beinen sein. Alternativ oder kumulativ können mit diesen Key-Points beispielsweise die Verbindung zwischen Kopf und Torso festgelegt werden.
In einer weiteren Ausgestaltung entspricht die räumliche Ausdehnung einer Modellierung der Proportionen des zumindest einen erkannten Fußgängers. Hiermit lässt sich auf vorteilhafte Weise die Größe der einzelnen Körperteile modellieren, um dann die Größe der Segment-Bounding-Boxes entsprechend daran anpassen zu können.
Eine weitere vorteilhafte Ausführungsform sieht vor, dass auf Basis der modellierten Proportionen Annahmen über die Kontur des Fußgängers getroffen werden. Auch dies kann bei der Berechnung der Größe der Segment-Bounding-Boxes berücksichtigt werden.
Weiter wird in einer Ausgestaltung die Pose in Kopf, Torso, Beine und Arme segmentiert. Auf diese Weise lässt dich die Pose auf einfache Weise segmentieren. Weiterhin ist die präzise Erkennung der einzelnen Körperteile für verschiedene Assistenzsysteme vorteilhaft, da sich bspw. aus der Ausrichtung des Kopfes oder der Beine eine Fußgängerintention ableiten lässt. Hierbei werden Segment-Boundig-Boxes für die Arme, Beine, den Kopf und den Torso erzeugt.
Weitere vorteilhafte Ausgestaltungen ergeben sich aus den Zeichnungen.
Darin zeigen:

1a und 1b jeweils eine schematische Ansicht eines Bounding-Box Ansatzes gemäß dem Stand der Technik
2a und 2b jeweils eine schematische Darstellung einer skelettähnlichen Darstellung eines Fußgängers;
3 eine schematische Darstellung eines erfindungsgemäßen Bounding-Box Ansatzes;
4 ein schematisches Ablaufdiagramm einer Ausführungsform der Erfindung.

1a und 1b zeigen jeweils eine schematische Ansicht eines Bounding-Box Ansatzes gemäß dem Stand der Technik. In den 1a und 1b wird ein Fußgänger 1 mittels einer Kamera eines Fahrzeugs erfasst. Um diesen erkannten Fußgänger 1 wird eine Bounding-Box 2 gelegt, um die Abmessungen des Fußgängers 1 abschätzen zu können. Wie in den beiden Figuren gezeigt liegt innerhalb der Bounding-Box 2 ein Bereich 3 mit einer potentiellen Landmarke. Würde nun die Bounding-Box 2 der 1a und 1b für einen Lokalisierungsalgorithmus ausgespart, würde die Bereiche 3 mit einer potentiellen Landmarke ebenfalls ausgespart und diese Landmarken würden für die Lokalisierung nicht zur Verfügung stehen.
Die 2a und 2b zeigen eine schematische Darstellung einer skelettähnlichen Darstellung 4 eines Fußgängers 1. Hierbei wird eine skelettähnliche Darstellung 4 für den erkannten Fußgänger 1 generiert. Weiterhin zu sehen sind Key-Points 6 bzw. Schlüsselpunkte, welche zum Teil Gelenkpunkten des Fußgängers 1 entsprechen und welche den groben Verlauf der skelettähnlichen Darstellung 4 festlegen. Mit dieser Darstellung lässt sich bereits die Pose des Fußgängers 1 abschätzen. Allerdings ist diese Darstellung nicht geeignet die genaue Größe bzw. die Abmessungen des Fußgängers 1 zu beschreiben, da die skelettähnliche Darstellung 4 lediglich eine grobe Darstellung des Fußgängers beschreibt.
In 3 ist eine schematische Darstellung eines erfindungsgemäßen Bounding-Box Ansatzes gezeigt. Hierbei ist auch eine skelettähnliche Darstellung 4 mit den entsprechenden Key-Points 6 wie in 2b gezeigt. Diese dient als Ausgangsbasis für die jeweiligen Segment-Bounding-Boxes 5, welche die einzelnen Segmente der Pose des Fußgängers 1 beschreiben. Hierfür wird eine räumliche Ausdehnung der Fußgängerproportionen modelliert. Auf Basis dieser Modellierung werden die Segment-Bounding-Boxes 5 erzeugt und somit kann auf die Kontur des Fußgängers 1 geschlossen werden.
4 zeigt ein schematisches Ablaufdiagramm einer Ausführungsform der Erfindung. In Schritt S1 wird ein Umgebungsbild mittels zumindest eines Umfelderfassungssensors eines Fahrzeugs aufgenommen. In Schritt S2 wird daraufhin eine Konturfindung zum Erkennen eines Fußgängers durchgeführt. In Schritt S3 wird die erkannte Kontur des Fußgängers aus dem Umgebungsbild ausgeschnitten und in einem darauffolgenden Schritt S4 werden daraufhin Landmarken in dem Umgebungsbild ermittelt.
Bezugszeichenliste

1: Fußgänger
2: Bounding-Box
3: Bereich mit potentieller Landmarke
4: skelettähnliche Darstellung
5: Segment-Bounding-Box
6: Key-Points
7: Umgebungsbild
S1-S6: Verfahrensschritte

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2580739 A2 [0002, 0003]
US 2009175540 A1 [0002]

Claims

Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern (1) mit den folgenden Schritten: - Aufnehmen (S1) eines Umgebungsbildes (7) mittels zumindest eines Umfelderfassungssensors eines Fahrzeugs; - Durchführen (S2) einer Konturfindung in dem Umgebungsbild (7) zum Erkennen eines Fußgängers - Ausschneiden (S3) einer erkannten Kontur des Fußgängers (1) aus dem Umgebungsbild (7) und; - Ermitteln (S4) von Landmarken in dem Umgebungsbild (7) .
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass nach der Konturfindung eine Pose des Fußgängers (1) segmentiert wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass nach der Segmentierung der Pose jedem Segment der segmentierten Pose des Fußgängers (1) eine Segment-Bounding-Box (5) zugeordnet wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass für die Segmentierung der Pose eine räumliche Ausdehnung von bestimmten Key-Points (6) im Bildbereich modelliert wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die räumliche Ausdehnung einer Modellierung der Proportionen des zumindest einen erkannten Fußgängers (1) entspricht.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass auf Basis der modellierten Proportionen Annahmen über die Kontur des Fußgängers (1) getroffen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Pose in Kopf, Torso, Beine und Arme segmentiert wird.