DE102017006785A1

DE102017006785A1 - Verfahren zur gezielten Detektion von Personen

Info

Publication number: DE102017006785A1
Application number: DE102017006785.6A
Authority: DE
Inventors: Guido Hertwig; Rene Wirtz; Helmut Eisele; Jonas FIRL; Bernd Woltermann; Klaus Röhm; Martin Hümmer; Benedikt Ehrl; Heidi Loose
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2017-07-18
Filing date: 2017-07-18
Publication date: 2018-01-04

Abstract

Die Erfindung betrifft ein Verfahren zur gezielten Detektion von Personen im Umfeld eines Fahrzeugs (1) mit wenigstens einem optischen Umgebungssensor (3) zum Erfassen von Personen und mit einer die erfassten Bilddaten verarbeitenden Bildverarbeitungseinrichtung (4). Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass in der Bildverarbeitungseinrichtung (4) diejenigen Personen lokalisiert werden, welche in Richtung des Fahrzeugs (1) blicken oder ihr Gesicht dem Fahrzeug (1) zuwenden, und dass danach die Gesten der lokalisierten Personen ausgewertet werden, wobei in dem Fahrzeug (1) eine optische und/oder akustische Information aktiviert wird, wenn wenigstens eine der lokalisierten Personen (2') ein Handzeichen gibt oder Winkbewegungen ausführt.

Description

Die Erfindung betrifft ein Verfahren zur gezielten Detektion von Personen im Umfeld eines Fahrzeugs nach der im Oberbegriff von Anspruch 1 näher definierten Art.
Aus der DE 10 2015 204 528 A1 ist prinzipiell ein Verfahren zur Detektion von Umgebungsobjekten, welche auch Personen sein können, im Umfeld eines Fahrzeugs bekannt. Das dort beschriebene Verfahren besteht im Wesentlichen aus einer Groberkennung des Objekts, und dann einer Art Heranzoomen bzw. erhöhender Auflösung, um das durch die Groberkennung bereits erkannte Objekt durch eine Art Feinerkennung bezüglich der Erkennung zu verbessern bzw. das Ergebnis der Groberkennung zu verifizieren.
In der Praxis ist es häufig so, dass eine ein Fahrzeug nutzende Person eine andere Person abholen will, beispielsweise nach einer Kulturveranstaltung oder ähnlichem, oder dass eine Person aus einer größeren Menge von Personen sich dem Fahrzeug bzw. der das Fahrzeug nutzenden Person erkennbar machen will. Insbesondere bei einer großen Anzahl von Personen ist es für die das Fahrzeug nutzende Person dann außerordentlich schwierig, die jeweils für sie relevante Person unter den anderen Personen zu erkennen und zuverlässig zu finden.
Die Aufgabe des hier beschriebenen Verfahrens ist es, dieser Problematik abzuhelfen und ein Verfahren anzugeben, welches unter Nutzung der im Fahrzeug vorhandenen Technologien das gezielte Erkennen von speziellen Personen verbessert.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.
Bei dem erfindungsgemäßen Verfahren ist es so, dass, vergleichbar wie im Stand der Technik, Personen im Umfeld eines Fahrzeugs mit wenigstens einem optischen Umgebungssensor erfasst werden, und dass die erfassten Bilder dann in einer Bildverarbeitungseinheit verarbeitet werden.
Erfindungsgemäß ist es nun vorgesehen, dass durch die Bildverarbeitungseinheit in der Menge der insgesamt erfassten Personen zunächst diejenigen Personen lokalisiert werden, welche in Richtung des Fahrzeugs blicken oder ihr Gesicht dem Fahrzeug zuwenden. Diese lokalisierten Personen werden dann dahingehend ausgewertet, dass nach Gesten der lokalisierten Personen gesucht wird. In dem Fahrzeug ergeht dann eine optische und/oder akustische Information an die das Fahrzeug nutzende Person, wenn wenigstens eine der lokalisierten Personen ein Handzeichen gibt oder eine Winkbewegung ausführt. Das erfindungsgemäße Verfahren nutzt also die im Fahrzeug vorhandene Umfeldsensorik, um aus einer Menge von mehreren Personen diejenigen Personen oder diejenige Person herauszufiltern, welche der das Fahrzeug nutzenden Person ein Zeichen gibt, beispielsweise in dem sie die Hand hebt, dem Fahrzeug winkt oder dergleichen. Um einerseits die Menge an auszuwertenden Gesten zu reduzieren und die Wahrscheinlichkeit von Fehlern zu reduzieren, wird die Auswertung der Gesten nur bei denjenigen Personen vorgenommen, die entweder in Richtung des Fahrzeugs und damit seines optischen Umfeldsensors blicken bzw. diesem ihr Gesicht zuwenden. Auf diese Art ist es möglich, eine Person die sich über ein Handzeichen oder eine Winkbewegung für das Fahrzeug und die das Fahrzeug nutzende Person erkennbar macht, aufzufinden. Die Umfeldsensorik des Fahrzeugs unterstützt die das Fahrzeug nutzende Person dann, indem sie einen entsprechenden optischen oder akustischen Hinweis ausgibt, dass eine solche Person detektiert worden ist. Damit kann beispielsweise eine abzuholende Person aus einer Gruppe von Personen sehr leicht erkannt werden oder es kann beispielsweise auch eine Person, welche aus einer Gruppe von Personen heraus eine Straße überqueren will und daher ein Handzeichen gibt, erkannt werden, was die Verkehrssicherheit erhöht.
Eine sehr vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens sieht es dabei vor, dass in dem Fahrzeug eine optische Anzeigeeinheit vorgesehen wird, auf welcher das Bildmaterial mit zumindest einem Teil der erfassten Personen gezeigt wird, wobei die wenigstens eine lokalisierte Person, welche das Handzeichen gibt oder die Winkbewegung ausführt, optisch markiert wird. Der das Fahrzeug nutzenden Person kann also beispielsweise auf einem Bildschirm ein Bild der Umgebung angezeigt werden, mit den in der Umgebung befindlichen Personen oder zumindest der Gruppe von Personen, innerhalb welcher sich die Person, die das Handzeichen gegeben hat oder die die Winkbewegung ausgeführt hat, befindet. Die das Fahrzeug nutzende Person kann so das Szenario auf der optischen Anzeigeeinheit wie beispielsweise einem Bildschirm, direkt mit dem Szenario in der Realität vergleichen. Wenn das Fahrzeug bzw. seine Umfeldsensorik dann wenigstens eine Person erkannt hat, welche beispielsweise dem Fahrzeug winkt, dann wird dies einerseits dadurch angezeigt, dass der das Fahrzeug nutzenden Person das Ereignis an sich angezeigt wird und andererseits wird in der optischen Anzeigeeinheit diese Person entsprechend markiert, sodass sie beispielsweise in einer Gruppe von mehreren Personen sehr leicht für die das Fahrzeug nutzende Person erkennbar wird.
Die Markierung kann gemäß einer vorteilhaften Weiterbildung dadurch erfolgen, dass die wenigstens eine markierte Person auf dem angezeigten Bildmaterial farblich markiert und/oder mit einem Rahmen versehen wird. Hierdurch ist es beispielsweise möglich, die Person mit einem roten Feld zu unterlegen oder mit roter Farbe einzurahmen, um sie so gegenüber den anderen Personen auf der optischen Anzeigeeinheit sehr leicht erkennbar zu machen.
Eine weitere sehr vorteilhafte Ausgestaltung der Idee sieht es dabei vor, dass die Auswertung der lokalisierten Personen unterhalb einer Grenzgeschwindigkeit des Fahrzeugs erfolgt. In der Praxis ist es so, dass die beschriebene Funktionalität vor allem dann hilfreich ist, wenn beispielsweise Personen abgeholt werden sollen. Typischerweise ist das Fahrzeug dann mit einer niedrigen Geschwindigkeit unterwegs. Die relativ rechenintensive Auswertung muss also nur dann erfolgen, wenn das Fahrzeug mit niedriger Geschwindigkeit fährt. Doch gerade in dieser Situation ist eine entsprechende Auswertung von Interesse. Es kann daher gemäß der beschriebenen vorteilhaften Weiterbildung also vorgesehen sein, dass die Auswertung eben nur bei niedrigen Fahrzeuggeschwindigkeiten erfolgt.
Gemäß einer weiteren vorteilhaften Ausgestaltung der Idee kann es dabei vorgesehen sein, dass die Grenzgeschwindigkeit, ab welcher die Auswertung erfolgt, von der das Fahrzeug nutzenden Person wählbar ist, da sie beispielsweise von verschiedenen Situationen abhängig ist, beispielsweise den typischerweise auftretenden Szenarien, die je nach Situation unterschiedliche Fahrgeschwindigkeiten erlauben, bei denen die das Fahrzeug nutzende Person die Funktionalität verwenden möchte.
Selbstverständlich ist es auch denkbar, die Funktionalität prinzipiell so auszugestalten, dass diese manuell aktivierbar ist, was dann auch unabhängig von der Geschwindigkeit erfolgen könnte.
Um den Aufbau möglichst einfach und kompakt zu gestalten, kann es gemäß einer vorteilhaften Ausgestaltung der Idee auch vorgesehen sein, dass die Bildverarbeitungseinheit in den optischen Sensor, welcher bevorzugt als Kamera oder Stereokamera ausgebildet ist, integriert wird. In diesem Fall liefert der optische Sensor bzw. die optische Erfassungseinheit dann direkt die entsprechenden Daten und kann beispielsweise unmittelbar mit einer optischen Anzeigeeinheit sowie einer Einheit zur Ausgabe eines optischen und/oder akustischen Warnsignals gekoppelt werden.
Weitere vorteilhafte Ausgestaltungen der Idee ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figuren näher beschrieben wird.
Dabei zeigen:
1 ein beispielhaftes Szenario zur Durchführung des erfindungsgemäßen Verfahrens; und
2 ein alternatives Szenario in einer Sicht aus dem Cockpit des Fahrzeugs.
In der Darstellung der 1 ist ein Fahrzeug 1 sowie eine vor dem Fahrzeug befindliche in ihrer Gesamtheit mit 2 bezeichnete Personengruppe zu erkennen. Über eine Kamera 3 als optischen Umfeldsensor wird unter anderem diese Personengruppe 2 erfasst. Die erfassten Bilddaten gelangen zu einer Bildverarbeitungseinheit 4. In dieser Bildverarbeitungseinheit werden nun von den Personen in der Personengruppe 2 diejenigen Personen lokalisiert, welche in Richtung des Fahrzeugs 1 blicken, oder welche ihr Gesicht dem Fahrzeug 1 zuwenden. Von diesen lokalisierten Personen, welche die Grundmenge für die nachfolgende Auswertung bildet, werden nun die Gesten ausgewertet. Die Auswertung der Gesten kann beispielsweise in der Art erfolgen, dass eine Bewegung der Gliedmaßen, ein Handzeichen oder eine Winkbewegung einer der lokalisierten Personen erkannt wird. In der Darstellung der 1 hebt beispielsweise die mit 2 bezeichnete Person ihren Arm. Diese Geste wird entsprechend erfasst und in dem Fahrzeug 1 bzw. der Bildverarbeitungseinheit 4, welche auch in die Kamera 3 integriert sein könnte, ausgewertet. Nachdem dieses Ereignis festgestellt worden ist, wird in dem Fahrzeug 1 eine optische oder akustische Information aktiviert. In der Darstellung der 1 ist dafür eine optische Anzeigeeinheit 5 in Form eines Bildschirms prinzipmäßig angedeutet. Dieser kann beispielsweise seine Farbe wechseln, das Wort „Person” oder die Worte „Person gefunden” anzeigen, ein entsprechendes Symbol oder Piktogramm anzeigen oder dergleichen. Der das Fahrzeug 1 nutzenden Person wird dann die Möglichkeit gegeben, dass das Fahrzeug 1 sie darüber informiert, dass eine der Personen 2' der Personengruppe 2 das Fahrzeug 1 bzw. die dieses nutzende Person auf sich aufmerksam machen will. Es kann sich beispielsweise um eine Person handeln, welche die das Fahrzeug 1 nutzende Person kennt, und welche diese beispielsweise von einem kulturellen Ereignis, wie einem Konzert oder Ähnlichem, abholen will.
In der Darstellung der 2 ist ein vergleichbares Szenario mit einer Sicht aus einem Cockpit des Fahrzeugs 1 dargestellt. In dem Cockpit des Fahrzeugs 1 ist prinzipmäßig ein Lenkrad 6 angedeutet, ebenso wie ein Bildschirm 5 als optische Anzeigeeinheit, beispielsweise im Bereich der Mittelkonsole. Das Fahrzeug 1 fährt eine mit 7 bezeichnete Straße entlang. Auf beiden Seiten der Straße befinden sich einzelne Personengruppen 2, wobei zwei dieser Personengruppen 2 auf der linken und eine der Personengruppen 2 auf der rechten Seite stehen. Diese Personen werden nun wiederum über eine in der Darstellung der 2 nicht dargestellte Kamera 3 des Fahrzeugs erfasst. Aus dieser Gesamtmenge der erfassten Personen werden dann die Personen lokalisiert, welche ihr Gesicht dem Fahrzeug 1 zuwenden bzw. in Richtung des Fahrzeugs 1 blicken. Gibt sich eine dieser lokalisierten Personen zusätzlich durch eine Geste, wie das Handzeichen der Person 2', zu erkennen, beispielsweise weil sie das Fahrzeug einer Bezugsperson erkennt, welche sie abholen will, dann wird dies durch die Bildverarbeitungseinheit 4 in den erfassten Bilddaten erkannt.
In dem hier dargestellten Ausführungsbeispiel der 2 führt dies einerseits zu einem Hinweis 8, im Frontdisplay des Cockpits. Hier wird in dem dargestellten Ausführungsbeispiel das Wort „Person!” als Hinweis darauf, dass eine winkende Person 2 erkannt worden ist, angezeigt. Je nach Größe der einzelnen Personengruppen 2 kann es nun jedoch sehr schwer sein, die entsprechende Person 2' innerhalb dieser Gruppe zu finden. Auf dem Bildschirm 5 wird daher zumindest die Personengruppe 2, in welcher sich die winkende Person 2' befindet, angezeigt. Die winkende Person 2' ist dabei markiert, beispielsweise indem sie durch eine andere Farbe unterlegt ist, und/oder durch eine entsprechende Umrandung markiert wird. In der Darstellung der 2 ist rein beispielhaft eine Umrandung um die Person 2', welche dem Fahrzeug 1 zuwinkt, gewählt.
Die das Fahrzeug 1 fahrende Person erhält also, ohne dass sie vom Verkehrsgeschehen abgelenkt wird, aus dem Bereich ihres Frontdisplays den Hinweis, dass eine der Personen ihr zuwinkt. Sieht sie diese Person 2' nicht direkt, hat sie die Möglichkeit, auf den Bildschirm 5, beispielsweise im Bereich der Mittelkonsole, zu schauen, um dann sehr einfach und effizient zu erkennen, dass die winkende Person 2' in der auf der rechten Seite der Fahrbahn befindlichen Personengruppe 2 steht.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015204528 A1 [0002]

Claims

Verfahren zur gezielten Detektion von Personen im Umfeld eines Fahrzeugs (1) mit wenigstens einem optischen Umgebungssensor (3) zum Erfassen von Personen und mit einer die erfassten Bilddaten verarbeitenden Bildverarbeitungseinrichtung (4), dadurch gekennzeichnet, dass in der Bildverarbeitungseinrichtung (4) diejenigen Personen lokalisiert werden, welche in Richtung des Fahrzeugs (1) blicken oder ihr Gesicht dem Fahrzeug (1) zuwenden, und dass danach die Gesten der lokalisierten Personen ausgewertet werden, wobei in dem Fahrzeug (1) eine optische und/oder akustische Information aktiviert wird, wenn wenigstens eine der lokalisierten Personen (2') ein Handzeichen gibt oder Winkbewegungen ausführt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in dem Fahrzeug (1) eine optische Anzeigeeinheit (5) vorgesehen ist, auf welcher das Bildmaterial mit zumindest einem Teil der erfassten Personen angezeigt wird, wobei die wenigstens eine lokalisierte Person (2'), welche das Handzeichen gibt oder die Winkbewegung ausführt, optisch markiert wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die wenigstens eine optisch markierte Person auf dem angezeigten Bildmaterial farblich markiert und/oder mit einem Rahmen versehen wird.
Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass die Auswertung der lokalisierten Personen unterhalb einer Grenzgeschwindigkeit des Fahrzeugs (1) erfolgt.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Grenzgeschwindigkeit von einer das Fahrzeug (1) nutzenden Person wählbar vorgegeben wird.
Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass die Auswertung der lokalisierten Personen nach einem manuellen Start der Funktionalität durch eine das Fahrzeug (1) nutzende Person erfolgt
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die optische Bildverarbeitungseinheit (4) in den optischen Sensor (3), welcher bevorzugt als Kamera oder Stereokamera ausgebildet ist, integriert wird.