DE102019214937A1 - Verfahren zur Erkennung von Zeichengebung im Umfeld eines Fahrzeugs - Google Patents

Verfahren zur Erkennung von Zeichengebung im Umfeld eines Fahrzeugs Download PDF

Info

Publication number
DE102019214937A1
DE102019214937A1 DE102019214937.5A DE102019214937A DE102019214937A1 DE 102019214937 A1 DE102019214937 A1 DE 102019214937A1 DE 102019214937 A DE102019214937 A DE 102019214937A DE 102019214937 A1 DE102019214937 A1 DE 102019214937A1
Authority
DE
Germany
Prior art keywords
vehicle
recognized
signaling
person
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019214937.5A
Other languages
English (en)
Inventor
Fabian Sasse
Muenir Kayalar
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102019214937.5A priority Critical patent/DE102019214937A1/de
Publication of DE102019214937A1 publication Critical patent/DE102019214937A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Verfahren zur Erkennung von Zeichengebung im Umfeld eines Fahrzeugs (100), aufweisend die Schritte:- Einlesen von Bilddaten in einem Umfeld, insbesondere in einem hinteren und/oder in einem hinteren seitlichen Umfeld des Fahrzeugs (100);- Auswerten der Bilddaten betreffend eine optisch wahrnehmbare Zeichengebung; und- Signalisieren der erkannten Zeichengebung.

Description

  • Die Erfindung betrifft ein Verfahren zur Erkennung von Zeichengebung im Umfeld eines Fahrzeugs. Die Erfindung betrifft ferner eine Vorrichtung zur Ausführung des Verfahrens. Die Erfindung betrifft ferner ein Computerprogramm. Die Erfindung betrifft ferner maschinenlesbares Speichermedium.
  • Beim Rangieren, insbesondere beim Zurücksetzen von LKWs und schweren Nutzfahrzeugen sind in vielen Ländern Sicherungsmaßnahmen, wie zum Beispiel Kamerasysteme und/oder menschliche Einweiser zwingend vorgeschrieben. Die gleichzeitige Beobachtung von Verkehrsgeschehen, Fahrzeug und Einweiser/Sicherungsposten stellt dabei hohe kognitive Anforderungen an den Fahrer.
  • Bekannt sind weiterhin Kamerasysteme, welche den klassischen Außen- bzw. Rückspiegel an Fahrzeugen ersetzen können. Dabei werden vom Fahrer nicht direkt einsehbare Bereiche rund um das Fahrzeug von Kameras aufgenommen und inner- oder außerhalb des Fahrzeugs auf Displays wiedergegeben. Derartige Systeme sind unter der Bezeichnung „Spiegelersatz(-kameras)“, Bird-/Top View/360° / Rundumsicht-Kameras bekannt.
  • DE 10 2016 007 522 A1 offenbart Funktionen zum situationsabhängigen Vergrößern relevanter Bildbereiche.
  • EP 2 292 325 A1 offenbart Systeme, welche Gesten zur Steuerung eines automatisierten Fahrzeugs verwenden. Ein Signal wird dabei genutzt, um das Fahrzeug von außen zu kontrollieren.
  • DE 10 2016 014 675 A1 offenbart Zonen in einem Umfeld eines Fahrzeugs, die zum Beispiel durch Video überwacht werden, um eine automatisierte Objekterkennung (bzw. Personenerkennung) bereitzustellen, um den Fahrer zu warnen.
  • Offenbarung der Erfindung
  • Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Erkennen von Zeichengebung im Umfeld eines Fahrzeugs bereitzustellen.
  • Gemäß einem ersten Aspekt schafft die Erfindung ein Verfahren zum Erkennen von Zeichengebung im Umfeld eines Fahrzeugs, aufweisend die Schritte:
    • - Einlesen von Bilddaten in einem Umfeld, insbesondere in einem hinteren und/oder in einem hinteren seitlichen Umfeld des Fahrzeugs;
    • - Auswerten der Bilddaten betreffend eine optisch wahrnehmbare Zeichengebung; und
    • - Signalisieren der erkannten Zeichengebung.
  • Vorteilhaft wird dadurch ein Verfahren bereitgestellt, welches eine optisch wahrnehmbare Zeichengebung (z.B. Gestik einer Person (z.B. Einweiser), Lichtzeichenanlage) im hinteren Umfeld eines Fahrzeugs erkennen kann und diese zu einer weiteren Verwendung signalisiert.
  • Gemäß einem zweiten Aspekt wird die Aufgabe gelöst mit einer Vorrichtung, die ausgebildet ist, das vorgeschlagene Verfahren auszuführen.
  • Gemäß einem dritten Aspekt wird die Aufgabe gelöst mit einem Computerprogramm.
  • Gemäß einem vierten Aspekt wird die Aufgabe gelöst mit einem maschinenlesbaren Speichermedium.
  • Bevorzugte Ausführungsformen des vorgeschlagenen Verfahrens sind Gegenstand von jeweils abhängigen Ansprüchen.
  • Eine vorteilhafte Weiterbildung des Verfahrens ist dadurch gekennzeichnet, dass eine Gestik einer Person erkannt wird. Auf diese Weise wird vorteilhaft eine einweisende Person erkannt, wodurch für einen Fahrer des Fahrzeugs ein Rangiervorgang des Fahrzeugs leichter und sicherer möglich ist.
  • Eine weitere vorteilhafte Weiterbildung des Verfahrens ist dadurch gekennzeichnet, dass eine normierte Gestik der Person erkannt wird. Vorteilhaft ist dadurch eine Erkennung einer einheitlichen bzw. standardisierten Zeichengebung unterstützt, wodurch eine universelle Verwendbarkeit des Verfahrens unterstützt ist.
  • Eine weitere vorteilhafte Weiterbildung des Verfahrens ist dadurch gekennzeichnet, dass eine Zeichengebung einer Lichtzeicheneinrichtung erkannt wird. Vorteilhaft ist das Verfahren dadurch auch in der Lage, Zeichen von Lichtzeicheneinrichtungen bzw. Signalanlagen zu erkennen, wodurch ein Rangiervorgang des Fahrzeugs noch sicherer gestaltet werden kann.
  • Eine weitere vorteilhafte Weiterbildung des Verfahrens ist dadurch gekennzeichnet, dass das Signalisieren der erkannten Zeichengebung nach wenigstens einem der folgenden Prinzipien durchgeführt wird: akustisch, optisch, haptisch. Vorteilhaft ist dadurch eine vielfältige Signalisierung und damit hohe Erkennbarkeit der Zeichengebung unterstützt.
  • Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass mittels der Signalisierung der erkannten Zeichengebung das Fahrzeug gesteuert werden kann. Dadurch kann vorteilhaft zumindest teilweise auch eine externe Steuerung des Fahrzeugs mithilfe der erkannten Zeichengebung realisiert werden.
  • Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass die erkannte, einweisende Person auf einem Display des Fahrzeugs graphisch hervorgehoben wird. Vorteilhaft ist dadurch die Erkennbarkeit der Person noch weiter verbessert und dadurch ein Aufenthalt der Person im hinteren Umfeld des Fahrzeugs noch sicherer. Vorteilhafterweise zeigt dieses Display das Kamerabild, das der Fahrzeugführer zur Orientierung und zum Rangieren nutzt.
  • Eine weitere vorteilhafte Weiterbildung des Verfahrens ist dadurch gekennzeichnet, dass die Person auch dann erkannt wird, wenn sie wenigstens teilweise verdeckt ist. Dadurch werden vorteilhaft auch nicht vollständig sichtbare Personen erkannt und deren Gestik ausgewertet, wodurch ein Sicherheitsniveau für die einweisende Person noch weiter erhöht ist.
  • Eine weitere vorteilhafte Ausführungsform des Verfahrens zeichnet sich dadurch aus, dass keine Signalisierung durchgeführt wird, wenn sich die erkannte Zeichengebung nicht ändert. Vorteilhaft ist dadurch unterstützt, dass der Fahrer des Fahrzeugs nicht mit unnötigen Informationen überfrachtet wird und sich dadurch besser auf einen Rangiervorgang des Fahrzeugs konzentrieren kann.
  • Eine weitere vorteilhafte Ausführungsform des Verfahrens zeichnet sich dadurch aus, dass das Erkennen der Zeichengebung mit wenigstens zwei technologisch diversifizierten Sensoreinrichtungen durchgeführt wird. Vorteilhaft ist dadurch eine noch bessere und präzisere Erkennung der Zeichengebung unterstützt.
  • Eine weitere vorteilhafte Ausführungsform des Verfahrens zeichnet sich dadurch aus, dass die Signalisierung der erkannten Zeichengebung auf ein mobiles Endgerät des Fahrers des Fahrzeugs und/oder auf ein Display des Fahrzeugs durchgeführt wird. Dadurch werden vorteilhaft unterschiedliche Möglichkeiten zur Signalisierung der erkannten Zeichengebung bereitgestellt.
  • Eine weitere vorteilhafte Ausführungsform des Verfahrens zeichnet sich dadurch aus, dass eine Erkennung einer Bewegung der gesamten Person mittels eines mobilen Endgeräts der Person durchgeführt wird. Auf diese Weise kann die Person und deren Gestik im Umfeld des Fahrzeugs noch zuverlässiger erkannt werden.
  • Die Erfindung wird im Folgenden mit weiteren Merkmalen und Vorteilen anhand von mehreren Figuren im Detail beschrieben. Die Figuren sind insbesondere dazu gedacht, die erfindungswesentlichen Prinzipien zu verdeutlichen und sind nicht unbedingt maßstabsgetreu ausgeführt.
  • In den Figuren zeigt:
    • 1 ein prinzipielles Diagramm zum Erläutern der Problematik einer Person im Umfeld eines Fahrzeugs;
    • 2 eine prinzipielle Darstellung einer Signalkette des vorgeschlagenen Verfahrens;
    • 3 eine Darstellung von normierten Handbewegungen, die mittels des vorgeschlagenen Verfahrens erkannt werden können; und
    • 4 einen prinzipiellen Ablauf eines vorgeschlagenen Verfahrens zur Erkennung von Zeichengebung im Umfeld eines Fahrzeugs.
  • Beschreibung von Ausführungsformen
  • Ein Kerngedanke der vorliegenden Erfindung besteht insbesondere darin, ein verbessertes Verfahren zum Erkennen von Zeichengebung im Umfeld eines Fahrzeugs bereitzustellen.
  • Beim Rückwärtsfahren schwerer Nutzfahrzeuge sind in Deutschland und anderen zahlreichen anderen Ländern gesetzlich und durch Berufsgenossenschaften Maßnahmen vorgeschrieben, die den Bereich hinter dem Fahrzeug überwachen. Die gängigste und am weitesten verbreitete Maßnahme ist ein Einweiser, der sich schräg hinter dem Fahrzeug befindet und dem Fahrer durch spezifische Handzeichen bzw. Gestik Anweisungen gibt (z.B. „Langsam“, „rechts/links halten“, „Stopp!“, „Gefahr!“, usw.).
  • 1 zeigt die oben genannte Problematik. Man erkennt ein Fahrzeug 100 (z.B. ein Lastkraftwagen, Nutzfahrzeug, usw.) in dessen hinterem Bereich sich zwei Personen 1, 2 (z.B. Einweiser) aufhalten. Ferner erkennt man einen toten Winkel 50 sowie Sichtfelder 60, 70, in denen sich jeweils eine einweisende Person 1, 2 aufhält. Die Sichtfelder 60, 70 sind durch Kameraeinrichtungen 10, 20 einsehbar, die beispielsweise als digitaler Rückspiegel in Form von elektronischen Spiegelersatzkameras ausgebildet sind und visuelle Bilder in das Innere des Fahrzeugs 100 auf Displays (nicht dargestellt) liefern können.
  • Vorgeschlagen wird, dass das Fahrzeug 100 die Kameraeinrichtungen 10, 20 nutzt und mit den in den Sichtfeldern 60, 70 erfassten Bilddaten ein Verfahren zur Personen- sowie Gestendetektion und Gestenklassifizierung bereitstellt, um den Fokus des Fahrers bei Bedarf auf die Personen 1, 2 zu lenken, insbesondere, um die Handzeichen der Person 1, 2 über Verfahren der Bildauswertung zu erkennen und zu signalisieren. Bevorzugt wird ein entsprechendes Erkennungssignal im Führerhaus des Fahrzeugs 100 akustisch wiedergegeben.
  • Des Weiteren ist eine aktive Markierung der Person 1, 2 für den Fahrer oder eine Tracking-/Zoomfunktionalität realisierbar, um dadurch die Person 1, 2 nachverfolgen oder größer darstellen zu können. Der Fahrer wird auf Änderungen in der Signalisierung (Handzeichen) und Stoppsignale hingewiesen.
  • 2 zeigt eine prinzipielle Signalkette, die in dem vorgeschlagenen Verfahren realisiert wird. Man erkennt die Person 1, die eine händische Gestik ausführt, die mit einer Kameraeinrichtung 10 erfasst wird und entsprechende Bilddaten an ein elektronisches Steuergerät 30 übermittelt. Vom Steuergerät 30 werden die Bilddaten betreffend Gestik ausgewertet und schließlich an eine Signalisierungseinrichtung 40 übermittelt.
  • Für den Fahrer stellt die Beobachtung der einweisenden Person 1, 2 über die verschiedenen am Fahrzeug 100 befindlichen Kameraeinrichtungen 10, 20 eine hohe kognitive Belastung dar, da sich diese im Lauf des Rangiervorganges viel um das Fahrzeug 100 herum bewegt und häufig diverse Strukturen die Sicht einschränken (z. B. eigenes Fahrzeug, eingeknickter Auflieger, Bäume, geparkte Fahrzeuge, usw.).
  • Der sicherste Standort für die einweisende Person 1, 2 ändert sich beim Rangieren des Fahrzeugs 100 ständig, sodass die einweisende Person 1, 2 in Bewegung bleiben muss. Viele Unfälle mit schweren Nutzfahrzeugen entstehen nicht aufgrund von mangelnder Sicht, sondern aufgrund der Überforderung des Fahrers des Fahrzeugs 100, die zahlreichen Kameraeinrichtungen 10, 20 und andere Anzeigegeräte im Auge zu behalten.
  • Gerät die eingeteilte einweisende Person 1, 2 beispielsweise durch Stolpern, gesundheitliche Probleme, Unachtsamkeit, usw. hinter das rangierende Fahrzeug 100, in dessen Schwenkbereich oder zwischen die Fahrzeugteile eines Anhängergespanns, besteht akute Lebensgefahr. Rufe und akustische Signale der Person 1, 2 können vom Fahrer des Fahrzeugs 100 aufgrund des in der Regel lauten Umfelds des Fahrzeugs 100 meist nicht wahrgenommen werden.
  • Da sich der Fahrer des Fahrzeugs 100 auf das herausfordernde Rangieren des Fahrzeugs 100 konzentriert, nimmt er Informationen zu Abständen, Richtungen und Stoppsignal häufig nur verspätet oder gar nicht wahr.
  • Vorgeschlagen wird ein Verfahren, welches die bereits vorhandenen Kameraeinrichtungen 10, 20 oder anderer am Fahrzeug 100 verbauten Kameras nutzt, um dem Fahrer des Fahrzeugs 100 die Beobachtung bzw. Nachverfolgung der einweisenden Person 1, 2 und ihrer händischen Zeichengebung (Gestik) zu erleichtern. Das vorgeschlagene System unterstützt den Fahrer des Fahrzeugs 100 durch Fokussierung seiner Wachsamkeit auf die Gestik der einweisenden Person.
  • Vorteilhaft wandelt das System ein visuell durch den Fahrer des Fahrzeugs 100 zu erfassendes Zeichen der einweisenden Person (z.B. Handzeichen/Gesten/Posen der einweisenden Person, alternativ oder zusätzlich auch Zeichen einer anderen Lichtzeicheneinrichtung in Form einer Signalanlage) in ein akustisches und/oder visuelles und/oder haptisches Signal um. Das haptische Signal kann z.B. als ein Rütteln des Lenkrads, ein Bremsruck oder dergleichen ausgestaltet sein. Ein visuelles Signal kann auf einem Display, ein akustisches Signal auf einem Lautsprecher des Fahrzeugs 100 ausgegeben werden. Dadurch wird der Fahrer des Fahrzeugs 100 in seiner Wahrnehmung entlastet, der sich dadurch auf den Rangiervorgang konzentrieren und mit dem vorgeschlagenen Verfahren wichtige Zusatzinformationen erhalten kann.
  • Auf diese Weise lassen sich z.B. vorteilhaft Unfälle vermeiden, die aus einer kognitiven Überlastung des Fahrers und/oder aufgrund von Unachtsamkeit resultieren. Im Ergebnis kann der Fahrer des Fahrzeugs mittels des vorgeschlagenen Systems in der Wahrnehmung des Umfelds des Fahrzeugs 100 effektiv unterstützt sein.
  • Das vorgeschlagene System nutzt Verfahren zum Nachverfolgen und Klassifizieren einer Person und/oder einer Zeichenanlage, die als Einweiser bzw. Referenz erkannt wurde oder sich am System (z.B. durch Gesten) angemeldet hat. Die solcherart rechtmäßig identifizierte einweisende Person 1, 2 kann in einer Variante optisch hervorgehoben werden, zum Beispiel in einem Kamerabild oder in einem der Spiegeleinrichtung 10, 20 zugeordneten Signalisierungseinrichtung 40 in Form eines Displays.
  • In einer bevorzugten Variante kann das vorgeschlagene Verfahren auch zur Kommunikation mit einem (teil-)automatisierten Fahrzeug 100 genutzt werden. Dabei kann die Erkennungseinrichtung 10, 20, 30 genutzt werden, um eine Steuerung des (teil-)automatisierten Fahrzeugs 100 während des Rangiervorgangs durchzuführen, wodurch im Ergebnis das Rangieren des Fahrzeugs 100 von außen wenigstens teilweise gesteuert werden kann.
  • In einer weiteren Variante kann auch vorgesehen sein, dass ein elektronisches Mobilgerät (z.B. Smartphone) der einweisenden Person 1, 2 genutzt wird, mit dessen Bewegungssensor ein Bewegungsverlauf (z.B. stolpern, hinfallen) der einweisenden Person 1, 2 erfasst und signalisiert werden kann. Dadurch kann das Rangieren des Fahrzeugs 100 vorteilhaft noch sicherer umgesetzt werden. Das Steuergerät 30 erhält die Videosignale einer Anzahl von Kameraeinrichtungen 10, 20, die am Fahrzeug 100, am Anhänger oder in einer Infrastruktur verbaut sind. Vorgeschlagen wird, dass das Steuergerät 30 die Signale auf Personen oder Lichtzeichenanlagen untersucht und Handzeichen sowie Gesten des/der Signalgeber identifiziert. Die erkannten Signale/Hinweise werden dann in geeigneter Form an den Fahrer oder das Fahrzeug 100 selbst in aufbereiteter Form weitergegeben und mit den vom Mobilgerät erfassten Daten kombiniert / ergänzt wird, die vorteilhafterweise kabellos an das Steuergerät 30 übermittelt werden.
  • Vorteilhafterweise nutzt das vorgeschlagene System einen großen Öffnungswinkel von marktüblichen Kamerasystemen, um Unzulänglichkeiten klassischer Spiegelsysteme insbesondere bei Kurvenfahrt zu kompensieren. Heutige Kamerasysteme sind in der Lage, den aktuellen Bildausschnitt an den Knickwinkel des Fahrzeugs 100 anzupassen und dem Fahrer auf diese Weise mehr Informationen über das relevante Fahrzeugumfeld zu liefern. Kameras zur Umfeldüberwachung, wie sie aus Pkw bekannt sind, verfügen ebenfalls über einen großen Öffnungswinkel. Vorteilhafterweise können solche Kameras ergänzend oder ersetzend zum Einsatz kommen.
  • Ein derartiges System kann beispielhaft mit Hilfe von neuronalen Netzen implementiert werden, die basierend auf einer Anzahl von Videobildern typische Hand- und/oder Armbewegungen sowie Gesten von Personen erlernen. Auch gestürzte Personen/Einweiser können auf diese Weise erkannt werden. In einer weiteren Ausbaustufe des vorgeschlagenen Systems ist auch das Einlernen neuer, bislang unbekannter Gesten/Bewegungen/Vorgänge denkbar. Auf diese Weise ist das vorgeschlagene Verfahren in der Lage, in einem Trainingsmodus auch neue, bislang nicht bekannte Gesten zu erlernen.
  • In einer Variante des Lern- bzw. Trainingsmodus des Verfahrens kann auch vorgesehen sein, dass Ergebnisse vieler Vorgänge gespeichert und z.B. in die Cloud hochgeladen und dort zur Optimierung des Verfahrens verwendet werden. Auf diese Art und Weise wird eine Art „Schwarmintelligenz“ bereitgestellt, welche es ermöglicht, das Verfahren kontinuierlich zu verbessern und anderen Fahrzeugen zur Verfügung zu stellen.
  • Die deutsche Berufsgenossenschaft empfiehlt eine Anzahl geeigneter Handzeichen, die schematisch in acht Abbildungen a) bis h) von 3 dargestellt sind. Dabei handelt es sich um folgende normierte Handbewegungen:
    • 3a Achtung
    • 3b Abstandsanzeige
    • 3c Halt
    • 3d Halt-Gefahr
    • 3e Hierhin fahren
    • 3f Dorthin fahren
    • 3g Herankommen
    • 3h Entfernen
  • Alle genannten und gegebenenfalls noch weitere normierte Handzeichen können vom vorgeschlagenen Verfahren erkannt und in geeigneter Weise signalisiert werden.
  • Zu diesem Zweck wertet ein geeigneter Algorithmus des Steuergeräts 30 die Videosignale aus und detektiert eine Anzahl von zuvor angelernten oder (in einer weiteren Ausbaustufe, die mit höherer Rechenleistung verbunden ist) neu anlernbare Handzeichen und Signale oder Objekte. Die erkannten Handzeichen können zum Beispiel von der Signalisierungseinrichtung 40 in Form eines Lautsprechermoduls in Form von Sprache und/oder Tönen und/oder haptisch an den Fahrer des Fahrzeugs 100 ausgegeben werden.
  • In einer Alternative kann die Signalisierungseinrichtung 40 auch genutzt werden, um Lenk-, Brems-, oder Assistenzfunktionen des Fahrzeugs 100 und automatisierte Funktionen (z.B. Bremsen, Lenkung, usw.) des Fahrzeugs 100 anzusteuern. Denkbar ist auch eine Signalisierung über andere, hier nicht näher spezifizierte haptische und/oder visuelle Kanäle.
  • Wenn sich mehrere Personen oder Objekte im Umfeld des Fahrzeugs 100 befinden, sodass eine Erkennung und/oder Interpretation von Handsignalen oder auch Zeichentafeln, usw. nicht eindeutig ist, kann sich der Einweiser 1, 2 (oder das einweisende System in Form einer Lichtsignalanlage) durch eine definierte Bewegung oder Geste am System anmelden und so als relevanter Signaleingang kenntlich gemacht werden. Vorteilhafterweise erfolgt dies durch eine eindeutige Bewegung oder ein Signal, das nicht zum Signalisieren verwendet wird, z.B. durch Überkreuzen der Arme über dem Kopf, diagonales Abspreizen der Arme, usw.
  • In weiterer Folge reagiert das System dann primär auf die Eingaben der markierten einweisenden Person 1, 2 und interpretiert deren Handzeichen. Das erfolgreiche Anlernen wird bevorzugt durch ein eindeutiges Signal des Fahrzeugs 100 quittiert, beispielsweise durch ein dreifaches schnelles Warnblinken. Vorteilhafterweise ist das System weiterhin in der Lage, auch auf z.B. Stopp-Signale anderer Personen zu reagieren.
  • In einer weiteren Variante des vorgeschlagenen Systems kann vorgesehen sein, dass auch wenigstens teilweise verdeckte einweisende Personen 1, 2 vom System erkannt werden, z.B. durch Verfahren der an sich bekannten semantischen Instanz-Segmentierung. Mit derartigen Verfahren ist es beispielsweise möglich, einen teilweise verdeckten Arm einer Person 1, 2 zuzuordnen. Diese Verfahren können den Fahrer des Fahrzeugs 100 dabei unterstützen, die einweisende Person 1, 2 im Kamerabild auch in schwierigen, beengten Umgebungen sicher zu erkennen und zu verfolgen.
  • Eine weitere Variante des vorgeschlagenen Verfahrens nutzt die Objektdetektion, um die einweisende Person 1, 2 von anderen Personen im Umfeld des Fahrzeugs 100 zu unterscheiden und dem Fahrer entsprechend kenntlich zu machen, z.B. durch eine graphische Umrahmung bzw. Hervorhebung der einweisenden Person 1, 2.
  • Eine weitere Variante des vorgeschlagenen Verfahrens kann den Fahrer des Fahrzeugs 100 z.B. akustisch oder visuell darauf hinweisen, wenn sich das erkannte Zeichen oder die erkannte Gestik der einweisenden Person 1, 2 ändert, z.B. von „Weiterfahren“ auf „Stopp!“. Ebenso kann der Fahrer des Fahrzeugs 100 informiert werden, wenn sich die ordnungsgemäß am System angemeldete einweisende Person 1, 2 nicht mehr im Sichtfeld der Kameraeinrichtung 10, 20 und damit potenziell hinter dem Fahrzeug 100 oder im Gefahrenbereich befindet.
  • Vorzugsweise kann das vorgeschlagene System derart trainiert werden, dass auch landes-/kulturtypische Zeichen bzw. dynamische Gesten erkannt werden, die nicht der Norm entsprechen aber von den meisten Fahrern erkannt werden (z.B. überkreuzte Arme für „Stopp“, Heranwinken, Zeigefinger heben, usw.)
  • Zeigt die einweisende Person 1, 2 eine Abstandsformation durch einen Abstand ihrer Handflächen an, so kann das System graduell den aktuellen Wert übermitteln, bis hin zum „Stopp“ bei aneinander liegenden Händen der einweisenden Person 1, 2. (Hände in Ausgangsposition = 100% des Abstands, Hände aneinander gehalten = 0% des Abstands bzw. Kollision). Auch bei dieser Variante können automatische Eingriffe auf das Fahrzeug 100 seitens der Signalisierungseinrichtung 40 vorgenommen werden.
  • In einer weiteren Variante reagiert das vorgeschlagene System mit aktiven Eingriffen in das Fahrzeug, etwa einer Teil- oder Vollbremsung beim Signal „Stopp“ oder reduzierter Längsdynamik bei den Signalen „Achtung“ oder „Langsam“.
  • Die Erkennung der Gesten ist alternativ und in Kombination auch mit anderen sensorischen Systemen, wie zum Beispiel Lidar, Radar oder UltraschallSensoren denkbar. Auf diese Weise können die Gesten bzw. Bewegungen der einweisenden Person 1, 2 noch zuverlässiger detektiert werden.
  • In Kombination mit mobilen elektronischen Endgeräten (z.B. Smartphones, Tablets, usw.) kann die Ausgabe der Audiosignale sowie das Anlernen auch auf diesem Weg realisiert werden. Durch Tracking der genannten Geräte (z.B. via Bluetooth, WiFi, usw.) bzw. die Nähe zum Fahrzeug 100 ist eine automatische Erkennung der einweisenden Person 1, 2 möglich. Ein Einsatz von mehreren Antennen am Anhänger des Fahrzeugs 100 kann ferner dazu beitragen, die aktuelle Position der einweisenden Person 1, 2 noch präziser zu erfassen.
  • Das vorgeschlagene System kann vorzugsweise an allen Nutzfahrzeugen mit Spiegelersatzkameras oder anderen Kamerasystemen zum Einsatz kommen, die beim Rückwärtsfahren auf Signale von umstehenden Personen oder Einweisern angewiesen sind, wie es z.B. auch bei rangierenden Personenkraftwagen der Fall sein kann.
  • 4 zeigt einen prinzipiellen Ablauf einer Ausführungsform des vorgeschlagenen Verfahrens.
  • In einem Schritt 200 ist das System noch ausgeschaltet und wird in einem Schritt 210 in einen Bereit-Zustand versetzt, wodurch das System in einem Schritt 220 aktiv ist. In einem Schritt 230 erfolgt eine Abfrage, ob eine Person und/oder eine Lichtzeichenanlage erkannt wurden. Falls keine Person und/oder Lichtzeichenanlage erkannt wurde, wird in einem Schritt 231 abgefragt, ob mehrere Personen erkannt wurden.
  • Falls dies zutrifft, wird in einem Schritt 232 ein kurzer Hinweis ausgegeben, die einweisende Person 1, 2 zu identifizieren, die sich in einem Schritt 233 mit einer Geste am System anmeldet. Wurde in Schritt 230 nur eine einzelne Person erkannt, wird die einweisende Person 1, 2 in einem Schritt 240 im Bild gesondert hervorgehoben.
  • In einem Schritt 250 erfolgt eine Abfrage, ob ein Handzeichen bzw. eine Geste der einweisenden Person 1, 2 erkannt wurde. Falls dies zutrifft, wird in einem Schritt 260 die Art des erkannten Zeichens festgestellt. In einem Schritt 270 wird geprüft, ob ein anderes Zeichen als bisher erkannt wurde, d.h. ob sich in der erkannten Gestik eine Änderung ergeben hat. Falls dies zutrifft, wird in einem Schritt 280 eine akustische Ausgabe oder ein Eingriff in den Betrieb des Fahrzeugs 100 durchgeführt. Falls im Schritt 270 kein anderes Zeichen als bisher erkannt wird, erfolgt eine Verzweigung auf den Schritt 250.
  • Es versteht sich von selbst, dass das in 5 gezeigte Verfahren lediglich exemplarisch ist und dass in anderen Varianten des vorgeschlagenen Verfahrens Schritte auch weggelassen werden, zu anderen Zeitpunkten durchgeführt oder zusätzlich Schritte hinzugefügt werden können.
  • Vorteilhaft kann das vorgeschlagene Verfahren als ein Softwareprogramm ausgebildet sein, welches am elektronischen Steuergerät 30 abläuft. Eine einfache Adaptierbarkeit des vorgeschlagenen Verfahrens ist auf diese Weise vorteilhaft unterstützt.
  • Der Fachmann erkennt, dass eine Vielzahl von Abwandlungen des vorgeschlagenen Systems möglich ist, ohne vom Kern der Erfindung abzuweichen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102016007522 A1 [0004]
    • EP 2292325 A1 [0005]
    • DE 102016014675 A1 [0006]

Claims (15)

  1. Verfahren zur Erkennung von Zeichengebung im Umfeld eines Fahrzeugs (100), aufweisend die Schritte: - Einlesen von Bilddaten in einem Umfeld, insbesondere in einem hinteren und/oder in einem hinteren seitlichen Umfeld des Fahrzeugs (100); - Auswerten der Bilddaten betreffend eine optisch wahrnehmbare Zeichengebung; und - Signalisieren der erkannten Zeichengebung.
  2. Verfahren nach Anspruch 1, wobei eine Gestik einer Person (1, 2) erkannt wird.
  3. Verfahren nach Anspruch 2, wobei eine normierte Gestik der Person (1, 2) erkannt wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, wobei eine Zeichengebung einer Lichtzeicheneinrichtung erkannt wird.
  5. Verfahren nach einem der Ansprüche 2 bis 4, wobei das Signalisieren der erkannten Zeichengebung nach wenigstens einem der folgenden Prinzipien durchgeführt wird: akustisch, optisch, haptisch.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der Signalisierung der erkannten Zeichengebung das Fahrzeug (100) gesteuert werden kann.
  7. Verfahren nach einem der Ansprüche 2 bis 6, wobei die erkannte, einweisende Person (1, 2) auf einem Display des Fahrzeugs (100) graphisch hervorgehoben wird.
  8. Verfahren nach einem der Ansprüche 2 bis 7, wobei die Person (1, 2) auch dann erkannt wird, wenn sie wenigstens teilweise verdeckt ist.
  9. Verfahren nach einem der vorhergehenden Ansprüche, wobei keine Signalisierung durchgeführt wird, wenn sich die erkannte Zeichengebung nicht ändert.
  10. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erkennen der Zeichengebung mit wenigstens zwei technologisch diversifizierten Sensoreinrichtungen durchgeführt wird.
  11. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Signalisierung der erkannten Zeichengebung auf ein mobiles Endgerät des Fahrers des Fahrzeugs (100) und/oder auf ein Display des Fahrzeugs (100) durchgeführt wird.
  12. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Erkennung einer Bewegung der gesamten Person (1, 2) mittels eines mobilen Endgeräts der Person (1, 2) durchgeführt wird.
  13. Vorrichtung die eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 12 auszuführen.
  14. Computerprogramm umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren gemäß einem der Ansprüche 1 bis 12 auszuführen.
  15. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.
DE102019214937.5A 2019-09-27 2019-09-27 Verfahren zur Erkennung von Zeichengebung im Umfeld eines Fahrzeugs Pending DE102019214937A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019214937.5A DE102019214937A1 (de) 2019-09-27 2019-09-27 Verfahren zur Erkennung von Zeichengebung im Umfeld eines Fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019214937.5A DE102019214937A1 (de) 2019-09-27 2019-09-27 Verfahren zur Erkennung von Zeichengebung im Umfeld eines Fahrzeugs

Publications (1)

Publication Number Publication Date
DE102019214937A1 true DE102019214937A1 (de) 2021-04-01

Family

ID=74873256

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019214937.5A Pending DE102019214937A1 (de) 2019-09-27 2019-09-27 Verfahren zur Erkennung von Zeichengebung im Umfeld eines Fahrzeugs

Country Status (1)

Country Link
DE (1) DE102019214937A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020215801A1 (de) 2020-12-14 2022-06-15 Continental Automotive Gmbh Verfahren und Assistenzsystem zur Unterstützung eines Fahrers eines Kraftfahrzeugs bei einer Rückwärtsfahrt

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2292325A1 (de) * 2001-06-04 2011-03-09 Exergen Pty Ltd. Verfahren zur Entwässerung von Kohle
DE102014116854A1 (de) * 2014-11-18 2016-05-19 Connaught Electronics Ltd. Verfahren zum Durchführen eines autonomen Parkvorgangs, Fahrerassistenzsystem und Kraftfahrzeug
DE102016014675A1 (de) * 2016-02-08 2017-08-10 Roland Skrypzak Nutzkraftwagen mit zumindest einer Kameraanordnung
DE102016007522A1 (de) * 2016-06-20 2017-12-21 Mekra Lang Gmbh & Co. Kg Spiegelersatzsystem für ein Fahrzeug
DE102017006785A1 (de) * 2017-07-18 2018-01-04 Daimler Ag Verfahren zur gezielten Detektion von Personen
WO2018111569A1 (en) * 2016-12-12 2018-06-21 Apple Inc. Guidance of autonomous vehicles in destination vicinities using intent signals
DE102018000425A1 (de) * 2018-01-19 2018-10-25 Daimler Ag Verfahren und Vorrichtung zum Abbrechen eines autonomen Fahrvorgangs eines Fahrzeugs

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2292325A1 (de) * 2001-06-04 2011-03-09 Exergen Pty Ltd. Verfahren zur Entwässerung von Kohle
DE102014116854A1 (de) * 2014-11-18 2016-05-19 Connaught Electronics Ltd. Verfahren zum Durchführen eines autonomen Parkvorgangs, Fahrerassistenzsystem und Kraftfahrzeug
DE102016014675A1 (de) * 2016-02-08 2017-08-10 Roland Skrypzak Nutzkraftwagen mit zumindest einer Kameraanordnung
DE102016007522A1 (de) * 2016-06-20 2017-12-21 Mekra Lang Gmbh & Co. Kg Spiegelersatzsystem für ein Fahrzeug
WO2018111569A1 (en) * 2016-12-12 2018-06-21 Apple Inc. Guidance of autonomous vehicles in destination vicinities using intent signals
DE102017006785A1 (de) * 2017-07-18 2018-01-04 Daimler Ag Verfahren zur gezielten Detektion von Personen
DE102018000425A1 (de) * 2018-01-19 2018-10-25 Daimler Ag Verfahren und Vorrichtung zum Abbrechen eines autonomen Fahrvorgangs eines Fahrzeugs

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020215801A1 (de) 2020-12-14 2022-06-15 Continental Automotive Gmbh Verfahren und Assistenzsystem zur Unterstützung eines Fahrers eines Kraftfahrzeugs bei einer Rückwärtsfahrt

Similar Documents

Publication Publication Date Title
EP3204279B1 (de) Verfahren zum betrieb eines automatisiert geführten, fahrerlosen kraftfahrzeugs und überwachungssystem
DE102013213064B4 (de) Verfahren und Vorrichtung zum autonomen Einparken eines Fahrzeugs mit externer Überwachung
EP3138736A1 (de) Spiegelersatzsystem als kamera-monitor-system (kms) eines kraftfahrzeugs, insbesondere eines nutzfahrzeugs
DE102010025351A1 (de) Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers
DE102011087774A1 (de) Verfahren zur Überwachung und Signalisierung einer Verkehrssituation im Umfeld eines Fahrzeuges
WO2015000882A1 (de) Assistenzsystem und assistenzverfahren zur unterstützung bei der steuerung eines kraftfahrzeugs
DE102016002230B4 (de) Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
DE102019006685B4 (de) Verfahren zum Betreiben eines Fahrzeuges
DE102019208663A1 (de) Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
DE102016204877A1 (de) Verfahren zum Betreiben eines Fahrassistenzsystems zur Durchführung eines autonomen oder teilautonomen Fahrmanövers eines Fahrzeugs und derartiges Fahrassistenzsystem
DE102014105374B4 (de) Fahrerassistenzsystem
DE102019132759A1 (de) Verfahren zum ferngesteuerten Führen eines Kraftfahrzeugs mit einem Teleoperator,Computerprogrammprodukt und Teleoperationsführungssystem
EP2873577A2 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems zum Schutz eines Kraftfahrzeugs vor Beschädigungen bei einem Rangiervorgang und Kraftfahrzeug
EP2555178B1 (de) Verfahren zum Erfassen von Objekten seitlich eines Nutzfahrzeugs und Nutzfahrzeug mit einem Erfassungssystem zum Ausführen des Verfahrens
DE102016002232B4 (de) Verfahren zum Betrieb eines Kraftfahrzeugs
EP3583488B1 (de) Automatisierte aktivierung eines sichtunterstützungssystems
DE102016215468A1 (de) Verfahren und Parkplatzverwaltungsserver zum Warnen einer sich innerhalb eines Parkplatzes befindenden Person
DE102017107484A1 (de) Verfahren zum Bereitstellen einer einen Fahrer eines Kraftfahrzeugs unterstützenden Anzeige, Fahrerassistenzsystem und Kraftfahrzeug
DE102019105787A1 (de) Kraftfahrzeug mit einer Hubladebühne sowie Verfahren zur Sicherungsüberwachung einer Hubladebühnenbewegung für ein entsprechendes Kraftfahrzeug
DE102019214937A1 (de) Verfahren zur Erkennung von Zeichengebung im Umfeld eines Fahrzeugs
EP2942253B1 (de) Kraftfahrzeug
DE102020121655A1 (de) System und Verfahren zur Lenkung der Aufmerksamkeit eines Fahrzeuginsassen beim automatisierten Fahren
EP3706038A1 (de) Kraftfahrzeug mit einer mehrzahl von sensoreinrichtungen zur umfelderfassung
DE102019204780A1 (de) Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
DE102014222132A1 (de) Verfahren zum Anhalten eines autonom fahrenden Kraftfahrzeugs

Legal Events

Date Code Title Description
R163 Identified publications notified