DE102022203043A1 - Marker zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren zum maschinellen Lernen einer Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren und Computerprogramm zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers - Google Patents

Marker zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren zum maschinellen Lernen einer Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren und Computerprogramm zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers Download PDF

Info

Publication number
DE102022203043A1
DE102022203043A1 DE102022203043.5A DE102022203043A DE102022203043A1 DE 102022203043 A1 DE102022203043 A1 DE 102022203043A1 DE 102022203043 A DE102022203043 A DE 102022203043A DE 102022203043 A1 DE102022203043 A1 DE 102022203043A1
Authority
DE
Germany
Prior art keywords
road user
vru
camera
markers
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102022203043.5A
Other languages
English (en)
Inventor
Thilo Jöst
Patrick Deubach
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102022203043.5A priority Critical patent/DE102022203043A1/de
Publication of DE102022203043A1 publication Critical patent/DE102022203043A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/80Recognising image objects characterised by unique random patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Marker (M) zur Kamera (C) basierten Wahrnehmung eines Verkehrsteilnehmers (VRU), wobei wenigstens einer der Marker (M) einen Informationsträger (I) umfasst, der eine Klasse (K) und/oder eine Orientierung (D) des Verkehrsteilnehmers (VRU) relativ zu einem Bezugspunkt eines Fahrzeugsystems angibt; wenigstens einer der Marker (M) ein Leuchtmittel umfasst, ausgelegt für eine für die Klasse (K) des Verkehrsteilnehmers (VRU) spezifizierbare frequentierte Lichtemission (L); mittels einer distinkten Anordnung der Marker (M) an Front-, Seiten- und/oder Rückseiten eines oder mehrerer Kleidungsstücke und/oder an Gegenständen (BS) des Verkehrsteilnehmers (VRU) die Orientierung (D) des Verkehrsteilnehmers (VRU) aus Kameraufnahmen der Marker (M) durch das Fahrzeugsystem bestimmbar ist.

Description

  • Die Erfindung betrifft Marker zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers. Ferner betrifft die Erfindung ein Verfahren zum maschinellen Lernen einer Kamera basierten Wahrnehmung eines Verkehrsteilnehmers. Außerdem betrifft die Erfindung ein Verfahren und ein Computerprogramm zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers
  • Folgende Definitionen, Beschreibungen und Ausführungen behalten ihre jeweilige Bedeutung für und finden Anwendung auf den gesamten offenbarten Erfindungsgegenstand.
  • Optische Markierungselemente zur Identifikation einer Drehlage sind aus dem Stand der Technik bekannt. Beispielsweise offenbart die US 2020 346 581 A1 ein System zur dynamischen Positionierung von Seitenansichtsspiegeln, das dem Fahrer eine ungehinderte Sicht auf einen Anhänger während des Rückens, Wendens und Rangierens um Kurven ermöglicht, umfassend eine optische Markierung an der Rückseite des Anhängers, wobei ein elektronisches Steuergerät Anhängerortdaten in Bezug auf Position, Winkel und Drehung der optischen Markierung um ein dreidimensionales Koordinatensystem erzeugt.
  • Die US 2019 156 086 A1 offenbart ein System zum Verfolgen der Position von Objekten innerhalb eines vordefinierten Raums umfassend eine Vielzahl von statischen Markierungen, die jeweils einen maschinenlesbaren Code aufweisen, der an vordefinierten Stellen innerhalb des vordefinierten Raums angeordnet ist, und eine Vielzahl von Objektmarkierungen, die auf jedem dieser Objekte positioniert sind. Das System ist ausgeführt, eine Posenschätzungsberechnung durchzuführen, die die Berechnung von Rotations- und Verschiebungsvektoren basierend auf den optischen Merkmalen des statischen Markers beinhaltet.
  • Die WO 2018/152 473 offenbart retroreflektierende Vorrichtungen. Die retroreflektierende Vorrichtung kann für Verkehrskontrollschilder und Richtungs-/Navigationsinfrastruktur nützlich sein. Die retroreflektierende Vorrichtung kann in Kleidung oder tragbaren Gegenständen wie Warnwesten, Helmen oder andere Sicherheitsausrüstungen eingebaut werden. Die retroreflektierende Vorrichtung kann so konfiguriert sein, dass sie im nahen infraroten Wellenlängenbereich arbeitet. Die retroreflektierende Vorrichtung kann auch eine sichtbare absorbierende Schicht umfassen, die bestimmte sichtbare Wellenlängen selektiv absorbieren und so ein farbiges Aussehen erzeugen kann.
  • Problematisch im Straßenverkehr ist die Prävention von Unfällen mit im Wesentlichen ungeschützten, und damit vennrundbaren, Verkehrsteilnehmern, den sogenannten vulnerable road users, abgekürzt VRU, insbesondere im Mischverkehr mit teilautomatisierten oder autonomen Fahrzeugen oder im Verkehr von autonomen Fahrzeugen. VRU, die auch wenig geschützte Verkehrsteilnehmer umfassen, umfasst diejenigen Verkehrsteilnehmer, die im Straßenverkehr ein besonderes Risiko tragen, verletzt oder getötet zu werden, da sie nicht von einer schützenden Hülle wie beispielsweise eine Fahrerkabine umgeben sind. Zu der Gruppe der VRU's gehören beispielsweise Fußgänger, Kinder, ältere Menschen, Rollstuhlfahrer, Fahrradfahrer und Kraftradfahrer.
  • Beispielsweise sind sogenannte „See & Be Seen“ reflektorgesteigerte Schultaschen bekannt, durch deren Nutzung Schulkinder auf dem Schulweg im Straßenverkehr besser erkennbar werden, siehe Pedestrian safety: a road safety manual for decision-makers and practitioners, World Health Organization 2013.
  • Die DE 10 2020 101 281 A1 offenbart eine Sicherheitseinrichtung, Kraftfahrzeug, Sicherheitssystem, Verfahren zur Erhöhung der Sicherheit für einen Verkehrsteilnehmer und Verfahren zum Betrieb eines Sicherheitssystems. Die Sicherheitseinrichtung kann von dem Verkehrsteilnehmer getragen werden. Ein Träger kann beispielsweise als eine Warnweste ausgestaltet sein, die anstelle von Lichtreflektoren oder zusätzlich zu Lichtreflektoren mit Radarmarkern, insbesondere Radarreflektoren, bestückt ist.
  • Aufgabe der Erfindung war es, Marker bereitzustellen, die eine Identifikation eines VRU, insbesondere die Identifikation dessen Drehlage und dessen Klasse, im Straßenverkehr, insbesondere die Identifikation durch ein teil- und/oder vollautonomes Fahrzeug, verbessern.
  • Der Gegenstand des Anspruchs 1 löst diese Aufgabe. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.
  • Die Erfindung stellt Marker bereit zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers. Wenigstens einer der Marker umfasst einen Informationsträger, der eine Klasse und/oder eine Orientierung des Verkehrsteilnehmers relativ zu einem Bezugspunkt eines Fahrzeugsystems angibt. Wenigstens einer der Marker umfasst ein Leuchtmittel, ausgelegt für eine für die Klasse des Verkehrsteilnehmers spezifizierbare frequentierte Lichtemission. Mittels einer distinkten Anordnung der Marker an Front-, Seiten- und/oder Rückseiten eines oder mehrerer Kleidungsstücke und/oder an Gegenständen des Verkehrsteilnehmers ist die Orientierung des Verkehrsteilnehmers aus Kameraufnahmen der Marker durch das Fahrzeugsystem bestimmbar.
  • Die Marker können Markierungselemente sein. Nach einem Aspekt sind die Marker optische Marker. Nach einem Aspekt werden Informationsträger und Leuchtmittel auf den jeweiligen Wirkflächen kombiniert, beispielsweise in Form eines Markers. Damit wird die Zuverlässigkeit, Genauigkeit und/oder Robustheit der Wahrnehmung gesteigert. Die Anzahl der Marker ist größer oder gleich eins. Beispielsweise sind an Front-, Seiten- und/oder Rückseite einer Jacke jeweils drei Marker angeordnet.
  • Kamera basierte Wahrnehmung umfasst eine Wahrnehmung des Verkehrsteilnehmers mittels einer Fahrzeugkamera, beispielsweise mittels wenigstens einer Umfelderfassungskamera eines automatisiert betreibbaren Fahrsystems.
  • Automatisiert betreibbare Fahrsysteme führen eine Fahraufgabe, beispielsweise Längs- und/oder Querführung, zumindest teilweise automatisiert oder vollständig autonom ohne Fahrereingriffe. Nach einem Aspekt betrifft die Erfindung autonome Fahrzeuge. Fahrsystem bezeichnet einzelne Komponenten eines Fahrzeuges auf Systemebene als auch ein Fahrzeug als solches. Das Fahrzeug ist beispielsweise ein PKW, LKW, Bus, Transportsystem, People Mover oder Cargo Mover.
  • Beispielsweise werden Verkehrsteilnehmer bei schlechter Sicht oder Blendung zu spät erkannt und drohende Unfälle sind unvermeidbar. Durch die erfindungsgemä-ßen Marker werden die Verkehrsteilnehmer rechtzeitig früh erkannt und damit Unfälle vermieden.
  • Nach einem Aspekt sind die Verkehrsteilnehmer VRUs. Klassen von Verkehrsteilnehmer sind beispielsweise Fußgänger, Radfahrer, Blinde, Kinder, Behinderte, Rollstuhlfahrer. Die VRUs sind im Straßenverkehr besonders verletzlich. Im Stand der Technik besteht das Problem der unzureichenden Zuverlässigkeit in der Wahrnehmung von Verkehrsteilnehmern, insbesondere VRUS, insbesondere der Attribute Drehlage und Klasse durch Wahrnehmungssysteme von Fahrsystemen. Die Marker verbessern die Zuverlässigkeit in der Wahrnehmung von Drehlage und Klasse und damit die Sichtbarkeit dieser Verkehrsteilnehmer. Damit können beispielswiese automatisierte Fahrzeuge entsprechend auf VRUs reagieren. Aber auch menschliche Fahrer können mittels den erfindungsgemäßen Markern verbessert auf VRUs reagieren. Dies ist insbesondere für den Mischverkehr vorteilhaft, in dem sowohl menschliche Fahrer als auch automatisierte Fahrsysteme die Umgebung wahrnehmen müssen.
  • Die Orientierung gibt beispielsweise eine Drehlage oder eine Pose des Verkehrsteilnehmers an. Mittels der Attribute Orientierung und Klasse kann eine Objektprädizierung des Fahrsystems mithilfe entsprechender Modelle, beispielsweise agentenbasiert oder heuristisch, die zukünftige Trajektorie oder die zukünftig mögliche Trajektorienschar des Verkehrsteilnehmers vorausberechnen.
  • Beispielsweise steht ein Fußgänger, das ist die Klasse, mit dem Rücken zur Straßenseite, das ist die Drehlage, im Bereich eines priorisierten Fußgängerüberwegs, zum Beispiel eines Zebrastreifens. Die Körpersprache lässt darauf schließen, dass dieser nicht die Absicht hat, den Fußgängerweg zu überschreiten. Aus dem Stand der Technik bekannte Fahrsysteme können die Drehlage und die Klasse allenfalls mit unzureichender Zuverlässigkeit ermitteln. Eine konservative Fahrpfadplanung reagiert hierauf mit einem Anhaltemaneuver, was schlussendlich in einer Absenkung der Transportleistung des Fahrsystems resultiert. Die erfindungsgemäßen Marker steigern die Zuverlässigkeit der Wahrnehmung, Drehlage und Klasse können anhand der Marker präzise bestimmt werden. Damit wird eine an die Klasse und/oder Orientierung des jeweiligen Verkehrsteilnehmers angepasste Fahrpfadplanung ermöglicht.
  • In einem weiteren Beispiel steht ein blinder Fußgänger, das ist die Klasse, frontal zur Straßenseite, das ist die Drehlage, im Bereich eines unpriorisierten Fußgängerüberwegs. Die Körpersprache lässt darauf schließen, dass dieser die Absicht hat, den unpriorisierten Fußgängerüberweg zu überschreiten. Beispielsweise fordert das niederländische Recht, allen Blinden mit Stock Vorfahrt zu gewähren, siehe Nr. 48 RVV. Bekannte Fahrsysteme können die Drehlage und die Klasse allenfalls mit unzureichender Zuverlässigkeit ermitteln. Eine konservative Fahrpfadplanung reagiert hierauf mit einem Anhaltemaneuver, was schlussendlich in einer Absenkung der Transportleistung des Fahrsystems resultiert. Eine weniger konservative Fahrpfadplanung reagiert hierauf nicht mit einem Anhaltemaneuver, was schlussendlich zu einer Gefährdungslage und zu einer rechtlichen Haftbarkeit eines Betreibers des Fahrsystems im Unfallfall führt. Die erfindungsgemäßen Marker steigern die Zuverlässigkeit der Wahrnehmung, Drehlage und Klasse können anhand der Marker präzise bestimmt werden. Damit wird eine an die Klasse und/oder Orientierung des jeweiligen Verkehrsteilnehmers angepasste Fahrpfadplanung ermöglicht.
  • Das Leuchtmittel ist ein aktives Element. Beispielsweise ist das Leuchtmittel ein LED-Leuchtmittel oder ein LED-Leuchtmodul. Beispielsweise ist für jede Klasse eine Wellenlänge vorgesehen. Wird dann Licht mit der jeweiligen Wellenlänge wahrgenommen, lässt sich auf die jeweilige Klasse des Verkehrsteilnehmers, der mit den Markern ausgestattet ist, rückschließen. Nach einem Aspekt liegen die Wellenlängen im Infrarotbereich. Damit werden sie von menschlichen Fahrern nicht wahrgenommen und Ablenkungen durch die Lichtemission werden vermieden. Beispielsweise emittieren die Marker für Blinde Licht mit einer schnelleren Frequenz als die Marker für Fahrradfahrer. Die Marker können alternativ auch dauerhaft Licht emittieren.
  • Durch die Anordnung von distinkten spezifischen Markern an die entsprechenden Flächen lässt sich die Information der Drehlage via Kamera übermitteln.
  • Nach einem weiteren Aspekt stellt die Erfindung ein Verfahren bereit zum maschinellen Lernen einer Kamera basierten Wahrnehmung eines Verkehrsteilnehmers. Das Verfahren umfasst die Schritte:
    • • mit wenigstens einer Kamera eines Fahrzeugsystems Sammeln von Bildern von an Front-, Seiten- und/oder Rückseiten eines oder mehrerer Kleidungsstücke und/oder an Gegenständen von Verkehrsteilnehmern angeordneten erfindungsgemäßen Markern und/oder Simulieren derartiger Bilder;
    • • Kennzeichnen der Bilder mit einer jeweiligen, von einem Informationsträger eines der Marker angegebenen, Klasse eines der Verkehrsteilnehmer und/oder einer jeweiligen, von dem Informationsträger in einem jeweiligen Verkehrsszenario angegebenen, Orientierung des Verkehrsteilnehmers;
    • • Zusammenführen der Bilder mit den jeweiligen Kennzeichen zu einem Trainingsdatensatz;
    • • Prozessieren eines Maschinenlernmodells für Bilderkennung auf einer für maschinelles Lernen konfigurierten Hardwarevorrichtung, wobei der Trainingsdatensatz durch das Maschinenlernmodell gespeist wird und das Maschinenlernmodell Gradienten basiert die Klassen und/oder Orientierungen der Verkehrsteilnehmer basierend auf den Markern lernt.
  • Maschinelles Lernen ist Daten getrieben. Beispielsweise wird eine Klassifizierung aus Daten gelernt und nicht explizit programmiert.
  • Die Kamera umfasst Optik und Sensor. Die Kamera kann eine Mono-, Stereo, 2D-, 3D- oder Time-Of-Flight-Kamera sein. Nach einem Aspekt ist der Kamerasensor Infrarotlicht empfindlich.
  • Durch Simulieren derartiger Bilder müssen nicht alle Daten eingefahren werden. Der Trainingsdatensatz kann damit vergrößert werden.
  • Kennzeichnen der Bilder wird auch Labeling genannt.
  • Das Maschinenlernmodell kann beispielsweise ein künstliches neuronales Netzwerk sein, beispielsweise ein Faltungsnetzwerk. Der Maschinenlernalgorithmus ist beispielsweise überwachtes Lernen umfassend Vorwärts- und Rückwärtspfad. Durch Bildung von Gradienten und Minimieren einer Verlustfunktion werden Gewichte von Neuronenverbindungen des künstlichen neuronalen Netzwerks für eine Inferenz optimiert. Der Trainingsdatensatz wird nach einem Aspekt in mehreren Epochen und/oder in einzelnen Batches prozessiert. Nach einem Aspekt wird das Maschinenlernmodell mit weiteren Daten validiert und/oder getestet.
  • Die für das maschinelle Lernen konfigurierte Hardwarevorrichtung kann beispielsweise Hardwarebeschleuniger, beispielsweise Graphikprozessoren, zum Ausführen von Matrixmultiplikationen umfassen.
  • Nach einem weiteren Aspekt stellt die Erfindung ein Verfahren bereit zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers. Das Verfahren umfasst die Schritte:
    • • mit wenigstens einer Kamera eines Fahrzeugsystems Aufnehmen von an Front-, Seiten- und/oder Rückseiten eines oder mehrerer Kleidungsstücke und/oder an Gegenständen des Verkehrsteilnehmers angeordneten erfindungsgemäßen Markern;
    • • Prozessieren der Aufnahmen auf einem Steuergerät zum Regeln und/oder Steuern automatisierter Fahrfunktionen des Fahrzeugsystems, wobei auf dem Steuergerät ein nach dem erfindungsgemäßen Verfahren trainiertes Maschinenlernmodell hinterlegt ist und das Maschinenlernmodell eine Klasse und/oder eine Orientierung des Verkehrsteilnehmers bestimmt, wenn das Steuergerät das Maschinenlernmodell ausführt;
    • • Prädizieren einer Bewegung des Verkehrsteilnehmers basierend auf der bestimmten Klasse und/oder Orientierung mittels des Steuergeräts;
    • • Planen eines an die prädizierte Bewegung des Verkehrsteilnehmers angepassten Fahrpfades mittels des Steuergeräts;
    • • Bestimmen von Regel- und/oder Steuersignalen mittels des Steuergeräts zur Ausführung der Fahrpfadplanung.
  • Dieses Verfahren ist ein Einsatzverfahren. Dabei sind die Gewichte des trainierten Maschinenlernmodells eingefroren.
  • Nach einem weiteren Aspekt stellt die Erfindung ein Computerprogramm bereit zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers. Das Computerprogramm umfasst Befehle, die einen Computer veranlassen, die Schritte des erfindungsgemäßen, unmittelbar voran beschriebenen, Verfahrens auszuführen, wenn der Computer das Computerprogramm ausführt.
  • Die Befehle des erfindungsgemäßen Computerprogramms umfassen Maschinenbefehle, Quelltext oder Objektcode geschrieben in Assemblersprache, einer objektorientierten Programmiersprache, beispielsweise C++, oder in einer prozeduralen Programmiersprache, beispielsweise C. Das Computerprogramm ist nach einem Aspekt der Erfindung eine Hardware unabhängiges Anwendungsprogramm, das beispielsweise über einen Datenträger oder das Datenträgersignal, nach einem Aspekt mittels Software Over The Air Technologie, für eine beliebige Hardware bereitgestellt wird. Der Datenträger umfasst flüchtige Speicher, beispielsweise RAM, DRAM, SRAM, und nichtflüchtige Speicher, beispielsweise ROM, Flash-EEPROM. Die Datenträger sind beispielsweise Flash-Speicherkarten, USB-Sticks. Nach einem weiteren Aspekt ist das Computerprogramm eine Hardware abhängiges Programm, beispielsweise eine Firmware der Auswerteeinheit des Transportsystems.
  • Nach einem weiteren Aspekt stellt die Erfindung ein Datenträgersignal bereit, das das erfindungsgemäße Computerprogramm überträgt.
  • Hinsichtlich des Datenträgersignals und dessen Bereitstellung mittels Software Over The Air Technologie umfasst das Fahrsystem eine Middleware, über die sich das übertragene Computerprogramm als Anwendung auf einem Betriebssystem anmeldet. Middleware ist ein anwendungsneutrales Programm, das zwischen Anwendungen und Betriebssystemen von Hardwaremodulen vermittelt. Mittels der Middleware können Anwendungen oder auch Applikationen genannt unabhängig von einem Hardwaremodul verwendet werden.
  • Nach einem weiteren Aspekt umfasst der Informationsträger klassenspezifische
    • • Symbole umfassend geometrische Grundfiguren;
    • • Piktogramme;
    • • Farben;
    • • Richtungspfeile;
    • • ARUCO-Codes und/oder
    • • QR-Codes.
  • Wenigstens die ARUCO-Codes unterstützen die Bestimmung der Orientierung des Verkehrsteilnehmers.
  • Geometrische Figuren können beispielsweise Kreise, Dreiecke, Quadrate oder Rauten sein. Beispielsweise können Kreise spezifisch für Fußgänger, Dreiecke spezifisch für Fahrradfahrer, Quadrate spezifisch für Rollstuhlfahrer und Rauten spezifisch für Blinde sein. Eine Kombination aus beispielsweise Quadrat und Raute ist nach einem Aspekt dann beispielsweise spezifisch für einen blinden Rollstuhlfahrer.
  • Die Piktogramme können beispielsweise für die jeweiligen Klasse entsprechend genormte oder häufig verwendete Piktogramme sein.
  • Die Farben können beispielsweise RGB-Farben sein.
  • Nach einem weiteren Aspekt können ARUCO Marker in der Wahrnehmung der Attribute Existenz, Geschwindigkeit sowie Orientierung/Pose des Verkehrsteilnehmers unterstützend wirken.
  • Nach einem weiteren Aspekt erfolgt die Lichtemission des Leuchtmittels mit einer für die Klasse des Verkehrsteilnehmers Wellenlänge. Nach einem weiteren Aspekt liegen alle Wellenlängen im Infrarotbereich.
  • Nach einem weiteren Aspekt umfasst wenigstens einer der Marker einen Retroreflektor, ausgelegt für eine für die Klasse des Verkehrsteilnehmers spezifizierbare Retroreflexion von auf den Retroreflektor eingestrahltem Licht. Der Retroreflektor ist im Gegensatz zu dem Leuchtmittel ein passives Element. Nach einem weiteren Aspekt wird ein passives Element mittels Kontrastflächen bereitgestellt.
  • Nach einem weiteren Aspekt sind die Marker ausgelegt für eine Anordnung an oder Integration in einen Rucksack, Jacke, Warnweste, Hose, Mütze und/oder für eine Anordnung an oder Integration in einen Rollstuhl, Blindenstock, Helm oder Zweirad. Damit wird die Zuverlässigkeit der Wahrnehmung weiter verbessert.
  • Die Erfindung wird in den Figuren gezeigten Ausführungsbeispielen beschrieben. Es zeigen:
    • 1 eine Darstellung des erfindungsgemäßen Verfahrens zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers auf einem Steuergerät,
    • 2 ein Ausführungsbeispiel eines erfindungsgemäßen Markers und
    • 3 Ausführungsbeispiele von erfindungsgemäßen Anordnungen der Marker an Verkehrsteilnehmern.
  • In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils relevanten Bezugsteile hervorgehoben.
  • 1 zeigt schematisch einen verwundbaren Verkehrsteilnehmer VRU. An Kleidungsstücken oder Gegenständen des Verkehrsteilnehmers VRU sind Marker M spezifisch angeordnet. Ein Leuchtmittel des Markers M emittiert für diesen Verkehrsteilnehmer VRU spezifisches Licht. Die Lichtemission L wird von einem Umfelderkennungsmodul U wahrgenommen. Das Umfelderkennungsmodul U umfasst Umfelderkennungssensoren. Die Marker M und deren Lichtemisson L werden in einem Verfahrensschritt V1 von einer Kamera C des Umfelderkennungsmoduls U wahrgenommen.
  • In einem Verfahrensschritt V2 werden die Bilder B der Kamera C von einem Wahrnehmungsmodul P prozessiert mittels eines erfindungsgemäß trainierten Maschinenlernmodells. Das Maschinenlernmodell bestimmt die Klasse K und die Orientierung D des Verkehrsteilnehmers VRU.
  • Ein Verfahrensschritt V3 umfasst die Prädiktion V einer Bewegung des Verkehrsteilnehmers VRU basierend auf der bestimmten Klasse K und Orientierung D.
  • In einem Verfahrensschritt V4 erfolgt eine an die Prädiktion V angepasste Fahrpfadplanung FPP.
  • In einem Verfahrensschritt V5 erfolgt die Fahrpfadumsetzung. Dabei werden Regel- und/oder Steuersignale S zur Ausführung der Fahrpfadplanung FPP bestimmt und entsprechenden Aktuatoren des Fahrsystems bereitgestellt.
  • Die Umfelderkennung U, das Wahrnehmungsmodul P, die Prädiktion V der Bewegung des Verkehrsteilnehmers VRU, die Fahrpfadplanung FPP und die Fahrpfadumsetzung FPU sind beispielsweise Software- und/oder Hardwarekomponenten eines Steuergeräts ECU zum Regeln und/oder Steuern automatisierter Fahrfunktionen des Fahrzeugsystems.
  • 2 zeigt einen Marker M, bei dem ein ARUCO-Code der Informationsträger I ist.
  • 3 zeigt eine Verkehrssituation mit einem Fußgänger VRU und einem Blinden VRU, jeweils mit unterschiedlichen Markern M. Die Marker M sind beispielsweise an Pullovern und Hosen und an dem Blindenstock BS angeordnet oder in diese integriert.
  • Bezugszeichen
  • VRU
    verwundbarer Verkehrsteilnehmer
    M
    Marker
    I
    Informationsträger
    L
    Licht
    ECU
    Steuergerät
    U
    Umfelderkennung
    C
    Kamera
    B
    Bild
    P
    Wahrnehmungsmodul
    K
    Klasse
    D
    Drehlage
    V
    Prädiktion
    FFP
    Fahrpfadplanung
    FPU
    Fahrpfadumsetzung
    S
    Signal
    BS
    Blindenstock
    V1-V5
    Verfahrensschritte
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2020346581 A1 [0003]
    • US 2019156086 A1 [0004]
    • WO 2018/152473 [0005]
    • DE 102020101281 A1 [0008]

Claims (8)

  1. Marker (M) zur Kamera (C) basierten Wahrnehmung eines Verkehrsteilnehmers (VRU), wobei • wenigstens einer der Marker (M) einen Informationsträger (I) umfasst, der eine Klasse (K) und/oder eine Orientierung (D) des Verkehrsteilnehmers (VRU) relativ zu einem Bezugspunkt eines Fahrzeugsystems angibt; • wenigstens einer der Marker (M) ein Leuchtmittel umfasst, ausgelegt für eine für die Klasse (K) des Verkehrsteilnehmers (VRU) spezifizierbare frequentierte Lichtemission (L); • mittels einer distinkten Anordnung der Marker (M) an Front-, Seiten- und/oder Rückseiten eines oder mehrerer Kleidungsstücke und/oder an Gegenständen (BS) des Verkehrsteilnehmers (VRU) die Orientierung (D) des Verkehrsteilnehmers (VRU) aus Kameraufnahmen der Marker (M) durch das Fahrzeugsystem bestimmbar ist.
  2. Marker (M) nach Anspruch 1, wobei der Informationsträger (I) klassenspezifische • Symbole umfassend geometrische Grundfiguren; • Piktogramme; • Farben; • Richtungspfeile; • ARUCO-Codes und/oder • QR-Codes umfasst; wobei wenigstens die ARUCO-Codes die Bestimmung der Orientierung (D) des Verkehrsteilnehmers (VRU) unterstützen.
  3. Marker (M) nach einem der vorangehenden Ansprüche, wobei die Lichtemission (L) des Leuchtmittels mit einer für die Klasse (K) des Verkehrsteilnehmers (VRU) spezifizierbaren Wellenlänge erfolgt.
  4. Marker (M) nach einem der vorangehenden Ansprüche, wobei wenigstens einer der Marker (M) einen Retroreflektor umfasst, ausgelegt für eine für die Klasse (K) des Verkehrsteilnehmers (VRU) spezifizierbare Retroreflexion von auf den Retroreflektor eingestrahltem Licht.
  5. Marker (M) nach einem der vorangehenden Ansprüche, ausgelegt für eine Anordnung an oder Integration in einen Rucksack, Jacke, Warnweste, Hose, Mütze und/oder für eine Anordnung an oder Integration in einen Rollstuhl, Blindenstock (BS), Helm oder Zweirad.
  6. Verfahren zum maschinellen Lernen einer Kamera (C) basierten Wahrnehmung eines Verkehrsteilnehmers (VRU), das Verfahren umfassend die Schritte: • mit wenigstens einer Kamera (C) eines Fahrzeugsystems Sammeln von Bildern (B) von an Front-, Seiten- und/oder Rückseiten eines oder mehrerer Kleidungsstücke und/oder an Gegenständen (BS) von Verkehrsteilnehmern (VRU) angeordneten Markern (M) nach einem der vorangehenden Ansprüche und/oder Simulieren derartiger Bilder (B); • Kennzeichnen der Bilder (B) mit einer jeweiligen, von einem Informationsträger (I) eines der Marker (M) angegebenen, Klasse (K) eines der Verkehrsteilnehmer (VRU) und/oder einer jeweiligen, von dem Informationsträger (I) in einem jeweiligen Verkehrsszenario angegebenen, Orientierung (D) des Verkehrsteilnehmers (VRU); • Zusammenführen der Bilder (B) mit den jeweiligen Kennzeichen zu einem Trainingsdatensatz; • Prozessieren eines Maschinenlernmodells für Bilderkennung auf einer für maschinelles Lernen konfigurierten Hardwarevorrichtung, wobei der Trainingsdatensatz durch das Maschinenlernmodell gespeist wird und das Maschinenlernmodell Gradienten basiert die Klassen (K) und/oder Orientierungen (D) der Verkehrsteilnehmer (VRU) basierend auf den Markern (M) lernt.
  7. Verfahren zur Kamera (C) basierten Wahrnehmung eines Verkehrsteilnehmers (VRU), das Verfahren umfassend die Schritte: • mit wenigstens einer Kamera (C) eines Fahrzeugsystems Aufnehmen von an Front-, Seiten- und/oder Rückseiten eines oder mehrerer Kleidungsstücke und/oder an Gegenständen (BS) des Verkehrsteilnehmers (VRU) angeordneten Markern (M) nach einem der Ansprüche 1 bis 5 (V1); • Prozessieren der Aufnahmen auf einem Steuergerät (ECU) zum Regeln und/oder Steuern automatisierter Fahrfunktionen des Fahrzeugsystems, wobei auf dem Steuergerät (ECU) ein nach dem Verfahren nach Anspruch 6 trainiertes Maschinenlernmodell hinterlegt ist und das Maschinenlernmodell eine Klasse (K) und/oder eine Orientierung (D) des Verkehrsteilnehmers (VRU) bestimmt, wenn das Steuergerät (ECU) das Maschinenlernmodell ausführt (V2); • Prädizieren einer Bewegung des Verkehrsteilnehmers (VRU) basierend auf der bestimmten Klasse (K) und/oder Orientierung (D) mittels des Steuergeräts (ECU) (V3); • Planen eines an die prädizierte Bewegung des Verkehrsteilnehmers (VRU) angepassten Fahrpfades (FPP) mittels des Steuergeräts (ECU) (V4); • Bestimmen von Regel- und/oder Steuersignalen (S) mittels des Steuergeräts (ECU) zur Ausführung der Fahrpfadplanung (FPU (V5).
  8. Computerprogramm zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, das Computerprogramm umfassend Befehle, die einen Computer veranlassen, die Schritte des Verfahrens nach Anspruch 7 auszuführen, wenn der Computer das Computerprogramm ausführt.
DE102022203043.5A 2022-03-29 2022-03-29 Marker zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren zum maschinellen Lernen einer Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren und Computerprogramm zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers Withdrawn DE102022203043A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022203043.5A DE102022203043A1 (de) 2022-03-29 2022-03-29 Marker zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren zum maschinellen Lernen einer Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren und Computerprogramm zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022203043.5A DE102022203043A1 (de) 2022-03-29 2022-03-29 Marker zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren zum maschinellen Lernen einer Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren und Computerprogramm zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers

Publications (1)

Publication Number Publication Date
DE102022203043A1 true DE102022203043A1 (de) 2023-10-05

Family

ID=88018967

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022203043.5A Withdrawn DE102022203043A1 (de) 2022-03-29 2022-03-29 Marker zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren zum maschinellen Lernen einer Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren und Computerprogramm zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers

Country Status (1)

Country Link
DE (1) DE102022203043A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018152473A1 (en) 2017-02-20 2018-08-23 3M Innovative Properties Company Retroreflecting article with contrast reduction layer
US20190156086A1 (en) 2017-11-17 2019-05-23 Divine Logic, Inc. Systems and methods for tracking items
US20200346581A1 (en) 2019-05-02 2020-11-05 Jared Lawson Trailer tracking commercial vehicle and automotive side view mirror system
DE102020101281A1 (de) 2020-01-21 2021-07-22 Audi Aktiengesellschaft Sicherheitseinrichtung, Kraftfahrzeug, Sicherheitssystem, Verfahren zur Erhöhung der Sicherheit für einen Verkehrsteilnehmer und Verfahren zum Betrieb eines Sicherheitssystems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018152473A1 (en) 2017-02-20 2018-08-23 3M Innovative Properties Company Retroreflecting article with contrast reduction layer
US20190156086A1 (en) 2017-11-17 2019-05-23 Divine Logic, Inc. Systems and methods for tracking items
US20200346581A1 (en) 2019-05-02 2020-11-05 Jared Lawson Trailer tracking commercial vehicle and automotive side view mirror system
DE102020101281A1 (de) 2020-01-21 2021-07-22 Audi Aktiengesellschaft Sicherheitseinrichtung, Kraftfahrzeug, Sicherheitssystem, Verfahren zur Erhöhung der Sicherheit für einen Verkehrsteilnehmer und Verfahren zum Betrieb eines Sicherheitssystems

Similar Documents

Publication Publication Date Title
DE102016116029B4 (de) Klassifikation von durch 3D-Sensoren erfassten Objekten
US11934985B2 (en) Driving risk computing device and methods
WO2014173863A1 (de) Verfahren und vorrichtung zur erkennung von nicht motorisierten verkehrsteilnehmern
DE102018104270A1 (de) Verfahren zum Vorhersagen des Verhaltens mindestens eines Fußgängers
EP1566060B1 (de) Vorrichtung und verfahren zur verbesserung der sicht in einem kraftfahrzeug
DE102018203121B4 (de) Verfahren zur Berechnung einer AR-Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
CN110015293B (zh) 限界区域和运动路径的低维度求取
WO2020173768A1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
DE10325762A1 (de) Bildverarbeitungssystem für ein Fahrzeug
DE102011011870A1 (de) Komponenten-basierte Detektion, Klassifikation, Verfolgung und Prädikation von Objekten
DE102019208663A1 (de) Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
DE102017111468A1 (de) Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat
DE102018209388A1 (de) Erkennung fahrtrelevanter Situationen auf größere Entfernung
DE102021200467A1 (de) Computerimplementiertes Verfahren, Steuergerät und Computerprogramm zum Regeln und/oder Steuern einer Fahrfunktion eines automatisiert betreibbaren Fahrzeuges und zum Aufbauen einer Warnkaskade für ein Auslösen der Fahrfunktion und automatisches Notbremsungs- und/oder Notlenkungsmodul für ein automatisiert betreibbares Fahrzeug umfassend ein derartiges Steuergerät
DE102014009608A1 (de) Betrieb einer AR-Brille im Kraftfahrzeug
EP4437529A1 (de) Soziale-kräfte-modelle zur trajektorien-prädiktion anderer verkehrsteilnehmer
DE102022203043A1 (de) Marker zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren zum maschinellen Lernen einer Kamera basierten Wahrnehmung eines Verkehrsteilnehmers, Verfahren und Computerprogramm zur Kamera basierten Wahrnehmung eines Verkehrsteilnehmers
DE102020101281B4 (de) Sicherheitseinrichtung, Sicherheitssystem, Verfahren zur Erhöhung der Sicherheit für einen Verkehrsteilnehmer und Verfahren zum Betrieb eines Sicherheitssystems
DE102019204187A1 (de) Klassifizierung und temporale Erkennung taktischer Fahrmanöver von Verkehrsteilnehmern
Abdi Khojasteh et al. An intelligent safety system for human-centered semi-autonomous vehicles
DE102022212888A1 (de) Verfahren, Steuergerät und Computerprogramm zum Vermeiden oder Vermindern einer Kollision eines autonomen Kraftfahrzeugs mit einem Objekt, und computerlesbares Speichermedium
DE102022212896A1 (de) Verfahren, Steuergerät und Computerprogramm zum geschwindigkeitsbasierten Ermitteln eines interessierenden Bereichs, und computerlesbares Speichermedium
DE102022212875A1 (de) Verfahren, Steuergerät und Computerprogramm zum positionsbasierten Ermitteln eines interessierenden Bereichs, und computerlesbares Speichermedium
WO2022214330A1 (de) Verfahren und optisches ausgabesystem für ein fahrzeug zur optischen ausgabe eines merkmals eines in einem fahrzeugumfeld befindlichen zu erfassenden fahrzeugs
DE102017217941A1 (de) Vorrichtung, Fahrzeug und Verfahren

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee