DE102018212171B4 - Verfahren und Vorrichtung zur Erkennung von Verkehrsteilnehmern in der Umgebung eines Fahrzeugs - Google Patents

Verfahren und Vorrichtung zur Erkennung von Verkehrsteilnehmern in der Umgebung eines Fahrzeugs Download PDF

Info

Publication number
DE102018212171B4
DE102018212171B4 DE102018212171.0A DE102018212171A DE102018212171B4 DE 102018212171 B4 DE102018212171 B4 DE 102018212171B4 DE 102018212171 A DE102018212171 A DE 102018212171A DE 102018212171 B4 DE102018212171 B4 DE 102018212171B4
Authority
DE
Germany
Prior art keywords
vehicle
images
pedestrian
image
procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018212171.0A
Other languages
English (en)
Other versions
DE102018212171A1 (de
Inventor
Frederic Stefan
Christoph Arndt
Uwe Gussen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102018212171A1 publication Critical patent/DE102018212171A1/de
Application granted granted Critical
Publication of DE102018212171B4 publication Critical patent/DE102018212171B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zur Erkennung von Verkehrsteilnehmern in der Umgebung eines Fahrzeugs, wobei das Fahrzeug wenigstens einen kamerabasierten Sensor zur Aufnahme von Bildern der Fahrzeugumgebung aufweist, dadurch gekennzeichnet, dass das Verfahren folgende Schritte aufweist:a) Aufnehmen, zu einer Mehrzahl von unterschiedlichen Zeitpunkten, jeweils eines Bildes eines in der Fahrzeugumgebung befindlichen Objekts;b) Durchführen von Bildanalysen an den zu unterschiedlichen Zeitpunkten aufgenommenen Bildern, wobei ermittelt wird, ob jeweils zwei zu aufeinanderfolgenden Zeitpunkten aufgenommene Bilder eines Objekts durch Anwendung einer Ähnlichkeitsabbildung ineinander überführbar sind; undc) Durchführen einer Unterscheidung, ob das betreffende Objekt als Verkehrsteilnehmer oder als nicht-lebendes Gebilde interpretiert werden soll, in Abhängigkeit vom Ergebnis der im Schritt b) durchgeführten Ermittlung.

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung von Verkehrsteilnehmern in der Umgebung eines Fahrzeugs.
  • Im Zuge der fortschreitenden Entwicklung von Systemen zum autonomen Fahren gewinnt die genaue Erkennung bzw. Identifizierung von anderen Verkehrsteilnehmern, insbesondere Fußgängern, für einen ordnungsgemäßen Betrieb dieser Systeme zunehmend an Bedeutung. So muss etwa seitens eines mit einem System zum autonomen Fahren ausgestatteten Fahrzeugs, welches sich innerhalb eines innerstädtischen Bereichs bewegt, ein die Fahrbahn überquerender Fußgänger erkannt werden, damit die Fahrgeschwindigkeit reduziert oder ein abruptes Bremsmanöver ausgelöst werden kann, wenn der betreffende Fußgänger dem Fahrzeug sehr nahekommt.
  • Im Stand der Technik sind Systeme zum autonomen Fahren bekannt, bei welchen eine Erkennung von Objekten bzw. Verkehrsteilnehmern basierend auf Kamerasystemen (z.B. Lidar-Kameras) erfolgt. Bei den besagten anderen Verkehrsteilnehmern kann es sich um Fremdfahrzeuge, Fahrradfahrer oder Fußgänger handeln.
  • Aus DE 10 2013 020 435 A1 ist u.a. ein Verfahren zum Erkennen von Objekten in einer Fahrzeugumgebung mittels einer Bilderfassungsvorrichtung bekannt, wobei in einem ersten Schritt eine Grobkategorisierung der Objekte und in einem zweiten Schritt eine Feinkategorisierung anhand zumindest eines weiteren Objektmerkmals erfolgen. Insbesondere kann bei als Fußgänger in der Grobkategorisierung erkannten Objekten eine Feinkategorisierung anhand einer Mobilität der Fußgänger durchgeführt werden, wozu Bewegungen der Fußgänger erfasst und ausgewertet werden, um beispielsweise Kinder, Erwachsene oder ältere Menschen zu erkennen.
  • Aus US 2016/0231746 A1 sind u.a. ein System und ein Verfahren zum Betreiben eines autonomen Fahrzeugs bekannt, wobei einer von einem Controller erzeugten Karte für die Umgebung des Fahrzeugs ein Objekt über den Controller hinzugefügt wird, wenn das Objekt vom Controller als „verifiziert“ eingestuft wird. Der Controller ist mit einem Radarmodul und einem Kameramodul sowie gegebenenfalls weiteren Fähigkeiten ausgestattet, um für das erfasste Objekt charakteristische Parameter wie Objektposition und Geschwindigkeitsvektoren zu bestimmen oder eine Klassifizierung des Objekts (z.B. zwecks Unterscheidung eines Fahrzeugs von einem Fußgänger) zu ermöglichen.
  • Aus DE 10 2008 062 915 A1 sind u.a. eine Auswerteeinheit sowie ein Verfahren zum Auswerten von Objektinformationen für ein Fahrzeug bekannt, wobei zur Erkennung von Personen und insbesondere von Fußgängern die von einem Sensor erfassten Objektinformationen mit einem in einem Speicher abgelegten, menschliche Bewegungen charakterisierenden Muster verglichen werden, wobei das Objekt als Person erkannt wird, falls die Objektinformationen mit wenigstens einem in dem Speicher abgelegten, menschliche Bewegungen charakterisierenden Muster übereinstimmen.
  • Aus DE 10 2013 219 038 A1 sind u.a. ein Verfahren zur Erkennung eines Polizisten durch ein Fahrassistenzsystem eines Kraftfahrzeugs bekannt, wobei mittels einer fahrzeugseitigen Kamera Bilder vom Fahrzeugumfeld aufgenommen und die aufgenommenen Bilddaten mittels einer im Fahrassistenzsystem hinterlegten Bildauswertung ausgewertet werden, wobei anhand der ausgewerteten Bilddaten ein Polizist automatisch erkannt wird.
  • Zum weiteren Stand der Technik wird auf DE 10 2015 118 067 A1 verwiesen.
  • Trotz der diversen bekannten Ansätze zur Erkennung und Identifizierung von Fußgängern mit Hilfe von kamerabasierten Sensoren können in der Praxis Probleme daraus resultieren, dass auf zahlreichen Werbeflächen (welche z.B. in Form von Straßenplakaten, an LKWs oder Bushaltestellen vorhanden sein können) Fußgänger, Tiere oder Fahrräder dargestellt sein können mit der Folge, dass herkömmliche Bildverarbeitungsalgorithmen entsprechend in die Irre geführt werden. So kann beispielsweise ein auf einem Werbeplakat an einer Bushaltestelle dargestellter Fußgänger durch einen Bildverarbeitungsalgorithmus fälschlich als ein eine Fahrbahnüberquerung beabsichtigender echter Fußgänger interpretiert werden. Ein auf einem derartigen Bildverarbeitungsalgorithmus basierendes System zum autonomen Fahren kann dann die entsprechende Fehleinschätzung zum Anlass nehmen, abhängig von der Fahrzeuggeschwindigkeit und der Position des Werbeplakats ein abruptes Bremsen oder ein Ausweichmanöver auszulösen oder das Fahrzeug mitten auf der Fahrbahn zum Stehen zu bringen. In diesem Falle wäre das Verhalten des betreffenden Fahrzeugs für die Fahrzeuginsassen unverständlich und für andere Verkehrsteilnehmer (insbesondere den hinter dem Fahrzeug befindlichen Verkehr) überraschend, wobei letztere ihrerseits zur Kollisionsvermeidung zu einem abrupten Bremsvorgang veranlasst werden können.
  • Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zur Erkennung von Verkehrsteilnehmern in der Umgebung eines Fahrzeugs bereitzustellen, welche eine möglichst zuverlässige Erkennung bei verringertem Risiko von Fehlinterpretationen der Umgebung ermöglichen.
  • Diese Aufgabe wird durch das Verfahren gemäß den Merkmalen des unabhängigen Patentanspruchs 1 bzw. die Vorrichtung gemäß den Merkmalen des nebengeordneten Patentanspruchs 11 gelöst.
  • Ein erfindungsgemäßes Verfahren zur Erkennung von Verkehrsteilnehmern in der Umgebung eines Fahrzeugs, wobei das Fahrzeug wenigstens einen kamerabasierten Sensor zur Aufnahme von Bildern der Fahrzeugumgebung aufweist, weist folgende Schritte auf:
    • - Aufnehmen, zu einer Mehrzahl von unterschiedlichen Zeitpunkten, jeweils eines Bildes eines in der Fahrzeugumgebung befindlichen Objekts;
    • - Durchführen von Bildanalysen an den zu unterschiedlichen Zeitpunkten aufgenommenen Bildern, wobei ermittelt wird, ob jeweils zwei zu aufeinanderfolgenden Zeitpunkten aufgenommene Bilder eines Objekts durch Anwendung einer Ähnlichkeitsabbildung ineinander überführbar sind; und
    • - Durchführen einer Unterscheidung, ob das betreffende Objekt als Verkehrsteilnehmer oder als nicht-lebendes Gebilde interpretiert werden soll, in Abhängigkeit vom Ergebnis der durchgeführten Ermittlung.
  • Dabei wird im Rahmen der vorliegenden Anmeldung unter einer Ähnlichkeitsabbildung eine Abbildung bzw. geometrische Transformation verstanden, welche eine Streckung (d.h. Vergrößerung oder Verkleinerung um einen Skalierungsfaktor), translatorische Verschiebung, Drehung, Spiegelung oder eine beliebige Kombination aus den vorstehend genannten Transformationen darstellt bzw. beinhaltet.
  • Der Erfindung liegt insbesondere das Konzept zugrunde, zur Erkennung von Verkehrsteilnehmern dienende Bildverarbeitungsverfahren dahingehend zu verbessern bzw. zu erweitern, dass eine Unterscheidung „echter“ bzw. lebender Verkehrsteilnehmer wie z.B. Fußgänger von - z.B. auf Werbeplakaten befindlichen - Abbildungen solcher Objekte zu ermöglichen und insoweit das Risiko einer Fehlalarmierung bzw. eines zu Unrecht ausgelösten abrupten Bremsvorgangs zu vermeiden.
  • Die zu diesem Zweck erfindungsgemäß an zu unterschiedlichen Zeitpunkten aufgenommenen Bildern durchgeführten Bildanalysen erfolgen hierbei nicht etwa zur Berechnung von Geschwindigkeitsvektoren oder anderen das erfasste Objekt charakterisierenden Parametern, sondern dienen dazu festzustellen, ob eine Beziehung zwischen wenigstens zwei aufeinanderfolgenden aufgenommenen Bildern identifiziert werden kann, welche einer einfachen geometrischen Transformation bzw. Ähnlichkeitsabbildung (z.B. translatorische Verschiebung oder Drehung) oder einer Kombination aus solchen Ähnlichkeitsabbildungen entspricht.
  • Mit anderen Worten dient das erfindungsgemäße Verfahren nicht etwa zur zusätzlichen Merkmalsextraktion aus den aufgenommenen Bilddaten, sondern zur Überprüfung, ob eine geometrische Transformation in Form einer Ähnlichkeitsrelation zwischen aufeinanderfolgenden Objektbildern gefunden werden kann, für welchen Fall das Objekt (z.B. der angebliche Fußgänger) als „unechtes“ bzw. nicht lebendes Objekt bzw. Gebilde interpretiert wird (und z.B. ein entsprechendes Brems- oder Ausweichmanöver seitens des autonomen Fahrzeugs unterbleiben kann). Im Ergebnis kann ein anderenfalls (nämlich bei Fehlinterpretation eines „unechten“ bzw. nicht lebenden Objekts auf z.B. einem Werbeplakat als realen Fußgänger) auftretender Fehlalarm und eine damit sowie mit etwaigen Brems- oder Ausweichmanövern gegebenenfalls einhergehende Verwirrung oder Gefährdung anderer Verkehrsteilnehmer vermieden werden.
  • Das erfindungsgemäße Verfahren unterscheidet sich dabei insbesondere von herkömmlichen Ansätzen, bei denen durch Anwendung spezieller Bildverarbeitungsalgorithmen zusätzliche Merkmale bzw. Parameter zwecks eingehenderer Identifizierung erfasster Objekte aus den jeweiligen Bildern extrahiert werden. Stattdessen erfolgt erfindungsgemäß ausgehend von den unterschiedlichen Zeitpunkten aufgenommenen Bildern eine Klassifizierung erfasster Objekte als entweder real oder „unecht“ auf Basis einer Ähnlichkeitsanalyse.
  • Die Erfindung geht hierbei von der Überlegung aus, dass „echte“ Verkehrsteilnehmer wie Fußgänger, Fahrradfahrer oder Tiere komplexe Bewegungssequenzen durchführen, bei denen jeweils die meisten Körperteile (z.B. Arme, Beine und Kopf) beteiligt sind. Unter dem Gesichtspunkt der Bildverarbeitung bedeutet dies, dass ein echter Fußgänger - anders als ein zeitlich unveränderliches Bild eines Fußgängers - eine gewisse Variation des dargestellten bzw. erkannten Musters bewirkt, die darauf hinweist, dass es sich um ein echtes bewegliches Objekt bzw. Lebewesen handelt. Demgegenüber kann das Bild eines nicht-lebenden Gebildes z.B. auf einem Werbeplakat von einem fahrenden Fahrzeug aus aufgrund der Fahrzeugbewegung in jeder Fahrzeugposition zwar sehr unterschiedlich aussehen, wobei jedoch in diesem Falle wie im Weiteren beschrieben immer noch Ähnlichkeitsbezüge vorhanden sind, welche bei einem echten Fußgänger unwahrscheinlich sind.
  • Erfindungsgemäß können insbesondere die Bilder von Objekten wie z.B. Fußgängern über ein bestimmtes Zeitfenster hinweg analysiert werden. Sodann wird versucht, eine Ähnlichkeitsabbildung bzw. Ähnlichkeitsrelation zwischen den jeweiligen Bildern zu ermitteln. Hierbei kann insbesondere bestimmt werden, ob ein jeweiliges Bild des Objekts (z.B. eines Fußgängers) aus einem zu einem vorherigen Zeitpunkt aufgenommenen Bild durch eine Ähnlichkeitsabbildung in Form einer Kombination aus Streckung, translatorischer Verschiebung, Drehung und Spiegelung erzeugt werden kann. Wenn dies der Fall ist, kann das Objekt bzw. der Fußgänger als nicht-lebendes Gebilde bzw. als nicht-realer („unechter“) Fußgänger klassifiziert werden.
  • Gemäß einer Ausführungsform wird das Objekt als nicht-lebendes Gebilde interpretiert, falls für jedes Paar von zu unterschiedlichen Zeitpunkten aufgenommenen Bildern eine Ähnlichkeitsabbildung gefunden wird.
  • Gemäß einer Ausführungsform umfasst die Ähnlichkeitsabbildung eine beliebige Kombination der geometrischen Transformationen Streckung, translatorische Verschiebung, Drehung und Spiegelung.
  • In einer weiteren Ausführungsform kann das Verfahren bzw. die erfindungsgemäße Vorrichtung auch versuchen, spezielle Marker in dem von einer Kamera erzeugten Bild des Fußgängers zu identifizieren. Bei diesen Markern kann es sich insbesondere um Buchstaben oder Logos handeln, welche typische Merkmale von Werbeanzeigen darstellen. Hierbei kann auch ein Zugriff auf eine in einem Cloud-Speicher abgelegte Datenbank erfolgen, welche eine Sammlung an bekannten Werbeanzeigen, Logos, in der Werbung verwendeten Schriftsätzen etc. umfasst, wodurch die erfindungsgemäße Datenverarbeitung beschleunigt und vereinfacht werden kann. Des Weiteren können geeignete Bildverarbeitungsalgorithmen wie z.B. Zeichenerkennungs- oder Objekterkennungs-Algorithmen angewendet werden.
  • Gemäß einer Ausführungsform wird im Schritt der Durchführung von Bildanalysen überprüft, ob die zu unterschiedlichen Zeitpunkten aufgenommenen Bilder wenigstens ein auf das Vorliegen einer Werbeanzeige hinweisendes Merkmal aufweisen.
  • Gemäß einer Ausführungsform wird diese Überprüfung unter Zugriff auf wenigstens eine Datenbank, insbesondere eine in einem Cloud-Speicher abgespeicherte Datenbank, durchgeführt.
  • Gemäß einer Ausführungsform umfasst die Überprüfung die Durchführung wenigstens eines Zeichenerkennungsalgorithmus oder Objekterkennungsalgorithmus.
  • Gemäß einer Ausführungsform weist das Verfahren ferner den Schritt auf: Analyse einer Infrarotsignatur des Objekts, wobei die Durchführung der Unterscheidung, ob das betreffende Objekt als Verkehrsteilnehmer oder als nicht-lebendes Gebilde interpretiert werden soll, ferner auf Basis dieser Analyse erfolgt.
  • Gemäß einer Ausführungsform weist das Verfahren ferner den Schritt auf: Analyse eines Lichtspektrums der zu unterschiedlichen Zeitpunkten aufgenommenen Bilder, wobei die Durchführung der Unterscheidung, ob das betreffende Objekt als Verkehrsteilnehmer oder als nicht-lebendes Gebilde interpretiert werden soll, ferner auf Basis dieser Analyse erfolgt.
  • Gemäß einer Ausführungsform wird das Ergebnis der Unterscheidung, ob das betreffende Objekt als Verkehrsteilnehmer oder als nicht-lebendes Gebilde interpretiert werden soll, an ein System zum autonomen Fahren übermittelt.
  • Die Erfindung betrifft weiter auch eine Vorrichtung zur Erkennung von Verkehrsteilnehmern in der Umgebung eines Fahrzeugs, wobei das Fahrzeug wenigstens einen kamerabasierten Sensor zur Aufnahme von Bildern der Fahrzeugumgebung aufweist, wobei die Vorrichtung dazu konfiguriert ist, ein Verfahren mit den vorstehend beschriebenen Merkmalen durchzuführen. Zu Vorteilen und bevorzugten Ausgestaltungen der Vorrichtung wird auf die obigen Ausführungen im Zusammenhang mit dem erfindungsgemäßen Verfahren Bezug genommen.
  • Weitere Ausgestaltungen der Erfindung sind der Beschreibung sowie den Unteransprüchen zu entnehmen.
  • Die Erfindung wird nachstehend anhand beispielhafter Ausführungsformen unter Bezugnahme auf die beigefügten Abbildungen näher erläutert.
  • Es zeigen:
    • 1 ein Blockdiagramm zur Erläuterung des möglichen Aufbaus einer erfindungsgemäßen Vorrichtung sowie der Funktion der darin enthaltenen Komponenten; und
    • 2 mehrere Bilder der mit einer Kamera aufgenommenen, vor einem Fahrzeug befindlichen Verkehrsumgebung zur Erläuterung eines möglichen Szenarios bei Durchführung des erfindungsgemäßen Verfahrens.
  • 1 zeigt ein Blockdiagramm zur Erläuterung des möglichen Aufbaus einer erfindungsgemäßen Vorrichtung sowie der Funktion der darin enthaltenen Komponenten.
  • Gemäß 1 dient ein Kamerasensor 11 dazu, den Straßenverkehr zu überwachen und Bilder mit einer bestimmten Rate an ein erfindungsgemäßes, zum autonomen Fahren ausgelegtes Fahrzeug zu übermitteln.
  • Ein Fußgängererkennungsmodul 12 dient dazu, Fußgänger auf Basis eines Bildverarbeitungsalgorithmus in für sich bekannter Weise zu erfassen. Das Fußgängererkennungsmodul übermittelt die Relativposition des Fußgängers in Bezug auf das Fahrzeug an das zum autonomen Fahren ausgelegte Fahrzeug.
  • Ein Modul 13 dient dazu, eine Bildsequenz von Bildern wenigstens eines Fußgängers, welche von dem Fußgängererkennungsmodul 12 erfasst wurden, über eine bestimmte kurze Zeitspanne in einem Speicher abzuspeichern.
  • Mit „14“ ist ein Modul zur Berechnung einer Ähnlichkeitsabbildung bezeichnet. Dieses Modul 14 führt für jeweils zwei in dem Modul 13 zu den Zeitpunkten „t“ bzw. „t+1“ oder „t+n“ gespeicherte Bilder einen Algorithmus durch, um zu ermitteln, ob das zum Zeitpunkt „t+1“ oder „t+n“ aufgenommene Bild aus dem zum Zeitpunkt „t“ aufgenommenen Bild durch eine beliebige Kombination der nachfolgend aufgeführten geometrischen Transformationen erhalten werden kann:
    • - Streckung: Die Form des Fußgängers ist bis auf einen Skalierungsfaktor (Vergrößerungs- oder Verkleinerungsfaktor) erhalten.
    • - Translatorische Verschiebung: Form und Größe des Fußgängers sind erhalten, jedoch ist die Position des Fußgängers verändert.
    • - Drehung: Die Form des Fußgängers ist verändert, aber Winkel und Abmessungen der Fußgängerform sind erhalten. Die Drehung kann in Bezug auf einen Punkt oder eine Achse (z.B. im Falle einer Werbeanzeige an einem einen Abbiegevorgang durchführenden Bus) vorliegen.
    • - Spiegelung (optional): Die Form des Fußgängers ist in Bezug auf eine Achse „gespiegelt“.
  • Die betreffende Ähnlichkeitsabbildung kann zweidimensional oder auch im dreidimensionalen Raum durchgeführt werden.
  • Ein weiteres (optionales) Modul 14a dient dazu, bestimmte, für Werbeanzeigen oder dergleichen charakteristische Merkmale bzw. „Marker“ zu extrahieren. Dieses Modul 14a analysiert somit die im Modul 13 gespeicherten Bilder und versucht, bestimmte Merkmale wie Zeichen, Buchstaben oder Logos zu extrahieren. Hierzu kann das Modul einen Zeichenerkennungs- oder Objekterkennungsalgorithmus durchführen. Des Weiteren kann ein Cloud-Speicher bzw. Cloud-Server genutzt werden, welcher z.B. eine Sammlung bekannter Firmenlogos und bekannter in der Werbung verwendeter Schriftzeichen umfassen und gegebenenfalls auch auf eine Sammlung bekannter Werbebilder zugreifen kann, wodurch die erfindungsgemäße Verarbeitung beschleunigt werden kann.
  • Ein Modul 15 dient dazu, den vorstehend beschriebenen Suchalgorithmus zum Suchen einer Ähnlichkeitsabbildung auf jeweils aufeinanderfolgende Fußgängerbilder, welche im Modul 13 abgespeichert wurden, anzuwenden. Wenn für jedes Bildpaar eine entsprechende Ähnlichkeitsrelation gefunden werden kann, wird der Fußgänger als nicht-realer („unechter“) Fußgänger klassifiziert. Dies bedeutet, dass die Vorrichtung bzw. Software zum autonomen Fahren diesen Fußgänger nicht als „echten Fußgänger“ berücksichtigen soll. In einer weiteren Ausführungsform kann das Modul auch den Algorithmus zur Extrahierung von Werbemarkern auf jedes Fußgängerbild anwenden. Wenn eine Ähnlichkeitsabbildung vorliegt und/oder wenn irgendein Werbemarker identifiziert wurde, wird der Fußgänger als nicht-realer („unechter“) Fußgänger klassifiziert.
  • Mit „16“ ist eine zentrale Koordinationseinheit zur Koordination der vorstehend beschriebenen Module bezeichnet.
  • In einer weiteren (nicht dargestellten) Ausführungsform kann das Modul 15 dahingehend erweitert werden, dass es sich bei dem nicht-realen bzw. unechten Fußgänger um ein Hologramm, ein animiertes Bild oder eine animierte Werbefläche handeln kann. In diesem Falle kann in einem Szenario, in welchem ein Fußgängerbild zunächst als Bild eines echten Fußgängers akzeptiert wurde, eine oder mehrere der nachfolgenden Analysen durchgeführt werden:
  • Gemäß einer Ausführungsform kann eine Infrarotsignatur des Fußgängerbildes mithilfe einer geeigneten Kamera analysiert werden (wobei ausgenutzt wird, dass ein Hologramm oder ein Display eine andere Signatur aufweisen als ein Lebewesen). Des Weiteren kann auch das Lichtspektrum des Fußgängerbildes analysiert werden, um zu überprüfen, ob die Lichtsignatur mit derjenigen einer LED-Anzeige übereinstimmt. Des Weiteren kann das Lichtspektrum des Fußgängerbildes auch analysiert werden, um festzustellen, ob die Frequenzverteilung und Intensitätsverteilung mit denjenigen eines künstlich erzeugten Bildes übereinstimmen. Optional kann auch ein „Ping-Signal“ über einen Radarsensor oder eine drahtlose Kommunikation zu dem Fußgänger gesendet werden, um gegebenenfalls z.B. ein Bestätigungssignal von einem Smartphone oder dergleichen, welches von einem „echten“ Fußgänger mitgeführt wird, zu erhalten.
  • 2 zeigt zur Erläuterung eines möglichen Szenarios bei Durchführung des erfindungsgemäßen Verfahrens mehrere Bilder 21, 22 bzw. 23 der mit einer Kamera aufgenommenen, vor einem Fahrzeug befindlichen Verkehrsumgebung. In dem beispielhaften Szenario wird angenommen, dass ein Fahrzeug entlang einer Linkskurve fährt. Auf der linken Fahrbahnseite befindet sich eine Bushaltestelle mit einer vom Fahrzeug aus sichtbaren Werbefläche. Die Werbefläche zeigt das Bild einer laufenden Person. Das Fahrzeug ist mit einer Kamera ausgestattet, welche entsprechende Bildsignale für ein System zum autonomen Fahren bereitstellt.
  • In dem vorstehend beschriebenen Szenario nimmt die Kamera, wie in 2 angedeutet, mehrere Bilder 21, 22 bzw. 23 von der vor dem Fahrzeug befindlichen Verkehrsumgebung auf, während das Fahrzeug nach links gelenkt wird. Bei jeder dieser Bildaufnahmen befindet sich das Fahrzeug aufgrund der Fahrzeugbewegung in einer anderen Position auf der Fahrbahn. Demzufolge unterscheiden sich Position und Größe der Anzeigefläche in den aufgenommenen Bildern voneinander. Grundsätzlich könnte somit ein auf diesen Bildern 21, 22 und 23 ermittelter Fußgänger 21a, 22a, 23a in unterschiedlichen Formen auch als laufender Fußgänger, welcher ein Überqueren der Fahrbahn vor dem Fahrzeug beabsichtigt, interpretiert werden.
  • Durch die erfindungsgemäße Vorrichtung werden nun wie vorstehend beschrieben die Bilder 21, 22 und 23 gespeichert, und es erfolgt die Suche nach einer Ähnlichkeitsbeziehung zwischen den Bildern 21 und 22 bzw. zwischen den Bildern 22 und 23. In beiden Fällen wird nun ermittelt, dass der Fußgänger 22a auf Bild 22 aus dem Fußgänger 21 a auf Bild 21 (bzw. der Fußgänger 23a auf Bild 23 aus dem Fußgänger 22a auf Bild 22) durch Anwendung einer Streckung um einen Skalierungsfaktor sowie Anwendung einer translatorischen Verschiebung erhalten werden kann. Die erfindungsgemäße Vorrichtung klassifiziert den Fußgänger somit als nicht-realen („unechten“) Fußgänger und veranlasst dessen Ignorierung durch den Algorithmus bzw. das System zum autonomen Fahren.

Claims (11)

  1. Verfahren zur Erkennung von Verkehrsteilnehmern in der Umgebung eines Fahrzeugs, wobei das Fahrzeug wenigstens einen kamerabasierten Sensor zur Aufnahme von Bildern der Fahrzeugumgebung aufweist, dadurch gekennzeichnet, dass das Verfahren folgende Schritte aufweist: a) Aufnehmen, zu einer Mehrzahl von unterschiedlichen Zeitpunkten, jeweils eines Bildes eines in der Fahrzeugumgebung befindlichen Objekts; b) Durchführen von Bildanalysen an den zu unterschiedlichen Zeitpunkten aufgenommenen Bildern, wobei ermittelt wird, ob jeweils zwei zu aufeinanderfolgenden Zeitpunkten aufgenommene Bilder eines Objekts durch Anwendung einer Ähnlichkeitsabbildung ineinander überführbar sind; und c) Durchführen einer Unterscheidung, ob das betreffende Objekt als Verkehrsteilnehmer oder als nicht-lebendes Gebilde interpretiert werden soll, in Abhängigkeit vom Ergebnis der im Schritt b) durchgeführten Ermittlung.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Objekt als nicht-lebendes Gebilde interpretiert wird, falls für jedes Paar von zu unterschiedlichen Zeitpunkten aufgenommenen Bildern eine Ähnlichkeitsabbildung gefunden wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Ähnlichkeitsabbildung eine beliebige Kombination der geometrischen Transformationen Streckung, translatorische Verschiebung, Drehung und Spiegelung umfasst.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass im Schritt b) der Durchführung von Bildanalysen überprüft wird, ob die zu unterschiedlichen Zeitpunkten aufgenommenen Bilder wenigstens ein auf das Vorliegen einer Werbeanzeige hinweisendes Merkmal aufweisen.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass diese Überprüfung unter Zugriff auf wenigstens eine Datenbank, insbesondere eine in einem Cloud-Speicher abgespeicherte Datenbank, durchgeführt wird.
  6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass diese Überprüfung die Durchführung wenigstens eines Zeichenerkennungsalgorithmus oder Objekterkennungsalgorithmus umfasst.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren ferner den Schritt aufweist: Analyse einer Infrarotsignatur des Objekts, wobei die Durchführung der Unterscheidung im Schritt c) ferner auf Basis dieser Analyse erfolgt.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren ferner den Schritt aufweist: Analyse eines Lichtspektrums der zu unterschiedlichen Zeitpunkten aufgenommenen Bilder, wobei die Entscheidung im Schritt c) ferner auf Basis dieser Analyse erfolgt.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ergebnis der im Schritt c) getroffenen Entscheidung an ein System zum autonomen Fahren übermittelt wird.
  10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit von der im Schritt c) durchgeführten Unterscheidung die Auslösung eines Brems- und/oder Ausweichmanövers seitens des Systems zum autonomen Fahren verhindert wird.
  11. Vorrichtung zur Erkennung von Verkehrsteilnehmern in der Umgebung eines Fahrzeugs, wobei das Fahrzeug wenigstens einen kamerabasierten Sensor zur Aufnahme von Bildern der Fahrzeugumgebung aufweist, dadurch gekennzeichnet, dass die Vorrichtung dazu konfiguriert ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
DE102018212171.0A 2017-07-25 2018-07-23 Verfahren und Vorrichtung zur Erkennung von Verkehrsteilnehmern in der Umgebung eines Fahrzeugs Active DE102018212171B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017212701 2017-07-25
DE102017212701.5 2017-07-25

Publications (2)

Publication Number Publication Date
DE102018212171A1 DE102018212171A1 (de) 2019-01-31
DE102018212171B4 true DE102018212171B4 (de) 2023-08-24

Family

ID=65003995

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018212171.0A Active DE102018212171B4 (de) 2017-07-25 2018-07-23 Verfahren und Vorrichtung zur Erkennung von Verkehrsteilnehmern in der Umgebung eines Fahrzeugs

Country Status (3)

Country Link
US (1) US10831194B2 (de)
CN (1) CN109291931A (de)
DE (1) DE102018212171B4 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008062915A1 (de) 2008-12-23 2010-07-01 Continental Safety Engineering International Gmbh Erkennung von Personen, insbesondere von Fußgängern
DE102013020435A1 (de) 2013-12-06 2014-06-18 Daimler Ag Verfahren zum Erkennen von Objekten in einer Fahrzeugumgebung
DE102013219038A1 (de) 2013-09-23 2015-03-26 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung eines Verkehrspolizisten durch ein Fahrerassistenzsystem eines Kraftfahrzeugs sowie ein Fahrerassistenzsystem
DE102015118067A1 (de) 2014-10-22 2016-04-28 GM Global Technology Operations LLC Systeme und Verfahren zur Objekterkennung
US20160231746A1 (en) 2015-02-06 2016-08-11 Delphi Technologies, Inc. System And Method To Operate An Automated Vehicle

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734455B2 (en) * 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008062915A1 (de) 2008-12-23 2010-07-01 Continental Safety Engineering International Gmbh Erkennung von Personen, insbesondere von Fußgängern
DE102013219038A1 (de) 2013-09-23 2015-03-26 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung eines Verkehrspolizisten durch ein Fahrerassistenzsystem eines Kraftfahrzeugs sowie ein Fahrerassistenzsystem
DE102013020435A1 (de) 2013-12-06 2014-06-18 Daimler Ag Verfahren zum Erkennen von Objekten in einer Fahrzeugumgebung
DE102015118067A1 (de) 2014-10-22 2016-04-28 GM Global Technology Operations LLC Systeme und Verfahren zur Objekterkennung
US20160231746A1 (en) 2015-02-06 2016-08-11 Delphi Technologies, Inc. System And Method To Operate An Automated Vehicle

Also Published As

Publication number Publication date
US20190033864A1 (en) 2019-01-31
US10831194B2 (en) 2020-11-10
CN109291931A (zh) 2019-02-01
DE102018212171A1 (de) 2019-01-31

Similar Documents

Publication Publication Date Title
DE60126382T2 (de) Verfahren und Gerät zur Erkennung von Gegenständen
EP1145186B1 (de) Verfahren und vorrichtung zur leistungssteigerung eines verkehrszeichenerkennungssystems
DE102011086512B4 (de) Nebeldetektion
DE112018007287T5 (de) Fahrzeugsystem und -verfahren zum erfassen von objekten und einer objektentfernung
DE102014201159A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
DE102015109832A1 (de) Objektklassifizierung für Fahrzeugradarsysteme
DE102019127229A1 (de) System und verfahren zum bestimmen einer vertrautheit eines fahrzeugdatensatzes
WO2018215031A1 (de) Verfahren zur erkennung von objekten in einem bild einer kamera
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
DE102013222322A1 (de) Verfahren und Gerät für das Bereitstellen von Augmented Reality bzw. erweiterter Realität
DE102018212655A1 (de) Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern
DE102013205875A1 (de) Fahrbahnmarkierungs-Erkennungsvorrichtung und -Verfahren
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102016215115A1 (de) Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102017207960A1 (de) Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
DE102018108361A1 (de) Laubwerkerfassungstrainingssysteme und -verfahren
DE102017111468A1 (de) Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat
DE102019103368A1 (de) Erkennung durch fusion mehrerer sensoren
WO2020104551A1 (de) Objekterkennung mittels sensorsystem von fahrzeugen
DE102018212171B4 (de) Verfahren und Vorrichtung zur Erkennung von Verkehrsteilnehmern in der Umgebung eines Fahrzeugs
DE102017209370B4 (de) Verfahren zur Ermittlung einer Überholinformation
DE102015204528A1 (de) Vorrichtung und Verfahren zur Objekterkennung in einem Fortbewegungsmittel
DE102020200876B4 (de) Verfahren zum Verarbeiten von Sensordaten einer Sensorik eines Fahrzeugs
DE102007021579A1 (de) Verfahren und Vorrichtung zur Klassifikation mindestens eines Verkehrszeichens

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R018 Grant decision by examination section/examining division
R082 Change of representative

Representative=s name: MARKOWITZ, MARKUS, DR.-ING., DE