DE102018005870A1 - System zur Ortung und Klassifikation von Objeketen - Google Patents

System zur Ortung und Klassifikation von Objeketen Download PDF

Info

Publication number
DE102018005870A1
DE102018005870A1 DE102018005870.1A DE102018005870A DE102018005870A1 DE 102018005870 A1 DE102018005870 A1 DE 102018005870A1 DE 102018005870 A DE102018005870 A DE 102018005870A DE 102018005870 A1 DE102018005870 A1 DE 102018005870A1
Authority
DE
Germany
Prior art keywords
information
vehicle
visible light
objects
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018005870.1A
Other languages
English (en)
Inventor
Georg Schneider
Thomas Müller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Active Safety GmbH
Original Assignee
ZF Active Safety GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Active Safety GmbH filed Critical ZF Active Safety GmbH
Priority to DE102018005870.1A priority Critical patent/DE102018005870A1/de
Publication of DE102018005870A1 publication Critical patent/DE102018005870A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

System zur Ortung und Klassifizierung von Objekten, die Informationen mit sichtbarem Licht senden, wobei das System verbunden oder zu verbinden ist, mitwenigstens einer Empfangseinheit für mit sichtbarem Licht gesendete Informationen, wobei die wenigstens eine Empfangseinheit dazu eingerichtet ist, mit sichtbarem Licht gesendete Informationen von wenigstens einem Objekt in der Umgebung des Fahrzeugs zu empfangen,wenigstens einer Kameraeinheit, die dazu eingerichtet ist, Umgebungsinformationen über die Umgebung des Fahrzeugs zu erfassen,wobei das System dazu eingerichtet ist, das wenigstens eine Objekt, das Informationen mit sichtbarem Licht sendet, anhand der von der wenigstens einen Kameraeinheit erfassten Umgebungsinformationen zu orten und zu klassifizieren.

Description

  • Hintergrund
  • Hier werden ein System und ein Verfahren zur Ortung und Klassifizierung von Objekten offenbart, die Informationen mit sichtbarem Licht senden. Das System kann bei der Kommunikation zwischen einem Fahrzeug und Objekten in der Umgebung des Fahrzeugs eingesetzt werden. Die Kommunikation zwischen einem Fahrzeug und Objekten wird häufig auch als „vehicle to everthing communication“ (V2X) bezeichnet. Dieser Ausdruck bezeichnet die Kommunikation eines Fahrzeugs mit jenen Objekten, die mit dem Fahrzeug in Kontakt treten können. Unter diesen Ausdruck fällt somit die Kommunikation des Fahrzeugs mit anderen Fahrzeugen, mit Infrastrukturobjekten, aber auch mit Menschen (Fußgängern). Infrastrukturobjekte können beispielsweise Ampeln, Verkehrszeichen, mobile und stationäre Fahrbahnbegrenzungen, Gebäude, Schilder oder Werbetafeln sein. Die Kommunikation zwischen dem Fahrzeug und den Objekten erfolgt kabellos über Licht aus dem für das menschliche Auge sichtbaren Spektrum. Die Modulation erfolgt dabei mit sehr hohen Frequenzen im Megahertzbereich, die für das menschliche Auge nicht erkennbar ist. Diese Technologie zur optischen Datenübertragung wird als „LiFi“ oder als „VLC“ (visible light communication) bezeichnet. In dieser Offenbarung wird im Zusammenhang mit dieser Technologie von mit sichtbarem Licht gesendeten Informationen oder vom Empfangen von mit sichtbarem Licht gesendeten Informationen gesprochen. Der Ausdruck „sichtbares Licht“ bezeichnet in dieser Offenbarung Licht aus dem für das menschliche Auge sichtbaren Spektrum.
  • Stand der Technik
  • Aus dem Stand der Technik ist der Einsatz der VLC-Technologie bei Fahrzeugen bekannt. In der Offenlegungsschrift JP 2015 121 967 A2 wird offenbart, an unübersichtlichen Straßenkreuzungen oder unübersichtlichen Straßenverläufen Spiegel vorzusehen. Über diese Spiegel kann über das sichtbare Licht erfasst werden, ob sich ein oder mehrere weitere Fahrzeuge an der Kreuzung befinden oder sich der Kreuzung annähern. Die Spiegel ermöglichen eine Kommunikation über sichtbares Licht zwischen zwei oder mehr Fahrzeugen an der jeweiligen Kreuzung. Die Lichtquellen für das sichtbare Licht an dem Fahrzeug und die Empfänger müssen auf den Spiegel gerichtet werden, um eine Kommunikation zu ermöglichen. Die Offenlegungsschrift DE 10 2016 102 525 A1 offenbart ein System, bei dem Fahrzeuge mittels der VLC-Technologie mit Straßenlaternen oder über die Straßenlaternen mit einander kommunizieren.
  • Bei der Datenübertragung mit sichtbarem Licht kann häufig nicht zugeordnet werden, von welcher Informationsquelle bzw. welchem Objekt (Fahrzeug, Ampel, etc.) die empfangenen Informationen stammen und ob diese für das Fahrzeug relevant sind.
  • Aufgabe
  • Ausgehend hiervon soll eine Lokalisation und Klassifikation der Informationsquelle oder des Objekts ermöglicht werden, die bzw. das Informationen mit sichtbarem Licht sendet.
  • Vorgeschlagene Lösung
  • Zur Lösung wird ein im Patentanspruch 1 definiertes System zur Ortung und Klassifikation von Objekten vorgeschlagen, die Informationen mit sichtbarem Licht senden. Das System zur Ortung und Klassifizierung von Objekten, die Informationen mit sichtbarem Licht senden, ist zu verbinden mit wenigstens einer Empfangseinheit für Informationen übertragendes, sichtbares Licht und wenigstens einer Kameraeinheit, die dazu eingerichtet ist, Umgebungsinformationen über die Umgebung des Fahrzeugs zu erfassen. Die wenigstens eine Empfangseinheit ist dazu eingerichtet, mit sichtbarem Licht gesendete Informationen von wenigstens einem Objekt in der Umgebung des Fahrzeugs zu empfangen. Das System ist ferner dazu eingerichtet, das wenigstens eine Objekt, das Informationen mit sichtbarem Licht sendet, anhand der von der wenigstens einen Kameraeinheit erfassten Umgebungsinformationen zu orten und zu klassifizieren.
  • Mit dem System kann das die Informationen mit sichtbarem Licht sendende Objekt (z.B. Lichter einer Ampel oder Bremslicht eines Fahrzeugs) lokalisiert werden. Dadurch können die empfangenen Informationen dem die Informationen sendenden Objekt wie z.B. einer Ampel oder einem Fahrzeug eindeutig zugeordnet werden. Das System kombiniert die von der Empfangseinheit für Informationen übertragendes, sichtbares Licht mit den von der Kameraeinheit erfassten Umgebungsinformationen, um eine Informationsquelle bzw. ein Objekt zu lokalisieren, die oder das Informationen mit sichtbarem Licht sendet. Die Ausrichtung der Empfangseinheit und die Ausrichtung der Informationsquelle können konstant bleiben, da die von der Kameraeinheit erfassten Umgebungsinformationen zur Lokalisation des Objekts oder der Informationsquelle dienen.
  • Bei sichtbarem Licht als Übertragungsmedium steht eine hohe Bandbreite zur Verfügung. Die Informationsübertragung kann auf die Umgebung des Fahrzeugs beschränkt bleiben, da zur Datenübertragung ein Sichtkontakt zwischen sendenden Objekt und der Empfangseinheit vorliegen sollte. Dadurch steht auch bei einem hohen Verkehrsaufkommen oder bei einer Vielzahl von Informationsquellen und/oder einer Vielzahl an Empfangseinheiten eine ausreichend große Bandbreite zur Verfügung. Ferner zeichnet sich sichtbares Licht als Übertragungsmedium dadurch aus, das es elektromagnetisch verträglich ist und andere Systeme im Gegensatz zu WiFi oder anderen Funksignalen nicht beeinflusst. Durch die Kombination der von der Empfangseinheit empfangenen Informationen und den von der Kameraeinheit erfassten Umgebungsinformationen des Fahrzeugs kann ein Umgebungsmodell erstellt werden, in dem die einzelnen Objekte bzw. Informationsquellen für mit sichtbarem Licht gesendete Informationen lokalisiert und klassifiziert sind.
  • Bei der Klassifikation der lokalisierten Objekte können beispielsweise die erfassten Objekte in einzelne Klassen wie zum Beispiel Fahrzeuge, Ampeln, Verkehrszeichen, Werbetafeln eingeordnet werden. Zusätzlich oder alternativ können die erfassten Objekte auch nach ihrer Relevanz für das Fahrzeug klassifiziert werden. Die Klassifikation kann beispielsweise ermitteln, welche Informationen das Fahrzeug unmittelbar betreffen (z.B. Fahrzeug in derselben Spur) und welche Informationen vernachlässigbar sind (z.B. Fahrzeug in einer Nebenspur). Die Klassifikation kann unter anderem einen Abgleich der erfassten Objekte mit in einer Datenbank hinterlegten Information umfassen.
  • Die Kameraeinheit kann dazu eingerichtet sein, eine Umgebung des Kraftfahrzeugs zu erfassen. Dabei kann die Kameraeinheit eine Bildserie oder eine durchgängige Aufnahme der Umgebung erfassen. Anschließend wird die erfasste Umgebung durch die Kameraeinheit abgetastet, um Objekte, an denen Lichtquellen angebracht oder die Lichtquellen sind, in der erfassten Umgebung zu erkennen und zu lokalisieren.
  • Das System kann dazu eingerichtet sein, die von der wenigstens einen Kameraeinheit erfassten Umgebungsinformationen auszuwerten, um Lichtquellen zu orten und zu klassifizieren, die an Objekten angeordnet oder Objekte sind, die Informationen mit sichtbarem Licht senden. Die Lichtquellen können eine oder mehrere LEDs aufweisen. Die LEDs können für Informationsübertragung entsprechend moduliert werden.
  • Derartige Lichtquellen können beispielsweise beleuchtete oder digitale Werbetafeln oder die Lichter einer Ampel sein. An einem Fahrzeug können als Lichtquellen die Scheinwerfer, Richtungswechselanzeiger, Bremslichter oder die Rücklichter sein, wenn sie eine oder mehrere LEDs aufweisen.
  • Das System kann dazu eingerichtet sein, die für das Fahrzeug relevanten Informationen aus den von der Empfangseinheit empfangenen Informationen zu ermitteln. Anhand der von der Kameraeinheit erfassten Umgebungsinformationen des Fahrzeugs kann ermittelt werden, ob die von der Empfangseinheit empfangenen Informationen relevant für das Fahrzeug sind. Werden mehrere Informationen von verschiedenen Informationsquellen bzw. Objekten von der Empfangseinheit empfangen, kann mit den von der Kameraeinheit erfassten Umgebungsinformationen ermittelt werden, welche dieser Informationen für das Fahrzeug relevant sind. Beispielsweise können von einem Bremslicht eines Fahrzeugs auf einer anderen Spur gesendete Informationen von der Empfangseinheit empfangen werden. Mit den von der Kameraeinheit erfassten Umgebungsinformationen kann ermittelt werden, ob sich das bremsende Fahrzeug auf einer anderen Spur befindet und dementsprechend kein Bremsvorgang von dem Fahrzeug eingeleitet werden muss. Es kann somit verhindert werden, dass Fahrzeuge in einer Spur, die eigentlich frei wäre, unnötigerweise bremsen. Die von der Empfangseinheit empfangenen Informationen wie z.B. Bremsbetätigung, Verzögerungswerte des Bremslichts des Fahrzeugs in oder auf der Nebenspur sind somit nicht relevant für das mit dem System ausgerüsteten Fahrzeug.
  • Es können mehrere Empfangseinheiten für Informationen übertragendes, sichtbares Licht am Fahrzeug vorgesehen sein. Die einzelnen Empfangseinheiten können an unterschiedlichen Positionen am Fahrzeug angebracht werden. Dadurch können mit sichtbarem Licht gesendete Informationen aus verschiedenen Richtungen empfangen werden. Beispielsweise können eine oder mehrere Empfangseinheiten nach vorne und hinten ausgerichtet sein, während andere Empfangseinheiten an den Seiten des Fahrzeugs angebracht sind.
  • Die wenigstens eine Empfangseinheit kann wenigstens eine Fotodiode aufweisen. Zusätzlich oder alternativ kann eine Kameraeinheit als Empfangseinheit verwendet werden, bei der ausgewählte Pixel mit ausreichend hoher Rate abgetastet werden können. Mit diesen ausgewählten Pixeln kann die hohe Modulation des sichtbaren Lichts erfasst werden.
  • Zusätzlich zu der Kameraeinheit können weitere Sensoren oder Sensoreinrichtungen vorgesehen sein, die die Lokalisierung des die Daten mit sichtbarem Licht sendenden Objekts unterstützen. Beispielsweise können die an einem Fahrzeug vorhandenen Radar- oder Lidar-Systeme zur Unterstützung der Lokalisierung des Objekts verwendet werden. Zusätzlich oder alternativ kann wenigstens ein Time-of-Flight-Sensor vorgesehen sein. Die Kameraeinheit kann eine Time-of-Flight-, TOF, Kamera, sein. Eine Time-of-Flight-Kamera kann die Umgebung des Fahrzeugs aufgrund des von ihr durchgeführten Distanzmessverfahrens in 3D erfassen. Eine Time-of-Flight-Kamera leuchtet die Umgebung des Fahrzeugs mit Lichtpulsen aus, wobei die Kameraeinheit für jeden Bildpunkt die Zeit misst, die das Licht bis zum Objekt und wieder zurück braucht. Aus der benötigten Zeit wird dann die Distanz zu dem erfassten Objekt ermittelt und so ein Modell der Umgebung erstellen kann.
  • Die Empfangseinheit für Informationen übertragendes, sichtbares Licht und die wenigstens eine Kameraeinheit, die dazu eingerichtet ist, Umgebungsinformationen zu erfassen, können in ein Sensorbauteil integriert sein. Ein derartiges Sensorbauteil kann ein Pixel-Array zur Bildgebung und Lokalisierung des Objekts oder der Informationsquelle aufweisen. Vorbestimmte Pixel aus dem Pixel-Array können mit hoher Abtastrate aus lesbar sein und die mit sichtbarem Licht gesendeten Informationen empfangen.
  • Die Kameraeinheit, die dazu eingerichtet ist, Umgebungsinformationen zu erfassen, kann eine an einem Fahrzeug vorhandene Kameraeinheit umfassen. Die Kameraeinheit kann eine oder mehrere Kameras aufweisen. Die einzelnen Kameras der Kameraeinheit können in verschiedene Richtungen ausgerichtet sein, um die Umgebung des Fahrzeugs vollumfänglich erfassen zu können. Dadurch wird eine Lokalisierung von Informationen mit sichtbarem Licht sendenden Objekten in verschiedenen Richtungen möglich.
  • Die Empfangseinheit für Informationen übertragendes, sichtbares Licht kann an einem Fahrzeug vorhandene Sensoren oder Elemente umfassen. Sensoren, die zur Verwendung als Empfangseinheit geeignet sind, werden an einem Fahrzeug beispielsweise bei anderen ADAS/AD-Systemen verwendet. Beispielsweise werden derartige Sensoren wie zum Beispiel Fotodioden als Regensensor oder zur Steuerung der Fahrzeugbeleuchtung verwendet.
  • Das System kann mit einer Anzeigeeinheit verbindbar sein. Die Anzeigeeinheit kann im Fahrzeug angebracht sein, sodass ein Fahrer oder Nutzer der Anzeigeeinheit Informationen entnehmen kann. Mit der Anzeigeeinheit können die georteten und klassifizierten Objekte in eine erweiterte Realität (augmented Reality) für den Nutzer des Fahrzeugs eingebunden werden. Dem Nutzer oder Fahrer des Fahrzeugs können beispielsweise aufgrund der mit sichtbarem Licht empfangenen Informationen Hinweise oder Objekte in das von der wenigstens einen Kameraeinheit erfasste Umgebungsbild eingeblendet werden. Dadurch kann der Fahrer beispielsweise auf eine umschaltende Ampel oder Werbetafeln, etc. hingewiesen werden.
  • Das System kann mit wenigstens einer Sendeeinheit zum Senden von Informationen mit sichtbarem Licht verbindbar sein. Als Sendeeinheit können insbesondere LEDs verwendet werden. An einem Fahrzeug können die Fahrzeuglichter wie Scheinwerfer, Rücklichter, Bremslichter oder Blinker als Sendeeinheit dienen.
  • Das System kann mit einer Board-Elektronik des Kraftfahrzeugs verbunden oder Teil dieser sein.
  • Als eine weitere alternative Lösung wird ein Fahrzeug nach Patentanspruch 12 vorgeschlagen, das ein System nach einer der voranstehend vorgeschlagenen Lösungen umfasst.
  • Für eine weitere Lösung wird ein Verfahren zur Ortung und Klassifikation von Objekten in der Umgebung eines Fahrzeugs nach Patentanspruch 13 vorgeschlagen. Das Verfahren umfasst die Schritte: Empfangen von mit sichtbarem Licht gesendeten Informationen von wenigstens einem Objekt in der Umgebung des Fahrzeugs, Erfassen von Umgebungsinformationen über die Umgebung des Fahrzeugs, und Orten und Klassifizieren des wenigstens einen Objekts, das Informationen mit sichtbarem Licht sendet, anhand der erfassten Umgebungsinformationen.
  • Die erfassten Umgebungsinformationen können ausgewertet werden, um Lichtquellen zu orten und zu klassifizieren, die an Objekten angeordnet oder Objekte sind, die Informationen mit sichtbarem Licht senden. Die geortete Lichtquelle kann einem Objekt zugeordnet werden, das mit sichtbarem Licht Informationen sendet. Es können mit dem Verfahren die für ein Fahrzeug relevanten Informationen aus den an das System mit sichtbarem Licht gesendeten Informationen ermittelt werden.
  • Figurenliste
  • Weitere Einzelheiten, Merkmale, Vorteile und Wirkungen der vorliegend beschriebenen Verfahren und Vorrichtungen ergeben sich aus der nachfolgenden Beschreibung derzeit bevorzugter Varianten sowie aus den Zeichnungen. Dabei zeigen:
    • 1 eine schematische Darstellung eines Systems eines Fahrzeugs zum Orten und Klassifizieren von Objekten, die Informationen mit sichtbarem Licht senden, gemäß einer ersten Ausführung;
    • 2 ein Block-Diagramm eines Verfahrens zum Orten und Klassifizieren von Objekten, die Informationen mit sichtbarem Licht senden; und
    • 3 eine schematische Darstellung einer beispielhaften Einsatzsituation des Systems und des Verfahrens.
  • Detaillierte Beschreibung der Zeichnungen
  • In 1 ist schematisch eine Kameraeinheit 110, ein System 120 und eine Empfangseinheit 130 gezeigt, die dazu eingerichtet ist, mit sichtbarem Licht gesendete Informationen zu empfangen. Die Kameraeinheit 110, das System 120 und die Empfangseinheit 130 können von einem Fahrzeug (nicht dargestellt) umfasst sein. Die Kameraeinheit 110 und die Empfangseinheit 130 sind mit dem System 120 verbunden, um Objekte orten und klassifizieren zu können, die Informationen mit sichtbarem Licht senden.
  • Zusätzlich ist das System mit einer Sendeeinheit 140 verbunden. Die Sendeeinheit 140 kann mit den Lichtern an einem Fahrzeug wie zum Beispiel Scheinwerfer, Rücklichter, Bremslichter oder Blinker verbunden sein, um Informationen mit sichtbarem Licht senden zu können. Mit den Scheinwerfern kann beispielsweise einem entgegenkommenden Fahrzeug die Geschwindigkeit, die Beschleunigung der Lenkwinkel o. ä. mitgeteilt werden. Über die Bremslichter kann nachfolgenden Fahrzeugen die Bremsbetätigung und die aus der Bremsbetätigung resultierenden Verzögerungswerte des Fahrzeugs übermittelt werden.
  • Die Kameraeinheit 110 kann eine Time-of-Flight-, TOF, Kamera, sein. Die Kameraeinheit 110 ist dazu eingerichtet, eine Umgebung des Kraftfahrzeugs zu erfassen. Eine Time-of-Flight-Kamera kann die Umgebung des Fahrzeugs aufgrund des von ihr durchgeführten Distanzmessverfahrens in 3D erfassen. Eine Time-of-Flight-Kamera leuchtet die Umgebung des Fahrzeugs mit Lichtpulsen aus, wobei die Kameraeinheit für jeden Bildpunkt die Zeit misst, die das Licht bis zum Objekt und wieder zurück braucht. Aus der benötigten Zeit wird dann die Distanz zu dem erfassten Objekt ermittelt und so ein Modell der Umgebung erstellen kann. Dabei kann die Kameraeinheit 110 eine Bildserie oder eine durchgängige Aufnahme der Umgebung erfassen. Anschließend wird die erfasste Umgebung durch die Kameraeinheit 110 abgetastet, um Objekte, an denen Lichtquellen angebracht oder die Lichtquellen sind, in der erfassten Umgebung zu erkennen und zu lokalisieren.
  • Die Empfangseinheit 130 ist dazu eingerichtet, für mit sichtbarem Licht gesendete Informationen zu empfangen. Die Empfangseinheit kann eine oder mehrere Fotodioden (nicht gezeigt) umfassen. Die Fotodioden können für das System zur Ortung und Klassifizierung von Objekten an dem Fahrzeug angebracht werden. Die Empfangseinheit 130 kann jedoch auch Sensoren und/oder Fotodioden umfassen, die bereits am Fahrzeug angebracht sind und von anderen Systemen verwendet werden. Zwischen der der Empfangseinheit 130 und den sendenden Objekten sollte ein Sichtkontakt vorliegen. Die relevanten Umgebungsinformationen, die von der Kameraeinheit 110 erfasst werden, umfassen somit Objekte, deren Abstand zum Fahrzeug mit sichtbarem Licht überbrückbar ist.
  • In 2 ist ein Blockdiagramm Verfahren 200 zum Orten und Klassifizieren von Objekten gezeigt, die mit sichtbarem Licht Informationen senden. Bei dem in 2 gezeigten Verfahren können die Schritte 210 bis 250 in der beschriebenen Reihenfolge ausgeführt werden. Alternativ können verschiedene Schritte parallel bzw. gleichzeitig oder in einer anderen Reihenfolge ausgeführt werden.
  • Im Schritt 210 werden von der Empfangseinheit die Informationen empfangen, die von Objekten mit sichtbarem Licht an das Fahrzeug gesendet wurden. Die Informationen können von Objekten gesendet werden, an denen Lichtquellen angebracht oder die Lichtquellen sind.
  • In Schritt 220 werden die Umgebungsinformationen über die Umgebung des Fahrzeugs erfasst. Die Umgebung wird von der wenigstens einen Kameraeinheit erfasst, um die Umgebungsinformationen für das System bereitstellen zu können. Die Schritte 210 und 220 können gleichzeitig oder synchron ausgeführt werden, da die Kameraeinheit die Umgebung des Fahrzeugs kontinuierlich erfassen kann. Auch die Empfangseinheit kann dazu eingerichtet sein, kontinuierlich mit sichtbarem Licht gesendete Informationen empfangen zu können oder zu empfangen.
  • Im Schritt 230 werden die Objekte, die Informationen mit sichtbarem Licht senden, anhand der erfassten Umgebungsinformationen geortet und klassifiziert.
  • Im Schritt 240 werden die erfassten Umgebungsinformationen ausgewertet, um Lichtquellen zu orten und zu klassifizieren, die an Objekten angeordnet oder Objekte sind, die Informationen mit sichtbarem Licht übertragen. In diesem Schritt können die georteten Lichtquellen Objekten zugeordnet werden, die mit sichtbarem Licht Informationen übertragen.
  • Im Schritt 250 werden die für das Fahrzeug relevanten Informationen aus den an das Fahrzeug mit sichtbarem Licht gesendeten Informationen ermittelt. In der Umgebung des Fahrzeugs kann eine Vielzahl an Objekten vorhanden sein, die Informationen mit sichtbarem Licht senden. Viele dieser Objekte senden jedoch Informationen, die für das Fahrzeug nicht relevant sind. Beispielsweise sind Informationen einer für eine andere Spur geltenden Ampel nicht relevant für das Fahrzeug auf einer Nebenspur. Sollte das Fahrzeug dennoch bremsen, obwohl die Ampel nicht für die Spur des Fahrzeugs gilt, können Gefahrensituationen entstehen. Als ein weiteres Beispiel kann ein bremsendes Fahrzeugs auf einer Nebenspur angeführt werden. Bremst das Fahrzeug, dessen Spur eigentlich frei ist, kann ebenfalls eine Gefahrensituation entstehen.
  • In 3 ist eine schematische Darstellung einer beispielhaften Einsatzsituation des Systems und des Verfahrens. 3 zeigt eine Verkehrssituation an einer Kreuzung 300.
  • An der Kreuzung 300 befinden sich drei Ampeln 310, 320, 330 in unterschiedlichen Schaltzuständen. Die Ampeln 310 und 320 sind grün. Die Ampel 330 dagegen ist rot. Ferner befindet sich im Bereich der Kreuzung 300 eine Werbetafel 340. An oder auf der Kreuzung befinden sich drei Fahrzeuge 350, 360 und 370, wobei das Fahrzeug 350 das Primärfahrzeug ist, das mit dem System zur Ortung und Klassifikation von Objekten ausgestattet oder verbunden ist, die mit sichtbarem Licht Informationen senden. Die Fahrzeuge 360 und 370 stellen Sekundärfahrzeuge da, die jedoch auch mit dem System zur Ortung und Klassifikation von Objekten ausgestattet oder verbunden sein können, die Informationen mit sichtbarem Licht senden.
  • Die Ampeln 310, 320 und 330, die Werbetafel 340 sowie der Fahrzeuge 350, 360, 370 Stellen Objekte dar, die Informationen mit sichtbarem Licht senden können. Die Lichter der Ampeln 310, 320 und 330, die Beleuchtung der Werbetafel 340 sowie die Fahrzeuglichter der Fahrzeuge 350, 360, 370 sind Lichtquellen, die Informationen mit sichtbarem Licht senden können.
  • Wenn das Fahrzeug 350 an die Kreuzung 300 kommt, befinden sich eine Vielzahl von Objekten in seiner Umgebung, die Informationen mit sichtbarem Licht senden können. Die Empfangseinheit des Systems kann eine Vielzahl an Informationen empfangen, die von den Ampeln 310, 320 und 330, der Werbetafel 340, sowie den Fahrzeuge 360 und 370 mit sichtbarem Licht gesendet werden. Die Ampeln 310, 320, 330 können ihren aktuellen Signalstatus an die Empfangseinheit übermitteln, insoweit sie sich im „Sichtfeld“ der Empfangseinheit befinden. Die Umgebung des Fahrzeugs kann dem Erfassungsbereich der Empfangseinheit entsprechen, in dem die Empfangseinheit Objekte erkennen oder erfassen kann, die Informationen mit sichtbarem Licht senden. Das Fahrzeug 360 bremst, wie durch die dargestellten Bremslichter 380 erkennbar ist. Die Bremslichter 380 des Fahrzeugs 360 können die aktuellen Verzögerungswerte an das Fahrzeug 350 übermitteln. Ferner kann die Werbetafel 340 Informationen mit sichtbarem Licht senden.
  • Die Kameraeinheit des Fahrzeugs 350 erfasst die Umgebung des Fahrzeugs, um dem System Umgebungsinformationen zur Verfügung stellen zu können. Von der Kameraeinheit des Fahrzeugs 350 können die einzelnen Objekte bzw. Lichtquellen lokalisiert werden, die Informationen mit sichtbarem Licht senden. Das System ist ferner dazu eingerichtet, die lokalisierten Objekte zu klassifizieren. Insbesondere erfolgt die Klassifikation die Objekte nach ihrer Relevanz für das Fahrzeug. In der beispielhaften Darstellung gemäß 3 befindet sich das Fahrzeug 360 in der gleichen Spur wie das Fahrzeug 350. Aus diesem Grund haben die Bremslichter 380 des Fahrzeugs 360 bzw. das Fahrzeug 360 selbst die höchste Relevanz für das Fahrzeug 350, da durch das bremsende Fahrzeug 360 eine Gefahrensituation entstehen kann, falls das Fahrzeug 350 nicht abbremst.
  • Nach den Bremslichtern 380 des Fahrzeugs 360 hat die Ampel 320 die nächst höherer Relevanz für das Fahrzeug 30, da diese die Spur des Fahrzeugs 350 betrifft. Die Ampeln 310, 320 haben in der dargestellten Situation zunächst keine Relevanz für das Fahrzeug 350. Die Werbetafel 340 hat keine unmittelbare Relevanz für das Fahrzeug 350 oder die Verkehrssicherheit jedoch können die von der Werbetafel 340 mit sichtbarem Licht gesendete Daten für den Nutzer des Fahrzeugs 350 von Interesse sein. Die von der Werbetafel 340 übermittelten Informationen können den Nutzer des Fahrzeugs 350 beispielsweise über eine Anzeigeeinheit angezeigt werden. Es ist ferner möglich, dass die von der Werbetafel 340 übermittelten Informationen von der Anzeigeeinheit in eine erweiterte Realität (augmented reality) für den Fahrer eingebunden werden.
  • Mit System 120 können die mit sichtbarem Licht gesendete Informationen empfangen, die Informationsquelle, von der die empfangenen Informationen stammen, lokalisiert und die Informationen dieser Informationsquelle zugeordnet werden. Die empfangenden Informationen werden nach ihrer Relevanz für das Fahrzeug klassifiziert. Die Informationen können mit sichtbarem Licht gemäß der „LiFi“- oder „VLC“-Technologie übertragen werden.
  • Die vorangehend beschriebenen Varianten des Verfahrens oder des Systems sowie deren Funktions- und Betriebsaspekte dienen lediglich dem besseren Verständnis der Struktur, der Funktionsweise und der Eigenschaften; sie schränken die Offenbarung nicht etwa auf die Ausführungsbeispiele ein. Die Fig. sind teilweise schematisch, wobei wesentliche Eigenschaften und Effekte zum Teil deutlich vergrößert dargestellt sind, um die Funktionen, Wirkprinzipien, technischen Ausgestaltungen und Merkmale zu verdeutlichen. Dabei kann jede Funktionsweise, jedes Prinzip, jede technische Ausgestaltung und jedes Merkmal, welches/welche in den Fig. oder im Text offenbart ist/sind, mit allen Ansprüchen, jedem Merkmal im Text und in den anderen Fig., anderen Funktionsweisen, Prinzipien, technischen Ausgestaltungen und Merkmalen, die in dieser Offenbarung enthalten sind oder sich daraus ergeben, frei und beliebig kombiniert werden, so dass alle denkbaren Kombi-nationen den beschriebenen Verfahren bzw. Vorrichtungen zuzuordnen sind. Dabei sind auch Kombinationen zwischen allen einzelnen Ausführungen im Text, das heißt in jedem Abschnitt der Beschreibung, in den Ansprüchen und auch Kombinationen zwischen verschiedenen Varianten im Text, in den Ansprüchen und in den Fig. umfasst. Für die hier aufgeführten Wertebereiche gilt, dass auch sämtliche numerischen Zwischenwerte offenbart sind.
  • Auch die Ansprüche limitieren nicht die Offenbarung und damit die Kombinationsmöglichkeiten aller aufgezeigten Merkmale untereinander. Alle offenbarten Merkmale sind explizit auch einzeln und in Kombination mit allen anderen Merkmalen hier offenbart.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2015121967 A2 [0002]
    • DE 102016102525 A1 [0002]

Claims (14)

  1. System (120) zur Ortung und Klassifizierung von Objekten (310, 320, 330, 340, 360, 370) die Informationen mit sichtbarem Licht senden, wobei das System (120) verbunden oder zu verbinden ist, mit wenigstens einer Empfangseinheit (130) für Informationen übertragendes, sichtbares Licht, wobei die wenigstens eine Empfangseinheit (130) dazu eingerichtet ist, mit sichtbarem Licht gesendete Informationen von wenigstens einem Objekt (310, 320, 330, 340, 360, 370) zu empfangen, wobei sich das wenigstens eine Objekt (310, 320, 330, 340, 360, 370) in der Umgebung des Fahrzeugs (350) befindet; wenigstens einer Kameraeinheit (110), die dazu eingerichtet ist, Umgebungsinformationen über die Umgebung des Fahrzeugs (350) zu erfassen, wobei das System (120) dazu eingerichtet ist, das wenigstens eine Objekt (310, 320, 330, 340, 360, 370), das Informationen mit sichtbarem Licht sendet, anhand der von der wenigstens einen Kameraeinheit (110) erfassten Umgebungsinformationen zu orten und zu klassifizieren.
  2. System (120) nach Anspruch 1, wobei das System (120) dazu eingerichtet ist, die von der wenigstens einen Kameraeinheit erfassten Umgebungsinformationen auszuwerten, um Lichtquellen zu orten und zu klassifizieren, die an Objekten (310, 320, 330, 340, 360, 370) angeordnet oder Objekte (310, 320, 330, 340, 360, 370) sind, die Informationen mit sichtbarem Licht übertragen.
  3. System (120) nach Anspruch 1 oder 2 wobei das System (120) dazu eingerichtet ist, die für das Fahrzeug (350) relevanten Informationen aus den an das System (120) mit sichtbarem Licht gesendeten Informationen zu ermitteln.
  4. System (120) nach einem der Ansprüche 1 bis 3, wobei die wenigsten eine Empfangseinheit (130) wenigstens eine Fotodiode und/oder eine Kamera mit wenigstens einem mit einer hohen Abtastrate auslesbaren Pixel aufweist.
  5. System (120) nach einem der Ansprüche 1 bis 4, wobei das System (120) mit wenigstens einer weiteren Sensoreinheit verbindbar ist, die dazu eingerichtet sind, die Ortung und Klassifikation der Objekte (310, 320, 330, 340, 360, 370), die Informationen mit sichtbarem Licht senden, zu unterstützen.
  6. System (120) nach einem der Ansprüche 1 bis 5, wobei die Empfangseinheit (130) für mit sichtbarem Licht gesendete Informationen und die wenigstens eine Kameraeinheit (110) in ein Sensorbauteil integriert sind.
  7. System (120) nach einem der Ansprüche 1 bis 6, wobei die Kameraeinheit (110) wenigstens eine an einem Fahrzeug vorhandene Kameraeinheit umfasst.
  8. System (120) nach einem der Ansprüche 1 bis 7, wobei die Empfangseinheit (130) für mit sichtbarem Licht gesendete Informationen an einem Fahrzeug vorhandene Sensoren oder Elemente umfasst.
  9. System (120) nach einem der Ansprüche 1 bis 8, wobei das System (120) mit einer Anzeigeeinheit verbindbar ist, um die von den georteten und/oder klassifizierten Objekte (310, 320, 330, 340, 360, 370) mit sichtbarem Licht gesendeten Informationen in eine erweiterte Realität für den Nutzer eines Fahrzeugs einzubinden.
  10. System (120) nach einem der Ansprüche 1 bis 9, wobei das System (120) mit wenigstens einer Sendeeinheit (140) zum Senden von Informationen mit sichtbarem Licht verbindbar ist.
  11. Fahrzeug (350), umfassend ein System (120) nach einem der Ansprüche 1 bis 10.
  12. Verfahren (200) zur Ortung und Klassifikation von Objekten (310, 320, 330, 340, 360, 370) in der Umgebung eines Fahrzeugs (350), wobei die Objekte (310, 320, 330, 340, 360, 370) Informationen mit sichtbarem Licht senden, wobei das Verfahren umfasst: Empfangen (210) von Informationen übertragenden, sichtbarem Licht von wenigstens einem Objekt, wobei sich das wenigstens eine Objekt (310, 320, 330, 340, 360, 370) in der Umgebung des Fahrzeugs (350) befindet, Erfassen (220) von Umgebungsinformationen über die Umgebung des Fahrzeugs (350), und Orten und Klassifizieren des wenigstens einen Objekts (310, 320, 330, 340, 360, 370), das Informationen mit sichtbarem Licht sendet, anhand der erfassten Umgebu ngsinformationen.
  13. Verfahren (200) nach Anspruch 12, wobei die erfassten Umgebungsinformationen ausgewertet werden, um Lichtquellen zu orten und zu klassifizieren, die an Objekten (310, 320, 330, 340, 360, 370) angeordnet oder Objekte (310, 320, 330, 340, 360, 370) sind, die Informationen mit sichtbarem Licht übertragen.
  14. Verfahren (200) nach einem der Ansprüche 12 bis 13, wobei die mit sichtbarem Licht empfangenen Informationen nach ihrer Relevanz für das Fahrzeug (350) klassifiziert werden.
DE102018005870.1A 2018-07-25 2018-07-25 System zur Ortung und Klassifikation von Objeketen Pending DE102018005870A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018005870.1A DE102018005870A1 (de) 2018-07-25 2018-07-25 System zur Ortung und Klassifikation von Objeketen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018005870.1A DE102018005870A1 (de) 2018-07-25 2018-07-25 System zur Ortung und Klassifikation von Objeketen

Publications (1)

Publication Number Publication Date
DE102018005870A1 true DE102018005870A1 (de) 2020-01-30

Family

ID=69148589

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018005870.1A Pending DE102018005870A1 (de) 2018-07-25 2018-07-25 System zur Ortung und Klassifikation von Objeketen

Country Status (1)

Country Link
DE (1) DE102018005870A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015224112A1 (de) * 2015-12-02 2017-06-08 Bayerische Motoren Werke Aktiengesellschaft System zur Beeinflussung von Fahrzeugsystemen durch Berücksichtigung relevanter Signalgeber
DE102016215115A1 (de) * 2016-08-12 2018-02-15 Continental Automotive Gmbh Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs
US20180098215A1 (en) * 2016-09-30 2018-04-05 Richard D. Roberts Data processing and authentication of light communication sources

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015224112A1 (de) * 2015-12-02 2017-06-08 Bayerische Motoren Werke Aktiengesellschaft System zur Beeinflussung von Fahrzeugsystemen durch Berücksichtigung relevanter Signalgeber
DE102016215115A1 (de) * 2016-08-12 2018-02-15 Continental Automotive Gmbh Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs
US20180098215A1 (en) * 2016-09-30 2018-04-05 Richard D. Roberts Data processing and authentication of light communication sources

Similar Documents

Publication Publication Date Title
DE102013200427B4 (de) Verfahren und Vorrichtung zum Erzeugen eines Rundumsichtbildes einer Fahrzeugumgebung eines Fahrzeugs, Verfahren zum Bereitstellen zumindest einer Fahrerassistenzfunktion für ein Fahrzeug, Rundumsichtsystem für ein Fahrzeug
EP2715446B1 (de) Kamerasystem für ein fahrzeug
EP2620929B1 (de) Verfahren und Vorrichtung zur Erkennung einer Sondersituation im Straßenverkehr
DE102020114916A1 (de) Systeme und verfahren zum reduzieren von flimmerartefakten in bildlichtquellen
DE102017203838A1 (de) Verfahren und System zur Umfelderfassung
DE102006010295B4 (de) Kamerasystem mit zumindest zwei Bildaufnehmern
DE102018105951A1 (de) System und verfahren zum dynamischen anzeigen von bildern auf einer elektronischen anzeigevorrichtung eines fahrzeugs
DE102009016580A1 (de) Datenverarbeitungssystem und Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion
DE202011005102U1 (de) Optische Sensorsysteme für Automotive Anwendung
DE102016219455A1 (de) Kraftfahrzeug, Verfahren und aktive Infrastruktur zur Überprüfung einer Umfelderfassung eines Kraftfahrzeugs
DE102008002560A1 (de) Bilddatenvisualisierung
DE102014225803A1 (de) Erkennen eines im Einsatz befindlichen Einsatzfahrzeuges im Straßenverkehr
DE102011084217A1 (de) Kommunikationssystem eines Kraftfahrzeuges
DE102009031319A1 (de) Verfahren und System zur Bestimmung einer Fahrzeugklasse
EP3434523A1 (de) Indirektes sichtsystem für ein fahrzeug
DE102009045600A1 (de) Kamerasystem
DE112018003025T5 (de) Bildgebungssystem für ein fahrzeug, serversystem und bildgebungsverfahren für ein fahrzeug
DE102012018556B4 (de) Assistenzsystem zur Ermöglichung einer erweiterten Vorausschau für nachfolgende Verkehrsteilnehmer
DE102013220312A1 (de) Fortbewegungsmittel und Verfahren zum Informationsaustausch mit einem Fortbewegungsmittel
DE202016100002U1 (de) Vorrichtung für die Wiedergabe von Informationen
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
DE102018204325A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel
DE102020203102A1 (de) System und Verfahren zur Bereitstellung einer beleuchteten Route für ein sich auf einem Weg bewegendes Objekt
DE102010043829A1 (de) Optisches Abtastsystem und optisches Abtastverfahren
DE102019003169A1 (de) Fahrzeug-Kommunikations-Einrichtung eines ersten Fahrzeugs zur Kommunikation mit einem weitern sich in Sichtweite befindlichem Fahrzeug mit einer Fahrzeug-Kommunikations-Einrichtung

Legal Events

Date Code Title Description
R163 Identified publications notified
R082 Change of representative
R082 Change of representative