DE102017116212A1 - STRAßENANSATZERKENNUNG MIT RÜCKFAHRKAMERA - Google Patents

STRAßENANSATZERKENNUNG MIT RÜCKFAHRKAMERA Download PDF

Info

Publication number
DE102017116212A1
DE102017116212A1 DE102017116212.7A DE102017116212A DE102017116212A1 DE 102017116212 A1 DE102017116212 A1 DE 102017116212A1 DE 102017116212 A DE102017116212 A DE 102017116212A DE 102017116212 A1 DE102017116212 A1 DE 102017116212A1
Authority
DE
Germany
Prior art keywords
vehicle
location
roadway
current
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102017116212.7A
Other languages
English (en)
Inventor
Scott Vincent Myers
Alexandru Mihai Gurghian
Ashley Elizabeth Micks
Alexandro Walsh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102017116212A1 publication Critical patent/DE102017116212A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0014—Adaptive controllers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/20—Road profile, i.e. the change in elevation or curvature of a plurality of continuous road segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Verfahren zum Erkennen von Straßenansätzen oder kreuzenden Fahrbahnen beinhaltet das Empfangen von Erfassungsdaten von mindestens zwei Sensoren. Die mindestens zwei Sensoren umfassen eine nach hinten gerichtete Kamera eines Fahrzeugs und einen anderen Sensor. Die Erfassungsdaten umfassen Informationen zu einer aktuellen Fahrbahn, auf der sich das Fahrzeug befindet. Das Verfahren beinhaltet das Erkennen einer kreuzenden Fahrbahn, die sich mit der aktuellen Fahrbahn verbindet, auf Grundlage der Erfassungsdaten. Das Verfahren umfasst darüber hinaus das Speichern einer Anzeige einer Position und einer Richtung der kreuzenden Fahrbahn in Bezug auf die aktuelle Fahrbahn.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft Systeme, Verfahren und Vorrichtungen für das Fahren mit Unterstützung oder Automatisierung und insbesondere Straßenansatzerkennung unter Verwendung einer Rückfahrkamera.
  • ALLGEMEINER STAND DER TECHNIK
  • Automobile stellen einen erheblichen Teil des Transports für gewerbliche, behördliche und private Einrichtungen bereit. Autonome Fahrzeuge und Fahrassistenzsysteme werden derzeit entwickelt und verwendet, um Sicherheitsmerkmale bereitzustellen, eine erforderliche Menge von Benutzereingaben zu verringern oder eine Beteiligung des Benutzers vollständig zu beenden. Zum Beispiel können einige Fahrassistenzsysteme ein Fahrzeug ohne Benutzereingabe von einem Standort zu einem anderen Standort fahren oder einem Benutzer eine Unterstützung bereitstellen, wenn ein Mensch fährt. Diese Systeme erfordern häufig die Kenntnis einer Umgebung, zum Beispiel verfügbarer Fahrbahnen, um zu wissen, welche Routen verfügbar sind und/oder um schnell auf Informationen zuzugreifen oder Entscheidungen zu treffen, um einen menschlichen Fahrer zu unterstützen.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Es sind nichteinschränkende und nichterschöpfende Ausgestaltungen der vorliegenden Offenbarung in Bezug auf die folgenden Figuren beschrieben, wobei sich, sofern nicht anderes vorgegeben ist, in den verschiedenen Ansichten gleiche Bezugszeichen auf gleiche Teile beziehen. Die Vorteile der vorliegenden Offenbarung können unter Berücksichtigung der nachfolgenden Beschreibung und der beigefügten Zeichnungen besser nachvollzogen werden, wobei:
  • 1 ein schematisches Blockdiagramm ist, das eine Ausführung eines Fahrzeugsteuersystems darstellt, das ein automatisiertes Fahr-/Assistenzsystem beinhaltet;
  • 2 eine Draufsicht einer beispielhaften Straßenumgebung darstellt;
  • 3 eine perspektivische Ansicht einer beispielhaften Straßenumgebung darstellt;
  • 4 eine perspektivische Ansicht einer weiteren beispielhaften Straßenumgebung darstellt;
  • 5 ein schematisches Blockdiagramm ist, das einen Datenfluss zum Erkennen eines Straßenansatzes oder einer kreuzenden Fahrbahn gemäß einer Ausführung darstellt;
  • 6 ein schematisches Blockdiagramm ist, das eine beispielhafte Ausgestaltung eines tiefen neuronalen Netzes gemäß einer Ausführung darstellt;
  • 7 ein schematisches Blockdiagramm ist, das beispielhafte Komponenten einer Straßenansatzkomponente gemäß einer Ausführung darstellt;
  • 8 ein schematisches Blockdiagramm ist, das einen Verfahren zum Erkennen von Straßenansätzen oder kreuzenden Fahrbahnen gemäß einer Ausführung darstellt; und
  • 9 ein schematisches Blockdiagramm ist, das ein Computersystem gemäß einer Ausführung darstellt.
  • AUSFÜHRLICHE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
  • Ein automatisiertes Fahrsystem oder Fahrassistenzsystem kann während des Treffens von Entscheidungen, des Navigierens oder des Fahrens Daten aus einer Vielzahl von Quellen verwenden, um optimale Wege oder Manöver zu bestimmen. Zum Beispiel kann ein automatisiertes Fahr-/Assistenzsystem Sensoren zum Erfassen einer Fahrumgebung in Echtzeit umfassen und/oder auf Karten oder lokale oder entfernte Datenspeicher zugreifen, um konkrete Einzelheiten zu einem aktuellen Standort oder zu Standorten entlang eines geplanten Fahrtwegs zu erhalten. In einer Ausführungsform können Einzelheiten zu konkreten Standorten, an denen ein Stammfahrzeug gefahren ist, in einer Fahrtverlaufsdatenbank für einen späteren Zugriff gespeichert werden. Zum Beispiel kann, wenn ein Fahrzeug an einen Standort zurückkehrt, für den Fahrtverlaufsdaten vorliegen, das automatisierte Fahr-/Assistenzsystem auf Daten aus dem Datenverlauf zugreifen, um Einzelheiten über einen Standort zu erhalten, die für einen Fahrer oder die Fahrzeugsensoren möglicherweise (noch) nicht ersichtlich sind.
  • Da die Fahrtverlaufsdaten extrem hilfreich für ein automatisiertes Fahr-/Assistenzsystem sein können, hat der Anmelder Vorteile durch die Verwendung von verfügbaren Sensoren und Rechenleistung an einem Fahrzeug für den Erhalt von Fahrtverlaufsdaten erkannt. In der vorliegenden Anmeldung offenbart der Anmelder Systeme, Verfahren und Vorrichtungen zum Erhalten von Informationen über Verbindungen zu Querstraßen, Einfahrten oder sonstigen möglichen Orten, damit ein Fahrzeug unter Verwendung einer Rückfahrkamera oder Rückblickkamera eines Fahrzeugs eine Fahrbahn befahren oder verlassen kann. Diese Daten können zur späteren Verwendung in einem Fahrtverlauf gespeichert werden. Gemäß einem Ausführungsbeispiel beinhaltet ein System eine Erfassungsdatenkomponente, eine Komponente zur Erkennung von Straßenansätzen und eine Speicherkomponente. Die Erfassungsdatenkomponente ist dazu ausgelegt, Erfassungsdaten von mindestens zwei Sensoren zu empfangen. Die mindestens zwei Sensoren umfassen eine nach hinten gerichtete Kamera des Fahrzeugs und die Erfassungsdaten umfassen Informationen für einen Bereich hinter dem Fahrzeug auf einer aktuellen Fahrbahn, auf der sich das Fahrzeug befindet. Die Komponente zur Erkennung von Straßenansätzen ist dazu ausgelegt, eine kreuzende Fahrbahn, die sich mit der aktuellen Fahrbahn verbindet, auf Grundlage der Erfassungsdaten zu erkennen. Die Speicherkomponente ist dazu ausgelegt, eine Anzeige einer Position und einer Richtung der kreuzenden Fahrbahn in Bezug auf die aktuelle Fahrbahn zu speichern.
  • Nach hinten gerichtete Kameras an Fahrzeugen werden typischerweise zum Zurücksetzen verwendet und sind inaktiv oder ungenutzt, wenn sich ein Fahrzeug vorwärts bewegt. In den hier offenbarten Ausführungsformen werden Rückfahrkameras verwendet, um eine Fahrbahn hinter einem Fahrzeug zu untersuchen, um Straßenansätze zu erkennen. Der Ausdruck „Straßenansatz“ wird zur Bezeichnung einer Position verwendet, an der sich eine bekannte Fahrfläche verzweigt oder mit einer bestimmten Straße verbindet, selbst wenn keine weiteren Informationen außer dem Vorhandensein der Verbindung bekannt ist. Die Straßenansätze können Abschnitte von Fahrbahnen, Einfahrten oder sonstigen Fahrflächen umfassen, die sich mit einer Fahrbahn verbinden, auf der sich das Fahrzeug gerade befindet oder auf der es gerade fährt. Zum Beispiel können die Straßenansätze Positionen umfassen, an denen ein Fahrzeug die aktuelle Fahrbahn befahren oder verlassen kann. Zum Beispiel kann in einigen Ausführungsformen die Rückfahrkamera dazu veranlasst werden, Video/Bilder zu einer beliebigen Zeit festzuhalten, zu der das Fahrzeug angelassen ist oder sich (vorwärts oder rückwärts) bewegt. Die Informationen zum Befahren oder Verlassen können verwendet werden, um ein automatisches Fahr-/Assistenzsystem zu informieren oder eine Fahrtverlaufsdatenbank zu aktualisieren.
  • In einer Ausführungsform erkennt die Rückblickkamera mögliche Zufahrten, Ausfahrten und Querstraßen, die einem Fahrtverlauf derzeit noch nicht bekannt sind, da sie noch nicht überquert wurden. Ein Straßenerkennungsalgorithmus, der eine tiefes neuronales Netz (Deep Neural Network – DNN) verwenden kann, kann verwendet werden, um Straßen hinter dem Fahrzeug zu entdecken (z. B. unter Verwendung eines Bildes einer nach hinten gerichteten Kamera). Um Straßenansätze zu erkennen, können Straßenmarkierungen untersucht werden. Zum Beispiel können Fahrbahnbegrenzungsmarkierungen kontinuierlich an einer Seite einer Fahrbahn verlaufen und über eine kurze Entfernung unterbrochen sein, an denen sich eine Kreuzung oder eine Querstraße befindet. In einer Ausführungsform können LIDAR-Daten und Daten einer Rückfahrkamera in einer Sensorfusionseinstellung kombiniert werden, um die Robustheit zu verbessern. Zum Beispiel können LIDAR-Daten zusätzliche Informationen bereitstellen oder in Situationen verwendet werden können, in denen keine Straßenmarkierungen in dem Kamerabild sichtbar sind, die Seitenstreifen jedoch unter Verwendung von LIDAR erkannt werden können. Zum Beispiel weisen Lücken oder Veränderungen im Seitenstreifen auf Straßenansätze hin. Auf ähnliche Weise können das Vorhandensein, das Nichtvorhandensein oder Veränderungen in Bezug auf die Leitplanken oder Bordsteine nahe einer Fahrbahn ebenfalls verwendet werden, um Positionen zu identifizieren, an denen Zufahrten auf eine oder Ausfahrten von einer Fahrbahn vorhanden sind.
  • Wenn eine Kreuzung, eine Zufahrt oder eine Ausfahrt erkannt wird, kann das System den Standort und/oder die Richtung der Kreuzung, der Zufahrt oder der Ausfahrt bestimmen. Zum Beispiel kann die Position eine GPS-Position, eine Position auf einer Karte, eine Entfernung von einem Merkmal einer Fahrbahn (z. B. einer anderen Kreuzung) und dergleichen umfassen. Die Richtung kann anzeigen, an welcher Seite einer aktuellen Fahrbahn sich der Straßenansatz (die Kreuzung, Zufahrt oder Ausfahrt) befindet. Zum Beispiel kann die Richtung anzeigen, dass sich der Straßenansatz auf einer bestimmten Seite der aktuellen Fahrbahn befindet. Die Positions- und die Richtungsangabe können in der Fahrtverlaufsdatenbank für ein anschließendes Abrufen gespeichert werden. Bei einer nächsten Fahrt in der Nähe dieser Position kann das Vorhandensein dieser Straßenansätze, Querstraßen und Ausfahrten aus dem Fahrtverlauf abgerufen und verwendet werden, um die Vorhersage möglicher Wege für andere Steuerungen im Fahrzeug weiterzuentwickeln. In einer Ausführungsform kann das Vorhandensein von Straßenansätzen oder kreuzenden Fahrbahnen an einem entfernten Ort gespeichert werden, sodass die Fahrzeuge Daten einsetzen, die von ihnen selbst sowie von anderen Fahrzeugen gesammelt wurden.
  • Das Vorhandensein der Querstraßen oder Straßenansätze kann zur Routenplanung verwendet werden. Zum Beispiel können sie verwendet werde, um die möglichen Routen zu bestimmen, die von einem Fahrzeug überquert werden können. Das Vorhandensein der Querstraßen oder Straßenansätze kann zur Erkennung interessanter Orte (Points of Interest) und für sonstige benötigte Funktionen verwendet werden. Zum Beispiel kann ein System auf Grundlage des Vorhandenseins eines Straßenansatzes, einer Zufahrt oder einer Ausfahrt kontrollieren, ob sich auf einer Karte oder in einer Datenbank interessante Orte befinden, die sich in der Nähe dieses Straßenansatzes, dieser Zufahrt oder dieser Ausfahrt befinden. Ein menschliches oder automatisiertes Fahr-/Assistenzsystem kann über den interessanten Ort benachrichtigt werden, sodass das menschliche oder automatisierte Fahr-/Assistenzsystem bestimmen kann, ob es weiter zu dieser Position fahren oder zusätzliche Fahrtverläufe, Kartendaten oder Wegvorhersagedaten für diese Position laden will.
  • Weitere Ausführungsformen und Beispiele werden nachstehend in Bezug auf die Figuren erörtert.
  • Unter Bezugnahme auf die Figuren stellt 1 ein beispielhaftes Fahrzeugsteuersystem 100 dar. Das Fahrzeugsteuersystem 100 umfasst ein automatisiertes Fahr-/Assistenzsystem 102. Das automatisierte Fahr-/Assistenzsystem 102 kann verwendet werden, um den Betrieb eines Fahrzeugs zu automatisieren oder zu steuern oder einen menschlichen Fahrer zu unterstützen. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel eines oder mehrere von Bremsung, Lenkung, Beschleunigung, Lichtern, Warnmeldungen, Fahrerbenachrichtigungen, Radio oder beliebigen weiteren Fahr- oder Hilfssystemen des Fahrzeugs steuern. In einem weiteren Beispiel ist das automatisierte Fahr-/Assistenzsystem 102 unter Umständen nicht in der Lage, irgendeine Steuerung des Fahrens (z. B. Lenkung, Beschleunigung oder Bremsung) bereitzustellen, kann jedoch Benachrichtigungen und Alarme bereitstellen, um einen menschlichen Fahrer dabei zu unterstützen, sicher zu fahren. Zum Beispiel kann das automatisierte Fahr-/Assistenzsystem 102 eine oder mehrere Steuerungen umfassen, die Daten über einen Steuerbus bereitstellen oder empfangen, um die Daten verwenden, um auszuführende Handlungen zu bestimmen und/oder um Anweisungen oder Signale zum Auslösen derartiger Aktionen bereitzustellen. Das automatisierte Fahr-/Assistenzsystem 102 kann eine Straßenansatzkomponente 104, die dazu ausgelegt ist, Zufahrten oder Ausfahrten für Fahrbahnen, Einfahrten, Parkplätze oder sonstige Fahrflächen, die sich mit einer aktuellen Fahrbahn verbinden, auf Grundlage von Bildern oder Video von einer nach hinten gerichteten Kamera eines Fahrzeugs zu erkennen.
  • Das Fahrzeugsteuersystem 100 beinhaltet außerdem eine oder mehrere Sensorsysteme/vorrichtungen zum Erfassen eines Vorhandenseins nahe gelegener Objekte, Fahrbahnmarkierungen, und/oder zum Bestimmen eines Standorts eines Stammfahrzeugs (z. B. eines Fahrzeugs, das das Fahrzeugsteuersystem 100 beinhaltet). Das Fahrzeugsteuersystem 100 kann zum Beispiel Radarsysteme 106, ein oder mehrere LIDAR-Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionsbestimmungssystem (GPS) 112 und/oder Ultraschallsysteme 114 umfassen. Das Fahrzeugsteuersystem 100 kann einen Datenspeicher 116 zum Speichern relevanter oder nützlicher Daten für Navigation und Sicherheit wie etwa Kartendaten, Fahrtverlauf (d. h. Fahrverlauf) oder weitere Daten umfassen. Das Fahrzeugsteuersystem 100 kann außerdem einen Sendeempfänger 118 zur drahtlosen Kommunikation mit einem mobilen oder drahtlosen Netzwerk, anderen Fahrzeugen, Infrastruktur, Cloud- oder entfernten Rechen- oder Speicherressourcen oder einem beliebigen anderen Kommunikationssystem umfassen.
  • Das Fahrzeugsteuersystem 100 kann Betätigungselemente zur Fahrzeugsteuerung 120 einschließen, um verschiedene Aspekte des Fahrens des Fahrzeugs wie etwa Elektromotoren, Schalter oder andere Betätigungselemente zu steuern, um die Bremsung, Beschleunigung, Lenkung oder dergleichen zu steuern. Das Fahrzeugsteuersystem 100 kann eine oder mehrere Anzeigen 122, Lautsprecher 124 oder andere Vorrichtungen umfassen, sodass einem menschlichen Fahrer oder Fahrgast Benachrichtigungen bereitgestellt werden können. Eine Anzeige 122 kann eine Frontanzeige, eine Anzeige oder einen Hinweis auf der Instrumententafel, einen Bildschirm oder einen beliebigen anderen visuellen Hinweis umfassen, der von einem Fahrer oder Fahrgast eines Fahrzeugs gesehen werden kann. Die Lautsprecher 124 können einen oder mehrere Lautsprecher eines Soundsystems eines Fahrzeugs umfassen oder einen für die Fahrerbenachrichtigung vorgesehenen Lautsprecher umfassen. Die Betätigungselemente 120 der Fahrzeugsteuerung, die Anzeigen 122, die Lautsprecher 124 oder sonstige Teile des Fahrzeugsteuersystems 100 können von einem oder mehreren der Steuerungen des automatisierten Fahr-/Assistenzsystems 102 gesteuert werden. In einer Ausführungsform ist das automatisierte Fahr-/Assistenzsystem 102 dazu ausgelegt, das Fahren oder Navigieren eines Stammfahrzeugs zu steuern. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel die Betätigungselemente zur Fahrzeugsteuerung 120 steuern, um einen Weg innerhalb von Spuren auf einer Straße, einem Parkplatz, einer Einfahrt oder an einem anderen Ort entlangzufahren. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel einen Weg auf Grundlage von durch eine beliebige der Komponenten 106–118 bereitgestellten Informationen oder Erfassungsdaten bestimmen. Die Sensorsysteme/vorrichtungen 106–110 und 114 können verwendet werden, um Echtzeit-Sensordaten zu erhalten, sodass das automatisierte Fahr-/Assistenzsystem 102 in Echtzeit einen Fahrer unterstützen oder ein Fahrzeug fahren kann. In einer Ausführungsform verwendet das automatisierte Fahr-/Assistenzsystem 102 darüber hinaus (lokal oder entfernt) in einem Fahrtverlauf gespeicherte Informationen, um die Bedingungen in einer aktuellen Umgebung zu bestimmen. Das automatisierte Fahr-/Assistenzsystem 102 kann einen oder mehrere Algorithmen, Anwendungen, Programme oder Funktionalitäten verwenden, die das Fahrzeug fahren oder beim Fahren desselben unterstützen.
  • In einer Ausführungsform umfassen die Kamerasysteme 110 eine nach hinten gerichtete Kamera wie etwa eine Rücksetzkamera. Die Kamerasysteme 110 können darüber hinaus in unterschiedliche Richtungen gerichtet sein, um unterschiedliche Sichten und unterschiedliche Sichtfelder für Bereiche nahe dem Fahrzeug und um dieses herum bereitzustellen. Zum Beispiel können einige Kameras nach vorn, zur Seite, nach hinten, abgewinkelt oder in andere Richtungen ausgerichtet sein. In einer Ausführungsform können die Bilder von einer Rückfahrkamera verwendet werden, um eine Vielzahl von Straßen, sich verbindenden Fahrbahnen oder dergleichen hinter einem Fahrzeug entlang einer aktuellen Fahrbahn des Fahrzeugs zu bestimmen.
  • Das automatisierte Fahr-/Assistenzsystem 102 kann darüber hinaus eine Standortkomponente 126 und eine Fahrzeugverlaufskomponente 128 umfassen. Die Standortkomponente 126 kann einen aktuellen Standort des Fahrzeugs bestimmen, an dem sich das System 100 befindet. Zum Beispiel kann die Standortkomponente 126 Standortinformationen von dem GPS 112 und/oder dem Sendeempfänger 118 empfangen, der einen Standort des Fahrzeugs anzeigt. Die Fahrtverlaufskomponente 128 ist dazu ausgelegt, Daten von einem Fahrtverlauf (d. h. einer Fahrverlauf) abzurufen und sie anderen Steuerungen oder Teilen des Systems 100 bereitzustellen. Zum Beispiel können Daten in einem Fahrtverlauf (lokal im Datenspeicher 116 gespeichert oder entfernt an einer Position gespeichert, die unter Verwendung des Sendeempfängers 118 zugänglich ist) für eine aktuelle oder zukünftige Position abgerufen werden, um das automatisierte Fahr-/Assistenzsystem 102 über Straßen- und Fahrbedingungen zu informieren. In einer Ausführungsform ist die Fahrtverlaufskomponente 128 dazu ausgelegt, Fahrtverlaufsdaten von einem entfernten Speicherort abzurufen. Der Fahrtverlauf kann das Vorhandensein von Verbindungsstraßen oder -fahrflächen anzeigen. In einer Ausführungsform ist die Fahrtverlaufskomponente 128 dazu ausgelegt, Straßenansätze oder Verbindungsfahrflächen nahe dem aktuellen Standort oder entlang einer Route für das Fahrzeug an eine oder mehrere Fahrzeugsteuerungen eines automatisierten Fahrsystems oder Fahrassistenzsystems zu senden. Zum Beispiel können die Steuerungen Daten aus dem Fahrtverlauf verwenden, um zu bestimmen, wie das Fahrzeug so gesteuert wird, dass es auf einem Straßenabschnitt fährt oder auf die Möglichkeit vorbereitet wird, dass ein menschlicher Fahrer abbiegt oder abbiegen muss.
  • Es versteht sich, dass die Ausführungsform aus 1 lediglich als Beispiel angeführt ist. Andere Ausführungsformen können weniger oder mehr Komponenten beinhalten, ohne vom Schutzumfang der Offenbarung abzuweichen. Des Weiteren können die dargestellten Komponenten uneingeschränkt kombiniert oder in andere Komponenten integriert werden.
  • 2 stellt eine Draufsicht eines Fahrzeugs 202 auf einer Straße 200 dar. Das Fahrzeug 202 umfasst eine nach hinten gerichtete Kamera und/oder sonstige Sensoren, die Daten hinter dem Fahrzeug 202 in einem Sichtfeld 204 festhalten. Das Sichtfeld 204 kann einer Rücksetzkamera, einem LIDAR-System, einem Radarsystem und/oder beliebigen anderen Sensoren oder Erfassungssystemen entsprechen. Auf Grundlage der Bilder oder sonstiger Datentypen, die im Sichtfeld 204 festgehalten werden, kann die Straßenansatzkomponente 104 Verbindungen zwischen der Fahrbahn 200 und Seitenstraßen, Einfahrten, Zufahrten, Ausfahrten oder dergleichen erkennen/verorten. Zum Beispiel kann die Seitenstraße 212 auf Grundlage von Bildern und/oder sonstigen Erfassungsdaten erkannt werden.
  • In einer Ausführungsform kann eine nach hinten gerichtete Kamera Bilder von einem Bereich der Fahrbahn 200 hinter dem Fahrzeug 202 erzeugen. Andere Sensoren können andere Arten von Erfassungsdaten gewinnen. Auf Grundlage der Bilder oder sonstigen Erfassungsdaten kann die Straßenansatzkomponente 104 Straßenmarkierungen, Seitenstreifen, Bordsteine, Leitplanken, Fahrflächen und/oder dergleichen erkennen. Zum Beispiel kann die Straßenansatzkomponente 104 Markierungen wie Mittellinienmarkierungen 206, Straßenbegrenzungsmarkierungen 208, Spurteilermarkierungen, Rüttelstreifen oder dergleichen erkennen. In einem anderen Beispiel kann die Straßenansatzkomponente 104 eine Seitenstreifenkante 210 erkennen. Eine Seitenstreifenkante kann eine Kante des Bürgersteigs (zum Beispiel Beton, Asphalt oder dergleichen) oder die Kante eines unbefestigten oder befestigten Bereichs, der an den Bürgersteig angrenzt, umfassen. Die Seitenstreifenkante 210 kann in Bildern sichtbar sein, aber sie kann auch eine Grenze zwischen unterschiedlichen Strukturen oder Materialreflektivitäten darstellen oder eine andere Höhe oder dreidimensionale Form aufweisen, die durch LIDAR-, Radar- oder sonstige Erfassungsdaten erkennbar ist.
  • Auf Grundlage des Vorhandenseins, des Nichtvorhandenseins oder der Veränderung hinsichtlich der Straßenmarkierungen, Seitenstreifen, Bordsteine, Leitplanken, Fahrflächen und/oder dergleichen kann die Straßenansatzkomponente 104 Positionen von Straßenansätzen oder Verbindungsfahrflächen identifizieren. Zum Beispiel verbindet sich in 2 die Seitenstraße 212 mit der Fahrbahn 200. Am Verbindungsort sind keine Straßenbegrenzungsmarkierungen 208 vorhanden, sodass die Straßenansatzkomponente 104 bestimmen kann, dass eine Zufahrt, Ausfahrt oder Verbindungsstraße an der Position vorhanden ist. Auf ähnliche Weise variiert auch die Seitenstreifenkante 210 an der Position der Seitenstraße 212. Zum Beispiel bewegt sich die Seitenstreifenkante von der Fahrbahn weg, um der Seitenstraße 212 zu folgen. Die Straßenansatzkomponente 104 kann eine Ecke 214 oder eine Unterbrechung im Seitenstreifen 210 erkennen und bestimmen, dass eine Seitenstraße, Einfahrt oder dergleichen an der Position vorhanden ist. Die Straßenansatzkomponente 104 kann eine Anzeige erzeugen und speichern, dass ein Straßenansatz an der Position existiert und sich an einer konkreten Seite der Fahrbahn 200 befindet. In einer Ausführungsform können die Bordsteine oder Leitplanken, die nahe einer Fahrbahn angeordnet sind, auch verwendet werden, um zu bestimmen, ob ein Straßenansatz oder eine sonstige Zufahrt an einer konkreten Position vorhanden ist.
  • Straßenmarkierungen können eine beliebige Art von Spur- oder Straßenmarkierung umfassen. Die Markierungen können mechanische oder nichtmechanische Markierungen umfassen. Mechanische Markierungen können Reflektoren, Rüttelstreifen oder dergleichen umfassen. Nichtmechanische Markierungen können farbige Linien oder Markierungen (weiß, gelb usw.) umfassen, die mit Farbe, Kunststoffen, Band, Epoxy oder dergleichen erzeugt werden.
  • In einer Ausführungsform ist eine Straßenansatzkomponente 104 dazu ausgelegt, eine Anzahl der Spuren auf der Fahrbahn 200 zu bestimmen. Es ist wichtig zu beachten, dass Bilder, die unter Verwendung einer nach hinten gerichteten Kamera festgehalten werden, Informationen erzielen, gegenüber denen in einer nach vorn gerichteten Kamera oder gegenüber der Perspektive eines menschlichen Fahrers umgekehrt sein können. Zum Beispiel kann, wenn eine Mittellinie im Allgemeinen links von einem Fahrzeug in einer bestimmten Fahrposition angeordnet ist, eine nach hinten gerichtete Kamera Bilder festhalten, die die Mittellinie auf einer rechten Seite des Bildes zeigen. Somit müssen möglicherweise alle Algorithmen zur Spurzahl, Spuranordnung und Spurerkennung, die Daten von nach hinten gerichteten Kameras verwenden, die Anweisungen oder Erkennungsregeln umkehren, um ein übliches Format aus anderen Sensoren oder aus der Perspektive eines Fahrers wiederzugeben.
  • Die Straßenansatzkomponente 104 kann das Vorhandensein von Rüttelstreifen sowie einer Markierungsfarbe (weiß, gelb usw.) oder eines -musters (unterbrochene oder durchgezogene Linie) verwenden, um die Grenzen einer Fahrbahn (die äußerstes Spurbegrenzung einer Fahrbahn) zu bestimmen. Zum Beispiel umfassen die Straßenbegrenzungsmarkierungen 208 ein Muster mit durchgehenden Linien, während die mittleren Spurmarkierungen 206 ein Muster mit unterbrochenen Linien aufweisen. Andere Arten von Spurmarkierungen (zum Beispiel Reflektoren) können auf Grundlage der Farbe, Häufigkeit oder dergleichen als Straßenbegrenzungsmarkierungen, Mittellinien, Spurteiler oder dergleichen identifiziert werden. Vor dem Hintergrund der vorliegenden Offenbarung liegt für einen Fachmann auf der Hand, dass die Erkennung einer Markierungsart in Bezug auf die Begrenzungen auf beliebige Arten mechanischer oder nichtmechanischer Spurmarkierungen angewendet werden kann.
  • 3 stellt eine perspektivische Ansicht einer Fahrbahn 300 in einem Wohngebiet gemäß einer Ausführungsform dar. Die Ansicht stellt dar, was in einem Bild von einer nach hinten gerichteten Kamera wie etwa einer Rücksetzkamera eines Fahrzeugs, das durch ein Wohngebiet fährt, festgehalten werden kann. Da die Fahrbahn 300 keine herkömmlichen mechanischen oder nichtmechanischen Spurmarkierungen wie etwa Linien oder Reflektoren umfasst, muss das Vorhandensein von Zufahrten auf die oder Ausfahrten von der Fahrbahn 300 auf Grundlage anderer Faktoren wie dem Vorhandensein oder der Höhe von Bordsteinen 302, Parkstreifen 306 oder Nicht-Fahrflächen bestimmt werden. Die Straßenansatzkomponente 104 kann eine Höhe eines Bordsteins 302 und beliebige Änderungen der Höhe bestimmen. Zum Beispiel nimmt die Höhe der Bordsteinkante dort, wo Einfahrten 304 auf die Fahrbahn 300 führen, ab, oder ist geringer. Auf ähnliche Weise können kreuzende Straßen auf Grundlage des Fehlens von Bordsteinen und/oder der Fortsetzung einer Fahrfläche in einer Richtung, die zumindest teilweise senkrecht zur Fahrbahn 300 verläuft, erkannt werden. In einer Ausführungsform kann die Straßenansatzkomponente 104 auch Parkstreifen 306 oder sonstige Bereiche nahe der Fahrbahn 300 erkennen, die eine sich von einer Fahrfläche der Fahrbahn 300 unterscheidende Struktur oder Höhe aufweisen. Zum Beispiel können Bordsteinkanten 302, Parkstreifen 306, Einfahrten oder ein Fehlen derselben unter Verwendung der Bilder von einer Rückfahrkamera und/oder Daten von einem anderen Erfassungssystem wie etwa LIDAR-Daten oder Radardaten an jeder Seite der Fahrbahn 300 erkannt werden. LIDAR-Daten und Radardaten können besonders hilfreich bei der Erkennung von Bordsteinen oder sonstigen dreidimensionalen Straßen- oder Umweltmerkmalen sein.
  • In einer Ausführungsform können fusionierte Daten auf Grundlage von Bildern und sonstigen Sensordaten erzeugt werden, um eine Position von Bordsteinen, einem Seitenstreifen oder dergleichen nahe der Fahrbahn zu bestimmen. Zum Beispiel kann eine Position der Kante einer Fahrbahn auf Grundlage von Bildverarbeitungstechniken wie Kantenerkennung oder Begrenzungserkennung oder auf Grundlage von LIDAR-Daten bestimmt werden.
  • 4 stellt eine perspektivische Ansicht einer Fahrbahn 400 in einer Geschäftsumgebung gemäß einer Ausführungsform dar. Die Ansicht veranschaulicht, was in einem Bild von einer nach hinten gerichteten Kamera wie etwa einer Rücksetzkamera eines Fahrzeugs festgehalten werden kann. Auf ähnliche Weise kann ein LIDAR- oder Radarsystem Informationen über ein oder mehrere Merkmale der Fahrbahn 400 oder in der Umgebung der Fahrbahn 400 festhalten. Bei der Fahrbahn 400 handelt es sich um eine bidirektionale Fahrbahn mit einer Vielzahl von Markierungen einschließlich Mittellinienmarkierungen 402, Spurteilermarkierungen 404 und Straßenbegrenzungsmarkierungen 406. Ein Bordstein 408 ist nahe der Fahrbahn 400 angeordnet und eine Querstraße 410 kreuzt die Fahrbahn 400. In einer Ausführungsform ist eine Straßenansatzkomponente 104 dazu ausgelegt, eine Vielzahl von Spuren auf der Fahrbahn 400 zu bestimmen. Zum Beispiel kann die Straßenansatzkomponente 104 die Straßenbegrenzungsmarkierungen 406 identifizieren und auf Grundlage der zwei Gruppen von Spurteilermarkierungen 404 und Mittellinienmarkierungen 402 bestimmen, dass die Fahrbahn über vier Spuren verfügt.
  • Auf Grundlage von Unterbrechungen in den Straßenbegrenzungsmarkierungen 406, Veränderungen hinsichtlich des Vorhandenseins oder der Höhe des Bordsteins 408 oder einer Fortsetzung einer Fahrfläche kann die Straßenansatzkomponente 104 bestimmen, dass eine Verbindungsstraße, eine Einfahrt oder dergleichen mit der Fahrbahn 400 verbunden ist. Zum Beispiel enden der Bordstein 408 und die Straßenbegrenzungsmarkierungen 406 an der Querstraße 410. Auf Grundlage der Beendigung des Bordsteins 408 und der Straßenbegrenzungsmarkierungen 406 kann die Straßenansatzkomponente 104 bestimmen, dass sich eine Querstraße 410 an der Position befindet. In einer Ausführungsform kann die Straßenansatzkomponente 104 bestimmen, dass sich eine Straße am Ort der Unterbrechung oder des Endes des Bordsteins 408 und der Straßenbegrenzungsmarkierungen 406 befindet, selbst wenn eine verfügbare Karte keine Informationen über die Querstraße 410 beinhaltet. Das Vorhandensein der Querstraße 410 kann in dem Fahrtverlauf für einen späteren Zugriff gespeichert werden.
  • 5 ist ein schematisches Blockdiagramm, das einen Datenfluss für ein Verfahren 500 zum Erkennen eines Vorhandenseins und einer Richtung von Verbindungsstraßen oder -fahrflächen darstellt. Eine Vielzahl von Arten von Erfassungsdaten einschließlich Kameradaten, Radardaten, LIDAR-Daten und/oder Ultraschalldaten können zur Sensorfusion 502 kombiniert empfangen werden. Die Kameradaten können Daten von einer nach hinten gerichteten Kamera wie einer Rücksetzkamera umfassen. Eine Sensorfusion 502 kann Informationen über die Position der Spurmarkierung, der Bordsteinposition, eines Seitenstreifens der Straße oder die Position anderer Objekte oder Merkmale der Umgebung auf Grundlage kombinierter Erfassungsdaten erzeugen. Zum Beispiel kann, wenn nur Kameradaten und LIDAR-Daten empfangen werden, eine Position für eine Spurmarkierung auf Grundlage eines Durchschnitts oder einer sonstigen Kombination von Kamera- und LIDAR-Daten bestimmt werden. Die Sensorfusion 502 kann Durchschnittswerte oder gewichtete Durchschnittswerte für unterschiedliche Datentypen verwenden, um fusionierte oder kombinierte Daten zu bestimmen. Wenn nur eine Art Daten empfangen wird, kann die Sensorfusion durch die Rohdaten verlaufen oder die Rohdaten so modifizieren, dass sie einem von den neuronalen Netzen 504 erwarteten Format entsprechen. Die neuronalen Netze 504 können die Roh- oder Fusionsdaten empfangen und verarbeiten, um eine Anzeige eines Vorhandenseins eines Straßenansatzes (z. B. einer Verbindungsstraße oder -fahrfläche) und eine Richtung für den Straßenansatz in Bezug auf eine aktuelle Fahrbahn zu erzeugen. Zum Beispiel kann die Richtung des Straßenansatzes anzeigen, ob er sich an einer linken oder rechten Seite einer Straße in Bezug auf eine Richtung, in die das Fahrzeug gerade gerichtet ist, befindet.
  • Die neuronalen Netze 504 können ein oder mehrere Netze umfassen, die eine oder mehrere Ausgaben einschließlich einer Anzeige eines Vorhandenseins eines Straßenansatzes und/oder einer Richtung für den Straßenansatz berechnen. Da die Daten einer nach hinten gerichteten Kamera verwendet werden können, kann das Vorhandensein von Straßenansätzen auf einem Fahrbahnabschnitt basieren, den das Fahrzeug bereits passiert hat. Das Speichern einer Anzeige des Vorhandenseins und der Richtung eines Straßenansatzes kann zu einem späteren Zeitpunkt, wenn sich ein Fahrzeug einer Position, an der der Straßenansatz erkannt wurde, nähert oder erneut nähert, abgerufen werden. In einer Ausführungsform umfassen die neuronalen Netze 504 ein oder mehrere tiefe neuronale Netze, die auf das Erkennen von Straßenansätzen und/oder der Richtung von Straßenansätzen trainiert wurden. In einer Ausführungsform kann das Vorhandensein des Straßenansatzes mit einer aktuellen Position des Fahrzeugs verbunden sein. Da sich der Straßenansatz an einer gewissen Position hinter einem Fahrzeug befinden kann, kann die Position des Straßenansatzes mit einer aktuellen Position verbunden sein, die um eine vorab festgelegte Entfernung abgesetzt ist. In einer Ausführungsform kann ein neuronales Netz eine Ausgabe bereitstellen, die eine Entfernung des Straßenansatzes von dem Fahrzeug anzeigt.
  • 6 ist ein schematisches Blockdiagramm, das eine Ausgestaltung eines tiefen neuronalen Netzes 600 darstellt. Tiefe neuronale Netze haben in den vergangenen Jahren an Bekanntheit gewonnen, da sie traditionelle Vorgehensweisen zum Maschinenlernen bei schwierigen Aufgaben wie der Bildklassifikation und Spracherkennung übertroffen haben. Bei tiefen neuronalen Netze handelt es sich um computergesteuerte Feedforward-Graphen mit Eingangsknoten (wie den Eingangsknoten 602), einer oder mehreren versteckten Schichten (wie den versteckten Schichten 604, 606 und 608) und Ausgangsknoten (wie den Ausgangsknoten 610). Zur Klassifizierung von Inhalten oder Informationen über ein Bild werden Pixel-Werte des Eingangsbilds den Eingangsknoten zugeordnet und anschließend durch die versteckten Schichten 604, 606, 608 des Netzes geführt, wobei sie eine Vielzahl nichtlinearer Transformationen durchlaufen. Am Ende der Berechnung erzielen die Ausgangsknoten 610 Werte, die der von dem neuronalen Netz abgeleiteten Klasse entsprechen. Die Anzahl der Eingangsknoten 602, versteckten Schichten 604–608 und Ausgangsknoten 610 dient lediglich der Veranschaulichung. Zum Beispiel können größere Bilder einen Eingangsknoten 602 für jeden Pixel umfassen und somit Hunderte oder Tausende oder eine sonstige Anzahl von Eingangsknoten aufweisen.
  • Gemäß einer Ausführungsform kann ein tiefes neuronales Netz 600 aus 6 verwendet werden, um den Inhalt / die Inhalte eines Bildes in vier unterschiedliche Klassen zu klassifizieren: eine erste Klasse, eine zweite Klasse, eine dritte Klasse und eine vierte Klasse. Gemäß der vorliegenden Offenbarung kann ein ähnlich oder anders bemessenes neuronales Netz in der Lage sein, einen Wert, der eine Anzahl von Spuren anzeigt, in einem Bild auszugeben. Zum Beispiel kann die erste Klasse dem Vorhandensein/Nichtvorhandensein einer Verbindungsstraße oder eines Straßenansatzes entsprechen, kann die zweite Klasse einer Richtung der Straße oder des Straßenansatzes (z. B. nahe null für rechts und nahe eins für links) entsprechen, können die dritte und die vierte Klasse eine Entfernung von einer Rückseite eines Fahrzeugs zu erkannten Straßen oder Straßenansätzen anzeigen. Zum Beispiel können die dritte und die vierte Klasse als binärer Ausgang behandelt werden, um einen von vier Entfernungsbereichen anzuzeigen, in denen der Straßenansatz liegt. Dies dient lediglich der Veranschaulichung, da ein neuronales Netz zum Klassifizieren des Vorhandenseins, der Richtung und/oder Entfernung von Straßenansätzen auf Grundlage eines Bildes Hunderte oder Tausende von Pixeln aufweisen kann und möglicherweise eine größere Anzahl von Ausgängen aufweisen muss, um genauere Entfernungsanzeigen bereitzustellen. Demnach kann ein neuronales Netz zum Klassifizieren des Vorhandenseins, der Richtung und/oder Entfernung zu einem Straßenansatz Hunderte oder Tausende von Knoten an einer Eingangsschicht und/oder mehr als vier Ausgangsknoten erfordern.
  • Zum Beispiel kann eine Zufuhr eines rohen Bilds der Fahrbahn 200 in das Netz zu dem in 2 dargestellten Zeitpunkt zu einer höheren Wahrscheinlichkeit eines Vorhandenseins eines Straßenansatzes, einer Richtungsangabe links von dem Fahrzeug 202 und einer Entfernung führen, die eine Entfernung zwischen der Seitenstraße 212 und dem Fahrzeug 202 anzeigt. Ähnliche Techniken oder Prinzipien können verwendet werden, um Informationen zum Vorhandensein oder zu Positionen von Straßenmarkierungen, Spuren oder dergleichen abzuleiten.
  • Damit ein tiefes neuronales Netz in der Lage ist, zwischen beliebigen gewünschten Klassen zu unterschieden, muss das neuronale Netz auf Grundlage von Beispielen trainiert werden. Zum Beispiel wird, um eine tiefes neuronales Netz zu erzeugen, das in der Lage ist, das Vorhandensein, die Richtung und/oder die Entfernung von Straßenansätzen in einem Bild zu erkennen und zu klassifizieren, möglicherweise eine große Menge beispielhafter Bilder (Hunderte bis Tausende für Fahrbahnen mit unterschiedlichen Arten von Straßenansätzen und Entfernungen) benötigt, wobei jedem Bild eine Markierung zugeordnet wird, die dem Vorhandensein, der Richtung und/oder der Entfernung entspricht. Die markierten Daten können eine große Herausforderung beim Trainieren tiefer neuronaler Netze sein, da häufig Menschen benötigt werden, um den Trainingsbildern (die häufig millionenfach vorliegen) Markierungen zuzuordnen. Demzufolge können die Zeit und die Ausrüstung für den Erhalt des Bildes sowie die händische Markierung derselben teuer sein. Sobald die Bilder mit Markierungen (Trainingsdaten) erhalten wurden, kann das Netz trainiert werden. Ein beispielhafter Algorithmus zum Trainieren umfasst den Backpropagation-Algorithmus, der die Bilder verwendet, einschließlich der großen Anzahl von Bildern mit Markierungen. Die Durchführung des Backpropagation-Algorithmus kann mehrere Stunden, Tage oder Wochen dauern.
  • Unter Bezugnahme auf 7 ist ein schematisches Blockdiagramm dargestellt, das beispielhafte Komponenten einer Straßenansatzkomponente 104 gemäß einer Ausführungsform darstellt. Die Straßenansatzkomponente 104 umfasst eine Erfassungsdatenkomponente 702, eine Fusionskomponente 704, eine Spurzahlkomponente 706, eine Komponente für die aktuelle Spur 708, eine Komponente zur Erkennung von Straßenansätzen 710, eine Routenkomponente 712 und eine Benachrichtigungskomponente 714. Die Komponenten 702–714 dienen lediglich zur Veranschaulichung und möglicherweise sind nicht alle in allen Ausführungsformen enthalten. Tatsächlich können einige Ausführungsformen lediglich eine oder eine beliebige Kombination aus zwei oder mehreren der Komponenten 702–714 aufweisen. Einige der Komponenten 702–714 können außerhalb der Straßenansatzkomponente 104 angeordnet sein, zum Beispiel in einem automatisierten Fahr-/Assistenzsystem 102 oder an einem anderen Ort.
  • Die Erfassungsdatenkomponente 702 ist dazu ausgelegt, Erfassungsdaten von einem oder mehreren Sensoren oder Erfassungssystemen eines Fahrzeugs oder eines Fahrzeugsteuersystems zu empfangen. In einer Ausführungsform empfängt die Erfassungsdatenkomponente 702 Erfassungsdaten, die Informationen über eine Umgebung eines Fahrzeugs oder Fahrzeugsteuersystems umfassen. Beispielhafte Erfassungsdaten umfassen Daten von LIDAR-, Radar-, Kamera-, Ultraschall-, Infrarot- oder sonstigen Systemen. In einer Ausführungsform ist die Erfassungsdatenkomponente 702 dazu ausgelegt, Erfassungsdaten von mindestens zwei Sensoren oder Erfassungssystemen zu empfangen. In einer Ausführungsform umfasst mindestens einer der Sensoren oder Erfassungssysteme eine nach hinten gerichtete Kamera eines Fahrzeugs. Daten von anderen Sensoren wie etwa Daten von einem LIDAR-, Radar-, Ultraschall-, Infrarot- oder sonstigen System können ebenfalls empfangen werden. Die Erfassungsdaten können Informationen zu einem Bereich hinter dem Fahrzeug auf einer aktuellen Fahrbahn, auf der sich das Fahrzeug befindet, umfassen.
  • Die Fusionskomponente 704 ist dazu ausgelegt, eine Datenfusion mit den von der Erfassungsdatenkomponente 702 gewonnenen Erfassungsdaten durchzuführen. Zum Beispiel kann die Fusionskomponente 704 Daten aus den Erfassungsdaten in die Felder oder Einträge einpflegen, die von einer oder mehreren der sonstigen Komponenten 702, 706–714 erwartet werden. Zum Beispiel kann, wenn ein Bild von der Spurzahlkomponente 706 oder der Komponente zur Erkennung von Straßenansätzen 710 erwartet wird (möglicherweise jedoch nicht erforderlich ist), die Fusionskomponente 704 ein Bild in einer Tabelle oder Matrix bereitstellen, die der Spurzahlkomponente 706 der der Komponente zur Erkennung von Straßenansätzen 710 bereitgestellt werden soll. Auf ähnliche Weise kann, wenn von einer Komponente LIDAR-Daten verwendet werden könnten, die Fusionskomponente 704 die LIDAR-Daten in einem unterschiedlichen Feld oder Bereich der Tabelle oder Matrix bereitstellen. Die Fusionskomponente 704 kann Erfassungsdaten von unterschiedlichen Datenquellen zur Verwendung von einer Spurzahlkomponente 706, eine Komponente für die aktuelle Spur 708 und/oder eine Komponente zur Erkennung von Straßenansätzen 710 zur Verarbeitung unter Verwendung eines neuronalen Netzes oder eines Lernalgorithmus oder -modells einer sonstigen Maschine anordnen.
  • In einer Ausführungsform ist die Fusionskomponente 704 dazu ausgelegt, fusionierte Sensordaten auf Grundlage der Erfassungsdaten von mindestens zwei Sensoren zu erzeugen. Zum Beispiel können die fusionierten Sensordaten eine Position einer Spurmarkierung, eine Position eines Bordsteins oder einer Leitplanke, eine Position eines Seitenstreifens oder einer Kante eines Seitenstreifens, eine Spurzahl oder dergleichen umfassen. Zum Beispiel kann die Fusionskomponente 704 das Vorhandensein oder die Position einer oder mehrerer Spurlinien auf Grundlage von Daten von mehreren Sensoren bestimmen. Zum Beispiel können die Daten von einem Sensor das Vorhandensein einer Spurmarkierung mit hoher Zuverlässigkeit anzeigen, während Daten von einem anderen Sensor das Vorhandensein einer Spurmarkierung mit geringer oder mittlerer Zuverlässigkeit anzeigen können. Auf Grundlage der kombinierten Daten kann die Fusionskomponente 704 bestimmen, dass eine Spurmarkierung vorhanden ist. Auf ähnliche Weise können Daten von einem Sensor eine erste Position für eine Spurmarkierung oder einen Bordstein anzeigen, während Daten von einem anderen Sensor anzeigen können, dass die Spurmarkierung oder der Bordstein eine leicht andere Position aufweist. Die Fusionskomponente 704 kann eine neue oder veränderte Position bestimmen, die auf Grundlage der kombinierten Daten berechnet wurde.
  • Die Spurzahlkomponente 706 ist dazu ausgelegt, eine Spurzahl auf einer Fahrbahn auf Grundlage der Erfassungsdaten zu bestimmen. In einer Ausführungsform verwendet die Spurzahlkomponente 706 Erfassungsdaten, die von der Fusionskomponente 704 fusioniert oder verarbeitet wurden. In einer anderen Ausführungsform verwendet die Spurzahlkomponente 706 Rohdaten oder Daten, die von der Fusionskomponente 704 fusioniert oder verarbeitet wurden. In einer Ausführungsform umfasst die Spurzahlkomponente 706 ein oder mehrere neuronale Netze, die darauf trainiert wurden, eine Spurzahl in einem Bild, LIDAR-Rahmen, Radarrahmen oder sonstigen Rahmen oder einer sonstigen Einheit von Sensordaten zu erkennen. Weitere Ausführungsformen können andere Arten von Maschinenlernalgorithmen oder -modellen zum Beistimmen der Anzahl der Spuren umfassen. Die Spurzahlkomponente 706 kann die Erfassungsdaten als Eingang empfangen und einen Ausgang bereitstellen, der eine Anzahl abgeleiteter Spuren anzeigt. Der Ausgang des neuronalen Netzes oder des sonstigen Maschinenlernalgorithmus kann anderen Komponenten oder Systemen anzeigen, wie viele Spuren in einem Sichtfeld der Erfassungssensoren vorhanden waren, als die Erfassungsdaten festgehalten/gewonnen wurden.
  • Die Komponente für die aktuelle Spur 708 ist dazu ausgelegt, eine aktuelle Spur des Fahrzeugs zu bestimmen. Zum Beispiel kann die Komponente für die aktuelle Spur 708 eine aktuelle Spur innerhalb der Anzahl der Spuren, die von der Spurzahlkomponente erkannt wurden, eines Fahrzeugs auf Grundlage der Erfassungsdaten bestimmen. Zum Beispiel kann die Komponente für die aktuelle Spur 708 auf Grundlage der durch die Spurlinien oder anschließende Spurmarkierungen gebildeten Winkel eine Position einer aktuellen Spur des Fahrzeugs in einem Bild oder LIDAR-Rahmen bestimmen. Die aktuelle Spur kann eine Anzahl umfassen, die anzeigt, auf welcher der erkannten Spuren (z. B. von links nach rechts oder von rechts nach links in Bezug auf die Fahrtrichtung des Fahrzeugs) sich das Fahrzeug befindet. Zum Beispiel kann, wenn die Spurzahlkomponente 706 sechs Spuren erkennt, die aktuelle Spurkomponente 708 eine „1“ ausgeben, um anzuzeigen, dass sich das Fahrzeug in der Spur ganz rechts befindet, eine „2“, um anzuzeigen, dass sich das Fahrzeug in der mittleren Spur befindet, oder eine „3“, um anzuzeigen, dass sich das Fahrzeug in der Spur ganz links befindet. Diese Ausgestaltung ist lediglich als Beispiel angeführt und andere Ausgabearten können in anderen Ausführungsformen im Schutzumfang der vorliegenden Offenbarung bereitgestellt sein.
  • Gemäß einer Ausführungsform verwendet die Komponente für die aktuelle Spur 708 ein tiefes neuronales Netz, das darauf trainiert wurde, die aktuelle Spur zu bestimmen. Zum Beispiel kann ein neuronales Netz der Komponente für die aktuelle Spur 708 ein Bild, einen LIDAR-Rahmen und/oder sonstige Erfassungsdaten zusammen mit der Spurzahl empfangen, die von der Komponente für die Spurzahl 706 ausgegeben wird. Auf Grundlage dieser Eingabe kann das neuronale Netz eine Anzahl oder sonstige Anzeige dessen ausgeben, in welcher Spur sich das Fahrzeug wahrscheinlich befindet. Die Anzeige der aktuellen Spur kann eine Spurposition des Fahrzeugs zu einem Zeitpunkt anzeigen, an dem die Erfassungsdaten erhalten wurden.
  • Die Komponenten zur Erkennung von Straßenansätzen 710 ist dazu ausgelegt, zu bestimmen, ob eine Zufahrt oder Ausfahrt, die eine aktuelle Fahrbahn mit einer Seitenstraße oder einer sonstigen Fahrfläche (d. h. einem Straßenansatz) verbindet, auf Grundlage der Erfassungsdaten vorhanden ist. In einer Ausführungsform verwendet die Komponente zur Erkennung von Straßenansätzen 710 Erfassungsdaten, die von der Fusionskomponente 704 fusioniert oder verarbeitet wurden. In einer anderen Ausführungsform verwendet die Komponente zur Erkennung von Straßenansätzen 710 Rohdaten oder Daten, die von der Fusionskomponente 704 fusioniert oder verarbeitet wurden. In einer Ausführungsform umfasst die Komponente zur Erkennung von Straßenansätzen 710 ein oder mehrere neuronale Netze, die darauf trainiert wurden, ein Vorhandensein, eine Richtung und/oder eine Entfernung eines Straßenansatzes in einem Bild, LIDAR-Rahmen, Radarrahmen oder sonstigen Rahmen oder einer sonstigen Einheit von Sensordaten zu erkennen. Weitere Ausführungsformen können andere Arten von Maschinenlernalgorithmen oder -modellen zum Bestimmen des Vorhandenseins, der Richtung oder der Entfernung umfassen. Die Komponente zur Erkennung von Straßenansätzen 710 kann die Erfassungsdaten als Eingang empfangen und einen Ausgang bereitstellen, der ein Vorhandensein oder Nichtvorhandensein eines Straßenansatzes, eine Richtung (z. B. links oder rechts von der Fahrbahn in Bezug auf eine aktuelle Ausrichtung des Fahrzeugs) und/oder eine Entfernung hinter dem Fahrzeug zu dem Straßenansatz anzeigt. Der Ausgang des neuronalen Netzes oder des sonstigen Maschinenlernalgorithmus kann anderen Komponenten oder Systemen Informationen über einen Straßenansatz Spuren in einem Sichtfeld der Erfassungssensoren, als die Erfassungsdaten festgehalten oder gewonnen wurden, anzeigen.
  • In einer Ausführungsform ist die Komponente zur Erkennung von Straßenansätzen 710 ist dazu ausgelegt, eine kreuzende Fahrbahn, die sich mit der aktuellen Fahrbahn verbindet, auf Grundlage der Erfassungsdaten zu erkennen. Die Komponente zur Erkennung von Straßenansätzen 710 kann erkennen, dass eine kreuzende Fahrbahn vorhanden ist, indem sie eines oder mehrere von einer Lücke in den Fahrbahnmarkierungen, einer Unterbrechung in einem Straßenrand der aktuellen Fahrbahn oder einer Veränderung oder Unterbrechung hinsichtlich der Höhe eines Bordsteins oder einer Leitplanke erkennt. Zum Beispiel können Lücken oder Unterbrechungen in Fahrbahnmarkierungen wie etwa Straßenbegrenzungsmarkierungen, Straßenteilermarkierungen, Straßenbegrenzungsmarkierungen, Rüttelstreifen oder sonstigen Markierungen an Kreuzungen oder dort, wo sich Zufahrten oder Ausfahrten auf die aktuelle Fahrbahn befinden, auftreten. In einer Ausführungsform kann eine Unterbrechung in einem Seitenstreifen dort auftreten, wo sich eine anderer Fahrfläche mit der aktuellen Fahrbahn verbindet. Zum Beispiel kann, wenn ein unbefestigter Seitenstreifen oder Schotterstreifen nahe dem Bürgersteig einer Fahrbahn angeordnet ist, dort, wo sich eine befestigte Fahrbahn, Zufahrt oder Ausfahrt mit der aktuellen Fahrbahn verbindet, eine Unterbrechung des unbefestigten Seitenstreifens oder des Schotterstreifens vorhanden sein. Bordsteinkanten oder Leitplanken können an Positionen, an denen andere Fahrzeuge die aktuelle Fahrbahn befahren oder verlassen können, ebenfalls Unterbrechungen aufweisen. Die Komponente zur Erkennung von Straßenansätzen 710 kann eine Richtung für eine Straße bestimmen, die eine Seite der aktuellen Fahrbahn angibt, an der die kreuzende Fahrbahn angeordnet ist. Zum Beispiel kann die Richtung angeben, in welche Richtung ein Fahrzeug abbiegen müsste, um von der aktuellen Fahrbahn auf die kreuzende Fahrbahn zu fahren. In einer Ausführungsform ist die Komponente zur Erkennung von Straßenansätzen 710 dazu ausgelegt, eine kreuzende Fahrbahn durch Erkennen einer Fahrfläche zu erkennen, die die aktuelle Fahrbahn mit einer oder mehreren von einer Einfahrt, einem Parkplatz oder einer Querstraße verbindet.
  • In einer Ausführungsform kann das Maschinenlernen (zum Beispiel neuronale Netze) unter Verwendung von Trainingsdaten trainiert werden, um automatisch Modelle zu erzeugen, die diese Aspekte oder sonstige Aspekte erkennen, die mit dem Vorhandensein eines Straßenansatzes korrelieren oder dieses anzeigen. In einer Ausführungsform kann, sobald ein neuronales Netz trainiert ist, das neuronale Netz dazu verwendet werden, kreuzende Fahrbahnen zu erkennen, indem ein tiefes neuronales Netz verwendet wird, um zumindest einen Teil der Erfassungsdaten zu verarbeiten, die von der Erfassungsdatenkomponente 702 zusammengetragen wurden.
  • Die Routenkomponente 712 ist dazu ausgelegt, eine Fahrtroute oder mögliche Fahrtrouten zu bestimmen, die von einem Fahrzeug oder Fahrsystem ausgeführt werden sollen. Zum Beispiel kann die Routenkomponente 712 eine Fahrtroute bestimmen, um an einem Ziel anzukommen. Die Routenkomponente 712 kann eine oder mehrere mögliche Ziele bestimmen und anschließend eine oder mehrere mögliche Fahrtrouten bestimmen, um an ein oder mehrere der Ziele zu gelangen. In einer Ausführungsform kann die Routenkomponente 712 eine Route auf Grundlage von Informationen in einem lokalen oder entfernten Fahrtverlauf bestimmen. Zum Beispiel kann die Routenkomponente 712 Informationen zu Straßenansätzen von der Fahrtverlaufskomponente 128 empfangen und auf Grundlage dieser Informationen eine Route bestimmen. Die Informationen zu Straßenansätzen können eine Anzeige einer Position und einer Richtung des Straßenansatzes beinhalten. Zum Beispiel kann die Routenkomponente 712 die Position oder die Richtung der kreuzenden Fahrbahnen die zumindest teilweise von der Fahrtverlaufskomponente 128 bereitgestellt werden, verarbeiten, um eine Route für das Fahrzeug zu bestimmen oder einen für das Fahrzeug oder einen Fahrgast interessanten Ort (Point of Interest) zu erkennen. Zum Beispiel kann die Routenkomponente 712 mögliche Ziele auf Grundlage der Informationen zu Straßenansätzen bestimmen und/oder Routen auf Grundlage der Informationen zu Straßenansätzen bestimmen.
  • Die Benachrichtigungskomponente 714 ist dazu ausgelegt, Informationen zu Straßenansätzen einem automatisierten Fahrsystem oder Fahrassistenzsystem zu melden. Zum Beispiel kann die Benachrichtigungskomponente 714 eine Anzeige eines Vorhandenseins, einer Position und/oder Richtung einer sich verbindenden Fahroberfläche, Fahrbahn oder Straßenansatzes bereitstellen. Die Benachrichtigungskomponente 714 kann beliebige Daten bereitstellen, die von der Erfassungsdatenkomponente 702, der Fusionskomponente 704, der Spurzahlkomponente 706, der Komponente zur aktuellen Spur 708, der Komponente zur Erkennung von Straßenansätzen 710 und/oder der Routenkomponente 712 gewonnen oder bestimmt werden. Die Benachrichtigungskomponente 714 kann Berichte oder Daten einer Fahrtverlaufskomponente 128 oder zur Speicherung in einem lokalen oder entfernten Fahrtverlauf bereitstellen. Zum Beispiel kann die Benachrichtigungskomponente 714 oder die Fahrtverlaufskomponente 128 eine Anzeige einer Position und Richtung einer kreuzenden Fahrbahn an einen entfernten Speicherort hochladen.
  • 8 ist ein schematisches Flussdiagramm, das ein Verfahren 800 zum Erkennen von Straßenansätzen darstellt. Das Verfahren 800 kann von einer Straßenansatzkomponente, einem automatischen Fahr-/Assistenzsystem oder einem Fahrzeugsteuersystem wie etwa der Straßenansatzkomponente 104, dem automatischen Fahr-/Assistenzsystem 102 oder dem Fahrzeugsteuersystem 100 aus 1 ausgeführt werden.
  • Das Verfahren 800 beginnt und eine Erfassungsdatenkomponente 702 empfängt bei 802 Erfassungsdaten von mindestens zwei Sensoren, wobei die mindestens zwei Sensoren eine nach hinten gerichtete Kamera eines Fahrzeugs umfassen. Die Erfassungsdaten können Informationen zu einer aktuellen Fahrbahn, auf der sich das Fahrzeug befindet, umfassen, zum Beispiel für einen Bereich hinter dem Fahrzeug. Zum Beispiel können die Erfassungsdaten Informationen von einer nach hinten gerichteten Kamera mit Daten von einem oder mehreren von einem Radarsystem, LIDAR-System, Ultraschallerfassungssystem, Infraroterfassungssystem oder dergleichen umfassen. Eine Komponente zur Erkennung von Straßenansätzen 710 erkennt bei 804 auf Grundlage der Erfassungsdaten eine kreuzende Fahrbahn, die sich mit der aktuellen Fahrbahn verbindet. Die Komponente zur Erkennung von Straßenansätzen 710 kann ein tiefes neuronales Netz umfassen, das Erfassungsdaten empfängt und eine Anzeige eines Vorhandenseins, einer Richtung und/oder einer Position eines in den Erfassungsdaten sichtbaren/dargestellten Straßenansatzes bereitstellt. In einer Ausführungsform kann die Komponente zur Erkennung von Straßenansätzen 710 das Vorhandensein, die Position und/oder die Richtung eines Straßenansatzes auf Grundlage von fusionierten Daten von einer Vielzahl von Sensoren oder Sensorsystemen bestimmen. Eine Benachrichtigungskomponente 714 speichert bei 806 eine Anzeige einer Position und einer Richtung der kreuzenden Fahrbahn in Bezug auf die aktuelle Fahrbahn. In einer Ausführungsform speichert die Benachrichtigungskomponente 714 bei 806 die Anzeige einer Position und einer Richtung der kreuzenden Fahrbahn, indem sie die Daten einer Fahrtverlaufskomponente 128 oder dem automatisierten Fahr-/Assistenzsystem 102 aus 1 bereitstellt.
  • Unter Bezugnahme auf 9 ist ein Blockdiagramm eine beispielhaften Rechenvorrichtung 900 dargestellt. Die Rechenvorrichtung 900 kann verwendet werden, um verschiedene Verfahren wie beispielsweise die hier erläuterten durchzuführen. Die Rechenvorrichtung 900 kann als Straßenansatzkomponente 104, automatisiertes Fahr-/Assistenzsystem 102, Server oder beliebige sonstige Recheneinheit betrieben werden. Die Rechenvorrichtung 900 kann verschiedene Kontrollfunktionen, wie hier erörtert, ausführen und ein oder mehrere Anwendungsprogramme ausführen, zum Beispiel die hier beschriebenen Anwendungsprogramme oder Funktionalitäten. Bei der Rechenvorrichtung 900 kann es sich um eine beliebige aus einer großen Vielzahl von Rechenvorrichtungen handeln, zum Beispiel um einen Desktop-Computer, einen Notebook-Computer, einen Server-Computer einen Handcomputer, einen Tablet-Computer und dergleichen.
  • Die Rechenvorrichtung 900 beinhaltet einen oder mehrere Prozessoren 902, eine oder mehrere Speichervorrichtungen 904, eine oder mehrere Schnittstellen 906, eine oder mehrere Massenspeichervorrichtungen 908, einen oder mehrere Eingabe/Ausgabe(E/A)-Vorrichtungen 910 und eine Anzeigevorrichtung 930, von denen alle an einen Bus 912 gekoppelt sind. Der/Die Prozessor(en) 902 beinhaltet/beinhalten einen oder mehrere Prozessoren oder Steuerungen, die in der/den Speichervorrichtung(en) 904 und/oder der/den Massenspeichervorrichtung(en) 908 gespeicherte Anweisungen ausführen. Der/Die Prozessor(en) 902 kann/können darüber hinaus verschiedene Arten von computerlesbaren Medien wie beispielsweise einen Cache-Speicher beinhalten.
  • Die Speichervorrichtung(en) 904 beinhaltet/beinhalten verschiedene computerlesbare Medien wie beispielsweise flüchtige Speicher (z. B. Direktzugriffsspeicher (RAM) 914) und/oder nichtflüchtige Speicher (z. B. Nurlesespeicher (ROM) 916). Die Speichervorrichtung(en) 904 kann/können darüber hinaus einen wiederbeschreibbaren ROM wie beispielsweise einen Flash-Speicher beinhalten.
  • Die Massenspeichervorrichtung(en) 908 beinhaltet/beinhalten verschiedene computerlesbare Medien wie beispielsweise Magnetbänder, Magnetplatten, optische Platten, Festkörperspeicher (z. B. Flash-Speicher) und so weiter. Wie in 9 dargestellt handelt es sich bei einem Festplattenlaufwerk 924 um eine besondere Massenspeichervorrichtung. Verschiedene Laufwerke können darüber hinaus in der/den Massenspeichervorrichtung(en) 908 enthalten sein, um ein Auslesen und/oder Beschreiben der verschiedenen computerlesbaren Medien zu ermöglichen. Die Massenspeichervorrichtung(en) 908 beinhaltet/beinhalten entfernbare Medien 926 und/oder nichtentfernbare Medien.
  • Die I/O-Vorrichtung(en) 910 beinhaltet/beinhalten verschiedene Vorrichtungen, die es ermöglichen, dass Daten und/oder andere Informationen in die Rechenvorrichtung 900 eingegeben oder daraus abgerufen werden. (Eine) Beispielhafte E/A-Vorrichtung(en) 910 beinhaltet/beinhalten Cursorsteuervorrichtungen, Tastaturen, Tastenfelder, Mikrofone, Monitore oder andere Anzeigevorrichtungen, Lautsprecher, Drucker, Netzschnittstellenkarten, Modems und dergleichen.
  • Die Anzeigevorrichtung 930 beinhaltet jede Art von Vorrichtung, die fähig ist, Informationen für einen oder mehrere Benutzer der Rechenvorrichtung 900 anzuzeigen. Zu Beispielen für eine Anzeigevorrichtung 930 zählen ein Monitor, ein Anzeigeendgerät, eine Videoprojektionsvorrichtung und dergleichen.
  • Die Schnittstelle(n) 906 beinhaltet/beinhalten verschiedene Schnittstellen, die es der Rechenvorrichtung 900 ermöglichen, mit anderen Systemen, Vorrichtungen oder Rechenumgebungen zu interagieren. (Eine) Beispielhafte Schnittstelle(n) 906 kann/können eine beliebige Anzahl von unterschiedlichen Netzschnittstellen 920 wie beispielsweise Schnittstellen zu lokalen Netzen (LAN), Großraumnetzen (WAN), drahtlosen Netzen und dem Internet umfassen. (Eine) Andere Schnittstelle(n) beinhaltet/beinhalten eine Benutzerschnittstelle 918 und eine Peripherievorrichtungsschnittstelle 922. Die Schnittstelle(n) 906 kann/können darüber hinaus ein oder mehrere Benutzerschnittstellen 918 umfassen. Die Schnittstelle(n) 906 kann/können darüber hinaus eine oder mehrere periphere Schnittstellen wie Schnittstellen für Drucker, Zeigevorrichtungen (Mäuse, Touchpads oder sonstige geeignete Benutzerschnittstellen, die dem Fachmann derzeit bekannt sind oder zu einem späteren Zeitpunkt entdeckt werden), Tastaturen und dergleichen umfassen.
  • Der Bus 912 ermöglicht es dem/den Prozessor(en) 902, der/den Speichervorrichtung(en) 904, der/den Schnittstelle(n) 906, der/den Massenspeichervorrichtung(en) 908 und der/den A/E-Vorrichtung(en) 910, miteinander sowie mit anderen Vorrichtungen oder Komponenten, die an den Bus 912 gekoppelt sind, zu kommunizieren. Der Bus 912 stellt eine oder mehrere von verschiedenen Arten von Busstrukturen wie beispielsweise einen Systembus, PCI-Bus, IEEE-Bus, USB-Bus und so weiter dar.
  • Zur Veranschaulichung sind Programme und andere ausführbare Programmkomponenten hier als einzelne Blöcke dargestellt, auch wenn es sich versteht, dass sich derartige Programme und Komponenten zu verschiedenen Zeiten in unterschiedlichen Speicherkomponenten der Rechenvorrichtung 900 befinden und von dem/den Prozessor(en) 902 ausgeführt werden können. Alternativ können die hier beschriebenen Systeme und Verfahren in einer Hardware oder einer Kombination von Hardware, Software und/oder Firmware eingerichtet sein. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (ASIC) können zum Beispiel so programmiert sein, dass sie ein oder mehrere der hier beschriebenen Systeme und Verfahren ausführen.
  • Beispiele
  • Die folgenden Beispiele betreffen weitere Ausführungsformen.
  • Bei Beispiel 1 handelt es sich um ein Verfahren, das das Empfangen von Erfassungsdaten von mindestens zwei Sensoren beinhaltet. Die mindestens zwei Sensoren umfassen eine nach hinten gerichtete Kamera eines Fahrzeugs und einen anderen Sensor. Die Erfassungsdaten umfassen Informationen zu einer aktuellen Fahrbahn, auf der sich das Fahrzeug befindet. Das Verfahren beinhaltet das Erkennen einer kreuzenden Fahrbahn, die sich mit der aktuellen Fahrbahn verbindet, auf Grundlage der Erfassungsdaten. Das Verfahren umfasst darüber hinaus das Speichern einer Anzeige einer Position und einer Richtung der kreuzenden Fahrbahn in Bezug auf die aktuelle Fahrbahn.
  • In Beispiel 2 umfasst das Erkennen der kreuzenden Fahrbahn aus Beispiel 1 das Erkennen eines oder mehrerer der folgenden Merkmale: einer Lücke in den Fahrbahnmarkierungen, einer Unterbrechung in einem Straßenrand der aktuellen Fahrbahn oder einer Veränderung oder Unterbrechung hinsichtlich der Höhe eines Bordsteins oder einer Leitplanke.
  • In Beispiel 3 umfasst das Erkennen der kreuzenden Fahrbahn aus einem beliebigen der Beispiele 1–2 das Erkennen unter Verwendung eines tiefen neuronalen Netzes.
  • In Beispiel 4 umfassen die mindestens zwei Sensoren aus einem beliebigen der Beispiele 1–3 die nach hinten gerichtete Kamera und ein oder mehrere von einem LIDAR-System, einem Radarsystem, einem Ultraschallerfassungssystem oder einem Infrarotkamerasystem.
  • In Beispiel 5 gibt die Richtung aus einem beliebigen der Beispiele 1–4 eine Seite der aktuellen Fahrbahn an, an der sich die kreuzende Fahrbahn befindet.
  • In Beispiel 6 umfasst das Speichern der Anzeige des Standorts und der Richtung aus einem der Beispiele 1–5 das Hochladen in einen entfernten Speicherort, der über ein Netz zugänglich ist.
  • In Beispiel 7 umfasst das Verfahren aus Beispiel 7 ferner Folgendes: Bestimmen eines aktuellen Standorts des Fahrzeugs; Abrufen der Fahrtverlaufsdaten aus dem entfernten Speicherort für den aktuellen Standort, wobei die Fahrtverlaufsdaten eine Position oder eine Richtung kreuzender Fahrbahnen nahe dem aktuellen Standort anzeigen; und Senden der Position oder der Richtung kreuzender Fahrbahnen nahe dem aktuellen Standort an eine oder mehrere Fahrzeugsteuerungen eines automatisierten Fahrsystems oder Fahrassistenzsystems.
  • In Beispiel 8 beinhaltet das Verfahren nach Beispiel 7 ferner das Verarbeiten der Position oder der Richtung kreuzender Fahrbahnen, um eine Route für das Fahrzeug zu bestimmen oder einen für das Fahrzeug oder einen Fahrgast interessanten Ort (Point of Interest) zu erkennen.
  • Bei Beispiel 9 handelt es sich um ein System, das eine Erfassungsdatenkomponente, eine Komponente zur Erkennung von Straßenansätzen und eine Benachrichtigungskomponente beinhaltet. Die Erfassungsdatenkomponente ist dazu ausgelegt, Erfassungsdaten von mindestens zwei Sensoren zu empfangen, wobei die mindestens zwei Sensoren eine nach hinten gerichtete Kamera eines Fahrzeugs aufweisen. Die Erfassungsdaten umfassen Informationen zu einem Bereich hinter dem Fahrzeug auf einer aktuellen Fahrbahn, auf der sich das Fahrzeug befindet. Die Komponente zur Erkennung von Straßenansätzen ist dazu ausgelegt, eine kreuzende Fahrbahn, die sich mit der aktuellen Fahrbahn verbindet, auf Grundlage der Erfassungsdaten zu erkennen. Die Benachrichtigungskomponente ist dazu ausgelegt, eine Anzeige einer Position und einer Richtung der kreuzenden Fahrbahn in Bezug auf die aktuelle Fahrbahn zu speichern.
  • In Beispiel 10 ist die Komponente zur Erkennung von Straßenansätzen aus Beispiel 9 dazu ausgelegt, die kreuzende Fahrbahn durch Erkennen eines oder mehrerer der folgenden Merkmale zu erkennen: einer Lücke in den Fahrbahnmarkierungen, einer Unterbrechung in einem Straßenrand der aktuellen Fahrbahn oder einer Veränderung oder Unterbrechung hinsichtlich der Höhe eines Bordsteins oder einer Leitplanke.
  • In Beispiel 11 ist die Komponente zur Erkennung von Straßenansätzen aus einem beliebigen der Beispiele 9–10 dazu ausgelegt, die kreuzende Fahrbahn durch das Erkennen unter Verwendung eines tiefen neuronalen Netzes zu erkennen, um zumindest einen Teil der Empfangsdaten zu verarbeiten.
  • In Beispiel 12 umfassen die mindestens zwei Sensoren aus einem beliebigen der Beispiele 9–11 die nach hinten gerichtete Kamera und ein oder mehrere von einem LIDAR-System, einem Radarsystem, einem Ultraschallerfassungssystem oder einem Infrarotkamerasystem, wobei das System die mindestens zwei Sensoren umfasst.
  • In Beispiel 13 ist die Komponente zur Erkennung von Straßenansätzen aus einem beliebigen der Beispiele 9–12 dazu ausgelegt, die Richtung der kreuzenden Fahrbahn zu erkennen, wobei die Richtung eine Seite der aktuellen Fahrbahn angibt, auf der sich die kreuzende Fahrbahn befindet oder sich mit der aktuellen Fahrbahn verbindet.
  • In Beispiel 14 ist die Komponente zur Erkennung von Straßenansätzen aus einem beliebigen der Beispiele 9–13 dazu ausgelegt, eine kreuzende Fahrbahn durch Erkennen einer Fahrfläche zu erkennen, die die aktuelle Fahrbahn mit einer oder mehreren von einer Einfahrt, einem Parkplatz oder einer Querstraße verbindet.
  • In Beispiel 15 ist die Benachrichtigungskomponente aus einem beliebigen der Beispiele 9–14 dazu ausgelegt, die Anzeige des Standorts und der Richtung durch das Hochladen an einen entfernten Speicherort, der über ein Netzwerk zugänglich ist, zu speichern.
  • In Beispiel 16 umfasst das System aus einem beliebigen der Beispiele 9–15 eine Standortkomponente und eine Fahrtverlaufskomponente. Die Standortkomponente ist dazu ausgelegt, einen aktuellen Standort des Fahrzeugs zu bestimmen. Die Fahrtverlaufskomponente ist für Folgendes ausgelegt: Bestimmen eines aktuellen Standorts des Fahrzeugs; Abrufen der Fahrtverlaufsdaten aus dem entfernten Speicherort für den aktuellen Standort, wobei die Fahrtverlaufsdaten einen Standort oder eine Richtung kreuzender Fahrbahnen nahe dem aktuellen Standort anzeigen; und Senden des Standorts oder der Richtung kreuzender Fahrbahnen nahe dem aktuellen Standort an eine oder mehrere Fahrzeugsteuerungen eines automatisierten Fahrsystems oder Fahrassistenzsystems.
  • In Beispiel 17 umfasst das System aus Beispiel 16 ferner eine Routenkomponente, die dazu ausgelegt ist, den Standort oder die Richtung der kreuzenden Fahrbahnen zu verarbeiten, um eine Route für das Fahrzeug zu bestimmen oder einen interessanten Ort für das Fahrzeug oder einen Fahrgast zu erkennen.
  • Bei Beispiel 18 handelt es sich um ein computerlesbares Speichermedium, das Anweisungen speichert, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, bewirken, dass der eine oder die mehreren Prozessoren Erfassungsdaten von mindestens zwei Sensoren empfangen, wobei die mindestens zwei Sensoren eine nach hinten gerichtete Kamera eines Fahrzeugs umfassen. Die Erfassungsdaten umfassen Informationen zu einem Bereich hinter dem Fahrzeug auf einer aktuellen Fahrbahn, auf der sich das Fahrzeug befindet. Die Anweisungen veranlassen den einen oder die mehreren Prozessoren dazu, auf Grundlage der Erfassungsdaten eine kreuzende Fahrbahn, die sich mit der aktuellen Fahrbahn verbindet, zu erkennen. Die Anweisungen veranlassen den einen oder die mehreren Prozessoren, eine Anzeige einer Position und einer Richtung der kreuzenden Fahrbahn in Bezug auf die aktuelle Fahrbahn zu speichern.
  • In Beispiel 19 umfasst das Erkennen der kreuzenden Fahrbahn aus Beispiel 18 das Erkennen eines oder mehrerer der folgenden Merkmale: einer Lücke in den Fahrbahnmarkierungen, einer Unterbrechung in einem Straßenrand der aktuellen Fahrbahn oder einer Veränderung oder Unterbrechung hinsichtlich der Höhe eines Bordsteins oder einer Leitplanke.
  • In Beispiel 20 umfasst das Speichern der Anzeige des Standorts und der Richtung aus einem der Beispiele 18–19 das Hochladen in einen entfernten Speicherort, der über ein Netzwerk zugänglich ist. Die Anweisungen bewirken ferner, dass der eine oder die mehreren Prozessoren: einen aktuellen Standort des Fahrzeugs bestimmt; die Fahrtverlaufsdaten aus dem entfernten Speicherort für den aktuellen Standort abruft, wobei die Fahrtverlaufsdaten einen Standort oder eine Richtung kreuzender Fahrbahnen nahe dem aktuellen Standort anzeigen; und den Standort oder dir Richtung kreuzender Fahrbahnen nahe dem aktuellen Standort an eine oder mehrere Fahrzeugsteuerungen eines automatisierten Fahrsystems oder Fahrassistenzsystems sendet.
  • Beispiel 21 ist ein System oder eine Vorrichtung, das/die Mittel zum Umsetzen eines Verfahrens, eines Systems oder einer Vorrichtung aus einem der Beispiele 1–20 umfasst.
  • In der vorstehenden Offenbarung wurde Bezug auf die beigefügten Zeichnungen genommen, die einen Teil hiervon bilden und in denen zur Veranschaulichung konkrete Ausführungen dargestellt sind, in denen die Offenbarung umgesetzt werden kann. Es versteht sich, dass andere Ausführungen verwendet und strukturelle Änderungen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. in der Beschreibung weisen darauf hin, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft beinhalten kann; es muss jedoch nicht notwendigerweise jede Ausführungsform diese(s) bestimmte Merkmal, Struktur oder Eigenschaft beinhalten. Darüber hinaus beziehen sich derartige Formulierungen nicht notwendigerweise auf dieselbe Ausführungsform. Ferner liegt es, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben ist, für einen Fachmann auf der Hand, ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen umzusetzen, unabhängig davon, ob dies ausdrücklich beschrieben ist oder nicht.
  • Ausführungen der hier offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware wie etwa einen oder mehrere Prozessoren und einen oder mehrere Systemspeicher umfasst, wie hier erörtert. Ausführungen innerhalb des Schutzumfangs der vorliegenden Offenbarung können außerdem physische und andere computerlesbare Medien zum Tragen oder Speichern computerausführbarer Anweisungen und/oder Datenstrukturen beinhalten. Bei derartigen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die über einen Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert werden, handelt es sich um Computerspeichermedien(-vorrichtungen). Bei computerlesbaren Medien, die computerausführbare Anweisungen tragen, handelt es sich um Übertragungsmedien. Daher können Ausführungen der Offenbarung beispielsweise, ohne jedoch auf diese beschränkt zu sein, mindestens zwei voneinander deutlich verschiedene Arten von computerlesbaren Medien umfassen: Computerspeichermedien(-vorrichtungen) und Übertragungsmedien.
  • Computerspeichermedien(-vorrichtungen) umfassen RAM, ROM, EEPROM, CD-ROM, Festkörperspeicher („SSD“) (z. B. auf Grundlage von RAM), Flash-Speicher, Phasenänderungsspeicher („PCM“), andere Speichertypen, andere optische Plattenspeicher, Magnetplattenspeicher oder andere Magnetspeichervorrichtungen oder ein beliebiges anderes Medium, das verwendet werden kann, um die gewünschten Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das über einen Universal- oder Spezialcomputer zugegriffen werden kann.
  • Eine Ausführung der hier offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder eine Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung einem Computer bereitgestellt oder auf diesen übertragen werden, sieht der Computer die Verbindung korrekt als Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen umfassen, die verwendet werden können, um die gewünschten Programmcodemittel in Form computerausführbarer Anweisungen oder Datenstrukturen zu übertragen und auf die über einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus den Vorstehenden sind ebenfalls als im Schutzumfang computerlesbarer Medien enthalten zu betrachten.
  • Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen auszuführen. Bei den computerausführbaren Anweisungen kann es sich zum Beispiel um Binärdateien, Zwischenformatanweisungen wie etwa Assemblersprache oder sogar Quellcode handeln. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen typischer Sprache beschrieben ist, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die vorstehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen sind vielmehr als beispielhafte Formen der Ausführung der Ansprüche offenbart. Für den Fachmann liegt auf der Hand, dass die Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen durchgeführt werden kann, einschließlich eines in die Instrumententafel integrierten Fahrzeugcomputers, PCs, Desktop-Computer, Laptops, Nachrichtenprozessoren, Handvorrichtungen, Multiprozessorsystemen, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbarer Unterhaltungselektronik, Netzwerk-PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Switches, verschiedenen Speichervorrichtungen und dergleichen. Die Offenbarung kann außerdem in Umgebungen mit verteilten Systemen durchgeführt werden, in denen sowohl lokale Computersysteme als auch Remotecomputersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in Fernspeichervorrichtungen befinden.
  • Ferner können die hier beschriebenen Funktionen gegebenenfalls in einem oder mehreren der Folgenden ausgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (ASIC) können zum Beispiel so programmiert sein, dass sie ein oder mehrere der hier beschriebenen Systeme und Verfahren ausführen. Bestimmte Ausdrücke in der Beschreibung und den Ansprüchen durchweg verwendet, um Bezug auf bestimmte Systemkomponenten zu nehmen. Für den Fachmann liegt auf der Hand, dass die Komponenten mit unterschiedlichen Bezeichnungen bezeichnet werden können. Im vorliegenden Dokument soll nicht zwischen Komponenten unterschieden werden, die sich der Bezeichnung nach unterscheiden, nicht jedoch hinsichtlich ihrer Funktion.
  • Es versteht sich, dass die vorstehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil ihrer Funktionen auszuführen. Ein Sensor kann zum Beispiel Computercode enthalten, der dazu ausgelegt ist, in einem oder in mehreren Prozessoren ausgeführt zu werden, und eine Hardware-Logikschaltung/elektrische Schaltung enthalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen sind hier zur Veranschaulichung bereitgestellt und sollen nicht der Einschränkung dienen. Die Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen ausgeführt werden, die einem Fachmann bekannt sind.
  • Zumindest einige Ausführungsformen der Offenbarung richten sich auf Computerprogrammprodukte, die eine solche Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software veranlasst eine Vorrichtung bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen dazu, wie hier beschrieben zu funktionieren.
  • Wenngleich vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben sind, versteht es sich, dass diese lediglich als Beispiele und nicht der Einschränkung dienen. Für einen Fachmann liegt auf der Hand, dass daran verschiedene Änderungen in Bezug auf Form und Detail vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Somit sollen der Geltungsbereich und der Schutzumfang der vorliegenden Offenbarung durch keines der vorstehend beschriebenen Ausführungsbeispiele eingeschränkt sein, sondern einzig entsprechend den nachfolgenden Ansprüchen und ihren Äquivalenten definiert sein. Die vorstehende Beschreibung wurde zur Veranschaulichung und Beschreibung bereitgestellt. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die Offenbarung nicht auf die bestimmte offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der vorstehenden Lehren möglich. Ferner ist zu beachten, dass eine beliebige oder alle der vorstehend genannten alternativen Ausführungen in einer beliebigen Kombination verwendet werden können, die für eine Bildung zusätzlicher Hybridausführungen der Offenbarung wünschenswert sind.
  • Ferner ist die vorliegende Offenbarung, wenngleich konkrete Ausführungen der Offenbarung beschrieben und dargestellt sind, nicht als auf diese beschriebenen und dargestellten konkreten Formen oder Anordnungen von Teilen beschränkt zu verstehen. Der Schutzumfang der Offenbarung wird durch die diesem Dokument beigefügten Ansprüche, zukünftig hierzu und in anderen Anmeldungen eingereichte Ansprüche und deren Äquivalente definiert.

Claims (15)

  1. Verfahren, umfassend: Empfangen von Erfassungsdaten von mindestens zwei Sensoren, wobei die mindestens zwei Sensoren eine nach hinten gerichtete Kamera des Fahrzeugs umfassen, wobei die Erfassungsdaten Informationen für eine aktuelle Fahrbahn umfassen, auf der sich das Fahrzeug befindet; Erkennen einer diese kreuzenden Fahrbahn, die sich mit der aktuellen Fahrbahn verbindet, auf Grundlage der Erfassungsdaten; und Speichern einer Anzeige einer Position und einer Richtung der die aktuelle Fahrbahn kreuzenden Fahrbahn.
  2. Verfahren nach Anspruch 1, wobei einer oder mehrere der folgenden Punkte zutreffen: das Erkennen der kreuzenden Fahrbahn umfasst das Erkennen eines oder mehrerer der folgenden Merkmale: einer Lücke in den Fahrbahnmarkierungen, einer Unterbrechung in einem Straßenrand der aktuellen Fahrbahn oder einer Veränderung oder Unterbrechung hinsichtlich der Höhe eines Bordsteins oder einer Leitplanke; das Erkennen der kreuzenden Fahrbahn umfasst das Erkennen unter Verwendung eines tiefen neuronalen Netzes; und die Richtung gibt eine Seite der aktuellen Fahrbahn an, an der sich die kreuzende Fahrbahn befindet.
  3. Verfahren nach Anspruch 1, wobei die mindestens zwei Sensoren die nach hinten gerichtete Kamera und eines oder mehrere von einem LIDAR-System (Light Detection And Ranging System); einem Radarsystem, einem Ultraschallerfassungssystem oder einem Infrarotkamerasystem umfassen.
  4. Verfahren nach Anspruch 1, wobei das Speichern der Anzeige des Standorts und der Richtung das Hochladen in einen entfernten Speicherort, der über ein Netzwerk zugänglich ist, umfasst.
  5. Verfahren nach Anspruch 4, ferner umfassend: Bestimmen eines aktuellen Standorts des Fahrzeugs; Abrufen der Fahrtverlaufsdaten aus dem entfernten Speicherort für den aktuellen Standort, wobei die Fahrtverlaufsdaten einen Standort oder eine Richtung kreuzender Fahrbahnen nahe dem aktuellen Standort anzeigen; und Senden des Standorts oder der Richtung kreuzender Fahrbahnen nahe dem aktuellen Standort an eine oder mehrere Fahrzeugsteuerungen eines automatisierten Fahrsystems oder Fahrassistenzsystems.
  6. Verfahren nach Anspruch 5, ferner das Verarbeiten des Standorts oder der Richtung kreuzender Fahrbahnen umfassend, um eine Route für das Fahrzeug zu bestimmen oder einen für das Fahrzeug oder einen Fahrgast interessanten Ort (Point of Interest) zu erkennen.
  7. System, umfassend: eine Erfassungsdatenkomponente, die dazu ausgelegt ist, von mindestens zwei Sensoren Erfassungsdaten zu empfangen, wobei die mindestens zwei Sensoren eine nach hinten gerichtete Kamera eines Fahrzeugs umfassen, wobei die Erfassungsdaten Informationen für einen Bereich hinter dem Fahrzeug auf einer aktuellen Fahrbahn umfassen, auf der sich das Fahrzeug befindet; eine Komponente zur Erkennung von Straßenansätzen, die dazu ausgelegt ist, eine kreuzende Fahrbahn, die sich mit der aktuellen Fahrbahn verbindet, auf Grundlage der Erfassungsdaten zu erkennen; und eine Benachrichtigungskomponente, die dazu ausgelegt ist, eine Anzeige einer Position und einer Richtung der kreuzenden Fahrbahn in Bezug auf die aktuelle Fahrbahn zu speichern.
  8. System nach Anspruch 7, wobei einer oder mehrere der folgenden Punkte zutreffen: die Komponente zur Erkennung von Straßenansätzen ist dazu ausgelegt, die kreuzende Fahrbahn durch Erkennen eines oder mehrerer der folgenden Merkmale zu erkennen: einer Lücke in den Fahrbahnmarkierungen, einer Unterbrechung in einem Straßenrand der aktuellen Fahrbahn oder einer Veränderung oder Unterbrechung hinsichtlich der Höhe eines Bordsteins oder einer Leitplanke; die Komponente zur Erkennung von Straßenansätzen ist dazu ausgelegt, die kreuzende Fahrbahn durch das Erkennen unter Verwendung eines tiefen neuronalen Netzes zu erkennen, um zumindest einen Teil der Empfangsdaten zu verarbeiten; die Komponente zur Erkennung von Straßenansätzen ist dazu ausgelegt, die Richtung zu erkennen, wobei die Richtung eine Seite der aktuellen Fahrbahn angibt, an der sich die kreuzende Fahrbahn befindet; oder die Komponente zur Erkennung von Straßenansätzen ist dazu ausgelegt, eine kreuzende Fahrbahn durch Erkennen einer Fahrfläche zu erkennen, die die aktuelle Fahrbahn mit einer oder mehreren von einer Einfahrt, einem Parkplatz oder einer Querstraße verbindet.
  9. System nach Anspruch 7, wobei die mindestens zwei Sensoren die nach hinten gerichtete Kamera und eines oder mehrere von einem LIDAR-System (Light Detection And Ranging System); einem Radarsystem, einem Ultraschallerfassungssystem oder einem Infrarotkamerasystem umfassen, wobei das System den einen oder die mehreren Sensoren umfasst.
  10. System nach Anspruch 7, wobei die Benachrichtigungskomponente dazu ausgelegt ist, die Anzeige des Standorts und der Richtung durch das Hochladen an einen entfernten Speicherort, der über ein Netzwerk zugänglich ist, zu speichern.
  11. System nach Anspruch 10, ferner umfassend: eine Standortkomponente, die dazu ausgelegt ist, einen aktuellen Standort des Fahrzeugs zu bestimmen; und eine Fahrtverlaufskomponente, die dazu ausgelegt ist: aus dem entfernten Speicherort Fahrtverlaufsdaten für den aktuellen Standort abzurufen, wobei die Fahrtverlaufsdaten einen Standort oder eine Richtung kreuzender Fahrbahnen nahe dem aktuellen Standort anzeigen; und den Standort oder die Richtung kreuzender Fahrbahnen nahe dem aktuellen Standort an eine oder mehrere Fahrzeugsteuerungen eines automatisierten Fahrsystems oder Fahrassistenzsystems zu senden.
  12. System nach Anspruch 11, ferner eine Routenkomponente umfassend, die dazu ausgelegt ist, den Standort oder die Richtung der kreuzenden Fahrbahnen zu verarbeiten, um eine Route für das Fahrzeug zu bestimmen oder einen interessanten Ort für das Fahrzeug oder einen Fahrgast zu erkennen.
  13. Computerlesbares Speichermedium, auf dem Anweisungen gespeichert sind, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, die Prozessoren dazu veranlassen: Erfassungsdaten von mindestens zwei Sensoren zu empfangen, wobei die mindestens zwei Sensoren eine nach hinten gerichtete Kamera des Fahrzeugs umfassen, wobei die Erfassungsdaten Informationen für einen Bereich hinter dem Fahrzeug auf einer aktuellen Fahrbahn umfassen, auf der sich das Fahrzeug befindet; eine kreuzende Fahrbahn, die sich mit der aktuellen Fahrbahn verbindet, auf Grundlage der Erfassungsdaten zu erkennen; und eine Anzeige einer Position und einer Richtung der kreuzenden Fahrbahn in Bezug auf die aktuelle Fahrbahn zu speichern.
  14. Computerlesbares Medium nach Anspruch 13, wobei das Erkennen der kreuzenden Fahrbahn das Erkennen eines oder mehrerer der folgenden Merkmale umfasst: einer Lücke in den Fahrbahnmarkierungen, einer Unterbrechung in einem Straßenrand der aktuellen Fahrbahn oder einer Veränderung oder Unterbrechung hinsichtlich der Höhe eines Bordsteins oder einer Leitplanke.
  15. Computerlesbares Medium nach Anspruch 13, wobei das Speichern der Anzeige des Standorts und der Richtung das Hochladen in einen entfernten Speicherort, der über ein Netzwerk zugänglich ist, umfasst, wobei die Anweisungen den einen oder die mehreren Prozessoren ferner dazu veranlassen: einen aktuellen Standort des Fahrzeugs zu bestimmen; aus dem entfernten Speicherort Fahrtverlaufsdaten für den aktuellen Standort abzurufen, wobei die Fahrtverlaufsdaten einen Standort oder eine Richtung kreuzender Fahrbahnen nahe dem aktuellen Standort anzeigen; und den Standort oder die Richtung kreuzender Fahrbahnen nahe dem aktuellen Standort an eine oder mehrere Fahrzeugsteuerungen eines automatisierten Fahrsystems oder Fahrassistenzsystems zu senden.
DE102017116212.7A 2016-07-20 2017-07-18 STRAßENANSATZERKENNUNG MIT RÜCKFAHRKAMERA Withdrawn DE102017116212A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/215,368 2016-07-20
US15/215,368 US10369994B2 (en) 2016-07-20 2016-07-20 Rear camera stub detection

Publications (1)

Publication Number Publication Date
DE102017116212A1 true DE102017116212A1 (de) 2018-03-01

Family

ID=59713494

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017116212.7A Withdrawn DE102017116212A1 (de) 2016-07-20 2017-07-18 STRAßENANSATZERKENNUNG MIT RÜCKFAHRKAMERA

Country Status (6)

Country Link
US (1) US10369994B2 (de)
CN (1) CN107643073B (de)
DE (1) DE102017116212A1 (de)
GB (1) GB2555161A (de)
MX (1) MX2017009394A (de)
RU (1) RU2017125454A (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018218043A1 (de) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Ermittlung einer Anzahl von Fahrspuren sowie von Spurmarkierungen auf Straßenabschnitten

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2945564A1 (en) 2016-10-18 2018-03-01 Peter Yeung Roadway information detection sensor device/system for autonomous vehicles
US11043124B2 (en) 2018-01-31 2021-06-22 Peter Yeung Roadway information detection system consists of sensors on the autonomous vehicles and devices for the road
US10583779B2 (en) 2017-10-02 2020-03-10 Magna Electronics Inc. Parking assist system using backup camera
US11091162B2 (en) * 2018-01-30 2021-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. Fusion of front vehicle sensor data for detection and ranging of preceding objects
DE102018202970A1 (de) * 2018-02-28 2019-08-29 Robert Bosch Gmbh Verfahren zum Ermitteln einer topologischen Information einer Straßenkreuzung
CN109080633B (zh) * 2018-07-27 2020-10-16 吉利汽车研究院（宁波）有限公司 一种路口场景下的巡航车速控制装置及方法
JP7136663B2 (ja) * 2018-11-07 2022-09-13 日立Astemo株式会社 車載制御装置
GB2579192B (en) * 2018-11-22 2021-06-23 Jaguar Land Rover Ltd Steering assist method and apparatus
JP7183729B2 (ja) * 2018-11-26 2022-12-06 トヨタ自動車株式会社 撮影異常診断装置
US11853812B2 (en) * 2018-12-20 2023-12-26 Here Global B.V. Single component data processing system and method utilizing a trained neural network
CN111538322B (zh) * 2019-01-18 2023-09-15 驭势科技（北京）有限公司 自动驾驶车辆的传感器数据选择方法、装置及车载设备
WO2020264029A1 (en) * 2019-06-25 2020-12-30 Nvidia Corporation Intersection region detection and classification for autonomous machine applications
US11755028B2 (en) 2019-09-11 2023-09-12 Deere & Company Mobile work machine with object detection using vision recognition
US11814816B2 (en) 2019-09-11 2023-11-14 Deere & Company Mobile work machine with object detection and machine path visualization
CN110595499A (zh) * 2019-09-26 2019-12-20 北京四维图新科技股份有限公司 变道提醒方法、装置和系统
US11281915B2 (en) * 2019-12-06 2022-03-22 Black Sesame Technologies Inc. Partial frame perception
SG11202013252SA (en) * 2020-02-07 2021-09-29 Shenzhen Sensetime Technology Co Ltd Road marking recognition method, map generation method, and related products
US11472416B2 (en) * 2020-04-30 2022-10-18 Deere & Company Multi-dimensional mobile machine path visualization and control system
US11608067B2 (en) * 2020-08-12 2023-03-21 Honda Motor Co., Ltd. Probabilistic-based lane-change decision making and motion planning system and method thereof
CN112180353A (zh) * 2020-09-17 2021-01-05 北京中兵智航软件技术有限公司 目标对象的确认方法及系统、存储介质
US11721113B2 (en) 2020-10-09 2023-08-08 Magna Electronics Inc. Vehicular driving assist system with lane detection using rear camera

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5960214A (ja) 1982-09-29 1984-04-06 Nippon Denso Co Ltd 車両用道路案内装置
JPH01284708A (ja) 1988-05-11 1989-11-16 Hitachi Ltd 自動車用復路誘導装置
US9177476B2 (en) * 1997-10-22 2015-11-03 American Vehicular Sciences Llc Method and system for guiding a person to a location
US7706978B2 (en) 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
DE112007003787B4 (de) 2006-09-21 2016-07-14 Mitsubishi Electric Corp. Karteninformations-Verarbeitungsvorrichtung
JP4752836B2 (ja) 2007-12-25 2011-08-17 日本電気株式会社 道路環境情報通知装置及び道路環境情報通知プログラム
JP5066123B2 (ja) 2009-03-24 2012-11-07 日立オートモティブシステムズ株式会社 車両運転支援装置
JP4780213B2 (ja) 2009-03-24 2011-09-28 株式会社デンソー 道路地図データ学習装置
KR101406457B1 (ko) * 2009-11-27 2014-06-27 도요타지도샤가부시키가이샤 운전 지원 장치 및 운전 지원 방법
JP2011145159A (ja) 2010-01-14 2011-07-28 Denso Corp 道路学習装置
US9140792B2 (en) * 2011-06-01 2015-09-22 GM Global Technology Operations LLC System and method for sensor based environmental model construction
JP5353988B2 (ja) 2011-10-26 2013-11-27 株式会社デンソー ナビゲーション装置
JP5601316B2 (ja) 2011-12-28 2014-10-08 株式会社デンソー ナビゲーション装置
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
KR101509995B1 (ko) * 2013-12-03 2015-04-07 현대자동차주식회사 Jc 진출입 판단 장치 및 그 방법
CN104537834A (zh) * 2014-12-21 2015-04-22 北京工业大学 一种智能车在城市道路行驶中的路口识别与路口轨迹规划的方法
US9747506B2 (en) * 2015-10-21 2017-08-29 Ford Global Technologies, Llc Perception-based speed limit estimation and learning
CN105667518B (zh) * 2016-02-25 2018-07-24 福州华鹰重工机械有限公司 车道检测的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018218043A1 (de) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Ermittlung einer Anzahl von Fahrspuren sowie von Spurmarkierungen auf Straßenabschnitten
US11574537B2 (en) 2018-10-22 2023-02-07 Robert Bosch Gmbh Ascertaining a number of traffic lanes and lane markings on road segments

Also Published As

Publication number Publication date
GB201711461D0 (en) 2017-08-30
US10369994B2 (en) 2019-08-06
MX2017009394A (es) 2018-09-10
GB2555161A (en) 2018-04-25
RU2017125454A (ru) 2019-01-17
RU2017125454A3 (de) 2020-11-25
CN107643073B (zh) 2022-02-11
CN107643073A (zh) 2018-01-30
US20180022347A1 (en) 2018-01-25

Similar Documents

Publication Publication Date Title
DE102017116212A1 (de) STRAßENANSATZERKENNUNG MIT RÜCKFAHRKAMERA
DE102017116213A1 (de) Fahrspurerkennung mit rückfahrkamera
DE102017100199A1 (de) FUßGÄNGERERKENNUNG MIT AUFFÄLLIGKEITSKARTEN
DE102015100812B4 (de) Verfahren zum Verwenden von Strassenniveaubildern zum Verbessern eines Modus eines automatisierten Fahrens für ein Fahrzeug
DE112020000821T5 (de) Systeme und verfahren zur fahrzeugnavigation
DE102020111682A1 (de) Systeme und verfahren zum implementieren einer autonomen fahrzeugreaktion auf ein sensorversagen
DE112020004931T5 (de) Systeme und verfahren zur bestimmung der verkehrssicherheit
DE102016123878A1 (de) Fahrzeugblinksignaldetektion
EP2850607B1 (de) Verfahren und system zur erstellung eines aktuellen situationsabbilds
DE112018002143T5 (de) Systeme und verfahren zur kompression von fahrspurdaten
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102014220681A1 (de) Verkehrssignalvorhersage
DE102016120507A1 (de) Prädizieren von fahrzeugbewegungen anhand von fahrerkörpersprache
DE112020002764T5 (de) Systeme und verfahren zur fahrzeugnavigation
DE102017109401A1 (de) Netzwerkbasierte speicherung von fahrzeug- und infrastrukturdaten zur optimierung der fahrzeugroutenplanung
DE102014117751A1 (de) System und Verfahren zum dynamischen Fokussieren von Fahrzeugsensoren
DE102017109400A1 (de) Routenerzeugung unter verwendung der qualität von fahrspurlinien
DE102016210254A1 (de) Fahrzeugortung an kreuzungen anhand von visuellen anhaltspunkte, stationären objekten und durch gps
DE112021000094T5 (de) Systeme und verfahren zur fahrzeugnavigation, die ampeln und verkehrszeichen einbezieht
DE102014220678A1 (de) Fahrzeug-fernüberwachung
DE102018102537A1 (de) Tornadoerfassungssysteme und -verfahren
EP3298541A1 (de) Verfahren zur schätzung von fahrstreifen
DE112020002592T5 (de) Systeme und verfahren zur fahrzeugnavigation basierend auf bildanalyse
DE102013104256A1 (de) Verfahren und Vorrichtung zur Schätzung der Anzahl von Fahrspuren
DE102017201665A1 (de) Verfahren zur Einbindung eines dynamischen Objektes in eine digitale Karte eines hochautomatisierten Fahrzeugs (HAF)

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: LORENZ SEIDLER GOSSEL RECHTSANWAELTE PATENTANW, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee