DE102018215136B4 - Verfahren zum Auswählen eines Bildausschnitts eines Sensors - Google Patents

Verfahren zum Auswählen eines Bildausschnitts eines Sensors Download PDF

Info

Publication number
DE102018215136B4
DE102018215136B4 DE102018215136.9A DE102018215136A DE102018215136B4 DE 102018215136 B4 DE102018215136 B4 DE 102018215136B4 DE 102018215136 A DE102018215136 A DE 102018215136A DE 102018215136 B4 DE102018215136 B4 DE 102018215136B4
Authority
DE
Germany
Prior art keywords
sensor
data
position information
additional
image section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018215136.9A
Other languages
English (en)
Other versions
DE102018215136A1 (de
Inventor
Marlon Ramon Ewert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102018215136.9A priority Critical patent/DE102018215136B4/de
Priority to US17/272,638 priority patent/US11989944B2/en
Priority to JP2021512690A priority patent/JP7326429B2/ja
Priority to CN201980073117.3A priority patent/CN112970028A/zh
Priority to PCT/EP2019/073512 priority patent/WO2020049013A1/de
Publication of DE102018215136A1 publication Critical patent/DE102018215136A1/de
Application granted granted Critical
Publication of DE102018215136B4 publication Critical patent/DE102018215136B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Verfahren (18) zum Auswählen eines Ausschnitts für eine Umfelderfassung durch einen Sensor (4) basierend auf Sensordaten, wobei ein Umfeld durch mindestens einen zusätzlichen Sensor (6, 8) erfasst wird (19), basierend auf den ermittelten Sensordaten des mindestens einen zusätzlichen Sensors (6, 8) eine Objekterkennung (20) durchgeführt wird, anhand der Objekterkennung Positionsinformationen von mindestens einem erkannten Objekt (16) in ein Koordinatensystem des Sensors (4) transformiert (21) werden und wobei der Sensor (4) anhand der transformierten Positionsinformationen einen Ausschnitt eines Abtastbereichs (22) für die Umfelderfassung oder einen Bildausschnitt aus bereits erfassten Sensordaten (23) für eine Auswertung verwendet, wobei die von dem mindestens einen Sensor (6, 8) bereitgestellten Positionsinformationen von mindestens einem Objekt (16) zum Verfolgen des mindestens einen Objekts (16) zeitlich verändert werden, wobei eine zeitlich variable Anpassung der Positionsinformationen des mindestens einen Objekts (16) außerhalb eines Abtastbereichs des mindestens einen zusätzlichen Sensors (6, 8) fortgesetzt wird.

Description

  • Die Erfindung betrifft ein Verfahren zum Auswählen eines Ausschnitts für eine Umfelderfassung durch einen Sensor basierend auf Sensordaten sowie ein Steuergerät.
  • Stand der Technik
  • Fahrzeuge mit automatisierten Fahrfunktionen können ab einem bestimmten Automatisierungsgrad autonom und ohne einen Fahrer betrieben werden. Das Fahrzeug kann beispielsweise automatisch einem Straßenverlauf folgen, andere Verkehrsteilnehmer oder Hindernisse selbständig erkennen und die entsprechenden Steuerbefehle im Fahrzeug berechnen sowie diese an Aktuatoren im Fahrzeug weiterleiten, wodurch der Fahrverlauf des Fahrzeugs korrekt beeinflusst wird. Der Fahrer ist bei einem vollautonomen Fahrzeug nicht am Fahrgeschehen beteiligt.
  • Gegenwärtig verfügbare Fahrzeuge sind nur beschränkt in der Lage im öffentlichen Verkehrsraum autonom zu agieren. Insbesondere besteht die gesetzliche Beschränkung, dass der Fahrzeugführer jederzeit selbst in das Fahrgeschehen eingreifen können muss. Dies erschwert die Umsetzung von autonomen Fahrzeugen. Jedoch gibt es bereits Systeme verschiedener Hersteller in Testphasen, die ein autonomes oder teilautonomes Fahren ermöglichen.
  • Bereits heute werden verschiedene Sensoren in autonomen Fahrzeugen für die Umfelderkennung des Fahrzeugs eingesetzt. Basierend auf Algorithmen können die Sensordaten ausgewertet und beispielsweise Objekte im Umfeld erkannt werden.
  • Die Druckschrift D1 DE 101 54 861 A1 beschreibt ein Verfahren zum Auswählen eines Ausschnitts für eine Umfelderfassung durch einen Sensor basierend auf Sensordaten, wobei ein Umfeld durch mindestens einen zusätzlichen Sensor erfasst wird, basierend auf den ermittelten Sensordaten des mindestens einen zusätzlichen Sensors eine Objekterkennung durchgeführt wird, anhand der Objekterkennung Positionsinformationen von mindestens einem erkannten Objekt in ein Koordinatensystem des Sensors transformiert werden und wobei der Sensor anhand der transformierten Positionsinformationen einen Ausschnitt eines Abtastbereichs für die Umfelderfassung oder einen Bildausschnitt aus bereits erfassten Sensordaten für eine Auswertung verwendet.
  • Die Druckschrift DE 10 2015 204 529 A1 beschreibt eine Vorrichtung sowie ein Verfahren zur Objekterkennung in einem Fortbewegungsmittel. Das Verfahren umfasst die Schritte: Erfassen eines Umfeldes des Fortbewegungsmittels durch einen Sensor des Fortbewegungsmittels, Auswerten einer ersten Menge von Daten des Sensors, Erkennen eines veränderten Betriebsparameters des Fortbewegungsmittels, und im Ansprechen darauf Definieren einer zweiten Menge von Daten des Sensors und Auswerten der zweiten Menge von Daten.
  • Offenbarung der Erfindung
  • Die der Erfindung zugrundeliegende Aufgabe kann darin gesehen werden, ein Verfahren zum Beschleunigen einer Auswertung von Sensordaten vorzuschlagen.
  • Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
  • Nach einem Aspekt der Erfindung wird ein Verfahren zum Auswählen eines Ausschnitts für eine Umfelderfassung durch einen Sensor basierend auf Sensordaten bereitgestellt. Es wird ein Umfeld durch mindestens einen zusätzlichen Sensor erfasst. Basierend auf den ermittelten Sensordaten des mindestens einen zusätzlichen Sensors wird eine Objekterkennung durchgeführt. Anhand der Objekterkennung werden Positionsinformationen von mindestens einem erkannten Objekt ermittelt und in ein Koordinatensystem des Sensors transformiert, wobei der Sensor anhand der transformierten Anordnungsinformationen einen Ausschnitt eines Abtastbereichs für die Umfelderfassung oder einen Bildausschnitt aus bereits erfassten Sensordaten für eine Auswertung verwendet.
  • Hierdurch kann ein oder mehrere relevante Bildausschnitte ermittelt werden, die für eine Umfelderfassung und/oder eine Auswertung der Sensordaten eingesetzt werden. Ein relevanter Bildausschnitt ist beispielsweise der Bildausschnitt in einem LIDAR-Scan, welcher relevante Objektdaten aus dem Umfeld eines autonomen Fahrzeugs enthält. Durch das Verfahren kann mithilfe von weiteren bzw. zusätzlichen Umfeldsensoren, wie beispielsweise RADAR-Sensoren, LIDAR-Sensoren, Kamera-Sensoren und dergleichen, eine Vorauswahl des relevanten Bildausschnitts der Sensordaten getroffen werden. Der Sensor, welcher beschleunigt und optimiert werden kann, kann beispielsweise als ein LIDAR-Sensor oder als ein RADAR-Sensor ausgestaltet sein.
  • Durch den Einsatz von zusätzlichen Sensoren kann eine Auswahl eines relevanten Bildausschnitts oder bestimmter Pixel schnell und effizient im Hinblick auf relevante Objekte im Umkreis des Sensors durchgeführt werden.
  • Bei einer Ausführungsform kann die Auswahl relevanter Pixel bzw. eines Bildausschnitts für einen Sensor mithilfe von Sensordaten, wie beispielsweise Kameradaten eines Fahrzeugs, erfolgen. Beispielsweise kann eine Kamera bereits über eine Objekterkennung verfügen, wobei diese Objekterkennung mit einer gewissen Wahrscheinlichkeit zuverlässig arbeitet. Sofern relevante Objekte innerhalb des Kamerabildes erkannt werden, können diese zunächst gegenüber einem Fahrzeugkoordinatensystem oder einem Kamerakoordinatensystem geortet werden. In einem nächsten Schritt kann das erkannte Objekt in ein Koordinatensystem transformiert werden, woraus sich die relevanten Bildpunkte bzw. der relevante Bildausschnitt für dieses Objekt in einem Erfassungsbereich des Sensors bzw. einem Abtastbereich des Sensors ergibt.
  • In einer weiteren Ausführungsform kann die Selektion des relevanten Bildausschnitts des Sensors durch Daten weiterer Umfeldsensoren wie beispielsweise RADAR-Sensoren, Ultraschall-Sensoren und weiterer im Fahrzeug verbauter Umfeldsensoren durchgeführt werden.
  • Der Sensor kann beispielsweise ein LIDAR-Sensor sein, kann jedoch auch ein beliebiger anderer Sensor, wie Radar-Sensor, Kamera-Sensor und dergleichen sein. Beispielsweise kann das Verfahren auch in umgekehrter Richtung durchgeführt werden, indem Objekte zunächst von einem LIDAR-Sensor erkannt werden und anschließend in weiteren Umfeldsensoren für die Selektion von relevanten Bildausschnitten verwendet werden. Darüber hinaus kann eine beliebige Kombination von Umfeldsensoren für die Umsetzung des Verfahrens gewählt werden.
  • Das Verfahren weist insbesondere die folgenden Vorteile auf:
    • - Durch die schnelle und gezielte Objekterkennung bzw. Objektplausibilisierung auf einem weiteren redundanten Umfeldsensor kann die Sicherheit eines autonomen Fahrzeugs erhöht werden.
    • - Die im Fahrzeug verbauten Umfeldsensoren können für die Umfelderkennung des Fahrzeugs eng miteinander zusammenarbeiten.
    • - Durch das Verfahren kann eine ganzheitliche Betrachtung des Fahrzeugumfelds über der Zeit bei allen relevanten Umfeldsensoren umgesetzt werden.
    • - Wird nur der relevante Bildausschnitt eines redundanten Umfeldsensors für eine Objekterkennung betrachtet, so kann dieser Umfeldsensor weniger leistungsstark ausgelegt sein, da nicht alle Pixel bzw. alle Eingangsdaten des Umfeldsensors auch übertragen oder analysiert werden müssen.
    • - Die Koordinatentransformation eines von einem Umfeldsensor erkannten Objekts zusammen mit den Objektdimensionen in ein Zielkoordinatensystem eines weiteren Umfeldsensors und die anschließende Datenübertragung auf diesen Umfeldsensor oder Verarbeitung derselben Daten aus den Sensordaten des mindestens einen zusätzlichen Sensors kann geschwindigkeitsfokusiert erfolgen und bedarf einer geringeren Rechenkapazität. Darüber hinaus kann eine Belastung eines Bus-Systems des Fahrzeugs für die Umsetzung des Verfahrens gering gehalten werden.
  • Gemäß einer Ausführungsform weist die Positionsinformation von dem mindestens einen erkannten Objekt Objektmaße und eine Objektposition in einem Sensor- oder Fahrzeugkoordinatensystem auf. Die Datenübertragung zwischen den Sensoren kann hierbei die Objektmaße des beispielsweise im Kamerasystem erkannten Objekts und der Lage dieses Objekts im Koordinatensystem der Kamera aufweisen. Diese Positionsinformationen können anhand der bekannten relativen Anordnung der Sensoren zueinander dazu genutzt werden, einen Ausschnitt zu berechnen, in welchem der Sensor das von dem zusätzlichen Sensor bereits ermittelte Objekt ebenfalls detektieren kann. Auf diese Weise kann die Datenübertragung sehr schlank gestaltet werden. Mithilfe eines Computerprogramms bzw. intelligenten Algorithmus oder mithilfe einer künstlichen Intelligenz kann in einem weiteren Schritt die Selektion dieses relevanten Objekts aus den Bilddaten des Sensors erfolgen, indem aus einem Sensorscan nur der relevante Bildausschnitt bzw. die relevanten Pixel mithilfe des Algorithmus bzw. der Kl analysiert werden. Auf diese Weise kann die Objekterkennung durch den Sensor deutlich schneller erfolgen und es werden weniger Rechenkapazitäten benötigt, da nur der relevante Bildausschnitt bzw. die gerade in diesem Moment relevanten Pixeldaten ausgewertet werden.
  • Nach einem weiteren Ausführungsbeispiel verwendet der LIDAR-Sensor basierend auf transformierten Positionsinformationen von mehreren Sensoren mindestens einen Bildausschnitt aus bereits erfassten Sensordaten für eine Auswertung. Hierdurch kann die Selektion des relevanten Bildausschnitts im Sensor mithilfe von Daten mehrerer zusätzlicher Umfeldsensoren in einer Kombination erfolgen.
  • Beispielsweise können ein oder mehrere erkannte Objekte einer Kamera und eines RADAR-Sensors bei einem LIDAR-Sensor für eine gezielte Auswahl eines Bildausschnitts oder für eine Plausibilisierung eingesetzt werden.
  • Gemäß einem weiteren Ausführungsbeispiel wird die Transformation der Positionsinformationen durch ein zentrales Steuergerät oder durch ein Sensorsteuergerät durchgeführt. Es kann somit die Transformation der Positionsinformationen des erkannten Objekts aus dem Kamerakoordinatensystem des mindestens einen zusätzlichen Sensors in ein Koordinatensystem des Sensors, wie beispielsweise eines LIDAR-Sensors, erfolgen. Dabei kann die Transformation beispielsweise auf einem Fahrzeugzentralrechner erfolgen oder innerhalb eines Rechners des Sensors oder der zusätzlichen Sensoren. Die Sensoren können entweder direkt oder indirekt über ein Fahrzeugsteuergerät mithilfe eines Fahrzeugbusses, wie beispielsweise Flexray, Ethernet, CAN, oder einer Funkschnittstelle, kommunikationstechnisch miteinander verbunden sein.
  • Gemäß einer weiteren Ausgestaltung wird die Transformation der Positionsinformationen durch den zusätzlichen Sensor durchgeführt, wobei zwischen den Sensoren direkte Kommunikationsverbindungen hergestellt werden. Hierdurch kann das Verfahren dezentral ausgeführt werden.
  • Nach einem weiteren Ausführungsbeispiel werden die von dem mindestens einen Sensor bereitgestellten Positionsinformationen von mindestens einem Objekt zum Verfolgen des mindestens einen Objekts zeitlich verändert. Dabei können die von beispielsweise einer Kamera erkannten Objekte über der Zeit verfolgt und kontinuierlich oder zyklisch an den Sensor für die Auswahl des relevanten Bildausschnitts übertragen werden. Insbesondere können die Positionsinformationen zum verfolgten Objekt übertragen werden. Dies kann auch dann durchgeführt werden, wenn das Objekt den relevanten Bildausschnitt einer Kamera bzw. des mindestens einen zusätzlichen Sensors bereits verlassen hat. Beispielsweise ist ein Objekt ist beispielsweise nicht mehr vor dem Fahrzeug angeordnet und somit nicht mehr für eine Frontkamera (zusätzlicher Sensor), sondern nur noch für einen Seitlich am Fahrzeug angeordneten Sensor (Lidarsensor) sichtbar. Der Lidarsensor bekommt den relevanten Bildausschnitt durch Extrapolation eines Kamerabildflusses jenseits der Kamerapixel anhand der momentanen Fahrzeuggeschwindigkeit übermittelt und verfolgt somit gezielt das Objekt an der Fahrzeugseite.
  • Gemäß einem weiteren Ausführungsbeispiel wird eine zeitlich variable Anpassung der Positionsinformationen des mindestens einen Objekts außerhalb eines Abtastbereichs des mindestens einen Sensors fortgesetzt. Beispielsweise kann ein Objekt mithilfe einer im Fahrzeug verbauten Frontkamera erkannt werden. Dieses Objekt wird anschließend durch das Fahrzeug passiert, was bedeutet, dass das Fahrzeug seitlich am Objekt vorbeifährt. In diesem Fall kann das relevante Objekt in einem Zwischenspeicher eines Fahrzeugrechners oder eines Steuergerätes abgelegt werden und mithilfe der Fahrzeuggeschwindigkeit bzw. einer Fahrzeugdynamik bzw. einer hochgenauen Fahrzeugposition in der Welt auch beim Verlassen des relevanten Bildausschnitts der Kamera weiterhin in ein Koordinatensystem des Sensors bzw. des LIDAR-Sensors transformiert werden. Hierdurch können die Positonsinformationen des Objekts an einen seitlich am Fahrzeug verbauten LIDAR-Sensors weitergeleitet werden. Dies geschieht beispielsweise so lange, bis das entsprechende Objekt von dem seitlich am Fahrzeug verbauten LIDAR-Sensorzuverlässig erkannt wurde. In diesem Fall kann der LIDAR-Sensor eine Rückmeldung an den entsprechenden Fahrzeugrechner oder an das Kamerasystem selbst liefern. Insbesondere kann übermittelt werden, dass das entsprechende Objekt seitlich am Fahrzeug wiedergefunden wurde. Anschließend können die zwischengespeicherten Objektdaten bzw. Positionsinformationen der Objekte, die kontinuierlich in das entsprechende Koordinatensystem weiter transformiert wurden gelöscht werden. Der seitlich verbaute LIDAR-Sensor kann seine Objekterkennung nun selbstständig durchführen.
  • Nach einem weiteren Ausführungsbeispiel wird der mindestens eine für die Auswertung verwendete Bildausschnitt der erfassten Sensordaten des LIDAR-Sensors basierend auf Sensordaten eines Positionssensors und den Daten einer Karte ausgewählt. Hierbei erfolgt die Selektion eines relevanten Bildausschnitts, beispielsweise in einem LIDAR-Sensor, mithilfe von Daten mindestens eines GNSS-Sensors bzw. mithilfe einer Position eines Fahrzeugs auf einer hochgenauen Karte. Beispielsweise kennt das Fahrzeug seine Position hochgenau innerhalb des Gebietes. Außerdem sind die Features bzw. wichtige Strukturen um das Fahrzeug herum durch eine Kartierung der hochgenauen Fahrzeugposition auf einer Karte bekannt. Ein Anwendungsfall für diese Ausführungsform der Erfindung ist die gezielte Erkennung eines Fußgängers auf der rechten oder linken Seite eines Zebrastreifens. Beispielsweise weiß das autonome Fahrzeug, dass es sich gerade einem Zebrastreifen nähert. Über die Entfernung und Orientierung zu diesem Zebrastreifen können gezielte Bildinformationen des LIDAR-Sensors relativ zu diesem Zebrastreifen aus dem entsprechenden Scan des LIDAR-Sensors selektiert werden, in welchem sich Fußgänger theoretisch befinden können. Dies kann beispielsweise links vom Zebrastreifen, auf dem Zebrastreifen oder rechts vom Zebrastreifen sein. Zu diesem Zweck erfolgt eine Transformation der relativen Position des Zebrastreifens, mit den Dimensionen des Zebrastreifens sowie den möglichen Positionen von Fußgängern in das Koordinatensystem des LIDAR-Sensors. Der LIDAR-Sensor kann nun gezielt die Bildausschnitte selektieren die zu diesem Zeitpunkt relevant für eine Fußgängererkennung sind. Weitere mögliche Anwendungsfälle sind die Erkennung von seitlich parkenden Fahrzeugen in einem Stadtgebiet oder die Erkennung von bereits auf der Karte vorhandenen Strukturen zur Orientierung oder Positionierung des Fahrzeugs in der Welt.
  • Gemäß einem weiteren Ausführungsbeispiel wird der mindestens eine für die Auswertung verwendete Bildausschnitt der erfassten Sensordaten des LIDAR-Sensors basierend auf Positionsdaten von mindestens einem Verkehrsteilnehmer ausgewählt. Nach einer weiteren Ausführungsform werden Positionsdaten des mindestens einen Verkehrsteilnehmers über eine direkte oder indirekte Kommunikationsverbindung übermittelt. Die Selektion eines relevanten Bildausschnitts, beispielsweise in einem LIDAR-Sensor, kann hierdurch mithilfe von empfangenen Positionsdaten weiterer Verkehrsteilnehmer über eine Car-to-X Kommunikationsverbindung übertragen werden. In diesem Fall kann das eigene Fahrzeug die Dimensionen, hochgenauen Positionen sowie Orientierungen der weiteren Verkehrsteilnehmer über die Car-to-X Kommunikationsverbindung empfangen. Diese hochgenauen Positionen der weiteren Verkehrsteilnehmer können in einem weiteren Schritt in das Koordinatensystem des Sensors transformiert werden. Anschließend erfolgt die Selektion des relevanten Bildausschnitts in dem Sensor für die Erkennung des mindestens eines weiteren Verkehrsteilnehmers mithilfe der transformierten Koordinaten und den Dimensionen genau dieses Verkehrsteilnehmers. Auf diese Weise ist eine Plausibilisierung von über die Car-to-X Kommunikation empfangenen Positionsdaten und Orientierungen weiterer Verkehrsteilnehmer relativ zum eigenen Fahrzeug möglich.
  • Nach einer weiteren Ausführungsform wird der mindestens eine Bildausschnitt der erfassten Sensordaten des LIDAR-Sensors durch eine künstliche Intelligenz ausgewählt. Somit kann die Selektion des relevanten Bildausschnitts durch eine künstliche Intelligenz (KI) durchgeführt werden, die beispielsweise als ein neuronales Netz ausgebildet sein kann. Beispielsweise kann diese KI die Koordinatentransformation des zu erkennen Objekts automatisch in das Koordinatensystem des Sensors durchführen. Alternativ oder zusätzlich kann die KI für die Objekterkennung relativ zum eigenen Fahrzeug mithilfe einer Kamera, eines RADAR-Sensors, eines LIDAR-Sensors, eines Ultraschallsensors, eines GNSS-Sensors, oder einer Car-to-X Kommunikationsverbindung verantwortlich sein. Des Weiteren kann sich auf dem Sensor bzw. einem Sensorsteuergerät eine eigene KI befinden, welche aus den empfangenen Daten (Koordinaten und Dimensionen das zu erkennen Objekts) eine Objekterkennung oder Objekt-Plausibilisierung durch eine vorgelagerte Selektion eines relevanten Bildausschnitts durchführt.
  • Gemäß einer weiteren Ausführungsform wird die durch den LIDAR-Sensor durchgeführte Auswertung zum Plausibilisieren der Objekterkennung eingesetzt. Hierdurch kann der Sensor eine Redundanz für die zusätzlichen Sensoren bilden.
  • Nach einer weiteren Ausführungsform wird die Plausibilisierung durch eine Anfrage von mindestens einem Sensor durchgeführt. Die gezielte Objekterkennung bzw. Objekt-Plausibilisierung eines bereits erkannten Objektes eines weiteren Umfeldsensors durch den Sensor kann hierdurch mithilfe einer Anfrage bzw. bei Bedarf erfolgen. Beispielsweise wurde ein Objekt nur mit einer geringen „Confidence“ bzw. Sicherheit von einem Umfeldsensor erkannt. Der Umfeldsensor sendet nun die Koordinaten und Dimensionen des vermutlich erkannten Objektes über eine Anfrage an den Sensor. Dieser kann die Objekterkennung mithilfe des relevanten Bildausschnitts einmalig oder für eine definierte Zeitdauer durchführen. Wird das Objekt beispielsweise auch vom Sensor im relevanten Bildausschnitt nach erfolgter Koordinatentransformation zuverlässig erkannt, sendet der Sensor eine Antwort an den weiteren Umfeldsensor, dass das entsprechende Objekt plausibel ist. Der weitere Umfeldsensor kann das zuverlässig erkannte Objekt für die Umsetzung des autonomen Fahrens nun weiterverfolgen. Sofern das entsprechende Objekt auch nach mehreren Versuchen von dem Sensor nicht erkannt wurde, erfolgt ebenfalls eine Antwort an den anfragenden zusätzlichen Umfeldsensor, dass das Objekt unplausibel ist. Mithilfe dieser Ausführungsform der Erfindung ist eine gezielte Plausibilisierung von erkannten Objekten durch einen Sensor möglich. Diese Plausibilisierung kann innerhalb eines sehr kurzen Zeitabschnitts erfolgen, wodurch die Funktionalität des autonomen Fahrens aufrechterhalten wird, zuverlässiger und sicherer gestaltet wird. Beispielsweise kann der Sensor eine generelle Objekterkennung mithilfe einer Kl oder mithilfe eines intelligenten Algorithmus für ein bestimmtes Fahrzeugumfeld durchführen und mithilfe der ohnehin vorhandenen Umfeldscans eine Objekterkennung für einen gezielten Bildausschnitt durchführen. Die Selektion des relevanten Bildausschnitts kann dabei vor einer Objekterkennung erfolgen. Alternativ oder zusätzlich kann der gesamte Bildausschnitt des Sensors bezüglich dieses Objekts analysiert werden.
  • Nach einem weiteren Aspekt der Erfindung wird ein Steuergerät zum Verbinden mit mindestens einem Sensor und zum Auslesen von Sensordaten von mindestens einem Sensor bereitgestellt, wobei das Steuergerät dazu eingerichtet ist, alle Schritte des Verfahrens auszuführen.
  • Das Steuergerät kann insbesondere als ein Sensorsteuergerät oder als ein zentrales Steuergerät ausgeführt sein. Dabei kann das Steuergerät fahrzeugintern oder fahrzeugextern angeordnet sein. Alle mit dem Steuergerät gekoppelten Umfeldsensoren eines Fahrzeugs können somit über einen Fahrzeugbus Sensordaten an das Steuergerät übermittelt. Die Umsetzung des Verfahrens erfolgt hierbei nicht auf den Umfeldsensoren selbst, sondern rein auf dem Steuergerät, welches über ausreichende Rechenkapazitäten verfügt. Je nach Anwendung kann eine beliebige Anzahl an Sensoren mit dem Steuergerät gekoppelt werden und somit im Rahmen einer Sensorfusion die Genauigkeit der Auswertung und des Verfahrens verbessert werden.
  • Im Folgenden werden anhand von stark vereinfachten schematischen Darstellungen bevorzugte Ausführungsbeispiele der Erfindung näher erläutert. Hierbei zeigen
    • 1 eine schematische Darstellung eines Fahrzeugs mit einem Steuergerät und mit Sensoren und
    • 2 ein schematisches Ablaufdiagramm eines Verfahrens gemäß einer Ausführungsform.
  • In der 1 ist eine schematische Darstellung eines Fahrzeugs 1 mit einem Steuergerät 2 und mit Sensoren 4, 6, 8 dargestellt. Das Fahrzeug 1 ist ein automatisiert betreibbares Fahrzeug 1, welches mindestens ein Steuergerät 2 aufweist.
  • Das Steuergerät 2 ist mit den Sensoren 4, 6, 8 derart gekoppelt, dass es die Sensordaten auslesen und weiterverarbeiten kann. Die Sensorik des Fahrzeugs 1 besteht aus einem LIDAR-Sensor 4 und zusätzlichen Sensoren 6, 8. Die zusätzlichen Sensoren 6, 8 sind als eine Kamera 6 und ein RADAR-Sensor 8 ausgeführt.
  • Das Steuergerät 2 weist eine Kommunikationseinheit zum Herstellen einer Kommunikationsverbindung 12 auf. Die Kommunikationsverbindung 12 kann beispielsweise eine Car-2-X Kommunikationsverbindung sein, wodurch andere Verkehrsteilnehmer 14 ihre Position und weitere Daten mit dem Steuergerät 2 austauschen können.
  • Durch die Sensoren 4, 6, 8 können Objekte 16 im Umfeld des Fahrzeugs 1 ermittelt werden.
  • Die 2 zeigt ein schematisches Ablaufdiagramm eines Verfahrens 18 gemäß einer Ausführungsform.
  • Das Verfahren 18 dient insbesondere zum Auswählen eines Ausschnitts für eine Umfelderfassung durch einen Sensor 4 basierend auf Sensordaten zusätzlicher Sensoren 6, 8.
  • In einem Schritt 19 wird ein Umfeld durch mindestens einen zusätzlichen Sensor 6, 8 erfasst. Basierend auf den ermittelten Sensordaten des mindestens einen Sensors 6, 8 wird eine Objekterkennung 20 durchgeführt. Anhand der Objekterkennung 20 werden Positionsinformationen von mindestens einem erkannten Objekt 16 in ein Koordinatensystem des Sensors 4 transformiert 21. Anschließend wird anhand der transformierten Positionsinformationen ein Ausschnitt eines Abtastbereichs des Sensors 4 für die Umfelderfassung 22 oder einen Bildausschnitt der Sensordaten des Sensors 4 aus bereits erfassten Sensordaten für eine Auswertung verwendet 23.

Claims (11)

  1. Verfahren (18) zum Auswählen eines Ausschnitts für eine Umfelderfassung durch einen Sensor (4) basierend auf Sensordaten, wobei ein Umfeld durch mindestens einen zusätzlichen Sensor (6, 8) erfasst wird (19), basierend auf den ermittelten Sensordaten des mindestens einen zusätzlichen Sensors (6, 8) eine Objekterkennung (20) durchgeführt wird, anhand der Objekterkennung Positionsinformationen von mindestens einem erkannten Objekt (16) in ein Koordinatensystem des Sensors (4) transformiert (21) werden und wobei der Sensor (4) anhand der transformierten Positionsinformationen einen Ausschnitt eines Abtastbereichs (22) für die Umfelderfassung oder einen Bildausschnitt aus bereits erfassten Sensordaten (23) für eine Auswertung verwendet, wobei die von dem mindestens einen Sensor (6, 8) bereitgestellten Positionsinformationen von mindestens einem Objekt (16) zum Verfolgen des mindestens einen Objekts (16) zeitlich verändert werden, wobei eine zeitlich variable Anpassung der Positionsinformationen des mindestens einen Objekts (16) außerhalb eines Abtastbereichs des mindestens einen zusätzlichen Sensors (6, 8) fortgesetzt wird.
  2. Verfahren nach Anspruch 1, wobei die Positionsinformationen von dem mindestens einen erkannten Objekt (16) Objektmaße und eine Objektposition aufweisen.
  3. Verfahren nach Anspruch 1 oder 2, wobei der Sensor (4) basierend auf transformierten Positionsinformationen von mehreren zusätzlichen Sensoren (6, 8) mindestens einen Bildausschnitt aus bereits erfassten Sensordaten für eine Auswertung verwendet.
  4. Verfahren nach einem der Ansprüche 1 bis 3, wobei die Transformation der Positionsinformationen durch ein zentrales Steuergerät (2) oder durch ein Sensorsteuergerät durchgeführt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 3, wobei die Transformation der Positionsinformationen durch den zusätzlichen Sensor (6, 8) durchgeführt wird, wobei zwischen den Sensoren (4, 6, 8) direkte Kommunikationsverbindungen (12) hergestellt werden.
  6. Verfahren nach einem der Ansprüche 1 bis 5, wobei der mindestens eine für die Auswertung verwendete Bildausschnitt der erfassten Sensordaten des Sensors (4) basierend auf zusätzlichen Sensordaten eines Positionssensors und den Daten einer Karte ausgewählt wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, wobei der mindestens eine für die Auswertung verwendete Bildausschnitt der erfassten Sensordaten des Sensors (4) basierend auf Positionsdaten von mindestens einem Verkehrsteilnehmer (14) ausgewählt wird, wobei Positionsdaten des mindestens einen Verkehrsteilnehmers über eine direkte oder indirekte Kommunikationsverbindung (12) übermittelt werden.
  8. Verfahren nach einem der Ansprüche 1 bis 7, wobei der mindestens eine Bildausschnitt der erfassten Sensordaten des Sensors (4) durch eine künstliche Intelligenz ausgewählt wird.
  9. Verfahren nach einem der Ansprüche 1 bis 8, wobei die durch den Sensor (4) durchgeführte Auswertung zum Plausibilisieren der Objekterkennung des mindestens einen zusätzlichen Sensors eingesetzt wird.
  10. Verfahren nach Anspruch 9, wobei die Plausibilisierung durch eine Anfrage von mindestens einem zusätzlichen Sensor (6, 8) durchgeführt wird.
  11. Steuergerät (2) zum Verbinden mit mindestens einem Sensor (4, 6, 8) und zum Auslesen von Sensordaten von mindestens einem Sensor (4, 6, 8), wobei das Steuergerät (2) dazu eingerichtet ist, alle Schritte des Verfahrens (18) gemäß einem der vorhergehenden Ansprüche auszuführen.
DE102018215136.9A 2018-09-06 2018-09-06 Verfahren zum Auswählen eines Bildausschnitts eines Sensors Active DE102018215136B4 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE102018215136.9A DE102018215136B4 (de) 2018-09-06 2018-09-06 Verfahren zum Auswählen eines Bildausschnitts eines Sensors
US17/272,638 US11989944B2 (en) 2018-09-06 2019-09-04 Method for selecting an image detail of a sensor
JP2021512690A JP7326429B2 (ja) 2018-09-06 2019-09-04 センサの画像区間の選択方法
CN201980073117.3A CN112970028A (zh) 2018-09-06 2019-09-04 用于选择传感器的图像片段的方法
PCT/EP2019/073512 WO2020049013A1 (de) 2018-09-06 2019-09-04 Verfahren zum auswählen eines bildausschnitts eines sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018215136.9A DE102018215136B4 (de) 2018-09-06 2018-09-06 Verfahren zum Auswählen eines Bildausschnitts eines Sensors

Publications (2)

Publication Number Publication Date
DE102018215136A1 DE102018215136A1 (de) 2020-03-12
DE102018215136B4 true DE102018215136B4 (de) 2021-03-25

Family

ID=68062889

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018215136.9A Active DE102018215136B4 (de) 2018-09-06 2018-09-06 Verfahren zum Auswählen eines Bildausschnitts eines Sensors

Country Status (5)

Country Link
US (1) US11989944B2 (de)
JP (1) JP7326429B2 (de)
CN (1) CN112970028A (de)
DE (1) DE102018215136B4 (de)
WO (1) WO2020049013A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020205831A1 (de) 2020-05-08 2021-11-11 Zf Friedrichshafen Ag System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10154861A1 (de) * 2001-11-08 2003-05-22 Ibeo Automobile Sensor Gmbh Verfahren zur Bereitstellung von Bildinformationen
DE102015204529A1 (de) * 2015-03-13 2016-09-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Objekterkennung in einem Fortbewegungsmittel

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3645177B2 (ja) * 2000-11-29 2005-05-11 三菱電機株式会社 車両周辺監視装置
JP2004085337A (ja) 2002-08-27 2004-03-18 Fujitsu Ltd 車両検出方法及び車両検出装置
DE10246066B4 (de) * 2002-10-02 2007-11-22 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug
JP5663352B2 (ja) * 2011-03-03 2015-02-04 日本電産エレシス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR101372023B1 (ko) * 2012-05-31 2014-03-07 현대자동차주식회사 차량 주변의 이동체 감지 장치 및 방법
DE102012021282A1 (de) * 2012-10-29 2014-04-30 Audi Ag Verfahren zur Koordination des Betriebs von vollautomatisiert fahrenden Kraftfahrzeugen
DE102013215408A1 (de) 2013-08-06 2015-03-05 Bayerische Motoren Werke Aktiengesellschaft Anzeigesystem für ein Fahrzeug und Verfahren für die Anzeige einer Fahrzeugumgebung
DE102015112289A1 (de) * 2015-07-28 2017-02-02 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015214743A1 (de) * 2015-08-03 2017-02-09 Audi Ag Verfahren und Vorrichtung in einem Kraftfahrzeug zur verbesserten Datenfusionierung bei einer Umfelderfassung
DE102016211182A1 (de) 2015-09-08 2017-03-09 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
JPWO2017159382A1 (ja) * 2016-03-16 2019-01-24 ソニー株式会社 信号処理装置および信号処理方法
US10317901B2 (en) * 2016-09-08 2019-06-11 Mentor Graphics Development (Deutschland) Gmbh Low-level sensor fusion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10154861A1 (de) * 2001-11-08 2003-05-22 Ibeo Automobile Sensor Gmbh Verfahren zur Bereitstellung von Bildinformationen
DE102015204529A1 (de) * 2015-03-13 2016-09-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Objekterkennung in einem Fortbewegungsmittel

Also Published As

Publication number Publication date
WO2020049013A1 (de) 2020-03-12
US11989944B2 (en) 2024-05-21
US20210255330A1 (en) 2021-08-19
DE102018215136A1 (de) 2020-03-12
CN112970028A (zh) 2021-06-15
JP7326429B2 (ja) 2023-08-15
JP2022500737A (ja) 2022-01-04

Similar Documents

Publication Publication Date Title
DE102017203838B4 (de) Verfahren und System zur Umfelderfassung
DE102014008578B4 (de) Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem
DE102016219455B4 (de) Verfahren und aktive Infrastruktur zur Überprüfung einer Umfelderfassung eines Kraftfahrzeugs
EP2951804B1 (de) Erstellen eines umfeldmodells für ein fahrzeug
EP3824247A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
DE112015002774T5 (de) Fahrunterstützungsvorrichtung
DE102004038494A1 (de) Verfahren und Vorrichtung zum Betreiben eines Sensorsystems
WO2012152268A2 (de) Redudante objektdetektion für fahrerassistenzsysteme
DE102018133441A1 (de) Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs
DE102018133457B4 (de) Verfahren und System zum Bereitstellen von Umgebungsdaten
DE102016012345A1 (de) Verfahren zum Erkennen von Objekten
DE102017004721A1 (de) Verfahren zur Lokalisierung eines Fahrzeugs
DE102018215136B4 (de) Verfahren zum Auswählen eines Bildausschnitts eines Sensors
EP3510748B1 (de) Verfahren, vorrichtung und computerprogramm zum empfangen, verarbeiten und übertragen von daten
DE102019130204B4 (de) Verfahren und System zum Erstellen dynamischer Karteninformation, die zum Bereitstellen von Umgebungsinformationen geeignet ist
DE102020211971A1 (de) Fahrzeugtrajektorienvorhersage unter verwendung von strassentopologie und verkehrsteilnehmer-objektzuständen
EP3458808B1 (de) Verfahren und vorrichtung zur lokalisierung eines fahrzeugs
EP4007891B1 (de) Verfahren und vorrichtung zur lokalisierung eines fahrzeugs in einer umgebung
DE102019218078B4 (de) Bestimmung eines Sachverhalts im Umfeld eines Kraftfahrzeugs
DE102017205782A1 (de) Steuervorrichtung und Verfahren
DE102018206745B4 (de) Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, computerlesbares Medium, System, und Fahrzeug
WO2020104355A1 (de) Verfahren und vorrichtung zum speichern von daten für ein fahrzeug
EP3511920A1 (de) Parkassistenzsystem mit entfernter konfiguration eines lokalen neuronalen netzes
DE102018205241A1 (de) Fusion von Umfeldinformation eines Kraftfahrzeugs
DE102022107432B3 (de) Verfahren und System zum Bereitstellen von Daten mindestens eines Umgebungssensors eines ersten Fahrzeugs an ein zweites Fahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final