DE102018005969A1 - Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen - Google Patents

Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen Download PDF

Info

Publication number
DE102018005969A1
DE102018005969A1 DE102018005969.4A DE102018005969A DE102018005969A1 DE 102018005969 A1 DE102018005969 A1 DE 102018005969A1 DE 102018005969 A DE102018005969 A DE 102018005969A DE 102018005969 A1 DE102018005969 A1 DE 102018005969A1
Authority
DE
Germany
Prior art keywords
information
detection
detection device
motor vehicle
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102018005969.4A
Other languages
English (en)
Inventor
Florian Pierre Joseph Piewak
David Peter
Markus Enzweiler
Nick Schneider
Peter Pinggera
Philipp Schindler
Roland Schweiger
Uwe Franke
Manuel Schäfer
David PFEIFFER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102018005969.4A priority Critical patent/DE102018005969A1/de
Priority to PCT/EP2019/068710 priority patent/WO2020020654A1/de
Publication of DE102018005969A1 publication Critical patent/DE102018005969A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems (12) eines Kraftfahrzeugs (10) mit einer ersten Erfassungseinrichtung (14), mit einer zweiten Erfassungseinrichtung (16) und mit einer zentralen elektronischen Recheneinrichtung (20), wobei mittels der ersten Erfassungseinrichtung (14) auf eine erste Erfassungsart eine erste Information (22) einer Umgebung (18) des Kraftfahrzeugs (10) und mittels der zweiten Erfassungseinrichtung (16) auf eine zur ersten Erfassungsart unterschiedlichen zweiten Erfassungsart eine zweite Information (24) der Umgebung (18) erfasst werden und mittels der elektronischen Recheneinrichtung (20) die erste Information (22) und die zweite Information (24) ausgewertet werden, wobei die erste Information (22) und die zweite Information (24) fusioniert werden und die fusionierten Informationen (22, 24) in Abhängigkeit eines Entscheidungskriteriums zu einem Datenpaket (26) zusammengefasst werden und das Datenpaket (26) zum Auswerten an die elektronische Recheneinrichtung (20) übertragen wird.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs mit einer ersten Erfassungseinrichtung, mit einer zweiten Erfassungseinrichtung und mit einer zentralen elektronischen Recheneinrichtung. Mittels der ersten Erfassungseinrichtung werden auf eine erste Erfassungsart eine erste Information einer Umgebung des Kraftfahrzeugs und mittels der zweiten Erfassungseinrichtung auf eine zur ersten Erfassungseinrichtung unterschiedlichen zweiten Erfassungsart eine zweite Information der Umgebung erfasst und mittels der elektronischen Recheneinrichtung die erste Information und die zweite Information ausgewertet.
  • Heutige Sensoren für Fahrerassistenzsysteme und hochautomatisierte Systeme nutzen sogenannte Objektschnittstellen als „Interface“ zu dem zentralen entscheidungsfindenden Steuergerät. Bei der Bildung von Objekten wird die Datenmenge bereits im Sensor sehr stark komprimiert, und es werden Annahmen getroffen, um die Bandbreite geringzuhalten. Alternativ verwenden Forschungsfahrzeuge reine Rohdaten, das heißt die Bilder von beispielsweise Kameras beziehungsweise jedem Refleximpuls eines Radars oder Lidars, und verarbeiten diese auf sehr rechenstarken Einheiten. Beide Verfahren sind nicht zielführend für eine Weiterverbreitung von automatisierten Fahrzeugen, da sie im ersten Problemfall mit der Performance, insbesondere mit der Leistung, Probleme haben und im zweiten Fall zu große Datenmengen produzieren. Des Weiteren wird für heutigen Fahrerassistenzsysteme und hochautomatisierten Systeme eine Vielzahl an Sensoren verwendet, was ebenfalls bei einem sensoreigenen Zusammenführen der Rohdaten zu einer großen Datenmenge führt. Das sensoreigene Zusammenführen wird auch als Clustering bezeichnet.
  • Das Zusammenführen von Daten ist aus verschiedenen, unabhängigen Messsystemen bekannt. In der Kamera für beispielsweise autonome Anwendungen ist die Bildung von sogenannten Stixeln (vertikales Zusammenführen von Daten) bekannt. Dabei beziehen sich bisherige Ansätze des Zusammenführens von Daten auf einen einzelnen Sensor beziehungsweise auf eine einzelne Erfassungseinrichtung.
  • In der wissenschaftlichen Arbeit „Semantic Stixels: Depth is Not Enough“ von Lukas Schneider et al. wird ein semantisches Stixelmodell mit visionsbasiertem Szenemodell vorgestellt, das auf automatisiertes Fahren ausgerichtet ist. Das Modell leitet gemeinsam das geometrische und semantische Layout von einer Szene ab und bietet eine kompakte und doch reiche Abstraktion von beiden mit Stixeln als primitive Elemente. Eine geometrische Information ist in diesem Modell in Bezug auf die Pixel-Level-Disparität enthaltenden Karten integriert die aus dem Stereo-Sehen abgeleitet sind.
  • Ferner offenbart die DE 10 2009 009 047 A1 ein Verfahren zur Objektdetektion. Bei der Objektdetektion werden jeweils zwei Bilder einer Umgebung aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt, wobei aus den ermittelten Disparitäten eine Tiefenkarte zur Umgebung bestimmt wird, in der eine Freiraumbegrenzungslinie identifiziert wird, die einen hindernisfreien Bereich der Umgebung umgrenzt. Es wird außerhalb und entlang der Freiraumbegrenzungslinie die Tiefenkarte segmentiert, indem Segmente einer geeigneten Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Bildebene gebildet werden, wobei eine Höhe jedes Segments als Teil eines außerhalb des hindernisfreien Bereichs befindlichen Objekts geschützt wird, so dass jedes Segment durch die zweidimensionale Position seines Fußpunkts und seine Höhe charakterisiert wird.
  • Aufgabe der vorliegenden Erfindung ist es, einen verbesserten Betrieb eines Fahrerassistenzsystems realisieren zu können.
  • Diese Aufgabe wird durch ein Verfahren gemäß dem unabhängigen Patentanspruch gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
  • Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs mit einer ersten Erfassungseinrichtung, mit einer zweiten Erfassungseinrichtung und mit einer zentralen elektronischen Recheneinrichtung. Mittels der ersten Erfassungseinrichtung wird auf eine erste Erfassungsart eine erste Information einer Umgebung des Kraftfahrzeugs erfasst, und mittels der zweiten Erfassungseinrichtung wird auf eine zur ersten Erfassungsart unterschiedlichen zweiten Erfassungsart eine zweite Information der Umgebung erfasst, und mittels der elektronischen Recheneinrichtung werden die erste Information und die zweite Information ausgewertet.
  • Es ist vorgesehen, dass die erste Information und die zweite Information fusioniert werden und die fusionierten Informationen in Abhängigkeit eines Entscheidungskriteriums zu einem Datenpaket zusammengefasst werden und das Datenpaket zum Auswerten an die elektronische Recheneinrichtung übertragen wird.
  • Insbesondere ist vorgesehen, dass die erste Information und die zweite Information jeweils Rohdaten der ersten Erfassungseinrichtung beziehungsweise der zweiten Erfassungseinrichtung sind. Diese Rohdaten werden dann entsprechend fusioniert. Es erfolgt anschließend ein Zusammenführen, welches auch als Clustering bezeichnet wird, der zusammengehörenden Daten in Abhängigkeit des Entscheidungskriteriums. Durch das Zusammenführen der ersten Information und der zweiten Information wird die Datenmenge stark reduziert. Des Weiteren werden mehrere Erfassungseinrichtungen zum Zusammenführen beziehungsweise zum Fusionieren vereinigt, um auf der einen Seite die Diversität der Erfassungseinrichtungen des Fahrerassistenzsystems oder eines hochautomatisierten Systems beizubehalten, was die Stabilität des Zusammenführens erhöht, und auf der anderen Seite die Datenmenge zusätzlich zu reduzieren.
  • Dadurch ist es ermöglicht, dass die zentrale elektronische Recheneinrichtung mit weniger Datengrößen zu arbeiten hat, wobei sie insbesondere gleichzeitig weniger der spezifischen Informationen, wie es bei einer Objektschnittstelle gemäß dem Stand der Technik typischerweise der Fall ist, verliert. Des Weiteren werden die Informationen durch die Verwendung mehrerer Erfassungseinrichtungen, welche insbesondere auch Sensoren des Kraftfahrzeugs sein können, robuster gegenüber sensorspezifischem Fehlverhalten. Dadurch ist es ermöglicht, dass das Fahrerassistenzsystem insgesamt eine höhere Leistung sowie eine erhöhte Robustheit liefern kann bei nur geringfügig erhöhten absoluten Datenmengen durch die Filterung von redundanten Informationen.
  • Unter Erfassungsart ist insbesondere zu verstehen, wie die Erfassungseinrichtung die Umgebung erfasst. Beispielsweise kann ein Lidarsensor mittels Laserstrahlen als Erfassungsart die Umgebung erfassen. Beispielsweise kann eine Kamera durch Aufnehmen von Bildern die Umgebung erfassen. Beispielsweise kann ein Ultraschallsensor durch Aussenden und Empfangen von Ultraschallsignalen die Umgebung erfassen. Beispielsweise kann ein Radarsensor durch Aussenden und Empfangen von Radarsignalen die Umgebung erfassen.
  • Gemäß einer vorteilhaften Ausgestaltungsform werden die fusionierten Informationen mit einer weiteren Information eines weiteren Sensors des Kraftfahrzeugs zu dem Datenpaket zusammengefasst und das Datenpaket zum Auswerten an die elektronische Recheneinrichtung übertragen. Insbesondere kann es sich bei der zusätzlichen Information um eine Information von umliegenden Daten mehrerer Erfassungseinrichtungen, insbesondere Sensoren, handeln, um Informationen über beispielsweise ein Zielobjekt in der Umgebung des Kraftfahrzeugs generieren zu können. Ebenfalls möglich ist, dass beispielsweise eine Punktwolke mit zusätzlichen Informationen generiert werden kann. Durch diese weitere Information, wie beispielsweise ein potentieller Objekttyp und/oder eine Detektionswahrscheinlichkeit und/oder eine Oberflächenbeschaffenheit werden wertvolle Zusatzinformationen zur Verfügung gestellt, ohne aber dabei den Detailgrad des Datenpakets so stark einzuschränken, wie es bei einer Objektschnittstelle gemäß dem Stand der Technik der Fall wäre. Dadurch kann datenreduziert und dennoch hochfunktionell das Fahrerassistenzsystem betrieben werden.
  • Ebenfalls vorteilhaft ist, wenn mittels der weiteren Information eine charakterisierende Eigenschaft der Umgebung vorgegeben wird. Insbesondere kann es sich beispielsweise bei der charakterisierenden Eigenschaft um eine Eigenschaft bezüglich der Beschaffenheit einer Fahrbahn in der Umgebung des Kraftfahrzeugs handeln oder beispielsweise um die geschätzte Klassifizierung eines Objekts beziehungsweise als Fahrzeug aufgrund der Struktur und Reflexeigenschaften innerhalb der Umgebung des Kraftfahrzeugs. Diese weitere Information kann dann insbesondere den bereits fusionierten Informationen angehängt und entsprechend von dem fusionierten Sensor an die zentrale elektronische Recheneinrichtung weitergegeben werden. Dadurch können ein potentieller Objekttyp, eine Detektionswahrscheinlichkeit, eine Oberflächenbeschaffenheit oder dergleichen mit an das Datenpaket angeschlossen werden, wodurch zusätzliche Informationen zur Verfügung gestellt werden können, ohne dabei den Detailgrad der Daten so stark einzuschränken, wie es bei Objektschnittstellen gemäß dem Stand der Technik der Fall wäre.
  • In einer vorteilhaften Ausgestaltungsform wird die Umgebung mittels einer Kamera als die erste Erfassungseinrichtung und mittels eines Lidarsensors als die zweite Erfassungseinrichtung erfasst. Dadurch ist es auf zwei unterschiedlichen Erfassungsarten ermöglicht, die Umgebung zu erfassen. Dadurch kann zuverlässig die Umgebung mittels unterschiedlicher Erfassungsarten erfasst werden. Ebenfalls möglich ist, dass als erste und/oder zweite Erfassungseinrichtung beispielsweise ein Radarsensor oder ein Ultraschallsensor bereitgestellt wird, mittels welcher dann die Umgebung des Kraftfahrzeugs erfasst werden kann. Insbesondere werden dann die jeweils gewonnenen Informationen mittels der Kamera und/oder des Lidarsensors zusammengeführt und als Datenpaket an die elektronische Recheneinrichtung weitergesandt.
  • Ebenfalls vorteilhaft ist, wenn die erste Information und die zweite Information auf Basis einer Entfernung der erfassten Umgebung zum Kraftfahrzeug als Entscheidungskriterium, insbesondere auf Basis einer vertikalen Ausdehnung, fusioniert werden. Mit anderen Worten werden in Abhängigkeit einer Entfernung eines Zielobjekts in der Umgebung des Kraftfahrzeugs die Daten entsprechend zusammengefasst. Beispielsweise kann dadurch zuverlässig eine Objektdetektion durchgeführt werden, da die Informationen das Objekt betreffend fusioniert werden. Insbesondere durch die Ausgestaltungsform mit der vertikalen Ausdehnung kann zuverlässig die Umgebung für das Fahrerassistenzsystem erfasst werden.
  • Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird mittels des Fahrerassistenzsystems ein zumindest teilweise autonomer, insbesondere vollautonomer, Fahrbetrieb des Kraftfahrzeugs durchgeführt. Mit anderen Worten handelt es sich bei dem Fahrerassistenzsystem um ein insbesondere hochautomatisiertes Fahrerassistenzsystem. Das Fahrerassistenzsystem kann im vollautonomen Fahrbetrieb auch als Fahrerunterstützungssystem beziehungsweise Fahrzeugführungssystem bezeichnet werden. Insbesondere durch die präzise und zuverlässige Erfassung der Umgebung mittels des Fahrerassistenzsystems und der fusionierten Daten kann insbesondere in Echtzeit die Umgebung erfasst werden und somit zuverlässig die Informationen die Umgebung betreffend in der elektronischen Recheneinrichtung ausgewertet werden. Dadurch können insbesondere schnelle Reaktionszeiten des Fahrerassistenzsystems realisiert werden, wodurch insbesondere die Sicherheit im Straßenverkehr erhöht wird.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der einzigen Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
  • Dabei zeigt die einzige Figur eine schematische Ansicht eines Kraftfahrzeugs mit einer Ausführungsform eines Fahrerassistenzsystems.
  • In der Figur werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
  • Die Figur zeigt ein Kraftfahrzeug 10 mit einer Ausführungsform eines Fahrerassistenzsystems 12. Das Fahrerassistenzsystem 12 weist eine erste Erfassungseinrichtung 14 und eine zweite Erfassungseinrichtung 16 auf. Mittels der ersten Erfassungseinrichtung 14 kann eine erste Information 22 einer Umgebung 18 des Kraftfahrzeugs 10 erfasst werden und mit der zweiten Erfassungseinrichtung wird eine zweite Information 24 der Umgebung 18 erfasst. Mittels der ersten Erfassungseinrichtung 14 wird die Umgebung 18 auf eine erste Erfassungsart und mittels der zweiten Erfassungseinrichtung 16 wird die Umgebung 18 auf eine zweite Erfassungsart erfasst. Das Fahrerassistenzsystem 12 weist ferner eine zentrale elektronische Recheneinrichtung 20 auf, mittels welcher die erste Information 22 und die zweite Information 24 ausgewertet werden.
  • Es ist vorgesehen, dass die erste Information 22 und die zweite Information 24 fusioniert werden und die fusionierten Informationen 22, 24 in Abhängigkeit eines Entscheidungskriteriums zu einem Datenpaket 26 zusammengefasst werden und das Datenpaket 26 zum Auswerten an die elektronische Recheneinrichtung 20 übertragen wird. Beispielsweise kann im vorliegenden Ausführungsbeispiel vorgesehen sein, dass mittels einer Fusionseinrichtung 28 die erste Information 22 und die zweite Information 24 fusioniert werden.
  • Insbesondere ist vorgesehen, dass die erste Information 22 und die zweite Information 24 jeweils Rohdaten der ersten Erfassungseinrichtung 14 beziehungsweise der zweiten Erfassungseinrichtung 16 sind. Diese Rohdaten werden dann entsprechend fusioniert. Es erfolgt anschließend ein Zusammenführen, welches auch als Clustering bezeichnet wird, der zusammengehörenden Daten in Abhängigkeit des Entscheidungskriteriums. Durch das Zusammenführen der ersten Information 22 und der zweiten Information 24 wird die Datenmenge stark reduziert. Des Weiteren werden mehrere Erfassungseinrichtungen 14, 16 zum Zusammenführen beziehungsweise zum Fusionieren vereinigt, um auf der einen Seite die Diversität der Erfassungseinrichtungen 14, 16 des Fahrerassistenzsystems 12 oder eines hochautomatisierten Systems beizubehalten, was die Stabilität des Zusammenführens erhöht, und auf der anderen Seite die Datenmenge zusätzlich zu reduzieren.
  • Dadurch ist es ermöglicht, dass die zentrale elektronische Recheneinrichtung 20 mit weniger Datengrößen zu arbeiten hat, wobei sie insbesondere gleichzeitig weniger der spezifischen Informationen, wie es bei einer Objektschnittstelle gemäß dem Stand der Technik typischerweise der Fall ist, verliert. Des Weiteren werden die Informationen 22, 24 durch die Verwendung mehrerer Erfassungseinrichtungen 14, 16, welche insbesondere auch Sensoren des Kraftfahrzeugs 10 sein können, robuster gegenüber sensorspezifischem Fehlverhalten. Dadurch ist es ermöglicht, dass das Fahrerassistenzsystem 12 insgesamt eine höhere Leistung sowie eine erhöhte Robustheit liefern kann bei nur geringfügig erhöhten absoluten Datenmengen durch die Filterung von redundanten Informationen.
  • Unter Erfassungsart ist insbesondere zu verstehen, wie die Erfassungseinrichtung 14, 16 die Umgebung 18 erfasst. Beispielsweise kann ein Lidarsensor mittels Laserstrahlen als Erfassungsart die Umgebung 18 erfassen. Beispielsweise kann eine Kamera durch Aufnehmen von Bildern die Umgebung 18 erfassen. Beispielsweise kann ein Ultraschallsensor durch Aussenden und Empfangen von Ultraschallsignalen die Umgebung 18 erfassen. Beispielsweise kann ein Radarsensor durch Aussenden und Empfangen von Radarsignalen die Umgebung 18 erfassen.
  • Ferner kann insbesondere vorgesehen sein, dass die fusionierten Informationen 22, 24 mit einer weiteren Information 30 eines weiteren Sensors 32 des Kraftfahrzeugs 10 zu dem Datenpaket 26 zusammengefasst werden und das Datenpaket 26 zum Auswerten an die elektronische Recheneinrichtung 20 übertragen wird. Insbesondere kann es sich bei der zusätzlichen Information 30 um eine Information 22, 24, 30 von umliegenden Daten mehrerer Erfassungseinrichtungen 14, 16, insbesondere Sensoren, handeln, um Informationen 22, 24, 30 über beispielsweise ein Zielobjekt in der Umgebung 18 des Kraftfahrzeugs 10 generieren zu können. Ebenfalls möglich ist, dass beispielsweise eine Punktwolke mit zusätzlichen Informationen generiert werden kann. Durch diese weitere Information 30, wie beispielsweise ein potentieller Objekttyp und/oder eine Detektionswahrscheinlichkeit und/oder eine Oberflächenbeschaffenheit werden wertvolle Zusatzinformationen zur Verfügung gestellt, ohne aber dabei den Detailgrad des Datenpakets 26 so stark einzuschränken, wie es bei einer Objektschnittstelle gemäß dem Stand der Technik der Fall wäre. Dadurch kann datenreduziert und dennoch hochfunktionell das Fahrerassistenzsystem 12 betrieben werden.
  • Insbesondere kann vorgesehen sein, dass mittels der weiteren Information 30 eine charakterisierende Eigenschaft der Umgebung 18 vorgegeben wird. Insbesondere kann es sich beispielsweise bei der charakterisierenden Eigenschaft um eine Eigenschaft bezüglich der Beschaffenheit einer Fahrbahn in der Umgebung 18 des Kraftfahrzeugs 10 handeln oder beispielsweise um die geschätzte Klassifizierung eines Objekts beziehungsweise als Fahrzeug aufgrund der Struktur und Reflexeigenschaften innerhalb der Umgebung 18 des Kraftfahrzeugs 10. Diese weitere Information 30 kann dann insbesondere den bereits fusionierten Informationen 22, 24 angehängt und entsprechend von dem fusionierten Sensor an die zentrale elektronische Recheneinrichtung 20 weitergegeben werden. Dadurch können ein potentieller Objekttyp, eine Detektionswahrscheinlichkeit, eine Oberflächenbeschaffenheit oder dergleichen mit an das Datenpaket 26 angeschlossen werden, wodurch zusätzliche Informationen zur Verfügung gestellt werden können, ohne dabei den Detailgrad der Daten so stark einzuschränken, wie es bei Objektschnittstellen gemäß dem Stand der Technik der Fall wäre.
  • Insbesondere kann weiterhin vorgesehen sein, dass die Umgebung 18 mittels einer Kamera als erste Erfassungseinrichtung 14 und mittels eines Lidarsensors als zweite Erfassungseinrichtung 16 erfasst wird. Ebenfalls möglich ist, dass die erste Erfassungseinrichtung 14 und/oder die zweite Erfassungseinrichtung 16 als Radarsensor oder als Ultraschallsensor ausgebildet sein kann.
  • Ferner kann vorgesehen sein, dass die erste Information 22 und die zweite Information 24 auf Basis einer Entfernung der erfassten Umgebung 18 zum Kraftfahrzeug 10 als Entscheidungskriterium, insbesondere auf Basis einer vertikalen Ausdehnung, fusioniert werden. Mit anderen Worten werden in Abhängigkeit einer Entfernung eines Zielobjekts in der Umgebung 18 des Kraftfahrzeugs 10 die Daten entsprechend zusammengefasst. Beispielsweise kann dadurch zuverlässig eine Objektdetektion durchgeführt werden, da die Informationen 22, 24 das Objekt betreffend fusioniert werden. Insbesondere durch die Ausgestaltungsform mit der vertikalen Ausdehnung kann zuverlässig die Umgebung 18 für das Fahrerassistenzsystem 12 erfasst werden.
  • Weiterhin kann vorgesehen sein, dass mittels des Fahrerassistenzsystems 12 ein zumindest teilweise autonomer, insbesondere vollautonomer, Fahrbetrieb des Kraftfahrzeugs 10 durchgeführt. Mit anderen Worten handelt es sich bei dem Fahrerassistenzsystem 12 um ein insbesondere hochautomatisiertes Fahrerassistenzsystem 12. Das Fahrerassistenzsystem 12 kann im vollautonomen Fahrbetrieb auch als Fahrerunterstützungssystem beziehungsweise Fahrzeugführungssystem bezeichnet werden. Insbesondere durch die präzise und zuverlässige Erfassung der Umgebung 18 mittels des Fahrerassistenzsystems 12 und der fusionierten Daten kann insbesondere in Echtzeit die Umgebung 18 erfasst werden und somit zuverlässig die Informationen 22, 24, 30 die Umgebung 18 betreffend in der elektronischen Recheneinrichtung 20 ausgewertet werden. Dadurch können insbesondere schnelle Reaktionszeiten des Fahrerassistenzsystems 12 realisiert werden, wodurch insbesondere die Sicherheit im Straßenverkehr erhöht wird.
  • Insgesamt zeigt die Erfindung ein Verfahren zum multimodalen vertikalen Clustering von Rohdaten mit angereicherten Informationen mehrerer Sensortypen.
  • Bezugszeichenliste
    • 10
    Kraftfahrzeug
    12
    Fahrerassistenzsystem
    14
    erste Erfassungseinrichtung
    16
    zweite Erfassungseinrichtung
    18
    Umgebung
    20
    elektronische Recheneinrichtung
    22
    erste Information
    24
    zweite Information
    26
    Datenpaket
    28
    Fusionseinrichtung
    30
    weitere Information
    32
    weiterer Sensor
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102009009047 A1 [0005]

Claims (6)

  1. Verfahren zum Betreiben eines Fahrerassistenzsystems (12) eines Kraftfahrzeugs (10) mit einer ersten Erfassungseinrichtung (14), mit einer zweiten Erfassungseinrichtung (16) und mit einer zentralen elektronischen Recheneinrichtung (20), wobei mittels der ersten Erfassungseinrichtung (14) auf eine erste Erfassungsart eine erste Information (22) einer Umgebung (18) des Kraftfahrzeugs (10) und mittels der zweiten Erfassungseinrichtung (16) auf eine zur ersten Erfassungsart unterschiedlichen zweiten Erfassungsart eine zweite Information (24) der Umgebung (18) erfasst werden und mittels der elektronischen Recheneinrichtung (20) die erste Information (22) und die zweite Information (24) ausgewertet werden, dadurch gekennzeichnet, dass die erste Information (22) und die zweite Information (24) fusioniert werden und die fusionierten Informationen (22, 24) in Abhängigkeit eines Entscheidungskriteriums zu einem Datenpaket (26) zusammengefasst werden und das Datenpaket (26) zum Auswerten an die elektronische Recheneinrichtung (20) übertragen wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die fusionierten Informationen (22, 24) mit einer weiteren Information (30) einer weiteren Sensoreinrichtung (32) des Kraftfahrzeugs (10) zu dem Datenpaket (26) zusammengefasst werden und das Datenpaket (26) zum Auswerten an die elektronische Recheneinrichtung (20) übertragen wird.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass mittels der weiteren Information (30) eine charakterisierende Eigenschaft der Umgebung (18) vorgegeben wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebung (18) mittels einer Kamera als die erste Erfassungseinrichtung (14) und mittels eines Lidarsensors als die zweite Erfassungseinrichtung (16) erfasst wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Information (22) und die zweite Information (24) auf Basis einer Entfernung der erfassten Umgebung (18) zum Kraftfahrzeug (10) als Entscheidungskriterium, insbesondere auf Basis einer vertikalen Ausdehnung, fusioniert werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels des Fahrerassistenzsystems (12) ein zumindest teilweise autonomer, insbesondere vollautonomer, Fahrbetrieb des Kraftfahrzeugs (10) durchgeführt wird.
DE102018005969.4A 2018-07-27 2018-07-27 Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen Withdrawn DE102018005969A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102018005969.4A DE102018005969A1 (de) 2018-07-27 2018-07-27 Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
PCT/EP2019/068710 WO2020020654A1 (de) 2018-07-27 2019-07-11 Verfahren zum betreiben eines fahrerassistenzsystems mit zwei erfassungseinrichtungen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018005969.4A DE102018005969A1 (de) 2018-07-27 2018-07-27 Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen

Publications (1)

Publication Number Publication Date
DE102018005969A1 true DE102018005969A1 (de) 2020-01-30

Family

ID=67262324

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018005969.4A Withdrawn DE102018005969A1 (de) 2018-07-27 2018-07-27 Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen

Country Status (2)

Country Link
DE (1) DE102018005969A1 (de)
WO (1) WO2020020654A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11885886B2 (en) 2020-10-23 2024-01-30 Ford Global Technologies, Llc Systems and methods for camera-LiDAR fused object detection with LiDAR-to-image detection matching
US11430224B2 (en) 2020-10-23 2022-08-30 Argo AI, LLC Systems and methods for camera-LiDAR fused object detection with segment filtering
WO2022108745A1 (en) * 2020-11-23 2022-05-27 Argo AI, LLC Systems and methods for object detection with lidar decorrelation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009009047A1 (de) 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
WO2011073683A1 (en) * 2009-12-17 2011-06-23 Bae Systems Plc Producing data describing states of a plurality of targets

Also Published As

Publication number Publication date
WO2020020654A1 (de) 2020-01-30

Similar Documents

Publication Publication Date Title
DE102017203838B4 (de) Verfahren und System zur Umfelderfassung
EP3338056B1 (de) Verfahren zum lokalisieren eines automatisierten kraftfahrzeugs
DE102018218220A1 (de) Steuergerät für ein Fahrzeug
EP2150939B1 (de) Verfahren und vorrichtung zum bestimmen der position eines verkehrszeichens
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
DE102016219455A1 (de) Kraftfahrzeug, Verfahren und aktive Infrastruktur zur Überprüfung einer Umfelderfassung eines Kraftfahrzeugs
EP2033165B1 (de) Verfahren für die erfassung eines verkehrsraums
DE102015220252A1 (de) Spurhalte-Unterstützungssystem und Verfahren für dieses
WO2014118178A1 (de) Erstellen eines umfeldmodells für ein fahrzeug
DE102012001554A1 (de) Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung und Kraftfahrzeug
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102014201158A1 (de) Verfahren und Vorrichtung zum Überprüfen eines von einer Objekterkennung erkannten relevanten Objekts
WO2020020654A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems mit zwei erfassungseinrichtungen
DE102018133441A1 (de) Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs
DE102021002798A1 (de) Verfahren zur kamerabasierten Umgebungserfassung
DE102018121008A1 (de) Kreuzverkehrserfassung unter verwendung von kameras
DE102019008093A1 (de) Verfahren zum Fusionieren von Sensordaten einer Vielzahl von Erfassungseinrichtungen mittels eines spärlichen Belegungsgitters, sowie Fahrerassistenzsystem
DE102016012345A1 (de) Verfahren zum Erkennen von Objekten
DE102008025773A1 (de) Verfahren zur Schätzung eines Orts- und Bewegungszustands eines beobachteten Objekts
DE102018215753A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
DE202016001002U1 (de) System zur Erkennung einer Richtungsfahrbahn, Kraftfahrzeug sowie Computerprogrammprodukt
DE102018220114A1 (de) Vorrichtung und Verfahren zum Erkennen einer Sensorblockade eines Umgebungssensors
WO2015090691A1 (de) Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
DE102017211887A1 (de) Verfahren und Vorrichtung zum Lokalisieren und automatisierten Betreiben eines Fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: DAIMLER AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee