EP4702373A1 - Verfahren zur erkennung und verfolgung von objekten in einer umgebung eines fahrzeugs - Google Patents

Verfahren zur erkennung und verfolgung von objekten in einer umgebung eines fahrzeugs

Info

Publication number
EP4702373A1
EP4702373A1 EP24710676.8A EP24710676A EP4702373A1 EP 4702373 A1 EP4702373 A1 EP 4702373A1 EP 24710676 A EP24710676 A EP 24710676A EP 4702373 A1 EP4702373 A1 EP 4702373A1
Authority
EP
European Patent Office
Prior art keywords
reflections
detected
objects
tracked
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24710676.8A
Other languages
English (en)
French (fr)
Inventor
Robin Heinzler
Marvin SIMCHEN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of EP4702373A1 publication Critical patent/EP4702373A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung und Verfolgung von Objekten (O) in einer Umgebung eines Fahrzeugs (1), wobei mittels zumindest eines Lidarsensors (2) in mehreren aufeinanderfolgenden Messungen Lichtsignale (LS) ausgesendet und von Objekten (O) zurückgesendete Reflexionen (R1 bis Rm) der Lichtsignale (LS) erfasst werden, anhand der Reflexionen (R1 bis Rm) zu jeder Messung eine Punktewolke (PW1 bis PW4) erzeugt wird und mittels der in den aufeinanderfolgenden Messungen erzeugten Punktewolken (PW1 bis PW4) Objekte (O) in der Umgebung erkannt und verfolgt werden. Erfindungsgemäß werden die Reflexionen (R1 bis Rm) einer Messung mit Reflexionen (R1 bis Rm) vorheriger Messungen verglichen und Reflexionen (R1 bis Rm) innerhalb einer Messung, welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt (O) zugeordnet werden können, werden als nicht zu dem Objekt (O) gehörige Umgebungseinflüsse (UE) erkannt und gefiltert.

Description

Verfahren zur Erkennung und Verfolgung von Objekten in einer Umgebung eines Fahrzeugs
Die Erfindung betrifft ein Verfahren zur Erkennung und Verfolgung von Objekten in einer Umgebung eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1.
Die Erfindung betrifft weiterhin ein Verfahren zum automatisierten Betrieb eines Fahrzeugs.
Für einen automatisierten, beispielsweise hochautomatisierten oder autonomen Fährbetrieb eines Fahrzeugs ist eine Erfassung einer Umgebung des Fahrzeugs erforderlich, welche mittels Kameras, Radarsensoren und Lidarsensoren durchgeführt wird. Lidarsensoren vermessen dabei ihre Umgebung durch Aussenden von Lichtsignalen im Infrarotbereich und durch eine Erfassung von an Objekten reflektierten Lichtsignalen. Die so mittels eines Lidarsensors erfassten Daten können die Erfassung der Umgebung zusätzlich zu mittels einer Kamera und Radarsensoren erfassten Daten komplettieren und bieten eine erhöhte Redundanz. Auf Lidardaten basierte Objekterkennungsalgorithmen verarbeiten mittels Lidarsensoren erzeugte Punktewolken, welche Rohdaten von Lidarsensoren darstellen, und erkennen auf Basis von Punkten dieser Punktewolken Objekte. Jeder Punkt enthält dabei neben geometrischen Koordinaten, das heißt kartesischen oder Polarkoordinaten, weitere Metainformationen über eine Lidarmessung, wie zum Beispiel eine Intensität, eine Echo-Pulsweite und Detektionsinformationen. Auf Basis geometrischer Informationen der Punktewolke werden Objekte erkannt, indem räumlich naheliegende Punkte zu einem durchgehenden Objekt verbunden werden.
Lidarsensoren können durch Umgebungseinflüsse wie Staub, Wasserdampf oder Sandwolken in ihrer Wahrnehmung und Objektdetektion beeinträchtigt werden. Klassische Objektalgorithmen, welche auf Basis einer mittels eines Lidarsensors erzeugten Punktewolke Objekte detektieren, können aufgrund solcher Umgebungseinflüsse beeinträchtigt werden. Dadurch können Objekte als falsch-positive Objekte falsch oder in einer fehlerhaften geometrischen Ausdehnung erkannt werden. Erkennt der Lidarsensor beispielsweise eine Abgaswolke eines Fahrzeugs, kann dies dazu führen, dass ein Fahrzeug falsch positioniert oder falsch in seinen geometrischen Ausdehnungen erkannt wird.
Aus der US 2019 179 052 A1 ist ein Verfahren zur Steuerung eines Fahrzeugs bekannt. Das Verfahren umfasst die Schritte:
- Empfangen von für eine Umgebung des Fahrzeugs erfassten Laserdaten, wobei die Laserdaten mehrere Laserdatenpunkte umfassen, in mehreren Scans;
- Zuordnen von Laserdatenpunkten zu einem Objekt in der Umgebung durch ein Computergerät;
- Verfolgen des Objekts in der Umgebung, während sich das Fahrzeug durch die Umgebung bewegt, basierend auf Laserdaten, die in den Scans der Umgebung empfangen werden,
- Bestimmen gegebener Laserdatenpunkte, die nicht mit dem Objekt in der Umgebung verknüpft sind, als repräsentativ für ein nicht verfolgtes Objekt;
- Bestimmen von Laserdatenpunkten, die nicht mit dem Objekt in der durch zusätzliche Daten beschriebenen Umgebung verknüpft sind;
- Identifizieren einer Angabe einer Wetterbedingung in der Umgebung durch das Computergerät auf der Grundlage von Laserdatenpunkten, die nicht mit dem Objekt in der Umgebung verknüpft sind; und
- Steuern des Fahrzeugs in einem autonomen Modus basierend auf der Angabe der Wetterbedingung.
Aus der DE 102020 119498 A1 ist ein Verfahren zum Schätzen einer Eigenbewegung eines Fahrzeugs bekannt.
Aus der EP 3 715 908 A1 ist ein Verfahren zur optischen Distanzmessung bekannt.
Aus der DE 102010 062 378 A1 ist ein Verfahren und eine Einrichtung für die Umfelderfassung mit mindestens einem Lidarsensor bekannt.
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Erkennung und Verfolgung von Objekten in einer Umgebung eines Fahrzeugs und ein neuartiges Verfahren zum automatisierten Betrieb eines Fahrzeugs anzugeben. Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Erkennung und Verfolgung von Objekten, welches die im Anspruch 1 angegebenen Merkmale aufweist, und durch ein Verfahren zum automatisierten Betrieb eines Fahrzeugs, welches die im Anspruch 7 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem Verfahren zur Erkennung und Verfolgung von Objekten in einer Umgebung eines Fahrzeugs werden mittels zumindest eines Lidarsensors in mehreren aufeinanderfolgenden Messungen Lichtsignale ausgesendet und von Objekten zurückgesendete Reflexionen der Lichtsignale erfasst. Anhand der Reflexionen wird zu jeder Messung eine Punktewolke erzeugt und mittels der in den aufeinanderfolgenden Messungen erzeugten Punktewolken werden Objekte in der Umgebung erkannt und verfolgt.
Erfindungsgemäß werden die Reflexionen einer Messung mit Reflexionen vorheriger Messungen verglichen und Reflexionen innerhalb einer Messung, welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt zugeordnet werden können, als nicht zu dem Objekt gehörige Umgebungseinflüsse erkannt und gefiltert.
Innerhalb einer Messung eines Lidarsensors, das heißt dem Aussenden eines Lichtsignals und einem Erfassen von dem Objekt zugehörigen Reflexionen, können weitere Reflexionen auftreten, wenn welche durch zwischen dem Lidarsensor und dem verfolgten Objekt, auch als getracktes Objekt bezeichnet, auftretende Umgebungseinflüsse wie beispielsweise Regen, Gischt, Abgase, Staub, Wasserdampf, Sandwolken und andere Einflüsse auftreten können. Das Verfahren ermöglicht in einfacher und zuverlässiger Weise die Erkennung und Filterung dieser zu Umgebungseinflüssen gehörigen Reflexionen, damit das verfolgte Objekt und insbesondere dessen Konturen sicher erkannt werden können. Insbesondere können mittels des Verfahrens Umgebungseinflüsse erkannt werden, welche spontan auftreten, wie beispielsweise ein Ablassen von Flüssigkeit aus dem verfolgten Objekt.
Somit ermöglicht das vorliegende Verfahren eine Optimierung eines anhand von Lidardaten durchgeführten Objekterkennungsalgorithmus und eine Erhöhung einer Robustheit desselben gegenüber Umgebungseinflüsse. Dadurch kann eine Erkennung falsch-positiver Objekte oder fehlerhafter geometrischer Abmessungen verhindert werden. Gemäß einer möglichen Ausgestaltung des Verfahrens werden als Reflexionen, welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt zugeordnet werden können, solche Reflexionen verwendet, welche eine Kontur eines in den vorherigen Messungen erkannten und verfolgten Objekts beeinflussen und/oder ein weiteres Objekt in den Punktewolken erzeugen. Hierdurch können eine besonders zuverlässige Erkennung der Umgebungseinflüsse und daraus folgend eine besonders zuverlässige Filterung solcher erzielt werden.
Gemäß einer weiteren möglichen Ausgestaltung des Verfahrens werden die Reflexionen, welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt zugeordnet werden können, anhand von sekundären Punkten in einer Punktewolke erkannt, die in einer Messung zwischen der Aussendung eines Lichtsignals und einer Erfassung primäre Punkte bildender Reflexionen, die dem in den vorherigen Messungen erkannten und verfolgten Objekt zugeordnet werden können, erkannt werden. Eine solche Erkennung der Umgebungseinflüsse ist besonders einfach und zuverlässig durchführbar.
Erfindungsgemäß wird bei dem Verfahren zur Erzeugung einer Punktewolke jeweils eine Reflexionskurve gebildet, welche einen zeitlichen Verlauf einer Leistung der Reflexionen nach dem Aussenden eines Lichtsignals darstellt. Anhand einer Impulslänge und/oder einer Impulshöhe von Reflexionen in der Reflexionskurve wird zwischen zu intransparenten Objekten gehörigen Reflexionen und zumindest teilweise transparenten Objekten unterschieden, wobei die zumindest teilweise transparenten Objekte als nicht zu einem in den vorherigen Messungen erkannten und verfolgten intransparenten Objekt gehörigen Umgebungseinflüsse erkannt werden. Dies ermöglicht eine zuverlässige und einfach durchführbare Unterscheidung zwischen einem verfolgten Objekt und Umgebungseinflüssen.
Erfindungsgemäß wird bei dem Verfahren eine zeitliche Verschiebung zwischen zumindest zwei zu unterschiedlichen Zeitpunkten erfassten Reflexionskurven ermittelt, wobei anhand der erfassten zeitlichen Verschiebung eine eindimensionale Bestimmung einer jeweiligen Geschwindigkeit der Reflexionen durchgeführt wird. Die bestimmten Geschwindigkeiten werden den intransparenten Objekten und zumindest teilweise transparenten Objekten zugeordnet, wobei anhand der zugeordneten Geschwindigkeiten die Unterscheidung zwischen den intransparenten Objekten und zumindest teilweise transparenten Objekten plausibilisiert wird. Durch eine solche Plausibilisierung kann die Zuverlässigkeit der Unterscheidung zwischen einem verfolgten Objekt und Umgebungseinflüssen weiter erhöht werden.
Gemäß einer weiteren möglichen Ausgestaltung des Verfahrens wird eine zeitliche Verschiebung zwischen zumindest zwei zu unterschiedlichen Zeitpunkten erfassten Reflexionskurven ermittelt, wobei anhand der ermittelten zeitlichen Verschiebung eine eindimensionale Bestimmung einer jeweiligen Geschwindigkeit der Reflexionen durchgeführt wird. Anhand einer bekannten Senderichtung des Lidarsensors und den eindimensional bestimmten Geschwindigkeiten werden jeweils dreidimensionale Geschwindigkeitsvektoren bestimmt, wobei anhand unterschiedlicher Beträge und Richtungen der Geschwindigkeitsvektoren zwischen dem in den vorherigen Messungen erkannten und verfolgten Objekt und den Umgebungseinflüssen unterschieden wird. Auch dies ermöglicht eine zuverlässige und einfach durchführbare Unterscheidung zwischen einem verfolgten Objekt und Umgebungseinflüssen.
In einem Verfahren zum automatisierten, insbesondere hochautomatisierten oder autonomen Betrieb eines Fahrzeugs in Abhängigkeit von in einer Umgebungserfassung erfassten Daten werden in der Umgebungserfassung eine Erkennung und Verfolgung von Objekten in der Umgebung des Fahrzeugs mittels eines vorgenannten Verfahrens durchgeführt.
Durch die zuverlässige Unterscheidung von verfolgten Objekten und Umgebungseinflüssen kann auch eine Zuverlässigkeit eines automatisierten Fährbetriebs erreicht, insbesondere eine Erkennung falsch-positiver Objekte oder fehlerhafter geometrischer Abmessungen verhindert werden. Ein falsch-positiv erkanntes Objekt kann beispielsweise zu einer Falschbremsung oder zu einem falschen Lenkeingriff führen, so dass aufgrund der zuverlässigen Vermeidung der Erkennung falsch-positiver Objekte oder fehlerhafter geometrischer Abmessungen falsche Manöver in lateraler und longitudinaler Richtung des Fahrzeugs während des automatisierten Fährbetriebs vermieden werden können.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen: Fig. 1 schematisch ein mittels einer Kamera erfasstes Bild einer Umgebung eines Fahrzeugs und eine mittels eines Lidarsensors erzeugte Punktewolke dieser Umgebung zu einem ersten Zeitpunkt,
Fig. 2 schematisch ein mittels einer Kamera erfasstes Bild einer Umgebung eines Fahrzeugs, einen vergrößerten Ausschnitt des Bilds und eine mittels eines Lidarsensors erzeugte Punktewolke dieser Umgebung zu einem zweiten Zeitpunkt,
Fig. 3 schematisch eine mittels eines Lidarsensors aus sekundären Reflexionen erzeugte Punktewolke einer Umgebung eines Fahrzeugs zu einem Zeitpunkt und eine mittels des Lidarsensors aus primären Reflexionen erzeugte Punktewolke der Umgebung des Fahrzeugs zum gleichen Zeitpunkt,
Fig. 4 schematisch ein Fahrzeug mit einem Lidarsensor während einer Erfassung einer Umgebung des Fahrzeugs und
Fig. 5 schematisch eine Reflexionskurve, welche einen zeitlichen Verlauf einer Leistung von mittels eines Lidarsensors erfassten Reflexionen nach einem Aussenden eines Lichtsignals darstellt.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In Figur 1 sind ein mittels einer Kamera erfasstes Bild B1 einer Umgebung eines in Figur 4 gezeigten Fahrzeugs 1 und eine mittels eines ebenfalls in Figur 4 gezeigten Lidarsensors 2 erzeugte Punktewolke PW1 dieser Umgebung zu einem ersten Zeitpunkt dargestellt. Die Punktewolke PW1 zeigt die in dem Bild B1 dargestellte Umgebung dabei in einer Draufsicht bzw. aus einer Vogelperspektive. Das Bild B1 zeigt dabei mehrere Objekte, wobei zur Wahrung der Übersichtlichkeit und zur Vereinfachung der Beschreibung lediglich ein Objekt O betrachtet wird.
Zur Erkennung und Verfolgung von Objekten O in einer Umgebung eines Fahrzeugs 1 werden mittels zumindest eines Lidarsensors 2 in mehreren aufeinanderfolgenden Messungen in Figur 5 näher dargestellte Lichtsignale LS ausgesendet und von
Objekten O zurückgesendete und in Figur 4 näher dargestellte Reflexionen R1 bis Rm der Lichtsignale LS erfasst. Anhand der Reflexionen R1 bis Rm wird zu jeder Messung eine Punktewolke PW1 erzeugt und mittels der in den aufeinanderfolgenden Messungen erzeugten Punktewolken PW1 werden Objekte O in der Umgebung mittels eines Erkennungsalgorithmus erkannt und mittels eines Trackingalgorithmus verfolgt bzw. getrackt.
Bei dem dargestellten Objekt O handelt es sich um ein solches, bereits über mehrere Messungen verfolgtes Objekt O, welches sich in einer rechten Nachbarspur vor dem Fahrzeug 1 befindet und dessen mittels des Lidarsensors 2 erfasste links- und rückseitige Kontur in der Punktewolke PW1 im Wesentlichen L-förmig dargestellt ist.
Die Punktewolke PW1 bildenden Punkte P1 bis Pn basieren dabei auf erfassten primären Reflexionen R1 bis Rm und sekundären Reflexionen R1 bis Rm. Dies resultiert daraus, dass Lidarsensoren 2 mehrere Detektionen bzw. Reflexionen R1 bis Rm pro ausgesendetem Lichtsignal LS erkennen. Diese Detektionen werden beispielsweise nach ihrer Distanz zum Lidarsensor 2 sortiert und beispielsweise als erstes und zweites Echo bzw. primäre und sekundäre Reflexionen R1 bis Rm benannt. Dabei hat das erste Echo bzw. die primäre Reflexion R1 bis Rm eine größere radiale Entfernung zum Lidarsensor 2 als das zweite Echo bzw. die sekundäre Reflexion R1 bis Rm.
Figur 2 zeigt ein zu einem im Vergleich zu Figur 1 späteren zweiten Zeitpunkt mittels einer Kamera erfasstes Bild B2 einer Umgebung des Fahrzeugs 1 , einen vergrößerten Ausschnitt BA des Bilds B2 und eine mittels des Lidarsensors 2 erzeugte Punktewolke PW2 dieser Umgebung zu diesem zweiten Zeitpunkt.
Wie der Bildausschnitt BA zeigt, stößt das als Lastkraftwagen ausgebildete Objekt O zu diesem zweiten Zeitpunkt Kondensat aus, welches in der Punktewolke PW2 durch linkseitig neben der Kontur des Objekts O befindliche Punkte P1 bis Pn wiedergegeben ist. Da dieses Kondensat nicht zum verfolgten Objekt O gehört, wird dieses im Weiteren als Umgebungseinfluss UE bezeichnet.
Derartige Umgebungseinflüsse UE, welche beispielsweise auch durch Regen, Gischt, Abgase, Staub, Wasserdampf, Sandwolken und andere Einflüsse gebildet werden, können die durch Auswertung der Punktewolken PW1 , PW2 durchgeführte Erkennung und Verfolgung von Objekten O in der Umgebung des Fahrzeugs 1 beeinträchtigen.
Um solche Beeinträchtigungen zu vermeiden, ist vorgesehen, dass die Reflexionen R1 bis Rm einer Messung, beispielsweise der Messung gemäß Figur 2, und eine daraus resultierende Punktewolke PW2 mit Reflexionen R1 bis Rm vorheriger Messungen, beispielsweise der Messung gemäß Figur 1 , und einer daraus resultierenden Punktewolke PW1 verglichen werden, wobei Reflexionen R1 bis Rm innerhalb einer Messung, welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt O zugeordnet werden können, als nicht zu dem Objekt O gehörige Umgebungseinflüsse UE erkannt und gefiltert werden.
Solche nicht dem Objekt O zuordbare Reflexionen R1 bis Rm sind beispielsweise durch die durch das Kondensat in der Punktewolke PW2 verursachten Punkte P1 bis Pn wiedergegeben, welche sich linkseitig neben der Kontur des Objekts O befinden und somit die Kontur des in den vorherigen Messungen erkannten und verfolgten Objekts O beeinflussen und/oder ein weiteres Objekt in der Punktewolke PW2 erzeugen.
Die Erkennung solcher Reflexionen R1 bis Rm kann beispielsweise durch Erkennung von durch die genannten sekundären Reflexionen R1 bis Rm in der Punktewolke PW2 erzeugten sekundären Punkten P1 bis Pn erfolgen, die in einer Messung zwischen der Aussendung eines Lichtsignals LS und einer Erfassung primäre Punkte P1 bis Pn bildender Reflexionen R1 bis Rm, die dem in den vorherigen Messungen erkannten und verfolgten Objekt O zugeordnet werden können, erkannt werden.
Wie dargestellt, ist das Objekt O ein über mehrere Zeitzyklen bzw. Messungen verfolgtes Objekt O. Entstehen im Folgenden Detektionen mit mehreren sekundären
Reflexionen R1 bis Rm, welche die konturgebende Form des Objekts O beeinflussen oder ein weiteres Objekt hervorrufen, kann zur Erkennung des Objekts O die Verwendung von sekundären Reflexionen R1 bis Rm ausgeschlossen werden. Dadurch werden die geometrischen Eigenschaften des Objekts O in der Lidarmessung stabilisiert und die Erkennung einer falsch-positiven Objektgeometrie kann verhindert werden. Besteht ein in der Lidarmessung erfasstes Objekt primär aus sekundären Reflexionen R1 bis Rm bzw. sekundären Punkten P1 bis Pn, handelt es sich mit großer Wahrscheinlichkeit um einen Umgebungseinfluss UE. Eine Information hierüber kann an nachfolgende Algorithmen weitergeleitet werden, um eine Erkennung falsch-positiver Objekte oder falsch-positiver Objektgeometrien zu verhindern.
Um dies zu veranschaulichen, zeigt Figur 3 eine mittels eines Lidarsensors 2 aus sekundären Reflexionen R1 bis Rm erzeugte Punktewolke PW3 einer Umgebung eines Fahrzeugs 1 zu einem Zeitpunkt und eine mittels des Lidarsensors 2 aus primären Reflexionen R1 bis Rm erzeugte Punktewolke PW4 der Umgebung des Fahrzeugs 1 zum gleichen Zeitpunkt.
Anhand der Unterscheidung der beiden Punktewolken PW3, PW4 wird deutlich, dass die zuvor störungsfrei getrackte Kontur des als Lastkraftwagen ausgebildeten Objekts O weiterhin über die aus primären Reflexionen R1 bis Rm gebildeten primären Punkte P1 bis Pn erkannt wird. Werden für die Objektbildung die aus sekundären Reflexionen R1 bis Rm gebildeten primären Punkte P1 bis Pn nicht verwendet, so können die Umgebungseinflüsse UE, wie hier im Beispiel das Kondensat, ignoriert werden.
Somit kann eine Objekterkennung realisiert werden, welche robust gegenüber Umgebungseinflüssen UE ist, indem die sekundären Reflexionen R1 bis Rm für die Objektbildung ausgeschlossen werden.
Figur 4 zeigt ein Fahrzeug 1 mit einem Lidarsensor 2 während einer Erfassung einer Umgebung des Fahrzeugs 1.
Im Erfassungsbereich des Lidarsensors 2 befindet sich rechts vor dem Fahrzeug 1 ein Objekt O, beispielsweise ein Lastkraftwagen gemäß den Figuren 1 und 2.
Die Erkennung von sekundären Reflexionen R1 bis R3 und primären Reflexionen R4 bis Rm kann beispielsweise durch Auswertung einer in Figur 5 näher dargestellten Reflexionskurve erfolgen. Dabei zeichnen sich sekundäre Reflexionen R1 bis R3 dadurch aus, dass nach diesen im zeitlichen Verlauf der Rückstreu kurve noch weitere primäre Reflexionen R4 bis Rm erkannt werden. Somit ist das sekundäre Echo zumindest teilweise transparent. Primäre Reflexionen R4 bis Rm zeichnen sich dadurch aus, dass zwischen einem ausgesendeten Lichtsignal LS, beispielsweise einem Lichtimpuls, und der erfassten primären Reflexion R4 bis Rm weitere Reflexionen R1 bis Rm, beispielsweise die sekundären Reflexionen R1 bis R3, erkannt wurden.
In Figur 5 ist eine Reflexionskurve dargestellt, welche einen Verlauf einer Leistung PRX von mittels eines Lidarsensors 2 erfassten Reflexionen R1 bis Rm nach einem Aussenden eines Lichtsignals LS in Abhängigkeit von der Zeit t darstellt.
Erfasst ein Lidarsensor 2 die gesamte Reflexionskurve über dem zeitlichen Verlauf, so ist neben der Erkennung von Objekten O anhand der charakteristischen Reflexionskurve eine Extraktion über die Eigenschaften der erfassten Objekte O möglich. So ist beispielsweise über eine Impulslänge IL1, IL2 und Impulshöhe IH1, IH2 eine Unterscheidung zwischen festen und teilweise transparenten Objekten O möglich.
Gemäß der dargestellten Reflexionskurve wird zu einem Zeitpunkt t0 ein Lichtsignal LS als Lichtimpuls ausgesendet. Zwischen einem Zeitpunkt ti und einem weiteren Zeitpunkt t2 erfolgt eine Erfassung einer ersten Reflexion R1 mit einer relativ großen Impulslänge IL1 und einer relativen geringen Impulshöhe IH1, welche sich zwischen Amplituden der Reflexion R1 und einem vorgegebenen Leistungsschwellwert Pth ergibt.
Zwischen einem Zeitpunkt t3 und einem Zeitpunkt t4 erfolgt eine Erfassung einer weiteren Reflexion R2 mit einer relativ geringen Impulslänge IL2 und einer relativ großen Impulshöhe IH2, welche sich zwischen Amplituden der Reflexion R2 und dem vorgegebenen Leistungsschwellwert Pth ergibt. Nach dem Zeitpunkt t4 ist das erfasste Signal durch Rauschen gekennzeichnet.
Hierbei wird ersichtlich, dass es sich bei der zeitlich nach der Reflexion R1 erfassten Reflexion R2 mit vergleichsweise geringer Impulslänge IL2 und großer Impulshöhe IH2 um eine primäre Reflexion R2 eines verfolgten intransparenten Objekts O und bei der Reflexion R1 mit vergleichsweise großer Impulslänge IL1 und geringer Impulshöhe IH1 um eine sekundäre Reflexion R1 eines zumindest teilweise transparent ausgebildeten Umgebungseinflusses UE, beispielsweise Staub, handelt. Somit kann anhand der Impulslänge IL1, IL2 und Impulshöhe IH1, IH2 zwischen festen bzw. intransparenten Gegenständen und zumindest teilweise transparent ausgebildeten Gegenständen unterschieden werden.
Weiterhin ist es möglich, anhand von Reflexionskurven zweier Messungen, welche zu unterschiedlichen Zeitpunkten erfasst wurden, eine eindimensionale Geschwindigkeit der erfassten Reflexionen R1 bis Rm auf Basis einer zeitlichen Verschiebung der beiden Messungen zu bestimmen. Durch die Charakteristik der Reflexionskurven ist dann eine Zuordnung der unterschiedlichen Reflexionen R1 bis Rm möglich. Durch eine bekannte Senderichtung des Lidarsensors 2 sind weiterhin dreidimensionale Geschwindigkeitsvektoren bestimmbar. Damit können die beschriebenen Objekte O und Umgebungseinflüsse UE aufgrund der unterschiedlichen Beträge und Richtungen der Geschwindigkeitsvektoren separiert werden.

Claims

Patentansprüche
1. Verfahren zur Erkennung und Verfolgung von Objekten (O) in einer Umgebung eines Fahrzeugs (1), wobei
- mittels zumindest eines Lidarsensors (2) in mehreren aufeinanderfolgenden Messungen Lichtsignale (LS) ausgesendet und von Objekten (O) zurückgesendete Reflexionen (R1 bis Rm) der Lichtsignale (LS) erfasst werden,
- anhand der Reflexionen (R1 bis Rm) zu jeder Messung eine Punktewolke (PW1 bis PW4) erzeugt wird und
- mittels der in den aufeinanderfolgenden Messungen erzeugten Punktewolken (PW1 bis PW4) Objekte (O) in der Umgebung erkannt und verfolgt werden, wobei
- die Reflexionen (R1 bis Rm) einer Messung mit Reflexionen (R1 bis Rm) vorheriger Messungen verglichen werden und
- Reflexionen (R1 bis Rm) innerhalb einer Messung, welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt (O) zugeordnet werden können, als nicht zu dem Objekt (O) gehörige Umgebungseinflüsse (UE) erkannt und gefiltert werden und wobei zur Erzeugung einer Punktewolke (PW1 bis PW4) jeweils eine Reflexionskurve gebildet wird, welche einen zeitlichen Verlauf einer Leistung (PRX) der Reflexionen (R1 bis Rm) nach dem Aussenden eines Lichtsignals (LS) darstellt,
- anhand einer Impulslänge (IL1, IL2) und/oder einer Impulshöhe (I H 1 , IH2) von Reflexionen (R1 bis Rm) in der Reflexionskurve zwischen zu intransparenten Objekten (O) gehörigen Reflexionen (R1 bis Rm) und zumindest teilweise transparenten Objekten unterschieden wird und - die zumindest teilweise transparenten Objekte als nicht zu einem in den vorherigen Messungen erkannten und verfolgten intransparenten Objekt (0) gehörige Umgebungseinflüsse (UE) erkannt werden, dadurch gekennzeichnet, dass eine zeitliche Verschiebung zwischen zumindest zwei zu unterschiedlichen Zeitpunkten erfassten Reflexionskurven ermittelt wird,
- anhand der ermittelten zeitlichen Verschiebung eine eindimensionale Bestimmung einer jeweiligen Geschwindigkeit der Reflexionen (R1 bis Rm) durchgeführt wird,
- die bestimmten Geschwindigkeiten den intransparenten Objekten (O) und zumindest teilweise transparenten Objekten (O) zugeordnet werden und
- anhand der zugeordneten Geschwindigkeiten die Unterscheidung zwischen den intransparenten Objekten (O) und zumindest teilweise transparenten Objekten plausibilisiert wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Reflexionen (R1 bis Rm), welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt (O) zugeordnet werden können, solche Reflexionen (R1 bis Rm) verwendet werden, welche eine Kontur eines in den vorherigen Messungen erkannten und verfolgten Objekts (O) beeinflussen und/oder ein weiteres Objekt in den Punktewolken (PW1 bis PW4) erzeugen.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Reflexionen (R1 bis Rm), welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt (O) zugeordnet werden können, anhand von sekundären Punkten (P1 bis Pn) in einer Punktewolke (PW1 bis PW4) erkannt werden, die in einer Messung zwischen der Aussendung eines Lichtsignals (LS) und einer Erfassung primäre
Punkte (P1 bis Pn) bildender Reflexionen (R1 bis Rm), die dem in den vorherigen Messungen erkannten und verfolgten Objekt (O) zugeordnet werden können, erkannt werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
- eine zeitliche Verschiebung zwischen zumindest zwei zu unterschiedlichen Zeitpunkten erfassten Reflexionskurven ermittelt wird,
- anhand der ermittelten zeitlichen Verschiebung eine eindimensionale Bestimmung einer jeweiligen Geschwindigkeit der Reflexionen (R1 bis Rm) durchgeführt wird,
- anhand einer bekannten Senderichtung des Lidarsensors (2) und den eindimensional bestimmten Geschwindigkeiten jeweils dreidimensionale Geschwindigkeitsvektoren bestimmt werden und
- anhand unterschiedlicher Beträge und Richtungen der Geschwindigkeitsvektoren zwischen dem in den vorherigen Messungen erkannten und verfolgten Objekt (O) und den Umgebungseinflüssen (UE) unterschieden wird.
5. Verfahren zum automatisierten Betrieb eines Fahrzeugs (1) in Abhängigkeit von in einer Umgebungserfassung erfassten Daten, wobei in der Umgebungserfassung eine Erkennung und Verfolgung von Objekten (O) in der Umgebung des Fahrzeugs (1) mittels eines Verfahrens nach einem der vorhergehenden Ansprüche durchgeführt werden.
EP24710676.8A 2023-04-24 2024-03-06 Verfahren zur erkennung und verfolgung von objekten in einer umgebung eines fahrzeugs Pending EP4702373A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023001652.7A DE102023001652B4 (de) 2023-04-24 2023-04-24 Verfahren zur Erkennung und Verfolgung von Objekten in einer Umgebung eines Fahrzeugs
PCT/EP2024/055769 WO2024223122A1 (de) 2023-04-24 2024-03-06 Verfahren zur erkennung und verfolgung von objekten in einer umgebung eines fahrzeugs

Publications (1)

Publication Number Publication Date
EP4702373A1 true EP4702373A1 (de) 2026-03-04

Family

ID=86606661

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24710676.8A Pending EP4702373A1 (de) 2023-04-24 2024-03-06 Verfahren zur erkennung und verfolgung von objekten in einer umgebung eines fahrzeugs

Country Status (4)

Country Link
EP (1) EP4702373A1 (de)
CN (1) CN121002398A (de)
DE (1) DE102023001652B4 (de)
WO (1) WO2024223122A1 (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010062378B4 (de) 2010-12-03 2024-06-06 Robert Bosch Gmbh Verfahren und Einrichtung für die Umfelderfassung mit einer Lidarsensorik
DE102011086244A1 (de) * 2011-11-14 2013-05-16 Robert Bosch Gmbh Verfahren zum Betreiben eines Sensors
US10247854B2 (en) 2013-05-07 2019-04-02 Waymo Llc Methods and systems for detecting weather conditions using vehicle onboard sensors
JP6505470B2 (ja) * 2015-02-27 2019-04-24 株式会社デンソー ノイズ除去方法および物体認識装置
EP3715908B1 (de) 2019-03-27 2024-11-20 MicroVision, Inc. Verfahren und vorrichtung zur optischen distanzmessung
DE102020119498A1 (de) 2020-07-23 2022-01-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Schätzen einer Eigenbewegung eines Fahrzeugs anhand von Messungen eines Lidar-Sensors sowie Recheneinrichtung
US20220390612A1 (en) * 2021-06-07 2022-12-08 Waymo Llc Determination of atmospheric visibility in autonomous vehicle applications

Also Published As

Publication number Publication date
DE102023001652A1 (de) 2023-06-22
DE102023001652B4 (de) 2024-06-20
WO2024223122A1 (de) 2024-10-31
CN121002398A (zh) 2025-11-21

Similar Documents

Publication Publication Date Title
EP0691534B1 (de) Verfahren zur Ermittlung der Sichtweite, insbesondere für die Bewegung eines Kraftfahrzeuges
EP1531343B1 (de) Verfahren zur Verfolgung von Objekten
DE102008013366B4 (de) Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme
DE102017102506B4 (de) Verfahren zum erfassen anderer fahrzeuge relativ zu einem trägerfahrzeug mittels raderfassung
DE19537129A1 (de) Hinderniserfassungssystem für Fahrzeuge
DE102018201220A1 (de) Abstandsdetektionssystem, Verfahren für ein Abstandsdetektionssystem und Fahrzeug
EP4296715B1 (de) Verfahren zur ermittlung einer angenäherten objektposition eines dynamischen objektes, computerprogramm, vorrichtung und fahrzeug
EP1298012B1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
WO2021170321A1 (de) Verfahren zum detektieren bewegter objekte in einer fahrzeugumgebung und kraftfahrzeug
DE102017117593A1 (de) Fahrzeugfahrassistenzvorrichtung
DE102011105074A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Sichtweite für ein Fahrzeug
EP1291674A2 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE102023001652B4 (de) Verfahren zur Erkennung und Verfolgung von Objekten in einer Umgebung eines Fahrzeugs
DE112020001528T5 (de) Erfassungsvorrichtung und erfassungsverfahren
WO2023072477A1 (de) Verfahren zur klassifizierung von wenigstens einem objekt in einer umgebung eines fahrzeugs mittels eines ultraschallsensorsystem sowie steuereinrichtung, ultraschallsensorsystem und fahrzeug
EP2287630B1 (de) Optoelektronische Erfassungsvorrichtung
DE102018117516B3 (de) Erkennung und Eliminierung von Störsignalen durch kodierte Ultraschallemissionen an einem Ultraschallsensor
WO2022258444A1 (de) Verfahren und vorrichtung zum ermitteln einer reichweite eines sensors
DE102022000734A1 (de) Verfahren zur Erkennung von Geisterobjekten in Lidar-Punktewolken
DE102022203792A1 (de) Verfahren und Vorrichtung zur Ansteuerung eines SPAD-basierten Lidar-Sensors und Umfelderfassungssystem
DE102021102301A1 (de) Verfahren zum betreiben eines fahrassistenzsystems, computerprogrammprodukt, fahrassistenzsystem und fahrzeug
DE102024001430B4 (de) Detektion von falsch-positiven Punkten einer Punktewolke eines aktiven Sensors
DE102019116960A1 (de) Verfahren zum Klassifizieren von Objekten in einer Umgebung eines Fahrzeugs mittels eines optoelektronischen Sensors unter Berücksichtigung eines Freiraums, Recheneinrichtung sowie Sensorvorrichtung
WO2025223724A1 (de) Objektdetektion durch hochaufgelöste clusterbildung
DE102022128787A1 (de) Verfahren und Assistenzsystem zum Detektieren von statischen Hindernissen und entsprechend eingerichtetes Kraftfahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250926

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR