DE102022128486A1

DE102022128486A1 - Verfahren zum Analysieren mindestens eines Objekts in einer Umgebung einer Sensorvorrichtung für ein Fahrzeug

Info

Publication number: DE102022128486A1
Application number: DE102022128486.7A
Authority: DE
Inventors: Sambit Mohapatra; Kevin Krupinski; Heinrich Gotzig
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2022-10-27
Filing date: 2022-10-27
Publication date: 2024-05-02
Also published as: WO2024088937A1

Abstract

Die Erfindung betrifft ein Verfahren zum Analysieren mindestens eines Objekts (23) in einer Umgebung (5) einer Sensorvorrichtung (2) für ein Fahrzeug (1). Das Verfahren umfasst: Bereitstellen (S2) einer Sensorinformation (12), die das mindestens eine Objekt (23) durch mindestens einen Messpunkt (11) beschreibt, der sich in einem ersten radialen Abstand (r1) zu der Sensorvorrichtung (2) befindet; Bestimmen (S4) einer künstlichen Sensorinformation (13), die mindestens einen künstlichen Punkt (14) in der Umgebung (5) beschreibt, wobei der künstliche Punkt (14) sich in einem zweiten radialen Abstand (r2) zu der Sensorvorrichtung (2) befindet, der um einen vorbestimmten Abstandswert (Δr) größer als der erste radiale Abstand (r1) ist; und Analysieren (S6) des mindestens einen Objekts (23) durch Anwenden eines Analysealgorithmus (21) sowohl auf die bereitgestellte Sensorinformation (12) als auch die bestimmte künstliche Sensorinformation (13).

Description

Die Erfindung betrifft ein Verfahren zum Analysieren mindestens eines Objekts in einer Umgebung einer Sensorvorrichtung für ein Fahrzeug. Die Erfindung betrifft des Weiteren ein Fahrzeug, eine Rechenvorrichtung für ein Fahrzeug sowie ein Computerprogrammprodukt zur Durchführung eines derartigen Verfahrens.
Ein Fahrzeug kann mindestens eine Sensorvorrichtung zum Erfassen einer Sensorinformation, die eine Umgebung des Fahrzeugs beschreibt, aufweisen. Die Sensorvorrichtung kann ein Radargerät, ein Lidargerät und/oder eine in dem Fahrzeug angebrachte Kamera sein. Zumindest in dem Fall, dass die Sensorvorrichtung ein Radargerät und/oder Lidargerät ist, kann die erfasste Sensorinformation eine Punktwolke von mehreren Messpunkten sein, die von der jeweiligen Sensorvorrichtung erfasst werden. Wenn jedoch ein Objekt in der Umgebung von der Sensorvorrichtung weit entfernt ist, zum Beispiel 50 Meter oder mehr, kann eine lokale Dichte von Messpunkten, die von der jeweiligen Sensorvorrichtung erfasst wird, gegenüber der lokalen Dichte von Messpunkten für ein Objekt, das sich näher an der Sensorvorrichtung befindet, gering sein. Die Sensorvorrichtung erhält somit nur wenig Sensorinformation zu diesem weit entfernten Objekt. Dies kann für eine Analyse der Sensorinformation nachteilig sein, insbesondere wenn die Analyse zur Objektdetektion und/oder semantischen Segmentierung bereitgestellt wird.
Eine Aufgabe der Erfindung ist es, eine Messpunktdichte von Messpunkten, die durch eine Sensorvorrichtung bereitgestellt werden, zu verbessern.
Der Gegenstand der unabhängigen Ansprüche löst diese Aufgabe.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Analysieren mindestens eines Objekts in einer Umgebung einer Sensorvorrichtung für ein Fahrzeug. Vorzugsweise ist die Sensorvorrichtung in dem Fahrzeug angebracht. Das Fahrzeug kann mehrere Sensorvorrichtungen aufweisen, die jeweils dazu eingerichtet sind, eine Sensorinformation zu erfassen, die die Umgebung der jeweiligen Sensorvorrichtung beschreibt. Die Umgebung ist typischerweise durch einen Erfassungsbereich der Sensorvorrichtung definiert.
Das Verfahren umfasst ein Bereitstellen einer Sensorinformation. Die Sensorinformation beschreibt das mindestens eine Objekt durch mindestens einen Messpunkt, der sich in einem ersten radialen Abstand zu der Sensorvorrichtung befindet. Das durch die Sensorinformation beschriebene mindestens eine Objekt ist das Objekt in der Umgebung der Sensorvorrichtung. Der mindestens eine Messpunkt wird zum Beispiel durch eine Koordinate des Punkts beschrieben. Insbesondere ist die Koordinate hinsichtlich der Sensorvorrichtung gegeben. Die Koordinate weist zumindest einen Wert auf, der den radialen Abstand des Messpunktes zu der Sensorvorrichtung und/oder einem Referenzpunkt der Sensorvorrichtung beschreibt. Der radiale Abstand kann alternativ als Radius oder radiale Koordinate des Messpunkts bezeichnet werden. Typischerweise beschreibt die Sensorinformation das mindestens eine Objekt durch mehrere Messpunkte, die sich jeweils in unterschiedlichen ersten radialen Abständen zu der Sensorvorrichtung befinden. Wenn mehrere Objekte in der Umgebung der Sensorvorrichtung vorhanden sind, kann die Sensorinformation mehrere Objekte beschreiben, wobei jedes Objekt durch vorzugsweise mehrere Messpunkte beschrieben wird. Die Sensorinformation kann einer Rechenvorrichtung des Fahrzeugs und/oder einer externen Rechenvorrichtung, wie etwa einem Server, einem Backend und/oder einem Cloud-Server, bereitgestellt werden. Die Sensorinformation kann durch Sensordaten beschrieben werden.
Das Verfahren umfasst ein Bestimmen einer künstlichen Sensorinformation. Die künstliche Sensorinformation beschreibt mindestens einen künstlichen Punkt in der Umgebung. Der künstliche Punkt befindet sich in einem zweiten radialen Abstand zu der Sensorvorrichtung. Der zweite radiale Abstand ist um einen vorbestimmten Abstandswert größer als der erste radiale Abstand. Die künstliche Sensorinformation beschreibt somit keinen realen Punkt in der Umgebung sondern einen simulierten Punkt. Der künstliche Punkt ist nicht von der Sensorvorrichtung erfasst worden. Die von der Sensorvorrichtung erfasste Sensorinformation beschreibt somit nicht den mindestens einen künstlichen Punkt. Alternativ oder zusätzlich kann die künstliche Sensorinformation als synthetische oder simulierte Sensorinformation bezeichnet werden. Der vorbestimmte Abstandswert kann zum Beispiel 1 Millimeter, 2 Millimeter, 3 Millimeter, 5 Millimeter, 8 Millimeter, 1 Zentimeter, 1,5 Zentimeter, 2 Zentimeter, 3 Zentimeter oder insbesondere 5 Zentimeter betragen. Der Abstandswert kann jeder Wert zwischen den erwähnten Werten sein.
Da der zweite radiale Abstand größer als der erste radiale Abstand ist, befindet sich der künstliche Punkt bei Betrachtung aus einer Perspektive der Sensorvorrichtung hinter dem Messpunkt. Der künstliche Punkt ist somit ein Punkt, der möglicherweise nicht durch die Sensorvorrichtung detektierbar ist, da er sich innerhalb des Objekts befindet. Hierbei wird angenommen, dass sich der Messpunkt auf einer Oberfläche des Objekts befindet. In diesem Fall kann der künstliche Punkt nicht mit irgendeinem Messpunkt überlappen, es sei denn ein von der Sensoreinrichtung emittierter Strahl tritt zum Beispiel zumindest teilweise durch die Oberfläche des Objekts hindurch und wird an einem Teil des Objekts, der hinter der Oberfläche des Objekts liegt und sich in einem zweiten radialen Abstand befindet, reflektiert.
Das Verfahren umfasst des Weiteren ein Analysieren des mindestens einen Objekts durch das Anwenden eines Analysealgorithmus sowohl auf die bereitgestellte Sensorinformation als auch die bestimmte künstliche Sensorinformation. Das Analysieren kann zum Beispiel eine Klassifizierung des Objekts in der Umgebung umfassen. Der Analysealgorithmus umfasst mindestens eine Regel und/oder Bedingung zum Analysieren des Objekts. Der Analysealgorithmus wird nicht nur unter Berücksichtigung der gemessenen Sensordaten, also der bereitgestellten Sensorinformation, durchgeführt, sondern auch unter Berücksichtigung der künstlich erstellten Daten, also der bestimmten künstlichen Sensorinformation. Jeder das Objekt beschreibende Messpunkt wird aufgrund der Berücksichtigung des mindestens einen künstlichen Punktes zumindest verdoppelt, sodass eine Anzahl von Punkten, auf die der Analysealgorithmus angewendet wird, gegenüber der Anzahl der Messpunkte, die durch die bereitgestellte Sensorinformation beschriebenen werden, zumindest verdoppelt wird. Sind mehrere künstliche Punkte für jeden Messpunkt gewählt, so ist es möglich, die Gesamtanzahl der beim Analysieren des Objekts berücksichtigten Punkte um einen vorbestimmten Faktor zu erhöhen, wobei der Faktor von der Anzahl der künstlichen Punkte pro Messpunkt abhängt. Infolgedessen wird eine Wolke von Punkten, die das Objekt beschreiben, vergrößert, wohingegen eine Struktur und/oder eine Kontur des Objekts erhalten bleiben. Die Struktur und/oder Kontur bleiben aufgrund der Lage des mindestens einen künstlichen Punktes hinsichtlich des jeweiligen Messpunktes in radialer Richtung erhalten. Eine lokale Dichte der zum Analysieren des mindestens einen Objekts verwendeten Punkte wird somit gegenüber einer lokalen Dichte der Messpunkte erhöht. Eine Messpunktdichte der durch die Sensorvorrichtung bereitgestellten Messpunkte wird somit erhöht.
Eine Ausführungsform beinhaltet, dass die bereitgestellte Sensorinformation und die bestimmte künstliche Sensorinformation den jeweiligen mindestens einen Punkt unter Verwendung von Kugelkoordinaten beschreiben. Der mindestens eine Messpunkt und der mindestens eine künstliche Punkt befinden sich an einem gemeinsamen Polarwinkel und Azimutwinkel. Das bedeutet, wenn es zum Beispiel genau einen Messpunkt gibt, für welchen genau ein künstlicher Punkt bestimmt wird, so haben diese beide Punkte unterschiedliche radiale Abstände, da der erste radiale Abstand ungleich dem zweiten radialen Abstand ist. Sie haben jedoch denselben Polarwinkel und denselben Azimutwinkel. Bei Betrachtung aus der Perspektive der Sensorvorrichtung befinden sich daher beide Punkte in radialem Abstand hintereinander, jedoch in senkrechten Richtungen zur Radialrichtung aufgrund desselben Polarwinkels und Azimutwinkels nicht nebeneinander.
Sind mehrere Messpunkte vorhanden und wird für jeden von ihnen mindestens ein künstlicher Punkt bestimmt, so befindet sich jeder Messpunkt und der betreffende oder zugehörige mindestens eine künstliche Punkt an dem jeweiligen gemeinsamen Polarwinkel und Azimutwinkel. Das bedeutet, dass dann, wenn mehrere Messpunkte vorhanden sind, diese unterschiedliche Polarwinkel und Azimutwinkel haben können. Die künstlichen Punkte für jeden der mehreren Messpunkte fallen jedoch jeweils sowohl im Polarwinkel als auch im Azimutwinkel zusammen, unterscheiden sich jedoch bezüglich des radialen Abstands. Das bedeutet, dass die Sensorinformation, die das mindestens eine Objekt durch den mindestens einen Messpunkt beschreibt, durch den ersten radialen Abstand, den Polarwinkel und den Azimutwinkel beschrieben wird. Die künstliche Sensorinformation beschreibt den mindestens einen künstlichen Punkt ebenfalls unter Verwendung von Kugelkoordinaten, sodass der künstliche Punkt durch den zweiten radialen Abstand, den Polarwinkel und den Azimutwinkel beschrieben wird. Es gibt somit keinen ersten und zweiten Polarwinkel und/oder ersten und zweiten Azimutwinkel, sondern nur einen gemeinsamen Winkel für den Polarwinkel beziehungsweise den Azimutwinkel. Der mindestens eine künstliche Punkt beeinflusst somit zum Beispiel eine Form und/oder Größe des Objekts nicht, sondern nur die Dichte der Messpunkte auf der Oberfläche des Objekts. Das wird erreicht, indem der Polar- und der Azimutwinkel der jeweiligen Messung und der künstliche Punkt konstant beibehalten werden.
Eine weitere Ausführungsform beinhaltet, dass der Messpunkt Teil der mindestens einen dreidimensionalen Punktwolke ist, die durch die Sensorvorrichtung erfasst wird. Die Sensorvorrichtung ist somit dazu eingerichtet, ein dreidimensionales Objekt zu detektieren. Jeder Messpunkt stellt einen Punkt auf einer Oberfläche des Objekts dar, sodass die dreidimensionale Wolke individueller Messpunkte die Oberfläche des Objekts darstellt. Die dreidimensionale Punktwolke besteht typischerweise aus Rohdaten, die von der Sensorvorrichtung des Fahrzeugs bereitgestellt werden. Das Verfahren kann somit auf typischen Sensorinformationen basieren, die von einem Fahrzeug bereitgestellt werden.
Gemäß einer weiteren Ausführungsform umfasst das Verfahren ein Projizieren der bereitgestellten Sensorinformation und der bestimmten künstlichen Sensorinformation auf eine zweidimensionale Ebene, bevor der Analysealgorithmus angewendet wird. Dies bedeutet, dass die dreidimensionale Punktwolke zuerst verarbeitet wird, um eine zweidimensionale Anordnung von Punkten zu erstellen. Die zweidimensionale Anordnung der Punkte, also die zweidimensionale Ebene der Messpunkte, kann als zweidimensionale Punktwolke bezeichnet werden. Statt Analyse einer dreidimensionalen Ansicht des Objekts, wird die dreidimensionale Punktwolke in eine zweidimensionale Ansicht des Objekts, wie etwa ein statisches und/oder bewegtes Bild der Punkte, transformiert. Es ist besonders sinnvoll, sowohl die Sensorinformation als auch die künstliche Sensorinformation aus drei Dimensionen in zwei Dimensionen zu transformieren, um typische Analysealgorithmen, die zum Beispiel für die Analyse zweidimensionaler Sensorinformationen entwickelt wurden, anzuwenden.
Des Weiteren umfasst eine Ausführungsform, dass die projizierte Sensorinformation und die projizierte künstliche Sensorinformation die Umgebung aus einer Vogelperspektive und/oder einer Seitenansicht beschreiben. Dies ist dann besonders sinnvoll, wenn die Sensorvorrichtung eine Komponente des Fahrzeugs ist. Typischerweise befinden sich mehrere Sensorvorrichtungen in dem Fahrzeug oder sind dort montiert, sodass die gesamte Umgebung, zum Beispiel eine 360-Grad-Ansicht der Umgebung des Fahrzeugs, durch die Sensorinformation beschrieben werden kann. Bei einem derartigen Szenario ist eine Perspektive der Messpunkte in der zweidimensionalen Ebene oftmals eine Draufsicht auf die Umgebung. Die Draufsicht ist eine Vogelperspektivansicht. Sie kann alternativ als eine Oberansicht bezeichnet werden. Falls jedoch nur eine Sensorinformation von einer Seite des Fahrzeugs bereitgestellt wird, ist es möglich, zum Beispiel eine Ebene, die durch eine Höhen- oder Längsrichtung des Fahrzeugs definiert ist, als die zweidimensionale Ebene zu wählen. Infolgedessen wird die Seitenansicht erzeugt. Sie kann alternativ als eine Seitenperspektive auf die Umgebung bezeichnet werden. Die zweidimensionale Ebene der Seitenansicht ist vorzugsweise senkrecht zu der zweidimensionalen Ebene der Vogelperspektivansicht angeordnet. Letztendlich können besonders nützliche Ansichten der Umgebung erstellt und für die Analyse des Objekts verwendet werden.
Eine bevorzugte Ausführungsform umfasst, dass die künstliche Sensorinformation einen ersten künstlichen Punkt und mindestens einen zweiten künstlichen Punkt beschreibt. Vorzugsweise beschreibt sie mehrere zweite künstliche Punkte. Der zweite radiale Abstand des ersten künstlichen Punkts ist um den vorbestimmten Abstandswert größer als der erste radiale Abstand. Des Weiteren ist der zweite radiale Abstand des ersten künstlichen Punkts um den vorbestimmten Abstandswert kleiner als der zweite radiale Abstand des mindestens zweiten künstlichen Punkts. Mit anderen Worten wird bei Betrachtung in radialer Richtung der Messpunkt zuerst platziert, gefolgt von dem ersten künstlichen Punkt, der dann von dem mindestens einen zweiten künstlichen Punkt gefolgt ist. Alle diese künstlichen Punkte haben vorzugsweise denselben Polar- und Azimutwinkel wie der Messpunkt. Infolgedessen kann die Punktdichte an der Stelle des jeweiligen Messpunktes deutlich erhöht werden. Dies erklärt besonders gut, warum die Konturen des Objekts mit größerem Kontrast sichtbar sind, wenn die künstliche Sensorinformation bestimmt und berücksichtigt wird.
Eine weitere Ausführungsform beinhaltet, dass die künstliche Sensorinformation mehrere zweite künstliche Punkte beschreibt. Die zweiten radialen Abstände der mehreren zweiten künstlichen Punkte befinden sich in radialer Richtung um einen vorbestimmten Abstandswert räumlich voneinander beabstandet. Ein Abstand zwischen zwei benachbarten zweiten künstlichen Punkten in radialer Richtung ist somit gleichwertig zu dem vorbestimmten Abstandswert. Alle künstlichen Punkte, die einem einzigen Messpunkt entsprechen, sind somit in radialer Richtung gleich weit voneinander entfernt. Es ist daher leicht neue künstliche Punkte hinzuzufügen, da sie sich alle in dem vordefinierten Abstandswert zueinander befinden.
Eine weitere Ausführungsform beinhaltet, dass die künstlichen Punkte über einen vorbestimmten radialen Abstandsbereich verteilt sind. Der radiale Abstandsbereich erstreckt sich von dem ersten radialen Abstand als ein radialer Mindestabstand bis zu einem vorbestimmten radialen Maximalabstand. Der radiale Abstandsbereich ist zum Beispiel 1 Zentimeter, 3 Zentimeter, 5 Zentimeter, 10 Zentimeter, 15 Zentimeter, 20 Zentimeter, 30 Zentimeter, 50 Zentimeter oder insbesondere 1 Meter lang. Abhängig von dem vorbestimmten Abstandswert kann die Anzahl der künstlichen Punkte, die nötig ist, um den gesamten vorbestimmten radialen Abstandsbereich zu füllen, bestimmt werden. Es ist somit möglich, einen radialen Abstandsbereich festzulegen, bis zu der der mindestens eine künstliche Punkt sich in radialer Richtung hinter dem Messpunkt befinden kann. Es ist somit möglich, unterschiedliche Punktwolkendichten durch Variieren des radialen Abstandsbereichs und/oder des vorbestimmten Abstandswerts zu erhalten.
Gemäß einer bevorzugten Ausführungsform erfolgt das Bestimmen der künstlichen Sensorinformation nur für den Messpunkt, für den der erste radiale Abstand größer ist als ein vorbestimmter Mindestwert. Das bedeutet, dass das Verfahren das Bestimmen der künstlichen Sensorinformation nur für den Messpunkt umfasst, der so weit entfernt von der Sensorvorrichtung ist, dass der erste radiale Abstand größer ist als der vorbestimmte Mindestwert. Der vorbestimmte Mindestwert kann zum Beispiel 10 Meter, 20 Meter, 30 Meter, 40 Meter, 50 Meter, 60 Meter, 70 Meter, 80 Meter, 90 Meter oder insbesondere 100 Meter sein. Der Mindestwert kann jeder Wert zwischen den aufgeführten Werten sein. Es ist somit möglich, nicht irgendeine künstliche Sensorinformation für ein Objekt zu bestimmen, das sich in einem näheren ersten radialen Abstand zu der Sensorvorrichtung befindet als ein Abstand gemäß einem vorbestimmten Mindestwert oder das sich in einem Abstand gemäß dem vorbestimmten Mindestwert befindet. Befindet sich das Objekt jedoch weiter weg als der Abstand gemäß dem vorbestimmten Mindestwert, wird angenommen, dass besonders wenig Sensorinformation zur Verfügung steht und diese insbesondere durch die Sensorvorrichtung erfasst wird, sodass die künstliche Sensorinformation bestimmt wird. Dies reduziert die erforderliche Berechnungszeit, da die künstliche Sensorinformation nur dann bestimmt wird, wenn wenig Sensorinformation erwartet wird.
Alternativ oder zusätzlich können für den Messpunkt, für den der erste radiale Abstand kleiner oder gleich dem vorbestimmten Mindestwert ist, eine Anzahl von künstlichen Punkten gegenüber der Anzahl von künstlichen Punkten, die für den Messpunkt bestimmt werden, für den der erste radiale Abstand größer ist als der vorbestimmte Mindestwert, reduziert sein. Die Anzahl von künstlichen Punkten kann jedoch größer als 0 sein.
Gemäß einer weiteren Ausführungsform umfasst das Verfahren ein Erfassen der Sensorinformation durch ein Radargerät, ein Lidargerät und/oder eine Time-of-Flight-Kamera. Im Allgemeinen beschreibt die Sensorinformation eine Lage des mindestens einen Punkts eines Objekts relativ zu der Sensorvorrichtung. Die Sensorinformation ist somit vorzugsweise eine Information, die einen Abstand zwischen dem Objekt und dem Radargerät beschreibt. Die erfasste Sensorinformation wird als die Sensorinformation bereitgestellt, für welche die künstliche Sensorinformation bestimmt wird. Somit sind vielfältige Sensorvorrichtungen möglich, die die Sensorinformation bereitstellen können.
Die Sensorvorrichtung ist vorzugsweise in einem Fahrzeug montiert, zum Beispiel in einem Stoßfänger und/oder einem Fahrgestell des Fahrzeugs. Die Sensorvorrichtung kann sich in einem Frontbereich, einem Heckbereich und/oder einem Seitenbereich des Fahrzeugs befinden.
Eine weitere Ausführungsform beinhaltet, dass eine erfasste Sensorrohinformation von kartesischen Koordinaten in Kugelkoordinaten transformiert wird und die transformierte Sensorinformation als die Sensorinformation bereitgestellt wird. Falls die Sensorvorrichtung ihre Daten in kartesischen Koordinaten erfasst, ist es daher notwendig, einen Transformationsschritt hinzuzufügen, um für jeden Messpunkt die jeweiligen Koordinaten in Kugelkoordinaten zu bestimmen. Kugelkoordinaten definieren eine Position in radialer Richtung. Die Position des jeweiligen Messpunkts wird als der jeweilige erste radiale Abstand bezeichnet. Es ist möglich, dass eine Rücktransformation von Kugelkoordinaten in kartesische Koordinaten durchgeführt wird, bevor der Analysealgorithmus auf die Sensorinformation und die künstliche Sensorinformation angewendet wird. Um zwischen kartesischen Koordinaten und Kugelkoordinaten zu transformieren, können typische Transformationstechniken zur Koordinatentransformation zwischen diesen zwei Koordinatensystemen angewendet werden. Das Verfahren erfordert somit nicht, dass die Sensorvorrichtung die Sensorinformationen in Kugelkoordinaten bereitstellt.
Eine weitere Ausführungsform beinhaltet, dass der Analysealgorithmus eine Objektdetektion und/oder semantische Segmentierung durchführt. Der Analysealgorithmus kann insbesondere ein faltendes neuronales Netzwerk umfassen. Der Analysealgorithmus ist zumindest dazu eingerichtet, das Objekt zum Beispiel zu detektieren, zu identifizieren und/oder zu klassifizieren. Mittels des faltenden neuronalen Netzwerks ist es zum Beispiel möglich, eine Klassifizierung des Objekts durchzuführen, wenn das faltende neuronale Netzwerk dazu trainiert ist, Objekte zu klassifizieren. Semantische Segmentierung bedeutet, dass jeder Pixel und somit jeder Messpunkt und künstliche Punkt einer spezifischen Objektklasse zugeordnet wird. Es ist möglich, dass eine Objektinformation durch Anwenden des Analysealgorithmus auf die bereitgestellte Sensorinformation und die bestimmte künstliche Sensorinformation bestimmt wird. Die Objektinformation kann ein Ergebnis des Analysealgorithmus, zum Beispiel das Objekt und/oder eine Klasse des Objekts beschreiben. Die Objektinformation kann an eine Funktion des Fahrzeugs, zum Beispiel an ein Fahrerassistenzsystem, bereitgestellt werden. Das Verfahren kann somit notwendige Informationen für die Funktion des Fahrzeugs bereitstellen.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug. Das Fahrzeug ist dazu eingerichtet, das oben beschriebene Verfahren durchzuführen. Das Fahrzeug entspricht dem ersten Fahrzeug. Das Fahrzeug ist ein Kraftfahrzeug, insbesondere ein Personenkraftwagen, ein Lastkraftwagen, ein Bus und/oder ein Motorrad. Das Fahrzeug führt das Verfahren durch. Das Fahrzeug weist vorzugsweise die Sensorvorrichtung, zum Beispiel das Radargerät, das Lidargerät und/oder die Time-of-Flight-Kamera auf. Vorzugsweise weist das Fahrzeug eine Rechenvorrichtung auf, wobei die Rechenvorrichtung die künstliche Sensorinformation bestimmt und den Analysealgorithmus auf die bereitgestellte Sensorinformation und die künstliche Sensorinformation anwendet. Die Sensorvorrichtung des Fahrzeugs stellt daher die Sensorinformation an die Rechenvorrichtung bereit.
Ein weiterer Aspekt der Erfindung betrifft eine Rechenvorrichtung für ein Fahrzeug. Die Rechenvorrichtung ist dazu eingerichtet, das oben beschriebene Verfahren durchzuführen. Die Rechenvorrichtung führt das beschriebene Verfahren durch, insbesondere zumindest eine der Ausführungsformen oder eine Kombination der Ausführungsformen des beschriebenen Verfahrens. Die Rechenvorrichtung weist eine Verarbeitungsvorrichtung auf. Die Verarbeitungsvorrichtung kann zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest ein feldprogrammierbares Gate Array, FPGA, und/oder zumindest einen Digitalsignalprozessor, DSP, aufweisen. Des Weiteren kann die Verarbeitungsvorrichtung Programmcode enthalten. Der Programmcode kann alternativ als ein Computerprogrammprodukt oder Computerprogramm bezeichnet werden. Der Programmcode kann in einem Datenspeicher der Verarbeitungsvorrichtung gespeichert sein.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt. Das Computerprogrammprodukt ist ein Computerprogramm. Das Computerprogrammprodukt umfasst Befehle, die, wenn das Programm durch einen Computer, wie etwa die Rechenvorrichtung, ausgeführt wird, den Computer dazu veranlassen, das erfindungsgemäße Verfahren durchzuführen.
Die Ausführungsformen, die im Zusammenhang mit dem Verfahren beschrieben werden, gelten sowohl einzeln als auch in Kombination miteinander, soweit anwendbar, entsprechend für das erfindungsgemäße Fahrzeug, die Rechenvorrichtung und/oder das Computerprogrammprodukt. Die Erfindung schließt Kombinationen der beschriebenen Ausführungsformen ein.
Dabei zeigen:

1 eine schematische Darstellung eines Fahrzeugs mit mehreren Sensorvorrichtungen;
2 eine schematische Darstellung eines Verfahrens zum Analysieren mindestens eines Objekts in einer Umgebung einer Sensorvorrichtung für ein Fahrzeug; und
3 eine schematische Darstellung einer Sensorinformation und einer künstlichen Sensorinformation.

1 zeigt ein Fahrzeug 1, welches mehrere Sensorvorrichtungen 2 aufweist. Hier weist es mehrere Radargeräte 3 und Lidargeräte 4 als Sensorvorrichtungen 2 auf. Alternativ oder zusätzlich kann die Sensorvorrichtung 2 eine Time-of-Flight-Kamera (hier nicht eingezeichnet) sein. Hier befinden sich die Radargeräte 3 und Lidargeräte 4 in einem Frontbereich, einem Heckbereich sowie in Seitenbereichen des Fahrzeugs 1. Das Fahrzeug 1 kann mehr oder weniger Radargeräte 3 und/oder Lidargeräte 4 aufweisen. Die eingezeichneten Sensorgeräte 2 können sich in unterschiedlichen Positionen innerhalb des Fahrzeugs 1 befinden. Vorzugsweise befinden sich die Radargeräte 3 und die Lidargeräte 4 zum Beispiel in einem Stoßfänger und/der einem Fahrgestell des Fahrzeugs 1. Die zwei Radargeräte, die sich auf gegenüberliegenden Seiten in y-Richtung befinden, befinden sich zum Beispiel in den Türen des Fahrzeugs 1. Die jeweilige Sensorvorrichtung 2 ist dazu eingerichtet, Daten zu erfassen, die eine Umgebung 5 des Fahrzeugs 1 beschreiben. Die Umgebung 5 ist vorzugsweise durch einen Erfassungsbereich der jeweiligen Sensorvorrichtungen 2 definiert.
Das Fahrzeug 1 kann eine Rechenvorrichtung 6 aufweisen. Die Rechenvorrichtung 6 kann alternativ als eine Steuereinheit oder ein Steuergerät des Fahrzeugs 1 bezeichnet werden. Die Rechenvorrichtung 6 ist dazu eingerichtet, zum Beispiel Berechnungen durchzuführen. Sie kann somit Schritte eines Verfahrens zum Analysieren mindestens eines Objekts 23 (siehe Bezugszeichen 23 in 3) in der Umgebung 5 der Sensorvorrichtung 2 und somit des Fahrzeugs 1 durchführen.
2 zeigt Schritte des Verfahrens zum Analysieren des mindestens einen Objekts 23 in der Umgebung 5 der Sensorvorrichtung 2. In einem Schritt S1 kann das Verfahren ein Erfassen einer Sensorinformation 12 durch das Radargerät 3, das Lidargerät 4 und/oder die Time-of-Flight-Kamera des Fahrzeugs 1 umfassen. Die Sensorvorrichtungen 2 erfassen die Sensorinformation 12. Die Sensorinformation 12 beschreibt das mindestens eine Objekt 23 in der Umgebung 5 der Sensorvorrichtung 2 durch mindestens einen Messpunkt 11.
Ein Schritt S2 umfasst ein Bereitstellen der Sensorinformation 12, welche das mindestens eine Objekt 23 durch den mindestens einen Messpunkt 11 beschreibt. Der mindestens eine Messpunkt 11 befindet sich in einem ersten radialen Abstand r₁. Der erste radiale Abstand r₁ ist ein Abstand relativ zu der Sensorvorrichtung 2 oder einem anderen Referenzpunkt. Im Allgemeinen wird der Messpunkt 11 durch Kugelkoordinaten beschrieben. Der Messpunkt 11 wird daher durch den ersten radialen Abstand r₁, einen Polarwinkel θ und einen Azimutwinkel φ beschrieben. Die Sensorinformation 12 kann an die Rechenvorrichtung 6 bereitgestellt werden.
Falls die Sensorvorrichtung 2 die Sensorinformation 12 in kartesischen Koordinaten erfasst, wird eine Sensorrohinformation 10 von der Sensorvorrichtung 2 erfasst. Die erfasste Sensorrohinformation 10 wird in einem Schritt S3 dann in Kugelkoordinaten transformiert. Danach wird die transformierte Sensorinformation als die Sensorinformation 12 bereitgestellt.
Ein Schritt S4 umfasst ein Bestimmen einer künstlichen Sensorinformation 13, die mindestens einen künstlichen Punkt 14 in der Umgebung 5 beschreibt. Der künstliche Punkt 14 befindet sich in einem zweiten radialen Abstand r₂ in Bezug auf die Sensorvorrichtung 2. Der zweite radiale Abstand r₂ ist um einen vorbestimmten Abstandswert Δr größer als der erste radiale Abstand r₁. Genauer gesagt wird der künstliche Punkt 14 durch denselben Polarwinkel θ und denselben Azimutwinkel φ beschrieben wie der gemessene Punkt 11. Das bedeutet, dass sich nur die radialen Abstände r₁, r₂ voneinander unterscheiden, wenn der Messpunkt 11 mit dem künstlichen Punkt 14 verglichen wird. Mit anderen Worten beschreiben die bereitgestellte Sensorinformation 12 und die bestimmte künstliche Sensorinformation 13 den jeweiligen mindestens einen Punkt 11, 14 unter Verwendung von Kugelkoordinaten, wobei sich der mindestens eine Messpunkt 11 und der mindestens eine künstliche Punkt 14 an einem gemeinsamen Polarwinkel θ und einem gemeinsamen Azimutwinkel φ befinden.
Die künstliche Sensorinformation 13 kann einen ersten künstlichen Punkt 15 und mindestens einen zweiten künstlichen Punkt 16 beschreiben. Hier sind drei zweite künstliche Punkte 16 eingezeichnet. Mehr oder weniger zweite künstliche Punkte 16 sind möglich. Der zweite radiale Abstand r₂ des ersten künstlichen Punkts 15 ist um den vorbestimmten Abstandswert Δr größer als der erste radiale Abstand r₁ des Messpunkts 11. Der zweite radiale Abstand r₂ des ersten künstlichen Punkts 15 ist um den vorbestimmten Abstandswert Δr kleiner als der zweite radiale Abstand r₂ des mindestens einen zweiten künstlichen Punkts 16. Wenn mehrere zweite künstliche Punkte 16 vorhanden sind, befinden sich die zweiten radialen Abstände r₂ der mehreren zweiten künstlichen Punkte 16 jeweils in radialer Richtung um den vorbestimmten Abstandswert Δr voneinander beabstandet. Insgesamt können die künstlichen Punkte 14 über einen vorbestimmten radialen Abstandsbereich R verteilt sein. Der radiale Abstandsbereich R erstreckt sich von dem ersten radialen Abstand r₁ als ein radialer Mindestabstand 17 bis zu einem vorbestimmten radialen Maximalabstand 18. Hier ist der radiale Abstandsbereich R der vierfache vorbestimmte Abstandswert Δr.
Das Verfahren kann das Bestimmen der künstlichen Sensorinformation 13 nur für den Messpunkt 11, für den der erste radiale Abstand r₁ größer ist als ein vorbestimmter Mindestwert r₀, umfassen. Der Mindestwert r₀ kann zum Beispiel 60 Meter oder 80 Meter in Bezug auf eine Position der Sensorvorrichtung 2 und/oder des Fahrzeugs 1 sein.
Der Messpunkt 11 kann Teil der zumindest einen dreidimensionalen Punktwolke 19 sein, die von der Sensorvorrichtung 2 erfasst werden kann. In einem Schritt S5 können die bereitgestellte Sensorinformation 12 und die bestimmte künstliche Sensorinformation 13 auf eine zweidimensionale Ebene 20 projiziert werden. Dies bedeutet, dass, wenn die projizierte Sensorinformation 12 und die künstliche Sensorinformation 13 eine zweidimensionale Ansammlung von Punkten 11, 14 bilden, die projizierte Sensorinformation 12 und die projizierte künstliche Sensorinformation 13 die Umgebung 5 aus einer Vogelperspektive und/oder einer Seitenansicht beschreiben können.
Ein Schritt S6 umfasst Analysieren des mindestens einen Objekts 23 durch Anwenden eines Analysealgorithmus 21 sowohl auf die bereitgestellte Sensorinformation 12 als auch auf die bestimmte künstliche Sensorinformation 13. Der Analysealgorithmus 21 kann eine Objektdetektion und/oder semantische Segmentierung durchführen. Der Analysealgorithmus 21 kann ein faltendes neuronales Netzwerk umfassen, um zum Beispiel das Objekt 23 zu klassifizieren. Die Analyseergebnisse aus der Anwendung des Analysealgorithmus 21 sind in einer Objektinformation 22 enthalten. Die Objektinformation 22 kann das Objekt 23, insbesondere eine Klasse des Objekts 23, beschreiben.
3 zeigt ein Beispiel für die Sensorinformation 12 und eine entsprechende künstliche Sensorinformation 13. In der Umgebung 5 des Fahrzeugs 1 befinden sich drei andere Fahrzeuge 1. Die drei anderen Fahrzeuge 1 sind die Objekte 23. Mehr Objekte 23 und/oder andere Objekte 23 in der Umgebung sind möglich. Jedoch werden an der Kontur und somit an der Oberfläche jedes der Objekte 23 nur wenige Messpunkte 11 durch die Sensorvorrichtung 2 erfasst, wie durch die jeweiligen dünnen Linien in 3 angedeutet. Durch Hinzufügen mehrerer künstlicher Punkte 14 für jeden der Messpunkte 11 werden dichtere Konturen der Objekte 23 künstlich geschaffen, wie durch die jeweiligen vergleichsweise dicken Linien in 3 angedeutet. Infolgedessen können Analyseergebnisse, die durch die Anwendung des Analysealgorithmus 21 sowohl auf die Sensorinformation 12 als auch auf die künstliche Sensorinformation 13 erzielt werden, gegenüber einer Anwendung nur auf die Sensorinformation 12 verbessert werden.
Zusammenfassend wurde die Extrapolation von Entfernungspeilungsdaten zur Erweiterung der Sensordaten von Entfernungssensoren beschrieben. Die Erfindung bezieht sich auf Sensordaten aus Radar- oder Lidarsensoren, was bedeutet aus den Radargeräten 3 und/oder Lidargeräten 4, die eine jeweilige Punktwolke 19 als Messergebnisse bilden. Die Sensordaten sind in der bereitgestellten Sensorinformation 12 enthalten. Die Punktwolken 19 werden auf die zweidimensionale Ebene 20 projiziert.
Aufgrund von geringer Dichte der Punktwolke 19 hat ein Klassifizierer (Analysealgorithmus 21) Probleme, das Objekt 23 zu klassifizieren. Die Idee ist, die Dichte der Punktwolke zu erhöhen, ohne Hinzufügen von Rauschen betreffend die Form des Objekts 23. Dies erfolgt, indem pro Messpunkt 11 zusätzliche künstliche Punkte 14 hinzugefügt werden, die in der radialen Richtung r₁, r₂ verteilt werden. Aufgrund dieser Herangehensweise wird die Kontur beibehalten und fast kein Rauschen hinzugefügt.
Betreffend die Transformation in Kugelkoordinaten kann jeder dreidimensionale Punkt (x, y, z) in der Punktwolke 19, die aus der Sensorvorrichtung 2 erstellt wurde, in Kugelkoordinaten wie (r, θ, φ) dargestellt werden, wo r die Reichweite oder der radiale Abstand ist, θ die Erhebung (Polarwinkel) ist und φ der Azimutwinkel ist: $r = \sqrt{x^{2} + y^{2} + z^{2}}$
$θ = {sin}^{- 1} \frac{z}{r}$
$φ = {tan}^{- 1} \frac{x}{y}$
Vergrößern des radialen Abstands r um geringe Mengen von Δr durch Beibehalten von θ und φ ergibt neue Punkte innerhalb des Objekts 23, als ob der Strahl das Objekt 23 durchdringen würde. Dies kann dazu beitragen, die Punktwolken 19 dichter zu machen, während die Struktur und Kontur des Objekts 23 beibehalten wird.
Das vorgeschlagene Verfahren verwendet keine lernbasierten faltenden neuronalen Netzwerke, sondern ist vielmehr eine einfache Anwendung mathematischer Verfahren zum Extrapolieren von Strahlen, die den Sensorursprung und beobachtete Punkte verbinden. Daher ist die Fehlerwahrscheinlichkeit gegenüber den Verfahren, die auf einem faltenden neuronalen Netzwerk basieren, sehr gering. Auch sind für das Trainieren des faltenden neuronalen Netzwerks notierte Ground-Truth-Daten nötig, was bei dem vorgeschlagenen Verfahren nicht erforderlich ist. Des Weiteren kann das vorgeschlagene Verfahren leicht abgestimmt werden, um nur Teilabschnitte der Eingangspunktwolken 19, wie etwa nur Reichweiten von größer als 80 Metern, zu verbessern. Dies bedeutet, dass der Mindestwert r₀ berücksichtigt werden kann und zum Beispiel auf 80 Meter eingestellt werden kann. Das Verfahren ist auf alle Typen von Reichweitesensoren anwendbar und nicht auf Lidars eingeschränkt.

Claims

Verfahren zum Analysieren mindestens eines Objekts (23) in einer Umgebung (5) einer Sensorvorrichtung (2) für ein Fahrzeug (1), umfassend: - Bereitstellen (S2) einer Sensorinformation (12), die das mindestens eine Objekt (23) durch mindestens einen Messpunkt (11) beschreibt, der sich in einem ersten radialen Abstand (r₁) zu der Sensorvorrichtung (2) befindet; - Bestimmen (S4) einer künstlichen Sensorinformation (13), die mindestens einen künstlichen Punkt (14) in der Umgebung (5) beschreibt, wobei der künstliche Punkt (14) sich in einem zweiten radialen Abstand (r₂) zu der Sensorvorrichtung (2) befindet, der um einen vorbestimmten Abstandswert (Δr) größer ist als der erste radiale Abstand (r₁); und - Analysieren (S6) des mindestens einen Objekts (23) durch Anwenden eines Analysealgorithmus (21) sowohl auf die bereitgestellte Sensorinformation (12) als auch die bestimmte künstliche Sensorinformation (13).
Verfahren nach Anspruch 1, wobei die bereitgestellte Sensorinformation (12) und die bestimmte künstliche Sensorinformation (13) den jeweiligen mindestens einen Punkt (11, 14) unter Verwendung von Kugelkoordinaten beschreiben, wobei der mindestens eine Messpunkt (11) und der mindestens eine künstliche Punkt (14) sich an einem gemeinsamen Polarwinkel (θ) und Azimutwinkel (φ) befinden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Messpunkt (11) Teil mindestens einer dreidimensionalen Punktwolke (19) ist, die von der Sensorvorrichtung (2) erfasst wird.
Verfahren nach Anspruch 3, umfassend ein Projizieren (S5) der bereitgestellten Sensorinformation (12) und der bestimmten künstlichen Sensorinformation (13) auf eine zweidimensionale Ebene (20) vor Anwenden des Analysealgorithmus (21).
Verfahren nach Anspruch 4, wobei die projizierte Sensorinformation (12) und künstliche Sensorinformation (13) die Umgebung (5) aus einer Vogelperspektivansicht und/oder Seitenansicht beschreiben.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die künstliche Sensorinformation (13) einen ersten künstlichen Punkt (15) und mindestens einen zweiten künstlichen Punkt (16) beschreibt, wobei der zweite radiale Abstand (r₂) des ersten künstlichen Punkts (15) um den vorbestimmten Abstandswert (Δr) größer als der erste radiale Abstand (r₁) aber um den vorbestimmten Abstandswert (Δr) kleiner als der zweite radiale Abstand (r₂) des mindestens einen zweiten künstlichen Punkts (16) ist.
Verfahren nach Anspruch 6, wobei die künstliche Sensorinformation (13) mehrere zweite künstliche Punkte (16) beschreibt, wobei die zweiten radialen Abstände (r₂) der mehreren zweiten künstlichen Punkte (16) sich jeweils um den vorbestimmten Abstandswert (Δr) in radialer Richtung räumlich voneinander beabstandet befinden.
Verfahren nach Anspruch 7, wobei die künstlichen Punkte (14) über eine vorbestimmte radiale Abstandsbereich (R), der sich von dem ersten radialen Abstand (r₁) als ein radialer Mindestabstand (17) bis zu einem vorbestimmten radialen Maximalabstand (18) erstreckt, verteilt sind.
Verfahren nach einem der vorhergehenden Ansprüche, umfassend ein Bestimmen der künstlichen Sensorinformation (13) nur für den Messpunkt (11), für den der erste radiale Abstand (r₁) größer ist als ein vorbestimmter Mindestwert (r₀).
Verfahren nach einem der vorhergehenden Ansprüche, umfassend ein Erfassen (S1) der Sensorinformation (12) durch ein Radargerät (3), ein Lidargerät (4) und/oder eine Time-of-Flight-Kamera.
Verfahren nach Anspruch 10, umfassend ein Transformieren (S3) einer erfassten Sensorrohinformation (10) von kartesischen Koordinaten in Kugelkoordinaten und Bereitstellen der transformierten Sensorinformation als die Sensorinformation (12).
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Analysealgorithmus (21) eine Objektdetektion und/oder semantische Segmentierung durchführt und insbesondere ein faltendes neuronales Netzwerk umfasst.
Fahrzeug (1), das dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Rechenvorrichtung (6) für ein Fahrzeug (1), die dazu eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.
Computerprogrammprodukt, das Befehle umfasst, die, wenn das Programm von einem Computer ausgeführt wird, den Computer dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.