-
Die vorliegende Erfindung betrifft eine Vorrichtung zum Erkennen eines Baumes in einem Sichtbereich eines Radarsensors sowie ein entsprechendes Verfahren. Weiterhin betrifft die Erfindung ein System zum Erkennen eines Baumes.
-
Moderne Fahrzeuge (Autos, Transporter, Lastwagen, Motorräder etc.) umfassen eine Vielzahl von Fahrerassistenzsystemen, die dem Fahrer Informationen zur Verfügung stellen und einzelne Funktionen des Fahrzeugs teil- oder vollautomatisiert steuern. Sensoren erfassen die Umgebung des Fahrzeugs sowie andere Verkehrsteilnehmer. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden. Durch die fortschreitende Entwicklung im Bereich der autonom und teilautonom fahrenden Fahrzeuge werden der Einfluss und der Wirkungsbereich von Fahrerassistenzsystemen immer größer. Durch die Entwicklung immer präziserer Sensoren ist es möglich, die Umgebung und den Verkehr zu erfassen und einzelne Funktionen des Fahrzeugs vollständig oder teilweise ohne Eingriff des Fahrers zu kontrollieren. Fahrerassistenzsysteme können dabei insbesondere zur Erhöhung der Sicherheit im Verkehr sowie zur Verbesserung des Fahrkomforts beitragen.
-
Eine wichtige Voraussetzung ist hierbei die Erfassung und Erkennung der Umgebung des eigenen Fahrzeugs. Mittels Umgebungssensoren, wie beispielsweise Radar-, Lidar-, Ultraschall- und Kamerasensoren, werden Sensordaten mit Informationen zu der Umgebung erfasst. Basierend auf den erfassten Daten sowie gegebenenfalls unter zusätzlicher Berücksichtigung im Fahrzeug verfügbarer Daten, können Objekte in der Umgebung des Fahrzeugs identifiziert und klassifiziert werden. Basierend auf den erkannten Objekten kann beispielsweise ein Verhalten eines autonomen oder teilautonomen Fahrzeugs an eine aktuelle Situation angepasst werden.
-
Radarsensoren stellen in diesem Umfeld eine wichtige Datenquelle für die Erfassung der Umgebung dar. Ein Radarsensor sendet ein Signal in Richtung eines Ziels (Objekts) aus und empfängt eine Reflektion an einem Objekt. Der Radarsensor kann hierdurch insbesondere Informationen über die dreidimensionale Position des Ziels erfassen. Zumeist werden für einen Scanpunkt bzw. Zielpunkt ein Abstand, ein Höhenwinkel, ein Azimutwinkel sowie eine Geschwindigkeit (Mikro-Doppler-Signatur) erfasst.
-
Eine Herausforderung im Bereich der radarbasierten Ansätze zur Erkennung von Objekten liegt in der Einordnung statischer Objekte. Zum Beispiel können Vegetationsobjekte, wie Bäume, Sträucher, Gebüsche etc. nicht von Häusern, Mauern, Verkehrsschildern, Pfosten oder anderen statischen Objekten unterschieden werden. Durch eine verbesserte Erkennung und Unterscheidung zwischen Bäumen und anderen Objekten könnte beispielsweise im Falle eines Unfalls eine andere Reaktion eines autonomen oder teilautonomen Fahrzeugs erfolgen.
-
Ausgehend hiervon stellt sich der vorliegenden Erfindung das Problem, einen Ansatz zum radardatenbasierten Erkennen von statischen Objekten bereitzustellen. Insbesondere soll eine zuverlässige Erkennung von Bäumen basierend auf Radardaten ermöglicht werden.
-
Zum Lösen dieser Aufgabe betrifft die vorliegende Erfindung in einem ersten Aspekt eine Vorrichtung zum Erkennen eines Baumes in einem Sichtbereich eines Radarsensors mit:
- einer Eingangsschnittstelle zum Empfangen von Sensordaten des Radarsensors,
- wobei die Sensordaten Scanpunkte mit dreidimensionalen Positionsinformationen umfassen;
- einer 2D-Rastereinheit zum Erzeugen einer zweidimensionalen Rasterdarstellung der Sensordaten, wobei ein Scanpunkt einer Rasterzelle zugeordnet wird, die einer zweidimensionalen Rasterposition entspricht;
- einer Detektionseinheit zum Detektieren einer Kandidaten-Rasterzelle mit einer erhöhten Anzahl an Scanpunkten basierend auf einer Auswertung der zweidimensionalen Rasterdarstellung; und
- einer 2D-Filtereinheit zum Erkennen eines Baumes in der zweidimensionalen Rasterdarstellung basierend auf einer Auswertung von Nachbar-Rasterzellen in einer Nachbarschaftsumgebung der Kandidaten-Rasterzelle.
-
Weiterhin betrifft ein Aspekt der Erfindung ein System zum Erkennen eines Baumes in einem Sichtbereich eines Radarsensors, mit:
- einer Vorrichtung wie zuvor beschrieben; und
- einem Radarsensor zum Detektieren einer Umgebung, um Sensordaten umfassend Scanpunkte mit dreidimensionalen Positionsinformationen zu empfangen.
-
Weitere Aspekte der Erfindung betreffen ein entsprechend der Vorrichtung ausgebildetes Verfahren und ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens, wenn der Programmcode auf einem Computer ausgeführt wird, sowie ein Speichermedium, auf dem ein Computerprogramm gespeichert ist, das, wenn es auf einem Computer ausgeführt wird, eine Ausführung des hierin beschriebenen Verfahrens bewirkt.
-
Bevorzugte Ausgestaltungen der Erfindung werden in abhängigen Ansprüchen beschrieben. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere können das System und das Verfahren bzw. das Computerprogrammprodukt entsprechend den für die Vorrichtung in den abhängigen Ansprüchen beschriebenen Ausgestaltungen ausgeführt sein.
-
Erfindungsgemäß ist es vorgesehen, dass Sensordaten eines Radarsensors empfangen und verarbeitet werden. Diese Sensordaten umfassen Scanpunkte mit dreidimensionalen Positionsinformationen. Jeder Scanpunkt entspricht dabei einer Reflektion, wobei die dreidimensionale Positionsinformation vorzugsweise einen Abstand sowie einen Höhen- und Azimutwinkel des entsprechenden Zielobjekts umfasst.
-
Insbesondere können die Daten eines an einem Fahrzeug vorhandenen Radarsensors verwendet werden. Ein solcher Radarsensor stellt üblicherweise einzelne Scanpunkte, die die Umgebung des Fahrzeugs repräsentieren, zur Verfügung. Die empfangenen Sensordaten werden zunächst verarbeitet, um eine zweidimensionale Rasterdarstellung der Sensordaten zu erzeugen. Hierbei wird jeder einzelne Scanpunkt einer Rasterzelle eines Rasters zugeordnet. Insbesondere kann beispielsweise ein Occupancy Grid, ein Intensity Grid, ein Accumulation Grid oder auch eine Kombination unterschiedlicher Ansätze als Grid mit mehreren Ebenen erzeugt werden.
-
Die zweidimensionale Rasterdarstellung repräsentiert dabei den Sichtbereich des Radarsensors und entspricht einer Draufsicht bzw. vogelperspektivischen Ansicht des Sichtbereichs des Radarsensors. Sozusagen werden die Scanpunkte unterschiedlicher Höhen derselben zweidimensionalen Position in der Umgebung akkumuliert. In jeder Rasterzelle wird vermerkt, wie viele Scanpunkte an der entsprechenden zweidimensionalen Position vorhanden sind. Insoweit entspricht die zweidimensionale Rasterdarstellung einer Darstellung der Dichte der Detektionen an unterschiedlichen Positionen.
-
Basierend auf der zweidimensionalen Rasterdarstellung werden zunächst Kandidaten-Rasterzellen identifiziert. Diese Kandidaten-Rasterzellen weisen eine erhöhte Anzahl an Scanpunkten auf. Insoweit ist eine Kandidaten-Rasterzelle als zweidimensionale Position im Sichtbereich des Radarsensors zu verstehen, an der viele Detektionen waren, also sich ein Objekt mit einer guten Reflektionscharakteristik befindet. Für jede Kandidaten-Rasterzelle wird dann eine Nachbarschaftsumgebung dieser Zelle, also die umgebenden Rasterzellen, in der zweidimensionalen Rasterdarstellung ausgewertet. Es werden also die benachbarten Rasterzellen betrachtet. Basierend auf dieser Analyse wird erkannt, ob es sich um einen Baum handelt.
-
Die Erfindung erlaubt durch diesen Ansatz eine effiziente, rein radardatenbasierte Erkennung von Bäumen. Hiermit kann eine große Klasse nicht-überfahrbarer Objekte identifiziert werden. Grundsätzlich gehören Bäume zum statischen Umfeld, sodass eine radarbasierte Erkennung schwierig ist. Die vorliegende Erfindung stellt einen Ansatz zum schnellen Erkennen von Bäumen mit ausreichender Zuverlässigkeit dar. Es wird ausgenutzt, dass ein Baum in einer zweidimensionalen Rasterdarstellung von Radardaten aufgrund des charakteristischen Abbilds von Baumstamm und Baumkrone eine identifizierbare Form aufweist.
-
Bisherige Ansätze zur Erkennung von Bäumen basieren auf anderer Sensorik mit anderer Sensorcharakteristik. Aufgrund der weiten Verbreitung von Radarsensoren bietet die vorliegende Erfindung insoweit den Vorteil, dass ohnehin vorhandene Sensorik genutzt werden kann und keine Anpassung der Hardware notwendig ist. Eine verbesserte Kenntnis der Umgebung und der Objekte im Umfeld wird erreicht. Ausgehend von der Erkennung können beispielsweise Funktionen eines autonomen oder teilautonomen Fahrzeugs realisiert werden.
-
In einer bevorzugten Ausgestaltung ist die Detektionseinheit zum Detektieren der Kandidaten-Rasterzelle basierend auf einem Schwellwert für eine Anzahl an einer Rasterzelle zugeordneten Scanpunkten ausgebildet. Zudem ist der Schwellwert vorzugsweise vordefiniert, von einer Gesamtzahl an Scanpunkten abhängig, und/oder von einer Position der Kandidaten-Rasterzelle in der zweidimensionalen Rasterdarstellung abhängig. Vorzugsweise wird ein Schwellwert bezüglich der Anzahl an Scanpunkten in der Rasterzelle verwendet, um die Kandidaten-Rasterzelle bzw. die Kandidaten-Rasterzellen zu identifizieren. Alle Rasterzellen, denen eine über einen Schwellwert hinausgehende Anzahl an Scanpunkten zugeordnet ist, werden als Kandidaten-Rasterzellen erkannt. Hierbei kann der Schwellwert vorbestimmt sein oder auch zur Laufzeit in Abhängigkeit unterschiedlicher Kriterien festgelegt werden. Die Verwendung eines Schwellwerts stellt hierbei eine einfach zu realisierende Möglichkeit zum Identifizieren von Kandidaten-Rasterzellen dar.
-
In einer vorteilhaften Ausgestaltung ist die 2D-Filtereinheit zum Festlegen der Nachbarschaftsumgebung der Kandidaten-Rasterzelle basierend auf einem Kreis und/oder einer Ellipse um die Kandidaten-Rasterzelle ausgebildet. Vorzugsweise ist ein Radius des Kreises und/oder eine Halbachse der Ellipse vordefiniert und/oder von einer Position der Kandidaten-Rasterzelle in der zweidimensionalen Rasterdarstellung abhängig. Die auszuwertenden Nachbar-Rasterzellen können dadurch gefunden werden, dass ein konstanter Radius um die erkannten Kandidaten-Rasterzellen gezogen wird. Ebenfalls ist es möglich, in entsprechender Weise eine Ellipse zu verwenden. Insoweit werden alle Rasterzellen unterhalb eines bestimmten Abstands von der Kandidaten-Rasterzelle bei der Erkennung eines Baumes miteinbezogen. Hierdurch kann eine effiziente Festlegung der Nachbarschaftsumgebung erreicht werden. Eine zuverlässige Erkennung von Objekten, die einem Baum entsprechen, wird möglich.
-
In einer Ausgestaltung ist die 2D-Rastereinheit zum Erzeugen der zweidimensionalen Rasterdarstellung basierend auf innerhalb mehrerer Messzyklen des Radarsensors detektierten Scanpunkten ausgebildet. Vorzugsweise werden Scanpunkte, die über mehrere Messzyklen bzw. Durchläufe des Radarsensors detektiert wurden, verwendet. Hierdurch kann der Informationsgehalt der Rasterdarstellung erhöht werden. Die Rasterdarstellung stellt insoweit ein genaues Abbild der Umgebung dar. Durch die Verwendung einer höheren Anzahl von Scanpunkten, kann die Genauigkeit bei der Auswertung und bei der Erkennung verbessert werden.
-
In einer vorteilhaften Ausgestaltung umfasst die Vorrichtung eine 3D-Rastereinheit zum Erzeugen einer dreidimensionalen Raumdarstellung der Sensordaten, wobei ein Scanpunkt einer dreidimensionalen Raumposition zugeordnet wird. Weiterhin umfasst die Vorrichtung eine 3D-Filtereinheit zum Vergleichen des erkannten Baumes in der dreidimensionalen Raumdarstellung mit einem vorbekannten Modell, wobei der erkannte Baum bei unzureichender Übereinstimmung verworfen wird. Es wird eine zusätzliche Filterung ausgeführt. Zunächst werden die Scanpunkte in einer Raumdarstellung betrachtet (kann auch als Point Cloud bezeichnet werden). Hierbei wird jeder Scanpunkt, also jede einzelne Detektion, einer dreidimensionalen Position zugeordnet. Ausgehend von dieser dreidimensionalen Darstellung kann dann für die bereits in der zweidimensionalen Rasterdarstellung identifizierten Bäume eine weitere Filterung durchgeführt werden. Hierzu wird ein in der zweidimensionalen Rasterdarstellung erkannter Baum in der dreidimensionalen Raumdarstellung betrachtet. Durch einen Vergleich mit einem vordefinierten Modell, das eine zu erwartende Form eines Baumes repräsentiert, können Objekte verworfen werden, die zwar in der zweidimensionalen Rasterdarstellung als Bäume erkannt wurden, die jedoch nach Auswertung der dreidimensionalen Darstellung kein Baum sind. Entsprechende Falschdetektionen werden verworfen. Durch die zusätzliche Berücksichtigung der dreidimensionalen Darstellung kann die Genauigkeit deutlich verbessert werden. Die Erkennungssicherheit wird erhöht.
-
In einer vorteilhaften Ausgestaltung ist die 3D-Filtereinheit zum Vergleichen des erkannten Baumes mit einem vorbekannten Modell umfassend eine Baumform ausgebildet. Beispielsweise können Baumformen typische Formen eines Nadelbaums und eines Laubbaumes umfassen und als Modellwissen miteinbezogen werden. Ebenfalls ist es möglich, dass für verschiedene Baumarten jeweils typische Formen vordefiniert sind. Die 3D-Filtereinheit vergleicht die dreidimensionale Raumdarstellung mit diesen vorbekannten Formen. Durch eine Verwendung verschiedener Baumformen kann die Genauigkeit bei der Erkennung von Bäumen weiter verbessert werden. Falsche Erkennungen (False Positives) werden vermieden.
-
In einer vorteilhaften Ausgestaltung ist die 3D-Rastereinheit zum Erzeugen der dreidimensionalen Raumdarstellung der Sensordaten basierend auf den innerhalb eines Messzyklus des Radarsensors detektierten Scanpunkten ausgebildet. Vorzugsweise werden bei der 3D-Betrachtung lediglich Scanpunkte eines einzelnen Messzyklus ausgewertet. Hierdurch kann eine effiziente Verarbeitung gewährleistet werden. Eine übermäßige Belastung möglicherweise limitierter Speicher- und Prozessorressourcen wird vermieden. Eine effiziente Auswertung wird möglich. Insbesondere kann eine Echtzeit-Auswertung ermöglicht werden.
-
In einer weiteren vorteilhaften Ausgestaltung umfasst die Vorrichtung eine Beschreibungseinheit zum Ermitteln einer Eigenschaft des erkannten Baumes, insbesondere einer Höhe eines Baumstammes, einer Höhe eines Baumfußes, einer Höhe eines Baumwipfels und/oder eines Radius einer Baumkrone, basierend auf der dreidimensionalen Raumdarstellung des erkannten Baumes. Es ist möglich, dass zusätzlich zur Erkennung eines Baumes auch Parameter des Baumes automatisiert bestimmt werden. Hierdurch kann die Objekterkennung weiter verbessert werden. Das Abbild der Umgebung wird genauer.
-
In einer vorteilhaften Ausgestaltung ist die Beschreibungseinheit zum Ermitteln der Eigenschaft des erkannten Baumes basierend auf der zweidimensionalen Rasterdarstellung des erkannten Baumes ausgebildet. Zusätzlich kann bei der Bestimmung der Eigenschaften auch die zweidimensionale Rasterdarstellung des erkannten Baumes berücksichtigt werden. Beispielsweise kann ausgehend von einer Betrachtung der Nachbarschaftsumgebung eine genaue Bestimmung des Radius der Baumkrone erfolgen. Durch die zusätzliche Berücksichtigung weiterer Daten wird die Genauigkeit bei der Ermittlung der Eigenschaften verbessert.
-
In einer weiteren vorteilhaften Ausgestaltung ist die Eingangsschnittstelle zum Empfangen von Sensordaten von einem Radarsensor eines Fahrzeugs ausgebildet. Bevorzugt ist die vorliegende Erfindung im Umfeld der Fahrzeugsensorik einsetzbar. Durch die Verwendung eines Fahrzeug-Radarsensors kann auf die ohnehin in den meisten modernen Fahrzeugen vorhandene Sensorik zurückgegriffen werden. Eine genaue Erkennung von Bäumen in der Umgebung des Fahrzeugs wird ermöglicht. Verbesserte Eingangsdaten für das teilautonome und autonome Fahren stehen zur Verfügung.
-
In einer weiteren vorteilhaften Ausgestaltung ist die Eingangsschnittstelle zum Empfangen von Bewegungsdaten des Radarsensors mit Informationen über eine Bewegung des Radarsensors relativ zu einer Umgebung ausgebildet. Weiterhin ist die 2D-Rastereinheit zum Erzeugen der zweidimensionalen Rasterdarstellung basierend auf den empfangenen Bewegungsdaten ausgebildet. Vorzugsweise ist die 2D-Rastereinheit zudem zum Kompensieren der Bewegung des Radarsensors bei der Zuordnung der Scanpunkte zu den Rasterzellen ausgebildet. Weiter vorzugsweise umfassen die Bewegungsdaten Inertialsensordaten einer Inertialsensoreinheit und/oder Positionssensordaten eines Positionssensors. Bei der Erzeugung der zweidimensionalen Rasterdarstellung werden zusätzliche Informationen berücksichtigt. Insbesondere im Fahrzeugumfeld, aber auch in anderen Anwendungen kann es dazu kommen, dass sich der Radarsensor gegenüber der Umgebung bewegt. Diese Bewegung muss bei der Zuordnung der Scanpunkte zu einem Raster berücksichtigt werden. Durch die Berücksichtigung der Bewegung wird es möglich, dass die zweidimensionale Rasterdarstellung Scanpunkte umfasst, die über einen längeren Zeitraum gesammelt wurden. Basierend auf einer höheren Anzahl an Scanpunkten kann die Genauigkeit bei der Erkennung der Bäume verbessert werden. Die zusätzliche Berücksichtigung der Bewegung des Radarsensors ist insbesondere im Umfeld von Fahrzeugen vorteilhaft, da sich das Fahrzeug und ein damit verbundener Radarsensor gegenüber der Umgebung bewegt.
-
Ein Sichtbereich eines Radarsensors bezeichnet ein Gebiet, innerhalb dessen Objekte Radarwellen des Radarsensors reflektieren, so dass der Radarsensor die Reflektionen empfangen kann. Eine Umgebung eines Fahrzeugs umfasst insbesondere einen von einem am Fahrzeug angebrachten Radarsensor aus sichtbaren Bereich im Umfeld des Fahrzeugs. Hierin kann ein Radarsensor auch mehrere Sensoren umfassen, die beispielsweise eine 360°-Rundumsicht ermöglichen und somit ein vollständiges Umgebungsabbild aufzeichnen können. Der Sichtbereich des Radarsensors wird dann über einen Radius definiert. Die Sensordaten eines Radarsensors umfassen insbesondere einen Abstand, einen Höhenwinkel und einen Azimutwinkel für verschiedene Detektionen des Radarsensors. Unter einem Scanpunkt wird ein einzelner Punkt, also eine einzelne Detektion eines Ziels bzw. eines Objekts verstanden. Üblicherweise wird während eines Messzyklus eines Radarsensors eine Vielzahl an Scanpunkten generiert. Unter einem Messzyklus wird ein eimaliges Durchlaufen des sichtbaren Bereichs verstanden. Die in einem Messzyklus erfassten Sensordaten können als Radar-Zielliste (Radar Target List) bezeichnet werden. Unter einer zweidimensionalen Rasterdarstellung versteht sich eine Darstellung als Grid, bei der insbesondere verschiedene Scanpunkte anhand ihrer Position zu Zellen zugeordnet werden. Eine Rasterposition bezeichnet insoweit eine Lage einer Zelle des Rasters. Eine erhöhte Anzahl an Scanpunkten kann insbesondere als relativ hohe Anzahl, also als Zelle mit erhöhter Dichte im Vergleich zu anderen Zellen, verstanden werden. Eine Nachbar-Rasterzelle bezeichnet eine benachbarte Rasterzelle, also eine Zelle im Umfeld einer betrachteten Zelle.
-
Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläutert. Es zeigen:
- 1 eine schematische Darstellung eines Fahrzeugs mit einem erfindungsgemäßen System in einer Umgebung;
- 2 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zum Erkennen eines Baumes;
- 3 eine schematische Darstellung der Funktionsweise der Detektionseinheit;
- 4 eine schematische Darstellung der Funktionsweise der 2D-Filtereinheit;
- 5 eine schematische Darstellung der Funktionsweise der 3D-Filtereinheit;
- 6 eine schematische Darstellung der Funktionsweise der Beschreibungseinheit;
- 7 eine schematische Darstellung eines Fahrzeugs mit einem erfindungsgemäßen System und unterschiedlichen Sensoren; und
- 8 eine schematische Darstellung eines erfindungsgemäßen Verfahrens.
-
Die 1 zeigt eine schematische Darstellung eines erfindungsgemäßen Systems 10. Das System 10 umfasst eine Vorrichtung 12 zum Erkennen eines Baumes 14 in einem Sichtbereich 16 eines Radarsensors 18. Im Sichtbereich 16 des Radarsensors 18 sind verschiedene Objekte, die durch den Radarsensor 18 detektiert werden können (Bäume, Häuser, Verkehrsschilder, andere Verkehrsteilnehmer, Fußgänger, Radfahrer, Tiere etc.). Diese verschiedenen Objekte reflektieren die Radarwellen. Die Reflektionen werden im Radarsensor 18 ausgewertet. Für verschiedene Scanpunkte wird jeweils eine Position, insbesondere in Form eines Abstands sowie zweier Winkel, erfasst.
-
Grundsätzlich ist die Erfassung von statischen Objekten, wie beispielsweise Bäumen 14, basierend auf einer alleinigen Auswertung von Radardaten und ohne Betrachtung weiterer Sensorik, wie beispielsweise einer Kamera, nur schwer realisierbar. Erfindungsgemäß wird eine Verarbeitung der Radardaten vorgenommen, um Bäume 14 zu erkennen und von anderen Objekten zu unterscheiden.
-
Im dargestellten Ausführungsbeispiel ist das System 10 in ein Fahrzeug 20 integriert. Beispielsweise werden durch das System Informationen generiert, die dann in einem Fahrerassistenzsystem weiterverwendet werden können. Es versteht sich, dass in anderen Ausführungsformen auch andere Anordnungen denkbar sind. Insbesondere kann die Vorrichtung 12 auch teilweise oder vollständig außerhalb des Fahrzeugs angeordnet sein, beispielsweise als Cloud-Service oder als Mobilgerät mit entsprechender App. Zudem können auch Daten eines Radarsensors, der nicht in einem Fahrzeug integriert ist, verarbeitet werden.
-
In der 2 ist eine erfindungsgemäße Vorrichtung 12 schematisch dargestellt. Die Vorrichtung 12 umfasst eine Eingangsschnittstelle 22, eine 2D-Rastereinheit 24, eine Detektionseinheit 26 sowie eine 2D-Filtereinheit 28. In weiteren Ausführungsformen kann die Vorrichtung 12 zudem (optional) eine 3D-Rastereinheit 30, eine 3D-Filtereinheit 32 sowie eine Beschreibungseinheit 34 umfassen. Die erfindungsgemä-ße Vorrichtung 12 kann beispielsweise in einem Fahrzeugsteuergerät integriert oder als separates Modul implementiert sein. Es ist möglich, dass die erfindungsgemäße Vorrichtung teilweise oder vollständig in Soft- und/oder Hardware umgesetzt ist. Die verschiedenen Einheiten können insbesondere als Prozessor, Prozessormodul oder als Software für einen Prozessor ausgebildet sein.
-
Über die Eingangsschnittstelle 22 werden Sensordaten eines Radarsensors empfangen. Die Eingangsschnittstelle 22 kann beispielsweise als Steckverbindung in Hardware umgesetzt sein. Es ist auch möglich, dass die Eingangsschnittstelle 22 als entsprechende Softwareschnittstelle zum Datenempfang ausgebildet ist. Die empfangenen Sensordaten umfassen Scanpunkte mit dreidimensionalen Positionsinformationen. Insoweit wird von den Sensorpunkten eine räumliche Position eines detektierten Ziels bzw. einer Stelle, an der eine Radarwelle reflektiert wurde, beschrieben. Insbesondere ist für jeden Scanpunkt ein Abstand sowie ein Höhen- und ein Azimutwinkel angegeben. In einem Messzyklus eines Radarsensors können beispielsweise vierbis fünfhundert oder auch mehrere tausend Scanpunkte generiert werden. Üblicherweise werden mehrere Messzyklen pro Sekunde durchgeführt. Beispielsweise kann eine Messfrequenz bei 16 Hz bis 18 Hz liegen. Die Sensordaten können auch über eine Zeitdauer akkumuliert sein können. Es können also Scanpunkte mehrerer Messzyklen zusammengefasst werden, um eine bessere Auflösung zu erreichen.
-
In der 2D-Rastereinheit 24 werden die empfangenen Sensordaten weiterverarbeitet. Die Scanpunkte werden einem Raster (zweidimensionale Rasterdarstellung) zugeordnet. Insbesondere kann ein Raster mit einer konstanten Kantenlänge für einzelne Zellen des Rasters verwendet werden. In jede Zelle kann dann als Eintrag die Anzahl an Scanpunkten, die für eine beliebige Höhe im Bereich dieser Zelle registriert wurden, vorgenommen werden. Beispielsweise kann ein Occupancy Grid, Intensity Grid oder Accumulation Grid als zweidimensionale Rasterdarstellung erzeugt werden. Ebenfalls ist es möglich, dass die zweidimensionale Rasterdarstellung unterschiedliche Schichten umfasst, wobei die unterschiedlichen Schichten beispielsweise die vorgenannten Grid-Darstellungen beinhalten können. Zudem können Grids zu unterschiedlichen Höhenbereichen erzeugt bzw. verwendet werden.
-
In der Detektionseinheit 26 wird basierend auf einer Auswertung der zweidimensionalen Rasterdarstellung ermittelt, ob eine Rasterzelle des Rasters möglicherweise einem Baum entspricht. Rasterzellen oder Ansammlungen von Rasterzellen, die möglicherweise einem Baum entsprechen könnten, werden als Kandidaten-Rasterzellen markiert bzw. ausgegeben.
-
Die Funktionsweise der Detektionseinheit 26 wird in den 3 und 4 schematisch dargestellt. Die Ansicht ist dabei als Draufsicht aus der Vogelperspektive zu verstehen. Im Sichtbereich 16 des Radarsensors 18 befindet sich ein Baum 14. Am Baum werden Radarwellen reflektiert. Die einzelnen Scanpunkte werden der zweidimensionalen Rasterdarstellung 36 zugeordnet. Im dargestellten Beispiel ist schematisch illustriert, dass an der Stelle des Baumstammes eine höhere Dichte an Detektionen registriert wird. Es gibt eine hohe Anzahl an Scanpunkten im Bereich des Baumstamms. In der zweidimensionalen Rasterdarstellung 36 findet sich an der entsprechenden Stelle demnach eine höhere Anzahl an Scanpunkten. Im vorliegenden Fall gibt es genau einen Baum 14 im Sichtbereich 16. Daher wird die Zelle mit der höchsten Anzahl an Scanpunkten als Kandidaten-Rasterzelle 38 detektiert. Es versteht sich, dass üblicherweise mehrere Kandidaten-Rasterzellen identifiziert werden.
-
Die Ermittlung der Kandidaten-Rasterzelle kann dabei basierend auf einem Schwellwert-Verfahren erfolgen, wobei eine Rasterzelle als Kandidaten-Rasterzelle 38 erkannt wird, wenn die Anzahl an zugeordneten Scanpunkten einen Grenzwert überschreitet. Es ist möglich, dass dieser Grenzwert abhängig von einer Position in der zweidimensionalen Rasterdarstellung definiert ist. Beispielsweise kann der Grenzwert abhängig von der Entfernung zum Radarsensor 18 sein.
-
Ausgehend von der detektierten Kandidaten-Rasterzelle 38 wird dann in der 2D-Filtereinheit 28 die Nachbarschaftsumgebung 40 der Kandidaten-Rasterzelle 38 analysiert, um festzustellen, ob es sich um einen Baum handelt. Die Nachbarschaftsumgebung 40 umfasst dabei Rasterzellen, die sich in der Nähe der Kandidaten-Rasterzelle 38 befinden. Beispielsweise kann als Nachbarschaftsumgebung ein Bereich innerhalb eines konstanten Abstands um die Kandidaten-Rasterzelle 38 festgelegt werden. In der 4 ist beispielhaft angedeutet, dass eine Nachbarschaftsumgebung 40 ausgehend von einem Kreis mit einem Radius um die Kandidaten-Rasterzelle 38 konstruiert werden kann. Alle Zellen, die vollständig innerhalb des Kreises sind, gehören zur Nachbarschaftsumgebung. Ebenfalls ist es möglich, dass eine Ellipse zur Definition der Nachbarschaftsumgebung 40 verwendet wird.
-
Vorzugsweise ist die 2D-Filtereinheit 28 dazu ausgebildet, die Kandidaten-Rasterzelle 38 sowie die Nachbarschaftsumgebung 40 basierend auf vordefiniertem Modellwissen zu analysieren. Insbesondere ist es möglich, dass geprüft wird, ob es um die Kandidaten-Rasterzelle 38 einen Bereich mit Rasterzellen gibt, dem im Vergleich zur Kandidaten-Rasterzelle weniger Scanpunkte zugeordnet sind, der jedoch mehr Scanpunkte als eine Umgebung aufweist. Insoweit wird davon ausgegangen, dass ein Baum eine Krone und einen Stamm aufweist, was sich darin widerspiegelt, dass eine Kandidaten-Rasterzelle eine hohe Anzahl an zugeordneten Scanpunkten hat (entsprechend dem Baumstamm) und ein Bereich um diese Kandidaten-Rasterzelle eine geringere, aber dennoch erhöhte Anzahl an zugeordneten Scanpunkten hat (entsprechend der Baumkrone). Durch die Funktion der 2D-Filtereinheit 28 kann insbesondere eine Unterscheidung zwischen einem Baum mit Baumkrone und Baumstamm und einem anderen Objekt, bei dem es zu einer Häufung von Scanpunkten in einer Rasterzelle kommt, wie beispielsweise einem Pfosten, einem Verkehrsschild oder einer Stehampel, erfolgen. Diese Objekte weisen andere Abbilder in der zweidimensionalen Rasterdarstellung auf.
-
Eine weitere Überprüfung der erkannten Bäume findet in einer Auswertung dreidimensionaler Daten statt. Hierzu wird zunächst in der 3D-Rastereinheit 30 eine dreidimensionale Raumdarstellung der Sensordaten erzeugt. Die Raumdarstellung entspricht vorzugsweise einer Punktewolkendarstellung (Point Cloud). Es wird eine Transformation der dreidimensionalen Positionsinformationen der Scanpunkte in eine dreidimensionale Darstellung vorgenommen.
-
In der 5 ist schematisch ein Ansatz zum Analysieren der dreidimensionalen Raumdarstellung dargestellt. Die Analyse erfolgt in einer 3D-Filtereinheit 32. Wie in der 5 auf der linken Seite dargestellt können beispielsweise ein linker sowie ein rechter Straßenrand 41 sowie ein Baum 14 in der Punktewolke der Scanpunkte 43 erkannt werden. In der 3D-Filtereinheit 32 wird nun der erkannte Baum aus der 2D-Filtereinheit weiter analysiert. Insoweit erfolgt eine Betrachtung desjenigen Bereiches der dreidimensionalen Raumdarstellung, der dem in der zweidimensionalen Rasterdarstellung erkannten Baum entspricht. Hierzu ist es insbesondere vorteilhaft, wenn die Punktewolke im Bereich des erkannten Baumes mit einem vorbekannten Modell 46 einer Baumform verglichen wird (Template Matching). Das vorbekannte Modell entspricht der typischen Form eines Baumes. Insbesondere kann geprüft werden, ob der Baum 14 die typische Form eines Baumes mit Baumstamm und Baumkrone aufweist. Wenn die typische Form eines Baumes nicht vorliegt, wird der zuvor erkannte Baum wieder verworfen. Für verschiedene Baumarten können separate Modelle verwendet werden oder Parameter des vorbekannten Modells 46 angepasst werden.
-
In der 6 ist schematisch die Funktion der Beschreibungseinheit 34 dargestellt. Die Beschreibungseinheit 34 analysiert die zuvor bereits als Baum identifizierte Punktewolke weiter. Insbesondere kann, beispielsweise mittels Algorithmen der Bildverarbeitung, festgestellt werden, wie hoch der Baum ist (Baumhöhe h1), welchen Durchmesser d1 die Krone und der Stamm d2 haben, an welcher Stelle die Krone beginnt (Stammhöhe h2) und wie hoch ein Fuß des Baumes ist (Fußhöhe h3).
-
In der 7 ist eine weitere Ausführungsform eines erfindungsgemäßen Systems 10 schematisch dargestellt. Die erfindungsgemäße Vorrichtung 12 ist in ein Fahrzeug 20 integriert. Zusätzlich zu den Daten des Radarsensors 18 können über die Eingangsschnittstelle Daten einer Inertialsensoreinheit 42 sowie Daten eines Positionssensors 44 empfangen werden. Diese Daten erlauben eine Aussage über eine Bewegung des Fahrzeugs bzw. des Radarsensors. Durch die zusätzliche Berücksichtigung derartiger Daten können Daten mehrerer Messzyklen, die an unterschiedlichen Positionen relativ zur Umgebung ermittelt wurden (da sich das Fahrzeug weiterbewegt hat), zusammengefasst werden. Durch die Auswertung und zusätzliche Berücksichtigung der von dem Positionssensor 44 und/oder von der Intertialsensoreinheit 42 bereitgestellten Bewegungsdaten kann die Bewegung des Radarsensors in Bezug zur Umgebung kompensiert werden. Scanpunkte, die demselben Objekt entsprechen, werden auch derselben Rasterzelle bzw. derselben Position in der Raumdarstellung zugeordnet. Die Berücksichtigung der Bewegungsdaten erfolgt dabei insbesondere aber nicht ausschließlich in der 2D-Rastereiheit und bewirkt eine höhere Genauigkeit.
-
In der 8 ist schematisch ein erfindungsgemäßes Verfahren zum Erkennen eines Baumes in einem Sichtbereich eines Radarsensors dargestellt. Das Verfahren umfasst die Schritte des Empfangens S10 von Sensordaten, des Erzeugens S12 einer zweidimensionalen Rasterdarstellung, des Detektierens S14 einer Kandidaten-Rasterzelle sowie des Erkennens S16 eines Baumes. Optional kann das Verfahren weiterhin die Schritte des Erzeugens S18 einer dreidimensionalen Raumdarstellung, des Vergleichens S20 mit einem vorbekannten Modell und des Ermittelns S22 einer Eigenschaft umfassen. Das erfindungsgemäße Verfahren kann beispielsweise als Smartphone-App oder als Software für ein Fahrzeugsteuergerät ausgeführt sein.
-
Die Erfindung wurde anhand der Zeichnungen und der Beschreibung umfassend beschrieben und erklärt. Die Beschreibung und Erklärung sind als Beispiel und nicht einschränkend zu verstehen. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Ausführungsformen oder Variationen ergeben sich für den Fachmann bei der Verwendung der vorliegenden Erfindung sowie bei einer genauen Analyse der Zeichnungen, der Offenbarung und der nachfolgenden Patentansprüche.
-
In den Patentansprüchen schließen die Wörter „umfassen“ und „mit“ nicht das Vorhandensein weiterer Elemente oder Schritte aus. Der undefinierte Artikel „ein“ oder „eine“ schließt nicht das Vorhandensein einer Mehrzahl aus. Ein einzelnes Element oder eine einzelne Einheit kann die Funktionen mehrerer der in den Patentansprüchen genannten Einheiten ausführen. Ein Element, eine Einheit, eine Schnittstelle, eine Vorrichtung und ein System können teilweise oder vollständig in Hard- und/oder in Software umgesetzt sein. Die bloße Nennung einiger Maßnahmen in mehreren verschiedenen abhängigen Patentansprüchen ist nicht dahingehend zu verstehen, dass eine Kombination dieser Maßnahmen nicht ebenfalls vorteilhaft verwendet werden kann. Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger gespeichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hardware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme. Bezugszeichen in den Patentansprüchen sind nicht einschränkend zu verstehen.
-
Bezugszeichenliste
-
- 10
- System
- 12
- Vorrichtung
- 14
- Baum
- 16
- Sichtbereich
- 18
- Radarsensor
- 20
- Fahrzeug
- 22
- Eingangsschnittstelle
- 24
- 2D-Rastereinheit
- 26
- Detektionseinheit
- 28
- 2D-Filtereinheit
- 30
- 3D-Rastereinheit
- 32
- 3D-Filtereinheit
- 34
- Beschreibungseinheit
- 36
- zweidimensionale Rasterdarstellung
- 38
- Kandidaten-Rasterzelle
- 40
- Nachbarschaftsumgebung
- 41
- Straßenrand
- 42
- Inertialsensoreinheit
- 43
- Scanpunkt
- 44
- Positionssensor
- 46
- vorbekanntes Modell
