EP4702374A1 - Lidar-system und verfahren zur umgebungserfassung - Google Patents

Abstract

Die Anmeldung betrifft ein Lidar-System (10) und ein Verfahren zur Umgebungserfassung. Das Lidar-System (10) weist auf: eine Sendeeinheit (12) zum Aussenden von Licht (L), eine Empfangseinheit (14), welche einen optischen Empfangssensor (22) zum pixelbasierten Empfangen des reflektierten Lichts (L) und zum Ausgeben eines Sensorsignals, welches Pixel (Px) umfasst, aufweist, eine Auswerteeinheit (16), welche ausgebildet ist, Auswertedaten zu ermitteln, welche von einer superpixelbasierten Auswertung des Sensorsignals abhängen, wobei die Auswertedaten zusätzlich von einer pixelbasierten Auswertung und/oder einer weiteren superpixelbasierten Auswertung abhängen, wobei ein Pixelbinning mehrerer Pixel (Px) zur Erzeugung des zumindest einen Superpixels (24) vorgesehen ist. Die Anmeldung betrifft weiter eine Verwendung des Lidar-Systems (10) in einem Fahrzeug (100).

Description

LIDAR-SYSTEM UND VERFAHREN ZUR UMGEBUNGSERFASSUNG

Technisches Gebiet

Die Anmeldung betrifft ein Lidar-System und ein Verfahren zur Umgebungserfassung insbesondere für ein Fahrzeug sowie eine Verwendung des Lidar-Sys- tems in einem Fahrzeug.

Hintergrund

Moderne Fahrzeuge (Autos, Transporter, Lastwagen, Motorräder etc.) verfügen über eine Vielzahl an Sensor-Systemen, deren Daten zur Fahrerinformation dienen und/oder Fahrerassistenzsystemen zur Verfügung gestellt werden. Über die Sensor-Systeme werden die Umgebung des Fahrzeugs sowie andere Verkehrsteilnehmer erfasst. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden und auf Veränderungen in dieser Fahrzeugumgebung reagiert werden.

Sensor-Systeme werden für verschiedene Funktionen ständig weiterentwickelt, z. B. für die Erfassung von Umgebungsinformationen im Nah- und Fernbereich von Fahrzeugen, wie Personen kraftwaren oder Nutzfahrzeugen. Sensor-Systeme können auch für Fahrerassistenzsysteme, insbesondere Assistenzsysteme zur autonomen oder teilautonomen Fahrzeugsteuerung, eingesetzt werden. Sie können insbesondere zur Erkennung von Hindernissen und/oder anderen Verkehrsteilnehmern im Front-, Heck- oder im Totwinkel-Bereich eines Fahrzeuges genutzt werden. Sensor-Systeme können auf verschiedenen Sensor-Prinzipien, wie z. B. Radar, Ultraschall, Optik beruhen.

Ein wichtiges optisches Sensorprinzip zur Umgebungserfassung, z. B. von Fahrzeugen, ist dabei die Lidartechnik (Lidar engl. Light Detection and Ranging). Ein Lidar-System weist eine optische Sendeeinheit und eine optische Empfangseinheit auf. Die Sendeeinheit kann ein optisches Sendesignal in Form von Licht aussenden, das kontinuierlich oder gepulst sein kann. Zudem kann das optische Sendesignal moduliert sein. In einem Lidar-Sensor kann insbesondere Licht in Form von Laserstrahlen im ultravioletten, visuellen oder infraroten Bereich zum Einsatz kommen. Durch die Empfangseinheit kann das Licht nach Reflexion an einem Objekt in einem Erfassungsbereich in der Umgebung des Lidar-Sensors empfangen werden. Das optische Empfangssignal kann unter Verwendung des optischen Sendesignals z. B. nach einem Lichtlaufzeitverfahren ausgewertet werden und es können die räumliche Lage und der Abstand des Objekts, an dem die Reflexion erfolgte, ermittelt werden. Unter Reflexion oder reflektiertem Licht wird vorliegend jegliches zurückgeworfenes Licht verstanden und soll insbesondere auch durch Streuung oder Absorptions-Emission zurückgeworfenes Licht umfassen.

In DE102019107115A1 wird ein Lidar-System eines Fahrzeugs, mit einer Sendeeinheit und mit einer Empfangseinheit beschrieben. Die Empfangseinheit weist einen einzelne Pixel erzeugenden optischen Sensor und eine Auswerteeinheit zum pixelbasierten Auswerten des Sensorsignals des optischen Sensors auf. Der optische Sensor und/oder die Auswerteeinheit führt Pixelbinning aus, um mindestens ein Superpixel zu bilden, und führt eine superpixelbasierte Auswertung aus, um einen Modus mit vergrößerter Erfassungsreichweite des Lidar- Systems zu erhalten.

Übersicht

Ein Lidar-System zur Umgebungserfassung weist auf: eine Sendeeinheit zum Aussenden von Licht, eine Empfangseinheit, welche einen optischen Empfangssensor zum pixelbasierten Empfangen des reflektierten Lichts und zum Ausgeben eines Sensorsignals, welches Pixel umfasst, aufweist, eine Auswerteeinheit, welche ausgebildet ist, Auswertedaten zu ermitteln, welche von einer superpixelbasierten Auswertung des Sensorsignals abhängen, wobei die Auswertedaten zusätzlich von einer pixelbasierten Auswertung und/oder einer weiteren superpixelbasierten Auswertung abhängen, wobei ein Pixelbinning mehrerer Pixel zur Erzeugung des zumindest einen Superpixels vorgesehen ist. Insbesondere kann die Auswertung also von der pixelbasierten Auswertung und der superpixelbasierten Auswertung abhängen. Es ist ebenfalls möglich, dass die Auswertung von der superpixelbasierten Auswertung und/oder der weiteren superpixelbasierten Auswertung abhängt. Insbesondere kann dabei vorgesehen sein, mehr als ein Superpixel zu bilden, so dass die Auswertedaten von einer pixelbasierten Auswertung und von mehreren superpixelbasierten Auswertungen abhängen.

Dadurch können für die Auswertung zwei oder mehr Binningzustände gleichzeitig genutzt werden, indem entweder ungebinnte Pixel mit Superpixeln kombiniert und gemeinsam ausgewertet werden oder Superpixel mit unterschiedlicher Anordnung der Pixel und/oder unterschiedlicher Größe kombiniert und gemeinsam ausgewertet werden.

Der Empfangssensor weist ein Feld von Pixeln auf, welche z. B. ausgebildet sein können Licht zu empfangen und in ein elektrisches Sensorsignal zu wandeln. Hierfür kann der jeweilige Pixel z. B. fotosensitive Elemente, z. B. fotosensitive Halbleiterelemente, aufweisen. Ein jeweiliger Pixel oder eine jeweilige Gruppe von Pixeln des Empfangssensors kann dabei insbesondere zum Empfang von Licht aus einer bestimmten Richtung ausgebildet sein. Diese Richtungsinformation kann auch als Winkelinformation bezeichnet, werden, da sie die Winkelrichtung im Raum angibt, von der die Reflexion des empfangenen Lichts erfolgte. Aus z. B. Richtung und Entfernung des Ortes, wo die Reflexion erfolgte, lässt sich ein Modell der Umgebung des Lidar-Systems zusammensetzen.

Das Sensorsignal ist ein elektrisches Signal, welches vom Empfangssensor ausgegeben wird. Das Sensorsignal umfasst Pixel, welche das jeweilige elektrische Sensorsignal des jeweiligen Pixels des Empfangssensors umfassen. Ein Pixel kann auch als Bildpunkt bezeichnet werden. Beim Pixelbinning werden zwei oder mehr Pixel zu einem Superpixel zusammengefasst. Die Pixel, die zu einem Superpixel zusammengefasst wurden, werden dabei gemeinsam ausgewertet.

Die Auswertedaten werden von der Auswerteinheit unter Verwendung des gesendeten Lichts und des Sensorsignals ermittelt. Hierbei kann das Sensorsignal pixelbasiert und zusätzlich superpixelbasiert ausgewertet werden. Alternativ cider zusätzl ch kann das Sensorsignal superpixelbasiert unter Verwendung mehrerer unterschiedlicher Superpixel ausgewertet werden. Die pixelbasierte Auswertung umfasst dabei die Auswertung zumindest eines Pixels des Sensorsignals, also die Auswertung zumindest eines jeweiligen elektrischen Sensorsignals des zumindest einen Pixels. Die superpixelbasierte Auswertung umfasst dabei die Auswertung zumindest eines Superpixels, d. h. die zu dem zumindest einen Superpixel zusammengefassten Pixel werden gemeinsam ausgewertet. Bei der weiteren superpixelbasierten Auswertung werden Superpixel ausgewertet, die sich von den Superpixeln der superpixelbasierten Auswertung z. B. in der Anzahl und/oder Anordnung der den Superpixel bildenden Pixel unterscheiden.

Das Erzeugen der Superpixel ist ein Kompromiss zwischen räumlicher Auflösung und Erfassungsreichweite. Superpixel ermöglichen das Erfassen weiter entfernter Objekte auf Kosten des Verlusts feiner Details der abgebildeten Szene. Demgegenüber hat die pixelbasierte Auswertung den Vorteil, dass die Auflösung groß ist. Es können also auch kleine Objekte im Erfassungsbereich erkannt werden. Durch das beschriebene Lidar-System können beide Vorteile miteinander kombiniert und genutzt werden.

Durch das Binning von Pixeln zu Superpixeln und die Auswertung von Superpixeln kann dagegen eine Erhöhung der Erkennungsreichweite erreicht werden, so dass auch weiter entfernte Objekte und/oder dunklere Objekte erkannt werden können. Die Verwendung von Superpixeln zur Reichweitenerhöhung ist in DE102019107115A1 beschrieben. Durch die Verwendung von Superpixeln kann aber die Auflösung reduziert sein, so dass es sein kann, dass die Auflösung für die Erkennung von kleineren Objekten zu klein wird.

Das beschriebene Lidar-System bietet den Vorteil, dass z. B. helle und/oder nahe Objekte mit einer hohen Auflösung insbesondere ohne Binnen detektiert werden können, während dunkle und/oder weit entfernte Objekte mit einer niedrigeren Auflösung mit Binnen detektiert werden können. Die Detektion kann dabei ein Erkennen von z. B. einem Objekt, die Richtung im Raum, in der sich das Objekt befindet und/oder eine Entfernung zum Objekt umfassen.

In einer Ausführungsform des Lidar-Systems hängen die Auswertedaten zu zumindest einem Pixel von der pixelbasierten Auswertung und von der superpixelbasierten Auswertung ab. Dies bedeutet, dass derselbe Pixel des Empfangs- sensors einmal pixelbasiert ausgewertet werden kann und nochmals als Teil eines Superpixels ausgewertet werden kann. Alternativ oder zusätzlich ist es ebenfalls möglich, den gleichen Pixel mehrfach als Teil verschiedener Superpixel auszuwerten. Hierdurch kann für solche mehrfach ausgewertete Pixel sowohl eine hohe Auflösung als auch eine hohe Erkennungsreichweite erreicht werden.

In einer Ausführungsform weist das Lidar-System eine Ausgabeschnittstelle zur Ausgabe der durch die Auswerteeinheit ermittelten Auswertedaten auf. Die Auswertedaten können dabei Auswertedaten mehrerer Binningzustände umfassen. Insbesondere können die von der pixelbasierten Auswertung abhängigen Auswertedaten und die von der superpixelbasierten Auswertung abhängigen Auswertedaten als ein Ausgabedatensatz ausgegeben werden. Hierdurch wird ermöglicht, die Informationen, die im Lidar-System vorliegen mit größtmöglicher Qualität z. B. zur Weiterverarbeitung auszugeben. Von besonderem Vorteil ist dabei, dass der Ausgabedatensatz bereits die Auswertedaten der pixelbasierten Auswertung und der superpixelbasierten Auswertung aufweisen kann. Das Lidar-System weist also einen Betriebsmodus auf, in dem Auswertedaten pixelbasierte Auswertedaten und zugleich superpixelbasierte Auswertedaten umfassen. Diese Auswertedaten stehen dem Empfänger dann beim Empfang des Ausgabedatensatzes zur Verfügung, ohne dass weitere Anforderungen an das Lidar- System gestellt werden müssen oder ohne dass der Betriebsmodus gewechselt werden muss. In gleicher Weise kann der Ausgabedatensatz gemäß einer Ausführungsform superpixelbasierte Auswertedaten kombiniert mit weiteren superpixelbasierten Auswertedaten aufweisen, wobei sich die weiteren Superpixel auf deren Basis die weitere superpixelbasierte Auswertung erfolgt sich von den Superpixeln unterscheiden, auf deren Basis die superpixelbasierte Auswertung erfolgt.

Das Binning kann dabei im Empfangssensor im analogen Bereich erfolgen. In einer solchen Ausführungsform kann das Sensorsignal daher elektrische Signale zu zumindest einem Pixel als auch zu zumindest einem Superpixel umfassen.

Das Binning kann auch in der Auswerteeinheit im digitalen Bereich erfolgen. In einer solchen Ausführungsform umfasst das Sensorsignal Pixel mit dem zugehörigen elektrischen Signal. Das Binning, also die Kombination zu dem zumindest einen Superpixel erfolgt dann in der Auswerteeinheit im digitalen Bereich. Bei diesem Ausführungsbeispiel erfolgt das Binnen als sogenanntes Software- Binning im Nachgang einer hochauflösenden pixelbasierten Messung ohne Binning.

Optional kann in dem Lidar-System eine Ablenkeinrichtung vorgesehen sein, mittels derer das gesendete Licht in verschiedene Richtungen abgelenkt werden kann. Durch ein schrittweises Ändern der Richtung kann dabei ein Scannen des Erfassungsbereiches durchgeführt werden.

Die Auswertedaten können insbesondere Entfernungsdaten umfassen, welche durch die Auswerteeinheit mittels eines indirektem Lichtlaufzeitverfahren ermittelbar sind. Lichtlaufzeitverfahren, auch als Time of Flight Verfahren bezeichnet, messen die Zeitdauer, die das Licht zum Zurücklegen einer Strecke braucht. Aus der Zeitdauer lässt sich dann die zurückgelegte Strecke und die Entfernung des Ortes der Reflexion ermitteln. Bei indirekten Lichtlaufzeitverfahren wird die Zeitdauer nicht direkt, sondern indirekt gemessen, indem z. B. eine Phasenverschiebung der empfangenen Lichts gegenüber dem gesendeten Licht ermittelt wird. Die Auswertedaten bilden dabei insbesondere eine Vorstufe der für das indirekte Lichtlaufzeitverfahren gewonnenen Informationen, insbesondere der Phaseninformationen. Diese Vorstufen der Informationen können also aus der Kombination der Auswertung mehrerer Binningzustände, insbesondere der Kombination aus pixelbasierter Auswertung und superpixelbasierter Auswertung, gewonnen werden. Bei den Vorstufen der Informationen kann es sich insbesondere um Korrelationswerte von Lichtsignalen unter Verwendung des gesendeten und empfangenen Lichts handeln.

In einer Ausführungsform des Lidar-Systems ist die superpixelbasierte Auswertung für Entfernungen über einem vorgebbaren Schwellwert vorgesehen. In einer solchen Ausführungsform kann vorgesehen sein, dass für Entfernungen unterhalb des vorgebbaren Schwellwertes z. B. die pixelbasierte Auswertung mit hoher Auflösung vorgenommen wird. Hierdurch kann im Nachbereich unterhalb des Schwellwertes immer mit einer hohen Auflösung erfasst werden. Oberhalb des Schwellwertes, kann dann alternativ oder zusätzlich zur pixelbasierten Auswertung die superpixelbasierte Auswertung erfolgen. Hierdurch lässt sich die Erkennungsreichweite des Lidar-Systems erhöhen und die hohe Auflösung im Nahbereich erhalten. Zugleich können mehrere solche Schwellwerte vorgesehen sein, bei deren Überschreiten die Größe des Superpixels mit zunehmender Entfernung jeweils vergrößert wird. Hierdurch wird die Erfassungsreichweite schrittweise erhöht und die Auflösung schrittweise verringert.

In einer Ausführungsform ist die Auswerteeinheit ausgebildet, die superpixelbasierte Auswertung für zumindest einen Pixel in Abhängigkeit von der pixelbasierten Auswertung durchzuführen. In dieser Ausführungsform kann z. B. nur für Pixel, für die kein Messergebnis bei der pixelbasierten Auswertung vorliegt, eine superpixelbasierte Auswertung, z. B. mit umliegenden Pixeln, durchgeführt werden, um evtl, vorliegende dunkle oder weit entfernte Objekte noch erfassen zu können.

In einer Ausführungsform des Lidar-Systems ist ein Erfassungsbereich des Li- dar-Systems in der zu erfassenden Umgebung in Bereiche unterteilt. Die Auswerteeinheit ist ausgebildet, die superpixelbasierte Auswertung für zumindest einen vorgebbaren Bereich des Erfassungsbereiches durchzuführen. Hierdurch können z. B. Bereiche, in denen weit entfernte Objekte erwartet werden, gezielt mittels superpixelbasierter Auswertung ausgewertet werden. Solche Bereiche können z. B. Bereiche sein, in denen der Horizont und/oder die Bebauung am Horizont erwartet wird.

In einer Ausführungsform weist das Superpixel zwischen 2 und 9 Pixel, insbesondere zwischen 2 und 6 Pixel, auf. Bei dieser Pixelgröße kann die Reichweite erhöht werden und die Auflösung trotzdem im akzeptablen Bereich verbleiben.

In Ausführungsformen des Lidar-Systems kann zumindest ein Pixel Teil von mehr als einem Superpixel sein. Bei einer solchen Ausführungsform kann das Superpixel z. B. um jeweils eine kleine Anzahl Pixel im Pixelfeld verschoben werden. Dies wirkt wie ein Weichzeichner in der Auflösung, wobei aber die Reichweite erhöht wird und die Anzahl Superpixel der Anzahl Pixel entsprechen kann, wenn die Verschiebung entsprechend gewählt wird.

Das beschriebene Lidar-System kann zum Beispiel in einem Fahrzeug verwendet werden. Die vom Lidar-System ausgegebenen Daten z. B. des Ausgabedatensatzes können dann von Steuergeräten des Fahrzeuges weiterverwendet werden. Insbesondere kann eine Weiterverarbeitung und Verwendung in autonomen oder teilautonomen Fahrsystemen erfolgen. Insbesondere ist auch eine Ausgabe an eine zentrale Recheneinheit des Fahrzeuges möglich, wo Informationen über das Fahrzeug und seine Umgebung zentral verarbeitet werden.

Ein Verfahren zur Umgebungserfassung mittels des beschriebenen Lidar-Sys- tems weist auf:

Aussenden von Licht, pixelbasiertes Empfangen des reflektierten Lichts mittels eines Empfangssensors und Ausgeben eines Sensorsignals, welches Pixel umfasst,

Ermitteln von Auswertedaten durch Auswerten des Sensorsignals, umfassend eine superpixelbasierte Auswertung und zusätzlich eine pixelbasierte Auswertung und/oder eine weitere superpixelbasierte Auswertung, wobei ein Pixelbinning mehrerer Pixel zur Erzeugung des zumindest einen Superpixels vorgesehen ist.

Das Verfahren bietet den Vorteil, dass z. B. helle und/oder nahe Objekte mit einer hohen Auflösung ohne Binnen detektiert werden können, während dunkle und/oder weit entfernte Objekte mit einer niedrigeren Auflösung mit Binnen detektiert werden können. Die Detektion kann dabei ein Erkennen von z. B. einem Objekt, die Richtung im Raum, in der sich das Objekt befindet und/oder eine Entfernung zum Objekt umfassen. Alternativ ist es möglich, helle oder nahe Objekte mit einem Superpixel mit einer kleinen Anzahl von Pixeln zu erfassen und dunkle oder entfernte Objekte mit einem weiteren Superpixel zu erfassen, welche größer ist als der Superpixel für helle oder nahe Objekte.

In einer Ausführungsform des Verfahrens werden die Auswertedaten zu zumindest einem Pixel in Abhängigkeit von der superpixelbasierten Auswertung und zusätzlich von der pixelbasierten Auswertung und/oder der weiteren superpixelbasierten Auswertung ermittelt. Bei einer solchen Ausführungsform kann das Sensorsignal zu einem jeweiligen Pixel mehrfach ausgewertet werden, als einzelner Pixel oder als Bestandteil von einem oder mehreren Superpixeln.

In einer Ausführungsform des Verfahrens werden die von der pixelbasierten Auswertung abhängigen Auswertedaten und die von der superpixelbasierten Auswertung abhängigen Auswertedaten als ein Ausgabedatensatz ausgegeben. Hierdurch können die Ausgabedaten des Lidar-System zugleich eine hohe Auflösung sowie eine hohe Erkennungsreichweite aufweisen. In einer Ausführungsform des Verfahrens wird das Pixelbinning im digitalen Bereich durchgeführt. Diese sogenannte Software-Binning hat den Vorteil, dass die Hardwareseite, also der Empfangssensor, im Vergleich zur ungebinnten Verwendung nicht verändert werden muss.

In einer Ausführungsform des Verfahrens wird eine Entfernungsmessung mittels eines indirekten Lichtlaufzeitverfahrens unter Verwendung der Auswertedaten durchgeführt. Hierbei können insbesondere Phaseninformationen zu gesendetem und empfangenem Licht durch eine Kombination der Auswertung von Pixeln mit mehreren Binningzuständen gewonnen werden.

Fiourenliste

Im Folgenden werden Ausführungsbeispiele dieser Anmeldung anhand der Figuren weiter erläutert und beschrieben. Es zeigen

Fig. 1 schematisch ein Fahrzeug mit Lidar-System und Erfassungsbereich,

Fig. 2 schematisch ein Ausführungsbeispiel eines Empfangssensors mit Pixeln und Superpixeln,

Fig. 3 schematisch ein weiteres Ausführungsbeispiel eines Empfangssensors mit Pixeln und Superpixeln,

Fig. 4 schematisch ein Verfahren zum Betrieb des Lidar-Systems.

Es werden in den Figuren die gleichen Bezugszeichen für gleiche oder ähnliche Elemente verwendet. Darstellungen in den Figuren können nicht maßstäblich sein.

Fiaurenbeschreibung

Figur 1 zeigt schematisch ein Fahrzeug 100, zum Beispiel einen Personenkraftwagen, mit einem Lidar-System 10. Das Lidar-System 10 ist im vorderen Bereich des Fahrzeugs 100 angeordnet. Der Erfassungsbereich 20 des Lidar-Systems 10 befindet sich in Fahrtrichtung vor dem Fahrzeug. Im Erfassungsbereich 20 ist schematisch ein Objekt O dargestellt. Das Lidar-System 10 weist eine Sendeeinheit 12 zum Aussenden von Licht L auf. Die Sendeeinheit 12 kann insbesondere eine Lichtquelle zum Aussenden von Laserlicht aufweisen. Das Lidar- System 10 weist weiter eine Empfangseinheit 14 zum Empfang des reflektierten Lichts L auf. In einer Auswerteeinheit 16 können Sendelicht und Empfangslicht ausgewertet werden, um das Objekt 0 im Empfangsbereich 20 zu detektieren.

Das dargestellte Lidar-System 10 ist als abtastendes (engl. scanning) Lidar- System 10 ausgebildet. Das Lidar-System 10 weist eine Ablenkeinrichtung 18 auf, welche von der Sendeeinheit 12 gesendetes Licht L ablenkt und aus dem Erfassungsbereich 20 reflektiertes Licht L in Richtung der Empfangseinheit 14 ablenkt. Die Ablenkeinrichtung 18 kann den Winkel, mit dem das Licht L abgelenkt wird, verändern und so ein z. B. schrittweises Abtasten des Erfassungsbereiches 20 realisieren. Eine mögliche Abtastbewegung des Lichts L ist in Figur 1 durch den Pfeil 26 dargestellt.

Die Empfangseinheit 14 weist zum Empfang des Lichts L einen Empfangssensor 22 auf. Der Empfangssensor 22 weist Pixel Px auf, mittels welcher Licht L in ein elektrisches Sensorsignal gewandelt werden kann.

In Figur 1 ist ebenfalls eine Recheneinheit 30 des Fahrzeuges 100 dargestellt, welche zum Beispiel als zentrale Recheneinheit 30 des Fahrzeuges 100 ausgebildet sein kann. Die Recheneinheit 30 ist mit dem Lidar-System 10 über eine Datenschnittstelle verbunden, über die Ausgabedaten des Lidar-Systems 10 an die Recheneinheit 30 des Fahrzeuges 100 ausgegeben werden können.

Die Recheneinheit 30 kann zum Beispiel als eine zentrale Recheneinheit 30 des Fahrzeuges 100 ausgebildet sein, in denen Daten von mehreren Sensorsystem des Fahrzeuges 100 empfangen und ausgewertet und weiterverarbeitet werden können. Die Recheneinheit 30 kann zum Beispiel zur Realisierung von autonomen oder teilautonomen Fahrfunktionen verwendet werden.

In der Auswerteeinheit kann das Licht L ausgewertet werden, das in den Erfassungsbereich 20 gesendet wird und aus dem Erfassungsbereich 20 empfangen wird. Durch die Auswerteeinheit kann ebenfalls der Sendevorgang in der Sendeeinheit 12, der Empfangsvorgang in der Empfangseinheit 14 sowie ggf. die Ablenkwirkung der Ablenkeinrichtung 18 kontrolliert und gesteuert werden.

Im dargestellten Beispiel kann ein Bereich in Fahrtrichtung vor dem Fahrzeug 100 überwacht werden. Es ist ebenfalls möglich, das Lidar-System 10 in anderen Bereichen des Fahrzeuges 100 anzuordnen, zum Beispiel im Heckbereich und/oder in Seitenbereichen. Es ist ebenfalls möglich, mehrere Lidar-Systeme 10 an dem Fahrzeug 100 anzuordnen, insbesondere auch in Eckbereichen des Fahrzeuges 100.

Mit dem Lidar-System 10 können stehende oder bewegte Objekte O, insbesondere Fahrzeuge, Personen, Tiere, Pflanzen, Hindernisse, Fahrbahnunebenheiten, insbesondere Schlaglöcher oder Steine, Fahrbahnbegrenzungen, Verkehrszeichen, Freiräume, insbesondere Parklücken, Niederschlag oder dergleichen, in dem Erfassungsbereich 20 erfasst werden.

Figur 2 zeigt einen Empfangssensor 22 mit den Pixeln Px. Die Pixel Px können empfangenes Licht L in elektrische Signale umwandeln und als elektrische Sensorsignale ausgeben. Die elektrischen Sensorsignale können dann z. B. bezogen auf die einzelnen Pixel Px ausgewertet werden. Eine solche Auswertung kann zum Beispiel bezogen auf eine Schwelle erfolgen, wobei dann erkannt wird, ob die empfangene Lichtmenge, also die empfangene Anzahl Photonen den gewissen Schwellenwert überschreitet oder nicht. Als Ergebnis kann die Auswertung dann z. B. den Wert 0 oder 1 erhalten. Alternativ oder zusätzlich lassen sich aus einer Gruppe von Pixeln Px Superpixel 24 bilden. Bei einem Superpixel 24 werden die Pixel Px, die zu dem Superpixel 24 gehören gemeinsam ausgewertet. Dies kann zum Beispiel im digitalen Bereich in der Auswerteeinheit 16 geschehen. Für die Auswertung im digitalen Bereich werden die Sensorsignale für jedes einzelne Pixel Px an die Auswerteeinheit 16 übergeben und dort pixelbasiert und/oder superpixelbasiert ausgewertet.

Im in Figur 2 dargestellten Beispiel umfasst jeder Superpixel 24 vier Pixel Px und die einzelnen Superpixel 24 überlappen sich nicht. Das dargestellte Beispiel entspricht einem 2x2 Binning. Es ist beispielsweise auch asymmetrisches Binning NxM möglich, wobei für N und M z. B. Werte zwischen 1 und 3 günstig sind, weil da die Auflösung trotz des Binnings noch recht gut bleibt. Beispielhafte Superpixel 24 umfassen 2x2 Pixel Px, 2x3 Pixel Px, 2x1 Pixel Px oder 1x3 Pixel Px.

In Figur 3 ist ein weiteres Beispiel eines Empfangssensors 22 dargestellt, bei dem ebenfalls aus Pixeln Px Superpixel 24 gebildet werden. Die Superpixel 24 weisen wie in Figur 2 die Größe 2x2 auf. Es sind jedoch wie in Figur 2 auch andere Größen denkbar. Im Ausführungsbeispiel von Figur 3 überlappen sich die Superpixel 24. Sie sind jeweils einen Pixel Px gegeneinander verschoben. Ein einzelner Pixel Px kann also zu mehreren verschiedenen Superpixeln 24 gehören. Hier entspricht das Verschieben um jeweils eines Pixel Px des Superpixels 24 einem Weichzeichnen der Erfassung. Die gesamte Anzahl an Superpixeln 24 kann jedoch zumindest annähernd genauso groß sein wie die Anzahl an Pixeln Px des Empfangssensors 22.

In Figur 4 ist schematisch ein Verfahren zur Umgebungserfassung mittels des beschriebenen Lidar-Systems 10 dargestellt. In Schritt S1 wird durch die Sendeeinheit 12 Licht L ausgesendet. Das aus dem Erfassungsbereich 20 reflektierte Licht L wird in Schritt S2 pixelbasiert empfangen. In Schritt S3 wird das Sensorsignal ausgegeben, welches Pixel Px umfasst. Dies bedeutet, dass den jeweiligen Pixeln Px ein Sensorsignal zugeordnet ist. In Schritt S4 wird das Sensorsignal ausgewertet. Die Auswertung in Schritt S4 umfasst dabei die superpixelbasierte Auswertung und zusätzlich eine pixelbasierte Auswertung und/oder eine weitere superpixelbasierte Auswertung.

Der Superpixel 24 ist dabei, wie in Hinblick auf Figur 2 oder Figur 3 beschrieben, durch das Binning mehrerer Pixel Px erzeugt worden. Der weitere Superpixel ist dabei ebenfalls durch Binning mehrerer Pixel Px erzeugt worden, wobei sich die Größe und/oder die Form des weiteren Superpixels von dem Superpixel 24 unterscheidet.

Das Binning der mehreren Pixel Px erfolgt dabei bevorzugt software basiert digital in der Auswerteeinheit 16. Dies hat den Vorteil, dass das Sensorsignal des Empfangssensors 22 Pixel Px umfassen kann, welche dann erst später in der Auswerteinheit 16 zu Superpixeln 24 und ggf. weiteren Superpixeln zur Auswertung zusammengefasst werden.

Claims

ANSPRÜCHE

1. Lidar-System (10) zur Umgebungserfassung, aufweisend: eine Sendeeinheit (12) zum Aussenden von Licht (L), eine Empfangseinheit (14), welche einen optischen Empfangssensor (22) zum pixelbasierten Empfangen des reflektierten Lichts (L) und zum Ausgeben eines Sensorsignals, welches Pixel (Px) umfasst, aufweist, eine Auswerteeinheit (16), welche ausgebildet ist, Auswertedaten zu ermitteln, welche von einer superpixelbasierten Auswertung des Sensorsignals abhängen, wobei die Auswertedaten zusätzlich von einer pixelbasierten Auswertung und/oder einer weiteren superpixelbasierten Auswertung abhängen, wobei ein Pixelbinning mehrerer Pixel (Px) zur Erzeugung des zumindest einen Superpixels (24) vorgesehen ist.

2. Lidar-System nach Anspruch 1, wobei die Auswertedaten zu zumindest einem Pixel (Px) von der superpixelbasierten Auswertung und zusätzlich von der pixelbasierten Auswertung und/oder der weiteren superpixelbasierten Auswertung abhängen.

3. Lidar-System nach Anspruch 1 oder 2, aufweisend eine Ausgabeschnittstelle zur Ausgabe der durch die Auswerteeinheit (16) ermittelten Auswertedaten, wobei vorgesehen ist, die von der pixelbasierten Auswertung abhängigen Auswertedaten und die von der superpixelbasierten Auswertung abhängigen Auswertedaten als einen Ausgabedatensatz auszugeben.

4. Lidar System nach einem der vorhergehenden Ansprüche, wobei die Auswerteeinheit (16) zur Durchführung des Pixelbinning vorgesehen ist.

5. Lidar-System nach einem der vorhergehenden Ansprüche, wobei durch die superpixelbasierte Auswertung eine vergrößerte Erfassungsreichweite des Lidar-Systems (10) erreichbar ist.

6. Lidar-System nach einem der vorhergehenden Ansprüche, wobei die Auswertedaten Entfernungsdaten umfassen.

7. Lidar-System nach Anspruch 6, wobei die Auswerteeinheit (16) ausgebildet ist, die Entfernungsdaten mittels indirektem Lichtlaufzeitverfahren zu ermitteln.

8. Lidar-System nach Anspruch 6 oder 7, wobei die superpixelbasierte Auswertung für Entfernungen über einem vorgebbaren Schwellwert vorgesehen ist.

9. Lidar-System nach einem der vorhergehenden Ansprüche, wobei Auswerteeinheit (16) ausgebildet ist, die superpixelbasierte Auswertung für zumindest einen Pixel (Px) in Abhängigkeit von der pixelbasierten Auswertung durchzuführen.

10. Lidar-System nach einem der vorhergehenden Ansprüche, wobei ein Erfassungsbereich (20) des Lidar Systems (10) in Bereiche unterteilt ist, und die Auswerteeinheit ausgebildet ist, die superpixelbasierte Auswertung für zumindest einen vorgebbaren Bereich des Erfassungsbereichs (20) durchzuführen.

11. Lidar-System nach einem der vorhergehenden Ansprüche, wobei das Superpixel (24) zwischen 2 und 9 Pixel (Px), insbesondere zwischen 2 und 6 Pixel (Px), aufweist.

12. Lidar-System nach einem der vorhergehenden Ansprüche, wobei zumindest ein Pixel (Px) Teil von mehr als einem Superpixel (24) ist.

13. Verwendung des Lidar-Systems (10) nach einem der vorhergehenden Ansprüche in einem Fahrzeug (100).

14. Verfahren zur Umgebungserfassung mittels eines Lidar-Systems (10), aufweisend:

Aussenden von Licht (L), pixelbasiertes Empfangen des reflektierten Lichts (L) und Ausgeben eines Sensorsignals, welches Pixel (Px) umfasst,

Ermitteln von Auswertedaten durch Auswerten des Sensorsignals, umfassend eine superpixelbasierte Auswertung und zusätzlich eine pixelbasierte Auswertung und/oder eine weitere superpixelbasierte Auswertung, wobei ein Pixelbinning mehrerer Pixel (Px) zur Erzeugung des zumindest einen Superpixels (24) vorgesehen ist.

15. Verfahren nach Anspruch 13, wobei die Auswertedaten zu zumindest einem Pixel (Px) in Abhängigkeit von der superpixelbasierten Auswertung und zusätzlich von der pixelbasierten Auswertung und/oder der superpixelbasierten Auswertung ermittelt werden.

16. Verfahren nach Anspruch 14 oder 15, wobei die von der pixelbasierten Auswertung abhängigen Auswertedaten und die von der superpixelbasierten Auswertung abhängigen Auswertedaten als ein Ausgabedatensatz ausgegeben werden.

17. Verfahren nach einem Ansprüche 14 bis 16, wobei das Pixelbinning im digitalen Bereich durchgeführt wird.

18. Verfahren nach einem der Ansprüche 14 bis 17, wobei eine Entfernungsmessung mittels eines indirekten Lichtlaufzeitverfahrens unter Verwen- dung der Auswertedaten durchgeführt wird.