-
Technisches Gebiet
-
Die Erfindung betrifft ein Signalverarbeitungssystem mit Schnittstellen zum Einlesen von Messsignalen eines Laserscanners und einer Auswerteeinrichtung zum Erzeugen einer Punktwolke basierend auf den eingelesenen Messsignalen.
-
Die Erfindung betrifft zudem ein Multisensorsystem mit einem Laserscanner und einem derartigen Signalverarbeitungssystem und ein Fahrzeug mit einem solchen Multisensorsystem.
-
Die Erfindung betrifft auch ein Signalverarbeitungsverfahren, bei welchem Messsignale eines Laserscanners eingelesen werden und basierend hierauf eine Punktwolke erzeugt wird. Die Erfindung betrifft ferner ein Computerprogramm mit Befehlen zum Ausführen eines derartigen Signalverarbeitungsverfahrens.
-
Stand der Technik
-
Es ist bekannt, auf einem Fahrzeug Umfelderfassungssensorik vorzusehen, um ein Objekt im Umfeld des Fahrzeugs zu erfassen. Mit einem Laserscanner kann ein Objekt im Umfeld des Fahrzeugs laserbasiert erfasst werden.
-
In der
DE 10 2017 125 659 A1 werden Sensordaten eines auf einem Fahrzeug vorgesehenen Laserscanners und die Fahrzeuggeschwindigkeit verwendet, um eine Position eines Hindernisses in Bezug auf das Fahrzeug zu bestimmen und das Fahrzeug automatisch abzubremsen, um eine Kollision mit dem Hindernis zu vermeiden.
-
Darstellung der Erfindung
-
Die Erfindung bezieht sich in einem Aspekt auf ein Signalverarbeitungssystem mit drei Schnittstellen und einer Auswerteeinrichtung.
-
Das Signalverarbeitungssystem weist eine erste Schnittstelle zum Einlesen von Messsignalen eines Laserscanners auf. Bei dem Laserscanner kann es sich um einen zweidimensionalen beziehungsweise zeilenartig scannenden Laserscanner handeln. Der Laserscanner kann einen Transceiver zum Aussenden und Empfangen von Licht beziehungsweise von Laserpulsen aufweisen. Der Laserscanner kann in vorteilhafter Weise Objekte in einem Nahbereich effizient und präzise erfassen.
-
Die Messsignale des Laserscanners können Pulslaufzeitsignale aufweisen. Die Pulslaufzeitsignale können Lichtlaufzeiten von ausgesandten Laserpulsen beschreiben, welche an einem Objekt reflektiert und von dem Laserscanner wieder empfangen werden können. Die Messsignale des Laserscanners können zudem Winkelinformationen zu den ausgesandten Laserpulsen aufweisen. Die Winkelinformationen können Richtungen von ausgesandten Laserpulsen oder Ausrichtungen von zumindest einem Spiegel im Strahlengang des ausgesandten Laserpulses aufweisen.
-
Alternativ oder zusätzlich zu Pulslaufzeitsignalen und Winkelinformationen können die Messsignale des Laserscanners vorverarbeitete Messsignale des Laserscanners aufweisen. Vorverarbeitete Messsignale des Laserscanners können Objektkoordinaten in einem Koordinatensystem des Laserscanners aufweisen. Die Objektkoordinaten können eine relative Position eines Objekts zum Laserscanner definieren, an welchen von dem Laserscanner ausgesandte und wieder empfangene Laserpulse reflektiert worden sind.
-
Das Signalverarbeitungssystem weist eine zweite Schnittstelle zum Einlesen von Messsignalen eines Radargeräts auf. Bei dem Radargerät kann es sich um ein Doppler-Radargerät handeln. Das Radargerät kann einen Transceiver zum Aussenden und Empfangen elektromagnetischer Wellen beziehungsweise von Radarstrahlung aufweisen. Bei den Messsignalen des Radargeräts kann es sich daher um sogenannte RF-Signale handeln. Das Radargerät kann Objekte in vorteilhafter Weise witterungsunabhängig erfassen.
-
Die Messsignale des Radargeräts können Entfernungssignale zu radarbasiert erfassten Objekten aufweisen. Die Messsignale des Radargeräts können auch Informationen zu einer Relativbewegung eines radarbasiert erfassten Objekts zum Radargerät, beispielsweise Informationen zu einer Geschwindigkeit eines solchen Objekts, aufweisen. Die Messsignale des Radargeräts können auch Winkelinformationen zu radarbasiert erfassten Objekten aufweisen. Die Winkelinformationen können Richtungen von ausgesandten beziehungsweise empfangenen elektromagnetischen Wellen aufweisen.
-
Alternativ oder zusätzlich zu Entfernungssignalen, Bewegungsinformationen und Winkelinformationen können die Messsignale des Radargeräts vorverarbeitete Messsignale des Radargeräts aufweisen. Vorverarbeitete Messsignale des Radargeräts können Objektkoordinaten in einem Koordinatensystem des Radargeräts aufweisen. Die Objektkoordinaten können eine relative Position eines Objekts zum Radargerät definieren, an welchen von dem Radargerät ausgesandte und wieder empfangene elektromagnetische Wellen reflektiert worden ist.
-
Das Signalverarbeitungssystem weist eine dritte Schnittstelle zum Einlesen von Messsignalen einer Wärmebildkamera auf. Die Wärmebildkamera kann auch als eine Thermalkamera bezeichnet werden. Die Wärmebildkamera kann einen Bildsensor zum Empfangen von Infrarotstrahlung aufweisen. Die Infrarotstrahlung kann thermale Infrarotstrahlung (TIR) beziehungsweise mittleres Infrarot aufweisen.
-
Die Messsignale der Wärmebildkamera können Wärmeinformationen zu einer Temperatur auf einem Objekt in einem Erfassungsbereich der Wärmebildkamera aufweisen. Die Messsignale der Wärmebildkamera können Bildinformationen, beispielsweise Intensitätsinformationen zu erfassten Objekttemperaturen, aufweisen. Die Messignale der Wärmebildkamera können daher sogenannte „Intensitätssignale“ aufweisen. Die Bildinformationen können in einer Graustufen- oder in einer Falschfarbendarstellung vorliegen.
-
Alternativ oder zusätzlich zu den Temperatur- und Bildinformationen können die Messsignale der Wärmebildkamera vorverarbeitete Messsignale der Wärmebildkamera aufweisen. Die vorverarbeiteten Messsignale der Wärmebildkamera können ein von der Wärmebildkamera erzeugbares Wärmebild aufweisen.
-
Das Signalverarbeitungssystem weist zudem eine Auswerteeinrichtung auf. Die Auswerteeinrichtung ist eingerichtet, basierend auf den eingelesenen Messsignalen des Laserscanners, des Radargeräts und der Wärmebildkamera eine Punktwolke zu erzeugen. Die Punktwolke kann eine Tabelle beziehungsweise Liste von Objektkoordinaten aufweisen, wobei die Objektkoordinaten Zusatzinformationen zu einem erfassten Objekt aufweisen können. Die Zusatzinformationen weisen zumindest die Wärmeinformationen auf.
-
Die erzeugte Punktwolke weist auf den eingelesenen Messsignalen des Laserscanners und des Radargeräts basierende Objektkoordinaten auf. Wird die Punktwolke auf einem Fahrzeug erzeugt, können die Objektkoordinaten zudem in einem fahrzeugbezogenen Koordinatensystem vorliegen. Mit dem erfindungsgemäßen Signalverarbeitungssystem kann somit basierend auf eingelesenen Messsignalen des Laserscanners und des Radargeräts eine einzige Punktwolke erzeugt werden. Mit anderen Worten können Messsignale des Laserscanners und des Radargeräts kombiniert beziehungsweise fusioniert werden, um die eine Punktwolke zu erzeugen.
-
Die erzeugte Punktwolke weist zudem auf den eingelesenen Messsignalen der Wärmebildkamera basierende Wärmeinformationen auf. Wird die Punktwolke auf einem Fahrzeug erzeugt, können die Wärmeinformationen zudem in das fahrzeugbezogene Koordinatensystem transformiert werden. Mit dem erfindungsgemäßen Signalverarbeitungssystem kann somit eine einzige Punktwolke mit Wärmeinformationen verknüpft werden. Mit anderen Worten können so Objektkoordinaten mit Wärmeinformationen zu den erfassten Objekten kombiniert beziehungsweise fusioniert werden. Eine derartige Punktwolke kann kontinuierlich basierend auf kontinuierlich eingelesenen Messsignalen des Laserscanners, des Radargeräts und der Wärmebildkamera erzeugt werden.
-
Die erzeugte Punktwolke kann Objektkoordinaten in Raumsegmenten aufweisen. Die Objektkoordinaten können daher Voxel definieren. Die Messsignale des Laserscanners und/oder des Radargeräts können Informationen zu einem sich in einem einzigen Raumsegment aufhaltenden Objekt aufweisen. Liegen derart redundante Objektinformationen basierend auf den Messignalen des Laserscanners und des Radargeräts in einem einzigen Raumsegment vor, kann lediglich ein Objektkoordinatensatz in diesem erzeugt werden. Dieser eine Objektkoordinatensatz kann jedoch mit Zusatzinformationen kombiniert werden, welche aus den Messsignalen des Laserscanners, des Radargeräts und/oder der Wärmebildkamera gewonnen werden können, dabei mindestens mit Wärmeinformation, falls diese für das Raumsegment vorhanden ist. Vorteile der Erfindung können somit einerseits in einer Datenreduktion beim Erzeugen der Objektkoordinaten und andererseits in einer effizienten Datenfusion bei der Kombination der Objektkoordinaten mit Zusatzinformationen gesehen werden.
-
Das Signalverarbeitungssystem kann zudem eine Schnittstelle zum Auslesen der erzeugten Punktwolke aufweisen. Die Schnittstelle kann mit der Auswerteeinrichtung verbunden sein und einen entsprechenden Ausgang zum Ausgeben der erzeugten Punktwolke aufweisen. Die Schnittstellen zum Einlesen können auch entsprechende Eingänge zum Eingeben der jeweiligen Messsignale aufweisen.
-
Im Rahmen der Erfindung können somit mit einer einzigen beziehungsweise gemeinsamen Signalverarbeitungseinrichtung Messsignale von drei verschiedenen Sensoren ausgewertet werden, um basierend auf den Messsignalen eine dreidimensionale Punktwolke mit zusätzlichen Informationen beziehungsweise Attributen zu erzeugen. Das Signalverarbeitungssystem kann eine derartige Signalverarbeitungseinrichtung aufweisen. Das Auswerten beziehungsweise Erzeugen der Punktwolke kann ein direktes beziehungsweise im Wesentlichen unmittelbares Erzeugen der Punktwolke aus den Messsignalen der drei Sensoren mit derselben Auswerteeinrichtung aufweisen.
-
Mit dem Signalverarbeitungssystem kann daher ein Prozessieren von Messsignalen verschiedener Sensoren in effizienter Weise mit einer einzigen Signalverarbeitungseinrichtung, Auswerteeinrichtung oder einem einzigen Prozessor durchgeführt werden, um bereits die Messsignale als solche in einer Signalverarbeitungsstufe zu fusionieren beziehungsweise zu kombinieren. Ein derartiges Fusionieren beziehungsweise Kombinieren von Messignalen kann ohne ein Erzeugen von einer Punktwolke basierend auf Messsignalen von lediglich einem von dem Laserscanner und dem Radargerät durchgeführt werden. Die Punktwolke kann vielmehr mit dem Signalverarbeitungssystem als fusionierte beziehungsweise kombinierte Punktwolke direkt aus den Messsignalen erzeugt werden.
-
Die Messignale des Laserscanners, des Radargeräts und/oder der Wärmebildkamera können Rohmessdaten des Laserscanners, des Radargeräts und/oder der Wärmebildkamera aufweisen, welche hierfür keine Objektkoordinaten aufweisen müssen. Rohmessdaten können Messignale aufweisen, aus welchen Objektkoordinaten beziehungsweise Wärmeinformationen erst ableitbar sind.
-
Die Messsignale können ferner synchronisiert eingelesen beziehungsweise synchronisiert kombiniert werden, um die Punktwolke basierend auf Messsignalen zu erzeugen, welche sich auf einen gemeinsamen Messzeitpunkt des Laserscanners, des Radargeräts und der Wärmebildkamera beziehen. Das Signalverarbeitungssystem kann hierfür eine Synchronisierungseinheit aufweisen.
-
In einer Ausführungsform des Signalverarbeitungssystems ist die Auswerteeinrichtung eingerichtet, eine Punktwolke zu erzeugen, welche zudem auf den eingelesenen Messignalen des Radargeräts basierende Geschwindigkeitsinformationen zu radarbasiert erfassten Objekten aufweist. Das Radargerät kann hierfür als Doppler-Radargerät ausgebildet sein. Die Messsignale des Radargeräts können die Geschwindigkeitsinformationen zu den radarbasiert erfassten Objekten bereits aufweisen. Die Geschwindigkeitsinformationen zu den radarbasiert erfassten Objekten können auch aus den Messsignalen des Radargeräts abgeleitet werden.
-
Die Geschwindigkeitsinformationen können Bewegungsrichtungen der radarbasiert erfassten Objekte relativ zu dem Radargerät aufweisen. Alternativ oder zusätzlich können die Geschwindigkeitsinformationen Bewegungsgeschwindigkeiten der radarbasiert erfassten Objekte absolut oder relativ zu dem Radargerät aufweisen. Ist das Signalverarbeitungssystem auf einem Fahrzeug angeordnet, können Objektkoordinaten von laserscannerbasiert und/oder radarbasiert erfassten Objekten mit deren Bewegungsrichtung beziehungsweise Bewegungsgeschwindigkeit beim Erzeugen der Punktwolke kombiniert werden. Objektkoordinaten können so in vorteilhafter Weise mit Wärmeinformationen und Geschwindigkeitsinformationen in der Punktwolke kombiniert werden.
-
In einer weiteren Ausführungsform des Signalverarbeitungssystems ist die Auswerteeinrichtung eingerichtet, eine Punktwolke zu erzeugen, welche zudem auf den eingelesenen Messsignalen des Radargeräts basierende Reflektivitätsinformationen zu radarbasiert erfassten Objekten aufweist. Die Messsignale des Radargeräts können die Reflektivitätsinformationen zu den radarbasierten erfassten Objekten bereits aufweisen. Die Reflektivitätsinformationen zu den radarbasiert erfassten Objekten können auch aus den Messsignalen des Radargeräts abgeleitet werden.
-
Aus den Reflektivitätsinformationen können Informationen zur Geometrie beziehungsweise zum Material der radarbasiert erfassten Objekte abgeleitet werden. Die Objektkoordinaten von laserscannerbasiert und/oder radarbasiert erfassten Objekten können so mit den radarbasiert erfassten Reflektivitätsinformationen kombiniert werden. Objektkoordinaten können so in vorteilhafter Weise mit Wärmeinformationen und Geschwindigkeitsinformationen und/oder Reflektivitätsinformationen in der Punktwolke kombiniert werden.
-
In einer weiteren Ausführungsform des Signalverarbeitungssystems ist die Auswerteeinrichtung eingerichtet, eine Punktwolke zu erzeugen, welche zudem auf den eingelesenen Messsignalen des Laserscanners basierende Intensitätsinformationen zu an laserbasiert erfassten Objekten reflektiertem Laserlicht aufweist. Die Messsignale des Laserscanners können die Intensitätsinformationen zu dem an laserbasiert erfassten Objekten reflektiertem Laserlicht aufweisen. Die Intensitätsinformationen können die Lichtintensität des empfangen, reflektierten Laserlichts beschreiben.
-
Aus den Intensitätsinformationen des Laserscanners können Oberflächeneigenschaften der laserbasiert erfassten Objekte abgeleitet werden. Die Oberflächeneigenschaften können eine Objektfarbe und/oder eine Objektrauheit aufweisen. Die Objektkoordinaten der Punktwolke können mit den Intensitätsinformationen zu den laserbasiert erfassten Objekten kombiniert werden. Objektkoordinaten können so in vorteilhafter Weise mit Wärmeinformationen und Geschwindigkeitsinformationen, Reflektivitätsinformationen und/oder Intensitätsinformationen in der Punktwolke kombiniert werden.
-
In einer weiteren Ausführungsform des Signalverarbeitungssystems ist die Auswerteeinrichtung eingerichtet, extrinsische Kalibrierparameter von mindestens zweien von dem Laserscanner, dem Radargerät und der Wärmebildkamera bei einem Erzeugen der Punktwolke zu berücksichtigen. Die extrinsischen Kalibrierparameter können eine relative Lage von zweien von dem Laserscanner, dem Radargerät und der Wärmebildkamera aufweisen. Mit anderen Worten können die extrinsischen Kalibrierparameter eine relative Ausrichtung beziehungsweise Orientierung und/oder einen Abstand beziehungsweise einen Offset zwischen zweien von dem Laserscanner, dem Radargerät und der Wärmebildkamera aufweisen. Der Abstand beziehungsweise Offset kann sich auf jeweiliges Messzentrum des Laserscanners, des Radargerät beziehungsweise der Wärmebildkamera beziehen.
-
Die extrinsischen Kalibrierparameter können an die Messsignale von zweien von dem Laserscanner, dem Radargerät und der Wärmebildkamera beim Erzeugen der Punktwolke angebracht werden. Messsignale beziehungsweise Messdaten des Laserscanners, des Radargeräts und der Wärmebildkamera können so bezogen auf ein gemeinsames Koordinatensystem erst beim Erzeugen der einen Punktwolke kalibriert werden. Die Objektkoordinaten der Punktwolke können in dieses gemeinsame Koordinatensystem unter Berücksichtigung von den extrinsischen Kalibrierparametern transformiert werden. Ein Wärmebild der Wärmebildkamera kann ferner auch in dieses gemeinsame Koordinatensystem unter Berücksichtigung von den extrinsischen Kalibrierparametern transformiert beziehungsweise projiziert werden.
-
In einer weiteren Ausführungsform des Signalverarbeitungssystems ist die Auswerteeinrichtung eingerichtet, intrinsische Kalibrierparameter von mindestens einem von dem Laserscanner, dem Radargerät und der Wärmebildkamera bei einem Erzeugen der Punktwolke zu berücksichtigen. Die intrinsischen Kalibrierparameter können Parameter bezüglich einer inneren Kalibrierung oder Justierung des Laserscanners, des Radargeräts und der Wärmebildkamera aufweisen. Die intrinsischen Kalibrierparameter können beispielsweise temperaturabhängige Kalibrierparameter aufweisen.
-
In einer weiteren Ausführungsform des Signalverarbeitungssystems weist dieses eine Datenspeichereinrichtung, welche eingerichtet ist, mindestens eines der eingelesenen Messsignale (zwischen-) zu speichern, bevor diese der Auswerteeinrichtung kommuniziert werden. Noch in einer weiteren Ausführungsform des Signalverarbeitungssystems weist dieses eine Objekterkennungseinrichtung auf, welche eingerichtet ist, in der Punktwolke Objekte zu erkennen. Bei dem Objekt kann es sich um ein Lebewesen handeln. Noch in einer weiteren Ausführungsform des Signalverarbeitungssystems weist dieses eine Objektverfolgungseinrichtung auf, welche eingerichtet ist, ein mit der Objekterkennungseinrichtung in einer Punktwolke erkanntes Objekt in mindestens einer weiteren Punktwolke wiederzuerkennen und zu verfolgen. Ein Vorteil der Erfindung kann somit darin gesehen werden, dass ein Mensch von einem Objekt neben ihm, beispielsweise einer Metallstange, unterschieden werden kann.
-
Die Erfindung bezieht sich in einem weiteren Aspekt auf ein Multisensorsystem. Das Multisensorsystem weist einen Laserscanner, ein Radargerät, eine Wärmebildkamera und ein Signalverarbeitungssystem nach dem vorangehenden Aspekt auf.
-
In einer Ausführungsform des Multisensorsystems sind der Laserscanner, das Radargerät und die Wärmebildkamera in einem gemeinsamen Gehäuse angeordnet. Mit anderen Worten kann die gesamte Sensorik des Multisensorsystems in einem einzigen Gehäuse eingehaust oder auf einem einzigen Bauteil angeordnet sein. Das Bauteil kann einen einzigen Hardware-Block aufweisen.
-
In einer weiteren Ausführungsform des Multisensorsystems ist der Laserscanner ausgebildet, Messsignale basierend auf einem Pulslaufzeitverfahren zu erzeugen, welche Pulslaufzeiten von ausgesandtem, an laserbasiert erfassten Objekten reflektiertem und wieder empfangenem Laserlicht aufweisen. Bei den Messsignalen des Laserscanners kann es sich daher um sogenannte ToF-Signale handeln. Alternativ oder zusätzlich kann der Laserscanner ausgebildet sein, Messsignale basierend auf einem Phasenvergleichsverfahren zu erzeugen, welche Phasenverschiebungen des ausgesandten, an laserbasiert erfassten Objekten reflektierten und wieder empfangenen Laserlichts aufweisen. Die Pulslaufzeiten und/oder die Phasenverschiebungen können sich dabei auf einen Aussendezeitpunkt und einen Empfangszeitpunkt des reflektierten Laserlichts beziehen.
-
Die Erfindung bezieht sich in einem weiteren Aspekt auf ein Fahrzeug, welches ein Multisensorsystem nach dem vorangehenden Aspekt aufweist. Das Multisensorsystem kann auf dem Fahrzeug angeordnet sein und mit einem Fahrzeugassistenzsystem über eine Ausleseschnittstelle des Signalverarbeitungssystems verbunden sein.
-
In einer Ausführungsform des Fahrzeugs kann dieses als ein autonom fahrendes Fahrzeug ausgebildet sein. Das Multisensorsystem kann mit einem Fahrzeugassistenzsystem kommunizieren, um diesem eine erzeugte Punktwolke mit der Wärmeinformationen zur Verfügung zu stellen. Das Fahrzeugassistenzsystem kann dann basierend auf dieser Punktwolke automatisierte Entscheidungen treffen und so beispielsweise in die Fahrdynamik des Fahrzeugs eingreifen.
-
Die Erfindung bezieht sich in einem weiteren Aspekt auf ein Signalverarbeitungsverfahren. Bei dem Signalverarbeitungsverfahren kann es sich um ein Verfahren zum Erfassen beziehungsweise Erkennen von Objekten im Umfeld eines Fahrzeugs basierend auf einer Verarbeitung von Messsignalen verschiedener Sensoren handeln.
-
Das Signalverarbeitungsverfahren weist als einen Schritt ein Einlesen von Messsignalen eines Laserscanners auf. Das Einlesen von Messsignalen des Laserscanners kann über die zum ersten Aspekt beschriebene erste Schnittstelle durchgeführt werden.
-
Das Signalverarbeitungsverfahren weist als einen weiteren Schritt ein Einlesen von Messsignalen eines Radargeräts auf. Das Einlesen von Messsignalen des Radargeräts kann über die zum ersten Aspekt beschriebene zweite Schnittstelle durchgeführt werden.
-
Das Signalverarbeitungsverfahren weist als einen weiteren Schritt ein Einlesen von Messsignalen einer Wärmebildkamera auf. Das Einlesen von Messsignalen der Wärmebildkamera kann über die zum ersten Aspekt beschriebene dritte Schnittstelle durchgeführt werden.
-
Das Signalverarbeitungsverfahren weist als einen weiteren Schritt ein Erzeugen einer Punktwolke auf, welche auf den eingelesenen Messsignalen des Laserscanners und des Radargeräts basierende Objektkoordinaten und auf eingelesenen Messsignalen der Wärmebildkamera basierende Wärmeinformationen aufweist. Bei der Punktwolke kann es sich dabei um jede zu den vorangehenden Aspekten beschriebene Punktwolke handeln, wobei das Verfahren jeden dafür notwendigen und entsprechend beschriebenen Schritt aufweisen kann.
-
In einer Ausführungsform des Signalverarbeitungsverfahrens weist der Schritt des Erzeugens der Punktwolke ein Transformieren der eingelesenen Messsignale der Wärmebildkamera auf die Objektkoordinaten auf. Das Transformieren kann ein Projizieren eines Wärmebilds auf die Objektkoordinaten aufweisen. Parallel dazu oder zuvor können die Messignale des Laserscanners und die Messsignale des Radargeräts in Objektkoordinaten bezogen auf ein gemeinsames Koordinatensystem umgewandelt werden.
-
In einer weiteren Ausführungsform des Signalverarbeitungsverfahrens weist dieses als weiteren Schritt ein Speichern der eingelesenen Messsignale des Laserscanners, des Radargeräts und der Wärmebildkamera vor dem Schritt des Erzeugens der Punktwolke auf. Dabei könne vorverarbeitete Messsignale (zwischen-)gespeichert werden. Mit anderen Worten können Messsignale des Laserscanners, des Radargeräts und der Wärmebildkamera eingelesen und temporär gespeichert werden, bevor erstmalig in dem Schritt des Erzeugens überhaupt eine Punktwolke mit Objektkoordinaten erzeugt wird. Kalibrierparameter des Laserscanners, des Radargeräts und/oder der Wärmebildkamera können so direkt beim Erzeugen der Punktwolke berücksichtigt werden.
-
In einer weiteren Ausführungsform des Signalverarbeitungsverfahrens weist dieses als weiteren Schritt ein Erkennen eines Lebewesens in der erzeugten Punktwolke auf. Grundsätzlich kann mit dem Signalverarbeitungsverfahren jedes Objekt im Umfeld eines Fahrzeugs erkannt werden. Durch eine Kombination von zwei- beziehungsweise dreidimensionalen Objektkoordinaten mit eindimensionaler Wärmeinformationen kann jedoch basierend auf einer derartigen mindestens drei- beziehungsweise vierdimensionalen Punktwolke eine Objektanalyse durchgeführt werden. Die Objektanalyse kann somit als einen Schritt ein Erkennen, ob das erfasste Objekt ein Lebewesen ist, welches auch Wärme emittiert, aufweisen. Trotz schlechter Sichtverhältnisse, beispielsweise aufgrund von Witterungseinflüssen wie Niederschlag oder Nebel, können so Lebewesen in der erzeugten Punktwolke erkannt werden. Die Wärmeinformation und optionale weitere Informationen können hierfür logische Entscheidungskriterien bereitstellen.
-
Die Schritte des Signalverfahrens können in einer Schleife durchgeführt werden. In einer weiteren Ausführungsform des Signalverarbeitungsverfahrens werden die Schritte des Verfahrens kontinuierlich durchgeführt. Als ein weiterer Schritt, welcher ebenfalls kontinuierlich durchgeführt werden kann, wird ein Verfolgen eines kontinuierlich erkannten Lebewesens in den kontinuierlich erzeugten Punktwolken durchgeführt. Mit anderen Worten kann ein Tracken beziehungsweise ein sogenanntes „Tracking“ des erkannten Lebewesens in den kontinuierlich erzeugten Punktwolken durchgeführt werden. Das Lebewesen kann ein Mensch beziehungsweise ein Radfahrer oder ein Fußgänger sein.
-
In einer weiteren Ausführungsform des Signalverarbeitungsverfahrens kann ein erkanntes Objekt beziehungsweise Lebewesen in einem Fahrzeug visualisiert werden. Ein Fahrer des Fahrzeugs kann somit in vorteilhafter Weise beim Fahren unter widrigen Witterungsbedingungen unterstützt werden, wobei ihm ein Lebewesen durch Niederschlag hindurch oder durch Nebel hindurch visualisiert werden kann, obwohl er dieses selbst (noch) nicht wahrnehmen kann.
-
Die Erfindung bezieht sich in einem weiteren Aspekt auf ein Computerprogramm mit Befehlen, welche bei einem Ausführen des Computerprogramms durch einen Computer diesen veranlassen, das Signalverarbeitungsverfahren nach dem vorangehenden Aspekt auszuführen.
-
Figurenliste
-
- 1 zeigt ein Multisensorsystem mit einem Signalverarbeitungssystem nach einer jeweiligen Ausführungsform der Erfindung.
- 2 zeigt ein Ablaufdiagramm von Schritten zum Durchführen eines Signalverarbeitungsverfahrens nach einer Ausführungsform der Erfindung.
-
Detaillierte Beschreibung von Ausführungsbeispielen
-
1 zeigt ein Multisensorsystem 200, welches einen Laserscanner 10, ein Radargerät 20, eine Wärmebildkamera 30 und ein Signalverarbeitungssystem 100 aufweist.
-
Der Laserscanner 10 weist einen Lasertransceiver 11 und eine optionale Signalvorverarbeitungseinheit 12 auf. Das Radargerät 20 weist einen Radartransceiver 21 und eine optionale Signalvorverarbeitungseinheit 22 auf. Die Wärmebildkamera 30 weist einen für Wärmestrahlung sensitiven Kamerasensor 31 und eine optionale Signalvorverarbeitungseinheit 32 auf.
-
Das Signalverarbeitungssystem 100 weist eine Auswerteeinrichtung 140, eine erste Schnittstelle 110 zum Einlesen von Messsignalen 13 des Laserscanners 10, eine zweite Schnittstelle 120 zum Einlesen von Messsignalen 23 des Radargeräts 20 und eine dritte Schnittstelle 130 zum Einlesen von Messignalen 33 der Wärmebildkamera 30 auf.
-
Das Signalverarbeitungssystem 100 weist zudem einen Signalausgang 150 zum Auslesen einer mit der Auswerteeinrichtung 140 erzeugbare Punktwolke auf. Die Auswerteeinrichtung 140 ist zum Erzeugen der Punktwolke mit der ersten Schnittstelle 110, der zweiten Schnittstelle 120 und der dritten Schnittstelle 130 verbunden. Die erste Schnittstelle 110 ist zum Einlesen der Messsignale 13 des Laserscanners 10 mit diesem verbunden. Die zweite Schnittstelle 120 ist zum Einlesen der Messsignale 23 des Radargeräts 20 mit diesem verbunden. Die dritte Schnittstelle 130 ist zum Einlesen der Messsignale 33 der Wärmebildkamera 30 mit dieser verbunden.
-
Die Auswerteeinrichtung 140 liest die Messsignale 13, 23, 33 des Laserscanners 10, des Radargeräts 20 und der Wärmebildkamera 30 über die Schnittstellen 110, 120, 130 ein, erzeugt basierend auf den Messsignalen 13, 23, 33 eine Punktwolke, welche dann über die Ausleseschnittstelle 150 ausgelesen wird. Die Ausleseschnittstelle 150 ist über eine Ausleseschnittstellenverbindung 151 mit der Auswerteeinrichtung 140 verbunden. Die Auswerteeinrichtung 140 ist über eine erste Schnittstellenverbindung 111 mit der ersten Schnittstelle 110 verbunden. Die Auswerteeinrichtung 140 ist über eine zweite Schnittstellenverbindung 121 mit der zweiten Schnittstelle 120 verbunden. Die Auswerteeinrichtung 140 ist über eine dritte Schnittstellenverbindung 131 mit der dritten Schnittstelle 130 verbunden. Die in den Figuren nicht gezeigte Punktwolke wird somit in der Auswerteeinrichtung 140 des Signalverarbeitungssystems 100 als eine zu dem Laserscanner 10, dem Radargerät 20 und der Wärmebildkamera 30 separaten Einrichtung erzeugt.
-
Die Ausleseschnittstelle 150 ist mit einem Assistenzsystem eines in den Figuren nicht gezeigten Fahrzeugs verbunden. Das Multisensorsystem 200 und das Signalverarbeitungssystem 100 ist auf dem nicht gezeigten Fahrzeug angeordnet. Das Assistenzsystem greift auf die erzeugte Punktwolke zu, um das Fahrzeug zu steuern.
-
2 zeigt Schritte eines Signalverarbeitungsverfahrens, mit welchem die Punktwolke erzeugt und in dieser ein Objekt erkannt wird.
-
In ersten Schritten S1a, S1b und S1c werden die Messsignale 13, 23, 33 erzeugt. In dem Schritt S1a werden die Messsignale 13 des Laserscanners 10 von diesem erzeugt. In einem weiteren Schritt S1b werden die Messsignale 23 des Radargeräts 20 von diesem erzeugt. In einem weiteren Schritt S1c werden die Messsignale 33 der Wärmebildkamera 30 von dieser erzeugt.
-
In weiteren Schritten S2a, S2b und S2c werden die jeweiligen erzeugten Messsignale 13, 23, 33 des Laserscanners 10, des Radargeräts 20 und der Wärmebildkamera 30 durch die Schnittstellen 110, 120, 130 des Signalverarbeitungssystems 100 eingelesen. Die Messsignale 13, 23, 33 des Laserscanners 10, des Radargeräts 20 und der Wärmebildkamera 30 werden dabei separat über eine jeweilige Schnittstelle 110, 120, 130 eingelesen, um diese zu deren gemeinsamen Auswertung der Auswerteeinrichtung 140 zu übertragen.
-
In einem weiteren Schritt S3 werden die eingelesenen Messsignale 13, 23, 33 vor einem Erzeugen der Punktwolke zwischengespeichert. Die zwischengespeicherten Messsignale 13, 23, 33 werden aus dem Speicher ausgelesen und in einem weiteren Schritt S4 wird in der Auswerteeinrichtung 140 basierend auf den eingelesenen Messsignalen 13, 23, 33 eine Punktwolke erzeugt.
-
Die erzeugte Punktwolke weist neben Objektkoordinaten Wärmeinformationen auf. Die Wärmeinformationen bilden in der Punktwolke eine Zusatzinformation, basierend auf welcher in einem nächsten Schritt S5 ein Objekt in der Punktwolke erkannt werden kann. Da in der Punktwolke Wärmeinformationen vorhanden sind, kann logisch analysiert werden, ob es sich bei dem erkannten Objekt um ein Lebewesen handelt oder nicht.
-
Bezugszeichenliste
-
- 10
- Laserscanner
- 11
- Lasertransceiver
- 12
- Signalvorverarbeitungseinheit
- 13
- Messsignale Laserscanner
- 20
- Radargerät
- 21
- Radartransceiver
- 22
- Signalvorverarbeitungseinheit
- 23
- Messsignale Radargerät
- 30
- Wärmebildkamera
- 31
- Kamerasensor
- 32
- Signalvorverarbeitungseinheit
- 33
- Messsignale Wärmebildkamera
- 100
- Signalverarbeitungssystem
- 110
- erste Schnittstelle
- 111
- erste Schnittstellenverbindung
- 120
- zweite Schnittstelle
- 121
- zweite Schnittstellenverbindung
- 130
- dritte Schnittstelle
- 131
- dritte Schnittstellenverbindung
- 140
- Auswerteeinrichtung
- 150
- Ausleseschnittstelle
- 151
- Ausleseschnittstellenverbindung
- 200
- Multisensorsystem
- S1a
- Signalerzeugung Laserscanner
- S1b
- Signalerzeugung Radargerät
- S1c
- Signalerzeugung Wärmebildkamera
- S2a
- Messsignaleinlesung Laserscanner
- S2b
- Messsignaleinlesung Radargerät
- S2c
- Messsignaleinlesung Wärmebildkamera
- S3
- Signalspeicherung
- S4
- Punktwolkenerzeugung
- S5
- Lebewesenerkennung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017125659 A1 [0005]
