DE102015102557B4

DE102015102557B4 - Sichtsystem

Info

Publication number: DE102015102557B4
Application number: DE102015102557.4A
Authority: DE
Inventors: Oliver Röhrle; Bernhard Kleiner; Axel Hülsmann; Adrian Röhrle
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2015-02-23
Filing date: 2015-02-23
Publication date: 2023-02-02
Anticipated expiration: 2035-02-24
Also published as: DE102015102557A1

Abstract

Verfahren zum Abbilden einer Umgebung mittels eines Sichtsystems (1), wobei das Sichtsystem (1) eine Wärmebildkamera (13) und einen Radarsensor (11) aufweist und als handgehaltenes Sichtsystem (1) ausgebildet ist, welches Verfahren folgende Verfahrensschritte umfasst:A Messung eines zweidimensionalen Temperaturverlaufs einer Umgebung mittels der Wärmebildkamera,B Darstellen des zweidimensionalen Temperaturverlaufs,dass in einem Verfahrensschritt C nach oder gleichzeitig mit dem Verfahrensschritt A mittels des Radarsensors (11) des Sichtsystems (1) an zumindest einem ersten Umgebungspunkt in dem zweidimensionalen Temperaturverlauf eine Radarmessung erfolgt,wobei aus der Radarmessung aus dem Verfahrensschritt C eine Distanz zwischen dem zumindest einen vermessenen ersten Umgebungspunkt, an dem die Radarmessung erfolgt ist, und dem Sichtsystem (1) bestimmt wird und die Messung des zweidimensionalen Temperaturverlaufs der Wärmebildkamera mit Distanzmessdaten des Radarsensors (11) ergänzt wird, und dass in einem Verfahrensschritt D mittels eines Inertialsensorsystems (12) des Sichtsystems (1) eine Messung zumindest der Beschleunigung und/oder Drehgeschwindigkeit des Sichtsystems (1) erfolgt,wobei die Distanz zwischen erstem Umgebungspunkt und Sichtsystem (1) auf der Grundlage der Messung des Inertialsensorsystems (12) berechnet wird, sodass mittels der Messdaten des Inertialsensorsystems (12) eine Kartierung (14) der Radarmessungen der Umgebungspunkte in dem zweidimensionalen Temperaturverlauf erfolgt, welche Kartierung (14) an die Bewegung des Sichtsystems (1) angepasst wird dadurch gekennzeichnet,dass auf der Grundlage einer Fusion der Messdaten des Inertialsensorsystems (12), der Messdaten des zumindest einen Radarsensors (11) und/oder der Messung der Wärmebildkamera (13) zumindest eine zurückgelegte Strecke bestimmt wird und bei Überschreiten eines Grenzwerts dies akustisch und/oder optisch in einem Display des Sichtsystems (1) für einen Bediener dargestellt wird.

Description

Die Erfindung betrifft ein Verfahren zum Abbilden einer Umgebung gemäß dem Oberbegriff des Anspruchs 1 sowie ein Sichtsystem gemäß dem Oberbegriff des Anspruchs 7 und eine Verwendung gemäß Anspruch 10.
Ein derartiges Sichtsystem umfasst typischerweise eine Wärmebildkamera zur Messung eines zweidimensionalen Temperaturverlaufs. Bei einer Vielzahl technischer Anwendungen z. B. im Bereich der Orientierung und Personensuche innerhalb eines Feuerwehreinsatzes, werden Wärmebildkameras zum Abbilden der Umgebung eingesetzt, da diese z. B. auch dichten Rauch durchdringen können.
Aus der US 2009/0002220 A1 ist ein Sichtsystem für einen Hubschrauber bekannt, welches eine Wärmekamera und ein Radarsystem umfasst, bei einem Landevorgang mit schlechten Sichtverhältnissen ein Wärmebild mit Radardaten überlagert wird.
Aus der GB 2 444 878 A ist ein Sicherheitsgerät zur Überprüfung von Objekten in geschlossenen Containern mittels Radarmessung und weiterer Sensoren, beispielsweise einer Kamera, bekannt.
Die DE 196 30 717 A1 offenbart ein Verfahren zur Detektion eines Zieles mittels eines Radarsensors sowie eines bildgebenden Sensors, welcher beispielsweise als Kamera ausgebildet ist, welche im sichtbaren, infraroten und/oder ultravioletten Wellenlängenbereich arbeitet.
Aus der US 2008/0158256 A1 ist ein System im militärischen Bereich zum Bereitstellen eines perspektivischen Ansichtsbilds, in welches eine Vielzahl von Sensordaten einfließen, bekannt, wobei Echtzeitsensordaten mit Umgebungsdaten des Nutzers zur Erzeugung einer digitalen kartographischen Karte verarbeitet werden.
Aus der US 2009/0293012 A1 ist ein handgehaltenes Sichtsystem mit einer Kamera zur Erfassung von infraroter Strahlung sowie von Sensoreinrichtungen zur Erfassung verschiedener Daten wie Position, Höhe, Ausrichtung, Distanz oder Temperatur bekannt.
Aus der US 2015/0025788 A1 ist eine Vorrichtung sowie ein Verfahren zur Nutzung von Bilddaten zur Kartierung einer Umgebung bekannt, wobei mittels eines Fahrzeuges entsprechend Sensordaten während des Bewegung gesammelt und für eine Kartierung und dreidimensionale Modellierung in einer Bilddatenbank verwendet werden.
Nachteilig an den genannten Systemen nach dem Stand der Technik ist jedoch, dass die Wärmebildkameras lediglich einen zweidimensionalen Temperaturverlauf zeigen. Die Daten der Wärmebildkamera enthalten somit keine Tiefeninformation. Dadurch ist z. B. im Bereich der Feuerwehreinsätze ein Vorankommen, selbst durch einfache Wohngebäude, aufgrund der unbekannten Umgebung und der Einrichtungsgegenstände stark erschwert. Diese Problematik verstärkt sich bei komplexeren Einsätzen beispielsweise in Industrieanlagen, Produktionsstätten des Handwerks und der unterirdischen Verkehrsanlagen, sowie Hochbaustellen. In diesen Szenarien können z. B. Absturzkanten, durchgebrannte Geländer, offen stehende Fahrstuhlschächte oder Atrien hochbrisante Gefahren für den Feuerwehrmann darstellen. Ebenso ist es ohne die Tiefeninformation nicht möglich, die Distanz zu einer detektierten Personen zu messen. Der Feuerwehrmann kann daher die Entfernung zu der detektierten Person und damit die Zeit zum Erreichen der Person lediglich grob abschätzen, was die Einsatzplanung erschwert.
Weiter nachteilig ist, dass unterschiedliche Gegenstände gleiche, bzw. sehr ähnliche Temperaturen aufweisen können, was eine Unterscheidung im zweidimensionalen Temperaturverlauf der Wärmebildkamera zusätzlich erschwert.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Sichtsystem vorzuschlagen, welches insbesondere für den Einsatz in Gefahrensituationen, wie in verrauchter oder dunkler Umgebung, geeignet ist und zumindest lokal ein dreidimensionales Abbilden der Umgebung ermöglicht.
Gelöst wird diese Aufgabe durch ein Verfahren gemäß Anspruch 1 sowie durch ein Sichtsystem gemäß Anspruch 7. Vorzugsweise Ausgestaltungen des erfindungsgemäßen Verfahrens finden sich in den Ansprüchen 2 bis 6. Vorzugsweise Ausgestaltungen des erfindungsgemäßen Sichtsystems finden sich in den Ansprüchen 7 und 8.. Eine erfindungsgemäße Verwendung findet sich in Anspruch 10. Hiermit wird der Wortlaut sämtlicher Ansprüche explizit per Referenz in die Beschreibung einbezogen.
Das erfindungsgemäße Sichtsystem umfasst, wie an sich bekannt, eine Wärmebildkamera zur Messung eines zweidimensionalen Temperaturverlaufs und zumindest einen Radarsensor für eine Distanzmessung mittels Radar, wobei ausgesandte Radarstrahlung in einem Frequenzbereich größer 50 GHz liegt, wobei das Sichtsystem als handgehaltenes Sichtsystem ausgebildet und eine Auswerteeinheit umfasst, die ausgebildet ist, um die Messung des zweidimensionalen Temperaturverlaufs der Wärmebildkamera mit Distanzmessdaten des zumindest einen Radarsensors zu verknüpfen. Weiter umfasst das Sichtsystem ein Initia-Isensorsystem, welches derart an der Wärmebildkamera angeordnet und ausgebildet ist, dass die Beschleunigung und/oder Drehgeschwindigkeit der Wärmebildkamera messbar ist und die Auswerteeinheit des erfindungsgemäßen Sichtsystems ist ausgebildet, die Distanzmessdaten auf der Grundlage der durch das Inertialsensorsystem gemessenen Beschleunigung und/oder Drehgeschwindigkeit der Wärmebildkamera wiederholt neu zu berechnen und den zweidimensionalen Temperatur-verlauf mit den neu berechneten Distanzmessdaten zu ergänzen, sodass mittels der Messdaten des Inertialsensorsystems eine Kartierung der Radarmessungen von Umgebungspunkten in dem zweidimensionalen Temperaturverlauf erfolgt, welche Kartierung an die Bewegung des Sichtsystems anpassbar ist, wobei die Auswerteeinheit weiter ausgebildet ist auf der Grundlage einer Fusion der Messdaten des Inertialsensorsystems, der Messdaten des zumindest einen Radarsensors und/oder der Messung der Wärmebildkamera zumindest eine zurückgelegte Strecke zu bestimmen und bei Überschreiten eines Grenzwerts dies akustisch und/oder optisch in einem Display des Sichtsystems für einen Bediener darzustellen.
Das Sichtsystem umfasst zusätzlich zumindest einen Radarsensor, wobei ausgesandte Radarstrahlung des Radarsensors in einem Frequenzbereich größer als 50 GHz liegt. Mittels des Radarsensors ist eine Distanzmessung durchführbar, derart, dass zumindest punktuell Radarstrahlung von dem Radarsensor ausgesandt wird und von in der Umgebung befindlichen Objekten reflektierte Radarstrahlung detektiert wird. Die detektierten Radardaten liefern Distanzmessdaten bezüglich des Objekts an dem die Radarstrahlung reflektiert wurde. Zusätzlich umfasst das Sichtsystem eine Auswerteeinheit, mit der die Distanzmessdaten des Radarsensors und der zweidimensionale Temperaturverlauf (Wärmebild) der Wärmebildkamera verknüpft werden. Der zweidimensionale Temperaturverlauf wird somit an den Umgebungspunkten, die mittels des Radarsensors vermessen werden, mit den Distanzmessdaten, d.h. um eine Tiefeninformation in der fehlenden dritten Dimension, ergänzt.
Hierdurch ergibt sich insbesondere der Vorteil, dass das erfindungsgemäße Sichtsystem eine vollständige Abbildung der Umgebung inklusive der Distanzdaten vermessener Objekte ermöglicht. Hierdurch ist eine deutlich schnellere Erkennung der Umgebung und somit ein deutlich schnelleres Vorankommen in kritischen Situationen möglich. Insbesondere im Feuerwehreinsatz ist für den Bediener, den Feuerwehrmann, die Zuordnung räumlicher Zusammenhänge und Gefahrenstellen am Einsatzort deutlich erleichtert.
Das Initialsensorsystem kann, wie aus dem Stand der Technik bekannt, ausgebildet sein (Kleiner, Bernhard, Christoph Munkelt, Torfi Thorhallsson, Gunther Notni, Peter Kühmstedt, and Urs Schneider. 2014. Handheld 3D Scanning with Automatic Multi-View Registration Based on Visual-Inertial Navigation. International Journal of Optomechatronics. doi: 10.1080/15599612.2014.942931). Beispielsweise kann das Inertialsensorsystem mit drei orthogonal zueinander angeordnete Drehraten- und Beschleunigungssensoren ausgebildet sein. Bei einer Einhaltung von Bewegungsrandbedingungen kann auch eine geringere Anzahl von Sensoren ausreichen. Vorzugsweise umfasst das Initialsensorsystem einen dreiachsigen Magnetometer, einen dreiachsigen Beschleunigungssensor und/oder ein dreiachsiges Gyroskop.
Mittels des Initialsensorsystems kann die Bewegung der Wärmebildkamera und somit auch deren Position und Orientierung in Bezug zu einem Referenzkoordinatensystem verfolgt werden.
Vorzugsweise umfasst die Wärmebildkamera ein Display, auf dem zumindest der zweidimensionale Temperaturverlauf, d. h. das Wärmebild der Wärmebildkamera, dargestellt ist. Höchst vorzugsweise sind auch die Distanzmessdaten des Radarsensors in dem zweidimensionalen Temperaturverlauf der Wärmebildkamera auf dem Display dargestellt, beispielsweise mittels einer Farbskalierung, die die Distanz zwischen dem vermessenden Objekt und dem Sichtsystem darstellt und/oder mittels schriftlicher Darstellung der Distanzmessdaten an den einzelnen Messpunkten in dem zweidimensionalen Temperaturverlauf als numerische Distanzangabe.
Ein weiterer Vorteil ergibt sich dadurch, dass das Sichtsystem kompakt und klein ausgebildet ist. Dadurch kann das Sichtsystem als handgehaltenes Sichtsystem im Gefahreneinsatz, wie z. B. in einem Feuerwehreinsatz eingesetzt werden und kann von einem Bediener problemlos getragen werden. Vorteilhafterweise ist die Vorrichtung daher energieautark ausgebildet, insbesondere durch Vorsehen einer Energiequelle wie beispielsweise eines Akkumulators.
Höchst vorzugsweise ist das Sichtsystem derart ausgebildet, dass ein Display an der Wärmebildkamera angeordnet ist und vorzugsweise ein zweites Display in im Wesentlichen beliebiger Entfernung den zweidimensionalen Temperaturverlauf mit den Distanzmessdaten des Radarsensors zeigt. Hierdurch ergibt sich der Vorteil, dass auch eine zentrale Stelle, wie z. B. die Einsatzleitung bei einem Feuerwehreinsatz, die Daten vom Einsatzort der Wärmebildkamera empfangen kann und somit gezielt anhand der übermittelten Daten reagieren kann und Anweisungen an einen Benutzer der Wärmebildkamera übermitteln kann.
In einer weiteren bevorzugten Ausführungsform weist das Sichtsystem Sendemittel auf, welche derart ausgebildet sind, dass der zweidimensionale Temperaturverlauf der Wärmebildkamera mit den Distanzmessdaten des Radarsensors an einen externen Empfänger übertragen wird. Der externe Empfänger kann beispielsweise einer zentralen Stelle, wie z. B. die Einsatzleitung bei einem Feuerwehreinsatz, Zugriff auf die Daten vom Einsatzort des Sichtsystems ermöglichen, sodass diese gezielt anhand der übermittelten Daten reagieren kann und Anweisungen an einen Benutzer des Sichtsystems übermitteln kann.
In einer weiteren bevorzugten Ausführungsform der Erfindung umfasst das Sichtsystem eine Mehrzahl Radarsensoren für eine Distanzmessung einer Mehrzahl Umgebungspunkte. Hierdurch ergibt sich der Vorteil, dass mit einer Mehrzahl Radarsensoren ein größerer Bereich des zweidimensionalen Temperaturverlaufs der Wärmebildkamera mit zusätzlichen Distanzmessdaten ergänzt werden kann. Höchst vorzugsweise erfolgt die Radarmessung mit der Mehrzahl an Radarsensoren derart, dass als Ergebnis der Radardistanzmessung eine Punktewolke erhalten wird, die einer Mehrzahl an vermessenen Umgebungspunkten, und damit vermessenen Objekten, innerhalb des Wärmebilds eine Distanz zuordnet.
Vorzugsweise ist der Radarsensor oder das Multiradarsystem als FMCW-Radarsensor ausgebildet. Das Radarsystem ist als W-Band-Radarsystem ausgebildet. Dies erhöht die Genauigkeit, insbesondere in einem Nahbereich bis 50 m. Vorteilhaft ist weiter, dass im W-Band (bei ungefähr 94GHz) ein Dämpfungsminimum der Atmosphäre liegt, sodass die Radarmessung mit einer großen Reichweite und vergleichsweise störungsfrei erfolgen kann.
Die zuvor beschriebene Aufgabe ist weiterhin gelöst durch ein Verfahren gemäß Anspruch 1.
Das erfindungsgemäße Verfahren zum Abbilden einer Umgebung mittels eines Sichtsystems, welches eine Wärmebildkamera und einen Radarsensor aufweist und als handgehaltenes Sichtsystem ausgebildet ist, umfasst folgende Verfahrensschritte:

A. Erfassen eines zweidimensionalen Temperaturverlaufs einer Umgebung mittels einer Wärmebildkamera
B. Darstellen des zweidimensionalen Temperaturverlaufs,

Dabei liegt es im Rahmen der Beschreibung, dass der Verfahrensschritt C vor dem Verfahrensschritt A, gleichzeitig mit dem Verfahrensschritt A oder nach dem Verfahrensschritt A erfolgt.
Das erfindungsgemäße Verfahren weist ebenfalls die vorgenannten Vorteile der erfindungsgemäßen Vorrichtung auf.
In einem Verfahrensschritt C erfolgt mittels eines Radarsensors zumindest an dem ersten Umgebungspunkt in dem zweidimensionalen Temperaturverlauf der Wärmebildkamera eine Radarmessung. Die Radarmessung erfolgt somit an einem Umgebungspunkt, der in dem Verfahrensschritt A bereits mittels der Wärmebildkamera vermessen wurde oder vermessen wird.
Durch die an die Bewegung angepasst Kartierung ergibt sich der Vorteil, dass einem Bediener alle vorhandenen Informationen aktualisiert zur Verfügung stehen. Durch die akustische und/oder optische Darstellung des Überschreitens eines Grenzwerts für die zurückgelegte Strecke können Warninformationen, die z. B. auf einen kritischen Vorrat an Atemluft hinweisen, abgeschätzt werden und in einfacher Art und Weise für den Benutzer dargestellt werden.
In einer bevorzugten Ausführungsform des Verfahrens wird der zweidimensionale Temperaturverlauf der Wärmebildkamera optisch dargestellt. Vorzugsweise wird ein Ergebnis der Radarmessung in dem zweidimensionalen Temperaturverlauf der Wärmebildkamera als Distanzinformation dargestellt. Die Distanzinformation kann beispielsweise durch eine Farbskalierung dargestellt werden. Alternativ oder zusätzlich ist es möglich, die Distanzinformation an dem jeweiligen zu vermessenden Umgebungspunkt im dargestellten zweidimensionalen Temperaturverlauf der Wärmebildkamera als Zahl anzugeben. Hierdurch ergibt sich der Vorteil, dass sowohl der zweidimensionale Temperaturverlauf der Wärmebildkamera als auch die Distanzinformation für einen Benutzer in einfacher Art und Weise verfügbar sind.
Vorzugsweise erfolgt die Messung mittels des Initialsensorsystems in regelmäßigen Abständen, beispielsweise mit einer Frequenz von 100 Hz, höchst vorzugsweise kontinuierlich. Insbesondere bevorzugt erfolgt die Messung mittels des Initialsensorsystems bei einer Mindestmessfrequenz, die höher als die Messrate des Radarsensors ist. Dadurch kann eine Bewegung des Sichtsystems nachvollzogen werden und die aktuelle Position des Sichtsystems zu jedem Zeitpunkt bestimmt werden.
Vorzugsweise wird mittels der Drehratensensoren in Kombination mit den Beschleunigungsdaten die Orientierung in Bezug zur Erd-Gravitation bestimmt. Diese wird für die Kompensation der Erbbeschleunigung im Beschleunigungssignal verwendet. Mittels zweifach Integration läßt sich anschließend die Positionen berechnen. Als Berechnungsverfahren kann Beispielsweise der Kalman-Filter verwendet werden. Dieser beschreibt die Zustandsschätzung unter Berücksichtigung von statistischen Randbedingungen.
In einer weiteren vorzugsweisen Ausführungsform erfolgt in zumindest einem weiteren Verfahrensschritt nach dem Verfahrensschritt D eine wiederholte Radarmessung mittels des Radarsensors des Sichtsystems an zumindest einem weiteren zweiten Umgebungspunkt in dem zweidimensionalen Temperaturverlauf der Wärmebildkamera. Vorzugsweise erfolgt während und nach der wiederholten Radarmessung an zumindest dem zweiten Umgehungspunkt eine Messung mittels des Initialsensorsystems.
Vorzugsweise erfolgt die Berechnung der Distanz zwischen erstem Umgebungspunkt und Sichtsystem auf der Grundlage der Messung des Initialsensorsystems in regelmäßigen Abständen neu. Höchst vorzugsweise wird auch die Distanz zwischen zweitem Umgebungspunkt und Sichtsystem auf der Grundlage der Messung des Initialsystems neu berechnet, insbesondere bevorzugt ständig neu berechnet. Dabei bleiben vorzugsweise die Distanzinformationen für jeden vermessenen Umgebungspunkt erhalten und werden ständig an die neue Position des Sichtsystems angepasst. Hierdurch können dem Benutzer des Sichtsystems ständig aktualisierte Informationen bezüglich der Distanzen der in dem zweidimensionalen Temperaturverlauf dargestellten Objekte bereitgestellt werden.
Vorzugsweise erfolgt bei der Kartierung eine Objektverfolgung. Objektverfolgung bedeutet im Rahmen dieser Beschreibung, dass jeder bereits mittels Radarmessung vermessene Umgebungspunkt, der in dem zweidimensionalen Temperaturverlauf dargestellt ist, mit der entsprechenden Distanzinformation versehen wird, welche ständig auf der Grundlage der Messdaten des Initialsensorsystems angepasst wird. Hierdurch kann in einfacher Art und Weise durch wiederholtes Messen mittels des Radarsensorsystems eine Vielzahl an Informationen über die zu vermessende Umgebung gesammelt und dargestellt werden. Im Ergebnis erfolgt somit eine Kartierung aller Radarmessungen der bereits vermessenen Umgebungspunkte in dem zweidimensionalen Temperaturverlauf, die sich in einem Sichtfeld des Sichtsystems befinden.
Höchstvorzugsweise erfolgt eine „Wiedererkennung“ einmal vermessener Umgebungspunkte. Die „Wiedererkennung“ bereits vermessener Umgebungspunkte erfolgt auf der Grundlage der Wärmebilddaten und der Radardaten. Vorzugsweise erfolgt die Wiedererkennung aufgrund der optischen Korrelation im Wärmerotbild, d. h. es erfolgt ein Vergleich der Wärmebilddaten mit zurückliegenden Messungen, sowie einer Ortsschätzung des vermessenen Umgebungspunktes aufgrund der Daten des Inertialsensorsystems. Hierdurch können zum Beispiel nach einem Schwenk des Sichtsystems Umgebungspunkte, die wiederholt in dem Sichtfeld des Sichtsystems auftauchen, wiedererkannt werden und mit den zugehörigen Distanzdaten versehen werden, ohne das eine erneute Messung mittels des Radarsensors notwendig wird.
In einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden aus der Radarmessung Objekteigenschaften bestimmt. Aufgrund der Abstrahlcharakteristik des zu vermessenden Objekts können verschiedene Eigenschaften des Objekts bestimmt werden. Vorzugsweise werden Materialeigenschaften und/oder Materialstärken, wie geometrische Abmessungen wie die Dicke des Objekts bestimmt. Hierdurch ergibt sich der Vorteil, dass anhand der so bestimmten Objekteigenschaften entschieden werden kann, ob das im zweidimensionalen Temperaturverlauf vorhandene Objekt beispielsweise ein massives Objekt, eine Glasscheibe oder ein Hindernis ist. Aufgrund einer Analyse der Objekteigenschaften kann somit das weitere Vorgehen des Bedieners optimiert werden.
Vorzugsweise wird in einem weiteren Verfahrensschritt überprüft, ob sich in der aktuell vermessenen Umgebung Personen aufhalten. Die gesammelten Daten ermöglichen einem erfahrenen Feuerwehrmann eine Erkennung von Personen aufgrund der typischen Messcharakteristik der Radarmessdaten und des Wärmebildes, zum Beispiel anhand des Umrisses und der Reflexionscharakteristik der Oberfläche.
In einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens erfolgt auf der Grundlage der Daten des Initialsensorsystems und auf der Grundlage der Radarmessdaten oder auf der Grundlage der Objektverfolgung eine Sensorfusion. Die Sensorfusion basiert dabei auf Zustandsschätzung stochastischer Systeme sowie der Erstellung eines Systemmodell für die Berechnung der Systemzustände, beispielsweise nach dem Prinzip eines Kalman-Filter. Auf Grundlage der Sensorfunktion können Korrekturinformationen an das Initialsensorsystem gegeben werden, die eine Fehlerkompensation ermöglichen und die Genauigkeit des Sichtsystems erhöhen.
Das erfindungsgemäße Verfahren ist vorzugsweise zur Durchführung mittels des erfindungsgemäßen Sichtsystems und/oder einer vorzugsweisen Ausführungsform hiervon ausgebildet. Das erfindungsgemäße Sichtsystem ist vorzugsweise zur Durchführung des erfindungsgemäßen Verfahrens und/oder einer vorzugsweisen Ausführungsform hiervon ausgebildet.
Ein weiterer Aspekt der Erfindung betrifft die Verwendung eines erfindungsgemäßen Sichtsystems bzw. einer vorteilhaften Ausführung eines erfindungsgemäßen Sichtsystems zur Orientierung bei einem Feuerwehreinsatz. Durch die Verwendung des Sichtsystems wird die Vorstellung der räumlichen Zusammenhänge und Gefahrenstellen am Einsatzort für den Feuerwehrmann deutlich erleichtert. Das Sichtsystem ermöglicht dem Feuerwehrmann eine verbesserte Orientierung, so dass die benötigte Zeit für eine Opfersuche deutlich reduziert wird und die eigene Sicherheit des Feuerwehrmanns durch realistische Risikoabschätzung erhöht werden kann.
Ebenso kann das Sichtsystem für reine Distanzmessungen eingesetzt werden, z. B. um die Abstände für Aufstellorte von benötigten Fahrzeugen und/oder anderen Hilfsmitteln zu bestimmen.
Ebenso vorteilhaft ist, dass im Feuerwehreinsatz die Messung von Materialstärken, wie z. B. Türdicken oder Wandstärken durch die Auswertung der Doppelreflexion der Radarsensordaten erfolgen kann. Dies hilft dem Feuerwehrmann zu bestimmen, ob ein Hindernis, wie z. B. eine Tür überwunden und/oder zerstört werden kann und/oder ob hinter dem Hindernis noch mit Opfern zu rechnen ist.
Ebenso vorteilhaft ist an der Verwendung des Sichtsystems bei einem Feuerwehreinsatz, dass sogenannte Eigenreflexionen im zweidimensionalen Temperaturverlauf der Wärmebildkamera erkannt werden können. Dies hilft Irritationen durch die genannten Eigenreflexionen zu vermeiden.
Das erfindungsgemäße Sichtsystem und das erfindungsgemäße Verfahren sind grundsätzlich für Anwendungen geeignet, bei denen unter schwierigen Umgehungsbedingungen, die den Einsatz einer normalen Kamera unmöglich machen, ein Abbilden der Umgebung erfolgen soll.
Das erfindungsgemäße Sichtsystem und oder das erfindungsgemäße Verfahren sind daher vorzugsweise ausgebildet zur Verwendung im Gefahreneinsatz z. B. bei einem Feuerwehreinsatz in verrauchter Umgebung und/oder im Dunkeln.
Weitere vorzugsweise Merkmale und Ausführungsformen des erfindungsgemä-ßen Sichtsystems und des erfindungsgemäßen Verfahrens werden im Folgenden anhand von Ausführungsbeispielen und den Figuren erläutert. Dabei zeigt:

1 eine schematische Darstellung eines ersten Ausführungsbeispiels eines erfindungsgemäßen Sichtsystems;
2 eine schematische Darstellung des Ausführungsbeispiels aus 1 in der Ansicht von vorne;
3 ein zweites Ausführungsbeispiel eines erfindungsgemäßen Sichtsystems in der Ansicht von vorne;
4 eine schematische Darstellung eines Ablaufs eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
5 eine schematische Darstellung eines Ablaufs eines zweiten Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
6 eine schematische Darstellung eines Ablaufs eines dritten Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
7 eine schematische Darstellung eines Ablaufs eines vierten Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
8 ein Beispiel für einen mittels des erfindungsgemäßen Sichtsystems aufgenommenen zweidimensionalen Temperaturverlauf mit Distanzinformationen.

In den 1 bis 8 bezeichnen gleiche Bezugszeichen gleiche oder gleichwirkende Elemente. Alle Maßangaben sind exemplarisch zu verstehen und enthalten keine über die Patentansprüche hinausgehende Beschränkung.
1 zeigt eine schematische Darstellung eines ersten Ausführungsbeispiels eines erfindungsgemäßen Sichtsystems 1. Das erfindungsgemäße Sichtsystem 1 ist als Wärmebildkamera ausgebildet und weist einen Radarsensor mit einer Radarlinse 2 auf. Weiter weist das Sichtsystem 1 eine Wärmebildkamera mit einer Infrarotlinse 3 sowie ein Display 4 auf.
Das Sichtsystem 1 ist als handgehaltene Vorrichtung ausgebildet und weist einen Griff 5 auf. Ein weiterer Vorteil ergibt sich dadurch, dass das Sichtsystem kompakt und klein ausgebildet ist. Dadurch kann das Sichtsystem als handgehaltenes Sichtsystem im Gefahreneinsatz, wie z. B. in einem Feuerwehreinsatz eingesetzt werden und kann von einem Bediener problemlos getragen werden. Zum Schutz der einzelnen Komponenten sind diese in einem Gehäuse 6 angeordnet.
Mittels der Infrarotlinse 3 der Wärmebildkamera wird der zweidimensionale Temperaturverlauf der Umgebung gemessen. Zusätzlich wird mittels des Radarsensors und der Radarlinse 2 punktuell eine Radarmessung durchgeführt an einem Umgebungspunkt der einem Punkt in dem zweidimensionalen Verlauf der Wärmebildkamera entspricht. Die so ermittelten Daten werden miteinander verknüpft (siehe 4 bis 7 und die dazugehörige Beschreibung) und auf dem Display 4 dargestellt.
2 zeigt das erste Ausführungsbeispiel aus 1 in einer Ansicht von vorne. Zur Vermeidung von Wiederholungen soll im weiteren Verlauf lediglich auf die Unterschiede zur 1 angegangen werden.
Das Sichtsystem 1 ist vorliegend mit einem Radarsensor ausgebildet, dargestellt durch die Radarlinse 2. Die Radarmessung erfolgt somit lediglich punktuell an einem Umgebungspunkt. Die Infrarotlinse 3 und die Radarlinse 2 sind übereinander angeordnet und mechanisch starr gekoppelt, was eine Zuordnung der Radarmessdaten in dem zweidimensionalen Temperaturverlauf der Wärmebildkamera erleichtert.
In 3 ist ein zweites Ausführungsbeispiel eines erfindungsgemäßen Sichtsystems 1 dargestellt. Das Sichtsystem 1 ist vorliegend mit einem Multiradarlinsensystem, hier mit drei Radarsensoren, dargestellt durch die Radarlinsen 2a, 2b und 2c, ausgebildet. Hierdurch kann eine Radarmessung an mehreren Umgebungspunkten gleichzeitig erfolgen, was die Genauigkeit der Messung sowie den Informationsgehalt für den Bediener erhöht.
Vorliegend ist der Radarsensor oder das Multiradarsystem als FMCW Radarsensor ausgebildet. Das Radarsystem ist als W-Band-Radarsystem ausgebildet. Dies erhöht die Genauigkeit, insbesondere in einem Nahbereich bis 50 m.
In 4 ist ein Ablauf eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens schematisch dargestellt. Das Sichtsystem umfasst vorliegend einen einzelnen Radarsensor 11, ein Initialsensorsystem 12 sowie eine Wärmebildkamera 13.
Mittels des Radarsensors 11 wird Radarstrahlung ausgesandt und die Reflektion an dem zu vermessenden Objekt gemessen. Dies entspricht dem Verfahrensschritt C des erfindungsgemäßen Verfahrens und/oder einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens. Aus den Radarmessdaten des Radarsensors 11 werden die Distanzen zwischen den vermessenen Umgebungspunkten und dem Sichtsystem 1 berechnet.
Mittels des Initialsensorsystems 12 werden Drehungen und Beschleunigung des Sichtsystems gemessen. Dies entspricht dem Verfahrensschritt D des erfindungsgemäßen Verfahrens und/oder einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens. Aus den Daten des Initialsensorsystems 12 werden die Position des Sichtsystems, durch Drehungen und Bewegungen, berechnet. Vorliegend umfasst das Initialsensorsystem 12 vorzugsweise einen dreiachsigen Magnetometer, einen dreiachsigen Beschleunigungssensor und/oder ein dreiachsiges Gyroskop.
Mittels der Infrarotkamera 13 wird der zweidimensionale Temperaturverlauf, d. h. ein Wärmebild der Umgebung, gemessen. Dies entspricht dem Verfahrensschritt A des erfindungsgemäßen Verfahrens und/oder einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens.
Aus den Daten der genannten drei Messsysteme erfolgt eine Kartierung derart, dass auf der Grundlage der Daten des Initialsensorsystems die Distanzdaten des Radarsystems zu dem zweidimensionalen Temperaturverlauf der Wärmebildkamera hinzugefügt werden. Das Ergebnis der Kartierung enthält somit die Informationen des zweidimensionalen Temperaturverlaufs, Distanzinformationen der Radarmessung an den vermessenen Punkten sowie Informationen über die Position des Sichtsystems. Die Darstellung in dem zweidimensionalen Temperaturverlauf kann dabei beispielsweise als Farbskalierung und/oder als Darstellung der Distanzdaten als Zahlen an den vermessenen Umgebungspunkten (vgl. 8) erfolgen.
In einem zusätzlichen Verfahrensschritt 15 wird überprüft, ob sich in der aktuell vermessenen Umgebung Personen aufhalten. Dies erfolgt über eine Erkennung von Personen aufgrund der typischen Messcharakteristik der Radarmessdaten und des Wärmebildes, zum Beispiel anhand des Umrisses und der Reflexionscharakteristik.
In einem letzten Verfahrensschritt wird der zweidimensionale Temperaturverlauf der Wärmebildkamera 13 mit den Distanzmessdaten des Radarsystems 11 auf einem Display und mit den zusätzlichen Objektinformationen 15 dargestellt.
In 5 ist ein Ablauf eines weiteren Ausführungsbeispiels eines erfindungsgemäßen Verfahrens schematisch dargestellt. Zur Vermeidung von Wiederholungen soll auch hier lediglich auf die Unterschiede zu 4 eingegangen werden.
Das Radarsystem 11 ist vorliegend als Multiradarsystem ausgebildet und umfasst vier Radarsensoren 11a, 11b, 11c, 11d. Das Radarsensorsystem liefert somit eine Punktewolke für die Distanzmessdaten und erlaubt so die gleichzeitige Vermessung mehrerer Umgebungspunkte. Dies erhöht die Genauigkeit der Kartierung 14.
In 6 ist ein Ablauf eines weiteren Ausführungsbeispiels eines erfindungsgemäßen Verfahrens schematisch dargestellt. Zur Vermeidung von Wiederholungen soll hier lediglich auf die Unterschiede zu den vorherigen Figuren eingegangen werden.
Auf der Grundlage der Daten der Wärmebildkamera 13 sowie des Radarsensorsystems 11 erfolgt vorliegend eine Objektverfolgung 17. Dies bedeutet, dass die einmal mit dem Radarsensorsystem vermessenen Punkte in der Kartierung 14 enthalten bleiben und die Distanzdaten der vermessenen Punkte auf der Grundlage der Wärmebilddaten 13 vorzugsweise ständig neu berechnet werden. In dem Wärmebild der Infrarotkamera 13 kann eine Winkel- und optional eine Positionsmessung erfolgen, aus der sich die Bewegung des Sichtsystems relativ zu dem vermessenen Objekt berechnen lässt. Auf dieser Grundlage kann dann die Distanzinformation bezüglich des Objekts angepasst und in der Kartierung 14 korrigiert werden.
Optional kann die Anpassung der Distanzdaten auch auf der Grundlage des Initialsensorsystems 12 erfolgen. Mit dem Initialsensorsystem 12 werden Position und Drehwinkel des Sichtsystems 1 bestimmt. Auf dieser Grundlage können ebenso die Distanzdaten des Radarsystems neu 11 berechnet werden, vorzugsweise kontinuierlich neu berechnet, und werden so in der Kartierung 14 kontinuierlich angepasst.
In 7 ist der Ablauf eines weiteren Ausführungsbeispiels eines erfindungsgemäßen Verfahrens dargestellt. Hier erfolgt die Objektverfolgung 17 anhand der Daten des Initialsensorsystems 12. Vorliegend wird hier anhand des Daten des Inertialsensorsystems 12 die Bewegung des Sichtsystems 1 rekonstruiert. Aus der Bewegung des Sichtsystems 1 können die Abstände zu den vermessenen Umgebungspunkten, d. h. zu den detektierten Objekten, neu berechnet werden. Diese Informationen werden an die Objektverfolgung 17 übergeben, so dass die Distanzdaten 11a des Radarsensorsystems 11 auf der Grundlage der Initialsensorsystemdaten 18 an die Bewegung des Sichtsystems 1 angepasst werden können. Somit erfolgt die Kartierung 14 derart, das einmal gemessene Umgebungspunkte in dem zweidimensionalen Temperaturverlauf der Wärmebildkamera 13 erhalten bleiben und die Distanzdaten kontinuierlich neu berechnet werden. Mit jedem neu vermessenen Umgebungspunkt enthält die Kartierung 14 somit zusätzliche Informationen, die dem Bediener zur Verfügung gestellt werden können.
Zusätzlich erfolgt auf der Grundlage der Daten des Initialsensorsystems 12 und auf der Grundlage der Objektverfolgung 17 eine Sensorfusion 18. Die Sensorfusion basiert dabei auf der Zustandsschätzung stochastischer Systeme sowie der Erstellung eines Systemmodell für die Berechnung der Systemzustände, beispielsweise nach dem Prinzip eines Kalman-Filter. Auf Grundlage dieser Sensorfunktion 18 können Korrekturinformationen an das Initialsensorsystem gegeben werden, die eine Fehlerkompensation möglich machen.
In 8 ist beispielhaft ein Bild des erfindungsgemäßen Sichtsystems 1 dargestellt. Das Bild enthält den zweidimensionalen Temperaturverlauf der Wärmebildkamera. Zu sehen sind hier beispielhaft mehrere Personen. Weiter enthält das Bild an einzelnen Punkten Distanzinformationen, die vorliegend als Zahlen an den vermessenen Umgebungspunkten in dem zweidimensionalen Temperaturverlauf dargestellt sind. Hierdurch kann ein Bediener, wie z. B. ein Feuerwehrmann, auf einen Blick erfassen, wie weit entfernt die dargestellten Objekte sind.

Claims

Verfahren zum Abbilden einer Umgebung mittels eines Sichtsystems (1), wobei das Sichtsystem (1) eine Wärmebildkamera (13) und einen Radarsensor (11) aufweist und als handgehaltenes Sichtsystem (1) ausgebildet ist, welches Verfahren folgende Verfahrensschritte umfasst: A Messung eines zweidimensionalen Temperaturverlaufs einer Umgebung mittels der Wärmebildkamera, B Darstellen des zweidimensionalen Temperaturverlaufs, dass in einem Verfahrensschritt C nach oder gleichzeitig mit dem Verfahrensschritt A mittels des Radarsensors (11) des Sichtsystems (1) an zumindest einem ersten Umgebungspunkt in dem zweidimensionalen Temperaturverlauf eine Radarmessung erfolgt, wobei aus der Radarmessung aus dem Verfahrensschritt C eine Distanz zwischen dem zumindest einen vermessenen ersten Umgebungspunkt, an dem die Radarmessung erfolgt ist, und dem Sichtsystem (1) bestimmt wird und die Messung des zweidimensionalen Temperaturverlaufs der Wärmebildkamera mit Distanzmessdaten des Radarsensors (11) ergänzt wird, und dass in einem Verfahrensschritt D mittels eines Inertialsensorsystems (12) des Sichtsystems (1) eine Messung zumindest der Beschleunigung und/oder Drehgeschwindigkeit des Sichtsystems (1) erfolgt, wobei die Distanz zwischen erstem Umgebungspunkt und Sichtsystem (1) auf der Grundlage der Messung des Inertialsensorsystems (12) berechnet wird, sodass mittels der Messdaten des Inertialsensorsystems (12) eine Kartierung (14) der Radarmessungen der Umgebungspunkte in dem zweidimensionalen Temperaturverlauf erfolgt, welche Kartierung (14) an die Bewegung des Sichtsystems (1) angepasst wird dadurch gekennzeichnet, dass auf der Grundlage einer Fusion der Messdaten des Inertialsensorsystems (12), der Messdaten des zumindest einen Radarsensors (11) und/oder der Messung der Wärmebildkamera (13) zumindest eine zurückgelegte Strecke bestimmt wird und bei Überschreiten eines Grenzwerts dies akustisch und/oder optisch in einem Display des Sichtsystems (1) für einen Bediener dargestellt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der zweidimensionale Temperaturverlauf der Wärmebildkamera (13) optisch dargestellt wird und ein Ergebnis der Radarmessung in dem zweidimensionalen Temperaturverlauf der Wärmebildkamera (13) als Distanzinformation dargestellt wird.
Verfahren nach einem der vorgegangenen Ansprüche dadurch gekennzeichnet, dass in zumindest einem weiteren Verfahrensschritt nach dem Verfahrensschritt D eine wiederholte Radarmessung mittels des Radarsensors (11) des Sichtsystems (1) an zumindest einem weiteren zweiten Umgebungspunkt in dem zweidimensionalen Temperaturverlauf erfolgt.
Verfahren nach einem der vorgegangenen Ansprüche, dadurch gekennzeichnet, dass die Distanz zwischen erstem Umgebungspunkt und Sichtsystem (1) auf der Grundlage der Messung des Inertialsensorsystems (12) in regelmäßigen Abständen neu berechnet wird.
Verfahren nach einem der vorgegangenen Ansprüche, dadurch gekennzeichnet, dass die Kartierung (14) der Radarmessungen der Umgebungspunkte in dem zweidimensionalen Temperaturverlauf mittels der Messdaten des Inertialsensorsystems (12) in regelmäßigen Abständen an die Bewegung des Sichtsystems (1) angepasst wird.
Verfahren nach einem der vorgegangenen Ansprüche, dadurch gekennzeichnet, dass aus der Radarmessung Objekteigenschaften, vorzugsweise Materialeigenschaften und/oder Materialstärken, eines vermessenen Objekts bestimmt werden.
Sichtsystem (1), insbesondere zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 6, umfassend eine Wärmebildkamera (13) zur Messung eines zweidimensionalen Temperaturverlaufs und zumindest einen Radarsensor (11) für eine Distanzmessung mittels Radar, wobei ausgesandte Radarstrahlung in einem Frequenzbereich größer 50 GHz liegt, welches Sichtsystem (1) als handgehaltenes Sichtsystem (1) ausgebildet ist, wobei das Sichtsystem (1) ein Inertialsensorsystem (12) umfasst, welches Inertialsensorsystem (12) derart an der Wärmebildkamera (13) angeordnet und ausgebildet ist, dass die Beschleunigung und/oder Drehgeschwindigkeit der Wärmebildkamera (13) messbar ist und das Sichtsystem (1) eine Auswerteeinheit umfasst, die ausgebildet ist, um die Messung des zweidimensionale Temperaturverlaufs der Wärmebildkamera mit Distanzmessdaten des zumindest einen Radarsensors (11) zu verknüpfen, wobei die Auswerteeinheit ausgebildet ist, die Distanzmessdaten auf der Grundlage der durch das Inertialsensorsystem (12) gemessenen Beschleunigung und/oder Drehgeschwindigkeit der Wärmebildkamera (13) wiederholt neu zu berechnen und den zweidimensionalen Temperaturverlauf mit den neu berechneten Distanzmessdaten zu ergänzen, sodass mittels der Messdaten des Inertialsensorsystems (12) eine Kartierung (14) der Radarmessungen von Umgebungspunkten in dem zweidimensionalen Temperaturverlauf erfolgt, welche Kartierung (14) an die Bewegung des Sichtsystems (1) anpassbar ist, dadurch gekennzeichnet, dass die Auswerteeinheit ausgebildet ist auf der Grundlage einer Fusion der Messdaten des Inertialsensorsystems (12), der Messdaten des zumindest einen Radarsensors (11) und/oder der Messung der Wärmebildkamera (13) zumindest eine zurückgelegte Strecke zu bestimmen und bei Überschreiten eines Grenzwerts dies akustisch und/oder optisch in einem Display des Sichtsystems (1) für einen Bediener darzustellen.
Sichtsystem (1) nach Anspruch 7, dadurch gekennzeichnet, dass das Sichtsystem (1) eine Mehrzahl Radarsensoren (11a, 11b, 11c, 11d) für eine Distanzmessung einer Mehrzahl Umgebungspunkte umfasst.
Sichtsystem (1) nach einem der vorangegangenen Ansprüche 7 oder 8, dadurch gekennzeichnet, dass das Sichtsystem (1) zumindest Sendemittel aufweist, welche derart ausgebildet sind, dass der zweidimensionale Temperaturverlauf der Wärmebildkamera (13) mit den Distanzmessdaten des Radarsensors (11) an einen externen Empfänger übertragen wird.
Verwendung eines Verfahrens nach einem der Ansprüche 1 bis 6 und/oder eines Sichtsystems (1) nach einem der Ansprüche 7 bis 9 zur Orientierung bei einem Feuerwehreinsatz.