DE102016208941A1

DE102016208941A1 - Method and device for evaluating a thermal image and autonomous system

Info

Publication number: DE102016208941A1
Application number: DE102016208941.2A
Authority: DE
Inventors: Mathias Buerger; Fanny Kobiela; Florian Haug; Volker Fischer; Tobias Gindele; Michael Herman; Michael Hanselmann; Joerg Wagner
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2016-05-24
Filing date: 2016-05-24
Publication date: 2017-11-30

Abstract

Die Erfindung betrifft ein Verfahren zum Auswerten eines Wärmebilds (402) einer Wärmebildkameraeinrichtung (404), wobei das Verfahren einen Schritt des Detektierens, einen Schritt des Extrahierens und einen Schritt des Assoziierens aufweist, wobei im Schritt des Detektierens eine Wärmespur (412) in dem Wärmebild(402) detektiert wird, im Schritt des Extrahierens zumindest ein Merkmal (414) der Wärmespur (412) extrahiert wird, und im Schritt des Assoziierens die Wärmespur (412) und/oder das Merkmal (414) der Wärmespur (412) mit einerhypothetischen Objektvermutung (436) assoziiert wird.The invention relates to a method for evaluating a thermal image (402) of a thermal imager device (404), the method comprising a step of detecting, a step of extracting and a step of associating, wherein in the step of detecting a thermal track (412) in the thermal image (402), extracting at least one feature (414) of the heat trace (412) in the step of extracting, and in the associating step the heat trace (412) and / or feature (414) the heat trace (412) having a hypothesis hypothesis (436).

Description

Stand der TechnikState of the art

Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.The invention is based on a device or a method according to the preamble of the independent claims. The subject of the present invention is also a computer program.

Wenn ein Objekt in einem Erfassungsbereich eines Sensors erfasst ist, kann das Objekt nicht mehr sicher identifiziert werden, nachdem das Objekt den Erfassungsbereich kurzzeitig verlassen hat. Wird das Objekt später wieder erfasst, so wird die Annahme verwendet, dass das vor dem Verlassen erfasste Objekt mit dem nach dem Verlassen erfassten Objekt übereinstimmen würde. Diese Annahme kann irrtümlich sein.If an object is detected in a detection area of a sensor, the object can no longer be safely identified after the object has left the detection area for a short time. If the object is later detected again, it is assumed that the object detected before exiting would correspond to the object detected after exiting. This assumption can be erroneous.

Die US 2012/0316680 A1 offenbart einen Roboter, der Objekte unter Verwendung von Sensordaten verfolgen kann.The US 2012/0316680 A1 discloses a robot that can track objects using sensor data.

Offenbarung der ErfindungDisclosure of the invention

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Auswerten eines Wärmebilds einer Wärmebildkameraeinrichtung, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein autonomes System und ein Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.Against this background, with the approach presented here, a method for evaluating a thermal image of a thermal imaging camera device, furthermore a device which uses this method, and finally an autonomous system and a computer program according to the main claims are presented. The measures listed in the dependent claims advantageous refinements and improvements of the independent claim device are possible.

Wärmebilder umfassen nicht nur Informationen über den aktuellen Zustand der Umgebung, sondern auch Wissen über die Vergangenheit. Der beschriebene Ansatz basiert auf der Erkenntnis, dass nicht nur das Wissen über den aktuellen Zustand, sondern auch das Wissen über die Vergangenheit genutzt werden kann.Thermal images include not only information about the current state of the environment, but also knowledge of the past. The described approach is based on the knowledge that not only the knowledge of the current state, but also the knowledge about the past can be used.

Ein Objekt, insbesondere eine Person, hinterlässt temporär Wärmespuren, die durch eine Wärmebildkamera abgebildet werden können. Die Wärmespuren kennzeichnen Positionen, Orientierungen, eine Schuhgröße, ein Schuhprofil, usw., an denen das Objekt beziehungsweise die Person zu einem zurückliegenden Zeitpunkt Kontakt mit einer Oberfläche hatte. Die Wärmespuren können Informationen über ein oder mehrere Objekte bzw. Personen enthalten, insbesondere zu deren Positionen, Orientierungen in der nahen Vergangenheit. Dies ermöglicht eine Verbesserung der Zustandsschätzung der Objekte, z.B. der Überbrückung von Überwachungslücken. An object, especially a person, temporarily leaves traces of heat, which can be imaged by a thermal imaging camera. The heat marks indicate positions, orientations, shoe size, shoe profile, etc. where the object or person had contact with a surface at a previous time. The heat traces may contain information about one or more objects or persons, in particular their positions, orientations in the near past. This allows an improvement in the state estimation of the objects, e.g. the bridging of surveillance gaps.

Es wird ein Verfahren zum Auswerten eines Wärmebilds einer Wärmebildkameraeinrichtung vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
Detektieren mindestens einer Wärmespur in dem Wärmebild;
Extrahieren zumindest eines Merkmals der Wärmespur; und
Assoziieren der Wärmespur und/oder des Merkmals der Wärmespur mit einer Objektvermutung. A method for evaluating a thermal image of a thermal imaging camera device is presented, the method comprising the following steps:
Detecting at least one heat trace in the thermal image;
Extracting at least one feature of the heat trace; and
Associating the heat trace and / or the feature of the heat trace with an object guess.

Eine Wärmebildkameraeinrichtung kann eine oder mehrere Wärmebildkameras oder Wärmebildsensoren umfassen. Beispielsweise können mehrere Wärmebildkameras verschiedene Teilbereiche eines gemeinsamen Erfassungsbereichs erfassen und in einem Wärmebild beziehungsweise in einem Bildstrom aus Wärmebildern abbilden. Ein Wärmebild kann durch ein Bilddaten umfassendes Wärmebildsignal dargestellt und übertragen werden. Eine Wärmespur kann beispielsweise ein abgegrenzter Bereich einer in dem Wärmebild abgebildeten Fläche sein, die eine zur Umgebung unterschiedliche Temperatur aufweist. Die Wärmespur schwächt sich im Laufe der Zeit ab, bis der Bereich wieder Umgebungstemperatur angenommen hat. Ein Merkmal kann ein charakteristisches Merkmal des Bereichs sein. Bei einer Mehrzahl von Wärmespuren kann eine Mehrzahl an verschiedenen Merkmalen extrahiert werden. Unter einer Objektvermutung kann ein Objekt verstanden werden, das in dem Wärmebild nicht abgebildet ist. Die Wärmespur und/oder das Merkmal der Wärmespur können beispielsweise dann mit der Objektvermutung assoziiert werden, wenn in dem Wärmebild kein Objekt abgebildet wird, mit dem die Wärmespur oder das Merkmal der Wärmespur assoziiert werden könnte. Durch den Schritt des Assoziierens kann die Wärmespur mit der Objektvermutung verknüpft werden. Die Objektvermutung kann eine Charakteristik aufweisen, die einem Objekt angenähert ist. Beispielsweise kann die Charakteristik sich auf Merkmale einer von dem Objekt typischerweise erzeugten Wärmespur beziehen. Auf diese Weise kann die Objektvermutung als zeitweisen Ersatz für ein Objekt dienen. A thermal imager device may include one or more thermal imagers or thermal imagers. For example, a plurality of thermal imaging cameras can capture different partial areas of a common detection area and image them from thermal images in a thermal image or in an image stream. A thermal image can be displayed and transmitted by a thermal image signal comprising image data. A heat trace may, for example, be a delimited area of a surface imaged in the thermal image which has a temperature different from the environment. The heat trace weakens over time until the area has returned to ambient temperature. A feature can be a characteristic feature of the area. With a plurality of heat traces, a plurality of different features can be extracted. Under an object presumption can be understood an object that is not shown in the thermal image. The heat trace and / or the feature of the heat trace may be associated with the object guess, for example, if no object is imaged in the thermal image to which the heat trace or feature of the heat trace could be associated. Through the associating step, the heat trace can be linked to the object guess. The object guess may have a characteristic that approximates an object. For example, the characteristic may relate to features of a heat trace typically generated by the object. In this way, the object presumption can serve as a temporary replacement for an object.

Der Schritt des Assoziierens kann dazu dienen, um Wissen über ein Objekt abzuleiten, von dem die Wärmespur und/oder das Merkmal stammen können. The associating step may be to derive knowledge about an object from which the heat trace and / or feature may originate.

Gemäß einer Ausführungsform kann im Schritt des Assoziierens über einen Vergleich mit Referenzen eine Vermutung darüber angestellt werden, von welcher Art von Objekt die Wärmespur und/oder das Merkmal stammen können. Beispielsweise kann im Schritt des Assoziierens die Wärmespur mit zumindest einer Referenzwärmespur und/oder das Merkmal mit zumindest einem Referenzmerkmal verglichen werden. Eine Referenzwärmespur und ein Referenzmerkmal können einem Referenzobjekt zugeordnet sein. Stimmt die Wärmespur beispielsweise mit einer Referenzwärmespur überein, so kann die Wärmespur mit dem der Referenzwärmespur zugeordneten Referenzobjekt als Objektvermutung assoziiert werden. Stimmt das Merkmal entsprechend mit einem Referenzmerkmal überein, so kann die das Merkmal mit dem dem Referenzmerkmal zugeordneten Referenzobjekt als Objektvermutung assoziiert werden.According to one embodiment, in the associating step, a comparison with references may be made as to which type of object the heat trace and / or the feature may originate from. For example, in the associating step, the heat trace can be compared with at least one reference heat trace and / or the feature can be compared with at least one reference feature. A reference heat trace and a Reference feature can be assigned to a reference object. For example, if the heat trace matches a reference heat trace, then the heat trace may be associated with the reference object associated with the reference heat trace as an object guess. If the feature corresponds to a reference feature, the feature may be associated with the reference feature associated with the reference feature as an object guess.

Im Fall einer Person als Referenzobjekt kann eine Referenzwärmespur eine aus mehreren Fußabdrücken bestehende Fußspur sein. Stimmt die Wärmespur beispielsweise zumindest annäherungsweise mit einer Referenzwärmespur in Form einer Fußspur überein, so kann als Objektvermutung angenommen werden, dass die Wärmespur von einer Person stammt. Es kann somit vermutet werden, dass sich in einem Erfassungsbereich der Wärmebildkameraeinrichtung eine Person befindet oder vor kurzem befunden hat.In the case of a person as a reference object, a reference heat trace may be a footprint consisting of several footprints. For example, if the heat trace is at least approximately coincident with a reference heat trace in the form of a footprint, it may be assumed that the heat trace is from a person. Thus, it may be presumed that a person is or has recently been located in a detection area of the thermal imager device.

Gemäß einer weiteren Ausführungsform wird beispielsweise aufgrund einer Auswertung des Wärmebilds oder zumindest eines vorangegangenen Wärmebilds oder aufgrund einer Auswertung einer andersartigen Sensorinformation vermutet, dass sich in dem Erfassungsbereich der Wärmebildkameraeinrichtung ein Objekt befindet oder vor kurzem befunden hat. Bei Vorhandensein einer solchen Objektvermutung, beispielsweise in Form einer Objekthypothese kann im Schritt des Assoziierens versucht werden die Wärmespur und/oder das Merkmal mit der Objekthypothese zu assoziieren. Ist die Assoziierung möglich, so kann davon ausgegangen werden, dass die Wärmespur von einem der Objekthypothese zugeordneten Objekt stammt.According to a further embodiment, it is assumed, for example on the basis of an evaluation of the thermal image or at least one previous thermal image or due to an evaluation of a different type of sensor information, that an object is located or has recently been located in the detection area of the thermal imaging camera device. In the presence of such an object presumption, for example in the form of an object hypothesis, it may be attempted in the associating step to associate the thermal track and / or the feature with the object hypothesis. If the association is possible, then it can be assumed that the heat trace originates from an object assigned to the object hypothesis.

Als das zumindest eine Merkmal kann eine Position und zusätzlich oder alternativ eine Trajektorie der Wärmespur extrahiert werden. Eine Position kann beispielsweise eine Position innerhalb des Wärmebildes oder eine Relativposition zu der Wärmebildkameraeinrichtung sein. Ebenso kann die Position relativ zu einer Umgebung extrahiert werden. Beispielsweise weisen Fußspuren beziehungsweise Fußabdrücke eine erwartbare Abfolge von rechten Fußabdrücken und linken Fußabdrücken auf. Die rechten Fußabdrücke können rechts der Trajektorie angeordnet sein, die linken Fußabdrücke können links der Trajektorie angeordnet sein, sodass die Trajektorie als eine Mittellinie zwischen den Fußabdrücken bestimmt werden kann. As the at least one feature, a position and additionally or alternatively a trajectory of the heat trace can be extracted. A position may be, for example, a position within the thermal image or a relative position to the thermal imager device. Likewise, the position can be extracted relative to an environment. For example, footprints or footprints have an expected sequence of right footprints and left footprints. The right footprints may be located to the right of the trajectory, the left footprints may be located to the left of the trajectory so that the trajectory may be determined as a centerline between the footprints.

Als das zumindest eine Merkmal kann eine Temperatur und zusätzlich oder alternativ ein Erwärmungszeitpunkt der Wärmespur extrahiert werden. Die Temperatur der Wärmespur kann bei einem Wärme abgebenden Objekt über einer Umgebungstemperatur liegen. Bei einem Wärme aufnehmenden Objekt ist es umgekehrt. Wenn eine Ausgangstemperatur beispielsweise aus vorhergehender Beobachtung bekannt ist, kann über den Temperaturkoeffizienten auf den Erwärmungszeitpunkt beziehungsweise das Alter der Wärmespur geschlossen werden. As the at least one feature, a temperature and, additionally or alternatively, a heating time of the heat trace may be extracted. The temperature of the heat track can be above an ambient temperature for a heat-emitting object. In a heat-absorbing object, it is the other way round. If a starting temperature is known, for example, from previous observation, it is possible to conclude the heating time or the age of the heat track via the temperature coefficient.

Im Schritt des Assoziierens kann die Wärmespur und/oder das zumindest eine Merkmal der Wärmespur mit einer Objekthypothese als die Objektvermutung assoziiert werden. Dabei kann das Verfahren ferner einen Schritt des Prädizierens der Objekthypothese umfassen. Beispielsweise kann das Prädizieren unter Verwendung des zumindest einen Merkmals erfolgen.In the association step, the heat trace and / or the at least one feature of the heat trace may be associated with an object hypothesis as the object guess. The method may further include a step of predicating the object hypothesis. For example, prediction may be done using the at least one feature.

Im Schritt des Assoziierens kann die Wärmespur und/oder das Merkmal wenn möglich mit einer Objekthypothese als die Objektvermutung assoziiert werden. Ist dies nicht möglich, so kann die Wärmespur und/oder das Merkmal mit dem einer neuen Objekthypothese als die Objektvermutung assoziiert werden. Durch den hier vorgestellten Ansatz kann die prädizierte Objekthypothese abgesichert werden. Insbesondere nach einer kurzzeitigen Absenz aus dem Erfassungsbereich kann basierend auf vorhergehenden Objekteigenschaften eine erwartete Position für das Objekt vorhergesagt werden und der prädizierten Objekthypothese zugeordnet werden. Somit kann die prädizierte Objekthypothese eine Objektvermutung darstellen, für die bereits eine Vorhersage, beispielsweise bezüglich ihrer Position, getroffen wurde.In the associating step, the heat trace and / or feature may be associated with an object hypothesis as the object guess, if possible. If this is not possible, then the heat trace and / or feature may be associated with a new object hypothesis as the object guess. The predicted object hypothesis can be secured by the approach presented here. In particular, after a brief absence from the detection area, an expected position for the object can be predicted based on previous object properties and assigned to the predicted object hypothesis. Thus, the predicated object hypothesis can represent an object presumption for which a prediction has already been made, for example with respect to its position.

In dem Wärmebild und/oder einem weiteren Bild kann ferner ein Objekt detektiert werden. Das weitere Bild kann ein weiteres Wärmebild der Wärmebildkamera sein, durch die das Wärmebild erfasst wurde, oder ein Wärmebild einer weiteren Wärmebildkamera sein. Alternativ kann das weitere Bild ein Bild einer sichtbares Licht erfassenden Kamera darstellen oder unter Verwendung anderer Sensoren (Laser, Ultraschall, ...), die keine Bilder, sondern andere Repräsentationen der Umgebung liefern, generiert worden sein. Somit kann unter einem Bild allgemein ausgedrückt, auch eine Repräsentation der Umgebung verstanden werden. Beim Assoziieren kann überprüft werden, ob das detektierte Objekt zu der detektierten Wärmespur und zusätzlich oder alternativ zu dem Merkmal der Wärmespur passt. Beispielsweise kann das Objekt als die Objektvermutung mit der Wärmespur assoziiert werden, wenn die Wärmespur zu dem Objekt führt. Wenn das detektierte Objekt zu der Wärmespur passt, kann die Wärmespur dem Objekt zugeordnet werden und das weitere Verfolgen des Objekts erleichtern.Furthermore, an object can be detected in the thermal image and / or a further image. The further image can be another thermal image of the thermal imaging camera, through which the thermal image was captured, or be a thermal image of another thermal imaging camera. Alternatively, the further image may be an image of a visible light-sensing camera or generated using other sensors (laser, ultrasound,...) That provide no images but other representations of the environment. Thus, generally speaking, an image can also be understood as a representation of the environment. When associating, it may be checked whether the detected object matches the detected heat trace and additionally or alternatively to the feature of the heat trace. For example, the object may be associated with the heat trace as the object guess when the heat trace leads to the object. If the detected object matches the heat track, the heat track can be associated with the object and facilitate further tracking of the object.

Das Verfahren kann einen Schritt des Bestimmens eines Zustands eines der Objektvermutung zuordenbaren Objekts. Beispielsweise kann der Zustand unter Verwendung des Merkmals bestimmt werden, um einen geschätzten Zustand zu erhalten. Dabei kann das Merkmal der Wärmespur verwendet werden, um eine Objekthypothese zu verbessern. Der geschätzte Zustand kann beispielsweise zur Generierung eines Steuerbefehls für ein autonomes System verwendet werden.The method may include a step of determining a state of an object attributable to the object presumption. For example, the State can be determined using the feature to obtain an estimated state. In this case, the feature of the heat track can be used to improve an object hypothesis. The estimated state can be used, for example, to generate a control command for an autonomous system.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein. This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. The approach presented here also creates a device that is designed to perform the steps of a variant of a method presented here in appropriate facilities to drive or implement. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.

Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann. For this purpose, the device may comprise at least one computing unit for processing signals or data, at least one memory unit for storing signals or data, at least one interface to a sensor or an actuator for reading sensor signals from the sensor or for outputting data or control signals to the sensor Actuator and / or at least one communication interface for reading or outputting data embedded in a communication protocol. The arithmetic unit may be, for example, a signal processor, a microcontroller or the like, wherein the memory unit may be a flash memory, an EPROM or a magnetic memory unit. The communication interface can be designed to read or output data wirelessly and / or by line, wherein a communication interface that can read or output line-bound data, for example, electrically or optically read this data from a corresponding data transmission line or output to a corresponding data transmission line.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. In the case of a hardware-based embodiment, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.

Ein autonomes System, beispielsweise ein Roboter, kann eine Wärmebildkameraeinrichtung zum Erfassen eines Wärmebilds und eine genannte Vorrichtung zum Auswerten des Wärmebilds umfassen. Ein von der Vorrichtung bereitgestelltes Auswertergebnis kann von einer Steuereinrichtung des autonomen Systems genutzt werden, um das autonome System so zu steuern, dass das Objekt, beispielsweise eine Person, verfolgt wird. Dazu kann das autonome System einen geeigneten Antrieb aufweisen. Vorteilhafterweise kann ein Objekt unter Verwendung seiner in einem oder mehreren Wärmebildern erfassten Wärmespur verfolgt werden, auch wenn das Objekt kurzzeitig aus dem Sichtbereich des autonomen Systems verschwindet.An autonomous system, for example a robot, may comprise a thermal imaging camera device for detecting a thermal image and a device for evaluating the thermal image. An evaluation result provided by the device can be used by a control device of the autonomous system in order to control the autonomous system in such a way that the object, for example a person, is tracked. For this purpose, the autonomous system may have a suitable drive. Advantageously, an object may be tracked using its thermal track detected in one or more thermal images, even if the object briefly disappears from the field of view of the autonomous system.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.Also of advantage is a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the embodiments described above is used, especially when the program product or program is executed on a computer or a device.

Ausführungsbeispiele einer Variante des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:Embodiments of a variant of the approach presented here are shown in the drawings and explained in more detail in the following description. It shows:

1 eine Darstellung eines autonomen Systems während eines Verfolgens einer Person; 1 a representation of an autonomous system while following a person;

2 eine Darstellung eines autonomen Systems nach einem kurzzeitig unterbrochenen Sichtkontakt zu einer Person; 2 a representation of an autonomous system after a momentarily interrupted visual contact with a person;

3 eine Darstellung eines autonomen Systems beim Zuordnen einer zu verfolgenden Person unter Verwendung von Wärmespuren gemäß einem Ausführungsbeispiel; 3 a representation of an autonomous system in associating a person to be tracked using heat traces according to an embodiment;

4 ein Blockschaltbild einer Vorrichtung zum Schätzen des Zustands von Objekten, der dann zur Verfolgung verwendet werden kann, gemäß einem Ausführungsbeispiel; 4 a block diagram of an apparatus for estimating the state of objects, which can then be used for tracking, according to an embodiment;

5 ein Blockschaltbild einer Vorrichtung zum Auswerten eines Wärmebilds einer Wärmebildkameraeinrichtung gemäß einem Ausführungsbeispiel; und 5 a block diagram of an apparatus for evaluating a thermal image of a thermal imaging camera device according to an embodiment; and

6 ein Ablaufdiagramm eines Verfahrens zum Auswerten eines Wärmebilds einer Wärmebildkameraeinrichtung gemäß einem Ausführungsbeispiel. 6 a flowchart of a method for evaluating a thermal image of a thermal imaging camera device according to an embodiment.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similar acting, wherein a repeated description of these elements is omitted.

1 zeigt eine Darstellung eines autonomen Systems 100 während eines Verfolgens einer Person 102. Das autonome System 100 ist hier ein selbst fahrender Roboter 100. Der Roboter 100 weist als Sensor zumindest eine Wärmebildkamera auf. Unter Verwendung eines von der Wärmebildkamera aufgenommenen Wärmebilds wird die Person 102 verfolgt. Dabei stellt 104 die Objekthypothese samt Unsicherheit der Person 102 dar.. Mit anderen Worten folgt der Roboter 100 der Zielperson 102. 1 shows a representation of an autonomous system 100 while following a person 102 , The autonomous system 100 Here is a self-propelled robot 100 , The robot 100 has at least one thermal imaging camera as a sensor. Using a thermal image taken by the thermal imager, the person becomes 102 tracked. It puts 104 the object hypothesis including uncertainty of the person 102 In other words, the robot follows 100 the target person 102 ,

Der Roboter 100 und die Person 102 bewegen sich entlang eines Gangs innerhalb eines Gebäudes. Der Roboter 100 folgt dabei der Person mit einem gewissen Abstand. Der Gang mündet an einer Ecke 106 in einen Quergang. Die Person 102 geht nach rechts um die Ecke 106 in den Quergang. Die Ecke 106 verdeckt nun die Person 102 für die Sensoren des Roboters 100. Der Ort, an dem die Person 102 zuletzt durch die Sensoren erfasst wurde, ist die letzte sicher erkannte Position der Person 102. The robot 100 and the person 102 move along a corridor within a building. The robot 100 Follow the person with a certain distance. The passage leads to a corner 106 in a crosswalk. The person 102 go right around the corner 106 in the crosswalk. The corner 106 now obscures the person 102 for the sensors of the robot 100 , The place where the person 102 last detected by the sensors is the last safely detected position of the person 102 ,

2 zeigt eine Darstellung des aus 1 bekannten Roboters 100 nach einem kurzzeitig unterbrochenen Sichtkontakt zu der Person 102. Die dargestellte Situation folgt zeitlich der in 1 dargestellten Situation. Der Roboter 100 ist entlang des Gangs bis zu der Ecke 106 gefahren. Der Quergang befindet sich nun in einem Erfassungsbereich der Sensoren des Roboters 100. Die Sensoren erfassen jetzt zwei Personen 102, 200 in dem Quergang. Beide Personen 102, 200 bewegen sich entlang des Quergangs und entfernen sich dabei von dem Roboter 100. Der Roboter kann die Personen 102, 200 nicht unterscheiden und somit die Zielperson 102 nach einer temporären Verdeckung nicht mehr eindeutig bestimmen.. 104 und 202 in 2 stellen somit Objekthypothesen mit Unsicherheiten dar. Aufgrund der temporären Verdeckung ist die zu verfolgende Person nicht mehr eindeutig identifizierbar. 2 shows a representation of the 1 known robot 100 after a brief interruption of visual contact with the person 102 , The situation shown follows in time 1 illustrated situation. The robot 100 is along the corridor to the corner 106 hazards. The traverse gear is now in a detection range of the sensors of the robot 100 , The sensors now detect two persons 102 . 200 in the crosswalk. Both persons 102 . 200 They move along the crossbar, away from the robot 100 , The robot can be the persons 102 . 200 not distinguish and thus the target person 102 no longer clearly determine after a temporary occlusion .. 104 and 202 in 2 thus represent object hypotheses with uncertainties. Due to the temporary occlusion the person to be traced is no longer clearly identifiable.

Die Assoziation von Objektdetektionen zu den vorhandenen Objekthypothesen im Filter, also den zeitlich propagierten Zustandsschätzungen ist komplex. Insbesondere bei Verdeckungen oder temporärer Unsichtbarkeit von Objekten, wie der Person 102, für alle Sensoren des Roboters 100, ist aufgrund der Ungenauigkeit der Bewegungsvorhersage eine eindeutige Zuordnung oftmals nicht mehr gegeben. Werden wie in 3 zusätzlich die Spuren der Wärmebildkamera des Roboters 100 als Messungen im Filter berücksichtigt, resultieren zuverlässigere Objekthypothesen. Infolgedessen lassen sich die neuen Detektionen wieder zuordnen und die Personenhypothesen aktualisieren, sodass die ursprünglich zu verfolgende Person wieder identifiziert werden kann.The association of object detections to the existing object hypotheses in the filter, ie the temporally propagated state estimates, is complex. Especially with occlusions or temporary invisibility of objects, such as the person 102 , for all sensors of the robot 100 , due to the inaccuracy of the motion prediction, a clear assignment is often no longer given. Be like in 3 in addition, the traces of the thermal imaging camera of the robot 100 taken into account as measurements in the filter, results in more reliable object hypotheses. As a result, the new detections can be reassigned and the person hypotheses updated so that the original person to be tracked can be identified again.

3 zeigt eine Darstellung eines autonomen Systems 100, hier beispielhaft des aus den 1 und 2 bekannten Roboters 100, beim Zuordnen einer zu verfolgenden Person 102 unter Verwendung von Wärmespuren 300, 302 gemäß einem Ausführungsbeispiel. Die dargestellte Situation entspricht der Situation in 2. Die Wärmebildkamera des Roboters 100 erfasst neben den Wärmesignaturen der Personen 102, 200 auch Wärmespuren 300, 302. Die Wärmespuren 300, 302 sind hier vereinfacht als Fußabdrücke 300, 302 auf dem Boden des Gangs und Quergangs dargestellt. Jeder einzelne Fußabdruck der Wärmespuren 300, 302 resultiert aus einer Erwärmung des Bodens im Bereich einer Aufstandsfläche eines Fußes einer Personen 102, 200 während des Gehens. Um die gesuchte Person 102 identifizieren zu können, wird ein Tracking von Objekten, hier der Personen 102, 200 unter Verwendung ihrer Wärmespuren 300, 302 ausgeführt. Hier wird beispielsweise das Personentracking unter Einbeziehung von Wärmespuren 300, 302 in Form von Fußspuren durchgeführt. 3 shows a representation of an autonomous system 100 , here by way of example from the 1 and 2 known robot 100 when assigning a person to be followed 102 using heat trails 300 . 302 according to an embodiment. The situation shown corresponds to the situation in 2 , The thermal imaging camera of the robot 100 recorded next to the heat signatures of the persons 102 . 200 also heat traces 300 . 302 , The heat traces 300 . 302 are simplified here as footprints 300 . 302 shown on the floor of the aisle and crosswalk. Every single footprint of the heat traces 300 . 302 results from a warming of the soil in the area of a footprint of a foot of a person 102 . 200 while walking. To the wanted person 102 Being able to identify is a tracking of objects, here the persons 102 . 200 using their heat trails 300 . 302 executed. Here, for example, the person tracking with the inclusion of heat traces 300 . 302 performed in the form of footprints.

Die Fußabdrücke der Wärmespuren 300, 302 bilden eine Bewegungstrajektorie der Personen 102, 200 in zeitlich zurückliegenden Momenten ab. Die Bewegungstrajektorie der zu verfolgenden Person 102 verläuft bei einer vereinfachten Variante ohne Tracking-Filter durch die in 1 genannte letzte bekannte Position 304 der Person 102 bis zu einer aktuellen Position 306 der Person 102. Durch ein Zuordnen der Wärmespur 300 zu der Person 102 erkennt der Roboter 100 die Person 102 nach der kurzzeitigen Verdeckung durch die Ecke 106. Die Trajektorie der Wärmespur 300 kann als ein Merkmal der Wärmespur 300 aufgefasst werden, das eine Assoziierung der Wärmespur 300 mit der Person 102 ermöglicht.The footprints of the heat traces 300 . 302 form a movement trajectory of the persons 102 . 200 in temporal moments from. The movement trajectory of the person to be followed 102 runs in a simplified variant without tracking filter by the in 1 called last known position 304 the person 102 up to a current position 306 the person 102 , By assigning the heat track 300 to the person 102 recognizes the robot 100 the person 102 after the brief covering by the corner 106 , The trajectory of the heat track 300 can as a feature of the heat track 300 be understood that an association of the heat track 300 with the person 102 allows.

Die Wärmespur 302 der anderen Person 200 kreuzen die Wärmespur 300 der zu verfolgenden Person 102 zwischen der letzten bekannten Position 304 und der aktuellen Position 306. Unter der Annahme eines normalen Bewegungsablaufs der Personen 102, 200 ist ein plötzlicher Richtungswechsel beider Personen 102, 200 an einem Kreuzungspunkt der Bewegungstrajektorien unwahrscheinlich. Somit kann ein Verlauf der Trajektorie der Wärmespur 300 ebenfalls als ein Merkmal der Wärmespur 300 aufgefasst werden, das eine Assoziierung der Wärmespur 300 mit der Person 102 ermöglicht.The heat track 302 the other person 200 cross the heat track 300 the person to be followed 102 between the last known position 304 and the current position 306 , Assuming a normal movement of persons 102 . 200 is a sudden change of direction of both persons 102 . 200 unlikely at a crossing point of the movement trajectories. Thus, a course of the trajectory of the heat track 300 also as a feature of the heat track 300 be understood that an association of the heat track 300 with the person 102 allows.

Die Wärmespuren 300, 302 werden mit zunehmendem zeitlichen Abstand von ihrem Entstehungszeitpunkt schwächer. Über eine Intensität der Wärmespuren 300, 302 beziehungsweise einen Gradienten der Intensität kann auf den Entstehungszeitpunkt geschlossen werden. Da ein Zeitpunkt der letzten bekannten Position 304 bekannt ist, kann ein Alter der Wärmespuren 300, 302 zum Identifizieren der zu verfolgenden Person 102 verwendet werden. Hier ist die andere Person 200 zeitlich vor der Person 102 in den Quergang eingetreten. Die Wärmespur 302 ist also kälter beziehungsweise älter, als die Wärmespur 300. Die Temperatur oder ein Temperaturverlauf der Wärmespur 300 kann als ein Merkmal der Wärmespur 300 aufgefasst werden, das eine Assoziierung der Wärmespur 300 mit der Person 102 ermöglicht. Gegebenenfalls können kompliziertere Methoden zur Nutzung der Zeit verwendet werden.The heat traces 300 . 302 become weaker with increasing time interval from their time of origin. About an intensity of the heat traces 300 . 302 or a gradient of intensity can be concluded at the time of origin. Since a time of the last known position 304 is known, may be an age of heat trails 300 . 302 to identify the person to be followed 102 be used. Here is the other person 200 temporally in front of the person 102 entered the crosswalk. The heat track 302 is therefore colder or older than the heat track 300 , The temperature or a temperature profile of the heat track 300 can as a feature of the heat track 300 be understood that an association of the heat track 300 with the person 102 allows. If necessary, more complicated methods of using the time can be used.

Die Wärmespuren 300, 302 können aufgrund unterschiedlicher Schuhe, unterschiedlicher Gehweisen und/oder Schuhgrößen unterschiedlich geformt sein und damit unterschieden werden. Somit kann eine Form der Wärmespur 300 ebenfalls als ein Merkmal der Wärmespur 300 aufgefasst werden, das eine Assoziierung der Wärmespur 300 mit der Person 102 ermöglicht.The heat traces 300 . 302 can be shaped differently due to different shoes, different ways of walking and / or shoe sizes and thus be distinguished. Thus, a shape of the heat track 300 also as a feature of the heat track 300 be understood that an association of the heat track 300 with the person 102 allows.

Mit anderen Worten ist unter Verwendung der Wärmespuren 300, 302 in Form von thermischen Fußspuren eine eindeutige Zuordnung der gesuchten Person 102 wieder möglich. In other words, using the heat trails 300 . 302 in the form of thermal footprints a clear assignment of the sought person 102 again possible.

Um das Wiedererkennen der Person 102 zu erleichtern, kann der Roboter 100 ausgebildet sein, um die Wärmespur 300 der Person 102 in einem vorangegangenen Wärmebild, in dem die Person 102 nicht abgebildet wird, also beispielsweise in einem vorangegangenen Wärmebild, das erfasst wurde, bevor der Roboter 100 die Ecke 106 erreicht hat, mit einer Objektvermutung, hier einer hypothetischen Person, zu assoziieren. Wenn, wie es in 3 gezeigt ist, in einem dann nachfolgenden Wärmebild eine Person 102 abgebildet wird, kann der Roboter 100 ausgebildet sein, um zu überprüfen, ob die Wärmespur 300 mit der Person 102 assoziiert werden kann, beispielsweise unter Verwendung bereits genannter Merkmale der Wärmespur 300. Wenn eine solche Assoziation möglich ist, kann die zuvor verwendete hypothetische Person durch das in dem Wärmebild erkennbare Abbild der Person 102 ersetzt oder die assoziierten Wärmespuren bzw. Merkmale zur Verbesserung der Objekthypothese verwendet werden.To recognize the person 102 To facilitate, the robot can 100 be trained to the heat track 300 the person 102 in a previous thermal image in which the person 102 is not mapped, so for example in a previous thermal image, which was detected before the robot 100 the corner 106 has managed to associate with an object presumption, here a hypothetical person. If, as it is in 3 is shown in a subsequent thermal image, a person 102 is pictured, the robot can 100 be trained to check if the heat track 300 with the person 102 can be associated, for example, using already mentioned features of the heat track 300 , If such an association is possible, the previously used hypothetical person can be identified by the image of the person recognizable in the thermal image 102 replaced or the associated heat traces or features are used to improve the object hypothesis.

Wenn die in einem Wärmebild erkannte Wärmespur 300 einer Person 102 zugeordnet worden ist, so kann der Roboter 100 ausgebildet sein, um eine Vorhersage über eine zukünftige Position der Person 102 zu treffen und einer Objekthypothese zuzuordnen. Wenn in einem nachfolgenden Wärmebild wieder eine Wärmespur 300 erkannt wird, so kann überprüft werden, ob die Wärmespur 300 mit der Objekthypothese assoziiert werden kann. Wenn dies nicht der Fall ist, kann die Wärmespur 300 einer weiteren oder neuen Objekthypothese zugeordnet werden.When the heat track detected in a thermal image 300 one person 102 has been assigned, so the robot 100 Be prepared to make a prediction about a future position of the person 102 to meet and associate with an object hypothesis. If in a subsequent thermal image again a heat trace 300 is detected, it can be checked if the heat trace 300 can be associated with the object hypothesis. If this is not the case, the heat track can 300 be assigned to a further or new object hypothesis.

Im menschlichen Umfeld werden immer mehr autonome und teilautonome Systeme 100, beispielsweise Fahrzeuge, Roboter oder Sicherheitssysteme verwendet. Eine zentrale Voraussetzung solcher Systeme 100 ist eine zuverlässige Zustandsschätzung, wie Position 306, Geschwindigkeit oder Identität aller Objekte 102, 200, insbesondere der Personen 102, 200 im Umfeld des Systems 100. Objekte 102, 200, wie Personen 102, 200, Fahrzeuge, oder Tiere können in den Daten von Sensoren, wie beispielsweise Kameras, Laserscanner oder Radar anhand von Detektionsalgorithmen detektiert werden. Diese Detektionen werden in einem Trackingalgorithmus unter Verwendung eines Messmodells und Systemmodells zeitlich gefiltert, um basierend auf diesen robuste und genaue Zustandsschätzungen der Objekte 102, 200 zu erhalten. In the human environment, more and more autonomous and teilautonome systems 100 used for example vehicles, robots or security systems. A central requirement of such systems 100 is a reliable state estimation, like position 306 , Speed or identity of all objects 102 . 200 , especially the persons 102 . 200 in the environment of the system 100 , objects 102 . 200 like people 102 . 200 , Vehicles, or animals may be detected in the data from sensors such as cameras, laser scanners or radars using detection algorithms. These detections are time filtered in a tracking algorithm using a measurement model and system model based on these robust and accurate state estimates of the objects 102 . 200 to obtain.

Hier wird ein Verfahren zum Objekttracking unter Verwendung beziehungsweise Mitverwendung von Wärmespuren 300, 302, insbesondere zur Verbesserung des Personentrackings, durch die Einbeziehung von Fußspuren 300, 302 in Bildern einer oder mehrerer Wärmebildkameras vorgestellt. Diese Spuren 300, 302 geben im Gegensatz zu den Daten anderer Sensoren Aufschluss über Objektzustände 304 zu vergangenen Zeitpunkten und erlauben dadurch Rückschlüsse auf den zurückgelegten Pfad. Here is a method for object tracking using or concomitant use of heat traces 300 . 302 , in particular for improving the tracking of persons, through the inclusion of footprints 300 . 302 presented in pictures of one or more thermal imaging cameras. These tracks 300 . 302 In contrast to the data of other sensors provide information about object states 304 at past times and thereby allow conclusions about the path traveled.

Die Verwendung einer Pfadhistorie ermöglicht eine zuverlässigere und robustere Schätzung der Personenzustände.The use of a path history allows for a more reliable and robust estimation of the person states.

Unter Verwendung von Eigenschaften der Wärmespuren 300, 302, wie Position, Ausrichtung, geschätzter Zeitpunkt oder Identität lassen sich Trajektorien rekonstruieren. Mit diesen Trajektorien lassen sich neue Objektdetektionen 306 den ursprünglichen Objekthypothesen 304 des Filters wieder zuordnen. Diese Objektdetektionen 306 können dabei auch von anderen Sensoren stammen.Using properties of heat traces 300 . 302 such as position, orientation, estimated time or identity, trajectories can be reconstructed. These trajectories allow new object detections 306 the original object hypotheses 304 reassign the filter. These object detections 306 can also come from other sensors.

Unter Verwendung der Wärmespuren 300, 302, die Informationen über Objektzustände 304 vergangener Zeitpunkte enthalten, ist es möglich Objekte 102, 200 zu tracken, die sich nicht im Sichtbereich des Sensorsystems befinden. So ist es beispielsweise möglich, mit einem Roboter 100 einer Person 102 unauffällig zu folgen. Dabei erfolgt das Objekttracking ohne direkte Sichtbarkeit der Objekte 102.Using the heat traces 300 . 302 , the information about object states 304 It is possible to include objects of the past 102 . 200 to track, which are not in the field of view of the sensor system. For example, it is possible with a robot 100 one person 102 inconspicuous to follow. The object tracking takes place without direct visibility of the objects 102 ,

In Bildern von Wärmebildkameras können von einem Objekt 102 Wärmespuren 300 verschiedener Zeitschritte enthalten sein. Darüber hinaus können zeitlich aufeinanderfolgende Bilder einer Wärmebildkamera mehrfach dieselben Spuren 300 enthalten. Da die Messung einer Wärmespur 300 fehlerbehaftet ist, ermöglicht die mehrfache Messung derselben Spur 300, beispielsweise in Folgebildern, eine Verringerung des Einflusses der Messunsicherheit. Dabei erfolgt eine zuverlässige und robuste Schätzung der aktuellen 306 und zurückliegenden 304 Objektzustände. In images of thermal imaging cameras can of an object 102 heat tracks 300 be included in different time steps. In addition, temporally successive images of a thermal imaging camera can multiply the same tracks 300 contain. As the measurement of a heat track 300 erroneous allows the multiple measurement of the same track 300 For example, in subsequent pictures, a reduction in the influence of the measurement uncertainty. Thereby, a reliable and robust estimation of the current one takes place 306 and past 304 Object states.

Im Vergleich zu klassischen Trackingverfahren, die auf Daten von Wärmebildkameras basieren und nur Objektdetektionen im Filter verwenden, kann durch Mitverwendung der Wärmespuren 300, 302 als zusätzliche Informationsquelle eine Verbesserung der Filterergebnisse erzielt werden, da ein geringerer Informationsverlust eintritt.Compared to traditional tracking methods, which are based on data from thermal imaging cameras and only use object detections in the filter, it is possible to use heat tracing 300 . 302 As an additional source of information, an improvement of the filter results can be achieved, since less information loss occurs.

Hier werden die aus Wärmebildkameras gewonnenen Wärmespuren 300, 302 zum Objekttracking beziehungsweise der gewonnenen Fußspuren 300, 302 zur Verbesserung des Personentrackings autonomer oder teilautonomer Systeme 100 auch im menschlichen Umfeld genutzt. Hierdurch kann zum einen die Genauigkeit der Schätzungen verbessert und zum anderen die Robustheit in schwierigen Situationen, wie zum Beispiel bei temporären Personenverdeckungen beziehungsweise temporärer Sichtbarkeit, erhöht werden.Here are the heat traces obtained from thermal imaging cameras 300 . 302 for object tracking or the obtained footprints 300 . 302 to improve the personal tracking of autonomous or semi-autonomous systems 100 also used in the human environment. In this way, on the one hand, the accuracy of the estimates can be improved and, on the other hand, the robustness can be increased in difficult situations, such as, for example, temporary concealment or temporary visibility.

4 zeigt ein Blockschaltbild einer Vorrichtung 400 zum Auswerten eines oder mehrerer Wärmebilder 402 einer Wärmebildkameraeinrichtung 404 gemäß einem Ausführungsbeispiel. Die Vorrichtung ist beispielsweise in dem autonomen System beziehungsweise Roboter in den 1 bis 3 angeordnet. Die Vorrichtung 400 weist zumindest eine Wärmespurdetektionseinrichtung 406, zumindest eine Merkmalsextraktionseinrichtung 408 und eine Assoziationseinrichtung 410 auf. Die Wärmespurdetektionseinrichtung 406 ist dazu ausgebildet, in dem Wärmebild 402 zumindest eine Wärmespur 412 zu detektieren. Als Wärmespur 412 werden beispielsweise Bildbereiche eines Wärmebilds ausgewählt, die eine Temperaturdifferenz zu den umgebenden Bildbereichen aufweisen. Die Merkmalsextraktionseinrichtung 408 ist dazu ausgebildet, zumindest ein Merkmal 414 der detektierten Wärmespur 412 zu extrahieren. Beispielsweise werden Eigenschaften, wie Form, Größe, Wert der Temperaturdifferenz, Ausrichtung der einzelnen Wärmespur, Raumrichtung zwischen zwei benachbarten Wärmespuren oder Ähnlichkeit von Wärmespuren als Merkmal 414 extrahiert. Die Assoziationseinrichtung 410 ist dazu ausgebildet, die Wärmespur 412 und/oder das zumindest eine Merkmal 414 der Wärmespur 412 mit einer Assoziation 416 einer Objekthypothese zuzuordnen.. Dabei wird beispielsweise ein Vergleich zwischen erwarteten Merkmalen und den extrahierten Merkmalen 414 durchgeführt. Wenn keine Übereinstimmung gefunden wird, repräsentiert 416 die Assoziation zu einer neuen Objekthypothese. 4 shows a block diagram of a device 400 for evaluating one or more thermal images 402 a thermal imaging device 404 according to an embodiment. The device is for example in the autonomous system or robot in the 1 to 3 arranged. The device 400 has at least one heat track detection device 406 , at least one feature extraction device 408 and an association facility 410 on. The heat trace detection device 406 is designed to be in the thermal image 402 at least one heat track 412 to detect. As a heat track 412 For example, image areas of a thermal image having a temperature difference from the surrounding image areas are selected. The feature extraction device 408 is designed to be at least one feature 414 the detected heat track 412 to extract. For example, features such as shape, size, value of the temperature difference, orientation of the individual heat trace, space direction between two adjacent heat traces, or similarity of heat traces become a feature 414 extracted. The association facility 410 is designed to heat track 412 and / or the at least one feature 414 the heat track 412 with an association 416 An example is a comparison between expected features and the extracted features 414 carried out. If no match is found, represents 416 the association to a new object hypothesis.

In einem Ausführungsbeispiel weist die Vorrichtung 400 eine Objektdetektionseinrichtung 418 und eine Objektmerkmalsextraktionseinrichtung 420 auf. Die Objektdetektionseinrichtung 418 ist dazu ausgebildet, in dem Wärmebild 402 und/oder einem weiteren Signal 422 von zusätzlichen Sensoren 424 ein Objekt zu detektieren. Die Objektmerkmalsextraktionseinrichtung 420 ist analog zu der Merkmalsextraktionseinrichtung 408 dazu ausgebildet, zumindest ein Merkmal 428 der Objektdetektion 426 zu extrahieren. Die Objektdetektion 426 und das zumindest eine Merkmal 428 werden an die Assoziationseinrichtung 410 gesandt, wo die Objektdetektion 426 sowie das Merkmal 428 einer Objekthypothese 436 zugeordnet werden bzw. eine Zuordnung zu einer neuen Objekthypothese vermerkt wird.In one embodiment, the device 400 an object detection device 418 and an object feature extractor 420 on. The object detection device 418 is designed to be in the thermal image 402 and / or another signal 422 of additional sensors 424 to detect an object. The object feature extractor 420 is analogous to the feature extractor 408 designed to at least one feature 428 the object detection 426 to extract. The object detection 426 and that at least one feature 428 be sent to the association facility 410 sent, where the object detection 426 as well as the feature 428 an object hypothesis 436 be assigned or an assignment to a new object hypothesis is noted.

In einem Ausführungsbeispiel werden die Assoziationen 416 und zusätzlich die Objektdetektionen 426 und/oder die Wärmespur 412 und/oder die zugehörigen Merkmale 414, 428 an eine Verfolgungseinrichtung 430 der Vorrichtung 400 gesandt. Die Verfolgungseinrichtung 430 ist dazu ausgebildet, die Objekthypothesen 436 mit Hilfe der Assoziationen 416 und/oder der Objektdetektionen 426 sowie er Wärmespuren 412 unter Verwendung der Merkmale 414, 428 zu konkretisieren. Aus den Objekthypothesen kann ein geschätzter Zustand 432 abgeleitet werden. Die Verfolgungseinrichtung 430 ist darüber hinaus dazu ausgebildet, unter Verwendung eines Modells das zeitliche Fortschreiten der Objekthypothesen abzubilden. In one embodiment, the associations become 416 and additionally the object detections 426 and / or the heat track 412 and / or the associated features 414 . 428 to a tracking device 430 the device 400 sent. The tracking device 430 is designed to the object hypotheses 436 with the help of the associations 416 and / or the object detections 426 as well as he heat traces 412 using the features 414 . 428 to concretize. From the object hypotheses can be an estimated state 432 be derived. The tracking device 430 is also designed to map the temporal progression of the object hypotheses using a model.

Gemäß unterschiedlicher Ausführungsbeispiele handelt es sich bei den in 4 gezeigten Einrichtungen 406, 408, 418, 420 jeweils um eine oder mehrere Einrichtungen.According to different embodiments, the in 4 shown facilities 406 . 408 . 418 . 420 each one or more facilities.

Das in 4 gezeigte Bezugszeichen 412 repräsentiert gemäß einem Ausführungsbeispiel eine oder mehrere detektierte Wärmespuren.This in 4 shown reference number 412 represents one or more detected heat traces according to one embodiment.

Das in 4 gezeigte Bezugszeichen 426 repräsentiert gemäß einem Ausführungsbeispiel ein oder mehrere Objektdetektionen. Dabei muss es sich um kein reales Objekt handeln.This in 4 shown reference number 426 represents one or more object detections according to one embodiment. It does not have to be a real object.

Das in 4 gezeigte Bezugszeichen 416 repräsentiert gemäß einem Ausführungsbeispiel eine Assoziation der Messungen/Detektionen/Merkmale mit den Objekthypothesen 436.This in 4 shown reference number 416 according to one embodiment, represents an association of the measurements / detections / features with the object hypotheses 436 ,

Das in 4 gezeigte Bezugszeichen 436 repräsentiert gemäß einem Ausführungsbeispiel eine oder mehrere Objekthypothesen. This in 4 shown reference number 436 represents one or more object hypotheses according to one embodiment.

Aufgrund von Messunsicherheiten handelt es sich bei dem in 4 durch das Bezugszeichen 432 dargestellten Zustand im Regelfall immer um Objektschätzungen 432.Due to measurement uncertainties, the in 4 by the reference numeral 432 As a rule, the state shown always involves object estimates 432 ,

Nachfolgend werden zwei Ansätze zur Verbesserung des Objekttrackings unter Einbeziehung von aus Wärmebildkameras 404 gewonnenen Wärmespuren 412 beschrieben. Dabei wird ein Objekttrackingverfahren verwendet. Das Verfahren basiert auf Sensordaten 402 mindestens einer Wärmebildkamera 404 und gegebenenfalls weiteren Sensoren 424. Der Wärmespurdetektor 406 ermittelt unter Verwendung von Detektionsverfahren Wärmespuren 412 in Wärmebildern. Der Merkmalsextraktor 408 bestimmt Eigenschaften 414 der detektierten Wärmespuren 412, wie zum Beispiel deren Position, Orientierung, Identität, Temperatur oder Erwärmungszeitpunkt. Bei der Datenassoziation 410 werden die mit Eigenschaften 414 versehenen Wärmespuren 412 den Objekthypothesen 436 des Trackers 430 zugeordnet. Wärmespuren 412, die keiner Hypothese 436 zugeordnet werden können, führen zu einer neuen Objekthypothese. Die Datenassoziation 410 kann auch implizit im Objekttracker 430 erfolgen, wie zum Beispiel beim PHD-Filter. Im Objekttracker 430 werden die assoziierten mit Eigenschaften 414 angereicherten Detektionen unter Verwendung von Messmodellen zur Aktualisierung der Objekthypothesen 436 verwendet. Anhand von Systemmodellen, welche die Dynamik der Objektdetektionen 426 beschreiben, können die Objekthypothesen 436 prädiziert werden. Analog zu den Wärmespurdetektoren 406 ermitteln die Objektdetektoren 418 auf Basis derselben oder weiterer Sensoren 424 Objektdetektionen 426 in den Sensordaten 422 und reichern diese mit Merkmalen 428 an, die in der Assoziationseinrichtung assoziiert und im Tracker zur Konkretisierung der Objekthypothesen verwendet werden können.Below are two approaches to improving object tracking involving thermal imaging cameras 404 won traces of heat 412 described. An object tracking method is used. The method is based on sensor data 402 at least one thermal imaging camera 404 and optionally other sensors 424 , The heat trace detector 406 detects heat traces using detection methods 412 in thermal images. The feature extractor 408 determines characteristics 414 the detected heat traces 412 such as their position, orientation, identity, temperature or heating time. In the data association 410 be the ones with properties 414 provided heat traces 412 the object hypotheses 436 the tracker 430 assigned. heat tracks 412 who have no hypothesis 436 can be assigned lead to a new object hypothesis. The data association 410 can also be implicit in the object tracker 430 done, such as the PHD filter. In the object tracker 430 become the associated with properties 414 enriched detections using measurement models to update the object hypotheses 436 used. Based on system models, the dynamics of the object detections 426 describe the object hypotheses 436 be predicated. Analogous to the heat trace detectors 406 determine the object detectors 418 based on the same or other sensors 424 object detections 426 in the sensor data 422 and enrich them with features 428 which can be associated in the association device and used in the tracker to concretize the object hypotheses.

Wenn ein Objekt in klassischen Trackingverfahren für einen Zeitraum von keinem Sensor 404, 424 erfasst werden kann, nimmt die Unsicherheit dessen Objekthypothesen 436 zu. Wird das Objekt in einem späteren Zeitpunkt wieder erfasst, ist eine Zuordnung zu den ursprünglichen Objekthypothesen 436 häufig nicht mehr eindeutig möglich.If an object in classic tracking for a period of no sensor 404 . 424 can be detected, the uncertainty takes its object hypotheses 436 to. If the object is detected again at a later time, it is an assignment to the original object hypotheses 436 often no longer clearly possible.

In diesem Fall kann durch Verwendung der Wärmespuren 412 die Mehrdeutigkeit der Datenassoziation 410 aufgelöst werden. Unter Verwendung von mindestens einer Wärmebildkamera 404, sowie mindestens ein Wärmespurdetektor 406 und mindestens ein Merkmalsextraktor 408 lassen sich die Pfade der Objekte rekonstruieren. Diese Pfade können zur Kopplung der neuen Detektionen 416 mit den Objekthypothesen 436 verwendet werden.In this case, by using the heat traces 412 the ambiguity of the data association 410 be dissolved. Using at least one thermal imager 404 , as well as at least one heat trace detector 406 and at least one feature extractor 408 the paths of the objects can be reconstructed. These paths can be used to couple the new detections 416 with the object hypotheses 436 be used.

5 zeigt ein Blockschaltbild einer Vorrichtung 400 zum Verfolgen von Personen gemäß einem Ausführungsbeispiel. Die Vorrichtung 400 entspricht im Wesentlichen der in 4 dargestellten Vorrichtung. Hier ist die Vorrichtung 400 vereinfacht dargestellt. Die Vorrichtung 400 weist hier eine Personendetektionseinrichtung 500, eine Fußspurendetektionseinrichtung 502 und eine Personenverfolgungseinrichtung 504 auf. Dabei sind in der Personendetektionseinrichtung 500 die Objektdetektionseinrichtung und die Objektmerkmalsextraktionseinrichtung vereint, in der Fußspurendetektionseinrichtung 502 sind die Wärmespurdetektionseinrichtung und die Merkmalsextraktionseinrichtung vereint. In der Personenverfolgungseinrichtung 504 sind die Assoziationseinrichtung und die Verfolgungseinrichtung vereint. Am Ausgang der Personenverfolgungseinrichtung 504 werden wie in 4 Zustandsschätzungen 432 bereitgestellt. 5 shows a block diagram of a device 400 for tracking persons according to one embodiment. The device 400 is essentially the same as in 4 illustrated device. Here is the device 400 shown in simplified form. The device 400 here has a person detection device 500 , a footprint detection device 502 and a person tracking device 504 on. In this case, in the person detection device 500 the object detection means and the object feature extracting means combine in the footprint detecting means 502 the heat track detection device and the feature extraction device are united. In the person tracking device 504 the association device and the tracking device are united. At the exit of the person tracking device 504 be like in 4 state estimates 432 provided.

Auf der in 4 dargestellten Vorrichtung 400 kann ein Objekttrackingverfahren basierend auf der Wärmespur 412 aus mindestens einer Wärmebildkamera 404 und gegebenenfalls weiteren Sensoren 424 ausgeführt werden. Ebenso kann ein heuristisches Assoziationsverfahren verwendet werden das unter Mitverwendung von Wärmespuren 412 neue Objektdetektionen 426, die von beliebigen Sensoren 424 stammen können, den Objekthypothesen 436 zuweist.On the in 4 illustrated device 400 may be an object tracking method based on the heat trace 412 from at least one thermal imager 404 and optionally other sensors 424 be executed. Likewise, a heuristic association method can be used with the concomitant use of heat traces 412 new object detections 426 by any sensors 424 can originate, the object hypotheses 436 assigns.

Dabei wird ein System 400 bestehend aus mindestens einer Wärmebildkamera 404 und gegebenenfalls weiteren Sensoren 424 beschrieben. Basierend auf den Daten 402 der Wärmebildkamera 404 kann das System 400 die durch Reibung und Wärmeübertragung erzeugten Wärmespuren 412 der Objekte detektieren. Beispielsweise kann eine lokale Erwärmung der Kontaktflächen und/oder Bestrahlungsflächen, wie Auftrittsflächen detektiert werden. Diese Spuren 412 liefern detaillierte Informationen 414 über Objektzustände zu aktuellen und vergangenen Zeitpunkten. This is a system 400 consisting of at least one thermal imaging camera 404 and optionally other sensors 424 described. Based on the data 402 the thermal imager 404 can the system 400 the heat traces generated by friction and heat transfer 412 detect the objects. For example, local heating of the contact surfaces and / or irradiation surfaces, such as contact surfaces, can be detected. These tracks 412 provide detailed information 414 about object states at current and past times.

Dabei erfolgt die Assoziation von Personendetektionen 426 zu den vorhandenen Personenhypothesen 436, also den zeitlich propagierten Zustandsschätzungen des letzten Zeitpunkts. Insbesondere bei längeren Verdeckungen von Personen ist aufgrund der Ungenauigkeit der Bewegungsvorhersage der Personen eine eindeutige Zuordnung oftmals nicht mehr gegeben. Werden zusätzlich die Fußspuren 412 der Wärmebildkamera 404 hinzugezogen, so lassen sich die neuen Detektionen 426 wieder eindeutig zuordnen und die Personenhypothesen 436 aktualisieren. Die Zuverlässigkeit und Robustheit eines autonomen oder teilautonomen Systems kann somit erhöht werden.The association of personal detections takes place 426 to the existing person hypotheses 436 , ie the temporally propagated state estimates of the last time. In particular, with longer concealment of persons is due to the inaccuracy of the movement prediction of the persons an unambiguous assignment often no longer exists. Beyond the footprints 412 the thermal imager 404 consulted, so can the new detections 426 clearly assign again and the person hypotheses 436 To update. The reliability and robustness an autonomous or semi-autonomous system can thus be increased.

Personen können in den Daten 422 der Sensoren 424, wie beispielsweise Kameras oder Laserscanner detektiert werden. Basierend auf diesen können die Personenhypothesen 436 aktualisiert werden. Die Genauigkeit dieser Hypothesen kann durch zusätzliche Informationen 414 erhöht werden. Dabei können eine oder mehrere Wärmebildkameras verwendet werden, um zusätzliche Informationen 414 in Form von vergangenen Personenpositionen aus Fußspuren 412 in die Zustandsschätzung zu integrieren, wodurch die Genauigkeit der Schätzungen erhöht wird.People can in the data 422 the sensors 424 , such as cameras or laser scanners are detected. Based on these, the person hypotheses 436 to be updated. The accuracy of these hypotheses may be enhanced by additional information 414 increase. One or more thermal imaging cameras can be used for additional information 414 in the form of past person positions from footprints 412 into the state estimation, which increases the accuracy of the estimates.

6 zeigt ein Ablaufdiagramm eines Verfahrens 600 zum Auswerten eines Wärmebilds einer Wärmebildkameraeinrichtung gemäß einem Ausführungsbeispiel. Das Verfahren kann beispielsweise auf einem autonomen System, wie es in den 1 bis 3 dargestellt ist, ausgeführt werden. Das Verfahren 600 weist einen Schritt 602 des Detektierens, einen Schritt 604 des Extrahierens und einen Schritt 606 des Assoziierens auf. Im Schritt 602 des Detektierens wird eine Wärmespur in dem Wärmebild detektiert. Im Schritt 604 des Extrahierens wird zumindest ein Merkmal der Wärmespur extrahiert. Im Schritt 606 des Assoziierens wird die Wärmespur und/oder das Merkmal der Wärmespur mit einer Objektvermutung assoziiert. 6 shows a flowchart of a method 600 for evaluating a thermal image of a thermal imaging camera device according to an exemplary embodiment. The method can be used, for example, on an autonomous system as described in the 1 to 3 is shown executed. The procedure 600 has a step 602 of detecting, one step 604 of extracting and one step 606 associating. In step 602 of detecting, a heat trace is detected in the thermal image. In step 604 in extracting, at least one feature of the heat trace is extracted. In step 606 of associating, the heat trace and / or the feature of the heat trace is associated with an object guess.

Der hier vorgestellte Ansatz kann beispielsweise in der Robotik, im Automobilbereich und/oder der Sicherheitstechnik zum Tracking von Personen unter Mitverwendung beziehungsweise auf Basis ihrer Fußspuren, zum Tracking von Tieren, zum Tracking von anderen wärme abgebenden Objekten oder zum Tracking von durchgeführten Aktionen von Personen, Tieren und anderen Objekten verwendet werden. Beispielsweise kann die Erwärmung des Türgriffs beim Öffnen einer Tür oder die Erwärmung einer Sitzfläche ausgewertet werden. Im Automobilbereich und der Sicherheitstechnik kann der hier vorgestellte Ansatz zusätzlich zum Tracking von Fahrzeugen unter Mitverwendung beziehungsweise auf Basis ihrer Wärmespuren, also der Wärmeabgabe der Reifen an den Untergrund auf Basis von Reibung und Wärmeübertragung verwendet werden. In der Sicherheitstechnik kann der hier vorgestellte Ansatz zusätzlich zum Tracking von Objekten verwendet werden, die sich infolge von schwenkenden Wärmebildkameras nur temporär oder nie im Sichtbereich der Sensoren aufhalten.The approach presented here can be used, for example, in robotics, in the automotive sector and / or security technology to track persons using or tracking their footprints, to track animals, to track other heat-emitting objects or to track actions carried out by persons, Animals and other objects are used. For example, the heating of the door handle when opening a door or the heating of a seat can be evaluated. In the automotive sector and safety technology, the approach presented here can be used in addition to the tracking of vehicles with concomitant use or on the basis of their heat traces, ie the heat transfer of the tires to the ground based on friction and heat transfer. In safety engineering, the approach presented here can be used in addition to the tracking of objects that are only temporarily or never in the field of view of the sensors due to pivoting thermal imaging cameras.

Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 2012/0316680 A1 [0003]

Claims

Procedure ( 600 ) for evaluating a thermal image ( 402 ) a thermal imaging device ( 404 ), the process ( 600 ) comprises the following steps: detecting ( 602 ) at least one heat track ( 412 ) in the thermal image ( 402 ); Extract ( 604 ) at least one feature ( 414 ) the heat track ( 412 ); and associate ( 606 ) the heat track ( 412 ) and / or the feature ( 414 ) the heat track ( 412 ) with an object presumption.

Procedure ( 600 ) according to claim 1, wherein in step ( 604 ) of extracting as the at least one feature ( 414 ) a position and / or a trajectory of the heat track ( 412 ) is extracted.

Procedure ( 600 ) according to one of the preceding claims, wherein in step ( 604 ) of extracting as the at least one feature ( 414 ) a temperature and / or a heating time of the heat track ( 412 ) is extracted.

Procedure ( 600 ) according to any one of the preceding claims, wherein in the associating step ( 606 ) the heat track ( 412 ) and / or the at least one feature ( 414 ) the heat track ( 412 ) is associated with an object hypothesis as the object presumption.

Procedure ( 600 ) according to claim 4, comprising a step of predicating the object hypothesis.

Procedure ( 600 ) according to one of the preceding claims, wherein in step ( 606 ) of associating the heat trace ( 412 ) and / or the feature ( 414 ) if possible with an object hypothesis ( 436 ) is associated with the object guess, and is associated with a new object hypothesis as the object guess when the heat trace ( 412 ) and / or the feature ( 414 ) can not be associated with an object hypothesis.

Procedure ( 600 ) according to one of the preceding claims, wherein in step ( 602 ) of detecting in the thermal image ( 402 ) and / or another image ( 422 ) an object is detected and in step ( 406 ) of associating the heat trace ( 412 ) and / or the feature ( 414 ) the heat track ( 412 ) with the one in step ( 602 ) of the detected object ( 426 ) as the object presumption is associated.

Procedure ( 600 ) according to one of the preceding claims, with a step of determining a state ( 432 ) of an object presumption attributable object

Procedure ( 600 ) according to one of the preceding claims, comprising a step of acquiring the thermal image using the thermal imager device ( 404 ).

Contraption ( 400 ) arranged to execute steps of the method according to one of the preceding claims in corresponding units.

Autonomous system ( 100 ) comprising: a thermal imaging camera device ( 404 ) for acquiring a thermal image; and a device ( 400 ) according to claim 9 for evaluating the thermal image.

Computer program adapted to carry out the method according to one of the preceding claims.

A machine readable storage medium storing the computer program of claim 12.