DE102012221580B4

DE102012221580B4 - A method for locating living things from the air and flying object for locating living things from the air

Info

Publication number: DE102012221580B4
Application number: DE102012221580.8A
Authority: DE
Inventors: Martin ISRAEL
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2012-11-26
Filing date: 2012-11-26
Publication date: 2019-10-24
Anticipated expiration: 2032-11-27
Also published as: DE102012221580A1; AT513679B1; AT513679A3; CH707251B1; AT513679A2; CH707251A2

Abstract

Verfahren zum Auffinden von Lebewesen (110) aus der Luft, wobei von einem Untersuchungsbereich ein Infrarotthermalbild als ein erstes Bild aufgenommen wird, dadurch gekennzeichnet,
dass von dem Untersuchungsbereich ein zweites Bild im sichtbaren Wellenlängenbereich aufgenommen wird, wobei das zweite Bild bei der Aufnahme überbelichtet wird,
dass aus dem zweiten Bild Licht- und Schattenbereiche im Untersuchungsbereich ermittelt werden,
dass das zweite Bild mit dem ersten Bild verglichen wird, wobei in dem ersten Bild charakteristische Bereiche in den ermittelten Licht- und Schattenbereichen überprüft und als mögliche Lebewesen identifiziert werden.

Method for locating living beings (110) from the air, wherein an infrared thermal image is taken as a first image of an examination area, characterized
in that a second image in the visible wavelength range is recorded by the examination region, the second image being overexposed during recording,
that light and shadow areas in the examination area are determined from the second image,
that the second image is compared with the first image, wherein in the first image characteristic areas in the determined light and shadow areas are checked and identified as possible living beings.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Auffinden von Lebewesen aus der Luft nach dem Oberbegriff des Anspruchs 1 sowie ein Flugobjekt zum Auffinden von Lebewesen aus der Luft gemäß dem Oberbegriff von Anspruch 14.The present invention relates to a method for finding living things from the air according to the preamble of claim 1 and a flying object for finding living things from the air according to the preamble of claim 14.

Jedes Jahr sterben nach Schätzung ca. 500.000 Wildtiere bei der Grünlandmahd, die größtenteils zur Futtergewinnung für Milchkühe dient. Vor allem Rehkitze, die üblicherweise genau in der Mähperiode geboren werden, werden oft unbeabsichtigt Opfer und erleiden meist einen qualvollen Tod. Grund dafür ist das instinktive Verharren der Neugeborenen bei Gefahr bzw. das zu langsame Fliehen. Zusätzlich kann das bei der Silage des durch Kadaverteile kontaminierten Mähguts rasch ein geruchloses tödliches Gift namens Botulinumtoxin entstehen, das die damit gefütterten Tiere ebenfalls an einem qualvollen Tod sterben lässt.Every year, an estimated 500,000 wild animals die from grassland mowing, mostly for dairy cattle feed. Especially fawns, which are usually born exactly in the Mähperiode, are often unintentionally victims and usually suffer a painful death. The reason for this is the instinctive persistence of the newborn at risk or the too slow flight. In addition, the silage of cadaver-contaminated crops can quickly create an odorless deadly toxin called botulinum toxin, which also causes the animals they feed to die in agonizing death.

Es wurden daher Verfahren und Vorrichtungen entwickelt, die das Auffinden von Lebewesen, insbesondere Wildtieren, betreffen.Therefore, methods and devices have been developed that relate to finding living things, especially wildlife.

Die Anmelderin hat diesbezüglich mehrere Verfahren und Vorrichtungen ermittelt. Aus DE 10 2009 039 602 B3 ist beispielsweise ein Verfahren zur Suche und Erkennung von in landwirtschaftlichen Feldern und Wiesen versteckten Tieren bekannt, bei dem an einem landwirtschaftlichen Fahrzeug quer zur Fahrtrichtung eine Reihe von Infrarotstrahlungssensoren sowie Kameras angebracht sind. Die Infrarotsektoren dienen als sogenannte Vorfeldsensoren, wobei bei Auftreten eines charakteristischen Signals die Kamera an die Stelle des charakteristischen Signals verfährt und ein Bild aufnimmt.The Applicant has determined several methods and devices in this regard. Out DE 10 2009 039 602 B3 For example, a method for searching and detecting animals hidden in agricultural fields and meadows is known in which an array of infrared radiation sensors and cameras are mounted on an agricultural vehicle transverse to the direction of travel. The infrared sectors serve as so-called apron sensors, wherein when a characteristic signal occurs, the camera moves to the position of the characteristic signal and takes a picture.

Aus DE 10 2009 036 809 A1 ist ein Verfahren bekannt, bei dem zur Erkennung von in landwirtschaftlichen Feldern und Wiesen versteckten Tieren zwei unabhängige Suchphasen durchgeführt werden. In einer ersten Suchphase werden die Tiere mittels eines Detektionsverfahrens aufgefunden und mit einer signalabgebenden Markierung gekennzeichnet. In einer zweiten, zeitlich späteren Suchphase werden die gekennzeichneten Tiere mittels der Markierung aufgefunden und in Sicherheit gebracht. Für die erste Suchphase kann dabei beispielsweise ein Kleinfluggerät mit einer Infrarotkamera und einer Videokamera verwendet werden.Out DE 10 2009 036 809 A1 For example, a method is known in which two independent search phases are performed for the detection of animals hidden in agricultural fields and meadows. In a first search phase, the animals are found by means of a detection method and marked with a signal-emitting marker. In a second, later in the search phase, the marked animals are found by means of the marker and brought to safety. For example, a small aircraft with an infrared camera and a video camera can be used for the first search phase.

Aus DE 10 2011 012 752 B3 ist ein weiteres Verfahren zum Auffinden von Lebewesen aus der Luft bekannt, bei dem mittels eines Flugobjekts Infrarotstrahlung detektiert wird. DE 10 2010 054 074 A1 offenbart ein weiteres Verfahren, bei dem mittels eines Flugobjekts Bildinformationen aufgenommen werden. DE 10 2005 029 732 A1 beschreibt ein Verfahren, bei dem mittels ortsfester, in einer vorgegebenen Höhe angeordneter Sensoreinheiten Lebewesen detektiert werden.Out DE 10 2011 012 752 B3 is another method for finding living things known from the air, in which by means of a flying object infrared radiation is detected. DE 10 2010 054 074 A1 discloses another method in which image information is recorded by means of a flying object. DE 10 2005 029 732 A1 describes a method in which living beings are detected by means of stationary, arranged at a predetermined height sensor units.

Die bekannten Geräte funktionieren sehr gut am frühen Morgen, wenn sich der zu untersuchende Bereich, wie beispielsweise eine Wiese, noch nicht erwärmt hat. Auch in den späten Abendstunden bei bedecktem Himmel können zufriedenstellende Ergebnisse erreicht werden. Bei Sonnenschein haben die bekannten Systeme jedoch Defizite, und die Anzahl der Fehlalarme steigt bei Sonnenschein extrem stark an, insbesondere in Bereichen, die abgeschattet sind.The known devices work very well in the early morning, when the area to be examined, such as a meadow, has not yet warmed up. Satisfactory results can be achieved even in the late evening hours when the sky is overcast. In sunshine, however, the known systems have deficits and the number of false alarms increases extremely in sunshine, especially in areas that are shaded.

Es ist daher die Aufgabe der vorliegenden Erfindung, ein Verfahren zum Auffinden von Lebewesen aus der Luft, insbesondere von in landwirtschaftlichen Feldern und Wiesen versteckten Tieren, bereitzustellen, bei dem die Anzahl der Fehlalarme, insbesondere bei Sonnenschein, deutlich reduziert ist. Es ist ferner die Aufgabe der vorliegenden Erfindung, eine Vorrichtung bereitzustellen, die diese Zielsetzung ermöglicht.It is therefore the object of the present invention to provide a method for locating living things from the air, in particular of animals hidden in agricultural fields and meadows, in which the number of false alarms, especially in sunshine, is significantly reduced. It is a further object of the present invention to provide a device which enables this objective.

Die Erfindung ist definiert durch die Merkmale der Ansprüche 1 und 14.The invention is defined by the features of claims 1 and 14.

Das erfindungsgemäße Verfahren zum Auffinden von Lebewesen aus der Luft sieht vor, von einem Untersuchungsbereich ein Infrarotthermalbild als ein erstes Bild aufzunehmen. Das erfindungsgemäße Verfahren ist gekennzeichnet durch die Schritte des Aufnehmens eines zweiten Bildes von dem Untersuchungsbereich, wobei das zweite Bild im sichtbaren Wellenlängenbereich aufgenommen ist und bei der Aufnahme überbelichtet wird. Aus dem zweiten Bild werden Licht und Schattenbereiche im Untersuchungsbereich ermittelt. Anschließend wird das zweite Bild mit dem ersten Bild verglichen, wobei in dem ersten Bild charakteristische Bereiche in den ermittelten Schattenbereichen als mögliche Lebewesen identifiziert werden.The method according to the invention for locating living beings from the air envisages taking an infrared thermal image as a first image from an examination area. The method according to the invention is characterized by the steps of taking a second image of the examination region, wherein the second image is recorded in the visible wavelength range and is overexposed during recording. From the second image, light and shadow areas in the examination area are determined. Subsequently, the second image is compared with the first image, wherein in the first image characteristic areas in the determined shadow areas are identified as possible living beings.

Das erfindungsgemäße Verfahren sieht somit vor, dass mindestens zwei Bilder von dem gleichen Untersuchungsbereich aufgenommen werden, nämlich als ein erstes Bild ein Infrarotthermalbild, ein sogenanntes TIR-Bild, und als ein zweites Bild ein Bild im sichtbaren Bereich, ein sogenanntes VIS-Bild. Auf dem Infrarotthermalbild erscheinen üblicherweise Lebewesen, wie beispielsweise Wildtiere, aufgrund ihrer Temperatur als charakteristische Bereiche, beispielsweise als helle Bereiche, da im thermalen Infrarotspektralbereich die emittierte Wärmestrahlung sichtbar ist. In diesem Spektralbereich sind lebendige Körper von Lebewesen in einer etwas kälteren Umgebung deutlich erkennbar. Problematisch ist die Erkennung über den thermalen Infrarotspektralbereich bei Sonnenschein, da hierbei auch verdorrte oder vitale Vegetation und Kahlstellen erwärmt werden können. Bei einem herkömmlichen Bild im sichtbaren Bereich lassen sich die in dem Infrarotthermalbild hervorgehobenen charakteristischen Bereiche auf einfache Art und Weise verifizieren, indem die Form und Farbe des entsprechenden Bereiches in dem Bild im sichtbaren Bereich überprüft werden. The method according to the invention thus provides for at least two images to be taken from the same examination area, namely a first infrared thermal image, a so-called TIR image, and as a second image an image in the visible region, a so-called VIS image. On the infrared thermal image, living beings, such as wild animals, usually appear as characteristic areas, for example as bright areas, because of their temperature, since the emitted thermal radiation is visible in the thermal infrared spectral range. In this spectral realm, living bodies of living things are clearly visible in a colder environment. The problem is the detection of the thermal infrared spectral range in sunshine, as this also withered or vital vegetation and bald spots can be heated. In a conventional image in the visible region, the characteristic regions highlighted in the infrared thermal image can be easily verified by checking the shape and color of the corresponding region in the image in the visible region.

Problematisch ist die Überprüfung der charakteristischen Bereiche jedoch in den Schattenbereichen, da diese auf einem normalen Bild im sichtbaren Bereich häufig nicht ausreichend klar dargestellt sind, so dass nicht erkannt werden kann, ob es sich tatsächlich um ein Lebewesen oder um zuvor von der Sonne erwärmte Teile der Umgebung handelt, die nunmehr im Schattenbereich sind.However, it is problematic to check the characteristic areas in the shadow areas, since these are often not sufficiently clearly displayed on a normal image in the visible range, so that it can not be recognized whether it is actually a living being or parts previously heated by the sun the environment that is now in the shadow area.

Um die Anzahl der dadurch entstehenden Fehleralarme zu reduzieren, sieht das erfindungsgemäße Verfahren vor, dass das zweite Bild überbelichtet ist, wodurch in dem Schattenbereich ein höherer Kontrast auf dem Bild entsteht. Dadurch lassen sich die Schattenbereiche in vorteilhafter Weise auswerten, wodurch die in dem ersten Bild ermittelten charakteristischen Bereiche überprüft werden und als mögliche Lebewesen identifiziert werden.In order to reduce the number of error alarms resulting therefrom, the method according to the invention provides that the second image is overexposed, as a result of which a higher contrast on the image arises in the shadow region. As a result, the shadow areas can be evaluated in an advantageous manner, whereby the characteristic areas determined in the first image are checked and identified as possible living beings.

Vorzugsweise ist vorgesehen, dass bei dem erfindungsgemäßen Verfahren über das zweite Bild die Farben der Bereiche des Untersuchungsbereiches überprüft werden, die den charakteristischen Bereichen des ersten Bildes entsprechen. Dadurch können die als mögliche Lebewesen identifizierten charakteristischen Bereiche nochmals verifiziert werden, indem überprüft werden kann, ob der identifizierte charakteristische Bereich auch die passende Farbe eines gesuchten Tierkörpers besitzt. Dadurch wird die Möglichkeit von Fehlalarmen deutlich reduziert.It is preferably provided that, in the method according to the invention, the colors of the regions of the examination region which correspond to the characteristic regions of the first image are checked via the second image. As a result, the characteristic areas identified as possible living beings can be verified again by checking whether the identified characteristic area also has the appropriate color of a searched animal carcass. This significantly reduces the possibility of false alarms.

Das erfindungsgemäße Verfahren kann vorsehen, dass das zweite Bild mit einer höheren Auflösung aufgenommen wird als das erste Bild. Dadurch ist ein besonders hoher Kontrast in dem Schattenbereich erreichbar, so dass insbesondere die Form der in dem Schattenbereich identifizierten charakteristischen Bereiche in besonders vorteilhafter Weise überprüft werden kann.The method according to the invention can provide that the second image is recorded with a higher resolution than the first image. As a result, a particularly high contrast can be achieved in the shadow area, so that in particular the shape of the characteristic areas identified in the shadow area can be checked in a particularly advantageous manner.

Vorzugsweise ist vorgesehen, dass die Aufnahme des zweiten Bildes mit einer Überbelichtung von mindestens 1,5 Lichtwertstufen, vorzugsweise mindestens zwei, erfolgt. Als Licht wird im Rahmen der Erfindung die Definition des Lichtwertes verstanden, bei der die Film- bzw. Sensorempfindlichkeit berücksichtigt ist. Die Überbelichtung von mindestens 1,5 Lichtwertstufen bedeutet somit, dass gegenüber einer normal belichteten Aufnahme beispielsweise die Blendenzahl und Belichtungszeit derart gewählt ist, dass der Lichtwert um 1,5 niedriger ist. Eine derartige Überbelichtung hat sich als besonders vorteilhaft herausgestellt.Preferably, it is provided that the recording of the second image with an overexposure of at least 1.5 light levels, preferably at least two takes place. In the context of the invention, light is understood as the definition of the light value in which the film or sensor sensitivity is taken into account. The overexposure of at least 1.5 light value levels thus means that, for example, the f-number and exposure time are chosen such that the light value is lower by 1.5 compared to a normally exposed image. Such overexposure has been found to be particularly advantageous.

In einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist vorgesehen, dass ein drittes Bild im nahen Infrarotbereich erstellt wird, wobei das zweite und das dritte Bild ausgewertet werden, indem durch die Erstellung eines Verhältnisses eines Reflexionsgrades bei einer Wellenlänge einer Stelle im zweiten Bild zu einem Reflexionsgrad bei einer Wellenlänge der entsprechenden Stelle des dritten Bildes auf die vitale Vegetation geschlossen wird und Bereiche, die der ermittelten vitalen Vegetation entsprechen, in dem Untersuchungsbereich aus dem ersten Bild entfernt werden. Das erfindungsgemäße Verfahren sieht somit vor, dass neben dem zweiten Bild ein drittes Bild im nahen Infrarotbereich, ein sogenanntes NIR-Bild, erstellt wird. Über das zweite und das dritte Bild kann somit die vitale Vegetation identifiziert werden, wodurch die Anzahl der Fehlalarme durch beispielsweise erwärmte vitale Vegetation reduziert werden kann. Dafür verwendet das erfindungsgemäße Verfahren den Reflexionsgrad bei einer Wellenlänge an einer Stelle im zweiten Bild, beispielsweise an einem Pixel. Der Reflexionsgrad ist der korrigierte Helligkeitswert dieser Stelle. In dem dritten Bild wird ebenfalls der Reflexionsgrad bei einer Wellenlänge, die von der zuvor verwendeten Wellenlänge unterschiedlich ist, an der entsprechenden Stelle, beispielsweise an dem entsprechenden Pixel, bestimmt. Durch die Bildung des Verhältnisses der ermittelten Reflexionsgrade lässt sich auf die vitale Vegetation schließen. Bei vitaler Vegetation steigt die Reflektivität im nahen Infrarotspektrum stark an, unabhängig davon, ob diese Bereiche in der Sonne oder im Schatten liegen. Bei stark schwankenden Lichtverhältnissen reicht jedoch ein einzelner Wert im nahen Infrarotspektrum nicht aus, um eine zuverlässige Identifikation von vitaler Vegetation zu erreichen. Durch die Bildung des Verhältnisses der Reflexionsgrade wird eine zusätzliche Information aus dem Bild im sichtbaren Wellenlängenbereich erhalten, wodurch der starke Anstieg der Reflektivität im nahen Infrarotspektrum bei der vitalen Vegetation identifiziert werden kann.In one exemplary embodiment of the method according to the invention, it is provided that a third image is produced in the near infrared range, wherein the second and the third image are evaluated by generating a ratio of a reflectance at a wavelength of a location in the second image to a reflectance at a Wavelength of the corresponding location of the third image is closed on the vital vegetation and areas corresponding to the determined vital vegetation are removed in the examination area from the first image. The method according to the invention thus provides that a third image in the near infrared region, a so-called NIR image, is created in addition to the second image. By means of the second and the third image, the vital vegetation can thus be identified, whereby the number of false alarms can be reduced by, for example, heated vital vegetation. For this, the method according to the invention uses the reflectance at a wavelength at a position in the second image, for example at a pixel. The reflectance is the corrected brightness value of this location. In the third image, too, the reflectance at a wavelength different from the previously used wavelength is determined at the corresponding location, for example at the corresponding pixel. The formation of the ratio of the determined reflectance values indicates the vital vegetation. In vital vegetation, the reflectivity in the near infrared spectrum increases strongly, regardless of whether these areas are in the sun or in the shade. In strongly fluctuating lighting conditions, however, a single value in the near infrared spectrum is not sufficient to achieve a reliable identification of vital vegetation. By forming the ratio of the reflectivities, additional information is obtained from the image in the visible wavelength range, whereby the large increase in reflectivity in the near infrared spectrum in the vital vegetation can be identified.

Die für die Bildung des Verhältnisses des Reflexionsgrads kann auch ausschließlich aus dem zweiten Bild erfolgen. Dazu wird das zweite Bild nur in einem bestimmten Wellenlängenbereich aufgenommen. Beispielsweise kann ein sichtbarer Spektralbereichfilter für die Aufnahme des zweiten Bildes verwendet werden, der den Rot- und den Nahinfrarotbereich durchlässt. Der Filter kann beispielsweise ein Tiefpassfilter ab der Wellenlänge 630 nm sein. Für die Aufnahme des Bildes wird eine übliche Kamera verwendet, die eine Bayermosaik und somit einen roten, einen blauen und einen grünen Kanal besitzt. Bei Aufnahme des Bildes wird sich nun die Tatsache zunutze gemacht, dass Licht aus dem roten Bereich in dem roten Kanal ein Signal liefert, in dem blauen oder grünen Kanal jedoch nicht. Der blaue und grüne Kanal sind jedoch genauso wie der rote Kanal bezüglich Lichts im nahen Infrarotbereich empfindlich. Die für die Bildung des Verhältnisses der Reflexionsgrade notwendige Information bezüglich des nahen Infrarotbereichs kann somit aus dem Verhältnis des roten Kanals zu dem blauen Kanal oder das Verhältnis des roten Kanals zu dem grünen Kanal erhalten werden. Die Verwendung eines einzelnen Bildes hat den Vorteil, dass bei der Auswertung der Bilder zur Bildung des Verhältnisses der Reflexionsgrade somit zur Ermittlung von vitaler Vegetation nur ein einziges Bild und somit keine Anpassung zwischen zwei Bildern durch Bildverschiebung notwendig ist. Das einzelne Bild zur Bildung des Verhältnisses der Reflexionsgrade kann dabei das zweite Bild sein, da auch aus einem überbelichteten Bild, das nur den Rotbereich im sichtbaren Bereich umfasst, auf Licht- und Schattenbereiche geschlossen werden kann. Durch diese Bildauswertung kann somit aus dem zweiten Bild die Informationen über den nahen Infrarotbereich, die im dritten Bild enthalten sind, erhalten werden. Aus dem zweiten Bild wird somit virtuell ein drittes Bild erstellt. The one for the formation of the ratio of the reflectance can also be made exclusively from the second image. For this purpose, the second image is recorded only in a certain wavelength range. For example, a visible spectral range filter may be used to capture the second image passing through the red and near-infrared regions. The filter may be, for example, a low-pass filter from the wavelength 630 nm. The image is captured using a standard camera with a Bayermosaic, red, blue and green channels. When taking the picture, the fact is now taken advantage of that light from the red area in sends a signal to the red channel, but not in the blue or green channel. However, the blue and green channels, as well as the red channel, are sensitive to near-infrared light. The information about the near infrared range necessary for the formation of the ratio of the reflectances can thus be obtained from the ratio of the red channel to the blue channel or the ratio of the red channel to the green channel. The use of a single image has the advantage that when evaluating the images to form the ratio of reflectivities thus determining vital vegetation only a single image and thus no adjustment between two images by image shift is necessary. The individual image for forming the ratio of the reflectivities may be the second image, since it is also possible to deduce light and shadow regions from an overexposed image that includes only the red region in the visible region. By means of this image evaluation, the information about the near infrared range contained in the third image can thus be obtained from the second image. From the second image, a third image is thus virtually created.

Beispielsweise kann das Verhältnis der Reflektivität bei einer Wellenlänge von 800 nm (naher Infrarotbereich) und einer Wellenlänge von 650 nm (sichtbarer Wellenlängenbereich) gebildet werden. Untersuchungen haben ergeben, dass, wenn der Wert des Verhältnisses einen vorbestimmten Schwellenwert übersteigt, beispielsweise 10, zuverlässig auf vitale Vegetation geschlossen werden kann.For example, the ratio of reflectivity may be formed at a wavelength of 800 nm (near infrared region) and a wavelength of 650 nm (visible wavelength region). Investigations have shown that if the value of the ratio exceeds a predetermined threshold, for example 10, it can be reliably concluded that vegetation is vital.

Die somit ermittelte vitale Vegetation in dem Untersuchungsbereich kann aus dem ersten Bild entfernt werden, wodurch anschließend in sehr zuverlässiger Weise die charakteristischen Bereiche, die identifiziert werden, Abbildungen der Lebewesen sind.The thus determined vital vegetation in the examination area can be removed from the first image, whereby subsequently the characteristic areas which are identified are images of the living beings in a very reliable manner.

Vorzugsweise ist vorgesehen, dass das dritte Bild im fotografischen Infrarotbereich erstellt wird. Der fotografische Infrarotbereich liegt üblicherweise in einem Wellenlängenbereich zwischen 0,7-1 µm. Der thermale Infrarotbereich liegt üblicherweise zwischen 7-15 µm und der sichtbare Bereich üblicherweise zwischen 0,3 und 0,7 µm.It is preferably provided that the third image is created in the photographic infrared range. The photographic infrared range is usually in a wavelength range between 0.7-1 .mu.m. The thermal infrared range is usually between 7-15 μm and the visible range usually between 0.3 and 0.7 μm.

Vorzugsweise ist bei dem erfindungsgemäßen Verfahren vorgesehen, dass das zweite Bild über eine Kamera mit CMOS- oder CCD-Chip aufgenommen wird, wobei die Bayermosaik des CMOS- oder CCD-Chips um einen Kanal für den nahen Infrarotbereich erweitert ist. Auf diese Weise lässt sich das zweite Bild auf besonders vorteilhafte Weise aufnehmen. Ferner besteht die Möglichkeit, mit einer derartigen Kamera auch das dritte Bild aufzunehmen, da über die verwendeten Chips auch Bilder im visuellen Bereich aufgenommen werden können.In the method according to the invention, it is preferably provided that the second image is recorded by means of a camera with a CMOS or CCD chip, the Bayer mosaic of the CMOS or CCD chip being widened by a channel for the near infrared range. In this way, the second image can be recorded in a particularly advantageous manner. Furthermore, it is possible to also record the third image with such a camera, since images can also be recorded in the visual area via the chips used.

Das dritte Bild wird vorzugsweise erstellt, indem ein Bild im sichtbaren Wellenlängenbereich (wobei der Nahinfrarotbereich ebenfalls aufgenommen wird) und ein Bild durch einen Nahinfrarotfilter (Filter mit Nahinfrarottransmission) aufgenommen werden und eine Subtraktion der Bilder vorgenommen wird. The third image is preferably created by taking an image in the visible wavelength range (where the near-infrared region is also captured) and an image through a near infrared filter (near-infrared transmission filter) and subtracting the images.

Dadurch lässt sich das dritte Bild in besonders vorteilhafter Weise mit geringem vorrichtungstechnischem Aufwand erstellen.As a result, the third image can be created in a particularly advantageous manner with little device complexity.

Selbstverständlich ist es auch möglich, dass das zweite und das dritte Bild mit separaten Kameras aufgenommen werden.Of course, it is also possible that the second and the third image are recorded with separate cameras.

Vorzugsweise ist vorgesehen, dass die für die Aufnahme des ersten, des zweiten und/oder des dritten Bildes verwendeten Kameras einen Blickwinkel von maximal 35° besitzen.It is preferably provided that the cameras used for the recording of the first, the second and / or the third image have a viewing angle of a maximum of 35 °.

Üblicherweise sind zur Erntezeit Wiesen bis zu 1 m hoch, wobei Wildtiere, insbesondere Rehkitze, üblicherweise eine Größe von bis zu 30 cm besitzen. Bei einem Blickwinkel von maximal 35° wird erreicht, dass bei Aufnahmen aus der Luft die Gefahr, dass ein in einer Wiese sitzendes Wildtier durch benachbarte Halme verdeckt wird, gering ist.Usually, meadows are up to 1 m high at harvest time, with wild animals, especially fawns, usually have a size of up to 30 cm. With a maximum angle of view of 35 ° it is achieved that when shooting from the air, the danger that a wild animal sitting in a meadow is obscured by neighboring stalks, is low.

Das erfindungsgemäße Verfahren kann vorsehen, dass in dem ersten Bild ein Auswertungsbereich festgelegt wird und in dem zweiten und in dem dritten Bild Bereiche außerhalb des Auswertungsbereiches bei der Auswertung des ersten, zweiten und dritten Bildes nicht berücksichtigt werden. Auf diese Weise können auch Kameras mit einem großen Blickwinkel verwendet werden, da durch die Auswahl eines Auswertungsbereiches Bereiche des Bildes, bei denen eine Gefahr besteht, dass das zu detektierende Lebewesen beispielsweise durch Halme einer Wiese verdeckt wird, reduziert ist. Da üblicherweise Infrarotthermalkameras eine geringere Auflösung besitzen als kommerziell verfügbare Kameras mit CMOS- oder CCD-Chip, die darüber hinaus zumeist einen größeren Blickwinkel aufweisen, kann sichergestellt werden, dass bei der Auswertung der gleiche Bereich des Untersuchungsbereiches ausgewertet wird.The inventive method can provide that in the first image, an evaluation area is set and in the second and in the third image areas outside the evaluation area in the evaluation of the first, second and third image are not taken into account. In this way, it is also possible to use cameras with a large viewing angle, since areas of the image in which there is a risk that the living being to be detected is obscured, for example, by stalks of a meadow, are reduced by the selection of an evaluation area. Since usually infrared thermal cameras have a lower resolution than commercially available cameras with CMOS or CCD chip, which moreover usually have a larger viewing angle, it can be ensured that the same area of the examination area is evaluated during the evaluation.

Das erfindungsgemäße Verfahren kann vorsehen, dass die für die Aufnahmen des ersten, des zweiten und/oder des dritten Bildes verwendeten Kameras beide Aufnahmen parallele optische Achsen besitzen. Dadurch wird die Zuordnung der einzelnen Bilder zueinander vereinfacht.The method according to the invention can provide that the cameras used for the recordings of the first, the second and / or the third picture have both recordings having parallel optical axes. This simplifies the assignment of the individual images to one another.

Es kann vorgesehen sein, dass die Zuordnung der Pixel der verschiedenen Kameras zueinander bei Bedarf kalibriert wird. It can be provided that the assignment of the pixels of the different cameras to each other is calibrated if necessary.

In einem bevorzugten Ausführungsbeispiel der Erfindung ist vorgesehen, dass bei der Auswertung des ersten, des zweiten und des dritten Bildes traversale Verschiebungen des Inhaltes der Bilder zueinander ermittelt und durch Verschiebung von Bildpixeln ausgeglichen werden. Dadurch wird die Genauigkeit bei der Auswertung erhöht, da sichergestellt werden kann, dass die bei der Auswertung verwendeten Bilder deckungsgleich den gleichen Bereich des Untersuchungsbereiches darstellen.In a preferred embodiment of the invention, it is provided that in the evaluation of the first, the second and the third image traversal shifts of the content of the images to each other determined and compensated by shifting of image pixels. This increases the accuracy of the evaluation, since it can be ensured that the images used in the evaluation coincide with the same area of the examination area.

Die Erfindung sieht ferner ein Flugobjekt zum Auffinden von Lebewesen aus der Luft vor, das mit einer Thermalkamera zur Aufnahme von Infrarotthermalbildern und mit mindestens einer zweiten Kamera ausgebildet ist. Dabei ist vorgesehen, dass die zweite Kamera Kanäle zur Aufnahme im sichtbaren Spektrum aufweist und überbelichtete Bilder aufnimmt.The invention further provides a flying object for locating living beings from the air, which is formed with a thermal camera for receiving infrared thermal images and with at least one second camera. It is provided that the second camera has channels for recording in the visible spectrum and takes over-exposed images.

Mit diesem Flugobjekt wird in vorteilhafter Weise ermöglicht, dass Daten aufgenommen werden können, die eine Erhöhung der Zuverlässigkeit der Detektierung von Lebewesen aus der Luft, insbesondere von Wildtieren in landwirtschaftlichen Feldern und Wiesen, durchgeführt werden kann, wobei die Anzahl von Fehlalarmen deutlich reduziert ist. Durch die zweite Kamera, die überbelichtete Bilder aufnimmt, lassen sich Schattenbereiche in vorteilhafter Weise auswerten.This flying object advantageously allows data to be taken which can increase the reliability of detecting aerial creatures, especially wild animals in agricultural fields and meadows, while significantly reducing the number of false alarms. The second camera, which takes over-exposed images, shadow areas can be evaluated in an advantageous manner.

Mit dem Flugobjekt lässt sich somit in vorteilhafter Weise das erfindungsgemäße Verfahren zum Auffinden von Lebewesen aus der Luft durchführen.With the flying object, the inventive method for finding living beings from the air can thus be carried out in an advantageous manner.

Die Erfindung kann vorsehen, dass die zweite Kamera einen Kanal für den nahen Infrarotbereich und einen zuschaltbaren Nahinfrarotfilter aufweist. Auf diese Weise lassen sich mit der zweiten Kamera Bilder im nahen Infrarotbereich auf vorteilhafte Weise erstellen, indem ein Bild mit und ein Bild ohne den Nahinfrarotfilter erstellt wird und die beiden Bilder voneinander subtrahiert werden.The invention may provide that the second camera has a channel for the near infrared range and a switchable near-infrared filter. In this way, with the second camera images in the near infrared range can be created in an advantageous manner by creating an image with and an image without the near-infrared filter and subtracting the two images from each other.

Unter „zuschaltbarem Nahinfrarotfilter“ wird im Rahmen der Erfindung auch verstanden, dass bei der zweiten Kamera ein zusätzlicher Kanal für den nahen Infrarotbereich bei einer Aufnahme abgeschaltet wird.Within the scope of the invention, "switchable near-infrared filter" is also understood to mean that in the case of the second camera, an additional channel for the near infrared range is switched off during a recording.

Selbstverständlich ist es auch möglich, dass eine dritte Kamera verwendet wird, die Kanäle zur Aufnahme im nahen Infrarotbereich aufweist. Durch diese Kamera wird ein Bild im nahen Infrarotbereich direkt erstellt.Of course, it is also possible that a third camera is used which has channels for recording in the near infrared range. This camera creates a near infrared image directly.

Vorzugsweise ist vorgesehen, dass die optischen Achsen der Thermalkamera und der zweiten Kamera oder der Thermalkamera, der zweiten Kamera und der dritten Kamera parallel zueinander angeordnet sind.It is preferably provided that the optical axes of the thermal camera and the second camera or the thermal camera, the second camera and the third camera are arranged parallel to each other.

Auch kann vorgesehen sein, dass die Thermalkamera, die zweite Kamera und/oder die dritte Kamera einen Blickwinkel von maximal 35° besitzen. Mit derartigen Kameras lassen sich in vorteilhafter Weise Bilder von landwirtschaftlichen Feldern und Wiesen aufnehmen, wobei die Gefahr, dass bei der Aufnahme der Bilder in den landwirtschaftlichen Feldern und Wiesen liegende Lebewesen durch benachbarte Halme verdeckt sind, reduziert ist. Durch einen derartigen Bildausschnitt kann erreicht werden, dass die Auflösung der aufgenommenen Bilder auch bei großer Flughöhe für die erfindungsgemäße Auswertung ausreichend ist, dadurch wird der sinnvoll auswertbare Bereich des Bildes erhöht.It can also be provided that the thermal camera, the second camera and / or the third camera have a viewing angle of a maximum of 35 °. With such cameras, images of agricultural fields and meadows can be recorded in an advantageous manner, whereby the danger that living beings lying in the agricultural fields and meadows when taking pictures in the fields is obscured by neighboring stalks is reduced. By means of such an image detail, it can be achieved that the resolution of the recorded images is sufficient for the evaluation according to the invention even at high altitude, thereby increasing the useful range of the image.

Das Flugobjekt kann beispielsweise als Quatrokopter oder Oktokopter ausgebildet sein.The flying object can be designed, for example, as a quatrokopter or octocopter.

Die Thermalkamera, die zweite und/oder die dritte Kamera können an einem gemeinsamen Gehäuse befestigt sein, wobei eine Kalibrierung der Anordnung, insbesondere der optischen Achsen, mechanisch über Stellschrauben erfolgen kann.The thermal camera, the second and / or the third camera may be attached to a common housing, wherein a calibration of the arrangement, in particular the optical axes, can be done mechanically via screws.

Im Folgenden wird unter Bezugnahme auf die nachfolgende Figur die Erfindung näher erläutert.In the following, the invention will be explained in more detail with reference to the following figure.

Die einzige Figur zeigt ein erfindungsgemäßes Flugobjekt 1 schematisch in der Seitenansicht. Das erfindungsgemäße Flugobjekt 1 schwebt über eine ebenfalls schematisch dargestellte Wiese 100, in der ein Lebewesen 110 liegt.The single FIGURE shows an inventive flying object 1 schematically in the side view. The flying object according to the invention 1 hovers over a likewise schematically illustrated meadow 100 in which a living thing 110 lies.

Das Flugobjekt 1 ist beispielsweise als Quatrokopter ausgebildet. An einem gemeinsamen Gehäuse 3 sind eine Thermalkamera 5, eine zweite Kamera 7 und eine dritte Kamera 9 angeordnet. Die optischen Achsen 11 der Kameras 3, 5, 7 sind parallel angeordnet.The flying object 1 is designed, for example, as a quatrokopter. On a common housing 3 are a thermal camera 5 , a second camera 7 and a third camera 9 arranged. The optical axes 11 the cameras 3 . 5 . 7 are arranged in parallel.

Die Thermalkamera 5 dient zur Aufnahme von Infrarotthermalbildern, die zweite Kamera 7 zur Aufnahme von Bildern im sichtbaren Spektrum und die Kamera 9 zur Aufnahme von Bildern im nahen Infrarotbereich.The thermal camera 5 is used to record infrared thermal images, the second camera 7 for taking pictures in the visible spectrum and the camera 9 for taking pictures in the near infrared range.

Die Thermalkamera 5 hat einen Blickwinkel α, der beispielsweise maximal 35° betragen kann. Es hat sich herausgestellt, dass üblicherweise Wiesen vor der Mahd eine Höhe von ca. 1 m besitzen. In den Wiesen 100 liegende Lebewesen 110, wie beispielsweise Rehkitze oder andere Wildtiere, besitzen üblicherweise einen Durchmesser D von 30 cm. Wie in der Figur dargestellt, wird durch den gewählten Blickwinkel α gerade noch sichergestellt, dass bei der Aufnahme eines Bildes mit der Thermalkamera 5 das Lebewesen 110 aufgenommen wird, ohne dass benachbarte Grashalme 102 das Lebewesen 110 verdecken.The thermal camera 5 has a viewing angle α, which can be for example a maximum of 35 °. It has been found that usually meadows before the mowing have a height of about 1 m. In the meadows 100 lying creatures 110 , such as fawns or other wild animals, usually have a diameter D of 30 cm. As shown in the figure, it is just ensured by the selected viewing angle α that when taking a picture with the thermal camera 5 creature 110 is taken without neighboring blades of grass 102 creature 110 cover.

Mit dem erfindungsgemäßen Flugobjekt 1 lässt sich das im Folgenden beschriebene erfindungsgemäße Verfahren in besonders vorteilhafter Weise durchführen.With the flying object according to the invention 1 The process according to the invention described below can be carried out in a particularly advantageous manner.

Das Flugobjekt 1 fliegt zu einem vorgegebenen Zeitpunkt, beispielsweise kurz vor der Mahd, über die abzumähende Wiese 100 und somit über einen Untersuchungsbereich. Dabei werden kontinuierlich oder in vorgegebenen Zeitabständen mit der Thermalkamera 5, der zweiten Kamera 7 und der dritten Kamera 9 Bildersets aufgenommen, die mindestens aus einem ersten Bild, das ein Infrarotthermalbild ist, einem zweiten Bild, das ein Bild im sichtbaren Wellenlängenbereich ist, und einem dritten Bild, das im nahen Infrarotbereich aufgenommen wird, bestehen.The flying object 1 flies at a given time, for example shortly before the mowing, over the meadow to be mowed 100 and thus over an investigation area. These are continuously or at predetermined intervals with the thermal camera 5 , the second camera 7 and the third camera 9 Image sets are taken which consist of at least a first image that is an infrared thermal image, a second image that is an image in the visible wavelength range, and a third image that is captured in the near infrared region.

Das zweite Bild wird überbelichtet aufgenommen. In dem zweiten Bild werden in dem Untersuchungsbereich Licht- und Schattenbereiche ermittelt. Aufgrund der Überbelichtung ist der Kontrast in dem Schattenbereich besonders hoch, so dass die charakteristischen Bereiche, die im ersten Bild aufgefunden worden sind, in dem zweiten Bild verifiziert werden können und als mögliche Lebewesen identifiziert werden. In dem dritten Bild können beispielsweise Form oder Farben der Bereiche des Untersuchungsbereiches überprüft werden, die den charakteristischen Bereichen des ersten Bildes entsprechen. Ferner können das aufgenommene zweite und dritte Bild ausgewertet werden, um daraus auf die vitale Vegetation zu schließen. Die ermittelte vitale Vegetation im Untersuchungsbereich wird aus dem ersten Bild entfernt und danach wird das um die vitale Vegetation korrigierte erste Bild ausgewertet und es werden charakteristische Bereiche als mögliche Lebewesen identifiziert, indem die Verifizierung der charakteristischen Bereiche mittels dem zweiten Bild erfolgt. The second picture is taken overexposed. In the second image, light and shadow areas are determined in the examination area. Due to the overexposure, the contrast in the shadow area is particularly high, so that the characteristic areas found in the first image can be verified in the second image and identified as possible living beings. In the third image, for example, the shape or colors of the regions of the examination region which correspond to the characteristic regions of the first image can be checked. Furthermore, the recorded second and third image can be evaluated in order to deduce the vital vegetation. The determined vital vegetation in the examination area is removed from the first image and then the first image corrected for the vital vegetation is evaluated and characteristic areas are identified as possible living beings by the verification of the characteristic areas by means of the second image.

Die zweite Kamera 7 und die dritte Kamera 9 können beispielsweise einen CMOS- oder CCD-Chip aufweisen. Dabei kann vorgesehen sein, dass die zweite Kamera 7 einen CMOS- oder CCD-Chip aufweist, bei dem die Bayermosaik um einen Kanal für den nahen Infrarotbereich erweitert ist.The second camera 7 and the third camera 9 For example, they may include a CMOS or CCD chip. It can be provided that the second camera 7 a CMOS or CCD chip in which the Bayermosaik is extended by a channel for the near infrared range.

Bei der Auswertung der ersten, zweiten und dritten Bilder gemäß dem erfindungsgemäßen Verfahren werden die aufgenommenen Bilder überlagert, wobei ein Abgleich der Bilder, beispielsweise eine traversale Verschiebung, die aufgrund der Anordnung der Kameras nebeneinander vorliegt, auf Pixelebene erfolgen kann.In the evaluation of the first, second and third images according to the inventive method, the recorded images are superimposed, with an adjustment of the images, for example, a traversal shift, which is due to the arrangement of the cameras next to each other, can be done on the pixel level.

Das erfindungsgemäße Flugobjekt 1 kann beispielsweise ferngesteuert sein. Selbstverständlich ist es auch möglich, dass das Flugobjekt 1 eine selbstständige Steuerung aufweist, die eine vorgegebene Flugroute enthält. Eine Positionsbestimmung kann beispielsweise über Satellitennavigation erfolgen, wobei das Flugobjekt 1 dann einen Satellitenempfänger aufweist.The flying object according to the invention 1 can be remotely controlled, for example. Of course it is also possible that the flying object 1 has a self-contained control that contains a predetermined flight route. A position determination can take place for example via satellite navigation, wherein the flying object 1 then having a satellite receiver.

Claims

A method for finding living beings (110) from the air, wherein an infrared thermal image is taken as a first image of an examination area, characterized in that a second image is taken in the visible wavelength range of the examination area, wherein the second image is overexposed in the recording in that light and shadow regions in the examination region are determined from the second image, that the second image is compared with the first image, wherein in the first image characteristic regions in the determined light and shadow regions are checked and identified as possible living beings.

Method according to Claim 1 , characterized in that on the second image colors of the areas of the examination area are checked, which correspond to the characteristic areas of the first image.

Method according to Claim 1 or 2 , characterized in that the second image is recorded at a higher resolution than the first image.

Method according to one of Claims 1 to 3 , characterized in that the recording of the second image is carried out with an overexposure of at least 1.5 light levels.

Method according to one of Claims 1 to 4 characterized in that a third image is formed in the near infrared region, the second and third images being evaluated by obtaining a ratio of a reflectance at a wavelength of a location in the second image to a reflectance at a wavelength of the corresponding location of the second image the third image on the vital vegetation is closed, and areas corresponding to the determined vital vegetation are removed in the examination area from the first image.

Method according to Claim 5 , characterized in that the second image is used to create the third image.

Method according to Claim 5 or 6 , characterized in that the second image is taken via a camera (7) with a CMOS or CCD chip, wherein a Bayer mosaic of the CMOS or CCD chip is extended by a channel for the near infrared range.

Method according to Claim 7 , characterized in that the third image is created by means of an image in the visible wavelength range and an image taken by a near-infrared filter by subtraction of the images.

Method according to one of Claims 5 to 8th , characterized in that the second and third images are recorded with separate cameras (7,9).

Method according to one of Claims 5 to 9 , characterized in that the cameras (5, 7, 9) used for the photographs of the first, the second and / or the third image have a viewing angle of at most 35 °.

Method according to one of Claims 5 to 10 , characterized in that in the first image, an evaluation area is set and in the second and / or third image areas outside the evaluation area are not taken into account in the evaluation.

Method according to one of Claims 5 to 11 , characterized in that the cameras (5, 7, 9) used to take the first, second and / or third images have parallel optical axes (11) when picked up.

Method according to one of Claims 5 to 12 , characterized in that during the evaluation of the first, the second and / or the third image traversal shifts of the content of the images to each other determined and compensated by shifting of image pixels.

Flying object (1) for locating living beings (110) from the air, with a thermal camera (5) for recording infrared thermal images and with at least one second camera (7,9), characterized in that the second camera (7) channels for recording in the visible spectrum and absorbs overexposed images.

Flying object (1) to Claim 14 , characterized in that the second camera (7) has a channel for the near infrared range and a switchable near-infrared filter.

Flying object (1) to Claim 14 characterized by a third camera (9) with channels for recording in the near infrared range.

Flying object (1) to Claim 16 , characterized in that the optical axes (11) of the thermal camera (5) and the second camera (7) or the thermal camera (5), the second camera (7) and the third camera (9) are arranged parallel to each other.

Flying object (1) to Claim 16 or 17 , characterized in that the thermal camera (5), the second camera (7) and / or the third camera (9) have a maximum angle of view of 35 °.