DE102008058798A1

DE102008058798A1 - Stereokameraeinrichtungen, Verfahren zur fortlaufenden automatischen Kalibrierung einer Stereokameraeinrichtung, Computerprogramm, Computerprogrammprodukt und Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen

Info

Publication number: DE102008058798A1
Application number: DE102008058798A
Authority: DE
Inventors: Harry Dr. Schlemmer; Holger Dr. Vogel
Original assignee: Carl Zeiss Optronics GmbH
Current assignee: Hensoldt Optronics GmbH
Priority date: 2008-11-24
Filing date: 2008-11-24
Publication date: 2010-05-27
Anticipated expiration: 2028-11-25
Also published as: DE102008058798B4

Abstract

Die Erfindung betrifft eine Stereokameraeinrichtung (1') mit wenigstens zwei justierten, zueinander in definiertem Abstand angeordneten und ausgerichteten Wärmebildkameras (3a, 3b), welche mit einer Kalibriereinrichtung (19') zu deren fortlaufenden automatischen Kalibrierung versehen ist, wobei die Kalibriereinrichtung (19') eine Strahlungsquelle (21) und einen Referenzstrahlengang (20') aufweist, mittels welchem ein Referenzbild von der Strahlungsquelle (21) auf die jeweilige Wärmebildkamera (3a, 3b) abgebildet wird, wobei ein von der Strahlungsquelle (21) ausgehendes kollimiertes Strahlungsbündel (22) in wenigstens zwei Teilstrahlenbündel (22a, 22b) geteilt wird. Die wenigstens zwei Teilstrahlenbündel (22a, 22b) werden jeweils über wenigstens ein der jeweiligen Wärmebildkamera (3a, 3b) zugeordnetes optisches Umlenkelement (23a, 23b) auf dieses gelenkt, wobei wenigstens eines der optischen Umlenkelemente als Pentaprisma (23a, 23b) ausgebildet ist.

Description

Die Erfindung betrifft eine Stereokameraeinrichtung mit wenigstens zwei justierten, zueinander in definiertem Abstand angeordneten und ausgerichteten Wärmebildkameras, welche mit einer Kalibriereinrichtung zu deren fortlaufenden automatischen Kalibrierung versehen ist. Des Weiteren betrifft die Erfindung ein Verfahren zur fortlaufenden automatischen Kalibrierung einer derartigen Stereokameraeinrichtung. Die Erfindung betrifft ebenfalls ein Computerprogramm und ein Computerprogrammprodukt mit Programmcodemitteln, um ein derartiges Verfahren durchzuführen. Darüber hinaus betrifft die Erfindung auch eine Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen mit einer stereoskopischen Erfassung von sich nähernden oder vorhandenen Vögeln oder Vogelschwärmen.
Bei Start und Landung von Flugzeugen kommt es häufig zu Kollisionen mit Vögeln oder Vogelschwärmen. Insbesondere beim Queren von Flugrouten von Vögeln des regionalen und überregionalen Vogelzugs, welche sich häufig an Landschaftsstrukturen wie Gewässern, Tälern oder Küstenlinien orientieren, ist diese Gefahr stark erhöht. Bei derartigen Kollisionen kann es zu Schäden u. a. an den Triebwerken von Flugzeugen kommen.
In der älteren nicht vorveröffentlichten DE 10 2008 018 880.8 wird dazu eine Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen mit einer stereoskopischen Erfassung von sich nähernden oder vorhandenen Vögeln oder Vogelschwärmen zur Durchführung eines Überwachungsverfah rens vorgeschlagen, wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit, Art und Größe der Vögel oder der Vogelschwärme ermittelbar sind. Im Bereich der Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder der Flugkorridore ist wenigstens eine Stereokameraeinrichtung vorgesehen, welche wenigstens zwei zueinander in definiertem und angepassten Abstand angeordnete während der Aufnahme synchron laufende Kameras, insbesondere Wärmebildkameras, aufweist, deren Aufnahmezeitpunkte wenigstens annähernd identisch sind und deren jeweilige Sehfelder einen überlappenden Bereich aufweisen.
Werden Kameras, insbesondere Wärmebildkameras oder Wärmebildgeräte zu Messaufgaben, wie beispielsweise die vorstehend erwähnte Stereoskopie verwendet, sollten diese konstante Eigenschaften, insbesondere mechanische Stabilität besitzen. Da die bei der Stereoauswertung der Bilder erreichbaren Genauigkeiten nicht durch einfache Maßnahmen im Aufbau der Stereokameraeinrichtung gehalten werden können, muss mittels geeigneter Verfahren ermittelt werden, wie sich die Systemeigenschaften ändern, um diese eventuell nachgeschaltet korrigieren zu können. Die vorstehend angeführte Stereokameraeinrichtung zur Bestimmung des Vorhandenseins bzw. der Fluggeschwindigkeit der Vögel beruht auf einer genauen Bestimmung des in einem relativ kurzen Zeitintervall zurückgelegten Weges der Tiere. Dazu ist eine genaue Ortsbestimmung an zwei Punkten notwendig, die sehr empfindlich gegenüber einem relativen Fehler zwischen den beiden Sichtlinien der Kameras ist. Die vorgenannten Stereokameraeinrichtungen sollten möglichst so kalibriert werden, dass über sehr lange Zeiträume hochgenaue stereoskopische Messungen erreicht werden können. Für einen Aufbau derartiger Messsysteme ist eine detaillierte Justagestrategie für jeden Aufbauschritt notwendig, welche sicherstellt, dass im letzten Schritt am Aufstellungsort mit den dann nur noch begrenzt verfügbaren Mitteln eine umfassende Kalibrierung des Systems erreicht werden kann.
Abweichungen von der beim Aufbau der Stereokameraeinrichtung durchgeführten Kalibrierung können über die angestrebte Betriebszeit oftmals nicht völlig vermieden werden. So kann es z. B. durch eine Verbiegung der mechanischen Basis- bzw. Grundstruktur des Stereosystems oder durch thermisch bedingte Veränderungen der Strukturelemente und auch der einzelnen Wärmebildkameras zu Veränderungen der Sichtlinien der Wärmebildkameras kommen. Zur fortlaufenden Erkennung und Korrektur dieser Abweichungen sollten Maßnahmen konzipiert werden, die gleichzeitig mit den eigentlichen Messungen im Rahmen der Stereobildauswertung ablaufen können, ohne diese zu stören und die natürlich selbst keine zusätzlichen Fehler in die Stereokameraeinrichtung einbringen dürfen.
Starke Temperaturschwankungen und/oder mechanische Beanspruchungen z. B. Vibrationen können zu Veränderungen von Kameraparametern der Stereokameraeinrichtung führen, insbesondere von Änderungen in der Position und Lage sowie der Ausrichtung der jeweiligen Kamera führen. Daher kann es erforderlich sein die Stereokameraeinrichtung in kurzen Abständen neu zu kalibrieren bzw. sollte die eingesetzte Stereokameraeinrichtung in der Lage sein, eine kontinuierliche Selbstkalibrierung vorzunehmen.
Die DE 10 2007 050 558 A1 betrifft ein Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung, insbesondere eines Stereo-Kamerasystems, bei welchem mittels eines Stereo-Verfahrens ein Bildpaar erfasst wird, anhand dessen durch eine pixelweise Korrespondenzanalyse entlang von Epipolarlinien ein rektifiziertes Bildpaar ermittelt wird.
Ein System und ein Verfahren zur Erzeugung von räumlichen Bilddarstellungen, insbesondere von räumlichen Wärmebildern, ist in der EP 1 484 628 A1 angegeben.
Zum weiteren Stand der Technik wird auf die JP 01251990 A verwiesen.
Ausgehend davon liegt der vorliegenden Erfindung die Aufgabe zu Grunde, eine Stereokameraeinrichtung und ein Verfahren zur fortlaufenden automatischen Kalibrierung einer Stereokameraeinrichtung bzw. ein Computerprogramm und ein Computerprogrammprodukt zu schaffen, welche eine einfache und genaue Nachführkalibrierung der Stereokameraeinrichtung ermöglichen, wobei Änderungen der bei der Startkalibrierung bestimmten Systemparameter ermittelt und gegebenenfalls korrigiert werden, insbesondere ohne zusätzliche Störungen oder Fehler durch die Nachführkalibrierung zu erzeugen.
Diese Aufgabe wird erfindungsgemäß durch Anspruch 1 gelöst. Die Aufgabe wird ebenfalls durch Anspruch 10 gelöst. Hinsichtlich des Verfahrens zur fortlaufenden automatischen Kalibrierung einer Stereoeinrichtung wird die Aufgabe durch Anspruch 13 gelöst. Bezüglich des Computerprogramms bzw. des Computerprogrammprodukts wird die Aufgabe durch Anspruch 17 bzw. Anspruch 18 gelöst.
Erfindungsgemäß wird eine Stereokameraeinrichtung mit wenigstens zwei justierten, zueinander in definiertem Abstand angeordneten und ausgerichteten Wärmebildkameras vorgeschlagen, welche mit einer Kalibriereinrichtung zu deren fortlaufenden automatischen Kalibrierung versehen ist, wobei die Kalibriereinrichtung eine Strahlungsquelle und einen Referenzstrahlengang aufweist, mittels welchem ein Referenzbild von der Strahlungsquelle auf die jeweilige Wärmebildkamera abgebildet wird, wobei ein von der Strahlungsquelle ausgehendes kollimiertes Strahlenbündel in wenigstens zwei Teilstrahlenbündel geteilt wird, wobei die wenigstens zwei Teilstrahlenbündel jeweils über wenigstens ein der jeweiligen Wärmebildkamera zugeordnetes optisches Umlenkelement auf diese gelenkt werden und wobei wenigstens eines der optischen Umlenkelemente als Pentaprisma ausgebildet ist.
Des Weiteren wird ein erfindungsgemäßes Verfahren zur fortlaufenden automatischen Kalibrierung der erfindungsgemäßen Stereokameraeinrichtung vorgeschlagen, wobei das Referenzbild auf den wenigstens zwei Wärmebildkameras in vorgegebenen, insbe sondere regelmäßigen Zeitabständen lokalisiert wird, wonach die relative Position und/oder die relative Orientierung des Referenzbildes zu den Referenzbildern der weiteren Wärmebildkameras bestimmt wird, und wonach daraus bei Erkennung einer Veränderung eine entsprechende Korrektur der Parameter für die Stereoauswertung ermittelt und vorgenommen wird.
Durch diese Maßnahmen wird es ermöglicht Stereokameraeinrichtungen, insbesondere Stereowärmebildkameras so zu kalibrieren, dass über sehr lange Zeiträume hochgenaue stereoskopische Messungen erzielt werden können. Es werden Systemgenauigkeiten erreicht, die durch passive Maßnahmen nicht realisierbar sind. Das vorgeschlagene Verfahren basiert auf einer Startkalibrierung sowie auf einer automatischen Nachführkalibrierung, welche die Änderungen gegen die bei der Startkalibrierung vorhandenen Systemparameter für die Stereoauswertung bzw. die Bildverarbeitung ermittelt und gegebenenfalls entsprechende Korrekturen vornimmt.
Um die Sichtlinien der beiden Wärmebildkameras, welche auf einer Basisstruktur mit gegebenenfalls höherer Basislänge montiert sind, über längere Zeit ausgerichtet zu halten, wird ein Bezug zur Achse eines Referenzstrahlengangs bzw. Referenzkollimators hergestellt. Dazu wird das von dem Referenzstrahlengang ausgehende Strahlenbündel geteilt und die entstehenden Teilstrahlenbündel mit geeigneten Umlenkelementen wie Spiegeln oder Prismen in die jeweilige Eintrittspupille einer Wärmebildkamera umgelenkt. Durch den Einsatz wenigstens eines Pentaprismas als optisches Umlenkelement einer Wärmebildkamera ist sichergestellt, dass die durch die Umlenkung erzeugten Referenzstrahlen unabhängig von der genauen Winkelposition des Pentaprismas stets senkrecht bzw. parallel zur Achse des Referenzstrahlengangs ausgerichtet sind, da es eine Besonderheit des Pentaprismas ist, dass der Austrittswinkel des Lichtstrahls immer 90 Grad zum Eintrittswinkel steht. Damit ist das Pentaprisma invariant gegenüber Störgrößen (z. B. Verkippen des Pentaprismas). Etwaige Winkeländerungen des Referenzstrahlengangs bzw. der Strahlungsquelle oder des Kollimators erzeu gen gleichsinnige Ablagen in beiden Wärmebildkameras und können somit erkannt und von den relevanten Fehlern bzw. Abweichungen unterschieden werden. Die Referenzstrahlen für beide Wärmebildkameras bleiben in jedem Fall senkrecht bzw. parallel zur aktuellen Achse des Referenzstrahlengangs, so dass die Sichtlinien der beiden Wärmebildkameras kontrolliert und elektronisch bzw. über die Stereoauswertung in der Bildverarbeitung nachgeführt werden können.
Erfindungsgemäß kann ferner vorgesehen sein, dass wenigstens ein optisches Teilelement zur Teilung des Strahlenbündels in die Teilstrahlenbündel vorgesehen ist.
Dadurch können verschiedenartige, insbesondere symmetrische Referenzstrahlengänge eingesetzt werden.
Vorteilhaft ist es, wenn das optische Teilerelement als 90-Grad-Prisma ausgebildet ist. Eine Verkippung des 90-Grad-Prismas hat wiederum eine gleichsinnige Verschiebung der Referenzbilder bzw. Target-Bilder zur Folge, welche ebenfalls kompensiert werden kann, so dass keine weiteren Fehler bzw. Abweichungen eingebracht werden.
Sehr vorteilhaft ist es, wenn der Referenzstrahlengang symmetrisch ausgeführt ist, da dann die geometrischen Verhältnisse für die wenigstens zwei Wärmebildkameras gleich sind. Hierzu kann ein verspiegeltes 90-Grad-Prisma zur Pupillenteilung in den Referenzstrahlengang eingebracht sein. Durch das zusätzliche 90-Grad-Prisma werden vorteilhafterweise keine neuen Fehler eingebracht, die nicht erkennbar sind.
Zur Kollimierung des von der Strahlungsquelle ausgehenden Strahlenbündels kann der Referenzstrahlengang einen Kollimator bzw. Referenzkollimator aufweisen.
Der Referenzstrahlengang sollte selbstverständlich selbst keine unkontrollierbaren Fehler bzw. Abweichungen in die Stereokameraeinrichtung einbringen. Mögliche Fehlerquellen sind in erster Linie ungewollte Veränderungen der Positionierung der optischen Elemente des Referenzstrahlengangs, d. h. des Pentaprismas, des 90-Grad-Prismas und des Kollimators. Rein translatorische Verschiebungen sind dabei unproblematisch. Da die hinzugefügten optischen Bauelemente nur Planflächen aufweisen und in dem kollimierten optischen Referenzstrahlengang angeordnet sind, tritt lediglich eine Pupillenverschiebung auf und keine Änderung der Bildlage.
Vorteilhaft ist es, wenn die Strahlungsquelle ein thermoelektrisches Element, insbesondere ein Peltierelement aufweist. Ein derartiges thermoelektrisches Element bzw. Kühlelement kann unter Beaufschlagung von Strom sowohl zum Erwärmen als auch zum Kühlen eingesetzt werden. Demnach kann das Target- bzw. Referenzbild eingeblendet (Referenzbild weist eine Temperaturdifferenz zur Umgebungstemperatur auf) oder ausgeblendet (Referenzbild hat Umgebungstemperatur) werden. Das Referenzbild kann beispielsweise als Kreuz- bzw. Fadenkreuzstruktur ausgebildet sein und aus einem Trägerelement (beispielsweise aus Blech) herausgestanzt bzw. in dieses reingeätzt sein. Ein derartiges Trägerelement kann dann mit dem thermoelektrischen Element verbunden oder wenigstens ein Teil des thermoelektrischen Elements sein.
Erfindungsgemäß kann ferner vorgesehen sein, dass die Austrittsfläche des wenigstens einen Pentaprismas wenigstens annähernd im Bereich der Eintrittspupille der jeweiligen zugeordneten Wärmebildkamera angeordnet ist.
Die Teilung des Strahlengangs in Beobachtungs- und Referenzstrahlengang sollte im Bereich der Eintrittspupille der Wärmebildkamera erfolgen, damit deren Bildqualität nicht beeinträchtigt wird.
Vorteilhaft ist es, wenn der Referenzstrahlengang einen Tubus aufweist. Dadurch werden unerwünschte Abstrahlungen minimiert. Zusätzlich kann der Tubus mattschwarz ausgeführte Innenflächen und zusätzliche Blendenringe aufweisen.
Erfindungsgemäß kann ferner vorgesehen sein, dass in Ausbreitungsrichtung des Beobachtungslichts der jeweiligen Wärmebildkamera vor dem optischen Umlenkelement der Wärmebildkamera zur Kalibrierung des Detektors der Wärmebildkamera eine in den Beobachtungsstrahlengang der Wärmebildkamera ein- und ausschwenkbare Defokussierlinse vorgesehen ist.
Infrarotdetektor-Arrays weisen in der Regel eine starke Inhomogenität ihrer Einzeldetektorelemente hinsichtlich Dunkelstrom und Verstärkung auf. Um trotzdem eine akzeptable Bildqualität erreichen zu können, sollte eine Kalibrierung der Einzeldetektorelemente durchgeführt werden (sog. Non-Uniformity Correction, NUC). Für eine ausreichend gute Homogenisierung des Bildhintergrunds ist dies in der Regel jedoch nicht ausreichend, da es im Infrarotbereich außer der gewünschten Szenenstrahlung noch weitere Strahlungsquellen gibt, die unerwünscht zu der Beobachtungsbildinformation beitragen. Aufgrund der zu erwartenden starken und zudem inhomogenen Einstrahlung aus dem Referenzstrahlengang in die Wärmebildkamera sollte die Kalibrierung der Einzeldetektorelemente möglichst viele dieser Strahlungsanteile bereits erfassen können. Da sich die Innentemperatur der Stereokameraeinrichtung und die Szenentemperatur (z. B. kalter Himmel) sehr stark voneinander unterscheiden können, sollte die Kalibrierung möglichst nahe bei der Szenentemperatur durchgeführt werden. Sehr vorteilhaft ist es daher, bei der Kalibrierung eine Defokussierlinse zwischen dem wenigstens einen Pentaprisma und einem Ausblickfenster der Stereokameraeinrichtung einzuschwenken, um die unerwünschten Strahlungsanteile bei der Kalibrierung mit zu erfassen. Um zu verhindern, dass die Referenzstruktur bzw. das Referenzbild durch die Kalibrierung vorab entfernt wird, sollte die Strahlungsquelle bei der Kalibrierung abgeschaltet bzw. entsprechend auf die Innentemperatur der Stereokameraeinrichtung geregelt werden.
In Anspruch 10 ist eine alternative Ausführungsform der erfindungsgemäßen Stereokameraeinrichtung mit zwei justierten, zu einander in definiertem Abstand angeordneten und ausgerichteten Wärmebildkameras angegeben, welche mit einer Kalibriereinrichtung zu deren fortlaufenden automatischen Kalibrierung versehen ist, wobei als Kalibriereinrichtung die beiden Wärmebildkameras jeweils im Bereich ihrer Eintrittspupillen ein optisches Umlenkelement aufweisen, welches die von der ersten Wärmebildkamera bzw. von deren Detektor abgegebene eigene Wärmestrahlung als Referenzbild in den Beobachtungsstrahlengang der zweiten Wärmebildkamera umlenkt.
Um die Sichtlinien der beiden Wärmebildkameras ausgerichtet zu halten, kann auch passiv, d. h. vorteilhafterweise ohne zusätzliche Wärme- bzw. Strahlungsquelle ein direkter Bezug zwischen den beiden Achsen der Wärmebildkameras hergestellt werden. Dazu kann jeweils ein kleiner Teil der Pupille einer Wärmebildkamera mit einem Umlenkelement, z. B. einem Prisma oder einem Spiegel, in die Pupille der anderen Wärmebildkamera umgelenkt werden. Da die Temperatur der Detektoroberflächen relativ zur Szene sehr niedrig ist, erfasst jede Wärmebildkamera einen kalten Bildausschnitt der Detektoroberfläche ihres Gegenübers eingebettet in die Szene. Wird für das optische Umlenkelement ein Pentaprisma eingesetzt, dann ist sichergestellt, dass die durch zweifache Umlenkung erzeugten Referenzstrahlen, unabhängig von der genauen Winkelposition des jeweiligen Pentaprismas, immer parallel zum Ausgangsstrahl sind, und somit der durch die jeweils andere Wärmebildkamera gebildete Referenzstrahlengang keine weiteren Fehler erzeugt.
In Anspruch 12 ist eine Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen mit einer stereoskopischen Erfassung von sich nähernden oder vorhandenen Vögeln oder Vogelschwärmen angegeben. Diese kann in vorteilhafter Weise aufgrund der einfachen und genauen Nachführkalibrierung ihrer wenigstens einen erfindungsgemäßen Stereokameraeinrichtung über sehr große Zeiträume hinweg autark arbeiten.
Aufgrund einer erkannten relativen Verschiebung des Referenz bildes zu den Referenzbildern der weiteren Wärmebildkameras kann eine Verschiebung eines Detektors wenigstens einer der Wärmebildkameras oder eine Verkippung bzw. Verbiegung wenigstens einer der Wärmebildkameras parallel und/oder senkrecht zur Bezugsebene oder zu einer Basisstruktur bzw. Basislinie der Stereokameraeinrichtung erkannt werden.
Aufgrund einer relativen Rotation des Referenzbildes zu den Referenzbildern der weiteren Wärmebildkameras kann eine Verdrehung wenigstens einer der Wärmebildkameras oder eines Detektors wenigstens einer der Wärmebildkameras um dessen optische Achse erkannt werden.
Vorteilhaft ist es, wenn eine Startkalibrierung der Stereokameraeinrichtung durchgeführt wird.
Nach Aufbau der Wärmebildkameras der Stereokameraeinrichtung können Restfehler vorhanden sein, welche nicht durch Justage eliminiert werden können. Derartige Fehler können dann nur durch eine Kalibrierung mit Hilfe von geeigneten Bildverarbeitungsmethoden reduziert werden. Hierzu werden geeignete Ziele bzw. Targets in der Landschaft an bekannter Position verwendet. Die Entfernung sollte idealerweise der späteren Arbeitsentfernung entsprechen, was jedoch durch räumliche Gegebenheiten oft nicht gewährleistet ist. Der Kalibriervorgang erfolgt dann durch Vergleiche mit den bekannten Target-Positionen in der Szene. Das Ergebnis der Kalibrierung ist eine konstante Zuordnung der Feldwinkel zu den Pixeln der Wärmebildkameras. Da sich ab diesem Zeitpunkt Änderungen in der Anordnung ergeben können, sollte parallel sofort mit dem erfindungsgemäßen Verfahren zur fortlaufenden automatischen Kalibrierung der Stereokameraeinrichtung begonnen werden. Diese kann dann relativ zu den späteren Messungen Veränderungen der Anordnung zeigen.
Das erfindungsgemäße Verfahren zur fortlaufenden automatischen Kalibrierung der erfindungsgemäßen Stereokameraeinrichtung ist vorzugsweise als Computerprogramm auf einer Bildverarbeitungs einrichtung der erfindungsgemäßen Stereokameraeinrichtung realisiert. Dazu ist das Computerprogramm in einem Speicherelement der Bildverarbeitungseinrichtung gespeichert. Durch Abarbeitung auf einem Mikroprozessor der Bildverarbeitungseinrichtung wird das Verfahren ausgeführt. Das Computerprogramm kann auf einem computerlesbaren Datenträger (Diskette, CD, DVD, Festplatte, USB-Memorystick oder dergleichen) oder einem Internetserver als Computerprogrammprodukt gespeichert sein und von dort aus in das Speicherelement der Bildverarbeitungseinrichtung übertragen werden. Ein derartiges Computerprogramm bzw. Computerprogrammprodukt mit Programmcodemitteln ist in Anspruch 17 bzw. Anspruch 18 angegeben.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen. Nachfolgend sind anhand der Zeichnungen prinzipmäßig Ausführungsbeispiele der Erfindung angegeben.
Es zeigen:
1 eine schematische Darstellung einer erfindungsgemäßen Stereokameraeinrichtung in einer Überwachungsvorrichtung;
2 eine vereinfachte Darstellung einer Anordnung der erfindungsgemäßen Stereokameraeinrichtung aus 1 im Bereich eines Flugkorridors eines Flugzeugs;
3 eine vereinfachte Darstellung einer Startkalibrierung einer Stereokameraeinrichtung;
4 eine schematische Darstellung einer ersten Ausführungsform der erfindungsgemäßen Stereokameraeinrichtung;
5 eine vereinfachte schematische Darstellung des Strahlengangs der erfindungsgemäßen Stereokameraeinrichtung gemäß der ersten Ausführungsform mit einer Winkeländerung eines Kollimators;
6 eine schematische Darstellung einer zweiten Ausführungsform der erfindungsgemäßen Stereokameraeinrichtung;
7 eine vereinfachte schematische Darstellung des Strahlengangs der erfindungsgemäßen Stereokameraeinrichtung gemäß der zweiten Ausführungsform mit einer Verkippung des Kollimators;
8 eine vereinfachte schematische Darstellung eines Strahlengangs der erfindungsgemäßen Stereokameraeinrichtung gemäß der zweiten Ausführungsform mit einer Verkippung eines Teilerelements;
9 eine vereinfachte schematische Darstellung eines Strahlengangs der erfindungsgemäßen Stereokameraeinrichtung gemäß der zweiten Ausführungsform mit einer Andeutung von Bildlagen;
10 eine vereinfachte schematische Darstellung eines Sehfeldes eines Referenzstrahlengangs der erfindungsgemäßen Stereokameraeinrichtung;
11 eine vereinfachte Darstellung einer Eintrittspupille einer Wärmebildkamera der erfindungsgemäßen Stereoeinrichtung mit einem Pentaprisma;
12 eine vereinfachte Darstellung der Teilung der Eintrittspupille der Wärmebildkamera;
13 eine vereinfachte Darstellung der Aufteilung des Sehfelds einer Wärmebildkamera im Referenzstrahlengang;
14 eine schematische Darstellung des Funktionsprinzips eines Pentaprismas;
15 eine vereinfachte Darstellung einer Fehlerfortpflanzung von Herstellungsfehlern in einem Pentaprisma;
16 eine vereinfachte Darstellung des Strahlenversatzes durch Positionierungsfehler eines Pentaprismas;
17 eine schematische Darstellung einer dritten Ausführungsform der erfindungsgemäßen Stereokameraeinrichtung;
18 eine schematische Darstellung eines Teils der erfindungsgemäßen Stereokameraeinrichtung gemäß der zweiten Ausführungsform;
19 eine schematische Darstellung eines Teils der erfindungsgemäßen Stereokameraeinrichtung gemäß der zweiten Ausführungsform mit ausgeschwenkter Defokussierlinse; und
20 eine schematische Darstellung der erfindungsgemäßen Stereokameraeinrichtung gemäß der zweiten Ausführungsform mit eingeschwenkter Defokussierlinse.
Die Erfindung wird nachfolgend im Rahmen einer Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen beschrieben. Die Erfindung ist selbstverständlich nicht auf diese Anwendung beschränkt.
In 1 ist eine erfindungsgemäße Stereokameraeinrichtung 1 einer Überwachungsvorrichtung 2 für Start- und Landebahnen und/oder Flugkorridore 11 (siehe 2) von Flughäfen mit einer stereoskopischen Erfassung von sich nähernden Vögeln 6 oder Vogelschwärmen 6', wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit und Art/Größe der Vögel 6 oder der Vogelschwärme 6' ermittelbar sind, dargestellt. Eine oder mehrere derartiger Stereokameraeinrichtungen 1 sind im Bereich der Start- und Landebahnen (nicht dargestellt) und/oder der Flugkorridore 11 angeordnet und weisen wenigstens zwei zueinander in definiertem und angepasstem Abstand angeordnete während der Aufnahme synchron laufende Wärmebildkameras 3a, 3b auf. Die Aufnahmezeitpunkte der Wärmebildkameras 3a, 3b sind wenigstens annähernd identisch und deren jeweilige Sehfelder 4a, 4b weisen einen überlappenden Bereich 5 auf. In dem überlappenden Bereich 5 wird als Objekt ein Vogel 6 erfasst. Die zwei Wärmebildkameras 3a, 3b sind zueinander justiert und kalibriert. Für die Wärmebildkameras 3a, 3b kommen sowohl Wärmebildbereiche wie LWIR, MWIR, VLWIR, FIR, als auch SWIR, NIR in Betracht.
Die Stereokameraeinrichtung 1 weist eine Bildverarbeitungseinrichtung 7 auf, welche zur Verarbeitung der mit den zwei Wärmebildkameras 3a, 3b aufgenommenen Bilddaten vorgesehen ist.
Die Stereokameraeinrichtung 1 weist darüber hinaus eine Funkstation 8 als Schnittstelle, insbesondere Netzwerkschnittstelle, zur Kommunikation mit weiteren Stereokameraeinrichtungen 1 oder mit übergeordneten Systemen, insbesondere Flugsicherungssystemen 9, auf (in 1 durch den Doppelpfeil 8' angedeutet). Die Stereokameraeinrichtung 1 arbeitet autonom. Jedoch können mittels der Vernetzung bzw. der Funkübertragung über die Funkstation 8 weitere Stationen bzw. Stereokameraeinrichtungen 1 verbunden werden. Die Informationen wie auch die Aufnahmen stehen somit außerhalb der einzelnen Station zur Verfügung. Hauptsächlich werden diese Daten der Flugsicherung übermittelt.
Auf der Bildverarbeitungseinrichtung 7 der Stereokameraeinrichtung 1 läuft u. a. ein Überwachungsverfahren für Start- und Landebahnen und/oder Flugkorridore 11 von Flughäfen ab, mit welchem sich nähernde Vögel 6 oder Vogelschwärme 6' stereoskopisch mittels der Überwachungsvorrichtung 2 bzw. der Stereokameraeinrichtung 1 erfasst werden, wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit und Art/Größe der Vögel 6 oder der Vogelschwärme 6' bzw. deren Schwarmdichte ermittelt werden. Die Parameter werden mittels einer Stereoauswertung bestimmt. Dabei werden durch die wenigstens zwei Blickwinkel auf den durch die wenigstens zwei Wärmebildkameras 3a, 3b der Stereokameraeinrichtung 1 aufgenommenen Bereich 5 absolute Raumpunkte der zu erfassenden Vögel 6 oder Vogelschwärme 6' bestimmt. Die Fluggeschwindigkeit der Vögel 6 oder der Vogelschwärme 6' wird durch eine Betrachtung über eine entsprechende Zeitspanne bestimmt. Auch Vögel 6 oder Vogelschwärme 6' in größerer Entfernung können erfasst werden, wobei eine entsprechend längere Brennweite für die zwei Wärmebildkameras 3a, 3b verwendet wird. Zusätzlich können auch Flugobjekte wie Modellflugzeuge, Lenkdrachen oder dergleichen von der Stereokameraeinrichtung 1 erfasst werden (nicht dargestellt).
Anhand der Parameter wird eine Bewertung durchgeführt und gegebenenfalls eine entsprechende Warnmeldung ausgegeben.
Wie aus 2 ersichtlich, überwacht eine Stereokameraeinrichtung 1 mit einem Stereosichtbereich bzw. überlappenden Be reich 5 eine bekannte Flugroute 10 von Vögeln 6 bzw. Vogelschwärmen 6'. Die Stereokameraeinrichtung 1 ist dabei so angeordnet, dass ein Flugkorridor 11 bzw. ein Kreuzungsbereich 12 des Flugkorridors 11 mit der bekannten Flugroute 10 der Vögel 6 oder Vogelschwärme 6' überwacht wird. Im Flugkorridor 11 ist ein Flugzeug 13 beispielhaft dargestellt. Ein Ankunftszeitpunkt der erfassten Vögel 6 oder der erfassten Vogelschwärme 6' an dem Kreuzungsbereich 12 mit dem Flugkorridor 11 des Flugzeugs 13 wird ebenfalls bestimmt.
Bei Erfassung von Vögeln 6 oder Vogelschwärmen 6' wird gegebenenfalls eine Warnmeldung zur Einleitung von Gegenmaßnahmen bzw. Minderungs- oder Vermeidungsmaßnahmen an das übergeordnete System, insbesondere Flugsicherungssystem 9, oder an startende oder landende Flugzeuge 13 ausgegeben.
Die Stereokameraeinrichtung 1 sollte konstante Eigenschaften, insbesondere mechanische Stabilität besitzen. Da die bei der Stereoauswertung der Bildverarbeitung erreichbaren Genauigkeiten nicht durch einfache Maßnahmen in der mechanischen Anordnung der Stereokameraeinrichtung 1 gleichbleibend gehalten werden können, muss mittels geeigneter Verfahren ermittelt werden, wie sich die Systemeigenschaften der Stereokameraeinrichtung 1 zeitlich ändern, um diese eventuell nachgeschaltet korrigieren zu können.
Nach Aufbau der Wärmebildkameras 3a, 3b der Stereokameraeinrichtung 1 können Restfehler vorhanden sein, die nicht durch mechanische Justage eliminiert werden können. Derartige Fehler kann man nur durch eine Kalibrierung vor Ort mit Hilfe von geeigneten Bildverarbeitungsmethoden auf der Bildverarbeitungseinrichtung 7 reduzieren. In 3 ist dazu die Grundstruktur als Teil einer erfindungsgemäßen Stereokameraeinrichtung 1 gezeigt. Die Wärmebildkameras 3a, 3b sind auf einer Basisstruktur 14 in einem Gehäuse 15 zueinander in definiertem Abstand angeordnet und ausgerichtet. Das Gehäuse 15 weist Ausblickfenster 16 für die Beobachtungsstrahlengänge bzw. Sichtlinien 17a, 17b für die Sehfelder 4a, 4b der Wärmebildkameras 3a, 3b auf. Wenn die Wärmebildkameras 3a, 3b auf die Basisstruktur 14 im vorzugsweise klimatisierten Gehäuse 15 montiert sind, addieren sich alle bisherigen Restfehler zu den Montagefehlern und den durch die Ausblickfenster 16 verursachten Winkelfehlern. Zur Startkalibrierung werden geeignete Targets bzw. Ziele 18 in der Landschaft an bekannter Position eingesetzt. Als Ziele 18 eignen sich beispielsweise Pfosten, Tafeln oder dergleichen. Die Entfernung sollte idealerweise der späteren Arbeitsentfernung entsprechen. Der Startkalibriervorgang erfolgt dann durch Lokalisierung der Ziele 18 durch die Stereokameraeinrichtung 1 mit einer Messung der zugehörigen Winkelkoordinaten und einem Vergleich mit den tatsächlichen bekannten Positionen der Ziele 18 in der Landschaft. Das Resultat ist eine konstante Eichung der Wärmebildkameras 3a, 3b, d. h. den einzelnen Pixeln werden Feldwinkel zugeordnet. Des Weiteren erfolgt ein Plausibilitätstest mit den bekannten Wärmebildkameradaten. Da sich ab diesem Zeitpunkt Änderungen in der Anordnung ergeben können, beispielsweise durch Temperaturänderungen bedingte Verbiegungen der Basisstruktur 14, sollte anschließend bereits die erste Messung der Nachführkalibrierung durchgeführt werden. Somit ist es möglich die Stereokameraeinrichtung 1 derart automatisch zu kalibrieren, dass über sehr lange Zeiträume hochgenaue stereoskopische Messungen ermöglicht werden. Dadurch können Systemgenauigkeiten erzielt werden, die durch passive Maßnahmen nicht erreichbar sind. Es erfolgt eine automatische Nachführkalibrierung bzw. Selbstkalibrierung, die Veränderungen gegenüber den bei der Startkalibrierung vorhandenen Systemparametern ermittelt.
Wie aus 4 ersichtlich, wird erfindungsgemäß eine Stereokameraeinrichtung 1 mit zwei justierten zueinander in definiertem Abstand angeordneten und ausgerichteten Wärmebildkameras 3a, 3b vorgeschlagen, welche mit einer Kalibriereinrichtung 19 zu deren fortlaufenden automatischen Kalibrierung versehen ist, wobei die Kalibriereinrichtung 19 einen Referenzstrahlengang 20 mit einer als thermoelektrisches Element bzw. Peltierelement mit einer Referenzstruktur ausgebildeten Strahlungsquelle 21 aufweist, mittels welchem ein Referenzbild von der Strahlungsquelle 21 auf die jeweilige Wärmebildkamera 3a, 3b abgebildet wird, wobei ein von der Strahlungsquelle 21 ausgehendes kollimiertes Strahlenbündel 22 in zwei Teilstrahlenbündel 22a, 22b geteilt wird, wobei die zwei Teilstrahlenbündel 22a, 22b jeweils über ein der jeweiligen Wärmebildkamera 3a, 3b zugeordnetes optisches Umlenkelement 23a, 23b auf diese gelenkt werden und wobei die optischen Umlenkelemente als Pentaprismen 23a, 23b ausgebildet sind. Der Referenzstrahlengang 20 weist zur Kollimierung der Strahlenbündel einen Kollimator 24 auf.
Wie weiter aus der 4 ersichtlich, weisen die Wärmebildkameras 3a, 3b Detektoren 25a, 25b mit nicht näher dargestellten Einzeldetektorelementen auf. Die Pentaprismen 23a, 23b weisen Eintrittsflächen 26a, 26b und Austrittsflächen 27a, 27b auf. Die Austrittsflächen 27a, 27b der Pentaprismen 23a, 23b sind wenigstens annähernd im Bereich der Eintrittspupillen 28a, 28b der jeweiligen zugeordneten Wärmebildkameras 3a, 3b angeordnet.
In 5 sind die Beobachtungsstrahlengänge 17a, 17b und der Referenzstrahlengang 20 der erfindungsgemäßen Stereokameraeinrichtung 1 stark vereinfacht angedeutet. Wie durch die Winkel 29 gezeigt, resultiert eine etwaige Winkelveränderung des Kollimators 24 in gleichsinnigen Ablagen in beiden Wärmebildkameras 3a, 3b bzw. auf deren Detektoren 25a, 25b. Die Referenzstrahlen bzw. Teilstrahlenbündel 22a, 22b für beide Wärmebildkameras 3a, 3b bleiben jedoch in jedem Fall senkrecht zur aktuellen Achse des Kollimators 24, so dass die Sichtlinien 17a, 17b der beiden Wärmebildkameras 3a, 3b gegebenenfalls kontrolliert und elektronisch nachgeführt werden können.
In 6 ist eine weitere Ausführungsform einer erfindungsgemäßen Stereokameraeinrichtung 1' mit einem symmetrisch ausgeführten Referenzstrahlengang 20' dargestellt. Dazu ist ein optisches Teilerelement 30 zur Teilung des Strahlenbündels 22 in die Teilstrahlenbündel 22a, 22b vorgesehen. Das optische Teilelement ist als 90-Grad-Prisma 30 ausgebildet. Es ist vor teilhaft, den Referenzstrahlengang 20 möglichst symmetrisch aufzubauen, damit die geometrischen Verhältnisse für beide Wärmebildkameras 3a, 3b möglichst gleich sind. Dies ist in einfacher Weise mit einem entsprechend verspiegelten 90-Grad-Prisma 30 zur Pupillenteilung im Referenzstrahlengang 20 möglich. Die nachfolgende Fehleranalyse zeigt, dass durch das zusätzliche 90-Grad-Prisma 30 keine neuen Fehler entstehen können, welche nicht erkennbar sind.
Ein Referenzstrahlengang 20, 20' darf selbstverständlich nicht selbst unkontrollierbare Fehler erzeugen. Mögliche Fehlerquellen bei der erfindungsgemäßen Stereokameraeinrichtung 1, 1' sind in erster Linie ungewollte Veränderungen der Positionierung der hinzugefügten optischen Elemente (Pentaprismen 23a, 23b, 90-Grad-Prisma 30 und Kollimator 24). Rein translatorische Verschiebungen sind dabei eher unproblematisch. Da die hinzugefügten optischen Bauelemente 23a, 23b, 24, 29 nur Planflächen aufweisen und im kollimierten Strahlengang 22 angeordnet sind, kann lediglich eine Pupillenverschiebung und keine Änderung der Bildlage auftreten.
Für die Genauigkeit der Positionsgeschwindigkeitsberechnungen sind alle Winkeländerungen in der Bezugsebene, welche vorliegend von der Basisstruktur 14 und den Sichtlinien 17a, 17b der Wärmebildkameras 3a, 3b aufgespannt wird, besonders kritisch. Eine Verdrehung der Pentaprismen 23a, 23b bewirkt aufgrund des besonderen Funktionsprinzips dieser Bauelemente keine Winkeländerungen und erzeugt somit keine zusätzlichen Fehler. Eine Verkippung des Kollimators 24 bewirkt wiederum eine gleichsinnige Verschiebung der Referenzbilder in beiden Wärmebildkameras 3a, 3b (siehe 7 bzw. dort Winkel 29), welche erkannt und kompensiert werden können und somit auch keinen Fehler erzeugt.
Aus einem Kippwinkel α₁ des Kollimators 24 ergibt sich die resultierende fehlerhafte Abweichung δ₁ des einzelnen Referenzbildes auf dem jeweiligen Detektor 25a, 25b mit Hilfe der Brennweite F_W der Wärmebildkamera 3a, 3b zu: Ablagefehler δ1 = FW·tan α1 [mm].
Eine Verkippung des 90-Grad-Prismas 30 hat wie bei dem Kollimator 24 eine gleichsinnige Verschiebung der Referenzbilder in beiden Wärmebildkameras 3a, 3b zur Folge, die ebenfalls kompensiert werden kann, so dass keine weiteren Fehler entstehen (siehe 8 bzw. dort Winkel 29).
Aus dem Kippwinkel α₂ des 90-Grad-Prismas 30 ergibt sich die resultierende fehlerhafte Abweichung δ₂ der einzelnen Referenzbilder auf dem jeweiligen Detektor 25a, 25b mit Hilfe der Brennweite F_W der Wärmebildkameras 3a, 3b zu: Ablagefehler δ2 = FW·tan 2α2 [mm].
Eine Rotation des Kollimators 24 um seine optische Achse erzeugt eine gleichsinnige Rotation der Referenzbilder in beiden Wärmebildkameras 3a, 3b, da die Bildlagen in beiden Wärmebildkameras 3a, 3b, wie in 9 angedeutet, gleich sind. Auch diese Abweichung kann kompensiert werden, so dass keine neuen Fehler entstehen. Die jeweiligen Bildlagen sind in 9 durch gekreuzte Pfeile 31 angedeutet.
Die Auswirkungen von fehlerhaften Verkippungen der optischen Bauelemente 23a, 23b, 24, 29 senkrecht zur Bezugsebene sind weniger gravierend, da sie nicht direkt in die Genauigkeit der Stereoauswertung eingehen. Eine Verkippung des Kollimators 24 und/oder des 90-Grad-Prismas 30 wirkt wiederum gleichsinnig auf beide Wärmebildkameras 3a, 3b und kann daher erkannt und kompensiert werden. Eine Verkippung eines einzelnen Pentaprismas 23a, 23b führt zu einer Verschiebung des Referenzbildes auf der zugehörigen Wärmebildkamera 3a, 3b, die nicht von den Fehlern des übrigen Messsystems zu unterscheiden ist und daher zu einem zusätzlichen Fehler führen kann. Bei entsprechend stabilem Aufbau kann man jedoch davon ausgehen, dass derartige Fehler gering bzw. selten und damit tolerierbar sind.
Aus dem Kippwinkel β₃ des Pentaprismas 23a, 23b ergibt sich die resultierende fehlerhafte Abweichung δ₃ des zugehörigen Referenzbildes auf dem Detektor 25a, 25b bzw. der Wärmebildkamera 3a, 3b mit Hilfe der Brennweite F_W der Wärmebildkameras 3a, 3b zu: Ablagefehler δ3 = FW·tan β3 [mm].
Die Eintrittspupille des Kollimators 24 liegt in seinem Objektiv (nicht näher bezeichnet), während die Eintrittspupillen 28a, 28b der Objektive der Wärmebildkameras 3a, 3b in relativ geringem Abstand vor dem jeweils ersten Linsenscheitel liegen. Da sonst keinerlei Linsenoptik im Referenzstrahlengang 20, 20' vorgesehen ist, ergibt sich das maximal übertragbare Referenzsehfeld FOV_REF des Referenzstrahlengangs 20, 20' aus der Größe des Pentaprismas 23a, 23b und der Basislänge b (im vorliegenden Ausführungsbeispiel ist b = 1,5 m). Für größere Feldwinkel werden die Strahlenbündel bis zu 100% beschnitten. Aus der in 10 dargestellten Geometrie ergibt sich, dass nur dann ein Feldpunkt von einer Wärmebildkamera 3a, 3b noch mit endlicher Helligkeit abgebildet werden kann, wenn das zugehörige Strahlenbündel auf die Eintrittsfläche 26a, 26b des zugehörigen Pentaprismas 23a, 23b trifft. Aus der Winkelbedingung für das gerade nicht mehr auftreffende Randstrahlenbündel (Vergleich auf vollständigen Beschnitt des Bildpunktes) ergibt sich ein Randwinkel α des Sehfelds für den Referenzstrahlengang 20' zu: Sehfeldrandwinkel α3 = arc tan p/b,wobei b die Basislänge und p die Höhe der Eintrittsfläche 26a, 26b des Pentaprismas 23a, 23b ist. Das volle Sehfeld FOV_REF ist doppelt so groß, d. h. Referenzsehfeld FOVREF = 2α3.
Für b = 3 m und p = 10 mm ergibt sich für α₃ = 0,2 Grad. Das volle Referenzsehfeld FOV_REF ist also ca. 0,4 Grad, was ungefähr 24 Pixeln entspricht. Die Helligkeit ist in der Mitte maximal und fällt zum Rand hin auf 0% ab. Auf dem Detektor 25a, 25b der Wärmebildkamera 3a, 3b mit 640×512 Pixeln nimmt das Referenzbild maximal 24×24 Pixel in Anspruch.
Die Teilung des Strahlengangs in Beobachtungsstrahlengang 17a, 17b und Referenzstrahlengang 20, 20' sollte in der Eintrittspupille 28a, 28b der Wärmebildkamera 3a, 3b geschehen, damit die Bildqualität nicht beeinträchtigt wird. Ein realistisches Teilungsverhältnis ist aus 11 ersichtlich. Im vorliegenden Ausführungsbeispiel weist die Eintrittspupille 28a, 28b der Wärmebildkamera 3a, 3b einen Durchmesser von 27,5 mm auf.
Das Pentaprisma 23a, 23b weist eine Fläche von 10 mm × 10 mm auf, wobei eine Abschattung 32 der Pupille 28a, 28b der Wärmebildkamera 3a, 3b von 11 mm × 11 mm vorhanden ist. Die Pupille des Referenzstrahlengangs 20, 20' beträgt daher 10 mm × 10 mm.

Bedingt durch die räumliche Ausdehnung des Pentaprismas 23a, 23b entsteht ein zusätzlicher Flächenverlust durch Abschattung, wie in 12 dargestellt. Das resultierende Sehfeld 33 ist in 12 nochmals gezeigt. Durch das eingefügte Pentaprisma 23a, 23b und die Abschattung 32 wird die Fläche der Eintrittspupille 28a, 28b des Beobachtungsstrahlengangs 17a, 17b der Wärmebildkamera 3a, 3b verkleinert, wodurch sich die F-Zahl etwas verschlechtert.

	Wärmebildkamera 3a, 3b vorher	Wärmebildkamera 3a, 3b mit Pentaprisma 23a, 23b	Pentaprisma 23a, 23b
Eintrittspupillenfläche [mm²]	⌀27,5 = 594	594 – 11 × 11 = 473	10 × 10 = 100
Effektiver Durchmesser der Eintrittspupille [mm]	27,5	24,5	11,3
Effektive F-Zahl	F/2.0	F/2.24	F/4.9

Die Eintrittsfläche 26a, 26b des Pentaprismas 23a, 23b stellt die wirksame Pupillenfläche für den Referenzstrahlengang 20, 20' dar. Wie in 13 dargestellt, schaut die Wärmebildkamera 3a, 3b mit dem größten Teil 34 ihrer Eintrittspupille 28a, 28b an dem Pentaprisma 23a, 23b vorbei. Der kleinere Teil 35 der Eintrittspupille 28a, 28b schaut durch das Pentaprisma 23a, 23b in Richtung des Kollimators 24. Aufgrund der großen Schnittweite bzw. Basislänge b und der kleinen Kollimatorpupille füllt der Kollimator 24 aber nur den sehr kleinen Teil 35 des Sehfelds mit einem Durchmesser von 23 mm aus, während der weitaus größere Teil 34 der Eintrittspupille 28a, 28b am Kollimator 24 vorbeischaut. Der Teil 35 muss mit geeigneten Blenden abgeblockt werden, um zu verhindern, dass unerwünschte Bildinformationen (z. B. von heißen Gerätekomponenten oder dergleichen) erfasst werden.
In 14 ist ein Pentaprisma 23a, 23b mit den mechanischen Abmessungen und dem Funktionsprinzip dargestellt. Die Höhe der Eintrittsfläche 26a, 26b ist mit x bezeichnet. Durch zweifache 45 Grad-Ablenkung erzeugen die Pentaprismen 23a, 23b einen ausfallenden Strahl, der innerhalb der Fertigungstoleranzen unter einem Winkel von 90 Grad zum einfallenden Strahl verläuft. Diese 90 Grad-Ablenkung ist unabhängig vom Einfallswinkel in der durch diese Strahlen aufgespannten Ebene. In der Praxis bedeutet dies, dass ein Pentaprisma 23a, 23b unabhängig von seiner Winkelposition den einfallenden Strahl immer um 90 Grad ablenkt. Eine fehlerhafte Position des Pentaprismas 23a, 23b erzeugt also keine fehlerhafte Ablage von der gewünschten 90 Grad-Richtung.
Die Genauigkeit der Strahlablenkung wird durch die herstellungsbedingten Winkeltoleranzen des Pentaprismas 23a, 23b bestimmt. Aus den Winkelfehlern α₄, β₄ und γ₄ und der Brechzahl n des Prismensubstrats ergibt sich, wie in 15 dargestellt, der gesamte Winkelfehler des ausfallenden Strahls zu δ₄ = n·(3α₄ + β₄ + γ₄).
Außer den Winkelfehlern in der Tangentialebene kann ein Pentaprisma 23a, 23b auch herstellbedingte Pyramidalfehler haben. Die Pyramidalfehler lassen sich gedanklich auf die Verkippung der reflektierenden Fläche zurückführen. Bei Pentaprismen 23a, 23b ergibt sich dadurch, bezogen auf die Tangentialebene (Zeichenebene in 15), eine entsprechende Winkelauslenkung. Als weiterer Fehler kommt hinzu, dass die Flächen nicht eben sein müssen, sondern eine sehr flache Krümmung aufweisen können, die zu einer Brechkraft führt. Aus schleiftechnischen Gründen ist diese oft positiv; im allgemeinen Fall wird sie auch zylindrisch sein. Das Pentaprisma 23a, 23b ist dann eine Vereinigung von einer Linse mit Hohlspiegeln und bildet ein optisches System mit einer entsprechenden Brechkraft. Wie aus 16 ersichtlich, erzeugen Positionierungsfehler in der Tangentialebene keine Winkelfehler, sondern haben nur einen Strahlversatz δy zur Folge. Solange das Pentaprisma 23a, 23b im kollimierten Strahlengang betrieben wird, bedeutet dies lediglich einen Pupillenversatz δy, der in der Regel unbedenklich ist. Die Positionierungsfehler sind in 16 gestrichelt angedeutet. Bei der linken Teilfigur in 16 handelt es sich um einen Winkelfehler, bei der mittleren Teilfigur um eine radiale Verschiebung und bei der rechten Teilfigur um eine axiale Verschiebung.
In 17 ist eine dritte Ausführungsform einer erfindungsgemäßen Stereokameraeinrichtung 1'' mit zwei justierten, zueinander in definiertem Abstand angeordneten und ausgerichteten Wärmebildkameras 3a, 3b dargestellt, welche mit einer Kalibriereinrichtung 19'' zu deren fortlaufenden automatischen Kalibrierung versehen ist, wobei als Kalibriereinrichtung 19'' die beiden Wärmebildkameras 3a, 3b jeweils im Bereich ihrer Eintrittspupillen 28a, 28b ein als Pentaprisma 23a, 23b ausgebildetes optisches Umlenkelement aufweisen, welches die von der ersten Wärmebildkamera 3a bzw. von deren Detektor 25a ab gegebene eigene Wärmestrahlung als Referenzbild in den Beobachtungsstrahlengang 17b der zweiten Wärmebildkamera 3b umlenkt.
Um die Sichtlinien 17a, 17b der beiden Wärmebildkameras 3a, 3b ausgerichtet zu halten, kann auch passiv (ohne zusätzliche Wärmequelle bzw. Strahlungsquelle 21) ein direkter Bezug zwischen den beiden Achsen der Wärmebildkameras 3a, 3b hergestellt werden. Dazu wird wechselseitig jeweils ein kleiner Teil der Pupille einer Wärmebildkamera 3a, 3b mit Prismen 23a, 23b oder Spiegeln in die Pupille der jeweils anderen Wärmebildkamera 3a, 3b umgelenkt. Da die Temperatur der Detektoroberflächen relativ zur Szene sehr niedrig ist, sieht jede Wärmebildkamera 3a, 3b einen kalten Bildausschnitt der Detektorfläche seines Gegenübers eingebettet in die Szene. Benutzt man für die Umlenkung Pentaprismen 23a, 23b, dann ist wiederum sichergestellt, dass die durch zweifache Umlenkung erzeugten Referenzstrahlen immer parallel zum Ausgangsstrahl sind, unabhängig von der genauen Winkelposition des jeweiligen Pentaprismas 23a, 23b und somit das Referenzsystem keine neuen Fehler erzeugt.
Wärmebilddetektorarrays zeigen typischerweise eine starke Inhomogenität ihrer Einzeldetektoren bezüglich Dunkelstrom und Verstärkung. Um trotzdem eine akzeptable Bildqualität zu erreichen, muss deshalb mindestens eine Kalibrierung der Detektorelemente durchgeführt werden. Diese ist bekannt als Non-Uniformity Correction (NUC). Für eine gute Homogenisierung des Bildhintergrunds ist dies in der Regel aber nicht ausreichend, da es im Infrarotbereich außer der gewünschten Szenenstrahlung noch andere Strahlungsquellen gibt, die unerwünscht zur Bildinformation beitragen. Wie aus 18 für einen Ausschnittsbereich der erfindungsgemäßen Stereokameraeinrichtung 1' ersichtlich, gibt es die folgenden Einstrahlungsmechanismen. Die Innenflächen des Messaufbaus strahlen über die Restreflexion von Linsen, Prismen 23a und Ausblickfenstern 16 auf die Detektorfläche. Dieser Effekt tritt auch in jeder Wärmebildkamera 3a auf. Die Befestigungsteile des Pentaprismas 23a bestrahlen den Detektor 25a homogen, da sie in der Eintrittspupille 28a liegen. Der unvermeidliche Sehfeldbeschnitt im Referenzstrahlengang 20 durch einen Tubus 36, bedeutet, dass umgekehrt die Tubuswände in das Sehfeld stark und zudem auch inhomogen einstrahlen. Das Referenzbild im Kollimator 24 und die umgebenden Strukturen werden zwangsläufig auf den Detektor 25a der Wärmebildkamera 3a scharf abgebildet. Insgesamt ergibt sich ein hoher Strahlungsuntergrund. Wirksame Maßnahmen zur Verringerung dieses Effekts sind z. B. mattschwarze Innenflächen des Tubus 36 mit zusätzlichen Blendenringen 36a sowie eine raue mattschwarze Ausführung der Fläche des Referenzbilds und des Inneren des Kollimators 24 sowie Einbringung einer Sehfeldblende 37 in einer Zwischenbildebene des Objektivs der Wärmebildkamera 3a. Trotzdem ist eine umfassende Kalibrierung unter Einbeziehung möglichst vieler unerwünschter Strahlungsquellen zusätzlich notwendig. Aufgrund der zu erwartenden starken und zudem inhomogenen Einstrahlung aus dem Referenzstrahlengang 20' in die Wärmebildkamera 3a sollte die Kalibriermethode möglichst viele dieser Strahlungsanteile erfassen können. Die unerwünschten Strahlungsanteile sind in 18 durch gestrichelte Pfeile angedeutet. Da sich die Geräteinnentemperatur und die Szenentemperatur (z. B. kalter Himmel) häufig extrem unterscheiden, sollte die Kalibrierung möglichst bei einer Temperatur nahe der Szenentemperatur durchgeführt werden. In Ausbreitungsrichtung des Beobachtungslichts der Wärmebildkamera 3a ist vor dem Pentaprisma 23a der Wärmebildkamera 3a zur Kalibrierung des Detektors 25a der Wärmebildkamera 3a eine in den Beobachtungsstrahlengang 17a der Wärmebildkamera 3a ein- und ausschwenkbare Defokussierlinse 37 vorgesehen. Wird die Defokussierlinse 38 zwischen dem Pentaprisma 23a und dem Ausblickfenster 16 platziert, erfasst man praktisch alle unerwünschten Einstrahlungsanteile.
Die Szene bzw. Landschaft ist mit dem Bezugszeichen 39 versehen.
In 19 ist der normale Betriebsfall mit ausgeschwenkter Defokussierlinse 38 dargestellt, bei dem der Beobachtungs strahlengang 17a und Referenzstrahlengang 20' auf den Detektor 25a fokussiert werden. Der Detektor 25a sieht darüber hinaus unerwünschte Wärmestrahlung aus dem Tubus 36 und dem Geräteinneren.
In 20 ist die Defokussierlinse 38 für die Kalibrierung eingeschwenkt, wodurch der Beobachtungsstrahlengang 17a gezielt defokussiert wird und das Bild der Szene 39 auf dem Detektor 25a verschmiert wird. Insgesamt erfährt der Detektor 25a dadurch eine quasi homogene Ausleuchtung mit Wärmestrahlung, deren Intensität der Szenentemperatur entspricht. Zusätzlich trifft wieder die unerwünschte Wärmestrahlung aus dem Tubus 36 und dem Geräteinneren auf den Detektor 25a. Wird in dieser Konfiguration nun eine Kalibrierung durchgeführt, dann werden zusätzlich zum szenentypischen Strahlungshintergrund alle unerwünschten Effekte erfasst und können so durch geeignete Bildkorrekturalgorithmen aus den nachfolgend aufgenommenen Wärmebildern beseitigt werden. Um zu verhindern, dass die Referenzstrichmarke bzw. das Referenzbild bei der Kalibrierung sozusagen eingebrannt wird, d. h. in die Kalibrierung mit einfließt, muss die Wärmequelle bzw. Strahlungsquelle 21 hinter der Referenzstruktur abgeschaltet oder besser noch auf die Geräteinnentemperatur geregelt werden. Dies erfolgt durch den thermoelektrischen Kühler bzw. das Peltierelement der Strahlungsquelle 21.
Auf der Bildverarbeitungseinrichtung 7 kann nun im Rahmen der Stereoauswertung ein Verfahren zur fortlaufenden automatischen Kalibrierung der Stereokameraeinrichtung 1, 1', 1'' ausgeführt werden, wobei das Referenzbild auf den zwei Wärmebildkameras 3a, 3b in vorgegebenen, vorzugsweise regelmäßigen Zeitabständen lokalisiert wird, wonach die relative Position und/oder die relative Orientierung des Referenzbilds zu den Referenzbildern der weiteren Wärmebildkameras 3a, 3b bestimmt wird und wonach daraus bei Erkennung einer Veränderung eine entsprechende Korrektur der Parameter für die Stereoauswertung ermittelt und vorgenommen wird.
Aufgrund einer erkannten relativen Verschiebung des Referenzbilds wird eine Verschiebung des Detektors 25a, 25b wenigstens einer der Wärmebildkameras 3a, 3b oder eine Verkippung bzw. Verbiegung wenigstens einer der Wärmebildkameras 3a, 3b parallel und/oder senkrecht zur Bezugsebene oder zu der Basislinie bzw. Basisstruktur 14 der Stereokameraeinrichtung 1, 1', 1'' erkannt. Darüber hinaus wird aufgrund einer relativen Rotation des Referenzbildes eine Verdrehung wenigstens einer der Wärmebildkameras 3a, 3b oder des Detektors 25a, 25b wenigstens einer der Wärmebildkameras 3a, 3b um dessen optische Achse erkannt.
Das erfindungsgemäße Verfahren zur fortlaufenden automatischen Kalibrierung der erfindungsgemäßen Stereokameraeinrichtung 1, 1', 1'' ist vorzugsweise als Computerprogramm auf der Bildverarbeitungseinrichtung 7 der erfindungsgemäßen Stereokameraeinrichtung 1, 1', 1'' realisiert, wobei auch andere Lösungen selbstverständlich in Frage kommen. Dazu ist das Computerprogramm in einem nicht näher dargestellten Speicherelement der Bildverarbeitungseinrichtung 7 gespeichert. Durch Abarbeitung auf einem Mikroprozessor der Bildverarbeitungseinrichtung 7 wird das Verfahren ausgeführt. Das Computerprogramm kann auf einem computerlesbaren Datenträger (Diskette, CD, DVD, Festplatte, USB-Memorystick oder dergleichen) oder einem Internetserver als Computerprogrammprodukt gespeichert sein und von dort aus in das Speicherelement der Bildverarbeitungseinrichtung 7 übertragen werden.

1, 1', 1'': Stereokameraeinrichtung
2: Überwachungsvorrichtung
3a, 3b: Wärmebildkameras
4a, 4b: Sehfelder
5: überlappender Bereich
6, 6': Vögel, Vogelschwarm
7: Bildverarbeitungseinrichtung
8: Schnittstelle
9: Flugsicherungssystem
10: Flugroute der Vögel
11: Flugkorridor
12: Kreuzungsbereich
13: Flugzeug
14: Basisstruktur
15: Gehäuse
16: Ausblickfenster
17a, 17b: Sichtlinien, Beobachtungsstrahlengang
18: Ziele
19, 19', 19'': Kalibriereinrichtung
20, 20', 20'': Referenzstrahlengang
21: Strahlungsquelle
22: Strahlenbündel
22a, 22b: Teilstrahlenbündel
23a, 23b: Pentaprismen
24: Kollimator
25a, 25b: Detektoren
26a, 26b: Eintrittsfläche Pentaprisma
27a, 27b: Austrittfläche Pentaprisma
28a, 28b: Eintrittspupille Wärmebildkamera
29: Winkel
30: optisches Teilerelement/90 Grad-Prisma
31: gekreuzte Pfeile
32: Abschattung
33: resultierendes Wärmebildkamerasehfeld
34: größerer Teil der Eintrittspupille
35: kleinerer Teil der Eintrittspupille
36: Tubus
36a: Blendenringe
37: Sehfeldblende
38: Defokussierlinse
39: Szene
b: Basislänge
n: Brechzahl
α₃: Sehfeldrandwinkel
α₄: Winkelfehler
β₄: Winkelfehler
γ₄: Winkelfehler
δ₄: gesamter Winkelfehler
δ_y: Positionierungsfehler

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- DE 102008018880 [0003]
- DE 102007050558 A1 [0007]
- EP 1484628 A1 [0008]
- JP 01251990 A [0009]

Claims

Stereokameraeinrichtung (1, 1', 1'') mit wenigstens zwei justierten, zueinander in definiertem Abstand angeordneten und ausgerichteten Wärmebildkameras (3a, 3b), welche mit einer Kalibriereinrichtung (19, 19') zu deren fortlaufenden automatischen Kalibrierung versehen ist, wobei die Kalibriereinrichtung (19, 19') eine Strahlungsquelle (21) und einen Referenzstrahlengang (20, 20', 20'') aufweist, mittels welchem ein Referenzbild von der Strahlungsquelle (21) auf die jeweilige Wärmebildkamera (3a, 3b) abgebildet wird, wobei ein von der Strahlungsquelle (21) ausgehendes kollimiertes Strahlenbündel (22) in wenigstens zwei Teilstrahlenbündel (22a, 22b) geteilt wird, wobei die wenigstens zwei Teilstrahlenbündel (22a, 22b) jeweils über wenigstens ein der jeweiligen Wärmebildkamera (3a, 3b) zugeordnetes optisches Umlenkelement (23a, 23b) auf diese gelenkt werden, und wobei wenigstens eines der optischen Umlenkelemente als Pentaprisma (23a, 23b) ausgebildet ist.
Stereokameraeinrichtung nach Anspruch 1, dadurch gekennzeichnet, dass wenigstens ein optisches Teilerelement (29) zur Teilung des Strahlenbündels (22) in die Teilstrahlenbündel (22a, 22b) vorgesehen ist.
Stereokameraeinrichtung nach Anspruch 2, dadurch gekennzeichnet, dass das optische Teilerelement als 90-Grad-Prisma (29) ausgebildet ist.
Stereokameraeinrichtung nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass der Referenzstrahlengang (20', 20'') symmetrisch ausgeführt ist.
Stereokameraeinrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der Referenzstrahlengang (20, 20') einen Kollimator (24) aufweist.
Stereokameraeinrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Strahlungsquelle (21) ein thermoelektrisches Element, insbesondere ein Peltierelement (21) aufweist.
Stereokameraeinrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Austrittsfläche (26a, 26b) des Pentaprismas (23a, 23b) wenigstens annähernd im Bereich der Eintrittspupille (27a, 27b) der jeweiligen zugeordneten Wärmebildkamera (3a, 3b) angeordnet ist.
Stereokameraeinrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass der Referenzstrahlengang (20, 20', 20'') einen Tubus (35) aufweist.
Stereokameraeinrichtung nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass in Ausbreitungsrichtung des Beobachtungslichts der jeweiligen Wärmebildkamera (3a, 3b) vor dem optischen Umlenkelement (23a, 23b) der Wärmebildkamera (3a, 3b) zur Kalibrierung des Detektors (25a, 25b) der Wärmebildkamera (3a, 3b) eine in den Beobachtungsstrahlengang (17) der Wärmebildkamera (3a, 3b) ein- und ausschwenkbare Defokussierlinse (37) vorgesehen ist.
Stereokameraeinrichtung (1'') mit zwei justierten, zueinander in definiertem Abstand angeordneten und ausgerichteten Wärmebildkameras (3a, 3b), welche mit einer Kalibriereinrichtung (19'') zu deren fortlaufenden automatischen Kalibrierung versehen ist, wobei als Kalibriereinrichtung (19'') die beiden Wärmebildkameras (3a, 3b) jeweils im Bereich ihrer Eintrittspupillen (27a, 27b) ein optisches Umlenkelement (23a, 23b) aufweisen, welches die von der ersten Wärmebildkamera (3a) bzw. von deren Detektor (25a) abgegebene eigene Wärmestrahlung, als Referenzbild in den Beobachtungsstrahlengang (17) der zweiten Wärmebildkamera (3b) umlenkt.
Stereokameraeinrichtung nach einem der Ansprüche 1 bis 10, welche wenigstens ein Teil einer Überwachungsvorrichtung (2) für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore (11) von Flughä fen mit einer stereoskopischen Erfassung von sich nähernden oder vorhandenen Vögeln (6) oder Vogelschwärmen (6') zur Durchführung eines Überwachungsverfahrens, ist, wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit, Art und Größe der Vögel (6) oder der Vogelschwärme (6') ermittelbar sind, anhand derer eine Bewertung durchgeführt und gegebenenfalls eine entsprechende Warnmeldung ausgegeben wird, und welche im Bereich der Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder der Flugkorridore angeordnet ist.
Überwachungsvorrichtung (2) für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore (11) von Flughäfen mit einer stereoskopischen Erfassung von sich nähernden oder vorhandenen Vögeln (6) oder Vogelschwärmen (6') zur Durchführung eines Überwachungsverfahrens, wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit, Art und Größe der Vögel (6) oder der Vogelschwärme (6') ermittelbar sind, anhand derer eine Bewertung durchgeführt und gegebenenfalls eine entsprechende Warnmeldung ausgegeben wird, und wobei im Bereich der Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder der Flugkorridore (11) wenigstens eine Stereokameraeinrichtung (1, 1', 1'') gemäß einem der Ansprüche 1 bis 10 mit wenigstens zwei Wärmebildkameras (3a, 3b) vorgesehen ist, welche während der Aufnahme synchron laufen, deren Aufnahmezeitpunkte wenigstens annähernd identisch sind und deren jeweilige Sehfelder (4a, 4b) einen überlappenden Bereich (5) aufweisen.
Verfahren zur fortlaufenden automatischen Kalibrierung einer Stereokameraeinrichtung (1, 1', 1'') nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass das Referenzbild auf den wenigstens zwei Wärmebildkameras (3a, 3b) in vorgegebenen, insbesondere regelmäßigen Zeitabständen lokalisiert wird, wonach die relative Position und/oder die relative Orientierung des Referenzbildes zu den Referenzbildern der weiteren Wärmebildkameras (3a, 3b) bestimmt wird, und wonach daraus bei Erkennung einer Veränderung eine entsprechende Korrektur der Parameter für die Stereoauswertung ermittelt und vorgenommen wird.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass aufgrund einer erkannten relativen Verschiebung des Referenzbildes eine Verschiebung eines Detektors (25a, 25b) wenigstens einer der Wärmebildkameras (3a, 3b) oder eine Verkippung bzw. Verbiegung wenigstens einer der Wärmebildkameras (3a, 3b) parallel und/oder senkrecht zu einer Bezugsebene oder zu einer Basisstruktur (14) der Stereokameraeinrichtung (1, 1', 1'') erkannt wird.
Verfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass aufgrund einer relativen Rotation des Referenzbildes eine Verdrehung wenigstens einer der Wärmebildkameras (3a, 3b) oder eines Detektors (25a, 25b) wenigstens einer der Wärmebildkameras (3a, 3b) um dessen optische Achse erkannt wird.
Verfahren nach Anspruch 13, 14 oder 15, dadurch gekennzeichnet, dass eine Startkalibrierung der Stereokameraeinrichtung (1, 1', 1'') durchgeführt wird.
Computerprogramm mit Programmcodemitteln, um ein Verfahren gemäß einem der Ansprüche 13 bis 16 durchzuführen, wenn dass Programm auf einem Mikroprozessor eines Computers, insbesondere auf einer Bildverarbeitungseinrichtung (7) einer Stereokameraeinrichtung (1, 1', 1'') gemäß einem der Ansprüche 1 bis 11, ausgeführt wird.
Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um ein Verfahren gemäß einem der Ansprüche 13 bis 16 durchzuführen, wenn dass Programm auf einer Bildverarbeitungseinrichtung (7) einer Stereokameraeinrichtung (1, 1', 1'') gemäß einem der Ansprüche 1 bis 11, ausgeführt wird.