DE102009016819B4

DE102009016819B4 - Verfahren zur Detektion wenigstens eines Objekts und/oder wenigstens einer Objektgruppe, Computerprogramm, Computerprogammprodukt, Stereokameraeinrichtung, aktiv Strahlung aussendendes Bildsensorsystem und Überwachungsvorrichtung

Info

Publication number: DE102009016819B4
Application number: DE102009016819A
Authority: DE
Inventors: Dr. Vogel Holger; Dr. Fardi Basel; Jan Schlosshauer
Original assignee: Carl Zeiss Optronics GmbH
Current assignee: Hensoldt Optronics GmbH
Priority date: 2009-04-09
Filing date: 2009-04-09
Publication date: 2011-12-15
Anticipated expiration: 2029-04-10
Also published as: GB2470806B; GB201005935D0; GB2470806A; DE102009016819A1

Abstract

Die Erfindung betrifft ein Verfahren zur Detektion wenigstens eines Objekts und/oder wenigstens einer Objektgruppe in stereoskopisch von einer kalibrierten Stereokameraeinrichtung mit wenigstens einer ersten Kamera und wenigstens einer zweiten Kamera aufgenommenen digitalen Bildsequenzen, wobei – in einem ersten Bild der ersten Kamera relevante Bildbereiche bestimmt werden, welche zu einem oder mehreren Originalclustern gruppiert werden, wonach – die zu den Originalclustern korrespondierenden Cluster in einem ersten Bild der zweiten Kamera anhand eines Ähnlichkeitskriteriums korreliert werden, wonach – die Disparitäten der jeweiligen Originalcluster zu den korrespondierenden Clustern in dem ersten Bild der zweiten Kamera bestimmt werden, wonach – die zu den Originalclustern korrespondierenden Cluster in einem zeitlich versetzt aufgenommenen zweiten Bild der ersten Kamera und/oder der zweiten Kamera anhand des Ähnlichkeitskriteriums korreliert werden und daraus wenigstens ein Verschiebungsvektor des jeweiligen Originalclusters bestimmt wird, wonach – die einzelnen Originalcluster jeweils einem zu detektierenden Objekt oder einer zu detektierenden Objektgruppe zugeordnet werden. Danach werden die Position, die Entfernung und die Geschwindigkeit des zu detektierenden wenigstens einen Objekts und/oder der zu detektierenden wenigstens einen Objektgruppe bestimmt.

Description

Die Erfindung betrifft ein Verfahren zur Detektion wenigstens eines Objekts und/oder wenigstens einer Objektgruppe in stereoskopisch von einer kalibrierten Stereokameraeinrichtung mit wenigstens einer ersten Kamera und wenigstens einer zweiten Kamera aufgenommenen digitalen Bildsequenzen. Des Weiteren betrifft die Erfindung ein Verfahren zur Detektion wenigstens eines Objekts und/oder wenigstens einer Objektgruppe in von wenigstens einem aktiv Strahlung aussendenden Bildsensorsystem aufgenommenen digitalen Bildsequenzen. Die Erfindung betrifft ebenfalls ein Computerprogramm und ein Computerprogrammprodukt zur Ausführung bzw. Durchführung derartiger Verfahren. Darüber hinaus betrifft die Erfindung auch eine Stereokameraeinrichtung, ein aktiv Strahlung aussendendes Bildsensorsystem und eine Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen.
Bei Start und Landung von Flugzeugen kommt es häufig zu Kollisionen mit Vögeln oder Vogelschwärmen. Vogelschwärme bezeichnen dabei Aggregationen von Vögeln meist gleicher Größe und Art, welche oft in dieselbe Richtung fliegen. Insbesondere beim Kreuzen von Flugkorridoren von Flughäfen mit Flugrouten von Vögeln des regionalen oder überregionalen Vogelzugs, welche sich häufig an Landschaftsstrukturen wie Gewässern, Tälern oder Küstenlinien orientieren, ist diese Gefahr stark erhöht. Bei derartigen Kollisionen kann es zu Schäden u. a. an den Triebwerken von Flugzeugen kommen.
In der älteren, nicht vorveröffentlichten DE 10 2008 018 880 A1 wird eine Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen mit einer stereoskopischen Erfassung von sich nähernden oder vorhandenen Vögeln oder Vogelschwärmen zur Durchführung eines Überwachungsverfahrens vorgeschlagen, wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit, Art und Größe der Vögel oder der Vogelschwärme ermittelbar sind. Im Bereich der Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder der Flugkorridore ist wenigstens eine Stereokameraeinrichtung vorgesehen, welche wenigstens zwei zueinander in definiertem und angepasstem Abstand angeordnete, während der Aufnahme synchron laufende, Kameras, insbesondere Wärmebildkameras, aufweist, deren Aufnahmezeitpunkte wenigstens annähernd identisch sind und deren jeweilige Sehfelder einen überlappenden Bereich aufweisen. Das System besteht sonach im Wesentlichen aus zwei Kameras, die parallel ausgerichtet sind und ein Gebiet definierter Größe erfassen können. Die Kameras können beispielsweise so angeordnet werden, dass die Vogelschwärme unter einem Winkel von 90 Grad zur Ausrichtung der Kameras in das Beobachtungsgebiet einfliegen. Eine Auswerteinheit bzw. Bildverarbeitungseinheit verarbeitet die Bildsignale der beiden Kameras und berechnet daraus den Ort und die Geschwindigkeit mit deren Richtung bzw. den Geschwindigkeitsvektor der Vogelschwärme. Das Verfahren basiert auf der Auswertung von Daten des kalibrierten stereoskopischen Kamerasystems. Das Auswerteverfahren sollte die vorstehend angeführten Parameter eines Vogelschwarms möglichst genau und zuverlässig bestimmen.
Die DE 10 2005 055 879 A1 betrifft eine Flugverkehrleiteinrichtung zur Kontrolle und Steuerung des Flugverkehrs im Flughafenbereich mit einer Mehrzahl von auf zugeordnete Bereiche des Flughafens ausrichtbaren Beobachtungskameras, mit einer Videoprojektionseinrichtung in einer Leitzentrale zur Darstellung von mit den Beobachtungskameras erfassten Informationen als Videopanorama.
Das in Tommasi Crudeli, R.: ”The Vectorial 3D Bird Flight Monitoring System: A new tool to track and manage birds an air-ports”, FAA Worldwide Airport Technology Transfer Conference, Atlantic City, USA, April 2007 beschriebene Sensorsystem ist dazu in der Lage, Vogelziele zu identifizieren und – unter Verwendung von geometrischen Beziehungen zwischen den Sensoren und den Zielen – dreidimensional Vögel und Schwärme zu lokalisieren. Das System berechnet die dynamische 3D-Position von fliegenden Vögeln, wobei das Stereoskopieverfahren genutzt wird. Dieses Verfahren erlaubt nicht nur das Vorhandensein von fliegenden Objekten in einem vorgegebenen Bereich zu erfassen, sondern auch deren Koordinaten und Bewegungen zu verfolgen, während sie sich innerhalb des Sichtfeldes des Systems befinden. Das System besteht aus zwei geeignet kalibrierten Videokameras, welche mit einem Personal Computer verbunden sind.
Zum weiteren Stand der Technik wird auf die US 2006/0049930 A1 und die DE 10 2005 008 131 A1 verwiesen.
Ausgehend davon liegt der vorliegenden Erfindung die Aufgabe zugrunde, Verfahren, ein Computerprogramm bzw. ein Computerprogrammprodukt, eine Stereokameraeinrichtung, ein aktiv Strahlung aussendendes Bildsensorsystem und eine Überwachungsvorrichtung der eingangs erwähnten Art zu schaffen, welche den Ort und die Geschwindigkeit bzw. den Geschwindigkeitsvektor von Objekten oder Objektgruppen, insbesondere vögeln oder Vogelschwärmen, zuverlässig und genau detektieren, insbesondere das Auftreten bzw. die Wahrscheinlichkeit von Fehlalarmen verringern.
Diese Aufgabe wird erfindungsgemäß durch Anspruch 1 oder Anspruch 2 gelöst. Hinsichtlich des Computerprogramms bzw. des Computerprogrammprodukts wird die Aufgabe durch Anspruch 15 bzw. Anspruch 16 gelöst. Bezüglich der Stereokameraeinrichtung und des aktiv Strahlung aussendenden Bildsensorsystems wird die Aufgabe durch Anspruch 17 bzw. Anspruch 18 gelöst. Bezüglich der Überwachungsvorrichtung wird die Aufgabe durch Anspruch 19 gelöst.
Durch das erfindungsgemäße Verfahren zur Detektion wenigstens eines Objekts und/oder wenigstens einer Objektgruppe in stereoskopisch von einer kalibrierten Stereokameraeinrichtung mit wenigstens einer ersten Kamera und wenigstens einer zweiten Kamera aufgenommenen digitale Bildsequenzen wird es ermöglicht, mit einem passiven Messverfahren, Objekte oder Objektgruppen zu erfassen und gegebenenfalls als Vögel oder Vogelschwärme zu identifizieren. Die Wahrscheinlichkeit von Fehlalarmen bei Überwachungsverfahren, welche das erfindungsgemäße Verfahren nutzen kann so minimiert werden. Dabei wird insbesondere die Position, die Fluggeschwindigkeit und Flugrichtung bzw. der Fluggeschwindigkeitsvektor eines Vogelschwarms genau und zuverlässig bestimmt. Dadurch kann im Rahmen eines Überwachungsverfahrens eine zuverlässige und frühzeitige Vorwarnung vor Vogelschlag gegeben werden. Dies ermöglicht der Flugsicherung (z. B. DFS) oder Flugsicherungssystemen, Piloten zu informieren oder Starts bzw. Landungen von Flugzeugen gegebenenfalls so zu verändern bzw. zu verschieben oder zu verzögern, dass eine Kollision mit einem Vogel oder einem Vogelschwarm wirksam verhindert wird. Vorteilhaft ist außerdem, dass es sich um ein passives System handelt, da der Betrieb in Flughafennähe erfolgt. Aktiv Strahlung aussendende Bildsensorsysteme wie Radar, Laser oder dergleichen könnten gegebenenfalls zu Störungen anderer, insbesondere ebenfalls aktiver Überwachungssysteme führen. Das erfindungsgemäße Verfahren zur stereoskopischen Detektion wenigstens eines Objekts und/oder wenigstens einer Objektgruppe umfasst eine Bestimmung der Positionen und Entfernungen der zu detektierenden Objekte oder Objektgruppen sowie eine Detektion der Geschwindigkeit bzw. des Geschwindigkeitsvektors mit der Bewegungs- oder Flugrichtung.
Zur Bestimmung der Tiefeninformation bzw. der Entfernungen von Objekten in einem rektifizierten zeitlich synchronisierten Stereobildpaar werden sogenannte Disparitäten ermittelt. Eine (horizontale) Disparität ist dabei als ein eindimensionaler Verschiebungsvektor in Richtung der Bildzeile definiert und gibt ausgehend von einem Bildpunkt im linken Stereobild den korrespondierenden Bildpunkt im rechten Stereobild an. Unter Berücksichtung der Geometrie der Stereokamera kann dann mit Hilfe der Disparitäten die Tiefeninformation des Stereobildes bestimmt werden.
Bei dem erfindungsgemäßen Verfahren zur Detektion wenigstens eines Objekts und/oder wenigstens einer Objektgruppe in stereoskopisch von einer kalibrierten Stereokameraeinrichtung mit wenigstens einer ersten Kamera und wenigstens einer zweiter Kamera aufgenommenen digitalen Bildsequenzen werden:

– in einem ersten Bild der ersten Kamera relevante Bildbereiche bestimmt, welche nach einem stochastischen Schema zu einem oder mehreren Originalclustern gruppiert werden. Um Rechenaufwand zu reduzieren und gleichzeitig die Erkennungsrobustheit zu erhöhen, werden nur relevante Bildbereiche bzw. Bildregionen in Betracht gezogen. Das Ergebnis ist ein Binärbild, in dem den Pixeln der relevanten Bildregionen eine logische Eins zugeordnet wird. Die resultierenden Bildbereiche bzw. Segmente werden dann einem Gruppierungsalgorithmus unterzogen, in dem Untercluster oder Originalcluster entstehen.
– Danach werden die zu den jeweiligen Originalclustern korrespondierenden Cluster in einem ersten Bild der zweiten Kamera anhand eines Ähnlichkeitskriteriums korreliert. Der extrahierte Inhalt aus dem Originalbild bzw. den Originalclustern des ersten Bilds der ersten Kamera wird in einem Korrelationsalgorithmus zum Auffinden der korrespondierenden Bildstrukturen im zweiten Stereobild herangezogen. Dadurch entsteht ein Korrelationsfeld, in dem das Minimum mit Subpixelgenauigkeit repräsentiert ist. Sollte beispielsweise aufgrund von Störungen (z. B. durch Wolken oder dergleichen im Falle von Vögeln als Objekte) keine Korrelation möglich sein, können die aktuellen Bilder verworfen werden, um Fehldetektionen zu vermeiden.
– Anschließend werden die Disparitäten der Originalcluster zu den korrespondierenden Clustern in einem ersten Bild der zweiten Kamera bestimmt. Somit werden die Disparitäten zu diesen Clustern aus dem Stereobildpaar ermittelt.

Daraufhin werden:

– die zu den Originalclustern korrespondierenden Cluster in einem zeitlich versetzt aufgenommenen zweiten Bild der ersten Kamera und/oder der zweiten Kamera anhand des Ähnlichkeitskriteriums korreliert und daraus wenigstens ein Verschiebungsvektor des jeweiligen Originalclusters bestimmt. Somit werden die Verschiebungsvektoren zu den Clustern aus dem aktuellen und einem nachfolgenden oder vorhergehenden Bild ermittelt. Der extrahierte Inhalt aus dem Originalbild wird dementsprechend auch zum Auffinden der korrespondierenden Bildstrukturen im folgenden oder vorhergehenden Bild herangezogen. Dazu kann derselbe Korrelationsalgorithmus wie bei der Bestimmung der Disparitäten des Stereobildpaars eingesetzt werden.
– Anschließend werden die einzelnen Originalcluster jeweils unter Berücksichtigung der Disparität und des wenigstens einen Verschiebungsvektors des Originalclusters, einem zu detektierenden Objekt oder einer zu detektierenden Objektgruppe zugeordnet.
– Eine Position und eine Entfernung des zu detektierenden wenigstens einen Objekts und/oder der zu detektierenden wenigstens einen Objektgruppe von der Stereokameraeinrichtung werden anhand der Position und der Entfernung des wenigstens einen dem zu detektierenden Objekt oder der zu detektierenden Objektgruppe zugeordneten Originalclusters von der Stereokameraeinrichtung, welche sich unter Beachtung der Geometrie der Stereokameraeinrichtung aus der Disparität des wenigstens einen zugeordneten Originalclusters (17a, 17b) ergibt, ermittelt. Somit wird die Tiefeninformation unter Beachtung der verwendeten Stereogeometrie bestimmt. Mit Hilfe der resultierenden Disparitäten wird zu jedem Cluster die Entfernung zu dem im Kamerakoordinatensystem korrespondierenden Objekt ermittelt.
– Anschließend wird die Geschwindigkeit des zu detektierenden wenigstens einen Objekts und/oder der zu detektierenden wenigstens einen Objektgruppe aus dem wenigstens einen Verschiebungsvektor des wenigstens einen zugeordneten Originalclusters (17a, 17b) unter Beachtung der ermittelten Position und Entfernung des wenigstens einen dem zu detektierenden Objekt oder der zu detektierenden Objektgruppe zugeordneten Originalclusters von der Stereokameraeinrichtung bestimmt. Die Geschwindigkeit wird mit Hilfe der Tiefeninformation und der Verschiebungsvektoren ermittelt. Die Geschwindigkeit der Objekte bzw. Objektgruppen ergibt sich aus dem zugehörigen Verschiebungsvektor unter Beachtung der zuvor bestimmten Entfernungsinformation.

Erfindungsgemäß wird alternativ ein Verfahren zur Detektion wenigstens eines Objekts und/oder wenigstens einer Objektgruppe in von wenigstens einem aktiv Strahlung aussendenden Bildsensorsystem aufgenommenen digitalen Bildsequenzen vorgeschlagen, wobei:

– in einem ersten Bild des aktiv Strahlung aussendenden Bildsensorsystems relevante Bildbereiche bestimmt werden, welche nach einem stochastischen Schema zu einem oder mehreren Originalclustern gruppiert werden, wonach
– die zu den Originalclustern korrespondierenden Cluster in einem zeitlich versetzt aufgenommenen zweiten Bild des aktiv Strahlung aussendenden Bildsensorsystems anhand eines Ähnlichkeitskriteriums korreliert werden und daraus wenigstens ein Verschiebungsvektor des jeweiligen Originalclusters bestimmt wird, wonach
– die einzelnen Originalcluster jeweils unter Berücksichtigung des wenigstens einen Verschiebungsvektors des Originalclusters, einem zu detektierenden Objekt oder einer zu detektierenden Objektgruppe zugeordnet werden, wobei
– eine Position und eine Entfernung des zu detektierenden wenigstens einen Objekts und/oder der zu detektierenden wenigstens einen Objektgruppe anhand der Position und der Entfernung des wenigstens einen dem zu detektierenden Objekt oder der zu detektierenden Objektgruppe zugeordneten Originalclusters von dem aktiv Strahlung aussendenden Bildsensorsystem, welche unmittelbar durch das aktiv Strahlung aussendende Bildsensorsystem ermittelt werden, bestimmt wird, und wobei
– die Geschwindigkeit des zu detektierenden wenigstens einen Objekts und/oder der zu detektierenden wenigstens einen Objektgruppe aus dem wenigstens einen Verschiebungsvektor des wenigstens einen dem zu detektierenden Objekt oder der zu detektierenden Objektgruppe zugeordneten Originalclusters unter Beachtung der ermittelten Position und Entfernung wenigstens einen zugeordneten Originalclusters von dem aktiv Strahlung aussendenden Bildsensorsystem bestimmt wird.

Die binären Bildsegmente werden nach einem stochastischen Schema zu Clustern unterschiedlicher Form und Größe gruppiert.
Als aktiv Strahlung aussendende Bildsensorsysteme kommen insbesondere Radarsensoren, Lidarsensoren, Lasersensorsysteme bzw. Laserscanner, Laufzeitkameras oder dergleichen in Betracht.
Vorteilhaft ist es, wenn die Geschwindigkeit der zu detektierenden wenigstens einen Objektgruppe aus einem gewichteten Mittelwert der Geschwindigkeiten der unterschiedlichen der entsprechenden Objektgruppe zugeordneten Originalcluster bestimmt wird. Die Geschwindigkeit einer Objektgruppe bzw. eines gesamten Vogelschwarms wird durch Bildung des gewichteten Mittelwerts der Geschwindigkeiten der verschiedenen Cluster bestimmt.
Vorteilhaft ist es außerdem, wenn die relevanten Bildbereiche eine ausreichend hohe bewegungsbedingte Änderung aufweisen.
Durch diese Maßnahmen wird der Rechenaufwand reduziert und gleichzeitig die Erkennungsrobustheit erhöht. Es werden nur Bildregionen in Betracht gezogen, welche eine ausreichend große Bewegung aufweisen. Dazu kann der Inhalt des aktuellen Bilds aus dem Inhalt eines Hintergrundbilds pixelweise subtrahiert werden. Dieses Hintergrundbild wird ständig aktualisiert, um Änderungen in der betrachteten Szene zu berücksichtigen. Diese Aktualisierung kann parametrisiert ausgeführt sein und je nach Geschwindigkeit der gesuchten Objekte optimal gesteuert werden. Es kann somit eine Bewegungsdetektion mittels Differenzbildung erfolgen. Da eine derartige Differenzbildung auch bei geringen Unterschieden der betrachteten Bilder, welche beispielsweise durch Rauschen oder dergleichen verursacht werden, Werte bzw. Ergebnisse zurückliefert, kann eine Schwelle, d. h. ein Schwellwert vorgegeben werden, ab welchem die Differenzwerte als sinnvoll eingestuft werden. Dazu kann ein Histogramm des Bildes analysiert und darin der Hauptanteil der Signalenergie festgestellt werden. Dadurch entsteht ein Binärbild in welchem den Pixeln der relevanten Bildregionen eine logische Eins zugeordnet wird. Es erfolgt dementsprechend eine adaptive Schwellwertbildung zur Erzeugung von binären Bildern.
Erfindungsgemäß kann ferner vorgesehen sein, dass die Gruppierung der relevanten Bildbereiche zu den Originalclustern zufällig erfolgt. Durch die Entstehung von zufälligen Unterclustern wird die Wahrscheinlichkeit der Bildung von Strukturen unterschiedlicher Formen erhöht. Dadurch steigt in vorteilhafter Weise die Anzahl der richtigen Disparitäten sowie der Verschiebungsvektoren. Die Originalcluster bzw. deren korrespondierende Cluster können unterschiedliche Formen und Größen aufweisen.
Die Gruppierung der Originalcluster kann mit unterschiedlichen Clusterabständen erfolgen. Der Clusterabstand kann, ausgehend von einem zulässigen Maximalwert, schrittweise bis zu einem zulässigen Minimalwert reduziert werden, wobei schrittweise bei jedem neu gewählten Clusterabstand neue Originalcluster gruppiert und der Gesamtmenge von Originalclustern hinzugefügt werden.
Die Originalcluster oder deren korrespondierende Cluster können durch ihre umschreibenden bzw. umschließenden Rechtecke in den Bildern der ersten und zweiten Kamera identifiziert und/oder beschrieben werden. Diese Rechtecke werden dazu verwendet, um den Inhalt aus dem Originalbild für die Bestimmung der Disparitäten und der Verschiebungsvektoren zu extrahieren.
Bei der Korrelation kann als Ähnlichkeitskriterium die Summe der absoluten Differenzen verwendet werden. Selbstverständlich können auch weitere in der Stereoauswertung gebräuchliche Kriterien angewendet werden.
Vorteilhaft ist es, wenn ein Plausibilitätsalgorithmus bei dem zu detektierenden wenigstens einen Objekt und/oder der zu detektierenden wenigstens einen Objektgruppe die Disparitäten der jeweils zugeordneten Originalcluster und/oder den wenigstens einen Verschiebungsvektor der jeweils zugeordneten Originalcluster (17a, 17b) überprüft, wobei fehlerhafte Ergebnisse eliminiert werden. Es erfolgt eine Plausibilitätsüberprüfung zur Aussonderung der falschen Disparitäten und Verschiebungsvektoren. Der Plausibilitätsalgorithmus extrahiert sozusagen die richtigen bzw. korrekten Disparitäten und stellt diese zur Ermittlung der Tiefeninformation zur Verfügung. Der Plausibilitätsalgorithmus kann iterativ ausgebildet sein, wobei die Ausreißer aus der Menge der Disparitäten und der Verschiebungsvektoren unter Beachtung vorgegebener Kriterien schrittweise eliminiert werden. Dies erhöht die Zuverlässigkeit und Sicherheit des Verfahrens.
Die Objekte oder Objektgruppen können Vögel oder Vogelschwärme sein.
Vorteilhaft ist, wenn eine zeitliche Betrachtung der Detektion des wenigstens einen Objekts und/oder der wenigstens einen Objektgruppe über wenigstens zwei zeitlich nachfolgende Bilder der Bildsequenzen, insbesondere mittels einer entsprechenden Filterung oder Mittelung erfolgt. Dadurch kann die Stabilität der erfindungsgemäßen Verfahren zusätzlich erhöht werden. Es kann sozusagen eine Art Tracking der Objekte oder Objektgruppen durchgeführt werden.
In Anspruch 17 ist eine Stereokameraeinrichtung mit wenigstens zwei zueinander kalibrierten in einem, insbesondere definierten und angepassten Abstand angeordneten, während der Aufnahme synchron laufenden Kameras, angegeben. Die wenigstens zwei Kameras der Stereokameraeinrichtung können als Kameras im visuellen Bereich mit CCD- oder CMOS-Bildsensoren oder als Wärmebildkameras ausgeführt sein.
In Anspruch 18 ein aktiv Strahlung aussendendes Bildsensorsystem beschrieben.
Die erfindungsgemäßen Verfahren zur Detektion wenigstens eines Objekts und/oder wenigstens einer Objektgruppe sind vorzugsweise als Computerprogramm auf einer Bildverarbeitungseinrichtung der Stereokameraeinrichtung und/oder des aktiv Strahlung aussendenden Bildsensorsystems realisiert. Dazu ist das Computerprogramm in einem Speicherelement der Bildverarbeitungseinrichtung gespeichert. Durch Abarbeitung auf einem Mikroprozessor der Bildverarbeitungseinrichtung wird das Verfahren ausgeführt. Das Computerprogramm kann auf einem computerlesbaren Datenträger (Diskette, CD, DVD, Festplatte, USB-Memorystick oder dergleichen) oder einem Internetserver als Computerprogrammprodukt gespeichert sein und von dort aus in das Speicherelement der Bildverarbeitungseinrichtung übertragen werden.
Ein derartiges Computerprogramm bzw. Computerprogrammprodukt mit Programmcodemitteln ist in Anspruch 15 bzw. Anspruch 16 angegeben.
In Anspruch 19 ist eine Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen mit einer stereoskopischen Erfassung von sich nähernden oder vorhandenen Vögeln oder Vogelschwärmen angegeben. Diese ist in vorteilhafter Weise aufgrund des durch die erfindungsgemäßen Verfahren bedingten genauen und zuverlässigen Erfassens der Position, Fluggeschwindigkeit bzw. Flugrichtung der Vögel und/oder Vogelschwärme in der Lage, eine frühzeitige und zuverlässige Vorwarnung vor Vogelschlag, d. h. vor Kollisionen mit Vögeln und/oder Vogelschwärmen zu geben.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen. Nachfolgend ist anhand der Zeichnungen prinzipmäßig ein Ausführungsbeispiel der Erfindung angegeben.
Es zeigen:
1 eine schematische Darstellung einer erfindungsgemäßen Überwachungsvorrichtung;
2 eine vereinfachte Darstellung einer Anordnung einer erfindungsgemäßen Stereokameraeinrichtung oder eines erfindungsgemäßen aktiv Strahlung aussendenden Bildsensorsystems im Bereich eines Flugkorridors eines Flugzeugs;
3 eine schematische Darstellung zur Verdeutlichung der erfindungsgemäßen Verfahren;
4 ein schematisches Flussdiagramm eines erfindungsgemäßen Verfahrens;
5 ein schematisches Flussdiagramm eines Gruppierungsalgorithmus im Rahmen eines erfindungsgemäßen Verfahrens;
6 ein schematisches Flussdiagramm eines Korrelationsalgorithmus im Rahmen eines erfindungsgemäßen Verfahrens; und
7 ein schematisches Flussdiagramm eines Plausibilitätsalgorithmus zum Einsatz in einem erfindungsgemäßen Verfahren.
Die Erfindung wird nachfolgend im Rahmen einer Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen, insbesondere gegen Vogelschlag, beschrieben. Die Erfindung ist selbstverständlich nicht auf diese Anwendungen beschränkt. Im Folgenden werden dementsprechend Vögel bzw. Vogelschwärme als Objekte bzw. Objektgruppen angesehen.
In 1 ist eine Stereokameraeinrichtung 1 einer Überwachungsvorrichtung 2 für Start- und Landebahnen 14 und/oder Flugkorridore 11 (siehe 2) von Flughäfen mit einer stereoskopischen Erfassung von sich nähernden Vögeln 6 und/oder Vogelschwärmen 6', wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit und Art/Größe der Vögel 6 oder der Vogelschwärme 6' ermittelbar sind, dargestellt. Eine oder mehrere derartiger Stereokameraeinrichtungen 1 sind im Bereich der Start- und Landebahnen 14 und/oder der Flugkorridore 11 angeordnet und weisen wenigstens zwei zueinander in definiertem und angepasstem Abstand angeordnete, während der Aufnahme synchron laufende Wärmebildkameras 3a, 3b auf. In weiteren nicht dargestellten Ausführungsbeispielen könnten auch Kameras im visuellen Bereich mit CCD- oder CMOS-Bildsensoren eingesetzt werden. Die Aufnahmezeitpunkte der Wärmebildkameras 3a, 3b sind wenigstens annähernd identisch und deren jeweilige Sehfelder 4a, 4b weisen einen überlappenden Bereich 5 auf. In dem überlappenden Bereich 5 wird, wie aus 1 ersichtlich, als Objekt ein Vogel 6 erfasst. Die zwei Wärmebildkameras 3a, 3b sind zueinander justiert und kalibriert. Für die Wärmebildkameras 3a, 3b kommen sowohl Wärmebildbereiche wie LWIR, MWIR, VLWIR, FIR als auch SWIR, NIR in Betracht. Insbesondere sind Wärmebildkameras im mittleren Infrarotbereich (MWIR), insbesondere von etwa 3 μm bis 5 μm oder im langwelligen Infrarotbereich, insbesondere von etwa 7 μm bis 14 μm, vorzugsweise von etwa 8 μm bis 12 μm, geeignet. Die Bewegungsrichtung des Vogels 6 ist in 1 mittels eines gestrichelten Pfeils angedeutet. Die Wärmebildkameras 3a, 3b sind vorzugsweise so ausgerichtet, dass die Vögel 6 und/oder Vogelschwärme 6' unter einen Winkel von annähernd 90 Grad zur Kameraausrichtung in das Beobachtungsgebiet einfliegen.
Die Stereokameraeinrichtung 1 weist eine Auswerteeinheit bzw. Bildverarbeitungseinrichtung 7 auf, welche zur Verarbeitung der mit den zwei Wärmebildkameras 3a, 3b aufgenommenen Bilddaten bzw. Bildsignale vorgesehen ist und welche daraus die Position und Fluggeschwindigkeit bzw. Flugrichtung der Vögel 6 bzw. Vogelschwärme 6' berechnet.
Die Stereokameraeinrichtung 1 weist darüber hinaus eine Funkstation 8 als Schnittstelle, insbesondere Netzwerkschnittstelle, zur Kommunikation mit weiteren Stereokameraeinrichtungen 1 oder mit übergeordneten Systemen, insbesondere Flugsicherungssystemen 9, auf (in 1 durch den Doppelpfeil 8' angedeutet). Die Stereokameraeinrichtung 1 arbeitet autonom d. h. eigenständig. Jedoch können mittels der Vernetzung bzw. der Funkübertragung über die Funkstation 8 weitere Stationen bzw. Stereokameraeinrichtungen 1 verbunden werden. Die Informationen wie auch die Aufnahmen stehen somit außerhalb der einzelnen Stationen zur Verfügung. Hauptsächlich werden diese Daten der Flugsicherung übermittelt.
Auf der Bildverarbeitungseinrichtung 7 der Stereokameraeinrichtung 1 läuft u. a. ein Überwachungsverfahren für Startund Landebahnen 14 und/oder Flugkorridore 11 von Flughäfen ab, mit welchem sich nähernde Vögel 6 oder Vogelschwärme 6 stereoskopisch mittels der Überwachungsvorrichtung 2 bzw. der Stereokameraeinrichtung 1 erfasst werden, wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit und Art/Größe der Vögel 6 oder Vogelschwärme 6' bzw. deren Schwarmdichte ermittelt werden. Die Parameter werden dabei mittels einer Stereoauswertung bestimmt. Dabei werden durch die wenigstens zwei Blickwinkel auf den durch die wenigstens zwei Wärmebildkameras 3a, 3b der Stereokameraeinrichtung 1 aufgenommenen Bereich 5 bzw. Beobachtungsbereich absolute Raumpunkte der zu erfassenden Vögel 6 oder Vogelschwärme 6' bestimmt. Die Fluggeschwindigkeit bzw. -richtung der Vögel 6 oder der Vogelschwärme 6' wird durch eine Betrachtung über eine entsprechende Zeitspanne bestimmt. Dies geschieht mit Hilfe des erfindungsgemäßen Verfahrens zur Detektion von Objekten oder Objektgruppen. Auch Vögel 6 oder Vogelschwärme 6' in größerer Entfernung (beispielsweise etwa 20 km) können erfasst werden, wobei eine entsprechend längere Brennweite für die zwei Wärmebildkameras 3a, 3b verwendet wird. Zusätzlich können auch Flugobjekte wie Modellflugzeuge, Lenkdrachen oder dergleichen von der Stereokameraeinrichtung 1 erfasst werden (nicht dargestellt).
Alternativ oder zusätzlich kann die Überwachungsvorrichtung 2 auch ein aktiv Strahlung aussendendes Bildsensorsystem 1 (in 1 gestrichelt angedeutet) aufweisen, welches ebenfalls mit einer Auswerteeinheit bzw. Bildverarbeitungseinrichtung 7 zur Verarbeitung der aufgenommenen Bilddaten bzw. Bildsignale versehen ist, welche daraus die Position, Entfernung und Fluggeschwindigkeit bzw. Flugrichtung der Vögel 6 bzw. Vogelschwärme 6' berechnet. Ebenso weist das aktiv Strahlung aussendende Bildsensorsystem 1' eine Funkstation 8 als Schnittstelle, insbesondere Netzwerkschnittstelle, zur Kommunikation mit weiteren aktiv Strahlung aussendenden Bildsensorsystemen 1', Stereokameraeinrichtungen 1 oder übergeordneten Systemen, insbesondere Flugsicherungssystemen 9, auf. Wie weiter aus 1 ersichtlich, können Vögel 6 in einem Sehfeld 4c des aktiv Strahlung aussendenden Bildsensorsystems 1' erfasst werden. Als aktiv Strahlung aussendende Bildsensorsysteme 1' kommen insbesondere Radarsensoren, Lidarsensoren, Lasersensorsysteme bzw. Laserscanner, Laufzeitkameras oder dergleichen in Betracht.
Anhand der Parameter wird eine Bewertung durchgeführt und gegebenenfalls eine entsprechende Warnmeldung ausgegeben.
Wie aus 2 ersichtlich, überwacht ein aktiv Strahlung aussendendes Bildsensorsystem 1' oder eine Stereokameraeinrichtung 1 mit einem Stereosichtbereich oder überlappenden Bereich 5 eine bekannte Flugroute 10 von Vögeln 6 und/oder Vogelschwärmen 6. Die Kameraeinrichtungen 1, 1 sind dabei so angeordnet, dass ein Flugkorridor 11 bzw. ein Kreuzungsbereich 12 des Flugkorridors 11 mit der bekannten Flugroute 10 der Vögel 6 oder Vogelschwärme 6' überwacht wird. Im Flugkorridor 11 ist ein Flugzeug 13 beispielhaft dargestellt. Ein Ankunftszeitpunkt der erfassten Vögel 6 oder der erfassten Vogelschwärme 6' an dem Kreuzungsbereich 12 mit dem Flugkorridor 11 des Flugzeugs wird ebenfalls bestimmt. Um eine präzise Vorhersage über den Ankunftszeitpunkt der erfassten Vögel 6 oder der erfassten Vogelschwärme 6' machen zu können, sind die Kameraeinrichtungen 1, 1' auf die bekannte Flugroute 10 der Vögel 6 oder Vogelschwärme 6' ausgerichtet. Darüber hinaus können in weiteren Ausführungsbeispielen weitere Kameraeinrichtungen 1, 1' insbesondere in größeren Entfernungen von dem Kreuzungsbereich 12 (z. B. mehrere Kilometer), vorzugsweise entlang der bekannten Flugroute 10 der Vögel 6 oder Vogelschwärme 6' angeordnet sein.
Bei einer Erfassung von Vögeln 6 oder Vogelschwärmen 6' wird gegebenenfalls eine Warnmeldung zur Einleitung von Gegenmaßnahmen bzw. Minderungs- oder Vermeidungsmaßnahmen an das übergeordnete System, insbesondere Flugsicherungssystem 9, oder an startende oder landende Flugzeuge 13 ausgegeben. Die Stereokameraeinrichtung 1 oder das aktiv Strahlung aussendende Bildsensorsystem 1' kann im Rahmen der Überwachungsvorrichtung 2, wie in 2 gestrichelt angedeutet, auch Start- und Landebahnen 14 oder Windkraftanlagen 15 bzw. Gebäude mit transparenten Bereichen 15' überwachen.
In 3 ist das erfindungsgemäße Verfahren zur Detektion von Vögeln 6 oder Vogelschwärmen 6', 6'' in stereoskopisch von der kalibrierten Stereokameraeinrichtung 1 mit der ersten Kamera 3a und der zweiten Kamera 3b aufgenommenen digitalen Bildsequenzen prinzipmäßig veranschaulicht. Dabei werden innerhalb einer ersten aktuellen Bildaufnahme zu einem Zeitpunkt t₁:

– in einem ersten Bild L₁ der ersten Kamera 3a relevante Bildbereiche 16 bestimmt, welche zu Originalclustern 17a, 17b gruppiert werden, wonach
– die zu den Originalclustern 17a, 17b korrespondierenden Cluster 18a, 18b in einem ersten Bild R₁ der zweiten Kamera 3b anhand eines Ähnlichkeitskriteriums korreliert werden, wonach
– die, insbesondere horizontalen, Disparitäten (beide Kameras 3a, 3b sind vorzugsweise in derselben Höhe angeordnet) der jeweiligen Originalcluster 17a, 17b zu den korrespondierenden Clustern 18a, 18b in dem ersten Bild R₁ der zweiten Kamera 3b bestimmt werden, wonach
– innerhalb einer zeitlich versetzt aufgenommenen, nachfolgenden zweiten Bildaufnahme zu einem Zeitpunkt t₂:
– die zu den Originalclustern 17a, 17b korrespondierenden Cluster 19a, 19b, 20a, 20b in einem zeitlich nachfolgenden zweiten Bild L₂, R₂ der ersten Kamera 3a und/oder der zweiten Kamera 3b anhand des Ähnlichkeitskriteriums korreliert werden und daraus wenigstens ein Verschiebungsvektor des jeweiligen Originalclusters 17a, 17b bestimmt wird, wonach
– die einzelnen Originalcluster 17a, 17b jeweils, insbesondere unter Berücksichtigung der Disparität und des wenigstens einen Verschiebungsvektors des Originalclusters 17a, 17b, einem zu detektierenden Objekt 6 oder einer zu detektierenden Objektgruppe 6', 6'' zugeordnet werden, wobei
– die Position und die Entfernung des zu detektierenden wenigstens einen Vogels 6 und/oder des zu detektierenden wenigstens einen Vogelschwarms 6', 6'' von der Stereokameraeinrichtung 1 anhand der Position und der Entfernung des wenigstens einen zugeordneten Originalclusters 17a, 17b von der Stereokameraeinrichtung 1, welche sich unter Beachtung der Geometrie der Stereokameraeinrichtung 1 aus der innerhalb der ersten Bildaufnahme zum Zeitpunkt t₁ bestimmten Disparität des wenigstens einen zugeordneten Originalclusters 17a, 17b ergibt, ermittelt werden, wodurch die absoluten Raumpunkte der Vögel 6 und/oder Vogelschwärme 6' bestimmt werden, und wonach
– die Geschwindigkeiten bzw. die Geschwindigkeitsvektoren mit den Flugrichtungen der zu detektierenden Vögel 6 und/oder Vogelschwärme 6', 6'' aus dem innerhalb der zeitlich versetzt aufgenommenen nachfolgenden zweiten Bildaufnahme zum Zeitpunkt t₂ bestimmten wenigstens einen Verschiebungsvektor des wenigstens einen zugeordneten Originalclusters 17a, 17b unter Beachtung der ermittelten Position und Entfernung des wenigstens einen zugeordneten Originalclusters (17a, 17b) von der Stereokameraeinrichtung 1 bestimmt werden.

Im vorliegenden Ausführungsbeispiel wurde als zeitlich versetzt aufgenommenes zweites Bild ein nachfolgendes Bild L₂, R₂ innerhalb einer nachfolgenden zweiten Bildaufnahme zum Zeitpunkt t₂ verwendet. Alternativ kann in weiteren Ausführungsbeispielen als zeitlich versetzt aufgenommenes zweites Bild auch – ausgehend von dem aktuellen ersten Bild L₁, R₁ – ein vorhergehendes Bild innerhalb einer vorhergehenden zweiten Bildaufnahme zum Zeitpunkt t₂ verwendet werden. Die Anordnung der Zeitpunkte t₁, t₂ entlang des Zeitstrahls in 3 wäre dann vertauscht.
Ebenfalls ist in dem linken Teil der 3 das alternative Verfahren zur Detektion von Vögeln 6 oder Vogelschwärmen 6', 6'' in von dem aktiv Strahlung aussendenden Bildsensorsystem 1' aufgenommenen digitalen Bildsequenzen prinzipmäßig veranschaulicht, wobei:

– in einem ersten Bild L₁ des aktiv Strahlung aussendenden Bildsensorsystems relevante Bildbereiche 16 bestimmt werden, welche zu einem oder mehreren Originalclustern 17a, 17b gruppiert werden, wonach
– die zu den Originalclustern 17a, 17b korrespondierenden Cluster 19a, 19b in einem zeitlich versetzt aufgenommenen nachfolgenden zweiten Bild L₂ des aktiv Strahlung aussendenden Bildsensorsystems 1' anhand eines Ähnlichkeitskriteriums korreliert werden und daraus wenigstens ein Verschiebungsvektor des jeweiligen Originalclusters 17a, 17b bestimmt wird, wonach
– die einzelnen Originalcluster 17a, 17b jeweils, insbesondere unter Berücksichtigung des wenigstens einen Verschiebungsvektors des Originalclusters 17a, 17b, einem zu detektierenden Vogel 6 oder einem zu detektierenden Vogelschwarm 6', 6'' zugeordnet werden, wobei
– die Position und die Entfernung der zu detektierenden Vögel 6 und/oder Vogelschwärme 6', 6'' anhand der Position und der Entfernung des wenigstens einen zugeordneten Originalclusters 17a, 17b von dem aktiv Strahlung aussendenden Bildsensorsystem 1', welche unmittelbar durch das aktiv Strahlung aussendende Bildsensorsystem 1' ermittelt werden, bestimmt wird, und wobei
– die Geschwindigkeit bzw. der Geschwindigkeitsvektor mit den Flugrichtungen der zu detektierenden Vögel 6 oder Vogelschwärme 6', 6'' aus dem wenigstens einen Verschiebungsvektor des wenigstens einen zugeordneten Originalclusters 17a, 17b unter Beachtung der ermittelten Position und Entfernung des wenigstens einen zugeordneten Originalclusters 17a, 17b von dem aktiv Strahlung aussendenden Bildsensorsystem 1' bestimmt wird.

Auch hierbei ist es denkbar als zeitlich versetzt aufgenommenes zweites Bild L₂ ein vorhergehendes Bild zu verwenden.
Die Geschwindigkeiten der Vogelschwärme 6', 6'' werden aus einem gewichteten Mittelwert der Geschwindigkeiten der unterschiedlichen der entsprechenden Objektgruppe 6', 6'' zugeordneten Originalcluster 17a, 17b bestimmt.
Es ist auch möglich unterschiedliche Vogelschwärme 6', 6'' voneinander zu separieren.
Vogelschwärme können mitunter, insbesondere aufgrund von Winden, sehr hohe Geschwindigkeiten erreichen. Starke Abweichungen können beispielsweise aus der Korrelation von unterschiedlichen Schwärmen resultieren. Derartige Abweichungen können unter Berücksichtigung von ornithologischen Studien erkannt werden.
Die relevanten Bildbereiche 16 weisen eine ausreichend hohe bewegungsbedingte Änderung auf. Die Gruppierung der relevanten Bildbereiche 16 zu den Originalclustern 17a, 17b erfolgt nach einem stochastischen Schema bzw. rein zufällig. Dabei könnten in weiteren nicht dargestellten Ausführungsbeispielen auch andere Anzahlen von Vögeln zu Clustern gruppiert werden (z. B. 5 oder 8 Vögel). Die Originalcluster 17a, 17b bzw. deren korrespondierende Cluster 18a, 19a, 20a, 18b, 19b, 20b können unterschiedliche Formen und Größen aufweisen. Wie in 3 gestrichelt angedeutet, werden die Originalcluster 17a, 17b oder deren korrespondierende Cluster 18a, 19a, 20a, 18b, 19b, 20b durch ihre umschreibenden Rechtecke identifiziert.
In 4 ist ein vereinfachtes Flussdiagramm des erfindungsgemäßen Verfahrens zur Detektion von Vögeln 6 oder Vogelschwärmen 6', 6'' in stereoskopisch von der kalibrierten Stereokameraeinrichtung 1 mit der ersten Kamera 3a und der zweiten Kamera 3b aufgenommenen digitalen Bildsequenzen mit weiteren optionalen Verfahrensschritten dargestellt. Dabei wird ausgehend von einem linken Bild L in einem Schritt 101 ein Differenzbild gebildet. Dazu wird der Inhalt des aktuellen Bilds aus dem Inhalt eines Hintergrundbilds pixelweise subtrahiert. Dieses Hintergrundbild wird ständig aktualisiert, um Änderungen in der betrachteten Szene zu berücksichtigen. Danach erfolgt in einem Schritt 102 eine Schwellwertbildung. In einem Schritt 103 wird die Clusterbildung der Originalcluster 17a, 17b durchgeführt, welche in Schritt 104 durch ihre umschreibenden Rechtecke identifiziert werden. Die Originalcluster 17a, 17b werden in einem Schritt 105 dazu verwendet, um das Originalbild zu maskieren. Daraufhin werden in dem nachfolgenden Schritt 106 die Disparitäten der Originalcluster 17a, 17b zu den korrespondierenden Clustern 18a, 18b in dem Bild R der zweiten Kamera 3b bestimmt. In einem Schritt 107 wird dann der optische Fluss, d. h. die Verschiebungsvektoren, ermittelt. Darüber hinaus erfolgt in einem Schritt 108 eine Plausibilitätsüberprüfung der Disparitäten und Verschiebungsvektoren. Anschließend wird nach einer Zuordnung der Originalcluster 17a, 17b zu zu detektierenden Vögeln 6 bzw. Vogelschwärmen 6, 6'' die Entfernung der Vögel 6 bzw. Vogelschwärme 6', 6'' in Schritt 109 bestimmt. Mit Hilfe der Entfernungen wird dann in einem Schritt 110 die 3D-Bewegung, d. h. die Geschwindigkeitsvektoren der zu detektierenden Vögel 6 bzw. Vogelschwärme 6', 6'' aus den Verschiebungsvektoren unter Beachtung der ermittelten Entfernungen bestimmt.
Nachfolgend sind die Schritte 103, 106 und 108 des erfindungsgemäßen Verfahrens zur Detektion von Vögeln 6 oder Vogelschwärmen 6', 6'' in stereoskopisch von der kalibrierten Stereokameraeinrichtung 1 mit der ersten Kamera 3a und der zweiten Kamera 3b aufgenommenen digitalen Bildsequenzen in den 5, 6 und 7 näher dargestellt. Der in 5 dargestellte Schritt 103 weist einen Gruppierungsalgorithmus zur Clusterbildung auf. Die Gruppierung der Originalcluster 17a, 17b erfolgt mit unterschiedlichen Clusterabständen. Der Clusterabstand wird ausgehend von einem zulässigen Maximalwert schrittweise bis zu einem zulässigen Minimalwert reduziert, wobei schrittweise bei jedem neu gewählten Clusterabstand neue Originalcluster 17a, 17b gruppiert und der Gesamtmenge von Originalclustern 17a, 17b hinzugefügt werden. In einem Schritt 103a wird ein maximal zulässiger anfänglicher Clusterabstand vorgegeben. In einem Schritt 103b werden nun die Cluster bzw. Originalcluster 17a, 17b mit dem vorgegebenen Clusterabstand ermittelt und in einem Schritt 103c der Gesamtmenge bzw. Liste von Originalclustern 17a, 17b hinzugefügt. Daraufhin wird mit einer Verzweigung 103d festgestellt, ob bereits der minimale Clusterabstand erreicht wurde. Ist dies der Fall, ist der Schritt 103 beendet. Andernfalls wird in einem Schritt 103e der zulässige Clusterabstand verringert, wonach in einer Schleife mit dem Schritt 103b und dem verringerten Clusterabstand fortgefahren wird. Die Clusterbildung wird abgebrochen, wenn der minimal zulässige Clusterabstand erreicht ist.
Der Schritt 106 zur Bestimmung der Disparitäten weist einen Korrelationsalgorithmus auf. Dieser ist in 6 näher dargestellt. Als Ähnlichkeitskriterium wird bei der Korrelation die Summe der absoluten Differenzen (SAD) verwendet. Zuerst wird in einem Schritt 106a der Quellbereich A (top, left, height, width) des Originalclusters 17a, 17b in dem ersten Bild L₁ der ersten Kamera 3a bestimmt, wonach in dem Schritt 106b der Zielbereich bzw. Suchbereich bzw. Korrelationsbereich S (Xmin, Xmax, Ymin, Ymax) definiert wird, welcher sich in dem ersten Bild R₁ der zweiten Kamera 3b auf die Position des Quellbereichs A in dem ersten Bild L₁ der ersten Kamera 3a bezieht. Nun wird in einem Schritt 106c die erste bzw. nächste Position in dem Korrelationsbereich S zur Korrelation bestimmt, wonach in einem Schritt 106d der SAD-Korrelationswert zwischen dem Quellbereich A des Originalclusters 17a, 17b und dem Korrelationsbereich S bestimmt wird und in einem Schritt 106e in einem Array bzw. einer Ähnlichkeitsmatrix abgespeichert wird. Dies erfolgt für sämtliche Positionen im Korrelationsbereich S. Danach wird in einer Verzweigung 106f festgestellt, ob alle Positionen des Korrelationsbereichs S bereits korreliert wurden. Falls nein, wird in einer Schleife mit Schritt 106c weiter gemacht, falls ja, wird in einem Schritt 106g die subpixelgenaue Position des Minimums in dem Array bzw. der Ähnlichkeitsmatrix bestimmt und diese Position als Verschiebungsvektor gedeutet. Nach dem Schritt 106g ist der Korrelationsalgorithmus beendet. Abhängig von dem gewählten Maß kann in anderen Ausführungsbeispielen statt des zuvor genannten Minimums auch das Maximum bestimmt werden.
Der Schritt 108 zur Plausibilitätsüberprüfung ist in 7 näher dargestellt. Der Schritt 108 weist einen Plausibilitätsalgorithmus auf, welcher bei den zu detektierenden Vögeln 6 und/oder den zu detektierenden Vogelschwärmen 6', 6'' die Disparitäten der diesen jeweils zugeordneten Originalclustern 17a, 17b und/oder den wenigstens einen Verschiebungsvektor der jeweils zugeordneten Originalcluster 17a, 17b überprüft, wobei fehlerhafte Ergebnisse eliminiert werden. Dies wird nachfolgend für die ersten Verschiebungsvektoren erläutert. Dabei wird ein Feld V(x, y) von Verschiebungsvektoren geprüft, wobei ein Mittelwert über alle Elemente des Felds V(x, y) berechnet wird, wonach von allen Verschiebungsvektoren diejenigen entfernt werden, bei welchen eine Differenz ihres Wertes von dem Mittelwert einen vorgegebenen Schwellwert überschreitet. Dies wird durchgeführt, bis keine neuen Elemente mehr entfernt werden müssen. In einem Schritt 108a werden alle Elemente in dem Vektorfeld V(x, y) auf aktiv gesetzt. Danach wird in einem Schritt 108b für jede Dimension des Vektorfelds V(x, y) von allen aktiven Elementen ein Mittelwert gebildet, wonach in einem Schritt 108c die Differenz der Werte der aktiven Elemente des Vektorarrays von dem Mittelwert berechnet wird. In einer Verzweigung 108d wird geprüft, ob wenigstens eine Differenz größer als der vorgegebene Schwellwert ist. Sollte dies nicht der Fall sein, wird der Schritt 108 beendet. Andernfalls werden in einem Schritt 108e diejenigen Elemente auf inaktiv gesetzt, deren Differenz größer als der Schwellwert ist. Danach wird in einer Schleife wieder mit Schritt 108b fortgefahren.
Zur Erhöhung der Zuverlässigkeit bzw. Genauigkeit der stereoskopischen Detektion der Vögel 6 bzw. Vogelschwärme 6', 6'' können ermittelte Detektionsdaten bzw. Parameter von Stereokameraeinrichtungen 1 mit Daten von eventuell redundant vorhandenen weiteren Stereokameraeinrichtungen 1 zur Überprüfung der Plausibilität abgeglichen werden. Derartige aktive Standbysysteme können z. B. in einem Abstand von 500 m angeordnet sein und dieselbe Ausrichtung aufweisen. Damit kann etwa eine z. B. aufgrund einer aufgetretenen Windböe zu hoch berechnete Geschwindigkeit eines Vogelschwarms 6', 6'' korrigiert werden. Dies kann gleichermaßen mit redundanten aktiv Strahlung aussendenden Bildsensorsystemen 1' erreicht werden. Die redundanten Systeme sind grundsätzlich vorgesehen, um bei einem Ausfall einer Stereokameraeinrichtung 1 oder eines aktiv Strahlung aussendenden Bildsensorsystems 1' unmittelbar die ausgefallene Funktion zu übernehmen, sodass die Überwachungsvorrichtung 2 weiterarbeiten kann.
Die erfindungsgemäßen Verfahren sind vorzugsweise als Computerprogramm auf der Bildverarbeitungseinrichtung 7 der Stereokameraeinrichtung 1 und/oder des aktiv Strahlung aussendenden Bildsensorsystems 1' realisiert, wobei auch andere Lösungen selbstverständlich in Frage kommen. Dazu ist das Computerprogramm in einem nicht näher dargestellten Speicherelement der Bildverarbeitungseinrichtung 7 gespeichert. Durch Abarbeitung auf einem Mikroprozessor der Bildverarbeitungseinrichtung 7 wird das Verfahren ausgeführt. Das Computerprogramm kann auf einem computerlesbaren Datenträger (Diskette, CD, DVD, Festplatte, USB-Memorystick oder dergleichen) oder einem Internetserver als Computerprogrammprodukt gespeichert sein und von dort aus in das Speicherelement der Bildverarbeitungseinrichtung 7 übertragen werden.
Bezugszeichenliste

1: Stereokameraeinrichtung
1': Aktiv Strahlung aussendendes Bildsensorsystem
2: Überwachungsvorrichtung
3a, 3b: Wärmebildkameras
4a, 4b, 4c: Sehfelder
5: überlappender Bereich
6, 6', 6'': Vögel, Vogelschwärme
7: Bildverarbeitungseinrichtung
8: Schnittstelle
9: Flugsicherungssystem
10: Flugroute der Vögel
11: Flugkorridor
12: Kreuzungsbereich
13: Flugzeug
14: Start- und Landebahn
15: Windkraftanlage
15': Gebäude mit transparenten Bereichen
16: relevante Bereiche
17a, 17b: Originalcluster Bild L₁
18a, 18b: korrespondierende Cluster Bild R₁
19a, 19b: korrespondierende Cluster Bild L₂
20a, 20b: korrespondierende Cluster Bild R₂
L₁: erstes Bild der ersten Kamera
L₂: zweites Bild der ersten Kamera
R₁: erstes Bild der zweiten Kamera
R₂: zweites Bild der zweiten Kamera
R: rechtes Bild (zweite Kamera)
L: linkes Bild (erste Kamera)
101–110: Verfahrensschritte
103a–103e: Verfahrensschritte der Clusterbildung
106a–106g: Verfahrensschritte der Korrelation
108a–108e: Verfahrensschritte der Plausibilitätsüberprüfung

Claims

Verfahren zur Detektion wenigstens eines Objekts (6) und/oder wenigstens einer Objektgruppe (6, 6'') in stereoskopisch von einer kalibrierten Stereokameraeinrichtung (1) mit wenigstens einer ersten Kamera (3a) und wenigstens einer zweiten Kamera (3b) aufgenommenen digitalen Bildsequenzen, wobei: – in einem ersten Bild (L₁) der ersten Kamera (3a) relevante Bildbereiche (16) bestimmt werden, welche nach einem stochastischen Schema zu einem oder mehreren Originalclustern (17a, 17b) gruppiert werden, wonach – die zu den Originalclustern (17a, 17b) korrespondierenden Cluster (18a, 18b) in einem ersten Bild (R₁) der zweiten Kamera (3b) anhand eines Ähnlichkeitskriteriums korreliert werden, wonach – die Disparitäten der jeweiligen Originalcluster (17a, 17b) zu den korrespondierenden Clustern (18a, 18b) in dem ersten Bild (R₁) der zweiten Kamera (3b) bestimmt werden, wonach – die zu den Originalclustern (17a, 17b) korrespondierenden Cluster (19a, 19b, 20a, 20b) in einem zeitlich versetzt aufgenommenen zweiten Bild (L₂, R₂) der ersten Kamera (3a) und/oder der zweiten Kamera (3b) anhand des Ähnlichkeitskriteriums korreliert werden und daraus wenigstens ein Verschiebungsvektor des jeweiligen Originalclusters (17a, 17b) bestimmt wird, wonach – die einzelnen Originalcluster (17a, 17b) jeweils unter Berücksichtigung der Disparität und des wenigstens einen Verschiebungsvektors des Originalclusters (17a, 17b), einem zu detektierenden Objekt (6) oder einer zu detektierenden Objektgruppe (6', 6'') zugeordnet werden, wobei – eine Position und eine Entfernung des zu detektierenden wenigstens einen Objekts (6) und/oder der zu detektierenden wenigstens einen Objektgruppe (6', 6'') von der Stereokameraeinrichtung (1) anhand der Position und der Entfernung des wenigstens einen dem zu detektierenden Objekt (6) oder der zu detektierenden Objektgruppe (6', 6'') zugeordneten Originalclusters (17a, 17b) von der Stereokameraeinrichtung (1), welche sich unter Beachtung der Geometrie der Stereokameraeinrichtung (1) aus der Disparität des wenigstens einen zugeordneten Originalclusters (17a, 17b) ergibt, ermittelt werden und wonach – die Geschwindigkeit des zu detektierenden wenigstens einen Objekts (6) und/oder der zu detektierenden wenigstens einen Objektgruppe (6', 6'') aus dem wenigstens einen Verschiebungsvektor des wenigstens einen zugeordneten Originalclusters (17a, 17b) unter Beachtung der ermittelten Position und Entfernung des wenigstens einen dem zu detektierenden Objekt (6) oder der zu detektierenden Objektgruppe (6', 6'') zugeordneten Originalclusters (17a, 17b) von der Stereokameraeinrichtung (1) bestimmt wird.
Verfahren zur Detektion wenigstens eines Objekts (6) und/oder wenigstens einer Objektgruppe (6', 6'') in von wenigstens einem aktiv Strahlung aussendenden Bildsensorsystem (1') aufgenommenen digitalen Bildsequenzen, wobei – in einem ersten Bild (L₁) des aktiv Strahlung aussendenden Bildsensorsystems (1') relevante Bildbereiche (16) bestimmt werden, welche nach einem stochastischen Schema zu einem oder mehreren Originalclustern (17a, 17b) gruppiert werden, wonach – die zu den Originalclustern (17a, 17b) korrespondierenden Cluster (19a, 19b) in einem zeitlich versetzt aufgenommenen zweiten Bild (L₂) des aktiv Strahlung aussendenden Bildsensorsystems (1') anhand eines Ähnlichkeitskriteriums korreliert werden und daraus wenigstens ein Verschiebungsvektor des jeweiligen Originalclusters (17a, 17b) bestimmt wird, wonach – die einzelnen Originalcluster (17a, 17b) jeweils unter Berücksichtigung des wenigstens einen Verschiebungsvektors des Originalclusters (17a, 17b), einem zu detektierenden Objekt (6) oder einer zu detektierenden Objektgruppe (6', 6'') zugeordnet werden, wobei – eine Position und eine Entfernung des zu detektierenden wenigstens einen Objekts (6) und/oder der zu detektierenden wenigstens einen Objektgruppe (6', 6'') von dem aktiv Strahlung aussendenden Bildsensorsystem (1') anhand der Position und der Entfernung des wenigstens einen dem zu detektierenden Objekt (6) oder der zu detektierenden Objektgruppe (6', 6'') zugeordneten Originalclusters (17a, 17b) von dem aktiv Strahlung aussendenden Bildsensorsystem (1'), welche unmittelbar durch das aktiv Strahlung aussendende Bildsensorsystem (1') ermittelt werden, bestimmt wird, und wobei – die Geschwindigkeit des zu detektierenden wenigstens einen Objekts (6) und/oder der zu detektierenden wenigstens einen Objektgruppe (6', 6'') aus dem wenigstens einen Verschiebungsvektor des wenigstens einen zugeordneten Originalclusters (17a, 17b) unter Beachtung der ermittelten Position und Entfernung des wenigstens einen dem zu detektierenden Objekt (6) oder der zu detektierenden Objektgruppe (6', 6'') zugeordneten Originalclusters (17a, 17b) von dem aktiv Strahlung aussendenden Bildsensorsystem (1') bestimmt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Geschwindigkeit der zu detektierenden wenigstens einen Objektgruppe (6', 6'') aus einem gewichteten Mittelwert der Geschwindigkeiten der unterschiedlichen der entsprechenden Objektgruppe (6', 6'') zugeordneten Originalcluster (17a, 17b) bestimmt wird.
Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass als relevante Bildbereiche (16) Bildbereiche in Betracht gezogen werden, welche eine über einem Schwellwert liegende bewegungsbedingte Änderung aufweisen.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Gruppierung der relevanten Bildbereiche (16) zu den Originalclustern (17a, 17b) zufällig erfolgt.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Originalcluster (17a, 17b) und/oder deren korrespondierende Cluster (18a, 19a, 20a, 18b, 19b, 20b) unterschiedliche Formen und Größen aufweisen.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Gruppierung der Originalcluster (17a, 17b) mit unterschiedlichen Clusterabständen erfolgt.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der Clusterabstand ausgehend von einem Maximalwert schrittweise bis zu einem Minimalwert reduziert wird, wobei schrittweise bei jedem neu gewählten Clusterabstand neue Originalcluster (17a, 17b) gruppiert und der Gesamtmenge von Originalclustern (17a, 17b) hinzugefügt werden.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Originalcluster oder deren korrespondierende Cluster durch ihre umschreibenden Rechtecke (17a, 18a, 19a, 20a, 17b, 18b, 19b, 20b) beschrieben werden.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass bei der Korrelation als Ähnlichkeitskriterium die Summe der absoluten Differenzen verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass ein Plausibilitätsalgorithmus bei dem zu detektierenden wenigstens einen Objekt (6) und/oder der zu detektierenden wenigstens einen Objektgruppe (6', 6'') die Disparitäten der jeweils zugeordneten Originalcluster (17a, 17b) und/oder den wenigstens einen Verschiebungsvektor der jeweils zugeordneten Originalcluster (17a, 17b) überprüft, wobei fehlerhafte Ergebnisse eliminiert werden.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass bei der Plausibilitätsüberprüfung wiederholt ein Mittelwert über alle verbliebenen Elemente eines Felds von Verschiebungsvektoren für jede Dimension des Vektorfelds berechnet wird, wonach von allen Verschiebungsvektoren diejenigen entfernt werden, bei welchen eine Differenz ihres Wertes von dem berechneten Mittelwert einen vorgegebenen Schwellwert überschreitet, bis keine Elemente mehr entfernt werden müssen.
Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass das wenigstens eine Objekt oder die wenigstens eine Objektgruppe wenigstens ein Vogel (6) oder je nachdem wenigstens ein Vogelschwarm (6', 6'') ist.
Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass eine zeitliche Betrachtung der Detektion des wenigstens einen Objekts (6) und/oder der wenigstens einen Objektgruppe (6', 6'') über wenigstens zwei zeitlich nachfolgende Bilder (L₁, L₂, R₁, R₂) der Bildsequenzen mittels einer Filterung oder Mittelung erfolgt.
Computerprogramm mit Programmcodemitteln, um ein Verfahren gemäß einem der Ansprüche 1 bis 14 durchzuführen, wenn das Programm auf einem Mikroprozessor eines Computers, insbesondere auf einer Bildverarbeitungseinrichtung (7) einer Stereokameraeinrichtung (1) oder eines aktiv Strahlung aussendenden Bildsensorsystems (1'), ausgeführt wird.
Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um ein Verfahren gemäß einem der Ansprüche 1 bis 14 durchzuführen, wenn das Programm auf einer Bildverarbeitungseinrichtung (7) einer Stereokameraeinrichtung (1) oder eines aktiv Strahlung aussendenden Bildsensorsystems (1'), ausgeführt wird.
Stereokameraeinrichtung (1) mit wenigstens zwei zueinander kalibrierten in einem Abstand angeordneten während der Aufnahme synchron laufenden Kameras (3a, 3b), deren Aufnahmezeitpunkte identisch sind und deren jeweilige Sehfelder (4a, 4b) einen überlappenden Bereich (5) aufweisen und mit einer Bildverarbeitungseinrichtung (7) eingerichtet zur Ausführung eines Computerprogramms gemäß Anspruch 15 zur Durchführung eines Verfahrens gemäß einem der Ansprüche 1, 3 bis 14.
Aktiv Strahlung aussendendes Bildsensorsystem (1') mit einer Bildverarbeitungseinrichtung (7) eingerichtet zur Ausführung eines Computerprogramms gemäß Anspruch 15 zur Durchführung eines Verfahrens gemäß einem der Ansprüche 2 bis 14.
Überwachungsvorrichtung (2) für Windkraftanlagen (15), Gebäude (15') mit transparenten Bereichen, Start- und Landebahnen (14) und/oder Flugkorridore (11) von Flughäfen mit einer Erfassung von sich nähernden oder vorhandenen Vögeln (6) oder Vogelschwärmen (6', 6'') zur Durchführung eines Überwachungsverfahrens, wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit, Art und Größe der Vögel (6) oder der Vogelschwärme (6', 6'') ermittelbar sind, anhand derer eine Bewertung durchgeführt und gegebenenfalls eine entsprechende Warnmeldung ausgegeben wird, und wobei im Bereich der Windkraftanlagen (15), Gebäude (15') mit transparenten Bereichen, Start- und Landebahnen (14) und/oder der Flugkorridore (11) wenigstens ein aktiv Strahlung aussendendes Bildsensorsystem (1') gemäß Anspruch 18 und/oder wenigstens eine Stereokameraeinrichtung (1) gemäß Anspruch 17 mit wenigstens zwei Wärmebildkameras (3a, 3b) vorgesehen ist, welche während der Aufnahme synchron laufen, deren Aufnahmezeitpunkte wenigstens annähernd identisch sind und deren jeweilige Sehfelder (4a, 4b) einen überlappenden Bereich (5) aufweisen.