-
Die
Erfindung betrifft ein Verfahren zur Detektion wenigstens eines
Objekts und/oder wenigstens einer Objektgruppe in stereoskopisch
von einer kalibrierten Stereokameraeinrichtung mit wenigstens einer
ersten Kamera und wenigstens einer zweiten Kamera aufgenommenen
digitalen Bildsequenzen. Des Weiteren betrifft die Erfindung ein
Verfahren zur Detektion wenigstens eines Objekts und/oder wenigstens
einer Objektgruppe in von wenigstens einem aktiv Strahlung aussendenden
Bildsensorsystem aufgenommenen digitalen Bildsequenzen. Die Erfindung
betrifft ebenfalls ein Computerprogramm und ein Computerprogrammprodukt
zur Ausführung bzw. Durchführung derartiger Verfahren.
Darüber hinaus betrifft die Erfindung auch eine Stereokameraeinrichtung,
ein aktiv Strahlung aussendendes Bildsensorsystem und eine Überwachungsvorrichtung
für Windkraftanlagen, Gebäude mit transparenten
Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen.
-
Bei
Start und Landung von Flugzeugen kommt es häufig zu Kollisionen
mit Vögeln oder Vogelschwärmen. Vogelschwärme
bezeichnen dabei Aggregationen von Vögeln meist gleicher
Größe und Art, welche oft in dieselbe Richtung
fliegen. Insbesondere beim Kreuzen von Flugkorridoren von Flughäfen
mit Flugrouten von Vögeln des regionalen oder überregionalen
Vogelzugs, welche sich häufig an Landschaftsstrukturen
wie Gewässern, Tälern oder Küstenlinien
orientieren, ist diese Gefahr stark erhöht. Bei derartigen
Kollisionen kann es zu Schäden u. a. an den Triebwerken
von Flugzeugen kommen.
-
In
der älteren, nicht vorveröffentlichten
DE 10 2008 018 880.8 wird
eine Überwachungsvorrichtung für Windkraftanlagen,
Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder
Flugkorridore von Flughäfen mit einer stereoskopischen Erfassung
von sich nähernden oder vorhandenen Vögeln oder
Vogelschwärmen zur Durchführung eines Überwachungsverfahrens
vorgeschlagen, wobei Parameter wie Flughöhe, Flugrichtung,
Fluggeschwindigkeit, Art und Größe der Vögel
oder der Vogelschwärme ermittelbar sind. Im Bereich der
Windkraftanlagen, Gebäude mit transparenten Bereichen, Start-
und Landebahnen und/oder der Flugkorridore ist wenigstens eine Stereokameraeinrichtung
vorgesehen, welche wenigstens zwei zueinander in definiertem und
angepasstem Abstand angeordnete, während der Aufnahme synchron
laufende, Kameras, insbesondere Wärmebildkameras, aufweist,
deren Aufnahmezeitpunkte wenigstens annähernd identisch
sind und deren jeweilige Sehfelder einen überlappenden
Bereich aufweisen. Das System besteht sonach im Wesentlichen aus
zwei Kameras, die parallel ausgerichtet sind und ein Gebiet definierter Größe
erfassen können. Die Kameras können beispielsweise
so angeordnet werden, dass die Vogelschwärme unter einem
Winkel von 90 Grad zur Ausrichtung der Kameras in das Beobachtungsgebiet einfliegen.
Eine Auswerteinheit bzw. Bildverarbeitungseinheit verarbeitet die
Bildsignale der beiden Kameras und berechnet daraus den Ort und
die Geschwindigkeit mit deren Richtung bzw. den Geschwindigkeitsvektor
der Vogelschwärme. Das Verfahren basiert auf der Auswertung
von Daten des kalibrierten stereoskopischen Kamerasystems. Das Auswerteverfahren
sollte die vorstehend angeführten Parameter eines Vogelschwarms
möglichst genau und zuverlässig bestimmen.
-
Die
DE 10 2005 055 879
A1 betrifft eine Flugverkehrleiteinrichtung zur Kontrolle
und Steuerung des Flugverkehrs im Flughafenbereich mit einer Mehrzahl
von auf zugeordnete Bereiche des Flughafens ausrichtbaren Beobachtungskameras,
mit einer Videoprojektionseinrichtung in einer Leitzentrale zur Darstellung
von mit den Beobachtungskameras erfassten Informationen als Videopanorama.
-
-
Ausgehend
davon liegt der vorliegenden Erfindung die Aufgabe zugrunde, Verfahren,
ein Computerprogramm bzw. ein Computerprogrammprodukt, eine Stereokameraeinrichtung,
ein aktiv Strahlung aussendendes Bildsensorsystem und eine Überwachungsvorrichtung
der eingangs erwähnten Art zu schaffen, welche den Ort
und die Geschwindigkeit bzw. den Geschwindigkeitsvektor von Objekten
oder Objektgruppen, insbesondere Vögeln oder Vogelschwärmen,
zuverlässig und genau detektieren, insbesondere das Auftreten
bzw. die Wahrscheinlichkeit von Fehlalarmen verringern.
-
Diese
Aufgabe wird erfindungsgemäß durch Anspruch 1
oder Anspruch 2 gelöst. Hinsichtlich des Computerprogramms
bzw. des Computerprogrammprodukts wird die Aufgabe durch Anspruch
14 bzw. Anspruch 15 gelöst. Bezüglich der Stereokameraeinrichtung
und des aktiv Strahlung aussendenden Bildsensorsystems wird die
Aufgabe durch Anspruch 16 bzw. Anspruch 17 gelöst. Bezüglich
der Überwachungsvorrichtung wird die Aufgabe durch Anspruch 18
gelöst.
-
Durch
das erfindungsgemäße Verfahren zur Detektion wenigstens
eines Objekts und/oder wenigstens einer Objektgruppe in stereoskopisch
von einer kalibrierten Stereokameraeinrichtung mit wenigstens einer
ersten Kamera und wenigstens einer zweiten Kamera aufgenommenen
digitale Bildsequenzen wird es ermöglicht, mit einem passiven Messverfahren,
Objekte oder Objektgruppen zu erfassen und gegebenenfalls als Vögel
oder Vogelschwärme zu identifizieren. Die Wahrscheinlichkeit von
Fehlalarmen bei Überwachungsverfahren, welche das erfindungsgemäße
Verfahren nutzen kann so minimiert werden. Dabei wird insbesondere
die Position, die Fluggeschwindigkeit und Flugrichtung bzw. der
Fluggeschwindigkeitsvektor eines Vogelschwarms genau und zuverlässig
bestimmt. Dadurch kann im Rahmen eines Überwachungsverfahrens eine
zuverlässige und frühzeitige Vorwarnung vor Vogelschlag
gegeben werden. Dies ermöglicht der Flugsicherung (z. B.
DFS) oder Flugsicherungssystemen, Piloten zu informieren oder Starts
bzw. Landungen von Flugzeugen gegebenenfalls so zu verändern bzw.
zu verschieben oder zu verzögern, dass eine Kollision mit
einem Vogel oder einem Vogelschwarm wirksam verhindert wird. Vorteilhaft
ist außerdem, dass es sich um ein passives System handelt,
da der Betrieb in Flughafennähe erfolgt. Aktiv Strahlung aussendende
Bildsensorsysteme wie Radar, Laser oder dergleichen könnten
gegebenenfalls zu Störungen anderer, insbesondere ebenfalls
aktiver Überwachungssysteme führen. Das erfindungsgemäße
Verfahren zur stereoskopischen Detektion wenigstens eines Objekts
und/oder wenigstens einer Objektgruppe umfasst eine Bestimmung der
Positionen und Entfernungen der zu detektierenden Objekte oder Objektgruppen
sowie eine Detektion der Geschwindigkeit bzw. des Geschwindigkeitsvektors
mit der Bewegungs- oder Flugrichtung.
-
Zur
Bestimmung der Tiefeninformation bzw. der Entfernungen von Objekten
in einem rektifizierten zeitlich synchronisierten Stereobildpaar
werden sogenannte Disparitäten ermittelt. Eine (horizontale) Disparität
ist dabei als ein eindimensionaler Verschiebungsvektor in Richtung
der Bildzeile definiert und gibt ausgehend von einem Bildpunkt im
linken Stereobild den korrespondierenden Bildpunkt im rechten Stereobild
an. Unter Berücksichtung der Geometrie der Stereokamera
kann dann mit Hilfe der Disparitäten die Tiefeninformation
des Stereobildes bestimmt werden.
-
Bei
dem erfindungsgemäßen Verfahren zur Detektion
wenigstens eines Objekts und/oder wenigstens einer Objektgruppe
in stereoskopisch von einer kalibrierten Stereokameraeinrichtung
mit wenigstens einer ersten Kamera und wenigstens einer zweiter
Kamera aufgenommenen digitalen Bildsequenzen werden:
- – in einem ersten Bild der ersten Kamera relevante
Bildbereiche bestimmt, welche zu einem oder mehreren Originalclustern
gruppiert werden. Um Rechenaufwand zu reduzieren und gleichzeitig die
Erkennungsrobustheit zu erhöhen, werden nur relevante Bildbereiche
bzw. Bildregionen in Betracht gezogen. Das Ergebnis ist ein Binärbild,
in dem den Pixeln der relevanten Bildregionen eine logische Eins
zugeordnet wird. Die resultierenden Bildbereiche bzw. Segmente werden
dann einem Gruppierungsalgorithmus unterzogen, in dem Untercluster
oder Originalcluster entstehen.
- – Danach werden die zu den jeweiligen Originalclustern
korrespondierenden Cluster in einem ersten Bild der zweiten Kamera
anhand eines Ähnlichkeitskriteriums korreliert. Der extrahierte
Inhalt aus dem Originalbild bzw. den Originalclustern des ersten
Bilds der ersten Kamera wird in einem Korrelationsalgorithmus zum
Auffinden der korrespondierenden Bildstrukturen im zweiten Stereobild
herangezogen. Dadurch entsteht ein Korrelationsfeld, in dem das
Minimum mit Subpixelgenauigkeit repräsentiert ist. Sollte
beispielsweise aufgrund von Störungen (z. B. durch Wolken
oder dergleichen im Falle von Vögeln als Objekte) keine
Korrelation möglich sein, können die aktuellen Bilder
verworfen werden, um Fehldetektionen zu vermeiden.
- – Anschließend werden die Disparitäten
der Originalcluster zu den korrespondierenden Clustern in einem
ersten Bild der zweiten Kamera bestimmt. Somit werden die Disparitäten
zu diesen Clustern aus dem Stereobildpaar ermittelt.
-
Daraufhin
werden:
- – die zu den Originalclustern
korrespondierenden Cluster in einem zeitlich versetzt aufgenommenen zweiten
Bild der ersten Kamera und/oder der zweiten Kamera anhand des Ähnlichkeitskriteriums
korreliert und daraus wenigstens ein Verschiebungsvektor des jeweiligen
Originalclusters bestimmt. Somit werden die Verschiebungsvektoren
zu den Clustern aus dem aktuellen und einem nachfolgenden oder vorhergehenden
Bild ermittelt. Der extrahierte Inhalt aus dem Originalbild wird
dementsprechend auch zum Auffinden der korrespondierenden Bildstrukturen
im folgenden oder vorhergehenden Bild herangezogen. Dazu kann derselbe
Korrelationsalgorithmus wie bei der Bestimmung der Disparitäten
des Stereobildpaars eingesetzt werden.
- – Anschließend werden die einzelnen Originalcluster
je weils, insbesondere unter Berücksichtigung der Disparität
und des wenigstens einen Verschiebungsvektors des Originalclusters,
einem zu detektierenden Objekt oder einer zu detektierenden Objektgruppe
zugeordnet.
- - Die Position und die Entfernung des zu detektierenden wenigstens
einen Objekts und/oder der zu detektierenden wenigstens einen Objektgruppe von
der Stereokameraeinrichtung werden anhand der Position und der Entfernung
des wenigstens einen zugeordneten Originalclusters von der Stereokameraeinrichtung,
welche sich unter Beachtung der Geometrie der Stereokameraeinrichtung aus
der Disparität des wenigstens einen zugeordneten Originalclusters
(17a, 17b) ergibt, ermittelt. Somit wird die Tiefeninformation
unter Beachtung der verwendeten Stereogeometrie bestimmt. Mit Hilfe
der resultierenden Disparitäten wird zu jedem Cluster die
Entfernung zu dem im Kamerakoordinatensystem korrespondierenden
Objekt ermittelt.
- - Anschließend wird die Geschwindigkeit des zu detektierenden
wenigstens einen Objekts und/oder der zu detektierenden wenigstens
einen Objektgruppe aus dem wenigstens einen Verschiebungsvektor
des wenigstens einen zugeordneten Originalclusters (17a, 17b)
unter Beachtung der ermittelten Position und Entfernung des wenigstens
einen zugeordneten Originalclusters von der Stereokameraeinrichtung
bestimmt. Die Geschwindigkeit wird mit Hilfe der Tiefeninformation und
der Verschiebungsvektoren ermittelt. Die Geschwindigkeit der Objekte
bzw. Objektgruppen ergibt sich aus dem zugehörigen Verschiebungsvektor
unter Beachtung der zuvor bestimmten Entfernungsinformation.
-
Erfindungsgemäß wird
alternativ ein Verfahren zur Detektion wenigstens eines Objekts
und/oder wenigstens einer Objektgruppe in von wenigstens einem aktiv
Strahlung aussendenden Bildsensorsystem aufgenommenen digitalen
Bildsequenzen vorgeschlagen, wobei:
- – in
einem ersten Bild des aktiv Strahlung aussendenden Bildsensorsystems
relevante Bildbereiche bestimmt werden, welche zu einem oder mehreren
Originalclustern gruppiert werden, wonach
- – die zu den Originalclustern korrespondierenden Cluster
in einem zeitlich versetzt aufgenommenen zweiten Bild des aktiv
Strahlung aussendenden Bildsensorsystems anhand eines Ähnlichkeitskriteriums
korreliert werden und daraus wenigstens ein Verschiebungsvektor
des jeweiligen Originalclusters bestimmt wird, wonach
- – die einzelnen Originalcluster jeweils, insbesondere
unter Berücksichtigung des wenigstens einen Verschiebungsvektors
des Originalclusters, einem zu detektierenden Objekt oder einer
zu detektierenden Objektgruppe zugeordnet werden, wobei
- – die Position und die Entfernung des zu detektierenden
wenigstens einen Objekts und/oder der zu detektierenden wenigstens
einen Objektgruppe anhand der Position und der Entfernung des wenigstens
einen zugeordneten Originalclusters von dem aktiv Strahlung aussendenden
Bildsensorsystem, welche unmittelbar durch das aktiv Strahlung aussendende
Bildsensorsystem ermittelt werden, bestimmt wird, und wobei
- – die Geschwindigkeit des zu detektierenden wenigstens
einen Objekts und/oder der zu detektierenden wenigstens einen Objektgruppe
aus dem wenigstens einen Verschiebungsvektor des wenigstens einen
zugeordneten Originalclusters unter Beachtung der ermittelten Position
und Entfernung wenigstens einen zugeordneten Originalclusters von
dem aktiv Strahlung aussendenden Bildsensorsystem bestimmt wird.
-
Als
aktiv Strahlung aussendende Bildsensorsysteme kommen insbesondere
Radarsensoren, Lidarsensoren, Lasersensorsysteme bzw. Laserscanner,
Laufzeitkameras oder dergleichen in Betracht.
-
Vorteilhaft
ist es, wenn die Geschwindigkeit der zu detektierenden wenigstens
einen Objektgruppe aus einem gewichteten Mittelwert der Geschwindigkeiten
der unterschiedlichen der entsprechenden Objektgruppe zugeordneten
Originalcluster bestimmt wird. Die Geschwindigkeit einer Objektgruppe
bzw. eines gesamten Vogelschwarms wird durch Bildung des gewichteten
Mittelwerts der Geschwindigkeiten der verschiedenen Cluster bestimmt.
-
Vorteilhaft
ist es außerdem, wenn die relevanten Bildbereiche eine
ausreichend hohe bewegungsbedingte Änderung aufweisen.
-
Durch
diese Maßnahmen wird der Rechenaufwand reduziert und gleichzeitig
die Erkennungsrobustheit erhöht. Es werden nur Bildregionen
in Betracht gezogen, welche eine ausreichend große Bewegung
aufweisen. Dazu kann der Inhalt des aktuellen Bilds aus dem Inhalt
eines Hintergrundbilds pixelweise subtrahiert werden. Dieses Hintergrundbild wird
ständig aktualisiert, um Änderungen in der betrachteten
Szene zu berücksichtigen. Diese Aktualisierung kann parametrisiert
ausgeführt sein und je nach Geschwindigkeit der gesuchten
Objekte optimal gesteuert werden. Es kann somit eine Bewegungsdetektion
mittels Differenzbildung erfolgen. Da eine derartige Differenzbildung
auch bei geringen Unterschieden der betrachteten Bilder, welche
beispielsweise durch Rauschen oder dergleichen verursacht werden,
Werte bzw. Ergebnisse zurückliefert, kann eine Schwelle,
d. h. ein Schwellwert vorgegeben werden, ab welchem die Differenzwerte
als sinnvoll eingestuft werden. Dazu kann ein Histogramm des Bildes
analysiert und darin der Hauptanteil der Signalenergie festgestellt
werden. Dadurch entsteht ein Binärbild in welchem den Pixeln
der relevanten Bildregionen eine logische Eins zugeordnet wird.
Es erfolgt dementsprechend eine adaptive Schwellwertbildung zur
Erzeugung von binären Bildern.
-
Erfindungsgemäß kann
ferner vorgesehen sein, dass die Gruppierung der relevanten Bildbereiche
zu den Originalclustern nach einem stochastischen Schema, insbesondere
zufällig erfolgt. Dementsprechend werden die binären
Bildsegmente nach einem stochastischen Schema zu Clustern unterschiedlicher
Form und Größe gruppiert. Durch die Entstehung
von zufälligen Unterclustern wird die Wahrscheinlichkeit
der Bildung von Strukturen unterschiedlicher Formen erhöht.
Dadurch steigt in vorteilhafter Weise die Anzahl der richtigen Disparitäten
sowie der Verschiebungsvektoren. Die Originalcluster bzw. deren
korrespondierende Cluster können unterschiedliche Formen
und Größen aufweisen.
-
Die
Gruppierung der Originalcluster kann mit unterschiedlichen Clusterabständen
erfolgen. Der Clusterabstand kann, ausgehend von einem zulässigen
Maximalwert, schrittweise bis zu einem zulässigen Minimalwert
reduziert werden, wobei schrittweise bei jedem neu gewählten
Clusterabstand neue Originalcluster gruppiert und der Gesamtmenge
von Originalclustern hinzugefügt werden.
-
Die
Originalcluster oder deren korrespondierende Cluster können
durch ihre umschreibenden bzw. umschließenden Rechtecke
in den Bildern der ersten und zweiten Kamera identifiziert und/oder
beschrieben werden. Diese Rechtecke werden dazu verwendet, um den
Inhalt aus dem Originalbild für die Bestimmung der Disparitäten
und der Verschiebungsvektoren zu extrahieren.
-
Bei
der Korrelation kann als Ähnlichkeitskriterium die Summe
der absoluten Differenzen verwendet werden. Selbstverständlich
können auch weitere in der Stereoauswertung gebräuchliche
Kriterien angewendet werden.
-
Vorteilhaft
ist es, wenn ein Plausibilitätsalgorithmus bei dem zu detektierenden
wenigstens einen Objekt und/oder der zu detektierenden wenigstens einen
Objektgruppe die Disparitäten der jeweils zugeordneten
Originalcluster und/oder den wenigstens einen Verschiebungsvektor
der jeweils zugeordneten Originalcluster (17a, 17b) überprüft,
wobei fehlerhafte Ergebnisse eliminiert werden. Es erfolgt eine
Plausibilitätsüberprüfung zur Aussonderung
der falschen Disparitäten und Verschiebungsvektoren. Der
Plausibilitätsalgorithmus extrahiert sozusagen die richtigen bzw.
korrekten Disparitäten und stellt diese zur Ermittlung
der Tiefeninformation zur Verfügung. Der Plausibilitätsalgorithmus
kann iterativ ausgebildet sein, wobei die Ausreißer aus
der Menge der Disparitäten und der Verschiebungsvektoren
unter Beachtung vorgegebener Kriterien schrittweise eliminiert werden.
Dies erhöht die Zuverlässigkeit und Sicherheit
des Verfahrens.
-
Die
Objekte oder Objektgruppen können Vögel oder Vogelschwärme
sein.
-
Vorteilhaft
ist, wenn eine zeitliche Betrachtung der Detektion des wenigstens
einen Objekts und/oder der wenigstens einen Objektgruppe über wenigstens
zwei zeitlich nachfolgende Bilder der Bildsequenzen, insbesondere
mittels einer entsprechenden Filterung oder Mittelung erfolgt. Dadurch kann
die Stabilität der erfindungsgemäßen
Verfahren zusätzlich erhöht werden. Es kann sozusagen
eine Art Tracking der Objekte oder Objektgruppen durchgeführt
werden.
-
In
Anspruch 16 ist eine Stereokameraeinrichtung mit wenigstens zwei
zueinander kalibrierten in einem, insbesondere definierten und angepassten Abstand
angeordneten, während der Aufnahme synchron laufenden Kameras,
angegeben. Die wenigstens zwei Kameras der Stereokameraeinrichtung können
als Kameras im visuellen Bereich mit CCD- oder CMOS-Bildsensoren
oder als Wärmebildkameras ausgeführt sein.
-
In
Anspruch 17 ein aktiv Strahlung aussendendes Bildsensorsystem beschrieben.
-
Die
erfindungsgemäßen Verfahren zur Detektion wenigstens
eines Objekts und/oder wenigstens einer Objektgruppe sind vorzugsweise
als Computerprogramm auf einer Bildverarbeitungseinrichtung der
Stereokameraeinrichtung und/oder des aktiv Strahlung aussendenden
Bildsensorsystems realisiert. Dazu ist das Computerprogramm in einem Speicherelement
der Bildverarbeitungseinrichtung gespeichert. Durch Abarbeitung
auf einem Mikroprozessor der Bildverarbeitungseinrichtung wird das Verfahren
ausge führt. Das Computerprogramm kann auf einem computerlesbaren
Datenträger (Diskette, CD, DVD, Festplatte, USB-Memorystick
oder dergleichen) oder einem Internetserver als Computerprogrammprodukt
gespeichert sein und von dort aus in das Speicherelement der Bildverarbeitungseinrichtung übertragen
werden.
-
Ein
derartiges Computerprogramm bzw. Computerprogrammprodukt mit Programmcodemitteln
ist in Anspruch 14 bzw. Anspruch 15 angegeben.
-
In
Anspruch 18 ist eine Überwachungsvorrichtung für
Windkraftanlagen, Gebäude mit transparenten Bereichen,
Start- und Landebahnen und/oder Flugkorridore von Flughäfen
mit einer stereoskopischen Erfassung von sich nähernden
oder vorhandenen Vögeln oder Vogelschwärmen angegeben.
Diese ist in vorteilhafter Weise aufgrund des durch die erfindungsgemäßen
Verfahren bedingten genauen und zuverlässigen Erfassens
der Position, Fluggeschwindigkeit bzw. Flugrichtung der Vögel
und/oder Vogelschwärme in der Lage, eine frühzeitige
und zuverlässige Vorwarnung vor Vogelschlag, d. h. vor
Kollisionen mit Vögeln und/oder Vogelschwärmen
zu geben.
-
Vorteilhafte
Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus
den Unteransprüchen. Nachfolgend ist anhand der Zeichnungen prinzipmäßig
ein Ausführungsbeispiel der Erfindung angegeben.
-
Es
zeigen:
-
1 eine
schematische Darstellung einer erfindungsgemäßen Überwachungsvorrichtung;
-
2 eine
vereinfachte Darstellung einer Anordnung einer erfindungsgemäßen
Stereokameraeinrichtung oder eines erfindungsgemäßen
aktiv Strahlung aussendenden Bildsensorsystems im Bereich eines
Flugkorridors eines Flugzeugs;
-
3 eine
schematische Darstellung zur Verdeutlichung der erfindungsgemäßen
Verfahren;
-
4 ein
schematisches Flussdiagramm eines erfindungsgemäßen
Verfahrens;
-
5 ein
schematisches Flussdiagramm eines Gruppierungsalgorithmus im Rahmen
eines erfindungsgemäßen Verfahrens;
-
6 ein
schematisches Flussdiagramm eines Korrelationsalgorithmus im Rahmen
eines erfindungsgemäßen Verfahrens; und
-
7 ein
schematisches Flussdiagramm eines Plausibilitätsalgorithmus
zum Einsatz in einem erfindungsgemäßen Verfahren.
-
Die
Erfindung wird nachfolgend im Rahmen einer Überwachungsvorrichtung
für Windkraftanlagen, Gebäude mit transparenten
Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen,
insbesondere gegen Vogelschlag, beschrieben. Die Erfindung ist selbstverständlich
nicht auf diese Anwendungen beschränkt. Im Folgenden werden
dementsprechend Vögel bzw. Vogelschwärmeals Objekte
bzw. Objektgruppen angesehen.
-
In 1 ist
eine Stereokameraeinrichtung 1 einer Überwachungsvorrichtung 2 für
Start- und Landebahnen 14 und/oder Flugkorridore 11 (siehe 2)
von Flughäfen mit einer stereoskopischen Erfassung von
sich nähernden Vögeln 6 und/oder Vogelschwärmen 6',
wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit
und Art/Größe der Vögel 6 oder
der Vogelschwärme 6' ermittelbar sind, dargestellt.
Eine oder mehrere derartiger Stereokameraeinrichtungen 1 sind
im Bereich der Start- und Landebahnen 14 und/oder der Flugkorridore 11 angeordnet
und weisen wenigstens zwei zueinander in definiertem und angepasstem
Abstand angeordnete, während der Aufnahme syn chron laufende
Wärmebildkameras 3a, 3b auf. In weiteren
nicht dargestellten Ausführungsbeispielen könnten
auch Kameras im visuellen Bereich mit CCD- oder CMOS-Bildsensoren
eingesetzt werden. Die Aufnahmezeitpunkte der Wärmebildkameras 3a, 3b sind
wenigstens annähernd identisch und deren jeweilige Sehfelder 4a, 4b weisen
einen überlappenden Bereich 5 auf. In dem überlappenden
Bereich 5 wird, wie aus 1 ersichtlich,
als Objekt ein Vogel 6 erfasst. Die zwei Wärmebildkameras 3a, 3b sind
zueinander justiert und kalibriert. Für die Wärmebildkameras 3a, 3b kommen
sowohl Wärmebildbereiche wie LWIR, MWIR, VLWIR, FIR als
auch SWIR, NIR in Betracht. Insbesondere sind Wärmebildkameras
im mittleren Infrarotbereich (MWIR), insbesondere von etwa 3 μm bis
5 μm oder im langwelligen Infrarotbereich, insbesondere
von etwa 7 μm bis 14 μm, vorzugsweise von etwa
8 μm bis 12 μm, geeignet. Die Bewegungsrichtung
des Vogels 6 ist in 1 mittels
eines gestrichelten Pfeils angedeutet. Die Wärmebildkameras 3a, 3b sind
vorzugsweise so ausgerichtet, dass die Vögel 6 und/oder
Vogelschwärme 6' unter einen Winkel von annähernd
90 Grad zur Kameraausrichtung in das Beobachtungsgebiet einfliegen.
-
Die
Stereokameraeinrichtung 1 weist eine Auswerteeinheit bzw.
Bildverarbeitungseinrichtung 7 auf, welche zur Verarbeitung
der mit den zwei Wärmebildkameras 3a, 3b aufgenommenen
Bilddaten bzw. Bildsignale vorgesehen ist und welche daraus die
Position und Fluggeschwindigkeit bzw. Flugrichtung der Vögel 6 bzw.
Vogelschwärme 6' berechnet.
-
Die
Stereokameraeinrichtung 1 weist darüber hinaus
eine Funkstation 8 als Schnittstelle, insbesondere Netzwerkschnittstelle,
zur Kommunikation mit weiteren Stereokameraeinrichtungen 1 oder
mit übergeordneten Systemen, insbesondere Flugsicherungssystemen 9,
auf (in 1 durch den Doppelpfeil 8' angedeutet).
Die Stereokameraeinrichtung 1 arbeitet autonom d. h. eigenständig.
Jedoch können mittels der Vernetzung bzw. der Funkübertragung über
die Funkstation 8 weitere Stationen bzw. Stereokameraeinrichtungen 1 verbunden
werden. Die Informationen wie auch die Aufnahmen stehen somit außerhalb
der einzel nen Stationen zur Verfügung. Hauptsächlich
werden diese Daten der Flugsicherung übermittelt.
-
Auf
der Bildverarbeitungseinrichtung 7 der Stereokameraeinrichtung 1 läuft
u. a. ein Überwachungsverfahren für Start- und
Landebahnen 14 und/oder Flugkorridore 11 von Flughäfen
ab, mit welchem sich nähernde Vögel 6 oder
Vogelschwärme 6' stereoskopisch mittels der Überwachungsvorrichtung 2 bzw.
der Stereokameraeinrichtung 1 erfasst werden, wobei Parameter
wie Flughöhe, Flugrichtung, Fluggeschwindigkeit und Art/Größe
der Vögel 6 oder Vogelschwärme 6' bzw.
deren Schwarmdichte ermittelt werden. Die Parameter werden dabei
mittels einer Stereoauswertung bestimmt. Dabei werden durch die
wenigstens zwei Blickwinkel auf den durch die wenigstens zwei Wärmebildkameras 3a, 3b der Stereokameraeinrichtung 1 aufgenommenen
Bereich 5 bzw. Beobachtungsbereich absolute Raumpunkte der
zu erfassenden Vögel 6 oder Vogelschwärme 6' bestimmt.
Die Fluggeschwindigkeit bzw. -richtung der Vögel 6 oder
der Vogelschwärme 6' wird durch eine Betrachtung über
eine entsprechende Zeitspanne bestimmt. Dies geschieht mit Hilfe
des erfindungsgemäßen Verfahrens zur Detektion
von Objekten oder Objektgruppen. Auch Vögel 6 oder
Vogelschwärme 6 in größerer
Entfernung (beispielsweise etwa 20 km) können erfasst werden,
wobei eine entsprechend längere Brennweite für
die zwei Wärmebildkameras 3a, 3b verwendet
wird. Zusätzlich können auch Flugobjekte wie Modellflugzeuge,
Lenkdrachen oder dergleichen von der Stereokameraeinrichtung 1 erfasst werden
(nicht dargestellt).
-
Alternativ
oder zusätzlich kann die Überwachungsvorrichtung 2 auch
ein aktiv Strahlung aussendendes Bildsensorsystem 1' (in 1 gestrichelt angedeutet)
aufweisen, welches ebenfalls mit einer Auswerteeinheit bzw. Bildverarbeitungseinrichtung 7 zur
Verarbeitung der aufgenommenen Bilddaten bzw. Bildsignale versehen
ist, welche daraus die Position, Entfernung und Fluggeschwindigkeit
bzw. Flugrichtung der Vögel 6 bzw. Vogelschwärme 6' berechnet. Ebenso
weist das aktiv Strahlung aussendende Bildsensorsystem 1' eine
Funkstation 8 als Schnittstelle, insbesondere Netzwerkschnittstelle,
zur Kommunikation mit weiteren aktiv Strahlung aussendenden Bildsensorsystemen 1',
Stereokameraeinrichtungen 1 oder übergeordneten
Systemen, insbesondere Flugsicherungssystemen 9, auf. Wie
weiter aus 1 ersichtlich, können
Vögel 6 in einem Sehfeld 4c des aktiv
Strahlung aussendenden Bildsensorsystems 1' erfasst werden.
Als aktiv Strahlung aussendende Bildsensorsysteme 1' kommen
insbesondere Radarsensoren, Lidarsensoren, Lasersensorsysteme bzw.
Laserscanner, Laufzeitkameras oder dergleichen in Betracht.
-
Anhand
der Parameter wird eine Bewertung durchgeführt und gegebenenfalls
eine entsprechende Warnmeldung ausgegeben.
-
Wie
aus 2 ersichtlich, überwacht ein aktiv Strahlung
aussendendes Bildsensorsystem 1' oder eine Stereokameraeinrichtung 1 mit
einem Stereosichtbereich oder überlappenden Bereich 5 eine bekannte
Flugroute 10 von Vögeln 6 und/oder Vogelschwärmen 6'.
Die Kameraeinrichtungen 1, 1' sind dabei so angeordnet,
dass ein Flugkorridor 11 bzw. ein Kreuzungsbereich 12 des
Flugkorridors 11 mit der bekannten Flugroute 10 der
Vögel 6 oder Vogelschwärme 6' überwacht
wird. Im Flugkorridor 11 ist ein Flugzeug 13 beispielhaft
dargestellt. Ein Ankunftszeitpunkt der erfassten Vögel 6 oder
der erfassten Vogelschwärme 6' an dem Kreuzungsbereich 12 mit
dem Flugkorridor 11 des Flugzeugs wird ebenfalls bestimmt.
Um eine präzise Vorhersage über den Ankunftszeitpunkt
der erfassten Vögel 6 oder der erfassten Vogelschwärme 6' machen
zu können, sind die Kameraeinrichtungen 1, 1' auf
die bekannte Flugroute 10 der Vögel 6 oder
Vogelschwärme 6' ausgerichtet. Darüber
hinaus können in weiteren Ausführungsbeispielen
weitere Kameraeinrichtungen 1, 1' insbesondere
in größeren Entfernungen von dem Kreuzungsbereich 12 (z.
B. mehrere Kilometer), vorzugsweise entlang der bekannten Flugroute 10 der Vögel 6 oder
Vogelschwärme 6' angeordnet sein.
-
Bei
einer Erfassung von Vögeln 6 oder Vogelschwärmen 6' wird
gegebenenfalls eine Warnmeldung zur Einleitung von Gegenmaßnahmen
bzw. Minderungs- oder Vermeidungsmaßnahmen an das über geordnete
System, insbesondere Flugsicherungssystem 9, oder an startende
oder landende Flugzeuge 13 ausgegeben. Die Stereokameraeinrichtung 1 oder
das aktiv Strahlung aussendende Bildsensorsystem 1' kann
im Rahmen der Überwachungsvorrichtung 2, wie in 2 gestrichelt
angedeutet, auch Start- und Landebahnen 14 oder Windkraftanlagen 15 bzw.
Gebäude mit transparenten Bereichen 15' überwachen.
-
In 3 ist
das erfindungsgemäße Verfahren zur Detektion von
Vögeln 6 oder Vogelschwärmen 6', 6'' in
stereoskopisch von der kalibrierten Stereokameraeinrichtung 1 mit
der ersten Kamera 3a und der zweiten Kamera 3b aufgenommenen
digitalen Bildsequenzen prinzipmäßig veranschaulicht. Dabei
werden innerhalb einer ersten aktuellen Bildaufnahme zu einem Zeitpunkt
t1:
- – in einem
ersten Bild L1 der ersten Kamera 3a relevante
Bildbereiche 16 bestimmt, welche zu Originalclustern 17a, 17b gruppiert
werden, wonach
- – die zu den Originalclustern 17a, 17b korrespondierenden
Cluster 18a, 18b in einem ersten Bild R1 der zweiten Kamera 3b anhand eines Ähnlichkeitskriteriums
korreliert werden, wonach
- – die, insbesondere horizontalen, Disparitäten (beide
Kameras 3a, 3b sind vorzugsweise in derselben
Höhe angeordnet) der jeweiligen Originalcluster 17a, 17b zu
den korrespondierenden Clustern 18a, 18b in dem
ersten Bild R1 der zweiten Kamera 3b bestimmt
werden, wonach
- – innerhalb einer zeitlich versetzt aufgenommenen,
nachfolgenden zweiten Bildaufnahme zu einem Zeitpunkt t2:
- – die zu den Originalclustern 17a, 17b korrespondierenden
Cluster 19a, 19b, 20a, 20b in
einem zeitlich nachfolgenden zweiten Bild L2,
R2 der ersten Kamera 3a und/oder
der zweiten Kamera 3b anhand des Ähnlichkeitskriteriums
korreliert werden und daraus wenigstens ein Verschiebungsvektor
des jeweiligen Originalclusters 17a, 17b bestimmt
wird, wonach
- – die einzelnen Originalcluster 17a, 17b jeweils, insbeson dere
unter Berücksichtigung der Disparität und des
wenigstens einen Verschiebungsvektors des Originalclusters 17a, 17b,
einem zu detektierenden Objekt 6 oder einer zu detektierenden
Objektgruppe 6', 6'' zugeordnet werden, wobei
- – die Position und die Entfernung des zu detektierenden
wenigstens einen Vogels 6 und/oder des zu detektierenden
wenigstens einen Vogelschwarms 6', 6'' von der
Stereokameraeinrichtung 1 anhand der Position und der Entfernung des
wenigstens einen zugeordneten Originalclusters 17a, 17b von
der Stereokameraeinrichtung 1, welche sich unter Beachtung
der Geometrie der Stereokameraeinrichtung 1 aus der innerhalb
der ersten Bildaufnahme zum Zeitpunkt t1 bestimmten Disparität
des wenigstens einen zugeordneten Originalclusters 17a, 17b ergibt,
ermittelt werden, wodurch die absoluten Raumpunkte der Vögel 6 und/oder
Vogelschwärme 6' bestimmt werden, und wonach
- – die Geschwindigkeiten bzw. die Geschwindigkeitsvektoren
mit den Flugrichtungen der zu detektierenden Vögel 6 und/oder
Vogelschwärme 6, 6'' aus dem innerhalb
der zeitlich versetzt aufgenommenen nachfolgenden zweiten Bildaufnahme zum
Zeitpunkt t2 bestimmten wenigstens einen Verschiebungsvektor
des wenigstens einen zugeordneten Originalclusters 17a, 17b unter
Beachtung der ermittelten Position und Entfernung des wenigstens
einen zugeordneten Originalclusters (17a, 17b)
von der Stereokameraeinrichtung 1 bestimmt werden.
-
Im
vorliegenden Ausführungsbeispiel wurde als zeitlich versetzt
aufgenommenes zweites Bild ein nachfolgendes Bild L2,
R2 innerhalb einer nachfolgenden zweiten
Bildaufnahme zum Zeitpunkt t2 verwendet.
Alternativ kann in weiteren Ausführungsbeispielen als zeitlich
versetzt aufgenommenes zweites Bild auch – ausgehend von
dem aktuellen ersten Bild L1, R1 – ein
vorhergehendes Bild innerhalb einer vorhergehenden zweiten Bildaufnahme
zum Zeitpunkt t2 verwendet werden. Die Anordnung
der Zeitpunkte t1, t2 entlang
des Zeitstrahls in 3 wäre dann vertauscht.
-
Ebenfalls
ist in dem linken Teil der 3 das alternative
Verfahren zur Detektion von Vögeln 6 oder Vogelschwärmen 6, 6'' in
von dem aktiv Strahlung aussendenden Bildsensorsystem 1' aufgenommenen
digitalen Bildsequenzen prinzipmäßig veranschaulicht,
wobei:
- – in einem ersten Bild L1 des aktiv Strahlung aussendenden Bildsensorsystems
relevante Bildbereiche 16 bestimmt werden, welche zu einem
oder mehreren Originalclustern 17a, 17b gruppiert
werden, wonach
- – die zu den Originalclustern 17a, 17b korrespondierenden
Cluster 19a, 19b in einem zeitlich versetzt aufgenommenen
nachfolgenden zweiten Bild L2 des aktiv
Strahlung aussendenden Bildsensorsystems 1' anhand eines Ähnlichkeitskriteriums
korreliert werden und daraus wenigstens ein Verschiebungsvektor
des jeweiligen Originalclusters 17a, 17b bestimmt
wird, wonach
- – die einzelnen Originalcluster 17a, 17b jeweils, insbesondere
unter Berücksichtigung des wenigstens einen Verschiebungsvektors
des Originalclusters 17a, 17b, einem zu detektierenden
Vogel 6 oder einem zu detektierenden Vogelschwarm 6, 6'' zugeordnet
werden, wobei
- – die Position und die Entfernung der zu detektierenden
Vögel 6 und/oder Vogelschwärme 6, 6'' anhand
der Position und der Entfernung des wenigstens einen zugeordneten
Originalclusters 17a, 17b von dem aktiv Strahlung
aussendenden Bildsensorsystem 1, welche unmittelbar durch das
aktiv Strahlung aussendende Bildsensorsystem 1' ermittelt
werden, bestimmt wird, und wobei
- – die Geschwindigkeit bzw. der Geschwindigkeitsvektor
mit den Flugrichtungen der zu detektierenden Vögel 6 oder
Vogelschwärme 6, 6'' aus dem wenigstens
einen Verschiebungsvektor des wenigstens einen zugeordneten Originalclusters 17a, 17b unter
Beachtung der ermittelten Position und Entfernung des wenigstens
einen zugeordneten Origi nalclusters 17a, 17b von
dem aktiv Strahlung aussendenden Bildsensorsystem 1' bestimmt
wird.
-
Auch
hierbei ist es denkbar als zeitlich versetzt aufgenommenes zweites
Bild L2 ein vorhergehendes Bild zu verwenden.
-
Die
Geschwindigkeiten der Vogelschwärme 6, 6'' werden
aus einem gewichteten Mittelwert der Geschwindigkeiten der unterschiedlichen
der entsprechenden Objektgruppe 6, 6'' zugeordneten
Originalcluster 17a, 17b bestimmt.
-
Es
ist auch möglich unterschiedliche Vogelschwärme 6, 6'' voneinander
zu separieren.
-
Vogelschwärme
können mitunter, insbesondere aufgrund von Winden, sehr
hohe Geschwindigkeiten erreichen. Starke Abweichungen können
beispielsweise aus der Korrelation von unterschiedlichen Schwärmen
resultieren. Derartige Abweichungen können unter Berücksichtigung
von ornithologischen Studien erkannt werden.
-
Die
relevanten Bildbereiche 16 weisen eine ausreichend hohe
bewegungsbedingte Änderung auf. Die Gruppierung der relevanten
Bildbereiche 16 zu den Originalclustern 17a, 17b erfolgt
nach einem stochastischen Schema bzw. rein zufällig. Dabei könnten
in weiteren nicht dargestellten Ausführungsbeispielen auch
andere Anzahlen von Vögeln zu Clustern gruppiert werden
(z. B. 5 oder 8 Vögel). Die Originalcluster 17a, 17b bzw.
deren korrespondierende Cluster 18a, 19a, 20a, 18b, 19b, 20b können
unterschiedliche Formen und Größen aufweisen.
Wie in 3 gestrichelt angedeutet, werden die Originalcluster 17a, 17b oder
deren korrespondierende Cluster 18a, 19a, 20a, 18b, 19b, 20b durch
ihre umschreibenden Rechtecke identifiziert.
-
In 4 ist
ein vereinfachtes Flussdiagramm des erfindungsgemäßen
Verfahrens zur Detektion von Vögeln 6 oder Vogelschwärmen 6, 6'' in
stereoskopisch von der kalibrierten Stereokameraeinrichtung 1 mit
der ersten Kamera 3a und der zwei ten Kamera 3b aufgenommenen
digitalen Bildsequenzen mit weiteren optionalen Verfahrensschritten
dargestellt. Dabei wird ausgehend von einem linken Bild L in einem
Schritt 101 ein Differenzbild gebildet. Dazu wird der Inhalt
des aktuellen Bilds aus dem Inhalt eines Hintergrundbilds pixelweise
subtrahiert. Dieses Hintergrundbild wird ständig aktualisiert,
um Änderungen in der betrachteten Szene zu berücksichtigen.
Danach erfolgt in einem Schritt 102 eine Schwellwertbildung.
In einem Schritt 103 wird die Clusterbildung der Originalcluster 17a, 17b durchgeführt,
welche in Schritt 104 durch ihre umschreibenden Rechtecke
identifiziert werden. Die Originalcluster 17a, 17b werden
in einem Schritt 105 dazu verwendet, um das Originalbild
zu maskieren. Daraufhin werden in dem nachfolgenden Schritt 106 die
Disparitäten der Originalcluster 17a, 17b zu
den korrespondierenden Clustern 18a, 18b in dem
Bild R der zweiten Kamera 3b bestimmt. In einem Schritt 107 wird dann
der optische Fluss, d. h. die Verschiebungsvektoren, ermittelt.
Darüber hinaus erfolgt in einem Schritt 108 eine
Plausibilitätsüberprüfung der Disparitäten
und Verschiebungsvektoren. Anschließend wird nach einer
Zuordnung der Originalcluster 17a, 17b zu detektierenden
Vögeln 6 bzw. Vogelschwärmen 6, 6'' die
Entfernung der Vögel 6 bzw. Vogelschwärme 6, 6'' in
Schritt 109 bestimmt. Mit Hilfe der Entfernungen wird dann
in einem Schritt 110 die 3D-Bewegung, d. h. die Geschwindigkeitsvektoren der
zu detektierenden Vögel 6 bzw. Vogelschwärme 6, 6'' aus
den Verschiebungsvektoren unter Beachtung der ermittelten Entfernungen
bestimmt.
-
Nachfolgend
sind die Schritte 103, 106 und 108 des
erfindungsgemäßen Verfahrens zur Detektion von
Vögeln 6 oder Vogelschwärmen 6, 6'' in
stereoskopisch von der kalibrierten Stereokameraeinrichtung 1 mit
der ersten Kamera 3a und der zweiten Kamera 3b aufgenommenen
digitalen Bildsequenzen in den 5, 6 und 7 näher
dargestellt. Der in 5 dargestellte Schritt 103 weist
einen Gruppierungsalgorithmus zur Clusterbildung auf. Die Gruppierung
der Originalcluster 17a, 17b erfolgt mit unterschiedlichen
Clusterabständen. Der Clusterabstand wird ausgehend von
einem zulässigen Maximalwert schrittweise bis zu einem
zulässigen Minimalwert reduziert, wobei schrittweise bei
jedem neu gewählten Clusterabstand neue Originalcluster 17a, 17b gruppiert
und der Gesamtmenge von Originalclustern 17a, 17b hinzugefügt
werden. In einem Schritt 103a wird ein maximal zulässiger
anfänglicher Clusterabstand vorgegeben. In einem Schritt 103b werden
nun die Cluster bzw. Originalcluster 17a, 17b mit
dem vorgegebenen Clusterabstand ermittelt und in einem Schritt 103c der
Gesamtmenge bzw. Liste von Originalclustern 17a, 17b hinzugefügt.
Daraufhin wird mit einer Verzweigung 103d festgestellt,
ob bereits der minimale Clusterabstand erreicht wurde. Ist dies
der Fall, ist der Schritt 103 beendet. Andernfalls wird
in einem Schritt 103e der zulässige Clusterabstand
verringert, wonach in einer Schleife mit dem Schritt 103b und
dem verringerten Clusterabstand fortgefahren wird. Die Clusterbildung
wird abgebrochen, wenn der minimal zulässige Clusterabstand
erreicht ist.
-
Der
Schritt 106 zur Bestimmung der Disparitäten weist
einen Korrelationsalgorithmus auf. Dieser ist in 6 näher
dargestellt. Als Ähnlichkeitskriterium wird bei der Korrelation
die Summe der absoluten Differenzen (SAD) verwendet. Zuerst wird
in einem Schritt 106a der Quellbereich A (top, left, height, width)
des Originalclusters 17a, 17b in dem ersten Bild
L1 der ersten Kamera 3a bestimmt,
wonach in dem Schritt 106b der Zielbereich bzw. Suchbereich bzw.
Korrelationsbereich S (Xmin, Xmax, Ymin, Ymax) definiert wird, welcher
sich in dem ersten Bild R1 der zweiten Kamera 3b auf
die Position des Quellbereichs A in dem ersten Bild L1 der
ersten Kamera 3a bezieht. Nun wird in einem Schritt 106c die
erste bzw. nächste Position in dem Korrelationsbereich
S zur Korrelation bestimmt, wonach in einem Schritt 106d der
SAD-Korrelationswert zwischen dem Quellbereich A des Originalclusters 17a, 17b und
dem Korrelationsbereich S bestimmt wird und in einem Schritt 106e in
einem Array bzw. einer Ähnlichkeitsmatrix abgespeichert
wird. Dies erfolgt für sämtliche Positionen im
Korrelationsbereich S. Danach wird in einer Verzweigung 106f festgestellt,
ob alle Positionen des Korrelationsbereichs S bereits korreliert
wurden. Falls nein, wird in einer Schleife mit Schritt 106c weiter
gemacht, falls ja, wird in einem Schritt 106g die subpixelgenaue
Position des Minimums in dem Array bzw. der Ähnlichkeitsmatrix
bestimmt und diese Position als Verschiebungsvektor gedeutet. Nach dem
Schritt 106g ist der Korrelationsalgorithmus beendet. Abhängig
von dem gewählten Maß kann in anderen Ausführungsbeispielen
statt des zuvor genannten Minimums auch das Maximum bestimmt werden.
-
Der
Schritt 108 zur Plausibilitätsüberprüfung ist
in 7 näher dargestellt. Der Schritt 108 weist
einen Plausibilitätsalgorithmus auf, welcher bei den zu detektierenden
Vögeln 6 und/oder den zu detektierenden Vogelschwärmen 6, 6'' die
Disparitäten der diesen jeweils zugeordneten Originalclustern 17a, 17b und/oder
den wenigstens einen Verschiebungsvektor der jeweils zugeordneten
Originalcluster 17a, 17b überprüft,
wobei fehlerhafte Ergebnisse eliminiert werden. Dies wird nachfolgend
für die ersten Verschiebungsvektoren erläutert.
Dabei wird ein Feld V(x, y) von Verschiebungsvektoren geprüft,
wobei ein Mittelwert über alle Elemente des Felds V(x,
y) berechnet wird, wonach von allen Verschiebungsvektoren diejenigen
entfernt werden, bei welchen eine Differenz ihres Wertes von dem
Mittelwert einen vorgegebenen Schwellwert überschreitet.
Dies wird durchgeführt, bis keine neuen Elemente mehr entfernt
werden müssen. In einem Schritt 108a werden alle
Elemente in dem Vektorfeld V(x, y) auf aktiv gesetzt. Danach wird
in einem Schritt 108b für jede Dimension des Vektorfelds
V(x, y) von allen aktiven Elementen ein Mittelwert gebildet, wonach
in einem Schritt 108c die Differenz der Werte der aktiven
Elemente des Vektorarrays von dem Mittelwert berechnet wird. In einer
Verzweigung 108d wird geprüft, ob wenigstens eine
Differenz größer als der vorgegebene Schwellwert
ist. Sollte dies nicht der Fall sein, wird der Schritt 108 beendet.
Andernfalls werden in einem Schritt 108e diejenigen Elemente
auf inaktiv gesetzt, deren Differenz größer als
der Schwellwert ist. Danach wird in einer Schleife wieder mit Schritt 108b fortgefahren.
-
Zur
Erhöhung der Zuverlässigkeit bzw. Genauigkeit
der stereoskopischen Detektion der Vögel 6 bzw.
Vogelschwärme 6, 6'' können
ermittelte Detektionsdaten bzw. Parameter von Stereokameraeinrichtungen 1 mit
Daten von eventuell redundant vorhandenen weiteren Stereokameraeinrichtungen 1 zur Überprüfung
der Plausibilität abgeglichen werden. Derartige aktive
Standbysysteme können z. B. in einem Abstand von 500 m
angeordnet sein und dieselbe Ausrichtung aufweisen. Damit kann etwa eine
z. B. aufgrund einer aufgetretenen Windböe zu hoch berechnete
Geschwindigkeit eines Vogelschwarms 6, 6'' korrigiert
werden. Dies kann gleichermaßen mit redundanten aktiv Strahlung
aussendenden Bildsensorsystemen 1' erreicht werden. Die redundanten
Systeme sind grundsätzlich vorgesehen, um bei einem Ausfall
einer Stereokameraeinrichtung 1 oder eines aktiv Strahlung
aussendenden Bildsensorsystems 1' unmittelbar die ausgefallene Funktion
zu übernehmen, sodass die Überwachungsvorrichtung 2 weiterarbeiten
kann.
-
Die
erfindungsgemäßen Verfahren sind vorzugsweise
als Computerprogramm auf der Bildverarbeitungseinrichtung 7 der
Stereokameraeinrichtung 1 und/oder des aktiv Strahlung
aussendenden Bildsensorsystems 1' realisiert, wobei auch
andere Lösungen selbstverständlich in Frage kommen.
Dazu ist das Computerprogramm in einem nicht näher dargestellten
Speicherelement der Bildverarbeitungseinrichtung 7 gespeichert.
Durch Abarbeitung auf einem Mikroprozessor der Bildverarbeitungseinrichtung 7 wird
das Verfahren ausgeführt. Das Computerprogramm kann auf
einem computerlesbaren Datenträger (Diskette, CD, DVD,
Festplatte, USB-Memorystick oder dergleichen) oder einem Internetserver
als Computerprogrammprodukt gespeichert sein und von dort aus in
das Speicherelement der Bildverarbeitungseinrichtung 7 übertragen
werden.
-
- 1
- Stereokameraeinrichtung
- 1'
- Aktiv
Strahlung aussendendes Bildsensorsystem
- 2
- Überwachungsvorrichtung
- 3a,
3b
- Wärmebildkameras
- 4a,
4b, 4c
- Sehfelder
- 5
- überlappender
Bereich
- 6,
6', 6''
- Vögel,
Vogelschwärme
- 7
- Bildverarbeitungseinrichtung
- 8
- Schnittstelle
- 9
- Flugsicherungssystem
- 10
- Flugroute
der Vögel
- 11
- Flugkorridor
- 12
- Kreuzungsbereich
- 13
- Flugzeug
- 14
- Start-
und Landebahn
- 15
- Windkraftanlage
- 15'
- Gebäude
mit transparenten Bereichen
- 16
- relevante
Bereiche
- 17a,
17b
- Originalcluster
Bild L1
- 18a,
18b
- korrespondierende
Cluster Bild R1
- 19a,
19b
- korrespondierende
Cluster Bild L2
- 20a,
20b
- korrespondierende
Cluster Bild R2
- L1
- erstes
Bild der ersten Kamera
- L2
- zweites
Bild der ersten Kamera
- R1
- erstes
Bild der zweiten Kamera
- R2
- zweites
Bild der zweiten Kamera
- R
- rechtes
Bild (zweite Kamera)
- L
- linkes
Bild (erste Kamera)
- 101–110
- Verfahrensschritte
- 103a–103e
- Verfahrensschritte
der Clusterbildung
- 106a–106g
- Verfahrensschritte
der Korrelation
- 108a–108e
- Verfahrensschritte
der Plausibilitätsüberprüfung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 102008018880 [0003]
- - DE 102005055879 A1 [0004]
- - US 2006/0049930 A1 [0005]
- - DE 102005008131 A1 [0005]