DE102013011927B4

DE102013011927B4 - Verfahren zum Steuern einer Überwachungseinrichtung

Info

Publication number: DE102013011927B4
Application number: DE201310011927
Authority: DE
Inventors: Stefan Schacht; Frank Heidemann; Florian Gagel
Original assignee: Diehl BGT Defence GmbH and Co KG
Current assignee: Diehl Defence GmbH and Co KG
Priority date: 2013-07-17
Filing date: 2013-07-17
Publication date: 2015-03-05
Anticipated expiration: 2033-07-18
Also published as: DE102013011927A1; AU2013237753A1

Abstract

Die Erfindung geht aus von einem Verfahren zum Steuern einer Überwachungseinrichtung, bei dem ein Kamerasystem ein Panoramabild (16) der Umgebung mit mindestens einer Kamera (6) aufnimmt.
Um eine zuverlässige Überwachung der Umgebung zu erreichen, wird vorgeschlagen, dass eine Einheit der Überwachungseinrichtung in Abhängigkeit von zumindest einem vorgegebenen Bildinhalt (28) des Panoramabilds (16) gesteuert wird und das Panoramabild (16) auf einem Darstellungssystem (12) in der Weise angezeigt wird, dass ein erster Abschnitt (18) des Panoramabilds (16) rechtläufig und ein zweiter Abschnitt (20) des Panoramabilds (16) rückläufig angezeigt wird.

Description

Die Erfindung betrifft ein Verfahren zum Steuern einer Überwachungseinrichtung, bei dem ein Kamerasystem ein Panoramabild der Umgebung mit mindestens einer Kamera aufnimmt.
Zur Überwachung der Umgebung eines Gebäudes, eines oder mehrerer Fahrzeuge oder anderer schützenwerter Objekte ist es bekannt, mithilfe eines Kamerasystems ein Panoramabild der Umgebung des Objekts aufzunehmen und mit einem Darstellungssystem in einem Überwachungszentrum darzustellen, sodass ein Bediener die auf Bildschirmen angezeigte Umgebung überwachen kann. Da ein Panoramabild auf einem üblichen Bildschirm nicht in der Weise angezeigt werden kann, dass eine befriedigende und detaillierte Überwachung der Umgebung möglich wäre, ist es bekannt, das Panoramabild auf eine Mehrzahl von nebeneinander angeordneten Bildschirmen aufzuteilen. Erkennt der Bediener auf den Abbildungen verdächtige Objekte, so kann er die Steuerung von Reaktionsmaßnahmen veranlassen, beispielsweise das Erzeugen eines Alarms. Dies kann auch durch die Überwachungseinrichtung automatisiert erfolgen.
Aus dem Stand der Technik sind diverse Ansätze zur Überwachung der Umgebung eines Fahrzeugs bekannt. Die DE 101 64 516 A1 beschreibt beispielsweise ein elektronisches Fahrzeugrückblicksystem, welches auf Basis von zwei Videokameras und Bildverarbeitungsmitteln zum Zusammenfügen der Videobilder der Videokameras ein Panoramabild des Fahrzeugrückraumes erzeugt, welches auf einer Anzeigeeinheit wahlweise spiegelverkehrt oder seitentreu dargestellt wird. Die DE 10 2011 077 143 A1 beschäftigt sich ebenfalls mit einem Fahrzeugkamerasystem, mit dem ein lückenloses Gesamtbild einer Fahrzeugumgebung bereitgestellt werden kann.
Aus der US 2012/0086771 A1 ist ein Verfahren zur Darstellung von Bildern eines gekapselten Panorama-Kamerasystems bekannt, welches für Aufnahmen des Körperinneren von Menschen verwendet wird. Zur Darstellung eines sich aus vier Bildern zusammensetzenden Panoramabilds werden verschiedene Anordnungen der Einzelbilder zueinander vorgeschlagen.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Steuern einer Überwachungseinrichtung anzugeben, mit dem eine gute Überwachung der Umgebung ermöglicht wird.
Diese Aufgabe wird durch ein Verfahren gemäß den Merkmalen von Anspruch 1 gelöst. Dabei wird eine Einheit der Überwachungseinrichtung in Abhängigkeit von zumindest einem vorgegebenen Bildinhalt des Panoramabilds gesteuert und das Panoramabild auf einem Darstellungssystem in der Weise angezeigt, dass ein erster Abschnitt des Panoramabilds rechtläufig und ein zweiter Abschnitt des Panoramabilds rückläufig angezeigt wird.
Die Erfindung geht von der Überlegung aus, dass es zu einer Überwachung der Umgebung notwendig ist, vorgegebene Bildinhalte, beispielsweise sich annähernde Personen oder Fahrzeuge, im Panoramabild zu erkennen. Dies kann durch einen Bediener oder automatisiert durch bildverarbeitende Verfahren erfolgen. Um unnötige Fehlalarme zu vermeiden, ist es auch bei einer automatisierten Bildinhaltsüberwachung sinnvoll, einem Bediener die Möglichkeit eines guten Überblicks zu geben, sodass eine automatische Bildinhaltserkennung vom Bediener überprüft und beispielsweise zur Steuerung der Einheit der Überwachungseinrichtung freigegeben wird.
Um die optische Überwachung der Inhalte im Panoramabild für einen Bediener günstig zu gestalten, kann das Panoramabild in zwei oder mehr Abschnitte aufgeteilt werden, die beispielsweise übereinander dargestellt werden. Auf diese Weise kann eine lange, schlauchförmige Darstellung, die schwer im Überblick zu behalten ist, vermieden werden.
Es hat sich hierbei jedoch gezeigt, dass es für einen Bediener bei einer Annäherung mehrerer Personen oder Fahrzeuge bei einer solchen Darstellungsweise schwer zu erkennen ist, in welche Richtung sich die verdächtigen Objekte relativ zueinander bewegen. Denn durch das Aufteilen des Panoramabilds in mehrere Abschnitte werden beispielsweise aufeinander zulaufende Personen, die aber in verschiedenen Abschnitten dargestellt sind, scheinbar voneinander weglaufend dargestellt und umgekehrt. Bewegungsmuster von verdächtigen Objekten sind daher schwer zu durchschauen, sodass es zu Fehldeutungen und Fehlalarmen oder – wesentlich gravierender – zu einer mangelhaften Überwachung der Umgebung unter Nichterkennung möglicher Gefahren kommt.
Durch die Darstellung der Abschnitte in der Weise, dass der erste Abschnitt rechtläufig und der zweite Abschnitt rückläufig angezeigt wird, kann einer solchen Orientierungsverwirrung entgegengewirkt werden. Zusammengehörige Objektgruppen können von einem Bediener oder automatisiert zuverlässiger als solche erkannt werden, sodass die Zuverlässigkeit der Steuerung der Überwachungseinrichtung erhöht werden kann.
Unter einer rückläufigen Anzeige des Abschnitts wird im Folgenden verstanden, dass die Umgebung seitlich spiegelverkehrt dargestellt wird, sodass beispielsweise ein sich in der Umgebung von links nach rechts bewegendes Objekt im Panoramabild von rechts nach links bewegt dargestellt wird. Demgegenüber wird unter einer rechtläufigen Anzeige verstanden, dass eine seitentreue Abbildung vorliegt und eine seitliche Richtung einer Bewegung eines Objekts in der Umgebung richtungsgetreu des Panoramabilds angezeigt wird.
Die Überwachungseinrichtung umfasst das Kamerasystem, zweckmäßigerweise auch das Darstellungssystem und insbesondere ein Eingabemittel zum Eingeben von Steuerungsbefehlen eines Bedieners, insbesondere zur Steuerung der Einheit der Überwachungseinrichtung. Das Kamerasystem kann eine oder mehrere Kameras aufweisen, wobei das Panoramabild von einer einzigen Kamera oder mehreren der Kameras aufgenommen sein kann. Das Panoramabild kann aus mehreren Bildern mehrerer Kameras zusammengesetzt sein, beispielsweise durch Stitching. Die zu steuernde Einheit der Überwachungseinrichtung kann eine weitere Kamera, wie eine Infrarotkamera, ein Entfernungsmesser, wie eine Lasereinheit, ein Scheinwerfer, eine Waffe, eine physikalische Abschirmeinheit, wie beispielweise ein Tor, oder eine andere geeignete Einheit sein. Die Erkennung des vorgegebenen Bildinhalts im Panoramabild kann durch einen Bediener erfolgen, der das Panoramabild beobachtet. Vorzugsweise geschieht die Erkennung des Bildinhalts jedoch automatisiert mit bildverarbeitenden Verfahren. Auf diese Weise kann die Bildinhaltserkennung und Steuerung der Einheit vollautomatisiert erfolgen.
In einer vorteilhaften Ausführungsform der Erfindung wird das Panoramabild von mehreren starr in die Umgebung ausgerichteten Kameras, deren Bilder zweckmäßigerweise überlappen, aufgenommen. Solche Bilder können durch Stitching zum Panoramabild zusammengesetzt werden, beispielsweise indem die Bildinhalte der Überlappungsbereiche mittels bildverarbeitender Methoden auf Ähnlichkeiten untersucht und die Ähnlichkeiten übereinandergelegt werden. Vorteilhafterweise wird das Panoramabild derart in die beiden Abschnitte aufgeteilt, dass zumindest ein Bild einer der Kameras in beiden Abschnitten zumindest teilweise angezeigt wird. Die Aufteilung der Abschnitte muss also nicht in der Weise erfolgen, dass eine Anzahl Kamerabilder nur dem ersten Abschnitt und eine weitere Anzahl Kamerabilder nur dem zweiten Abschnitt zugeordnet werden. Die Aufteilung des Panoramabilds in die Abschnitte erfolgt somit zweckmäßigerweise unabhängig von den Kamerabildern beziehungsweise deren Abmessungen beziehungsweise Winkelüberdeckungen. Die zumindest teilweise Anzeige des einen Kamerabilds in beiden Abschnitten würde zweckmäßigerweise auch dann in beiden Abschnitten erfolgen, wenn dieses Bild mit keinem Nachbarbild überlappt.
Vorteilhafterweise ist das Panoramabild ein Rundumbild beziehungsweise 360°-Bild. Auf diese Weise kann eine vollständige Überwachung einer horizontalen Umgebung erreicht werden. Ein Azimutwinkel des Panoramabilds beträgt beispielsweise zwischen 20° und 40°, sodass eine rechteckige Darstellung des Panoramabilds ohne große Bildverzerrungen erfolgen kann.
Die Anzahl der Abschnitte, in die das Panoramabild aufgeteilt ist, kann zwei oder größer zwei sein, wobei zwei oder drei besonders vorteilhaft sind. Eine vorteilhafte Ausführungsform sieht zwei Abschnitte vor, die zumindest 190°-Bilder sind und sich an ihren beiden Enden jeweils um zumindest 5° überlappen. Auf diese Weise kann ein Übergang eines interessierenden Objekts von einem Abschnitt in den anderen Abschnitt leicht nachverfolgt werden.
Einer zuverlässigen Überwachung ist es ebenfalls dienlich, wenn die beiden Abschnitte in einer Rechteckdarstellung auf einem Bildschirm des Darstellungssystems angezeigt werden. Die Ober- und Unterkanten der beiden Abschnitte sind zweckmäßigerweise parallel zueinander. Einer klaren Zuordnung eines Objekts zu einem der beiden Abschnitte ist es außerdem förderlich, wenn die beiden Abschnitte getrennt voneinander dargestellt werden. Werden die beiden Abschnitte bündig übereinander dargestellt, die Seitenkanten der Abschnitte sind also bündig zueinander, so ist dies einem guten Überblick ebenfalls dienlich. Weiter ist es vorteilhaft, wenn beide Abschnitte die Umgebung aufrecht darstellen, ein aufrecht stehendes Objekt in beiden Abschnitten also aufrecht stehend dargestellt wird.
Die Erfindung sieht vor, dass das Panoramabild unter Verwendung einer Bildverarbeitung auf den vorbestimmten Bildinhalt untersucht wird. Es kann auch über große Zeiträume eine zuverlässige Erkennung des Bildinhalts gewährleistet werden. Vorteilhafterweise wird bei Auffinden des Bildinhalts ein Alarm ausgegeben, wobei die Einheit der Überwachungseinrichtung eine Alarmeinheit ist und der Weise angesteuert wird, dass der Alarm ausgegeben wird. Weiter ist es zweckmäßig, wenn der aufgefundene Bildinhalt im Panoramabild markiert wird. Ein Bediener kann auf den Bildinhalt hingewiesen werden und dieser kann ihn bestätigen oder zurückweisen. Erfolgt die Bestätigung, so wird der Alarm ausgelöst. Erfolgt keine Bestätigung, so kann der Alarm dennoch automatisiert ausgegeben werden, beispielsweise nach Ablauf eines Reaktionszeitraums von beispielsweise 30 Sekunden. Durch eine Zurückweisung des markierten Bildinhalts kann das Ausgeben des Alarms unterbunden werden.
Eine Überwachung des Panoramabilds wird entsprechend der Erfindung dadurch erleichtert, indem dieses bei Auffinden des vorbestimmten Bildinhalts so durch die Abschnitte verschoben wird, dass der aufgefundene Bildinhalt in der Mitte eines der Abschnitte abgebildet ist. Ein relevanter Bildinhalt kann so in den Fokus eines Bedieners gerückt werden.
In Abhängigkeit davon, wie weit die Verschiebung erfolgt, damit der Bildinhalt in der Mitte angeordnet ist, kann die Einheit der Überwachungseinrichtung, beispielsweise ein Scheinwerfer, gesteuert werden. Da der Verschiebewinkel direkt mit einer Richtung des durch den Bildinhalt erkannten Objekts in der Umgebung korrespondieren kann, kann das Element, beispielsweise der Scheinwerfer, direkt in diese Richtung und damit auf das Objekt gerichtet werden. Auf diese Weise ist es möglich, das Objekt detaillierter darzustellen und somit erkennbar zu machen.
Wandert ein verdächtiges Objekt in der Umgebung, so würde es auch im Panoramabild wandern, sodass dessen Verfolgung eventuell erschwert wird. Dem kann entgegengewirkt werden, wenn der Bildinhalt auch bei einer Bewegung durch das Panoramabild in der Mitte eines der Abschnitte gehalten wird, sodass das Panoramabild durch die Bewegung in den Abschnitten wandert. Das verdächtige Objekt kann stets im Fokus des Bedieners bleiben und von diesem vereinfacht überwacht werden.
Insbesondere bei einer Bewegung des Panoramabilds durch die beiden Abschnitte ist es vorteilhaft, wenn in die Abschnitte Winkelangaben eingeblendet werden, die eine Ausrichtung zumindest eines Bereichs eines Abschnitts in die Umgebung anzeigen. Hierdurch kann die Erkennung vereinfacht werden, wo sich das verdächtige Objekt räumlich in der Umgebung befindet.
Eine weitere vorteilhafte Möglichkeit besteht darin, dass nach Auffinden des Bildinhalts dieser Bildinhalt im Panoramabild markiert wird und ein Bediener den Bildinhalt durch eine entsprechende Eingabe in ein Eingabemittel in einen Mittelbereich eines der Abschnitte schiebt. Hierdurch kann verhindert werden, dass ein interessierendes Objekt im Panoramabild von einem Abschnitt zum nächsten wandert und eine Bewegungserkennung hierdurch erschwert wird. Außerdem kann eine günstigere Beobachtung des Objekts erleichtert werden. Weiter ist es vorteilhaft, wenn die Einheit der Überwachungsvorrichtung durch das Verschieben auf einen Gegenstand ausgerichtet wird, der im Bildinhalt abgebildet ist. Durch den Verschiebewinkel, mit dem der Bildinhalt durch den Bediener – oder automatisiert – verschoben wird, kann eine Richtung bestimmt werden, in der sich das interessierende Objekt befindet. Diese Richtung kann relativ zu einer vorbestimmten Richtung bestimmt werden. In diese Richtung kann nun die Einheit, beispielsweise ein Scheinwerfer oder eine Spektralkamera, ausgerichtet werden. Das Verschieben kann für den Bediener vereinfacht werden, wenn dieser den Bildinhalt beispielsweise nur bestätigt, was durch ein Berühren des Bildschirms geschehen kann. Die Berührung auf dem Bildschirm kann lokalisiert werden und der dort angezeigte Bildinhalt in die Mitte gerückt werden.
Eine andere Möglichkeit zur Ausrichtung der Einheit besteht darin, dass ein Bediener den Bildschirm am Ort eines interessierenden Objekts beziehungsweise erkannten Bildinhalts berührt und die entsprechende Richtung durch ein Steuermittel bestimmt und die Einheit dorthin ausgerichtet wird.
Um ein verdächtiges Objekt genauer zu untersuchen, ist es vorteilhaft, dieses nicht nur durch die zumindest eine das Panoramabild erzeugende Kamera aufzunehmen, sondern durch die Einheit der Überwachungseinrichtung zusätzliche Bilddaten zu verwenden, die erst nach Erkennen des Objekts bzw. der Bildinhalte erzeugt werden. Hierfür kann das Objekt zusätzlich beleuchtet werden und/oder in einem weiteren Spektralbereich oder mit einer vergrößerten Auflösung aufgenommen werden. Die Einheit der Überwachungseinrichtung also beispielsweise eine weitere Kamera sein, die eine höhere Bildauflösung aufweist, als die des Panoramabild aufnehmende Kamera. Das das Bild der hochauflösenden Kamera kann zusätzlich zu den beiden Abschnitten auf der Darstellungseinheit abgebildet werden.
Die zusätzliche Beleuchtungs- oder Aufnahmeeinheit deckt in der Regel nicht die gesamte Umgebung ab, sondern muss auf das verdächtige Objekt gerichtet werden. Dies kann in einfacher Weise erreicht werden, wenn das Panoramabild unter Verwendung einer Bildverarbeitung auf den Bildinhalt untersucht wird, bei Auffinden des Bildinhalts die Lage des Bildinhalts im Panoramabild bestimmt und mit einer vorbestimmten Richtung korreliert wird und die Einheit der Überwachungseinrichtung in diese Richtung ausgerichtet wird.
Nicht immer ist es bereits aus dem Panoramabild deutlich, in welchem Abstand sich ein verdächtiges Objekt befindet. Dieses Problem kann dadurch gelöst werden, dass die Entfernung von der Einheit der Überwachungseinrichtung zu dem Gegenstand gemessen wird, der im Panoramabild als der Bildeinheit dargestellt ist. Entsprechend kann die Einheit der Überwachungseinrichtung eine Entfernungsmesseinheit sein, die zweckmäßigerweise bei Auffinden des vorbestimmten Bildinhalts angesteuert wird, sodass eine Entfernungsmessung getriggert wird. Zweckmäßigerweise wird die Entfernungsmesseinheit zuvor auf das Objekt ausgerichtet, insbesondere unter Verwendung der Lage des vorbestimmten Bildinhalts im Panoramabild.
Die Überwachung eines großen Panoramabilds kann für einen Bediener ermüdend beziehungsweise mit einem hohen Rechenaufwand der automatisierten Bildüberwachung verbunden sein. Hierzu wird vorgeschlagen, dass das Panoramabild in einer vorbestimmten Geschwindigkeit durch die beiden Abschnitte wandert, sodass das Fokussieren auf einen Teilbereich eines Abschnitts einem Schweifen des Blicks in die Umgebung entspricht. Der Blick eines Bedieners kann auf einem Teil des Abschnitts ruhen und schweift so durch das gesamte Panoramabild, sodass dieses kontinuierlich überwacht werden kann. Auch eine Bildverarbeitung kann sich auf die Untersuchung des Teilbereichs beschränkt werden, der durch das Panoramabild wandert, sodass der Rechenaufwand in vertretbarem Rahmen gehalten werden kann. Das Panoramabild wird hierbei vorteilhafterweise von mehreren starr in die Umgebung ausgerichteten Kameras aufgenommen, sodass die Kameras trotz der Wanderung des Panoramabilds durch die Abschnitte relativ zur Umgebung ruhen. Das Wandern des Panoramabilds kann künstlich erzeugt werden, beispielsweise durch ein Bildverschiebungsprogramm.
Zur Unterstützung der Untersuchung des Teilbereichs kann eine weitere bewegliche Kamera in ihrer Ausrichtung so durch die Umgebung geschwenkt werden, dass sie stets auf einen Bildteil ausgerichtet ist, der in der Mitte eines der Abschnitte dargestellt ist. Der Bildteil kann der Teilbereich sein. Das Panoramabild kann hingegen von mehreren starr in die Umgebung ausgerichteten Kameras aufgenommen werden, sodass diese nicht bewegt werden müssen. Der den Umgebungsabschnitt darstellende Bildteil ist vorteilhafterweise stets in der Mitte eines der Abschnitte dargestellt. In diesem Bildteil können Informationen aus einem zusätzlichen Spektralbereich, den die bewegliche Kamera abtastet, eingeblendet sein. Auch zusätzliche Bilddetails durch eine zusätzliche Beleuchtung sind möglich und vorteilhaft. Weist die bewegliche Kamera eine größere Auflösung als die das Panoramabild aufnehmende Kamera auf, so besteht ebenfalls die Möglichkeit, diesen hoch aufgelösteren Bildteil in der Mitte des Abschnitts darzustellen, beispielsweise in dem der Bildteil größer dargestellt ist, also oberhalb und unterhalb des Abschnitts herausragt. Ebenfalls möglich und vorteilhaft ist es, dass der Bildteil nicht in der Mitte des Abschnitts dargestellt ist sondern in einem gesonderten Bereich des Darstellungssystems, beispielsweise über oder unter dem Abschnitt.
Weist die bewegliche Kamera eine Spektralempfindlichkeit in einem Spektralbereich auf, der verschieden ist von der das Panoramabild aufnehmenden Kamera, so kann der Bildbereich Bildinhalte aus zwei verschiedenen Spektralbereichen darstellen. Der Bildinhalt der Panoramakamera kann beispielsweise durch den gesamten oder teilweisen Bildinhalt der zusätzlichen Spektralkamera ergänzt werden.
Generell kann auf das Steuern der Überwachungseinrichtung ganz allgemein verzichtet werden, wobei abweichend vom oben genannten erfindungsgemäßen Verfahren auf die Steuerung der Einheit der Überwachungseinrichtung in Abhängigkeit von zumindest einem vorgegebenen Bildinhalt des Panoramabilds verzichtet wird. Die erfindungsgemäße Lehre kann hierbei auf ein Verfahren zum Abbilden eines Panoramabilds beschränkt werden, bei dem ein Kamerasystem ein Panoramabild der Umgebung mit mindestens einer Kamera aufnimmt, und das Panoramabild auf einem Darstellungssystem in der Weise angezeigt wird, dass ein erster Abschnitt des Panoramabilds rechtläufig und ein zweiter Abschnitt des Panoramabilds rückläufig angezeigt wird. Auch diese Ausprägung der Erfindung ist mit allen übrigen beschriebenen Details kombinierbar.
Weiter ist die Erfindung gerichtet auf eine Überwachungseinrichtung entsprechend den Merkmalen des Anspruchs 14 mit einem Kamerasystem zur Aufnahme eines Panoramabilds umfassend mindestens eine Kamera, ein Darstellungssystem zur optischen Darstellung des Panoramabilds, beispielsweise für einen Bediener. Optional kann die Überwachungseinrichtung zusätzlich ein Eingabesystem zum Erfassen eines Eingabebefehls eines Bedieners umfassen. Weiter ist eine Prozesseinheit zum Steuern einer Einheit des Kamerasystems möglich und vorteilhaft.
Um eine zuverlässige Überwachung der Umgebung zu erreichen wird vorgeschlagen, dass das Darstellungssystem dazu vorbereitet ist, einen ersten Abschnitt des Panoramabilds rechtläufig und einen zweiten Abschnitt des Panoramabilds rückläufig anzuzeigen.
Die bisher gegebene Beschreibung vorteilhafter Ausgestaltungen der Erfindungen enthält zahlreiche Merkmale, die in einzelnen Unteransprüchen teilweise zu mehreren zusammengefasst wiedergegeben sind. Diese Merkmale können jedoch zweckmäßigerweise auch einzeln betrachtet und zu sinnvollen weiteren Kombinationen zusammenfasst werden. Insbesondere sind diese Merkmale jeweils einzeln und in beliebiger geeigneter Kombination mit dem erfindungsgemäßen Verfahren und der erfindungsgemäßen Vorrichtung gemäß den unabhängigen Ansprüchen kombinierbar.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile der Erfindung, sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Die Ausführungsbeispiele dienen der Erläuterung der Erfindung und beschränken die Erfindung nicht auf die darin angegebene Kombination von Merkmalen, auch nicht in Bezug auf funktionale Merkmale. Außerdem können dazu geeignete Merkmale eines jeden Ausführungsbeispiels auch explizit isoliert betrachtet, aus einem Ausführungsbeispiel entfernt, in ein anderes Ausführungsbeispiel zu dessen Ergänzung eingebracht und/oder mit einem beliebigen der Ansprüche kombiniert werden.
Es zeigen:
1 eine Gruppe von Fahrzeugen mit Kameras zur Aufnahme eines Panoramabilds der Umgebung,
2 ein in zwei Abschnitte aufgeteiltes Panoramabild auf einer Anzeigeeinheit,
3 ein in zwei Abschnitte aufgeteiltes Panoramabild mit einem höher aufgelöst dargestellten Mittenbereich und
4 den höher aufgelösten Bereich unterhalb der beiden Abschnitte des Panoramabilds.
1 zeigt ein zu schützendes Objekt 2 mit fünf Fahrzeugen 4, die wagenburgähnlich zueinander aufgestellt sind und beispielsweise über Nacht in dieser Stellung verbleiben sollen. Die Fahrzeuge 4 sind jeweils mit einer Kamera 6 ausgestattet, die mobil auf das Fahrzeug gesetzt sind, oder drehbar auf dem jeweiligen Fahrzeug 4 montiert sein können. Die Kameras 6 sind alle während der Aufnahme starr in die Umgebung ausgerichtet, sodass sich die Ausrichtung ihres Sichtwinkelbereichs 8 ohne eine Bewegung des entsprechenden Fahrzeugs 4 in der Umgebung nicht verändert. Die Kameras 6 sind jeweils so zueinander ausgerichtet, dass die Sichtwinkelbereiche 8 von benachbarten Kameras 6 einander etwas überdecken. Auf diese Weise wird mit den fünf vorhandenen Kameras 6 der Fahrzeuggruppe jede Richtung in die Umgebung um die Fahrzeuggruppe abgedeckt. Die Kameras 6 bilden ein Kamerasystem, das Teil einer Überwachungseinrichtung ist.
Die Bilddaten der Kamera 6 werden kabelgebunden oder kabellos an eine Prozesseinheit 10 übermittelt, die in einem der Fahrzeuge 4 angeordnet ist. Diese fügt die Bilder der Kameras 6 mittels bildverarbeitender Methoden, beispielsweise Stitching, zu einem Panoramabild zusammen, das den gesamten Rundumbereich von 360° abdeckt und eine vertikale Erstreckung von 30° aufweist. Solche Aufnahmen werden zu bestimmten Zeitintervallen, beispielsweise alle 50 Millisekunden, wiederholt, sodass die Panoramabilder in ihrer Abfolge zu einem Panoramafilm zusammengesetzt werden können.
Diese Panoramabilder – im Folgenden wird der Einfachheit halber nur von einem einzigen Panoramabild gesprochen, ohne dass damit eine Einschränkung verbunden wäre – werden auf einem Darstellungssystem 12 mit einem Anzeigemittel 14 dargestellt, das in 2 schematisch dargestellt ist.
2 zeigt die Anzeigeeinheit 14 in einem der Fahrzeuge 4, die in Form eines Bildschirms ausgeführt ist. Das Panoramabild 16 ist in zwei Abschnitte 18, 20 aufgeteilt, die bündig untereinander auf dem Anzeigemittel 14 angeordnet sind. Jeder der beiden Abschnitte 18, 20 zeigt einen Winkelausschnitt 22 des Panoramabilds von 180° zuzüglich jeweils eines Überlappungsbereichs 24, 26, wobei der Überlappungsbereich 24 in beiden Abschnitten 18, 20 den gleichen Blickwinkelbereich anzeigt und der Überlappungsbereich 26 ebenfalls den gleichen Blickwinkelbereich in beiden Abschnitten 18, 20 anzeigt.
Die beiden Abschnitte 18, 20 sind jeweils Rechteckdarstellungen mit parallelen Ober- und Unterkanten, sie sind getrennt voneinander unten bündig übereinander angeordnet. Sie zeigen außerdem die Umgebung so, dass der obere Abschnitt 18 die Umgebung rechtläufig anzeigt und der untere Abschnitt 20 die Umgebung rückläufig anzeigt. Dies ist durch die in den beiden Abschnitten 18, 20 im unteren Bereich eingezeichneten waagerechten Pfeile schematisch angedeutet. Würde sich eine Person im Uhrzeigersinn um die Wagenburg bewegen, so würde sie sich auf den beiden Abschnitten in Richtung der beiden Pfeile durch das Panoramabild beziehungsweise die beiden Abschnitte bewegen. In dem Moment, in dem die Person in den Überlappungsbereich 24 des oberen Abschnitts 18 eintritt, wird sie auch im Überlappungsbereich 24 des unteren Abschnitts 20 abgebildet, wechselt allerdings die Bewegungsrichtung von rechtläufig zu rückläufig beziehungsweise in diesem Beispiel von nach rechts orientiert zu nach links orientiert. Tritt die Person nun in den Überlappungsbereich 26 des unteren Abschnitts 20, so wird sie auch im Überlappungsbereich 26 des oberen Abschnitts 28 abgebildet und wechselt wiederum die Bewegungsrichtung im Bild, ohne dass sie ihre Bewegungsrichtung in der Umgebung ändern würde. In beiden Abschnitten 18, 20 wäre eine aufrecht in der Umgebung stehende Person jeweils aufrecht abgebildet.
Das Panoramabild 16 wird durch die Prozesseinheit 10 mittels bildverarbeitender Verfahren kontinuierlich auf vorgegebene Bildinhalte untersucht, beispielsweise auf Personen, Bodenfahrzeuge und Luftfahrzeuge. Hierzu sind in der Prozesseinheit 10 beziehungsweise in einem Datenverarbeitungsprogramm beziehungsweise einem Speicher der Prozesseinheit 10 Bildmuster hinterlegt, auf die die Umgebung beziehungsweise das Panoramabild 16 abgesucht wird. Ein solcher vorgegebener Bildinhalt 28 ist beispielhaft und schematisch in 2 angedeutet. Dieser Bildinhalt 28 stellt ein interessierendes Objekt dar, beispielsweise eine sich an die Wagenburg annähernde Person.
Wird ein solcher vorbestimmter Bildinhalt 28 von der Prozesseinheit 10 aufgefunden, so wird dieser von der Prozesseinheit 10 in einem möglichen Ausführungsbeispiel markiert und insbesondere in die Mitte des oberen Abschnitts 18 gerückt, wie durch den schrägen Pfeil angedeutet ist. Die Markierung ist in 2 durch die Schraffur angedeutet und kann auf dem Anzeigemittel 14 beispielsweise durch eine farbige Hervorhebung des Bildinhalts 28 realisiert werden. Weiter steuert die Prozesseinheit 10 zweckmäßigerweise eine Einheit der Überwachungseinrichtung an, beispielsweise eine akustische Einheit, wie einen Lautsprecher 30, der einen Signalton für einen Bediener ausgibt. Dieser prüft den Bildinhalt 28 und kann eine oder mehrere Folgeaktionen einleiten. Eine solche Folgeaktion kann das Verwerfen des Bildinhalts 28 als harmlos sein. Auf einem Eingabemittel 32 (1) gibt der Bediener einen entsprechenden Befehl zum Verwerfen des Bildinhalts 28, dessen optische Markierung daraufhin von der Prozesseinheit 10 zurückgenommen wird.
Eine weitere Folgeaktion kann sein, dass der Bediener unter Zuhilfenahme des Eingabemittels 32 einen Alarm ausgibt, der beispielsweise über eine Alarmeinheit 34 akustisch an die anderen Fahrzeuge 4 oder auf einem anderen Weg übertragen wird.
Es kann jedoch auch sein, dass der Bediener das abgebildete und interessierende Objekt beziehungsweise den Bildinhalt 28 zunächst einmal überprüfen möchte. Hierzu richtet er eine weitere Kamera 36 auf das interessierende Objekt 38, das in 1 schematisch angedeutet ist. Der Bildinhalt 28 ist eine Abbildung des Objekts 38. Das Ausrichten der Kamera 36 kann auf mehrere unterschiedliche Weisen erfolgen. Die Winkelstellung des Bildinhalts 28 relativ zu einer vorbestimmten Winkelstellung im Panoramabild kann von der Prozesseinheit 10 bestimmt werden. Hierdurch kann auch die Winkelstellung des interessierenden Objekts 28 in der Umgebung relativ zu einer vorbestimmten Richtung bestimmt werden und die zusätzliche und bewegliche Kamera 36 kann auf das Objekt 38 ausgerichtet werden. Ebenfalls ist es möglich, dass der Bediener den Bildschirm im Bereich des Bildinhalts 28 berührt und insbesondere zeitgleich auf dem Eingabemittel 32 einen Befehl erteilt, der ein Ausrichten der Kamera 36 in die Winkelstellung der Bildschirmberührung bewirkt. Ist der Bildinhalt 28 bereits in die Abschnittsmitte des oberen Abschnitts 18 automatisiert gerückt worden, wie in 2 dargestellt ist, so bedarf es im Prinzip einer solchen manuellen Steuerung durch den Bediener nicht. Es kann jedoch sein, dass der Bediener die Kamera 36 auch in andere Richtungen ausrichten möchte und dies beispielsweise über den Bildschirm wie beschrieben durchführt.
Die zusätzliche Kamera 36 kann eine Kamera sein, die in einem anderen Spektralbereich sensitiv ist, in dem die Kameras 6 der Fahrzeuge 4 insensitiv sind. Denkbar wäre beispielsweise ein infraroter Spektralbereich, wohingegen die Kameras 6 nur im visuellen Spektralbereich aufnehmen. Vorteilhaft ist außerdem eine hochauflösende Kamera, die also höher auflöst als die Kameras 6 der Fahrzeuge 4. Hierdurch kann das Objekt 38 vergrößert dargestellt werden. Anstelle oder zusätzlich zur Kamera 36 kann auch eine andere Einheit ausgerichtet werden, beispielsweise ein Entfernungsmesser oder eine Beleuchtungseinheit, beispielsweise ein Scheinwerfer oder ein Infrarotstrahler.
Bei dem in 3 dargestellten Ausführungsbeispiel ist die Kamera 36 eine höher auflösende Kamera 36, die auf das interessierende Objekt 38 ausgerichtet ist. In ihrem Gesichtsfeld erzeugt die Kamera 36 einen Bildbereich 42, der im mittleren Bereich des einen Abschnitts 18 angeordnet ist. Hierbei wird der Abschnitt 18 etwas breiter, da der höher auflösende Bildbereich 42 keinen Bildbereich des Abschnitts 18 überdecken soll, der nicht im Bildbereich 42 höher auflösend abgebildet ist. Entsprechend sind die beiden Abschnitte 18, 20 bei Einblendung des höher auflösenden Bildbereichs 42 nicht mehr seitlich bündig zueinander angeordnet, wobei jedoch die Überlappungsbereiche 24, 26 unverändert bleiben.
Anstelle der Einblendung des höher auflösenden Bildbereichs 42 in einen Abschnitt 18, 20 ist es selbstverständlich auch möglich, diesen Bildbereich 42 außerhalb der Abschnitte 18, 20 abzubilden. 4 zeigt den höher auflösenden Bildbereich 42 unterhalb der Abschnitte 18, 20. Eine separate Darstellung ist besonders dann sinnvoll, wenn die Auflösung sehr viel höher, die Vergrößerung also sehr viel höher ist als durch die Panoramabild aufnehmenden Kameras 6.
Außerdem verfolgt die Prozesseinheit 10 eine mögliche Bewegung des interessierenden Objekts 38 beziehungsweise des Bildinhalts 28 durch das Panoramabild 16 kontinuierlich und hält den Bildinhalt 28 in der Mitte des Abschnitts 18 und bei diesem Ausführungsbeispiel auch in der Mitte des höher auflösenden Bildbereichs 42. Entsprechend wandern andere in der Umgebung statisch angeordnete Objekte durch die Abschnitte 18, 20. Um dem Bediener dennoch eine Auskunft über die Richtung des interessierenden Objekts 38 beziehungsweise des Bildinhalts 28 im Panoramabild 16 zu geben, ist das Panoramabild 16 mit Winkelangaben 44 versehen, die beispielsweise im unteren Bereich der Abschnitte 18, 20 eingeblendet sind, wie in den 2 und 3 angedeutet ist. Diese Winkelangaben 44 können mit Zahlen versehen sein, beispielsweise Gradzahlen, sodass dem Bediener eine Richtungsübersicht gegeben wird.
Durch das Halten des Bildinhalts 28 in der Mitte des Abschnitts 18 auch bei der Wanderung des interessierenden Bildinhalts durch das Panoramabild 16 kann der Bediener mögliche Veränderungen im Bildinhalt 28 beziehungsweise des Objekts 38 sehr genau verfolgen, ohne dass der Bildinhalt 28 über die Abschnittsgrenze hinaus wandert und so eine Verfolgung erschwert wird.
Bei den in den 2 und 3 gezeigten Ausführungsbeispielen ist das Panoramabild 16 in zwei Abschnitte 18, 20 eingeteilt dargestellt. Es ist jedoch je nach Überdeckungsbereich des Panoramabilds – generell sind nicht 360° notwendig sondern es kann auch ein kleinerer Bereich sein – beziehungsweise Azimutwinkel auch andere Aufteilungen denkbar und sinnvoll. Beispielsweise wird ein Panoramabild in drei untereinander liegende Abschnitte aufgeteilt und entsprechend auf dem Anzeigemittel 14 dargestellt.
Bezugszeichenliste

2: Objekt
4: Fahrzeug
6: Kamera
8: Sichtwinkelbereich
10: Prozesseinheit
12: Darstellungssystem
14: Anzeigemittel
16: Panoramabild
18: Abschnitt
20: Abschnitt
22: Winkelausschnitt
24: Überlappungsbereich
26: Überlappungsbereich
28: Bildinhalt
30: Lautsprecher
32: Eingabemittel
34: Alarmeinheit
36: Kamera
38: Objekt
42: Bildbereich
44: Winkelangabe

Claims

Verfahren zum Steuern einer Überwachungseinrichtung, bei dem ein Kamerasystem ein Panoramabild (16) der Umgebung mit mindestens einer Kamera (6) aufnimmt, eine Einheit der Überwachungseinrichtung in Abhängigkeit von zumindest einem vorgegebenen Bildinhalt (28) des Panoramabilds (16) gesteuert wird und das Panoramabild (16) auf einem Darstellungssystem (12) in der Weise angezeigt wird, dass ein erster Abschnitt (18) des Panoramabilds (16) rechtläufig und ein zweiter Abschnitt (20) des Panoramabilds (16) rückläufig angezeigt wird, wobei das Panoramabild (16) unter Verwendung einer Bildverarbeitung auf den Bildinhalt (28) untersucht wird, und bei Auffinden des Bildinhalts (28) das Panoramabild (16) so durch die Abschnitte (18, 20) verschoben wird, dass der Bildinhalt (28) in der Mitte eines der Abschnitte (18) abgebildet ist.
Verfahren nach Anspruch 1, wobei das Panoramabild (16) von mehreren starr in die Umgebung ausgerichteten Kameras (6), deren Bilder überlappen, aufgenommen wird, die Bilder durch Stitching zum Panoramabild (16) zusammengesetzt werden und das Panoramabild (16) derart in die beiden Abschnitte (18, 20) aufgeteilt wird, dass zumindest ein Bild einer der Kameras (6) in beiden Abschnitten (18, 20) zumindest teilweise angezeigt wird.
Verfahren nach Anspruch 1 oder 2, wobei das Panoramabild (16) ein 360°-Bild ist, die beiden Abschnitte (18, 20) jeweils zumindest 190°-Bilder sind und sich die beiden Abschnitte (18, 20) an ihren beiden Enden jeweils um zumindest 5° überlappen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die beiden Abschnitte (18, 20) in einer Rechteckdarstellung mit parallelen Ober- und Unterkanten, getrennt voneinander und bündig übereinander auf einem Bildschirm des Darstellungssystems (12) angezeigt werden und beide Abschnitte (18, 20) die Umgebung aufrecht darstellen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei Auffinden des Bildinhalts (28) die Einheit der Überwachungseinrichtung in Form einer Alarmeinheit (34) angesteuert und ein Alarm ausgegeben wird und der aufgefundene Bildinhalt (28) im Panoramabild (16) markiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Bildinhalt (28) auch bei einer Bewegung durch das Panoramabild (16) in der Mitte eines der Abschnitte (18) gehalten wird, so dass das Panoramabild (16) durch die Bewegung in den Abschnitten (18, 20) wandert.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in die beiden Abschnitte (18, 20) Winkelangaben (44) eingeblendet werden, die eine Ausrichtung zumindest eines Bereichs eines Abschnitts (18, 20) in die Umgebung anzeigen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei Auffinden des Bildinhalts (28) dieser im Panoramabild (16) markiert wird, ein Bediener den Bildinhalt (28) durch eine entsprechende Eingabe in ein Eingabemittel (32) in einen Mittelbereich eines der Abschnitte (18, 20) schiebt und die Einheit durch das Verschieben auf einen Gegenstand (38) ausgerichtet wird, der im Bildinhalt (28) abgebildet ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei Auffinden des Bildinhalts (28) die Lage des Bildinhalts (28) im Panoramabild (16) bestimmt und mit einer Richtung in die Umgebung korreliert wird und die Einheit der Überwachungseinrichtung in diese Richtung ausgerichtet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei Auffinden des Bildinhalts (28) die Einheit der Überwachungseinrichtung in Form einer Entfernungsmesseinheit angesteuert und eine Entfernung von der Einheit zu einem Gegenstand (38) gemessen wird, der im Panoramabild (16) als der Bildinhalt (28) dargestellt ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Panoramabild (16) mit einer vorbestimmten Geschwindigkeit durch die beiden Abschnitte (18, 20) wandert, so dass das Fokussieren auf einen Teilbereich eines Abschnitts (18, 20) einem Schweifen des Blicks in die Umgebung entspricht.
Verfahren nach Anspruch 11, wobei das Panoramabild (16) von mehreren starr in die Umgebung ausgerichteten Kameras (6) aufgenommen wird und eine weitere bewegliche Kamera (36) in ihrer Ausrichtung so durch die Umgebung geschwenkt wird, dass sie stets auf einen Bildteil ausgerichtet ist, der in der Mitte eines der Abschnitte (18) dargestellt ist.
Verfahren nach Anspruch 12, wobei die bewegliche Kamera (36) in ihrer Spektralempfindlichkeit von den das Panoramabild (16) aufnehmenden Kameras (6) verschieden ist und ihr Bild in das Panoramabild (16) eingeblendet wird, so dass dieser Bildbereich (42) Bildinhalte aus zwei verschiedenen Spektralbereichen darstellt.
Überwachungseinrichtung mit einem Kamerasystem zur Aufnahme eines Panoramabilds (16) umfassend mindestens eine Kamera (6), ein Darstellungssystem zur optischen Darstellung des Panoramabilds (16), einem Eingabesystem (32) zum Erfassen eines Eingabebefehls eines Bedieners, einer Einheit und einer Prozesseinheit (10) zum Steuern der Einheit und zur Untersuchung des Panoramabilds auf vorgegebene Bildinhalte (28), wobei das Darstellungssystem dazu vorbereitet ist, einen ersten Abschnitt (18) des Panoramabilds (16) rechtläufig und einen zweiten Abschnitt (20) des Panoramabilds (16) rückläufig anzuzeigen und die Prozesseinheit (10) dazu vorbereitet ist, bei Auffinden eines vorgegebenen Bildinhalts (28) das Panoramabild (16) so durch die Abschnitte (18, 20) zu verschieben, dass der vorgegebene Bildinhalt (28) in der Mitte eines der Abschnitte (18, 20) abgebildet ist.