DE10261146A1

DE10261146A1 - Steuerung eines Multikamera-Systems

Info

Publication number: DE10261146A1
Application number: DE10261146A
Authority: DE
Original assignee: Funkwerk Plettac Electronic GmbH
Current assignee: Funkwerk Video Systeme GmbH
Priority date: 2002-12-22
Filing date: 2002-12-22
Publication date: 2004-07-01
Also published as: EP1434184A3; ATE388457T1; DE50309311D1; EP1434184A2; EP1434184B1; ES2301752T3

Abstract

Die Erfindung beschreibt ein Verfahren zur Überwachung einer Szene mit einer ersten und mindestens einer zweiten Kamera. Von der ersten Kamera wird ein definierter Bereich der zu überwachenden Szene erfasst und im dazugehörigen Kamerabild ein Punkt ausgewählt. Durch den ausgewählten Bildpunkt wird eine Linie, der Sehstrahl, definiert. Die zweite, mit einer Bewegungseinrichtung ausgestattete Kamera wird auf den dazugehörigen Weltpunkt ausgerichtet, indem eine Orientierung der zweiten Kamera an der Linie erfolgt.

Description

Die Erfindung betrifft ein Verfahren zur Steuerung eines Multikamera-Systems mit den Merkmalen des Anspruches 1 und eine Vorrichtung zur Umsetzung des Verfahrens mit den Merkmalen des Anspruches 23.
Multikamera-Systeme sind hinlänglich bekannt. Insbesondere bei Überwachungssystemen und Alarmsystemen besteht oft eine Kombination aus stationären Kameras und Pan-Tilt-Zoom-Kameras. Stationäre Kameras sind kostengünstiger und sie ermöglichen eine kontinuierliche Überwachung eines vordefinierten Bereichs. Nachteilig bei stationären Kameras ist es jedoch, dass ein Eindringling nicht verfolgt werden kann. Verlässt ein Eindringling das vordefinierte Überwachungsfeld, wird eine Verfolgung unmöglich, und der Eindringling wird häufig verloren. Außerdem ist es bei solchen Systemen durch die grobe Auflösung der Kamera oftmals nicht möglich einen Eindringling zu identifizieren oder kleine Objekte zu erkennen. Es werden daher Pan-Tilt-Zoom-Kameras verwendet, um einen mit einer stationären Kamera detektierfen Eindringling zu verfolgen und zu vergrößern. Dieselbe Problematik ergibt sich auch bei anderen Anwendungen z.B. bei Kamerasystemen zur Verkehrsbeobachtung oder bei Sportereignissen in großen Hallen oder Stadien. Für einen Benutzer ist die manuelle Steuerung der Pan-Tilt-Zoom Kamera zur schnellen und gezielten Erfassung eines Objekts im allgemeinen schwierig.

Aus EP-A1-0 529 317 und EP-A1-0 714 081 ist es bekannt, bewegliche Objekte, bei deren Verfolgung mit Kameras, von einer Kamera auf die nächste zu übergeben. Die Erfindung beschreibt eine Anwendung innerhalb geschlossener Räume, beispielsweise innerhalb eines Kasinos. Hierbei wird die nächstliegende verfügbare Pan-Tilt-Zoom-Kamera ausgewählt, welche das Objekt verfolgen kann, wenn es den Überwachungsbereich der aktuell das Objekt erfassenden Kamera verlässt. Die Anwendungen behandeln dabei Innenräume bei denen der zu überwachende Bereich eine Ebene – die Fußbodenebene – ist. Für die Objekte wird eine bekannte Größe – Personen – und Bodenberührung angenommen.

Aus US-A-6 359 647 ist eine weitere Erfindung offenbart, welche es ermöglicht eine Übergabe von Objekten zwischen Kameras und deren überwachten Bereichen zu ermöglichen. Die hierbei eingesetzten Kameras können sowohl Pan-Tilt-Zoom-Kameras, als auch stationäre Kameras sein. Das Ziel der Erfindung ist es ein Objekt über mehrere Kameras hinweg kontinuierlich zu verfolgen, eine gezoomte Objektverfolgung und die damit verbundenen Probleme werden nicht angesprochen. Es wird angenommen, dass sich die Objekte auf einer Ebene – Fußbodenebene – bewegen, eine bekannte Größe haben oder die Distanz über die Fokuseinstellung des Kameraobjektivs ermittelt wird.

Aus US-A-6 215 519 ist bekannt, zur Verfolgung von beweglichen Objekten, die in einer stationären Kamera mit großem Gesichtsfeld detektiert wurden, eine zweite Kamera mit höherer Auflösung zu verwenden. Die stationäre Kamera wird als omnidirektionale Kamera mit sehr geringer Auflösung angenommen, so dass die höhere Auflösung der zweiten Kamera nur eine normale Auflösung ist und dementsprechend keine hohe Genauigkeit erfordert. Zur Lokalisierung des Objekts mit der zweiten Kamera wird vorgeschlagen beide Kameras direkt nebeneinander zu platzieren oder die Objekte auf einer bekannten Grundebene anzunehmen.

Aufgabe der Erfindung ist es die Erfassung eines im Bild einer ersten Kamera sichtbaren Objekts durch eine zweite orientierbare Kamera zu verbessern.

Diese Aufgabe wird anhand der Verfahrensmerkmalen des Anspruchs 1 und den Vorrichtungsmerkmalen des Anspruches 23 gelöst.

Das erfindungsgemäße Kamerasystem besteht aus einer ersten Kamera, auch als Masterkamera bezeichnet, und mindestens einer zweiten Kamera, auch als Slavekamera bezeichnet. Bei der zweiten Kamera handelt es sich in vorteilhafter Weise um eine Pan-Tilt-Zoom-Kamera.

Im weiteren ist ein Objektdetektor vorhanden. Als Objektdetektor wird jede Art von geeigneter Vorrichtung, Verfahren oder menschlichem Benutzer bezeichnet, der in einem Kamerabild ein interessierendes Objekt, z.B. Personen, PKWs, Gesichter, bewegte Objekte, die Position eines verschwundenen Objekts, eine Rauchwolke, ein Schatten usw., detektieren kann. Dies kann z.B. ein menschlicher Benutzer sein, der das Objekt über ein geeignetes Eingabemedium, z. B. eine Maus, auf einem Monitorbild oder einer anderen geeigneten Darstellung des Kamerabildes detektiert. Ein weiteres Beispiel sind Video-Bewegungsdetektoren, die bewegte Objekte detektieren. Eine weitere Möglichkeit besteht darin Objekte anhand charakteristischer Merkmale zu detektieren, z.B. Farbe, Form, Gesichtserkennung. Unter einem Benutzer verstehen wir im folgenden eine Person, die das System bedient. Unter einem automatischen Detektor sollen Detektoren verstanden werden, die ohne menschlichen Eingriff funktionieren. Es sind auch halb automatische Kombinationen möglich, bei denen ein automatischer Detektor Detektionsvorschläge macht, die durch einen Benutzer verifiziert werden müssen. Unter der Detektion soll hier auch die Lokalisierung verstanden werden, d.h. die Bestimmung der Position des Objekts im Kamerabild. Eine Detektion bezeichnet allgemein eine Positionsbestimmung in diesem Sinne in einem Kamerabild. Im Falle eines Benutzers geschieht dies in vorteilhaften Ausgestaltungen häufig durch einen Mausklick. Es kann jedoch auch ein Joystick, ein berührungssensitiver Monitor oder ein anderes geeignetes Eingabemedium verwendet werden.

Die Position kann dabei ein Punkt sein, der dem Objekt zugeordnet wird oder auch eine oder mehrere Flächen. Im Falle digital vorliegender Bilder wird die Position oft durch ein Pixel bestimmt. Dieses Pixel besitzt eine endliche Ausdehnung und kann z.B. in einer höheren Auflösung durch mehrere Pixel repräsentiert werden. Es kann auch durch die Eigenart des Detektors, wie etwa eines Bewegungsdetektors oder durch sogenannte Touchscreens eine oder mehrere Flächen als die Position des Objekts ausgewählt werden. Wir verstehen daher im folgenden unter einem Punkt im Bild oder Bildpunkt auch eine oder mehrere Flächen. Ein Punkt in der durch die Kamera abgebildeten Szene kann demnach auch eine Ausdehnung besitzen.

Unter einem Monitor soll im folgenden jede geeignete Einrichtung zur zeitlich veränderlichen Darstellung von Bildern, Text und Grafiken verstanden werden. Dies können z.B. Bildröhrenmonitore wie PC-Monitore, Überwachungsmonitore, Fernseher oder ähnliches sein. Es können auch Flachbildschirme, LCD-Bildschirme oder andere Arten von Displays sein.

Als Kamerabild bezeichnen wir ein wirklich für einen Benutzer sichtbares Monitorbild aber auch eine nicht sichtbare Repräsentation desselben Bildes etwa als digitale Daten in einem Computer. Soweit es sich im beschriebenen Verfahren um einen Benutzer handelt, ist ein Monitorbild gemeint und die Einblendung oder Einzeichnung von Linien, Punkten etc. geschieht in das Monitorbild in einer für den Benutzer wahrnehmbaren Form. Falls ein Verfahrensteil von einem automatischen Detektor ausgeführt wird handelt es sich um ein allgemeines, nicht notwendigerweise sichtbar dargestelltes Bild. Das Einzeichnen oder Einblenden entspricht hier einer Berücksichtigung der entsprechenden Positionen im Bild durch den betroffenen automatisch ausgeführten Verfahrensteil.

Wir werden im folgenden das System und Verfahren beschreiben, wie es sich für einen Benutzer darstellt. Dies soll jedoch generell die Verwendung automatischer oder halbautomatischer Detektoren einschließen. Das Verfahren bleibt gleich, wenn unter einem Detektionsschritt die Detektion durch einen beliebigen Detektor verstanden wird. Im Falle der automatischen Detektion in allen Detektionsschritten können in der Vorrichtung Monitore und Eingabemedien entfallen, da die hierdurch dargestellte und eingegebene Information in den Steuereinheiten automatisch erzeugt und berücksichtigt wird.

Als Masterkamera wird eine Kamera bezeichnet, in der ein Objekt von einem Objektdetektor detektiert wird, wobei diese Detektion zur Erfassung desselben Objekts in weiteren, sogenannten Slavekameras verwendet werden soll. Die Masterkamera ist oft stationär, sie kann aber auch mit einer Schwenk-Neige-Einheit ausgestattet sein. Tatsächlich ist jede Kamera als Masterkamera geeignet, bei der zu einem gegebenen Zeitpunkt eine eindeutige Zuordnung zwischen einem Punkt im Kamerabild und einem sogenannten Sehstrahl gegeben ist. Ein zu einem Bildpunkt gehöriger Sehstrahl ist der Ort aller Punkte im Raum, die von der Kamera auf diesen Bildpunkt abgebildet werden. Für reale Kameras sind dies für ausdehnungslose Bildpunkte Geraden, für ausgedehnte Bildpunkte entsprechende Kegel als Summe aller Geraden. Falls im folgenden verfahrensbedingt an einer Stelle eine nicht ausgedehnte Gerade als Sehstrahl gegeben ist, wird aus diesem Kegel eine geeignete Gerade als Repräsentant verwendet, meist die zur Objektmitte oder zum Objektfußpunkt gehörende Gerade. Dies kann etwa dann der Fall sein, wenn ein Video-Bewegungsdetektor eine Fläche im Kamerabild detektiert oder ein Benutzer über einen Touchscreen keine pixelgenaue Position eingibt. Die Zuordnungsvorschrift zwischen Bildpunkten und Sehstrahlen, wobei die Sehstrahlen in einem kamerafesten Koordinatensystem gegeben sind, bezeichnet man als interne Kalibrierung der Kamera. Die Position der Kamera relativ zu einem Weltkoordinatensystem oder einer anderen Kamera wird als externe Kalibrierung bezeichnet. Die Eigenschaft der Masterkamera bezieht sich nur auf die gerade aktuelle Detektionsaufgabe. In einer weiteren Detektion kann dieselbe Kamera auch die Funktion einer Slavekamera ausüben sofern ihr Gesichtsfeld einstellbar ist.

Die Aufgabe der Slavekamera ist es, das in der Masterkamera detektierte Objekt zu erfassen. Als Slavekamera ist jede Kamera mit einstellbarem Gesichtsfeld geeignet. Unter der Einstellung des Gesichtsfeldes zur Erfassung des Objekts durch die Slavekamera wird die Ausrichtung des sogenannten Kameravektors auf das Objekt verstanden. Der Kameravektor ist dabei ein vorgegebener, mit der Kamera fest verbundener Richtungsvektor; er wird daher zusammen mit dem Gesichtsfeld der Kamera eingestellt. In besonders vorteilhaften Ausgestaltungen sind Slavekameras Pan-Tilt-Zoom Kameras (Dome oder Schwenk-Neige-Köpfe). Jeder andere Mechanismus zur Einstellung des Gesichtsfelds ist jedoch auch geeignet.

Eine Zoom-Funktion ist nicht für alle Anwendungen notwendig, jedoch oft vorteilhaft. Es wird angenommen, dass die Slavekamera extern kalibriert ist, d.h. ihre Position und Orientierung relativ zur Masterkamera ist bekannt. Außerdem wird der Einstellmechanismus des Gesichtsfeldes als kalibriert angenommen, d.h. der Kameravektor kann gezielt auf vorgegebene Richtungen eingestellt und der Zoom gezielt beeinflusst werden. Auch die Funktion der Slavekamera besteht nur für diesen Erfassungsvorgang. Dieselbe Kamera kann in einem weiteren Erfassungsvorgang auch Masterkamera sein.

Ein System kann aus zwei oder mehr Kameras bestehen, wobei für eine bestimmte Objekterfassung jeweils eine beliebige Kamera als Masterkamera und eine oder mehrere Kameras mit einstellbarem Gesichtsfeld als Slavekameras operieren. Für die nächste Objekterfassung können dies andere Kamerapaarungen sein oder auch die Rollen der letzten Paarung vertauscht werden. Ein Objekt kann zum selben oder verschiedenen Zeitpunkten auch von mehreren Masterkameras detektiert werden. Es können im Kamerabild der Masterkamera auch mehrere Objekte detektiert werden, die dann durch mehrere Slavekameras erfasst werden oder es wird ein Objekt detektiert, das dann durch mehrere Slavekameras erfasst wird. Die Suche des Objekts wird dabei in allen Fällen auf den durch die jeweilige Masterkamera gegebenen Sehstrahl des Objekts eingeschränkt. Bei mehreren Objekten ist durch jedes Objekt ein Sehstrahl gegeben.

Im folgenden wird die Erfindung anhand von Figuren verdeutlicht. Diese beispielhafte Beschreibung stellt keine Limitierung oder Einschränkung der Erfindung auf die aufgeführten Beispiele dar. Sie dient lediglich zur Verdeutlichung der Erfindung und besonders vorteilhafter Ausgestaltungen.
Insbesondere die 3 bis 5 ermöglichen ein schnelles grundsätzliches Verständnis der Erfindung.
Es zeigt:
1 ein Blockschaltbild eines Systems;
2 eine schematische Darstellung einer Kamera;
3 einen schematischen Plan eines zu überwachenden Areals mit einem System aus zwei Kameras, sowie eines ausgewählten Objekts und dem dazugehörigen Sehstrahl der Masterkamera;
4 ein Kamerabild der Masterkamera aus 3;
5 ein Kamerabild der Slavekamera mit eingeblendetem Sehstrahl der Masterkamera;
6 einen schematischen Plan eines zu überwachenden Areals mit einem System aus zwei Kameras, wobei die Slavekamera in mehreren Ausrichtungen entlang des Sehstrahls der Masterkamera dargestellt ist;
7 Kamerabilder der Slavekamera in 6, die mit verschiedenen Ausrichtungen entlang des Sehstrahls der Masterkamera erfasst werden;
8 ein Kamerabilder der Slavekamera in 6, die mit Ausrichtungen auf und neben dem Sehstrahl der Masterkamera erfasst werden, sowie eingeblendeten Pfeilen zur Steuerung der Slavekamera;
9 einen schematischen Plan eines zu überwachenden Areals mit einem System aus zwei Kameras, wobei sich Personen in verschiedenen Entfernungen entlang eines Sehstrahls der Masterkamera befinden;
10 Kamerabilder der Slavekamera in 9 bei einer Ausrichtung auf die Personen in 9 ohne Zoomanpassung;
11 Kamerabilder der Slavekamera in 9 bei einer Ausrichtung auf die Personen in 9 mit Zoomanpassung;
12 ein Kamerabild der Masterkamera aus 3 mit eingeblendetem Kameravektor der Slavekamera bzw. dazugehörigem Sehstrahl; In der folgenden Beschreibung werden bei den einzelnen Figuren für sich entsprechende Objekte entsprechende Bezugszeichen verwendet. Dies ermöglicht es, die Erfindung im zusammenhängenden Rahmen zu beschreiben.
1 zeigt das Blockschaltbild des Systems. Beispielhaft ist hier eine erste Kamera 101 als Masterkamera und eine zweite Kamera 102 mit einstellbarem Gesichtsfeld als Slavekamera dargestellt. Die Masterkamera 101 ist eine stationäre Kamera. Die Masterkamera 101 ist an eine Steuereinheit 140 angeschlossen, die über analoge Ausgänge, insbesondere z.B. für das Videosignal und digitale Ausgänge, insbesondere z.B. für Steuersignale über Netzwerke, die Masterkamera 101 mit einer zentralen Steuereinheit 142 verbindet. Falls digitale Kameras oder Bildübertragungen eingesetzt werden kann das Netz zur Bildübertragung ganz oder teilweise digital sein. Falls die Materkamera 101 ein einstellbares Zoomobjektiv hat wird dieses von der zentralen Steuereinheit 142 aus über die Steuereinheit 140 eingestellt werden. Der aktuelle Wert ist entweder in der zentralen Steuereinheit 142 gespeichert oder über die Steuereinheit 140 abfragbar. In gleicher Weise steuert und verbindet die Steuereinheit 141 die Pan-Tilt-Zoom Kamera 102. Hier können außer dem Zoom auch Pan und Tilt eingestellt und die aktuellen Werte abgefragt werden. Die zentrale Steuereinheit 142 hat somit Zugriff auf die Steuerung, die aktuellen Einstellungen und die Kamerabilder aller beteiligten Kameras 101 und 102. Die Kamerabilder können auf den an die zentrale Steuereinheit 142 angeschlossenen Monitoren 144 und 145 dargestellt werden. Falls automatische Detektoren für die Masterkamera 101 und/oder die Slavekamera 102 verwendet werden, können die entsprechenden Monitore 144 und 145 auch direkt an die Steuereinheiten 140 und 141 oder direkt an die Kameras 101 und 102 angeschlossen werden oder sie können ganz entfallen. Im Falle automatischer Detektoren ohne Benutzereingriff oder Kontrolle können auch Einblendungen in das Kamera- bzw. Monitorbild entfallen. Es ist auch möglich nur einen Monitor zu benutzen, wobei die Bilder von der Masterkamera 101 und der Slavekamera 102 nebeneinander, im sogenannten Splitverfahren, ineinander, im sogenannten Bild-im-Bild-Verfahren oder zeitlich hintereinander dargestellt werden. Für die erste Detektion in der Masterkamera 101 wird dabei das Bild der Masterkamera 101 aufgeschaltet, für die darauffolgende Detektion in der Slavekamera 102 wird dann diese Kamera aufgeschaltet.
In der folgenden Beschreibung wird, soweit es sich beim Detektor um einen Benutzer handelt, von einem Monitor pro Kamerabild ausgegangen. Die zentrale Steuereinheit 142 ist in der Lage in die dargestellten Bilder Informationen wie einen Mauszeiger, markierte Punkte und Sehstrahlen einzublenden. Bei Bedarf können auch im Kamerabild oder, falls dieses nicht bildfüllend ist, auf dem Monitor außerhalb des dargestellten Kamerabildes graphische Steuerelemente, wie z.B. Schieberegler, eingeblendet werden. Ein Benutzer kann über eine Eingabevorrichtung 143, bei welcher es sich in vorteilhaften Weise um eine Maus und/oder eine Tastatur und/oder einen Schieberegler und/oder ein Bedienpult und/oder einen Joystick, usw., handelt, die notwendigen Steuerungen vornehmen. In der zentralen Steuereinheit 142 sind auch die Daten für die interne und externe Kalibrierung der Kameras 101 und 102 gespeichert. Falls vorhanden, sind hier auch Geländemodelle gespeichert und automatische Detektoren, wie Bewegungsdetektoren, etc., installiert. Alle Informationen und Module für eine der Kameras 101 oder 102 können auch in den lokalen Steuereinheiten 140 oder 141 angesiedelt sein. Bei diesen Modulen handelt es sich in vorteilhafter Weise um Module zur Kalibrierung und/oder automatischen Detektion. Sind solche Module in lokalen Steuereinheiten installiert, laufen nur die entsprechend verarbeiteten Informationen, etwa die Position des detektierten Objekts, in der zentralen Steuereinheit 142 zusammen. In der zentralen Steuereinheit 142 werden alle Eingaben und Informationen gesammelt und verarbeitet, d.h. für ein in der Masterkamera 101 detektiertes Objekt wird der zugehörige Sehstrahl 303 (in 3) in Weltkoordinaten errechnet und, soweit der Sehstrahl von der Slavekamera 102 erfasst wird, in das Kamerabild der Slavekamera 102 eingeblendet (Sehstrahl 504 in 5). Weitere Einblendungen, entsprechend der im folgenden geschilderten Ausgestaltungen, werden vorgenommen und die Slavekamera 102, z.B. entsprechend der im folgenden beschriebenen Ausgestaltungen, gesteuert. Falls ein Benutzer das System bedient, werden entsprechende Eingaben durch die zentrale Steuereinheit 142 berücksichtigt bzw. dem Benutzer entsprechende Steuerelemente angeboten.
2 zeigt eine schematische Darstellung einer Kamera. Kameras werden wie in dieser Zeichnung dargestellt, oft als sogenannte projektive- oder auch Loch-Kamera modelliert. Dabei gehen alle Sehstrahlen durch einen Punkt, das sogenannte optische Zentrum 260 der Kamera. Durch das optische Zentrum 260 und einen Bildpunkt 206 auf der Bildebene 262 (einem Pixel auf dem CCD oder CMOS Chip bei digitalen Kameras) wird ein Sehstrahl 203 definiert, welcher der Ort aller Punkte im Raum ist, die durch die Kamera auf den Bildpunkt 206 abgebildet werden. Viele reale Kameras können durch die algorithmische Korrektur von Verzerrungen im Bild sehr genau diesem Model entsprechen. Für andere Kameras gibt es ähnliche Modelle. Die Ausrichtung einer Kamera mit einstellbarem Gesichtsfeld (Slavekamera 102 in 1) erfolgt nicht notwendiger Weise auf die Bildmitte. Wird die Kamera nicht als projektive Kamera modelliert, kann es auch sinnvoll sein, die Ausrichtung der Kamera durch einen Strahl zu definieren, der nicht durch das optische Zentrum der Kamera geht bzw. es ist kein eindeutiges optisches Zentrum vorhanden. Daher wird ein allgemeiner Kameravektor 261 definiert, der die Ausrichtung der Kamera definiert. Falls die Kamera als projektive Kamera modelliert wird, kann man den Kameravektor 261 wie in der Zeichnung dargestellt vorteilhaft im optischen Zentrum 260 verankern. Der Kameravektor 261 entspricht dann einem bestimmten Sehstrahl und die Ausrichtung des Kameravektors entspricht der Ausrichtung des dazugehörigen Bildpunktes (Pixels} auf das Objekt. Bei Slavekameras mit Zoomfähigkeit kann dieser Bildpunkt vorteilhaft als das Zoomzentrum gewählt werden, d.h. der Bildpunkt, welcher bei sich veränderndem Zoom im Bild stationär bleibt. Jeder andere Bildpunkt, z.B. die Bildmitte, ist jedoch auch möglich.
3 zeigt einen schematischen Plan (Draufsicht) eines zu überwachenden Areals mit einem System aus zwei Kameras 301 und 302. Die Kamera 301 ist die Masterkamera, die Kamera 302 die Slavekamera. Die beiden Kameras 301 und 302 sind z.B. Überwachungskameras und dienen zur visuellen Überwachung des Areals. In dem Areal befinden sich die Objekte 311 (Haus}, 312–315 (Bäume} und 316 (PKW). Die Masterkamera 301 erfasst in ihrem durch die Begrenzungslinien 321 angedeuteten Gesichtsfeld einen dieser Kamera zugeordneten Überwachungsbereich. Überwachungsbereiche umfassen oft nicht das ganze Gesichtsfeld. Dies wird durch die Linien 370 und 371 angedeutet, die hier beispielhaft Anfang und Ende des Überwachungsbereichs darstellen. In diesem Überwachungsbereich liegen die Objekte 314, 315, 316, sowie das Objekt 311. Ist die Masterkamera 301 mit einem einstellbaren Gesichtsfeld ausgestattet, so stellt die abgebildete Szene die Orientierung der Kamera zum Zeitpunkt der Objektdetektion dar. Die Slavekamera 302 hat ein einstellbares Gesichtsfeld, z.B. als Pan-Tilt-Zoom Kamera. Die Linie 307 bezeichnet den zum Kameravektor der Slavekamera gehörigen Sehstrahl (bzw. die durch den Kameravektor definierte Gerade im allgemeinen Fall). Unter der Ausrichtung der Slavekamera auf ein Objekt verstehen wir die Ausrichtung dieser Geraden auf das Objekt.
4 zeigt ein Kamerabild der Masterkamera 301 aus 3 wie es sich z.B. für einen Benutzer auf einem Monitor darstellt. Das Bild zeigt die Objekte 311, 314, 315 und 316 aus 3. Es ist eine Eingabeeinheit vorhanden, z.B. eine Maus, mittels welcher ein Benutzer einen Bildpunkt 406 in der dargestellten Szene auswählen kann. Dieser Punkt 406 kann vom System auf dem Bildschirm markiert werden, in 4 ist dies durch einen schwarzen Punkt vorgenommen. Der Punkt 406 bezeichnet ein Objekt in der Szene, in diesem Fall eine Hausecke, das von der Slavekamera 302 aus 3 erfasst werden soll. Diesem Objekt entspricht im Arealplan der 3 der Weltpunkt 305 mit dem dazugehörigen Sehstrahl 303. Die Unterscheidung zwischen dem Weltpunkt 305 und dem Bildpunkt 406, sowie zwischen dem (Welt-)Sehstrahl 303 und dessen Abbildung/Projektion in einem Kamerabild (504 im Kamerabild der Slavekamera in 5) ist wesentlich. Der gesamte Sehstrahl 303 bildet sich im Kamerabild der Masterkamera auf den einen Bildpunkt 406 ab. Der Detektor markiert einen Bildpunkt im Kamerabild der Masterkamera und damit einen Sehstrahl. Die Lage des dazugehörigen Weltpunktes auf dem Sehstrahl, d.h. dessen Entfernung von der Masterkamera, ist noch unbekannt. Die Lokalisierung des Weltpunktes und die effektive Steuerung der Slavekamera 302 ist Gegenstand der im folgenden beschriebenen Ausgestaltungen der Erfindung. Der Punkt 406 in 4 bzw. 305 in 3 ist mit angepassten Bezugszeichen auch in den 5 bis 7 eingezeichnet.
Falls die Slavekamera 302 dicht neben der Masterkamera 301 angeordnet werden kann, laufen bei passender Ausrichtung die Sehstrahlen der Masterkamera 301 und der Kameravektor der Slavekamera quasi parallel, die Objektentfernung ist dann für die Ausrichtung der Slavekamera irrelevant. Die Erfassung durch die Slavekamera 302 ist in diesem Fall relativ einfach zu lösen. Ein Sonderfall ergibt sich auch, falls die Geländeform des überwachten Geländes bekannt ist, insbesondere falls es sich um eine sehr einfache Geländeform wie eine Fußbodenebene bei Innenraumüberwachungen handelt. Unter der Annahme, dass sich das Objekt auf dem Boden befindet, kann man in diesem Fall relativ leicht die Objektentfernung ausrechnen und die Slavekamera 302 auf das Objekt richten. In komplexerem Gelände könnte die Geländeform auch durch das Kamerasystem selber bestimmt werden. Dies ist z.B. durch die Berechnung von Distanzkarten mittels bekannter Stereo- oder Multikamera-Methoden möglich. Eine Distanzkarte ist dabei eine Karte, die für jedes Pixel im Kamerabild der Masterkamera die Entfernung bis zum dargestellten Geländepunkt speichert. Eine weitere Möglichkeit ist bei bekannter Objektgröße diese zur Schätzung der Objektentfernung zu nutzen und so die Slavekamera 302 auszurichten. Von all diesen Fällen ist allerdings nur eine geringe bis mäßige Genauigkeit zu erwarten, da Kameras nicht am selben Ort sein können, da Objektgrößen nur ungenau bekannt und ungenau erfasst werden oder variabel sind (verschiedene Objekte, verschiedene Ansichten) und da Geländeformen und Distanzkarten im Normalfall nur ungenau bekannt sind. Für die Verwendung von Geländeformen/Distanzkarten muss auch die Bodenberührung der Objekte angenommen werden und, dass der im Kamerabild der Masterkamera erfasste Punkt 406 in einer bekannten Höhe über Grund liegt.
Die geforderte Genauigkeit wird im allgemeinen vom Zoom, d.h. dem Kameraöffnungswinkel abhängen. Wenn man davon ausgeht, dass die Erfassung durch die Slavekamera 302 mit einer Genauigkeit von z.B. 1/10 des Kameraöffnungswinkels erfolgen soll, bedeutet dies für einen großen Zoom von etwa 2 Grad Öffnungswinkel eine Genauigkeit der Einstellung der Slavekamera 302 von 0,2 Grad. Diese Genauigkeit ist mit den oben angegebenen Methoden in den meisten Fällen nicht zu erreichen.
In allen anderen Fällen, in denen keine der oben aufgezählten oder äquivalente Methoden anwendbar sind oder falls eine hohe Genauigkeit gefordert wird, ist die Position des Objekts durch dessen Markierung im Kamerabild der Masterkamera nicht festgelegt und das Objekt muss gesucht werden. Für einen Benutzer ist es jedoch sehr kompliziert eine Pan-Tilt-Zoom-Kamera auf ein Objekt einzustellen und diesem nachzuführen. Bis ein Benutzer die Slavekamera 302 auf ein in der Masterkamera 301 detektiertes bewegliches Objekt eingestellt hat, hat dieses sehr häufig bereits das Überwachungsfeld verlassen und der Benutzer hat es aus den Augen verloren. Außerdem wird in dieser Zeit die Aufmerksamkeit des Benutzers von der restlichen Überwachung abgezogen, so dass die auf anderen Monitoren dargestellten Szenen nicht überwacht werden. Auch ist es für einen Benutzer sehr kompliziert mit einer Pan-Tilt-Zoom-Kamera, welche auf einen großen Zoom eingestellt ist, ein Ziel zu verfolgen. In diesem Fall ist nur noch wenig Umgebungsinformation zur Orientierung vorhanden. Wird das Objekt kurzzeitig verloren, ist es daher meist nicht wieder auffindbar. Die gleichzeitige und unabhängige Steuerung von Zoom, Pan und Tilt durch einen Benutzer macht die Handhabbarkeit des Systems langsam und kompliziert. Bei der vollständigen oder teilweisen Automatisierung der Detektion und Verfolgung von Objekten mit einem Multi-Kamera-System drücken sich diese Probleme in einem erhöhten Suchaufwand aus, der die Anwendung langsam oder sogar unzuverlässig macht.
Die Objektsuche in einer für den Benutzer oder einen automatischen Detektor effektiven Weise zu unterstützen ist daher Gegenstand der folgenden und weiterer beschriebener Ausgestaltungen.
Durch den in 4 markierten Punkt 406 wird ein Sehstrahl 303 in 3 definiert. Für einen Benutzer bedeutet die Eingabe dieses Punktes z.B. einen Mausklick. Durch apriori Wissen kann die Objektentfernung auf einen bestimmten Bereich eingeschränkt werden. Oft ist dies durch die Größe des von der Masterkamera 301 in 3 erfassten Überwachungsbereichs gegeben, der als Beispiel zwischen den Begrenzungslinien 370 und 371 in 3 liegt. Die Slavekamera 302 wird dann vom System automatisch so eingestellt (Pan, Tilt und Zoom) wie in 3 dargestellt. Das durch die Begrenzungslinien 322 in 3 angedeutete Gesichtsfeld erfasst den Sehstrahl 303 des Bildpunktes 406 innerhalb des Überwachungsbereichs vollständig. Falls eine vollständige Erfassung nicht möglich ist kann ein möglichst großer Teil erfasst und eine Warnung angezeigt werden. Der Focus kann bei Bedarf automatisch so eingestellt werden, dass Objekte entlang des Sehstrahls möglichst scharf erscheinen.
5 zeigt das Kamerabild der so eingestellten Slavekamera 302, wie es sich einem Benutzer auf einem Monitor oder einem automatischen Detektor darstellt. Der Sehstrahl 303 aus 3 wird in vorteilhafter Weise eingeblendet (Linie 504 in 5), so dass der Benutzer sich orientieren kann aber je nach Anwendung das Bild nicht verdeckt wird. In vorteilhafter Weise wird der Sehstrahl 504 farbig, gestrichelt und/oder halbtransparent etc. eingeblendet. Der Benutzer oder ein automatischer Detektor müssen nun das Bild nur entlang des Sehstrahls 504 absuchen um den Bildpunkt 506 zu finden, der ein Abbild des gesuchten Weltpunktes 305 aus 3 im Kamerabild der Slavekamera ist. Für einen Benutzer bedeutet dies z.B. einen zweiten Mausklick. Für einen automatischen Detektor kann der Sehstrahl 504 dabei eine gedachte Linie sein. Durch die Detektion im Kamerabild der Slavekamera wird die Lage des Objekts auf dem Sehstrahl 303 bestimmt und die Slavekamera 302 kann automatisch auf das Objekt gerichtet und auf großen Zoom eingestellt werden. Die Einschränkung der Suche auf diese Linie ist für einen automatischen Detektor natürlich vorteilhaft aber auch für einen Benutzer kann die Einblendung des Sehstrahls 504 und die Einschränkung der Suche entlang des Sehstrahls 504 hilfreich sein. Dies ist etwa dann der Fall, wenn das Objekt sehr kontrastarm und das Bild von schlechter Qualität ist oder wenn es eine Vielzahl gleichartiger Objekte gibt, etwa eine Person in einer Zuschauermenge.
Ein großer Vorteil ist jedoch in jedem Fall, dass der Benutzer oder Detektor mit zwei Detektionen (für einen Benutzer z.B. zwei Mausklicks) und zwei dazugehörigen Bewegungen der Slavekamera 302 das Objekt erfasst hat. Falls das Objekt im Kamerabild der Masterkamera als Fläche erfasst wurde, würde sich der Suchbereich entsprechend durch die Summe der Sehstrahlen ergeben.
Eine weitere Ausgestaltung, bei der die Vorteile der Nutzung des Sehstrahls besonders deutlich sind, wird im folgenden beschrieben.
6 zeigt dieselbe Überwachungsszene wie 3 mit einer Masterkamera 601 und einer Slavekamera 602. Zusätzlich wird dem Benutzer auf dem Bildschirm oder in der Eingabevorrichtung 143 in 1 ein Schieberegler angeboten. Ziel ist es wieder die Slavekamera 602 auf den Weltpunkt 605 auszurichten. Wie oben beschrieben wird in einem ersten Schritt der dazugehörige Bildpunkt 406 im Kamerabild der Masterkamera detektiert ( 4). Im Gegensatz zu der in den 3 und 5 dargestellten Ausgestaltung ist die Slavekamera 602 bereits auf einen großen Zoom eingestellt, der durch die Begrenzungslinien 322, 323 und 324 des Gesichtsfeldes für drei verschiedene Ausrichtungen der Slavekamera in der Zeichnung angedeutet wird. Dies hat z.B. den Vorteil, dass während der Suche und bei der Erfassung des Objekts durch die Slavekamera 602 bereits eine hohe Auflösung gegeben ist. Dies kann z.B. die Detektion erleichtern oder erst ermöglichen. Es wird nach der Detektion des Objekts auch keine Zeit zur Einstellung des Zooms verloren, in der das Objekt sich schon weiter bewegt haben könnte.
Wie schon dargelegt wurde ist bei großem Zoom und ohne Hilfe die Suche nach dem Objekt sehr schwierig, da Orientierungsmöglichkeiten fehlen und die gleichzeitige Kontrolle von Pan und Tilt, insbesondere bei großem Zoom und in einem großen Suchraum, schwierig ist. Das System bietet dem Benutzer daher durch das Verschieben des Schiebereglers die Möglichkeit die Slavekamera gezielt entlang des Sehstrahls 603 zu verfahren. Die Suche wird so wesentlich vereinfacht und beschleunigt da nur dieser eine Freiheitsgrad zu bedienen und abzusuchen ist. Außerdem wird auch die Suche auf dem Sehstrahl S automatisch auf den durch das apriori Wissen festgelegten Bereich eingeschränkt. Der Schieberegler kann z.B. mit Entfernungsangaben auf dem Sehstrahl 603 versehen werden. Der Schieberegler kann hier auch durch andere Eingabemedien mit einem Freiheitsgrad oder Eingabemedien deren Funktion auf einen Freiheitsgrad eingeschränkt ist ersetzt werden. So kann z.B. die normale Pan-Tilt Steuerung einer Kamera über einen Joystick oder Tasten für die Objekterfassung so umgestellt werden, dass eine der beiden Auslenkungen oder ein Tastenpaar die Slavekamera auf dem Sehstrahl verfährt, während die andere Auslenkung oder das andere Tastenpaar abgeschaltet ist, den Zoom der Slavekamera oder die Auslenkung der Slavekamera senkrecht zum Sehstrahl steuert oder andere Aufgaben übernimmt.
7 zeigt Darstellungen von Kamerabildern, welche von der Slavekamera 602 in 6 mit den Ausrichtungen 622, 623 und 624 entlang des Sehstrahls 603 erfasst werden. Das Kamerabild 722 zeigt das Objekt 612 aus 6, das Kamerabild 723 zeigt die Objekte 613, 614 und 616. Das durch den Punkt 406 ausgewählte Objekt (die Hausecke) ist im Kamerabild 724 in 7 aus der Perspektive der Slavekamera 602 und gezoomt zu sehen (Punkt 706). Im Falle automatischer Detektoren kann die Slavekamera 602 nach derselben Vorgehensweise gesteuert werden, der Schieberegler entfällt dann natürlich. Wurde das Objekt im Kamerabild der Masterkamera (4) als Fläche erfasst, muss in dieser Ausgestaltung einer der Sehstrahlen, etwa der mittlere, ausgewählt werden.
In einer weiteren Ausgestaltung ist es auch möglich dem Benutzer alle normalen Freiheitsgrade der Kamerasteuerung zu belassen und ihm lediglich Hinweise zu geben, in welcher Richtung die Slavekamera 602 gesteuert werden muss um den Sehstrahl zu erfassen bzw., falls der Sehstrahl bereits durch die Slavekamera 602 erfasst wird, in welcher Richtung die Slavekamera 602 verfahren werden muss, um dem Sehstrahl zu folgen. Die Hinweise können z.B. über Einblendungen in das Monitorbild der Slavekamera 602 geschehen. 8 zeigt ein Kamerabild 833 der Slavekamera 602. Die Slavekamera 602 ist hier noch zu hoch ausgerichtet um den Sehstrahl 603 zu erfassen, s.d. nur die Baumwipfel der Objekte 613 und 614 erfasst werden. Der Pfeil 809 zeigt die Richtung an, in der der Sehstrahl auf dem kürzesten Weg erreicht wird. Die Information könnte auch auf einem Bedienpult angezeigt werde, z.B. in welche Richtung ein Joystick zur Kamerasteuerung zu bewegen ist oder welcher der Steuertasten zu bedienen ist. Wird die Slavekamera entsprechend dieser Information verfahren erreicht man das Kamerabild 823. Die Slavekamera hat den Sehstrahl erfasst, das Kamerabild 823 ist identisch mit dem Kamerabild 723 aus 7. Die eingeblendeten Pfeile 804 geben die Richtung an, in die die Kamera verfahren werden muss um den Sehstrahl abzufahren. Anstatt der Pfeile kann der Sehstrahl auch als Linie oder in anderer geeigneter Weise eingeblendet werden.
9 zeigt eine weitere besonders vorteilhafte Ausgestaltung. Zur Verdeutlichung sei die konkrete Aufgabe gegeben das Gesicht einer Person in hoher Auflösung zu erfassen. 9 zeigt hierzu ein Szenario mit einer Masterkamera 901, einer Slavekamera 902 und drei Personen 982, 983 und 984 die sich auf einem Sehstrahl 903 der Masterkamera 901 an verschiedenen Positionen befinden. Bei der in den 6 und 7 beschriebenen Ausgestaltung wird der Zoom während des Verfahrens der Slavekamera 602 nicht angepasst, angedeutet durch die Gesichtsfelder 922, 923 und 924. Die entsprechenden Kamerabilder sind in 10 zu sehen. Aufgrund der verschiedenen Entfernungen von der Slavekamera 902 wird die Person 982 im Kamerabild 1022 zu groß (Gesicht abgeschnitten), die Person 984 im Kamerabild 1024 zu klein erfasst. Die Person 983 befindet sich für den eingestellten Zoom zufällig in etwa in passender Entfernung (Kamerabild 1023).
Durch die Kenntnis der externen Kalibrierung und des Sehstrahls 903 kann die Entfernung der Slavekamera zum Sehstrahl 903 für jede Ausrichtung jedoch leicht berechnet und der Zoom entsprechend angepasst werden. Dadurch ergeben sich die Kamerabilder 1122, 1123 und 1124 der Slavekamera 902 in 11. Über den ganzen Bereich des Sehstrahls 903 ist jetzt eine passende Auflösung gegeben. Mit der Entfernungsinformation kann auch der Fokus beim Verfahren der Kamera mitgeregelt werden, s.d. sich jederzeit ein scharfes Bild ergibt. Dies hat gegenüber einem normalen Autofokus den Vorteil, dass letzterer zum einen langsam ist, zum anderen bei bewegter Kamera und/oder bewegten Objekten nicht zuverlässig funktionieren muss. Für diese Ausgestaltung besonders vorteilhaft ist z.B. die Möglichkeit von Snapshots des gesuchten Objekts. In der Masterkamera 901 werde als Beispiel eine verdächtige Person in niedriger Auflösung detektiert. Durch die beschriebene Ausgestaltung kann mit Hilfe der Slavekamera 902 sehr effizient ein hochaufgelöster Snapshot des Gesichts der Person gemacht werden. Die Auslösung des Snapshots kann durch einen Benutzer erfolgen, durch einen automatischen Detektor (hier ein Gesichtsdetektor) oder halbautomatisch.
Im Falle eines großen Zoom, d.h. einer großen Entfernungssensibilität des Focus, kann die autoamtische Scharfstellung des Focus auf den Sehstrahl auch die Detektion des Objekts in der Slavekamera unterstützen. Oft ist die Anordung so, daß der Sehstrahl, bevor er auf das ausgewählte Objekt trifft, weit entfernt von anderen Objekten (durch die Luft) verläuft. Die Objekte, die in der Projektion in das Kamerabild der Slavekamera entlang des Sehstrahls abgebildet werden haben dann die ,falsche' Entfernung von der Slavekamera und werden nicht scharf abgebildet. Von der Masterkamera ausgehend das erste scharf abgebildete Objekt ist in diesem Fall das gesuchte Objekt.
Allgemein kann auch in anderen Ausgestaltungen für jede Position auf dem Sehstrahl 303, 603 oder 903 die Entfernung von der Slavekamera 302, 602 oder 902 leicht durch Triangulation berechnet werden. Ist das Objekt von der Slavekamera auf dem Sehstrahl erfasst worden, kann genauso auch leicht durch Triangulation die Entfernung des Objekts von der Masterkamera 301, 601 oder 901 bestimmt werden. Diese Information ist generell zur automatischen Einstellung von Zoom und Fokus und für weitere Aufgaben nutzbar.
In allen Ausgestaltungen kann die Detektion bzw. Verfolgung eines bewegten Objekts im Kamerabild der Masterkamera 301, 601 oder 901 auch kontinuierlich erfolgen. Der Sehstrahl 303, 603 oder 903 und die Steuerung der Slavekamera 302, 602 oder 902 werden dann automatisch kontinuierlich angepasst. In diesem Fall kann man die Suche sowohl für einen Benutzer als auch für automatische oder halbautomatische Detektoren weiter vereinfachen, da nicht mehr der ganze Sehstrahl abgesucht werden muss, sondern über die vorhergehende Position und Geschwindigkeit des Objekts die Suche stark einschränkbar ist.
Besonders vorteilhaft ist, wenn beim Verfahren der zweiten Kamera 02 entlang des Sehstrahls 03 der Focus automatisch so eingestellt wird, dass Objekte auf dem Sehstrahl schart abgebildet werden.
Außerdem ist von Vorteil, wenn beim Verfahren der zweiten Kamera 02 entlang des Sehstrahls 03 das gesuchte Objekt dadurch automatisch detektiert wird, wobei es ausgehend von der ersten Kamera 01 bei automatisch auf den Sehstrahl 03 scharf eingestelltem Zoom das erste scharf abgebildete bzw. das am schärfsten abgebildete Objekt ist.
Im Weiteren ist von Vorteil, wenn der Ein-Freiheitsgrad-Regler als Schieberegler oder Joystick oder in Form von Tasten realisiert wird, wobei eine Auslenkung des Joysticks die jeweilige Kamera auf dem Sehstrahl verfährt und das im normalen Betrieb zur Steuerung der zweiten Kamera 02 verwendete Eingabemedium für die Objekterfassungsaufgabe in der Weise umgestellt werden kann, dass es die Funktion zur Objekterfassung erfüllt.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung ist die Masterkamera, wie in 3 dargestellt, mit einer fokusierten Lichtquelle 350 ausgestattet, z.B. einem Laser. Die Lichtquelle ist in ihrer Orientierung einstellbar, das Spektrum muss nicht im sichtbaren Bereich liegen. Die fokusierte Lichtquelle 350 wird möglichst dicht an der Masterkamera 301 montiert und kann so für einen ausgewählten Punkt 406 (4) entlang des zugehörigen Sehstrahls 303 orientiert werden. Der Strahl trifft dann auf das ausgewählte Objekt und beleuchtet dieses. Falls die Slavekamera 302 sensitiv für die verwendete Strahlung ist kann dies zur Detektion des Objekts durch die Slavekamera 302 dienen. Dies gilt insbesondere, falls die Strahlung über ihr Spektrum, ihre Intensität, über einen gepulsten Betrieb, über Kombinationen dieser oder andere Merkmale zu einem eindeutig detektierbaren Signal im Kamerabild der Slavekamera führt. Dadurch kann für einen Detektor die Ertassung des Objekts im Kamerabild der Slavekamera erleichtert werden, insbesondere falls entlang des eingeblendeten Sehstrahls 504 mehrere gleichartige Objekte sichtbar sind. Im Normalfall liegt nur eines dieser Objekte tatsächlich auf dem Welt-Sehstrahl 303 und wird daher durch die Lichtquelle markiert. Andere Objekte liegen nur in der Projektion des Kamerabilds auf dem Sehstrahl, wie etwa die Objekte 712–714 in 7. Sie werden daher auch nicht von der Lichtquelle markiert. Dieses Vorgehen ist generell, d.h. auch bei den in den 6 und 9 beschriebenen Ausgestaltungen, anwendbar. Eine Besonderheit ergibt sich, falls die Lichtquelle mit einer Entfernungsmessung ausgestattet ist (Laserscanner). In diesem Fall ist die Objektentfernung direkt bekannt und die Slavekamera kann direkt auf das Objekt ausgerichtet werden. Besonders vorteilhaft ist es, wenn die fokussierte Lichtquelle mit einer Entfernungsmessvorrichtung gekoppelt ist, insbesondere in der Funktion eines Laserscanners, und die hierdurch gewonnene Entfernungsinformation verwendet wird, um die zweite Kamera 02 direkt auf ein Objekt auf dem Sehstrahl 03 in dieser Entfernung zu richten.
Eine weitere Ausgestaltung ist in 12 dargestellt. Die Figur zeigt genauso wie 4 ein Kamerabild der Masterkarnera 301 aus 3. Der eingeblendete Sehstrahl 1208 ist der zum Kameravektor der Slavekamera gehörige Sehstrahl 307 aus 3 (bzw. die durch den Kameravektor definierte Gerade im allgemeinen Fall). Dies ermöglicht es einem Benutzer sofort die aktuelle Neigung (Tilt) der Slavekamera zu erkennen. Zur Handhabung von Multikamera-Systemen werden dem Benutzer oft Lagepläne des Areals auf einem Monitor angeboten, in denen die Kameras dargestellt sind. Da es sich bei den Lageplänen um Draufsichten handelt, ist es auch leicht durch eine entsprechende Symbolik den aktuellen Schwenk (Pan) einer Pan-Tilt-Zoom-Kamera anzuzeigen. Dies erleichtert dem Benutzer die Orientierung bei der Steuerung der Kamera. Schwieriger ist es auch die Neigung (Tilt) der Kamera in einer Weise darzustellen, die dem Benutzer die Orientierung in der Szene erleichtert. Durch die Einblendung des Kameravektors der Slavekamera bzw. des dazugehörigen Sehstrahls in das Kamerabild der Masterkamera ist dies leicht möglich. In 12 ist z.B. deutlich zu sehen, dass die Slavekamera zu tief schaut, da der Kameravektor-Sehstrahl unterhalb des gesuchten Objekts 1206 verläuft. Bei bekannter Geländeform kann sogar der Auftreffpunkt des Sehstrahls 307, d.h. die von der Slavekamera 302 erfasste Position, im Kamerabild der Masterkamera markiert werden.
Die erste oder die ersten beiden Ziffern der Bezugszeichen bezeichnen die Figuren-Nummer. Die letzten beiden Ziffern bedeuten in allen Figuren:

01: erste Kamera (Masterkamera)
02: zweite Kamera (Slavekamera)
03: ein Sehstrahl der Masterkamera in der Welt
04: ein Sehstrahl der Masterkamera, abgebildet in einem Kamerabild
05: Weltpunkt
06: Bildpunkt
07: Kameravektor (bzw. dessen Sehstrahl) der Slavekamera in der
: Welt
08: Kameravektor (bzw. dessen Sehstrahl) der Slavekamera
: abgebildet in einem Kamerabild
09: Pfeileinblendung im Kamerabild
11–16: Objekte in der Welt bzw. deren Abbildung in einem Kamerabild
22–24,33: Gesichtsfelder der Slavekamera oder dazugehörige Kamerabilder
43: 40–42 Steuereinheiten Eingabevorrichtung
43: Eingabeeinheiten
44,45: Monitor
50: gerichtete Lichtquelle
60: optisches Zentrum der Kamera
61: Kameravektor
62: Bildebene der Kamera
70,71: Begrenzungslinien des Überwachungsbereichs
82–84: Personen vor der Kamera

Claims

Verfahren zur Erfassung eines Objekts in einer Szene, insbesondere zu deren Überwachung, mit mindestens einer ersten Kamera (01) und mindestens einer zweiten orientierbaren Kamera (02), wobei im Kamerabild der ersten Kamera (01) ein Bildpunkt (06) und damit ein zugehöriger Weltpunkt (05) in der durch die erste Kamera (01) beobachteten Szene ausgewählt wird, dadurch gekennzeichnet, dass ein Sehstrahl (03) durch den ausgewählten Bildpunkt (06) bestimmt wird und die zweite Kamera (02) auf den Weltpunkt (05) ausgerichtet wird, indem eine Orientierung der zweiten Kamera (02) am Sehstrahl (03) erfolgt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Sehstrahl (03) in das Kamerabild der zweiten Kamera (02) in geeigneter Weiseeingeblendet wird, z.B. als durchgängige Linie, oder gestrichelte Linie und/oder halbtransparent oder farbig dargestellt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Sehstrahl (03) von der Steuereinheit (41) der zweiten Kamera (02) auf Basis der von der Steuereinheit (40) der ersten Kamera (01) gelieferten Daten umgerechnet wird und die zweite Kamera (02) auf Basis dieser Daten von der Steuereinheit (41) der zweiten Kamera (02) auf den Weltpunkt (05) ausgerichtet wird oder der Sehstrahl (03) von der zentralen Steuereinheit (42) errechnet und eingeblendet wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Sehstrahl (S) als die Gerade definiert wird, welche durch den ausgewählten Bildpunkt (06) und das optische Zentrum (60) der ersten Kamera (01) definiert wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die erste Kamera (01) als Masterkamera und die zweite Kamera (02) als Slavekamera verwaltet wird, wobei die erste Kamera (01) eine stationäre Kamera ist oder eine Pan-Kamera und/oder Tilt-Kamera und/oder Zoom-Kamera ist und/oder die erste Kamera (01) mit einem Fischaugenobjektiv, einem Weitwinkelobjektiv, einem Zoomobjektiv, oder Spiegeln ausgestattet ist oder als katadioptrische Kamera ausgebildet wird und/oder die zweite Kamera (02) eine Pan-Kamera und/oder Tilt-Kamera und/oder Zoom-Kamera ist und/oder die zweite Kamera (02) mit einer Bewegungseinheit ausgestattet wird, welche es ermöglicht die Orientierung des Gesichtsfelds der zweiten Kamera (02) einzustellen, so dass von der zweite Kamera (02) ein Bereich der zu überwachenden Szene überstrichen werden kann.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass über die Einstelldaten der ersten Kamera (01) und dem Bildpunkt (06) und die Einstelldaten der zweiten Kamera (02) die Entfernung des Weltpunktes (05) von der ersten Kamera (01) und/oder der zweiten Kamera (02) errechnet wird.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Bildpunkt (06) über einen Detektor ausgewählt wird, der ein Benutzer, ein automatischer Detektor oder ein halbautomatischer Detektor sein kann und bei einem automatischen Detektor die Darstellung auf einem Monitor entfallen kann.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der Objektdetektor als Motion-Detektion-Einheit, Farbmerkmale-Erkennungseinheit, Personen-, KFZ-, oder Gesichtserkennungseinheit realisiert wird und/oder der Objektdetektor in der Steuereinheit (40) der ersten Kamera (01), in der zentralen Steuereinheit (42) oder verteilt in beiden Steuereinheiten realisiert wird.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass der Zoom und die Orientierung und bei Bedarf auch der Focus der zweiten Kamera (02) derartig ausgewählt wird, dass nach der Markierung des Bildpunktes (06) im Kamerabild der ersten Kamera (01) der dazugehörige Sehstrahl (03) im Kamerabild der zweiten Kamera (02) in etwa mittig und möglichst schart erfasst wird und der vorgegebene Überwachungsbereich entlang des Sehstrahls über seine ganzen Länge erfasst wird.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass ein Warnsignal generiert wird, wenn der zum ausgewählten Bildpunkt (06) gehörige Sehstrahl (03) von der zweiten Kamera (02) nicht über den ganzen vorgegebenen Überwachungsbereich erfasst werden kann.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass in das Kamerabild der von der ersten Kamera (01) erfassten Szene der zum Kameravektor der zweiten Kamera (02) gehörende Sehstrahl (07) eingeblendet wird, um die Orientierung der zweiten Kamera (02) anzuzeigen und/oder die Steuerung der zweiten Kamera (02) zu unterstützen.
Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass der Auftreffpunkt des zum Kameravektors der zweiten Kamera (02) gehörenden Sehstrahls (07) im Kamerabild der ersten Kamera (01) markiert wird, falls die Geländeform der überwachten Szene bekannt ist.
Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass in das Kamerbild der zweiten Kamera (02) ein Richtungshinweis, insbesondere in Form eines Pfeils, eingeblendet wird in welcher Richtung die zweite Kamera (02) verfahren werden muss, damit der Sehstrahl (03) erfasst wird.
Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass falls sich der Sehstrahl (03) bereits im Kamerabild der zweiten Kamera (02) befindet, der Sehstrahl (03) in dieses Kamerabild eingeblendet wird, insbesondere in Form zweier Pfeile entgegengesetzter Richtung oder einer Linie, und so angezeigt wird, in welcher Richtung die zweite Kamera (02) entlang des Sehstrahls (03) zu bewegen ist.
Verfahren nach einem der Ansprüche 1 bis 9 oder 11 bis 14, dadurch gekennzeichnet, dass ein Ein-Freiheitsgrad-Regler angeboten wird der die Orientierung der zweiten Kamera (02) entlang des Sehstrahls (03) steuert.
Verfahren einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass eine Objektgröße vorgegeben wird und der Zoom der zweiten Kamera (02) beim Verfahren entlang des Sehstrahls (03) automatisch so eingestellt wird, dass Objekte dieser Größe auf dem Sehstrahl in passender Größe im Kamerabild der zweiten Kamera (02) erfasst werden.
Verfahren nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, dass beim Verfahren der zweiten Kamera (02) entlang des Sehstrahls (03) der Focus automatisch so eingestellt wird, dass Objekte auf dem Sehstrahl scharf abgebildet werden.
Verfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass beim Verfahren der zweiten Kamera (02) entlang des Sehstrahls (03) das gesuchte Objekt dadurch automatisch detektiert wird, wobei es ausgehend von der ersten Kamera (01) bei automatisch auf den Sehstrahl (03) scharf eingestelltem Zoom das erste scharf abgebildete bzw. das am schärfsten abgebildete Objekt ist.
Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass der Ein-Freiheitsgrad-Regler als Schieberegler oder Joystick oder in Form von Tasten realisiert wird, wobei eine Auslenkung des Joysticks die jeweilige Kamera auf dem Sehstrahl verfährt.
Verfahren nach einem der Ansprüche 1 bis 19, dadurch gekennzeichnet, dass das im normalen Betrieb zur Steuerung der zweiten Kamera (02) verwendete Eingabemedium für die Objekterfassungsaufgabe in der Weise umgestellt werden kann, dass es die Funktion zur Objekterfassung erfüllt.
Verfahren nach einem der Ansprüche 1 bis 20, dadurch gekennzeichnet, dass ein Objekt in der zweiten Kamera (02) dadurch detektiert wird, dass an der ersten Kamera (01) eine fokussierte Lichtquelle mit einstellbarer Orientierung angebracht wird, die entlang des zum Bildpunkt (06) gehörenden Sehstrahls (03) ausgerichtet wird und durch die das Objekt beleuchtet und somit markiert wird und/oder eine eindeutige Detektion durch die Wellenlänge des Lichts der Lichtquelle und/oder einem gepulsten Betrieb der Lichtquelle erleichtert wird.
Verfahren nach Anspruch 21, dadurch gekennzeichnet, dass die fokussierte Lichtquelle mit einer Entfernungsmessvorrichtung gekoppelt ist, insbesondere in der Funktion eines Laserscanners, die hierdurch gewonnene Entfernungsinformation verwendet wird, um die zweite Kamera (02) direkt auf ein Objekt auf dem Sehstrahl (03) in dieser Entfernung zu richten.
Vorrichtung zur Erfassung eines Objekts in einer Szene bestehend aus mindestens einer ersten Kamera (01) und mindestens einer zweiten orientierbaren Kamera (02), wobei der ersten Kamera (01) eine erste Steuereinheit (40) und der zweiten orientierbaren Kamera (02) eine zweite Steuereinheit (41) zugeordnet ist und über eine zentrale Steuereinheit (42) mit zugehörigen Eingabeeinheiten (43) im Kamerabild der ersten Kamera (01) ein Bildpunkt (06) und damit ein zugehöriger Weltpunkt (05) in der durch die erste Kamera (01) erfassten Szene ausgewählbar ist, dadurch gekennzeichnet, dass die zentrale Steuereinheit (42) einen Sehstrahl (03) beginnen von der ersten Kamera (01) zum Weltpunkt (05) berechnet und anhand dieses Sehstrahls (03) die zweite Steuereinheit (41) die zweite Kamera (02) ausgerichtet und auf den Weltpunkt (05) ausrichtet, indem sich zweite Steuereinheit (41) die zweite Kamera (02) am Sehstrahl (03) orientiert.
Vorrichtung nach Anspruch 23, dadurch gekennzeichnet, dass die zweite Steuereinheit (41) der zweiten Kamera (02) den Sehstrahl (03) in die von der zweiten Kamera (02) erfassten Szene einblendet und den Sehstrahl (03) als durchgängige Linie, oder gestrichelte Linie und/oder semi-transparent oder farbig dargestellt, und der Sehstrahl (03) von der zweiten Steuereinheit (41) der zweiten Kamera (02) auf Basis der von einer ersten Steuereinheit (40) der ersten Kamera (01) gelieferten Daten errechnet.
Vorrichtung nach Anspruch 23 oder 24, dadurch gekennzeichnet, dass die erste Kamera (01) eine stationäre Kamera und/oder orientierbare Kamera und/oder die erste Kamera (01) eine Masterkamera und die zweite Kamera (02) eine der Masterkamer zugehörige Slavekamera ist und/oder die erste Kamera (01) eine Pan-Kamera und/oder eine Tilt- Kamera und/oder eine Zoom-Kamera ist und/oder die erste Kamera (01) mit einem Fischaugenobjektiv, einem Weitwinkelobjektiv, einem Zoomobjektiv, oder Spiegeln ausgestattet oder als katadioptrische Kamera ausgebildet ist und/oder die zweite Kamera (02) eine Pan-Kamera und/oder Tilt-Kamera und/oder Zoom-Kamera ist und/oder die zweite Kamera (02) eine Bewegungseinheit aufweist, welche es ermöglicht die Orientierung des Gesichtsfelds der zweiten Kamera (02) einzustellen, so dass die zweite Kamera (02) einen Bereich der zu überwachenden Szene überstreichen kann.
Vorrichtung nach einem der Ansprüche 23 bis 25, dadurch gekennzeichnet, dass die zentrale Steuereinheit (42) anhand der Einstelldaten der ersten Kamera (01) und der zweiten Kamera (02) die Entfernung des Weltpunktes (05) von der ersten Kamera (01) und/oder der zweiten Kamera (02) errechnet.
Vorrichtung nach einem der Ansprüche 23 bis 26, dadurch gekennzeichnet, dass die zentrale Steuereinheit (42) die von der ersten Kamera (01) aufgenommene Szene auf einer der ersten Kamera (01) zugeordneten Anzeigevorrichtung (44) dargestellt, der Weltpunkt (05) von eine Detektor gewählt wird und/oder die zentrale Steuereinheit (42) den Sehstrahl (03) auf einer der zweiten Kamera (02) zugeordneten Anzeigevorrichtung (45) in die von der zweiten Kamera (02) erfassten Szene einblendet und/oder die Auswahl des Bildpunktes (06) automatisch über einen Objektdetektor erfolgt.
Vorrichtung nach Anspruch 27, dadurch gekennzeichnet, dass der Objektdetektor eine Motion-Detektion-Einheit, eine Farbmerkmale-Erkennungseinheit oder eine Gesichtserkennungseinheit ist und/oder der Objektdetektor in der ersten Steuereinheit (40) der ersten Kamera (01) realisiert ist.