-
Stand der Technik
-
Die
Erfindung betrifft eine Kamera nach dem Oberbegriff des Patentanspruchs
1 und ein korrespondierendes Verfahren zur Auswahl eines aufzunehmenden
Objekts.
-
Häufig
werden mit einer Kamera freihändig bewegte Szenen aufgezeichnet.
Befindet sich in der aufzunehmenden Szene ein Objekt, das sich selbst bewegt,
dann muss die Kamera entsprechend der Bewegung des Objektes nachgeführt
werden. Diese Nachführung bzw. die zugehörige
willentliche Schwenkbewegung der Kamera gelingt selbst professionellen
Kameraleuten nur bedingt. Zur stabilen Nachführung der
Kamera sollte die Bewegung des Objektes vermessen bzw. ermittelt
werden. Dazu ist es erforderlich das bewegte Objekt in den aufeinander
folgend aufgenommenen Bildern zu segmentieren. Aus der Analyse der
aufgenommenen Bilder können neben dem gewünschten
aufzunehmenden Objekt auch andere bewegte Objekte, welche gleichartige
oder unterschiedliche Bewegungen aufweisen, bzw. ein statischer
Hintergrund segmentiert werden. Da in den aufgenommenen Bildern
mehrere Objekte entdeckt werden können, ist somit zur Auswahl
des gewünschten Objektes eine weitere Information erforderlich.
Die Eingabe dieser Information kann beispielsweise über
ein entsprechendes Bedienmenü erfolgen, führt
aber bei schnellen Objekten zum Verlust der gewünschten
Verfolgung.
-
In
der Offenlegungsschrift
US
2005/028070 A1 werden ein Bildstabilisierungssystem und
ein korrespondierendes Verfahren für eine Videokamera beschrieben.
Das beschriebene Bildstabilisierungssystem zur automatischen Zielverfolgung
umfasst eine Kamera mit einer Bilderfassungsvorrichtung, welche ein
Videobild aufnimmt. Die Kamera ver fügt über einen
selektiv einstellbaren Bildbereich. Eine Verarbeitungseinheit ist
operativ mit der Kamera gekoppelt und empfängt Signale,
welche den Bildbereich der Kamera und die aufgenommenen Bilder umfassen. Die
Verarbeitungseinheit verfolgt in den erfassten Bildern automatisch
die Bewegungen von wenigstens einem Objekt und bestimmt eine Stabilisierungseinstellung
für das aufgenommene Videobild als Funktion einer unbeabsichtigten
Veränderung des Bildbereichs der Kamera während
eines Zeitintervalls zwischen der Aufnahme eines ersten Bildes und
der Aufnahme eines zweiten Bildes. Die Bestimmung der Stabilisierungseinstellung
basiert auf den Signalen, welche den Bildbereich angeben, und einer
Analyse des ersten und zweiten Bildes.
-
Offenbarung der Erfindung
-
Die
erfindungsgemäße Kamera mit den Merkmalen des
unabhängigen Patentanspruchs 1 hat demgegenüber
den Vorteil, dass eine Auswerte- und Steuereinheit eine Schwenkbewegung
der Kamera ermittelt und mit ermittelten Bewegungen von Objekten
vergleicht, welche in von einer Bilderfassungsvorrichtung erfassten
Bildern dargestellt sind, wobei die Auswerte- und Steuereinheit
mindestens ein Objekt als aufzunehmendes Objekt bestimmt, dessen
ermittelte Bewegung am Besten mit der ermittelten Schwenkbewegung
der Kamera übereinstimmt, und wobei die Auswerte- und Steuereinheit einen
Bildausschnitt des von der Bilderfassungsvorrichtung erfassten Bildes
in einer Speichereinheit ablegt, welcher das mindestens eine aufzunehmende Objekt
darstellt.
-
Das
erfindungsgemäße Verfahren zur Auswahl eines aufzunehmenden
Objekts mit den Merkmalen des unabhängigen Patentanspruchs
7 hat demgegenüber den Vorteil, dass eine Schwenkbewegung
der Kamera während der Bildaufnahme ermittelt wird, wobei
Bewegungen von Objekten in den erfassten Bildern ermittelt und mit
der Kamerabewegung verglichen werden, wobei mindestens ein Objekt
als aufzunehmendes Objekt bestimmt wird, dessen ermittelte Bewegung
am Besten mit der ermittelten Schwenkbewegung der Kamera übereinstimmt, und
wobei ein Bildausschnitt der erfassten Bilder ablegt wird, welcher
das mindestens eine aufzunehmende Objekt darstellt.
-
Durch
die erfindungsgemäße Kamera und das erfindungsgemäßen
Verfahren kann das gewünschte aufzunehmende Objekt, das
der Benutzer beispielsweise durch eine willentli che Schwenkbewegung
der Kamera verfolgt, in vorteilhafter Weise automatisch im abgelegten
Bildausschnitt gehalten werden. Da der Benutzer durch die manuelle
Nachführung der Kamera versucht, das gewünschte
Objekt nahezu konstant im aufzunehmenden Bildausschnitt zu halten,
weist das gewünschte Objekt nahe zu die gleichen Bewegungsparameter
wie die Kamera auf, so dass die Kamerabewegung in vorteilhafter Weise
als Auswahlkriterium genutzt werden kann. Da die manuelle Nachführung
nur ungenau geschieht und das Bild bei einer Nachführung
oft verwackelt, ist eine Stabilisierung des Bildausschnitts mit
dem gewünschten aufzunehmenden Objekt durch entsprechende
bekannte Stabilisierungsverfahren von besonderem Nutzen.
-
Durch
die in den abhängigen Ansprüchen aufgeführten
Maßnahmen und Weiterbildungen sind vorteilhafte Verbesserungen
der im unabhängigen Patentanspruch 1 angegebenen Kamera
bzw. des im unabhängigen Patentanspruch angegebenen Verfahrens
zur Auswahl eines aufzunehmenden Objekts möglich.
-
Besonders
vorteilhaft ist, dass die Auswerte- und Steuereinheit die aufgenommene
Bildsequenz zur Ermittlung eines optischen Flusses digital auswertet,
wobei die Auswerte- und Steuereinheit den ermittelten optischen
Fluss auswertet, um Informationen über die Schwenkbewegung
der Kamera und/oder über die Bewegungen der Objekte in
den Bildern zu erzeugen. Durch die Auswertung des optischen Flusses
können Bildbereiche mit gleicher Bewegungsrichtung im erfassten
Bild erkannt und segmentiert werden. Um die Informationen über
die Kamerabewegung zu erzeugen, kann die Auswerte- und Steuereinheit
beispielsweise den ermittelten optischen Fluss eines erkannten Bildhintergrunds
auswerten. Alternativ kann die willentliche Schwenkbewegung der
Kamera von einer Sensoreinheit erfasst werden, welche Informationen über
die Kamerabewegung an die Auswerte- und Steuereinheit zur Auswertung überträgt.
Unter dem ”optischen Fluss” versteht man in der
Technik der digitalen Bildverarbeitung ein Vektorfeld, das für
jeden Pixel die zweidimensionale Bewegung des entsprechenden Bildpunktes
in einer Bildsequenz angibt.
-
In
Ausgestaltung der Erfindung ist die Auflösung der von der
Bilderfassungsvorrichtung erfassten Bilder deutlich größer
als die Auflösung der in einer Speichereinheit abgelegten
Bilder. Dadurch wird die Erkennung von bewegten Objekten, welche
die gleiche Bewe gung wie die Kamera ausführen, in vorteilhafter
Weise erleichtert.
-
In
weiterer Ausgestaltung der Erfindung legt die Auswerte- und Steuereinheit
einen Schwerpunkt des mindestens einen aufzunehmenden Objekts als Mittelpunkt
des aufzunehmenden Bildausschnitts fest und skaliert die Größe
des aufzunehmenden Bildausschnitts auf die in der Speichereinheit
verwendete Größe. Der Mittelpunkt und die Größe
des abzuspeichernden Bildausschnittes werden über die Verteilung
der ausgewählten Objekte errechnet.
-
In
weiterer Ausgestaltung der Erfindung wird ein gemeinsamer Schwerpunkt
als Mittelpunkt des aufzunehmenden Bildausschnitts festgelegt und/oder
ein Objekt wird über einen zeitlichen Filter ausgefiltert,
wenn mehrere Objekte mit gleicher Bewegungsrichtung als aufzunehmende
Objekte bestimmt werden. Somit kann der ermittelte Schwerpunkt der
ausgewählten Objekte auch zur Stabilisierung des Bildausschnitts
verwendet werden.
-
Ausführungsbeispiele
der Erfindung sind in den Zeichnungen dargestellt und werden in
der nachfolgenden Beschreibung näher erläutert.
-
Kurze Beschreibung der Zeichnungen
-
1 zeigt
ein schematisches Blockdiagramm eines Ausführungsbeispiels
einer erfindungsgemäßen Kamera.
-
2 zeigt
ein Flussdiagramm eines erfindungsgemäßen Auswahlverfahrens
eines aufzunehmenden Objekts, das von der Kamera gemäß 1 durchgeführt
wird.
-
Ausführungsformen
der Erfindung
-
Nachfolgend
wird unter Bezugnahme auf 1 und 2 die
Funktionsweise der erfindungsgemäßen Kamera beschrieben.
Wie aus 1 ersichtlich ist, umfasst die
erfindungsgemäße Kamera 1 gemäß dem
dargestellten Ausführungsbeispiel eine Auswerte- und Steuereinheit 10,
eine Bilderfassungsvorrichtung 20, einer Speichereinheit 30,
eine Sensoreinheit 40 und eine Bedieneinheit 50.
-
Wie
aus 2 ersichtlich ist, erfasst die Kamera 1 durch
die Bilderfassungsvorrichtung 20 im Schritt S10 Bilder,
welche von der Auswerte- und Steuereinheit 10 ausgewertet
werden. Dabei analysiert die Auswerte- und Steuereinheit 10 eine
von der Bilderfassungsvorrichtung 20 aufgenommene Bildsequenz,
die mindestens zwei aufeinander folgend erfasste Bilder aufweist,
um mindestens ein aufzunehmendes Objekt in Abhängigkeit
von einer Schwenkbewegung der Kamera 1 während
der Bildaufnahme zu segmentieren und zu stabilisieren. Zur Analyse der
aufgenommenen Bildsequenz ermittelt die Auswerte- und Steuereinheit 10 im
Schritt S20 die willentliche Schwenkbewegung der Kamera 1 während
der Bildaufnahme. Die willentliche Schwenkbewegung unterscheidet
sich durch die verschiedenen Bewegungsparameter wie Amplitude, Dauer,
Richtung usw. von nicht willentlichen Kamerabewegungen wie Wackeln,
Zittern usw. Im Schritt S30 ermittelt die Auswerte- und Steuereinheit 10 Bewegungen
von Objekten in den erfassten Bildern. Im Schritt S40 vergleicht die
Auswerte- und Steuereinheit 10 die ermittelten Objektbewegungen
mit der ermittelten Schwenkbewegung der Kamera 1. Im Schritt
S50 bestimmt die Auswerte- und Steuereinheit 10 mindestens
ein Objekt als aufzunehmendes Objekt, dessen ermittelte Bewegung
am Besten mit der ermittelten Schwenkbewegung der Kamera 1 übereinstimmt.
Somit wird von der Auswerte- und Steuereinheit 10 das Objekt als
aufzunehmendes Objekt bestimmt, dessen ermittelte Bewegung die größte Übereinstimmung
mit der ermittelten Schwenkbewegung der Kamera 1 aufweist.
Anschließend legt die Auswerte- und Steuereinheit 10 einen
Bildausschnitt des von der Bilderfassungsvorrichtung 20 erfassten
Bildes in der Speichereinheit 30 ab, wobei der abgelegte
Bildausschnitt das mindestens eine aufzunehmende Objekt darstellt.
Da der Benutzer durch die manuelle Nachführung der Kamera 1 versucht,
das gewünschte Objekt nahezu konstant im aufzunehmenden
Bildausschnitt zu halten, weist das gewünschte Objekt nahe
zu die gleichen Bewegungsparameter wie die Kamera 1 auf,
so dass die Kamerabewegung in vorteilhafter Weise als Kriterium
für die Auswahl des aufzunehmenden Objekts genutzt werden
kann. Da die manuelle Nachführung nur ungenau geschieht
und das Bild bei einer Nachführung oft verwackelt, ist
eine Stabilisierung des Bildausschnitts mit dem gewünschten
aufzunehmenden Objekt durch entsprechende bekannte Stabilisierungsverfahren
von besonderem Nutzen.
-
Zur
Erzeugung von Informationen über die Schwenkbewegung der
Kamera und/oder über die Bewegungen der Objekte in den
erfassten Bildern wertet die Auswerte- und Steuereinheit 10 einen
optischen Fluss aus, der von der Auswerte- und Steuereinheit 10 durch
eine digitale Auswertung der aufgenommenen Bildsequenz ermittelt
wird. So kann die Auswerte- und Steuereinheit 10 beispielsweise
den optischen Fluss eines erkannten Bildhintergrunds auswerten,
um die Informationen über die Schwenkbewegung der Kamera 1 zu
erzeugen. Zusätzlich oder alternativ kann die Auswerte-
und Steuereinheit 10 Informationen über die Schwenkbewegung
der Kamera 1 von der Sensoreinheit 40 empfangen,
welche die Schwenkbewegung der Kamera 1 über entsprechende
Sensoren erfasst. Die Sensoreinheit 40 kann beispielsweise
Inertialsensoren aufweisen, welche Informationen über die
Schwenkbewegung der Kamera 1 über die Erfassung
von Drehraten zur Verfügung stellen. Um die Verfolgung
eines gewünschten Objekts zu erleichtern wird die Auflösung
der von der Bilderfassungsvorrichtung 20 erfassten Bilder deutlich
größer als die Auflösung der in der Speichereinheit 30 abzulegenden
Bildausschnitte gewählt. Zur Festlegung der aufzunehmenden
bzw. abzulegenden Bildausschnitte bestimmt die Auswerte- und Steuereinheit 10 einen
Schwerpunkt des mindestens einen aufzunehmenden Objekts als Mittelpunkt
des aufzunehmenden Bildausschnitts, wobei die Auswerte- und Steuereinheit 10 die
Größe des aufzunehmenden Bildausschnitts auf die
in der Speichereinheit 30 verwendete Größe
skaliert.
-
Somit
ermöglicht die erfindungsgemäße Kamera 1 eine
stabilisierte Verfolgung eines gewünschten Objektes über
den Vergleich der Schwenkbewegung der Kamera 1 mit der
Bewegung von Objekten im Bild, wobei die Kamerabewegung entweder über die
Inertialbewegungen oder den optischen Fluss gemessen werden kann.
Die Objekte werden vorzugsweise über den ermittelten optischen
Fluss segmentiert. Zur stabilen Nachführung werden die
Bewegungen der Objekte vermessen. Aus der Analyse des dichten optischen
Flusses ermittelt die Auswerte- und Steuereinheit 10 in
den erfassten Bildern alle Objekte mit unterschiedlichen Bewegungen
und den statischen Hintergrund. Da aber in den erfassten Bildern
mehrere Objekte mit gleichartigen oder unterschiedlichen Bewegungen
entdeckt werden können, erfolgt die Auswahl des gewünschten
Objektes durch den Vergleich mit der Schwenkbewegung der Kamera 1.
Gibt es mehrere Objekte mit einer vergleichbaren Bewegung kann der
gemeinsame Schwerpunkt der ausgewählten Objekte als Mittelpunkt
des aufzunehmenden Bildausschnitts und zur Stabilisierung verwendet
werden und/oder ein Objekt kann über einen zeitlichen Filter
ausgefiltert werden. Alternativ könnte das gewünschte
aufzunehmende Objekt in diesem Fall über die Bedieneinheit 50 ausgewählt werden.
-
Zusammengefasst
enthält die erfindungsgemäße Kamera 1 eine
Bilderfassungsvorrichtung 20 mit einer deutlich größeren
Auflösung als zur Aufzeichnung von Bildsequenzen erforderlich
ist. In diesen Bildsequenzen werden die Objekte über ihren gleichartigen
Bildfluss segmentiert, wobei über die Schwenkbewegung der
Kamera 1 die gewünschte Vorzugsbewegung des zu
verfolgenden Objektes festgelegt wird. Die Schwenkbewegung wird
dazu entweder über Inertialsensoren (Drehrate) oder über den
Bildfluss des Hintergrundes (Analyse der Eigenbewegung) festgestellt.
Bewegen sich ein oder mehrere Objekte entsprechend der Schwenkbewegung der
Kamera 1 wird der gemeinsame Schwerpunkt als Mittelpunkt
des aufzuzeichnenden Bildausschnittes ausgewählt, d. h.
der aktive Bildausschnitt wird so positioniert, dass das Objekt
seine absoluten Bildkoordinaten behält, oder das gewünschte
Objekt kann über eine zeitliche Filterung ausgefiltert
werden. Die Größe wird bei Bedarf über
die automatische Bildskalierung nachgeführt, so dass alle
Objekte der bevorzugten Bewegungsrichtung erfasst werden können.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - US 2005/028070
A1 [0003]