-
Die
Erfindung betrifft ein Verfahren zur Videodatenanalyse gemäß dem
Oberbegriff von Anspruch 1, eine Vorrichtung mit Mitteln zur Durchführung
des Verfahrens gemäß dem Oberbegriff von Anspruch
13 und ein Computerprogramm, das zur Durchführung des Verfahrens
geeignete Programmcodemittel umfasst.
-
Im
Stand der Technik werden mittels Videodatenanalyse einer von einer
Kamera aufgenommenen Bildsequenz mit diskreten Bildern bewegte Objekte
detektiert. Ergebnisse der Videodatenanalyse können grafisch
dargestellt werden und/oder zum Eingreifen in eine Steuerung von
Maschinen, Fahrzeugen oder Flugzeugen bereitgestellt werden.
-
Bei
einem bekannten Verfahren zur Videodatenanalyse wird der sog. optische
Fluss für die Bilder der Bildsequenz bestimmt. Der optische
Fluss ist ein Vektorfeld, das eine Vielzahl zweidimensionaler, in der
Bildebene angeordneter Flussvektoren aufweist. Jedem Bildpunkt bzw.
Pixel des diskreten Bildes ist in der Regel ein Flussvektor zugeordnet,
der die Richtung in der Bildebene und den Betrag einer Verschiebung
des Pixels zwischen zeitlich direkt aufeinander folgenden Bildern
angibt.
-
Bei
dem bekannten Verfahren zur Videodatenanalyse wird der optische
Fluss der Bilder analysiert, so dass bewegte Objekte detektiert
und von unbewegten Objekten bzw. einem unbewegten Hintergrund unterschieden
werden.
-
Wenn
jedoch die Kamera sich bei der Aufnahme bewegt, führt dies
zu einer Hintergrundbildtransformation, so dass auch ein eigentlich
unbewegter Hintergrund auf den aufgenommenen Bildern der Kamera
bewegt erscheint, was dazu führt, dass die Flussvektoren
von diesem unbewegten Hintergrund zugeordneten Bildpunkten einen
Betrag nennenswert größer als Null aufweisen.
Tatsächlich bewegte Objekte sind daher nur schwer vor dem
Hintergrund zu detektieren. Insbesondere wird die durch die Kameraeigenbewegung
der Kamera bewirkte Hintergrundbildtransformation bei dem bekannten
Verfahren ausgehend von dem optischen Fluss ermittelt und herausgerechnet.
Insgesamt erfordert das bekannte Verfahren einen hohen Rechenaufwand.
-
EP 0 534 996 B1 offenbart
ein Verfahren zur Segmentierung bewegter Objekte durch Hintergrundadaption
mit Kompensation einer Kamerabewegung. Zur Kompensation der Kamerabewegung wird
ein bewegungskompensiertes Hintergrundbild berechnet. Ferner wird
vorgeschlagen, durch Vergleich laufender Bilder mit diesen Hintergrundbildern bewegte
Objekte in bekannter Weise zu detektieren und zu segmentieren.
-
Bei
allen bekannten Verfahren ist das Detektieren von bewegten Objekten
in Bildsequenzen einer bewegten Kamera mit hohem Rechenaufwand verbunden.
Bei einer begrenzten Rechenkapazität können Objekte
daher lediglich mit eingeschränkter Auflösung
und somit weniger zuverlässig erkannt werden oder ein Erkennen
erfordert mehr Zeit und ist ggf. nicht mehr in Echtzeit möglich.
Insbesondere ein Bestimmen des optischen Flusses für die
von der Kamera aufgenommene Bildsequenz ist bei den Verfahren nach
dem Stand der Technik mit hohem Rechenaufwand verbunden.
-
Der
Erfindung liegt deshalb das Problem zugrunde, eine Bewegungsrichtung
und Geschwindigkeit von bewegten Objekten auch im Falle einer Eigenbewegung
der Kamera zuverlässig bei geringem Rechenaufwand zu detektieren,
insbesondere den optischen Fluss für die Bilder der Bildsequenz
zuverlässig bei geringem Rechenaufwand zu bestimmen.
-
Die
Erfindung löst dieses Problem mit dem Verfahren nach Anspruch
1, mit der Vorrichtung nach Anspruch 13 und mit dem Computerprogramm
nach Anspruch 15.
-
Erfindungsgemäß wird
erst eine durch eine Kameraeigenbewegung einer Kamera bewirkte Hintergrundbildtransformation
für diskrete Bilder einer von der Kamera aufgenommenen
Bildsequenz bestimmt. Weiter wird eine hintergrundstabilisierte
Bildsequenz zur Kompensation der Kameraeigenbewegung aus den diskreten
Bildern durch Kompensieren der für das jeweilige Bild bestimmten
Hintergrundbildtransformation erzeugt. Die hintergrundstabilisierte
Bildsequenz weist hiernach einen im Wesentlichen unbewegten Hintergrund
auf. Eine Transformation des Hintergrunds aufgrund eines verglichen
mit einem Wackeln der Kamera langsamen Schwenken kann optimal erhalten
bleiben. Den unbewegten Objekten zugeordnete Bildpunkte verschieben
sich somit in der Regel langsamer als Bildpunkte, welche zu detektierenden
bewegten Objekten zugeordnet sind.
-
Bewegten
Objekten zugeordnete Bildpunkte werden mit Hilfe der Bilder der
hintergrundstabilisierten Bildsequenz detektiert. Das Detektieren
kann hierbei auf einfache Weise mit geringem Rechenaufwand geschehen.
Insbesondere braucht hierfür kein optischer Fluss berechnet
zu werden.
-
Erst
nachfolgend werden erfindungsgemäß Flussvektoren
im Wesentlichen ausschließlich für die detektierten
den bewegten Objekten zugeordneten Bildpunkte in den Bildern der
hintergrundstabilisierten Bildsequenz berechnet. Für alle übrigen
Bildpunkte wird kein Flussvektor gerechnet, sondern ein Flussvektor
mit einem nicht signifikanten Betrag angenommen. Somit kann der
Rechenaufwand für das erfindungsgemäße
Verfahren gering gehalten werden. Selbstverständlich können
bei ausreichend vorhandener Rechenkapazität auch Flussvektoren
für weitere Bildpunkte berechnet werden, ohne dass hierdurch
der von der Erfindung beanspruchte Raum verlassen wird. In jedem
Fall werden nicht für alle Bildpunkte eines Bildes Flussvektoren
berechnet.
-
Schließlich
bestimmt die Erfindung den optischen Fluss für die Bilder
der hintergrundstabilisierten Bildsequenz aus den für das
jeweilige Bild berechneten Flussvektoren und den als betragslos
angenommenen Flussvektoren für nicht in dem jeweiligen
Bild detektierte, den bewegten Objekten zugeordnete Bildpunkte.
Somit stellt die Erfindung mit geringem Rechenaufwand den optischen
Fluss für die vollständigen Bilder bereit.
-
Der
optische Fluss kann bspw. visuell dargestellt werden, wobei eine
unterschiedliche Darstellung in Abhängigkeit vom Betrag
der Flussvektoren zu einer leichten Unterscheidung zwischen bewegten Objekten
und dem unbewegten Hintergrund führt. Die Bewegungsrichtung
kann derart dargestellt werden, dass Bildpunkte, welche sich mit
im Wesentlichen gleichem Betrag in im Wesentlichen gleiche Richtung
bewegen, einem gemeinsamen Objekt zugeordnet werden. Auch ein automatisches
Zuordnen ist möglich.
-
Eine
ermittelte Objektbewegung kann mit einer erwarteten oder gewollten
Objektbewegung verglichen werden, so dass in Erwiderung auf detektierte Unterschiede
Steuerbefehle, bspw. an eine Stelleinrichtung oder einen Motor,
gesendet werden können. Die Erfindung kann zur Verkehrsüberwachung
oder Sicherheitsüberwachung eingesetzt werden, wobei die
Kamera beispielsweise an einem hohen Mast angebracht ist, wo sie
Windböen und einer davon hervorgerufenen Kamerabewegung
ausgesetzt ist.
-
Bevorzugt
wird die durch die Kamerabewegung hervorgerufene Hintergrundbildtransformation durch
einen Vergleich zeitlich aufeinander folgender Bilder mittels Kreuzkorrelationsanalyse
bestimmt. Mittels der Kreuzkorrelationsanalyse wird eine Bildbewegung
zwischen den Bildern ermittelt, wobei versucht wird, die Bilder
bzw. die Bildpunkte der Bilder durch eine geeignet angenommene Bildbewegung mit
minimalem Fehler, z. B. minimaler quadratischer Abweichung oder
einem anderen Fehlermaß, zur Deckung zu bringen. Mit Daten,
welche die ermittelte Bildbewegung bzw. die Ergebnisse der Kreuzkorrelationsanalyse
repräsentieren, wird nachfolgend die Hintergrundbildtransformation
für die Bilder bestimmt. Auf diese Weise kann allein mittels
der aufgenommenen Bildsequenz bzw. allein aus den Videodaten eine
Scheinbewegung in den Bildern detektiert werden, die keiner Bewegung
in der realen Welt entspricht, sondern durch die Eigenbewegung der
Kamera hervorgerufen wird.
-
Mittels
der Kreuzkorrelationsanalyse werden bevorzugt eine, mehrere oder
alle der folgenden Bewegungen erfasst: Translation, Rotation und
Skalierung. Zum Erfassen der Translation werden die Bilder direkt
miteinander korreliert. Hierdurch kann bspw. ein Schwenken der Kamera
erfasst werden. Zum Erfassen der Rotation werden die Bilder hingegen
zunächst in Polarkoordinaten transformiert und erst hiernach
miteinander korreliert. Hierdurch kann bspw. ein seitliches Wegkippen
der Kamera erfasst werden. Schließlich werden die Bilder
zum Erfassen einer Skalierung zunächst logarithmisch transformiert
und hiernach miteinander korreliert. Hierdurch kann eine Bewegung
der Kamera in der Aufnahmerichtung erfasst werden. Bspw. kann sich
die Kamera vorne an einem Fahrzeug befinden und Bilder in Fahrtrichtung
aufnehmen. In Randbereichen der Bilder kann es dabei zu einer stärkeren
Verschiebung abgebildeter Objekte als im Zentrum der Bilder kommen,
wodurch auch auf die Position der Objekte relativ zur Kamera geschlossen
werden kann. Die Skalierung wird nach der logarithmischen Transformation mittels
der Kreuzkorrelationsanalyse erfasst.
-
In
einer weiteren Ausführungsform wird die Hintergrundbildtransformation
bzw. die scheinbare Bewegung tatsächlich unbewegter Objekte
in Folge der Kameraeigenbewegung alternativ oder zusätzlich
mit Hilfe eines Sensiermittels bestimmt. Als Sensiermittel kann
insbesondere ein Beschleunigungssensor und/oder Neigungsgeber vorgesehen
sein. Das Sensiermittel sensiert die Kameraeigenbewegung und stellt
die sensierte Kameraeigenbewegung repräsentierenden Signale
und/oder Daten bereit. Mit Hilfe dieser Signale bzw. Daten bestimmt
eine hierfür vorgesehene Einrichtung die Hintergrundbildtransformation.
Hierdurch kann der Rechenaufwand bei der Durchführung der
Kreuzkorrelationsanalyse verringert werden oder entfallen. Bspw.
kann die Kameraeigenbewegung mit Hilfe des Sensiermittels grob abgeschätzt
werden, so dass auch eine zu ermittelnde Translation, Rotation und/oder
Skalierung vor deren Erfassen mittels der Kreuzanalyse abgeschätzt
werden kann. Die Hintergrundbildtransformation kann somit mittels
der Kreuzkorrelationsanalyse mit weniger Rechenaufwand bestimmt
und/oder mit der mittels des Sensiermittels bestimmten Hintergrundbildtransformation
abgeglichen werden, so dass mit größerer Zuverlässigkeit
korrekte Ergebnisse erhalten werden.
-
Die
hintergrundstabilisierte Bildsequenz wird durch Kompensieren der
für das jeweilige Bild bestimmten Hintergrundbildtransformation
erhalten. In einer Ausführungsform der Erfindung erfolgt
die Kompensation direkt in den von der Kamera aufgenommenen diskreten
Bildern mittels Interpolationsverfahren zur Bildverschiebung und/oder
Bilddrehung und/oder Bildverzerrung. Insbesondere wird mittels der
Bildverschiebung eine erfasste Translation kompensiert, mittels
der Bilddrehung eine erfasste Rotation kompensiert und mittels der
Bildverzerrung eine erfasste Skalierung kompensiert. Eine Bildbewegung
wird somit direkt in den Bildern behoben.
-
In
einer anderen Ausführungsform der Erfindung sind alternativ
oder zusätzlich Mittel zum Kompensieren der für
das jeweilige Bild bestimmten Hintergrundbildtransformation durch
Bewegen eines Objektivs und/oder eines das Bild aufnehmenden Bildsensors
der Kamera vorgesehen. Insbesondere können elektromechanische
Stelleinrichtungen für Linsen vor dem Bildsensor oder der
Bildsensor selbst angetrieben werden. Auch ein rein mechanisches Bewegen
des Objektivs bzw. des Bildsensors selbsttätig in Erwiderung
auf bspw. Erschütterungen zur Kompensation dieser Erschütterungen
ist möglich. Zumindest in nachfolgend aufgenommenen Bildern wird
einer Hintergrundbildtransformation in Folge einer Kameraeigenbewegung
hierdurch weitgehend entgegengewirkt.
-
Besonders
vorteilhaft ist das Kompensieren der Hintergrundbildtransformation
durch eine Kombination dieser mechanischen Mittel mit den elektronischen
Interpolationsverfahren in Verbindung mit der Kreuzkorrelationsanalyse.
Das mechanische bzw. elektromechanische Bewegen des Objektivs bzw. des
Bildsensors zum Kompensieren der Hintergrundbildtransformation bewirkt
nämlich eine tatsächlich ermittelte geringere
Hintergrundbildtransformation in nachfolgend aufgenommenen Bildern
und daher ein vereinfachtes elektronisches Sensieren und Kompensieren
der Hintergrundbildtransformation in diesen nachfolgend aufgenommenen
Bildern.
-
Das
Detektieren der bewegten Objekten zugeordneten Bildpunkte erfolgt
bevorzugt durch Vergleichen der Bilder der hintergrundstabilisierten
Bildsequenz mit einander. Insbesondere werden die Bilder subpixelgenau
miteinander verglichen, wobei Unterbildpunkte eines Bildes mit an
entsprechender Stelle angeordneten Unterbildpunkten eines benachbarten
Bildes verglichen werden. Die Bilder der direkt aufgenommenen und
noch nicht hintergrundstabilisierten Bildsequenz werden für
dieses Vergleichen nicht benötigt.
-
In
einer Ausführungsform der Erfindung werden bewegten Objekten
zugeordnete Bildpunkte durch einen einfachen Vergleich zweier oder
mehrerer aufeinander folgender Bilder der hintergrundstabilisierten
Bildsequenz ermittelt. Hierfür wird zunächst ein
Differenzbild durch Subtrahieren der Bildpunkte und/oder den zwischen
den Bildpunkten angeordneten Unterbildpunkten dieser Bilder voneinander
ermittelt. Nachfolgend erfolgt ein Vergleichen der Beträge
der Bildpunkte bzw. Unterbildpunkte im Differenzbild mit einem Schwellenwert.
Der Schwellenwert kann fest vorgegeben oder einstellbar sein oder automatisch
ermittelt werden. Alle Bildpunkte bzw. Unterbildpunkte, die Beträge
oberhalb des Schwellenwerts aufweisen, werden als detektierte, den
bewegten Objekten zugeordnete Bildpunkte bzw. Unterbildpunkte bestimmt.
Hierdurch können auf sehr einfache Weise bewegte Objekte
bzw. Bildpunkte, die diesen Objekten zugeordnet sind, bestimmt werden.
Objekte werden hierbei insbesondere über ihre Ränder
erfasst, in denen in der Regel ein Kontrast zur Umgebung feststellbar
ist, der sich mit den Objekten bewegt. Insbesondere Bildpunkte,
die größeren homogenen Flächen von bewegten
Objekten zugeordnet sind, können hierdurch zwar oftmals
nicht erfasst werden. Jedoch ist dies für die nachfolgende Berechnung
der Flussvektoren von Vorteil, da für diesen homogenen
Flächen zugeordnete Bildpunkte leicht fehlerhafte Flussvektoren
ermittelt werden könnten. Somit ist sichergestellt, dass
die tatsächlich ermittelten Flussvektoren zuverlässig
eine Objektbewegung repräsentieren.
-
In
einer besonders bevorzugten Ausführungsform werden jedoch
zwei Differenzbilder mit einer UND-Bedingung miteinander verknüpft
und hierdurch die Genauigkeit bzw. Schärfe bei der Detektion der
bewegten Objekte bzw. den diesen bewegten Objekten zugeordneten
Bildpunkten erhöht.
-
Im
Einzelnen wird ein erstes Differenzbild durch Subtrahieren der Bildpunkte
und/oder zwischen den Bildpunkten angeordneter Unterbildpunkte eines
Bildes und seines zeitlich unmittelbar vorhergehenden Vorgängerbildes
der hintergrundstabilisierten Bildsequenz voneinander ermittelt.
Analog wird ein zweites Differenzbild ermittelt, nämlich
durch Subtrahieren der Bildpunkte und/oder zwischen den Bildpunkten
angeordneter Unterbildpunkte des Bildes und seines zeitlich unmittelbar
nachfolgenden Nachfolgerbildes der hintergrundstabilisierten Bildsequenz
voneinander. Die Beträge der Bildpunkte bzw. Unterbildpunkte
in beiden Differenzbildern werden mit einem Schwellenwert verglichen.
Hiernach werden nur noch Bildpunkte bzw. Unterbildpunkte mit Beträgen
oberhalb des Schwellenwerts betrachtet. Alle anderen Bildpunkte
bzw. Unterbildpunkte erhalten den Wert Null oder werden verworfen.
Nur die Bildpunkte bzw. Unterbildpunkte, die in beiden Differenzbildern
Beträge oberhalb des Schwellenwerts aufweisen bzw. nicht
den Wert Null erhalten haben bzw. nicht verworfen wurden, werden
als detektierte den bewegten Objekten zugeordnete Bildpunkte bzw.
Unterbildpunkte bestimmt. Hierdurch kann sich zwar die Anzahl der
detektierten Bildpunkte bzw. Unterbildpunkte verringern. Jedoch
sind die hiernach als detektierte den bewegten Objekten zugeordnete Bildpunkte
bzw. Unterbildpunkte bestimmten Bildpunkte bzw. Unterbildpunkte
tatsächlich dem bewegten Objekt zugeordnet, wohingegen
bei jeder einfachen Differenzbildung auch leicht Bildpunkte erfasst werden
können, die in einem der Differenzbildung zugrundeliegenden
Bild der unbewegten Umgebung zugeordnet sind.
-
Bevorzugt
werden die Flussvektoren für die detektierten, den bewegten
Objekten zugeordneten Bildpunkte mittels eines Schätzverfahrens
ermittelt bzw. berechnet. Bevorzugt wird hierbei das sog. Horn-Schunck-Verfahren
oder das sog. Verfahren nach Lucas und Kanade oder das sog. Block-Matching-Verfahren
verwendet. Diese Verfahren ermöglichen ein effizientes
Berechnen der Flussvektoren. Es kann jedoch auch ein anderes geeignetes
Verfahren zur Berechnung der Flussvektoren verwendet werden.
-
In
einer bevorzugten Ausführungsform werden die diskreten
Bilder der dem Verfahren zugrundeliegenden Bildsequenz direkt mittels
einer Digitalkamera aufge nommen. Videodaten liegen somit direkt
in einem im weiteren Verfahren nutzbaren Format vor.
-
In
einer alternativen Ausführungsform können jedoch
auch Analogbilder mittels einer Analogkamera aufgenommen werden.
Die Bildsequenz mit den diskreten Bildern wird nachfolgend durch
digitales Abtasten der Analogbilder erzeugt. Somit ist es möglich,
bestehende Analogkameras weiter zu verwenden oder das Verfahren
auf bereits vorliegendes analoges Filmmaterial anzuwenden.
-
In
einer Ausführungsform der Erfindung wird die analoge oder
digitale Bildsequenz auf einem Datenträger zwischengespeichert,
so dass eine Analyse der Bildsequenz zu einem späteren
Zeitpunkt als zur Aufnahme, insbesondere auch wiederholt, durchgeführt
werden kann. Bspw. kann das Verfahren mit unterschiedlichen Schwellenwerten
beim Bestimmen der detektierten den bewegten Objekten zugeordneten
Bildpunkte angewendet werden. Auch ist es möglich, dass
das Verfahren nur für einzelne Ausschnitte der Bildsequenz
angewendet werden soll, wobei diese Ausschnitte gezielt ausgewählt
werden können, wenn die Bildsequenz auf einem Datenträger
zwischengespeichert ist. Des Weiteren kann der Datenträger
mit der Bildsequenz an einen von der Kamera entfernten Ort verbracht
werden, an dem die Mittel zur Durchführung des weiteren
Verfahrens angeordnet sind.
-
Die
erfindungsgemäße Vorrichtung zur Videodatenanalyse
stellt alle Mittel zur Durchführung des beschriebenen Verfahrens
bereit. Insbesondere weist die Vorrichtung Module auf, welche die
Mittel zur Durchführung des Verfahrens bereitstellen. Die Module
sind Hardwaremodule und/oder Softwaremodule. Ggf. weist die Vorrichtung
auch die beschriebenen Sensiermittel und/oder Stellmittel zum Bewegen eines
Objektivs und/oder eines Bildsensors der Kamera auf. Darüber
hinaus kann die Vorrichtung Stellmittel aufweisen, die in Erwiderung
auf bestimmten optischen Fluss für die Bilder in die Steuerung
einer Maschine, eines Fahrzeugs oder eines anderen technischen Geräts
eingreifen.
-
Das
erfindungsgemäße Computerprogramm umfasst Computerprogrammcodemittel,
die für die Ausführung von Schritten des Verfahrens
geeignet sind. Insbe sondere alle Schritte der Erfindung, die eine
Auswertung oder Manipulation von Videodaten betreffen werden mittels
des Computerprogramms auf einem Computer ausgeführt.
-
Das
Computerprogramm ist bevorzugt auf einem computerlesbaren Medium
enthalten, so dass es von dem Computer eingelesen werden kann.
-
Alternativ
können die eine Analyse bzw. Manipulation von Videodaten
umfassenden Schritte der Erfindung jedoch auch als elektronischer
Schaltkreis ausgebildet sein. Auch eine Kombination, bei der einzelne
Schritte von dem elektronischen Schaltkreis und einzelne Schritte
mittels des Computerprogramms umgesetzt werden, ist möglich.
-
Weitere
Ausführungsformen ergeben sich aus den Ansprüchen
sowie aus den anhand der Zeichnung näher erläuterten
Ausführungsbeispielen. In der Zeichnung zeigen:
-
1 eine
Kamera;
-
2 eine
von der Kamera von 1 aufgenommene Bildsequenz;
-
3 eine
aus der Bildsequenz von 2 erzeugte hintergrundstabilisierte
Bildsequenz;
-
4 Differenzbilder
der hintergrundstabilisierten Bildsequenz aus 3,
-
5 eine
grafische Darstellung zur Veranschaulichung des optischen Flusses
für ein Bild der hintergrundstabilisierten Bildsequenz
aus 3 und
-
6 eine
erfindungsgemäße Vorrichtung gemäß einem
Ausführungsbeispiel.
-
1 zeigt
eine Kamera 2 mit einem Linsen aufweisenden Objektiv 4 in
einer Draufsicht. Die Kamera 2 ist eine Digitalkamera,
wobei durch deren Objektiv 4 einfallendes Licht auf einen
Bildsensor 6 fällt, der in Erwiderung hierauf
digitale Videosignale erzeugt. Die Kamera 2 kann bspw.
an einem Mast befestigt sein, wobei angreifender Wind eine durch
einen Pfeil symbolisierte Kameraeigenbewegung 8 bewirkt.
Insbesondere ist die Kameraeigenbewegung 8 in diesem Beispiel
ein Schwenken der Kamera um eine vertikale Achse.
-
Die
Kamera 2 weist ferner ein Sensiermittel 10 zum
Sensieren der Kameraeigenbewegung 8 auf. Das Sensiermittel 10 ist
in diesem Fall ein Beschleunigungssensor, der ein Drehmoment der
Kameraeigenbewegung 8 sensiert.
-
Des
Weiteren weist die Kamera 2 Stellmittel 12 auf,
welche als elektrische Antriebe ausgebildet sind und elektromechanisch
den Bildsensor 6 bzw. das Objektiv 4, insbesondere
Linsen des Objektivs 4, bewegen bzw. verstellen können.
-
2 zeigt
eine mittels der Kamera 2 von 1 aufgenommene
Bildsequenz 14 mit drei diskreten Bildern 16, 18 und 20,
die zeitlich unmittelbar aufeinanderfolgend aufgenommen wurden.
Das Bild 16 ist das Vorgängerbild und das Bild 20 das
Nachfolgerbild von dem Bild 18. Auf den Bildern 16, 18 und 20 ist
ein bewegtes Objekt 22 vor einem unbewegten Hintergrund 24 abgebildet.
Die Kameraeigenbewegung 8 bewirkt eine Scheinbewegung des
unbewegten Hintergrunds 24. Diese Scheinbewegung ist eine durch
einen Pfeil symbolisierte Hintergrundbildtransformation 26,
nämlich in diesem Fall eine horizontale Längsverschiebung,
die der Kameraeigenbewegung 8 entgegengerichtet ist.
-
Zeitlich
unmittelbar aufeinanderfolgende Bilder werden mittels einer Kreuzkorrelationsanalyse 28,
die in 2 durch Doppelpfeile symbolisiert dargestellt
ist, miteinander verglichen. Das Bild 16 wird mit einem
nicht dargestellten Vorgängerbild der Bildsequenz 14 korreliert.
Entsprechend wird das Bild 18 mit dem Bild 16 und
das Bild 20 mit dem Bild 18 korreliert. Mittels
direkter Korrelation der Bilder 16, 18 und 20 mit
ihrem jeweiligen Vorgängerbild wird eine Translation des
Bildes, insbesondere im Wesentlichen des unbewegten Hintergrundes,
erfasst. Ferner werden alle Bilder 16, 18, 20 der
Bildsequenz 14 in Polarkoordinaten transformiert, so dass
mittels einer nachfolgenden Korrelation der transformierten Bilder eine
Rotation erfasst werden kann. Schließlich werden alle Bilder 16, 18, 20 der
Bildsequenz 14 logarithmisch transformiert. Ein nachfolgendes
Korrelieren erfasst eine Skalierung im Wesentlichen des unbewegten
Hintergrunds. In dem gezeigten Ausführungsbeispiel wird
lediglich eine Translation mittels der Kreuzkorrelationsanalyse 28 erfasst.
-
Als
Ergebnis der Kreuzkorrelationsanalyse 28 werden Daten bereitgestellt,
welche die ermittelte Bildbewegung repräsentieren. Mit
Hilfe dieser Daten wird die Hintergrundbildtransformation 26 für
die Bilder 16, 18 und 20 bestimmt.
-
Zusätzlich
oder optional sensiert das Sensiermittel 10 an der Kamera 2 von 1 die
Kameraeigenbewegung 8 und stellt einer Recheneinrichtung Messsignale
bereit, die in deren Erwiderung auf die Kameraeigenbewegung 8 schließt,
bzw. die Hintergrundbildtransformation 26, die aufgrund
der Kameraeigenbewegung 8 zu erwarten ist, bestimmt. In
diesem Ausführungsbeispiel wird die Hintergrundbildtransformation 26 sowohl
mit Hilfe der mittels der Kreuzkorrelationsanalyse 28 gewonnenen
Daten als auch mittels der Signale vom Sensiermittel 10 bestimmt.
-
Alternativ
kann die Hintergrundbildtransformation 26 jedoch auch mittels
einem dieser beiden Bestimmungsverfahren alleine bestimmt werden.
-
3 zeigt
eine hintergrundstabilisierte Bildsequenz 30 der Bildsequenz 14 von 2 mit
hintergrundstabilisierten Bildern 32, 34 und 36.
Die für die Bilder 16, 18 und 20 jeweils
individuell bestimmte Hintergrundbildtransformation 26 ist
in den hintergrundstabilisierten Bildern 32, 34 und 36 mittels
Interpolationsverfahren zur Bildverschiebung, Bilddrehung und Bildverzerrung
kompensiert. In dem gezeigten Ausführungsbeispiel ist lediglich
eine Transformation erfasst worden, so dass lediglich das Interpolationsverfahren
zur Bildverschiebung angewendet werden musste.
-
In
Erwiderung auf die detektierte Hintergrundbildtransformation 26 steuert
die Erfindung optional zusätzlich die Stellmittel 12 an,
welche die Hintergrundbild transformation 26 elektromechanisch kompensieren.
Insbesondere werden das Objektiv 4 und/oder der Bildsensor 6 der
Kamera 2 derart bewegt, dass sich die Auswirkungen der
Kamerabewegung 8 auf den vom Bildsensor 6 erfassten
Bildbereich zumindest in nachfolgend aufgenommenen Bildern verringern
bzw. diese Auswirkungen kompensiert werden. Dies führt
dazu, dass trotz fortgesetzter Kameraeigenbewegung 8 bei
der Aufnahme der Bilder 18 und 20 der abgebildete
unbewegte Hintergrund 24 in dem Bild 20 nicht
oder nur geringfügig von dem abgebildeten unbewegten Hintergrund 24 in dem
Bild 18 gemäß 2 abweicht.
Folglich muss nur noch eine geringe Bildtransformation 26 mittels der
Kreuzkorrelationsanalyse 28 für das Bild 20 bestimmt
und nachfolgend elektronisch kompensiert werden.
-
Die
Erfindung kompensiert im Wesentlichen ungewollte Bewegungen der
Kamera 2, bspw. aufgrund von Erschütterungen oder
Wind. Mittlere Bewegungen der Kamera 2, die zu vergleichsweise
geringeren Hintergrundbildtransformationen 26 führen, bleiben
hingegen auch in der hintergrundstabilisierten Bildsequenz 30 erhalten.
Diese Hintergrundbildtransformationen 26 sind verglichen
mit einer Bewegung des bewegten Objekts 22 vergleichsweise klein,
so dass das bewegte Objekt 22 leicht vom unbewegten Hintergrund 24 unterschieden
werden kann.
-
4 zeigt
ein aus der hintergrundstabilisierten Bildsequenz 30 von 3 gewonnenes
erstes Differenzbild 38 und zweites Differenzbild 40.
Das Differenzbild 38 ist aus einem Subtrahieren des Bilds 34 und
seines Vorgängerbilds 32 voneinander hervorgegangen.
Entsprechend ergibt sich das zweite Differenzbild 40 aus
einer Subtraktion des Bilds 34 und seines Nachfolgerbildes 36 voneinander.
Die Richtung der Subtraktion ist hierbei unerheblich, da für
das weitere Verfahren Beträge der Differenzbilder 38 und 40 verwendet
werden. Beim Subtrahieren werden die Bilder 32 und 34 bzw. 34 und 36 subpixelgenau
miteinander verglichen, so dass die Erfindung für jeden
Bildpunkt und jeden Unterbildpunkt des Bilds 34 einen Differenzwert
zu dem entsprechenden Bildpunkt bzw. Unterbildpunkt in dem Bild 32 bzw. 36 bildet.
-
Die
Beträge der Bildpunkte bzw. Unterbildpunkte in beiden Differenzbildern 38 und 40 werden mit
einem Schwellenwert verglichen. Kleinere Betragsänderun gen,
die im Allgemeinen nicht auf eine Objektbewegung zurückzuführen
sind, werden somit auf einen Wert von Null gesetzt. Bildpunkte bzw.
Unterbildpunkte mit Beträgen oberhalb des Schwellenwertes
werden hingegen als potentiell zum bewegten Objekt 22 gehörend
erkannt. In den Differenzbildern 38 und 40 sind
somit lediglich Bildpunkte bzw. Unterbildpunkte erkennbar, die potentiell
dem Objekt 22 zugeordnet werden können.
-
Das
bewegte Objekt 22 bewegt sich in der Bildsequenz 14 und
in der hintergrundstabilisierten Bildsequenz 30 in dem
gezeigten Ausführungsbeispiel relativ zum hintergrundstabilisierten
Bild 32 bzw. 34 bzw. 36 nach unten. Bildpunkte
werden daher in einem Hauptbereich 42 und in einem Vorgängerübergangsbereich 44 detektiert.
In dem Hauptbereich 42 ist das Objekt 22 in dem
Bild 34 präsent. In dem Vorgängerübergangsbereich 44 werden
potentiell dem bewegten Objekt 22 zugeordnete Bildpunkte erkannt,
welche tatsächlich im Bild 34 nicht mehr dem bewegten
Objekt 22 zugeordnet sind. Das Differenzbild 38 alleine
gibt die Position des bewegten Objekts 22 somit unscharf
wider.
-
Für
die Detektion von potentiell dem bewegten Objekt 22 zugeordneten
Bildpunkten in einem Teilbereich des Hauptbereichs 42,
der dem bewegten Objekt 22 in beiden Bildern 32 und 34 zugeordnet
ist, muss das bewegte Objekt 22 ausreichend strukturiert sein.
Dies ist jedoch im Allgemeinen für reale Objekte der Fall.
Lediglich im theoretischen Fall, dass ein Objekt als eine homogene
Oberfläche mit gleichen Farben und/oder Helligkeitswerten
abgebildet wird, könnten in diesem Teilbereich des Hauptbereichs 42 keine
als potentiell dem bewegten Objekt 22 zugeordnete Bildpunkte
im Differenzbild 38 bzw. 40 erkannt werden.
-
Auch
im zweiten Differenzbild 40 ist die Position des bewegten
Objekts 22 verschmiert dargestellt, setzt sich nämlich
wiederum aus dem Hauptbereich 42 zusammen, indem das Objekt 22 in
dem hintergrundstabilisierten Bild 34 tatsächlich
abgebildet wird, und einem Nachfolgerübergangsbereich 46,
in den das Objekt 22 erst im Nachfolgerbild 36 eintritt.
-
Die
Erfindung verknüpft die beiden Differenzbilder 38 und 40 mit
einer UND-Bedingung, so dass nur Bildpunkte bzw. Unterbildpunkte
als detektierte dem bewegten Objekt 22 zugeordnete Bildpunkte bzw.
Unterbildpunkte bestimmt werden, die in beiden Differenzbildern 38 und 40 Beträge
oberhalb des Schwellenwerts aufweisen. Bildpunkte werden somit nur
dann als endgültig zum bewegten Objekt 22 gehörend
bestimmt, wenn sie sowohl in dem ersten Differenzbild 38 als
auch in dem zweiten Differenzbild 40 als potentiell zum
bewegten Objekt 22 gehörend bestimmt worden sind.
In dem gezeigten Ausführungsbeispiel werden folglich lediglich
Bildpunkte bzw. Unterbildpunkte aus dem Hauptbereich 42,
in dem das Objekt 22 im Bild 34 tatsächlich
angeordnet ist, endgültig als zum bewegten Objekt 22 gehörend bestimmt.
Der Vorgängerübergangsbereich 44 aus dem
ersten Differenzbild 38 und der Nachfolgerübergangsbereich 46 aus
dem zweiten Differenzbild 40 findet hingegen keine Entsprechung
in dem jeweils anderen Differenzbild 40 bzw. 38,
so dass als potentiell zum bewegten Objekt 22 gehörend
bestimmte Bildpunkte aus diesen Bereichen 44, 46 verworfen werden.
Das Objekt 22 wird somit scharf und präzise in
seiner aktuellen Position in dem Bild 34 erkannt.
-
5 zeigt
eine grafische Darstellung zur Veranschaulichung des mittels der
Erfindung bestimmten optischen Flusses 48 für
das hintergrundstabilisierte Bild 34 aus 3.
-
Erfindungsgemäß werden
lediglich für die detektierten den bewegten Objekten zugeordneten Bildpunkte
bzw. Unterbildpunkte mit Hilfe eines üblichen Verfahrens,
bspw. mittels des Horn-Schunck-Verfahrens, mittels des Verfahrens nach
Lucas und Kanade oder mittels des Block-Matching-Verfahrens als
Pfeile dargestellte Flussvektoren 50 berechnet. Die Richtung
der Pfeile gibt hierbei die Richtung der Verschiebung der detektierten
dem bewegten Objekt 22 zugeordneten Bildpunkte an. Die
Länge der Pfeile ist ein Maß für den
Betrag der Verschiebung. Nachfolgend wird der diese Flussvektoren 50 aufweisende
optische Fluss 48 für die Bilder 32, 34 und 36 der
hintergrundstabilisierten Bildsequenz 30 bestimmt, wobei
der optische Fluss 48 für Bildpunkte, die nicht
detektierte dem, bewegten Objekt 22 zugeordnete Bildpunkte
sind, durch Punkte symbolisiert, als betragslos angenommen werden. Schließlich
kann der optische Fluss 48 analysiert und insbesondere
die Lage, Bewegungsrichtung und Geschwindigkeit des bewegten Objekts 22 weitgehend scharf
und präzise bestimmt werden.
-
6 zeigt
eine erfindungsgemäße Vorrichtung 52 zur
Durchführung des erfindungsgemäßen Verfahrens
gemäß einem Ausführungsbeispiel der Erfindung.
-
Die
Vorrichtung 52 weist die Kamera 2 aus 1 auf.
Die Kamera 2 nimmt eine Bildsequenz 14 mit diskreten
Bildern 16, 18, 20 auf und stellt diese Bildsequenz 14 in
Form von Videodaten bereit. Die Vorrichtung 52 weist ferner
Mittel 56 zum Bestimmen der durch die Kameraeigenbewegung 8 der
Kamera 2 bewirkten Hintergrundbildtransformation 26 für
die diskreten Bilder 16, 18 und 20 auf.
Die Mittel 56 weisen Mittel 58 zum Vergleichen
zeitlich aufeinander folgender Bilder 16, 18, 20 mittels
Kreuzkorrelationsanalyse 28 zum Ermitteln einer Bildbewegung
zwischen den Bildern 16, 18 und 20 auf.
Die Mittel 58 umfassen dabei Mittel 60 zum direkten
Korrelieren der Bilder 16, 18 und 20 zum
Erfassen der Translation, Mittel 62 zum Transformieren
der Bilder 16, 18 und 20 in Polarkoordinaten
und Korrelieren der transformierten Bilder zum Erfassen der Rotation
und Mittel 64 zum logarithmischen Transformieren der Bilder 16, 18 und 20 in
Polarkoordinaten und Korrelieren der transformierten Bilder zum
Erfassen der Skalierung.
-
Ergebnisse
der Kreuzkorrelationsanalyse 28 werden durch Mittel 66 zum
Bereitstellen von die ermittelte Bildbewegung repräsentierenden
Daten bereitgestellt. Schließlich weisen die Mittel 56 Mittel 68 zum
Bestimmen der Hintergrundbildtransformation 26 für
die Bilder 16, 18 und 20 mit Hilfe dieser
Daten auf.
-
Des
Weiteren weisen die optionalen Mittel 56 noch die Sensiermittel 10 zum
Sensieren der Kameraeigenbewegung 8 auf. Die sensierte
Kameraeigenbewegung 8 repräsentierende Signale
bzw. Daten werden von Mitteln 70 zum Bereitstellen dieser
Signale bzw. Daten bereitgestellt.
-
Schließlich
weisen die Mittel 56 noch Mittel 72 zum Bestimmen
der Hintergrundbildtransformation 26 für die Bilder 16, 18 und 20 mit
Hilfe dieser Signale bzw. Daten auf. Die Mittel 72 können
dabei mit den Mitteln 68 zumindest teilweise identisch
sein. Insbesondere kann eine gemeinsame Recheneinrichtung zur Durchführung
wenigstens der von den Mitteln 68 und 72 durchzuführenden
Verfahrensschritte vorgesehen sein.
-
Die
Vorrichtung 52 weist ferner Mittel 74 zum Erzeugen
der hintergrundstabilisierten Bildsequenz 30 zur Kompensation
der Kameraeigenbewegung 8 aus den diskreten Bildern 16, 18 und 20 durch
Kompensieren der für das jeweilige Bild 16, 18 bzw. 20 bestimmten
Hintergrundbildtransformation 26 auf. Diese Mittel 74 weisen
wiederum Mittel 76 und Mittel 78 jeweils zum Kompensieren
der für das jeweilige Bild 16, 18 bzw. 20 bestimmten
Hintergrundbildtransformation 26 auf. Mit den Mitteln 76 sind
Interpolationsverfahren zur Bildverschiebung und/oder Bilddrehung
und/oder Bildverzerrung durchführbar, wobei die Hintergrundbildtransformation 26 direkt
in den von der Kamera 2 aufgenommenen diskreten Bildern 16, 18 und 20 durchgeführt
wird. Die Mittel 78 sind optional und umfassen hingegen
die Stellmittel 12 und ermöglichen somit ein Bewegen
des Objektivs 4 bzw. des Bildsensors 6. Im Ergebnis
wird von den Mitteln 76 und 78 die hintergrundstabilisierte
Bildsequenz 30 erzeugt.
-
Des
Weiteren weist die Vorrichtung 52 Mittel 80 zum
Detektieren von den bewegten Objekten 22 zugeordneten Bildpunkten
mit Hilfe der Bilder 32, 34 und 36 der
hintergrundstabilisierten Bildsequenz 30 auf. Diese Mittel 80 umfassen
Mittel 82 zum Ermitteln des ersten Differenzbildes 38 und
Mittel 84 zum Ermitteln des zweiten Differenzbildes 40.
Die Mittel 82 und 84 können identisch
oder identisch ausgebildet sein. Das Ermitteln des jeweiligen Differenzbildes
erfolgt durch Subtrahieren der Bildpunkte und/oder zwischen den
Bildpunkten angeordneter Unterbildpunkte des hintergrundstabilisierten
Bildes 34 und seines zeitlich unmittelbar vorhergehenden
Vorgängerbildes 32 bzw. seines zeitlich unmittelbar
nachfolgenden Nachfolgerbildes 36 der hintergrundstabilisierten Bildsequenz 30.
-
Die
Mittel 80 umfassen ferner Mittel 86 zum Vergleichen
der Beträge der Bildpunkte bzw. Unterbildpunkte in beiden
Differenzbildern 38 und 40 mit jeweils einem Schwellenwert.
Schließlich weisen die Mittel 80 noch Mittel 88 zum
Bestimmen nur der in beiden Differenzbildern 38 und 40 Beträge
oberhalb des Schwellenwertes aufweisenden Bildpunkte bzw. Unterbildpunkte
als detektierte den bewegten Objekten 22 zugeordnete Bildpunkte
bzw. Unterbildpunkte auf.
-
Die
Vorrichtung 52 weist schließlich Mittel 90 zum
Berechnen von Flussvektoren 50 und Mittel 92 zum
Bestimmen des optischen Flusses 48 auf. Mit den Mitteln 90 zum
Berechnen von Flussvektoren 50 sind im Wesentlichen ausschließlich
für die detektierten den bewegten Objekten 22 zugeordneten
Bildpunkte in den Bildern 32, 34 und 36 der
hintergrundstabilisierten Bildsequenz 30 die Flussvektoren 50 berechenbar.
Der optische Fluss 48 ist mit den Mitteln 92 für
die Bilder der hintergrundstabilisierten Bildsequenz 30 aus
den für das jeweilige Bild 32, 34, 36 berechneten
Flussvektoren 50 und als betragslos angenommenen Flussvektoren
für nicht in dem jeweiligen Bild 32, 34, 36 detektierte
den bewegten Objekten 22 zugeordnete Bildpunkte bestimmbar.
Auf diese Weise ist mittels der Vorrichtung 52 mit nur
geringem Rechenaufwand der optische Fluss 48 derart bestimmbar,
dass die bewegten Objekte 22 sich deutlich vom unbewegten
Hintergrund 24 hervorheben.
-
Der
derart bestimmte optische Fluss 48 wird einer Steuereinrichtung 94 zugeführt,
wobei mittels der Steuereinrichtung 94 bspw. ein Antrieb,
Motor oder Stellmittel ansteuerbar ist. Hierfür sind von
der Steuereinrichtung 94 Steuerbefehle generierbar, so dass
mittels der Erfindung bspw. ein bemanntes oder unbemanntes Fahrzeug
oder Flugobjekt mit geringem Rechenaufwand derart automatisch gesteuert werden
kann, dass es bspw. automatisch detektierten bewegten Objekten 22 ausweicht.
Auch andere Anwendungen für verschiedene Fahrzeuge zu Lande,
zu Wasser oder in der Luft sind denkbar. Des Weiteren können
Roboter und andere Maschinen mittels der Erfindung zumindest unterstützend
gesteuert werden.
-
Insgesamt
ist eine Anwendung der Erfindung in allen Bereichen der Technik
möglich, wo Ereignisse automatisch in Abhängigkeit
von mittels einer Kamera visuell erfassbaren bewegten Objekten ausgelöst
werden sollen. Ferner kann die Erfindung vorteilhaft zur Überwachung,
bspw. Verkehrsüberwachung, eingesetzt werden, wobei eine
bspw. durch Windböen verursachte Eigenbewegung kompensiert
und der optische Fluss mit geringem Rechenaufwand bestimmt wird.
-
Alle
in der vorgenannten Figurenbeschreibung, in den Ansprüchen
und in der Beschreibungseinleitung genannten Merkmale sind somit
einzeln als auch in beliebiger Kombination miteinander einsetzbar.
Die Erfindung ist somit nicht auf die beschriebenen bzw. beanspruchten
Merkmalskombinationen beschränkt. Vielmehr sind alle Merkmalskombinationen
als offenbart zu betrachten.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-