-
Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zum Auswählen von
Videoauswahldaten, mit denen ein sich in einem Gebiet bewegendes
Objekt bestmöglich
darstellbar ist, aus einer Gesamtheit von Videodaten, die von dem
Gebiet mit mehreren Kameras erfasst werden, wobei Eigenschaften
und Positionen der Kameras in dem Gebiet aus einem Architekturmodell
bekannt sind.
-
Eine Überwachung
von Gebieten mit Überwachungskameras
ist im Stand der Technik bekannt. Es gibt verschiedene Verfahren,
mit denen Objekte, die sich in einem Überwachungsgebiet bewegen,
erfasst werden. Klassische Systeme umfassen eine oder mehrere Videokameras,
die auf einem oder mehreren Bildschirmen Videobilder erzeugen, die
von einer Überwachungsperson überwacht
werden. Ebenso ist es bekannt, die Videosignale der verschiedenen
Kameras aufzuzeichnen. Bei den bekannten Systemen ist es sehr aufwendig, eine
Person oder ein Objekt, das sich in dem Gebiet bewegt, nahtlos zu
verfolgen. Bisher musste eine Überwachungsperson
manuell in den Prozess eingreifen.
-
Aus
der US 2002/0067258 A1 ist ein Überwachungssystem
bekannt, das einen Alarmdetektor umfasst. Wird mittels des Alarmdetektors
ein Alarm, beispielsweise ein Einbruchsalarm, festgestellt, so werden Videodaten
von verschiedenen Videokameras ausgewertet. Die Videodaten umfassen
einzelne Videobilder, die als Rahmen (Frames) bezeichnet werden.
Ziel der Auswertung ist es, die Rahmen zu ermitteln, anhand derer
eine Person in einer Alarmzentrale entscheiden kann, ob es sich
um einen falschen Alarm handelt. Es hat sich nämlich gezeigt, dass eine Vielzahl
von ausgelösten
Alarmen Fehlalarme sind. In den Rahmen werden Differenzregionen
ermittelt. Die Differenzregionen umfassen Bereiche, in denen Veränderungen
gegenüber aufgenommenen
Rahmen erkennbar sind, die vor dem Auslösen des Alarms erfasst wurden.
Für die
Rahmen wird anhand vorfestgelegter Kriterien eine Rangfolge festgelegt, so
dass bei einer begrenzten Übertragungsbandbreite
zu der Alarmzentrale nur oder vorrangig die Rahmen übertragen
werden, die den höchsten
Rang aufweisen. Die vorfestgelegten Kriterien, die zur Feststellung
des Rangs genutzt werden, umfassen eine Zentriertheit einer Differenzregion
in dem Rahmen, eine Größe der Differenzregion,
Informationen darüber,
ob die Differenzregion aus einer großen Differenzregion oder einer
Gruppe kleinerer Differenzregionen besteht, den Kontrast der Differenzregion,
die Beleuchtungsbedingungen in der Differenzregion, Informationen
darüber,
ob ein Gesicht in der Differenzregion detektiert wird, ob der Videorahmen
unscharf ist, wie viel Hautfarbe in dem Videorahmen enthalten ist,
ob eine Person in dem Videorahmen erkannt wird, etc.
-
Aus
dem japanischen Patent Abstract JP 2000-032435 ist ein Monitoringsystem
bekannt, bei dem sich bewegende Objekte automatisch in einem Gebiet überwacht
werden, das aus mehreren Überwachungsbereichen
besteht. Jeder Überwachungsbereich
weist eine Kamera auf, die Videodaten in dem entsprechenden Überwachungsbereich
erfassen kann. Für
ein ausgewähltes
Objekt werden Bewegungsvektoren ermittelt und anhand der Bewegungsvektoren
und einer Kenntnis der Kamerapositionen und ihrer Eigenschaften,
die in einem so genannten Architekturmodell zusammengefasst sind,
eine Position des Objekts in dem Gebiet vorausgesagt. Die Kamera,
in deren Überwachungsbereich
sich das Objekt befindet, wird als Hauptkamera bezeichnet. Ihr aufgenommenes
Videosignal wird auf einem Monitor dargestellt. Ergibt sich anhand
der vorausgesagten Position, dass das sich bewegende Objekt in den Überwachungsbereich
einer anderen Kamera eintritt, so wird das Videosignal dieser anderen
Kamera auf einem zweiten Monitor parallel zu dem Signal der Hauptkamera
dargestellt. Das Videosignal der anderen Kamera wird auf Bewegungsvektoren
hin untersucht. Wird eine Bewegung festgestellt, so wird die andere
Kamera als Hauptkamera festgelegt. So ist es möglich, das Objekt, während es
sich durch die verschiedenen Überwachungsbereiche
bewegt, ständig
auf einem der beiden Monitore abzubilden. Nachteilig an dem Verfahren
ist, dass die Position des Objekts nur anhand von Bewegungsvektoren
vorausberechnet werden kann. Da jedoch bei einer Abbildung des dreidimensionalen
Raums in eine zweidimensionale Abbildung Informationen verloren
gehen, ist die Positionsbestimmung teilweise fehlerbehaftet. Deshalb
kann ein Umschalten auf die andere Kamera erst erfolgen, wenn auch
in dem Videosignal der anderen Kamera eine Bewegung festgestellt
wurde. Daher ist eine nahtlose Darstellung des Objekts nicht in
jedem Fall möglich.
Das Verfahren ist daher nicht geeignet, eine Videosequenz zu erstellen,
in der das sich bewegende Objekt nahtlos darstellbar ist.
-
Aus
der US 2004/0263625 A1 ist ein Überwachungssystem
bekannt, umfassend mehrere steuerbare Kameras, einschließlich schwenkbarer
Kameras, Mittel zum Erkennen eines eindringenden Objekts, die zum Bearbeiten
von Bildsignalen der schwenkbaren Kameras und Verfolgen einer Position
des eindringenden Objekts geeignet sind, Kamerafunktionsbestimmungsmittel
zum Zuweisen einer Kamerafunktion an eine erste der schwenkbaren
Kameras, in deren Blickfeld sich das eindringende Objekt gemäß seines
Zustandes befindet, und zum Zuweisen einer Winkelabbildungsfunktion
zum weitwinkligen Abbilden eines Überwachungsbereichs an eine
zweite Kamera und Kamerasteuermittel zum Steuern der schwenkbaren
Kameras gemäß Einwirkungen
der Kamerafunktionsbestimmungsmittel. Jeder Kamera ist ein Monitor
zugewiesen. Das eindringende Objekt wird somit jeweils auf wechselnden
Monitoren in Abhängigkeit
von der Position des eindringenden Objekts im Überwachungsbereich angezeigt.
-
Eine
nahtlose Darstellung eines Objekts ist beispielsweise zu Dokumentationszwecken
bei der Anlieferung von Waren oder Gegenständen in sicherheitsrelevanten
Bereichen erforderlich. Bisher musste hierfür Personal eingesetzt werden,
welches den manuellen Wechsel von einer Kamera auf eine nächste auslöst.
-
Aufgabe
der Erfindung ist es daher, eine Vorrichtung und ein Verfahren zum
Selektieren von Videodaten zu schaffen, mit denen eine zeitlich
lückenlose
Darstellung eines sich in einem Gebiet bewegenden Objekts, das mittels
mehrerer Kameras überwacht
wird, zu schaffen.
-
Die
Aufgabe wird erfindungsgemäß durch
ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung
mit den Merkmalen des Patentanspruchs 19 geschaffen.
-
Hierbei
ist vorgesehen, dass die Kameras so angeordnet sind, dass beim Aufnehmen
der Gesamtheit der Videodaten von jedem oder nahezu jedem Ort des
Gebiets Videodaten von mindestens zwei Kameras erfassbar sind. Die
Position des Objekts wird für
jeden Zeitpunkt anhand von Videodaten mindestens zweier der Kameras
mittels einer Positionsbestimmungseinheit bestimmt. Beim Auswählen der
Videoauswahldaten werden mittels einer Sequenzauswahleinheit Videodaten
festgelegt, die eine Abfolge von Videodaten umfassen, mit denen
das Objekt zu jedem Zeitpunkt bestmöglich darstellbar ist, wobei
zu jedem Zeitpunkt jeweils der Ort oder eine Umgebung des Ortes
abgebildet ist, der mit der Position des Objekts übereinstimmt,
und die Abfolge von Videodaten als Videosequenz wiedergebbar ist.
-
Indem
nahezu jeder Ort oder bevorzugter jeder Ort des Gebiets von zwei
Kameras erfassbar ist, ist es möglich, ähnlich wie
bei Stereokameras Tiefenkarten zu ermitteln. Hierdurch ist es möglich, die
Objektposition unabhängig
von einer Bewegung des Objekts jederzeit sicher zu bestimmen. Unter
der Aussage, dass „nahezu jeder
Ort des Gebiets von mindestens zwei Kameras erfassbar ist", wird eine Kameraanordnung
in dem Gebiet verstanden, bei der nur kleinste Bereiche nicht von
mindestens zwei Kameras erfassbar sind, weil beispielsweise eine
Säule den
Erfassungsbereich einer der mindestens zwei Kameras geringfügig einschränkt. Als
geringfügig
wird eine Einschränkung
angesehen, wenn der nicht erfassbare Bereich eine Ausdehnung aufweist, die
in der Größenordnung
einer Ausdehnung des Objekts liegt oder kleiner ist. Vorteilhafterweise
ist jedoch jeder Ort des Gebietes von mindestens zwei Kameras jederzeit
erfassbar. Aufgrund der genauen Ortsbestimmung ist es möglich, jeweils
die Kamera auszuwählen,
die die besten Videodaten für
eine Darstellung des Objekts liefern. Auch an Übergängen zwischen den Erfassungsbereichen
unterschiedlicher Kameras ist hierbei gewährleistet, dass nicht ein ständiges Umschneiden
stattfinden muss. Hierdurch ist es möglich, eine Videosequenz zu
erzeugen, die wie ein natürlich
geschnittenes Video wirkt. Anders als bei den aus dem Stand der Technik
bekannten Verfahren und Vorrichtungen kann so ein ständiges Wechseln
zwischen Videodaten unterschiedlicher Kameras bei einer Bewegung
des Objekts entlang von Erfassungsgrenzen unterschiedlicher Kameras
gewährleistet
werden, da sich das Objekt jeweils im Erfassungsbereich von mindestens
zwei Kameras befindet und deren Erfassungsbereichsgrenzen in der
Regel nicht identisch sind. Somit ist es möglich, das Objekt von einer
Kamera zu einer anderen Kamera „zu übergeben" und die Übergabe räumlich „hystereseartig" zu gestalten. Das
erfindungsgemäße Verfahren
und die erfindungsgemäße Vorrichtung
gestatten es erstmals, ein Objekt automatisch mittels einer Videosequenz
so darzustellen, dass die Bewegung des Objekts in dem Gebiet kontinuierlich
nahtlos überwacht
wird und so zu Dokumentationszwecken genutzt werden kann.
-
Das
Gebiet wird mittels der Kameras zeitdiskret abgebildet. Dies bedeutet,
dass die Kameras Videodaten in Form von Rahmen jeweils mit einer
für jede
der Kameras spezifischen Frequenz aufnehmen. Unter der Formulierung
zu jedem Zeitpunkt werden somit ebenfalls zeitdiskrete Punkte verstanden.
Die Kameras können
vorteilhafterweise zeitlich synchronisiert werden. Die Auswertung
kann jedoch auch asynchron erfolgen, wenn die Frequenzen der Kameras
sich unterscheiden. Die zeitdiskreten Schritte, für die Videosequenzdaten
ermittelt werden, müssen
nicht mit einer der Frequenzen der Kameras synchronisiert sein.
Damit die Videosequenzdaten jedoch eine wiedergebbare Videosequenz
ergeben, ist ein zeitlicher Abstand der Zeitpunkte zu denen Videosequenzdaten
ausgewählt
werden durch die angestrebte Qualität der Videosequenz vorgegeben.
Damit in der Videosequenz keine ruckhaften Bewegungen auftreten,
sollten die Abstände
zwischen einem jeden der Zeitpunkte an die Wahrnehmungseigenschaften
des menschlichen Auges angepasst sein.
-
Eine
Auswahl der Videosequenzdaten für
eine bestmögliche
Darstellung kann anhand vorfestgelegter Kriterien erfolgen. Eine
bestmögliche
Darstellung kann darin bestehen, dass das Objekt immer vorzugsweise unter
einer bestimmten Orientierung dargestellt wird. Ferner kann eine
Vorgabe eine minimale Auflösung
für das
Objekt festlegen. Ebenso kann eine minimale oder maximale Größe des Objekts
festgelegt sein. Eine maximale Größe ist sinnvoll, um einen ausreichend
großen
Anteil des Gebiets mit darzustellen. Hierdurch wird eine einfache
Orientierung für
einen Betrachter in der Wiese ermöglicht, dass er erkennen kann,
an welchem Ort in dem Gebiet sich das Objekt befindet. Eine Orts-
oder Positionsinformation kann auch zusätzlich mit den Videosequenzdaten
verknüpft
werden. Wieder eine andere Vorgabe kann vorsehen, dass das Objekt
möglichst
unverdeckt dargestellt werden soll. Ferner kann eine Vorgabe vorsehen,
dass ein Wechsel auf die Videodaten einer anderen Kamera erst erfolgt,
wenn die Videodaten der anderen Kamera nach einem oder mehreren
der anderen Kriterien eine deutlich bessere Darstellung des Objekts
ermöglichen.
Dieses stellt eine mögliche
Realisierung der oben erwähnten „hystereseartigen Übergabe" dar. Es sind viele
unterschiedliche Vorgaben denkbar, die einzeln oder kombiniert je
nach Anwendungsgebiet des Verfahrens zur Anwendung kommen können.
-
Insbesondere
ist vorgeschlagen: ein Verfahren zum Auswählen von Videodaten, mit denen
ein sich in einem Gebiet bewegendes Objekt darstellbar ist, aus
einer Gesamtheit von Videodaten, die von dem Gebiet mit mehreren
Kameras erfassbar sind, wobei Eigenschaften und Positionen der Kameras
in dem Gebiet aus einem Architekturmodell bekannt sind, umfassend
ein Aufnehmen/Erfassen der Gesamtheit der Videodaten mit den Kameras,
ein Auswählen
des Objekts, ein Ermitteln einer Position des Objekts anhand von
Videodaten der Gesamtheit der Videodaten und ein Auswählen der
Videoauswahldatendaten, die das Objekt darstellen, anhand der ermittelten
Positionen des Objekts in dem Gebiet und Kenntnissen aus dem Architekturmodell,
wobei beim Aufnehmen/Erfassen der Gesamtheit der Videodaten von
jedem oder nahezu jedem Ort des Gebiets Videodaten von mindestens
zwei der Kameras erfassbar sind, die Position des Objekts für jeden
Zeitpunkt anhand von Videodaten mindestens zweier der Kameras bestimmt
wird und beim Auswählen
der Videoauswahldaten Videosequenzdaten festgelegt werden, die eine
Abfolge von Videodaten umfassen, mit denen das Objekt zu jedem Zeitpunkt
bestmöglich
darstellbar ist, wobei zu jedem Zeitpunkt jeweils der Ort des Gebiets
abgebildet ist, der mit der Position des Objekts übereinstimmt,
und die Abfolge der Videosequenzdaten als Videosequenz wiedergebbar
ist.
-
Ferner
ist vorgeschlagen: eine Vorrichtung zum Auswählen von Videodaten, mit denen
ein sich in einem Gebiet bewegendes Objekt bestmöglich darstellbar ist, aus
einer Gesamtheit von Videodaten, die von dem Gebiet mit mehreren
Kameras erfassbar sind, wobei Eigenschaften und Positionen der Kameras
in dem Gebiet aus einem Architekturmodell bekannt sind, umfassend
die Kameras zum Aufnehmen/Erfassen der Gesamtheit der Videodaten,
Objektauswahleinheit zum Auswählen
des Objekts, eine Positionsbestimmungseinheit zum Ermitteln einer
Position des Objekts anhand von Videodaten der Gesamtheit der Videodaten,
eine Videoauswahleinheit zum Auswählen der Videosequenzdaten,
mit denen das Objekt zu jedem Zeitpunkt am besten darstellbar ist,
anhand der ermittelten Positionen des Objekts in dem Gebiet und
Kenntnissen aus dem Architekturmodell, wobei die Kameras so angeordnet
sind, dass beim Aufnehmen/Erfassen der Gesamtheit der Videodaten
von nahezu jedem Ort des Gebiets Videodaten von mindestens zwei
der Kameras erfassbar sind und die Positionsermittlungseinheit so
ausgestaltet ist, dass die Position des Objekts für jeden
Zeitpunkt anhand von Videodaten mindestens zweier der Kameras bestimmbar
ist und die Videoauswahleinheit als Videosequenzauswahleinheit ausgestaltet
ist, so dass beim Auswählen
der Videoauswahldaten Videosequenzdaten festlegbar sind, die eine
Abfolge von Videodaten umfassen, mit denen das Objekt zu jedem Zeitpunkt bestmöglich darstellbar
ist, wobei zu jedem Zeitpunkt jeweils der Ort abgebildet ist, der
mit der Position des Objekts übereinstimmt,
und die Abfolge von Videodaten als Videosequenz wiedergebbar ist.
-
Neben
dem Erstellen von Videosequenzen zur Dokumentation des sich bewegenden
Objekts gibt es weitere Anwendungen. Eine Anwendung sieht vor, abgespeicherte
Videodaten von den mehreren Kameras, die Videodaten von dem Gebiet
umfassen, beispielsweise nach einer Straftat in der Weise auszuwerten,
dass ein Fluchtweg eines Täters
nachverfolgbar wird. Ebenso ist es sinnvoll, ein solches Verfahren
einzusetzen, um an gespeicherten Videodaten zu beobachten, wo sich
ein Täter
vor der Tat aufgehalten hat. Eine solche Videosequenz kann erstellt
werden, indem die Videodaten „zeitlich
in umgekehrter Reihenfolge" ausgewertet
werden.
-
Insbesondere
um ein unnötig
häufiges
Umschalten zwischen Videodaten verschiedener Kameras zu vermeiden,
sieht eine besonders vorteilhafte Ausführungsform der Erfindung vor,
dass für
das Objekt Bewegungsvektoren bestimmt werden und anhand der Bewegungsvektoren
eine zukünftige
Position vorausgesagt wird und das Auswählen der Videosequenzdaten
unter Berücksichtigung
der für
den jeweiligen Zeitpunkt vorausgesagten Position des Objekts erfolgt.
-
Der
Rechenaufwand, der notwendig ist, um die Bewegungsvektoren zu bestimmen,
kann deutlich reduziert werden, wenn das Objekt mit Hilfe eines
Segmentierungsverfahrens vor einer Bestimmung der Bewegungsvektoren
von einem Hintergrund separiert wird. Ein vom Hintergrund getrenntes
Objekt wird als segmentiertes Objekt bezeichnet.
-
Um
eine Segmentierung durchzuführen,
werden die Videodaten, die das Objekt umfassen, mit Videodaten verglichen,
auf denen das Objekt nicht dargestellt ist. Die Differenz umfasst
das Objekt sowie einen möglicherweise
von dem Objekt erzeugten Schatten. Bei einer besonders bevorzugten
Weiterbildung der Erfindung werden daher beim Separieren des Objekts
vom Hintergrund eine Schatteneliminierung und/oder eine Rauschreduktion
durchgeführt.
Eine Schatteneliminierung bewirkt, dass nur Bewegungsvektoren für das Objekt
selbst und nicht auch für
seinen Schatten bestimmt werden. Hierdurch wird zum einen der Rechenaufwand weiter
minimiert und zum andern eine verbesserte Bestimmung der Bewegungsvektoren
für das
Objekt möglich.
Das Objekt kann sich nämlich
je nach Anordnung der Lichtquellen in einer anderen Richtung als
sein Schatten bewegen. Somit werden bei einer Schatteneliminierung
eine präzisere
Voraussage der Bewegung und auch eine präzisere Ortsbestimmung des Objekts möglich. Eine
Rauschreduktion fördert
ebenfalls das Separieren, d.h. das Segmentieren, des Objekts von
dem Hintergrund.
-
In
eine Schattenreduktion können
vorteilhafterweise künstliche
Lichtquellen und deren Position mit einberechnet werden, wenn diese
im Architekturmodell umfasst sind. Eine Schwierigkeit bei der Auswertung der
Videodaten besteht in der Berücksichtigung
der im Raum bestehenden Beleuchtungsbedingungen, da unterschiedliche
Beleuchtungsbedingungen aufgrund einer Bewegung des Objekts dessen
Farbkontraste ändern.
Um unabhängig
von diesen Kontrastinformationen die Farbinformationen auswerten
zu können,
wird bei einer besonders bevorzugten Ausführungsform der Erfindung beim
Bestimmen der Bewegungsvektoren ein HSV-Farbmodell verwendet. Hierdurch
wird die Berechnung der Bewegungsvektoren gegenüber Kontraständerungen
der Objektfarben (z.B. einem Schattenwurf auf dem Objekt) robuster.
-
Insbesondere
für Dokumentationszwecke
ist es häufig
wünschenswert,
dass ein Objekt vorzugsweise immer aus einer bestimmten Richtung
dargestellt wird. Bei einem Menschen ist dies beispielsweise eine
Richtung, bei der das Gesicht der Person zu erkennen ist. Bei einer
Dokumentation der Bewegung eines Fahrzeugs ist es beispielsweise
von Vorteil, wenn das Fahrzeug jeweils aus einer Orientierung gezeigt
wird, in der das Kennzeichen des Fahrzeugs sichtbar ist. Für andere
Objekte können
andere Orientierungen vorteilhaft sein. Daher ist es wünschenswert,
eine Vorrichtung und ein Verfahren zu erhalten, mit denen eine Selektion
von Videosequenzdaten möglich
ist, so dass das sich in einem Gebiet bewegende Objekt aus einer
bevorzugten Orientierung darstellbar ist. Eine vorteilhafte Weiterbildung,
die dies ermöglicht,
sieht vor, dass eine bevorzugte Orientierung des Objekts festgelegt
wird, anhand der Bewegungsvektoren Drehungen um senkrechte Achsen bestimmt
und/oder vorausgesagt werden, und die Auswahl der Videosequenzdaten
unter Berücksichtigung der
bestimmten und/oder vorausgesagten Drehungen des Objekts so erfolgt,
dass das Objekt unter der bevorzugten Orientierung bestmöglich dargestellt
wird. Indem zusätzlich
zu der Position des Objekts auch Drehungen des Objekts im Raum bestimmt
und überwacht
werden, ist eine verbesserte Darstellung zu Dokumentationszwecken
gewährleistet.
Anhand der bestimmten Drehung des Objekts kann man ausgehend von
der ursprünglichen
festgelegten Orientierung, eine Orientierung des Objekts im Raum
jederzeit errechnen. Was eine bestmögliche Darstellung ist, kann
anhand vorfestgelegter Kriterien erfolgen, die einzeln oder in Kombination angewendet
werden können.
Diese Kriterien können
eine Übereinstimmung
mit der bevorzugten Orientierung, eine erforderliche oder gewünschte Auflösung des
Objekts, eine Vollständigkeit
einer Darstellung des Objekts im Hinblick auf Verdeckungen usw.
umfassen. Die zur Bestimmung der Drehung des Objekts verwendeten
Bewegungsvektoren können
unabhängig
von einer Bestimmung einer Position des Objekts oder einer Voraussage
der Position des gesamten Objekts ermittelt und ausgewertet werden.
-
Eine
bevorzugte Ausführungsform
der Erfindung sieht vor, dass das Auswählen des Objekts und/oder der
bevorzugten Orientierung anhand einer Mustererkennung erfolgt. Hierdurch
ist es möglich,
völlig
autonom arbeitende Vorrichtungen und Verfahren zu schaffen, die
beispielsweise ein sicherheitsrelevantes Gebiet überwachen. Wird anhand der
Mustererkennung beispielsweise ein Mensch erkannt und zusätzlich dessen
Gesicht, wodurch eine bevorzugte Orientierung des Objekts festgelegt
wird, so kann die Bewegung dieser Position durch den Sicherheitsbereich
lückenlos
dokumentiert werden. Unabhängig
von der bewirkten Dokumentation wird eine solche Vorrichtung auch
eine Disziplinierung der Personen bewirken, die sich in dem überwachten
Bereich befinden, sofern sie davon in Kenntnis gesetzt werden, dass
sie mittels des erfindungsgemäßen Verfahrens
oder der erfindungsgemäßen Vorrichtung überwacht
werden und von ihnen ein Video angefertigt wird, in dem ihre Bewegung
und ihr Verhalten in dem Gebiet lückenlos dokumentiert wird.
Somit kann die Erfindung eingesetzt werden, um die Sicherheit von
Anlagen dadurch zu steigern, dass sich Personen bemühen, sich
stärker
an festgelegte Regeln und Auflagen zu halten, da ein Verstoß gegen
die Regeln jederzeit lückenlos
nachweisbar wird.
-
Bei
einer besonders bevorzugten Ausführungsform
der Erfindung werden zum Bestimmen und/oder Voraussagen der Drehung
des Objekts Intra-Objektbewegungsvektoren verwendet. Intra-Objektbewegungsvektoren
sind Bewegungsvektoren, die man erhält, wenn man die Bewegungsvektoren
um einen Translationsanteil einer Objektbewegung gegenüber dem
Hintergrund bereinigt. Anhand dieser Intra-Objektbewegungsvektoren
ist es möglich
zu bestimmen, ob und wie sich das Objekt bewegt. Wird beispielsweise
ein Objekt mit einer ebenen Front von einer Kamera frontal abgebildet
und dreht sich dieses Objekt um eine Achse, die senkrecht durch
die Mitte des Objekts verläuft,
so zeigen die ermittelten Intra-Objektbewegungsvektoren von Objektpunkten
an den äußeren Frontkanten
des Objekts jeweils zur Mitte des Objekts (wird beispielsweise ein Schrank
von vorne abgebildet, der zwei Türen
aufweist, so bewegen sich die Bewegungsvektoren, die zu den Scharnieren
der beiden Türen
gehören,
bei einer Drehung des Schranks um eine Achse, die durch die Mitte des
Schranks verläuft,
jeweils zu dieser Mitte hin).
-
Eine
Schwierigkeit bei der Ermittlung der Intra-Objektbewegungsvektoren
entsteht in solchen Situationen, in denen das Objekt zusätzlich zu
einer Drehbewegung eine Translationsbewegung ausführt. Hierdurch wird
das Objekt beispielsweise zu unterschiedlichen Zeitpunkten „unterschiedlich
groß" in den zeitlich
aufeinander folgenden Videodaten dargestellt. Daher sieht eine besonders
bevorzugte Ausführungsform
vor, dass beim Bestimmen der Drehung des Objekts eine anhand der
Bewegungsvektoren ermittelte und/oder der bestimmten Positionen
des Objekts ermittelte Translationsbewegung des Objekts zur Korrektur
der Videodaten genutzt werden, bevor Intra-Objektbewegungsvektoren
bestimmt werden. Dies bedeutet für
das erwähnte
Beispiel, dass das Objekt in den Videorahmen, die zu unterschiedlichen
Zeiten aufgenommen werden, zunächst so
skaliert wird, dass es in beiden Rahmen gleich groß dargestellt
wird. Somit wird in diesem Fall eine Vergrößerung kompensiert, die durch
eine Translationsbewegung des Objekts auf die entsprechende Kamera
verursacht ist. Anschließend
werden die Intra-Objektbewegungsvektoren bestimmt, die mit einer
Drehung des Objekts verknüpft
sind.
-
Eine
vorteilhafte Weiterbildung der Erfindung sieht vor, beim Bestimmen
der Drehung des Objekts anhand der Videodaten mindestens zweier
der Kameras Positionen von mindestens einem Pixel des Objekts in dem
Gebiet in aufeinander folgenden Rahmen bestimmt und beim Bestimmen
der Drehung des Objekts verwendet werden. Hierdurch wird die Berechnung
der Drehung erleichtert und kann genauer ausgeführt werden.
-
Nachteilig
für eine
Dokumentation ist es ebenfalls, wenn das Objekt teilweise oder ganz
von anderen Gegenständen
in dem Gebiet verdeckt wird. Daher sieht eine besonders vorteilhafte
Ausgestaltung der Erfindung vor, dass Objektverdeckungen vorausgesagt
und/oder bestimmt werden und die Auswahl der Videosequenzdaten unter
Berücksichtigung
der bestimmten und/oder vorausgesagten Objektverdeckung so erfolgt, dass
das Objekt bestmöglich
dargestellt wird. Objektverdeckungen ergeben sich beispielsweise,
wenn sich das Objekt an einer Säule
oder an einem Gebäude
vorbeibewegt, welches den Erfassungsbereich einer Kamera einschränkt. Objektverdeckungen
entstehen aber auch durch andere Objekte, die sich in dem Gebiet
befinden oder sich sogar in dem Gebiet bewegen. Objektverdeckungen,
die durch weitere Objekte entstehen, die sich fortwährend an
einem Ort in dem Gebiet befinden, können relativ leicht bei der
Auswahl der Videosequenzdaten berücksichtigt werden. Objektverdeckungen,
die durch andere Objekte verursacht werden, können dadurch festgestellt werden,
dass sich die Kontur des Objekts durch die Verdeckung ändert. Bei
einer bevorzugten Darstellung des Objektes werden die Videodaten
einer Kamera ausgesucht, die den größten Teil oder die wesentlichen
Teile eines Objekts darstellen. Hierfür sind unterschiedliche Auswahlkriterien
denkbar. So ist es beispielsweise besser, charakteristische Merkmale
des Objekts darzustellen, anstelle von uncharakteristischen Merkmalen,
auch wenn diese eine flächenmäßig größere Darstellung
des Objekts gestatten.
-
Die
fortdauernd in dem Gebiet vorhandenen Objekte, die zu Verdeckungen
führen
können,
werden bei einer bevorzugten Ausführungsform der Erfindung bei
der Bestimmung und/oder Voraussage der Objektverdeckung in der Weise
berücksichtigt,
dass Informationen des Architekturmodells sowie die Position und/oder vorausgesagte Position
des Objekts berücksichtigt
werden. Hierdurch ist es möglich,
bereits frühzeitig
auf Videodaten einer anderen Kamera zu wechseln, bevor das Objekt
sich an einen Ort bewegt, an dem eine Objektverdeckung auftritt.
Dieses erleichtert die Schaffung einer lückenlosen Videosequenz, bei
der ein ständiges Hin-
und Herschalten zwischen den Videodaten unterschiedlicher Kameras
vermieden wird. Befinden sich beispielsweise im Erfassungsbereich
einer Kamera, die sich relativ nahe an dem Weg des Objekts befindet,
mehrere Säulen,
die bei einer Bewegung des Objekts entlang der Säulen mehrmals nacheinander
zu Objektverdeckungen führen,
wird das Objekt vorzugsweise während
der Bewegung entlang der Säulen
von einer Kamera dargestellt, für
die es zu keinen Verdeckungen des Objekts kommt. Bei der Bestimmung
der Objektverdeckung werden jeweils die Bereiche des Gebiets für die entsprechenden
Kameras anhand des Architekturmodells errechnet, die aufgrund eines
Hindernisses für
die entsprechende Kamera nicht erfassbar sind. Hierzu werden die
Informationen des Architekturmodells über die entsprechenden Kameras
und die Hindernisse verwendet. Ergibt es sich, dass sich das Objekt
in diesem ermittelten Bereich befindet oder befinden wird, so existiert
eine Objektverdeckung bzw. wird eine Objektverdeckung für die entsprechende
Kamera auftreten.
-
Um
Verdeckungen von bewegten Objekten besonders gut berücksichtigen
zu können,
ist bei einer besonders bevorzugten Ausführungsform vorgesehen, dass
bei der Bestimmung und/oder Voraussage der Objektverdeckung Informationen,
die ein anderes sich in dem Gebiet bewegendes Objekt betreffen,
insbesondere dessen Kontur, dessen Bewegungsvektoren, dessen Position
und/oder dessen Drehung, berücksichtigt
werden.
-
Eine
vorteilhafte Weiterbildung der Erfindung sieht vor, dass zur Bestimmung
der Drehung des Objekts und/oder der Objektverdeckung eine Kontur
des Objekts ermittelt und berücksichtigt
wird. Insbesondere bei einer Bestimmung der Drehungen des Objekts
ist es vorteilhaft, die Objektkontur mitzuberücksichtigen. Hierdurch wird
eine exaktere Bestimmung von Drehungen ermöglicht. Dreht sich ein Objekt,
so ändert
sich in der Regel dessen Kontur. An einer Seite des Objekts „verschwinden" Bildpunkte (Pixel),
während
auf der anderen Seite des Objekts Bildpunkte „hinzukommen". Bei einer Objektverdeckung „verschwinden" lediglich Bildpunkte des
Objekts. Ein „Hinzukommen" und „Verschwinden" von Bildpunkten
tritt auch auf, wenn das Objekt bei einer Drehung seine Kontur nicht ändert. Wird
beispielsweise ein Zylinder betrachtet, der sich um eine Achse dreht, die
durch den Zylinder verläuft,
so werden an einem Rand des Zylinders Bildpunkte sichtbar, die zunächst auf dessen
Rückseite
waren. An einem entgegengesetzten Rand des Zylinders verschwinden
Bildpunkte, die nun auf der Rückseite
des Zylinders liegen.
-
Eine
besonders vorteilhafte Weiterbildung der Erfindung sieht vor, dass
beim Auswählen
der Videosequenzdaten aus der Gesamtheit der Videodaten nur die
Videodaten berücksichtigt
werden, die Informationen über
einen Umgebungsbereich um einen Ort in dem Gebiet umfassen, der
mit der Position des Objekts übereinstimmt.
Dies bedeutet, dass bei einer Erfassung des Gebiets mit Hilfe von
360°-Kameras
jeweils nur die Daten der 360°-Kamera
ausgewertet werden, die den Umgebungsbereich von dem Ort erfassen,
an dem sich das Objekt gegenwärtig
befindet. Dies wird nur ein Sektor von beispielsweise 60° des 360°-Bildes sein.
Hierdurch wird eine Verringerung des Rechenaufwands bewirkt. Ferner
können
Einflüsse,
die durch andere Objekte verursacht werden, minimiert werden. Bewegen
sich beispielsweise zwei Objekte im Erfassungsbereich der Kameras,
ist es vorteilhaft, wenn der Bereich des zweiten Objekts unberücksichtigt
bleibt, wenn die Position, die Drehungen, die Objektverdeckungen
und/oder die Bewegung des ersten Objekts bestimmt oder vorausgesagt
werden sollen.
-
Eine
besonders hohe Dokumentationssicherheit wird mit einer Fortbildung
der Erfindung erreicht, bei der beim Auswählen der Videosequenzdaten
die anhand der erfassten Videodaten ermittelten Eigenschaften des
Objekts, insbesondere die Kontur und eine Farbverteilung, mit entsprechenden
vorausgesagten Eigenschaften verglichen werden und ein Grad einer Übereinstimmung
berücksichtigt
wird. Hierdurch kann beispielsweise bei einem Kreuzen von zwei Objekten,
die sich in dem Gebiet begegnen, sichergestellt werden, dass die
Videosequenzdaten jeweils ein und dasselbe Objekt abbilden. Ein
Vertauschen der Objekte wird somit minimiert.
-
Eine
besonders vorteilhafte Weiterbildung der Erfindung erhält man,
wenn mindestens eine der Kameras anhand mindestens einer der bestimmten
und/oder vorausgesagten Eigenschaften des Objekts, die insbesondere
die bestimmte und/oder vorausgesagte Position, die bestimmte und/oder
vorausgesagte Kontur, die bestimmte und/oder vorausgesagte Drehung,
die bestimmte und/oder vorausgesagte Orientierung und die bestimmte
und/oder vorausgesagte Objektverdeckung umfassen, aktiv gesteuert
wird. Unter einem aktiven Steuern wird unter anderem ein Schwenken,
Zoomen und/oder Ändern
eines Neigungswinkels einer Kamera ebenso verstanden wie das Auswählen eines
Ausschnitts, beispielsweise bei einer 360°-Kamera, oder auch das Verändern der
Kameraposition an oder in dem überwachten
Gebiet. Beim Auswählen
der Videodaten einer 360°-Kamera
ist ferner vorteilhafterweise vorgesehen, dass eine Entzerrung der
Videodaten stattfindet. Dies bedeutet, dass die Videodaten in eine
planare Geometrie transformiert werden.
-
Bei
einer besonders vorteilhaften Ausführungsform der Erfindung werden
die Videosequenzdaten nahezu in Echtzeit ausgewählt. Solche Ausführungsformen
der Erfindung können
insbesondere in Überwachungs-
und Alarmzentralen eingesetzt werden. Ferner sind sie geeignet,
um Arbeiten in Sicherheitsbereichen zu überwachen. So ist es möglich, dass
nur eine Person den Sicherheitsbereich betritt und eine andere Person diese
ständig
lückenlos
im Auge behalten kann. Sollte die erste Person Hilfe benötigen, so
kann die zweite Person zur Hilfe kommen.
-
Die
Merkmale der erfindungsgemäßen Vorrichtungsansprüche weisen
dieselben Vorteile wie die entsprechenden Merkmale des erfindungsgemäßen Verfahrens
auf.
-
Die
Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels
unter Bezugnahme auf eine Zeichnung näher erläutert. Hierbei zeigen:
-
1 eine
schematische Darstellung von Verfahrensschritten und Elementen zur
Umsetzung einer Ausführungsform
eines Verfahrens zur Auswahl von Videosequenzdaten;
-
2 eine
schematische Darstellung eines Verfahrens zur Objektsegmentierung
und Schattenreduktion;
-
3 ein
schematisches Ablaufdiagramm einer bevorzugten Ausführungsform
eines Verfahrens zur Auswahl von Videosequenzdaten;
-
4a bis 4d schematische
Darstellungen zur Erläuterung
der Ermittlung einer Drehung eines überwachten Objekts;
-
5 eine
schematische Darstellung einer Vorrichtung zum Selektieren von Videosequenzdaten;
und
-
6 schematische
Darstellungen zur Erläuterung
einer Ausführungsform
eines Verfahrens zur Ermittlung einer Drehung eines überwachten
Objekts.
-
In 1 sind
für eine
Ausführungsform
eines Verfahrens zum Selektieren von Videosequenzdaten 1 schematische
Schritte und Elemente dargestellt, die zur Auswahl der Videodaten
aus einer Gesamtheit von Videodaten ausgeführt werden, um ein Objekt bestmöglich bezüglich einer
Orientierung darzustellen. Die Schritte und Elemente lassen sich
schematisch in solche 2 einteilen, die direkt mit einer
Auswertung der Videodaten verknüpft
sind und ferner in solche 4, die die Videodaten oder Auswertungsergebnisse
der Videodaten gemeinsam mit Informationen eines Architekturmodells 6 auswerten.
Das Architekturmodell 6 verkörpert Informationen über eine
Anordnung von Kameras sowie deren Eigenschaften und Anordnung in
einem Gebiet, welches überwacht
werden soll. Die Eigenschaften umfassen beispielsweise die Parameter
der Kameras. Hierzu zählen insbesondere
eine Auflösung
in horizontale und vertikale Bildpunkte (Pixel) (die beispielsweise
für eine Berechnung
eines Software-Zooms und/oder einer Reichweite der Kamera verwendbar
sind), eine Rate, mit der einzelne Bilder (Rahmen) erfasst werden,
und eine Farbtiefe. Videokameras erfassen Videodaten in Form von
Videobildern 8. Die Videobilder 8 bilden ein Gebiet
ab, in dem sich ein Objekt bewegt, das überwacht werden soll. Bei den
Videodaten handelt es sich vorzugsweise um digitale Daten. Von dem
Objekt liegen zu jeder Zeit Videodaten von mindestens zwei der Kameras
vor. Um eine Berechnung von Verdeckungen 10 oder eine Bestimmung
einer Position des Objekts 12 ausführen zu können, werden die Videobilder 8 mit
dem Architekturmodell 6 verknüpft.
-
Die
Videodaten werden aufbereitet, indem das Objekt mittels einer Segmentierung 14 einschließlich einer
Schattenreduktion von einem Hintergrund getrennt wird. Die hierbei
erhaltenen Informationen werden zum Bestimmen der Objektposition 12 sowie
zum Bestimmen von Objektverdeckungen 10 verwendet. Für das segmentierte
Objekt werden Inter-Objektbewegungsvektoren bestimmt 16.
Die Inter-Objektbewegungsvektoren können verwendet werden, um eine
Bewegung des Objekts in dem Gebiet vorauszusagen, um so eine zukünftige Position
des Objekts zu bestimmen. Sie werden ferner verwendet, um die Videodaten
dahingehend zu korrigieren, dass das segmentierte Objekt in aufeinander
folgenden Abbildungen des Objekts in etwa gleich groß dargestellt
wird. Dies bedeutet, dass Translationsbewegungen, die zu einer Vergrößerung des
Objekts in der Abbildung des Objekts mittels einer Kamera führen, weil
sich das Objekt auf die Kamera zu bewegt, korrigiert werden können. Nach
einer solchen Korrektur werden Intra-Objektbewegungsvektoren bestimmt 18.
Das segmentierte Objekt wird ferner verwendet, um Objektkonturen
zu bestimmen 20. Die Intra-Objektbewegungsvektoren und Veränderungen
der Kontur des Objekts werden unter anderem für eine Berechnung von Drehungen 23 des
Objekts verwendet. Die Auswertung der Videodaten erfolgt hierbei
vorzugsweise für
alle Videodaten, die einen Umgebungsbereich des Gebiets erfassen,
in dem sich das Objekt befindet. Videodaten von Kameras, in deren
Erfassungsbereich sich das Objekt nicht aufhält, brauchen nicht ausgewertet
zu werden. Ebenso werden beispielsweise von 360°-Kameras nur die Bereiche der
erfassten Videodaten ausgewertet, die den Umgebungsbereich des Objekts
abbilden. Hierdurch kann ein Rechenaufwand für die Auswertung reduziert
werden. Anhand der Videodaten mindestens zweier Kameras wird die
Position des Objekts berechnet. Hierbei wird vorzugsweise ähnlich zur
Auswertung von Stereo-Bildern eine Tiefenkarte erstellt, anhand
derer die Position des Objekts ermittelt werden kann. Unter Berücksichtigung
der bekannten Position des Objekts und der Inter-Objektbewegungsvektoren kann eine zukünftige Position
vorausgesagt werden. Hierdurch kann eine Auswahl der Videodaten,
die nachfolgend auszuwerten sind, festgelegt werden.
-
Anhand
der ermittelten Objektdrehung und der berechneten Objektposition
sowie der bestimmten Objektverdeckung können für einen jeden Zeitpunkt jeweils
die Videodaten ausgewählt
werden, die das Objekt aus einer bevorzugten Orientierung am besten
darstellen 24.
-
Eine
bevorzugte Ausführungsform
eines Verfahrens zur Segmentierung eines Objekts von einem Hintergrund
ist in 2 dargestellt. Die von einem Gebiet erfassten
Videodaten bestehen aus zeitlich aufeinander folgenden Rahmen (frames).
Bei der Segmentierung wird ein Rahmen, in dem das Objekt abgebildet
ist und im Folgenden als Objektrahmen 30 bezeichnet wird,
mit einem oder mehreren Rahmen gemeinsam ausgewertet, in denen nur
die statischen Hintergrundobjekte dargestellt sind. Diese Rahmen
werden als Hintergrundrahmen 32 bezeichnet. Die Hintergrundrahmen 32 sind
so gewählt,
dass die Beleuchtungsbedingungen möglichst denen des Objektrahmens 30 gleichen.
Daher werden vorzugsweise solche Rahmen aus den Videodaten ausgewählt, die
zeitlich kurz vor einem Eintreten des Objekts in den dargestellten
Bereich aufgenommen worden sind oder unter ähnlichen Beleuchtungsbedingungen
erfasst wurden. Dem Verfahren liegt der Gedanke zugrunde, dass sich
das Objekt durch eine Differenzbildung zwischen dem Objektrahmen 30 und
dem/den Hintergrundrahmen 32 ergibt. Hierbei werden jedoch
häufig
auch Bereiche als zum Objekt gehörig
erkannt, die nur zum Schatten des Objekts gehören. Bei dem hier beschriebenen
Segmentierungsverfahren ist daher zusätzlich eine Schattenreduktion
erforderlich.
-
Die
Hintergrundrahmen 32 werden zunächst einer Hintergrundanalyse 34 unterzogen.
Hierbei werden für
jedes Pixel jeweils die Farbvariationen über die mehreren Hintergrundrahmen 32 ermittelt.
Für die
einzelnen Pixel werden jeweils Erwartungswerte und Varianzen einer
pixelbezogenen Farbwahrscheinlichkeitsverteilung bestimmt, die als
gaussförmig
angenommen wird. Ein erster Vergleich des Objektrahmens 30 mit
den Hintergrundrahmen 32 erfolgt, in dem für jedes
Pixel des Objektrahmens 30 der Farbwert mit dem Erwartungswert und
Varianz des entsprechenden Pixels der Hintergrundrahmen verglichen
wird. Gibt die Farbwahrscheinlichkeitsverteilung des entsprechenden
Hintergrundpixels an, dass der Farbwert des Pixels des Objektrahmens 30 mit
hoher Wahrscheinlichkeit ein Hintergrundpixel ist, so wird das Pixel
als Hintergrundpixel klassifiziert. Weicht der Farbwert hingegen
von dem Erwartungswert für
ein Hintergrundpixel stark ab, so wird das Pixel als Objektpixel
klassifiziert. Dieser Vergleich wird als Vergleich mit normierter
Statistik bezeichnet 36.
-
Es
hat sich gezeigt, dass es Situationen gibt, in denen dieses statistische
Vergleichsverfahren das Objekt nicht befriedigend vom Hintergrund
selektieren kann. Daher wird zusätzlich
ein auf einer Statistik höherer Ordnung
basierender Vergleich ausgeführt 38.
Hierbei werden jeweils Bereiche von Pixeln (beispielsweise 3 × 3 Pixel)
anhand einer Varianz 4ter Ordnung verglichen. Hierdurch wird eine
Robustheit beispielsweise gegenüber
Rauschen erhöht,
das in der Regel nur einzelne Pixel betrifft.
-
Beide
statistischen Vergleiche werden verwendet, um die Segmentierung
des Objekts schließlich
auszuführen 40.
Diese Segmentierung ist ausführlicher
bei J. Pan et al. „A
ROBUST VIDEO OBJECT SEGMENTATION SCHEME WITH PRESTORED BACKGROUND
INFORMATION", Proceedings
of the IEEE International Symposium on Circuits and System (ISCAS-2002),
Arizona, USA, Mai 2002, S. 803-6, beschrieben.
-
Anschließend wird
das grob selektierte Objekt einer Nachbearbeitung unterzogen 42,
hierbei werden die selektierten Objektbereiche der Größe nach
sortiert. Es ist möglich,
eine Schwellengröße vorzugeben.
Gebiete, die kleiner als die Schwellengröße sind, werden dann nicht
als Objekt betrachtet. Ferner werden Löcher in dem Objekt geschlossen
bzw. aufgefüllt.
Schließlich
werden die Objektumrisse geglättet.
Die Nachbearbeitung kann alle diese Schritte oder nur einzelne oder
weitere Schritte umfassen. Man erhält einen Objektsegmentrahmen 44.
-
Das
so segmentierte Objekt umfasst in der Regel noch einen Schatten.
Dieser wird eliminiert. Für
die Schatteneliminierung wird davon ausgegangen, dass ein Hue der
Pixel in Schattenbereichen unverändert
ist und sich lediglich eine Sättigung
und eine Intensität
verändert
haben. Daher wird eine Schattenreduktion vorzugsweise in einem HSV-Farbraum
ausgeführt.
Eine Berechnung im YVU-Farbraum ist bei O. Schreer et al. „FAST AND
ROBUST SHADOW DETECTION IN VIDEOCONFERENCE APPLICATIONS", Proc. of VIPromCom
2002, 4th EURASIP IEEE International Symposium on Video Processing
and Multimedia Communications, Zadar, Kroatien, Juni 2002 beschrieben.
Ausgehend von dem Objektrahmen 30 erhält man nach der Segmentierung
den Objektsegmentrahmen 44. In diesem werden die Pixel
bezüglich
ihres Hue mit dem entsprechenden Pixel des Hintergrunds verglichen.
Die Pixel, die das gleiche Hue und eine Änderung der Sättigung und/oder
der Intensität
aufweisen, werden als Schatten klassifiziert. Man erhält einen
Rahmen, der nur als Schatten klassifizierte Pixel enthält und als
Schattenrahmen 45 bezeichnet wird. Der Schattenrahmen 45 wird von
dem Objektsegmentrahmen 44 subtrahiert und man erhält einen
Rahmen 46, in dem das segmentierte Objekt ohne dessen Schatten
dargestellt ist. Nach einer Nachbehandlung erhält man einen Rahmen 47 mit dem
fertig segmentierten Objekt.
-
Anhand
von 3 und 5 werden eine bevorzugte Ausführungsform
eines Verfahrens 48 zur Selektierung von Videodaten und
eine bevorzugte Vorrichtung 200 beschrieben.
-
Bezugszeichen
die größer als 200 sind
beziehen sich auf 5. Bezugszeichen zwischen 48 und 94 beziehen
sich auf 3.
-
Mit
Hilfe von Kameras 202, die als Videokameras ausgebildet
sind, werden Videodaten aufgenommen bzw. erfasst. Unter erfassen
der Videodaten von den Kameras 202 wird auch ein Einlesen
der Videodaten aus einem Speicher verstanden. Bei den Kameras 202 handelt
es sich vorzugsweise um 360°-Kameras.
Es können
jedoch auch andere handelsübliche
Kameras 202 verwendet werden. Die Kameras 202 sind
um ein, an einem oder in einem Gebiet 204, das auch als Überwachungsgebiet
bezeichnet wird, so angeordnet, dass jeder Ort des Gebiets 204 von
mindestens zwei der Kameras 202 erfassbar ist. Um Videosequenzdaten
aus den Videodaten, die von den Kameras 202 erfasst werden,
auszuwählen,
um hiermit eine Bewegung eines Objekts 206 in dem Gebiet 204 zu
dokumentieren, wird das Objekt 206 zunächst ausgewählt 52. Eine Auswahl
kann manuell erfolgen. Hierzu verfügt eine Objektauswahleinheit 208 über eine
Erfassungseinheit 210. Die Erfassungseinheit 210 kann
beispielsweise eine Eingabeeinheit 212 in Form einer Maus
umfassen, mit deren Hilfe ein Cursor auf einem Bildschirm 214 steuerbar
ist, auf dem die Videodaten einer der mehreren Kameras 202 angezeigt
werden. Vorteilhafterweise wird das Objekt 206 zusätzlich in
Videodaten einer zweiten der mehreren Kameras 202 markiert,
die zeitgleich erfasst bzw. aufgenommen wurden. Eine Auswahl des
Objekts 206 kann ebenso automatisch erfolgen, indem beispielsweise
Bewegungssensoren (nicht dargestellt) ausgewertet werden. Es ist
ebenfalls möglich,
eine Mustererkennung einzusetzen, um beispielsweise einen Menschen
oder ein Fahrzeug zu erkennen. Ferner ist es möglich, eine Bewegungserkennung
durchzuführen.
Hierfür
werden beispielsweise Bewegungsvektoren für die einzelnen Pixel aufeinander
folgender Rahmen der Videodaten ermittelt. Zeigen diese ermittelten
Bewegungsvektoren die Bewegung einer Gruppe von Pixel an, so wird
dieser Bereich ausgewählt
als der Bereich, in dem sich ein Objekt 206 befindet, welches überwacht
werden soll.
-
Anschließend oder
zeitgleich mit der Auswahl des Objekts 206 wird eine bevorzugte
Orientierung des Objekts 206 festgelegt 54. Hierzu
ist eine Orientierungsfestlegungseinheit 216 vorgesehen,
die in die Objektauswahleinheit integriert sein kann. Die Auswahl
der bevorzugten Orientierung kann ebenfalls manuell oder mittels
einer Mustererkennung automatisch erfolgen. Die Orientierung, unter
der das Objekt 206 markiert wird oder mittels der Mustererkennung
identifiziert wird, wird als die bevorzugte Orientierung festgelegt.
Unter dieser festgelegten Orientierung soll das Objekt 206 nach
Möglichkeit
immer dargestellt werden. Dies bedeutet, dass mit dem Objekt eine
ausgezeichnete Richtung oder Orientierung verknüpft ist, die dessen Ausrichtung
im Raum angibt. Eine Kenntnis dieser Ausrichtung wird bei einer
Auswahl der Videosequenzdaten später
berücksichtigt.
-
Wird
das Objekt 206 nur anhand der Videodaten einer der Kameras 202 ausgewählt, so
wird zunächst anhand
dieser Videodaten unter Berücksichtigung
eines Architekturmodells, welches alle relevanten Informationen über das
Gebiet 204 und die darin angeordneten Kameras 202 umfasst,
ermittelt, welche Videodaten eine Abbildung des Objekts 206 umfassen.
Dies kann beispielsweise erfolgen, indem mittels einer Positionsbestimmungseinheit 220 eine
erste grobe Positionsbestimmung durchgeführt wird. Hierdurch wird es
möglich, diejenigen
der Kameras 202 auszuwählen,
deren Daten auszuwerten sind, um die Objektposition exakt zu ermitteln.
Die für
diese Entscheidung benötigten
Informationen sind in einem Architekturmodell umfasst, das in einem
Speicher 218 abgelegt ist.
-
Anhand
der grob ermittelten Position des Objekts 206 (bzw. der
exakt ermittelten oder vorausgesagten Position des Objekts 206 bei
einer Iteration des Verfahrens) können mittels des Architekturmodells
diejenigen der Kameras 202 ausgewählt werden, deren Videodaten
zunächst
einer weiteren Auswertung 56 unterzogen werden. Dieses
sind die Videodaten der Kameras 202, die den Ort des Gebiets 204 erfassen,
der mit der Position des Objekts 206 übereinstimmt. Sind die Videodaten
mittels einer 360°-Kamera
erfasst worden, wird von jedem Rahmen (frame) der Videodaten ein
Sektor mittels einer Entzerrungseinheit 222 entzerrt 58,
der die Videodaten des Objekts 206 enthält. Beim Entzerren wird die
Abbildung des Objekts 206 in eine planare Geometrie überführt. Anschließend wird
das Objekt 206 mittels einer Segmentierungseinheit 224 segmentiert 60 und
mittels einer Eliminierungseinheit 226 eine Schatteneliminierung 62 und
eine Nachbearbeitung 64 ausgeführt, die eine Rauschunterdrückung umfassen
kann. Dem Fachmann sind Ausführungsformen
für die
Objektsegmentierung, Schatteneliminierung und Nachbearbeitung bekannt.
Beispielhafte Ausführungen
wurden oben bereits erläutert.
Anhand des segmentierten Objekts 206 in zeitgleich aufgenommenen
Rahmen zweier der Kameras 202 wird mit Hilfe einer Epipolargeometrie
die Position des Objekts 206 im zu überwachenden Gebiet 204 bestimmt 66.
Diese Positionsbestimmung erfolgt mittels der Positionsbestimmungseinheit 220. Hierbei
wird analog zu Stereobildverfahren eine Tiefenkarte berechnet. Anhand
der bekannten Kamerapositionen, die vom Architekturmodell umfasst
sind, kann aus der Tiefenkarte die Position des Objekts 206 ermittelt werden.
-
Vergleicht
man das segmentierte Objekt 206 in aufeinander folgenden
Rahmen, so können
mittels einer Bewegungsvektorermittlungseinheit 228 für die einzelnen
Pixel des Objekts 206 Bewegungsvektoren bestimmen 68.
Die Bewegungsvektoren werden mittels einer Korrektureinheit 232 in
einen Translationsanteil und einen Drehbewegungsanteil, der Intra-Objektbewegungsvektor
genannt wird, separiert.
-
Die
Translationsanteile der Bewegungsvektoren werden verwendet, um eine
zukünftige
Position 70 mittels der Positionsbestimmungseinheit 220 vorauszusagen.
Sie werden ferner genutzt, um eine Bewegung des Objekts 206 vor
dem Hintergrund festzustellen. Diese Bewegung kann beispielsweise
eine Vergrößerung der
Objektfläche
in einer Abfolge von Rahmen bewirken, die von einem Objekt aufgenommen/erfasst
werden, das sich auf die Kamera zu bewegt. Die Darstellung des Objekts 206 in
zeitlich benachbarten Rahmen wird so korrigiert 72, dass
das Objekt 206 in den Rahmen nahezu gleich groß dargestellt
wird. Um eine Translationsbewegung des gesamten Objekts 206,
d.h. eine Bewegung eines Objektschwerpunkts gegenüber dem
Hintergrund, zu ermitteln, wird vorzugsweise über die Bewegungsvektoren der
einzelnen Pixel des Objekts 206 gemittelt. Zieht man diesen
gemittelten Wert von den einzelnen Bewegungsvektoren ab, so erhält man die
Intra-Objektbewegungsvektoren 74.
-
Ferner
wird mittels einer Konturermittlungseinheit 232 eine Kontur
des Objekts 206 ermittelt 76. Anhand der ermittelten
Kontur und der Intra-Objektbewegungsvektoren wird mittels einer
Drehungsbestimmungseinheit 234 eine Drehung des Objekts 206 um
eine senkrechte Achse ermittelt 78. Drehungen bewirken,
dass an einer Seite am Rand der Kontur neue Pixel auftauchen, wohingegen
an der gegenüberliegenden
Seite am Rand der Kontur Pixel verschwinden. Diese Informationen
werden gemeinsam mit den Intra-Objektbewegungsvektoren
verwendet, um die Drehung des Objekts 206 zu bestimmen.
Ferner ist es möglich,
eine zukünftige
Drehung vorauszusagen 80. Hierbei wird ausgenutzt, dass
Bewegungen in der Regel nicht abrupt enden.
-
Das
segmentierte Objekt 206 wird ferner verwendet, um anhand
der bestimmten Position und Informationen des Architekturmodells
sowie gegebenenfalls der Kontur des Objekts 206 eine Objektverdeckung durch
Hindernisse 236 in dem zu überwachenden Gebiet 204 mittels
einer Objektverdeckungseinheit 238 zu berechnen 82.
Hierbei werden Informationen des Architekturmodells über die
Hindernisse verwendet. Anhand des Architekturmodells, aus dem sowohl
die Lage und Größe der Hindernisse 236 als
auch die Positionen und Eigenschaften der Kameras 202 bekannt
sind, kann berechnet werden, wie viel des Objekts 206 durch
die Hindernisse 236 verdeckt wird. Ferner ist anhand der
vorausgesagten Position für
das Objekt 206 sowie der vorausgesagten Drehung des Objekts 206 die
Möglichkeit
eröffnet,
bereits vorausschauend eine Objektüberdeckung zu ermitteln. Diese
vorausgesagten Objektverdeckungen werden später bei einer Auswahl der Videosequenzdaten
berücksichtigt.
Ebenso ist es möglich,
die Daten eines weiteren sich in dem Gebiet 204 bewegenden
Objekts 240 für
eine Objektverdeckungsbestimmung bzw. -voraussage zu nutzen, für das dieses
Verfahren, d.h. eine Überwachung
in dem Gebiet 204, ebenfalls ausgeführt wird. So können Überdeckungen
bei der Begegnung des Objekts 206 mit dem weiteren Objekt 240 berücksichtigt
und vorausgesagt werden.
-
Anhand
der ermittelten Informationen über
die Objektposition, die Objektdrehung und die hieraus abgeleitete
gegenwärtige
Orientierung des Objekts 206, die vorausgesagte Position,
die vorausgesagte Drehung, die Objektverdeckung und die vorausgesagte
Objektverdeckung werden die Videodaten der einzelnen Kameras 202,
die das Objekt 206 zur selben Zeit erfassen, in eine Rangfolge
eingeordnet 84. Die Videodaten der Kamera 202,
die das Objekt 206 bestmöglich darstellen, erhalten
den höchsten
Rang. Hierbei können
die bevorzugte Objektausrichtung bezüglich der Darstellung des Objekts 206,
eine Größe einer
Darstellung des Objekts 206 in den jeweiligen Videodaten
als auch die Überdeckung
des Objekts 206 unterschiedlich gewichtet werden 86.
In eine endgültige
Auswahl fließt
auch ein Vergleich der Videodaten, denen der höchste Rang zugewiesen ist,
mit Videodaten, die anhand der zuletzt ausgewählten Videodaten vorausgesagt
sind. D. h., das segmentierte Objekt 206 der ranghöchsten Videodaten
wird mit einem auf Basis der zuletzt für die Videosequenzdaten ausgewählten Videodaten
vorausgesagten Objekt verglichen 88. Stimmt das Objekt 206,
wie es in den höchstrangigen
Videodaten dargestellt ist, weitestgehend mit dem vorausgesagten
Objekt 206 überein, so
werden die ranghöchsten
Videodaten als Videosequenzdaten mittels einer Sequenzauswahleinheit 242 ausgewählt 90.
Die ausgewählten
Daten werden entweder wiedergegeben oder gespeichert 92.
Die ermittelten Informationen können
ferner genutzt werden, um die Kameras 202 aktiv mittels
einer Steuereinheit 244 zu steuern 94. Das Steuern
kann unter anderem ein Schwenken, ein Zoomen und ein Ändern eines
Neigungswinkels der Kameras 202 umfassen. Auch andere Kameraparameter
können
mit einbezogen sein. Änderungen
der Kameraparameter werden dem Architekturmodell zugefügt. Somit
umfasst das Architekturmodell stets alle Informationen über die
Kameras 202 in dem überwachten
Gebiet 204. An das überwachte
Gebiet 204 können
ein oder mehrere weitere Gebiete (nicht dargestellt) angrenzen,
die ebenfalls von weiteren Videokameras (nicht dargestellt) erfassbar
sind, wobei nicht alle Orte der weiteren Gebiete von mindestens
zwei der weiteren Videokameras erfasst werden. Bei einer besonders
vorteilhaften Ausführungsform
ist es möglich,
die Videosequenzdaten mit Videodaten der weiteren Videokameras aus
den angrenzenden weiteren Gebieten zu ergänzen. Eine optimale Darstellung
bezüglich
einer Objektverdeckung bzw. der bevorzugten Orientierung des Objekts 206 ist
in den weiteren angrenzenden Gebieten nicht möglich.
-
Insgesamt
weist das beschriebene Verfahren zur Selektion von Videosequenzdaten
den Vorteil auf, dass ein Objekt 206 kontinuierlich nahtlos
während
der Bewegung in dem überwachten
Gebiet 204 erfasst wird. Die Auswahl der Videosequenzdaten
kann in Echtzeit oder nahezu Echtzeit erfolgen. Die Videosequenzdaten
können
auf dem Bildschirm 214 oder einem anderen Anzeigegerät (nicht
dargestellt) optisch dargestellt werden. Es ist ebenso möglich, die
Videosequenzdaten in dem Speicher 218 oder auf einem anderen
Speichermedium (nicht dargestellt) abzulegen. Hierbei kommt jedes
Speichermedium in Betracht, auf dem digitale Daten abgespeichert
werden können.
Dadurch, dass das Objekt 206 immer aus seiner bevorzugten
Orientierung dargestellt wird, ist eine verbesserte Dokumentation
gewährleistet.
Ferner wird durch die Abdeckung jeden Ortes innerhalb des Überwachungsgebiets
durch mindestens zwei der Kameras 202 gewährleistet,
dass eine Dokumentation auch noch möglich ist, wenn eine der Kameras 202 ausfällt.
-
Das
beschriebene Verfahren zur Selektion von Videosequenzdaten kann
auch an bereits abgespeicherten Videodaten der mehreren Kameras 202 ausgeführt werden.
Somit ist es möglich,
Videosequenzen von Objekten im Nachhinein anzulegen. Ferner besteht
die Möglichkeit,
Objekte rückzuverfolgen
und zu dokumentieren, um herauszufinden, von wo sich ein Objekt 206 einer
bestimmten Stelle angenähert
hat. Dieses ist insbesondere dann von Interesse, wenn beispielsweise
ein Kreuzungsbereich überwacht
wird und ein Unfallhergang rekonstruiert werden soll. Es sind weitere
Anwendungen denkbar.
-
Die
einzelnen Einrichtungen und Einheiten, mit denen das Verfahren ausgeführt werden
kann, sind vorteilhafterweise in Software in einem Rechner implementiert.
Es ist jedoch ebenso möglich,
dass Schaltungen für
einzelne Berechnungen bzw. einzelne oder alle Einheiten in Hardware
ausgeführt
sind. Hierdurch kann in bestimmten Situationen eine Beschleunigung
des Verfahrens erreicht werden, so dass eine bessere Echtzeitausführung gewährleistet
ist.
-
Anhand
von 4a bis 4d wird
schematisch eine Ausführungsform
eines Verfahrens zur Bestimmung der Drehung eines Objekts 100 beschrieben. 4a zeigt
einen Rahmen 102 von Videodaten einer Kamera, die das Objekt 100 darstellen.
Das Objekt 100 ist zylinderförmig und weist auf seiner äußeren Oberfläche einen
ersten Streifen 104 und einen zweiten Streifen 106 auf.
In 4b ist ein zeitlich nachfolgend aufgenommener
Rahmen 110 derselben Kamera dargestellt. Das Objekt 100 hat
in dem dargestellten Bereich des Gebiets sowohl eine Translationsbewegung
(Seitwärtsbewegung)
als auch eine Drehung im Uhrzeigersinn um eine Achse ausgeführt, die
senkrecht durch den Mittelpunkt des zylindrisch ausgebildeten Objekts 100 verläuft. Die
Drehung des Objekts 100 erkennt man daran, dass sich die
Lage des ersten Streifens 104 und des zweiten Streifens 106 auf
einer Außenfläche 108 des
Zylinders geändert
hat. Eine äußere Kontur 112 des
Objekts hat sich nicht verändert.
An einem linken Rand des Objekts 100 sind Pixel „verschwunden". An einem rechten Rand 116 sind
neue Pixel „aufgetaucht".
-
Für die einzelnen
Pixel des Zylinders werden Bewegungsvektoren ermittelt. Diese geben
eine Bewegung des jeweiligen Pixels innerhalb des Rahmens für die Pixel
an, die denselben Teil des Objekts 100 in den beiden Rahmen 102 und 110 darstellen.
Für vier
Orte a, b, c, d sind entsprechende Bewegungsvektoren 120a, 120b, 120c, 120d eingezeichnet.
Für den
Ort a ist eine Bestimmung nur eingeschränkt möglich, da an dem rechten Rand
aufgrund einer Drehung des zylindrischen Objekts neue Pixel erschienen
sind. Eine Bestimmung des Bewegungsvektors am Punkt a ist nur möglich, da
er mit der Konturgrenze zusammenfällt. Für den Punkt d ist eine Bestimmung
des Bewegungsvektors 120d ebenfalls nur möglich, da
es sich um einen Punkt auf der Kontur handelt. Das entsprechende
Pixel in 4a zu dem Pixel, das den Punkt
d in 4c darstellt, kann nicht ermittelt werden, da
ein zugehöriger
Bereich auf dem zylindrischen Objekt in 4a texturlos
und einfarbig ist. Eine Zuordnung der Pixel ist somit nicht eindeutig
möglich.
-
Die
Bewegungsvektoren 120a, 120b, 120c, 120d können hinsichtlich
einer Translationsbewegung, die in allen Bewegungsvektoren 120a bis 120d enthalten
ist, analysiert werden. Eine grobe Näherung erhält man, indem man über alle
Vektoren 120a, 120b, 120c und 120d mittelt.
Bei einer genaueren Analyse kann ein gemeinsamer Vektoranteil in
allen Bewegungsvektoren ermittelt werden, der die Translationsbewegung
des Objekts beschreibt. Diese Auswertung ist jedoch nur dann auf
einfache Art und Weise möglich,
wenn das Objekt selber im Wesentlichen starr ist. Subtrahiert man
den so ermittelten Translationsanteil, der mittels der Vektoren 122a bis 122d dargestellt
ist, so erhält
man wie in 4d dargestellt Intra-Objektbewegungsvektoren 130b und 130c.
An den Punkten a und d werden keine Intra-Objektbewegungsvektoren
festgestellt, da die Pixel am Rand des Objekts 100 in den
Rahmen 102 und 110 jeweils die gleiche Farbe aufweisen.
Anhand dieser Intra-Objektbewegungsvektoren 130b und 130c kann
unter Berücksichtigung
der Tatsache, dass sich die Kontur nicht verändert hat und Pixel an dem
einen Rand 114 verschwunden und an dem gegenüberliegenden
Rand 116 hinzugekommen sind, ermittelt werden.
-
Bei
der Bestimmung der Drehung eines beliebigen Objekts sind folgende
Punkte zu berücksichtigen: 1.
Aufgrund einer Bewegung des Objekts, insbesondere einer Bewegung,
die die Entfernung des Objekts zur Kamera verändert, wird das Objekt in aufeinander
folgenden Rahmen unterschiedlich groß abgebildet. 2. Aufgrund der
Bewegung des Objekts kann sich außer der Orientierung, die mit
der Drehung verknüpft ist,
auch die Position des Objekts ändern.
3. Das Objekt kann in den aufeinander folgenden Rahmen unterschiedliche Farben
bzw. Helligkeiten aufweisen, da sich die Beleuchtungsverhältnisse
geändert
haben. 4. Die Textur des Objekts wird in der Regel unverändert sein,
kann sich jedoch in einigen Fällen
verändern.
5. Mit einer Drehung des Objekts verändert sich in der Regel die
Kontur, die in den Rahmen abgebildet wird. 6. Außerdem kann ein Schattenwurf
die Berechnung der Drehung des Objekts erschweren, da sich die zum
Schatten gehörigen
Pixel ebenfalls in den aufeinander folgenden Rahmen „bewegen". 7. Schließlich muss
die zeitliche Auflösung
der aufgenommenen Rahmen ausreichend groß im Verhältnis zu der Bewegungsgeschwindigkeit
des Objekts sein, d. h., die Abtast- oder Rahmenfrequenz muss hoch
genug sein.
-
Im
Folgenden wird eine weitere bevorzugte Ausführungsform eines Verfahrens
zur Bestimmung der Drehung eines Objekts 300 beschrieben,
das in 6 dargestellt ist. 6 zeigt
eine schematische Draufsicht auf eine Bewegungsebene, in der sich
das Objekt 300 bewegt. Das heißt, die Bewegungsebene ist
parallel zu der Zeichnungsebene. Das Objekt 300 ist ein
senkrecht auf der Bewegungsebene stehender, rechteckiger, flacher
Gegenstand, beispielsweise ein Blatt. Das Objekt 300 wird
mittels einer Videokamera in Rahmen abgebildet, die eine Abbildungsebene
B aufspannen, die ebenfalls senkrecht auf der Bewegungsebene steht.
-
Das
Objekt 300 führt
eine Drehung im Uhrzeigersinn um eine Drehachse um einen Winkel α aus, wobei
die Drehachse zum einen senkrecht auf der Bewegungsebene steht und
zum anderen durch eine Drehachsenposition D verläuft, die im „Innern" des Objekts 300 liegt.
Dieses bedeutet, dass das die Drehachsenposition D sich in einem
Bereich befindet, den man bei einer senkrechten Projektion des Objekts 300 auf
die Bewegungsebene erhält.
Das Objekt 300 führt
in dem hier beschriebenen Spezialfall keine Translationsbewegung
aus. Durch Apostrophe an den Bezugzeichen werden das Objekt 300 bzw.
seine Bestandteile in einem verdrehten Zustand gekennzeichnet.
-
Um
die Drehung und den Drehwinkel α bestimmen
zu können,
wird im allgemeinen Fall zunächst
eine Segmentierung des Objekts und eine Eliminierung eines möglicherweise
vorhandenen Schattens in den aufeinander folgenden Rahmen vorgenommen.
Ferner werden anhand der Videodaten der Rahmen, die von dem Objekt
mit mehreren Videokameras aufgenommen werden, Tiefenkarten erstellt,
so das die Position des Objekts 300, 300' sowie Positionen
von Pixeln P, P' des
Objekts 300, 300' in
einem Gebiet, das überwacht
wird, ermittelbar sind. Diese einzelnen Schritte erfolgen beispielsweise
anlog zu den Verfahren, die oben beispielhaft beschrieben wurden.
Insgesamt wird bei der Bestimmung der Drehung des Objekts 300 vorteilhafterweise in einem
HSV-Farbmodell gearbeitet, um unabhängig von Helligkeitsunterschieden
arbeiten zu können.
-
Aufgrund
der Segmentierung des Objekts 300, 300' und der Eliminierung
des Schattens ist es im allgemeinen Fall (bei dem das Objekt 300 eine
Translationsbewegung ausführt)
möglich,
die Position des Objekts 300, 300' und eine Translationsbewegung
des Objekts 300 in dem überwachten
Gebiet zu ermitteln. Diese Informationen werden nun genutzt, um
die Auswirkungen der Bewegung auf eine Objektgröße in den Rahmen und eine Objektverschiebung
in den Rahmen zurückzurechnen.
Dies bedeutet, dass man zwei (oder mehr) aufeinander folgende Rahmen
erhält,
in denen das Objekt 300 in der gleichen Größe an derselben
Stelle in den Rahmen, jedoch verdreht dargestellt ist. Diese Situation
ist in 6 schematisch dargestellt. Im Idealfall (das bedeutet,
ohne das Störeinflüsse sich
in einer Rechnung bemerkbar machen) fallen so die Schwerpunkte der
Objekte 300, 300' aufeinander.
-
Für einzelne
Pixel P werden nun Intra-Objektbewegungsvektoren 302 ermittelt,
die die Pixel P in entsprechende Pixel P' des verdrehten Objekts „überführen". Anhand dieser Intra-Objektbewegungsvektoren 302 und
den aus den Tiefenkarten bekannten Positionen der Pixel P und P' kann nun für die Pixel
P, P' bzw. Pixelgruppen
jeweils die Drehachsenposition D in der Bewegungsebene, durch den
die Drehachse senkrecht zur Bewegungsebene verläuft, und ein Drehwinkel α ermittelt
werden. Da die Translationsbewegung im überwachten Gebiet bereits separiert
und zurückgerechnet
wurde, liegt diese Position D jeweils innerhalb des Objekts 300,
d. h. in einem Projektionsbereich des Objekts 300 auf die
Bewegungsebene.
-
Anhand
der Paare D und α kann
beispielsweise durch eine Mittelung die Position der Drehachse D und
der Winkel α angenährt und
bestimmt werden. Dies bedeutet, dass man für jeden Intra-Objektbewegungsvektor
ein Paar D und α bestimmen
kann.
-
Die
Bestimmung der Paare der Drehachsenposition D und des Drehwinkels α wird im
Folgenden kurz für
das Pixel P, P' beschrieben.
-
Aus
den Tiefenkarten, die zu den Rahmen zugeordnet sind, in denen das
Objekt 300 und das verdrehte Objekt 300' abgebildet
sind, wird eine Abstandsveränderung
a des Pixels P, P' in
einer Richtung senkrecht zur Kameaebene, d. h. Bildebene bestimmt.
(Bei einer 360°-Kamera
wird die Krümmung
der Bildebene entsprechend berücksichtigt.)
Aus dem Intra-Objektbewegungsvektor 302, ergibt sich eine
Abstandsänderung
b des Pixels P, P' in
der Bildebene.
-
Nach
dem Satz von Pythagoras gilt: X1 2 +
a2 = X0 2. (GI. 1)
-
Ferner
gilt: X1 +
b = X0, (GI.
2)wobei X1 einen
Abstand eines Bildpunktes P'B des Pixels P' in der Abbildungsebene B und X1 einen Abstand eines Bildpunktes PB des Pixels P in der Abbildungsebene B jeweils
von einer imaginären
Abbildung der Drehachse DB angeben.
-
Mit
den bekannten Größen a und
b werden die Abstände
X0 und X1 berechnet.
Es gelten: X1 2 + a = (X1 + b)2 (GI. 3)und X1 2 + a2 = X1 2 + 2bX1 +
b2. (GI.
4)
-
Hieraus
ergibt sich für
X
1:
und für X
0:
-
Weiterhin
gilt allgemein:
-
Aus
der GI. 7 kann folglich der Drehwinkel α berechnet werden:
-
Man
erhält
somit für
jedes Pixel P, P' bzw.
für jeden
Pixelbereich die Abstände
X0 und X1 und den
Drehwinkel α sowie
die Position eines Aufpunktes der Drehachse in der Bewegungsebene,
d. h. die Drehachsenposition D. Der Drehwinkel α und die Drehachsenposition
D legen die die Drehung des Objekts 300 in das verdrehte
Objekt 300' fest.
Vorteilhafterweise wird eine Mittelung über mehrere oder alle Pixel
bzw. Pixelbereiche des Objekts ausgeführt. Hierdurch wird die Bestimmung
robuster gegenüber
Störungen,
die beispielsweise durch ein Knittern eines Stoffs entstehen können. Ist
das Objekt nicht starr, so können
die bestimmten Drehwinkel unterschiedlich groß sein. Dies ist zum Beispiel
der Fall, wenn das Objekt 300, 300' eine Person ist, die ihren Oberkörper um
eine Körperlängsachse
verdreht.
-
Noch
robuster lässt
sich die Berechnung gestalten, indem man eine möglicherweise auftretende Konturänderung
und das Verschwinden und/oder Erscheinen neuer Pixel im Bildbereich
des Rahmens berücksichtigt.
Nimmt man diese Bereiche des Objekts 300, 300' von der Auswertung
aus, so tragen diese Bereiche nicht verfälschend zu einer Mittelwertbildung
bei.
-
Es
sei zusätzlich
erwähnt,
dass bei einer zu langsamen Abtastung, d. h. einer zu geringen Bildwiederholfrequenz
der Videokamera, im Vergleich zur Objektdrehung der Drehwinkel α nicht mehr
korrekt bestimmt werden kann. In einem solchen Fall spricht man
von einer Unterabtastung.
