-
Stand der Technik
-
Überwachungssysteme
zur Überwachung von öffentlichen Plätzen,
Gebäuden, aber auch privaten Anwesen oder Fabriken umfassen
oftmals eine Mehrzahl von Videokameras, welche auf relevante Beobachtungsbereiche
gerichtet sind. Die von den Überwachungskameras aufgenommenen
Bilddaten werden üblicherweise zentral zusammengeführt
und ausgewertet.
-
Die
Auswertung kann zum einen durch Überwachungspersonal durchgeführt
werden, wobei diese Tätigkeit jedoch anstrengend und ermüdend
ist, so dass Überwachungsfehler aufgrund nachlassender
oder fehlender Aufmerksamkeit nicht auszuschließen sind.
Aus diesem Grund ist es vorteilhaft, die Bilddaten automatisch auszuwerten
und anhand von vorgegebenen Bedingungen, Ereignisse in den überwachten
Szenen zu detektieren.
-
Bei
der automatisierten Auswertung bzw. Überwachung ist es
besonders interessant, bewegte Überwachungsobjekte, wie
z. B. Personen oder Kraftfahrzeuge, zu detektieren und über
die Zeit zu verfolgen, um bei ungewöhnlichen Trajektorien
oder bei einem ungewöhnlichen Verhalten Alarm auszulösen. Üblicherweise
werden für diesen Zweck Bildverarbeitungsalgorithmen eingesetzt,
wobei die bewegten Überwachungsobjekte im Rahmen einer
Objektsegmentierung von einem im Wesentlichen statischen Szenenhintergrund
getrennt und über die Zeit verfolgt werden und bei relevanten
Bewegungen Alarm ausgelöst wird. Diese üblichen
Verfahren werten für die Objektsegmentierung typischerweise
die Bildun terschiede zwischen einem aktuellen Kamerabild und einem
Szenenreferenzbild aus, das den statischen oder quasi-statischen
Szenenhintergrund modelliert.
-
Diese
Bildverarbeitungsalgorithmen zur Trennung der bewegten Überwachungsobjekte
von einem Szenenhintergrund arbeiten meist zuverlässig,
solange sich einzelne Überwachungsobjekte von einander
unterscheiden lassen. Für den Fall, dass die Anzahl der
bewegten Überwachungsobjekte immer mehr zunimmt, sich diese Überwachungsobjekte immer
näher kommen und schließlich sogar überlappen,
werden segmentierte Bildbereiche von verschiedenen Überwachungsobjekten
zu einem Bildbereich eines gemeinsamen Objekts bzw. einer Objektgruppe
verschmelzen. Es erscheint zwar möglich, diese Verschmelzung
zu detektieren, die Objektsegmentierung und -verfolgung von Überwachungsobjekten während
der Verschmelzung ist aber mit einer Vielzahl von Problemen verbunden
und noch nicht zufriedenstellend gelöst.
-
Die
Druckschrift
DE 101
33 386 A1 beschreibt ein Verfahren und eine Vorrichtung
zum Erkennen einer Ist-Position einer Person innerhalb eines vorgebbaren
Bereiches sowie eine Verwendung des Verfahrens und/oder der Vorrichtung.
Das in der Druckschrift beschriebene Verfahren detektiert in einem Überwachungsbereich
eine Person. In einem nächsten Schritt wird wenigstens
ein signifikantes Merkmal der Person bestimmt, wobei sich die weitere Auswertung – insbesondere
um Rechenzeit zu sparen – ausschließlich auf eine
Beobachtung, insbesondere Detektion und Verfolgung, dieses wenigstens
einen signifikanten Merkmals beschränkt. Im Gegensatz zu
den oben beschriebenen üblichen Bildverarbeitungsalgorithmen
befasst sich diese Druckschrift somit mit der Verfolgung von einzelnen Merkmalen
in einer Bildersequenz.
-
Nachdem
jedoch aus dieser Druckschrift keine Hinweise auf ein Vorgehen in Überwachungssituationen
offenbart ist, in denen eine Mehrzahl von Überwachungsobjekten
vorhanden ist, bilden wohl die üblichen Bildverarbeitungsalgorithmen
den nächstkommenden Stand der Technik.
-
Offenbarung der Erfindung
-
Es
wird eine Vorrichtung zur bildgestützten Verfolgung von Überwachungsobjekten
vor einem Szenenhintergrund in einer Überwachungsszene
mit den Merkmalen des Anspruchs 1, ein entsprechendes Verfahren
mit den Merkmalen des Anspruchs 9 und ein Computerprogramm mit den
Merkmalen des Anspruchs 12 offenbart. Vorteilhafte und/oder bevorzugte
Ausführungsformen der Erfindung ergeben sich aus den abhängigen
Ansprüchen, der nachfolgenden Beschreibung sowie den beigefügten
Figuren.
-
Erfindungsgemäß wird
eine Vorrichtung zur bildgestützten Verfolgung von Überwachungsobjekten
vor einem Szenenhintergrund in einer Überwachungsszene
vorgeschlagen, die vorzugsweise als Verarbeitungseinrichtung, insbesondere
als Computer, DSP, Mikrocontroller oder dergleichen ausgebildet
ist. Die Vorrichtung ist optional Bestandteil eines Video-Überwachungssystems
und mit einem oder mehreren Überwachungskameras verbindbar und/oder
verbunden, wobei die Überwachungskameras anordbar und/oder
angeordnet sind, um eine Mehrzahl von relevanten Überwachungsszenen,
wie z. B. Plätze, Kreuzungen oder Gebäude, zu
beobachten.
-
Eine
derartige Überwachungsszene kann in einen statischen oder
quasistatischen Szenenhintergrund und in eine oder mehrere Überwachungsobjekte
unterteilt werden, welche sich vor dem Szenenhintergrund bewegen
und daher im weiteren als bewegte Überwachungsobjekte bezeichnet
werden.
-
Die
Vorrichtung weist ein Objektsegmentierungsmodul auf, welches ausgebildet
ist, um bewegte Objektbereiche vor dem Szenenhintergrund zu detektieren
und/oder zu segmentieren. Dieser Vorgang erfolgt vorzugsweise auf
Basis eines Vergleiches von einem oder mehreren insbesondere aktuellen
Kamerabildern mit einem Szenenreferenzbild. Das Szenenreferenzbild
ist beispielsweise modelliert, durch eine Langzeitbeobachtung der Überwachungsszene oder
dergleichen gebildet.
-
Ferner
ist ein Verwaltungsmodul vorgesehen, welches ausgebildet ist, den
bewegten Objektbereichen Überwachungsobjekte zuzuordnen
(oder vice versa), so dass eine insbesondere eineindeutige (bijektive)
Zuordnungsvorschrift zwischen Objektbereichen und Überwachungsobjekten
gebildet wird. Zudem ist das Ver waltungsmodul ausgebildet, um eine
Verschmelzung von zwei oder mehreren Überwachungsobjekten
zu erkennen und diese verschmolzenen Überwachungsobjekte
gemeinsam als Objektgruppe zu markieren, also z. B. den Überwachungsobjekten
die Zugehörigkeit zu einer Objektgruppe als Eigenschaft
zuzuordnen. Die Detektion einer Verschmelzung erfolgt beispielsweise
durch Überprüfung der Anzahl der Überwachungsobjekte, durch
Auswertung der Trajektorien und/oder durch Auswertung der Flächen
der bewegten Objektbereiche. Unter Verschmelzung ist vorzugsweise
eine Überlappung der Überwachungsobjekte und/oder
ein Berühren der Überwachungsobjekte und/oder
ein Unterschreiten eines insbesondere vorgebbaren Mindestabstandes
zwischen den Überwachungsobjekten zu verstehen.
-
Der
Erfindung folgend, weist die Vorrichtung ein Merkmalsdetektionsmodul
auf, welches programmtechnisch und/oder schaltungstechnisch ausgebildet
ist, um lokale Merkmale für die Verfolgung der Überwachungsobjekte
der Objektgruppe in den durch die bewegten Objektbereiche, insbesondere der Überwachungsobjekte
und im Speziellen der Überwachungsobjekte einer Objektgruppe,
definierten Bildbereichen zu bestimmen.
-
Lokale
Merkmale sind dabei vorzugsweise als Merkmale definiert, welche
durch Auswertung eines Teilbereichs der bewegten Objektbereiche und/oder
Bildbereiche ermittelbar sind. Mögliche Beispiele für
lokale Merkmale sind Texturen, Helligkeitsverteilungen, sogenannte
KLT-Merkmale, sogenannte SIFT-Merkmale, wie sie beispielsweise in
der wissenschaftlichen Veröffentlichung von David
G. Lowe: Distinctive Image Features from Scale-Invariant Keypoints;
in International Journal of Computer Vision, 2004, beschrieben
sind, lokale Merkmale auf Basis des optischen Fluss, lokale Merkmale
auf Grund von Mean-shift und/oder von Block-Matching. Insbesondere
sind die lokalen Merkmale als robuste Merkmale ausgebildet.
-
Die
lokalen Merkmale werden in den durch die bewegten Objektbereiche
definierten Bildbereiche bestimmt. Dabei können die Bildbereiche
identisch zu den bewegten Objektbereichen ausgebildet sein, sie
können jedoch auch nur auf Basis der bewegten Objektbereiche
definiert sein und beispielsweise im Gegensatz zu den bewegten Objektbereichen
als Rechteckbereiche ausgebildet sein, oder um einen Überwachungsrand
vergrößert sein, um auch in den Randbereichen
der bewegten Objektbereiche die lokalen Merkmale fehlerfrei detektieren
zu können. Vorzugsweise werden die Bildbereiche durch die
bewegten Objektbereiche der Überwachungsobjekte einer Objektgruppe
definiert, so dass die lokalen Merkmale für eine Objektgruppe
in den Objektbereichen gesucht werden, die korrespondierend zu dieser
Objektgruppe sind.
-
Der
Erfindung liegt die Überlegung zugrunde, dass die üblichen
Bildverarbeitungsalgorithmen zur Objektsegmentierung und -verfolgung
insbesondere bei einer Verschmelzung von Überwachungsobjekten
nicht ausreichend sind. Die Verfolgung von Überwachungsobjekten
anhand von lokalen Merkmalen ist dagegen rechenaufwändig
und möglicherweise sogar fehleranfällig. Erfindungsgemäß wird deshalb
vorgeschlagen, lokale Merkmale für die Verfolgung der Überwachungsobjekte
in einer verschmolzenen Objektgruppe einzusetzen, wobei jedoch die
lokalen Merkmale nur und ausschließlich in Bildbereichen
gesucht werden, die auf Basis der zu der Objektgruppe korrespondierenden
bewegten Objektbereiche definiert sind. Mit diesem Vorgehen wird Rechenzeit
eingespart, da die lokalen Merkmale nur in sehr begrenzten Bildbereichen
gesucht werden, andererseits wird die Detektions- und Verfolgungssicherheit
erhöht, indem weitere Informationen aus den Kamerabildern
zur Absicherung herangezogen werden.
-
Im
Ergebnis ermöglicht es die erfindungsgemäße
Vorrichtung, dass einzelne Überwachungsobjekte auch in
verschmolzenen Bereichen oder bei gegenseitiger Verdeckung getrennt
verfolgt werden können, da eine genauere Kenntnis über
die Bewegung der einzelnen bewegten Objektbereiche durch die Auswertung
lokaler Merkmale erreicht wird, so dass die Bildverfolgung von Überwachungsobjekten, die
sich gegenseitig verdecken oder sich sehr nahe kommen signifikant
verbessert ist.
-
Bei
einer bevorzugten Ausführungsform ist das Verwaltungsmodul
ausgebildet, um den Überwachungsobjekten und/oder den verschmelzenden Überwachungsobjekten
zu einem Zeitpunkt t – 1 und/oder den Überwachungsobjekten
der Objektgruppe zu einem Zeitpunkt t und/oder t + 1 selektiv lokale
Merkmale und/oder eine Gruppe von lokalen Merkmalen aus den zu den Überwachungsobjekten korrespondierenden
Objektbereichen bzw. Bildbereichen zuzuordnen. Somit weist das Verwaltungsmodul
Datensätze auf, welche eine Auswahl oder alle der nachfolgenden
Daten umfassen:
- – Überwachungsobjektidentität,
- – Zeitpunkt,
- – Objektbereich,
- – Gruppe von lokalen Merkmalen,
- – Zuordnung zu einer Objektgruppe.
-
Dieser
Datensatz kann – wie nachfolgend noch dargelegt wird – vorteilhaft
zur Verfolgung der Überwachungsobjekte eingesetzt werden.
-
Vorzugsweise
ist nämlich vorgesehen, dass die Vorrichtung ein Objektverfolgungsmodul
aufweist, welches ausgebildet ist, um eine Objektdetektion und/oder
-verfolgung von den einzelnen Überwachungsobjekten einer
Objektgruppe durch Verfolgung der lokalen Merkmale und/oder der
Gruppe von lokalen Merkmalen der einzelnen Überwachungsobjekte
durchzuführen. Diese Ausführung unterstreicht nochmals
die erfinderische Idee, neben der Bewegungsinformation, welche über
den Vergleich von Kamerabildern mit einem Szenenreferenzbild ermittelt
wird, weitere Informationen zur Objektdetektion bzw. -verfolgung
heranzuziehen.
-
Bei
einer bevorzugten Weiterbildung der Erfindung werden lokale Merkmale
aus Kamerabildern vor der Verschmelzung und/oder nach der Verschmelzung
den Überwachungsobjekten selektiv zugeordnet. Es wird somit
eine erste Gruppe von lokalen Merkmalen gebildet, die in den Kamerabildern
vor der Verschmelzung ermittelt wurden und eine zweite Gruppe von
lokalen Merkmalen, die aus Kamerabildern stammen, die nach der Verschmelzung
der Überwachungsobjekte bestimmt wurden.
-
Insbesondere
ist dabei vorgesehen, dass die Gruppe der lokalen Merkmale aus Kamerabildern
vor der Verschmelzung und die Gruppe der lokalen Merkmale aus Kamerabildern
nach der Verschmelzung eine nicht-leere Schnittmenge bilden. Anders
ausgedrückt, werden den Überwachungsobjekten selektiv vor
der Verschmelzung bestimmte lokale Merkmale zugeordnet, die eine
Auswahl von loka len Merkmalen bilden, welche dann nach der Verschmelzung
in den Bildbereichen gesucht werden. Dieses Vorgehen erlaubt es,
sich bei der Auswertung auf die vor der Verschmelzung aufgefundenen
lokalen Merkmale zu begrenzen oder zumindest zu konzentrieren und
damit die benötigte Rechenleistung der Vorrichtung gering
zu halten.
-
Es
ist jedoch möglich, dass die Gruppe der lokalen Merkmale
vor der Verschmelzung mächtiger war oder andere lokale
Merkmale aufweist als die Gruppe der lokalen Merkmale nach der Verschmelzung.
Diese der Gruppe der lokalen Merkmale aus Kamerabildern vor der
Verschmelzung zuzuordnende, optional nicht-leere Restmenge wird
bei der Auswertung als Menge von verlorenen Merkmale erkannt und
deaktiviert und/oder gelöscht.
-
Auf
der anderen Seite ist es auch möglich, dass nach der Verschmelzung
neue Merkmale aufgefunden werden. Diese nicht-leere Restmenge der Gruppen
von lokalen Merkmale nach der Verschmelzung aus der Gruppe der lokalen
Merkmale vor der Verschmelzung werden als neue Merkmale definiert und
einem der Überwachungsobjekte der Objektgruppe zugeordnet.
Diese Zuordnung kann beispielsweise über eine Nachbarschaftskorrelation
erfolgen, wobei ein neues Merkmal, welches in der Nachbarschaft
vorhandener lokaler Merkmale eines Überwachungsobjekts
liegt, diesem Überwachungsobjekt zugeordnet wird. Ferner
kann das neue Merkmal auf Basis einer Merkmalstrajektorie einem Überwachungsobjekt
zugeordnet werden, wobei das neue Merkmal dem Überwachungsobjekt
zugeordnet wird, dessen lokale Merkmale die gleiche Trajektorieneigenschaften,
insbesondere Richtung und/oder Geschwindigkeit, aufweisen. Weitere
mögliche Zuordnungen erfolgen über eine statistische
Auswertung oder über eine Radiusauswertung, wobei das nächstliegende
lokale Merkmal in einem Radius um das neue lokale Merkmal gesucht
wird und das neue lokale Merkmal dem Überwachungsobjekt
des nächstliegenden lokalen Merkmals zugeordnet wird.
-
Bei
einer Weiterbildung der Vorrichtung ist das Verwaltungsmodul ausgebildet,
um bei einer Trennung einer Objektgruppe die Markierung als Objektgruppe
bei den einzelnen Überwachungsobjekten zu löschen.
Vorzugsweise werden nach dem die Markierung als Objektgruppe gelöscht
ist die lokalen Merkmale dieser Objektgruppe nicht weiter detektiert.
-
Ein
weiterer Gegenstand der Erfindung bildet ein Verfahren mit den Merkmalen
des Anspruchs 9, welches vorzugsweise unter Verwendung der soeben
beschriebenen Vorrichtung bzw. nach einem der vorhergehenden Ansprüche
durchgeführt wird. Bei dem erfindungsgemäßen
Verfahren wird eine Verschmelzung, insbesondere Berührung
oder starke Annäherung, von zwei oder mehreren Überwachungsobjekten
in eine Objektgruppe zu einem Zeitpunkt t detektiert. Zudem werden
lokale Merkmale der Überwachungsobjekte der Objektgruppe
in Bildbereichen von Kamerabildern gesucht, die die Überwachungsszene
zu einem Zeitpunkt t – 1, also zu einem zeitlich vor der
Verschmelzung liegenden Zeitpunkt zeigen, wobei die Bildbereiche
vorzugsweise auf Basis eines Vergleichs von einem oder mehreren aktuellen
Kamerabildern und einem Szenenreferenzbild bestimmt werden.
-
Es
ist dabei bevorzugt, dass zunächst die Detektion der Verschmelzung
erfolgt und in einem zweiten Schritt die lokalen Merkmale in den
Kamerabildern eines früheren Zeitpunkts bestimmt werden. Die
Detektion der Verschmelzung bildet somit ein Startsignal für
die Bestimmung der lokalen Merkmale. Bei alternativen Ausführungsformen
kann vorgesehen sein, dass kontinuierlich lokale Merkmale in der
beschriebenen Art bestimmt werden und nach der Detektion der Verschmelzung
informationstechnisch weiter verarbeitet werden.
-
Im
weiteren Verlauf werden die zum Zeitpunkt t – 1 in einem
oder mehreren Kamerabildern gefundenen, lokalen Merkmale zum Zeitpunkt
t oder t + 1, also in einem aktuellen oder einem zeitlich nach der
Verschmelzung folgenden Kamerabild gesucht. Die zum Zeitpunkt t
oder t + 1 gefundenen lokalen Merkmale werden einem Überwachungsobjekt
der Objektgruppe anhand der Zugehörigkeit zu dem Überwachungsobjekt
zu dem früheren Zeitpunkt t – 1 zugeordnet. In
einem weiteren Schritt erfolgt eine Identifikation und/oder Verfolgung
der Überwachungsobjekte in der Objektgruppe auf Basis der
zugeordneten lokalen Merkmale.
-
Die
geschilderten Schritte des Verfahrens können in der obigen
Reihenfolge, jedoch auch in einer anderen Reihenfolge durchgeführt
werden.
-
Bei
einer Weiterbildung der Erfindung werden lokale Merkmale, die zum
Zeitpunkt t – 1 bestimmt wurden und zu den Zeitpunkten
t und/oder t + 1 nicht wieder gefunden werden können, gelöscht oder
deaktiviert. Ergänzend kann vorgesehen sein, dass die Kamerabilder
zum Zeitpunkt t oder t + 1 auf neue Merkmale untersucht werden,
welche zum Zeitpunkt t – 1 nicht bestimmt werden konnten,
wobei diese neuen lokalen Merkmale den Überwachungsobjekten
selektiv nach verschiedenen Vorschriften, die beispielhaft bereits
oben ausgeführt wurden, zugeordnet werden.
-
Ein
weiterer Gegenstand der Erfindung betrifft ein Computer-Programm
mit Programm-Code Mitteln mit den Merkmalen des Anspruchs 12.
-
Kurze Beschreibung der Zeichnungen
-
Weitere
Merkmale, Vorteile und Wirkung der Erfindung ergeben sich aus der
nachfolgenden Beschreibung und den Figuren eines Ausführungsbeispiels
der Erfindung. Dabei zeigen:
-
1 ein
schematisches Blockdiagramm einer Vorrichtung zur bildgestützten
Verfolgung von Überwachungsobjekten als ein Ausführungsbeispiel der
Erfindung;
-
2 eine
erste Abfolge von Kamerabildern zu verschiedenen Zeitpunkten zur
Illustration der Verwendung der Vorrichtung in 1;
-
3 eine
zweite Abfolge von Kamerabildern zu verschiedenen Zeitpunkten zur
Illustration der Verwendung der Vorrichtung in 1.
-
Ausführungsformen) der Erfindung
-
Die 1 zeigt
ein schematisches Blockdiagramm einer Vorrichtung 1 zur
bildgestützten Verfolgung von Überwachungsobjekten
vor einem Szenenhintergrund, wobei die Vorrichtung 1 mit
einer oder mehreren Kameras (nicht dargestellt) verbindbar und/oder
verbunden ist. Ein Objektsegmentierungsmodul 2 empfängt
die Bilddaten der Kamera(s) und bestimmt bewegte Objektbereiche
I, II, III und IV, indem aktuelle Kamerabilder mit einem Szenenreferenzbild
verglichen werden. Das Szenenreferenzbild wird beispielsweise durch
Langzeitbeobachtung der Überwachungsszene, manuelle Eingabe
oder dergleichen modelliert. Die detektierten, bewegten Objektbereiche
werden zum einen einem Verwaltungsmodul 3 und zum anderen
einem Merkmalsdetektionsmodul 4 zur weiteren Verarbeitung übergeben.
-
Das
Verwaltungsmodul 3 ordnet den bewegten Objektbereichen
I, II, III, IV ein Überwachungsobjekt A, B, C, D zu und
legt diese Zuordnung in einem Datenfeld 5 ab. Beispielsweise
wird in dem Datenfeld 5 dem Objektbereich I das Überwachungsobjekt
A zugeordnet. Das Datenfeld 5 wird für verschiedene Zeitpunkte
t – 1, t, t + 1 etc. bestimmt. Selbstverständlich
müssen die Daten nicht in der gezeigten Organisationsstruktur
abgelegt werden, sondern es kann jede mögliche Speicherarchitektur
Verwendung finden.
-
Das
Merkmalsdetektionsmodul 4 ist dazu ausgebildet, in den
bewegten Objektbereichen I, II, III, IV lokale Merkmale zu detektieren.
Die lokalen Merkmale sind zum Beispiel als Texturen, Helligkeitsverteilungen
oder dergleichen ausgebildet. Für den Fall, dass derartige
lokale Merkmale gefunden werden, werden diese als Merkmalsgruppe
M(I), M(II), M(III), M(IV) an das Verwaltungsmodul 3 objektbereichsspezifisch übergeben.
Das Verwaltungsmodul 3 ordnet die gefundenen lokalen Merkmale
dann den jeweiligen Überwachungsobjekten A, B, C, und D
als die Merkmale M(I), M(II), M(III), M(IV) zu.
-
Ein
Verfolgungsmodul 6 ist ausgebildet, um auf Basis der zu
den Überwachungsobjekten A, B, C und D korrespondierenden
lokalen Merkmale und gegebenenfalls unter Ergänzung der
dazu korrespondierenden bewegten Objektbereiche I, II, III und IV die Überwachungsobjekte
A, B, C und D in den Kamerabildern zu detektieren und über
die Zeit zu verfolgen.
-
Für
den Fall einer Verschmelzung von Überwachungsobjekten weist
das Verwaltungsmodul 3 ein Detektionsmodul 7 auf,
welches zur Detektion der Verschmelzung ausgebildet ist. Als Reaktion
auf eine detektierte Verschmelzung von Überwachungsobjekten,
werden diese in dem Datenfeld 5 z. B. als Objektgruppe 8 mit Bezug
auf die Überwachungsobjekte A und B markiert. Die Auswahl
der Überwachungsobjekte sowie die Markierung ist in der 1 selbstverständlich
nur beispielhaft dargestellt.
-
Die
Vorrichtung 1 in der 1 erlaubt
nun verschiedene Betriebsmodi:
In einem ersten Betriebsmodus
werden für jeden bewegten Objektbereich I, II III, IV bzw.
für jedes Überwachungsobjekt A, B, C, D die lokalen
Merkmale bestimmt und das Verfolgungsmodul 6 detektiert
bzw. verfolgt das jeweilige Überwachungsobjekt A, B, C,
D unter Verwertung der Informationen der korrespondierenden, bewegten
Objektbereiche I, II III, IV und der korrespondierenden lokalen
Merkmale M(I), M(II), M(III), M(IV). Bei diesem Betriebsmodus ist
der Rechenaufwand jedoch hoch und führt – zumindest wenn
die Überwachungsobjekte von einander getrennt vorliegen – nur
zu einer geringen Erhöhung der Überwachungssicherheit.
-
Bei
einem zweiten Betriebsmodus werden die lokalen Merkmale nur für Überwachungsobjekte/Objektbereiche
bestimmt, die durch das Detektionsmodul 7 als zu einer
Objektgruppe 8 gehörend einklassifiziert sind.
Die anderen Überwachungsobjekte/Objektbereiche werden in
diesem Betriebsmodus nicht nach lokalen Merkmalen untersucht. Bei der
Auswertung durch das Verfolgungsmodul 6 kann zum einen
vorgesehen sein, dass die Detektion und Verfolgung der als zu einer
Objektgruppe 8 zugehörig markierten Überwachungsobjekte
A, B ausschließlich über die lokalen Merkmale
oder optional ergänzend über die Informationen über
die korrespondierenden Objektbereiche erfolgt.
-
Bei
einer praktischen und rechensparenden Umsetzung werden bei der Detektion
der Verschmelzung der Überwachungsobjekte A, B zu der Objektgruppe 8 zu
einem Zeitpunkt t die verschmolzenen Überwachungsobjekte
A, B markiert. In einem nächsten Schritt werden lokale
Merkmale der verschmolzenen Überwachungsobjekte A, B zu
einem früheren Zeitpunkt, also zu einem Zeitpunkt t – 1,
gesucht. Die zum Zeitpunkt t – 1 aufgefundenen lokalen
Merkmale der verschmolzenen Überwachungsobjekte A, B bilden
eine Auswahlmenge für die Detektion der lokalen Merkmale
zum Zeitpunkt t, also zum Zeitpunkt der Verschmelzung, bzw. zum
Zeitpunkt t + 1, also zu einem Zeitpunkt nach der Verschmelzung.
Das Merkmalsdetektionsmodul 4 untersucht Kamerabilder zu den
Zeitpunkten t bzw. t + 1 demzufolge nur auf die Merkmalsauswahl,
die zu dem Zeitpunkt t – 1 erfolgt ist. Als mögliche
Korrektur der Auswahlmenge ist optional vorgesehen, dass lokale
Merkmale, die zum Zeitpunkt t bzw. t + 1 nicht wieder aufgefunden
werden können, aus der Merkmalsauswahl gestrichen bzw.
temporär deaktiviert werden und/oder, dass das Merkmalsdetektionsmodul 4 nach
weiteren lokalen Merkmalen sucht, welche nicht in der ursprünglichen Merkmalsauswahl
enthalten sind, jedoch beispielsweise besonders erfolgsversprechende
oder robuste Merkmale sind. Falls derartige neue Merkmale aufgefunden
werden, werden diese selektiv einem Überwachungsobjekt
A, B zugeordnet, wobei die Zuordnung über die Auswertung
der Korrelation der neuen lokalen Merkmale mit den bereits zu den
den Überwachungsobjekten A oder B zugeordneten lokalen Merkmalen
erfolgt.
-
Nach
einer Trennung der verschmolzenen Überwachungsobjekte A,
B wird die Markierung der Objektgruppe 8 gelöscht.
Die korrespondierenden Objektbereiche I, II werden nicht weiter
nach den lokalen Merkmalen untersucht. Stattdessen wird von dem
Verfolgungsmodul 6 auf einen rechenzeitgünstigeren Überwachungsmodus
auf Basis der detektierten Objektbereiche I, II, III, IV umgeschaltet.
-
Die 2 zeigt
eine Überwachungsszene 10 zu den Zeitpunkten t – 1,
t und t + 1. In der Überwachungsszene ist als ein erstes Überwachungsobjekt ein
Fußgänger A und als ein zweites Überwachungsobjekt
ein Kraftfahrzeug B zu erkennen. Zu dem Zeitpunkt t sind Fußgänger
A und Kraftfahrzeug B miteinander verschmolzen und bilden eine Objektgruppe 8. Das
Detektionsmodul 7 (1) detektiert
diese Verschmelzung und markiert die Verschmelzung in dem Datenfeld 5 zum
Zeitpunkt t.
-
Als
Reaktion auf die detektierte Verschmelzung wird in dem Kamerabild
zum Zeitpunkt t – 1 nach lokalen Merkmalen des Fußgängers
A bzw. des Kraftfahrzeugs B gesucht. Gefundene lokale Merkmale sind
in der 1 als Kreuze dargestellt. Diese lokalen Merkmale
werden dem Fußgänger A bzw. dem Kraftfahrzeug
B zugeordnet und bilden für die weitere Auswertung eine
Merkmalsauswahl. Hinzuweisen ist darauf, dass die lokalen Merkmale
nur in den Bildbereichen gesucht werden, welche durch eine Objektsegmentierung
als bewegte Objektbereiche vor dem statischen bzw. quasi-statischen
Szenenhintergrund bzw. auf Vergleich von dem aktuellen Kamerabild
mit einem Szenenreferenzbild detektiert wurden. Die als bewegte
Objektbereiche detektierten Bildbereiche sind in der 2 mit
einer schwarzen Linie umrandet.
-
Zum
Zeitpunkt t sind die Objektbereiche des Fußgängers
A und des Kraftfahrzeugs B verschmolzen, wobei in den gemeinsamen
Objektbereich der Objektgruppe 8 nach den lokalen Merkmalen
gemäß der Merkmalsauswahl gesucht wird. Nachdem
eine Vielzahl von den lokalen Merkmalen der Merkmalsauswahl aufgefunden
werden können, und die Merkmale aufgrund der Zugehörigkeit
zu dem Zeitpunkt t – 1 einem Überwachungsobjekt
A oder B zugeordnet werden können, zerfällt der
gemeinsame Objektbereich der Objektgruppe 8 in drei Einzelbereiche,
wobei ein erster Teilobjektbereich 11 dem Fußgänger
A, ein zweiter Teilobjektbereich 12 dem Kraftfahrzeug B zugeordnet
werden kann. Ein dritter Teilobjektbereich 13 kann mit
der erforderlichen Sicherheit keinem der beiden Überwachungsobjekte
A oder B zugeordnet werden und wird bei der Auswertung des Kamerabilds
zum Zeitpunkt t nicht weiter beachtet. Wie sich aus dem Kamerabild
zum Zeitpunkt t ergibt, kann die Position der Überwachungsobjekte
A bzw. B durch die Zuordnung über die lokalen Merkmale
von dem Verfolgungsmodul 6 (1) eindeutig
ermittelt werden.
-
Das
Kamerabild zum Zeitpunkt t + 1 zeigt die Überwachungsobjekte
A und B nach der Trennung, wobei die Markierung als Objektgruppe 8 gelöscht
ist und die weitere Verfolgung der Überwachungsobjekte
A, B beispielsweise ausschließlich über die Verfolgung
der bewegten Objektbereiche erfolgt.
-
Die 3 zeigt
ein zweites Ausführungsbeispiel zur Illustration der Erfindung,
wobei ein erstes Überwachungsobjekt wieder durch ein Kraftfahrzeug A,
ein zweites Überwachungsobjekt durch eine Gruppe von zwei
Personen B und ein drittes Überwachungsobjekt durch eine
Einzelperson C gebildet wird. Zum Zeitpunkt t sind diese drei Überwachungsobjekte
zu einem gemeinsamen bewegten Objektbereich einer Objektgruppe 14 verschmolzen,
wobei in analoger Anwendung der Vorgehensweise in 2 die
Auswertung der lokalen Merkmale erlaubt, Teilobjektbereiche 15, 16 und 17 zu
bilden, die den Überwachungsobjekten A, B und C zugeordnet
werden können sowie ein Teilobjektbereich 18,
der keinem der Überwachungsobjekte A, B oder C zugeordnet werden
kann. Nach Trennung der Überwachungsobjekte A, B, C zum
Zeitpunkt t + 1 können die Überwachungsobjekte
A, B und C wieder separat verfolgt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- - David G. Lowe:
Distinctive Image Features from Scale-Invariant Keypoints; in International
Journal of Computer Vision, 2004 [0013]