DE19601005A1 - Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern - Google Patents
Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden BildernInfo
- Publication number
- DE19601005A1 DE19601005A1 DE19601005A DE19601005A DE19601005A1 DE 19601005 A1 DE19601005 A1 DE 19601005A1 DE 19601005 A DE19601005 A DE 19601005A DE 19601005 A DE19601005 A DE 19601005A DE 19601005 A1 DE19601005 A1 DE 19601005A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- objects
- threshold
- moving
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/231—Analysis of motion using block-matching using full search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
Die Erfindung geht von einem Verfahren zur Erkennung
bewegter Objekte in zeitlich aufeinander folgenden Bildern
nach der Gattung des Hauptanspruchs aus.
Aus der noch nicht vorveröffentlichten Patentanmeldung mit
dem Aktenzeichen P 44 40 671 ist bereits ein Verfahren zur
optischen Erkennung bewegter Objekte beschrieben. Zur
Ermittlung eines bewegten Objektes wird bei dem bekannten
Verfahren ein aktuelles Bild mit einem Referenzbild in bezug
auf die Meßgrößen Bildsignaländerung, Textur und
Verschiebung verglichen. Wird ein bewegtes Objekt erkannt,
wird anschließend eine objektorientierte Analyse der
bewegten Objekte mittels einer bildpunktgenauen
Änderungsdetektion in bezug auf ein Hintergrundbild
durchgeführt. Anschließend werden in einer Objektmaske die
zu dem bewegten Objekt gehörenden und zusammenhängenden
Bildbereiche gekennzeichnet. Aufgrund einer abschließenden
Topologieuntersuchung anhand der Merkmale, Größe und
Linienhaftigkeit sowie eine Untersuchung der objektbezogenen
Meßgrößen Bildsignaländerung, Textur und Bewegung wird ein
bewegtes Objekt erkannt.
Das erfindungsgemäße Verfahren mit den Merkmalen des
Hauptanspruchs hat demgegenüber den Vorteil, daß
Objektmerkmale für ein Objekt nicht nur zu einem Zeitpunkt
ermittelt und ausgewertet werden, sondern daß eine zeitliche
Folge von Merkmalen ermittelt und ausgewertet wird. Dadurch
ist eine Unterscheidung zwischen Objekten, die sich nur
kurzzeitig und über eine kurze Distanz bewegen, von
Objekten, die sich kontinuierlich über größere Strecken
bewegen, möglich. So ist beispielsweise eine Unterscheidung
zwischen Personen, die sich gerichtet durch eine
Aufnahmesituation bewegen, und Bereichen von Bäumen, die
sich im Wind nur über kleine Strecken bewegen, möglich. Auf
diese Weise wird die Stabilität des
Objektdetektionsverfahrens aufgrund einer verbesserten
Unterscheidung von Nutzgrößen und Störgrößen erhöht.
Durch die in den Unteransprüchen aufgeführten Maßnahmen sind
vorteilhafte Weiterbildungen und Verbesserungen des im
Hauptanspruch angegebenen Verfahrens möglich.
Besonders vorteilhaft gemäß Anspruch 2 ist die Ermittlung
der Objektbewegung in Abhängigkeit von der Zeit durch
Summierung bisheriger Bewegungsvektoren. Dadurch erhält man
zusätzlich zu der Information, daß sich ein bewegtes Objekt
gerichtet durch eine beobachtete Aufnahmesituation bewegt,
eine genaue Information über den Weg des Objektes durch die
Aufnahmesituation in Form einer Vektorkette. Auf diese Weise
wird die Beurteilung einer Alarmierung wesentlich
verbessert.
Vorteilhaft nach Anspruch 3 ist die Beschränkung der
objektorientierten Analyse auf die Bildbereiche, in denen
durch die blockorientierte Analyse bewegte Objekte
festgestellt beziehungsweise in denen durch
Bewegungsschätzung Objekte vorhergesagt wurden. Auf diese
Weise wird nur in den Bildbereichen eine Analyse
durchgeführt, die von Objektbewegung betroffen sind, so daß
Rechenaufwand und Rechenzeit eingespart werden.
Vorteilhaft gemäß Anspruch 4 ist die Einbeziehung der
mittleren zeitlichen objektbezogenen Texturänderung zur
Beurteilung der Notwendigkeit, ein Objekt zu überwachen oder
nicht. Auf diese Weise steht ein zusätzliches Merkmal zur
Beurteilung des zeitlichen Verhaltens eines Objektes zur
Verfügung, so daß die Unterscheidung von Nutzgrößen und
Störgrößen weiter verbessert wird.
Vorteilhaft gemäß Anspruch 5 ist die Nutzung der
blockorientierten Analyse der Texturänderungen zur
Bestimmung der mittleren zeitlichen objektbezogenen
Texturänderung. Dadurch wird der Zusatzaufwand zur
Bestimmung der mittleren zeitlichen objektbezogenen
Texturänderung wesentlich verringert.
Vorteilhaft gemäß Anspruch 6 ist die Aufhebung der
Überwachung des Objektes, wenn der Betrag des summierten
Bewegungsvektors die vorgegebene zweite Schwelle
unterschreitet. Dadurch werden Objekte, deren Bewegung nicht
von Interesse ist, wie beispielsweise ein sich hin und her
bewegender Ast eines Baumes, von interessierenden Objekten
mit einer gerichteten Bewegung unterschieden und
gleichzeitig Aufwand gespart, da weniger Objekte überwacht
werden müssen.
Vorteilhaft gemäß den Ansprüchen 7 und 8 ist die Erkennung
eines überwachten Objektes als bewegtes Objekt, falls bei
der zuletzt durchgeführten Bewegungsschätzung kein
Bewegungsvektor ermittelt werden konnte beziehungsweise
keine Zuordnung des überwachten Objektes zu einem Objekt des
aktuellen Bildes möglich ist. Auf diese Weise wird die
Bewegung von Objekten, die beispielsweise aufgrund der
begrenzten Bildaufnahmefrequenz nicht mehr erfaßbar ist,
dennoch erkannt.
Vorteilhaft gemäß Anspruch 9 ist es, vor einer genaueren
objektorientierten Analyse die Objekte in bezug auf ihre
Größe und ihre Form mit vorgegebenen Größen und vorgegebenen
Formen zu vergleichen und einen weiteren Vergleich der
Bildsignale der Objekte nicht durchzuführen, wenn die Größe
der Objekte beziehungsweise die Formen der Objekte nicht den
vorgegebenen Größen beziehungsweise den vorgegebenen Formen
entsprechen. Auf diese Weise wird die Effizienz des
Verfahrens verbessert.
Vorteilhaft gemäß Anspruch 10 ist die Auslösung von
Objektalarm für als bewegt erkannte Objekte. Dadurch läßt
sich das Verfahren bei Alarmanlagen einsetzen.
Vorteilhaft gemäß Anspruch 11 ist die Aufhebung der
Überwachung von als bewegt erkannten Objekten. Dadurch kann
Aufwand, Zeit und Speicherplatz für die Überwachung von noch
nicht als bewegt erkannten Objekten eingespart werden.
Vorteilhaft gemäß Anspruch 12 ist die Beurteilung der
Bewegungsschätzung durch ein Gütekriterium. Dadurch lassen
sich Objekte mit unzuverlässiger Bewegungsschätzung
besonders kennzeichnen und überwachen. Dies spielt vor allem
dann eine Rolle, wenn die Unzuverlässigkeit der Schätzung
darauf beruht, daß das Objekt die Aufnahmesituation
verlassen hat oder seine Bewegung aufgrund der begrenzten
Bildaufnahmefrequenz nicht erfaßbar ist. In solchen Fällen
kann dann vorsichtshalber Objektalarm gegeben werden.
Vorteilhaft gemäß Anspruch 13 ist die effiziente Berechnung
der Objektbewegung, indem die Verschiebung des Objektes
unter Verwendung der in einer Objektmaske enthaltenen
Bildpunkte ermittelt wird.
Vorteilhaft gemäß Anspruch 14 ist die Ermittlung der
Objektmaske durch die bildpunktgenaue Änderungsdetektion,
wobei jeder mehrfach zusammenhängende, als geändert erkannte
Bildbereich mit einer eigenen Bezeichnung gekennzeichnet
wird. Dadurch wird eine zusätzliche Vereinfachung des
erfindungsgemäßen Verfahrens erreicht.
Vorteilhaft gemäß Anspruch 15 ist eine einfache und wenig
aufwendige Zuordnung des überwachten Objekts zu einem Objekt
des aktuellen Bildes, indem eine Überlagerung der
Objektmasken unter Berücksichtigung der prädizierten
Objektbewegung durchgeführt und die Überlappung der
umschreibenden Rechtecke geprüft wird.
Vorteilhaft gemäß Anspruch 16 ist die Gewichtung der Größe
des bewegten Objektes in Abhängigkeit von der Bildposition.
Dadurch läßt sich eine perspektivische Beurteilung der
Aufnahmesituation realisieren und die Schwelle für
Objekterkennung beziehungsweise Objektalarm für weiter
entfernt angeordnete Objekte herabsetzen.
Vorteilhaft gemäß Anspruch 17 ist die Nachführung des
zweiten Referenzbildes durch Überschreiben mit dem ersten
Referenzbild, wenn kein Objekt überwacht wird und alle
Objekte im aktuellen Bild als nicht bewegte Objekte erkannt
wurden. Auf diese Weise kann eine einfache Aktualisierung
des zweiten Referenzbildes ohne bewegte Objekte realisiert
werden.
Vorteilhaft gemäß Anspruch 18 ist die Speicherung von
Objekten, die eine kleine Bewegung durchführen, in einem
Pufferspeicher und ihre Berücksichtigung im ersten
Referenzbild. Auf diese Weise können sehr kleine Bewegungen,
die sich aufakkumulieren, erfaßt werden.
Vorteilhaft gemäß Anspruch 19 ist das Überschreiben des
ersten Referenzbildes mit einem nachfolgenden aktuellen
Bild, wenn ein bewegtes oder mit einer unzuverlässigen
Bewegungsschätzung gekennzeichnetes Objekt vorliegt. Dadurch
wird die Bildaufnahmefrequenz erhöht, so daß auch
entsprechend schnell bewegte Objekte erfaßbar werden.
Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung
dargestellt und in der nachfolgenden Beschreibung näher
erläutert. Es zeigen
Fig. 1 eine Vorrichtung zur
Durchführung des Verfahrens, Fig. 2 einen schematischen
Programmablauf, Fig. 3 und Fig. 4 einen schematischen
Programmablauf eines Unterprogramms zur objektorientierten
Analyse, Fig. 5 eine Objektmaske mit Objektverschiebung,
Fig. 6 eine durch bildpunktgenaue Änderungsdetektion
ermittelte Objektmaske, Fig. 7 eine Überlagerung von
umschreibenden Rechtecken und Fig. 8 eine bildpunktgenaue
Überlappungsfläche von überlagerten umschreibenden
Rechtecken.
Fig. 1 zeigt eine Bildaufnahmeeinheit 1, die über eine
Datenleitung 7 mit einer Recheneinheit 2 verbunden ist. Die
Recheneinheit 2 ist über eine weitere Datenleitung 7 mit
einer Signalanzeige 5 verbunden. Zudem ist die Recheneinheit
2 über eine weitere Datenleitung 7 mit einem Speicher 4
verbunden. Weiterhin ist ein Bildschirm 6 über eine weitere
Datenleitung 7 mit der Recheneinheit 2 verbunden. Zusätzlich
zeigt die Fig. 1 eine Eingabeeinheit 3, die über eine
weitere Datenleitung 7 mit der Recheneinheit 2 verbunden
ist.
Fig. 2 zeigt einen schematischen Programmablauf zur
Durchführung des Verfahrens zur Erkennung bewegter Objekte
in zeitlich aufeinanderfolgenden Bildern. Das entsprechende
Programm ist im Speicher 4 abgelegt und wird von der
Recheneinheit 2 abgearbeitet.
Bei Programmpunkt 10 werden von der Bildaufnahmeeinheit 1
zwei zeitlich aufeinanderfolgende Bilder aufgenommen und an
die Recheneinheit 2 weitergegeben. Hierbei wird das zeitlich
ältere Bild in ein erstes Referenzbild kopiert. Das zeitlich
ältere Bild wird außerdem in ein zweites Referenzbild
kopiert, das die Aufnahmesituation ohne bewegte Objekte
darstellt. Das zeitlich jüngere Bild wird im folgenden als
aktuelles Bild bezeichnet.
Die Recheneinheit 2 speichert das aktuelle Bild, das erste
und das zweite Referenzbild im Speicher 4 ab und führt eine
Einteilung des aktuellen Bildes und des ersten
Referenzbildes in Bildblöcke durch. Auf diese Weise wird das
gesamte aktuelle Bild und das gesamte erste Referenzbild in
gleich große rechteckige Bildblöcke aufgeteilt. Dabei werden
zum Beispiel Bildblöcke in einer Größe von 10 × 10
Bildpunkten verwendet.
Bei Programmpunkt 20 wird für jeden Bildblock des aktuellen
Bildes durch einen Vergleich mit dem entsprechenden
Bildblock des ersten Referenzbildes die Meßgröße
Bildsignaländerung berechnet. Die so ermittelte Meßgröße
wird dann bei Programmpunkt 30 mit ihrer zeitlichen
Verteilungsfunktion - beschrieben durch Mittelwert und
Varianz - verglichen. Dabei wird für jeden der Bildblöcke
ein Bildsignaländerungsverhältnis rs zwischen der zuvor
ermittelten Bildsignaländerung und einer für den Bildblock
typischen Bildsignaländerung bestimmt, gemäß der Methode des
statistischen Signifikanztests. Die typische
Bildsignaländerung für einen Bildblock wird bei Beginn des
Verfahrens mit einem dem Rauschen der vorzugsweise als
Kamera ausgeführten Bildaufnahmeeinheit 1 entsprechenden
Wert initialisiert und bei Programmpunkt 320 rekursiv aus
der Bildfolge geschätzt. Für die Bildblöcke, deren
Bildsignaländerungsverhältnis rs größer als eine
Bildsignaländerungsschwelle ts ist, wird in eine blockgenaue
Statusmaske der Status "bewegtes Objekt" eingetragen. Für
die anderen Bildblöcke wird in die blockgenaue Statusmaske
der Status "kein bewegtes Objekt" eingetragen. Die
blockgenaue Statusmaske ist eine binäre Maske, in der bei
Überschreiten der Bildsignaländerungsschwelle ts der
entsprechende Bildblock beziehungsweise der Bildpunkt des
Bildblockes mit einer 1 belegt wird. Bei Unterschreitung der
Bildsignaländerungsschwelle ts wird der entsprechende
Bildblock der blockgenauen Statusmaske mit einer Null
belegt.
Bei Programmpunkt 40 wird für jeden der Bildblöcke im
aktuellen Bild die Meßgröße Textur berechnet.
Bei Programmpunkt 50 wird für jeden der Bildblöcke die
Abweichung der zuvor ermittelten Textur von der für den
Bildblock typischen Textur, charakterisiert durch den
zeitlichen Mittelwert der Textur für den betrachteten
Bildblock, ermittelt und ein Texturänderungsverhältnis rt
zwischen der zuvor ermittelten Texturänderung und einer für
den Bildblock typischen Texturänderung, charakterisiert
durch die zeitliche Varianz der typischen Textur, bestimmt,
gemäß der Methode des statistischen Signifikanztests. Die
Werte für den zeitlichen Mittelwert und die zeitliche
Varianz der Textur werden zu Beginn des Verfahrens mit
Werten aus dem ersten Referenzbild unter Berücksichtigung
des Kamerarauschens initialisiert und bei Programmpunkt 320
rekursiv aus der Bildfolge geschätzt. Liegt das
Texturänderungsverhältnis rt unterhalb einer
Texturänderungsschwelle tt und ist in der blockgenauen
Statusmaske der Status "bewegtes Objekt" eingetragen, so
wird in der blockgenauen Statusmaske der Status "kein
bewegtes Objekt" eingetragen. Danach steht in der
blockgenauen Statusmaske für alle Bildblöcke, bei denen das
Bildsignaländerungsverhältnis rs für die Bildsignaländerung
und das Texturänderungsverhältnis rt für die Texturänderung
oberhalb der entsprechenden Änderungsschwellen ts und tt
liegen, der Status "bewegtes Objekt". Für alle übrigen
Bildblöcke ist der Status "kein bewegtes Objekt"
eingetragen. Dabei entspricht der Status "bewegtes Objekt"
weiterhin einem mit 1 gekennzeichneten Bildblock der
blockgenauen Statusmaske und der Status "kein bewegtes
Objekt" einem mit einer Null gekennzeichneten Bildblock in
der blockgenauen Statusmaske. Bei Programmpunkt 60 wird in
ein Unterprogramm verzweigt, das eine objektorientierte
Analyse des aktuellen Bildes ermöglicht und dessen
Programmablauf schematisch in Fig. 3 und Fig. 4
dargestellt ist.
Für eine zeitliche Überwachung von Objekten wird eine
zweidimensionale Liste der überwachten Objekte verwaltet.
Ein Index der zweidimensionalen Liste zählt die Anzahl der
überwachten Objekte, der andere Index zählt die Anzahl der
Bilder, in denen ein überwachtes Objekt segmentiert wurde.
Diese zweidimensionale Liste wird zu Beginn des Verfahrens
als leer initialisiert.
Bei Programmpunkt 70 wird geprüft, ob in der
zweidimensionalen Liste der überwachten Objekte Objekte
eingetragen sind. Ist dies der Fall, so fährt das Verfahren
bei Programmpunkt 80 fort, andernfalls bei
Programmpunkt 110.
Bei Programmpunkt 80 wird für alle Objekte in der
zweidimensionalen Liste der überwachten Objekte eine
Bewegungsschätzung durchgeführt. Die Bewegungsschätzung wird
ausgehend von einem dritten Referenzbild, das einem zuvor
verwendeten aktuellen Bild entspricht, unter Prädiktion
einer neuen Objektposition für das aktuelle Bild
durchgeführt, wobei die Ausgangs-Objektpositionen der
Objektmaske des zuvor verwendeten aktuellen Bildes zu
entnehmen sind. Zu Beginn des Verfahrens ist noch kein
drittes Referenzbild vorhanden, da es kein zuvor verwendetes
aktuelles Bild gibt, genausowenig wie es eine dazugehörende
Objektmaske gibt. Die Bewegungsschätzung kann also zu Beginn
des Verfahrens nicht durchgeführt werden, wobei die
zweidimensionale Liste der überwachten Objekte zu Beginn des
Verfahrens sowieso als leer initialisiert wurde. Für die
Bewegungsschätzung wird ein Verfahren verwendet, bei dem
innerhalb eines Suchbereichs für jeden möglichen
Bewegungsvektor ein Gütekriterium ermittelt und der
Bewegungsvektor, der das Gütekriterium am besten erfüllt,
relativ zu den anderen möglichen Bewegungsvektoren bewertet
wird. Ist das Gütekriterium für den gefundenen
Bewegungsvektor mit dem besten Gütekriterium deutlich besser
erfüllt, als für alle anderen möglichen Bewegungsvektoren,
so liegt eine zuverlässige Schätzung vor. Ansonsten ist die
Schätzung als unzuverlässig zu bewerten. Das Ergebnis der
Bewegungsschätzung wird in die zweidimensionale Liste der
überwachten Objekte eingetragen.
Bei Programmpunkt 90 werden für alle Objekte aus der
zweidimensionalen Liste der überwachten Objekte, für die
zuvor ein Bewegungsvektor ermittelt werden konnte, unter
Verwendung dieses Vektors und der vorherigen Position in der
Objektmaske des zuvor verwendeten aktuellen Bildes eine neue
Objektposition im aktuellen Bild prädiziert.
In anschließenden Programmschritten werden objektorientierte
Analysen durchgeführt. Vorzugsweise werden die
objektorientierten Analysen nur für die Bildblöcke
durchgeführt, in denen ein mögliches bewegtes Objekt erkannt
wurde. Die entsprechenden Bildblöcke sind durch Einsen in
der blockgenauen Statusmaske gekennzeichnet. Die
objektorientierten Analysen werden auch für die Bildbereiche
durchgeführt, die von den prädizierten Objektpositionen
eingenommen werden.
So wird nun bei Programmpunkt 90 eine bildpunktgenaue
Hilfsmaske erzeugt, in die die prädizierten Objektpositionen
bildpunktgenau eingefügt werden.
Bei Programmpunkt 100 wird geprüft, ob es in der
blockgenauen Statusmaske Einträge mit dem Status "bewegtes
Objekt" gibt. Ist dies der Fall, so wird bei
Programmpunkt 120 fortgefahren, ansonsten wird zu
Programmpunkt 130 verzweigt.
Bei Programmpunkt 110 wird ebenfalls geprüft, ob es in der
blockgenauen Statusmaske Einträge mit dem Status "bewegtes
Objekt" gibt. Ist dies der Fall, so wird bei
Programmpunkt 120 fortgefahren, andernfalls wird bei
Programmpunkt 310 fortgefahren.
Bei Programmpunkt 120 werden alle Bildblöcke, die in der
blockgenauen Statusmaske den Status "bewegtes Objekt" haben,
bildpunktgenau in die entsprechenden Bereiche der
bildpunktgenauen Hilfsmaske eingetragen.
In der bildpunktgenauen Hilfsmaske sind nun alle die
Bildpunkte gekennzeichnet, die den objektorientierten
Analysen unterzogen werden sollen.
Bei Programmpunkt 130 werden die Bildsignale des aktuellen
Bildes in den gemäß der bildpunktgenauen Hilfsmaske
objektorientiert zu analysierenden Bildbereichen Bildpunkt
für Bildpunkt mit den entsprechenden Bildsignalen des
zweiten Referenzbildes verglichen, so daß eine
bildpunktgenaue Änderungsmaske ermittelt wird. Die
bildpunktgenaue Änderungsmaske stellt die bewegten Objekte
dar. Zur Ermittlung der bildpunktgenauen Änderungsmaske wird
das Bildsignal jedes Bildpunktes eines zu untersuchenden
Bildblocks des aktuellen Bildes mit dem entsprechenden
Bildsignal des Bildpunktes des zweiten Referenzbildes
verglichen. Die Differenz der Bildsignale wird anschließend
mit einer vorgegebenen ersten Schwelle verglichen. Ein
Bildpunkt wird in der Änderungsmaske gekennzeichnet, wenn
die entsprechende Differenz der Bildsignale über der
vorgegebenen ersten Schwelle liegt. Die vorgegebene erste
Schwelle kann dabei in Abhängigkeit des zeitlichen Verlaufs
des Bildsignals des entsprechenden Bildpunktes und/oder in
Abhängigkeit von den Bildsignalen räumlich angrenzender
Bildpunkte angepaßt werden.
Bei Programmpunkt 140 werden zusammenhängende Gebiete der
Änderungsmaske mit einer Kennung gekennzeichnet und als
Objekte erkannt. Das Ergebnis ist eine bildpunktgenaue
Objektmaske des aktuellen Bildes. In der bildbpunktgenauen
Objektmaske des aktuellen Bildes sind die Bildpunkte der
einzelnen Objekte mit einem objektspezifischen Grauwert
gekennzeichnet, der für das entsprechende Objekt
charakteristisch ist und es eindeutig und von den anderen
Objekten unterscheidbar kennzeichnet. Die Anzahl der
zusammenhängenden Gebiete ist die Objektanzahl des aktuellen
Bildes. Für jedes durch einen charakteristischen Grauwert
gekennzeichnetes Objekt der bildpunktgenauen Objektmaske des
aktuellen Bildes wird in einer Datenstruktur der
Objektstatus "bewegtes Objekt" abgespeichert.
Bei Programmpunkt 150 wird für alle Objekte des aktuellen
Bildes, die gemäß der bildpunktgenauen Objektmaske
gekennzeichnet sind, die Objektgröße ermittelt. Sie ergibt
sich direkt aus der Anzahl der Bildpunkte, die zu einem
zusammenhängenden Gebiet gehören. Alle Objekte, die kleiner
als eine vorgegebene zweite Größenschwelle sind, werden mit
dem Objektstatus "kein bewegtes Objekt" in der Datenstruktur
versehen. Alle anderen Objekte werden mit dem Objektstatus
"bewegtes Objekt" versehen. Die vorgegebene zweite
Größenschwelle wird hierbei angepaßt an die Position des
entsprechenden Objektes im aktuellen Bild und ermöglicht so
eine perspektivische Auswertung der Aufnahmesituation. Das
hierzu verwendete Verfahren ist in der nicht
vorveröffentlichten Patentanmeldung P 44 40 671 beschrieben.
Bei Programmpunkt 160 wird für alle Objekte, die den
Objektstatus "bewegtes Objekt" in der Datenstruktur haben,
eine Abweichung der Textur im Objektbereich des aktuellen
Bildes von der rekursiv ermittelten Textur der
Aufnahmesituation ohne Objekte bestimmt. Dazu wird für die
Bildblöcke, die zum Objekt gehören, die gewichtete Summe sa
der Quadrate der Abweichung der aktuellen Textur vom
zeitlichen Mittelwert der Textur und die gewichtete Summe sv
der zeitlichen Varianz der Textur bestimmt und in die
Datenstruktur eingetragen. Anschließend wird das
objektorientierte Texturänderungsverhältnis rtobj aus der
Summe der quadrierten Abweichungen sa und der Summe der
zeitlichen Varianzen sv ermittelt und ebenfalls in die
Datenstruktur für die entsprechenden Objekte eingetragen.
Das objektorientierte Texturänderungsverhältnis rtobj ist ein
Maß für die Abweichung der Textur im Objektbereich von der
Textur in diesem Bereich ohne Objekt. Die Gewichtung der
Bildblöcke wird dabei in Abhängigkeit von ihrem
Flächenanteil am entsprechenden Objekt vorgenommen.
Bei Programmpunkt 170 gemäß Fig. 4 wird geprüft, ob sich
Objekte in der zweidimensionalen Liste der überwachten
Objekte befinden. Ist dies nicht der Fall, fährt das
Verfahren fort bei Programmpunkt 220, andernfalls bei
Programmpunkt 180.
Bei Programmpunkt 180 findet eine Zuordnung von Objekten aus
der zweidimensionalen Liste der überwachten Objekte zu den
Objekten des aktuellen Bildes statt. Dabei wird für alle
Objekte in der zweidimensionalen Liste der überwachten
Objekte, deren genaue Position in der Objektmaske des zuvor
verwendeten aktuellen Bildes beschrieben ist, eine Zuordnung
zu den Objekten des aktuellen Bildes, deren genaue Position
in der bildpunktgenauen Objektmaske des aktuellen Bildes
beschrieben ist, durchgeführt. In Fig. 5 ist die
Objektmaske 11 des zuvor verwendeten aktuellen Bildes
dargestellt. Sie enthält die Maske 12 eines Objektes. Die zu
dem Objekt gehörige Maske 12 in der Objektmaske 11 des zuvor
verwendeten aktuellen Bildes wird nun um den für das Objekt
im Programmschritt 80 ermittelten Bewegungsvektor, der in
Fig. 5 durch das Bezugszeichen 13 gekennzeichnet ist,
verschoben. Dadurch erhält man eine verschobene Maske 14 des
Objektes. Anschließend wird geprüft, ob eine örtliche
Überlappung mit Objekten der bildpunktgenauen Objektmaske
des aktuellen Bildes, die in der Datenstruktur den Status
"bewegtes Objekt" haben, vorhanden ist. Dazu wird für die
Maske 14 des verschobenen Objekts ein umschreibendes
Rechteck 15 gebildet. Gemäß Fig. 6, die die bildpunktgenaue
Objektmaske 17 des aktuellen Bildes darstellt, wird auch das
dort dargestellte Objekt 20 mit einem umschreibenden
Rechteck 16 versehen. Dann wird für alle Objekte mit dem in
der Datenstruktur abgelegten Status "bewegtes Objekt" in der
bildpunktgenauen Objektmaske des aktuellen Bildes geprüft,
ob eine Überlappung der umschreibenden Rechtecke 15 und 16
vorhanden ist. Wenn es eine Überlappung gibt, so wird ein
Überlappungsrechteck 19 gemäß Fig. 7 ermittelt und
innerhalb dieses Überlappungsrechteckes 19 wird eine
bildpunktgenaue Überlappungsfläche 18 gemäß Fig. 8
bestimmt. Diese bildpunktgenaue Überlappungsfläche 18
befindet sich innerhalb des Überlappungsrechteckes 19. In
der bildpunktgenauen Objektmaske des aktuellen Bildes können
mehrere Objekte mit dem Status "bewegtes Objekt" vorhanden
sein. Es findet eine Zuordnung zu dem Objekt statt, mit dem
die bildpunktgenaue Überlappungsfläche maximal ist. Das
zugeordnete Objekt in der bildpunktgenauen Objektmaske des
aktuellen Bildes erhält dann den Status "bereits verfolgtes
Objekt", der in die Datenstruktur eingetragen wird. Die
Eigenschaften des Objektes werden anschließend in die
zweidimensionale Liste der überwachten Objekte eingetragen.
Wenn keine Überlappung mit einem der Objekte in der
bildpunktgenauen Objektmaske des aktuellen Bildes vorhanden
ist, so wird dies ebenfalls in die zweidimensionale Liste
der überwachten Objekte eingetragen. Ein solches Ereignis
kann beispielsweise bedeuten, daß das Objekt die
Aufnahmesituation verlassen hat oder von einem Hindernis
verdeckt wird.
Bei Programmpunkt 190 findet eine Auswertung aller Objekte
in der zweidimensionalen Liste der überwachten Objekte
statt. Dazu werden für jedes dieser Objekte zwei neue
Merkmale ermittelt. Zum einen ein Gesamtbewegungsvektor v
als vektorielle Summe der ermittelten Bewegungsvektoren, zum
anderen eine mittlere zeitliche objektbezogene
Texturänderung. Zur Ermittlung der mittleren zeitlichen
objektbezogenen Texturänderung werden die bei der
objektorientierten Analyse ermittelten gewichteten Summen
der bei der blockorientierten Analyse ermittelten
quadratischen Abweichungen der Texturen der Bildblöcke, die
mindestens teilweise das Objekt aufweisen, vom zeitlichen
Mittelwert der Textur objektorientiert über der Zeit
summiert und durch die zeitliche Summe der ebenfalls bei der
blockorientierten Analyse ermittelten und gleichermaßen
gewichteten Summen der zeitlichen Varianz der Textur
dividiert. Der sich ergebende Quotient rtges wird mit einer
vorgegebenen vierten Schwelle verglichen. Liegt der Quotient
rtges unterhalb dieser Schwelle, so wird das Objekt aus der
zweidimensionalen Liste der überwachten Objekte gelöscht.
Als nächstes wird der Betrag des Gesamtbewegungsvektors v
mit einer vorgegebenen zweiten Schwelle verglichen. Liegt
der Betrag unterhalb dieser Schwelle, so wird das Objekt aus
der zweidimensionalen Liste der überwachten Objekte
gelöscht. Ist der Betrag größer als diese vorgegebene zweite
Schwelle oder mit ihr identisch, so wird für den Fall, daß
für das Objekt bei der vorausgegangenen Bewegungsschätzung
bei Programmpunkt 80 kein Bewegungsvektor ermittelt werden
konnte oder für das Objekt kein Anschlußobjekt gefunden
wurde, ein bewegtes Objekt erkannt und das Objekt aus der
zweidimensionalen Liste gelöscht, da eine Weiterverfolgung
des bewegten Objektes nicht gewährleistet ist. Dadurch
werden beispielsweise Objekte als bewegt erkannt, die die
Aufnahmesituation verlassen haben oder aufgrund ihrer
Bewegung von einem Hindernis verdeckt werden. Liegt der
Betrag des Gesamtbewegungsvektors v oberhalb einer
vorgegebenen dritten Schwelle, so wird ein bewegtes
Objekt erkannt und das Objekt gegebenenfalls aus der
zweidimensionalen Liste gelöscht beziehungsweise zur
Weiterverfolgung in der zweidimensionalen Liste belassen.
Bei Programmpunkt 200 wird geprüft, ob in Programmpunkt 190
bewegte Objekte in der zweidimensionalen Liste der
überwachten Objekte erkannt wurden. Ist dies der Fall, so
wird bei Programmpunkt 210 Objektalarm ausgelöst und zu
Programmpunkt 220 verzweigt, andernfalls wird das Verfahren
bei Programmpunkt 220 ohne die Auslösung von Objektalarm
fortgesetzt. Bei Programmpunkt 220 wird für die Objekte in
der bildpunktgenauen Objektmaske des aktuellen Bildes, die
in der Datenstruktur den Status "bewegtes Objekt" haben, die
bei Programmpunkt 160 ermittelte Texturabweichung mit einer
objektorientierten Texturänderungsschwelle ttobj verglichen.
Liegt die Texturabweichung unterhalb dieser Schwelle, so
erhält das Objekt den Status "kein bewegtes Objekt" in der
Datenstruktur.
Bei Programmpunkt 230 wird für die Objekte in der
bildpunktgenauen Objektmaske des aktuellen Bildes, die in
der Datenstruktur den Status "bewegtes Objekt" haben, eine
objektorientierte Bildsignaländerung ermittelt. Dazu werden
für die Bildblöcke, die zum Objekt gehören, sowohl die
zeitlichen Mittelwerte der Bildsignaländerungen als auch die
aktuellen Bildsignaländerungen aufsummiert. Der Quotient aus
den beiden Summen ist das objektorientierte
Bildsignaländerungsverhältnis rsobj und ein Maß für die
Signifikanz der durch das Objekt hervorgerufenen
Bildsignaländerung. Die Bildblöcke werden dabei abhängig von
ihrem Flächenanteil am Objekt gewichtet.
Bei Programmpunkt 240 wird für alle Objekte mit dem Status
"bewegtes Objekt" das bei Programmpunkt 230 ermittelte
objektorientierte Bildsignaländerungsverhältnis rsobj mit
einer objektorientierten Bildsignaländerungsschwelle tsobj
vergleichen. Liegt das objektorientierte
Bildsignaländerungsverhältnis rsobj unterhalb dieser
Schwelle, so erhält das Objekt den Status "kein bewegtes
Objekt" in der Datenstruktur.
Bei Programmpunkt 250 wird für alle Objekte mit dem in der
Datenstruktur abgelegten Status "bewegtes Objekt", die in
ihrer bei Programmpunkt 150 ermittelten Objektgröße
unterhalb einer vorgegebenen ersten Größenschwelle liegen,
eine objektorientierte Bewegungsschätzung durchgeführt. Die
erste Größenschwelle ist dabei so gewählt, daß Objekte,
deren Größe oberhalb dieser Schwelle liegt, einen so großen
Flächenanteil am Gesamtbild besitzen, daß keine sinnvolle
Bewegungsschätzung mehr möglich ist. Bei der
objektorientierten Bewegungsschätzung wird ausgehend vom
aktuellen Bild für alle Objekte der bildpunktgenauen
Objektmaske des aktuellen Bildes, die den in der
Datenstruktur abgelegten Status "bewegtes Objekt" besitzen,
die Bewegung bezüglich des ersten Referenzbildes geschätzt.
Das hierzu verwendete Verfahren ermittelt wie bereits
beschrieben innerhalb eines Suchbereichs für jeden möglichen
Bewegungsvektor ein Gütekriterium und bewertet den
Bewegungsvektor, der das Gütekriterium am besten erfüllt,
relativ zu den anderen möglichen Bewegungsvektoren. Ist das
Gütekriterium für den Bewegungsvektor mit dem am besten
erfüllten Gütekriterium deutlich besser erfüllt als für alle
anderen möglichen Bewegungsvektoren, so liegt eine
zuverlässige Schätzung vor. Ansonsten ist die Schätzung als
unzuverlässig zu bewerten. Dieses auch bereits oben
beschriebene Verfahren ist zum Beispiel in der
Veröffentlichung "Zuverlässigkeit und Effizienz von
Verfahren zur Verschiebungsvektorschätzung", Jahrestagung
1995 der deutschen Arbeitsgemeinschaft für Mustererkennung,
Bielefeld, von R. Mester und M. Hötter, dargestellt. Wenn
der Bewegungsvektor für ein Objekt nicht zuverlässig
ermittelt werden kann, erhält das Objekt den Status
"unsicheres Objekt". Wenn der Bewegungsvektor zuverlässig
ermittelt werden kann, so wird sein Betrag zunächst mit der
vorgegebenen zweiten Schwelle verglichen. Liegt der Betrag
unterhalb der vorgegebenen zweiten Schwelle, so erhält das
Objekt den Status "Objekt mit kleiner Bewegung". Der
jeweilige Status wird wieder in der Datenstruktur abgelegt.
Liegt der Betrag des Bewegungsvektors oberhalb der
vorgegebenen zweiten Schwelle, so wird er mit der
vorgegebenen dritten Schwelle verglichen. Ist der Betrag des
Bewegungsvektors kleiner als diese vorgegebene dritte
Schwelle, so erhält das Objekt den Status "zu verfolgendes
Objekt" und wird in die zweidimensionale Liste der
überwachten Objekte eingetragen. Liegt der Betrag des
Bewegungsvektors über der dritten vorgegebenen Schwelle, so
wird das Objekt als bewegtes Objekt erkannt. Es erhält dann
den Status "bewegtes Objekt". Der jeweilige Status wird
wiederum in die Datenstruktur eingetragen.
Bei Programmpunkt 270 wird geprüft, ob sich Objekte im
aktuellen Bild befinden, die in der Datenstruktur den Status
"bewegtes Objekt" besitzen. Ist dies der Fall, so wird bei
Programmpunkt 280 Objektalarm ausgelöst. Objekte aus der
zweidimensionalen Liste der überwachten Objekte, für die
Objektalarm ausgelöst wurde, können entweder aus der
zweidimensionalen Liste gelöscht oder zur Weiterverfolgung
in der zweidimensionalen Liste belassen werden.
Bei Programmpunkt 290 wird die blockgenaue Statusmaske
entsprechend der Ergebnisse der objektorientierten Analyse
adaptiert. Dazu wird zunächst in alle Bildblöcke der Wert
"kein bewegtes Objekt" geschrieben. Dann wird für alle
Objekte der jeweils zugehörige Status aus der Datenstruktur
in die vom Objekt berührten Bildblöcke eingetragen. Da
hierbei ein Bildblock von mehreren Objekten berührt werden
kann, erfolgt die Ermittlung des Status in einer festen
Reihenfolge, so daß ein wichtigerer Status jeweils einen
unwichtigeren Status überschreibt. Die Reihenfolge des
Status mit steigender Wichtigkeit ist dabei wie folgt
gegeben: "Objekt mit kleiner Bewegung", "unsicheres Objekt",
"bereits verfolgtes Objekt", "zu verfolgendes Objekt",
"bewegtes Objekt". Für als bewegt erkannte Objekte aus der
zweidimensionalen Liste der überwachten Objekte, die nicht
aus der zweidimensionalen Liste gelöscht wurden, wird bei
erkannter Weiterbewegung erneut Alarm ausgelöst, so daß man
bei Weiterverfolgung eines als bewegt erkannten Objektes
unter Umständen eine mehrfache Auslösung von Objektalarm in
Kauf nimmt.
Bei Programmpunkt 300 wird, wenn in der zweidimensionalen
Liste der überwachten Objekte mindestens ein Objekt
eingetragen ist, die bildpunktgenaue Objektmaske des
aktuellen Bildes auf die Objektmaske des zuvor verwendeten
aktuellen Bildes kopiert, die somit ebenfalls eine
bildpunktgenaue Objektmaske darstellt, und das aktuelle Bild
wird in das dritte Referenzbild kopiert.
Bei Programmpunkt 310 wird, wenn in der zweidimensionalen
Liste der überwachten Objekte keine Objekte eingetragen sind
und alle Objekte im aktuellen Bild den Status "kein bewegtes
Objekt" in der Datenstruktur haben, das erste Referenzbild
als neues zweites Referenzbild gespeichert.
Bei Programmpunkt 320 wird die Statistik in Form von
Mittelwert und Varianz der blockorientierten
Bildsignaländerung und Textur in Abhängigkeit von der
blockgenauen Statusmaske nachgeführt. Hierzu werden IIR-
Filter erster Ordnung verwendet. Der Rekursionsfaktor r für
diese Filter wird in Abhängigkeit von der blockgenauen
Statusmaske eingestellt. In Bildbereichen, in denen die
Analyse bewegte Objekte oder mögliche bewegte Objekte
detektiert hat, wird beispielsweise ein kleiner
Rekursionsfaktor r eingestellt. In den anderen Bildbereichen
wird ein mittelgroßer Rekursionsfaktor r eingestellt, so daß
durch die Nachführung eine langsame Änderung der
Aufnahmesituation berücksichtigt wird, wie sie
beispielsweise beim Übergang zwischen Tag und Nacht
auftritt.
Bei Programmpunkt 330 werden alle Bildbereiche, für die in
der blockgenauen Statusmaske der Status "Objekte mit kleiner
Bewegung" eingetragen ist, aus dem ersten Referenzbild in
einen Pufferspeicher kopiert.
Bei Programmpunkt 340 wird geprüft, ob es mindestens ein
Objekt mit dem in der Datenstruktur abgelegten Status
"bewegtes Objekt" oder "unsicheres Objekt" gibt. Wenn dies
nicht der Fall ist, so wird bei Programmpunkt 350 das erste
Referenzbild mit dem aktuellen Bild überschrieben, und
anschließend wird das aktuelle Bild mit einem neuen
Videobild von der Bildaufnahmeeinheit 1 überschrieben. Gibt
es mindestens ein Objekt mit dem Status "bewegtes Objekt"
oder "unsicheres Objekt" in der Datenstruktur, so werden bei
Programmpunkt 360 das erste Referenzbild und das aktuelle
Bild mit neuen Videobildern von der Bildaufnahmeeinheit 1
überschrieben. Auf diese Weise wird die Bildaufnahmefrequenz
erhöht, so daß auch schneller bewegte Objekte erfaßt werden
können. Das Verfahren fährt dann fort bei Programmpunkt 370.
Bei Programmpunkt 370 werden alle Bildbereiche, für die in
der blockgenauen Statusmaske der Status "Objekt mit kleiner
Bewegung" eingetragen ist, aus dem Pufferspeicher in das
erste Referenzbild kopiert. Durch diese Vorgehensweise
können sehr kleine Bewegungen, die sich aufakkumulieren,
erfaßt werden.
Das Verfahren fährt fort bei Programmpunkt 20.
Zusätzlich oder alternativ zu der bei Programmpunkt 150
ermittelten Objektgröße kann auch ein Formmerkmal bestimmt
werden, um Objekte, deren Formen vorgegebene Anforderungen
nicht erfüllen, nicht als bewegte Objekte zu erkennen und
einen objektbezogenen Vergleich ihrer Bildsignale zur
Einsparung von Rechenaufwand zu vermeiden. Als Formmerkmal
kann beispielsweise die Linienhaftigkeit der
zusammenhängenden Gebiete ermittelt werden. Zur Ermittlung
der Linienhaftigkeit wird die maximale Ausdehnung e des
entsprechenden Objektes ermittelt. Dazu werden die
Bildpunkte eines zusammenhängenden Gebietes ermittelt, die
einen maximalen Abstand voneinander aufweisen. Als Meßgröße
der Linienhaftigkeit wird das Quadrat des maximalen
Abstandes, bezogen auf die Fläche des Objektes verwendet:
Linienhaftigkeit = e² : A, wobei mit e der maximale Abstand
zweier Bildpunkte des Objektes und mit A die Anzahl der
Bildpunkte des Objektes bezeichnet sind. Objekte, deren
Linienhaftigkeit oberhalb einer vorgegebenen
Linienhaftigkeitsschwelle liegt, wie dies beispielsweise bei
Ästen der Fall ist, werden nicht weiter untersucht und
erhalten den Status "kein bewegtes Objekt" in der
Datenstruktur.
Claims (19)
1. Verfahren zur Erkennung bewegter Objekte in zeitlich
aufeinander folgenden Bildern, wobei für eine
blockorientierte Analyse ein aktuelles Bild in Bildblöcke
eingeteilt wird, für jeden Bildblock ein Bildsignal des
aktuellen Bildes mit einem Bildsignal eines entsprechenden
Bildblockes eines ersten Referenzbildes, das in der
zeitlichen Folge der Bilder dem aktuellen Bild vorausgeht,
verglichen wird,
indem insbesondere eine Bildsignaländerung und/oder eine
Texturänderung ermittelt wird, dadurch gekennzeichnet, daß
für eine Änderungsdetektion die Differenz zwischen den
Bildsignalen des aktuellen Bildes und den Bildsignalen eines
zweiten Referenzbildes ohne bewegte Objekte bildpunktgenau
mit einer vorgegebenen ersten Schwelle verglichen wird, daß
bei Überschreiten der vorgegebenen ersten Schwelle in einer
objektorientierten Analyse die Größe und/oder die Form eines
Objektes ermittelt wird und die Bildsignale, die das bewegte
Objekt darstellen, mit den Bildsignalen des entsprechenden
Bildbereichs des ersten Referenzbildes, insbesondere durch
Ermittlung einer Bildsignaländerung und/oder einer
Texturänderung, verglichen werden, daß für mindestens ein
bewegtes Objekt des aktuellen Bildes, das eine vorgegebene
erste Größenschwelle unterschreitet, eine Bewegungsschätzung
durch Zuordnung zu einem entsprechenden Bildbereich des
ersten Referenzbildes und Bildung eines zugehörigen
Bewegungsvektors durchgeführt wird, daß bei Überschreiten
einer vorgegebenen zweiten Schwelle durch den Betrag des
geschätzten Bewegungsvektors das Objekt einer zeitlichen
Überwachung zugeführt wird und daß bei Überschreiten einer
vorgegebenen dritten Schwelle durch den Betrag des
geschätzten Bewegungsvektors das Objekt als bewegtes Objekt
erkannt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß
für mindestens ein zeitlich überwachtes Objekt eine
Bewegungsschätzung, ausgehend von einem dritten
Referenzbild, das einem zuvor verwendeten aktuellen Bild
entspricht, unter Bildung eines zugehörigen Bewegungsvektors
und entsprechender Prädiktion einer neuen Objektposition für
das aktuelle Bild durchgeführt wird, daß bei der
bildpunktgenauen Änderungsdetektion die Differenz zwischen
den Bildsignalen an der prädizierten Objektposition des
aktuellen Bildes und den entsprechenden Bildsignalen des
zweiten Referenzbildes bildpunktgenau mit der vorgegebenen
ersten Schwelle verglichen wird, daß bei Überschreiten der
vorgegebenen ersten Schwelle mit einer objektorientierten
Analyse die Größe und/oder die Form eines Objektes ermittelt
wird und die Bildsignale, die das überwachte Objekt
darstellen, objektorientiert mit den Bildsignalen des
entsprechenden Bildbereichs des ersten Referenzbildes durch
Ermittlung der Texturänderung verglichen werden, daß eine
Zuordnung des überwachten Objektes zu einem Objekt des
aktuellen Bildes durch Überlagerung der durch die
Bewegungsschätzung vorhergesagten Objektposition mit einer
entsprechenden bei der objektorientierten Analyse
ermittelten Objektposition im aktuellen Bild durchgeführt
wird, daß die Bewegung des überwachten Objektes in
Abhängigkeit von der Zeit durch Summierung bisheriger
Bewegungsvektoren ermittelt wird und daß bei Überschreiten
der vorgegebenen dritten Schwelle durch den Betrag des
summierten Bewegungsvektors das überwachte Objekt als
bewegtes Objekt erkannt wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet,
daß die objektorientierte Analyse nur in den Bildbereichen
durchgeführt wird, in denen durch die blockorientierte
Analyse bewegte Objekte festgestellt und/oder in denen durch
Bewegungsschätzung Objekte vorhergesagt wurden.
4. Verfahren nach Anspruch 1, 2 oder 3, dadurch
gekennzeichnet, daß für das überwachte Objekt die mittlere
zeitliche objektbezogene Texturänderung ermittelt wird und
daß bei Unterschreiten einer vorgegebenen vierten Schwelle
für die mittlere zeitliche objektbezogene Texturänderung die
Überwachung des Objektes aufgehoben wird.
5. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß zur Ermittlung der mittleren zeitlichen
objektbezogenen Texturänderung die bei der blockorientierten
Analyse ermittelten quadratischen Abweichungen der Texturen
der Bildblöcke, die mindestens teilweise das Objekt
aufweisen, vom zeitlichen Mittelwert der Textur gewichtet
summiert werden, wobei das Gewicht der Summanden
proportional zu der Fläche des Bildblockes gewählt wird, mit
der der Bildblock das Objekt abdeckt und daß die gewichteten
Summen objektorientiert über der Zeit summiert und durch die
zeitliche Summe der ebenfalls bei der blockorientierten
Analyse ermittelten und gleichermaßen gewichteten Summen der
zeitlichen Varianz der Textur dividiert werden.
6. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß bei Unterschreiten der vorgegebenen
zweiten Schwelle durch den Betrag des summierten
Bewegungsvektors des überwachten Objektes die Überwachung
des Objektes aufgehoben wird.
7. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß bei Überschreiten der vorgegebenen
zweiten Schwelle durch den Betrag des summierten
Bewegungsvektors des überwachten Objektes das Objekt als
bewegtes Objekt erkannt wird, falls bei der zuletzt
durchgeführten Bewegungsschätzung kein zuverlässiger
Bewegungsvektor ermittelt werden konnte.
8. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß bei Überschreiten der vorgegebenen
zweiten Schwelle durch den Betrag des summierten
Bewegungsvektors des überwachten Objektes das Objekt als
bewegtes Objekt erkannt wird, falls keine Zuordnung des
überwachten Objektes zu einem Objekt des aktuellen Bildes
möglich ist.
9. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß Objekte, deren Größe unter einer
vorgegebenen zweiten Größenschwelle liegt und Objekte, deren
Formen vorgegebene Anforderungen nicht erfüllen, nicht als
bewegte Objekte erkannt werden und ein objektbezogener
Vergleich ihrer Bildsignale unterbleibt.
10. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß für erkannte bewegte Objekte Objektalarm
ausgelöst wird.
11. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß für erkannte bewegte Objekte eine
bestehende Überwachung dieser Objekte aufgehoben wird.
12. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß zur Bewegungsschätzung innerhalb eines
vorgegebenen Suchbereichs für mögliche Bewegungsvektoren ein
Gütekriterium ermittelt wird, daß die Schätzung als
zuverlässig bewertet wird, wenn der Bewegungsvektor mit dem
besten Gütekriterium ein deutlich besseres Gütekriterium
aufweist, als die anderen möglichen Bewegungsvektoren und
daß die Schätzung ansonsten als unzuverlässig bewertet wird.
13. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß die Objektbewegung durch eine
Verschiebung der in einer Objektmaske enthaltenen
Bildpunkten ermittelt wird.
14. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß die Ermittlung der Objektmaske durch die
bildpunktgenaue Änderungsdetektion erfolgt und jeder
zusammenhängende, als geändert erkannte Bildbereich mit
einer Kennung gekennzeichnet wird.
15. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß für die Feststellung einer Zuordnung
des überwachten Objektes zu einem Objekt des aktuellen
Bildes die Objektmaske des aktuellen Bildes mit der
Objektmaske des zuvor verwendeten aktuellen Bildes unter
Berücksichtigung der prädizierten Objektbewegung überlagert
wird, wobei für eine eindeutige Zuordnung die umschreibenden
Rechtecke der entsprechenden Objekte überlappen müssen.
16. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß die Größe des bewegten Objektes in
Abhängigkeit von der Bildposition gewichtet ermittelt wird.
17. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß das erste Referenzbild in das zweite
Referenzbild kopiert wird, wenn kein Objekt überwacht wird
und alle Objekte im aktuellen Bild als nicht bewegte Objekte
erkannt wurden.
18. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß die Bildblöcke mit Objekten, die eine
kleine Bewegung durchführen, aus dem ersten Referenzbild in
einen Pufferspeicher kopiert werden und daß nach Änderung
des ersten Referenzbildes die Bildblöcke mit den Objekten
kleiner Bewegung aus dem Pufferspeicher wieder in das erste
Referenzbild kopiert werden.
19. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, daß das erste Referenzbild mit dem aktuellen
Bild überschrieben wird, wenn kein bewegtes oder mit einer
unzuverlässigen Bewegungsschätzung gekennzeichnetes Objekt
vorliegt und daß andernfalls das erste Referenzbild mit
einem nachfolgenden aktuellen Bild überschrieben wird.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19601005A DE19601005A1 (de) | 1996-01-15 | 1996-01-15 | Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern |
US08/913,892 US6069918A (en) | 1996-01-15 | 1996-10-26 | Method of detecting moving objects in chronologically successive images |
EP96945835A EP0815539B1 (de) | 1996-01-15 | 1996-10-26 | Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern |
CN96192566A CN1107282C (zh) | 1996-01-15 | 1996-10-26 | 在短时连续图象中识别运动目标的方法 |
PCT/DE1996/002046 WO1997026622A1 (de) | 1996-01-15 | 1996-10-26 | Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern |
DE59607782T DE59607782D1 (de) | 1996-01-15 | 1996-10-26 | Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern |
JP9525567A JPH11502351A (ja) | 1996-01-15 | 1996-10-26 | 時間的に順次連続する画像の運動物体を検出する方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19601005A DE19601005A1 (de) | 1996-01-15 | 1996-01-15 | Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern |
Publications (1)
Publication Number | Publication Date |
---|---|
DE19601005A1 true DE19601005A1 (de) | 1997-07-17 |
Family
ID=7782648
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19601005A Withdrawn DE19601005A1 (de) | 1996-01-15 | 1996-01-15 | Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern |
DE59607782T Expired - Lifetime DE59607782D1 (de) | 1996-01-15 | 1996-10-26 | Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE59607782T Expired - Lifetime DE59607782D1 (de) | 1996-01-15 | 1996-10-26 | Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern |
Country Status (6)
Country | Link |
---|---|
US (1) | US6069918A (de) |
EP (1) | EP0815539B1 (de) |
JP (1) | JPH11502351A (de) |
CN (1) | CN1107282C (de) |
DE (2) | DE19601005A1 (de) |
WO (1) | WO1997026622A1 (de) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1077397A1 (de) * | 1999-08-17 | 2001-02-21 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zur Videoüberwachung von Prozessanlagen |
DE19827835B4 (de) * | 1998-06-23 | 2012-01-19 | Robert Bosch Gmbh | Bildübertragungsverfahren und -vorrichtung |
DE19848490B4 (de) * | 1998-10-21 | 2012-02-02 | Robert Bosch Gmbh | Bildinformationsübertragungsverfahren und -vorrichtung |
DE19744694B4 (de) * | 1997-10-10 | 2013-01-03 | Robert Bosch Gmbh | Videobewegungsmeldeeinrichtung |
EP2590141A1 (de) * | 2011-11-02 | 2013-05-08 | EADS Deutschland GmbH | Verfahren und Vorrichtung zur Detektion bewegter Objekte in einer Videobildsequenz |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2305569B (en) * | 1995-09-21 | 1999-07-21 | Innovision Res Ltd | Motion compensated interpolation |
EP0866606B1 (de) * | 1996-10-04 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | Vorrichtung und verfahren zur zeitlichen und räumlichen integration und verwaltung einer vielzahl von videos sowie speichermedium zur speicherung eines programms dafür |
US6349113B1 (en) * | 1997-11-03 | 2002-02-19 | At&T Corp. | Method for detecting moving cast shadows object segmentation |
GB2356699A (en) * | 1999-11-23 | 2001-05-30 | Robotic Technology Systems Plc | Providing information of moving objects |
US9892606B2 (en) * | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
US8564661B2 (en) * | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
JP4112968B2 (ja) | 2002-12-26 | 2008-07-02 | 富士通株式会社 | ビデオテキスト処理装置 |
US7403640B2 (en) * | 2003-10-27 | 2008-07-22 | Hewlett-Packard Development Company, L.P. | System and method for employing an object-oriented motion detector to capture images |
JP4252916B2 (ja) * | 2004-03-18 | 2009-04-08 | 富士通マイクロエレクトロニクス株式会社 | 動きベクトルの探索範囲を決定する方法 |
US20060098844A1 (en) * | 2004-11-05 | 2006-05-11 | Huitao Luo | Object detection utilizing a rotated version of an image |
JP5061444B2 (ja) * | 2005-09-20 | 2012-10-31 | ソニー株式会社 | 撮像装置及び撮像方法 |
US20070115355A1 (en) * | 2005-11-18 | 2007-05-24 | Mccormack Kenneth | Methods and apparatus for operating a pan tilt zoom camera |
CN101394558B (zh) * | 2007-09-20 | 2011-05-11 | 奇扬网科股份有限公司 | 计算机画面的影像区域的检测与播放方法 |
JP5812808B2 (ja) * | 2011-01-05 | 2015-11-17 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
CN103037206B (zh) * | 2012-12-14 | 2016-05-18 | 广东威创视讯科技股份有限公司 | 视频传输方法和系统 |
US9378556B2 (en) * | 2014-04-25 | 2016-06-28 | Xerox Corporation | Method for reducing false object detection in stop-and-go scenarios |
US9865062B2 (en) * | 2016-02-12 | 2018-01-09 | Qualcomm Incorporated | Systems and methods for determining a region in an image |
JP6665611B2 (ja) | 2016-03-18 | 2020-03-13 | 富士通株式会社 | 符号化処理プログラム、符号化処理方法及び符号化処理装置 |
US11157765B2 (en) | 2018-11-21 | 2021-10-26 | Samsung Electronics Co., Ltd. | Method and system for determining physical characteristics of objects |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2183878B (en) * | 1985-10-11 | 1989-09-20 | Matsushita Electric Works Ltd | Abnormality supervising system |
US5034986A (en) * | 1989-03-01 | 1991-07-23 | Siemens Aktiengesellschaft | Method for detecting and tracking moving objects in a digital image sequence having a stationary background |
JP2953712B2 (ja) * | 1989-09-27 | 1999-09-27 | 株式会社東芝 | 移動物体検知装置 |
US5243418A (en) * | 1990-11-27 | 1993-09-07 | Kabushiki Kaisha Toshiba | Display monitoring system for detecting and tracking an intruder in a monitor area |
JP2863381B2 (ja) * | 1992-09-25 | 1999-03-03 | 矢崎総業株式会社 | 車両用監視方法 |
KR100276681B1 (ko) * | 1992-11-07 | 2001-01-15 | 이데이 노부유끼 | 비디오 카메라 시스템 |
DE4311972A1 (de) * | 1993-04-10 | 1994-10-13 | Bosch Gmbh Robert | Verfahren zur Detektion von Änderungen in Bewegtbildern |
DE4332753C2 (de) * | 1993-09-25 | 1997-01-30 | Bosch Gmbh Robert | Verfahren zur Erkennung bewegter Objekte |
US5666157A (en) * | 1995-01-03 | 1997-09-09 | Arc Incorporated | Abnormality detection and surveillance system |
US5764283A (en) * | 1995-12-29 | 1998-06-09 | Lucent Technologies Inc. | Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths |
-
1996
- 1996-01-15 DE DE19601005A patent/DE19601005A1/de not_active Withdrawn
- 1996-10-26 US US08/913,892 patent/US6069918A/en not_active Expired - Lifetime
- 1996-10-26 DE DE59607782T patent/DE59607782D1/de not_active Expired - Lifetime
- 1996-10-26 WO PCT/DE1996/002046 patent/WO1997026622A1/de active IP Right Grant
- 1996-10-26 EP EP96945835A patent/EP0815539B1/de not_active Expired - Lifetime
- 1996-10-26 CN CN96192566A patent/CN1107282C/zh not_active Expired - Fee Related
- 1996-10-26 JP JP9525567A patent/JPH11502351A/ja not_active Ceased
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19744694B4 (de) * | 1997-10-10 | 2013-01-03 | Robert Bosch Gmbh | Videobewegungsmeldeeinrichtung |
DE19827835B4 (de) * | 1998-06-23 | 2012-01-19 | Robert Bosch Gmbh | Bildübertragungsverfahren und -vorrichtung |
DE19848490B4 (de) * | 1998-10-21 | 2012-02-02 | Robert Bosch Gmbh | Bildinformationsübertragungsverfahren und -vorrichtung |
EP1077397A1 (de) * | 1999-08-17 | 2001-02-21 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zur Videoüberwachung von Prozessanlagen |
EP2590141A1 (de) * | 2011-11-02 | 2013-05-08 | EADS Deutschland GmbH | Verfahren und Vorrichtung zur Detektion bewegter Objekte in einer Videobildsequenz |
Also Published As
Publication number | Publication date |
---|---|
CN1178592A (zh) | 1998-04-08 |
EP0815539A1 (de) | 1998-01-07 |
CN1107282C (zh) | 2003-04-30 |
US6069918A (en) | 2000-05-30 |
EP0815539B1 (de) | 2001-09-26 |
DE59607782D1 (de) | 2001-10-31 |
JPH11502351A (ja) | 1999-02-23 |
WO1997026622A1 (de) | 1997-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0815539B1 (de) | Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern | |
DE602004005358T2 (de) | Objektdetektion in bildern | |
DE69635980T2 (de) | Verfahren und vorrichtung zur detektierung von objektbewegung in einer bilderfolge | |
DE602005003926T2 (de) | System und verfahren zum erkennen eines vorbeikommenden fahrzeugs aus dynamischem hintergrund unter verwendung robuster informationsfusion | |
EP0669034B1 (de) | Verfahren zur detektion und abspaltung des schattens sich bewegender objekte in einer digitalen bildsequenz | |
DE102018116111A1 (de) | Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung | |
EP2034461B1 (de) | Verfahren zur Detektion und/oder Verfolgung von bewegten Objekten in einer Überwachungsszene mit Störern, Vorrichtung sowie Computerprogramm | |
DE60224324T2 (de) | Verfahren und Vorrichtung zur Verarbeitung von Fahrzeugbildern | |
DE102009038364A1 (de) | Verfahren und System zur automatischen Objekterkennung und anschließenden Objektverfolgung nach Maßgabe der Objektform | |
EP1346330B1 (de) | Video-rauchdetektionssystem | |
DE4332753C2 (de) | Verfahren zur Erkennung bewegter Objekte | |
EP2174260A2 (de) | Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm | |
DE4407528A1 (de) | System und Verfahren zur Bildauswertung | |
DE10042935B4 (de) | Verfahren zum Überwachen eines vorbestimmten Bereichs und entsprechendes System | |
DE4314483A1 (de) | Überwachungssystem | |
EP2483834B1 (de) | Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild | |
DE10049366A1 (de) | Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System | |
DE4440671A1 (de) | Verfahren zur objektorientierten Erkennung bewegter Objekte | |
WO2012110654A1 (de) | Verfahren zur auswertung einer mehrzahl zeitlich versetzter bilder, vorrichtung zur auswertung von bildern, überwachungssystem | |
DE102013201682A1 (de) | Auswählen von sichtbaren Gebieten in Nachtbildern zum Durchführen einer Detektion eines freien Pfads | |
DE102019204602A1 (de) | Verfahren und Vorrichtung zur Maskierung von in einem Bild enthaltenen Objekten | |
DE10210926A1 (de) | Vorrichtung zur Verfolgung wenigstens eines Objekts in einer Szene | |
DE102018121158A1 (de) | Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen | |
DE102006060612A1 (de) | Verfahren zur Überwachung von Zielobjekten und Multispektralkamera dazu | |
EP0749619A1 (de) | System und verfahren zur bildauswertung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8110 | Request for examination paragraph 44 | ||
8139 | Disposal/non-payment of the annual fee |