DE19601005A1 - Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern - Google Patents

Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern

Info

Publication number
DE19601005A1
DE19601005A1 DE19601005A DE19601005A DE19601005A1 DE 19601005 A1 DE19601005 A1 DE 19601005A1 DE 19601005 A DE19601005 A DE 19601005A DE 19601005 A DE19601005 A DE 19601005A DE 19601005 A1 DE19601005 A1 DE 19601005A1
Authority
DE
Germany
Prior art keywords
image
objects
threshold
moving
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE19601005A
Other languages
English (en)
Other versions
DE719905T1 (de
Inventor
Michael Dipl Ing Meyer
Michael Dr Ing Dr Hoetter
Frank Dipl Ing Rottmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE19601005A priority Critical patent/DE19601005A1/de
Priority to US08/913,892 priority patent/US6069918A/en
Priority to EP96945835A priority patent/EP0815539B1/de
Priority to CN96192566A priority patent/CN1107282C/zh
Priority to PCT/DE1996/002046 priority patent/WO1997026622A1/de
Priority to DE59607782T priority patent/DE59607782D1/de
Priority to JP9525567A priority patent/JPH11502351A/ja
Publication of DE19601005A1 publication Critical patent/DE19601005A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/231Analysis of motion using block-matching using full search
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

Stand der Technik
Die Erfindung geht von einem Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinander folgenden Bildern nach der Gattung des Hauptanspruchs aus.
Aus der noch nicht vorveröffentlichten Patentanmeldung mit dem Aktenzeichen P 44 40 671 ist bereits ein Verfahren zur optischen Erkennung bewegter Objekte beschrieben. Zur Ermittlung eines bewegten Objektes wird bei dem bekannten Verfahren ein aktuelles Bild mit einem Referenzbild in bezug auf die Meßgrößen Bildsignaländerung, Textur und Verschiebung verglichen. Wird ein bewegtes Objekt erkannt, wird anschließend eine objektorientierte Analyse der bewegten Objekte mittels einer bildpunktgenauen Änderungsdetektion in bezug auf ein Hintergrundbild durchgeführt. Anschließend werden in einer Objektmaske die zu dem bewegten Objekt gehörenden und zusammenhängenden Bildbereiche gekennzeichnet. Aufgrund einer abschließenden Topologieuntersuchung anhand der Merkmale, Größe und Linienhaftigkeit sowie eine Untersuchung der objektbezogenen Meßgrößen Bildsignaländerung, Textur und Bewegung wird ein bewegtes Objekt erkannt.
Vorteile der Erfindung
Das erfindungsgemäße Verfahren mit den Merkmalen des Hauptanspruchs hat demgegenüber den Vorteil, daß Objektmerkmale für ein Objekt nicht nur zu einem Zeitpunkt ermittelt und ausgewertet werden, sondern daß eine zeitliche Folge von Merkmalen ermittelt und ausgewertet wird. Dadurch ist eine Unterscheidung zwischen Objekten, die sich nur kurzzeitig und über eine kurze Distanz bewegen, von Objekten, die sich kontinuierlich über größere Strecken bewegen, möglich. So ist beispielsweise eine Unterscheidung zwischen Personen, die sich gerichtet durch eine Aufnahmesituation bewegen, und Bereichen von Bäumen, die sich im Wind nur über kleine Strecken bewegen, möglich. Auf diese Weise wird die Stabilität des Objektdetektionsverfahrens aufgrund einer verbesserten Unterscheidung von Nutzgrößen und Störgrößen erhöht.
Durch die in den Unteransprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im Hauptanspruch angegebenen Verfahrens möglich.
Besonders vorteilhaft gemäß Anspruch 2 ist die Ermittlung der Objektbewegung in Abhängigkeit von der Zeit durch Summierung bisheriger Bewegungsvektoren. Dadurch erhält man zusätzlich zu der Information, daß sich ein bewegtes Objekt gerichtet durch eine beobachtete Aufnahmesituation bewegt, eine genaue Information über den Weg des Objektes durch die Aufnahmesituation in Form einer Vektorkette. Auf diese Weise wird die Beurteilung einer Alarmierung wesentlich verbessert.
Vorteilhaft nach Anspruch 3 ist die Beschränkung der objektorientierten Analyse auf die Bildbereiche, in denen durch die blockorientierte Analyse bewegte Objekte festgestellt beziehungsweise in denen durch Bewegungsschätzung Objekte vorhergesagt wurden. Auf diese Weise wird nur in den Bildbereichen eine Analyse durchgeführt, die von Objektbewegung betroffen sind, so daß Rechenaufwand und Rechenzeit eingespart werden.
Vorteilhaft gemäß Anspruch 4 ist die Einbeziehung der mittleren zeitlichen objektbezogenen Texturänderung zur Beurteilung der Notwendigkeit, ein Objekt zu überwachen oder nicht. Auf diese Weise steht ein zusätzliches Merkmal zur Beurteilung des zeitlichen Verhaltens eines Objektes zur Verfügung, so daß die Unterscheidung von Nutzgrößen und Störgrößen weiter verbessert wird.
Vorteilhaft gemäß Anspruch 5 ist die Nutzung der blockorientierten Analyse der Texturänderungen zur Bestimmung der mittleren zeitlichen objektbezogenen Texturänderung. Dadurch wird der Zusatzaufwand zur Bestimmung der mittleren zeitlichen objektbezogenen Texturänderung wesentlich verringert.
Vorteilhaft gemäß Anspruch 6 ist die Aufhebung der Überwachung des Objektes, wenn der Betrag des summierten Bewegungsvektors die vorgegebene zweite Schwelle unterschreitet. Dadurch werden Objekte, deren Bewegung nicht von Interesse ist, wie beispielsweise ein sich hin und her bewegender Ast eines Baumes, von interessierenden Objekten mit einer gerichteten Bewegung unterschieden und gleichzeitig Aufwand gespart, da weniger Objekte überwacht werden müssen.
Vorteilhaft gemäß den Ansprüchen 7 und 8 ist die Erkennung eines überwachten Objektes als bewegtes Objekt, falls bei der zuletzt durchgeführten Bewegungsschätzung kein Bewegungsvektor ermittelt werden konnte beziehungsweise keine Zuordnung des überwachten Objektes zu einem Objekt des aktuellen Bildes möglich ist. Auf diese Weise wird die Bewegung von Objekten, die beispielsweise aufgrund der begrenzten Bildaufnahmefrequenz nicht mehr erfaßbar ist, dennoch erkannt.
Vorteilhaft gemäß Anspruch 9 ist es, vor einer genaueren objektorientierten Analyse die Objekte in bezug auf ihre Größe und ihre Form mit vorgegebenen Größen und vorgegebenen Formen zu vergleichen und einen weiteren Vergleich der Bildsignale der Objekte nicht durchzuführen, wenn die Größe der Objekte beziehungsweise die Formen der Objekte nicht den vorgegebenen Größen beziehungsweise den vorgegebenen Formen entsprechen. Auf diese Weise wird die Effizienz des Verfahrens verbessert.
Vorteilhaft gemäß Anspruch 10 ist die Auslösung von Objektalarm für als bewegt erkannte Objekte. Dadurch läßt sich das Verfahren bei Alarmanlagen einsetzen.
Vorteilhaft gemäß Anspruch 11 ist die Aufhebung der Überwachung von als bewegt erkannten Objekten. Dadurch kann Aufwand, Zeit und Speicherplatz für die Überwachung von noch nicht als bewegt erkannten Objekten eingespart werden.
Vorteilhaft gemäß Anspruch 12 ist die Beurteilung der Bewegungsschätzung durch ein Gütekriterium. Dadurch lassen sich Objekte mit unzuverlässiger Bewegungsschätzung besonders kennzeichnen und überwachen. Dies spielt vor allem dann eine Rolle, wenn die Unzuverlässigkeit der Schätzung darauf beruht, daß das Objekt die Aufnahmesituation verlassen hat oder seine Bewegung aufgrund der begrenzten Bildaufnahmefrequenz nicht erfaßbar ist. In solchen Fällen kann dann vorsichtshalber Objektalarm gegeben werden.
Vorteilhaft gemäß Anspruch 13 ist die effiziente Berechnung der Objektbewegung, indem die Verschiebung des Objektes unter Verwendung der in einer Objektmaske enthaltenen Bildpunkte ermittelt wird.
Vorteilhaft gemäß Anspruch 14 ist die Ermittlung der Objektmaske durch die bildpunktgenaue Änderungsdetektion, wobei jeder mehrfach zusammenhängende, als geändert erkannte Bildbereich mit einer eigenen Bezeichnung gekennzeichnet wird. Dadurch wird eine zusätzliche Vereinfachung des erfindungsgemäßen Verfahrens erreicht.
Vorteilhaft gemäß Anspruch 15 ist eine einfache und wenig aufwendige Zuordnung des überwachten Objekts zu einem Objekt des aktuellen Bildes, indem eine Überlagerung der Objektmasken unter Berücksichtigung der prädizierten Objektbewegung durchgeführt und die Überlappung der umschreibenden Rechtecke geprüft wird.
Vorteilhaft gemäß Anspruch 16 ist die Gewichtung der Größe des bewegten Objektes in Abhängigkeit von der Bildposition. Dadurch läßt sich eine perspektivische Beurteilung der Aufnahmesituation realisieren und die Schwelle für Objekterkennung beziehungsweise Objektalarm für weiter entfernt angeordnete Objekte herabsetzen.
Vorteilhaft gemäß Anspruch 17 ist die Nachführung des zweiten Referenzbildes durch Überschreiben mit dem ersten Referenzbild, wenn kein Objekt überwacht wird und alle Objekte im aktuellen Bild als nicht bewegte Objekte erkannt wurden. Auf diese Weise kann eine einfache Aktualisierung des zweiten Referenzbildes ohne bewegte Objekte realisiert werden.
Vorteilhaft gemäß Anspruch 18 ist die Speicherung von Objekten, die eine kleine Bewegung durchführen, in einem Pufferspeicher und ihre Berücksichtigung im ersten Referenzbild. Auf diese Weise können sehr kleine Bewegungen, die sich aufakkumulieren, erfaßt werden.
Vorteilhaft gemäß Anspruch 19 ist das Überschreiben des ersten Referenzbildes mit einem nachfolgenden aktuellen Bild, wenn ein bewegtes oder mit einer unzuverlässigen Bewegungsschätzung gekennzeichnetes Objekt vorliegt. Dadurch wird die Bildaufnahmefrequenz erhöht, so daß auch entsprechend schnell bewegte Objekte erfaßbar werden.
Zeichnung
Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen
Fig. 1 eine Vorrichtung zur Durchführung des Verfahrens, Fig. 2 einen schematischen Programmablauf, Fig. 3 und Fig. 4 einen schematischen Programmablauf eines Unterprogramms zur objektorientierten Analyse, Fig. 5 eine Objektmaske mit Objektverschiebung, Fig. 6 eine durch bildpunktgenaue Änderungsdetektion ermittelte Objektmaske, Fig. 7 eine Überlagerung von umschreibenden Rechtecken und Fig. 8 eine bildpunktgenaue Überlappungsfläche von überlagerten umschreibenden Rechtecken.
Beschreibung des Ausführungsbeispiels
Fig. 1 zeigt eine Bildaufnahmeeinheit 1, die über eine Datenleitung 7 mit einer Recheneinheit 2 verbunden ist. Die Recheneinheit 2 ist über eine weitere Datenleitung 7 mit einer Signalanzeige 5 verbunden. Zudem ist die Recheneinheit 2 über eine weitere Datenleitung 7 mit einem Speicher 4 verbunden. Weiterhin ist ein Bildschirm 6 über eine weitere Datenleitung 7 mit der Recheneinheit 2 verbunden. Zusätzlich zeigt die Fig. 1 eine Eingabeeinheit 3, die über eine weitere Datenleitung 7 mit der Recheneinheit 2 verbunden ist.
Fig. 2 zeigt einen schematischen Programmablauf zur Durchführung des Verfahrens zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern. Das entsprechende Programm ist im Speicher 4 abgelegt und wird von der Recheneinheit 2 abgearbeitet.
Bei Programmpunkt 10 werden von der Bildaufnahmeeinheit 1 zwei zeitlich aufeinanderfolgende Bilder aufgenommen und an die Recheneinheit 2 weitergegeben. Hierbei wird das zeitlich ältere Bild in ein erstes Referenzbild kopiert. Das zeitlich ältere Bild wird außerdem in ein zweites Referenzbild kopiert, das die Aufnahmesituation ohne bewegte Objekte darstellt. Das zeitlich jüngere Bild wird im folgenden als aktuelles Bild bezeichnet.
Die Recheneinheit 2 speichert das aktuelle Bild, das erste und das zweite Referenzbild im Speicher 4 ab und führt eine Einteilung des aktuellen Bildes und des ersten Referenzbildes in Bildblöcke durch. Auf diese Weise wird das gesamte aktuelle Bild und das gesamte erste Referenzbild in gleich große rechteckige Bildblöcke aufgeteilt. Dabei werden zum Beispiel Bildblöcke in einer Größe von 10 × 10 Bildpunkten verwendet.
Bei Programmpunkt 20 wird für jeden Bildblock des aktuellen Bildes durch einen Vergleich mit dem entsprechenden Bildblock des ersten Referenzbildes die Meßgröße Bildsignaländerung berechnet. Die so ermittelte Meßgröße wird dann bei Programmpunkt 30 mit ihrer zeitlichen Verteilungsfunktion - beschrieben durch Mittelwert und Varianz - verglichen. Dabei wird für jeden der Bildblöcke ein Bildsignaländerungsverhältnis rs zwischen der zuvor ermittelten Bildsignaländerung und einer für den Bildblock typischen Bildsignaländerung bestimmt, gemäß der Methode des statistischen Signifikanztests. Die typische Bildsignaländerung für einen Bildblock wird bei Beginn des Verfahrens mit einem dem Rauschen der vorzugsweise als Kamera ausgeführten Bildaufnahmeeinheit 1 entsprechenden Wert initialisiert und bei Programmpunkt 320 rekursiv aus der Bildfolge geschätzt. Für die Bildblöcke, deren Bildsignaländerungsverhältnis rs größer als eine Bildsignaländerungsschwelle ts ist, wird in eine blockgenaue Statusmaske der Status "bewegtes Objekt" eingetragen. Für die anderen Bildblöcke wird in die blockgenaue Statusmaske der Status "kein bewegtes Objekt" eingetragen. Die blockgenaue Statusmaske ist eine binäre Maske, in der bei Überschreiten der Bildsignaländerungsschwelle ts der entsprechende Bildblock beziehungsweise der Bildpunkt des Bildblockes mit einer 1 belegt wird. Bei Unterschreitung der Bildsignaländerungsschwelle ts wird der entsprechende Bildblock der blockgenauen Statusmaske mit einer Null belegt.
Bei Programmpunkt 40 wird für jeden der Bildblöcke im aktuellen Bild die Meßgröße Textur berechnet.
Bei Programmpunkt 50 wird für jeden der Bildblöcke die Abweichung der zuvor ermittelten Textur von der für den Bildblock typischen Textur, charakterisiert durch den zeitlichen Mittelwert der Textur für den betrachteten Bildblock, ermittelt und ein Texturänderungsverhältnis rt zwischen der zuvor ermittelten Texturänderung und einer für den Bildblock typischen Texturänderung, charakterisiert durch die zeitliche Varianz der typischen Textur, bestimmt, gemäß der Methode des statistischen Signifikanztests. Die Werte für den zeitlichen Mittelwert und die zeitliche Varianz der Textur werden zu Beginn des Verfahrens mit Werten aus dem ersten Referenzbild unter Berücksichtigung des Kamerarauschens initialisiert und bei Programmpunkt 320 rekursiv aus der Bildfolge geschätzt. Liegt das Texturänderungsverhältnis rt unterhalb einer Texturänderungsschwelle tt und ist in der blockgenauen Statusmaske der Status "bewegtes Objekt" eingetragen, so wird in der blockgenauen Statusmaske der Status "kein bewegtes Objekt" eingetragen. Danach steht in der blockgenauen Statusmaske für alle Bildblöcke, bei denen das Bildsignaländerungsverhältnis rs für die Bildsignaländerung und das Texturänderungsverhältnis rt für die Texturänderung oberhalb der entsprechenden Änderungsschwellen ts und tt liegen, der Status "bewegtes Objekt". Für alle übrigen Bildblöcke ist der Status "kein bewegtes Objekt" eingetragen. Dabei entspricht der Status "bewegtes Objekt" weiterhin einem mit 1 gekennzeichneten Bildblock der blockgenauen Statusmaske und der Status "kein bewegtes Objekt" einem mit einer Null gekennzeichneten Bildblock in der blockgenauen Statusmaske. Bei Programmpunkt 60 wird in ein Unterprogramm verzweigt, das eine objektorientierte Analyse des aktuellen Bildes ermöglicht und dessen Programmablauf schematisch in Fig. 3 und Fig. 4 dargestellt ist.
Für eine zeitliche Überwachung von Objekten wird eine zweidimensionale Liste der überwachten Objekte verwaltet. Ein Index der zweidimensionalen Liste zählt die Anzahl der überwachten Objekte, der andere Index zählt die Anzahl der Bilder, in denen ein überwachtes Objekt segmentiert wurde. Diese zweidimensionale Liste wird zu Beginn des Verfahrens als leer initialisiert.
Bei Programmpunkt 70 wird geprüft, ob in der zweidimensionalen Liste der überwachten Objekte Objekte eingetragen sind. Ist dies der Fall, so fährt das Verfahren bei Programmpunkt 80 fort, andernfalls bei Programmpunkt 110.
Bei Programmpunkt 80 wird für alle Objekte in der zweidimensionalen Liste der überwachten Objekte eine Bewegungsschätzung durchgeführt. Die Bewegungsschätzung wird ausgehend von einem dritten Referenzbild, das einem zuvor verwendeten aktuellen Bild entspricht, unter Prädiktion einer neuen Objektposition für das aktuelle Bild durchgeführt, wobei die Ausgangs-Objektpositionen der Objektmaske des zuvor verwendeten aktuellen Bildes zu entnehmen sind. Zu Beginn des Verfahrens ist noch kein drittes Referenzbild vorhanden, da es kein zuvor verwendetes aktuelles Bild gibt, genausowenig wie es eine dazugehörende Objektmaske gibt. Die Bewegungsschätzung kann also zu Beginn des Verfahrens nicht durchgeführt werden, wobei die zweidimensionale Liste der überwachten Objekte zu Beginn des Verfahrens sowieso als leer initialisiert wurde. Für die Bewegungsschätzung wird ein Verfahren verwendet, bei dem innerhalb eines Suchbereichs für jeden möglichen Bewegungsvektor ein Gütekriterium ermittelt und der Bewegungsvektor, der das Gütekriterium am besten erfüllt, relativ zu den anderen möglichen Bewegungsvektoren bewertet wird. Ist das Gütekriterium für den gefundenen Bewegungsvektor mit dem besten Gütekriterium deutlich besser erfüllt, als für alle anderen möglichen Bewegungsvektoren, so liegt eine zuverlässige Schätzung vor. Ansonsten ist die Schätzung als unzuverlässig zu bewerten. Das Ergebnis der Bewegungsschätzung wird in die zweidimensionale Liste der überwachten Objekte eingetragen.
Bei Programmpunkt 90 werden für alle Objekte aus der zweidimensionalen Liste der überwachten Objekte, für die zuvor ein Bewegungsvektor ermittelt werden konnte, unter Verwendung dieses Vektors und der vorherigen Position in der Objektmaske des zuvor verwendeten aktuellen Bildes eine neue Objektposition im aktuellen Bild prädiziert.
In anschließenden Programmschritten werden objektorientierte Analysen durchgeführt. Vorzugsweise werden die objektorientierten Analysen nur für die Bildblöcke durchgeführt, in denen ein mögliches bewegtes Objekt erkannt wurde. Die entsprechenden Bildblöcke sind durch Einsen in der blockgenauen Statusmaske gekennzeichnet. Die objektorientierten Analysen werden auch für die Bildbereiche durchgeführt, die von den prädizierten Objektpositionen eingenommen werden.
So wird nun bei Programmpunkt 90 eine bildpunktgenaue Hilfsmaske erzeugt, in die die prädizierten Objektpositionen bildpunktgenau eingefügt werden.
Bei Programmpunkt 100 wird geprüft, ob es in der blockgenauen Statusmaske Einträge mit dem Status "bewegtes Objekt" gibt. Ist dies der Fall, so wird bei Programmpunkt 120 fortgefahren, ansonsten wird zu Programmpunkt 130 verzweigt.
Bei Programmpunkt 110 wird ebenfalls geprüft, ob es in der blockgenauen Statusmaske Einträge mit dem Status "bewegtes Objekt" gibt. Ist dies der Fall, so wird bei Programmpunkt 120 fortgefahren, andernfalls wird bei Programmpunkt 310 fortgefahren.
Bei Programmpunkt 120 werden alle Bildblöcke, die in der blockgenauen Statusmaske den Status "bewegtes Objekt" haben, bildpunktgenau in die entsprechenden Bereiche der bildpunktgenauen Hilfsmaske eingetragen.
In der bildpunktgenauen Hilfsmaske sind nun alle die Bildpunkte gekennzeichnet, die den objektorientierten Analysen unterzogen werden sollen.
Bei Programmpunkt 130 werden die Bildsignale des aktuellen Bildes in den gemäß der bildpunktgenauen Hilfsmaske objektorientiert zu analysierenden Bildbereichen Bildpunkt für Bildpunkt mit den entsprechenden Bildsignalen des zweiten Referenzbildes verglichen, so daß eine bildpunktgenaue Änderungsmaske ermittelt wird. Die bildpunktgenaue Änderungsmaske stellt die bewegten Objekte dar. Zur Ermittlung der bildpunktgenauen Änderungsmaske wird das Bildsignal jedes Bildpunktes eines zu untersuchenden Bildblocks des aktuellen Bildes mit dem entsprechenden Bildsignal des Bildpunktes des zweiten Referenzbildes verglichen. Die Differenz der Bildsignale wird anschließend mit einer vorgegebenen ersten Schwelle verglichen. Ein Bildpunkt wird in der Änderungsmaske gekennzeichnet, wenn die entsprechende Differenz der Bildsignale über der vorgegebenen ersten Schwelle liegt. Die vorgegebene erste Schwelle kann dabei in Abhängigkeit des zeitlichen Verlaufs des Bildsignals des entsprechenden Bildpunktes und/oder in Abhängigkeit von den Bildsignalen räumlich angrenzender Bildpunkte angepaßt werden.
Bei Programmpunkt 140 werden zusammenhängende Gebiete der Änderungsmaske mit einer Kennung gekennzeichnet und als Objekte erkannt. Das Ergebnis ist eine bildpunktgenaue Objektmaske des aktuellen Bildes. In der bildbpunktgenauen Objektmaske des aktuellen Bildes sind die Bildpunkte der einzelnen Objekte mit einem objektspezifischen Grauwert gekennzeichnet, der für das entsprechende Objekt charakteristisch ist und es eindeutig und von den anderen Objekten unterscheidbar kennzeichnet. Die Anzahl der zusammenhängenden Gebiete ist die Objektanzahl des aktuellen Bildes. Für jedes durch einen charakteristischen Grauwert gekennzeichnetes Objekt der bildpunktgenauen Objektmaske des aktuellen Bildes wird in einer Datenstruktur der Objektstatus "bewegtes Objekt" abgespeichert.
Bei Programmpunkt 150 wird für alle Objekte des aktuellen Bildes, die gemäß der bildpunktgenauen Objektmaske gekennzeichnet sind, die Objektgröße ermittelt. Sie ergibt sich direkt aus der Anzahl der Bildpunkte, die zu einem zusammenhängenden Gebiet gehören. Alle Objekte, die kleiner als eine vorgegebene zweite Größenschwelle sind, werden mit dem Objektstatus "kein bewegtes Objekt" in der Datenstruktur versehen. Alle anderen Objekte werden mit dem Objektstatus "bewegtes Objekt" versehen. Die vorgegebene zweite Größenschwelle wird hierbei angepaßt an die Position des entsprechenden Objektes im aktuellen Bild und ermöglicht so eine perspektivische Auswertung der Aufnahmesituation. Das hierzu verwendete Verfahren ist in der nicht vorveröffentlichten Patentanmeldung P 44 40 671 beschrieben.
Bei Programmpunkt 160 wird für alle Objekte, die den Objektstatus "bewegtes Objekt" in der Datenstruktur haben, eine Abweichung der Textur im Objektbereich des aktuellen Bildes von der rekursiv ermittelten Textur der Aufnahmesituation ohne Objekte bestimmt. Dazu wird für die Bildblöcke, die zum Objekt gehören, die gewichtete Summe sa der Quadrate der Abweichung der aktuellen Textur vom zeitlichen Mittelwert der Textur und die gewichtete Summe sv der zeitlichen Varianz der Textur bestimmt und in die Datenstruktur eingetragen. Anschließend wird das objektorientierte Texturänderungsverhältnis rtobj aus der Summe der quadrierten Abweichungen sa und der Summe der zeitlichen Varianzen sv ermittelt und ebenfalls in die Datenstruktur für die entsprechenden Objekte eingetragen. Das objektorientierte Texturänderungsverhältnis rtobj ist ein Maß für die Abweichung der Textur im Objektbereich von der Textur in diesem Bereich ohne Objekt. Die Gewichtung der Bildblöcke wird dabei in Abhängigkeit von ihrem Flächenanteil am entsprechenden Objekt vorgenommen.
Bei Programmpunkt 170 gemäß Fig. 4 wird geprüft, ob sich Objekte in der zweidimensionalen Liste der überwachten Objekte befinden. Ist dies nicht der Fall, fährt das Verfahren fort bei Programmpunkt 220, andernfalls bei Programmpunkt 180.
Bei Programmpunkt 180 findet eine Zuordnung von Objekten aus der zweidimensionalen Liste der überwachten Objekte zu den Objekten des aktuellen Bildes statt. Dabei wird für alle Objekte in der zweidimensionalen Liste der überwachten Objekte, deren genaue Position in der Objektmaske des zuvor verwendeten aktuellen Bildes beschrieben ist, eine Zuordnung zu den Objekten des aktuellen Bildes, deren genaue Position in der bildpunktgenauen Objektmaske des aktuellen Bildes beschrieben ist, durchgeführt. In Fig. 5 ist die Objektmaske 11 des zuvor verwendeten aktuellen Bildes dargestellt. Sie enthält die Maske 12 eines Objektes. Die zu dem Objekt gehörige Maske 12 in der Objektmaske 11 des zuvor verwendeten aktuellen Bildes wird nun um den für das Objekt im Programmschritt 80 ermittelten Bewegungsvektor, der in Fig. 5 durch das Bezugszeichen 13 gekennzeichnet ist, verschoben. Dadurch erhält man eine verschobene Maske 14 des Objektes. Anschließend wird geprüft, ob eine örtliche Überlappung mit Objekten der bildpunktgenauen Objektmaske des aktuellen Bildes, die in der Datenstruktur den Status "bewegtes Objekt" haben, vorhanden ist. Dazu wird für die Maske 14 des verschobenen Objekts ein umschreibendes Rechteck 15 gebildet. Gemäß Fig. 6, die die bildpunktgenaue Objektmaske 17 des aktuellen Bildes darstellt, wird auch das dort dargestellte Objekt 20 mit einem umschreibenden Rechteck 16 versehen. Dann wird für alle Objekte mit dem in der Datenstruktur abgelegten Status "bewegtes Objekt" in der bildpunktgenauen Objektmaske des aktuellen Bildes geprüft, ob eine Überlappung der umschreibenden Rechtecke 15 und 16 vorhanden ist. Wenn es eine Überlappung gibt, so wird ein Überlappungsrechteck 19 gemäß Fig. 7 ermittelt und innerhalb dieses Überlappungsrechteckes 19 wird eine bildpunktgenaue Überlappungsfläche 18 gemäß Fig. 8 bestimmt. Diese bildpunktgenaue Überlappungsfläche 18 befindet sich innerhalb des Überlappungsrechteckes 19. In der bildpunktgenauen Objektmaske des aktuellen Bildes können mehrere Objekte mit dem Status "bewegtes Objekt" vorhanden sein. Es findet eine Zuordnung zu dem Objekt statt, mit dem die bildpunktgenaue Überlappungsfläche maximal ist. Das zugeordnete Objekt in der bildpunktgenauen Objektmaske des aktuellen Bildes erhält dann den Status "bereits verfolgtes Objekt", der in die Datenstruktur eingetragen wird. Die Eigenschaften des Objektes werden anschließend in die zweidimensionale Liste der überwachten Objekte eingetragen. Wenn keine Überlappung mit einem der Objekte in der bildpunktgenauen Objektmaske des aktuellen Bildes vorhanden ist, so wird dies ebenfalls in die zweidimensionale Liste der überwachten Objekte eingetragen. Ein solches Ereignis kann beispielsweise bedeuten, daß das Objekt die Aufnahmesituation verlassen hat oder von einem Hindernis verdeckt wird.
Bei Programmpunkt 190 findet eine Auswertung aller Objekte in der zweidimensionalen Liste der überwachten Objekte statt. Dazu werden für jedes dieser Objekte zwei neue Merkmale ermittelt. Zum einen ein Gesamtbewegungsvektor v als vektorielle Summe der ermittelten Bewegungsvektoren, zum anderen eine mittlere zeitliche objektbezogene Texturänderung. Zur Ermittlung der mittleren zeitlichen objektbezogenen Texturänderung werden die bei der objektorientierten Analyse ermittelten gewichteten Summen der bei der blockorientierten Analyse ermittelten quadratischen Abweichungen der Texturen der Bildblöcke, die mindestens teilweise das Objekt aufweisen, vom zeitlichen Mittelwert der Textur objektorientiert über der Zeit summiert und durch die zeitliche Summe der ebenfalls bei der blockorientierten Analyse ermittelten und gleichermaßen gewichteten Summen der zeitlichen Varianz der Textur dividiert. Der sich ergebende Quotient rtges wird mit einer vorgegebenen vierten Schwelle verglichen. Liegt der Quotient rtges unterhalb dieser Schwelle, so wird das Objekt aus der zweidimensionalen Liste der überwachten Objekte gelöscht. Als nächstes wird der Betrag des Gesamtbewegungsvektors v mit einer vorgegebenen zweiten Schwelle verglichen. Liegt der Betrag unterhalb dieser Schwelle, so wird das Objekt aus der zweidimensionalen Liste der überwachten Objekte gelöscht. Ist der Betrag größer als diese vorgegebene zweite Schwelle oder mit ihr identisch, so wird für den Fall, daß für das Objekt bei der vorausgegangenen Bewegungsschätzung bei Programmpunkt 80 kein Bewegungsvektor ermittelt werden konnte oder für das Objekt kein Anschlußobjekt gefunden wurde, ein bewegtes Objekt erkannt und das Objekt aus der zweidimensionalen Liste gelöscht, da eine Weiterverfolgung des bewegten Objektes nicht gewährleistet ist. Dadurch werden beispielsweise Objekte als bewegt erkannt, die die Aufnahmesituation verlassen haben oder aufgrund ihrer Bewegung von einem Hindernis verdeckt werden. Liegt der Betrag des Gesamtbewegungsvektors v oberhalb einer vorgegebenen dritten Schwelle, so wird ein bewegtes Objekt erkannt und das Objekt gegebenenfalls aus der zweidimensionalen Liste gelöscht beziehungsweise zur Weiterverfolgung in der zweidimensionalen Liste belassen.
Bei Programmpunkt 200 wird geprüft, ob in Programmpunkt 190 bewegte Objekte in der zweidimensionalen Liste der überwachten Objekte erkannt wurden. Ist dies der Fall, so wird bei Programmpunkt 210 Objektalarm ausgelöst und zu Programmpunkt 220 verzweigt, andernfalls wird das Verfahren bei Programmpunkt 220 ohne die Auslösung von Objektalarm fortgesetzt. Bei Programmpunkt 220 wird für die Objekte in der bildpunktgenauen Objektmaske des aktuellen Bildes, die in der Datenstruktur den Status "bewegtes Objekt" haben, die bei Programmpunkt 160 ermittelte Texturabweichung mit einer objektorientierten Texturänderungsschwelle ttobj verglichen. Liegt die Texturabweichung unterhalb dieser Schwelle, so erhält das Objekt den Status "kein bewegtes Objekt" in der Datenstruktur.
Bei Programmpunkt 230 wird für die Objekte in der bildpunktgenauen Objektmaske des aktuellen Bildes, die in der Datenstruktur den Status "bewegtes Objekt" haben, eine objektorientierte Bildsignaländerung ermittelt. Dazu werden für die Bildblöcke, die zum Objekt gehören, sowohl die zeitlichen Mittelwerte der Bildsignaländerungen als auch die aktuellen Bildsignaländerungen aufsummiert. Der Quotient aus den beiden Summen ist das objektorientierte Bildsignaländerungsverhältnis rsobj und ein Maß für die Signifikanz der durch das Objekt hervorgerufenen Bildsignaländerung. Die Bildblöcke werden dabei abhängig von ihrem Flächenanteil am Objekt gewichtet.
Bei Programmpunkt 240 wird für alle Objekte mit dem Status "bewegtes Objekt" das bei Programmpunkt 230 ermittelte objektorientierte Bildsignaländerungsverhältnis rsobj mit einer objektorientierten Bildsignaländerungsschwelle tsobj vergleichen. Liegt das objektorientierte Bildsignaländerungsverhältnis rsobj unterhalb dieser Schwelle, so erhält das Objekt den Status "kein bewegtes Objekt" in der Datenstruktur.
Bei Programmpunkt 250 wird für alle Objekte mit dem in der Datenstruktur abgelegten Status "bewegtes Objekt", die in ihrer bei Programmpunkt 150 ermittelten Objektgröße unterhalb einer vorgegebenen ersten Größenschwelle liegen, eine objektorientierte Bewegungsschätzung durchgeführt. Die erste Größenschwelle ist dabei so gewählt, daß Objekte, deren Größe oberhalb dieser Schwelle liegt, einen so großen Flächenanteil am Gesamtbild besitzen, daß keine sinnvolle Bewegungsschätzung mehr möglich ist. Bei der objektorientierten Bewegungsschätzung wird ausgehend vom aktuellen Bild für alle Objekte der bildpunktgenauen Objektmaske des aktuellen Bildes, die den in der Datenstruktur abgelegten Status "bewegtes Objekt" besitzen, die Bewegung bezüglich des ersten Referenzbildes geschätzt. Das hierzu verwendete Verfahren ermittelt wie bereits beschrieben innerhalb eines Suchbereichs für jeden möglichen Bewegungsvektor ein Gütekriterium und bewertet den Bewegungsvektor, der das Gütekriterium am besten erfüllt, relativ zu den anderen möglichen Bewegungsvektoren. Ist das Gütekriterium für den Bewegungsvektor mit dem am besten erfüllten Gütekriterium deutlich besser erfüllt als für alle anderen möglichen Bewegungsvektoren, so liegt eine zuverlässige Schätzung vor. Ansonsten ist die Schätzung als unzuverlässig zu bewerten. Dieses auch bereits oben beschriebene Verfahren ist zum Beispiel in der Veröffentlichung "Zuverlässigkeit und Effizienz von Verfahren zur Verschiebungsvektorschätzung", Jahrestagung 1995 der deutschen Arbeitsgemeinschaft für Mustererkennung, Bielefeld, von R. Mester und M. Hötter, dargestellt. Wenn der Bewegungsvektor für ein Objekt nicht zuverlässig ermittelt werden kann, erhält das Objekt den Status "unsicheres Objekt". Wenn der Bewegungsvektor zuverlässig ermittelt werden kann, so wird sein Betrag zunächst mit der vorgegebenen zweiten Schwelle verglichen. Liegt der Betrag unterhalb der vorgegebenen zweiten Schwelle, so erhält das Objekt den Status "Objekt mit kleiner Bewegung". Der jeweilige Status wird wieder in der Datenstruktur abgelegt. Liegt der Betrag des Bewegungsvektors oberhalb der vorgegebenen zweiten Schwelle, so wird er mit der vorgegebenen dritten Schwelle verglichen. Ist der Betrag des Bewegungsvektors kleiner als diese vorgegebene dritte Schwelle, so erhält das Objekt den Status "zu verfolgendes Objekt" und wird in die zweidimensionale Liste der überwachten Objekte eingetragen. Liegt der Betrag des Bewegungsvektors über der dritten vorgegebenen Schwelle, so wird das Objekt als bewegtes Objekt erkannt. Es erhält dann den Status "bewegtes Objekt". Der jeweilige Status wird wiederum in die Datenstruktur eingetragen.
Bei Programmpunkt 270 wird geprüft, ob sich Objekte im aktuellen Bild befinden, die in der Datenstruktur den Status "bewegtes Objekt" besitzen. Ist dies der Fall, so wird bei Programmpunkt 280 Objektalarm ausgelöst. Objekte aus der zweidimensionalen Liste der überwachten Objekte, für die Objektalarm ausgelöst wurde, können entweder aus der zweidimensionalen Liste gelöscht oder zur Weiterverfolgung in der zweidimensionalen Liste belassen werden.
Bei Programmpunkt 290 wird die blockgenaue Statusmaske entsprechend der Ergebnisse der objektorientierten Analyse adaptiert. Dazu wird zunächst in alle Bildblöcke der Wert "kein bewegtes Objekt" geschrieben. Dann wird für alle Objekte der jeweils zugehörige Status aus der Datenstruktur in die vom Objekt berührten Bildblöcke eingetragen. Da hierbei ein Bildblock von mehreren Objekten berührt werden kann, erfolgt die Ermittlung des Status in einer festen Reihenfolge, so daß ein wichtigerer Status jeweils einen unwichtigeren Status überschreibt. Die Reihenfolge des Status mit steigender Wichtigkeit ist dabei wie folgt gegeben: "Objekt mit kleiner Bewegung", "unsicheres Objekt", "bereits verfolgtes Objekt", "zu verfolgendes Objekt", "bewegtes Objekt". Für als bewegt erkannte Objekte aus der zweidimensionalen Liste der überwachten Objekte, die nicht aus der zweidimensionalen Liste gelöscht wurden, wird bei erkannter Weiterbewegung erneut Alarm ausgelöst, so daß man bei Weiterverfolgung eines als bewegt erkannten Objektes unter Umständen eine mehrfache Auslösung von Objektalarm in Kauf nimmt.
Bei Programmpunkt 300 wird, wenn in der zweidimensionalen Liste der überwachten Objekte mindestens ein Objekt eingetragen ist, die bildpunktgenaue Objektmaske des aktuellen Bildes auf die Objektmaske des zuvor verwendeten aktuellen Bildes kopiert, die somit ebenfalls eine bildpunktgenaue Objektmaske darstellt, und das aktuelle Bild wird in das dritte Referenzbild kopiert.
Bei Programmpunkt 310 wird, wenn in der zweidimensionalen Liste der überwachten Objekte keine Objekte eingetragen sind und alle Objekte im aktuellen Bild den Status "kein bewegtes Objekt" in der Datenstruktur haben, das erste Referenzbild als neues zweites Referenzbild gespeichert.
Bei Programmpunkt 320 wird die Statistik in Form von Mittelwert und Varianz der blockorientierten Bildsignaländerung und Textur in Abhängigkeit von der blockgenauen Statusmaske nachgeführt. Hierzu werden IIR- Filter erster Ordnung verwendet. Der Rekursionsfaktor r für diese Filter wird in Abhängigkeit von der blockgenauen Statusmaske eingestellt. In Bildbereichen, in denen die Analyse bewegte Objekte oder mögliche bewegte Objekte detektiert hat, wird beispielsweise ein kleiner Rekursionsfaktor r eingestellt. In den anderen Bildbereichen wird ein mittelgroßer Rekursionsfaktor r eingestellt, so daß durch die Nachführung eine langsame Änderung der Aufnahmesituation berücksichtigt wird, wie sie beispielsweise beim Übergang zwischen Tag und Nacht auftritt.
Bei Programmpunkt 330 werden alle Bildbereiche, für die in der blockgenauen Statusmaske der Status "Objekte mit kleiner Bewegung" eingetragen ist, aus dem ersten Referenzbild in einen Pufferspeicher kopiert.
Bei Programmpunkt 340 wird geprüft, ob es mindestens ein Objekt mit dem in der Datenstruktur abgelegten Status "bewegtes Objekt" oder "unsicheres Objekt" gibt. Wenn dies nicht der Fall ist, so wird bei Programmpunkt 350 das erste Referenzbild mit dem aktuellen Bild überschrieben, und anschließend wird das aktuelle Bild mit einem neuen Videobild von der Bildaufnahmeeinheit 1 überschrieben. Gibt es mindestens ein Objekt mit dem Status "bewegtes Objekt" oder "unsicheres Objekt" in der Datenstruktur, so werden bei Programmpunkt 360 das erste Referenzbild und das aktuelle Bild mit neuen Videobildern von der Bildaufnahmeeinheit 1 überschrieben. Auf diese Weise wird die Bildaufnahmefrequenz erhöht, so daß auch schneller bewegte Objekte erfaßt werden können. Das Verfahren fährt dann fort bei Programmpunkt 370.
Bei Programmpunkt 370 werden alle Bildbereiche, für die in der blockgenauen Statusmaske der Status "Objekt mit kleiner Bewegung" eingetragen ist, aus dem Pufferspeicher in das erste Referenzbild kopiert. Durch diese Vorgehensweise können sehr kleine Bewegungen, die sich aufakkumulieren, erfaßt werden.
Das Verfahren fährt fort bei Programmpunkt 20.
Zusätzlich oder alternativ zu der bei Programmpunkt 150 ermittelten Objektgröße kann auch ein Formmerkmal bestimmt werden, um Objekte, deren Formen vorgegebene Anforderungen nicht erfüllen, nicht als bewegte Objekte zu erkennen und einen objektbezogenen Vergleich ihrer Bildsignale zur Einsparung von Rechenaufwand zu vermeiden. Als Formmerkmal kann beispielsweise die Linienhaftigkeit der zusammenhängenden Gebiete ermittelt werden. Zur Ermittlung der Linienhaftigkeit wird die maximale Ausdehnung e des entsprechenden Objektes ermittelt. Dazu werden die Bildpunkte eines zusammenhängenden Gebietes ermittelt, die einen maximalen Abstand voneinander aufweisen. Als Meßgröße der Linienhaftigkeit wird das Quadrat des maximalen Abstandes, bezogen auf die Fläche des Objektes verwendet: Linienhaftigkeit = e² : A, wobei mit e der maximale Abstand zweier Bildpunkte des Objektes und mit A die Anzahl der Bildpunkte des Objektes bezeichnet sind. Objekte, deren Linienhaftigkeit oberhalb einer vorgegebenen Linienhaftigkeitsschwelle liegt, wie dies beispielsweise bei Ästen der Fall ist, werden nicht weiter untersucht und erhalten den Status "kein bewegtes Objekt" in der Datenstruktur.

Claims (19)

1. Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinander folgenden Bildern, wobei für eine blockorientierte Analyse ein aktuelles Bild in Bildblöcke eingeteilt wird, für jeden Bildblock ein Bildsignal des aktuellen Bildes mit einem Bildsignal eines entsprechenden Bildblockes eines ersten Referenzbildes, das in der zeitlichen Folge der Bilder dem aktuellen Bild vorausgeht, verglichen wird, indem insbesondere eine Bildsignaländerung und/oder eine Texturänderung ermittelt wird, dadurch gekennzeichnet, daß für eine Änderungsdetektion die Differenz zwischen den Bildsignalen des aktuellen Bildes und den Bildsignalen eines zweiten Referenzbildes ohne bewegte Objekte bildpunktgenau mit einer vorgegebenen ersten Schwelle verglichen wird, daß bei Überschreiten der vorgegebenen ersten Schwelle in einer objektorientierten Analyse die Größe und/oder die Form eines Objektes ermittelt wird und die Bildsignale, die das bewegte Objekt darstellen, mit den Bildsignalen des entsprechenden Bildbereichs des ersten Referenzbildes, insbesondere durch Ermittlung einer Bildsignaländerung und/oder einer Texturänderung, verglichen werden, daß für mindestens ein bewegtes Objekt des aktuellen Bildes, das eine vorgegebene erste Größenschwelle unterschreitet, eine Bewegungsschätzung durch Zuordnung zu einem entsprechenden Bildbereich des ersten Referenzbildes und Bildung eines zugehörigen Bewegungsvektors durchgeführt wird, daß bei Überschreiten einer vorgegebenen zweiten Schwelle durch den Betrag des geschätzten Bewegungsvektors das Objekt einer zeitlichen Überwachung zugeführt wird und daß bei Überschreiten einer vorgegebenen dritten Schwelle durch den Betrag des geschätzten Bewegungsvektors das Objekt als bewegtes Objekt erkannt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß für mindestens ein zeitlich überwachtes Objekt eine Bewegungsschätzung, ausgehend von einem dritten Referenzbild, das einem zuvor verwendeten aktuellen Bild entspricht, unter Bildung eines zugehörigen Bewegungsvektors und entsprechender Prädiktion einer neuen Objektposition für das aktuelle Bild durchgeführt wird, daß bei der bildpunktgenauen Änderungsdetektion die Differenz zwischen den Bildsignalen an der prädizierten Objektposition des aktuellen Bildes und den entsprechenden Bildsignalen des zweiten Referenzbildes bildpunktgenau mit der vorgegebenen ersten Schwelle verglichen wird, daß bei Überschreiten der vorgegebenen ersten Schwelle mit einer objektorientierten Analyse die Größe und/oder die Form eines Objektes ermittelt wird und die Bildsignale, die das überwachte Objekt darstellen, objektorientiert mit den Bildsignalen des entsprechenden Bildbereichs des ersten Referenzbildes durch Ermittlung der Texturänderung verglichen werden, daß eine Zuordnung des überwachten Objektes zu einem Objekt des aktuellen Bildes durch Überlagerung der durch die Bewegungsschätzung vorhergesagten Objektposition mit einer entsprechenden bei der objektorientierten Analyse ermittelten Objektposition im aktuellen Bild durchgeführt wird, daß die Bewegung des überwachten Objektes in Abhängigkeit von der Zeit durch Summierung bisheriger Bewegungsvektoren ermittelt wird und daß bei Überschreiten der vorgegebenen dritten Schwelle durch den Betrag des summierten Bewegungsvektors das überwachte Objekt als bewegtes Objekt erkannt wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die objektorientierte Analyse nur in den Bildbereichen durchgeführt wird, in denen durch die blockorientierte Analyse bewegte Objekte festgestellt und/oder in denen durch Bewegungsschätzung Objekte vorhergesagt wurden.
4. Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, daß für das überwachte Objekt die mittlere zeitliche objektbezogene Texturänderung ermittelt wird und daß bei Unterschreiten einer vorgegebenen vierten Schwelle für die mittlere zeitliche objektbezogene Texturänderung die Überwachung des Objektes aufgehoben wird.
5. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß zur Ermittlung der mittleren zeitlichen objektbezogenen Texturänderung die bei der blockorientierten Analyse ermittelten quadratischen Abweichungen der Texturen der Bildblöcke, die mindestens teilweise das Objekt aufweisen, vom zeitlichen Mittelwert der Textur gewichtet summiert werden, wobei das Gewicht der Summanden proportional zu der Fläche des Bildblockes gewählt wird, mit der der Bildblock das Objekt abdeckt und daß die gewichteten Summen objektorientiert über der Zeit summiert und durch die zeitliche Summe der ebenfalls bei der blockorientierten Analyse ermittelten und gleichermaßen gewichteten Summen der zeitlichen Varianz der Textur dividiert werden.
6. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß bei Unterschreiten der vorgegebenen zweiten Schwelle durch den Betrag des summierten Bewegungsvektors des überwachten Objektes die Überwachung des Objektes aufgehoben wird.
7. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß bei Überschreiten der vorgegebenen zweiten Schwelle durch den Betrag des summierten Bewegungsvektors des überwachten Objektes das Objekt als bewegtes Objekt erkannt wird, falls bei der zuletzt durchgeführten Bewegungsschätzung kein zuverlässiger Bewegungsvektor ermittelt werden konnte.
8. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß bei Überschreiten der vorgegebenen zweiten Schwelle durch den Betrag des summierten Bewegungsvektors des überwachten Objektes das Objekt als bewegtes Objekt erkannt wird, falls keine Zuordnung des überwachten Objektes zu einem Objekt des aktuellen Bildes möglich ist.
9. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß Objekte, deren Größe unter einer vorgegebenen zweiten Größenschwelle liegt und Objekte, deren Formen vorgegebene Anforderungen nicht erfüllen, nicht als bewegte Objekte erkannt werden und ein objektbezogener Vergleich ihrer Bildsignale unterbleibt.
10. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß für erkannte bewegte Objekte Objektalarm ausgelöst wird.
11. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß für erkannte bewegte Objekte eine bestehende Überwachung dieser Objekte aufgehoben wird.
12. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß zur Bewegungsschätzung innerhalb eines vorgegebenen Suchbereichs für mögliche Bewegungsvektoren ein Gütekriterium ermittelt wird, daß die Schätzung als zuverlässig bewertet wird, wenn der Bewegungsvektor mit dem besten Gütekriterium ein deutlich besseres Gütekriterium aufweist, als die anderen möglichen Bewegungsvektoren und daß die Schätzung ansonsten als unzuverlässig bewertet wird.
13. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß die Objektbewegung durch eine Verschiebung der in einer Objektmaske enthaltenen Bildpunkten ermittelt wird.
14. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß die Ermittlung der Objektmaske durch die bildpunktgenaue Änderungsdetektion erfolgt und jeder zusammenhängende, als geändert erkannte Bildbereich mit einer Kennung gekennzeichnet wird.
15. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß für die Feststellung einer Zuordnung des überwachten Objektes zu einem Objekt des aktuellen Bildes die Objektmaske des aktuellen Bildes mit der Objektmaske des zuvor verwendeten aktuellen Bildes unter Berücksichtigung der prädizierten Objektbewegung überlagert wird, wobei für eine eindeutige Zuordnung die umschreibenden Rechtecke der entsprechenden Objekte überlappen müssen.
16. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß die Größe des bewegten Objektes in Abhängigkeit von der Bildposition gewichtet ermittelt wird.
17. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das erste Referenzbild in das zweite Referenzbild kopiert wird, wenn kein Objekt überwacht wird und alle Objekte im aktuellen Bild als nicht bewegte Objekte erkannt wurden.
18. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß die Bildblöcke mit Objekten, die eine kleine Bewegung durchführen, aus dem ersten Referenzbild in einen Pufferspeicher kopiert werden und daß nach Änderung des ersten Referenzbildes die Bildblöcke mit den Objekten kleiner Bewegung aus dem Pufferspeicher wieder in das erste Referenzbild kopiert werden.
19. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das erste Referenzbild mit dem aktuellen Bild überschrieben wird, wenn kein bewegtes oder mit einer unzuverlässigen Bewegungsschätzung gekennzeichnetes Objekt vorliegt und daß andernfalls das erste Referenzbild mit einem nachfolgenden aktuellen Bild überschrieben wird.
DE19601005A 1996-01-15 1996-01-15 Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern Withdrawn DE19601005A1 (de)

Priority Applications (7)

Application Number Priority Date Filing Date Title
DE19601005A DE19601005A1 (de) 1996-01-15 1996-01-15 Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern
US08/913,892 US6069918A (en) 1996-01-15 1996-10-26 Method of detecting moving objects in chronologically successive images
EP96945835A EP0815539B1 (de) 1996-01-15 1996-10-26 Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern
CN96192566A CN1107282C (zh) 1996-01-15 1996-10-26 在短时连续图象中识别运动目标的方法
PCT/DE1996/002046 WO1997026622A1 (de) 1996-01-15 1996-10-26 Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern
DE59607782T DE59607782D1 (de) 1996-01-15 1996-10-26 Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern
JP9525567A JPH11502351A (ja) 1996-01-15 1996-10-26 時間的に順次連続する画像の運動物体を検出する方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19601005A DE19601005A1 (de) 1996-01-15 1996-01-15 Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern

Publications (1)

Publication Number Publication Date
DE19601005A1 true DE19601005A1 (de) 1997-07-17

Family

ID=7782648

Family Applications (2)

Application Number Title Priority Date Filing Date
DE19601005A Withdrawn DE19601005A1 (de) 1996-01-15 1996-01-15 Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern
DE59607782T Expired - Lifetime DE59607782D1 (de) 1996-01-15 1996-10-26 Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE59607782T Expired - Lifetime DE59607782D1 (de) 1996-01-15 1996-10-26 Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern

Country Status (6)

Country Link
US (1) US6069918A (de)
EP (1) EP0815539B1 (de)
JP (1) JPH11502351A (de)
CN (1) CN1107282C (de)
DE (2) DE19601005A1 (de)
WO (1) WO1997026622A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1077397A1 (de) * 1999-08-17 2001-02-21 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Videoüberwachung von Prozessanlagen
DE19827835B4 (de) * 1998-06-23 2012-01-19 Robert Bosch Gmbh Bildübertragungsverfahren und -vorrichtung
DE19848490B4 (de) * 1998-10-21 2012-02-02 Robert Bosch Gmbh Bildinformationsübertragungsverfahren und -vorrichtung
DE19744694B4 (de) * 1997-10-10 2013-01-03 Robert Bosch Gmbh Videobewegungsmeldeeinrichtung
EP2590141A1 (de) * 2011-11-02 2013-05-08 EADS Deutschland GmbH Verfahren und Vorrichtung zur Detektion bewegter Objekte in einer Videobildsequenz

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2305569B (en) * 1995-09-21 1999-07-21 Innovision Res Ltd Motion compensated interpolation
EP0866606B1 (de) * 1996-10-04 2004-12-29 Nippon Telegraph And Telephone Corporation Vorrichtung und verfahren zur zeitlichen und räumlichen integration und verwaltung einer vielzahl von videos sowie speichermedium zur speicherung eines programms dafür
US6349113B1 (en) * 1997-11-03 2002-02-19 At&T Corp. Method for detecting moving cast shadows object segmentation
GB2356699A (en) * 1999-11-23 2001-05-30 Robotic Technology Systems Plc Providing information of moving objects
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8564661B2 (en) * 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
JP4112968B2 (ja) 2002-12-26 2008-07-02 富士通株式会社 ビデオテキスト処理装置
US7403640B2 (en) * 2003-10-27 2008-07-22 Hewlett-Packard Development Company, L.P. System and method for employing an object-oriented motion detector to capture images
JP4252916B2 (ja) * 2004-03-18 2009-04-08 富士通マイクロエレクトロニクス株式会社 動きベクトルの探索範囲を決定する方法
US20060098844A1 (en) * 2004-11-05 2006-05-11 Huitao Luo Object detection utilizing a rotated version of an image
JP5061444B2 (ja) * 2005-09-20 2012-10-31 ソニー株式会社 撮像装置及び撮像方法
US20070115355A1 (en) * 2005-11-18 2007-05-24 Mccormack Kenneth Methods and apparatus for operating a pan tilt zoom camera
CN101394558B (zh) * 2007-09-20 2011-05-11 奇扬网科股份有限公司 计算机画面的影像区域的检测与播放方法
JP5812808B2 (ja) * 2011-01-05 2015-11-17 キヤノン株式会社 画像処理装置及び画像処理方法
CN103037206B (zh) * 2012-12-14 2016-05-18 广东威创视讯科技股份有限公司 视频传输方法和系统
US9378556B2 (en) * 2014-04-25 2016-06-28 Xerox Corporation Method for reducing false object detection in stop-and-go scenarios
US9865062B2 (en) * 2016-02-12 2018-01-09 Qualcomm Incorporated Systems and methods for determining a region in an image
JP6665611B2 (ja) 2016-03-18 2020-03-13 富士通株式会社 符号化処理プログラム、符号化処理方法及び符号化処理装置
US11157765B2 (en) 2018-11-21 2021-10-26 Samsung Electronics Co., Ltd. Method and system for determining physical characteristics of objects

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2183878B (en) * 1985-10-11 1989-09-20 Matsushita Electric Works Ltd Abnormality supervising system
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
JP2953712B2 (ja) * 1989-09-27 1999-09-27 株式会社東芝 移動物体検知装置
US5243418A (en) * 1990-11-27 1993-09-07 Kabushiki Kaisha Toshiba Display monitoring system for detecting and tracking an intruder in a monitor area
JP2863381B2 (ja) * 1992-09-25 1999-03-03 矢崎総業株式会社 車両用監視方法
KR100276681B1 (ko) * 1992-11-07 2001-01-15 이데이 노부유끼 비디오 카메라 시스템
DE4311972A1 (de) * 1993-04-10 1994-10-13 Bosch Gmbh Robert Verfahren zur Detektion von Änderungen in Bewegtbildern
DE4332753C2 (de) * 1993-09-25 1997-01-30 Bosch Gmbh Robert Verfahren zur Erkennung bewegter Objekte
US5666157A (en) * 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19744694B4 (de) * 1997-10-10 2013-01-03 Robert Bosch Gmbh Videobewegungsmeldeeinrichtung
DE19827835B4 (de) * 1998-06-23 2012-01-19 Robert Bosch Gmbh Bildübertragungsverfahren und -vorrichtung
DE19848490B4 (de) * 1998-10-21 2012-02-02 Robert Bosch Gmbh Bildinformationsübertragungsverfahren und -vorrichtung
EP1077397A1 (de) * 1999-08-17 2001-02-21 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Videoüberwachung von Prozessanlagen
EP2590141A1 (de) * 2011-11-02 2013-05-08 EADS Deutschland GmbH Verfahren und Vorrichtung zur Detektion bewegter Objekte in einer Videobildsequenz

Also Published As

Publication number Publication date
CN1178592A (zh) 1998-04-08
EP0815539A1 (de) 1998-01-07
CN1107282C (zh) 2003-04-30
US6069918A (en) 2000-05-30
EP0815539B1 (de) 2001-09-26
DE59607782D1 (de) 2001-10-31
JPH11502351A (ja) 1999-02-23
WO1997026622A1 (de) 1997-07-24

Similar Documents

Publication Publication Date Title
EP0815539B1 (de) Verfahren zur erkennung bewegter objekte in zeitlich aufeinander folgenden bildern
DE602004005358T2 (de) Objektdetektion in bildern
DE69635980T2 (de) Verfahren und vorrichtung zur detektierung von objektbewegung in einer bilderfolge
DE602005003926T2 (de) System und verfahren zum erkennen eines vorbeikommenden fahrzeugs aus dynamischem hintergrund unter verwendung robuster informationsfusion
EP0669034B1 (de) Verfahren zur detektion und abspaltung des schattens sich bewegender objekte in einer digitalen bildsequenz
DE102018116111A1 (de) Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung
EP2034461B1 (de) Verfahren zur Detektion und/oder Verfolgung von bewegten Objekten in einer Überwachungsszene mit Störern, Vorrichtung sowie Computerprogramm
DE60224324T2 (de) Verfahren und Vorrichtung zur Verarbeitung von Fahrzeugbildern
DE102009038364A1 (de) Verfahren und System zur automatischen Objekterkennung und anschließenden Objektverfolgung nach Maßgabe der Objektform
EP1346330B1 (de) Video-rauchdetektionssystem
DE4332753C2 (de) Verfahren zur Erkennung bewegter Objekte
EP2174260A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
DE4407528A1 (de) System und Verfahren zur Bildauswertung
DE10042935B4 (de) Verfahren zum Überwachen eines vorbestimmten Bereichs und entsprechendes System
DE4314483A1 (de) Überwachungssystem
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
DE4440671A1 (de) Verfahren zur objektorientierten Erkennung bewegter Objekte
WO2012110654A1 (de) Verfahren zur auswertung einer mehrzahl zeitlich versetzter bilder, vorrichtung zur auswertung von bildern, überwachungssystem
DE102013201682A1 (de) Auswählen von sichtbaren Gebieten in Nachtbildern zum Durchführen einer Detektion eines freien Pfads
DE102019204602A1 (de) Verfahren und Vorrichtung zur Maskierung von in einem Bild enthaltenen Objekten
DE10210926A1 (de) Vorrichtung zur Verfolgung wenigstens eines Objekts in einer Szene
DE102018121158A1 (de) Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen
DE102006060612A1 (de) Verfahren zur Überwachung von Zielobjekten und Multispektralkamera dazu
EP0749619A1 (de) System und verfahren zur bildauswertung

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8139 Disposal/non-payment of the annual fee