DE102006039832A1

DE102006039832A1 - Verfahren und Vorrichtung zum Auffinden und Unterscheiden von Personen, Tieren oder Fahrzeugen mittels automatischer Bildüberwachung digitaler oder digitalisierter Bilder

Info

Publication number: DE102006039832A1
Application number: DE102006039832A
Authority: DE
Inventors: Hartwig Dr. Hetzheim
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2006-08-25
Filing date: 2006-08-25
Publication date: 2008-03-13
Anticipated expiration: 2026-08-26
Also published as: DE102006039832B4; DE102006039832B9

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Auffinden und Unterscheiden von Personen, Tieren oder Fahrzeugen mittels automatischer Bildüberwachung digitaler oder digitalisierter Bilder, wobei ein Hintergrundbild bestimmt wird, Objekte isoliert werden und diese aufgrund der Auswertung von Eigenschaften einer Objektklasse zugeordnet werden.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Auffinden und Unterscheiden von Personen, Tieren oder Fahrzeugen mittels automatischer Bildüberwachung digitaler oder digitalisierter Bilder.
Bei der Überwachung von Gebäuden, Außenflächen, der Umgebung von abgestellten Flugzeugen, Parkplätzen, Tiefgaragen, Fluren, Zimmern usw. ist es wichtig, dass nur die gewünschten Objekte herausgehoben bzw. markiert werden, um lediglich die notwendigen Informationen angezeigt zu bekommen bzw. keine oder wenig falsche Alarme zu erhalten. Dabei kann die notwendige Information bedeuten, nur allgemein Menschen oder Fahrzeuge zu finden. Es kann aber auch bedeuten, bestimmte Fahrzeuge oder Personen zu finden. Bei dieser Aufgabe hat man es mit einer Reihe von Problemen zu tun.
Zuerst müssen allgemein Personen, Tiere oder Fahrzeuge aus den Bildern vom Hintergrund unterschieden werden. Hierbei ist zu bemerken, dass eine oder zwei Eigenschaften für eine solche Selektion nicht ausreichen. Ein Beispiel ist die Bewegung. So wird sich zwar irgendwann eine Person, ein Tier oder ein Fahrzeug bewegen, aber über sehr lange Zeiten kann diese Bewegung ausbleiben.
Hat man Bereiche gefunden, die mit großer Wahrscheinlichkeit von Personen, Tieren oder Fahrzeugen stammen, so müssen diese nun in verschiedenen Klassen separiert werden. Hierbei besteht das Problem, dass mehrere Eigenschaften herauskristallisiert werden müssen, die danach zerlegt und wieder in anderer Art neu zusammengesetzt werden, so dass die gewünschte Unterscheidung möglich ist.
Bei Personen als Objekt hat man das Problem, dass bewusst falsche Objekte vorgetäuscht werden können. So kann eine Person auf Vieren gehen, um einen Hund vorzutäuschen. Andererseits können auch andere Merkmale, wie Kopfverkleidungen oder Umhängen, benutzt werden, um eine Person als ein anderes Objekt vorzutäuschen.
Weiterhin besteht das Problem, dass Personen erkannt werden müssen, wenn sie sich kaum vom Hintergrund unterscheiden. Und schließlich muss alles so schnell erfolgen, dass eine Echtzeitverarbeitung möglich ist. Bei den komplexen Algorithmen ist es wichtig, dass sie so gestaltet werden, dass sie parallel bearbeitet werden können und damit sehr schnelle Realisierungen ermöglichen.
Es gibt eine Reihe von Szenarien, wo die Verfolgung eines ausgewählten Objektes vor sich änderndem Hintergrund von Interesse ist. So kann man ein Flughafenvorfeld oder Bahnhofsvorfeld bzw. eine Halle mit Besuchern als Beispiel nehmen, wo man ein bestimmtes Objekt oder eine Person verfolgen will. Hier ändert sich der "Hintergrund" laufend, da viele Personen sich bewegen und auch Reflexionen von Licht durch bewegte Reklame erfolgt. Beobachtet man im Freien, so gibt es plötzlich Änderungen der Beleuchtung durch vorbeiziehende Wolken (Wolkenschatten). In einer Tiefgarage oder einem Flur führt das Anschalten und Abschalten von Lichtquellen zu einer Beleuchtungsveränderung des Hintergrundes. Das Schalten der Beleuchtungsquellen erfolgt häufig über Bewegungssensoren und damit verhältnismäßig willkürlich und plötzlich. Durch die Änderung der Beleuchtung oder bewegte Objekte bzw. Personen ist das Hintergrundbild oft recht schnellen Änderungen unterworfen. Bewegte Fahrzeuge geben immer wieder neue Hintergründe frei, die vorher verdeckt waren.
Viele Verfahren gemäß dem Stand der Technik beziehen sich auf starre Objekte, wie Werkzeugteile, bei anderen gibt es a priori einen Satz von festliegenden (leblosen) Objekten, die unterschieden werden. Es werden da meist Suchverfahren benutzt, die eine Form des pattern matching sind. Diese Verfahren haben den Nachteil, dass Objekte und oft auch die Umgebung vorher bekannt sein müssen und dass Lernstrategien verfolgt werden, die nur für fest bestimmte Objekte gut funktionieren und auch einen festen Hintergrund, wie eine Maschinenhalle mit örtlich festen Maschinen, erfordern. Es werden oft Bilder segmentiert und Kanten analysiert.
Alle diese Verfahren haben sehr große Probleme, wenn ad hoc nicht bekannt ist, was man erwarten kann und auch der Hintergrund innerhalb kürzester Zeit sich ändert. Lernverfahren haben dann keine Chance, weil die Lernzeit größer ist als die Zeit, innerhalb derer sich der Hintergrund ändert.
Bei verschiedenen Methoden wird das ganze Bild oder zumindest eine Region bei der Verfolgung immer als Ganzes bearbeitet. Zur Personen-Verfolgung wird meist eine Kombination aus Pseudo-2D Hidden-Markov-Modellen und einem Kalman Filter verwendet. Solche Algorithmen werden für das SAFES (Security of aircraft in the future European environment) Projekt verwendet.
Bei wechselnden Hintergründen, Beleuchtungen, dem Zusammenkommen und Auseinandergehen von zwei Personen ergeben sich große Probleme bei der derartigen Verfolgung, da meist nur eine oder wenige Schätzgrößen verfolgt werden.
Der Erfindung liegt daher das technische Problem zugrunde, ein Verfahren und eine Vorrichtung zum Auffinden und Unterscheiden von Personen, Tieren oder Fahrzeugen mittels automatischer Bildüberwachung digitaler oder digitalisierter Bilder zu schaffen, mittels derer auch bei wechselnden Hintergründen eine Objektisolierung und Zuordnung möglich ist.
Die Lösung des technischen Problems ergibt sich durch die Gegenstände mit den Merkmalen der Ansprüche 1 und 8. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Hierzu wird in einem ersten Schritt ein statisches Hintergrundbild ermittelt, wozu ein Differenzbild erzeugt wird. Um kleine Veränderungen im Bild, die hierbei als Störrauschen im Bild B angenommen werden, zu unterdrücken, wird vor der Differenzbildung eine Schwelle S₁ ermittelt. S₁ wird so groß gewählt, dass zufällige Schwankungen und Bildrauschen unterhalb der Schwelle liegen. Es kann zuvor noch eine schwache Mittelung über das ursprüngliche Bild B erfolgen, um die Rauschschwelle S₁ zu verkleinern. Für die Differenz des Bildes B(t_n) zum Zeitpunkt t_n und des Bildes B(t_n+1) zum nachfolgenden Zeitpunkt t_n+1 ergibt sich dann das Differenzbild DifB DifB = B(tn) > S1 – (B(tn+1) > S1). (1)
Um helle und dunkle Objekte im Bild gleichermaßen behandeln zu können, werden vorzugsweisen die Absolutwerte bzw. die quadrierten Werte von DifB benutzt. Mit einer gewählten Schwelle S₂, die nahe bei Null oder ein kleiner Bruchteil des mittleren Grauwertes des Bildes B ist, wird das binäre Differenzbild DB gebildet DB = [absolut(DifB) > S2 < (S2 + 1)] – S2. (2)
Die Schreibweise drückt dabei aus, dass alle Werte größer S₂ gleich 1 gesetzt werden und alle Werte kleiner S₂ gleich 0 gesetzt werden.
Hierbei wird angenommen, dass die Grauwerte des Bildes DifB integer Größen sind. Falls das nicht der Fall ist, wird vorzugsweise auf integer Werte gerundet, was die nachfolgenden Einarisierungen vereinfacht.
Überall da, wo DB = 1 ist, handelt es sich um einen Hintergrundanteil, wo etwas bewegt wird oder größere Helligkeitsschwankungen vorkommen. Bei den Flächen mit DB = 0 ist der Hintergrund unbewegt und es existieren keine Helligkeitsschwankungen. Die sich verändernden Gebiete werden in dem Bild B(t_n) zum Zeitpunkt t_n maskiert, indem man ihnen den Wert 0 zuordnet und bildet BH1(tn) = (1 – DB)·B(tn). (3)
Hierbei bedeutet 1 ein Bild, wo alle Pixelwerte gleich 1 sind. Auf diese Weise wird ein Hintergrundbild für alle zumindest kurzzeitig ruhenden Objekte erzeugt. BH₁(t_n) stellt dabei das statische Hintergrundbild dar.
Aufgrund der beschriebenen Probleme mit sich ändernden Beleuchtungen, Wolken oder auch Wind ist dieses statische Hintergrundbild im Allgemeinen noch zu ungenau.
Daher werden in einem weiteren Schritt Eigenschaftsbilder des Originalbildes ermittelt, wobei die ermittelten Eigenschaftsbilder miteinander verknüpft werden, um die nicht zum statischen Hintergrundbild gehörenden bewegten Objekte näher zu untersuchen, wobei in Abhängigkeit der Verknüpfung das Objekt zusätzlich dem Hintergrundbild zugeordnet wird oder als Objekt betrachtet wird.
Die bewegten Objekte werden im Folgenden einzeln untersucht. Es wird angenommen, dass die bewegten Objekte zu einer oder mehreren Strukturklassen gehören, wie z.B. Mensch, Tier, Fahrzeug oder Schatten. Durch eine Analyse der Umgebung werden die einzelnen Inseln, die irgendwelche Objekte bedeuten, isoliert. Die Analyse erfolgt vorzugsweise über eine sukzessive Glättung bzw. Mittelung (smooth) mit verschieden großer Glättung. Das bedeutet verschieden große Glättungsflächen. Das Originalbild ist dann ein Ergebnis mit der Glättungsfläche von einem Pixel, d.h. keine Glättung. Jedes dieser Ergebnisse über die verschiedenen großen Glättungsflächen wird für eine spätere Verarbeitung gespeichert.
Diese unterschiedlichen Glättungen zusammen mit der Differenz des Originalbildes werden für eine Texturanalyse benutzt. Die Bestimmung der Textur mit der Schwelle S₃ erfolgt über TB = abs(B – smooth1(B)) TBH = TB > S3 < (S3 + 1) – S3.(4)
Dabei sei angemerkt, dass die smooth-Funktion nur beispielhaft ist und andere glättenden bzw. mittelnden Funktionen auch in Betracht kommen. Ein großer Vorteil der smooth-Funktion ist jedoch der sehr einfache Aufbau, so dass die Rechenoperationen sehr schnell sind, was insbesondere für Echtzeitverarbeitung von erheblichem Vorteil ist.
Neben dieser Analyse werden vorzugsweise auch Helligkeitsdifferenzen untersucht. Dazu werden Bereiche mit verschiedener Helligkeit gefunden, indem schwächer gemittelte Bilder von stärker gemittelten Bildern subtrahiert werden. Davon wird der Absolutwert gebildet und mit einer Schwelle S₄ ein Binärbild erzeugt.
Differenzierter werden die Helligkeitsunterschiede von Flächen hervorgehoben über SB = smooth1(B) – smooth2(B) SBH = SB > S4 < (S4 + 1) – S4. (5)
Für das Hervorheben sehr heller Flächen in einer Binärdarstellung wird durch die schnelle Operation des binären Verschiebens ein Bild erzeugt, das nur das oberste Bit (most significant bit) enthält, es ergibt sich also mit der Schwelle S₅ = MSB MSBH = B ≥ MSB. (6)
Um die stärker veränderlichen Bereiche zu finden, die auf interessierende Objekte hindeuten, werden vorzugsweise auch Histogramme über kleinere Bildbereiche gebildet. Die erhaltenen Histogramme werden als Kurven automatisch ausgewertet. Dazu wird die Varianz der Histogrammwerte berechnet, die Größe eines Plateaus innerhalb vorgegebener Schranken der y-Ordinate innerhalb des Histogramms bestimmt, Anzahl von Minima und Maxima in dem Histogramm ermittelt oder der Abstand zwischen Minima und Maxima bestimmt. Diese sich ergebenden Werte werden auf dem Punkt des verallgemeinerten Bildes eingetragen, der dem Mittelpunkt der Fläche entspricht, über dem das Histogramm gebildet wurde. Lässt man die einzelnen Flächen, über die das Histogramm gebildet wird, über das Bild in allen Richtungen gleiten, so erhält man für jede derartige Auswertung des Histogramms einen Pixelwert, der ins verallgemeinerte Bild eingetragen wird. Durch die Benutzung von Schwellen S₆ können so Flächen erhalten werden, die eine verschieden starke Strukturdynamik beschreiben. Wenn das Histogramm um den Mittelpunkt x, y gebildet wird und in x-Richtung die Entfernung a zu beiden Seiten überstrichen wird und in y-Richtung die Entfernung b nach beiden Seiten überstrichen wird, so ergibt sich Hi(x, y) = Histogramm(B(x – a, x + y, y – b:y + b)) BHi = function{Hi} BinHi = BHi > S6 < (S6 + 1) – S6, (7)wobei function die Funktion beschreibt (z.B. flache Gebiete, Anzahl der Maxima, Tiefe der Maxima, Gradienten, Breite und Häufigkeit der Maxima), die als Auswerteprozedur auf das Histogramm angewandt wird.
Mit dem Gleiten in verschiedene Richtungen wird dabei die Grenze der interessierenden Bereiche genau eingegrenzt. Des Weiteren sei angemerkt, dass S₆ für die verschiedenen Funktionen unterschiedlich gewählt werden kann.
Danach werden mit diesen unterschiedlichen Analyseergebnissen die Gebiete bestimmt, innerhalb derer die Objekte isoliert betrachtet werden können. Die verschiedenen auf Merkmalen basierenden Ergebnisse werden so zusammengefasst, dass von jeder Eigenschaft die sie formenden Parameter so gewählt werden, dass der Beitrag einen maximalen Einfluss hat. In dem oben gezeigten Fall betrifft das DifB, BH₁, SBH, THB, MSBH und BHi mit den dazugehörigen Parametern. Es wird diese Methode der optimalen Auswahl der Parameter aber auch auf später aufgezeigte Auswahlverfahren angewendet.
Dazu werden die einzelnen Beiträge nach der Größe ihres Einflusses auf einen Beitrag zu einer Entscheidung für ein Objekt oder eine Objektklasse geordnet. Um den maximalen Effekt einer Eigenschaft zu ermitteln, werden jene Parameter ausgewählt, die einen maximalen Einfluss einer ausgewählten Eigenschaft ergeben und gleichzeitig der Einfluss der anderen Eigenschaften minimal ist. Es werden so alle Eigenschaften miteinander in der Form kombiniert. Auf diese Weise werden alle Parameter bestimmt, die für die jeweilig selektierte Eigenschaft den optimalen Einfluss liefern. Um zu einer endgültigen Entscheidung zu kommen, werden die Beiträge der einzelnen Eigenschaften zu einem Entscheidungsergebnis zusammengefasst und mit einer Entscheidungsschranke verglichen. Im einfachsten Fall ist das Zusammenfassen eine Addition oder es werden Projektionen der Ergebnisse aufeinander benutzt. Dazu werden logische oder algebraische Verknüpfungen benutzt. Liegt der erhaltene Wert über der Entscheidungsschwelle, wird die Annahme, dass das Objekt nicht zum Hintergrund gehört, als gültig angenommen.
Hier findet also eine Unterscheidung statt, ob die bewegten Objekte doch als Hintergrundbild zu werten sind oder aber zu untersuchende Objekte darstellen. Bei dieser Analyse fließen bereits a priori Kenntnisse mit ein, beispielsweise über die Größe von Objekten. So können beispielsweise anhand der Analyse sehr große Objekte als Wolken eingruppiert werden, die dann zum Hintergrund gezählt werden.
Diese Ermittlung des Hintergrundbildes erfolgt kontinuierlich, wobei die ermittelten Hintergrundbilder addiert und normiert werden, um so ein sich adaptiv anpassendes Hintergrundbild zu erzeugen.
In einem weiteren Schritt wird ein Differenzbild vom aktuellen Hintergrundbild und dem aktuellen Originalbild ermittelt, wobei die so ermittelten Objekte mindestens einer Texturanalyse am Rand und im Inneren des Objektes unterzogen werden, um so die Objekte zu isolieren, wobei Eigenschaften und/oder Merkmale der isolierten Objekte ermittelt werden, wobei diese Eigenschaften und/oder Merkmale der isolierten Objekte mit a priori-Vorgaben verglichen werden, wobei die ermittelten Eigenschaften normiert und auf eine verknüpfte Eigenschaft abgebildet werden, wobei durch Vergleich mit einer Schwelle das Objekt einer Objektklasse zugeordnet wird oder nicht.
In einer weiteren bevorzugten Ausführungsform werden die einzelnen Objekte selbst und ihre örtlichen und zeitlichen Beziehungen untereinander analysiert, wobei die Ergebnisse sowohl zur weiteren Bestimmung des Hintergrundbildes als auch zur Isolierung der Objekte herangezogen werden.
Da im Falle der Beobachtung bei dichterem Verkehr oder Menschenanhäufungen sich viele Objekte bewegen bzw. Helligkeitsunterschiede durch verschiedene Reflexionen oder Beleuchtungen entstehen, werden die einzelnen Objekte selbst und ihre örtlichen und zeitlichen Beziehungen untereinander analysiert. Es wird also die Objektschätzung und die Hintergrundbestimmung miteinander verkoppelt. Wenn die Analyse eine Zuordnung in eine Objektklasse ermöglicht, dann können Änderungen, die an dem Ort nach einer gewissen Zeit auftreten, eine andere Klasse ergeben. Wenn ein Objekt hinreichend lange konstant bleibt, dann kann es als neuer Hintergrund angenommen werden. Mit fortschreitender zeitlicher Konstanz werden diese Gebiete immer sicherer als Hintergrund erkannt.
Wenn sich Personen oder Fahrzeuge bewegen, dann geben sie den gerade verdeckten Hintergrund frei. Da sich Bewegungen besonders sicher aus Differenzbildern bestimmen lassen, wird die Bewegung für die Bestimmung des Hintergrundes ausgenutzt. Für die Personenbewegung hat man hierbei die Besonderheit zu berücksichtigen, dass die Lücke zwischen zwei Personen sehr eng sein kann und an die Stelle einer Person im nächsten Bild eine andere Person getreten ist. Bei Fahrzeugen sind die Abstände normalerweise größer. Vergleicht man drei aufeinanderfolgende Bilder und bildet die Differenzen ΔB1 = ([B(tn+1) – B(tn)] ≥ S8 < (S8 + 1)) – S8 ΔB2 = ([B(tn+2) – B(tn+1)] > S8 < (S8 + 1)) – S8 ΔB3 = ([B(tn+2) – B(tn) ≥ S8 < (S8 + 1)) – S8 ΔB4 = [ΔB3 – ΔB2] ΔB5 = [ΔB2 – ΔB1], (8)so kann man aus ΔB₄ und ΔB₅ die Bewegungsrichtung der Person bzw. des Objektes ermitteln. Verschiebt sich der Mittelpunkt des rechten bzw. linken Randes von ΔB₄ verglichen mit ΔB₅ nach rechts, so erfolgt eine Bewegung nach rechts. Im anderen Fall erfolgt eine Bewegung von rechts nach links. Die Größe der Geschwindigkeit ist proportional der Entfernung des Mittelpunktes zwischen linker oder rechter Seite von ΔB₄ und ΔB₅. Bei einer Bewegung nach rechts wird die linke Fläche von ΔB₁ als Hintergrund ersetzt und man addiert HΔB(tn) = ΔB1(linkeFläche)·B(tn) (9) zum Hintergrundbild. Bewegt sich das Objekt nach links, so wird die rechte Hälfte von ΔB₂ als Hintergrund benutzt, d.h. man ersetzt die Fläche HΔB(tn+1) = ΔB2(rechteFläche)·B(tn+1). (10)
Die einfache Addition ist möglich, da über eine Summation von HAB und das dazugehörige Binärbild ΔB über HΔB/ΔBimmer eine richtige Normierung erfolgt und so das Hintergrundbild bei Addition der freigegebenen Flächen nach der Bewegung keine Veränderungen der Grauwerte des Bildes in Richtung heller oder dunkler entstehen.
Die Abspeicherung von bewegten Objekten über mehr als 2 Bilder (etwa 4 Bilder) kann zu einer Objektverfolgung über die Wanderung des Flächenschwerpunktes des Objektes benutzt werden. Mit dieser Information wird eine Genauigkeitssteigerung bei der Bestimmung von bewegtem Objekt oder Hintergrund erreicht, da die aus der Bewegung berechenbare Vorhersage des zu erwarteten neuen Ortes mit der Messung verglichen werden kann. Dazu werden zu erwartende Bewegungen zwischen zwei zeitlich aufeinander folgenden Bildern errechnet.
Die so erhaltenen Eigenschaftswerte werden abgespeichert und später für die Objekterkennung benutzt. Wenn die Gebiete isoliert sind, in denen sich die Objekte befinden, dann können sie einzeln analysiert werden, um entsprechende Objektklassen oder spezielle Objekte über das Auffinden charakteristischer Merkmale zu finden.
Mittels der Differenz des Hintergrundbildes von dem Originalbild wird alles hervorgehoben, was nicht normalerweise in dem Bild enthalten ist, wie z.B. sich darin bewegende Objekte. Um für die Objekte Größenbestimmungen, Bestimmungen der Form und Analysen der Objektgestalt vornehmen zu können, wird vorzugsweise jeweils ein einzelnes Objekt in einem Binärbild dargestellt, wobei sich das interessierende Objekt innerhalb der weißen Flächen befindet. Die Darstellung des Objektes in einem gesonderten Bild erlaubt die richtige örtliche Zuordnung und ermöglicht die wiederholte Anwendung der gleichen Algorithmen für die verschiedenartigsten Objekte auf das Bild. In einem gesonderten Bild sind vorzugsweise alle Objekte zusammen vorhanden, um allgemeine Relations-Beziehungen anwenden zu können, wie z.B. Statistiken über die vorhandenen Objekte und deren örtlichen Beziehungen zueinander sowie der Wechselwirkungen untereinander. Die Isolation erfolgt mit einer "Einfärbung" der verschiedenen Objekte mittels einer vorgegebenen Anzahl von Grauwertstufen, um später geometrische Zuordnungen und Lokalisationen im Bild auszunutzen.
Um eine Ordnung in die einzelnen weißen Flächen zu bringen, werden sie mit einem Label versehen. Damit erfolgt eine Eintragung in eine Liste oder Datenbank, um zeitliche oder örtliche Beziehungen ausnutzen zu können. Von den Flächen, in denen die interessierenden Objekte sind, wird die Größe bestimmt. Nach dieser Flächengröße werden die weißen Flächen geordnet. Weiterhin werden ihr Umfang und ihr Schwerpunkt, d.h. Mittelpunkt, bestimmt und abgespeichert. Das ist vorteilhaft für eine Vorsortierung der Objekte bezüglich Größe, Form, Umfang und Position im Bild. Außerdem wird ein Rechteck um jedes einzelne Objekt gelegt. Damit können grobe Eigenschaften wie das Verhältnis von Länge zu Breite, die Diagonalenlänge und die Richtung der Diagonale des eingeschlossenen Objektes bestimmt werden.
Mit einer Mitteilung des Umfangs und der Differenzbildung zum originalen Umfang können die "Zerfranstheit" der Objekte bestimmt werden. Auch das Verhältnis von eingeschlossener Fläche zu Umfang gibt einen Anhaltspunkt für die Art des Objektes.
Zur Analyse der Randzonen wird die weiße digitale Fläche an den Rändern erweitert. Das geschieht mit Hilfe eines Glättungsoperators. Es werden damit am Rand Mittelwerte zwischen den weißen Flächen und den umgebenden schwarzen Flächen gebildet und dann eine Schwelle kleiner 1 genommen (z.B. 0,3) und an dieser Schwelle neu digitalisiert, so dass alles, was größer als die Schwelle ist, mit 1 bewertet wird und alles andere 0 bleibt. Damit werden die Ränder in die Fläche einbezogen. Wenn die Flächen sehr gezackt sind und auch kleine Hohlräume in den Flächen sind, dann ist es vorteilhaft, auch die Operation Errode für die Vergrößerung der Fläche und ihre Oberflächenglättung anzuwenden. Mit dieser vergrößerten Fläche hat man auch die unmittelbare Nachbarregion der Objekte erfasst.
Um auch die Kanten oder texturelle Unterschiede an den Rändern richtig behandeln zu können, werden die Flächen, innerhalb der die einzelnen Objekte liegen, vergrößert. Das erfolgt über eine Glättungsoperation über das binäre Bild, das mit einem Faktor fak größer 1 (etwa 3) multipliziert wurde und einen Vergleich mit einer Schwelle S₉. Diese Schwelle hat etwa den Wert 1 und liefert wieder ein Binärbild mit BB = (smooth(fak·B,fak)) > S9 < (S9 – 1) – S9. (11)
Eine Vergrößerung der Fläche kann auch über eine shift Operation, die waagerecht und senkrecht angewendet wird, erfolgen. Das entstandene Binärbild und das Originalbild werden über eine OR-Verknüpfung zusammengefasst.
An den Rändern der Gebiete werden die Textureigenschaften, speziell deren Änderungen, untersucht, da die gesuchten Objekte meist einen Textursprung gegenüber der Umgebung liefern. Dazu werden die einzelnen Änderungen der Grauwerte des Originalbildes von der Randregion von einem inneren Punkt des Randes aus betrachtet, indem man sie mit einer Schwelle S₁₀ vergleicht und dann den Wert 0 oder 1 liefert, je nachdem, ob der Wert größer als S₁₀ war oder nicht. Diese einzelnen Ergebnisse werden addiert und liefern so eine verallgemeinerte binäre bildliche Darstellung der Randzone von dem Objekt. Wenn an den Grenzen größere Sprünge der Werte auftreten, dann ist das auch eine Eigenschaft, die auf ein Objekt hinweist. Für die Schwelle S₁₀ werden mehrere Werte ausgewählt und damit Binärdarstellungen erzeugt und gegenseitig verglichen.
Neben diesen reinen Analysen der Flächen und ihrer Ränder werden auch noch Texturanalysen des Inneren der Objekte durchgeführt. Man multipliziert dazu das binäre Bild, in dem sich das Objekt befindet, mit dem ursprünglichen Bild und kann so innerhalb der Flächen, wo die interessierenden Objekte zu erwarten sind, eine Texturanalyse durchführen. Dazu wird der Rang R von jedem inneren Pixel i, j des zu erwartenden Objektes bestimmt. Dies erfolgt nach der Beziehung
Hierbei sind 2·N die Anzahl der Pixelpunkte in x-Richtung und 2·M die Anzahl der Punkte in y-Richtung des um das interessierende Objekt gebildeten Rechtecks, x_l,k sind die Grauwerte an den Pixelpunkten l, k und u gibt den Wert 1, wenn (x_i,j – x_l,k) > 0 ist und sonst 0. Damit erhält man ein verallgemeinertes Bild, das die Anzahl der Wechsel innerhalb eines Bereiches verglichen mit dem Ursprungspunkt beschreibt. Mittels einer Schwelle S₁₁ als Vergleich mit den Werten von R_i,j über alle Punkte i, j innerhalb des untersuchten Gebietes wird ein Binärbild erzeugt, das ein Maß dafür liefert, inwieweit die Zuordnung zu einem gesuchten Objekt gegeben ist oder nicht.
Zur Unterstützung der Ergebnisse aus der Ranganalyse wird eine Histogrammanalyse des Bereiches, wo das Objekt erwartet wird, durchgeführt. Dazu werden die Extrems und die Plateaus bestimmt, innerhalb derer die Schwankungen des Histogramms eine gewisse vorgegebene Schwelle nicht unterschreiten. Die Bereiche, in denen sich nur schwache Strukturen hervorheben, werden verkleinert und die Bereiche, in denen besonders viele Maxima vorkommen, werden entsprechend gespreizt, um die Strukturen hervorzuheben.
Wenn die Flächen erkannt und minimiert worden sind, innerhalb derer ein interessierendes Objekt zu erwarten ist, dann kann man über eine lokale Analyse der Grauwertverteilungen innerhalb dieses Bereiches das entsprechende Objekt optimal hervorheben und analysieren. Die vorher bestimmten und abgespeicherten Eigenschaften DifB, BH₁, SBH, TBH, MSBH, BHi, ΔB₁, ΔB₂, ΔB₃, ΔB₄, ΔB₅ und BB werden auch zur Isolierung von interessierenden Objekten herangezogen.
Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispieles näher erläutert. Die Fig. zeigen:
1 ein stark vereinfachtes Schema zur Darstellung der Parallelverarbeitung,
2 ein vereinfachtes Blockschaltbild zur adaptiven Erzeugung eines Hintergrundbildes,
3 ein vereinfachtes Blockschaltbild zur Unterscheidung von Personen und Hunden anhand der Größenverhältnisse und
4 ein vereinfachtes Blockschaltbild zur Eliminierung periodischer oder pseudoperiodischer Vorgänge.
In der 1 ist stark vereinfacht das Verfahren dargestellt, das sich in drei parallele Unterverfahren unterteilen lässt, nämlich die Bestimmung des Hintergrundbildes, die Isolierung von Objekten und die Unterscheidung bzw. Zuordnung von Objekten, wobei einzelne Zwischenergebnisse in mehreren Unterverfahren verwendet werden können.
In der 2 ist schematisch die Ermittlung des Hintergrundbildes B_H(t) dargestellt, wobei zunächst durch eine Subtraktion mit Schwelle (S1 und S2) eine erste Maske M2 ermittelt wird, was dem statischen Hintergrundbild entspricht. Zusätzlich erfolgt eine Ermittlung von möglicherweise interessierenden Objekten. Hier werden beispielsweise Eigenschaftsbilder durch Glättungsfunktionen unterschiedlich großer Glättung ermittelt, mittels derer eine Texturanalyse und/oder eine Helligkeitsdifferenzanalyse durchgeführt wird. Weiter können zur Ermittlung weiterer Eigenschaftsbilder Histogramme über Bildbereiche ermittelt werden. Ergibt die Verknüpfung dieser Eigenschaftsbilder, dass ein Objekt doch eher dem Hintergrund zuzuordnen ist, so wird dieser Bereich der Maske M2 hinzugefügt und daraus dann das Hintergrundbild B_H(t_n) erzeugt, wobei die dann noch weißen Bereiche zu isolierende Objekte enthalten.
Um das ermittelte Hintergrundbild B_H(t_n) adaptiv weiter zu verbessern, wird zu jedem Aufnahmezeitpunkt das Verfahren wiederholt und das so gewonnene Hintergrundbild mit dem zuvor ermittelten Hintergrundbild verknüpft, was im unteren Zweig dargestellt ist. Hierzu werden zunächst die beiden Hintergrundbilder addiert und parallel dazu binarisiert (1 oder 0) und addiert. Anschließend werden die beiden so ermittelten Bilder dividiert, was einer Normierung entspricht. Hierdurch wird es auch möglich, Änderungen der Beleuchtung beispielsweise bei Sonnenaufgang oder Sonnenuntergang bzw. bei Änderung der Bewölkung zu berücksichtigen. Parallel hierzu kann eine Eliminierung periodischer oder pseudoperiodischer Vorgänge stattfinden, wie beispielsweise blinkende Lichter, rotierende Werbetafeln, die dann ebenfalls dem Hintergrund zugeordnet werden können. Ein mögliches Schema zur Eliminierung derartiger periodischer oder pseudoperiodischer Vorgänge ist in 4 dargestellt. Wenn dann der Ausgang nach der Schwelle S₁₈ größer als 1 ist, dann handelt es sich um einen periodischen oder pseudoperiodischen Vorgang. Die Mittelung sollte vorzugsweise mehrfach wiederholt werden und mehrfach ein Ergebnis größer 1 liefern.
In der 3 ist vereinfacht eine Unterscheidung von Personen und Hunden anhand der Größenverhältnisse dargestellt, wobei die ermittelten Eigenschaften normalerweise noch verknüpft werden müssen. Die Unterscheidung sowie weitere zu überprüfende Eigenschaften sollen nun näher erläutert werden.
Zwar ist der aufrechte Gang ein Hauptmerkmal zur Unterscheidung von Hund und Mensch, aber man muss auch berücksichtigen, dass bewusst oder unbewusst das Gehen auf allen Vieren, in der Hocke gehen oder Kriechen bei Personen vorkommt, d.h. ein Tiergang vorgetäuscht wird. Um derartige Unterschiede aufzufinden, werden mehrere Eigenschaften des Ganges eines Hundes mit dem eines Menschen verglichen.
Das einfachste Kriterium zur Unterscheidung von kleinen Tieren, wie Katzen, sehr kleinen Hunden und anderen kleinen Tieren, von Menschen ist durch die Größe gegeben. Für diese Unterscheidung muss zunächst bestimmt werden, wo sich das Objekt im Bild befindet. Diese Koordinate bestimmt die Entfernung des Objektes von der Aufnahmekamera. Mit dieser Entfernung wird die Größe des Objekts bestimmt. Nach dem Strahlensatz wird ein Faktor bestimmt, der aus der Fläche der Pixelpunkte die wahre Größe des Objektes bestimmt.
Wenn der Mensch nur etwa doppelt so groß wie der Hund ist, sind Unterscheidungen nur über andere Kriterien möglich. Im Normalfall wird aus der Größe keine eindeutige Unterscheidung zwischen Hund und Mensch möglich sein. Als nächstes Kriterium wird die Form des Objektes analysiert. Zunächst einmal sind die Proportionen bei einem gebückten Menschen und einem Hund verschieden. Da bei Hunden die Hinterbeine senkrecht zum Körper stehen und ein Mensch das wesentlich schwerer simulieren kann, wird die Form des Objektes zur Unterscheidung beitragen. Wenn die Form lang gestreckt ist und eher einem Rechteck gleicht, dann ist eher für einen Hund zu entscheiden. Wenn dagegen mehr ein lang gestrecktes Oval entsteht, dann ist auch die Täuschung durch einen Menschen möglich. Wenn ein aufrechtes Oval entsteht, dann ist das ein Kriterium für einen Menschen.
Ein weiteres Kriterium ist das Verhältnis von Umfang zu Fläche. Dieses Verhältnis ist umso kleiner, je mehr die Fläche einem Kreis gleicht. Wenn die Fläche lang gestreckt ist, wird diese ein größeres Verhältnis liefern. Besonders groß wird das Verhältnis, wenn das Objekt Ausbuchtungen wie Beine hat. Bei einem Hund sind diese im Vergleich zum Körper recht groß, außerdem steht der Kopf nach oben hervor. Bei einem Menschen sind durch Kleidung die Konturen mehr eng anliegend und ergeben damit ein kleineres Verhältnis von Umfang zu Fläche. Die Berechnung des Umfangs ist leicht möglich über eine Vergrößerung der Fläche des Objektes mit einer Glättungsfunktion (smooth) des binären Bildes und einer Binarisierung an einer Schwelle S₁₀ kleiner 1 (etwa 0,5). Zieht man von der so vergrößerten Fläche die ursprüngliche Fläche ab, so erhält man mit Rand = (smooth(Binärfläche) – Binärfläche) > S12 die Form des Randes. Durch eine Summation des Quadrates aller Pixel des Randes und Teilung durch die Pixel der zu untersuchenden Binärfläche erhält man das Verhältnis U²/F von Umfang zu Fläche durch die Beziehung
Die so ermittelten Eigenschaftswerte können dann normiert, miteinander verknüpft und mit einer Schwelle verglichen werden, aus der sich eine Aussage Person ja oder nein ergibt. Hierzu können zuvor Eigenschaften zu neuen Eigenschaften kombiniert werden. Um die Entscheidungssicherheit zu erhöhen, werden vorzugsweise weitere Eigenschaften ermittelt.
Als nächstes Kriterium werden zeitliche Veränderungen betrachtet. Die sich zeitlich verändernden Bewegungsmuster und die Geschwindigkeit der Veränderungen sind bei Hund und Mensch signifikant unterschiedlich. Der Gang eines Menschen ist im Normalfall aufrecht, so dass der simulierte Hundegang eher einem Humpeln gleicht. Diese Ungleichmäßigkeiten in der zeitlichen Betrachtung werden zur Unterscheidung herangezogen. Es werden dazu zwei gleiche weiße Flächen, die den Umrissen der Objekte in den zeitlich aufeinander folgenden Bildern entsprechen, miteinander verglichen. Die Auswahl der korrespondierenden Flächen erfolgt hierbei nach den Kriterien von annähernd gleicher Größe und der örtlichen Nähe zueinander in den beiden Bildern. Zur genaueren Bestimmung kann vorher auch noch die Bewegungsrichtung ermittelt werden und damit eine Vorhersage des im nächsten Bild zu erwartenden Ortes von dem Objekt erfolgen. Wenn die Differenz der Flächen, die unterschiedliche Höhe haben, groß sind (Zeichen für "Humpeln"), dann liegt eher ein Humpeln vor, und es handelt sich um eine Tier-Simulation eines Menschen.
Ein anderes Kriterium ergibt sich, wenn längere Zeiten betrachtet werden, dann gibt es Zeiten, in denen die Person mehr aufrecht geht und damit ein Kriterium der Größe und Form liefert, die ein hochspringender Hund nicht liefern kann. Wenn es also Zeiten gab, in denen das Objekt nur ein Mensch sein konnte und dieses Objekt für längere Zeit verfolgt werden kann, dann führen vorübergehende untypische Repräsentationen nicht zu einer Umdeklarierung des erkannten Objektes. Es wird hierbei mit einer Vorhersage gearbeitet, die erst nach mehrfacher Veränderung als widerlegt anerkannt wird. Die Vergessenszeit wird a priori festgelegt.
Als weiteres Kriterium wird die Textur des Objektes, das sich in der weißen Binärfläche befindet, benutzt. Die Textur eines Hundes ist verhältnismäßig homogen, da das Fell überall gleiche Textur hat. Bei einem Menschen gibt es allgemein Texturunterschiede, die in den unterschiedlichen Kleidungsteilen und den von Kleidung freien Teilen bedingt sind. Benutzt man die Differenzen zwischen den Grauwerten der Pixel als Texturmaß, dann lassen sich derartige Texturen schnell berechnen. Für die Texturbestimmung kann auch die Verfahrensweise von Gleichung (12) herangezogen werden. Wenn der Unterschied der Textur von verschiedenen Teilen eine Schwelle S₁₃ überschreitet, dann wird für einen Menschen entschieden und sonst für einen Hund.
Das kurze Aufrichten zu einem vorherigen Zeitpunkt wird in Zusammenhang mit einer Verfolgung eines Objektes über einige Zeitschritte (etwa t_n bis t_n+5) gespeichert oder in einer Datenbank abgelegt und unterstützt später die Entscheidung für einen Menschen, auch wenn dieser zum gegebenen Zeitpunkt t_n+m mit m < 5 sich gerade ähnlich einem Tier fortbewegt.
Ähnlich, wie die Unterscheidung Tier oder Person zuvor erfolgte, kann auch eine Unterscheidung von Personen und Fahrzeugen erfolgen.
Für die Unterscheidung wird das binäre Bild benutzt, in dem das Objekt enthalten ist, und dazu die Form dieser Fläche herangezogen. Die Unterscheidung einer Person von einem Fahrzeug ist aus der Form heraus schon möglich. Während ein Mensch allgemein höher als breit ist, ist ein Fahrzeug meist breiter als hoch. Dieser Unterschied kann leicht bestimmt werden, indem man eine Verschiebung der Fläche nach rechts bzw. links (waagerecht) vornimmt und nach oben bzw. unten (senkrecht) und die so gewonnene Fläche mit der ursprünglichen Fläche über eine OR-Verknüpfung verbindet. Ist die Fläche nach der Verknüpfung mit der waagerechten Verschiebung größer als die mit der senkrechten Verschiebung, dann ist für ein Fahrzeug zu entscheiden. Ist es umgekehrt, sollte für eine Person entschieden werden.
Für ein zweites Kriterium werden die Fenster von Fahrzeugen benutzt. Sie sind bei allen Fahrzeugen aus gleichem Material und haben die gleiche Textur, nämlich eine sehr homogene. Bei einer Texturdarstellung des Fahrzeugs heben sich die Fenster eindeutig hervor. Zur Analyse der Textur wird das binäre Bild, das das Objekt enthält, mit dem Originalbild multipliziert. Die Textur wird nach Gleichung (12) ermittelt. Wenn in dem oberen Drittel des Objektes eine klare Trennung zwischen den Texturen auftritt und die Texturen im oberen Drittel homogen sind, dann ist das ein Kriterium für das Auftreten von Fenstern. Damit ist in diesem Falle von einem Fahrzeug auszugehen.
Ein drittes Kriterium betrifft die Strukturen im unteren Bereich. Eine charakteristische Struktur ist durch die Radform gegeben. Um diese zu ermitteln, wird eine Verschiebung des Bildes um 1 Pixel nach rechts durchgeführt. Das so erhaltene Bild B_S wird von dem Originalbild subtrahiert und ergibt ein Bild, in dem die Radkontur hervorgehoben wird. Diese wird ermittelt über eine Berechnung der Fläche einer geschlossenen Kontur. Überschreitet diese einen bestimmten Wert, der quadratisch abhängig ist von der Entfernung von der Kamera und von dem Ort, wo sich der Kreis befindet (Bestimmung der Größe des Rades im Bild), so handelt es sich um eine ovale oder kreisförmige Kontur. Oval ist die Kontur, wenn das Rad schräg zur Kameraachse ist. Das Auffinden einer solchen Kontur wird als eines der Kriterien für die Entscheidung für ein Fahrzeug benutzt.
Die Kriterien für die Entscheidung für einen Menschen ergeben sich ebenfalls aus der Textur. Bei einem Menschen sind die Texturunterschiede größer als bei einem Fahrzeug, da die Bekleidung eine gröbere Textur als der Lack eines Autos hat und besondere Unterschiede in der Kopf und Beinregion vorkommen, da hier nur kleine Flächen im Bild erscheinen und der dahinter liegende Hintergrund eine andere Textur aufweist. Bei einem Menschen ist damit auch eine lokal sich schneller ändernde Textur gegeben. Die Punktanzahl der Überschreitung einer Texturschwelle S₁₄ geteilt durch die Gesamtpunktzahl wird als Texturvergleich (TXTV) bezeichnet. Wenn TXTV größer als 0,5 ist, wird für eine Person entschieden, und zwar umso mehr, je mehr TXTV über 0,5 liegt.
Die einzelnen Merkmale von Umfang, Textur sowie Merkmalsextraktion von Fenstern und Rädern eines Fahrzeuges werden alle für die Entscheidungsfindung herangezogen. Dabei wird für jede Eigenschaft eine Zuordnung in einem Intervall von 0 bis 1 für die Klassenzuordnung von Fahrzeug bzw. Person benutzt. Wenn ein Kriterium mit dem Wert 0 < p < 1 gegen eine Zuordnung spricht, dann wird (1-p) für die andere Zuordnung gewertet. Im einfachsten Fall addiert man alle Zuordnungswerte auf, teilt diesen Wert durch die Anzahl der berücksichtigten Kriterien und vergleicht das Ergebnis d mit einer Schwelle S₁₅ > 0,5. Wenn d größer als die Schwelle S₁₅ ist, wird sich für die entsprechende Zuordnung entschieden, also eine Person oder im anderen Fall ein Fahrzeug. Ist der Ergebniswert etwa 0,5, dann sind auch andere Zuordnungen als Mensch und Auto zu analysieren.
Für die Unterscheidung einer Person von einem Vogel wird zunächst der Horizont berechnet. Dazu wird die Tatsache herangezogen, dass in der Nähe des Horizontes das Licht über die maximale Wolkenschicht bzw. Dunstschicht hindurchgehen muss. Das ist darin begründet, dass die Wolken allgemein in niedrigeren Höhen, zumindest normalerweise niedriger als 12 km, auftreten und somit bei größeren Winkeln, also näher der Senkrechten, weniger Wolken vom Licht durchstoßen werden. Dadurch sind dort eher einzelne Wolken und deren Strukturen zu sehen. Am Horizont werden hingegen sehr viele Strukturen durchdrungen, so dass auf dem langen Weg durch die Wolken eine Strukturmittelung entsteht und somit die Textur am Horizont sehr gleichmäßig ist. Diese Tatsache ist eine der Grundlagen für ein Kriterium zur Ermittlung des Horizontes. Es wird dazu eine Spalte des Bildes SB von der um einen Pixel verschobenen Spalte SB₁ subtrahiert und davon der Absolutwert gebildet. Am Horizont entsteht dann ein Sprung zu einem sehr kleinen Wert. Diese Differenzbildung wird für alle Spalten durchgeführt, und mit einer Schwelle S₁₄ werden die Werte der Differenz binarisiert. Damit erhält man innerhalb eines Bereiches, wo man den Horizont erwarten könnte, eine Linie. Diese ist der Horizont.
Wenn man Objekte über dem Horizont hat, so müssen diese fliegen können, und damit werden Personen in diesem Bereich unwahrscheinlich. Ein weiteres Kriterium, das damit in Zusammenhang steht, ist die Bewegung. Ohne Bewegung ist ein Aufenthalt in der Luft nicht möglich. Damit hat man zwei Kriterien, das Objekt ist oberhalb des Horizontes und ist in Bewegung, um einen Vogel von einer Person zu unterscheiden. Die Bewegung wird wieder aus der Fläche bestimmt, die sich aus den Differenzbildern zu verschiedenen Zeitpunkten mit einer Schwelle ergibt.
Wenn der Vogel am Boden sitzt, ist der Fall komplizierter. Über die Textur oder das Hintergrundbild wird die Fläche markiert, die den Vogel enthält. Es sind dann die Größe und die Form dieser Fläche, die als Kriterium herangezogen werden, zu ermitteln. Die Form ist bei einem Vogel dadurch charakterisiert, dass das Quadrat des Umfangs zur Fläche kleiner als 14 oder 15 ist (entsprechend der Beziehung für die kreisförmige Fläche mit (2π)²/(πr²)).
Wenn der Vogel am Boden läuft oder hüpft, dann wird das Kriterium die Art der Bewegung betrachtet. Ist die Bewegung sehr ruckartig, dann wird für einen Vogel entschieden. Als zweites Kriterium wird das Verhältnis von Größe des Objekts zur Änderung des Ortes benutzt. Dieses Verhältnis ist bei einer Person größer als bei einem Vogel. Wenn die Fläche, die aus der Differenz von 2 zeitlich aufeinander folgenden Bildern erhalten wird, größer ist als die Fläche, die das Objekt umschließt, so handelt es sich wahrscheinlich um einen Vogel.
Um richtige Größenverhältnisse für die Beurteilung des Objektes zu haben, wird vorzugsweise der Schatten bestimmt und eliminiert. Bei der Unterscheidung einer Person von ihrem Schatten wird die Textur herangezogen. Während der Schatten eine gleichmäßige Abdunklung ist, sind bei einer Person verschiedene Texturen bei den verschiedenen Kleidungsstücken oder Körperteilen festzustellen.
Die Schatten haben Konturen, die unterschiedlich zu denen von Personen sind. Es werden Gebiete von unterschiedlichen Texturen über einen Vergleich der Ergebnisse von Grauwertunterschieden, die nach Gleichung (12) ermittelt werden, durch einen Vergleich mit den Schwellwerten S₁₆ erzeugt. Wenn die isolierten Gebiete Formen erzeugen, die eine Wiederholung der Form mit einem geringeren Grauwertpegel ergeben, dann wird bezüglich eines Schattens untersucht. Es wird dazu eine Linie gesucht, die mittig durch das Gebiet geht an der Stelle, wo das Gebilde die engste Stelle hat. Diese kleinste Entfernung zu beiden Rändern von der Mittellinie aus ist wie eine Taille zu sehen. Dann wird untersucht, ob eine Ähnlichkeit des Gebietes oberhalb oder unterhalb dieser Linie besteht. Wenn das der Fall ist, dann wird der Abschnitt, der von der Linie abgewandt ist, als Schatten betrachtet. Hierbei muss der Verlauf der Symmetrielinie nicht waagerecht sein. Da das Licht allgemein von oben kommt (Sonne oder aufgehängte Lampe), ist die senkrechte Komponente immer größer als die waagerechte und damit ist die Verbindungslinie eher waagerecht als senkrecht. Unterhalb der Verbindungslinie ist der Schattenanteil, so dass die untere Fläche als Schatten gewertet und nur der obere Teil als Fläche für eine Person behandelt wird.
Die Schatten eines Fahrzeuges sind allgemein von der Seite aus sichtbar. Somit ist der Schatten allgemein da, wo auch die Räder enden. Da die Räder ein charakteristisches Objekt am Auto sind, können sie aufgrund ihrer geometrischen Form leicht im Bild bestimmt werden. Der Schatten hat normalerweise eine homogenere Textur als das Fahrzeug, da am Fahrzeug Türen, Fenster und andere Unregelmäßigkeiten vorhanden sind, während die Straße einen allgemeinen homogenen Belag hat. Somit erfolgt am Beginn des Schattens ein Sprung in der Textur. Dieser Textursprung mit der allgemein homogeneren Textur im Schattengebiet aufgrund der Abdunklung wird zur Identifizierung des Schattens benutzt. Die Texturunterschiede werden ermittelt, indem die Differenz der Grauwerte in der Umgebung eines Pixelpunktes ermittelt wird. Das kann über das ganze Bild leicht erfolgen, indem das gemittelte Bild (smooth Operation angewandt) von dem Originalbild abgezogen wird und dann nur Werte oberhalb einer Schwelle S₁₇ ausgegeben werden. Dann erhält man schwarze und helle Flächen, die unterschiedliche Texturbereiche im Bild abteilen.
Neben der Textur wird auch ein Sprung in der Helligkeit im Schattengebiet auftreten. So kann auch diese Eigenschaft mit der Textureigenschaft verkoppelt werden.
Abschließend sei angemerkt, dass je nach Anwendung die Zuordnung weniger komplex sein muss. So muss beispielsweise in einer Innenraumüberwachung keine Unterscheidung von Fahrzeugen oder Vögeln erfolgen.

Claims

Verfahren zum Auffinden und Unterscheiden von Personen, Tieren oder Fahrzeugen mittels automatischer Bildüberwachung digitaler oder digitalisierter Bilder, umfassend folgende Verfahrensschritte: a) Bestimmung eines statischen Hintergrundbildes, umfassend eine Differenzbildung von zwei Bildern B(t_n), B(t_n+1) zum Zeitpunkt t_n und t_n+1, wobei die Bilder B(t_n), B(t_n+1) von der Differenzbildung mit einem ersten Schwellenwert S₁ verglichen und nur Bildpunkte größer des Schwellenwertes S₁ berücksichtigt werden und das Differenzbild mit einem zweiten Schwellenwert S₂ nachbearbeitet, b) Ermittlung von Eigenschaftsbildern des Originalbildes B(t_n), wobei die ermittelten Eigenschaftsbilder miteinander verknüpft werden, um die nicht zum statischen Hintergrundbild gehörenden Objekte näher zu untersuchen, wobei in Abhängigkeit der Verknüpfung das Objekt zusätzlich dem Hintergrundbild zugeordnet wird oder als Objekt betrachtet wird, c) Wiederholen der Verfahrensschritte a) und b) zu einem späteren Zeitpunkt, wobei die beiden ermittelten Hintergrundbilder addiert und normiert werden, um so ein sich adaptiv anpassendes Hintergrundbild zu erzeugen, d) Ermittlung eines Differenzbildes vom aktuellen Hintergrundbild und dem aktuellen Originalbild, wobei die so ermittelten Objekte mindestens einer Texturanalyse am Rand und im Innern des Objektes unterzogen werden, um so die Objekte zu isolieren, e) Ermitteln von Eigenschaften und/oder Merkmalen der isolierten Objekte, wobei diese Eigenschaften und/oder Merkmale mit a priori-Vorgaben verglichen werden, wobei die ermittelten Eigenschaften normiert und auf eine verknüpfte Eigenschaft abgebildet werden, wobei durch Vergleich mit einer Schwelle das Objekt einer Objektklasse zugeordnet wird oder nicht.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass nach der Differenzbildung die Absolutwerte oder die quadrierten Werte gebildet werden, die dann mit dem zweiten Schwellenwert S₂ verglichen werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Eigenschaftsbilder durch Glättungsfunktionen unterschiedlich großer Glättung ermittelt werden, mittels derer eine Texturanalyse und/oder eine Helligkeitsdifferenzanalyse durchgeführt wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass zur Ermittlung der Eigenschaftsbilder Histogramme über Bildbereiche durchgeführt werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die einzelnen Objekte selbst und ihre örtlichen und zeitlichen Beziehungen untereinander analysiert werden, wobei die Ergebnisse sowohl zur weiteren Bestimmung des Hintergrundbildes als auch zur Isolierung der Objekte herangezogen werden.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass zur Isolierung der Objekte jeweils ein einzelnes Objekt in einem Binärbild dargestellt wird, wobei sich das interessierende Objekt innerhalb der weißen Flächen befindet und in einem gesonderten Bild alle Objekte zusammen dargestellt sind.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Größe und der Umfang der Fläche bestimmt werden sowie um jedes Objekt ein Rechteck gelegt wird.
Vorrichtung zum Auffinden und Unterscheiden von Personen, Tieren oder Fahrzeugen mittels automatischer Bildüberwachung digitaler oder digitalisierter Bilder, wobei in einer Auswerteeinheit a) eine Bestimmung eines statischen Hintergrundbildes erfolgt, umfassend eine Differenzbildung von zwei Bildern B(t_n), B(t_n+1) zum Zeitpunkt t_n und t_n+1, wobei die Bilder B(t_n), B(t_n+1) von der Differenzbildung mit einem ersten Schwellenwert S₁ verglichen und nur Bildpunkte größer des Schwellenwertes S₁ berücksichtigt werden und das Differenzbild mit einem zweiten Schwellenwert S₂ nachbearbeitet wird, b) eine Ermittlung von Eigenschaftsbildern des Originalbildes B(t_n) erfolgt, wobei die ermittelten Eigenschaftsbilder miteinander verknüpft werden, um die nicht zum statischen Hintergrundbild gehörenden Objekte näher zu untersuchen, wobei in Abhängigkeit der Verknüpfung das Objekt zusätzlich dem Hintergrundbild zugeordnet wird oder als Objekt betrachtet wird, wobei c) die Schritte a) und b) zu einem späteren Zeitpunkt wiederholt werden, wobei die beiden ermittelten Hintergrundbilder addiert und normiert werden, um so ein sich adaptiv anpassendes Hintergrundbild zu erzeugen, d) eine Ermittlung eines Differenzbildes vom aktuellen Hintergrundbild und dem aktuellen Originalbild erfolgt, wobei die so ermittelten Objekte mindestens einer Texturanalyse am Rand und im Innern des Objektes unterzogen werden, um so die Objekte zu isolieren, und f) Eigenschaften und/oder Merkmalen der isolierten Objekte ermittelt werden, wobei diese Eigenschaften und/oder Merkmale mit a priori-Vorgaben verglichen werden, wobei die ermittelten Eigenschaften normiert und auf eine verknüpfte Eigenschaft abgebildet werden, wobei durch Vergleich mit einer Schwelle das Objekt einer Objektklasse zugeordnet wird oder nicht.
Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass nach der Differenzbildung die Absolutwerte oder die quadrierten Werte gebildet werden, die dann mit dem zweiten Schwellenwert S₂ verglichen werden.
Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Eigenschaftsbilder durch Glättungsfunktionen unterschiedlich großer Glättung ermittelt werden, mittels derer eine Texturanalyse und/oder eine Helligkeitsdifferenzanalyse durchgeführt wird.
Vorrichtung nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass zur Ermittlung der Eigenschaftsbilder Histogramme über Bildbereiche durchgeführt werden.
Vorrichtung nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass die einzelnen Objekte selbst und ihre örtlichen und zeitlichen Beziehungen untereinander analysiert werden, wobei die Ergebnisse sowohl zur weiteren Bestimmung des Hintergrundbildes als auch zur Isolierung der Objekte herangezogen werden.
Vorrichtung nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, dass zur Isolierung der Objekte jeweils ein einzelnes Objekt in einem Binärbild dargestellt wird, wobei sich das interessierende Objekt innerhalb der weißen Flächen befindet und in einem gesonderten Bild alle Objekte zusammen dargestellt sind.
Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die Größe und der Umfang der Fläche bestimmt werden sowie um jedes Objekt ein Rechteck gelegt wird.