DE102009000173A1 - Vorrichtung zum Zählen von Objekten, Verfahren sowie Computerprogramm - Google Patents

Vorrichtung zum Zählen von Objekten, Verfahren sowie Computerprogramm Download PDF

Info

Publication number
DE102009000173A1
DE102009000173A1 DE102009000173A DE102009000173A DE102009000173A1 DE 102009000173 A1 DE102009000173 A1 DE 102009000173A1 DE 102009000173 A DE102009000173 A DE 102009000173A DE 102009000173 A DE102009000173 A DE 102009000173A DE 102009000173 A1 DE102009000173 A1 DE 102009000173A1
Authority
DE
Germany
Prior art keywords
counting
objects
moving image
areas
contraption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102009000173A
Other languages
English (en)
Inventor
Julia Ebling
Christof Krüger
Jan Karl Warzelhan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102009000173A priority Critical patent/DE102009000173A1/de
Priority to EP09760822.8A priority patent/EP2386092B1/de
Priority to PCT/EP2009/065516 priority patent/WO2010081577A1/de
Priority to US12/922,229 priority patent/US9418300B2/en
Publication of DE102009000173A1 publication Critical patent/DE102009000173A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Für Betreiber von öffentlichen oder gewerblichen Gebäuden, wie zum Beispiel Supermärkte, ist es interessant zu erfahren, wie viele Personen, insbesondere potenzielle Käufer, tagtäglich das Gebäude betreten. Auch in anderen Bereichen werden ein- und aBeispiel üblich, dass Autos, welche in ein Parkhaus ein- bzw. ausfahren, gezählt werden. Es wird eine Vorrichtung 1 zum Zählen von Objekten in einem Überwachungsbereich, mit einem Zählmodul 9, wobei das Zählmodul einen Objektzähler umfasst, der um einen Zählwert erhöht wird, wenn eines der Objekte als Zählobjekt eine Zählstrecke 6 in einer Zählrichtung 4 vollständig durchläuft, mit mindestens einer Überwachungskamera 2 zur Erfassung des Überwachungsbereichs, wobei die Überwachungkamera 2 zur Ausgabe eines Bilddatenstroms des Überwachungsbereichs ausgebildet ist, und mit einem Extraktionsmodul 10, welches zur Extraktion von bewegten Bildbereichen in einem aktuellen Bild des Bilddatenstroms ausgebildet ist, wobei die bewegten Bildbereiche die Objekte oder Teilabschnitte davon repräsentieren können, vorgeschlagen, wobei das Zählmodul 9 ausgebildet ist, bei jedem aktuellen Bild für einen der bewegten Bildbereiche 3, dessen Bewegungsrichtung der Zählrichtung 4 entspricht und somit ein mögliches Zählobjekt oder einen Teilabschnitt davon repräsentiert, den Objektzähler 9 um einen Teilwert zu erhöhen, wobei der Teilwert kleiner als der Zählwert ist.

Description

  • Stand der Technik
  • Die Erfindung betrifft eine Vorrichtung zum Zählen von Objekten in einem Überwachungsbereich mit einem Zählmodul, wobei das Zählmodul einen Objektzähler umfasst, der im Mittel um einen Zählwert erhöht wird, wenn eines der Objekte als Zählobjekt eine Zählstrecke in einer Zählrichtung vollständig durchläuft, mit mindestens einer Überwachungskamera zur Erfassung des Überwachungsbereichs, wobei die Überwachungskamera zur Ausgabe eines Bilddatenstroms des Überwachungsbereichs ausgebildet ist, und mit einem Extraktionsmodul, welches in einem aktuellen Bild des Bilddatenstroms zur Extraktion von bewegten Bildbereichen ausgebildet ist, und wobei die bewegten Bildbereiche die Objekte oder Teilabschnitte davon repräsentieren können. Die Erfindung betrifft auch ein Verfahren zum Zählen von Objekten sowie ein Computerprogramm.
  • Für Betreiber von öffentlichen oder gewerblichen Gebäuden, wie zum Beispiel Supermärkte, ist es interessant zu erfahren, wie viele Personen, insbesondere potenzielle Käufer, tagtäglich das Gebäude betreten. Auch in anderen Bereichen werden ein- und austretende, bewegte Objekte gezählt: So ist es zum Beispiel üblich, dass Autos, welche in ein Parkhaus ein- bzw. ausfahren, gezählt werden.
  • Je nach Anwendungsgebiet haben sich verschiedene Vorrichtungen zur Zählung durchgesetzt: So ist es in dem Parkhaus beispielsweise möglich, die Autos über eine berührungslose Induktionsmessung zu erfassen. In Supermärkten können die Käufer dagegen mittels einfacher Lichtschranken gezählt werden, die einen Zähler ansteuern, wenn sie unterbrochen werden. Bei den genannten Vorgehensweisen können jedoch nur vereinzelte, bewegte Objekte detektiert werden, ferner erlauben diese Messmethoden keine Aussagen über die Richtung des bewegten Objekts. Ein weiterer Schwachpunkt der Lichtschrankenmethode ist es, dass die Lichtschranke durch stationäre Objekte behindert werden kann.
  • Mittels Videoüberwachungssystemen erscheint es ebenfalls möglich, bewegte Objekte zu zählen. Derartige Videoüberwachungssystem umfassen üblicherweise eine Mehrzahl von Kameras, welche auf einen Überwachungsbereich gerichtet sind, wobei die Bilddatenströme der Kameras in einer Überwachungszentrale zur manuellen oder automatisierten Kontrolle zusammengeführt werden. Es ist zum Beispiel bekannt, bewegte Objekte über einen gewissen Zeitraum zu verfolgen, wobei die Anzahl der verfolgten Objekte eine Zählung dieser bewegten Objekte darstellt. Am besten funktionieren die Videoüberwachungssysteme, wenn die bewegten Objekte gut gegeneinander abgegrenzt werden können. Im Gegenschluss bedeutet das für videogestützte Überwachungsmethoden, dass die Objekte im Kamerabild sich nicht überdecken oder nicht zu nahe aneinander grenzen sollen. Insbesondere bei stark bevölkerten Szenen kann es aufgrund derartiger Überdeckungen von bewegten Objekten zu Fehlauswertungen kommen.
  • Die Druckschrift DE 10 2006 053 286 A1 , die wohl den nächstkommenden Stand der Technik bildet, beschreibt ein Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, wobei ein aktuelles optisches Flussfeld in einer Bildersequenz berechnet wird und mit einem Referenzflussfeld, welches die Hauptflussrichtungen von Bildbereichen der abgebildeten Szene umfasst, verglichen wird, wobei aus Bildbereichen der Szene, deren Bewegungsvektoren abweichend zu den Hauptflussrichtungen ausgerichtet sind, ein Gegenflussfeld mit Bewegungsvektoren von bewegungsauffälligen Bildbereichen gebildet wird.
  • Offenbarung der Erfindung
  • Im Rahmen der Erfindung wird eine Vorrichtung mit den Merkmalen des Anspruchs 1, ein Verfahren mit den Merkmalen des Anspruchs 11 sowie ein Computerprogramm mit den Merkmalen des Anspruchs 12 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügten Figuren.
  • Im Rahmen der Erfindung wird eine Vorrichtung zum Zählen von Objekten in einem Überwachungsbereich vorgeschlagen. Der Überwachungsbereich kann beliebig ausgebildet sein, so kann es sich beispielsweise um einen öffentlichen Platz, einen Eingangsbereich zu einem Gebäude, einen Innenbereich eines Gebäudes etc. handeln. Vorzugsweise ist die Vorrichtung als ein Videoüberwachungssystem ausgebildet.
  • Die Vorrichtung umfasst ein Zählmodul mit einem Objektzähler, wobei das Zählmodul ausgebildet ist, dass der Objektzähler im Mittel bzw. durchschnittlich um einen Zählwert erhöht wird, wenn eines der Objekte als Zählobjekt eine Zählstrecke in einer Zählrichtung vollständig durchläuft bzw. durchlaufen hat. Beispielsweise wird die Zählstrecke durch die Verbindung eines Eingangsbereichs und eines Ausgangsbereichs in dem Überwachungsbereich definiert. Die Zählstrecke und/oder die Zählrichtung kann wahlweise in dem Umgebungsbereich oder in Bildkoordinaten definiert werden. Die Festlegung der Zählrichtung erlaubt es insbesondere, zwischen bewegten Objekten, die sich in eine Richtung der Zählstrecke, und bewegten Objekten, die sich in der Gegenrichtung bewegen, zu unterscheiden. Der Zählwert, also das Inkrement des Objektzählers, ist vorzugsweise 1, so dass der Objektzähler jeweils um den Wert 1 erhöht wird, wenn ein Objekt die Zählstrecke in Zählrichtung vollständig durchlaufen hat.
  • Die Vorrichtung umfasst mindestens eine Überwachungskamera, welche zur Erfassung des Überwachungsbereichs geeignet und/oder ausgebildet, insbesondere angeordnet, ist, wobei die mindestens eine Überwachungskamera die Ausgabe eines Bilddatenstromes des Überwachungsbereichs erlaubt. Der Bilddatenstrom ist vorzugsweise als eine Sequenz aufeinanderfolgender Bilder ausgebildet. Die Überwachungskamera ist vorzugsweise als eine Videokamera ausgebildet, welche im sichtbaren Längenwellenbereich arbeitet. Alternativ hierzu kann die Überwachungskamera jedoch auch als eine Wärmebildkamera oder eine UV-Kamera realisiert sein. Hinsichtlich des optischen Aufbaus kann die Überwachungskamera eine maßstabsgetreue oder eine verzerrte Abbildung des Überwachungsbereichs liefern, so kann die Überwachungskamera beispielsweise auch als eine 360°-Kamera oder Fischaugen-Kamera ausgebildet sein. Die Überwachungskamera kann z. B. in einer sogenannte Birds-Eye-View- Position angeordnet sein, wobei die Überwachungskamera von oben auf den Überwachungsbereich blickt, oder in einer Wide-Angle-View-Position, wobei die Überwachungskamera mehr von oben-vorne auf den Überwachungsbereich gerichtet ist.
  • Ferner umfasst die Vorrichtung ein Extraktionsmodul, welches in einem aktuellen Bild des Bilddatenstroms bewegte Bildbereiche, also Bildbereiche, welche Objekte repräsentieren, die sich in dem Überwachungsbereich bewegen, extrahiert. Vorzugsweise werden die bewegten Bildbereiche durch einen Vergleich des aktuellen Bildes mit einem oder mehreren vorhergehenden Bildern des Bilddatenstroms ermittelt. Insbesondere werden ergänzend zur Extraktion der bewegten Bildbereiche Bewegungsdaten zu den Bildbereichen und somit zu den den Bildbereichen zugeordneten Objekten ermittelt.
  • Erfindungsgemäß wird vorgeschlagen, dass das Zählmodul ausgebildet ist, bei jedem aktuellen Bild, welches durch das Extraktionsmodul bearbeitet wurde, für einen der bewegten Bildbereiche, dessen Bewegungsrichtung der Zählrichtung entspricht und somit ein mögliches Zählobjekt oder einen Teilabschnitt davon repräsentiert, den Objektzähler um einen Teilwert zu erhöhen, wobei der Teilwert kleiner als der Zählwert ist.
  • Der Objektzähler wird somit bildweise nur um einen Bruchteil des Zählwerts erhöht, wenn die Analyse des aktuellen Bilds ergibt, dass sich ein Objekt als Zählobjekt entlang der Zählstrecke in Zählrichtung bewegt.
  • Statt dem klassischen Ansatz der Bildverarbeitung, ein Objekt zu detektieren, über einen gewissen Zeitraum und somit über eine Bildersequenz zu verfolgen und danach zu überprüfen, ob dieses Objekt die Zählstrecke in Zählrichtung durchlaufen hat, wird erfindungsgemäß ein neuer Ansatz gewählt. Gerade in stark bevölkerten Szenen (crowded scenes) kann es zu falschen Zuordnungen des Objekts oder zu einem Verschwinden des Objekts während der Verfolgung kommen. Um diese möglichen Fehlerquellen auszuschließen, erfolgt erfindungsgemäß die Auswertung bildweise, wobei der Objektzähler um einen Teilwert erhöht wird, sobald ein Bildbereich festgestellt wird, dessen zugeordnetes Objekt ein Zählobjekt darstellt. Nach der Erhöhung des Objektzählers um den Teilwert wird das nächste Bild als aktuelles Bild behandelt.
  • Für den Fall, dass das Objekt die Zählstrecke in Zählrichtung vollständig durchläuft, sollte in jedem Bild der entsprechende Bildbereich detektiert werden können und sich somit die Teilwerte insgesamt zu dem Zählwert akkumulieren.
  • Besondere Vorteile bietet die Vorrichtung jedoch auch für den Fall, wenn das Objekt während des Durchlaufens der Zählstrecke in Zählrichtung z. B. aufgrund einer Verdeckung oder Verschmelzung mit einem weiteren Objekt verloren geht:
    Ohne weitere Kompensation wird dieses Zählobjekt dann zumindest anteilig als Zählwert berücksichtigt, so dass beispielsweise statt dem Zählwert 1 nur der Zählwert 0,8 erfasst wird und die Zählung zumindest richtiger ist, als das Objekt vollständig zu ignorieren. Optional kann vorgesehen sein, dass ein derartiger Fehler mit statistischen Mitteln kompensiert wird, so dass beispielsweise die Vorrichtung ausgelegt ist, bereits bei einer 80%-igen Erfassung den Objektzähler um den Zählwert 1 zu erhöhen. Allgemein formuliert wird optional ein Korrekturfaktor auf den Teilwert angewendet, der Fehler aufgrund von Verdeckungen und/oder Verschmelzungen von Objekten kompensiert. Auf diese Weise ist zwar kein exaktes Zählen möglich, es ergibt sich jedoch eine sehr sichere und stabile, statistische Aussage über die Anzahl der gezählten Objekte.
  • Vorzugsweise wird dieses systematisch auftretende Abweichung mit Hilfe einer Offline- und/oder Onlinekalibrierung korrigiert, wobei bei der Offlinekalibrierung aus „Ground-Truth”-Daten also Bildsequenzen, für die die exakte Anzahl an Personen in Zählrichtung bekannt ist, vorweg der Korrekturfaktor abgeleitet wird. Bei der Onlinekalibrierung kann dieser Korrekturfaktor durch Hinzunahme eines zusätzlichen Trackingmoduls adaptiv angepasst werden.
  • Mögliche Vorteile der Erfindung sind, dass das Zählen von Objekten aus jeder erdenklichen Kameraposition ermöglicht wird und dass die Vorrichtung auch bei stark belebten oder bevölkerten Szenen, wie zum Beispiel an Bahnhöfen, auf Flughäfen oder sonstigen öffentlichen Plätzen, erfolgreich eingesetzt werden kann.
  • Bei einer bevorzugten Weiterbildung der Erfindung weist das Extraktionsmodul ein Flussmodul auf, welches zur Bestimmung eines optischen Flussfeldes mit Flussvektoren ausgebildet ist. Der optische Fluss (optical flow) wird vorzugsweise durch einen Vergleich des aktuellen Bildes mit einem oder mehreren vorhergehenden Bildern des Bilddatenstroms durchgeführt und erzeugt ein Vektorfeld, wobei jedem Pixel ein Verschiebevektor und/oder ein Geschwindigkeitsvektor zugeordnet ist, der die relative Verschiebung des Bildinhaltes des Pixels gegenüber einem oder mehreren vorhergehenden Bildern beschreibt. Bildbereiche, deren Flussvektoren keine nennenswerte Länge aufweisen, sind somit als Abbildungen stationärer Elemente in dem Überwachungsbereich zu werten. Bildbereiche mit größeren Flussvektoren betreffen bewegte Objekte in dem Überwachungsbereich, welche potenzielle Zählobjekte darstellen können.
  • Besonders bevorzugt ist das Zählmodul ausgebildet, für jedes neue und/oder aktualisierte Flussfeld, welches einen Bildbereich aufweist, dessen zugeordnete Bewegungsrichtung gleichgerichtet mit der Zählrichtung ist und/oder ein mögliches Zählobjekt repräsentiert, einen Teilwert aufzusummieren. Diese Ausgestaltung unterstreicht nochmals die erfinderische Idee, eine bildweise Auswertung des Bilddatenstromes durchzuführen. Vorzugsweise ist vorgesehen, dass die Zählobjekte – zumindest im Rahmen der Auswertung durch das Zählmodul – unindividualisiert und/oder unverfolgt und/oder anonymisiert sind und/oder behandelt werden.
  • Bei einer bevorzugten Weiterbildung der Erfindung wird in Abhängigkeit der Bewegungsrichtung und/oder -geschwindigkeit des bewegten Bildbereiches bzw. des korrespondieren Zählobjektes eine Teilstrecke der Zählstrecke abgeschätzt, die das korrespondierende Zählobjekt in dem aktuellen Bild im Vergleich zu einem vorhergehenden Bild zurückgelegt hat.
  • Im Rahmen der Erfindung ist es optional möglich, neben der Zählrichtung einen Toleranzbereich für die Zählrichtung festzulegen, da davon auszugehen ist, dass sich die Zählobjekte nicht exakt parallel zu der Zählrichtung bewegen. Zählobjekte, welche sich in dem Toleranzbereich befinden, legen jedoch einen längeren Weg als die Weglänge der Zählstrecke zurück. Um mögliche, daraus resultierende Abweichungen zu kompensieren, wird auf Basis der Bewegungsrichtung und der zurückgelegten Strecke abgeschätzt, welche korrespondierende Teilstrecke das Zählobjekt auf der Zählstrecke zurückgelegt hat. Beispielsweise kann diese Abschätzung durch eine Projektion der Flussvektoren auf die Zählrichtung und/oder auf die Zählstrecke erfolgen.
  • Bei einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass die Größe des Teilwertes in Abhängigkeit der zurückgelegten Teilstrecke, wie sie beispielsweise durch die Projektion auf die Zählrichtung bzw. Zählstrecke ermittelt wurde, und/oder der Fläche des Teilbereiches des Zählobjektes bestimmt wird. Dieser Ausgestaltung liegt die Überlegung zugrunde, dass ein sich schnell durch die Zählstrecke bewegendes Objekt pro Bild des Bilddatenstroms einen größeren Weg auf der Zählstrecke zurücklegt als ein sich langsam bewegendes Objekt und dementsprechend der Teilwert bei dem schnell bewegenden Objekt größer sein muss als bei dem langsamen, um bei einem vollständigen Durchlauf durch die Zählstrecke den Zählwert zu erhalten.
  • Bei einer bevorzugten Weiterbildung der Erfindung umfasst die Vorrichtung ein Segmentierungsmodul, welches die bewegten Bildbereiche und/oder die Flussbereiche in Objektbereiche segmentiert. Liefert beispielsweise der verwendete Optical-Flow-Algorithmus kein dichtes Vektorfeld, wird dieses durch ein geeignetes Interpolationsverfahren zunächst verdichtet und zusammengefasst. Durch eine Segmentierung ist es auch möglich, zu kleine Objekte (zum Beispiel bewegte Blätter oder dergleichen) effektiv zu eliminieren, indem Objektbereiche unter einer vorgebbaren Größe verworfen werden.
  • Bei einer möglichen Weiterbildung der Erfindung weist die Vorrichtung eine Objektidentifikationseinrichtung auf, welche zur Identifikation der Objektklasse der segmentierten Objektbereiche und/oder der bewegten Bildbereiche ausgebildet ist. Durch eine derartige Objektidentifikationseinrichtung kann festgestellt werden, ob der jeweilige segmentierte Objektbereich bzw. Bilderbereich ein Objekt betrifft, welches gezählt werden soll. Auf diese Weise ist zum einen möglich, gezielt bestimmte Objekte zu zählen, zum Beispiel Personen mit Einkaufswagen gegenüber Personen ohne Einkaufswagen abzugrenzen, zum anderen ist es möglich, Fehlobjekte auszuschließen.
  • Mit Hilfe der Objektidentifikationseinrichtung ergibt sich bei möglichen Ausgestaltungen für das aktuell betrachtete Bild eine Menge von identifizierten Objekten samt ihrer Position und Ausdehnung. Für jedes dieser Objekte kann die momentane Bewegungsrichtung und/oder -geschwindigkeit aus dem bereits berechneten optischen Flussfeld hergeleitet werden. Die Projektion des momentanen Bewegungsvektors auf die Zählrichtung ergibt für jedes Objekt eine Länge, die die Teilstrecke der Zählstrecke bildet.
  • Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zum Zählen, insbesondere zum gerichteten Zählen, von Objekten in einem Überwachungsbereich mit den Merkmalen des Anspruches 11, welches vorzugsweise auf einer Vorrichtung, wie sie soeben beschrieben wurde bzw. nach einem der vorhergehenden Ansprüche, durchgeführt wird. Gleichermaßen ist die Vorrichtung vorzugsweise zur Durchführung des Verfahrens gemäß des Anspruchs 11 ausgebildet. Bei dem Verfahren ist vorgesehen, dass aus einem aktuellen Bild des Überwachungsbereiches bewegte Bildbereiche extrahiert werden und dass bei einem der bewegten Bildbereiche, dessen Bewegungsrichtung der Zählrichtung entspricht und somit ein mögliches Zählobjekt oder einen Teilabschnitt davon repräsentiert, der Objektzähler um einen Teilwert erhöht wird, wobei der Teilwert kleiner als der Zählwert ist.
  • Ein letzter Gegenstand der Erfindung betrifft ein Computerprogramm mit Programm-Codemitteln mit den Merkmalen des Anspruchs 12.
  • Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung sowie den beigefügten Figuren. Dabei zeigen:
  • 1 eine schematische Blockdarstellung einer Vorrichtung zum Zählen von Objekten als ein Ausführungsbeispiel der Erfindung;
  • 2 ein Kamerabild aus der Vorrichtung gemäß 1 in verschiedenen Verarbeitungsstufen zur Illustration eines Ausführungsbeispiels des Verfahrens gemäß der Erfindung.
  • Die 1 zeigt in einer schematischen Blockdarstellung eine Zählvorrichtung 1, welche für ein Zählen von bewegten Objekten in Überwachungsbereichen ausgebildet ist. Die Zählvorrichtung 1 umfasst eine oder mehrere Überwachungskameras 2, welche auf den Überwachungsbereich gerichtet sind.
  • In der 2, welche ein beispielhaftes Kamerabild bei verschiedenen Verfahrensschritten zur Illustration eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens zeigt, ist unter (I) ein Kamerabild abgebildet, das einen typischen Überwachungsbereich – in diesem Fall eine Straßenszene – zeigt. In der Straßenszene sind drei Personen 3 dargestellt, welche sich in dem Bild (I) von links nach rechts bewegen.
  • In einem ersten Schritt gibt der Benutzer eine Zählrichtung 4 inklusive einem Toleranzwinkel 5 und eine Zählstrecke 6 vor. Die Zählrichtung 4 definiert zusammen mit dem Toleranzwinkel 5, in welche Richtung sich die Personen 3 bewegen müssen, um gezählt zu werden. Die Zählstrecke 6 gibt die Länge z. B. in Bildkoordinaten an, welche ein Objekt bzw. eine Person 3 vom Betreten bis zum Verlassen eines Bereiches des Bildes (I) zurücklegen muss, um gezählt zu werden. Somit werden entlang der Zählstrecke 6 die Personen 3 gezählt, die zwischen einem Szeneneintrittsbereich 7 und einem Szenenaustrittsbereich 8 vorhanden sind und sich in die Zählrichtung 4 bewegen. Nachdem eine der Personen 3 die Zählstrecke 6 vollständig in der richtigen Zählrichtung 4 zurückgelegt hat, wird in einem Zählmodul 9 (1) der Akkumulatorwert eines Objektzählers um einen Zählwert, z. B. um den Wert 1, insgesamt erhöht.
  • Zur Durchführung der Zählung wird zunächst das durch eine der Überwachungskameras 2 aufgenommene, aktuelle Bild an die Zählvorrichtung 1 übergeben, wobei nachfolgend in einem Extraktionsmodul 10 bewegte Bildbereiche in dem aktuellen Bild mit ergänzenden Bewegungsrichtungsinformationen extrahiert werden. Diese bewegten Bildbereiche sind in der 2 in dem Bild (II) mit einer gestrichelten Linie umschlossen und entsprechen den Personen 3.
  • Ein mögliches Ausführungsbeispiel zur Extraktion der bewegten Bildbereiche ist in der 1 gestrichelt dargestellt. Hierbei wird das aktuelle Bild an ein Flussmodul 11 übergeben, welches ausgebildet ist, in dem aktuellen Bild den optischen Fluss mit Flussvektoren zu bestimmen. Liefert der verwendete Optical-flow-Algorithmus kein dichtes Vektorfeld, wird dieses in einem Segmentierungsmodule 12 durch ein geeignetes Interpolationsverfahren zunächst verdichtet. Zur Visualisierung der Ergebnisse ist es optional möglich, bewegte Bildbereiche farblich zu codieren, wobei jeder Richtung ein anderer Farbton zugewiesen wird und wobei die Helligkeit die Länge des Flussvektors bestimmt.
  • In einem nachfolgenden Schritt wird eine binäre Maske erstellt, bei der diejenigen Bildpunkte gesetzt sind, deren zugehörige Bewegungsvektoren innerhalb des Toleranzwinkels 5 liegen. Das ursprüngliche Kamerabild wird mit der binären Maske kombiniert, so dass nur noch die bewegten Bildbereiche der Personen 3 betrachtet werden, die eine zur vorgegebenen Zählvorrichtung 4 konforme Bewegungsrichtung aufweisen. Das Ergebnis dieses Schrittes ist in der 2 in dem Bild (III) gezeigt.
  • In einem weiteren Schritt wird eine Objektdetektionseinrichtung 13 angewendet, die für jede Bildposition angibt, ob sich an dieser Stelle ein gesuchtes Objekt befindet. Hierbei sind verschiedenste Objektdetektoren denkbar, zum Beispiel für Autos, Personen etc. Abhängig vom Einsatzzweck können diese auf unterschiedlichen Merkmalen basieren. Bei Über-Kopf-Aufnahmen einer Menschenmenge eignet sich zum Beispiel ein Kopfdetektor sehr gut zur Personenerkennung. Mit Hilfe der Objektdetektionseinrichtung 13 ergibt sich für das aktuell betrachtete Bild eine Menge von Objekten samt ihrer Position und Ausdehnung, wie dies in 2 im Bild (IV) dargestellt ist. Für jedes der Objekte wird nun die aktuelle Bewegungsrichtung und -geschwindigkeit aus dem bereits berechneten optischen Flussfeld hergeleitet.
  • Die Projektion des momentanen Bewegungsvektors des Objekts auf die Zählrichtung 4 ergibt für jedes Objekt eine Länge einer Teilstrecke, die durch die gesamte Länge der Zählstrecke 6 geteilt auf den Objektzähler als ein Teilwert für das aktuelle Bild aufsummiert wird. Somit wird in diesem Schritt ein Bruchteil des Zählwerts als Teilwert auf den Akkumulatorwert des Objektzähler addiert. Die Abschätzung der Teilstrecke bzw. des Teilwerts erfolgt in einem Schätzmodul 14.
  • Vom Szeneneintritt 7 bis zum -austritt 8 betrachtet, erhöhen die bildweisen Beobachtungen eines einzigen Objektes, welches sich in Zählrichtung 4 bewegt, den Akkumulatorwert des Objektzählers somit insgesamt um 1, so dass das Objekt richtig gezählt ist.
  • Für den Fall, dass statistisch auftretenden Fehler kompensiert werden sollen, kann ein Korrekturwert berechnet werden, der den Teilwert je nach statistischen Fehlern nach oben bzw. nach unten korrigiert. Bei einer ersten Möglichkeit kann der Korrekturwert durch bekannte Daten ermittelt werden, bei einer anderen Möglichkeit kann der Korrekturfaktor durch Hinzunahme eines zusätzlichen Tracking-Moduls adaptiv angepasst werden. Beispielsweise kann vorgesehen sein, dass die Zählvorrichtung sich während einfacher Szenen kalibriert.
  • Zusammenfassend wird durch die Vorrichtung bzw. durch das Verfahren erreicht, dass mit Hilfe der Berechnung des optischen Flusses und optional durch den Einsatz von Objektdetektoren ein gerichtetes Zählen für stark bevölkerte Szenen ermöglicht wird. Der Vorteil ist insbesondere darin zu sehen, dass auf ein Tracking bzw. eine Verfolgung von Objekten von Bild zu Bild verzichtet wird und statt dessen eine Aufsummierung von bildweisen Beobachtungen von Objektbewegungen in Zählrichtung verwendet wird. Dafür wird ein Objektzähler verwendet, der für jedes erkannte Objekt die anteilige Bewegung pro Bild in Zählrichtung 4 aufsummiert.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - DE 102006053286 A1 [0005]

Claims (12)

  1. Vorrichtung (1) zum Zählen von Objekten in einem Überwachungsbereich, mit einem Zählmodul (9), wobei das Zählmodul einen Objektzähler umfasst, der im Mittel um einen Zählwert erhöht wird, wenn eines der Objekte als Zählobjekt eine Zählstrecke (6) in einer Zählrichtung (4) vollständig durchläuft, mit mindestens einer Überwachungskamera (2) zur Erfassung des Überwachungsbereichs, wobei die Überwachungskamera (2) zur Ausgabe eines Bilddatenstroms des Überwachungsbereichs ausgebildet ist, mit einem Extraktionsmodul (10), welches zur Extraktion von bewegten Bildbereichen in einem aktuellen Bild des Bilddatenstroms ausgebildet ist, wobei die bewegten Bildbereiche die Objekte oder Teilabschnitte davon repräsentieren können, dadurch gekennzeichnet, dass das Zählmodul (9) ausgebildet ist, bei jedem aktuellen Bild für einen der bewegten Bildbereiche (3), dessen Bewegungsrichtung der Zählrichtung (4) entspricht und somit ein mögliches Zählobjekt oder einen Teilabschnitt davon repräsentiert, den Objektzähler (9) um einen Teilwert zu erhöhen, wobei der Teilwert kleiner als der Zählwert ist.
  2. Vorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass das Extraktionsmodul (10) zur Extraktion der bewegten Bildbereiche in dem aktuellen Bild ein Flussmodul (11) aufweist, welches zur Bestimmung eines optischen Flussfelds mit Flussvektoren ausgebildet ist.
  3. Vorrichtung (1) nach einem Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Zählmodul (9) ausgebildet ist, für jedes neue und/oder aktualisierte Flussfeld mit einem bewegten Bildbereich, der zu einem Zählobjekt korrespondiert, einen Teilwert zu summieren.
  4. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Zählobjekte unindividualisiert und/oder unverfolgt und/oder anonymisiert sind.
  5. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Schätzmodul (14), das in Abhängigkeit der Bewegungsrichtung und/oder -geschwindigkeit des bewegten Bildbereichs eine Teilstrecke der Zählstrecke (6) abschätzt, welche das korrespondierende Zählobjekt in dem aktuellen Bild zurückgelegt hat.
  6. Vorrichtung (1) nach Anspruch 5, dadurch gekennzeichnet, dass die Schätzung der Teilstrecke durch eine Projektion der Flussvektoren auf die Zählrichtung (4) und/oder auf die Zählstrecke (6) erfolgt.
  7. Vorrichtung (1) nach Anspruch 6, dadurch gekennzeichnet, dass die Größe des Teilwerts in Abhängigkeit der zurückgelegten Teilstrecke und/oder der Fläche des Teilabschnitts des Zählobjekts bestimmt wird.
  8. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Segmentierungsmodul (12), welches die bewegten Bildbereiche und/oder die Flussbereiche in Objektbereiche segmentiert.
  9. Vorrichtung (1) nach Anspruch 8, gekennzeichnet durch eine Objektidentifikationseinrichtung (13), welche zur Identifikation der Objektklasse der segmentierten Objektbereiche ausgebildet ist.
  10. Vorrichtung (1) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass dem segmentierten Objektbereich die Teilstrecke zugeordnet wird.
  11. Verfahren zum Zählen von Objekten in einem Überwachungsbereich in einer Zählrichtung (4) entlang einer Zählstrecke (6), wobei ein Objektzähler um einen Zählwert erhöht wird, wenn eines der Objekte als Zählobjekt die Zählstrecke (6) in der Zählrichtung (4) vollständig durchläuft, wobei aus einem aktuellen Bild des Überwachungsbereichs bewegte Bildbereiche extrahiert werden, wobei bei dem aktuellen Bild für einen der bewegten Bildbereiche, dessen Bewegungsrichtung der Zählrichtung (4) entspricht und somit ein mögliches Zählobjekt oder einen Teilabschnitt davon repräsentiert, den Objektzähler um einen Teilwert erhöht, wobei der Teilwert kleiner als der Zählwert ist.
  12. Computer-Programm mit Programm-Code-Mitteln, um alle Schritte des Verfahrens nach Anspruch 11 durchzuführen, wenn das Programm auf einem Computer und/oder einer Vorrichtung (1) von jedem beliebigen der Ansprüche 1 bis 10 ausgeführt wird.
DE102009000173A 2009-01-13 2009-01-13 Vorrichtung zum Zählen von Objekten, Verfahren sowie Computerprogramm Withdrawn DE102009000173A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102009000173A DE102009000173A1 (de) 2009-01-13 2009-01-13 Vorrichtung zum Zählen von Objekten, Verfahren sowie Computerprogramm
EP09760822.8A EP2386092B1 (de) 2009-01-13 2009-11-20 Vorrichtung, verfahren und computerprogramm zum bildbasierten zählen von objekten, die eine zählstrecke in einer vorgegebenen richtung durchschreiten
PCT/EP2009/065516 WO2010081577A1 (de) 2009-01-13 2009-11-20 Vorrichtung, verfahren und computer zum bildbasierten zählen von objekten, die eine zählstrecke in einer vorgegebenen richtung durchschreiten
US12/922,229 US9418300B2 (en) 2009-01-13 2009-11-20 Device, method, and computer for image-based counting of objects passing through a counting section in a specified direction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009000173A DE102009000173A1 (de) 2009-01-13 2009-01-13 Vorrichtung zum Zählen von Objekten, Verfahren sowie Computerprogramm

Publications (1)

Publication Number Publication Date
DE102009000173A1 true DE102009000173A1 (de) 2010-07-15

Family

ID=41722726

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009000173A Withdrawn DE102009000173A1 (de) 2009-01-13 2009-01-13 Vorrichtung zum Zählen von Objekten, Verfahren sowie Computerprogramm

Country Status (4)

Country Link
US (1) US9418300B2 (de)
EP (1) EP2386092B1 (de)
DE (1) DE102009000173A1 (de)
WO (1) WO2010081577A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014012100A1 (de) * 2014-06-27 2015-12-31 Interone Gmbh Verfahren und Einrichtung zum Bereitstellen eines digitalen Verbrauchswertes
DE102016207191A1 (de) 2016-04-27 2017-11-02 Robert Bosch Gmbh Detektionsanordnung zur Detektion von mindestens einem Objekt und/oder einem Zustand des Objekts in einem Überwachungsbereich
CN113590981A (zh) * 2021-07-27 2021-11-02 阿波罗智联(北京)科技有限公司 针对车辆的信息处理方法、装置、车辆和电子设备

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108055B2 (en) * 2007-12-28 2012-01-31 Larry Wong Method, system and apparatus for controlling an electrical device
US20130107041A1 (en) * 2011-11-01 2013-05-02 Totus Solutions, Inc. Networked Modular Security and Lighting Device Grids and Systems, Methods and Devices Thereof
TWI448977B (zh) 2011-12-08 2014-08-11 Ind Tech Res Inst 基於視訊分析的物件計數方法與裝置
RU2012119843A (ru) * 2012-05-15 2013-11-20 Общество с ограниченной ответственностью "Синезис" Способ отображения видеоданных на мобильном устройстве
CN103839308B (zh) 2012-11-26 2016-12-21 北京百卓网络技术有限公司 人数获取方法、装置及系统
US9721349B2 (en) * 2013-02-25 2017-08-01 Texas Instruments Incorporated Method and system for automatically counting physical objects within a periphery band and an excluded region
TWI604416B (zh) * 2015-10-01 2017-11-01 晶睿通訊股份有限公司 影像流量分析方法及具有影像流量分析功能的攝影機
ES2955472T3 (es) 2015-12-07 2023-12-01 Signify Holding Bv Detección de ocupación
CN106127292B (zh) * 2016-06-29 2019-05-07 上海小蚁科技有限公司 流量计数方法和设备
US10699128B2 (en) 2016-09-21 2020-06-30 Cisco Technology, Inc. Method and system for comparing content
US10762653B2 (en) * 2016-12-27 2020-09-01 Canon Kabushiki Kaisha Generation apparatus of virtual viewpoint image, generation method, and storage medium
US10176684B2 (en) 2017-06-08 2019-01-08 Verint Systems Ltd. Counter-flow detection in compressed video
US10963680B2 (en) * 2018-01-12 2021-03-30 Capillary Technologies International Pte Ltd Overhead people detection and tracking system and method
US11245707B2 (en) * 2018-03-31 2022-02-08 Ricoh Company, Ltd. Communication terminal, communication system, communication control method, and recording medium
CN109120900B (zh) * 2018-09-17 2019-05-24 武汉卓尔无人机制造有限公司 无人飞行器摄像处理系统及其处理方法
DE102018217324A1 (de) * 2018-10-10 2020-04-16 BSH Hausgeräte GmbH Gargerät mit Kamera und Verfahren zum Betreiben eines Gargeräts
CN110796035B (zh) * 2019-10-14 2024-05-24 上海复瞰科技有限公司 一种基于人形检测和速度计算的进出人数统计方法
US11263454B2 (en) * 2020-05-25 2022-03-01 Jingdong Digits Technology Holding Co., Ltd. System and method for video-based pig counting in the crowd
CN115937791B (zh) * 2023-01-10 2023-05-16 华南农业大学 一种适用于多种养殖模式的家禽计数方法及其计数装置
CN116306766B (zh) * 2023-03-23 2023-09-22 北京奥康达体育产业股份有限公司 一种基于骨骼识别技术的智慧单杠引体向上考核训练系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006053286A1 (de) 2006-11-13 2008-05-15 Robert Bosch Gmbh Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, Vorrichtung sowie Computerprogramm zur Durchführung des Verfahrens

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1116286A (en) * 1979-02-20 1982-01-12 Control Data Canada, Ltd. Perimeter surveillance system
JPH08510373A (ja) * 1993-05-14 1996-10-29 アールシーティー・システムズ・インコーポレーテッド 商店等におけるビデオ通行モニタ装置
DE69523698T2 (de) 1994-08-31 2002-08-01 Nippon Telegraph & Telephone Verfahren und Gerät zum richtungsselektiven Zählen von sich bewegenden Objekten
US5946368A (en) * 1997-09-22 1999-08-31 Beezley; Eugene A. Pedestrian traffic counting system
GB2337146B (en) 1998-05-08 2000-07-19 Primary Image Limited Method and apparatus for detecting motion across a surveillance area
US20030053658A1 (en) * 2001-06-29 2003-03-20 Honeywell International Inc. Surveillance system and methods regarding same
US20030053659A1 (en) * 2001-06-29 2003-03-20 Honeywell International Inc. Moving object assessment system and method
US20030069071A1 (en) * 2001-09-28 2003-04-10 Tim Britt Entertainment monitoring system and method
US7511762B2 (en) * 2006-09-06 2009-03-31 Amimon Ltd. Generation of a frame synchronized clock for a wireless video receiver
US7787656B2 (en) * 2007-03-01 2010-08-31 Huper Laboratories Co., Ltd. Method for counting people passing through a gate
DE102007031302A1 (de) * 2007-07-05 2009-01-08 Robert Bosch Gmbh Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm
GB2492246B (en) * 2008-03-03 2013-04-10 Videoiq Inc Dynamic object classification
JP4618325B2 (ja) * 2008-04-28 2011-01-26 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006053286A1 (de) 2006-11-13 2008-05-15 Robert Bosch Gmbh Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, Vorrichtung sowie Computerprogramm zur Durchführung des Verfahrens

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014012100A1 (de) * 2014-06-27 2015-12-31 Interone Gmbh Verfahren und Einrichtung zum Bereitstellen eines digitalen Verbrauchswertes
DE102014012100B4 (de) * 2014-06-27 2017-02-16 Interone Gmbh Verfahren und Einrichtung zum Bereitstellen eines digitalen Verbrauchswertes
DE102016207191A1 (de) 2016-04-27 2017-11-02 Robert Bosch Gmbh Detektionsanordnung zur Detektion von mindestens einem Objekt und/oder einem Zustand des Objekts in einem Überwachungsbereich
CN113590981A (zh) * 2021-07-27 2021-11-02 阿波罗智联(北京)科技有限公司 针对车辆的信息处理方法、装置、车辆和电子设备

Also Published As

Publication number Publication date
EP2386092A1 (de) 2011-11-16
EP2386092B1 (de) 2014-03-05
WO2010081577A1 (de) 2010-07-22
US20110037852A1 (en) 2011-02-17
US9418300B2 (en) 2016-08-16

Similar Documents

Publication Publication Date Title
DE102009000173A1 (de) Vorrichtung zum Zählen von Objekten, Verfahren sowie Computerprogramm
DE102015200589B4 (de) Verbessertes videobasiertes System zur automatisierten Erkennung von Verstössen durch Parken in zweiter Reihe
DE60020420T2 (de) Situationsdarstellungs-Anzeigesystem
WO2009003793A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
EP2676241B1 (de) Verfahren und system zur bestimmung einer anzahl von übergangsobjekten
DE602005003926T2 (de) System und verfahren zum erkennen eines vorbeikommenden fahrzeugs aus dynamischem hintergrund unter verwendung robuster informationsfusion
DE102006053286A1 (de) Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, Vorrichtung sowie Computerprogramm zur Durchführung des Verfahrens
DE102017217056A1 (de) Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug
DE102013210836A1 (de) Erkennen eines bewegungslosen Gegenstands auf Kreuzungen von Verkehrswegen
WO2020109016A1 (de) Verfahren zum gemeinsamen detektieren, verfolgen und klassifizieren von objekten
WO2008083869A1 (de) Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera
EP2701133B1 (de) Verfahren und Vorrichtungen zur Bildaufnahme eines geschwindigkeitsübertretenden Fahrzeugs
WO2006133474A1 (de) Verfahren und bildauswertungseinheit zur szenenanalyse
DE102017215718B4 (de) Verfahren zum Auswerten eines optischen Erscheinungsbildes in einer Fahrzeugumgebung und Fahrzeug
WO2011076609A2 (de) Vorrichtung und verfahren zum überwachen von videoobjekten
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
EP2521070A2 (de) Verfahren und System zum Erfassen einer statischen oder dynamischen Szene, zum Bestimmen von Rohereignissen und zum Erkennen von freien Flächen in einem Beobachtungsgebiet
DE102016223094A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
EP0978811A2 (de) Verfahren sowie Einrichtung zur Reisezeitermittlung von Kraftfahrzeugen
EP3545506A1 (de) Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts
DE102013012778A1 (de) Verfahren zum Detektieren eines sich bewegenden Fußgängers anhand von charakteristischen Merkmalen und optischen Flussvektoren eines Bilds, Kamerasystem und Kraftfahrzeug
DE102015212771A1 (de) Vorrichtung zur Erkennung von teilverdeckten beweglichen Objekten für ein Umfelderfassungssystem eines Kraftfahrzeugs
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
DE102009048117A1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objektss in einem Bild
DE19600958A1 (de) Interaktives Überwachungssystem

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140801