-
Die
Erfindung betrifft ein Gerät zum optischen Erkennen von
Personen und zum Ansteuern eines Zählwerkes. Dies ermöglicht
eine Zählung von bewegten Personen mittels Kamera.
-
Stand der Technik
-
In
den heute gängigen Verfahren zur Zählung von Personen
oder Objekten kommen verschiedene Techniken zum Einsatz.
-
In
DE 33 01 763 A1 wird
eine automatische Zählung von Objekten mithilfe einer Sender-Empfänger-Kombination
auf Grundlage elektromagnetischer Schwingungen realisiert.
-
Diese
Technik läßt sich nur dann sinnvoll anwenden,
wenn zusätzlich zur Erfindung noch eine unterstützende
Gestaltung der Messumgebung vorgenommen wird. Beispielsweise müßte
der Bereich, in dem gezählt werden soll, als Schleuse ausgebildet werden.
Zusätzlich könnten Separiereinrichtungen notwendig
sein.
-
Auch
Techniken mit Fotodetektoren werden zur Personenzählung
verwendet. Beispiele dafür werden in den Patenten
DE 42 12 026 C1 und
US000004127766A beschrieben.
-
Diese
Techniken eignen sich gut für die Zählung von
einzelnen Personen, sind aber für Zählungen in
Personengruppen nicht mehr anwendbar. Auch hier müßten
die Personen vor der Zählung separiert werden.
-
Es
ist bekannt, Personen und Objekte mittels Sensoren, welche elektromagnetische
Strahlungen verarbeiten, insbesondere Kameras, zu zählen.
-
In
DE 20 2007 007 863
U1 wird der Einsatz eines videobasierten Personenzählsystems
im Zusammenhang mit einem Kartenindentifikationssystem zur Überwachung
von Zutritten an Eingängen verwendet.
-
Ein
Nachteil dieser Systeme ist, daß sie verteilt sind. Sie
bestehen aus einer Datenverarbeitungsanlage und einer oder mehrerer
Kameras, die an ebendiese angeschlossen werden. Dadurch sind hohe
Aufwendungen für die Verkabelung und die Installation notwendig.
-
Um
dieses Problem zu umgehen, bietet sich auf den ersten Blick der
Einsatz von intelligenten Kameras an. Diese führen bildverarbeitende
Rechenoperationen auf einer in das Kameragehäuse integrierten
Recheneinheit aus. Nachteilig an intelligenten Kameras ist, daß sie
nicht speziell für das Zählen von Personen ausgelegt
sind, sondern für die Erfüllung ganz verschiedener
Aufgaben technisch ausgerüstet werden. Dementsprechend
enthalten sie Recheneinheiten und Speichereinheiten, die für
das Zählen von Personen überdimensioniert sind.
Außerdem sind sie für die Zählung von
Personen nur dann hinreichend geeignet, wenn sie zusätzlich
mit hohem Konfigurationsaufwand und speziellen Kenntnissen dazu
ertüchtigt werden. Aber auch dann erfüllen sie diese
Aufgabe nur bedingt.
-
Für
eine Person ohne Spezialkenntnisse kommt der Einsatz von intelligenten
Kameras für die Zählung von Personen daher nicht
in Betracht.
-
Mit
der Offenlegungsschrift
DE
197 21 741 A1 wird der Einsatz optischer Triangolationsverfahren
zur Zählung von Objekten vorgeschlagen, um Objekte längs
einer vorbestimmten Bewegungsrichtung zählen zu können.
Auch in Patent
EP 1
768 067 A3 werden über synchronisierte stereoskopische
Bilder Objekte ermittelt und gezählt.
-
Nachteil
ist hier das Verwenden zweier oder mehrerer Sensoren zur Zählung
von Objekten.
-
Andere
Verfahren, wie
US
2004/0179736 A1 ,
DE
44 07 528 A1 und
DE 10 2004 042 999 A1 , verwenden Differenzbilder,
in denen Objekte gefiltert und gezählt werden. Differenzbilder
beziehen ihre Information auf der Basis, daß das zu zählende
Objekt in aufeinanderfolgenden Bildern Veränderungen hervorruft.
Sie können somit nicht in einer Umgebung mit viel zufälliger
Veränderung eingesetzt werden. Umgebungen mit starken und
häufigen Veränderungen vor allem des Hintergrundes
findet man aber in typischen Zählszenarien, beispielsweise
Warenhäusern, Bahnhöfen oder belebten Plätzen.
-
Das der Erfindung zugrunde
liegende Problem
-
Die
auf Kameratechnik basierenden Systeme zur Zählung von Personen
sind im allgemeinen verteilt. Sie bestehen aus Kameras und einer
elektronischen Datenverarbeitungsanlage, auf der eine Software arbeitet,
die diese Bilder abruft und die Rechenoperationen, einschließlich
des Zählens, durchführt. Daraus entstehen hohe
Aufwendungen für die Installation, insbesondere für
die Verkabelung.
-
Derartige
Systeme sind im allgemeinen sehr kompliziert, so daß sie
nur von speziell ausgebildetem Personal eingerichtet und gepflegt
werden können. Intelligente Kameras bieten den Vorteil
der nicht verteilten Datenverarbeitung, sind aber, wie im Stand der
Technik aufgezeigt, für diese spezielle Aufgabe nur bedingt
geeignet.
-
Die Erfindung
-
Der
von uns vorgeschlagene optische Personendetektor (1) mit
Zählwerk besteht aus einem elektronischen Bildsensor (4)
mit einem Objektiv (5), einem Mikrocontroller (9)
mit einem digitalen Signalprozessor (7), einem Mikroprozessor
(6) und einem Arbeitsspeicher (8), einem digitalen
Datenausgang (10) und einer Stromversorgung (11).
Diese Bauteile werden in einem Gehäuse (2) angeordnet.
-
Als
elektronischer Bildsensor (4) kann beispielsweise ein CCD-Sensor
auf einer Leiterplatte verwendet werden. Das einfallende Licht wird
durch ein Objektiv (5) gesammelt und auf die Bildebene
des elektronischen Bildsensors (4) projiziert. Das Objektiv
(5) wird in das Gehäuse (2) des optischen
Personendetektors (1) integriert.
-
Die
Aufgabe besteht darin, Personen zu separieren sowie Zählereignisse
zu erzeugen und zu zählen.
-
Der
digitalen Signalprozessor (7), der Mikroprozessor (6)
und der Arbeitsspeicher (8) werden so dimensioniert, daß sie
die Anforderungen aus den bildverarbeitenden Berechnungen genau
erfüllen können. Es sind ausdrücklich
keine weiteren softwareseitigen Funktionalitäten vorgesehen.
Die Programmierung der Prozessoren erfolgt dauerhaft, Veränderungen
des Programms sind ebenfalls nicht vorgesehen.
-
Die
Stromversorgung (11) ist angepaßt an den jeweiligen
Einsatzfall, beispielsweise einem Bus (Bordspannung).
-
Die
Algorithmen der Bildverarbeitung auf dem digitalen Signalprozessor
(7) sind ebenfalls speziell für die Zählung
von Personen ausgelegt und optimiert. Sie enthalten keine weiteren
Funktionalitäten.
-
Der
Mikroprozessor (6) überträgt die Bilder aus
dem elektronischen Bildsensor (4) der Kamera in den Arbeitsspeicher
(8). Der digitale Signalprozessor (7) des Mikrocontrollers
(9) wird erfindungsgemäß so programmiert,
daß er auf Bilder (15) aus dem Arbeitsspeicher
(8) zugreift und auf diesen Bildern Berechnungen mit Algorithmen
der Bildverarbeitung ausführt, die geeignet sind, Personen
zu erkennen.
-
Als
Voraussetzung für die Generierung von Zählereignissen
muß in dem von der Kamera eingesehenen und von den Personen
durchquerten Bereich eine Linie (12) festgelegt werden.
Diese Linie (12) muß nicht etwa durch einen Strich
physisch realisiert sein. Wenn eine Person diese Linie (12) überquert,
wird erfindungsgemäß vom optischen Personendetektor
(1) das Zählwerk angesteuert. Die Projektion der
Linie (12) in das Bild (15), wird im folgenden
Messstrecke (16) genannt.
-
Die
Messstrecke (16) wird durch zwei Bildpunkte definiert.
-
Die
Kamerabilder werden jeweils vom Mikroprozessor (6) in den
Arbeitsspeicher (8) übertragen. Vor dem ersten
Rechendurchlauf des digitalen Signalprozessors (7) wird
ein erstes Bild n (15) in den Arbeitsspeicher (8)
gelegt.
-
Ein
Rechendurchlauf beginnt mit dem Ablegen eines weiteren Bildes n
+ 1 (15) im Arbeitsspeicher (8).
-
Der
digitale Signalprozessor (7) ermittelt von jedem Bildpunkt
der Bilder (15) n und n + 1 die absolute Differenz und
speichert sie in ein weiteres Bild, im weiteren Differenzbild genannt,
im Arbeitsspeicher (8).
-
Erfindungsgemäß werden
durch den digitalen Signalprozessor (7) lokale einzigartige
Merkmale (17) aus dem Bild n (15) extrahiert.
Dazu wird das Differenzbild als Maske berücksichtigt.
-
Um
Merkmale (17) zu extrahieren, werden gebräuchliche
Algorithmen der Bildverarbeitung angewendet. Diese Merkmale (17)
können beispielsweise Ecken und Kanten in den Bildern sein.
Eine Kantendetektion erfolgt durch einen gradientenbasierten Ansatz.
Die Ableitung erster Ordnung der Bildpunkt-Helligkeitswerte wird
zur gradientanbasierten Kantendetektion verwendet. Das Verfahren
bedient sich einer Faltung mittels einer Faltungsmatrix mit dem
durch das Differenzbild als Maske bestimmten Ausschnitt aus dem
Bild n (15) und erzeugt damit ein Gradientenbild. Verwendete
Faltungsmatrizen sind der Sobel-Operator oder Laplace-Operator.
-
Ecken
werden mithilfe des Harris-Corner-Detektors ermittelt. Dieser verwendet
eine lokale Autokorrelationfunktion zur Erkennung lokaler Veränderungen
in dem durch das Differnzbild als Maske bestimmten Ausschnitt aus
dem Bild n (15) und detektiert lokal einzigartige und vom
Hintergrund unterscheidbare Punkte.
-
Für
die vorliegende Aufgabe wird der Detektor erfindungsgemäß derart
modifiziert, daß die Rechenoperationen auf dem digitalen
Signalprozessor (7) verarbeitet werden können.
-
Die
extrahierten Merkmale (17) werden im Arbeitsspeicher (8)
in Form von Bildpunkten gespeichert.
-
Die
Aufgabe der Personendetektion wird erfindungsgemäß unter
Ausnutzung der Bewegung der Person durchgeführt. In einer
Korrespondenzanalyse wird zu jedem Punkt im Bild n (15),
der als besonderes Merkmal (17) im Arbeitsspeicher (8)
vorliegt, ein korrespondierender Punkt (18) mit denselben
Eigenschaften im Bild n + 1 (15) ermittelt.
-
Diese
Punkte sind bei bewegten Objekten an unterschiedlichen Orten.
-
Aus
den beiden korrespondieren Punkten (18) wird durch Subtraktion
der Punktkoordinaten ein Vektor bestimmt, der im weiteren Bewegungsvektor (19)
genannt wird.
-
Als
Korrespondenzanalyse zum Ermitteln der Bewegungsvektoren (19)
wird der Lucas-Kanade-Algorithmus herangezogen. Das Problem bekannter Korrespondenzanalysen,
besteht in einem hohen Berechnungsaufwand.
-
Aufgrund
der begrenzten Ressourcen wird zur Korrespondenzanalyse nicht das
gesamte Bild n + 1 (15) verwendet. Damit aber auch sich
schnell bewegende Objekte mit einem geringen Rechenaufwand bestimmt
werden können, werden hier Auflösungspyramiden
verwendet. Die Bewegungsvektoren (19) werden im Arbeitsspeicher
(8) gespeichert.
-
Die
im Arbeitsspeicher (8) vorliegenden Bewegungsvektoren (19)
müssen realen Personen zugeordnet werden. Dafür
wird die erwartete örtliche Ausdehnung eines Abbildes der
Personen innerhalb der Bilder (15) benutzt. Erfindungsgemäß werden dazu
zwei Verfahren vorgeschlagen.
-
Das
erste Verfahren, ein Verfahren der Mengenbildung, ordnet vorhandene
Merkmale (17) und die zugehörigen Bewegungsvektoren
(19) Mengen zu, die jeweils eine Person im Bild repräsentieren. Dazu
werden Bewegungsvektoren, die sich innerhalb der erwarteten örtlichen
Ausdehnung, in Länge und Breite, eines Abbildes der Person
in Bild n (15), zu einer Menge zusammengefasst.
-
Zu
jeder Menge wird der Mengenschwerpunkt (21) als arithmetisches
Mittel der zugehörigen Bildpunktkoordianten der ermittelten
Merkmale (17) berechnet. Zusätzlich wird die Bewegungsrichtung der
Punktgruppe als arithmetisches Mittel der zugehörigen Bewegungsvektoren
(19), im Folgenden Richtungsvektor (20) genannt,
dem Mengenschwerpunkt (21) zugeordnet. Jede reale Person
ist jetzt durch einen Punkt, dem Mengenschwerpunkt (21), und
einem Richtungsvektor (20) repräsentiert.
-
Wenn
der Richtungsvektor (20) eines Mengenschwerpunktes (21)
die Messstrecke (16) schneidet, wird ein Zählereignis
generiert.
-
Beim
zweiten Verfahren erfolgt die Mengenbildung ausschliesslich auf
der Messstrecke (16). Dazu wird der Durchgangspunkt (22)
einer Menge von Bewegungsvektoren (19) durch die Messstrecke (16)
bestimmt. Wenn Bewegungsvektoren (19) die Messstrecke (16)
schneiden, wird zunächst versucht, sie einem solchen Durchgangspunkt
(22) und damit einer Menge zuzuordnen. Ein schulterbreiter
Bereich (23) um den Durchgangspunkt gilt als zum Durchgangspunkt
(22) gehörig. Bewegungsvektoren (19) innerhalb
dieses Bereichs (23) gelten als zu diesem Durchgangspunkt
(22) gehörig. Sollte ein solcher Durchgangspunkt
(22) nicht existieren, wird er jetzt festgelegt, indem
der Schnittpunkt des Bewegungsvektors (19) mit der Messstrecke
(16) der neue Durchgangspunkt (22) ist. Der Durchgangspunkt
(22) wird beim Schneiden weiterer zur Menge gehörender Bewegungsvektoren
(19) auf der Messstrecke (16) verschoben.
-
Beim
erstmaligen Schneiden eines Bewegungsvektors (19) wird
ein Zählereignis generiert. Alle weiteren zur Menge gehörenden
Bewegungsvektoren (19), die die Messstrecke (16)
schneiden erzeugen kein Zählereignis.
-
Das
Zählereignis wird an das Zählwerk weitergeleitet.
-
Nachdem
der Rechendurchlauf abgeschlossen ist, wird das Bild n (15)
gelöscht. In einer weiteren Ausgestaltung der Erfindung
kann es auch für eine spätere Verwendung auf einen
Massenspeicher kopiert werden.
-
Das
Bild n + 1 (15) wird im weiteren als Bild n (15)
behandelt. Der nächste Rechendurchlauf wird mit dem Ablegen
des nächsten Bildes n + 1 (15) durch den Mikroprozessor
(6) begonnen.
-
Die
Parametrisierung der zu einer Person gehörenden Punkte
(17) muß erfindungsgemäß auf die
Anforderung der Zählung von Personen erfolgen.
-
Die
Parametrisierung wird hierbei auf die Parameter der erwarteten örtliche
Ausdehnungen in Länge und Breite eines Abbildes der Personen
innerhalb der Bilder (15) beschränkt, die von
der Software mit wenigen manuellen Eingaben automatisch anhand von
charakteristischen Testszenen berechnet werden.
-
Das
Verfahren kann derart erweitert werden, daß die Messstrecke
(16) in ihrer Form durch mehrere zusammenhängende
Strecken beschrieben werden kann und so eine Krümmung erreicht
wird.
-
Wenn
durch diese Berechnung Personen ermittelt wurden, wird für
jede Person ein Zählereignis generiert und ein Zählwerk
angesteuert.
-
Das
Zählwerk wird ebenfalls durch den Mikrocontroller (9)
realisiert, indem bei jedem Zählereignis zu einer ganzen
Zahl der Wert Eins addiert wird. Der Zählstand des Zählwerks
wird erfindungsgemäß auf den digitalen Datenausgang
(10) geschaltet.
-
Dadurch
wird der Zählstand des Zählwerkes für
Abfragen durch externe Geräte zur Verfügung gestellt.
Eine elektronische Anzeigevorrichtung, beispielsweise ein Display,
kann an diesen digitalen Datenausgang (10) angeschlossen
werden.
-
In
einer weiteren Ausgestaltung können die Zählereignisse
in Form von Datensätzen in einem nichtflüchtigen
Speicher gespeichert werden.
-
In welcher Weise die Erfindung
gewerblich anwendbar ist
-
Die
Erfindung kann überall sinnvoll eingesetzt werden, wo die
Geräte zur Zählung auf kleinem Raum untergebracht
werden müssen. Das sind beispielsweise öffentliche
Verkehrsmittel wie Busse oder Bahnen.
-
Weitere
Möglichkeiten für einen Einsatz der Erfindung
sind dort gegeben, wo der Installationsort oft verändert
wird, beispielsweise auf Messen oder anderen Veranstaltungen.
-
Vorteilhafte Wirkung der Erfindung
gegenüber dem Stand der Technik
-
Die
gesamte zur Zählung erforderliche Technik ist in ein kleines,
mobiles Gerät integriert. Der optische Personendetektor
(1) bietet neben der Erkennung und Zählung von
Personen keinerlei Funktionalität an. Dadurch wird die
Installation und Wartung gegenüber dem Stand der Technik
wesentlich vereinfacht, so daß sie auch von Personal ausgeführt
werden kann, das auf dem Gebiet der Kameratechnik oder Bildverarbeitung
nicht speziell ausgerüstet ist. Daraus ergeben sich Kostenersparnisse.
-
Erfindungsgemäß wird
die Zuordnung der Bewegungsvektoren (19) zu einer Person
durch die oben beschriebene Mengenbildung realisiert. Das ist zuverlässiger
als die im Stand der Technik praktizierte Ermittlung mittels Differenzbilder.
Dadurch wird eine wesentliche Verbesserung der Zählergebnisse erreicht.
-
Beispiel zum Ausführen
der Erfindung
-
Im
Folgenden sei beispielhaft eine technische Ausgestaltung des optischen
Personendetektors (1) für den Einsatz zur Fahrgastzählung
in Bussen beschrieben.
-
Das
Gehäuse (2) wird so gestaltet, daß es hinter
die Innenverkleidung oberhalb der Zugangstüren montiert
werden kann.
-
Als
elektronischer Bildsensor (4) wird ein CCD-Sensor auf einer
Platine (3) verwendet. In der Innenverkleidung ist eine
verglaste Öffnung anzuordnen, hinter der das Objektiv (5)
des CCD-Sensors angeordnet wird. Auf diese Weise können
Bilder vom Zugangsbereich des Busses aus der Vogelperspektive erstellt
werden.
-
Der
digitalen Signalprozessor (7), der Arbeitsspeicher (8),
der Mikroprozessor (6) sowie eine Datenübertragungseinheit
werden auf einer Platine (9) angeordnet.
-
Als
Datenübertragungseinheit ist ein Netzwerkmodul vorgesehen,
wie es für ein lokales Netzwerk üblich ist. Die
Daten werden über ein Netzwerkkabel an den Bordrechner
des Busses übertragen. Dieses Kabel wird durch den Kabelschacht
des Busses geführt.
-
Die
Stromversorgung wird so ausgelegt, daß die Bordspannung
des Busses benutzt werden kann. Dadurch wird der optische Personendetektor
(1) beim Einschalten der Stromversorgung des Busses automatisch
aktiv.
-
Ein
auf dem Bordrechner des Busses arbeitendes Programm fragt die auf
den verschiedenen optischen Personendetektoren (1) zur
Verfügung gestellten Zählstände bei Bedarf
ab, addiert diese Zählstände und ermittelt auf
diese Weise das gesamte Fahrgastaufkommen.
-
- 1
- Optischer
Personendetektor
- 2
- Gehäuse
- 3
- Platine
der Kamera
- 4
- Elektronischer
Bildsensor der Kamera
- 5
- Objektiv
der Kamera
- 6
- Mikroprozessor
des Mikrocontrollers
- 7
- Digitaler
Signalprozessor des Mikrocontrollers
- 8
- Arbeitsspeicher
des Mikrocontrollers
- 9
- Platine
des Mikrocontrollers
- 10
- Digitaler
Datenausgang
- 11
- Stromversorgung
- 12
- Messstrecke
- 13
- Person
vor Überschreiten der Messstrecke
- 14
- Person
nach Überschreiten der Messstrecke
- 15
- Bild
im Arbeitsspeicher
- 16
- Projektion
der Messstrecke in das Bild
- 17
- Lokales
einzigartiges Merkmal
- 18
- Korrespondenzpunkt
- 19
- Bewegungsvektor
- 20
- Richtungsvektor
- 21
- Mengenschwerpunkt
- 22
- Durchgangspunkt
- 23
- Schulterbreiter
zum Durchgangspunkt gehöriger Bereich
- 24
- Koordinatenursprung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 3301763
A1 [0003]
- - DE 4212026 C1 [0005]
- - US 000004127766 A [0005]
- - DE 202007007863 U1 [0008]
- - DE 19721741 A1 [0012]
- - EP 1768067 A3 [0012]
- - US 2004/0179736 A1 [0014]
- - DE 4407528 A1 [0014]
- - DE 102004042999 A1 [0014]