DE102009055623B4

DE102009055623B4 - Method and device for optical activity detection

Info

Publication number: DE102009055623B4
Application number: DE102009055623.0A
Authority: DE
Inventors: Jens Spehr; Prof. Dr.-Ing. Wahl Friedrich M.; Dr.-Ing. Winkelbach Simon
Original assignee: Technische Universitaet Braunschweig
Current assignee: TECHNISCHE UNIVERSITAET BRAUNSCHWEIG, DE
Priority date: 2009-11-25
Filing date: 2009-11-25
Publication date: 2016-01-28
Anticipated expiration: 2029-11-26
Also published as: WO2011063936A1; DE102009055623A1

Abstract

Verfahren zur optischen Aktivitätenerkennung mit einer Mehrzahl virtueller Lichtschranken (30, 40) mit folgenden Merkmalen: a) Erfassen von Bildern (9) eines zu überwachenden Bereichs (20) mittels einer Kamera (10), wobei die Bilder (9) jeweils den erfassten Bereich (20) als zweidimensionale Bildpunkt-Information repräsentieren, b) Festlegen einer Mehrzahl virtueller Lichtschranken (30, 40) in der erfassten Bildpunkt-Information, c) Durchführen der Schritte c1) und c2) für jede virtuelle Lichtschranke (30, 40): c1) Überwachen nur derjenigen Bildpunkte in der erfassten Bildpunkt-Information, die in einem der virtuellen Lichtschranke (30, 40) zugeordneten Überwachungsbereich (1, 2, 3, 4) liegen und c2) Erzeugen eines Aktivitätssignals (A1, A2, A3, A4) der virtuellen Lichtschranke (30, 40) in Form eines binären Ein-/Aus-Signals oder eines Zahlenwerts aus den überwachten Bildpunkten, d) Überwachen einer zeitlichen Abfolge der Mehrzahl der Aktivitätssignale (A1, A2, A3, A4), e) Erkennen einer Aktivität eines in dem erfassten Bereich (20) befindlichen Objekts (5) anhand einer für eine Aktivität charakteristischen zeitlichen Abfolge der Mehrzahl der Aktivitätssignale (A1, A2, A3, A4), und f) Ausgabe einer Information über die erkannte Aktivität.Method for optical activity detection with a plurality of virtual light barriers (30, 40) having the following features: a) acquiring images (9) of a region (20) to be monitored by means of a camera (10), wherein the images (9) respectively cover the detected region (20) as two-dimensional pixel information, b) setting a plurality of virtual light barriers (30, 40) in the captured pixel information, c) performing steps c1) and c2) for each virtual light barrier (30, 40): c1 ) Monitoring only those pixels in the captured pixel information that are in a monitoring area (1, 2, 3, 4) associated with the virtual light barrier (30, 40) and c2) generating an activity signal (A1, A2, A3, A4) the virtual light barrier (30, 40) in the form of a binary on / off signal or a numerical value from the monitored pixels, d) monitoring a temporal sequence of the plurality of activity signals (A1, A2, A3, A4), e) Detecting an activity of an object (5) located in the detected area (20) on the basis of a time sequence characteristic of an activity of the plurality of activity signals (A1, A2, A3, A4), and f) outputting information about the detected activity.

Description

Die Erfindung betrifft ein Verfahren zur optischen Aktivitätenerkennung mit einer Mehrzahl virtueller Lichtschranken gemäß dem Patentanspruch 1. Die Erfindung betrifft außerdem eine vorteilhafte Einrichtung zur optischen Aktivitätenerkennung gemäß dem Anspruch 11.The invention relates to a method for optical activity detection with a plurality of virtual light barriers according to claim 1. The invention also relates to an advantageous device for optical activity detection according to claim 11.

Als Aktivität wird in diesem Zusammenhang jede Bewegung eines dreidimensionalen Objekts in einem zu überwachenden Bereich, z. B. einem Raum, verstanden. Die Erfindung eignet sich daher zum computergestützten Erkennen von Aktivitäten z. B. einer Person, eines Tiers oder einer Maschine. Als optische Aktivitätenerkennung wird jegliche Art von optischer Erfassung verstanden, die sichtbasiert mittels einer Kamera erfolgen kann.As an activity in this context, any movement of a three-dimensional object in a monitored area, for. As a room understood. The invention is therefore suitable for computer-aided recognition of activities z. As a person, an animal or a machine. Optical activity detection is understood to mean any type of optical detection that can be visualized by means of a camera.

Bisherige Vorschläge zur optischen Aktivitätenerkennung erfordern beispielsweise, dass ein Hintergrundbild erfasst wird, das als unveränderlich angenommen wird. Zur Erkennung der Aktivitäten werden Veränderungen im Vordergrund registriert. Solche Verfahren sind bereits dann problematisch, wenn sich der Hintergrund beispielsweise durch Lichteinfall verändert. Dies bringt die Problematik mit sich, dass das Hintergrundmodell regelmäßig aktualisiert werden muss, was im Einzelfall äußerst aufwendig sein kann. Änderungen am Hintergrundmodell, wie z. B. das Öffnen oder Schließen von Türen oder Beleuchtungsänderungen, müssen erkannt und zur Aktualisierung verwendet werden. Dabei müssen die Aktualisierungsmechanismen so entwickelt werden, dass sie das Aktualisieren des Hintergrundmodells im Bereich von bewegungslosen Personen, z. B. schlafenden Personen, verhindern. Auch dies ist in der Praxis schwer umzusetzen.Previous proposals for optical activity detection, for example, require that a background image be taken which is assumed to be immutable. To detect the activities, changes in the foreground are registered. Such methods are already problematic when the background changes, for example due to incidence of light. This brings with it the problem that the background model has to be updated regularly, which can be extremely costly in individual cases. Changes to the background model, such as As the opening or closing of doors or lighting changes must be recognized and used for updating. In doing so, the updating mechanisms must be developed to enable the updating of the background model in the area of motionless persons, e.g. As sleeping persons prevent. Again, this is difficult to implement in practice.

Zur Erkennung von Aktivitäten war es bei bekannten Lösungen zudem erforderlich, dass relativ komplexe Personenerkennungs- und Tracking-Algorithmen angewandt werden. Durch das Tracking wird die Bewegung einer Person durch einen Raum verfolgt; hieraus wird auf bestimmte Aktivitäten geschlossen. Solche Verfahren sind sehr rechenaufwendig und erfordern im Echtzeitbetrieb eine sehr leistungsfähige und entsprechend teure Hardware.To detect activities, known solutions also required relatively complex person recognition and tracking algorithms to be used. Tracking tracks the movement of a person through a room; From this it is concluded that certain activities. Such methods are very computationally intensive and require in real-time operation a very powerful and correspondingly expensive hardware.

Aus der DE 32 14 254 A1 ist ein Verfahren zum Erkennen von Bewegungen in Video-Kamera-Bildern bekannt. Aus der DE 196 23 524 A1 ist eine Einrichtung zur Gefahrenraumüberwachung an einem Bahnübergang bekannt. Aus der DE 10 2007 055 705 A1 ist ein System und ein Verfahren zur automatischen Erkennung von Graffiti in öffentlichen Räumen bekannt. Aus der WO 2009/035705 A1 sind Systeme und Verfahren zur Verarbeitung Gestik-basierter Benutzerinteraktionen mit einem interaktiven Anzeigegerät bekannt. Aus der Veröffentlichung „Integrating natural language and gesture in a robotics domain”, Proceedings of the 1998 IEEE, September 14–17, 1998, Seiten 247–252 ist die Integration einer Gestiksteuerung in einem Roboterumfeld bekannt. Aus der Veröffentlichung „Accurate activity recognition in a home setting”, Tim van Kasteren, Athanasios Noulas, Gwenn Englebienne and Ben Kröse, Ubiqon '08, September 21–24, 2008 ist die Aktivitätenerkennung im Haushaltsumfeld bekannt. Aus der US 2002/0125435 A1 ist ein Verfahren und eine Einrichtung zur Detektierung von Objekten bekannt.From the DE 32 14 254 A1 For example, a method for detecting motion in video camera images is known. From the DE 196 23 524 A1 a device for the monitoring of hazardous areas at a railway crossing is known. From the DE 10 2007 055 705 A1 is a system and a method for the automatic detection of graffiti in public spaces known. From the WO 2009/035705 A1 For example, systems and methods for processing gesture-based user interactions with an interactive display device are known. The integration of gesture control in a robot environment is known from the publication "Integrating natural language and gesture in a robotics domain", Proceedings of the 1998 IEEE, September 14-17, 1998, pages 247-252. From the publication "Accurate activity recognition in a home setting", Tim van Kasteren, Athanasios Noulas, Gwenn Englebienne and Ben Kröse, Ubiqon '08, September 21-24, 2008 household activity recognition is well known. From the US 2002/0125435 A1 For example, a method and apparatus for detecting objects is known.

Der Erfindung liegt daher die Aufgabe zugrunde, eine robuste Aktivitätenerkennung mit deutlich reduziertem Rechenaufwand zu ermöglichen.The invention is therefore based on the object to enable a robust activity detection with significantly reduced computational effort.

Diese Aufgabe wird durch die Erfindung gemäß den Ansprüchen 1 und 11 gelöst. Die Unteransprüche geben vorteilhafte Weiterbildungen der Erfindung an.This object is achieved by the invention according to claims 1 and 11. The dependent claims indicate advantageous developments of the invention.

Die Erfindung hat den Vorteil, eine sichere und zuverlässige Erkennung der Aktivitäten eines Objekts in einem zu überwachenden Bereich zu ermöglichen. Die Erfindung erlaubt es, die mittels einer Kamera erfassten umfangreichen Bildinformationen durch schnell auszuführende Schritte zu verarbeiten und hierbei Aktivitäten eines Objekts mit hoher Zuverlässigkeit zu erkennen. Dies wird ermöglicht durch die Verwendung von virtuellen Lichtschranken gemäß dem Patentanspruch 1. Es entfällt insbesondere die Notwendigkeit, die im Stand der Technik erforderlichen aufwendigen Tracking-Algorithmen zu verwenden. Die Erfindung erlaubt es, mittels relativ einfacher Rechenschritte die komplexen Bildinformationen auf einfache und schnell weiter zu verarbeitende Größen zu reduzieren, wie z. B. einzelne (skalare) Zahleninformationen oder reine Binärinformationen.The invention has the advantage of enabling safe and reliable detection of the activities of an object in a region to be monitored. The invention makes it possible to process the extensive image information captured by means of a camera by quickly executing steps and thereby to detect activities of an object with high reliability. This is made possible by the use of virtual light barriers according to claim 1. It eliminates in particular the need to use the required in the prior art complex tracking algorithms. The invention makes it possible, by means of relatively simple computation steps, to reduce the complex image information to simple and quickly further processed variables, such as, for example, For example, single (scalar) number information or pure binary information.

Die Erfindung eignet sich besonders für die Parallelverarbeitung in Computern moderner Architektur, die mehrere parallel arbeitende Prozessoren aufweisen.The invention is particularly suitable for parallel processing in modern architecture computers having multiple processors operating in parallel.

Die Erfindung erlaubt es, die virtuellen Lichtschranken auf verschiedene Prozessoren zu verteilen und jeden Prozessor eine bestimmte Anzahl virtueller Lichtschranken berechnen zu lassen. Hierdurch kann die Erfindung mit kostengünstiger Hardware in allen Bereichen eingesetzt werden, in denen Räume überwacht und Aktivitäten von Objekten, z. B. Personen, erkannt werden sollen.The invention makes it possible to distribute the virtual light barriers to different processors and to have each processor calculate a certain number of virtual light barriers. As a result, the invention can be used with low-cost hardware in all areas in which monitors spaces and activities of objects, such. B. persons to be recognized.

Eine virtuelle Lichtschranke wird bestimmt die Zuordnung eines null-, ein- oder zweidimensionalen Überwachungsbereichs in der erfassten Bildpunkt-Information, Überwachen des Überwachungsbereichs und Erzeugen eines Aktivitätssignals der virtuellen Lichtschranke. Die Verwendung solcher virtuellen Lichtschranken hat gegenüber einer Verwendung von realen Lichtschranken den Vorteil, dass eine Installation separater Lichtschranken entfällt. Es ist lediglich eine Installation einer Kamera bzw. ggf. mehrerer Kameras notwendig. Es entfällt zudem die umfangreiche Kabelinstallation, die für reale Lichtschranken mit einem Lichtsender und einem Lichtempfänger erforderlich ist. Vorteilhaft können zudem im Prinzip beliebig viele virtuelle Lichtschranken definiert werden, ohne dass zusätzlicher realer Installationsaufwand anfällt. Möglich ist auch eine dynamische Variation der Anzahl der virtuellen Lichtschranken, z. B. je nach Auslastung der verwendeten Hardware und der Überwachungssituation. Ein weiterer Vorteil gegenüber realen Lichtschranken besteht bei virtuellen Lichtschranken darin, dass diese in beliebiger Weise reale Lichtvorhänge oder Lichtbereiche ersetzen können. Die virtuellen Lichtschranken können im Prinzip in jeder null, ein- oder zweidimensionalen Form definiert werden, beispielsweise als gerade oder gekrümmte Linie, Kreis oder Ellipse, Rechteck oder in jeder sonstigen Form. In einer Ausführung in der nulldimensionalen Form ist der Überwachungsbereich punktförmig; dies entspricht der klassischen realen Lichtschranke mit nur einem Lichtstrahl. In einer Ausführung in der eindimensionalen Form ist der Überwachungsbereich linienförmig, z. B. als Geradenabschnitt oder als Umfangslinie eines zweidimensionalen Fläche, die eine regelmäßige Form (z. B. Kreis, Ellipse, Rechteck) oder unregelmäßige Form haben kann; in der Ausführung als Geradenabschnitt entspricht dies der einem realen Lichtvorhang mit einer Mehrzahl von Lichtstrahlen. In einer Ausführung in der zweidimensionalen Form ist der Überwachungsbereich flächig, z. B. als Fläche einer zweidimensionalen Fläche, die eine regelmäßige Form (z. B. Kreis, Ellipse, Rechteck) oder unregelmäßige Form haben kann. Das Konzept der virtuellen Lichtschranken erlaubt daher eine große Flexibilität bei der Überwachung von Objekten.A virtual light barrier is determined to associate a zero, one, or two dimensional surveillance area in the captured pixel information, monitor the surveillance area, and generate a virtual light barrier activity signal. The use of such Virtual light barriers has the advantage over the use of real photoelectric sensors that eliminates the installation of separate photoelectric sensors. It is only an installation of a camera or possibly several cameras necessary. It also eliminates the extensive cable installation that is required for real light barriers with a light transmitter and a light receiver. Advantageously, in principle any number of virtual light barriers can be defined, without additional real installation costs incurred. It is also possible a dynamic variation of the number of virtual light barriers, z. Depending on the utilization of the hardware used and the monitoring situation. Another advantage over real photoelectric barriers in the case of virtual light barriers is that they can replace real light curtains or light areas in any way. The virtual light barriers can be defined in principle in any zero, one or two-dimensional form, for example as a straight or curved line, circle or ellipse, rectangle or in any other form. In an embodiment in the zero-dimensional form, the surveillance area is punctiform; this corresponds to the classic real light barrier with only one light beam. In one embodiment in the one-dimensional shape, the surveillance area is linear, e.g. B. as a straight line section or as a perimeter of a two-dimensional surface, which may have a regular shape (eg, circle, ellipse, rectangle) or irregular shape; in the embodiment as a straight line section this corresponds to a real light curtain with a plurality of light beams. In an embodiment in the two-dimensional form of the monitoring area is flat, z. For example, as a surface of a two-dimensional surface that may have a regular shape (eg, circle, ellipse, rectangle) or irregular shape. The concept of virtual light barriers therefore allows great flexibility in the monitoring of objects.

Gegenüber vorbekannten Bildverarbeitungsverfahren, die für die Aktivitätenerkennung verwendet werden, hat die Erfindung den Vorteil, dass die Datenverarbeitung nur wenig Aufwand erfordert. Insbesondere müssen keine komplexen Modelle gespeichert und verarbeitet werden. Die komplexe Bildinformation kann auf eine binäre Information komprimiert werden, die den Zustand der jeweiligen virtuellen Lichtschranken angibt. Dies hat gegenüber der konventionellen Bildverarbeitung den weiteren Vorteil, dass der Datenschutz verbessert wird, da als Ausgangsgröße nur eine binäre Ein-/Aus-Information der Lichtschranke ausgegeben werden muss und nicht das gesamte aufgenommene Bild. Insbesondere wird der Zugriff auf empfindliche Bildinformationen vermieden und der Schutz der Privatsphäre von Personen verbessert.Compared to previously known image processing methods that are used for activity detection, the invention has the advantage that the data processing requires little effort. In particular, no complex models need to be stored and processed. The complex image information can be compressed to a binary information indicating the state of the respective virtual light barriers. This has the further advantage over conventional image processing that the data protection is improved because only a binary on / off information of the light barrier must be output as the output variable and not the entire recorded image. In particular, access to sensitive image information is avoided and privacy of individuals improved.

Da keine Modellinformationen gemäß der konventionellen Bildverarbeitung erforderlich sind, müssen solche Informationen auch nicht an Veränderungen, wie z. B. veränderte Beleuchtungsbedingungen, angepasst werden. Dadurch ist die Erfindung sehr robust gegenüber Beleuchtungsänderungen und sonstigen Änderungen des überwachten Bereichs.Since no model information is required according to conventional image processing, such information also does not need to be modified, such as. As changed lighting conditions are adjusted. As a result, the invention is very robust against changes in illumination and other changes in the monitored area.

Die Erfindung eignet sich vorteilhaft für den kommerziellen Einsatz und die Verwendung in Privatwohnungen oder Wohnheimen. Die Aktivitätenerkennung kann in vielen Bereichen eingesetzt werden, wie Sicherheitskontrolle, Überwachung, Zugangskontrollen oder zur Steuerung von Unterhaltungselektronik. Ein besonders vorteilhafter Anwendungsbereich der Erfindung liegt auf dem Gebiet von Hausnotrufsystemen, die mittels der Erfindung dahingehend verbessert werden können, dass ein automatischer Notruf bei Erkennung von Aktivitäten ausgelöst wird, die nicht dem normalen Aktivitätsmuster entsprechen. Beispielsweise kann die erfindungsgemäße Aktivitätenerkennung verwendet werden, um Gefahrensituationen oder Anomalien zu erkennen, wie z. B. einen Sturz einer Person.The invention is advantageously suitable for commercial use and for use in private homes or dormitories. The activity detection can be used in many areas, such as security control, surveillance, access control or to control consumer electronics. A particularly advantageous field of application of the invention is in the field of home emergency call systems, which can be improved by means of the invention in such a way that an automatic emergency call is triggered upon detection of activities which do not correspond to the normal activity pattern. For example, the activity detection according to the invention can be used to detect dangerous situations or anomalies, such. B. a fall of a person.

Gemäß der Erfindung wird die von der Kamera erfasste Bildinformation in zwei Schritten verdichtet, nämlich zunächst mittels der virtuellen Lichtschranken auf die den Lichtschranken zugeordneten ein- oder zweidimensionalen Überwachungsbereiche. Hierdurch muss nicht die gesamte Bildinformation jedes Bildes ausgewertet werden, sondern nur die definierten Überwachungsbereiche. In einem zweiten Schritt erfolgt eine Verdichtung der Bildinformation der Überwachungsbereiche auf ein jeweiliges Aktivitätssignal der virtuellen Lichtschranke. Das Aktivitätssignal kann ein binäres Ein-/Aus-Signal sein oder ein Zahlenwert, z. B. eine ganze Zahl. Für die Erkennung einer Aktivität wird erfindungsgemäß die zeitliche Abfolge der Mehrzahl der Aktivitätssignale ausgewertet.According to the invention, the image information captured by the camera is compressed in two steps, namely first by means of the virtual light barriers on the one or two-dimensional monitoring areas associated with the light barriers. As a result, not all the image information of each image needs to be evaluated, but only the defined monitoring areas. In a second step, the image information of the monitoring areas is compressed to a respective activity signal of the virtual light barrier. The activity signal may be a binary on / off signal or a numerical value, e.g. B. an integer. For the detection of an activity, the temporal sequence of the plurality of activity signals is evaluated according to the invention.

Gemäß einer vorteilhaften Weiterbildung der Erfindung weist eine virtuelle Lichtschranke folgende Merkmale auf:

a) Überwachen der Bildpunkte des Überwachungsbereichs auf Veränderungen, die eine vorbestimmte Überwachungsschwelle überschreiten,
b) Erzeugen eines Ansprechsignals als Aktivitätssignal, wenn die vorgegebene Überwachungsschwelle überschritten ist.

According to an advantageous development of the invention, a virtual light barrier has the following features:

a) monitoring the pixels of the surveillance area for changes exceeding a predetermined monitoring threshold,
b) generating a response signal as an activity signal when the predetermined monitoring threshold is exceeded.

Dies erlaubt vorteilhaft eine Erzeugung eines binären Aktivitätssignals mit wenig Rechenaufwand. So kann das Ansprechsignal beispielsweise die Zustände „Lichtschranke unterbrochen” oder „Lichtschranke nicht unterbrochen” anzeigen.This advantageously allows a generation of a binary activity signal with little computational effort. For example, the response signal can indicate the statuses "Photocell interrupted" or "Photocell not interrupted".

Gemäß einer vorteilhaften Weiterbildung der Erfindung erfolgt die Überwachung der Bildpunkte des Überwachungsbereichs wenigstens einer virtuellen Lichtschranke bildpunktweise durch zeitliche Ableitung oder Differenzbildung aufeinanderfolgender Bilder. Die für die zeitliche Ableitung oder Differenzbildung herangezogenen aufeinanderfolgenden Bilder können direkt aufeinanderfolgende Bilder oder Bilder mit einem gewissen zeitlichen Abstand voneinander sein. Dies erlaubt vorteilhaft eine Anpassung an die jeweilige Überwachungssituation. Insbesondere bei langsamen Vorgängen oder selten auftretenden Änderungen sind größere Abstände zwischen den ausgewerteten Bildern vorteilhaft. Es ist ebenfalls vorteilhaft, die Überwachung bildpunktweise vorzunehmen, da dies ebenfalls einfache Rechenschritte erlaubt. Im einfachsten Fall kann eine Differenzbildung zwischen einem Bildpunkt eines aufgenommenen Bildes und demselben Bildpunkt eines vorangegangenen Bildes durchgeführt werden. According to an advantageous embodiment of the invention, the monitoring of the pixels of the monitoring area of at least one virtual light barrier is done pixel by pixel by time derivative or subtraction of successive images. The successive images used for the time derivation or subtraction can be directly successive images or images with a certain time interval from one another. This advantageously allows adaptation to the respective monitoring situation. Especially with slow processes or rarely occurring changes larger distances between the evaluated images are advantageous. It is also advantageous to perform the monitoring pixel by pixel, since this also allows simple calculation steps. In the simplest case, a difference between a pixel of a captured image and the same pixel of a previous image can be performed.

Gemäß einer vorteilhaften Weiterbildung der Erfindung wird ein Überwachungswert aus allen Bildpunkten des Überwachungsbereichs wenigstens einer virtuellen Lichtschranke oder daraus ermittelten Daten, wie z. B. der zuvor erwähnten zeitlichen Ableitung oder bildpunktweisen Differenz, bestimmt. Gemäß einer vorteilhaften Weiterbildung kann der Überwachungswert als räumliches Integral oder Summe aus allen Bildpunkten des Überwachungsbereichs wenigstens einer virtuellen Lichtschranke oder den daraus ermittelten Daten bestimmt werden. Dies erlaubt wiederum einfache, schnell auszuführende Rechenschritte. Im einfachsten Fall kann als Überwachungswert die Summe der bildpunktweise gebildeten Differenzwerte aufeinanderfolgender Bilder bestimmt werden. Gemäß einer vorteilhaften Weiterbildung der Erfindung kann das Aktivitätssignal wenigstens einer virtuellen Lichtschranke der erwähnte Überwachungswert sein oder aus dem Überwachungswert bestimmt werden, z. B. durch weitere Umrechnung.According to an advantageous embodiment of the invention, a monitoring value from all pixels of the surveillance area at least one virtual light barrier or data derived therefrom, such. As the aforementioned time derivative or pixel-by-pixel difference determined. According to an advantageous development, the monitoring value can be determined as a spatial integral or sum of all pixels of the monitoring area of at least one virtual light barrier or the data determined therefrom. This, in turn, allows simple, quickly executed computation steps. In the simplest case, the sum of the pixel-by-pixel difference values of successive images can be determined as the monitoring value. According to an advantageous development of the invention, the activity signal of at least one virtual light barrier may be the mentioned monitoring value or may be determined from the monitoring value, eg. B. by further conversion.

Gemäß einer vorteilhaften Weiterbildung der Erfindung werden die Bildpunkte des Überwachungsbereichs auf Veränderungen des Grauwerts, des Farbtons, der Sättigung und/oder der Helligkeit überwacht. Durch geeignete Kombinationen der Überwachungskriterien kann vorteilhaft eine geeignete Anpassung an die Überwachungssituation, wie z. B. sich ändernde Lichtverhältnisse oder Farbverhältnisse, erreicht werden.According to an advantageous embodiment of the invention, the pixels of the monitoring area are monitored for changes in the gray value, hue, saturation and / or brightness. By suitable combinations of the monitoring criteria can advantageously be a suitable adaptation to the monitoring situation, such. B. changing light conditions or color ratios can be achieved.

Der Überwachungsbereich einer virtuellen Lichtschranke kann grundsätzlich jede ein- oder zweidimensionale Form in der erfassten Bildpunktinformation haben. Als eindimensionale Form wird z. B. eine Linieform oder ein Punkt verstanden. Als zweidimensionale Form wird z. B. eine flächige Form verstanden. Denkbar ist z. B. eine Festlegung als rechteckiger oder kreisrunder Überwachungsbereich. Gemäß einer vorteilhaften Weiterbildung der Erfindung ist der Überwachungsbereich als Geradenabschnitt ausgebildet. Hierdurch können vorteilhaft sogenannte Lichtvorhänge virtuell nachgebildet werden. Die Ausbildung als Geradenabschnitt hat den Vorteil, dass die Anzahl der auszuwertenden Bildpunkte begrenzt wird, und damit die Verarbeitungsgeschwindigkeit für die Aktivitätenerkennung verbessert wird.The monitoring area of a virtual light barrier can basically have any one- or two-dimensional shape in the acquired pixel information. As a one-dimensional form z. B. understood a line shape or a point. As a two-dimensional shape z. B. understood a flat shape. It is conceivable z. B. a determination as a rectangular or circular surveillance area. According to an advantageous embodiment of the invention, the monitoring area is designed as a straight line section. As a result, so-called light curtains can be virtually simulated virtually. The training as a straight line section has the advantage that the number of pixels to be evaluated is limited, and thus the processing speed for the activity recognition is improved.

Gemäß einer vorteilhaften Weiterbildung der Erfindung kann der Überwachungsbereich mit Hilfe eines Grafikprogramms in ein erfasstes Bild der Kamera eingezeichnet werden. Zur Definition eines Überwachungsbereichs kann somit ein Bild unter neutralen Bedingungen, z. B. ohne Vorhandensein von Personen in einem zu überwachenden Raum, aufgezeichnet werden. Dieses Bild wird in das Grafikprogramm eines Computers geladen, z. B. Paint Shop. Mittels eines Eingabeelements, z. B. einer Computermaus oder eines Grafiktabletts, werden in das Bild ein oder mehrere Überwachungsbereiche eingezeichnet. Das Bild wird sodann gespeichert und über eine Konvertierungssoftware verarbeitet. Die Konvertierungssoftware generiert aus dem bearbeiteten Bild eine Bildmaskeninformation, die den Informationen über die definierten Überwachungsbereiche beinhaltet. Für die optische Aktivitätenerkennung wird diese Bildmaskeninformation dann verwendet, um die Bildpunktinformationen der virtuellen Lichtschranken zu extrahieren und zu verarbeiten. Diese Vorgehensweise erlaubt eine wenig zeitaufwändige einfache Realisierung virtueller Lichtschranken in einem zu überwachenden Bereich. Auch ist eine spätere Erweiterung oder Reduzierung der Anzahl definierter virtueller Lichtschranken auf einfache Weise möglich.According to an advantageous development of the invention, the monitoring area can be drawn into a captured image of the camera with the aid of a graphics program. To define a surveillance area can thus be an image under neutral conditions, eg. B. without presence of persons in a space to be monitored recorded. This image is loaded into the graphics program of a computer, e.g. B. Paint Shop. By means of an input element, for. As a computer mouse or a tablet, one or more monitoring areas are drawn in the image. The image is then saved and processed via a conversion software. The conversion software generates image mask information from the edited image that contains the information about the defined monitoring areas. For optical activity detection, this image mask information is then used to extract and process the pixel information of the virtual light barriers. This procedure allows a time-consuming simple realization of virtual light barriers in a monitored area. A later extension or reduction of the number of defined virtual light barriers is also possible in a simple manner.

Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass zur Erkennung einer Aktivität eines in dem erfassten Bereich befindlichen Objekts ein wenigstens zweiphasiges stochastisches Modell verwendet wird, wobei als erste Phase eine Lernphase vorgesehen ist, in der das Modell anhand definierter Aktivitäten trainiert wird, wobei automatisch Modellparameter bestimmt werden, und als zweite Phase eine Klassifikationsphase vorgesehen ist, in der aufgrund der trainierten Modellparameter und aktueller Bilder der Kamera Aktivitäten eines in dem erfassten Bereich befindlichen Objekts erkannt und unterschieden werden. Diese Vorgehensweise erlaubt eine einfache und auf den jeweiligen Einsatzfall zugeschnittene Adaption eines Überwachungssystems für eine bestimmte Umgebung.According to an advantageous development of the invention, it is provided that an at least two-phase stochastic model is used to detect an activity of an object located in the detected area, wherein as the first phase a learning phase is provided, in which the model is trained on the basis of defined activities, automatically Model parameters are determined, and as the second phase, a classification phase is provided in which, based on the trained model parameters and current images of the camera activities of an object located in the detected area are detected and distinguished. This approach allows a simple and tailored to the particular application adaptation of a monitoring system for a particular environment.

Gemäß Anspruch 11 ist ferner eine vorteilhafte Einrichtung zur optischen Aktivitätenerkennung beschrieben. Die Einrichtung zur optischen Aktivitätenerkennung weist eine Verarbeitungseinheit auf, die sich vorteilhaft zur Ausführung der zuvor genannten vorteilhaften Ausgestaltungen der Erfindung eignet. Die Verarbeitungseinheit kann beispielsweise als Computer, vorzugsweise als Mehrprozessor-Computer, ausgebildet sein.According to claim 11, an advantageous device for optical activity detection is also described. The device for optical activity recognition has a processing unit, which is advantageous for carrying out the above mentioned advantageous embodiments of the invention is suitable. The processing unit can be designed, for example, as a computer, preferably as a multiprocessor computer.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Verwendung von Zeichnungen näher erläutert.The invention will be explained in more detail by means of embodiments using drawings.

Es zeigenShow it

1 eine Einrichtung zur optischen Aktivitätenerkennung und 1 a device for optical activity recognition and

2 eine erfasste Bildpunktinformation und 2 a captured pixel information and

3 ein Zeitdiagramm der Aktivitätssignale virtueller Lichtschranken. 3 a time diagram of the activity signals virtual photocells.

In den Figuren werden gleiche Bezugszeichen für einander entsprechende Elemente verwendet.In the figures, like reference numerals are used for corresponding elements.

Die Aktivitätenerkennung gemäß der Erfindung basiert auf virtuellen Lichtschranken. Diese haben eine vergleichbare Funktion wie reale Lichtschranken, z. B. in Form von Lichtgittern oder Lichtvorhängen. Reale Lichtschranken erkennen, ob ein bestimmter Bereich von einem Objekt unterbrochen wird oder nicht. In vergleichbarer Weise arbeiten die erfindungsgemäßen virtuellen Lichtschranken.The activity detection according to the invention is based on virtual light barriers. These have a comparable function as real photoelectric sensors, z. B. in the form of light curtains or light curtains. Real photoelectric sensors detect whether a certain area is interrupted by an object or not. The virtual light barriers according to the invention work in a comparable manner.

Die 1 zeigt als zu überwachenden Bereich einen Raum 20, in dem sich ein Objekt 5, z. B. eine Person, befindet. An der Decke des Raumes 20 ist eine Kamera 10 angeordnet. Die Kamera 10 kann beispielsweise als übliche digitale Kamera mit einem CCD-Sensor ausgebildet sein. Die Kamera 10 ist über eine Leitung mit einer Verarbeitungseinheit 6, z. B. einem Computer, verbunden. Die Kamera 10 kann auch drahtlos mit der Verarbeitungseinheit 6 verbunden sein. An die Verarbeitungseinheit 6 sind als Signaleinheiten eine Mobilfunksendeeinrichtung 7 und eine Warnlampe 8 angeschlossen. Die Signaleinheiten 7, 8 dienen zur Ausgabe einer Information über die von der erfindungsgemäßen Einrichtung erkannte Aktivität, z. B. in Form eines Warnsignals.The 1 shows a space to be monitored 20 in which is an object 5 , z. As a person is located. At the ceiling of the room 20 is a camera 10 arranged. The camera 10 may be formed, for example, as a conventional digital camera with a CCD sensor. The camera 10 is via a line with a processing unit 6 , z. As a computer connected. The camera 10 can also be wireless with the processing unit 6 be connected. To the processing unit 6 are as signal units a mobile radio transmitter 7 and a warning lamp 8th connected. The signal units 7 . 8th serve to output information about the detected by the device according to the invention activity, eg. B. in the form of a warning signal.

Die 1 zeigt ferner beispielhaft zwei virtuelle Lichtschranken 30, 40, die analog zu jeweils einem realen Lichtvorhang ausgebildet sind. Die virtuellen Lichtschranken 30, 40 entsprechen im dreidimensionalen Raum einer jeweiligen Ebene, die zwischen zwei von der Kamera 10 ausgehenden Strahlen aufgespannt wird. In der von der Kamera 10 erzeugten zweidimensionalen Bildinformation des Raumes 20 entsprechen die Lichtvorhänge der virtuellen Lichtschranken 30, 40 einem jeweiligen Geradenabschnitt, der einem Überwachungsbereich der jeweiligen virtuellen Lichtschranke 30, 40 entspricht und aufgrund der Ausbildung als Linie nachfolgend als Überwachungslinie 3 bzw. 4 bezeichnet werden soll, was nachfolgend anhand der 2 noch näher erläutert wird. In der 1 ist beispielhaft dargestellt, dass die virtuelle Lichtschranke 30 von der Person 5 zumindest an bestimmten Stellen unterbrochen ist. Die virtuelle Lichtschranke 40 erkennt keine solche Unterbrechung, weder durch die Person 5 noch durch den von der Person 5 in Richtung der Überwachungslinie 4 geworfenen Schatten. Zur Unterscheidung, ob eine virtuelle Lichtschranke als unterbrochen anzusehen ist oder nicht, kann z. B. der Farbwertverlauf oder die Farbwertveränderungen entlang der Überwachungslinie 3 bzw. 4 ausgewertet werden. Die Auswertekriterien werden derart eingestellt, dass die Person 5 eine Unterbrechung auslösen kann, nicht jedoch der von der Person 5 geworfene Schatten.The 1 further shows by way of example two virtual light barriers 30 . 40 , which are formed analogously to each of a real light curtain. The virtual light barriers 30 . 40 correspond in three-dimensional space of a respective plane between two by the camera 10 outgoing beams is spanned. In the from the camera 10 created two-dimensional image information of the room 20 the light curtains correspond to the virtual light barriers 30 . 40 a respective straight line section, which is a monitoring area of the respective virtual light barrier 30 . 40 corresponds due to training as a line below as a monitoring line 3 respectively. 4 is to be designated, which is subsequently based on the 2 will be explained in more detail. In the 1 is exemplified that the virtual light barrier 30 from the person 5 is interrupted at least in certain places. The virtual light barrier 40 does not detect such an interruption, neither by the person 5 still by the person 5 towards the surveillance line 4 cast shadow. To distinguish whether a virtual light barrier is to be regarded as interrupted or not, z. For example, the color gradient or the color value changes along the monitoring line 3 respectively. 4 be evaluated. The evaluation criteria are set in such a way that the person 5 can cause a break, but not the person's 5 cast shadows.

Die 2 zeigt ein Bild 9 der Kamera 10. Erkennbar ist die Person 5 in Draufsicht. Weiterhin sind gemäß 2 im Vergleich zur 1 zwei zusätzliche virtuelle Lichtschranken definiert, d. h. insgesamt sind vier virtuelle Lichtschranken definiert. Die virtuellen Lichtschranken weisen Überwachungsbereiche 1, 2, 3, 4 in Form von Überwachungslinien auf, die durch Geradenstücke in dem Bild 9 markiert sind. Im Beispiel gemäß 2 hat die zur Überwachungslinie 3 gehörende virtuelle Lichtschranke eine Unterbrechung erkannt.The 2 shows a picture 9 the camera 10 , The person is recognizable 5 in plan view. Furthermore, according to 2 in comparison to 1 defines two additional virtual light barriers, ie a total of four virtual light barriers are defined. The virtual light barriers have monitoring areas 1 . 2 . 3 . 4 in the form of lines of surveillance through straight lines in the image 9 are marked. In the example according to 2 has that to the surveillance line 3 belonging virtual photocell detected a break.

Die 3 zeigt als Zeitdiagramm eine beispielhafte zeitliche Sequenz des Ansprechens der in der 2 dargestellten vier virtuellen Lichtschranken. Einer ersten virtuellen Lichtschranke ist dabei die Überwachungslinie 1 gemäß 2 und ein Aktivitätssignal A1 gemäß 3 zugeordnet. Analog dazu ist einer zweiten virtuellen Lichtschranke die Überwachungslinie 2 und das Aktivitätssignal A2 zugeordnet. Einer dritten virtuellen Lichtschranke ist die Überwachungslinie 3 und das Aktivitätssignal A3 zugeordnet. Schließlich ist einer vierten virtuellen Lichtschranke die Überwachungslinie 4 und das Aktivitätssignal A4 zugeordnet.The 3 shows as a time chart an exemplary temporal sequence of the response in the 2 illustrated four virtual light barriers. A first virtual light barrier is the monitoring line 1 according to 2 and an activity signal A1 according to 3 assigned. Analogously, a second virtual light barrier is the monitoring line 2 and associated with the activity signal A2. A third virtual light barrier is the surveillance line 3 and associated with the activity signal A3. Finally, a fourth virtual light barrier is the surveillance line 4 and associated with the activity signal A4.

Die Aktivitätssignale A1, A2, A3, A4 können, wie in der 3 ersichtlich ist, die binären Zustände 0 und 1 annehmen. Der Zustand 0 entspricht dabei einer nicht unterbrochenen Lichtschranke, d. h. es befindet sich kein Objekt in dem entsprechenden Überwachungslinie. Der Zustand 1 entspricht einer unterbrochenen Lichtschranke, entsprechend einem in der Überwachungslinie befindlichen Objekt. Für jede definierte virtuelle Lichtschranke wird in der Verarbeitungseinheit 6 eine Reihe von Rechenschritten durchgeführt, in denen die Bildpunkte der jeweiligen Überwachungslinie ausgewertet werden und daraus ein jeweiliges Aktivitätssignal der virtuellen Lichtschranke bestimmt wird. Die Schritte können beispielsweise wie folgt ablaufen:
Es sei angenommen, dass ein Überwachungsbereich n Bildpunkte aufweist, die die Menge V = {x₁, ..., x_n} bilden.The activity signals A1, A2, A3, A4 can, as in the 3 It can be seen that the binary states 0 and 1 assume. The state 0 corresponds to an uninterrupted light barrier, ie there is no object in the corresponding monitoring line. The state 1 corresponds to an interrupted light barrier, corresponding to an object located in the monitoring line. For each defined virtual photocell is in the processing unit 6 performed a series of computing steps in which the pixels of the respective monitoring line are evaluated and from this a respective activity signal of the virtual light barrier is determined. For example, the steps may be as follows:
Assume that a monitoring area has n pixels forming the set V = {x ₁ ,..., X _n }.

Aus der von der Kamera gelieferten Folge von Bildern wird ein erstes und ein zweites Bild, z. B. zu dem Zeitpunkt t und zu dem Zeitpunkt t – 1, ausgewertet. Die ausgewerteten Bilder müssen nicht unbedingt direkt aufeinanderfolgende, von der Kamera gesendete Bilder sein, sondern können auch mit einer geringeren Frequenz ausgewertet werden. Aus den Bildpunkten des Überwachungsbereichs wird bildpunktweise, d. h. wechselweise, die zeitliche Ableitung gebildet, z. B. durch Differenzbildung gemäß der Gleichung d(x_i) = f_t(x_i) – f_t-1(x_i) für alle x_i ∊ V, wobei die Funktion f_t(x) den Grau- bzw. Farbwert des Bildes zum Zeitpunkt t im Bildpunkt x repräsentiert.From the sequence of images delivered by the camera, a first and a second image, e.g. B. at the time t and at the time t - 1, evaluated. The evaluated images do not necessarily have to be directly consecutive images sent by the camera, but can also be evaluated at a lower frequency. From the pixels of the surveillance area is pixel by pixel, ie alternately, the time derivative formed, z. B. by subtraction according to the equation d (x _i ) = f _t (x _i ) - f _t-1 (x _i ) for all x _i ε V, where the function f _t (x) represents the gray or color value of the image at the time t in the pixel x.

Die Bildinformationsgröße, die als Funktion f_t(x) verwendet wird, kann auch eine andere, von der Kamera gelieferte Information sein, wie z. B. die Sättigung oder die Helligkeit. Auch eine Kombination dieser Bildinformationsgrößen kann vorteilhaft verwendet werden.The image information size used as a function f _t (x) may also be another information provided by the camera, such as a. As the saturation or brightness. A combination of these image information quantities can also be used to advantage.

In einem weiteren Schritt wird ein Aktivitätsgrad a des Überwachungsbereichs durch räumliche Integration über den Überwachungsbereich gebildet. Die räumliche Integration kann vorteilhaft durch Summierung der zuvor gebildeten Differenzen bestimmt werden, z. B. nach der Gleichung a = Σ n / i=1|d(x_i)| In a further step, an activity level a of the surveillance area is formed by spatial integration over the surveillance area. The spatial integration can advantageously be determined by summation of the previously formed differences, for. For example, according to the equation a = Σ n / i = 1 | d (x _i ) |

Als Aktivitätssignal der jeweiligen virtuellen Lichtschranke kann beispielsweise der ermittelte Aktivitätsgrad a verwendet werden. Es ist auch vorteilhaft, die durch den Aktivitätsgrad a ermittelte Information noch weiter zu verdichten. Hierfür kann ein weiterer Schritt vorgesehen sein, bei dem der ermittelte Aktivitätsgrad a mit einer vorbestimmten Überwachungsschwelle τ verglichen wird. Überschreitet der Aktivitätsgrad a den Schwellwert τ, wird auf Unterbrechung der virtuellen Lichtschranke erkannt und das binäre Aktivitätssignal A1, A2, A3, A4 auf den Wert 1 gesetzt. Andernfalls ist das Aktivitätssignal A1, A2, A3, A4 auf dem Wert 0. Die Überwachungsschwelle τ kann z. B. fest von einem Benutzer vorgegeben werden. Alternativ kann die Überwachungsschwelle dynamisch mit einer statistischen Analyse automatisch bestimmt werden.For example, the determined activity level a can be used as the activity signal of the respective virtual light barrier. It is also advantageous to further compress the information determined by the degree of activity a. For this purpose, a further step may be provided in which the determined activity level a is compared with a predetermined monitoring threshold τ. If the degree of activity a exceeds the threshold value τ, the virtual light barrier is detected and the binary activity signal A1, A2, A3, A4 is set to the value 1. Otherwise, the activity signal A1, A2, A3, A4 is at the value 0. The monitoring threshold τ z. B. be specified by a user. Alternatively, the monitoring threshold can be determined automatically dynamically with a statistical analysis.

In 3 ist ferner erkennbar, dass die virtuellen Lichtschranken in einer bestimmten Abfolge nacheinander Unterbrechungen anzeigen. In einer ersten zeitlichen Phase T1 zeigen die virtuellen Lichtschranken Unterbrechungen in der Reihenfolge A1-A3-A4 an. Die Verarbeitungseinheit erkennt hieraus eine Aktivität einer Person 5, und zwar das Betreten des überwachten Raumes 20 durch die Person 5. Die Erkennung der Aktivität erfolgt durch Vergleich mit Modellparametern, die zuvor ermittelt wurden, wie nachfolgend noch näher erläutert wird.In 3 It can also be seen that the virtual light barriers indicate interruptions in a certain sequence one after the other. In a first temporal phase T1, the virtual light barriers indicate interruptions in the sequence A1-A3-A4. The processing unit recognizes an activity of a person from this 5 , namely entering the monitored room 20 by the person 5 , The detection of the activity is done by comparison with model parameters, which were previously determined, as will be explained in more detail below.

Gemäß 3 folgt auf die Phase T1 eine Phase T2 ohne Aktivität. In einer darauf folgenden Phase T3 zeigen die Aktivitätssignale A2 und A4 entsprechende Aktivität in den Überwachungsbereichen 2 und 4 an. Darauf folgt wiederum eine Phase T4 ohne Aktivität. Schließlich wird in einer Phase T5 eine weitere Aktivität anhand der Abfolge der Unterbrechungen in der Reihenfolge A2-A3-A1 erkannt, und zwar das Verlassen des Raums 20 durch die Person 5.According to 3 Follows on the phase T1 a phase T2 without activity. In a subsequent phase T3, the activity signals A2 and A4 show corresponding activity in the monitoring areas 2 and 4 at. This is followed by a phase T4 without activity. Finally, in a phase T5, another activity is detected based on the sequence of interrupts in the sequence A2-A3-A1, namely leaving the room 20 by the person 5 ,

Für die Aktivitätenerkennung stellen die Aktivitätssignale der virtuellen Lichtschranken diskrete Sensorinformationen dar, die genutzt werden, um die Aktivität eines Objekts zu bestimmen und des Weiteren zu erkennen, ob die Sensorinformationen ein normales oder anormales Verhalten darstellt.For activity detection, the activity signals of the virtual light barriers represent discrete sensor information used to determine the activity of an object and to further detect whether the sensor information represents normal or abnormal behavior.

Die erfindungsgemäße Einrichtung zur optischen Aktivitätenerkennung wird vorteilhaft in wenigstens zwei Phasen betrieben. In einer ersten Phase, einer Lernphase, wird ein Modell trainiert. Im Rahmen des Trainings erfolgt ein automatisches Bestimmen von Modellparametern, die das Verhalten und die Aktivitäten während der Lernphase beschreiben. Während der Lernphase wird davon ausgegangen, dass das Objekt typische, normale Bewegungen durchführt. Je nach Szenario kann die Lernphase eine Dauer von mehreren Stunden bis hin zu einigen Wochen haben. In einer zweiten Phase, der Klassifikationsphase, wird das trainierte Modell verwendet, um die Sensorinformationen mit dem Modell zu vergleichen. Dieser Vergleich ermöglicht Rückschlüsse auf Aktivitäten, die bereits in der Lernphase zu beobachten waren. Zusätzlich sind Rückschlüsse darauf möglich, wie weit die beobachteten Sensorinformationen dem der Lernphase zugrunde gelegten normalen Verhalten entsprechen bzw. davon abweichen. Für die Beurteilung der Sensorinformationen im Vergleich zu den Modellparametern kann vorteilhaft ein statistisches Modell verwendet werden, mit dem die Aktivitätenerkennung durchgeführt werden kann.The optical activity detection device according to the invention is advantageously operated in at least two phases. In a first phase, a learning phase, a model is trained. During the training, an automatic determination of model parameters describing the behavior and the activities during the learning phase takes place. During the learning phase it is assumed that the object performs typical, normal movements. Depending on the scenario, the learning phase can last from several hours to a few weeks. In a second phase, the classification phase, the trained model is used to compare the sensor information with the model. This comparison allows conclusions to be drawn on activities that were already observable in the learning phase. In addition, conclusions can be drawn as to how far the observed sensor information corresponds to or deviates from the normal behavior underlying the learning phase. For the evaluation of the sensor information compared to the model parameters, a statistical model can advantageously be used with which the activity recognition can be carried out.

Als statistisches Modell zur Aktivitätenerkennung kann beispielsweise ein Hidden Markov Model (HMM) verwendet werden. Ein HMM ist ein stochastisches Modell, das aus einer Markov-Kette besteht. Diese ist durch Zustände und Übergangswahrscheinlichkeiten gekennzeichnet, wobei die Zustände der Kette von außen nicht direkt sichtbar sind. Ein zweiter Zufallsprozess erzeugt beobachtbare Ausgangssymbole, die entsprechend einer zustandsabhängigen Wahrscheinlichkeitsverteilung verteilt sind. In der Anwendung für die Aktivitätenerkennung entsprechen die beobachtbaren Ausgangssymbole den Sensorinformationen der virtuellen Lichtschranken, die dem HMM als Eingangsgrößen zugeführt werden. Die versteckten Zustände entsprechen den zu erkennenden Aktivitäten, die als Ausgangsgröße gewonnen werden.For example, a Hidden Markov Model (HMM) can be used as a statistical model for activity recognition. An HMM is a stochastic model consisting of a Markov chain. This is characterized by states and transition probabilities, where the states of the chain are not directly visible from the outside. A second random process generates observable output symbols distributed according to a state-dependent probability distribution. In the activity detection application, the observable output symbols correspond to the sensor information of the virtual light barriers, which are fed to the HMM as input variables. The hidden states correspond to the activities to be recognized, which are obtained as the starting point.

Zum Trainieren des Modells in der Lernphase kann der Baum-Welch-Algorithmus verwendet werden. Die Wahrscheinlichkeit, dass die beobachteten Sensorinformationen von dem erlernten Modell generiert werden, kann mit dem Forward-Backward-Algorithmus bestimmt werden.To train the model in the learning phase, the Baum-Welch algorithm can be used. The probability that the observed sensor information is generated by the learned model can be determined using the forward-backward algorithm.

Claims

Method for optical activity detection with a plurality of virtual light barriers ( 30 . 40 ) having the following features: a) capturing images ( 9 ) of an area to be monitored ( 20 ) by means of a camera ( 10 ), the images ( 9 ) the area covered ( 20 ) as two-dimensional pixel information, b) setting a plurality of virtual light barriers ( 30 . 40 ) in the captured pixel information, c) performing steps c1) and c2) for each virtual light barrier ( 30 . 40 ): c1) monitoring only those pixels in the captured pixel information that are in one of the virtual light barrier ( 30 . 40 ) ( 1 . 2 . 3 . 4 ) and c2) generating an activity signal (A1, A2, A3, A4) of the virtual light barrier ( 30 . 40 ) in the form of a binary on / off signal or a numerical value from the monitored pixels, d) monitoring a time sequence of the plurality of activity signals (A1, A2, A3, A4), e) detecting an activity of one in the detected area ( 20 ) ( 5 ) based on a characteristic of an activity time sequence of the plurality of activity signals (A1, A2, A3, A4), and f) output of information about the detected activity.

A method according to claim 1, characterized in that at least one virtual light barrier comprises the following features: a) monitoring the pixels of the surveillance area ( 1 . 2 . 3 . 4 ) to changes that exceed a predetermined monitoring threshold, b) generating a response signal as an activity signal (A1, A2, A3, A4) when the predetermined monitoring threshold is exceeded.

A method according to claim 1 or 2, characterized in that the monitoring of the pixels of the surveillance area ( 1 . 2 . 3 . 4 ) at least one virtual light barrier ( 30 . 40 ) pixel by temporal derivative or subtraction of successive images ( 9 ) he follows.

Method according to at least one of the preceding claims, characterized in that a monitoring value from all pixels of the monitoring area ( 1 . 2 . 3 . 4 ) at least one virtual light barrier ( 30 . 40 ) or determined from this data.

A method according to claim 4, characterized in that the monitoring value as a spatial integral or sum of all pixels of the surveillance area ( 1 . 2 . 3 . 4 ) at least one virtual light barrier ( 30 . 40 ) or determined from this data.

Method according to claim 4 or 5, characterized in that the activity signal (A1, A2, A3, A4) of at least one virtual light barrier ( 30 . 40 ) is the guard value or is determined from the guard value.

Method according to at least one of the preceding claims, characterized in that the pixels of the monitoring area ( 1 . 2 . 3 . 4 ) are monitored for changes in gray level, hue, saturation, and / or brightness.

Method according to at least one of the preceding claims, characterized in that the monitoring area ( 1 . 2 . 3 . 4 ) is designed as a straight line section.

Method according to at least one of the preceding claims, characterized in that the monitoring area ( 1 . 2 . 3 . 4 ) into a captured image using a graphics program ( 9 ) is drawn.

Method according to at least one of the preceding claims, characterized in that for detecting an activity of one in the detected area ( 20 ) ( 5 an at least two-phase stochastic model is used, wherein as the first phase a learning phase is provided, in which the model is trained on the basis of defined activities, wherein automatically model parameters are determined, and as second phase a classification phase is provided, in which due to the trained Model parameters and current pictures ( 9 ) the camera ( 10 ) Activities of one of the areas covered ( 20 ) ( 5 ) are recognized and distinguished.

Device for optical activity detection with a camera ( 10 ) for capturing images ( 9 ) of an area to be monitored ( 20 ), the images ( 9 ) the area covered ( 20 ) as two-dimensional pixel information, a processing unit ( 6 ) for processing the images ( 9 ), the processing unit ( 6 ) with the camera ( 10 ) to receive the pictures ( 9 ) and one with the processing unit ( 6 ) coupled signal unit ( 7 . 8th ) for outputting information about the detected activity, wherein the processing unit ( 6 ) is set up for, a) receiving images ( 9 ) from the camera ( 10 b) storing one for each of a plurality of virtual light barriers ( 30 . 40 ) ( 1 . 2 . 3 . 4 ) in the captured pixel information, c) performing steps c1) and c2) for each virtual light barrier ( 30 . 40 ): c1) monitoring only those pixels in the captured pixel information that are in one of the virtual light barrier ( 30 . 40 ) ( 1 . 2 . 3 . 4 ) and c2) generating an activity signal (A1, A2, A3, A4) of the virtual light barrier ( 30 . 40 ) in the form of a binary on / off signal or a numerical value from the monitored pixels, d) monitoring a time sequence of the plurality of activity signals (A1, A2, A3, A4), e) detecting an activity of one in the detected area ( 20 ) ( 5 ) based on a characteristic of an activity time sequence of the plurality of activity signals (A1, A2, A3, A4), and f) output of information about the detected activity to the signal unit ( 7 . 8th ).

Device according to claim 11, characterized in that the processing unit ( 6 ) is arranged to carry out a method according to at least one of claims 2 to 10.