AT502193B1

AT502193B1 - METHOD FOR DETECTING MOVING OBJECTS WITH DYNAMIC BACKGROUND SUPPRESSION, AND ACTIVE PIXEL FOR OPTICAL SENSORS

Info

Publication number: AT502193B1
Application number: AT14262005A
Authority: AT
Original assignee: Arc Seibersdorf Res Gmbh
Priority date: 2005-08-31
Filing date: 2005-08-31
Publication date: 2007-02-15
Also published as: AT502193A4

Description

2 AT 502 193 B12 AT 502 193 B1

Die Erfindung betrifft ein Verfahren zur Detektion bewegter Objekte mit dynamischer Hintergrundunterdrückung, umfassend die Erzeugung eines Ausgangssignals vorgegebener Polarität bei Detektion einer Intensitätsänderung an einem aktiven Pixel und die Erzeugung eines Ausgangssignals entgegengesetzter Polarität bei Detektion einer entgegengesetzten Intensitätsän-5 derung am selben Pixel, ein aktives Pixel für optische Sensoren, umfassend einen Transienten-Sensor und einen analogen Schaltkreis zur Signalvorverarbeitung und zum asynchronen Senden über vorzugsweise das Adress-Event-Protokoll, sowie einen Matrix-Sensor mit dynamischer Hintergrundunterdrückung, umfassend eine Anzahl von in mehreren Zeilen angeordneten aktiven Pixel und eine Auswerte-Elektronik. 10The invention relates to a method of detecting moving objects with dynamic background suppression, comprising generating an output signal of predetermined polarity upon detection of an intensity change at an active pixel and generating an output signal of opposite polarity upon detection of an opposite intensity change at the same pixel, an active pixel for optical sensors, comprising a transient sensor and an analog circuit for signal preprocessing and for asynchronous transmission via preferably the address event protocol, as well as a dynamic background suppression matrix sensor comprising a number of active pixels arranged in a plurality of lines and an evaluation -Electronics. 10

Eines der Hauptprobleme im Echtzeit-Überwachungsbereich (real-time surveillence) ist eine ausreichend schnelle und robuste Extraktion relevanter Objekte. Da es sich um einen frühen Schritt in der Datenverarbeitungskette handelt, hat das kritischen Einfluss auf die Leistungsfähigkeit des Gesamtsystems. Üblicherweise erfolgt eine Subtraktion des statischen Hintergrunds 15 (background substraction => foreground Segmentation), wie beispielsweise in "Foreground Segmentation using adaptive mixture models in color and depth", M. Harville, G. Gordon and J. Woodfill, Proceedings of the IEEE Workshop on Detection and Recognition of Events in Video 2001, pp. 3-11, beschrieben ist. Trotz dessen Wichtigkeit gilt dieses Problem in der klassischen Bildverarbeitung noch immer als schlecht gelöst. 20One of the main problems in real-time surveillance is the fast and robust extraction of relevant objects. Since this is an early step in the data processing chain, it has a critical impact on the performance of the overall system. Typically, background substraction 15 is subtracted (foreground segmentation), as described, for example, in " Foreground Segmentation using adaptive mixture models in color and depth ", M. Harville, G. Gordon and J. Woodfill, Proceedings of the IEEE Workshop on Detection and Recognition of Events in Video 2001, pp. 3-11, is described. Despite its importance, this problem is still considered poorly solved in classical image processing. 20

Die meisten gebräuchlichen Algorithmen basieren entweder auf der Analyse der Video-Bilder unter Berücksichtigung verschiedener Merkmale wie Farbe, Bewegung, Textur, usw., wofür ein Beispiel in "A robust spatio-temporal Video object Segmentation scheme with prestored background Information," J. Pan, C. Lin, C. Gu, and M. Sun, Proc. IEEE Int. Symp. Circuits and 25 Systems, pp. 803-806, May 2002, beschrieben ist, oder verwenden verschiedene Pixel-Statistikmodelle, wie etwa "Background subtraction techniques", A. Mclvor, Proceedings of Image & Vision Computing New Zealand 2000(IVCNZO0). Beide Methoden sind sehr rechenaufwendig was eine Anwendung solcher Algorithmen im Echtzeit-Überwachungsbereich sehr einschränkt. 30Most common algorithms are based either on the analysis of the video images taking into account various features such as color, motion, texture, etc., an example of which is described in " A robust spatio-temporal video object segmentation scheme with prestored background information, " J. Pan, C. Lin, C.G., and M. Sun, Proc. IEEE Int. Symp. Circuits and 25 Systems, pp. 803-806, May 2002, or use various pixel statistics models, such as " background subtraction techniques ", A. Mclvor, Proceedings of Image & Vision Computing New Zealand 2000 (IVCNZO0). Both methods are very computationally intensive, which very much limits the application of such algorithms in the real-time monitoring area. 30

Bekannt sind andererseits neuromorphe/bioinspirierte Sensoren wie Transienten-Sensor oder Silicon-Retina als potentielle Grundlage für weitere Entwicklungen, die intrinsische Eigenschaften wie Adaption und Kontrastsensitivität (Invarianz gegenüber Lichtverhältnissen) bieten. Ein Transienten-Bildsensor, wie beispielsweise in den folgenden Publikationen von T. Delbrück and 35 C. A. Mead: "Analog VLSI phototransduction by continuous-time, adaptive, logarithmic photore-ceptor circuits, in Vision Chips: Implementing Vision algorithms with analog VLSI circuits", C. Koch and H. Li editors, IEEE Computer Society Press, pp. 139-161,1995; T. Delbrück and C. A. Mead: "Time-derivative adaptive Silicon photoreceptor array", Infrared Sensors: Detectors, Electronics, and Signal Processing, 1541: 92-99, Jay Jayadev, T.S. (Eds.), 1991 und J. Kramer: 40 "An integrated optical transient sensor", IEEE Transactions on Circuits and Systems II, Analog and Digital Signal Processing, 49:(9) 612-628, Sep, 2002, beschrieben, reagiert nur auf die Änderung des Intensitätswerts eines Pixels, und sendet diese Information asynchron über das so genannten Adress-Event-Protokoll, erläutert etwa in "VLSI Analogs of Neuronal Visual Processing: A Synthesis of Form and Function", Misha Mahowald, Ph.D. Thesis, Computation and 45 Neural Systems, California Institute of Technology, 1992. Dadurch werden nur bewegte Kanten im Bildfeld sichtbar und somit erfolgt automatisch eine dynamische Unterdrückung/Ausblendung des unbewegten Hintergrunds.On the other hand, neuromorphic / bioinspired sensors such as transient sensor or silicone retina are known as a potential basis for further developments which offer intrinsic properties such as adaptation and contrast sensitivity (invariance to light conditions). A transient image sensor, such as in the following publications by T. Delbrück and 35 CA Mead: " Analog VLSI phototransduction by continuous-time, adaptive, logarithmic photoreceptor circuits, in Vision Chips: implementing vision algorithms with analog VLSI circuits " , C. Koch and H. Li editors, IEEE Computer Society Press, p. 139-161.1995; T. Delbrück and C. A. Mead: "Time-Derivative Adaptive Silicon Photoreceptor Array", Infrared Sensors: Detectors, Electronics, and Signal Processing, 1541: 92-99, Jay Jayadev, T.S. (Eds.), 1991 and J. Kramer: 40 "An integrated optical transient sensor", IEEE Transactions on Circuits and Systems II, Analog and Digital Signal Processing, 49: (9) 612-628, Sep, 2002, responds only to the change in the intensity value of a pixel and sends this information asynchronously via the so-called address-event protocol, as explained in " VLSI Analogs of Neuronal Visual Processing: A Synthesis of Form and Function ", Misha Mahowald, Ph. D. Thesis, Computation and 45 Neural Systems, California Institute of Technology, 1992. As a result, only moving edges in the image field are visible and thus automatically a dynamic suppression / suppression of the stationary background.

Allerdings bringt das auch wesentliche Nachteile mit sich, da die bewegten Objekte durch ihre so Umrisse/Kanten dargestellt werden, d.h. Objekte aus dem Nahblickfeld des Sensors zerfallen in viele nicht zusammenhängende Konturen, was das Clustering/Gruppieren erheblich erschwert. Überdies ist der Transienten-Sensor nicht in der Lage Objekte zu erkennen die plötzlich zum Stillstand kommen. Besonders in dem Zusammenhang mit Tracking/Verfolgung entpuppt sich das als ein wichtiges Problem (verschwinden von Personen, Fahrzeugen, usw...). 55 3 AT 502 193 B1However, this also brings with it significant disadvantages, since the moving objects are represented by their outlines / edges, i. Objects from the near field of view of the sensor disintegrate into many non-contiguous contours, which makes clustering / grouping much more difficult. Moreover, the transient sensor is unable to detect objects that suddenly come to a standstill. Especially in the context of tracking / tracking turns out to be an important problem (disappearance of people, vehicles, etc ...). 55 3 AT 502 193 B1

In der Arbeit von Mallik U., Clapp M., Choi E., Cauwenberghs G., Etienne-Cummings R. „Temporal change threshold detection imager”, Solid-State Circuits Conference, 6-10. February 2005, ISBN 0-7803-8904-2 ist eine Schaltung beschrieben, bei welcher das Senden der Daten und die gesamte Signalverarbeitung voll synchron erfolgen. Alte aktive Pixel in eine Zeile teilen 5 gleiche Parameter und die Verarbeitung erfolgt spaltenweise (Zitat: „All computations are per-formed foilowing a column parallel architecture.“). Bei dem geoffenbarten Sensor handelt es sich lediglich um einen Transienten-Sensor, d.h. einen Sensor mit der Fähigkeit zur Detektion von Bewegungen, wobei die bewegten Objekte durch ihre Umrisse dargestellt werden, jedoch keinerlei Information über die Pixelintensität (Zitat: "Unlike previous change-coding imagers, the io present imager uses detected change events to gate transmission of APS readout, leading to efficient change coding as well as compression."). Damit lassen sich keinerlei Pixel extrahieren, die zu einem sich bewegenden Vordergrund gehören, und vorübergehend zum Stillstand kommende Objekte können nicht detektiert werden. Auf dem Chip werden - intern - zwei hintereinander folgende Frames gespeichert und miteinander verglichen. 15In the work of Mallik U., Clapp M., Choi E., Cauwenberghs G., Etienne-Cummings R. "Temporal change threshold detection imager", Solid-State Circuits Conference, 6-10. February 2005, ISBN 0-7803-8904-2 a circuit is described, in which the transmission of the data and the entire signal processing are fully synchronous. Old active pixels in a row divide 5 equal parameters and the processing takes place column by column (quote: "All computations are per-formed foilowing a column parallel architecture."). The disclosed sensor is merely a transient sensor, i. a sensor with the ability to detect movements, the moving objects are represented by their outlines, but no information about the pixel intensity (quote: "Unlike previous change-coding imagers, the io present imager uses detected change events to gate transmission of APS readout, leading to efficient change coding as well as compression. Thus, no pixels belonging to a moving foreground can be extracted, and temporarily-stopped objects can not be detected. Internally, two successive frames are stored on the chip and compared with each other. 15

Einen Active-Pixel-Imager Sensor beschreibt die EP 0 719 048 A2, welcher Sensor in zwei Modi betrieben wird: Differential-Modus und Video-Modus. Dieser Sensor wird nicht zur Detektion bewegter Objekte verwendet, sondern es wird die Information über vorhandene Bewegung im Bild nur als Signal zum Umschalten auf einen normalen Video-Modus verwendet, d.h. der Sen-20 sor arbeitet im Differential-Modus als einfacher Bewegungsmelder. Im Video-Modus wird das gesamte Bild frameweise ausgelesen, was die Übertragung einer sehr großen Datenmenge bedeutet.An active pixel imager sensor is described in EP 0 719 048 A2, which sensor is operated in two modes: differential mode and video mode. This sensor is not used for the detection of moving objects, but the information about existing motion in the picture is used only as a signal for switching to a normal video mode, i. the Sen-20 sor works in differential mode as a simple motion detector. In video mode, the entire image is read out frame by frame, which means the transmission of a very large amount of data.

Die US 6 023 235 A schließlich beschreibt ein Inverse Synthetic Aperture Radar, welches be-25 reits vom grundsätzlichen Prinzip her komplett unterschiedlich zu einem Pixel-Sensor ist. Die im amerikanischen Patent vorgeschlagene Methode wird verwendet zur Detektion bewegter Objekte im Mikrowellen-Bereich, und ist für den Einsatz im optischen Bereich nicht geeignet. Auch ist sie nicht in der Lage Objekte zu erkennen, die vorübergehend oder kurzzeitig zum Stillstand kommen. 30Finally, US Pat. No. 6,023,235 A describes an Inverse Synthetic Aperture Radar which, in principle, is completely different from a pixel sensor in principle. The method proposed in the American patent is used for the detection of moving objects in the microwave range, and is not suitable for use in the optical field. Nor is she able to detect objects that temporarily or temporarily come to a standstill. 30

Die Aufgabe der vorliegenden Erfindung war daher ein Verfahren sowie eine Vorrichtung anzugeben, die bei wesentlicher Datenmengenreduktion durch Hintergrundadaption auch die Fähigkeit aufweist, bewegte Objekte, und vor allem auch Objekte die im Blickfeld der Kamera vorübergehend zum Stillstand kommen, als solche zu erkennen. 35The object of the present invention was therefore to specify a method and a device which, with substantial data volume reduction by background adaptation, also has the ability to detect moving objects, and above all objects which temporarily come to a standstill in the field of view of the camera, as such. 35

Zur Lösung dieser Aufgabe ist das eingangs beschriebene Verfahren dadurch gekennzeichnet, daß durch das Ausgangssignal bei Detektion einer Intensitätsänderung an einem aktiven Pixel die kontinuierliche Aussendung von zusätzlichen Ausgangssignalen gleicher Polarität eingeleitet wird. Die Interpretation der Bilddaten und eine genaue Untersuchung der detektierten Bildob-40 jekte erfolgt anschließend in der nachgeschalteten Erkennungsstufe und sind nicht Gegenstand dieser Erfindung. Die Aussendung von Ausgangssignalen wird somit von der Vorderkante des Objektes gestartet und solange fortgesetzt, bis die nachlaufende Hinterkante des Objektes auftaucht. Auf diese Weise wird der Innenraum zwischen Objektkonturen in dem Transient-Sensor-Bildfeld befüllt und das Objekt flächenhaft dargestellt. 45To solve this problem, the method described above is characterized in that the continuous emission of additional output signals of the same polarity is initiated by the output signal upon detection of a change in intensity at an active pixel. The interpretation of the image data and a detailed examination of the detected Bildob-40 jects then takes place in the downstream detection stage and are not the subject of this invention. The emission of output signals is thus started from the front edge of the object and continued until the trailing trailing edge of the object emerges. In this way, the interior is filled between object contours in the transient sensor image field and the object is displayed areally. 45

Vorzugsweise werden die zusätzlichen Ausgangssignale mit fester, vorzugsweise einstellbarer Taktrate gesendet.Preferably, the additional output signals are sent at a fixed, preferably adjustable clock rate.

Wenn gemäß einer vorteilhaften Ausführungsform der Erfindung die Aussendung der zusätzli-50 chen Ausgangssignale durch das Ausgangssignal entgegengesetzter Polarität am gleichen Pixel wieder beendet wird, werden somit Adress-Events, vorzugsweise in einer festen (einstellbaren) Taktrate, geliefert, bis ein gegenpoliges Addres-Event am Eingang auftaucht und die Schaltung zurücksetzt. Das erfindungsgemäße Pixel wird derart polaritätssensitiv betrieben und reagiert auf die Polaritätsänderung. 55 4 AT 502 193 B1If, according to an advantageous embodiment of the invention, the transmission of the additional 50 chen output signals is terminated by the opposite polarity output signal at the same pixel, thus address events, preferably at a fixed (adjustable) clock rate, delivered until a gegenpoliges Addres event appears at the entrance and resets the circuit. The pixel according to the invention is operated in a polarity-sensitive manner and reacts to the polarity change. 55 4 AT 502 193 B1

Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung ist vorgesehen, daß die Aussendung der zusätzlichen Ausgangssignale nach Ablauf einer einstellbaren Zeitspanne automatisch beendet wird. Damit ist ein zusätzlicher interner Reset-Mechanismus gegeben, der das Zurücksetzen übernimmt, wenn über eine bestimmte Zeit (hängt vor allem von der charak-5 teristischen Zeitskala der Bewegungen in der Szene) keine Aktivität (Events) am Eingang und Ausgang vorhanden ist.According to a further advantageous embodiment of the invention, it is provided that the transmission of the additional output signals is automatically terminated after an adjustable period of time. This gives an additional internal reset mechanism, which takes over the reset if there is no activity (events) at the input and output for a certain amount of time (depends mainly on the charactistic time scale of the movements in the scene).

Vorzugsweise wird auf die Gesamtheit aller Pixel die morphologische Öffnung angewendet und werden verbleibende einzelne nichtzusammenhängende Pixel weggefiltert. Dadurch werden die io großen Strukturen der Bildmenge von innen abgerundet und kleine Strukturen beseitigt.Preferably, the morphological aperture is applied to the entirety of all pixels, and remaining single non-contiguous pixels are filtered away. As a result, the io large structures of the image set are rounded off from the inside and small structures are eliminated.

Ein aktives Pixel ist zur Lösung der eingangs gestellten Aufgabe erfindungsgemäß dadurch gekennzeichnet, daß der Schaltkreis eine bistabile Schaltung enthält, welche durch ein Ausgangssignal mit vorgebbarer Polarität des Transienten-Sensors aktiviert wird und dann kontinu-15 ierlich Ausgangssignale sendet. Das erfindungsgemäße Pixel wird somit von der Vorderkante des Objektes aktiviert und bleibt so lange aktiv, bis die nachlaufende Hinterkante des Objektes auftaucht, um derart den Innenraum zwischen Objektkonturen zu befüllen und das Objekt flächenhaft darzustellen. 20 Vorteilhafterweise ist vorgesehen, daß die bistabile Schaltung in aktivem Zustand Ausgangssignale mit fester, vorzugsweise einstellbarer, Taktrate sendet.An active pixel is to solve the object set according to the invention, characterized in that the circuit includes a bistable circuit which is activated by an output signal with a predeterminable polarity of the transient sensor and then continuously sends 15 output signals. The pixel according to the invention is thus activated by the front edge of the object and remains active until the trailing trailing edge of the object emerges, so as to fill the interior space between object contours and represent the object areally. Advantageously, it is provided that the bistable circuit in the active state sends output signals having a fixed, preferably adjustable, clock rate.

Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, daß die bistabile Schaltung durch ein Ausgangssignal mit entgegengesetzter Polarität des Transienten-Sensors 25 wieder deaktivierbar ist. Das erfindungsgemäße Pixel ist also polaritätssensitiv und reagiert auf die Polaritätsänderung.According to an advantageous embodiment of the invention, it is provided that the bistable circuit can be deactivated again by an output signal of opposite polarity of the transient sensor 25. The pixel according to the invention is thus polarity-sensitive and reacts to the polarity change.

Vorzugsweise ist vorgesehen, daß die bistabile Schaltung einen Reset-Kreis enthält, der die Aussendung der zusätzlichen Ausgangssignale nach einer einstellbaren Zeitspanne automa-30 tisch beendet. Damit ist ein zusätzlicher interner Reset-Mechanismus gegeben, der das Zurücksetzen übernimmt, wenn über eine bestimmte, hauptsächlich von der charakteristischen Zeitskala der Bewegungen in der Szene abhängige, Zeit keine Aktivität am Eingang und Ausgang vorhanden ist. 35 Ein Matrix-Sensor (mit Zeilen- und Spaltenweiser Anordnung der Pixel) ist zur Lösung der erfindungsgemäßen Aufgabe gekennzeichnet durch aktive Pixel, die gemäß einem der vorhergehenden Absätze aufgebaut sind.It is preferably provided that the bistable circuit contains a reset circuit which automatically terminates the transmission of the additional output signals after a settable period of time. This provides an additional internal reset mechanism that will perform the reset when there is no activity at the input and output over a certain time dependent primarily on the characteristic time scale of the movements in the scene. A matrix sensor (with row and column arrangement of the pixels) is for solving the object according to the invention characterized by active pixels, which are constructed according to one of the preceding paragraphs.

In der nachfolgenden Beschreibung soll die Erfindung anhand eines bevorzugten Beispiels und 40 unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert werden.In the following description of the invention with reference to a preferred example and 40 will be explained in more detail with reference to the accompanying drawings.

Dabei zeigt die Fig. 1 das Konzept der Bildverarbeitung in Form eines Ablaufdiagramms, Fig. 2 ist eine Darstellung der prinzipiellen Funktionsweise der Erfindung, Fig. 3 zeigt die Wirkungsweise des erfindungsgemäßen Verfahrens und der Vorrichtung für bewegte und unbewegte 45 Objekte am Beispiel der Verarbeitung von Bildinformation, und Fig. 4 ist eine Darstellung der Funktion des erfindungsgemäßen aktiven Pixels in Form einer Finite-State-Machine.1 shows the concept of image processing in the form of a flowchart, FIG. 2 is a representation of the basic mode of operation of the invention, FIG. 3 shows the mode of operation of the method according to the invention and the device for moving and still 45 objects using the example of FIG Fig. 4 is an illustration of the function of the active pixel according to the invention in the form of a finite-state machine.

Die Erfindung stellt das Konzept eines so genannten „hintergrundadaptiven“ Pixels mit Adress-Event-Interface dar, welches bereits eine entsprechende Nachverarbeitung der von einem so Transienten-Sensor kommenden Address-Events beinhaltet. Das Konzept setzt sich aus drei in der Fig. 1 dargestellten Verarbeitungsstufen dar. Die grundlegende Idee dabei ist die Annahme dass jedes bewegte Objekt im Bildfeld 1 des Transienten-Sensors 2 eine Kontur erzeugt die sich aus zwei Kanten zusammensetzt (eine Vorder- und einer Hinterkante) mit entgegengesetzter Polarität (eine positive Intensitätswertänderung am Pixel wird von einer negativen gefolgt 55 und umgekehrt). Der Transienten-Sensor reagiert auf die Änderungen des Intensitätswertes,The invention represents the concept of a so-called "background-adaptive" pixel with an address-event interface, which already includes a corresponding post-processing of the address events coming from such a transient sensor. The concept consists of three processing stages shown in FIG. 1. The basic idea here is the assumption that every moving object in the image field 1 of the transient sensor 2 generates a contour which is composed of two edges (a leading edge and a trailing edge ) with opposite polarity (a positive intensity value change at the pixel is followed by a negative 55 and vice versa). The transient sensor responds to the changes in the intensity value,

5 AT 502 193 B1 d.h. es werden nur die Kanten des Objektes im Bildfeld sichtbar, so daß sich eine Darstellung 3 ergibt. Das Signal des Transienten-Sensors wird in der zweiten Verarbeitungsstufe, die ebenfalls noch im aktiven Pixel selbst erfolgt, durch ein sogenanntes Flip-Flop-Neuron (FFN) 4 verarbeitet. 55 AT 502 193 B1 i. only the edges of the object in the image field become visible, so that a representation 3 results. The signal of the transient sensor is processed by a so-called flip-flop neuron (FFN) 4 in the second processing stage, which also takes place in the active pixel itself. 5

Das Flip-Flop-Neuron 4 besteht aus einer bistabilen Schaltung, die von einem am Eingang eintreffendem Adress-Event zum laufenden Aussenden von Adress-Events angeregt wird. Diese Einheit 4 liefert Adress-Events, in einer festen (einstellbaren) Taktrate, bis ein gegenpoli-ges Adress-Event am Eingang auftaucht und die Schaltung zurücksetzt, d.h. die FFN-Einheit ist io Polaritätssensitiv und reagiert auf die Polaritätsänderung. Dadurch wird der Innenraum zwischen den Objektkonturen befüllt. In der dritten Verarbeitungsstufe 5 schließlich, die entweder ebenfalls am aktiven Pixel vorgesehen oder aber in einer nachgeordneten digitalen Schaltung realisiert sein kann, wird das Ausgangssignal durch Anwendung der morphologischen Öffnung ausgebessert, so daß sich schließlich die Darstellung des Objektes wie in Bildfeld 6 ergibt. 15The flip-flop neuron 4 consists of a bistable circuit, which is excited by an incoming at the input address event for the current transmission of address events. This unit 4 provides address events, at a fixed (adjustable) clock rate, until a reverse address event appears at the input and resets the circuit, i. the FFN unit is polarity sensitive and responds to the polarity change. As a result, the interior is filled between the object contours. Finally, in the third processing stage 5, which may also be provided either at the active pixel or implemented in a downstream digital circuit, the output signal is corrected by using the morphological opening so that finally the representation of the object results as in image field 6. 15

Durch die Erweiterung des aktiven Pixels um ein sogenanntes Flip-Flop-Neuron, also einer Einheit mit Polaritätsgedächtnis-Effekt, die von der Vorderkante des Objektes aktiviert wird, und so lange aktiv bleibt bis die nachlaufende Hinterkante des Objektes auftaucht, ergeben sich die nachfolgend unter Bezugnahme auf die Fig. 2 erläuterten Effekte und Vorteile. DerTransienten-20 Sensor 2 reagiert wie im obersten Diagramm (a) dargestellt auf die Änderungen des Intensitätswerts am Pixel und generiert einen Address-Events-Datenstrom. Eine positive Flanke erzeugt - wie im mittleren Diagramm (b) erläutert ist - ON-events (positive Ausgangssignale) A und die negative Flanke erzeugt OFF-Events (negative Ausgangssignale) B. Dieses Address-Event-Signal A, B wird von der FFN-Einheit 4 verarbeitet. Die FFN-Einheit 4 wird durch das 25 erste eintreffende Event A aktiviert und wird erst durch das nachkommende gegenpolige Event B wieder zurückgesetzt, was im untersten Diagramm (c) der Fig. 2 dargestellt ist. Zwischen diesen Events A und B sendet die FFN-Einheit 4 Adress-Events C aus.By extending the active pixel to a so-called flip-flop neuron, so a unit with polarity memory effect, which is activated by the leading edge of the object, and so long remains active until the trailing trailing edge of the object emerges, the following are under Referring to Fig. 2 explained effects and advantages. The Transient-20 Sensor 2 responds to changes in the intensity value at the pixel as shown in the top diagram (a) and generates an address-event data stream. A positive edge, as explained in the middle diagram (b), generates ON events (positive output signals) A and the negative edge generates OFF events (negative output signals) B. This address event signal A, B is received from the FFN Unit 4 processed. The FFN unit 4 is activated by the 25 first incoming event A and is only reset by the subsequent counter-pole event B, which is shown in the lowest diagram (c) of FIG. Between these events A and B, the FFN unit 4 sends out address events C.

Zusätzlich kann durch einen internen Reset-Mechanismus gewährleistet sein, dass die FFN-30 Einheit 4 zurückgesetzt wird, wenn über eine bestimmte Zeit (hängt vor allem von der charakteristischen Zeitskala der Bewegungen in der Szene) keine Aktivität (Events) am Eingang und Ausgang vorhanden ist. Auf diese Weise wird der Innenraum zwischen Objektkonturen in dem Transient-Sensor-Bildfeld befüllt und man bekommt „spikende“ Flächen, wie sie auf der linken Seite in Fig. 3 dargestellt sind. Hier ist eine Momentanaufnahme eines sich bewegenden Ob-35 jekts dargestellt, wobei aus der Videoszene (obere Bilder) mittels Simulation eines Transienten-Sensors 1 AE-Daten berechnet wurden (schwarz-weiße Punkte in den mittleren Bildern) und anschließend das Bildfeld am Ausgang des hintergrundadaptiven Sensor (weiße Punkte in den unteren Bildern). 40 Der zweite entscheidende Vorteil des erfindungsgemäßen Verfahrens ist, dass dadurch auch stehendbleibende Objekte im Bildfeld sichtbar bleiben, wie in Fig. 3 auf der rechten Seite zu erkennen ist. Hier ist eine Momentanaufnahme zu dem Zeitpunkt dargestellt, wenn das Objekt stehen bleibt. 45 In der dritten und letzten Verarbeitungsstufe, werden verbleibende aktive Pixel (d.h. Pixel die zu keinem Objekt gehören, entstanden durch Rauschen oder fehlende gegenpolige Events, durch die Anwendung der morphologischen Öffnung mit entsprechender Maske (Filter-Kerne = kemel) weggefiltert. so Da das Flip-Flop-Neuron 4 einen Gedächtnis-Effekt aufweist, lässt sich die Funktionsweise auch in einem Zustandsdiagramm (siehe Fig. 4) darstellen. Die Kantenbeschriftung (IN/OUT) bezieht sich jeweils auf eine Änderung des Einganges (IN), die einen Zustandübergang auslöst und den zusätzlich am Ausgang ausgegebenen Wert (OUT). Der interne Reset-Mechanismus wird durch die Einführung der Zähl-Variablen (ent) berücksichtigt. 55In addition, an internal reset mechanism can ensure that the FFN-30 unit 4 is reset when there is no activity (events) at the input and output for a certain amount of time (depends mainly on the characteristic time scale of the movements in the scene) is. In this way, the interior is filled between object contours in the transient sensor image field and one gets "spikende" surfaces, as shown on the left side in Fig. 3. Here, a momentary image of a moving object is shown, wherein from the video scene (upper images) by simulation of a transient sensor 1 AE data were calculated (black and white dots in the middle images) and then the image field at the output of the background adaptive sensor (white dots in the pictures below). 40 The second decisive advantage of the method according to the invention is that even standing objects remain visible in the image field, as can be seen in FIG. 3 on the right side. Here is a snapshot displayed at the time when the object stops. 45 In the third and final processing stage, remaining active pixels (ie non-object pixels resulting from noise or missing antipole events are filtered out by the use of the morphological aperture with appropriate mask (filter cores = kemel) Flip-flop neuron 4 has a memory effect, the operation can also be represented in a state diagram (see Fig. 4) The edge label (IN / OUT) refers to a change of the input (IN), which is a state transition The internal reset mechanism is taken into account by the introduction of the counting variable (ent) 55

Claims

6 AT 502 193 B1 The concept presented can basically serve as a preliminary stage for all higher-level image processing operations such as clustering, object classification or tracking. First and foremost because of the high time resolution of the sensor, given by data volume reduction and asynchronous information transfer, this concept is particularly suitable for time-critical 5 applications. Further possible areas of application are traffic monitoring (detection of dangerous situations caused by suddenly stopping vehicles) or in safety monitoring (eg detection of left objects). 1. A method for detecting moving objects with dynamic background suppression, comprising generating an output signal of predetermined polarity upon detection of an intensity change at an active pixel and generating an output signal of opposite polarity upon detection of an opposite intensity change at the same pixel characterized in that the output signal upon detection of an intensity change at an active pixel, the continuous transmission of additional output signals of the same polarity is initiated.

2. The method according to claim 1, characterized in that the additional Ausgangssig signals are sent with a fixed, preferably adjustable clock rate.

3. The method according to claim 1 or 2, characterized in that the transmission of the additional output signals by the output signal of opposite polarity on the same pixel 25 is terminated again.

4. The method according to any one of claims 1, 2 or 3, characterized in that the emission of the additional output signals is automatically terminated after an adjustable period of time. 30

A method according to any one of the preceding claims, characterized in that the morphological aperture is applied to the totality of all the pixels and remaining individual non-contiguous pixels are filtered away.

6. Active pixel for optical sensors, comprising a transient sensor and an analogue circuit for signal preprocessing and for asynchronous transmission via preferably the address event protocol, characterized in that the circuit contains a bistable circuit (4), which by a Output signal (A) with specifiable polarity of the transient sensor (1) is activated and then continuously sends output signals 40 (C).

7. Active pixel according to claim 6, characterized in that the bistable circuit (4) in the active state, output signals (C) with fixed, preferably adjustable, clock rate sends. 45

8. Active pixel according to claim 6 or 7, characterized in that the bistable circuit (4) by an output signal (B) with opposite polarity of the transient sensor (1) is again deactivated. Active pixel according to Claim 6, 7 or 8, characterized in that the bistable circuit (4) contains a reset circuit which automatically terminates the transmission of the additional output signals (C) after an adjustable period of time (Figure 4).

10. A dynamic background suppression matrix sensor comprising a number of active pixels arranged in a plurality of 55 lines and evaluation electronics, characterized in that the active pixels are constructed according to one of claims 6 to 9. For this purpose 2 sheets of drawings