DE19749136C2

DE19749136C2 - Method and device for detecting movements

Info

Publication number: DE19749136C2
Application number: DE1997149136
Authority: DE
Inventors: Uwe Beis; Thomas Geutebrueck
Original assignee: GEUTEBRUECK GmbH
Current assignee: GEUTEBRUECK GmbH
Priority date: 1997-11-06
Filing date: 1997-11-06
Publication date: 2000-01-27
Anticipated expiration: 2017-11-07
Also published as: DE19749136A1; EP1072028A1; CN1278939A; WO1999024949A1

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vor richtung zum automatischen Erfassen von Bewegungen in einer Szene wie etwa dem Blickfeld einer Videokamera. Zur Gebäude- und Geländesicherung werden häufig elektronische Sicherheitsanlagen eingesetzt. Fernsehanlagen dienen in diesem Zusammenhang dazu, dem ggf. vorhandenen Wachpersonal einen optischen Überblick über das Geschehen vor Ort zu verschaffen. Da aber ständiges Beobach ten von Videomonitoren nicht zumutbar ist, werden in der Regel Bewegungsmelder eingesetzt, die dem Wachpersonal ein Ereignis bzw. eine Bewegung vor Ort signalisieren. Häufig werden hierzu Video-Bewegungsmelder eingesetzt, die Bewegungen vor Ort auf elektronischem Wege durch geeignete Auswertungen des von der Kamera gelieferten Videosignals erkennen. Ein solches Verfahren ist z. B. in DE 32 14 254 A beschrieben.The present invention relates to a method and a pre Direction for automatic detection of movements in a scene like the field of view of a video camera. For building and Ground security is often electronic security systems used. In this context, television systems serve any security guards who may have an optical overview of to procure the action on site. But there is constant observation of video monitors is usually not reasonable Motion detectors used to give the security guard an event or signal a movement on site. Frequently, this will Video motion detectors used, the movements on site electronically through suitable evaluations of the Detect video signal supplied by the camera. Such a process is z. B. described in DE 32 14 254 A.

Die bekannten Verfahren und Vorrichtungen zum Erfassen von Bewe gungen werten lediglich die Helligkeitsinformation einer Szene aus. Dabei ergibt sich das Problem, daß es insbesondere bei Außenüberwachungen viele Änderungen in der überwachten Szene gibt, die nicht durch zu erkennende Objekte wie etwa Personen oder Fahrzeuge, sondern durch Beleuchtungsschwankungen aller Art verursacht werden. Ursachen solcher Beleuchtungsschwankungen können z. B. Wolken sein, die die Sonne verdecken, aber auch Schatten durch Wind bewegter Bäume, das An- und Ausgehen von vorübergehender Beleuchtung, z. B. durch die Scheinwerfer von an einer in Dämmerlicht beobachteten Szene vorbeifahrenden Fahr zeugen, etc. Solche Beleuchtungsänderungen, die nicht die gesamte beobachtete Szene gleichmäßig erfassen, sind auf elektronischem Wege schwer von sich bewegenden Personen oder Fahrzeugen zu unterscheiden. Bei den meisten bekannten Bewegungserfassungs verfahren und -vorrichtungen werden die Unterschiede zwischen den zu erkennenden und den zu ignorierenden Szenenänderungen so gut wie möglich herausgearbeitet, z. B. durch automatische Mu stererkennung, damit die Unterscheidung so sicher wie möglich erfolgen kann. Bei diesen Verfahren muß stets die Information von einer sehr großen Zahl von Bildpunkten gemeinsam verarbeitet werden, um ein zu suchendes Muster halbwegs sicher zu erkennen. Hierfür ist ein erheblicher Rechenaufwand erforderlich, der mit der Zahl der gemeinsam zu überwachenden Punkte überproportional ansteigt. Dennoch können leicht Fehler bei der Erkennung auf treten, z. B. wenn das zu erkennende Muster in der Szene teilweise verdeckt ist.The known methods and devices for detecting motion only assess the brightness information of a scene out. The problem arises that it is particularly in Outside surveillance many changes in the monitored scene that are not recognizable by objects such as people or vehicles, but due to lighting fluctuations of all kinds caused. Causes of such lighting fluctuations can e.g. B. Clouds that cover the sun, but also Shadows of trees moved by the wind, the on and off of temporary lighting, e.g. B. by the headlights from a driving past in dim light witness, etc. Such lighting changes that are not the entire Capture observed scene evenly are on electronic Difficult to get away from moving people or vehicles differentiate. With most known motion detection Processes and devices will show the differences between the recognizable and ignored scene changes so well worked out as possible, e.g. B. by automatic Mu recognition so that the distinction is as safe as possible can be done. In these procedures, the information from a very large number of pixels processed together in order to be able to recognize a pattern to be searched for reasonably reliably. This requires a considerable amount of computation, with disproportionate to the number of points to be monitored together increases. Nevertheless, errors can easily be detected kick, e.g. B. if the pattern to be recognized partially in the scene is covered.

Aufgabe der vorliegenden Erfindung ist, ein Verfahren und eine Vorrichtung zum Erfassen von Bewegungen anzugeben, die bereits anhand einzelner Bildpunkte eine erheblich zuverlässigere Beur teilung des Vorliegens einer Bewegung gestatten als die herkömm lichen Verfahren und Vorrichtungen.The object of the present invention is a method and a Device for detecting movements that already specify a considerably more reliable assessment based on individual pixels Allow division of the existence of a movement than the conventional one process and devices.

Diese Aufgabe wird gelöst durch ein Verfahren und eine Vorrich tung gemäß den unabhängigen Ansprüchen.This problem is solved by a method and a device tion according to the independent claims.

Der Erfindung liegt die Idee zugrunde, zum Erfassen von Bewegun gen Farbeigenschaften oder einen Farbwert eines Punktes durch Messen von dessen Helligkeit in wenigstens zwei verschiedenen Spektralbereichen zu messen und die gemessenen Helligkeitswerte als einen Vektor aufzufassen. Wenn sich nur die Beleuchtung des Punktes verändert, so verändern sich die verschiedenen Hellig keitswerte jeweils proportional, d. h. der dem Punkt zugeordnete Vektor verändert seine Länge. Ändert sich aber der Farbton des betreffenden Punktes, so führt dies zu einer Drehung des Vektors. Der durch die Drehung bedingte Abstand der Vektoren wird ermittelt, und wenn er einen vorgegebenen Grenzwert überschrei tet, wird entschieden, daß eine Bewegung vorliegt.The invention is based on the idea of detecting movement color properties or a color value of a point Measuring its brightness in at least two different ones To measure spectral ranges and the measured brightness values to be understood as a vector. If only the lighting of the Point changes, so the different brightnesses change in each case proportional, d. H. the one assigned to the point Vector changes its length. But changes the color of the concerned point, this leads to a rotation of the vector. The distance of the vectors caused by the rotation becomes determined, and if it exceeds a predetermined limit tet, it is decided that there is a movement.

Der Abstand kann auf unterschiedliche Weise gemessen werden, z. B. als Winkelabstand, als kartesischer Abstand oder nach einer beliebigen anderen geeigneten Metrik.The distance can be measured in different ways, e.g. B. as an angular distance, as a Cartesian distance or after one any other suitable metric.

Die Dimension n' des Vektorraumes, in dem die Vektoren bestimmt werden, kann der Zahl n der bestimmten Helligkeitswerte entspre chen, sie kann auch um eins kleiner sein. The dimension n 'of the vector space in which the vectors are determined can correspond to the number n of the determined brightness values Chen, it can also be one smaller.

In letzterem Fall ist es bevorzugt, die Vektoren im n'-di mensionalen Vektorraum durch Lineartransformieren der jeweils n Helligkeitswerte mit einer Transformationsmatrix zu bestimmen, die in jeder Zeile Koeffizienten mit positivem und negativem Vorzeichen enthält. Die so erhaltenen Vektorkomponenten ändern sich bei einer reinen Helligkeitsänderung relativ wenig, bei einer Farbänderung dafür aber stark.In the latter case it is preferred to use the vectors in n'-di dimensional vector space by linearly transforming the n Determine brightness values with a transformation matrix, the coefficients with positive and negative in each line Contains signs. Change the vector components thus obtained relatively little with a pure change in brightness, at but a strong change in color.

Die Summe der Koeffizienten einer Matrixzeile ist vorzugsweise 0, in diesem Fall sind die erhaltenen Vektorkomponenten völlig unempfindlich gegen Änderungen der Helligkeit eines unbunten Punktes der überwachten Szene. Alternativ ist es zweckmäßig, einen in der beobachteten Szene vorherrschenden Farbton zu wählen und die Koeffizienten so zu wählen, daß die Lineartransformation dieses Farbtons 0 ergibt. Dadurch lassen sich Szenen mit einer ausgeprägten Farbe oder unter farbiger Beleuchtung zuverlässiger überwachen.The sum of the coefficients of a matrix line is preferably 0, in this case the vector components obtained are complete insensitive to changes in the brightness of a achromatic Point of the monitored scene. Alternatively, it is advisable choose a hue predominant in the observed scene and to choose the coefficients so that the linear transformation this hue results in 0. This allows scenes with a distinctive color or more reliable under colored lighting monitor.

Es ist erfindungsgemäß besonders bevorzugt, die Helligkeitswerte denjenigen Spektralbereichen zu bestimmen, mit denen auch herkömmliche Videokameras arbeiten. Diese Spektralbereiche können die drei normierten Spektralbereiche R, G, B eines Farbvideosignals sein, es können die von den CCD's einfacher Farbvideokameras beobachteten Farben Cyan, Magenta, Gelb und Grün sein, sie können jedoch auch abweichend davon gewählt werden, z. B. wenn die Art der Beleuchtung oder die Färbung der zu überwachenden Szene dies angezeigt erscheinen läßt. Zusätzlich oder anstelle eines der genannten Spektralbereiche können auch außerhalb des sichtbaren, im Infrarotem oder Ultravioletten liegenden Spektralbereiche überwacht werden.According to the invention, the brightness values are particularly preferred to determine those spectral ranges with which conventional video cameras work. These spectral ranges can the three normalized spectral ranges R, G, B one Color video signal, it can be easier from the CCD's Color video cameras observed colors of cyan, magenta, yellow and green , but they can also be chosen differently, e.g. B. if the type of lighting or the coloring of the surveillance scene this appears displayed. In addition or instead of one of the spectral ranges mentioned, too outside the visible, in the infrared or ultraviolet lying spectral ranges are monitored.

Wenn die gemessenen Spektralbereiche die Spektralbereiche R, G, B sind, so erfolgt die Lineartransformation vorzugsweise in eines der Koordinatensysteme U, V; I, Q; oder D_B, D_R. Die Definitionen der Koordinatenachsen U, V; I, Q bzw. D_B, D_R sind aus der PAL-, NTSC- oder SECAM-Fernsehnorm bekannt. If the measured spectral ranges are the spectral ranges R, G, B, the linear transformation preferably takes place in one of the coordinate systems U, V; I, Q; or D _B , D _R. The definitions of the coordinate axes U, V; I, Q and D _B , D _R are known from the PAL, NTSC or SECAM television standard.

Wenn der einem Farbwert eines Punktes zugeordnete Vektor sehr kurz ist, z. B. weil die Helligkeitswerte des Punktes in allen beobachteten Spektralbereichen sehr klein sind, so ist die durch den Vektor definierten Geraden mit relativ großen Unsicherheiten behaftet, die dazu führen können, daß irrtümlich beim Vergleich der Richtungen zweier Vektoren eine Bewegung erkannt wird, wo keine vorliegt. Um solche Fehler zu vermeiden, ist bevorzugt, daß unter den zwei einem Bildpunkt zugeordneten Vektoren der längere als erster Vektor ausgewählt wird, da sich dessen Richtung genauer bestimmen läßt.If the vector associated with a color value of a point is very is short, e.g. B. because the brightness values of the point in all observed spectral ranges are very small, so is by the straight line defined by the vector with relatively large uncertainties afflicted, which can lead to erroneous comparisons in the directions of two vectors a movement is recognized where there is none. To avoid such errors, it is preferred that the longer of the two vectors assigned to a pixel is selected as the first vector because its direction can be determined more precisely.

Ein anderes Problem kann auftreten, wenn sehr intensiv beleuch tete Bildpunkte untersucht werden müssen. Die Richtung eines Vektors bei Änderungen der Beleuchtungsstärke bleibt dann unver ändert, wenn die erfassten Helligkeitswerte linear proportional zur Beleuchtungsstärke sind. Dies ist nicht mehr der Fall, wenn eine Sättigungsgrenze der zum Erfassen der Helligkeitswerte verwendeten Sensoren überschritten wird. Dieses Problem läßt sich umgehen, wenn in Schritt (a) m Helligkeitswerte in m ver schiedenen Spektralbereichen zu diesem Zeitpunkt aufgenommen werden; wenn einer der Helligkeitswerte oberhalb der Sättigungs grenze liegt, die Helligkeitswerte des entsprechenden Spektral bereiches verworfen werden und die Schritte (b) bis (d) an den Helligkeitswerten derjenigen n Spektralbereiche durchgeführt werden, deren Helligkeitswerte unterhalb der Sättigungsgrenzen liegen.Another problem can arise when illuminating very intensely pixels must be examined. The direction of one The vector remains unchanged when the illuminance changes changes when the detected brightness values are linearly proportional to illuminance. This is no longer the case, though a saturation limit for capturing the brightness values used sensors is exceeded. This problem can be solved bypass if in step (a) m brightness values in m ver different spectral ranges recorded at this time become; if one of the brightness values is above saturation limit is the brightness values of the corresponding spectral discarded area and steps (b) to (d) to the Brightness values of those n spectral ranges carried out whose brightness values are below the saturation limits lie.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Be zugnahme auf die beigefügten Figuren. Es zeigen:Further features and advantages of the invention result from the following description of exemplary embodiments under Be access to the attached figures. Show it:

Fig. 1 eine erfindungsgemäße Bewegungserfassungsvorrichtung, Fig. 1 is a movement detecting device according to the invention,

Fig. 2 eine Darstellung eines dreidimensionalen Farbvektorrau mes zur Veranschaulichung einer ersten Ausgestaltung des Verfahrens, Fig. 2 is a representation of a three-dimensional Farbvektorrau mes illustrating a first embodiment of the method,

Fig. 3 eine zweite Darstellung des dreidimensionalen Farbvek torraumes zur Veranschaulichung der Verarbeitung von Farbwerten über der Sättigungsgrenze, Fig. 3 shows a second view of the three-dimensional Farbvek goal area for illustrating the processing of color values above the saturation limit,

Fig. 4 ein Flußdiagramm der zweiten Ausgestaltung des Ver fahrens, Fig. 4 is a flowchart of the second embodiment of the proceedings,

Fig. 5 eine Darstellung eines zweidimensionalen Vektorraumes zur Veranschaulichung einer zweiten Ausgestaltung des Verfahrens, Fig. 5 is an illustration of a two-dimensional vector space showing a second embodiment of the method,

Fig. 6 ein Flußdiagramm der zweiten Ausgestaltung des Ver fahrens. Fig. 6 is a flowchart of the second embodiment of the method.

Fig. 1 zeigt stark schematisiert eine erfindungsgemäße Bewe gungserfassungsvorrichtung. Sie umfaßt eine auf eine Szene ge richtete Farbvideokamera 1, eine Schnittstelle 3, die die von der Kamera 1 aufgenommenen Bilder empfängt und als Folge digita lisierter RGB-Datenwerte auf einen Bus 9 eines Datenverarbei tungssystemes mit Schreiblesespeicher 5 und Recheneinheit 7 ausgibt. Die Daten jedes Bildpunktes werden im Schreiblesespei cher 5 abgelegt. Die Recheneinheit 7 empfängt ebenfalls die von der Schnittstelle ausgegebenen Daten für jeden Bildpunkt, liest aus dem Schreiblesespeicher 5 zu einem früheren Zeitpunkt darin abgespeicherte Daten desselben Bildpunktes und führt daran eine Verarbeitung aus, die in Verbindung mit Fig. 2 und 3 genauer beschrieben wird. Fig. 1 shows a highly schematic movement detection device according to the invention. It comprises a Ge on a scene taught color video camera 1, an interface 3 which receives the captured by the camera 1 images and as a result digita ized RGB data values output on a bus 9 of a data-processing system with read-write memory 5, and processing unit. 7 The data of each pixel are stored in read / write memory 5 . The arithmetic unit 7 also receives the data output by the interface for each pixel, reads from the read / write memory 5 data of the same pixel stored therein at an earlier point in time and carries out a processing which is described in more detail in connection with FIGS. 2 and 3.

Die Kamera 1 gibt für jeden Bildpunkt drei Helligkeitswerte R, G, B die (in willkürlichen Einheiten) Werte zwischen Null (Dun kelheit) und Eins (maximales Signal) annehmen können. Die Gesamtheit aller möglichen Wertetripel läßt sich veranschaulichen als ein Würfel mit Kantenlänge 1 in einem dreidimensionalen Vektorraum, wie er in Fig. 2 dargestellt ist.The camera 1 gives three brightness values R, G, B for each pixel which (in arbitrary units) can assume values between zero (darkness) and one (maximum signal). The entirety of all possible triples of values can be illustrated as a cube with edge length 1 in a three-dimensional vector space, as shown in FIG. 2.

Der Vektor A₁ bezeichnet das von der Kamera für einen Bildpunkt zu einem ersten Zeitpunkt ausgegebene Wertetripel. Verändert sich die Beleuchtungsstärke an dem betrachteten Punkt um einen gegebenen Faktor, so ändern sich alle drei Helligkeitswerte um den gleichen Faktor. So kann z. B. bei einer Verstärkung der Beleuchtung der Vektor A₁ in den Vektor A₂ übergehen. Findet an dem betreffenden Punkt des Bildes eine Bewegung statt, so äußert sich dies zumeist durch eine Änderung des Farbtons des Punktes. Es wird dann eine neuer Vektor B erhalten, der nicht zu den Vektoren A₁, A₂ parallel ist. Die Recheneinheit 7 bestimmt für den betreffenden Bildpunkt
The vector A ₁ denotes the triplet of values output by the camera for a pixel at a first point in time. If the illuminance at the point under consideration changes by a given factor, then all three brightness values change by the same factor. So z. B. with an intensification of the illumination of the vector A ₁ into the vector A ₂ . If there is movement at the relevant point in the image, this is usually expressed by a change in the color of the point. A new vector B is then obtained which is not parallel to the vectors A ₁ , A ₂ . The computing unit 7 determines the pixel in question

d = |B × A₁|/|A₁|.
d = | B × A ₁ | / | A ₁ |.

Dieser Ausdruck gibt die Länge des Lots von der Spitze des Vek tors B zur durch den Vektor A₁ definierten Geraden an. Wenn dieser Abstand einen vorgegebenen Grenzwert ∈ überschreitet, mit anderen Worten, der Endpunkt des Vektors B außerhalb eines Zy linders mit Radius ∈ um den Vektor A₁ liegt, entscheidet die Recheneinheit 7, daß die Farbänderung auf eine Bewegung zurück gehen muß und gibt ein entsprechendes Warnsignal aus.This expression indicates the length of the solder from the tip of Vek gate B to the defined by the vector A ₁ line. If this distance exceeds a predetermined limit value ∈, in other words, the end point of the vector B lies outside a cylinder with a radius ∈ around the vector A ₁ , the computing unit 7 decides that the color change must be due to a movement and gives a corresponding one Warning signal off.

Fig. 3 zeigt eine Variante dieses Verfahrens für den Fall, daß einer der gemessenen Helligkeitswerte in der Nähe der Sättigungsgrenze der Kamera 1 liegt. In Fig. 3 liegt der B-Wert des Farbvektors A₃ nahe bei 1 und somit im Sättigungsbereich der Kamera. R- und G-Wert hingegen sind deutlich kleiner als 1, wie die Projektion A_3' des Vektors A₃ in die RG-Ebene zeigt. FIG. 3 shows a variant of this method in the event that one of the measured brightness values is close to the saturation limit of the camera 1 . In Fig. 3, the B value of the color vector A _{3 is} close to 1 and thus in the saturation range of the camera. The R and G values, on the other hand, are significantly smaller than 1, as the projection A _{3 'of} the vector A ₃ into the RG plane shows.

Wenn die Beleuchtungsstärke am Bildpunkt des Vektors A₃ zunimmt, so kann der gesättigte B-Wert nicht in dem selben Maße ansteigen, wie R- und G-Wert, da der Wert 1, der dem Vollausschlag der Kamera 1 entspricht, nicht überschritten werden kann. Dies hat zur Folge, daß bei einer zunehmenden Beleuchtungsstärke der Farbvektor nicht nur seine Länge, sondern auch seine Richtung ändert, indem er z. B. von A₃ nach A₄ übergeht. Der Endpunkt des Vektors A₄ liegt deutlich außerhalb des A₃ umgebenden Zylinders Z₃ mit Radius ∈. Diesem Problem kann dadurch Rechnung getragen werden, daß bei der Auswertung der Farbvektoren A₃ und A₄ die gesättigten B-Werte kurzerhand unberücksichtigt bleiben. Der zu betrachtende Vektorraum reduziert sich damit von den bisher drei Dimensionen R, G, B auf die zwei Dimensionen R, G. Es sind somit nicht mehr die Vektoren A₃, A₄ auf eine Richtungsänderung zu untersuchen, sondern deren Projektionen A_3', A_4' in die RG-Ebene. Wenn das Lot vom Endpunkt des Vektors A_4' zur durch den Vektor A_3' festgelegten Geraden länger als der Radius ∈ ist, d. h. der Endpunkt von A_4' außerhalb des 2∈ breiten Streifens Z_3' liegt, der die Projektion des Zylinders Z₃ in die RG-Ebene darstellt, so entscheidet die Recheneinheit 7, daß eine Bewegung vorliegt. Im vorliegenden Fall, in dem sich lediglich die Beleuchtungsstärke geändert hat, sind die Änderungen der R- und G-Helligkeitswerte proportional, so daß A_3' und A_4' kolinear sind. Es wird somit ent schieden, daß keine Bewegung vorliegt.If the illuminance at the pixel of the vector A ₃ increases, the saturated B value cannot increase to the same extent as the R and G value, since the value 1, which corresponds to the full deflection of the camera 1 , cannot be exceeded . This has the consequence that with increasing illuminance, the color vector changes not only its length but also its direction by z. B. from A ₃ to A ₄ . The end point of the vector A ₄ lies clearly outside the cylinder Z ₃ with radius ∈ surrounding A ₃ . This problem can be taken into account in that when evaluating the color vectors A ₃ and A ₄ the saturated B values are ignored without further ado. The vector space to be considered is thus reduced from the previously three dimensions R, G, B to the two dimensions R, G. It is therefore no longer necessary to examine the vectors A ₃ , A ₄ for a change in direction, but rather their projections A _{3 '} , A _{4 '} in the RG level. If the perpendicular from the end point of the vector A _{4 '} to the straight line defined by the vector A _{3' is} longer than the radius ∈, ie the end point of A ₄ _' lies outside the 2∈ wide strip Z _3' , which is the projection of the cylinder Z ₃ in the RG level, the computing unit 7 decides that there is movement. In the present case, where only the illuminance has changed, the changes in the R and G brightness values are proportional, so that A _{3 '} and A _{4' are} colinear. It is therefore decided that there is no movement.

Dieses Verfahren ist natürlich in gleicher Weise durchführbar, wenn ein anderer der gemessenen Spektralbereiche gesättigt ist, wobei dann die Projektion auf eine jeweils andere Ebene erfolgt.This procedure can of course be carried out in the same way, if another of the measured spectral ranges is saturated, the projection then takes place on a different level.

Selbstverständlich können auch mehr oder andere als die drei genannten Spektralbereiche erfaßt werden, insbesondere kann auch die Helligkeit einer Szene im Infraroten oder Ultravioletten gemessen werden. Für die Durchführbarkeit des Verfahrens genügt es, wenn unter sämtlichen gemessenen Spektralbereichen zwei Stück Helligkeitswerte unter der Sättigungsgrenze aufweisen.Of course, more or different than the three can mentioned spectral ranges can be detected, in particular can also the brightness of a scene in the infrared or ultraviolet be measured. For the feasibility of the procedure is sufficient it if two pieces under all measured spectral ranges Have brightness values below the saturation limit.

Fig. 4 zeigt ein Flußdiagramm des anhand von Fig. 2 und 3 beschriebenen Verfahrens, bei dem allgemein m Spektralbereiche untersucht werden. FIG. 4 shows a flow diagram of the method described with reference to FIGS . 2 and 3, in which m spectral ranges are generally examined.

In Schritt 41 empfängt die Recheneinheit 7 Helligkeitswerte H₁ = (H₁₁, ... H_1m) von der Kamera 1. Im folgenden Schritt 42 liest sie die zu demselben Punkt gehörigen Helligkeitswerte H₂ = (H₂₁, ... H_2m) aus dem Speicher 5, in den sie bei der Übertragung des vor hergehenden Bildes von der Kamera 1 eingetragen wurden. Anschlie ßend (Schritt 43) werden die Helligkeitswerte H₂ im Speicher mit den Werten H₁ überschrieben.In step 41 , the computing unit 7 receives brightness values H ₁ = (H ₁₁ ,... H _1m ) from the camera 1 . In the following step 42 , it reads the brightness values H ₂ = (H ₂₁ ,... H _2m ) belonging to the same point, from the memory 5 , into which they were entered by the camera 1 during the transmission of the previous image. The brightness values H ₂ in the memory are then overwritten with the values H ₁ (step 43 ).

Die Recheneinheit bestimmt nun diejenigen Spektralbereiche i, für die sowohl H_1i als auch H_2i unter der für den jeweiligen Spektralbereich zutreffenden Sättigungsgrenze liegen (Schritt 44). Die so erhaltenen Werte mit eventuell reduzierter Komponen tenzahl n werden zu Vektoren h₁, h₂ zusammengefaßt (Schritt 45).The computing unit now determines those spectral ranges i for which both H _1i and H _{2i are} below the saturation _limit applicable to the respective spectral range (step 44 ). The values thus obtained with a possibly reduced number of components n are combined into vectors h ₁ , h ₂ (step 45 ).

Anschließend werden in Schritt 46 die Betragsquadrate h₁ ² = h₁₁ ² + ... + h_1n ² und h₂ ² = h₂₁ ² + ... + h_2n ² bestimmt und miteinander vergli chen. Wenn h₁ ² < h₂ ², werden die beiden Vektoren vertauscht, so daß h₂ der Kürzere der beiden Vektoren ist. Das Betragsquadrat des längeren wird in Schritt 48 mit einem Mindestwert verglichen. Ist es kleiner als der Mindestwert, so wird entschieden, daß der Vektor zu kurz ist, als daß sich seine Richtung mit zur Bewe gungserfassung hinreichender Sicherheit bestimmen ließe. In die sem Fall endet die Verarbeitung.Then in step 46 the squares of magnitude h ₁ ² = h ₁₁ ² + ... + h _1n ² and h ₂ ² = h ₂₁ ² + ... + h _2n ^{2 are} determined and compared. If h ₁ ² <h ₂ ² , the two vectors are interchanged so that h _{2 is} the shorter of the two vectors. The amount square of the longer one is compared in step 48 with a minimum value. If it is less than the minimum value, it is decided that the vector is too short for its direction to be determined with sufficient certainty for motion detection. In this case, processing ends.

Alternativ kann in Schritt 48 das Betragsquadrat mit Null verglichen und bei Gleichheit die Verarbeitung beendet werden. Dieser Vergleich ist schneller durchzuführen als der mit einer reellen Konstante E.Alternatively, the amount square can be compared with zero in step 48 and the processing can be terminated if they are equal. This comparison can be carried out faster than that with a real constant E.

Ergibt jedoch Schritt 48, daß das Betragsquadrat von h₂ groß genug ist, um eine Bestimmung der Richtung des Vektors mit hin reichender Sicherheit zu gestatten, (bzw. daß es nicht Null ist,) so wird in Schritt 49 die Länge des Lots d vom Endpunkt des Vektors h₂ zu der durch h₁ definierten Geraden berechnet. Hierzu kann unabhängig von der Komponentenzahl der Vektoren die Formel
If, however, step 48 reveals that the square of magnitude of h _{2 is} large enough to allow the direction of the vector to be determined with sufficient certainty (or that it is not zero), then in step 49 the length of the lot d is d End point of the vector h ₂ calculated to the straight line defined by h ₁ . The formula can do this regardless of the number of components in the vectors

d = |(h₂ . e₁)e₁ - h₂|
d = | (h _2. e ₁ ) e ₁ - h ₂ |

mit
With

e₁ = h₁/|h₁|
e ₁ = h ₁ / | h ₁ |

verwendet werden. In Schritt 50 wird die ermittelte Länge d mit dem vorgegebenen Grenzwert ∈ verglichen. Wenn d kleiner ist, ist das Verfahren für den betreffenden Bildpunkt beendet, und es kann an einem weiteren Bildpunkt wiederholt werden. Wenn d größer ist, gibt die Recheneinheit in Schritt 51 ein Signal aus, das das Vorhandensein einer Bewegung anzeigt.be used. In step 50 , the determined length d is compared with the predetermined limit value ∈. If d is smaller, the process for the pixel in question has ended and it can be repeated at a further pixel. If d is larger, the computing unit outputs a signal in step 51 which indicates the presence of a movement.

Fig. 5 zeigt eine zweite Darstellung des RGB-Farbraumes mit eingezeichnetem YUV-Koordinatensystem. Herkömmliche Farbfernseh systeme übertragen nicht die direkt von der Kamera gewonnenen RGB-Farbwerte, sondern ein Leuchtdichtesignal Y, definiert durch Y = 0,3 R + 0,59 G + 0,1 B und zwei Farbdifferenzensignale, die unterschiedlich definiert sein können. Die bekannte PAL-Norm verwendet z. B. Signale U, V, die aus der Tripel der RGB-Werte durch die Lineartransformation
Fig. 5 shows a second representation of the RGB color space with plotted YUV coordinate system. Conventional color television systems do not transmit the RGB color values obtained directly from the camera, but rather a luminance signal Y, defined by Y = 0.3 R + 0.59 G + 0.1 B and two color difference signals, which can be defined differently. The well-known PAL standard uses z. B. signals U, V resulting from the triple of the RGB values through the linear transformation

erhalten werden.be preserved.

Das durch die drei Größen Y, U und V aufgespannte Koordinatensystem ist ebenfalls in Fig. 5 gezeigt. Die Y-Achse verläuft durch die zwei Eckpunkte (0; 0; 0) und (1; 1; 1) des Würfels.The coordinate system spanned by the three variables Y, U and V is also shown in FIG. 5. The Y axis runs through the two corner points (0; 0; 0) and (1; 1; 1) of the cube.

Wenn sich die Farbe eines beobachteten Punktes ändert, so führt dies immer zu einer Veränderung der zugeordneten U- und V-Werte, nicht aber zwangsläufig zu einer Änderung von dessen Helligkeit Y. Da anhand des Y-Wertes somit keine sichere Bewegungserkennung möglich ist, kann dieser bei der Auswertung der Bildinformation unberücksichtigt bleiben. Dies bedeutet, daß anstatt der Rich tungen der zwei Vektoren A₅, A₆ im RGB-Raum nur die Richtungen ihrer Projektionen A_5', A_6' auf die U, V-Ebene verglichen werden. Dadurch reduziert sich die Menge der von der Recheneinheit 7 zu verarbeitenden Daten auf 2/3.If the color of an observed point changes, this always leads to a change in the assigned U and V values, but not inevitably to a change in its brightness Y. Since the Y value cannot be used to reliably detect motion, these remain unconsidered when evaluating the image information. This means that instead of the directions of the two vectors A ₅ , A ₆ in RGB space, only the directions of their projections A _{5 '} , A _6' on the U, V plane are compared. This reduces the amount of data to be processed by the computing unit 7 to 2/3.

Fig. 6 zeigt ein Flußdiagramm der Signalverarbeitung gemäß der zweiten Ausgestaltung des Verfahrens. In Schritt 61 empfängt die Schnittstelle 3 Helligkeitswerte (R₁, G₁, B₁) von der Kamera 1 und bestimmt daraus in Schritt 62 die Farbdifferenzwerte U₁, V₁. Hierfür kann die Schnittstelle 3 eine herkömmliche PAL- Coderschaltung enthalten, die alle drei Komponenten Y, U, V des PAL-Bildsignals erzeugt. Da das Y-Signal nicht verarbeitet wird, kann auch eine vereinfachte Schaltung eingesetzt werden, die lediglich die zwei Farbdifferenzsignale U und V ausgibt. Die Recheneinheit 7 empfängt die von der Schnittstelle 3 ausgegebenen digitalisierten Werte U₁, V₁, liest zu einem früheren Zeitpunkt zu demselben Bildpunkt aufgenommene Farbdifferenzwerte U₂, V₂ aus dem Speicher 5 (Schritt 63) und speichert darin die aktuellen Farbdifferenzwerte U₁, V₁ (Schritt 64). In Schritt 65 werden die Längen L₁, L₂ der Farbdifferenzvektoren (U₁, V₁), (U₂, V₂) bestimmen. Sind diese zwei Längen gleich Null, so kann [der Abstand des Endpunktes des entsprechenden Vektors von der durch den anderen Vektor festgelegten Geraden nicht größer sein als ∈] die weitere Verarbeitung dieser zwei Vektoren nicht mehr zur Erfassung einer Bewegung führen, das Verfahren bricht somit ab Schritt 66. Sind beide Vektoren länger als ∈, so werden in Schritt 67 ihre Längen verglichen. In Schritt 68 oder 69 wird die Länge des Lots D des Endpunktes des kürzeren der zwei Vektoren auf die durch den längeren festgelegte, mit diesem kollineare Gerade anhand der Formel D = (U₂V₁ - U₁V₂)/L₁, wenn L₁ < L₂ ist, und sonst nach der Formel D = (U₁V₂ - U₂V₁)/L₂ bestimmt. Fig. 6 shows a flowchart of signal processing according to the second embodiment of the method. In step 61 , the interface 3 receives brightness values (R ₁ , G ₁ , B ₁ ) from the camera 1 and determines the color difference values U ₁ , V ₁ therefrom in step 62 . For this purpose, the interface 3 can contain a conventional PAL code circuit, which generates all three components Y, U, V of the PAL image signal. Since the Y signal is not processed, a simplified circuit can also be used which only outputs the two color difference signals U and V. The calculation unit 7 receives the output from the interface 3 digitized values U _1, V _1, reads at an earlier time to the same pixel recorded color difference values U _2, V ₂ from the memory 5 (step 63) and stores therein the current color difference values U ₁ V ₁ (step 64 ). In step 65 , the lengths L ₁ , L _{2 of} the color difference vectors (U ₁ , V ₁ ), (U ₂ , V ₂ ) are determined. If these two lengths are equal to zero, then [the distance of the end point of the corresponding vector from the straight line defined by the other vector cannot be greater than ∈] the further processing of these two vectors can no longer lead to the detection of a movement, the method thus terminates Step 66 . If both vectors are longer than ∈, their lengths are compared in step 67 . In step 68 or 69 , the length of the lot D of the end point of the shorter of the two vectors is determined by the longer one, which is collinear with this straight line using the formula D = (U ₂ V ₁ - U ₁ V ₂ ) / L ₁ if L ₁ <L ₂ , and otherwise determined according to the formula D = (U ₁ V ₂ - U ₂ V ₁ ) / L ₂ .

Wird in Schritt 70 festgestellt, daß D größer ist als der Grenz wert ∈, so entscheidet die Recheneinheit 7, daß eine Bewegung vorliegt und gibt eine diesbezügliche Meldung aus (Schritt 71). Damit ist das Verfahren beendet und kann an einem weiteren Bild punkt wiederholt werden.If it is determined in step 70 that D is greater than the limit value ∈, the computing unit 7 decides that there is a movement and outputs a message in this regard (step 71 ). This concludes the process and can be repeated at another image point.

Gemäß einer ersten Weiterentwicklung dieses Verfahrens kann zwischen Schritt 70 und 71 in einem Zwischenschritt noch überprüft werden, ob von L₁ und L₂ wenigstens einer größer als ein Mindestwert, z. B. ∈, ist. Wenn ja, wird zu Schritt 71 verzweigt, wenn nein, wird entschieden, daß die Vektoren für eine bzw. zuverlässige Erkennung einer Richtungsänderung zu kurz sind, und die Verarbeitung bricht ab.According to a first further development of this method, it can be checked between steps 70 and 71 in an intermediate step whether at least one of L ₁ and L _{2 is} greater than a minimum value, e.g. B. ∈. If so, the process branches to step 71 ; if no, it is decided that the vectors are too short for a reliable detection of a change in direction and the processing is terminated.

Alternativ kann gemäß einer zweiten Weiterentwicklung in Schritt 66 entschieden werden, ob wenigstens einer von L₁ und L₂ größer als ∈ ist. Wenn nein, bricht die Verarbeitung ab; wenn ja, wird zu Schritt 67 verzweigt. Auf diese Weise werden für zu kurze Vektoren die Verarbeitungsschritte 67 bis 70 gar nicht erst durchgeführt.Alternatively, according to a second development, it can be decided in step 66 whether at least one of L ₁ and L _{2 is} greater than ∈. If not, processing stops; if yes, the process branches to step 67 . In this way, processing steps 67 to 70 are not even carried out for vectors that are too short.

Zahlreiche Abwandlungen des erfindungsgemäßen Verfahrens sind möglich. Im Prinzip ist die Zahl der Spektralbereiche, die ge messen und bei der Signalverarbeitung berücksichtigt werden können, unbegrenzt. Auch wenn mehr oder andere als die oben bei spielhaft genannten Spektralbereiche R, G, B gemessen werden, ist es immer möglich, eine Koordinatentransformation der erhaltenen Helligkeitswerte in ein Koordinatensystem mit einer im ersten Quadranten des von den Helligkeitswerten aufgespannten Koordinatensystems verlaufenden Achse (der Y-Achse) durchzuführen und durch Vernachlässigung der Y-Werte die zu verarbeitende Datenmenge zu verringern. Wenn m < 3 Spektralbereiche gemessen werden, lassen sich auch Merkmale der Verfahren nach Fig. 4 und 6 kombinieren, z. B. indem erst gesättigte Helligkeitswerte aus der Verarbeitung ausgeschieden werden und in dem danach verblei benden Vektorraum mit verringerter Dimension n eine Lineartrans formation mit einer (n - 1)xn-Matrix durchgeführt wird, deren Koef fizienten unterschiedliche Vorzeichen in jeder Zeile haben, um dadurch eine Reduzierung der zu verarbeitenden Daten zu errei chen.Numerous modifications of the method according to the invention are possible. In principle, the number of spectral ranges that can be measured and taken into account in signal processing is unlimited. Even if more or different spectral ranges R, G, B than those mentioned above are measured, it is always possible to coordinate transform the brightness values obtained into a coordinate system with an axis running in the first quadrant of the coordinate system spanned by the brightness values (the Y- Axis) and to reduce the amount of data to be processed by neglecting the Y values. If m <3 spectral ranges are measured, features of the method according to FIGS. 4 and 6 can also be combined, e.g. B. by eliminating only saturated brightness values from the processing and then performing a linear transformation with a (n - 1) xn matrix in the remaining vector space with reduced dimension n, the coefficients of which have different signs in each line, thereby to achieve a reduction in the data to be processed.

Claims

1. Method for detecting motion in a scene, with the steps

a) Determination of two color values (H ₁ , H ₂ ) of a point of the scene by measuring the brightness value (H _1i , H _2i ) of the point in at least n different spectral ranges, where n is an integer and at least two, at two different times ,
b) determining a first and a second vector (h ₁ , h ₂ ) in an n'-dimensional vector space for the two color values on the basis of the measured brightness values (H _1i , H _2i ), where 2 <n '<n,
c) determining the distance of the end point of the second vector (h ₂ ) from a straight line defined by the first vector (h ₁ ),
d) Decide that there is movement when the distance exceeds a predetermined limit (∈).

2. The method of claim 1, wherein n '= n.

3. The method according to claim 2, wherein the coefficients of Vectors are the measured brightness values.

4. The method of claim 1, wherein n '= n - 1.

5. The method of claim 4, wherein in step (b) Vectors in n'-dimensional vector space Linear transform of the n brightness values with a transformation matrix can be obtained in each Line contains positive and negative coefficients.

6. The method according to claim 5, wherein the sum of the Coefficients of each row of the transformation matrix 0 results.

7. The method according to claim 5, wherein the transformation matrix is chosen to transform one in the scene predominant hue 0 results.

8. The method according to any one of the preceding claims, in which n = 3.

9. The method according to any one of the preceding claims, in which among the measured spectral ranges the components R, G and B associated with a color video signal Spectral ranges are.

10. The method of claim 5, 8 and 9, wherein the brightness values R, G and B in step (b) are transformed into a U, V, I, Q or D _B , D _R coordinate system.

11. The method according to any one of the preceding claims, wherein in step (b) the longer of the two vectors (h ₁ , h ₂ ) is selected as the first vector.

12. The method according to any one of the preceding claims, in which in step (a) m brightness values (m ≧ n) in m different Spectral ranges are recorded at any time, if one of the brightness values is above one Saturation limit, both brightness values of the corresponding spectral range are discarded, and Steps (b) to (d) on the brightness values of the n Spectral ranges are carried out below the Saturation limits are.

13. A method of detecting motion in a scene in which two pictures of the scene at different times with one Camera are recorded and a method according to one of the preceding claims at a plurality of points of Images is performed.

14. Device for detecting movement in a scene with

a) a camera ( 1 ) which is suitable for generating images of the scene by measuring the brightness values of pixels in at least n different spectral ranges, n being an integer and at least two,
b) a memory ( 5 ),
c) a computing unit ( 7 ) which is capable of _assigning a vector (H ₁ ; h ₁ ; (U ₁ , V ₁ )) to the brightness _values (H _1i ; R, G, B) of a pixel, the components of which are based on of the measured brightness values are determined to read a vector (H ₂ , h ₂ ; (U ₂ , V ₂ )) previously stored for the same pixel from the memory, to determine the distance between the end points of the two vectors and to decide that one There is movement when the distance exceeds a predetermined limit (∈),
d) an output device for generating a signal when the computing unit ( 7 ) decides that there is movement.

15. The apparatus of claim 14, wherein the computing unit ( 7 ) is able to generate the vectors by a linear transformation of the received brightness values with an (n - 1) xn matrix, all rows of the matrix both positive and negative Contain coefficients.

16. The apparatus of claim 12 or 13, wherein n = 3.

17. The device according to one of claims 12 to 14, wherein the Camera generates images in the spectral ranges R, G and B.

18. The apparatus of claim 15, wherein the memory stores the U, V, I, Q or D _R , D _B values of a pixel.