EP1087351A1 - Verfahren zur Klassifizierung einer Ueberwachungssituation anhand einer Bildsequenz - Google Patents

Verfahren zur Klassifizierung einer Ueberwachungssituation anhand einer Bildsequenz Download PDF

Info

Publication number
EP1087351A1
EP1087351A1 EP99810863A EP99810863A EP1087351A1 EP 1087351 A1 EP1087351 A1 EP 1087351A1 EP 99810863 A EP99810863 A EP 99810863A EP 99810863 A EP99810863 A EP 99810863A EP 1087351 A1 EP1087351 A1 EP 1087351A1
Authority
EP
European Patent Office
Prior art keywords
image
blob
region
monitoring
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP99810863A
Other languages
English (en)
French (fr)
Inventor
Raffaella Mattone
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ascom Systec AG
Original Assignee
Ascom Systec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ascom Systec AG filed Critical Ascom Systec AG
Priority to EP99810863A priority Critical patent/EP1087351A1/de
Publication of EP1087351A1 publication Critical patent/EP1087351A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound

Definitions

  • the invention relates to a method for classifying a monitoring situation within a surveillance area regarding their normality based on a Image sequence, which comprises at least one image of this situation.
  • the captured images are displayed on a monitor by video cameras, which is controlled by a guard.
  • a guard To keep the cost of surveillance as low as possible to be able to hold, usually several cameras can be switched to one or some few common monitors switched. Switching from the images of a camera to the images of another camera takes place in predetermined cycles or selectively, for example when a movement is discovered.
  • a method for automatic video surveillance is known from WO98 / 56182, in which the individual images are analyzed and a variety of such images statistical "normal value” is formed. By comparing a current picture With the statistical "normal value” extraordinary situations are recognized without that it must be determined from the outset what is going on in a particular monitoring situation has to be considered extraordinary.
  • Alarm situations can often be identified based on the movement within the Detect surveillance area. Due to the insufficient or even missing Alarm situations cannot take into account the movement in the monitoring area or can only be recognized inaccurately. As a result, the switching of images from different cameras either too often or too rarely. In the first case the guard will soon ignore the switch and in the second case Overlook alarm situations.
  • the object of the invention is to provide a method of the type mentioned at the beginning with which in particular is a reliable classification of situations in the Perform surveillance area in ordinary or extraordinary situations leaves.
  • monitoring situations are classified within a Surveillance area with regard to their normality based on an image sequence which includes at least one picture of the monitoring situation. From the image sequence as well Information about a predetermined or calculated segmentation of the monitoring area A feature vector is generated in at least two segments. Based the image sequence is classified by this feature vector. Taking into account the The feature vector is the segmentation of the monitoring area or the images of the Monitoring area recalculated and subsequent image sequences with the new processed calculated information.
  • the method according to the invention enables simple and efficient monitoring any surveillance area, for example a bank foyer with several Counters and / or ATMs by making extraordinary situations more reliable recognized, classified and signaled to a guard. It is in flexible in several respects, because on the one hand the classification criteria do not differ from fixed in advance, but determined based on real situations and thus adapt to changing conditions and on the other hand implemented in a modular way so that it can be easily adapted to changing monitoring situations.
  • the image sequence is made from any number of image processing modules preferably one or more feature images are calculated.
  • a feature picture will with regard to a certain classification criterion, for example "location of the registered movements "," total movement in a certain image region " or "presence / absence of edges in an image”.
  • Out A feature picture is then displayed with any number of Feature collection modules generates a so-called image vector which contains a plurality of Components includes, each component with respect to a characteristic value the selected feature.
  • the image vectors of others can also be used when forming the image vectors Feature collection modules are taken into account.
  • Feature images are used to generate an image vector and / or a Feature image is taken into account when generating multiple image vectors.
  • the image vectors of the various feature collection modules become the feature vector put together. In the event that only one feature collection module is available, the Feature vector identical to the image vector of this module.
  • the feature vector before Classification typically extracts a plurality of sub-vectors, which then be classified individually with one classification module each, by determining a classification result with each classification module. It is but it is also possible that only a partial vector is extracted from the feature vector, all of them Contains components of the feature vector, i.e. that the feature vector as a whole with is classified into a single classification module.
  • classification modules i.e. are multiple classification results are determined, these results are used to classify the image sequence or appropriate monitoring situation in a suitable manner with each other connected.
  • this linkage follows a set of rules, which are based on existing knowledge.
  • a feature image is determined by at least two images of the image sequence are compared with one another.
  • the result of this Comparison consists of a large number of individual movement points, which are initially one Data reduction can be subjected to each by a plurality of movement points can be combined into so-called blobs according to specified criteria. This The process is called blobbing. So after editing multiple images you get a "map" of the surveillance area with a variety of blobs, which distributed within the monitored area according to the detected movements are. In order to describe a blob, a kind is created from the associated movement points Center, i.e. calculated its position and weighting.
  • the segmentation is preferably carried out by dividing the Surveillance area in at least two regions.
  • the blobs with a Clustering algorithm into a plurality of clusters, each with different ones divided more or less homogeneous movement density. This clustering enables a simpler classification of the examined image sequence into ordinary and extraordinary situations by recognizing extraordinary situations not by assessing the overall situation, but by examining one at a time individual or a few regions can take place simultaneously.
  • the number of components of the image vector of such a calculated The feature image is equal to the number of regions that result from clustering.
  • a Component is calculated as the sum of the weights of all blobs in a region.
  • a difference between the two images is preferably calculated. Every picture consists of a large number of pixels, which e.g. from the dissolution of the Video camera depends. With a horizontal resolution of x pixels and a vertical one Resolution of y pixels results in a total of x * y pixels, with each pixel being one corresponding gray value is assigned to the brightness of the pixel to be imaged.
  • the Individual pixels of the difference image are calculated by the amount of each Difference between the gray values of the corresponding pixels of the two images is formed. Is this Difference other than zero, the corresponding pixel of the difference image is considered Movement point.
  • the amount of the difference greater than a predetermined Barrier is.
  • the criteria according to which the individual movement points are allocated to a blob are derived from the distance of a movement point to the blob.
  • a movement point is assigned to the blob that already has at least one Movement point, of which the new movement point comprises a maximum of n pixels is removed. If n is 1, this means for example:
  • a blob includes all Movement points, which are direct neighbors of a blob already assigned Are moving point.
  • Each blob thus comprises a plurality of movement points that make up its own Have the position and its weight determined.
  • the position of the blob will preferably as the focus of the movement points covered by the blob, and the Weight of the blob calculated as the size of a rectangle, the rectangle is formed by horizontal and vertical tangents to the blob, i.e. through the Intersection of those rows and columns of the picture that have at least one Contain this blob's movement point.
  • the weight of the blob is thus on the outline or measured on the surface and not on the number of movement points. In the latter Fall with a checkered sweater would have an immense amount of movement larger weight than a plain-colored sweater, because it is not only on the edges of the Pullovers, but also on its entire surface causes movement points. Such one however, unequal weighting is not desirable.
  • Clustering is crucial for the further processing and evaluation of the data Process.
  • the aim of clustering is to identify regions of the surveillance area or the Identify the difference image within which the detected movements, i.e. the Blobs, are roughly similar. Ideally, these regions correspond to real ones Subareas of the surveillance area. For example, regions like "next to Window ",” in front of the cash withdrawal machine ",” at the door "etc.
  • the movement density, i.e. the blob density is roughly homogeneous, with each region having a specific movement density having.
  • the result of clustering is a division of the surveillance area into a number N of regions, where N is greater than or equal to one.
  • the regions are formed by first determining a node and a standard deviation for each region. Then each blob is assigned to exactly one region according to specified criteria and after assigning a blob to a region, both the node and the Standard deviation of this region redetermined. Redefining both parameters takes place depending on the blob, i.e. its position and its weighting, the previous node, the previous standard deviation and the nodes of others Regions.
  • the criterion for assigning a blob to a specific region is a pseudo distance between a blob and the node of a region.
  • the pseudo-distance will advantageously calculated as a function of the weighting of the blob, the geometric Position of the knot and blob, i.e. the geometric distance of the blob from the Nodes as well as the standard deviation of the region. So before the assignment is first calculates the pseudo distance from a blob to the node of each region and the blob then assigned to the region to whose node it has the smallest pseudo distance having.
  • Another preferred embodiment of the invention is that the method is divided into a training phase and a monitoring phase, with the two Can overlap phases or alternate several times.
  • the evaluation of the feature vector or one Sub-vector thereof carried out with one or more classification modules.
  • the Evaluation is carried out either with the absolute values of the corresponding components or with values that are calculated relative to other component values. Because of The classification of the underlying image sequence is carried out, if necessary Signaling this image sequence as extraordinary. For example, it will be on one switched by a guard controlled screen so that he the appropriate Can judge situation, or the guard's attention gets mixed with any other means directed to the assessed situation.
  • a sub-vector of the feature vector is classified, which based on the pseudo-distances of a blob.
  • This feature could e.g. "Movement outside the normal area of activity”.
  • the Monitoring phase is determined with a corresponding classification module, whether the shortest pseudo distance of a blob, i.e. the pseudo distance to the node of those Region to which it was assigned exceeds a specified maximum distance. Meets if this is the case, the corresponding image sequence is classified as extraordinary and according to the further processing of the individual classification results also as Alarm situation signals if this is provided.
  • Another advantageous classification relates to a feature "total movement quantity in a region ".
  • the corresponding feature collection module during the Training phase generated an image vector for each difference image.
  • the value of a component is calculated as the sum of the weights of all blobs in a region.
  • the corresponding classification module With the corresponding classification module becomes the associated sub-vector of each resulting Feature vectors are analyzed and a limit is set for each component of this sub-vector certainly. This limit is determined for each component (i.e. for each region) in such a way that a certain percentage of the previously calculated values of this component are smaller or is equal to the limit. With these limits, another preferred Realize classification.
  • a "total movement quantity in a single region” an image sequence as extraordinary classified if a component of the resulting feature vector exceeds the limit of this Component exceeds.
  • two components of the feature vector are used for each cross product also a limit, here a product limit is determined.
  • a product limit is determined. Analogous to the determination of the limits for a single component becomes this limit for two components (i.e. for two Regions) determined in such a way that a predetermined percentage of all previously calculated Products of the two components is less than or equal to the product limit.
  • another Classification module "total movement quantity in two regions at the same time" one Image sequence classified as extraordinary if the product of two components of the resulting feature vector exceeds the corresponding product limit.
  • classification option would be a module "static Objects ", in which the image sequence is based on a feature" static objects in the Monitoring area "is classified. For example, based on the time period during an object is recognized as “available” or “not available”. This feature could e.g. with the feature collection module "presence / absence" already mentioned from edges in an image ".
  • the method according to the invention enables the recognition of extraordinary Situations in a mostly complex surveillance area, where often at the same time correlated or uncorrelated movement takes place at different locations simplify.
  • the method according to the invention is used, for example, for monitoring publicly accessible areas such as ticket halls or passenger areas in public areas Means of transport. It is particularly suitable for monitoring a bank foyer.
  • a monitoring arrangement for carrying out the method according to the invention includes at least one Image recording device, such as a video camera, with a classifying device an image input and a classification output as well as an alarm device.
  • a video camera which is connected to the image input of the classifying device pictures of the surveillance area are taken at any or regular intervals recorded and passed on to the classifying device.
  • Monitoring system 1 shows the general structure of an inventive structure Monitoring system 1 outlined. This consists of three subsystems, one Image / feature subsystem 2, a classification subsystem 3 and one Segmentation subsystem 4.
  • the monitoring system 1 has an image input 5 and a classification output 6. This receives via the image input 5
  • Monitoring system 1 an image sequence, for example, from a video camera has been recorded.
  • the image / feature subsystem 2 the image sequence with several Image processing modules 7.1 to 7.3 processed and at least one feature image created for each image processing module 7.1 to 7.3.
  • the feature images then become with a number of feature collection modules 8.1 to 8.3 the desired features extracted the image sequence and formed an image vector from each. Eventually they will individual image vectors assembled to a feature vector 9, which at the output of the image / feature subsystem 2 is output. He serves the other two Subsystems as input.
  • the segmentation subsystem 4 is used by the segmentation subsystem 4 to segment the Monitoring area used. Segmentation into a plurality of clusters, i.e. Regions are created using the extracted features with a clustering algorithm.
  • the information about the segmentation of the monitoring area is the Image / feature subsystem 2 provided as an additional input. This subsystem takes this information into account when generating the feature images and the Feature vector 9.
  • the feature vector 9 in the classification subsystem 3 is converted into one or decomposed several sub-vectors, the sub-vectors with the image vectors of the Image / feature subsystem 2 may match but need not. Every sub-vector is evaluated with its own classification module 10.1, 10.2, 10.3 and classified by each classification module 10.1, 10.2, 10.3 a separate Classification result produced.
  • a link unit 11 the Classification results of the individual sub-vectors of the feature vector 9 for Classification output 6, the output signal of the classification subsystem 3 connected.
  • the logic unit 11 can be of a kind of AND or OR gate exist or the classification results of the classification modules 10.1, 10.2, 10.3 are based on complex rules based on knowledge of the surveillance system linked together.
  • Figure 2 shows in a block diagram the process flow using the example of the feature "Total Movement Amount”.
  • a video camera delivers the image sequence to be processed 12, which each consists of two pictures.
  • Each image in the sequence has an optical one Resolution of n1 * n2 pixels and the colors are given as gray values of a certain Rendered resolution.
  • motion detection 13 becomes two successive ones
  • a feature image is determined for images of image sequence 12.
  • the feature image is called an n1 * n2 Image matrix shown.
  • the gray values of the pixels are shown in one for each individual image n1 * n2 image matrix BM1 or BM2 saved and then one Difference matrix DM of the two image matrices formed.
  • the elements of DM calculated as the difference between the corresponding elements of BM1 and BM2.
  • the feature image i.e. the feature image matrix is determined by everywhere where this difference is greater than zero or greater than a certain threshold, a one and everywhere else a zero is entered.
  • the threshold is either fixed adjustable or it is adapted depending on the image information.
  • the Matrix elements with a value of one are called movement points because they are all Points of the surveillance area, i.e. Mark pixels of the corresponding image, where the gray value changes between the two image acquisition times Has.
  • blobbing 14 the individual movement points of the feature image combined into so-called blobs.
  • all movement points belong to a certain blob, which are direct neighbors of another movement point, which is already "belonging to this blob" was qualified.
  • a blob is a coherent area of Movement points (or matrix elements of the feature image matrix), which also include holes, i.e. can have single or multiple pixels (or matrix elements) with a value of zero.
  • the Defining properties of a blob are its position and its weighting. The The position of a blob is determined as the center of gravity of the blob belonging to it Movement points.
  • the blobbing 14 provides a blob list 15 as a result, i.e. a list of all Blobs with the respective position and weighting.
  • clustering 16 the individual blobs become so-called clusters summarized.
  • the surveillance area is thus divided into a number of regions segmented with an inner context.
  • the regions identified in this way point e.g. a homogeneous density of movement and often correspond to real image areas such as an area "next to the window” or "in front of the cash machine".
  • Clustering 16 is carried out using an incremental method. Starting point of this The procedure consists of two regions, each with a node and a standard deviation. The Knots as well as the standard deviation are freely selectable and due to certain Previous knowledge or just chosen at random. After blobbing 14 one The blobs are taken into account individually for clustering. In doing so, a Blob initially assigned to the region to whose node, the so-called Winner node, it has the smallest pseudo-distance. The pseudo-distance between However, a node and a blob cannot be understood geometrically as a distance but as a distance measure, when calculating not only this distance, but also the weight of the blob and the value of the standard deviation be taken into account.
  • the blob is called an error blob and there are two more Error values introduced or adapted if they already exist.
  • the blob is called an error blob and there are two more Error values introduced or adapted if they already exist.
  • the blob is called an error blob and there are two more Error values introduced or adapted if they already exist.
  • the blob to everyone Region-related local error with a value and a position and on the other hand Global error where only the value counts. If the value of the global error becomes too large, introduced a new region, the node of which is at the location of the local fault, and whose standard deviation is determined using the error blobs.
  • the blobs of a plurality of difference images are now one after the others are taken into account for clustering and assigned to a region and form the different regions.
  • the clustering 16 is explained in more detail below with reference to FIG. 2.
  • Two regions 26 and 27 which have already been identified are shown in a two-dimensional vector space, each with a node 20 and 21, respectively, the node 20 of the region 26 being designated as S.
  • Local error 22 of region 26 is also shown. It is located at a kind of center of gravity for all previous error blobs in this region 26.
  • ( ⁇ x , ⁇ y ) correspond to the standard deviation in the x and y directions of the pseudo-distances of this region 26.
  • the blob 23 is assigned to the region to whose node it has the smallest pseudo-distance. In this case, this is region 26 with node 20 as the winner node.
  • the blob has the second smallest pseudo distance to node 21, which is why a topological connection 29 is introduced between the two nodes 20 and 21.
  • the node 20 and the variance ⁇ of the region 26, the winning region, are then recalculated.
  • the value G W of the global error is checked. If it is larger than a given limit, a new node is introduced at the position of the local error with the greatest value.
  • the bound for the global error is determined, for example, depending on the assumed Gaussian distribution of the blobs around the nodes.
  • a topological connection can be renewed, by your "age” i.e. the period of time since its introduction is reset to zero. This is done with a view to a further measure in which those topological Connections whose age is higher than a predefined maximum age are deleted. Finally, nodes that have no topological connections to another can Nodes, are also deleted.
  • the information about the identified regions with their nodes and standard deviations as well as the associated blobs is processed further as a topology map in a next feature extraction feature step 17.
  • the movement quantity ie the total weighting of all blobs in this region, is calculated separately for each region.
  • an image vector F of length N with F (F 1 , F 2 , F 3 ,..., F N ) is formed therefrom by assigning the movement quantity of a region to one of the N components of F.
  • this image sequence is only classified with respect to this one feature, which is why this image vector also corresponds to the feature vector 9.
  • this feature vector 9 is classified, i.e. it it is checked whether the image sequence 12 corresponding to the feature vector 9 of the Surveillance area a normal or an extraordinary situation in the Surveillance area.
  • the curve shape in turn can be used to make a statement about the correlation of F 1 and F 2 , ie the correlation of movement within the two regions.
  • the N-dimensional surface area p (F) can be approximated by the convex envelope of the projections from p (F) onto the coordinate surfaces. In the present example this means: Assuming that the vectors (F 1 , F 2 , 0), (F 1 , 0, F 3 ) and (0, F 2 , F 3 ) all have a proper situation (in the Coordinate surfaces), then the vector (F 1 , F 2 , F 3 ) also indicates a proper situation in the 3-dimensional area.
  • a starting value for a limit can be the first calculated value of a component of a feature vector or of a cross product of the corresponding components.
  • the classifier just described can be used whenever that is classifying feature is a vector with non-negative components and there are only two Classes, one near the origin of the feature space and one for the rest of the Feature space into which the vector can be divided.
  • the blob list 15 can also be used directly in the Feature step Extraction 17 are processed. It is also possible that the blob list 15 with both the step clustering 16, as well as directly with the step feature extraction 17 is processed further. As a result, an image sequence 12 can be derived from it resulting blobs are recognized as neat or extraordinary on the one hand and at the same time, the blobs of this image sequence 12 can also be used to adapt the Topology map can be made.
  • the present method allows extraordinary from ordinary situations in a surveillance area to distinguish from motion information by first a plurality of mathematical models of the surveillance area is created, being a model is only valid for part of the surveillance area and the situations then analyzed separately for each model or for a pair of models be assessed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

Bei einem Überwachungssystem (1) zur Klassifizierung einer Überwachungssituation in einem Überwachungsbereich wird in einem Bild/Feature-Subsystem (2) aus einer mit Hilfe einer Videokamera aufgenommenen Bildsequenz und aus vorgegebenen oder zuvor berechneten Informationen über eine Segmentierung des Überwachungsbereiches ein Featurevektor (9) generiert. Mit einem Klassifizierungs-Subsystem (3) wird die Bildsequenz anhand des Featurevektors (9) bezüglich ihrer Normalität klassifiziert und ein entsprechendes Klassifizierungsresultat über den Klassifizierungsausgang des Überwachungssystems (1) ausgegeben. Für die Verarbeitung nachfolgender Bildsequenzen wird die Segmentierung mit einem Segmentierungs-Subsystem (4) nach jedem ermittelten Featurevektor neu berechnet. <IMAGE>

Description

Technisches Gebiet
Die Erfindung betrifft ein Verfahren zur Klassifizierung einer Überwachungssituation innerhalb eines Überwachungsbereiches bezüglich ihrer Normalität anhand einer Bildsequenz, welche zumindest ein Bild dieser Situation umfasst.
Stand der Technik
Bei der sicherheitstechnischen Überwachung von Anlagen und Räumen mittels Videokameras werden die aufgenommenen Bilder auf einem Monitor dargestellt, welcher durch einen Bewacher kontrolliert wird. Um die Kosten der Überwachung möglichst gering halten zu können, werden meistens mehrere Kameras umschaltbar auf einen oder einige wenige gemeinsame Monitore geschaltet. Die Umschaltung von den Bildern einer Kamera zu den Bildern einer anderen Kamera erfolgt dabei in vorgegebenen Zyklen oder selektiv, beispielsweise bei der Entdeckung einer Bewegung.
Erfolgt keine Umschaltung der Bilder, wird ein Bewacher bei der Überwachung dieser Bilder mit der Zeit unweigerlich ermüden und die Videobilder nur noch oberflächlich oder sporadisch betrachten. Wird indessen bei der Detektion jeder Bewegung auf das jeweilige Videobild umgeschaltet, lässt die Aufmerksamkeit des Bewachers praktisch ebenso schnell nach, da die weitaus überwiegende Mehrheit der detektierten Bewegungen keine Alarmsituation kennzeichnen.
Aus der WO98/56182 ist ein Verfahren zur automatischen Video-Überwachung bekannt, bei welchem die einzelnen Bilder analysiert und aus einer Vielzahl solcher Bilder ein statistischer "Normal-Wert" gebildet wird. Mittels eines Vergleichs eines aktuellen Bildes mit dem statistischen "Normal-Wert" werden ausserordentliche Situationen erkannt, ohne dass von vornherein festgelegt werden muss, was in einer bestimmten Überwachungssituation als ausserordentlich zu gelten hat.
Alarmsituationen lassen sich häufig anhand der Bewegung innerhalb des Überwachungsbereiches erkennen. Durch die ungenügende oder gar fehlende Berücksichtigung der Bewegung im Überwachungsbereich können Alarmsituationen nicht oder nur ungenau erkannt werden. Dies hat zur Folge, dass die Umschaltung der Bilder von verschiedenen Kameras entweder zu häufig oder zu selten geschieht. Im ersten Fall ignoriert der Bewacher die Umschaltung schon bald und im zweiten Fall werden Alarmsituationen übersehen.
Darstellung der Erfindung
Aufgabe der Erfindung ist es, ein Verfahren der eingangs genannten Art anzugeben, mit welchem sich insbesondere eine verlässliche Klassifizierung von Situationen im Überwachungsbereich in ordentliche oder ausserordentliche Situationen durchführen lässt.
Die Lösung der Aufgabe ist durch die Merkmale des Anspruchs 1 definiert. Gemäss der Erfindung erfolgt die Klassifizierung von Überwachungssituationen innerhalb eines Überwachungsbereiches bezüglich ihrer Normalität anhand einer Bildsequenz, welche zumindest ein Bild der Überwachungssituation umfasst. Aus der Bildsequenz sowie aus Informationen über eine vorgegebene oder berechnete Segmentierung des Überwachungsbereiches in zumindest zwei Segmente wird ein Featurevektor generiert. Anhand dieses Featurevektors wird die Bildsequenz klassifiziert. Unter Berücksichtigung des Featurevektors wird die Segmentierung des Überwachungsbereiches bzw. der Bilder des Überwachungsbereiches neu berechnet und nachfolgende Bildsequenzen mit den neu berechneten Informationen verarbeitet.
Das erfindungsgemässe Verfahren ermöglicht eine einfache und effiziente Überwachung eines beliebigen Überwachungsbereiches, beispielsweise eines Bankfoyers mit mehreren Schaltern und/oder Geldbezugs-Automaten, indem ausserordentliche Situationen zuverlässiger erkannt, klassifiziert und einem Bewacher signalisiert werden können. Es ist in mehrfacher Hinsicht flexibel, da einerseits die Klassifizierungskriterien nicht von vornherein festgelegt, sondern anhand realer Situationen bestimmt werden und sich damit ändernden Bedingungen anpassen können und andererseits modular implementiert und damit einfach an wechselnde Überwachungssituationen angepasst werden kann.
Mittels einer beliebigen Anzahl von Bildbearbeitungs-Modulen wird aus der Bildsequenz vorzugsweise eines oder mehrere Featurebilder berechnet. Ein Featurebild wird hinsichtlich einem bestimmten Klassifizierungskriterium, beispielsweise "Ort der registrierten Bewegungen", "Gesamtmenge an Bewegung in einer bestimmten Bildregion" oder "Vorhandensein/Nichtvorhandensein von Kanten in einem Bild" berechnet. Aus einem Featurebild wird anschliessend mit einer ebenfalls beliebigen Anzahl von Featuresammel-Modulen ein sogenannter Bildvektor generiert, welcher eine Mehrzahl von Komponenten umfasst, wobei jede Komponente einen charakteristischen Wert hinsichtlich dem gewählten Feature aufweist.
Wahlweise können bei der Bildung der Bildvektoren auch die Bildvektoren anderer Featuresammel-Module berücksichtigt werden. Selbstverständlich können auch mehrere Featurebilder zur Generierung eines Bildvektors verwendet werden und/oder ein Featurebild wird bei der Generierung mehrerer Bildvektoren berücksichtigt.
Die Bildvektoren der verschiedenen Featuresammel-Module werden zum Featurevektor zusammengefügt. Für den Fall, dass nur ein Featuresammel-Modul vorhanden ist, ist der Featurevektor identisch mit dem Bildvektor dieses Moduls.
Bei einer bevorzugten Ausführungsform der Erfindung wird aus dem Featurevektor vor der Klassifizierung typischerweise eine Mehrzahl von Teilvektoren extrahiert, welche anschliessend jeweils einzeln mit je einem Klassifizierungsmodul klassifiziert werden, indem mit jedem Klassifizierungsmodul ein Klassifizierungsresultat bestimmt wird. Es ist aber auch möglich, dass aus dem Featurevektor nur ein Teilvektor extrahiert wird, der alle Komponenten des Featurevektors enthält, d.h. dass der Featurevektor als Ganzes mit einem einzigen Klassifizierungsmodul klassifiziert wird.
Sind mehrere Klassifizierungsmodule vorhanden, d.h. werden mehrere Klassifizierungsresultate bestimmt, werden diese Resultate zur Klassifizierung der Bildsequenz bzw. der entsprechenden Überwachungssituation auf geeignete Art und Weise miteinander verknüpft. Typischerweise erfolgt diese Verknüpfung gemäss einem Satz von Regeln, welche auf vorhandenem Wissen basieren.
In einer bevorzugten Ausführungsform der Erfindung wird ein Featurebild bestimmt, indem zumindest zwei Bilder der Bildsequenz miteinander verglichen werden. Das Resultat dieses Vergleichs besteht aus einer Vielzahl einzelner Bewegungspunkte, welche zunächst einer Datenreduktion unterworfen werden, indem jeweils eine Mehrzahl von Bewegungspunkten gemäss vorgegebenen Kriterien zu sogenannten Blobs zusammengefasst werden. Dieser Vorgang wird Blobbing genannt. Nach der Bearbeitung mehrerer Bilder erhält man also eine "Karte" des Überwachungsbereiches mit einer Vielzahl von Blobs, welche entsprechend der detektierten Bewegungen innerhalb des Überwachungsbereiches verteilt sind. Um einen Blob zu beschreiben, wird aus den zugehörigen Bewegungspunkten eine Art Zentrum, d.h. seine Position und eine Gewichtung berechnet.
Die Segmentierung erfolgt hierbei vorzugsweise durch Unterteilung des Überwachungsbereiches in zumindest zwei Regionen. Dazu werden die Blobs mit einem Clustering Algorithmus in eine Mehrzahl von Clustern mit jeweils unterschiedlicher aber mehr oder weniger homogener Bewegungsdichte aufgeteilt. Dieses Clustering ermöglicht eine einfachere Klassifizierung der untersuchten Bildsequenz in ordentliche und ausserordentliche Situationen, indem die Erkennung von ausserordentlichen Situationen nicht durch Beurteilung der Gesamtsituation, sondern durch Untersuchung jeweils einer einzelnen bzw. einiger weniger Regionen gleichzeitig erfolgen kann.
Die Anzahl der Komponenten des Bildvektors eines solchermassen berechneten Featurebildes ist gleich der Anzahl Regionen, die aus dem Clustering resultiert. Eine Komponente wird dabei berechnet als Summe der Gewichtungen aller Blobs einer Region.
Um aus den beiden zeitlich verschobenen Bildern der Bildsequenz die Bewegungspunkte zu bestimmen, wird vorzugsweise eine Differenz der beiden Bilder berechnet. Jedes Bild besteht jeweils aus einer Vielzahl von Pixeln, welche z.B. von der Auflösung der Videokamera abhängt. Bei einer horizontalen Auflösung von x Pixeln und einer vertikalen Auflösung von y Pixeln ergibt sich eine Gesamtzahl von x*y Pixeln, wobei jedem Pixel ein der Helligkeit des abzubildenden Bildpunktes entsprechender Grauwert zugeordnet ist. Die einzelnen Pixel des Differenzbildes werden berechnet, indem jeweils der Betrag der Differenz der Grauwerte der entsprechenden Pixel der beiden Bilder gebildet wird. Ist diese Differenz verschieden von Null, gilt das entsprechende Pixel des Differenzbildes als Bewegungspunkt. Um das in realen Systemen unvermeidliche Rauschen zu berücksichtigen, kann z.B. festgelegt werden, dass nur diejenigen Pixel des Differenzbildes als Bewegungspunkte gelten, deren Betrag der Differenz grösser als eine vorgegebene Schranke ist.
Die Kriterien, nach welchen die einzelnen Bewegungspunkte einem Blob zugeteilt werden, leiten sich ab aus dem Abstand eines Bewegungspunktes zum Blob. Ein Bewegungspunkt wird beispielsweise demjenigen Blob zugeordnet, der bereits mindestens einen Bewegungspunkt umfasst, von welchem der neue Bewegungspunkt maximal n Pixel entfernt ist. Ist n gleich 1 heisst das beispielsweise: Ein Blob umfasst alle Bewegungspunkte, welche direkte Nachbarn eines bereits diesem Blob zugeteilten Bewegungspunktes sind.
Jeder Blob umfasst somit eine Mehrzahl von Bewegungspunkten, aus denen sich seine Position und seine Gewichtung bestimmen lassen. Die Position des Blobs wird vorzugsweise als Schwerpunkt der vom Blob umfassten Bewegungspunkte, und die Gewichtung des Blobs als Grösse eines Rechteckes berechnet, wobei das Rechteck gebildet wird durch horizontale und vertikale Tangenten an den Blob, d.h. durch die Schnittmenge derjenigen Zeilen und Spalten des Bildes, welche zumindest einen Bewegungspunkt dieses Blobs enthalten. Die Gewichtung des Blobs wird somit am Umriss bzw. an der Fläche gemessen und nicht an der Anzahl der Bewegungspunkte. Im letzteren Fall hätte bei identischem Bewegungsverlauf nämlich ein karierter Pullover eine immens grössere Gewichtung als ein uni-farbener Pullover, da er nicht nur an den Rändern des Pullovers, sondern auch auf seiner ganzen Fläche Bewegungspunkte hervorruft. Eine solch ungleiche Gewichtung ist jedoch nicht erwünscht.
Entscheidend für die weitere Verarbeitung und Auswertung der Daten ist der Clustering Vorgang. Das Clustering hat zum Ziel, Regionen des Überwachungsbereiches bzw. des Differenzbildes zu identifizieren, innerhalb denen die detektierten Bewegungen, d.h. die Blobs, in etwa gleichartig sind. Idealerweise entsprechen diese Regionen realen Teilbereichen des Überwachungsbereiches. Beispielsweise Regionen wie "neben dem Fenster", "vor dem Geldbezugs-Automaten", "bei der Türe" etc. Die Bewegungsdichte, d.h. die Blob-Dichte ist in etwa homogen, wobei jede Region eine spezifische Bewegungsdichte aufweist. Das Resultat des Clusterings ist eine Aufteilung des Überwachungsbereiches in eine Anzahl N von Regionen, wobei N grösser oder gleich eins ist.
Bei einer bevorzugten Ausführungsform der Erfindung erfolgt die Bildung der Regionen, indem zunächst für jede Region ein Knoten und eine Standardabweichung bestimmt wird. Danach wird jeder Blob gemäss vorgegebenen Kriterien genau einer Region zugeordnet und nach der Zuordnung eines Blobs zu einer Region wird sowohl der Knoten als auch die Standardabweichung dieser Region neu bestimmt. Die Neubestimmung beider Parameter erfolgt in Abhängigkeit des Blobs, d.h. seiner Position und seiner Gewichtung, des bisherigen Knotens, der bisherigen Standardabweichung und der Knoten anderer Regionen.
Das Kriterium zur Zuordnung eines Blobs zu einer bestimmten Region ist eine Pseudo-Distanz zwischen einem Blob und dem Knoten einer Region. Die Pseudo-Distanz wird vorteilhafterweise berechnet als Funktion der Gewichtung des Blobs, der geometrischen Position des Knotens und des Blobs, d.h. des geometrischen Abstandes des Blobs zum Knoten sowie der Standardabweichung der Region. Vor der Zuordnung wird also zunächst die Pseudo-Distanz von einem Blob zum Knoten jeder Region berechnet und der Blob danach derjenigen Region zugeordnet, zu deren Knoten er die kleinste Pseudo-Distanz aufweist.
Eine weitere bevorzugte Ausführungsform der Erfindung besteht darin, dass das Verfahren unterteilt wird in eine Trainingsphase und eine Überwachungsphase, wobei sich die beiden Phasen überlappen oder auch mehrere Male abwechseln können.
Während der Überwachungsphase wird die Auswertung des Featurevektors bzw. eines Teilvektors davon mit einem oder mehreren Klassifizierungsmodulen durchgeführt. Die Auswertung erfolgt entweder mit den Absolutwerten der entsprechenden Komponenten oder mit Werten, die relativ zu anderen Komponenten-Werten berechnet werden. Aufgrund der Klassifizierung der zugrundeliegenden Bildsequenz erfolgt, wenn nötig, eine Signalisierung dieser Bildsequenz als ausserordentlich. Sie wird beispielsweise auf einen von einem Bewacher kontrollierten Bildschirm geschaltet, damit er die entsprechende Situation beurteilen kann, oder die Aufmerksamkeit des Bewachers wird mit beliebigen anderen Mitteln auf die beurteilte Situation gelenkt.
Vorzugsweise erfolgt eine Klassifizierung eines Teilvektors des Featurevektors, welcher anhand der Pseudo-Distanzen eines Blobs erstellt wurde. Dieses Feature könnte z.B. "Bewegung ausserhalb des normalen Aktivitätsgebietes" genannt werden. Während der Überwachungsphase wird mit einem entsprechenden Klassifizierungsmodul festgestellt, ob die kürzeste Pseudo-Distanz eines Blobs, d.h. die Pseudo-Distanz zum Knoten derjenigen Region, der er zugewiesen wurde, eine vorgegebene Maximaldistanz überschreitet. Trifft dies zu, wird die entsprechende Bildsequenz als ausserordentlich klassifiziert und entsprechend der Weiterverarbeitung der einzelnen Klassifizierungsresultate auch als Alarmsituation signalisiert, wenn dies vorgesehen ist.
Eine weitere vorteilhafte Klassifizierung betrifft ein Feature "Gesamt-Bewegungsmenge in einer Region". Mit dem entsprechenden Featuresammel-Modul wird während der Trainingsphase für jedes Differenzbild ein Bildvektor generiert. Der Wert einer Komponente wird berechnet als die Summe der Gewichtung aller Blobs einer Region. Mit dem entsprechenden Klassifizierungsmodul wird der zugehörige Teilvektor jedes resultierenden Featurevektors analysiert und für jede Komponente dieses Teilvektors wird ein Limit bestimmt. Dieses Limit wird für jede Komponente (d.h. für jede Region) derart bestimmt, dass ein bestimmter Prozentsatz der bisher berechneten Werte dieser Komponente kleiner oder gleich dem Limit ist. Mit diesen Limits lässt sich eine weitere bevorzugte Klassifizierung realisieren.
Während der Überwachungsphase wird mit einem Klassifizierungsmodul "Gesamt-Bewegungsmenge in einer einzelnen Region" eine Bildsequenz als ausserordentlich klassifiziert, wenn eine Komponente des resultierenden Featurevektors das Limit dieser Komponente übersteigt.
Vorzugsweise wird für jedes Kreuzprodukt zweier Komponenten des Featurevektors ebenfalls ein Limit, hier ein Produktlimit bestimmt. Analog zur Bestimmung der Limits für eine einzelne Komponente wird dieses Limit für je zwei Komponenten (d.h. für je zwei Regionen) derart bestimmt, dass ein vorgegebener Prozentsatz aller zuvor berechneten Produkte der beiden Komponenten kleiner oder gleich dem Produktlimit ist. Andererseits wird, wiederum während der Überwachungsphase, mit einem weiteren Klassifizierungsmodul "Gesamt-Bewegungsmenge in zwei Regionen gleichzeitig" eine Bildsequenz als ausserordentlich klassifiziert, wenn das Produkt zweier Komponenten des resultierenden Featurevektors das entsprechende Produktlimit übersteigt.
Ein weiteres Beispiel für eine Klassifizierungsmöglichkeit wäre ein Modul "statische Objekte", bei welchem die Bildsequenz anhand eines Features "statische Objekte im Überwachungsbereich" klassifiziert wird. Beispielsweise anhand der Zeitspanne, während der ein Objekt als " vorhanden " oder auch "nicht vorhanden" erkannt wird. Dieses Feature könnte z.B. mit dem bereits erwähnten Featuresammel-Modul "Vorhandensein/Nichtvorhandensein von Kanten in einem Bild" generiert werden.
Indem die Beurteilung der Situationen, d.h. Bildsequenzen, anhand mehrerer Kriterien, z.B. dem Vorkommen von Bewegung an ungewöhnlichen Orten oder anhand der Menge an Bewegung in einer einzelnen Region und/oder in einem Paar von Regionen erfolgt, ermöglicht es das erfindungsgemässe Verfahren, die Erkennung ausserordentlicher Situationen in einem meist komplexen Überwachungsbereich, wo häufig gleichzeitig an verschiedenen Orten korrelierte oder unkorrelierte Bewegung stattfindet, wesentlich zu vereinfachen.
Angewendet wird das erfindungsgemässe Verfahren beispielsweise bei der Überwachung öffentlich zugänglicher Bereiche wie Schalterhallen oder Fahrgasträumen in öffentlichen Transportmitteln. Es eignet sich insbesondere zur Überwachung eines Foyers einer Bank.
Eine Überwachungsanordnung zur Durchführung des erfindungsgemässen Verfahrens, d.h. zur Klassifizierung einer Überwachungssituation innerhalb eines Überwachungsbereiches bezüglich ihrer Normalität anhand einer Bildsequenz, umfasst neben mindestens einem Bildaufnahmegerät, wie beispielsweise einer Videokamera, eine Klassifiziervorrichtung mit einem Bildeingang und einem Klassifizierungsausgang sowie eine Alarmvorrichtung. Mit Hilfe der Videokamera, welche mit dem Bildeingang der Klassifiziervorrichtung verbunden ist, werden in beliebigen oder regelmässigen Abständen Bilder des Überwachungsbereiches aufgenommen und an die Klassifiziervorrichtung weitergegeben. Diese weist Mittel zur Generierung eines Featurevektors aus zumindest einem Bild, zur Segmentierung des Überwachungsbereiches sowie zur Klassifizierung des Featurevektors bezüglich der Normalität der entsprechenden Bildsequenz auf. Damit Bildsequenzen, welche als ausserordentlich bzw. abnormal klassifiziert wurden, dem Bewacher auch als solche signalisiert werden können, ist der Klassifizierungsausgang mit der Alarmvorrichtung, beispielsweise einem Monitor zur Darstellung der entsprechenden Situation oder einem Lautsprecher zur Aussendung eines akustischen Warnsignals verbunden.
Aus der nachfolgenden Detailbeschreibung und der Gesamtheit der Patentansprüche ergeben sich weitere vorteilhafte Ausführungsformen und Merkmalskombinationen der Erfindung.
Kurze Beschreibung der Zeichnungen
Die zur Erläuterung des Ausführungsbeispiels verwendeten Zeichnungen zeigen:
Fig. 1
Eine schematische Darstellung der generellen Struktur eines erfindungsgemässen Überwachungssystems;
Fig. 2
ein Blockschema des erfindungsgemässen Verfahrens;
Fig. 3
eine schematische Darstellung der Vorgänge beim Clustering und
Fig. 4
ein Diagramm zur Darstellung der Korrelation der Bewegungsmenge in zwei Regionen für verschiedene Parameterwerte.
Grundsätzlich sind in den Figuren gleiche Teile mit gleichen Bezugszeichen versehen.
Wege zur Ausführung der Erfindung
Anhand der Figur 1 wird zunächst die generelle Struktur eines erfindungsgemässen Überwachungssystems 1 dargelegt. Dieses besteht aus drei Subsystemen, einem Bild/Feature-Subsystem 2, einem Klassifizierungs-Subsystem 3 und einem Segmentierungs-Subsystem 4. Das Überwachungssystem 1 besitzt einen Bildeingang 5 und einen Klassifizierungsausgang 6. Über den Bildeingang 5 empfängt das Überwachungssystem 1 eine Bildsequenz, welche beispielsweise von einer Videokamera aufgenommen wurde. Im Bild/Feature-Subsystem 2 wird die Bildsequenz mit mehreren Bildbearbeitungs-Modulen 7.1 bis 7.3 verarbeitet und daraus zumindest ein Featurebild pro Bildbearbeitungs-Modul 7.1 bis 7.3 erstellt. Aus den Featurebildern werden daraufhin mit einer Mehrzahl von Featuresammel-Modulen 8.1 bis 8.3 die gewünschten Features aus der Bildsequenz extrahiert und daraus je ein Bildvektor gebildet. Schliesslich werden die einzelnen Bildvektoren zu einem Featurevektor 9 zusammengesetzt, welcher am Ausgang des Bild/Feature-Subsystems 2 ausgegeben wird. Er dient den beiden anderen Subsystemen als Eingang.
Einerseits wird er vom Segmentierungs-Subsystem 4 zur Segmentierung des Überwachungsbereiches verwendet. Die Segmentierung in eine Mehrzahl von Clustern, d.h. Regionen erfolgt anhand der extrahierten Features mit einem Clustering Algorithmus. Die Information über die Segmentierung des Überwachungsbereiches wird dem Bild/Feature-Subsystem 2 als weiterer Eingang zur Verfügung gestellt. Dieses Subsystem berücksichtigt diese Information bei der Generierung der Featurebilder und des Featurevektors 9.
Andererseits wird der Featurevektor 9 im Klassifizierungs-Subsystem 3 in einen oder mehrere Teilvektoren zerlegt, wobei die Teilvektoren mit den Bildvektoren des Bild/Feature-Subsystems 2 übereinstimmen können, aber nicht müssen. Jeder Teilvektor wird mit einem eigenen Klassifizierungsmodul 10.1, 10.2, 10.3 ausgewertet und klassifiziert, indem jedes Klassifizierungsmodul 10.1, 10.2, 10.3 ein separates Klassifizierungsresultat produziert. In einer Verknüpfungseinheit 11 werden die Klassifizierungsresultate der einzelnen Teilvektoren des Featurevektors 9 zum Klassifizierungsausgang 6, dem Ausgangssignal des Klassifizierungs-Subsystems 3 verknüpft. Die Verknüpfungseinheit 11 kann aus einer Art UND- oder ODER-Gatter bestehen oder die Klassifizierungsresultate der Klassifizierungsmodule 10.1, 10.2, 10.3 werden nach komplexen, auf Wissen über das Überwachungssystem basierenden, Regeln miteinander verknüpft.
Anhand einer konkreten Überwachungssituation, nämlich anhand der Überwachung eines Bankfoyers mit einer Videokamera, soll das erfindungsgemässe Verfahren genauer erläutert werden.
Figur 2 zeigt in einem Blockschema den Verfahrensablauf am Beispiel des Features "Gesamt-Bewegungsmenge". Eine Videokamera liefert die zu verarbeitende Bildsequenz 12, welche jeweils aus zwei Bildern besteht. Jedes Bild der Bildsequenz hat eine optische Auflösung von n1 * n2 Pixeln und die Farben werden als Grauwerte einer bestimmten Auflösung wiedergegeben.
In einem ersten Schritt Bewegungs-Detektion 13 wird aus jeweils zwei aufeinanderfolgenden Bildern der Bildsequenz 12 ein Featurebild ermittelt. Das Featurebild wird als eine n1 * n2 Bildmatrix dargestellt. Pro Einzelbild werden dazu die Grauwerte der Pixel je in einer n1*n2 Bildmatrix BM1 bzw. BM2 abgespeichert und anschliessend wird eine Differenzmatrix DM der beiden Bildmatrizen gebildet. Hierzu werden die Elemente von DM jeweils als Differenz der entsprechenden Elemente von BM1 und BM2 berechnet. Anschliessend wird das Featurebild, d.h. die Feature-Bildmatrix ermittelt, indem überall dort, wo diese Differenz grösser als Null bzw. grösser als ein bestimmter Schwellwert ist, eine eins und überall sonst eine Null eingetragen wird. Der Schwellwert ist entweder fest einstellbar oder er wird in Abhängigkeit der Bildinformation adaptiert. So erhält man das Featurebild, dessen Elemente jeweils den Wert Null oder Eins aufweisen. Die Matrixelemente mit dem Wert Eins werden als Bewegungspunkte bezeichnet, da sie alle Punkte des Überwachungsbereiches, d.h. Pixel des entsprechenden Bildes, kennzeichnen, bei denen sich der Grauwert zwischen den beiden Bildaufnahme-Zeitpunkten verändert hat.
In einem weiteren Verfahrensschritt Blobbing 14 werden die einzelnen Bewegungspunkte des Featurebildes zu sogenannten Blobs zusammengefasst. Im vorliegenden Beispiel gehören all jene Bewegungspunkte zu einem bestimmten Blob, welche direkte Nachbarn eines anderen Bewegungspunktes sind, welcher bereits als "zu diesem Blob gehörend" qualifiziert wurde. Mit anderen Worten: Ein Blob ist ein zusammenhängendes Gebiet von Bewegungspunkten (bzw. Matrixelementen der Feature-Bildmatrix), welches auch Löcher, d.h. einzelne oder mehrere Pixel (bzw. Matrixelemente) mit Wert Null, aufweisen kann. Die definierenden Eigenschaften eines Blobs sind seine Position und seine Gewichtung. Die Position eines Blobs wird bestimmt als Schwerpunkt der zum Blob gehörenden Bewegungspunkte. Seine Gewichtung dagegen als Grösse eines Rechtecks, wobei das Rechteck gebildet wird durch horizontale bzw. vertikale Tangenten an den Blob. Für eine Matrix ausgedrückt heisst das: Die Gewichtung eines Blobs entspricht der Grösse der kleinstmöglichen Teilmatrix der Feature-Bildmatrix, welche alle Bewegungspunkte dieses Blobs umfasst. Das Blobbing 14 liefert als Resultat eine Blob-Liste 15, d.h. eine Liste aller Blobs mit der jeweiligen Position und Gewichtung.
Im nächsten Schritt Clustering 16 werden die einzelnen Blobs zu sogenannten Clustern zusammengefasst. Der Überwachungsbereich wird somit in eine Mehrzahl von Regionen mit einem inneren Zusammenhang segmentiert. Die derart identifizierten Regionen weisen z.B. eine homogene Dichte an Bewegung auf und entsprechen häufig realen Bildbereichen wie etwa einem Bereich "neben dem Fenster" oder "vor dem Geldbezugs-Automaten".
Das Clustering 16 erfolgt mittels eines inkrementellen Verfahrens. Startpunkt dieses Verfahrens sind zwei Regionen mit je einem Knoten und einer Standardabweichung. Der Knoten wie auch die Standardabweichung sind frei wählbar und können aufgrund gewisser Vorkenntnisse oder aber rein zufällig gewählt werden. Nach dem Blobbing 14 eines Differenzbildes werden die Blobs einzeln für das Clustering berücksichtigt. Dabei wird ein Blob zunächst derjenigen Region zugeordnet, zu deren Knoten, dem sogenannten Siegerknoten, er die geringste Pseudo-Distanz aufweist. Die Pseudo-Distanz zwischen einem Knoten und einem Blob darf jedoch nicht geometrisch als Abstand verstanden werden, sondern als ein Distanzmass, bei dessen Berechnung nicht nur dieser Abstand, sondern auch die Gewichtung des Blobs sowie der Wert der Standardabweichung berücksichtigt werden. Zwischen dem Siegerknoten und einem weiteren Knoten, zu dem der Blob die zweitgeringste Pseudo-Distanz aufweist, wird eine Verbindung eingeführt. Knoten, die derart verbunden sind, werden als Nachbarn bezeichnet. Abhängig von der Position und der Gewichtung des Blobs, vom aktuellen Knoten und der Standardabweichung sowie den Knoten anderer Regionen wird danach der Knoten und die Standardabweichung der Siegerregion neu berechnet.
Übersteigt die Pseudo-Distanz zwischen dem Blob und dem Siegerknoten eine Maximal-Pseudo-Distanz, wird der Blob als Fehlerblob bezeichnet und es werden zusätzlich zwei Fehlerwerte eingeführt bzw. adaptiert, wenn diese schon existieren. Einerseits ein zu jeder Region gehörender Lokalfehler mit einem Wert und einer Position und andererseits ein Globalfehler, bei dem nur der Wert zählt. Wird der Wert des Globalfehlers zu gross, wird eine neue Region eingeführt, deren Knoten an der Position des Lokalfehlers liegt und dessen Standardabweichung anhand der Fehlerblobs ermittelt wird. Während einer Trainingsphase werden nun die Blobs einer Mehrzahl von Differenzbildern einer nach dem andern für das Clustering berücksichtigt und einer Region zugeordnet, womit sich nach und nach die verschiedenen Regionen herausbilden.
Das Clustering 16 wird im folgenden anhand der Figur 2 etwas detaillierter erläutert. Dargestellt sind in einem zweidimensionalen Vektorraum zwei bereits identifizierte Regionen 26 und 27 mit je einem Knoten 20 bzw. 21, wobei der Knoten 20 der Region 26 als S bezeichnet wird. Ferner ist der Lokalfehler 22 der Region 26 dargestellt. Er befindet sich an einer Art Schwerpunkt aller bisherigen Fehlerblobs dieser Region 26. Kommt ein neuer Blob 23 X mit Koordinaten (xx,xy) und Gewichtung xg hinzu, wird zunächst je die Pseudo-Distanz d(X,S) vom neuen Blob zu den einzelnen Knoten mit den Koordinaten (sx,sy) berechnet gemäss der Formel (I)   d(X,S) = xx -sx + xg/12σx 2 + xy -sy + xg/12σy 2 wobei (σx,σy) die Koordinaten der Standardabweichung der Region 26 sind. (σx,σy) entsprechen der Standardabweichung in x- bzw. y-Richtung der Pseudo-Distanzen dieser Region 26. Der Blob 23 wird derjenigen Region zugeteilt, zu deren Knoten er die geringste Pseudo-Distanz aufweist. In diesem Fall ist dies die Region 26 mit dem Knoten 20 als Siegerknoten. Zum Knoten 21 weist der Blob die zweitgeringste Pseudo-Distanz auf, weshalb zwischen den beiden Knoten 20 und 21 eine topologische Verbindung 29 eingeführt wird. Danach wird der Knoten 20 und die Varianz σ der Region 26, der Siegerregion, neu berechnet. Der Knoten S 20 wird korrigiert gemäss Formel (II)   Sneu = εa · (X - S) - εr · X-S X-S , wobei εa ein vorgegebener Anziehungskoeffizient und εr ein Abstossungskoeffizient ist, der berechnet wird gemäss Formel
Figure 00150001
mit
Figure 00150002
wobei (nx,ny) die Koordinaten eines Nachbarn N des Knotens S sind und mit dem "*" das Skalarprodukt zweier Vektoren bezeichnet wird.
Die Varianz σ2 der Region 26 wird neu berechnet gemäss Formel (V)   σneu 2 = σ2 + ε·(η - σ2), wobei ε ein vorgegebener Korrekturkoeffizient und die Koordinaten (ηx,ηy) berechnet werden gemäss (Vl)   ηx = (xx - sx)2 + xg/12 bzw. ηy = (xy - sy)2 + xg/12.
Damit erhält man die korrigierte Region 28 mit dem korrigierten Knoten 24. Ist, wie in diesem Beispiel angenommen, die Pseudo-Distanz des Blobs X 23 zum Knoten 20 grösser als die vorgegebene Maximal-Pseudo-Distanz, werden auch die Position LP des Lokalfehlers 22 sowie die Werte LW des Lokal- und GW des Globalfehlers korrigiert. Der Wert beider Fehler wird erhöht um einen Wert D, der berechnet wird gemäss
Figure 00160001
und die Position LPneu des korrigierten Lokalfehlers 25 wird aus der alten Position LP berechnet gemäss (VIII)   LPneu = LP ·LW + X·DLW + D .
Nach einer bestimmten Anzahl von Verfahrenszyklen, d.h. nach einer bestimmten Anzahl verarbeiteter Blobs, wird der Wert GW des Globalfehlers überprüft. Ist er grösser als eine vorgegebene Schranke, wird an der Position desjenigen Lokalfehlers mit dem grössten Wert ein neuer Knoten eingeführt. Die Schranke für den Globalfehler wird beispielsweise bestimmt in Abhängigkeit der angenommenen Gaussverteilungen der Blobs um die Knoten.
Zwischen den einzelnen Zyklen können beim Clustering auch weitere Massnahmen durchgeführt werden. Beispielsweise kann eine topologische Verbindung erneuert werden, indem ihr "Alter", d.h. die Zeitspanne seit ihrer Einführung, auf Null zurückgesetzt wird. Dies erfolgt im Hinblick auf eine weitere Massnahme, bei der diejenigen topologischen Verbindungen, deren Alter höher als ein vordefiniertes Maximalalter ist, gelöscht werden. Schliesslich können Knoten, welche keine topologischen Verbindungen zu einem anderen Knoten aufweisen, ebenfalls gelöscht werden.
Zurück zu Figur 2. Nach dem Clustering 16 wird die Information über die identifizierten Regionen mit ihren Knoten und Standardabweichungen sowie den zugehörigen Blobs als Topology Map in einem nächsten Verfahrensschritt Feature Extraction 17 weiterverarbeitet. Im Schritt Feature Extraction 17 wird für jede Region separat die Bewegungsmenge, d.h. die Summe der Gewichtung aller Blobs dieser Region errechnet. Bei N Regionen wird daraus ein Bildvektor F der Länge N mit F=(F1,F2,F3,...,FN) gebildet, indem jeweils die Bewegungsmenge einer Region einer der N Komponenten von F zugewiesen wird. In diesem Beispiel wird angenommen, dass die Bildsequenz nur bezüglich diesem einen Feature klassifiziert wird, weshalb dieser Bildvektor auch gleich dem Featurevektor 9 entspricht.
Im letzten Verfahrensschritt Classifier 18 wird dieser Featurevektor 9 klassifiziert, d.h. es wird geprüft, ob die dem Featurevektor 9 entsprechende Bildsequenz 12 des Überwachungsbereiches eine ordentliche oder eine ausserordentliche Situation im Überwachungsbereich kennzeichnet.
Das zu lösende Problem ist also folgendes: Gegeben sind in einem N-dimensionalen Hyperraum eine Mehrzahl von Punkten bzw. Vektoren, deren Komponenten alle grösser oder gleich Null sind (man schaut also quasi nur den ersten Quadranten des Hyperraumes an, weil die Summe der Gewichtung der Blobs einer Region immer grösser oder gleich Null ist). Gesucht ist ein als ordentlich zu bezeichnendes Gebiet in der Nähe des Ursprungs, welches begrenzt wird durch eine Art Niveaufläche, wobei die Wahrscheinlichkeit, dass ein Punkt ausserhalb dieser Niveaufläche liegt, gleich einer vorgegebenen Maximalwahrscheinlichkeit P* ist. Somit ist die Wahrscheinlichkeit, dass ein Punkt innerhalb der Niveaufläche liegt 1-P*. Die Niveaufläche ist für einen gegebenen Wert c definiert als der Ort aller Punkte, für welche eine Wahrscheinlichkeitsdichte-Funktion p(F) den Wert c besitzt. Zu Bestimmen ist also ein als ordentlich zu bezeichnendes Gebiet des Hyperraumes, innerhalb dem ein bestimmter Prozentsatz aller Punkte bzw. Vektoren liegt.
Es wird angenommen, dass die Wahrscheinlichkeitsdichte-Funktion p(F) folgende allgemeine Form aufweist: (IX)   p(F)=K·exp-(FT·A·F), wobei K eine Konstante ist, FT den transponierten Vektor von F bezeichnet und A eine symmetrische N*N Matrix mit Elementen grösser oder gleich Null ist. Für eine solche Wahrscheinlichkeitsdichte-Funktion haben die Niveauflächen die Form (X)   FT·A·F = c = konstant.
Für den Fall N=2, d.h. wenn man immer nur 2 Regionen gleichzeitig untersucht, ergibt sich:
Figure 00180001
und daraus (XII)   p(F) = K·exp-c mit (XIII)   c = a11F1 2 + 2a12F1F2 + a22F2 2.
In Abhängigkeit der Koeffizienten aij bzw. deren Beziehung untereinander hat die Niveaukurve, welche gebildet wird durch alle Punkte F=(F1,F2), welche die Gleichung (XIII) erfüllen, eine andere Form. Anhand der Kurvenform wiederum kann eine Aussage über die Korrelation von F1 und F2, d.h. die Korrelation von Bewegung innerhalb der beiden Regionen gemacht werden.
Figur 3 zeigt in einem Diagramm für verschiedene Werte resp. Beziehungen der Koeffizienten aij den Verlauf der 2-dimensionalen "Niveauflächen", d.h. der Niveaukurven, welche das ordentliche vom ausserordentlichen Gebiet des durch F1 und F2 aufgespannten 2-dimensionalen "Hyperraumes" trennen. Auf der Abszisse sind die Werte für F1 und auf der Ordinate die Werte für F2 aufgetragen.
i) a12 2 < a11·a22:
Die entsprechende Niveaukurve 31 ist ein elliptischer Bogen und p(F) definiert eine 2-dimensionale Gaussverteilung. Übertragen auf das reale System heisst das, dass die beiden Regionen statistisch unabhängig voneinander sind, d.h. die Präsenz von Bewegung in einer Region beeinflusst die Wahrscheinlichkeit von gleichzeitiger Bewegung in der anderen Region nicht. (Die genauen Werte der Koeffizienten sind: a11=3; a22=2,5; c=2; a12=0,005.)
ii) a12 2 = a11·a22:
Die entsprechende Niveaukurve 32 ist ein Stück einer Geraden. D.h., dass die Bewegung innerhalb der beiden Regionen stark korreliert ist. Die beiden Regionen könnten vielleicht sogar zu einer einzigen Region zusammengefasst werden. (Die genauen Werte der Koeffizienten sind: a11=3; a22= 7,5 ; c=2; a12=0,005.)
iii) a12 2 > a11 · a22:
In diesem Fall ist die Niveaukurve 33 ein hyperbolischer Bogen. Die Regionen sind somit anti-korreliert. Je grösser also die Präsenz von Bewegung in einer Region, desto kleiner ist die Wahrscheinlichkeit von Bewegung in der anderen Region. (Die genauen Werte der Koeffizienten sind: a11=3; a22=2,5; c=2; a12=30.)
Ähnliches lässt sich auch für die Fälle N ≥ 2 herleiten. Um die Sache aber etwas zu vereinfachen, wird eine weitere Annäherung gemacht. Die N-dimensionale Niveaufläche p(F) lässt sich approximieren durch die konvexe Hüllkurve der Projektionen von p(F) auf die Koordinatenflächen. Im vorliegenden Beispiel heisst das: Unter der Annahme, dass die Vektoren (F1,F2,0), (F1,0,F3) und (0,F2,F3) alle jeweils eine ordentliche Situation (in den Koordinatenflächen) kennzeichnen, dann kennzeichnet auch der Vektor (F1,F2,F3) im 3-dimensionalen Gebiet eine ordentliche Situation.
Das vorgängig formulierte Problem das es zu lösen gilt, kann demnach umformuliert werden zu: Gesucht ist für jedes Paar von Regionen die Niveaukurve in der entsprechenden Koordinatenebene, welche das Gebiet begrenzt, innerhalb welchem die Punkte bzw. Vektoren mit der Wahrscheinlichkeit 1-P* zu liegen kommen. Eine brauchbare Approximation der entsprechenden Gleichung (XII) für p(F) ist (XIV)   p(F) = min(K11·exp-a11F1 2;K12·exp-2a12F1F2;K22·exp-a22F2 2), was nichts anderes bedeutet, als dass jeweils unabhängig von den anderen Komponenten einerseits ein Limit für jede Komponente einzeln und andererseits ein Produktlimit für das Kreuzprodukt von je zwei Komponenten von F (d.h. für jedes Element der Matrix X = F·FT) gefunden werden muss. Die Produktlimits der einzelnen Komponenten werden in der entsprechenden Zeile und Spalte einer N*N Limit-Matrix, und die Limits für eine Komponente in der Hauptdiagonalen dieser Limit-Matrix eingetragen (entweder das Limit selber oder das Quadrat des entsprechenden Limits).
Liegt der Wert einer neu berechneten Komponente (bzw. dessen Quadrat) oder eines neu berechneten Kreuzproduktes über dem entsprechenden Wert der aktuellen Limit-Matrix, wird dieser Wert erhöht um ein bestimmtes Mass dL. Ist die Komponente bzw. das Kreuzprodukt jedoch kleiner, wird das aktuelle Limit reduziert um P* ·dL. Als Startwert für ein Limit kann der zuerst berechnete Wert einer Komponente eines Featurevektors bzw. eines Kreuzprodukts der entsprechenden Komponenten verwendet werden.
Der eben beschriebene Classifier kann immer dann angewendet werden, wenn das zu klassifizierende Feature ein Vektor mit nicht-negativen Komponenten ist und es nur zwei Klassen, eine in der Nähe des Ursprungs des Feature-Raumes und eine für den Rest des Feature-Raumes gibt, in welche der Vektor eingeteilt werden kann.
Anstatt die Blobs der Blob-Liste 15 im Schritt Clustering 16 zu verarbeiten, wie das zur Bildung der Topology Map geschieht, kann die Blob-Liste 15 auch direkt im Schritt Feature Extraction 17 verarbeitet werden. Es ist auch möglich, dass die Blob-Liste 15 sowohl mit dem Schritt Clustering 16, als auch direkt mit dem Schritt Feature Extraction 17 weiterverarbeitet wird. Dadurch kann eine Bildsequenz 12 anhand der daraus resultierenden Blobs einerseits als ordentlich oder ausserordentlich erkannt werden und gleichzeitig kann mit den Blobs dieser Bildsequenz 12 auch gleich eine Adaption der Topology Map vorgenommen werden.
Zusammenfassend ist festzustellen, dass es das vorliegende Verfahren erlaubt, ausserordentliche von ordentlichen Situationen in einem Überwachungsbereich anhand von Bewegungsinformation zu unterscheiden, indem zunächst eine Mehrzahl von mathematischen Modellen des Überwachungsbereiches erstellt wird, wobei ein Modell jeweils nur für einen Teil des Überwachungsbereiches gültig ist und die Situationen anschliessend für jedes Modell separat bzw. für je ein Paar von Modellen analysiert und beurteilt werden.

Claims (13)

  1. Verfahren zur Klassifizierung einer Überwachungssituation innerhalb eines Überwachungsbereiches bezüglich ihrer Normalität anhand einer Bildsequenz, welche zumindest ein Bild der Überwachungssituation umfasst, dadurch gekennzeichnet, dass aus der Bildsequenz und aus Informationen über eine Segmentierung des Überwachungsbereiches in zumindest zwei Segmente ein Featurevektor generiert und die Bildsequenz anhand des Featurevektors klassifiziert wird, wobei die Segmentierung des Überwachungsbereiches unter Berücksichtigung dieses Featurevektors neu berechnet wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass aus der Bildsequenz zumindest ein Featurebild berechnet, aus zumindest einem Featurebild mindestens ein Bildvektor generiert und der Featurevektor einem Bildvektor gleichgesetzt oder aus zumindest zwei Bildvektoren zusammengesetzt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass aus dem Featurevektor eine Mehrzahl von Teilvektoren extrahiert, für jeden Teilvektor separat ein Klassifizierungsresultat bestimmt und die Klassifizierung der Überwachungssituation durch eine Verknüpfung der Klassifizierungsresultate durchgeführt wird.
  4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das zumindest eine Featurebild bestimmt wird, indem durch Vergleich zumindest zweier Bilder der Bildsequenz eine Mehrzahl von Bewegungspunkten gebildet und die Bewegungspunkte mittels Blobbing auf eine Mehrzahl von eine Position und eine Gewichtung aufweisende Blobs reduziert werden, die Segmentierung des Überwachungsbereiches erfolgt, indem dieser mittels Clustering anhand der Blobs in zumindest zwei Regionen unterschiedlicher Bewegungsdichte unterteilt wird und eine Komponente des entsprechenden Bildvektors gebildet wird als Summe der Gewichtungen aller Blobs einer Region.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass aus den beiden Bildern ein Differenzbild berechnet wird, wobei ein Pixel des Differenzbildes bestimmt wird, indem ein Betrag einer Differenz der entsprechenden Pixel der beiden Bilder gebildet wird und die Bewegungspunkte denjenigen Pixeln des Differenzbildes entsprechen, deren Wert eine vorgegebene Schranke übersteigt, dass alle Bewegungspunkte, welche einen vorgegebenen Abstand zu einem Blob nicht überschreiten, diesem Blob zugewiesen werden und die Position des Blobs als Schwerpunkt der ihm zugewiesenen Bewegungspunkte und seine Gewichtung als Grösse eines Rechtecks bestimmt wird, welches durch eine Schnittmenge derjenigen Zeilen und Spalten des Differenzbildes gebildet wird, die zumindest einen der dem Blob zugewiesenen Bewegungspunkte enthalten.
  6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass für jede Region ein Knoten und eine Standardabweichung bestimmt, jeder Blob genau einer Region zugeordnet und nach einer Zuordnung eines Blobs zu einer Region der Knoten und die Standardabweichung dieser Region in Abhängigkeit des Blobs, des bisherigen Knotens, der bisherigen Standardabweichung und der Knoten anderer Regionen neu bestimmt wird.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Zuordnung eines Blobs zu einer Region erfolgt, indem eine Pseudo-Distanz zwischen dem Blob und dem Knoten jeder Region bestimmt wird, wobei die Pseudo-Distanz abhängig ist von der Gewichtung und der Position des Blobs sowie von der Standardabweichung und dem Knoten der Region und dass der Blob derjenigen Region zugeordnet wird, zu deren Knoten er die kleinste Pseudo-Distanz aufweist.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass in einer Überwachungsphase eine Situation als ausserordentlich klassifiziert wird, wenn die Pseudo-Distanz eines Blobs zum Knoten derjenigen Region, der er zugewiesen wurde, eine vorgegebene Maximaldistanz überschreitet.
  9. Verfahren nach einem der Ansprüche 2 bis 8, dadurch gekennzeichnet, dass in einer Trainingsphase ein Limit für eine Komponente des Featurevektors derart bestimmt wird, dass ein vorgegebener Prozentsatz aller zuvor berechneten Werte dieser Komponente kleiner oder gleich dem Limit ist.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass in einer Überwachungsphase eine Situation als ausserordentlich klassifiziert wird, wenn eine Komponente des Featurevektors grösser oder gleich dem Limit für diese Komponente ist.
  11. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass in einer Trainingsphase ein Produktlimit für zwei Komponenten des Featurevektors derart bestimmt wird, dass ein vorgegebener Prozentsatz aller zuvor berechneten Produkte der beiden Komponenten kleiner oder gleich dem Produktlimit ist und in einer Überwachungsphase eine Situation als ausserordentlich klassifiziert wird, wenn ein Produkt dieser beiden Komponenten des Featurevektors grösser oder gleich dem Produktlimit dieser beiden Komponenten ist.
  12. Anwendung des Verfahrens nach einem der Ansprüche 1 bis 11 zur Überwachung eines öffentlich zugänglichen Bereichs, insbesondere eines Foyers einer Bank.
  13. Überwachungsanordnung zur Klassifizierung einer Überwachungssituation innerhalb eines Überwachungsbereiches bezüglich ihrer Normalität anhand einer Bildsequenz welche zumindest ein Bild dieser Situation umfasst, dadurch gekennzeichnet, dass die Überwachungsanordnung zumindest ein Bildaufnahmegerät zur Aufnahme der Bildsequenz, eine Klassifiziervorrichtung mit einem Bildeingang und einem Klassifizierungsausgang und zumindest eine Alarmvorrichtung zur Alarmierung einer als ausserordentlich klassifizierten Bildsequenz umfasst, wobei das Bildaufnahmegerät mit dem Bildeingang der Klassifiziervorrichtung und deren Klassifizierungsausgang mit der Alarmvorrichtung verbunden ist und die Klassifiziervorrichtung Mittel zur Generierung eines Featurevektors, zur Segmentierung des Überwachungsbereiches sowie zur Klassifizierung des Featurevektors bezüglich der Normalität der Bildsequenz aufweist.
EP99810863A 1999-09-24 1999-09-24 Verfahren zur Klassifizierung einer Ueberwachungssituation anhand einer Bildsequenz Withdrawn EP1087351A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP99810863A EP1087351A1 (de) 1999-09-24 1999-09-24 Verfahren zur Klassifizierung einer Ueberwachungssituation anhand einer Bildsequenz

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP99810863A EP1087351A1 (de) 1999-09-24 1999-09-24 Verfahren zur Klassifizierung einer Ueberwachungssituation anhand einer Bildsequenz

Publications (1)

Publication Number Publication Date
EP1087351A1 true EP1087351A1 (de) 2001-03-28

Family

ID=8243044

Family Applications (1)

Application Number Title Priority Date Filing Date
EP99810863A Withdrawn EP1087351A1 (de) 1999-09-24 1999-09-24 Verfahren zur Klassifizierung einer Ueberwachungssituation anhand einer Bildsequenz

Country Status (1)

Country Link
EP (1) EP1087351A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0564858A2 (de) * 1992-04-06 1993-10-13 Siemens Aktiengesellschaft Verfahren zur Auflösung von Clustern bewegter Segmente

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0564858A2 (de) * 1992-04-06 1993-10-13 Siemens Aktiengesellschaft Verfahren zur Auflösung von Clustern bewegter Segmente

Similar Documents

Publication Publication Date Title
EP3466239B1 (de) Verfahren für den betrieb einer selbstfahrenden landwirtschaftlichen arbeitsmaschine
EP3044760B1 (de) Verfahren zur analyse der verteilung von objekten in freien warteschlangen
DE60224324T2 (de) Verfahren und Vorrichtung zur Verarbeitung von Fahrzeugbildern
DE102019134141A1 (de) Sicherheitsgurtzustandsbestimmungssystem und verfahren
DE102015104954A1 (de) Sichtbasiertes Überwachungssystem zur Validierung von Aktivitätssequenzen
DE102015206178A1 (de) Ein Videoverfolgungsbasiertes Verfahren zur automatischen Reihung von Fahrzeugen in Drivethrough-Anwendungen
DE102014106211A1 (de) Sichtbasierte Mehrkamera-Fabriküberwachung mit dynamischer Integritätsbewertung
DE102014106210A1 (de) Probabilistische Personennachführung unter Verwendung der Mehr- Ansichts-Vereinigung
DE69738287T2 (de) Verfahren zum Anzeigen eines sich bewegenden Objekts, dessen Bahn zu identifizieren ist, Anzeigesystem unter Verwendung dieses Verfahrens und Programmaufzeichnungsmedium dafür
EP2220588B1 (de) Konfigurationsmodul für ein überwachungssystem, überwachungssystem, verfahren zur konfiguration des überwachungssystems sowie computerprogramm
DE19634768A1 (de) Vorrichtung und Verfahren zur Erfassung eines Gesichts in einem Videobild
DE112017007246T5 (de) Bildanalysevorrichtung, bildanalyseverfahren und bildanalyseprogramm
EP1531342B1 (de) Verfahren zur Erkennung von Fussgängern
DE102017215079A1 (de) Erfassen von Verkehrsteilnehmern auf einem Verkehrsweg
DE102011011931A1 (de) Verfahren zum Auswerten einer Mehrzahl zeitlich versetzter Bilder, Vorrichtung zur Auswertung von Bildern, Überwachungssystem
DE69821225T2 (de) Verfahren zur kontrolle der oberfläche einer laufenden materialbahn mit vorklassifikation von ermittelten unregelmässigkeiten
DE102009026091A1 (de) Verfahren und System zur Überwachung eines dreidimensionalen Raumbereichs mit mehreren Kameras
WO2006105949A2 (de) Verfahren zur ermittlung der belegung eines raumes
EP2359308B1 (de) Vorrichtung zur erzeugung und/oder verarbeitung einer objektsignatur, überwachungsvorrichtung, verfahren und computerprogramm
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
EP1087351A1 (de) Verfahren zur Klassifizierung einer Ueberwachungssituation anhand einer Bildsequenz
WO2021180547A1 (de) Verfahren und vorrichtung zum verarbeiten von bildern
DE102006027120A1 (de) Bildverarbeitungsverfahren, Videoüberwachungssystem sowie Computerprogramm
DE10046859A1 (de) System zur Blickrichtungsdetektion aus Bilddaten
EP1087326A1 (de) Verfahren zur Bildung von Clustern

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

AX Request for extension of the european patent

Free format text: AL;LT;LV;MK;RO;SI

17P Request for examination filed

Effective date: 20010818

AKX Designation fees paid

Free format text: AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20050401