EP2786564A1 - Verfahren und vorrichtung zur überwachung eines überwachungsbereichs - Google Patents

Verfahren und vorrichtung zur überwachung eines überwachungsbereichs

Info

Publication number
EP2786564A1
EP2786564A1 EP12794848.7A EP12794848A EP2786564A1 EP 2786564 A1 EP2786564 A1 EP 2786564A1 EP 12794848 A EP12794848 A EP 12794848A EP 2786564 A1 EP2786564 A1 EP 2786564A1
Authority
EP
European Patent Office
Prior art keywords
monitored
objects
image sensors
image sensor
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP12794848.7A
Other languages
English (en)
French (fr)
Inventor
Markus HERRLI ANDEREGG
Jonas HAGEN
David Studer
Martin Wüthrich
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xovis AG
Original Assignee
Xovis AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xovis AG filed Critical Xovis AG
Priority to EP12794848.7A priority Critical patent/EP2786564A1/de
Publication of EP2786564A1 publication Critical patent/EP2786564A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position

Definitions

  • the invention relates to a method and a device for monitoring a surveillance area with at least two image sensors.
  • a partial area of the surveillance area is monitored by each of the image sensors in that localized objects to be monitored are detected by each image sensor within the subarea monitored by it and data about the detected objects is output by each image sensor.
  • the image sensors are arranged and aligned such that the monitored subareas overlap and that each object to be monitored, which is located in the surveillance area, is always detected by at least one image sensor. From the data of the image sensors, a totality of the objects to be monitored in the monitored area is determined.
  • State of the art State of the art
  • the pictures taken by the cameras are equalized for the combination to the higher picture.
  • Foreground objects such as As moving people are modeled as pixel collections and tracked in their movement.
  • An important feature used to identify individuals is a color signature.
  • the disadvantage of this approach is that in a first step, the images of the cameras must be put together. If the cameras are video cameras, the image sequences of the different cameras must be synchronized in order to be able to assemble the corresponding sequences of the superordinate images. This leads to an increase in the cost of installing the cameras.
  • Other types of modeling can also be used. Such an example is disclosed in US 2008/1 18106 A1 to Kilambi et al. described.
  • groups of people are modeled as elliptical cylinders. These cylinders are used for subsequent calculations, in particular for determining the number of persons in the group.
  • the object of the invention is to provide a method of the technical field mentioned above and a corresponding device, which allow the data from the image sensors improved determination of the entirety of the monitored objects in the surveillance area.
  • the solution of the problem is defined by the features of claim 1.
  • the objects to be monitored in overlapping partial areas, which are detected by more than one image sensor are assigned to one another by means of an evaluation of their agreement in order to determine the entirety of the objects to be monitored in the monitored area.
  • the objects to be monitored in overlapping partial areas, which are detected by more than one image sensor can be assigned to each other by means of a calculation unit based on the data of the image sensors in order to determine the entirety of the objects to be monitored in the monitored area.
  • the calculation unit may be formed as a separate unit or may be integrated into one of the at least two image sensors.
  • the image sensors used for this can be any image sensor type. For example, they may be cameras that only occasionally capture an image. In this case, the detection of an image can each be triggered by a motion sensor. But there is also the possibility that the image sensors capture images at regular intervals. There can be temporal distances of any length between the individual pictures. These distances can also be arbitrarily short. In the latter case, the image sensors may be, for example, cameras which record film sequences.
  • the image sensors can be cameras that record optical images in the visible range. It can also be any other camera type.
  • the image sensors may also be infrared cameras, ultraviolet cameras, or other cameras available per se that capture images of electromagnetic radiation of any other wavelength or range of wavelengths.
  • the image sensors may, for example, also be cameras which record sound or ultrasound images. But there is also the possibility that the image sensors are laser sensors.
  • the type of image sensors there is a possibility that some or all of the image sensors include two sensors. By such an image sensor, detection of the three-dimensional space may be possible.
  • such an image sensor can be an image sensor with two cameras arranged next to one another.
  • the invention can be realized expressly without any detection of stereo images.
  • the image sensors are sensors which enable detection of the three-dimensional space.
  • they can be 3D laser sensors which scan the room and can also detect a distance of the objects to be monitored from the respective SD laser sensor.
  • the objects to be monitored may be persons. In this case, for example, a distinction can be made between adult persons and children. Furthermore, the objects to be monitored may, for example, also be animals. It is also possible to differentiate between different animal sizes. However, there is also the possibility that the objects to be monitored are vehicles or other moving objects. It can be distinguished, for example, between trucks, cars and motorcycles.
  • different image sensors can be used, which are optimized for the corresponding application. In this case, for example, the light conditions can be considered for a choice of image sensors.
  • the entirety of the objects to be monitored determined from the data of the image sensors relates to the objects to be monitored, which are located in the entire surveillance area.
  • this entirety of the objects to be monitored may comprise only a number of the total detected objects or an identification for each object to be monitored.
  • the Entity of objects to be monitored for each of the objects includes more data.
  • the further data may include the positions of the objects.
  • the further data capture a course of movement of the objects. If the totality of the objects to be monitored, together with the identification, comprises further data, then these further data can be listed, for example, as a list. The individual objects can be identified based on their position in the list, which eliminates the need for separate identification of the objects.
  • the evaluation of the match used for the assignment of the objects to be monitored in overlapping partial areas can take place in different ways. For example, it can be a positive rating. In doing so, the match of objects that is more likely to be scored is rated larger, while the score of objects that are less likely to score is rated smaller. There is also the possibility that the individual ratings for probabilities are normalized. Alternatively, the match score may be a negative score (cost score) where the match of items that is more likely to be scored is rated smaller, while the score of items that are less likely to score is to be valued with larger values. As a further variant, however, there is also the possibility that a certain evaluation value represents a highest probability of a match. In doing so, both overlying and underlying rating values may represent a smaller probability of a match. By way of example, underlying and underlying valuation values can thus represent a statement about a used valuation type or valuation criteria used.
  • the solution of the invention has the advantage that the reliability of the assignment of the objects is increased by the evaluation of the agreement. Accordingly, an improved monitoring of the surveillance area is ensured.
  • the method and the device are suitable for person tracking and for counting people and function across sensors or across cameras.
  • each object to be monitored which is located in the monitored area, is always completely detected by at least one image sensor.
  • This has the advantage that the reliability of the assignment is increased because the assignment of the objects detected by different image sensors takes place only for completely detected objects.
  • the objects to be monitored are not always completely covered by at least one image sensor. This can be advantageous in order to also detect edge areas of the monitoring area and to reduce a number of the required image sensors.
  • a matrix is preferably created for the assignment of the objects to be monitored in overlapping subareas whose elements pjj contain the evaluation of how well an object detected by an image sensor with identification i matches an object with identification j detected by another image sensor.
  • the indices i and j run over all objects to be monitored, which are located in the subarea that is monitored by the corresponding image sensor.
  • the indices i and j run only over those objects which are located in an overlapping region of the two subregions and are detected by the corresponding image sensor.
  • the created matrix can also be more than two-dimensional.
  • the matrix may comprise the same number of dimensions as the number of overlapping subregions. Accordingly, the number of indices of the matrix elements pjj must be adjusted. In doing so, the indices can, in turn, contain all the objects to be monitored in the corresponding subarea run or only run over those objects that are within an overlap area of the subregions.
  • a sum of the scores of the matching objects in this combination is formed.
  • the assignment of the objects to be monitored preferably takes place by a choice of the combination, which results in an extreme of this sum.
  • the sum of the reviews will be maximized. This is advantageous when a large score value represents a high probability of a match, while a small score value represents a small probability of a match.
  • the sum can also be minimized. This is advantageous when a small score value represents a high probability of a match, while a large score value represents a small probability of a match.
  • Both maximizing the sum and minimizing the sum have the advantage that an optimal allocation of the objects to be monitored can be achieved in a simple manner.
  • a particular score represents a maximum likelihood of a match
  • both score and score below represent a smaller probability of a match
  • the assignment of the objects to be monitored can be achieved by selecting the combination with one extreme of this sum of the differences.
  • a sum for example, a sum of functional values of the evaluation values or the Differences are formed.
  • the evaluation values or the differences can be squared before the summation, or the square root of the evaluation values or differences can be drawn in each case.
  • the summands are calculated from the evaluation values or differences by means of any other formula or function.
  • the use of such a formula or function may be advantageous since a more stable and reliable algorithm for the assignment of the objects to be monitored can be achieved.
  • the assignment of the objects to be monitored can also be carried out differently than by the formation of a sum of the evaluation values.
  • the objects to be monitored can also be detected by only one image sensor.
  • the fact that an object to be monitored can only be detected by an image sensor can be due, for example, to the fact that an object to be monitored is located at a position monitored only by an image sensor. However, it may also be due to the fact that, while an object to be monitored is located in an overlapping region of two or more subregions, it is only detected by an image sensor. In both cases, taking into account that the objects to be monitored can also be detected by only one image sensor has the advantage that an improved assignment of the objects to be monitored is achieved.
  • a matrix is created for the assignment of the objects to be monitored in overlapping subareas, such a co-consideration can be implemented, for example, by adding in the matrix a column or a row whose elements contain the evaluation that no match with one monitoring object in the sub-area, which is represented by the columns or rows.
  • each object is detected by at least two image sensors.
  • This variant can be advantageous if an assignment takes place only for objects to be monitored, which are located in an overlapping area of two or more subareas. This allows the assignment to be made faster.
  • unassigned objects are included as separate objects in the entirety of the objects to be monitored.
  • This has the advantage that even non-assignable or only with low probability attributable objects are included in the entirety of the objects to be monitored. This allows a more complete and better determination of the entirety of the objects to be monitored. Alternatively, however, there is also the possibility that unassigned objects are not included in the entirety of the objects to be monitored.
  • the data output by the image sensors is output anonymously.
  • the data can be further processed to the entirety of the objects to be monitored, whereby data protection regulations can be adhered to without special precautions being taken to specifically protect further data processing.
  • the anonymization consists, in particular, in the fact that the image sensors do not output any data which could directly or indirectly permit a conclusion on the identity of monitored persons.
  • the captured image data are not output but also no information about recorded colors and / or body mass of the monitored persons.
  • each detected object is represented by a parameterized model.
  • a parameterized model consists solely of a position of the detected object or of a beam which, starting from the corresponding image sensor, passes through the respective detected object.
  • anonymized data about the objects to be monitored can be output by parameterizing the models.
  • a parameterized model also is more complex. For example, a size, a shape or an orientation of the objects to be monitored can be characterized by the parameters. This has the advantage that, despite the output of such parameters, the data on the detected objects can be anonymized.
  • the detected objects are not represented by a parameterized model.
  • each detected object is represented by a parameterized model, preferably for the evaluation of the match, one from a minimum distance between a ray from an image sensor through a centroid of the parameterized model and a ray from takes into account a value calculated for another image sensor by a centroid of the parametric model.
  • the center of gravity of the parameterized model is a reference point of the respective object to be monitored, which in the present document is also referred to as the center of gravity of an object. The use of this term does not mean that it is the physical center of gravity of the object. Although the point may be at the physical center of gravity of an object, it may be located elsewhere in or around the object.
  • the exact arrangement of such a center of gravity can be determinable, for example, on the basis of the parameters output by the corresponding image sensor and the parametric model used.
  • the center of gravity can, however, also be determinable, for example, directly in the corresponding image sensor on the basis of the parametric model used, with the image sensors each outputting only data to the beam starting from the respective image sensor through the center of gravity of the corresponding object.
  • the arrangement of the center of gravity in the parameterized model or in the object to be monitored depends on the model.
  • the center of gravity can be determined differently based on the parameters. For example, it may be a geometric center of the parameterized model. It can also be another point in or around the parameterized model.
  • the center of gravity may be, for example, a center of the ellipse.
  • the object to be monitored is a person, it may, for example, also be the position of the feet or the head of the person to be monitored, which is determined on the basis of the parameters of the parameterized model.
  • each detected object is represented by a parameterized model
  • the value of the height can be adapted dynamically to the last specific value.
  • the value of the height is in each case dynamically adapted to an average of the previously determined values of the height.
  • each detected object is represented by a parameterized model
  • it is preferred for the evaluation of the Agreement takes into account whether a center point of a shortest connecting line between the beam from the one image sensor through the center of gravity of the parameterized model detected by it and the beam from the other image sensor through the center of gravity of the parameterized model detected by it, at a reasonable height for a height of Center of gravity of the objects to be monitored.
  • a center point of a shortest connecting line between the beam from the one image sensor through the center of gravity of the parameterized model detected by it and the beam from the other image sensor through the center of gravity of the parameterized model detected by it at a reasonable height for a height of Center of gravity of the objects to be monitored.
  • a fixed range for a reasonable height is given.
  • an area around a stored and dynamically adjusted value of the height of the center of gravity of the corresponding object is used for the determination of a meaningful height.
  • the use of a fixed range for a meaningful height also has the advantage that the objects to be monitored can be selected according to the height of their center of gravity.
  • no selection of the objects to be monitored should take place according to the height of their center of gravity. For example, this may be the case when the objects to be monitored include both adults and children of different ages and, where appropriate, animals such as dogs or cats.
  • each detected object is represented by a parameterized model
  • a similarity of the parameterized models of the objects to be monitored for the evaluation of the match is preferably taken into account.
  • the parameters that are output from the different image sensors to the modeled objects are directly compared.
  • a position of the models output by the image sensors is compared in space, wherein an orientation and positioning of the image sensors are taken into account.
  • the position of the respective object may be determined by the intersection of the beam from the corresponding image sensor through the center of gravity of the object with a height of the center of gravity of the corresponding object Object above the bottom of the corresponding portion can be determined, wherein the thus determined based on the output from the various image sensors data positions of the objects are compared.
  • the detected objects are modeled with a three-dimensional model such as, for example, an ellipsoid, a cylinder or a rectangular block.
  • the data output by the image sensors does not contain any parameters from this three-dimensional model, but that the data output from the image sensors include parameters of a two-dimensional model representing a projection of the three-dimensional model onto a two-dimensional surface, the two-dimensional Area corresponds to a modeling of the monitored subareas.
  • the data output by the image sensors may be, for example, parameters for an ellipse, a rectangle or another geometric shape. If, in this example, the similarity of the parameterized models of the objects to be monitored is taken into account for the evaluation of the conformity, then for example an orientation and a positioning of the image sensors as well as the fact that the parameters output are parameters of a model can be taken into account, which corresponds to a projection. As an alternative, there is also the possibility that a similarity of the parameterized models of the objects to be monitored is not taken into account for the evaluation of the match.
  • speeds and directions of movement of the objects to be monitored are taken into account for the evaluation of the conformity of the image sensors. This has the advantage of not being due to different movement obviously mismatched objects due to their movement behavior can be evaluated accordingly and held by an assignment.
  • the assignments of the objects to be monitored which have been made earlier are taken into account for the evaluation of the match.
  • This has the advantage that a consistency of the assignments of the objects to be monitored can be achieved over a period of time.
  • the image sensors provide data on the detected objects in short time intervals. For example, this may be the case when the image sensors are cameras that record film sequences.
  • one or more other evaluation criteria such as, for example, a color of the objects to be monitored or another identification of the objects detected by the image sensors, to be used as an evaluation criterion for the evaluation of the match.
  • evaluation criteria may be used together with the above evaluation criteria to evaluate the match.
  • different scoring criteria or different combinations of scoring criteria are used to match the objects in different regions within the surveillance area. This can be advantageous, for example, if the lighting conditions within the monitoring area are very different. In this case, it may be useful, for example, to weight the speed of the objects to be monitored more than a size of the objects in a rather dark region, since a size estimation of the objects is less accurate due to the lighting conditions.
  • the surveillance area is modeled as a two-dimensional area with a two-dimensional coordinate system, wherein each of the objects to be monitored of the entirety of the objects to be monitored is characterized by data relating to this coordinate system.
  • the characterizing data for example, an identification of the corresponding object contain.
  • the data may also include, for example, information about a position, a speed, a course of movement or the like of the corresponding object. This has the advantage that a spatial assignment of the individual objects is made possible.
  • the surveillance area is modeled as a three-dimensional space with a three-dimensional coordinate system, wherein each of the objects of the entirety of the objects to be monitored is characterized by data relating to this coordinate system.
  • the characterizing data may include, for example, an identification of the corresponding object.
  • the data may also include, for example, information about a position, a speed, a course of movement or the like of the corresponding object.
  • the surveillance area is modeled as a one-dimensional space or as a line with a one-dimensional coordinate system, wherein each of the objects of the totality of the objects to be monitored is characterized by data relating to this coordinate system.
  • the surveillance area has an elongated shape and objects can only move along this elongate shape.
  • a surveillance area may be a street, a corridor, a roller conveyor, or any other laterally limited, elongated space.
  • a street, a corridor or a conveyor belt can also be modeled as a two- or three-dimensional space. The latter can be advantageous if, for example, vehicles on the road or persons or animals in the aisle or on the roller conveyor can overtake or cross one another.
  • the surveillance area is modeled as a one-, two- or three-dimensional space with an additional time dimension.
  • the surveillance area is not modeled as one-, two-, or three-dimensional space.
  • Such an alternative may be advantageous if, for example, only a number of objects to be monitored in the monitoring area to be determined. In this case, no data is needed on the location of the objects, which also requires less computational capacity.
  • the monitoring area can also be modeled only by a time dimension in order to determine a temporal change of the number of objects to be monitored in the monitored area.
  • each partial area monitored by an image sensor is modeled as a two-dimensional area having a two-dimensional coordinate system, wherein the data output by each image sensor relating to the detected objects relate to the coordinate system of the partial area monitored by this image sensor.
  • the data output by the image sensors may contain, for example, an identification of the corresponding object.
  • the data may also include information about a position, a speed, a course of movement or the like of the corresponding object.
  • the output data may also include information about a size or other characteristics of the object. This has the advantage that a spatial assignment of the individual objects is made possible and that, if appropriate, certain features of the objects to be monitored can be detected.
  • each subarea monitored by an image sensor may be modeled as a three-dimensional space with a three-dimensional coordinate system, wherein the data output by each image sensor relating to the detected objects relate to the coordinate system of the subarea monitored by this image sensor.
  • the data output by the image sensors may contain, for example, an identification of the corresponding object.
  • the data may also include information about a position, a speed, a course of movement or the like of the corresponding object.
  • the output data may also include information about a size or other characteristics of the object.
  • This variant also has the advantage that a spatial assignment of the individual objects is made possible and that, if appropriate, certain features of the objects to be monitored can be detected.
  • each subarea monitored by an image sensor is modeled as a one-dimensional space or as a line with a one-dimensional coordinate system, with the data output by each image sensor relating to the detected objects being based on the coordinate system of the one monitored by this image sensor Refer to subarea.
  • a subarea may be a roadway, a hallway, a conveyor belt, or any other laterally limited, elongated space.
  • a street or a roller conveyor can also be modeled as a two- or three-dimensional space. This can be advantageous if, for example, vehicles on the road or persons or animals in the corridor or on the roller conveyor can overtake or cross each other.
  • each subarea monitored by an image sensor is modeled as a one-, two- or three-dimensional space with an additional time dimension.
  • the data output by the image sensors to each of the detected objects to be monitored includes an identification and X and Y coordinates.
  • the data output by the image sensors also includes a velocity vector for each of the detected objects to be monitored.
  • the data output by the image sensors comprise different data for each of the detected objects to be monitored.
  • the objects detected by the image sensors are advantageously modeled as ellipsoids whose projection onto the two-dimensional surface of the corresponding subregion yields an ellipse, the data output by the image sensors for each of the detected objects to be monitored, an identification, X and Y coordinates of a center of the ellipse, sizes of the major axes of the ellipse, an orientation angle of the ellipse, and a velocity vector.
  • This has the advantage that the data output by the image sensors are adequately anonymized.
  • the data output by the image sensors enables the objects to be distinguished, as well as positioning and monitoring the speed of the objects.
  • these output data have the advantage that they allow an estimation of a size and a position of the objects to be monitored in the room.
  • the objects detected by the image sensors are modeled differently.
  • the objects can be modeled directly as ellipses.
  • the objects are not modeled as ellipsoids but, for example, as cylinders or rectangular blocks.
  • the objects can also be directly modeled as projections of such a cylinder or as a projection of such a rectangular block or directly as a rectangle.
  • the data output by the image sensors may include corresponding parameters of the modeling of the objects used instead of the major axes of the ellipses and the orientation angle of the ellipse.
  • these parameters may be a height and a radius and an orientation angle of a cylinder.
  • it may also be, for example, the side lengths and the orientation angle of a rectangle.
  • the objects detected by the image sensors are modeled as ellipsoids, wherein the data output by the image sensors to each of the detected objects to be monitored an identification, X, Y and Z coordinates of a center of the ellipsoid, sizes of the major axes of the ellipsoid, two Orientation angle of the ellipsoid and a velocity vector include.
  • the data output by the image sensors are anonymized.
  • the data output by the image sensors enable identification of the objects as well as positioning and monitoring of the speed of the objects.
  • these output data have the advantage that they allow an estimation of a size and a position of the objects to be monitored in the room.
  • the objects detected by the image sensors are modeled differently.
  • the objects can not be modeled as ellipsoids but, for example, as cylinders or rectangular blocks.
  • the data output by the image sensors may include, instead of the major axes of the ellipsoid and the two angles of orientation of the ellipsoid, corresponding parameters of the modeling of the objects used.
  • these parameters may be a height and a radius, as well as two orientation angles of a cylinder.
  • it may also be, for example, the side lengths and two orientation angles of a rectangular block.
  • the objects detected by the image sensors are modeled differently and that the data output by the image sensors comprise different data to the detected objects.
  • the data may include only one position of the detected objects.
  • the data include information such as colors or identification codes of the detected objects.
  • the coordinate systems to which the data output from the image sensors relate are advantageously equalized.
  • the coordinate systems are preferably equalized by straightening objectively caused curvatures of the coordinate systems.
  • the coordinate systems to which the data output by the image sensors relate can be equalized by being adapted to the coordinate system to which the data output from one of the image sensors is adapted. Both have the advantage that the coordinate systems to which the data output from the image sensors relate can be compared more easily with each other.
  • the data output from the image sensors relates to a two-dimensional coordinate system and the surveillance area is modeled by a two-dimensional coordinate system, it is preferable to transmit the data output from the image sensors to the two-dimensional coordinate system of the surveillance area.
  • the data output from the image sensors relate to a three-dimensional coordinate system and the surveillance area is modeled by a three-dimensional coordinate system
  • the data output from the image sensors are preferably transmitted to the three-dimensional coordinate system of the surveillance area.
  • the data output by the image sensors relate to a one-dimensional coordinate system and the surveillance area is modeled by a one-dimensional coordinate system
  • the data output by the image sensors are preferably transmitted to the one-dimensional coordinate system of the surveillance area.
  • This transmission can be done for example by a conversion, in which an alignment and positioning of the different image sensors in the coordinate system of the monitoring area are taken into account. Accordingly, the coordinate systems to which the data output from the image sensors relate may be rotated, for example. In addition, for example, length units of the coordinate systems to which the data output by the image sensors relate can be converted to the coordinate system of the monitored area.
  • the data output by the image sensors relate to a two- or three-dimensional coordinate system and the surveillance area is modeled by a one-dimensional coordinate system
  • the data output by the image sensors are preferably transmitted to the one-dimensional coordinate system of the surveillance area.
  • the data output by the image sensors relate to a three-dimensional coordinate system and the surveillance area is modeled by a one- or two-dimensional coordinate system
  • the data output by the image sensors are preferably transmitted to the one-dimensional or two-dimensional coordinate system of the surveillance area.
  • the data when transferring the data to the coordinate system of the surveillance area, the data may be projected onto the coordinate system of the surveillance area. If, for example, the data contain parameters of a modeling of the objects to be monitored, then for example the model can be projected onto the coordinate system. This means that if the data output by the image sensors contain parameters of an ellipsoid, for example this ellipsoid is projected onto a two-dimensional coordinate system of the surveillance area.
  • the data output by the image sensors contains, for example, parameters of an ellipsoid or an ellipse and the surveillance region is modeled by a one-dimensional coordinate system, then, for example, a longitudinal extension of the ellipsoid or the ellipse on the one-dimensional coordinate system can be taken into account in the transmission of the data.
  • the data output from the image sensors relate to a coordinate system with fewer dimensions than the coordinate system of the monitored area, it is preferable to transmit the data output from the image sensors to the coordinate system of the surveillance area by spatially positioning an alignment of the coordinate systems of the image sensors in the coordinate system of the surveillance area become.
  • the data output by the image sensors relate to a coordinate system of the respective image sensor and if the surveillance area is modeled by a two-dimensional coordinate system, preferably a position and an orientation of each image sensor are stored and transferred to the data output from the image sensors considered two-dimensional coordinate system of the surveillance area.
  • the data output by the image sensors relate to a coordinate system of the respective image sensor and if the surveillance area is modeled by a one- or three-dimensional coordinate system, a position and an orientation of each image sensor are preferably stored and transmitted for transmission by the image sensors Data taken into account on the one- or three-dimensional coordinate system of the surveillance area. In both cases mentioned above, this has the advantage that an optimal transfer of the data to the coordinate system of the monitoring area is achieved.
  • the data output by the image sensors relate to a coordinate system of the respective image sensor and if the monitoring area is modeled by a coordinate system, a position and an orientation of the coordinate systems of the image sensors is determined in each case on the basis of features in the image data of the image sensors, this position and orientation for the transmission of the data output from the image sensors are taken into account on the coordinate system of the monitoring area.
  • the image sensors are mounted overhead. This means that the image sensors are aligned substantially vertically downwards and accordingly capture images of the events below the image sensors. The image sensors are thus expediently arranged above the objects to be monitored.
  • the overhead installation of the image sensors has the advantage that the subregions monitored by the image sensors are monitored from above.
  • the subregions are essentially horizontal surfaces which, although they may have bulges and inclinations, the subregions are thereby monitored from a position substantially perpendicular to their surface. Accordingly, the objects to be monitored move on a surface which is substantially parallel to the image plane of the image sensors. This enables optimal detection of positions and speeds of the objects to be monitored. In addition, this has the advantage that the objects to be monitored only in very few cases from the perspective of the image sensors move each other and can hide each other. If the image sensors are mounted overhead and the objects to be monitored are persons, there is a danger, for example, of marginal areas of the monitored subareas or of an adult person bending over a child, that persons hide each other. Otherwise, the persons can be optimally monitored by this arrangement of the image sensors.
  • the image sensors are not mounted overhead.
  • they can be aligned obliquely downwards or horizontally laterally.
  • such an arrangement of the image sensors may also be advantageous. This may be the case, for example, when monitoring a conveyor belt on which there are persons or animals that are not overtaking each other can. However, this can also be the case, for example, when objects transported on a conveyor belt are to be monitored.
  • Fig. 1 is a schematic representation of an inventive device for
  • Fig. 3 is a further schematic representation of the inventive
  • Fig. 4 is a further schematic representation of the inventive
  • FIG. 1 shows a schematic representation of a device 1 according to the invention for monitoring a monitoring area 2.
  • This device 1 comprises a first image sensor 3 and a second image sensor 4. Both image sensors 3, 4 each comprise a camera which can record film sequences.
  • the first image sensor 3 monitors a first subarea 5 of the surveillance area 2, while the second image sensor 4 monitors a second subarea 6 of the surveillance area 2.
  • the two subregions 5, 6 overlap in an overlapping area 7 and together cover the entire surveillance area 2.
  • the device 1 comprises a calculation unit 8.
  • This calculation unit 8 can be, for example, a server or else a computer.
  • the two image sensors 3 and 4 are connected to the calculation unit 8 and output data to the calculation unit 8.
  • the calculation unit 8 can also be integrated into one of the image sensors 3, 4.
  • the image sensors 3, 4 can detect objects to be monitored within the subarea 5, 6 monitored by them.
  • the objects to be monitored may be persons. It can also be animals, vehicles or objects.
  • Figures 2a, 2b and 2c each show a schematic representation for illustrating the detection of an object to be monitored by an image sensor.
  • first image sensor 3 and the first subregion 5 for the image sensor shown and the subregion shown.
  • this description also stands for the second image sensor 4 described above and the second subregion 6 described above.
  • FIG. 2 a shows the first image sensor 3 and the first subregion 5 monitored by it.
  • the first image sensor 3 comprises a processing unit (not shown) which processes the image data recorded by the first image sensor 3. For this purpose, it identifies objects to be monitored, which are thereby detected by the image sensor 3, and outputs data on the detected objects to be monitored. In the present case, therefore, the data output is data relating to the person 9, which is located in the first subarea 5.
  • the objects to be detected are modeled as ellipsoids in three-dimensional space. As shown in Figure 2b, therefore, the person 9 is modeled by an ellipsoid 10.
  • the image data acquired by the first image sensor 3 are equalized in the processing unit in a first step and the rectified image data are provided with a two-dimensional coordinate system which extends over the monitored first subregion 5.
  • the objects to be monitored in the image data are identified by applying a known method for object identification.
  • this method can be a method in which a still image (without any object in the monitored first subarea 5) is subtracted from the image data.
  • an ellipse 1 1 is placed on the detected objects.
  • lengths of the two main axes of the ellipse 1 1, a position of the ellipse 1 1 and an angle between one of the two main axes of the ellipse 1 1 and a coordinate axis of the first portion 5 are fitted to the corresponding detected object.
  • These data on the detected objects are output by the processing unit and the first image sensor 3 to the computing unit 8 (see FIG. 1) where they are further processed.
  • FIG. 3 shows, as already shown in FIG. 1, a schematic representation of the device 1 according to the invention for monitoring the monitoring area 2.
  • a first of these two persons 9.1 is also located in FIG It is detected by both the first and the second image sensor 3, 4.
  • the second person 9.2 is located only in the second subarea 6 and is only detected by the second image sensor 4.
  • the rays 12.1, 12.2 are shown, which starting from the respective image sensor 3, 4 by the center of gravity or center of the modeled ellipsoid and the corresponding modeled ellipse 1 1.1, 1 1.2 run.
  • the two ellipses 1 1.1, 1 1.2 are shown, which are detected by the two image sensors 3, 4 for the first person 9.1.
  • the parameters of the two ellipses 1 1.1, 1 1.2 are output from the image sensors 3, 4 to the calculation unit 8.
  • the beam 12.3 is shown, which extends from the second image sensor 4 through the center of gravity or center of the modeled ellipsoid and the corresponding modeled ellipse 1 1.3.
  • the ellipse 1 1.3 is shown, which is detected by the second image sensor 4 for the second person 9.2.
  • the parameters of this ellipse 1 1.3 are output from the second image sensor 4 to the calculation unit 8.
  • a totality of the objects to be monitored is determined by the calculation unit 8.
  • the data output by the two image sensors 3, 4 is converted to a two-dimensional coordinate system which extends over the monitoring area 2.
  • a matrix is created on the basis of the converted data.
  • the elements of this matrix contain evaluations for the probability that an object detected by the first image sensor 3 coincides with one of the second image sensor 4.
  • these scores are for probabilities, i. normalized to one.
  • the ratings could also be normalized to another value.
  • the most probable allocation of the detected objects is determined and the entirety of the objects to be monitored is determined. In this case, the most probable assignment is determined by the calculation unit 8 using the Hungarian method, which is also referred to as the Kuhn-Munkres algorithm.
  • a size of the matrix created by the calculation unit depends on the number of objects detected by the two image sensors 3, 4. Because it can be that one of the one Image sensor 3, 4 detected object is not detected by the other image sensor 4, 3, the matrix contains a number of lines, which is the number of objects detected by the one image sensor 3, 4 plus one. Further, for this reason, the matrix contains a number of columns, which is the number of objects detected by the other image sensor 4, 3 plus one. In the present case, only one object to be monitored is detected by the first image sensor 3 with the first person 9.1. Therefore, the matrix determined by the calculation unit 8 has two lines. By contrast, the second image sensor 4 detects two objects to be monitored with the first and the second person 9.1, 9.2. Accordingly, the matrix determined by the calculation unit 8 has three columns. Thus, the matrix determined by the calculation unit 8 has the form:
  • the first line of this matrix relates to assessments that the first person 9.1 detected by the first image sensor 3 coincides with one person or no person detected by the second image sensor 4.
  • the second row of the matrix refers to assessments that no person detected by the first image sensor 3 agrees with one person or with no person detected by the second image sensor 4.
  • the first column of the matrix relates to assessments that the first person 9.1 detected by the second image sensor 4 coincides with one person or no person detected by the first image sensor 3.
  • the second column of the matrix relates to evaluations that the second person 9.2 detected by the second image sensor 4 agrees with one person or with no person detected by the first image sensor 3.
  • the third column refers to assessments that no person detected by the second image sensor 4 coincides with or with any person detected by the first image sensor 3.
  • this element can be set to a fixed value. In the following, this element is set to zero. It could also be set to any other value.
  • both the positions and the orientations of the two image sensors 3, 4 are stored. Therefore, based on the data output by the first image sensor 3, the calculation unit 8 can determine whether an object detected by the first image sensor 3 is only in the first subregion 5, or whether it is also in the second subregion 6 and thus in the overlap region 7.
  • the calculation unit 8 can therefore determine whether an object detected by the second image sensor 4 is only in the second subarea 6, or if it is also in the first subarea 5 and thus in the overlap region 7.
  • the first person 9.1 is in the overlapping area 7, while the second person 9.2 is located only in the second area 6. Accordingly, the calculation unit 8 sets the score p to zero and the score p 2Z to 1:
  • the elements p, p 2 and 13 of the matrix are determined by the calculation unit 8 by the application of boundary conditions as well as certain evaluation criteria.
  • this means that the matrix has the shape
  • the matrix set up by the calculation unit 8 looks different.
  • the matrix created by the calculation unit 8 looks as follows:
  • the values of the elements p and 12 are determined by the calculation unit 8 according to the evaluation criteria explained below.
  • FIG. 4 shows a schematic representation of the device 1 according to the invention for monitoring the monitoring area 2.
  • no persons are shown.
  • the two ellipses 1.1, 1.2 in the overlap area 7 together with the beams 12.1, 12.2 emanating from the image sensors 3, 4 are shown, whose data according to FIG. 3 for the detected first person 9.1 (not shown here) is provided by the image sensors 3 4 are output to the calculation unit 8.
  • FIG. 4 serves to illustrate the determination of the elements of the matrix.
  • the elements of the matrix contain the evaluations for the probability that an object detected by the first image sensor 3 coincides with an object detected by the second image sensor 4.
  • different evaluation criteria can be used.
  • a minimum distance 13 between the rays 12.1, 12.2 emanating from the image sensors 3, 4 can be used as an evaluation criterion.
  • a similarity of the ellipse sizes can be used.
  • the ellipses are projections of an ellipsoid. Accordingly, a distance in the plane of the monitoring area 2 to the respective image sensor 3, 4 can be taken into account for the determination of the ellipse sizes.
  • a measure can be used which rates a meaningful height of the midpoint 14 of the line of the minimum distance 13 between the beams 12.1, 12.2 emanating from the image sensors 3, 4.
  • the sensible height can be adapted to the objects to be monitored. For adult persons the reasonable height can be 80 - 100cm depending on the assumption of the person size.
  • the matrix elements can each be formed from a sum of the different evaluation values.
  • the different evaluation values of the different evaluation criteria can also be weighted differently.
  • the assignment of the objects to be monitored on the basis of the matrix by the calculation unit 8 takes place in a manner known per se, using the Hungarian method, which is also referred to as the Kuhn-Munkres algorithm. From this assignment, the totality of the objects to be monitored is determined by the calculation unit 8.
  • the entirety of the objects to be monitored can be output by the calculation unit 8 again.
  • the monitored objects can be displayed as points in the monitoring area 2 on a screen (not shown).
  • the entirety of the objects to be monitored is output only in the form of numbers.
  • the calculation unit 8 may be connected to a further computer, which evaluates the time profile of the number of objects to be monitored.
  • this additional computer can also, for example, record the movements of the objects and output congestion warnings if two objects accumulate in one area of the surveillance area.
  • the device 1 described above is not the only embodiment according to the invention.
  • Various modifications of the device 1 are possible.
  • the objects to be detected are not modeled by the image sensors as ellipsoids but differently.
  • the data output by the image sensors to contain only the positions of the detected objects or only parameters for beams starting from the respective image sensor for the respective detected object.
  • the data acquisition of the image sensors essentially takes place in three steps as described above in connection with FIG. 2c. Of the data thus acquired can For example, for a detected object only the position of the ellipse midpoint from the processing unit and the corresponding image sensor are output to the calculation unit.
  • the image sensors in each case can output only data on a beam starting from the corresponding image sensor through the ellipse center.
  • another form is fitted to the detected object.
  • it can be a circle or a rectangle.
  • the value of the height of the center of the line of the minimum distance can be stored directly as the height of the center of gravity.
  • a mean value of the previously determined values of the height of the center of gravity is stored. The latter allows the consideration of several determinations of the height of the center of gravity, allowing a more precise determination of the height of the center of gravity. This leads to a more accurate position determination of the objects to be monitored, since the rays emanating from an image sensor and extending to the detected object can run in a very inclined manner when an object is located in the edge region of a subregion. Accordingly, even small deviations in the height of the center of gravity can lead to considerable positional deviations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung (1) zur Überwachung eines Überwachungsbereichs (2) mit wenigstens zwei Bildsensoren (3, 4). Durch jeden der Bildsensoren (3, 4) wird ein Teilbereich (5, 6) des Überwachungsbereichs (2) überwacht, indem durch jeden Bildsensor (3, 4) innerhalb des von ihm überwachten Teilbereichs (5, 6) lokalisierte, zu überwachende Objekte (9.1, 9.2) erfasst werden und von jedem Bildsensor (3, 4) Daten zu den erfassten Objekten (9.1, 9.2) ausgegeben werden. Die Bildsensoren (3, 4) sind derart angeordnet und ausgerichtet, dass sich die überwachten Teilbereiche (5, 6) überlappen und dass jedes zu überwachende Objekt (9,1 m 9,2), welches sich im Überwachungsbereich (2) befindet, immer von mindestens einem Bildsensor (3, 4) erfasst ist. Aus den Daten der Bildsensoren (3, 4) wird eine Gesamtheit der zu überwachenden Objekte im Überwachungsbereich (2) ermittelt, wobei durch eine Berechnungseinheit (8) aufgrund der Daten der Bildsensoren (3, 4) die zu überwachenden Objekte (9.1, 9.2) in überlappenden Teilbereichen (5, 6), welche von mehr als einem Bildsensor (3, 4) erfasst sind, mittels Bewertung ihrer Übereinstimmung einander zuordenbar sind um die Gesamtheit der zu überwachenden Objekte im Überwachungsbereich (2) zu ermitteln. Das Verfahren sowie die Vorrichtung sind geeignet zur Personenverfolgung und zur Personenzählung und funktionieren sensorübergreifend bzw. kameraübergreifend.

Description

Verfahren und Vorrichtung zur Überwachung eines Überwachungsbereichs
Technisches Gebiet
Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur Überwachung eines Überwachungsbereichs mit wenigstens zwei Bildsensoren. Durch jeden der Bildsensoren wird ein Teilbereich des Überwachungsbereichs überwacht, indem durch jeden Bildsensor innerhalb des von ihm überwachten Teilbereichs lokalisierte, zu überwachende Objekte erfasst werden und von jedem Bildsensor Daten zu den erfassten Objekten ausgegeben werden. Die Bildsensoren sind derart angeordnet und ausgerichtet, dass sich die überwachten Teilbereiche überlappen und dass jedes zu überwachende Objekt, welches sich im Überwachungsbereich befindet, immer von mindestens einem Bildsensor erfasst ist. Aus den Daten der Bildsensoren wird eine Gesamtheit der zu überwachenden Objekte im Überwachungsbereich ermittelt. Stand der Technik
Es sind verschiedene Verfahren und Vorrichtungen bekannt, welche zum oben genannten Stand der Technik gehören. Ein Beispiel dazu ist das in der WO 2005/027533 der Intellivid Corp. beschriebene computerunterstützte Videoüberwachungssystem, welches mit verschiedenen Kameras verschiedene Teilbereiche überwachen kann. Jeder dieser Teilbereiche ist in Unterbereiche unterteilt und in jedem Unterbereich werden die erfassten Objekte gezählt. Aufgrund einer Statistik über die Präsenz von Objekten in den Unterbereichen wird eine Wahrscheinlichkeit bestimmt, dass Unterbereiche, welche von verschiedenen Kameras überwacht werden, übereinstimmen. Dadurch können Objekte, welche sich in solchen Unterbereichen befinden, einander zugeordnet werden.
Ein ähnliches Vorgehen wird in der EP 1 676 239 B 1 der Sensormatic Electronics beschrieben. Auch hier werden mit verschiedenen Kameras verschiedene Teilbereiche überwacht, wobei jeder Teilbereich in Unterbereiche unterteilt ist und in jedem Unterbereich die erfassten Objekte gezählt werden. Es wird berücksichtigt, dass sich Objekte in überlappenden Gesichtsfeldern von mehreren Kameras befinden können. Dazu verfügt ein zentraler Rechner über Informationen über die überlappenden Unterbereiche, welche anhand von Korrelationen zwischen Bildern der Kameras gewonnen werden oder welche explizit vorgegeben werden. Objekte, die sich in solchen Unterbereichen befinden, werden einander zugeordnet. Um diese Zuordnung zu verbessern, können Merkmale der Objekte wie beispielsweise ihre Farbe verwendet werden.
Der Nachteil der in der WO 2005/027533 der Intellivid Corp. und in der EP 1 676 239 B 1 der Sensormatic Electronics beschriebenen Systeme ist, dass die Zuordnung der Objekte in erster Linie über eine Zuordnung der überlappenden Unterbereiche erfolgt. Dies führt einerseits dazu, dass zu gross gewählte Unterbereiche zu Ungenauigkeiten führen, weil sich in einem solchen Unterbereich mehrere Objekte befinden können. Andererseits führt dies dazu, dass innerhalb eines von einer Kamera überwachten Teilbereichs beim Übergang eines Objekts von einem Unterbereich in einen anderen Unterbereich Fehlzuordnungen geschehen können. Ein etwas anderer Ansatz wird in der US 7, 149,325 B2 von Honeywell beschrieben. Hier werden die Gesichtsfelder von mehreren Kameras zu einem gemeinsamen, übergeordneten Bild zusammengesetzt. Zu diesem Zweck werden Homografiematrizen gebildet, indem ausgezeichnete Punkte in den überlappenden Bereichen in Übereinstimmung gebracht werden. Dabei werden die von den Kameras aufgenommenen Bilder für die Kombination zum übergeordneten Bild entzerrt. Vordergrundobjekte, wie z. B. sich bewegende Personen, werden als Pixelansammlungen modelliert und in ihrer Bewegung verfolgt. Ein wichtiges Merkmal, welches zur Identifikation von Personen herangezogen wird, ist eine Farbsignatur. Der Nachteil dieses Ansatzes ist, dass in einem ersten Schritt die Bilder der Kameras zusammengesetzt werden müssen. Wenn dabei die Kameras Videokameras sind, müssen die Bildsequenzen der verschiedenen Kameras synchronisiert werden, um die entsprechenden Sequenzen der übergeordneten Bilder zusammensetzen zu können. Dies führt zu einer Verteuerung der Installation der Kameras. Anstelle der in der US 7, 149,325 B2 von Honeywell beschriebenen Modellierung der Personen als Pixelansammlungen können auch andere Modellierungsarten zur Anwendung gelangen. Ein solches Beispiel ist in der US 2008/ 1 18106 A1 von Kilambi et al. beschrieben. Hier werden Gruppen von Personen als elliptische Zylinder modelliert. Diese Zylinder werden für nachfolgende Berechnungen, insbesondere für die Bestimmung der Anzahl Personen in der Gruppe, herangezogen.
Eine weitere Möglichkeit für die Modellierung von Personen ist in der US 7,529,388 B2 von Brown et al. beschrieben. Hier werden die einzelnen Personen als Ellipsen modelliert.
Darstellung der Erfindung
Aufgabe der Erfindung ist es, ein dem eingangs genannten technischen Gebiet zugehörendes Verfahren und eine entsprechende Vorrichtung zu schaffen, welche aus den Daten der Bildsensoren eine verbesserte Ermittlung der Gesamtheit der zu überwachenden Objekten im Überwachungsbereich ermöglichen. Die Lösung der Aufgabe ist durch die Merkmale des Anspruchs 1 definiert. Gemäss dem erfindungsgemässen Verfahren werden aufgrund der Daten der Bildsensoren die zu überwachenden Objekte in überlappenden Teilbereichen, welche von mehr als einem Bildsensor erfasst sind, mittels einer Bewertung ihrer Übereinstimmung einander zugeordnet um die Gesamtheit der zu überwachenden Objekte im Überwachungsbereich zu ermitteln. Gemäss der erfindungsgemässen Vorrichtung sind durch eine Berechnungseinheit aufgrund der Daten der Bildsensoren die zu überwachenden Objekte in überlappenden Teilbereichen, welche von mehr als einem Bildsensor erfasst sind, mittels Bewertung ihrer Übereinstimmung einander zuordenbar um die Gesamtheit der zu überwachenden Objekte im Überwachungsbereich zu ermitteln. Dabei kann die Berechnungseinheit als separate Einheit ausgebildet sein oder kann in einen der wenigstens zwei Bildsensoren integriert sein. Es besteht dabei aber auch die Möglichkeit, dass mehr als einer oder alle der wenigstens zwei Bildsensoren eine solche Berechnungseinheit umfassen. Bei den hierzu verwendeten Bildsensoren kann es sich um einen beliebigen Bildsensortyp handeln. Beispielsweise kann es sich um Kameras handeln, welche nur gelegentlich ein Bild erfassen. Dabei kann die Erfassung eines Bildes jeweils durch einen Bewegungssensor ausgelöst werden. Es besteht aber auch die Möglichkeit, dass die Bildsensoren in regelmässigen Abständen Bilder erfassen. Zwischen den einzelnen Bildern können zeitliche Abstände einer beliebigen Länge bestehen. Diese Abstände können aber auch beliebig kurz sein. In letzterem Fall kann es sich bei den Bildsensoren beispielsweise um Kameras handeln, welche Filmsequenzen aufnehmen. Unabhängig davon, ob die Bildsensoren Einzelbilder oder Filmsequenzen aufnehmen, kann es sich bei den Bildsensoren um Kameras handeln, welche optische Bilder im sichtbaren Bereich aufnehmen. Es kann sich aber auch um einen beliebigen anderen Kameratyp handeln. Beispielsweise kann es sich bei den Bildsensoren auch um Infrarotkameras, Ultraviolettkameras oder um andere, an sich verfügbare Kameras handeln, welche Bilder von elektromagnetischer Strahlung einer beliebigen anderen Wellenlänge oder eines anderen beliebigen Wellenlängenbereichs aufnehmen. Weiter kann es sich bei den Bildsensoren beispielsweise auch um Kameras handeln, welche Schall- oder Ultraschallbilder aufnehmen. Es besteht aber auch die Möglichkeit, dass es sich bei den Bildsensoren um Lasersensoren handelt. Unabhängig vom Typ der Bildsensoren besteht die Möglichkeit, dass einige oder jeder der Bildsensoren zwei Sensoren umfasst. Durch einen solchen Bildsensor kann eine Erfassung des dreidimensionalen Raums möglich sein. Beispielsweise kann es sich bei einem solchen Bildsensor um einen Bildsensor mit zwei nebeneinander angeordneten Kameras handeln. Durch das von den beiden Kameras erfasste Stereobild kann beispielsweise nicht nur eine Position eines Objekts in einer Bildebene erfasst werden, sondern es kann auch eine Position eines Objekts in einer Tiefe senkrecht zur Bildebene bestimmt werden. Die Erfindung lässt sich aber ausdrücklich auch ohne jegliche Erfassung von Stereobildern realisieren. Es besteht aber auch die Möglichkeit, dass es sich bei den Bildsensoren um Sensoren handelt, welche eine Erfassung des dreidimensionalen Raums ermöglichen. Beispielsweise kann es sich um 3D-Lasersensoren handeln, welche den Raum abscannen und dabei auch eine Distanz der zu überwachenden Objekte zum jeweiligen SD- Lasersensor erfassen können.
Genauso wie unterschiedliche Bildsensoren verwendet werden können, können auch unterschiedliche Objekte überwacht werden. Beispielsweise kann es sich bei den zu überwachenden Objekten um Personen handeln. Dabei kann beispielsweise zwischen erwachsenen Personen und Kindern unterschieden werden. Weiter kann es sich aber bei den zu überwachenden Objekten beispielsweise auch um Tiere handeln. Dabei kann ebenfalls zwischen verschiedenen Tiergrössen unterschieden werden. Es besteht aber auch die Möglichkeit, dass die zu überwachenden Objekte Fahrzeuge oder sonstige bewegliche Gegenstände sind. Dabei kann beispielsweise zwischen Lastwagen, Autos und Motorrädern unterschieden werden. Je nach Anwendungsort und zu überwachenden Objekten können verschiedene Bildsensoren verwendet werden, welche für die entsprechende Anwendung optimiert sind. Dabei können für eine Wahl der Bildsensoren beispielsweise auch die Lichtverhältnisse berücksichtigt werden.
Die aus den Daten der Bildsensoren ermittelte Gesamtheit der zu überwachenden Objekte bezieht sich auf die zu überwachenden Objekte, welche sich im gesamten Überwachungsbereich befinden. Dabei kann diese Gesamtheit der zu überwachenden Objekte einzig eine Zahl der insgesamt erfassten Objekte oder aber eine Identifikation für jedes zu überwachende Objekt umfassen. Es besteht aber auch die Möglichkeit, dass die Gesamtheit der zu überwachenden Objekte zu jedem der Objekte weitere Daten umfasst. Beispielsweise können die weiteren Daten die Positionen der Objekte umfassen. Beispielsweise können Sie aber auch die Geschwindigkeiten der Objekte umfassen. Weiter besteht auch die Möglichkeit, dass die weiteren Daten einen Bewegungsverlauf der Objekte erfassen. Falls die Gesamtheit der zu überwachenden Objekte nebst der Identifikation weitere Daten umfasst, so können diese weiteren Daten beispielsweise eine Liste aufgeführt sein. Dabei können die einzelnen Objekte aufgrund Ihrer Position in der Liste identifiziert werden, wodurch sich eine separate Identifikation der Objekte erübrigt.
Die für die Zuordnung der zu überwachenden Objekte in überlappenden Teilbereichen verwendete Bewertung der Übereinstimmung kann auf unterschiedliche Art und Weise erfolgen. Beispielsweise kann es sich um eine positive Bewertung handeln. Dabei wird die Übereinstimmung von Objekten, welche wahrscheinlicher ist, mit grösseren Werten bewertet, während die Übereinstimmung von Objekten, welche weniger wahrscheinlich ist, mit kleineren Werten bewertet wird. Es besteht dabei auch die Möglichkeit, dass die einzelnen Bewertungen zu Wahrscheinlichkeiten normiert werden. Als Variante dazu kann es sich bei der Bewertung der Übereinstimmung aber auch um eine negative Bewertung (Kostenbewertung) handeln, bei welcher die Übereinstimmung von Objekten, welche wahrscheinlicher ist, mit kleineren Werten bewertet wird, während die Übereinstimmung von Objekten, welche weniger wahrscheinlich ist, mit grösseren Werten bewertet werden. Als weitere Variante besteht aber auch die Möglichkeit, dass ein bestimmter Bewertungswert eine höchste Wahrscheinlichkeit einer Übereinstimmung darstellt. Dabei können sowohl darüberliegende als auch darunter liegende Bewertungswerte eine kleinere Wahrscheinlichkeit einer Übereinstimmung darstellen. Darüberliegende und darunterliegende Bewertungswerte können dadurch beispielsweise eine Aussage über eine verwendete Bewertungsart oder über verwendete Bewertungskriterien darstellen.
Die Lösung der Erfindung hat den Vorteil, dass durch die Bewertung der Übereinstimmung die Zuverlässigkeit der Zuordnung der Objekte erhöht ist. Entsprechend ist eine verbesserte Überwachung des Überwachungsbereichs gewährleistet. Zudem sind das Verfahren und die Vorrichtung geeignet zur Personenverfolgung und zur Personenzählung und funktionieren sensorübergreifend bzw. kameraübergreifend. Vorzugsweise ist jedes zu überwachende Objekt, welches sich im Überwachungsbereich befindet, immer vollständig von mindestens einem Bildsensor erfasst. Dies hat den Vorteil, dass die Zuverlässigkeit der Zuordnung erhöht ist, weil die Zuordnung der von verschiedenen Bildsensoren erfassten Objekte nur für vollständig erfasste Objekte erfolgt. Als Alternative dazu besteht aber auch die Möglichkeit, dass die zu überwachenden Objekte nicht immer vollständig von mindestens einem Bildsensor erfasst sind. Dies kann vorteilhaft sein, um auch Randbereiche des Überwachungsbereichs zu erfassen und um eine Anzahl der benötigten Bildsensoren zu reduzieren.
Bevorzugt wird jeweils für die Zuordnung der zu überwachenden Objekte in überlappenden Teilbereichen eine Matrix erstellt, deren Elemente pjj die Bewertung enthalten, wie gut ein von einem Bildsensor erfasstes Objekt mit Identifikation i mit einem von einem anderen Bildsensor erfassten Objekt mit Identifikation j übereinstimmt. Dabei besteht die Möglichkeit, dass die Indizes i und j über alle zu überwachenden Objekte laufen, welche sich im Teilbereich befinden, der vom entsprechenden Bildsensor überwacht wird. Es besteht aber auch die Möglichkeit, dass die Indizes i und j nur über diejenigen Objekte laufen, welche sich in einem Überlappungsbereich der beiden Teilbereiche befinden und vom entsprechenden Bildsensor erfasst sind.
Falls sich drei oder mehr Teilbereiche, welche von einer entsprechenden Anzahl Bildsensoren überwacht werden, gegenseitig überlappen, so besteht die Möglichkeit, dass in einem ersten Schritt eine Zuordnung der zu überwachenden Objekten in zwei der Teilbereichen vorgenommen wird. In einem weiteren Schritt kann dann eine Zuordnung der zu überwachenden Objekte in den bereits bearbeiteten Teilbereichen und der zu überwachenden Objekte in einem weiteren Teilbereich vorgenommen werden. Dieser weitere Schritt kann wiederholt werden, bis alle überlappenden Teilbereiche bearbeitet sind.
Im Fall von drei oder mehr sich überlappenden Teilbereichen kann in einer Variante die erstellte Matrix aber auch mehr als zweidimensional sein. Beispielsweise kann die Matrix dieselbe Anzahl Dimensionen wie die Anzahl sich überlappender Teilbereiche umfassen. Entsprechend ist die Anzahl der Indizes der Matrixelemente pjj anzupassen. Dabei können die Indizes wiederum über alle zu überwachenden Objekte im entsprechenden Teilbereich laufen oder aber nur über diejenigen Objekte laufen, welche sich innerhalb eines Überlappungsbereichs der Teilbereiche befinden.
Es ist möglich, nur Bewertungen für Übereinstimmungen zu bestimmen, bei welchen mindestens eine gewisse Wahrscheinlichkeit einer Übereinstimmung besteht. Für die nicht bewerteten Übereinstimmungen stehen also keine Elemente. Entsprechend kann dadurch Speicherplatz und Berechnungszeit eingespart werden.
Vorzugsweise wird für jede Kombination von möglicherweise übereinstimmenden Objekten eine Summe der Bewertungen der bei dieser Kombination übereinstimmenden Objekte gebildet. Bevorzugt erfolgt dabei die Zuordnung der zu überwachenden Objekte durch eine Wahl der Kombination, welche ein Extrem dieser Summe ergibt. Dabei besteht die Möglichkeit, dass die Summe der Bewertungen maximiert wird. Dies ist dann vorteilhaft, wenn ein grosser Bewertungswert eine grosse Wahrscheinlichkeit einer Übereinstimmung darstellt, während ein kleiner Bewertungswert eine kleine Wahrscheinlichkeit einer Übereinstimmung darstellt. Die Summe kann aber auch minimiert werden. Dies ist dann vorteilhaft, wenn ein kleiner Bewertungswert eine grosse Wahrscheinlichkeit einer Übereinstimmung darstellt, während ein grosser Bewertungswert eine kleine Wahrscheinlichkeit einer Übereinstimmung darstellt. Sowohl eine Maximierung der Summe als auch eine Minimierung der Summe haben den Vorteil, dass auf einfache Art und Weise eine optimale Zuordnung der zu überwachenden Objekte erreicht werden kann. Falls ein bestimmter Bewertungswert eine höchste Wahrscheinlichkeit einer Übereinstimmung darstellt und sowohl darüberliegende als auch darunter liegende Bewertungswerte eine kleinere Wahrscheinlichkeit einer Übereinstimmung darstellen, so kann als Variante beispielsweise eine Summe der Differenzen zwischen dem Bewertungswert mit der höchsten Wahrscheinlichkeit und den Bewertungswerten der bei dieser Kombination übereinstimmenden Objekte gebildet werden. Dabei kann die Zuordnung der zu überwachenden Objekte durch eine Wahl der Kombination mit einem Extrem dieser Summe der Differenzen erreicht werden.
Als Variante zu diesen Ausführungsformen, welche die Bildung einer Summe vorsehen, kann beispielsweise auch eine Summe von Funktionswerten der Bewertungswerte bzw. der Differenzen gebildet werden. Als Funktion können beispielsweise die Bewertungswerte bzw. die Differenzen vor der Summierung quadriert werden oder es kann jeweils die Quadratwurzel von den Bewertungswerten bzw. Differenzen gezogen werden. Es besteht aber auch die Möglichkeit, dass die Summanden aus den Bewertungswerten bzw. Differenzen mittels einer beliebigen anderen Formel oder Funktion berechnet werden. Je nach konkreter Ausführungsform kann die Verwendung einer solche Formel oder Funktion vorteilhaft sein, da dadurch ein stabilerer und zuverlässigerer Algorithmus für die Zuordnung der zu überwachenden Objekte erreicht werden kann.
Alternativ zu diesen Varianten kann die Zuordnung der zu überwachenden Objekte aber auch anders als durch die Bildung einer Summe der Bewertungswerte erfolgen.
Vorteilhafterweise wird bei der Bewertung der Übereinstimmung von zu überwachenden Objekten mitberücksichtigt, dass die zu überwachenden Objekte auch nur von einem Bildsensor erfasst sein können. Dass ein zu überwachendes Objekt nur von einem Bildsensor erfasst sein kann, kann beispielsweise dadurch begründet sein, dass sich ein zu überwachendes Objekt an einer nur von einem Bildsensor überwachten Position befindet. Es kann aber auch dadurch begründet sein, dass sich ein zu überwachendes Objekt zwar in einem Überlappungsbereich von zwei oder mehr Teilbereichen befindet, aber nur von einem Bildsensor erfasst ist. In beiden Fällen hat eine Mitberücksichtigung, dass die zu überwachenden Objekte auch nur von einem Bildsensor erfasst sein können, den Vorteil, dass eine verbesserte Zuordnung der zu überwachenden Objekte erreicht wird.
Falls jeweils für die Zuordnung der zu überwachenden Objekte in überlappenden Teilbereichen eine Matrix erstellt wird, kann eine solche Mitberücksichtigung beispielsweise dadurch umgesetzt sein, dass in der Matrix eine Spalte oder eine Reihe hinzugefügt wird, deren Elemente die Bewertung enthalten, dass keine Übereinstimmung mit einem zu überwachenden Objekt im Teilbereich besteht, welcher durch die Spalten bzw. Reihen repräsentiert wird.
Als Variante dazu besteht auch die Möglichkeit, dass für die Bewertung der Übereinstimmungen der zu überwachenden Objekte vorausgesetzt wird, dass jedes Objekt von wenigstens zwei Bildsensoren erfasst ist. Diese Variante kann vorteilhaft sein, wenn eine Zuordnung nur für zu überwachende Objekte erfolgt, welche sich in einem Überlappungsbereich von zwei oder mehr Teilbereichen befinden. Dadurch kann die Zuordnung rascher erfolgen.
Bevorzugt werden nicht zugeordnete Objekte als separate Objekte in die Gesamtheit der zu überwachenden Objekte aufgenommen. Dies hat den Vorteil, dass auch nicht zuordenbare oder nur mit geringer Wahrscheinlichkeit zuordenbare Objekte mit in die Gesamtheit der zu überwachenden Objekte aufgenommen werden. Dadurch wird eine vollständigere und bessere Ermittlung der Gesamtheit der zu überwachenden Objekte ermöglicht. Alternativ dazu besteht aber auch die Möglichkeit, dass nicht zugeordnete Objekte nicht mit in die Gesamtheit der zu überwachenden Objekte aufgenommen werden.
Vorzugsweise werden die von den Bildsensoren ausgegebenen Daten anonymisiert ausgegeben. Dadurch können die Daten zur Gesamtheit der zu überwachenden Objekte weiterverarbeitet werden, wobei Datenschutzvorschriften eingehalten werden können, ohne dass spezielle Vorkehrungen getroffen werden müssten, um die weitere Datenverarbeitung speziell zu schützen. Die Anonymisierung besteht insbesondere darin, dass die Bildsensoren keinerlei Daten ausgeben, die unmittelbar oder mittelbar einen Rückschluss auf die Identität von überwachten Personen erlauben könnten. Beispielsweise werden die erfassten Bilddaten nicht ausgegeben aber auch keine Angaben über erfasste Farben und/oder Körpermasse der überwachten Personen.
Als Alternative dazu besteht aber auch die Möglichkeit, dass die von den Bildsensoren ausgegebenen Daten nicht anonymisiert ausgegeben werden.
Bevorzugt wird in den von den Bildsensoren ausgegebenen Daten jedes erfasste Objekt durch ein parametrisiertes Modell repräsentiert. Dabei besteht die Möglichkeit, dass ein solches parametrisierte Modell einzig aus einer Position des erfassten Objekts oder aus einem Strahl, welcher ausgehend vom entsprechenden Bildsensor durch das jeweilig erfasste Objekt verläuft, besteht. Dies hat den Vorteil, dass durch die Parametrisierung der Modelle anonymisierte Daten über die zu überwachenden Objekte ausgegeben werden können. Weiter besteht aber auch die Möglichkeit, dass ein parametrisiertes Modell auch komplexer aufgebaut ist. Beispielsweise kann dadurch eine Grösse, eine Form oder eine Ausrichtung der zu überwachenden Objekte durch die Parameter charakterisiert werden. Dies hat den Vorteil, dass trotz Ausgabe solcher Parameter die Daten zu den erfassten Objekten anonymisiert werden können. Als Variante dazu besteht aber auch die Möglichkeit, dass in den von den Bildsensoren ausgegebenen Daten die erfassten Objekte nicht durch ein parametrisiertes Modell repräsentiert werden.
Falls in den von den Bildsensoren ausgegebenen Daten jedes erfasste Objekt durch ein parametrisiertes Modell repräsentiert wird, so wird vorzugsweise für die Bewertung der Übereinstimmung jeweils ein aus einer minimalen Distanz zwischen einem Strahl ausgehend von einem Bildsensor durch einen Schwerpunkt des parametrisierten Modells und einem Strahl ausgehend von einem anderen Bildsensor durch einen Schwerpunkt des parametrisierten Modells berechneter Wert berücksichtigt. Dabei handelt es sich beim Schwerpunkt des parametrisierten Modells um einen Referenzpunkt des jeweiligen zu überwachenden Objekts, welcher im vorliegenden Dokument auch als Schwerpunkt eines Objekts bezeichnet wird. Die Verwendung dieses Begriffs bedeutet nicht, dass es sich um den physikalischen Schwerpunkt des Objekts handelt. Der Punkt kann sich zwar an der Stelle des physikalischen Schwerpunkts eines Objekts befinden, er kann aber auch woanders im oder um das Objekt angeordnet sein. Die genaue Anordnung eines solchen Schwerpunkts kann beispielsweise aufgrund der vom entsprechenden Bildsensor ausgegebenen Parameter und dem verwendeten parametrisierten Modell bestimmbar sein. Der Schwerpunkt kann aber beispielsweise auch direkt im entsprechenden Bildsensor aufgrund des verwendeten parametrisierten Modells bestimmbar sein, wobei die Bildsensoren jeweils nur Daten zum Strahl ausgehend vom jeweiligen Bildsensor durch den Schwerpunkt des entsprechenden Objekts ausgeben. Entsprechend ist die Anordnung des Schwerpunkts im parametrisierten Modell bzw. im zu überwachenden Objekt modellabhängig. Zudem kann der Schwerpunkt auf der Basis der Parameter unterschiedlich bestimmt sein. Beispielsweise kann es sich um eine geometrische Mitte des parametrisierten Modells handeln. Es kann sich aber auch um einen anderen Punkt im oder um das parametrisierte Modell handeln. Falls es sich beim parametrisierten Modell beispielsweise um eine Ellipse handelt, so kann es sich beim Schwerpunkt beispielsweise um einen Mittelpunkt der Ellipse handeln. Wenn das zu überwachende Objekt eine Person ist, so kann es sich beispielsweise auch um die Position der Füsse oder des Kopfs der zu überwachenden Person handeln, welche aufgrund der Parameter des parametrisierten Modells bestimmt wird.
Falls in den von den Bildsensoren ausgegebenen Daten jedes erfasste Objekt durch ein parametrisiertes Modell repräsentiert wird, so wird vorzugsweise für jedes zu überwachende Objekt der Gesamtheit der zu überwachenden Objekte eine Höhe des Schwerpunkts des entsprechenden Objekts gespeichert, wobei anfangs eine sinnvolle Höhe als Wert dieser Höhe angenommen wird und der Wert dieser Höhe dynamisch angepasst wird, indem bei jeder Zuordnung von zu überwachenden Objekten, bei welcher das entsprechende zu überwachende Objekt von wenigstens zwei Bildsensoren erfasst ist, eine Höhe des Schwerpunkts dieses Objekts bestimmt wird, indem eine Höhe eines Mittelpunkts einer kürzesten Verbindungslinie zwischen einem Strahl ausgehend vom einen Bildsensor durch den Schwerpunkt des von ihm erfassten parametrisierten Modells und einem Strahl ausgehend vom anderen Bildsensor durch den Schwerpunkt des von ihm erfassten parametrisierten Modells ermittelt wird. Dabei kann der Wert der Höhe beispielsweise dynamisch jeweils an den letzten bestimmten Wert angepasst werden. Es besteht aber auch die Möglichkeit, dass der Wert der Höhe jeweils dynamisch an einen Mittelwert der bisher bestimmten Werte der Höhe angepasst wird. Beides hat den Vorteil, dass die Positionen der zu überwachenden Objekte der Gesamtheit der zu überwachenden Objekte präziser bestimmt werden können, indem jeweils ein Strahl ausgehend vom entsprechenden Bildsensor durch den Schwerpunkt des von ihm erfassten parametrisierten Modells verwendet werden kann, wobei die Position des jeweiligen Objekts dem Schnittpunkt des Strahls mit einer Höhe des Schwerpunkts des entsprechenden Objekts über dem Boden des entsprechenden Teilbereichs entspricht.
Es besteht aber auch die Möglichkeit, dass keine Höhe des Schwerpunkts der zu erfassenden Objekte bestimmt und gespeichert bzw. dynamisch angepasst wird.
Falls in den von den Bildsensoren ausgegebenen Daten jedes erfasste Objekt durch ein parametrisiertes Modell repräsentiert wird, so wird bevorzugt für die Bewertung der Übereinstimmung berücksichtigt, ob sich ein Mittelpunkt einer kürzesten Verbindungslinie zwischen dem Strahl ausgehend vom einen Bildsensor durch den Schwerpunkt des von ihm erfassten parametrisierten Modells und dem Strahl ausgehend vom anderen Bildsensor durch den Schwerpunkt des von ihm erfassten parametrisierten Modells auf einer sinnvollen Höhe für eine Höhe eines Schwerpunkts der zu überwachenden Objekte befindet. Dabei besteht die Möglichkeit, dass ein fester Bereich für eine sinnvolle Höhe vorgegeben wird. Es besteht aber auch die Möglichkeit, dass ein Bereich um einen gespeicherten und dynamisch angepassten Wert der Höhe des Schwerpunkts des entsprechenden Objekts für die Bestimmung einer sinnvollen Höhe verwendet wird. Beides hat den Vorteil, dass in der Bewertung berücksichtigt wird, wie plausibel die Übereinstimmung von zwei Objekten aufgrund der Höhe ihres Schwerpunkts ist. Die Verwendung eines festen Bereichs für eine sinnvolle Höhe hat zudem den Vorteil, dass die zu überwachenden Objekte nach der Höhe ihres Schwerpunkts selektioniert werden können. Als Variante dazu besteht auch die Möglichkeit, dass bei der Bewertung der Übereinstimmung keine Höhe des Mittelpunkts der kürzesten Verbindungslinie zwischen dem Strahl ausgehend vom einen Bildsensor durch den Schwerpunkt des von ihm erfassten parametrisierten Modells und dem Strahl ausgehend vom anderen Bildsensor durch den Schwerpunkt des von ihm erfassten parametrisierten Modells berücksichtigt wird. Dies ist vorteilhaft, wenn keine Selektion der zu überwachenden Objekte nach der Höhe ihres Schwerpunkts stattfinden soll. Beispielsweise kann dies der Fall sein, wenn die zu überwachenden Objekte sowohl erwachsene Personen wie auch Kinder verschiedenen Alters und gegebenenfalls Tiere wie beispielsweise Hunde oder Katzen umfassen.
Falls in den von den Bildsensoren ausgegebenen Daten jedes erfasste Objekt durch ein parametrisiertes Modell repräsentiert wird, so wird vorzugsweise eine Ähnlichkeit der parametrisierten Modelle der zu überwachenden Objekte für die Bewertung der Übereinstimmung berücksichtigt. Dabei besteht die Möglichkeit, dass die Parameter, die von den verschiedenen Bildsensoren zu den modellierten Objekten ausgegeben werden, direkt verglichen werden. Es besteht aber auch die Möglichkeit, dass beispielsweise eine Lage der von den Bildsensoren ausgegebenen Modelle im Raum verglichen wird, wobei eine Ausrichtung und eine Positionierung der Bildsensoren berücksichtigt werden. Falls für die erfassten, zu überwachenden Objekte ein Wert für die Höhe ihres Schwerpunkts gespeichert und möglicherweise dynamisch angepasst wird, kann beispielsweise die Position des jeweiligen Objekts durch den Schnittpunkt des Strahls ausgehend vom entsprechenden Bildsensor durch den Schwerpunkt des Objekts mit einer Höhe des Schwerpunkts des entsprechenden Objekts über dem Boden des entsprechenden Teilbereichs bestimmt werden, wobei die derart aufgrund der von den verschiedenen Bildsensoren ausgegebenen Daten bestimmten Positionen der Objekte miteinander verglichen werden. Weiter besteht aber auch die Möglichkeit, dass beispielsweise in den Bildsensoren die erfassten Objekte mit einem dreidimensionalen Modell wie beispielsweise einem Ellipsiod, einem Zylinder oder einem rechteckigen Block modelliert werden. Dabei besteht beispielsweise die Möglichkeit, dass die von den Bildsensoren ausgegebenen Daten keine Parameter von diesem dreidimensionalen Modell enthalten, sondern dass die von den Bildsensoren ausgegebenen Daten Parameter eines zweidimensionalen Modells enthalten, welches eine Projektion des dreidimensionalen Models auf eine zweidimensionale Fläche darstellt, wobei die zweidimensionale Fläche einer Modellierung der überwachten Teilbereiche entspricht. In diesem Fall können die von den Bildsensoren ausgegebenen Daten beispielsweise Parameter zu einer Ellipse, einem Rechteck oder einer anderen geometrischen Form sein. Wenn in diesem Beispiel die Ähnlichkeit der parametrisierten Modelle der zu überwachenden Objekte für die Bewertung der Übereinstimmung berücksichtigt wird, so können beispielsweise eine Ausrichtung und eine Positionierung der Bildsensoren sowie die Tatsache berücksichtigt werden, dass es sich bei den ausgegebenen Parameter um Parameter eines Modells handelt, welches einer Projektion entspricht. Als Alternative dazu besteht auch die Möglichkeit, dass für die Bewertung der Übereinstimmung eine Ähnlichkeit der parametrisierten Modelle der zu überwachenden Objekte nicht berücksichtigt wird.
Vorteilhafterweise werden für die Bewertung der Übereinstimmung von den Bildsensoren erfasste Geschwindigkeiten und Bewegungsrichtungen der zu überwachenden Objekte berücksichtigt. Dies hat den Vorteil, dass nicht aufgrund unterschiedlicher Bewegung offensichtlich nicht übereinstimmende Objekte aufgrund ihres Bewegungsverhaltens entsprechend bewertet und von einer Zuordnung abgehalten werden können.
Als Variante dazu besteht auch die Möglichkeit, dass für die Bewertung der Übereinstimmung nur entweder von den Bildsensoren erfasste Geschwindigkeiten oder Bewegungsrichtungen der zu überwachten Objekte berücksichtigt werden. Dies hat ebenfalls den Vorteil, dass nicht übereinstimmende Objekte aufgrund ihres Bewegungsverhaltens entsprechend bewertet und von einer Zuordnung abgehalten werden können.
Als Alternative dazu besteht aber auch die Möglichkeit, dass für die Bewertung der Übereinstimmung weder von den Bildsensoren erfasste Geschwindigkeiten noch Bewegungsrichtungen der zu überwachten Objekte berücksichtigt werden.
Bevorzugt werden für die Bewertung der Übereinstimmung früher erfolgte Zuordnungen der zu überwachenden Objekte berücksichtigt. Dies hat den Vorteil, dass über einen Zeitraum eine Konsistenz der Zuordnungen der zu überwachenden Objekte erreicht werden kann. Dies ist besonders dann vorteilhaft, wenn die Bildsensoren in kurzen zeitlichen Abständen Daten zu den erfassten Objekten liefern. Beispielsweise kann dies der Fall sein, wenn es sich bei den Bildsensoren um Kameras handelt, welche Filmsequenzen aufnehmen.
Als Alternative dazu besteht aber auch die Möglichkeit, dass keine früher erfolgten Zuordnungen der zu überwachenden Objekte für die Bewertung der Übereinstimmung berücksichtigt werden. Eine solche Alternative ist beispielsweise dann angezeigt, wenn die Bildsensoren in zeitlichen Abständen Daten zu den erfassten Objekten liefern, wobei sich jeweils in der Zwischenzeit die zu überwachenden Objekte über erhebliche Distanzen bewegt haben können. Bevorzugt werden für die Bewertung der Übereinstimmung mehrere der oben genannten Bewertungskriterien verwendet. Dabei können die verschiedenen Bewertungskriterien unterschiedlich stark gewichtet sein. Dies hat den Vorteil, dass für verschieden Arten von zu überwachenden Objekten und verschiedene Situationen, in denen die Objekte überwacht werden sollen, eine optimale Bewertung der Übereinstimmung erreicht werden kann.
Als bevorzugte Variante dazu besteht aber auch die Möglichkeit, dass für die Bewertung der Übereinstimmung nur eines der oben genannten Bewertungskriterien verwendet wird. Je nach zu überwachenden Objekten und je nach Situationen, in denen die Objekte überwacht werden sollen, kann dadurch ebenfalls eine optimale Bewertung der Übereinstimmung erreicht werden.
Als Alternative dazu besteht aber auch die Möglichkeit, dass ein oder mehrere andere Bewertungskriterien wie beispielsweise eine Farbe der zu überwachenden Objekte oder eine andere von den Bildsensoren erfasste Identifikation der Objekte als Bewertungskriterium für die Bewertung der Übereinstimmung verwendet werden. Dabei besteht auch die Möglichkeit, dass solche andere Bewertungskriterien zusammen mit den oben genannten Bewertungskriterien zur Bewertung der Übereinstimmung verwendet werden. Weiter besteht die Möglichkeit, dass für die Zuordnung der Objekte in verschiedenen Regionen innerhalb des Überwachungsbereichs unterschiedliche Bewertungskriterien oder verschiedene Kombinationen von Bewertungskriterien für die Bewertung der Übereinstimmung verwendet werden. Dies kann beispielsweise vorteilhaft sein, wenn die Lichtverhältnisse innerhalb des Überwachungsbereichs stark unterschiedlich sind. Dann kann es beispielsweise sinnvoll sein, in einer eher dunklen Region die Geschwindigkeit der zu überwachenden Objekte stärker als eine Grösse der Objekte zu gewichten, da eine Grössenabschätzung der Objekte aufgrund der Lichtverhältnisse ungenauer ist. Gleichzeitig kann in einer helleren Region für die Bewertung der Übereinstimmung eine Grösse der Objekte vergleichsweise stärker gewichtet sein. Vorzugsweise wird der Überwachungsbereich als zweidimensionale Fläche mit einem zweidimensionalen Koordinatensystem modelliert, wobei jedes der zu überwachenden Objekte der Gesamtheit der zu überwachenden Objekte durch sich auf dieses Koordinatensystem beziehende Daten charakterisiert wird. Dabei können die charakterisierenden Daten beispielsweise eine Identifikation des entsprechenden Objekts enthalten. Die Daten können aber beispielsweise auch Angaben über eine Position, eine Geschwindigkeit, einen Bewegungsverlauf oder Ähnliches des entsprechenden Objekts beinhalten. Dies hat den Vorteil, dass eine örtliche Zuordnung der einzelnen Objekte ermöglicht wird. Als Variante dazu besteht auch die Möglichkeit, dass der Überwachungsbereich als dreidimensionaler Raum mit einem dreidimensionalen Koordinatensystem modelliert wird, wobei jedes der Objekte der Gesamtheit der zu überwachenden Objekte durch sich auf dieses Koordinatensystem beziehende Daten charakterisiert wird. Dabei können die charakterisierenden Daten beispielsweise eine Identifikation des entsprechenden Objekts enthalten. Die Daten können aber beispielsweise auch Angaben über eine Position, eine Geschwindigkeit, einen Bewegungsverlauf oder Ähnliches des entsprechenden Objekts beinhalten. Diese Variante hat ebenfalls den Vorteil, dass eine örtliche Zuordnung der einzelnen Objekte ermöglicht wird.
Als weitere Variante dazu besteht auch die Möglichkeit, dass der Überwachungsbereich als eindimensionaler Raum bzw. als Linie mit einem eindimensionalen Koordinatensystem modelliert wird, wobei jedes der Objekte der Gesamtheit der zu überwachenden Objekte durch sich auf dieses Koordinatensystem beziehende Daten charakterisiert wird. Dies ist beispielsweise vorteilhaft, wenn der Überwachungsbereich eine längliche Form aufweist und sich Objekte nur entlang dieser länglichen Form bewegen können. Beispielsweise kann es sich bei einem solchen Überwachungsbereich um eine Strasse, um einen Flur, um ein Rollband oder um einen anderen, seitlich begrenzen, länglichen Raum handeln. Selbstverständlich kann aber eine Strasse, ein Flur oder ein Rollband auch als zwei- oder dreidimensionaler Raum modelliert werden. Letzteres kann vorteilhaft sein, wenn sich beispielsweise Fahrzeuge auf der Strasse oder Personen oder Tiere im Gang oder auf dem Rollband gegenseitig überholen oder kreuzen können.
Falls ein Bewegungsverlauf der Objekte aufgezeichnet werden soll, so besteht zudem die Möglichkeit, dass der Überwachungsbereich als ein-, zwei- oder dreidimensionaler Raum mit einer zusätzlichen Zeitdimension modelliert wird. Als Alternative dazu besteht aber auch die Möglichkeit, dass der Überwachungsbereich nicht als ein-, zwei- oder dreidimensionaler Raum modelliert wird. Eine solche Alternative kann vorteilhaft sein, wenn beispielsweise einzig eine Anzahl der zu überwachenden Objekte im Überwachungsbereich ermittelt werden soll. In diesem Fall werden keine Daten zur Position der Objekte benötigt, wodurch auch weniger Berechnungskapazität benötigt wird. In diesem Fall kann beispielsweise der Überwachungsbereich aber auch nur durch eine Zeitdimension modelliert sein, um eine zeitliche Änderung der Anzahl zu überwachende Objekte im Überwachungsbereich zu ermitteln.
Vorzugsweise wird jeder von einem Bildsensor überwachte Teilbereich als zweidimensionale Fläche mit einem zweidimensionalen Koordinatensystem modelliert, wobei sich die von jedem Bildsensor ausgegebenen Daten zu den erfassten Objekten auf das Koordinatensystem des von diesem Bildsensor überwachten Teilbereichs beziehen. Dabei können die von den Bildsensoren ausgegebenen Daten beispielsweise eine Identifikation des entsprechenden Objekts enthalten. Beispielsweise können die Daten aber auch Angaben über eine Position, eine Geschwindigkeit, einen Bewegungsverlauf oder Ähnliches des entsprechenden Objekts beinhalten. Beispielsweise können die ausgegebenen Daten aber auch Angaben über eine Grösse oder andere Charakteristika des Objekts beinhalten. Dies hat den Vorteil, dass eine örtliche Zuordnung der einzelnen Objekte ermöglicht wird und dass gegebenenfalls gewisse Merkmale der zu überwachenden Objekte erfassbar sind.
Als Variante dazu besteht auch die Möglichkeit, dass jeder von einem Bildsensor überwachte Teilbereich als dreidimensionaler Raum mit einem dreidimensionalen Koordinatensystem modelliert wird, wobei sich die von jedem Bildsensor ausgegebenen Daten zu den erfassten Objekten auf das Koordinatensystem des von diesem Bildsensor überwachten Teilbereichs beziehen. Dabei können die von den Bildsensoren ausgegebenen Daten beispielsweise eine Identifikation des entsprechenden Objekts enthalten. Beispielsweise können die Daten aber auch Angaben über eine Position, eine Geschwindigkeit, einen Bewegungsverlauf oder Ähnliches des entsprechenden Objekts beinhalten. Beispielsweise können die ausgegebenen Daten aber auch Angaben über eine Grösse oder andere Charakteristika des Objekts beinhalten. Diese Variante hat ebenfalls den Vorteil, dass eine örtliche Zuordnung der einzelnen Objekte ermöglicht wird und dass gegebenenfalls gewisse Merkmale der zu überwachenden Objekte erfassbar sind.
Als weitere Variante dazu besteht auch die Möglichkeit, dass jeder von einem Bildsensor überwachte Teilbereich als eindimensionaler Raum bzw. als Linie mit einem eindimensionalen Koordinatensystem modelliert wird, wobei sich die von jedem Bildsensor ausgegebenen Daten zu den erfassten Objekten auf das Koordinatensystem des von diesem Bildsensor überwachten Teilbereichs beziehen. Dies ist beispielsweise vorteilhaft, wenn der entsprechende Teilbereich eine längliche Form aufweist und sich Objekte nur entlang dieser länglichen Form bewegen können. Beispielsweise kann es sich bei einem solchen Teilbereich um eine Strasse, um einen Flur, um ein Rollband oder um einen anderen, seitlich begrenzen, länglichen Raum handeln. Selbstverständlich kann aber eine Strasse oder ein Rollband auch als zwei- oder dreidimensionaler Raum modelliert werden. Dies kann vorteilhaft sein, wenn sich beispielsweise Fahrzeuge auf der Strasse oder Personen oder Tiere im Flur oder auf dem Rollband gegenseitig überholen oder kreuzen können.
Falls ein Bewegungsverlauf der Objekte aufgezeichnet werden soll, so besteht zudem die Möglichkeit, dass jeder von einem Bildsensor überwachte Teilbereich als ein-, zwei- oder dreidimensionaler Raum mit einer zusätzlichen Zeitdimension modelliert wird.
Als Alternative dazu besteht aber auch die Möglichkeit, dass nicht jeder von einem Bildsensor überwachte Teilbereich als ein-, zwei- oder dreidimensionaler Raum modelliert wird. Beispielsweise kann jeder von einem Bildsensor überwachte Teilbereich als andersdimensionaler Raum modelliert werden. Zudem besteht die Möglichkeit, dass einer, mehrere oder alle überwachten Teilbereiche als mehr als dreidimensionale Räume modelliert werden. Vorteilhafterweise umfassen die von den Bildsensoren ausgegebenen Daten zu jedem der erfassten, zu überwachenden Objekte eine Identifikation und X- und Y-Koordinaten. In einer bevorzugten Variante umfassen die von den Bildsensoren ausgegebenen Daten zudem zu jedem der erfassten, zu überwachenden Objekte einen Geschwindigkeitsvektor. Alternativ dazu besteht aber auch die Möglichkeit, dass die von den Bildsensoren ausgegebenen Daten jedem der erfassten, zu überwachenden Objekte andere Daten umfassen.
Falls die von den Bildsensoren überwachten Teilbereiche als zweidimensionale Flächen mit einem zweidimensionalen Koordinatensystem modelliert werden, so werden vorteilhafterweise die von den Bildsensoren erfassten Objekte als Ellipsoide modelliert, deren Projektion auf die zweidimensionale Fläche des entsprechenden Teilbereichs eine Ellipse ergeben, wobei die von den Bildsensoren ausgegebenen Daten zu jedem der erfassten, zu überwachenden Objekte eine Identifikation, X- und Y-Koordinaten eines Mittelpunkts der Ellipse, Grössen der Hauptachsen der Ellipse, einen Orientierungswinkel der Ellipse sowie einen Geschwindigkeitsvektor umfassen. Dies hat den Vorteil, dass die von den Bildsensoren ausgegebenen Daten ausreichend anonymisiert sind. Gleichzeitig ermöglichen die von den Bildsensoren ausgegebenen Daten aber die Unterscheidung der Objekte sowie eine Positionierung und Überwachung der Geschwindigkeit der Objekte. Weiter haben diese ausgegebenen Daten den Vorteil, dass sie eine Abschätzung einer Grösse und einer Lage der zu überwachenden Objekte im Raum erlauben.
Als Variante dazu besteht auch die Möglichkeit, dass die von den Bildsensoren erfassten Objekte anders modelliert werden. Beispielsweise können die Objekte direkt als Ellipsen modelliert werden. Es besteht aber auch die Möglichkeit, dass die Objekte nicht als Ellipsoide, sondern beispielsweise als Zylinder oder rechteckige Blöcke modelliert werden. Genauso können die Objekte aber auch direkt als Projektionen eines solchen Zylinders oder als Projektion eines solchen rechteckigen Blocks oder direkt als Rechteck modelliert werden. In dieser Variante können die von den Bildsensoren ausgegebenen Daten anstelle der Hauptachsen der Ellipsen und des Orientierungswinkels der Ellipse entsprechende Parameter der verwendeten Modellierung der Objekte enthalten. Beispielsweise kann es sich bei diesen Parametern um eine Höhe und einen Radius sowie um einen Orientierungswinkel eines Zylinders handeln. Es kann sich dabei aber beispielsweise auch um die Seitenlängen und um den Orientierungswinkel eines Rechtecks handeln.
Falls die von den Bildsensoren überwachten Teilbereiche als dreidimensionale Räume mit einem dreidimensionalen Koordinatensystem modelliert werden, so werden vorteilhafterweise die von den Bildsensoren erfassten Objekte als Ellipsoide modelliert, wobei die von den Bildsensoren ausgegebenen Daten zu jedem der erfassten, zu überwachenden Objekte eine Identifikation, X-, Y- und Z-Koordinaten eines Mittelpunkts des Ellipsoids, Grössen der Hauptachsen des Ellipsoids, zwei Orientierungswinkel des Ellipsoids sowie einen Geschwindigkeitsvektor umfassen. Dies hat ebenfalls den Vorteil, dass die von den Bildsensoren ausgegebenen Daten anonymisiert sind. Gleichzeitig ermöglichen die von den Bildsensoren ausgegebenen Daten aber eine Identifikation der Objekte sowie eine Positionierung und Überwachung der Geschwindigkeit der Objekte. Weiter haben diese ausgegebenen Daten den Vorteil, dass sie eine Abschätzung einer Grösse und einer Lage der zu überwachenden Objekte im Raum erlauben.
Als Variante dazu besteht auch die Möglichkeit, dass die von den Bildsensoren erfassten Objekte anders modelliert werden. Beispielsweise können die Objekte nicht als Ellipsoide, sondern beispielsweise als Zylinder oder rechteckige Blöcke modelliert werden. In dieser Variante können die von den Bildsensoren ausgegebenen Daten anstelle der Hauptachsen des Ellipsoids und der beiden Orientierungswinkel des Ellipsoids entsprechende Parameter der verwendeten Modellierung der Objekte enthalten. Beispielsweise kann es sich bei diesen Parametern um eine Höhe und einen Radius sowie um zwei Orientierungswinkel eines Zylinders handeln. Es kann sich dabei aber beispielsweise auch um die Seitenlängen und um zwei Orientierungswinkel eines rechteckigen Blocks handeln. Alternativ dazu besteht auch die Möglichkeit, dass die von den Bildsensoren erfassten Objekte anders modelliert werden und dass die von den Bildsensoren ausgegebenen Daten andere Daten zu den erfassten Objekten umfassen. Beispielsweise können die Daten auch nur eine Position der erfassten Objekte umfassen. Es besteht aber auch die Möglichkeit, dass die Daten Informationen wie beispielsweise Farben oder Identifizierungscodes der erfassten Objekte umfassen.
Falls sich die von den Bildsensoren ausgegebenen Daten auf ein ein-, zwei- oder dreidimensionales Koordinatensystem beziehen, so werden die Koordinatensysteme, auf welche sich die von den Bildsensoren ausgegebenen Daten beziehen, vorteilhafterweise entzerrt. Dabei werden die Koordinatensysteme bevorzugt dadurch entzerrt, dass objektivbedingte Krümmungen der Koordinatensysteme begradigt werden. Dies kann beispielsweise der Fall sein, wenn die verwendeten Bildsensoren Kameras sind, welche ein Weitwinkelobjektiv verwenden. Es besteht aber beispielsweise auch die Möglichkeit, dass die Koordinatensysteme, auf die sich die von den Bildsensoren ausgegebenen Daten beziehen, dadurch entzerrt werden, dass sie an das Koordinatensystem, auf welches sich die von einem der Bildsensoren ausgegebenen Daten beziehen, angepasst werden. Beides hat den Vorteil, dass die Koordinatensysteme, auf die sich die von den Bildsensoren ausgegebenen Daten beziehen, einfacher miteinander in verglichen werden können.
Als bevorzugte Variante dazu besteht auch die Möglichkeit, dass, falls sich die von den Bildsensoren ausgegebenen Daten auf ein ein-, zwei- oder dreidimensionales Koordinatensystem beziehen, die Koordinatensysteme bereits im entsprechenden Bildsensor entzerrt werden, wodurch sich die von den Bildsensoren ausgegebenen Daten bereits auf entzerrte Koordinatensysteme beziehen. Dies hat ebenfalls den Vorteil, dass die Koordinatensysteme, auf die sich die von den Bildsensoren ausgegebenen Daten beziehen, einfacher miteinander in verglichen werden können. Alternativ dazu besteht aber auch die Möglichkeit, dass, falls sich die von den Bildsensoren ausgegebenen Daten auf ein ein-, zwei- oder dreidimensionales Koordinatensystem beziehen, die Koordinatensysteme, auf welche sich die von den Bildsensoren ausgegebenen Daten beziehen, nicht entzerrt werden.
Falls sich die von den Bildsensoren ausgegebenen Daten auf ein zweidimensionales Koordinatensystem beziehen und der Überwachungsbereich durch ein zweidimensionales Koordinatensystem modelliert wird, so werden bevorzugt die von den Bildsensoren ausgegebenen Daten auf das zweidimensionale Koordinatensystem des Überwachungsbereichs übertragen.
Falls sich die von den Bildsensoren ausgegebenen Daten auf ein dreidimensionales Koordinatensystem beziehen und der Überwachungsbereich durch ein dreidimensionales Koordinatensystem modelliert wird, so werden bevorzugt die von den Bildsensoren ausgegebenen Daten auf das dreidimensionale Koordinatensystem des Überwachungsbereichs übertragen. Falls sich die von den Bildsensoren ausgegebenen Daten auf ein eindimensionales Koordinatensystem beziehen und der Überwachungsbereich durch ein eindimensionales Koordinatensystem modelliert wird, so werden bevorzugt die von den Bildsensoren ausgegebenen Daten auf das eindimensionale Koordinatensystem des Überwachungsbereichs übertragen.
Diese Übertragung kann beispielsweise durch eine Umrechnung erfolgen, bei welcher eine Ausrichtung und eine Positionierung der verschiedenen Bildsensoren im Koordinatensystem des Überwachungsbereichs berücksichtigt werden. Entsprechend können die Koordinatensysteme, auf die sich die von den Bildsensoren ausgegebenen Daten beziehen, beispielsweise gedreht werden. Zudem können beispielsweise Längeneinheiten der Koordinatensysteme, auf die sich die von den Bildsensoren ausgegebenen Daten beziehen, auf das Koordinatensystem des Überwachungsbereichs umgerechnet werden.
Falls sich die von den Bildsensoren ausgegebenen Daten auf ein zwei- oder dreidimensionales Koordinatensystem beziehen und der Überwachungsbereich durch ein eindimensionales Koordinatensystem modelliert wird, so werden bevorzugt die von den Bildsensoren ausgegebenen Daten auf das eindimensionale Koordinatensystem des Überwachungsbereichs übertragen.
Falls sich die von den Bildsensoren ausgegebenen Daten auf ein dreidimensionales Koordinatensystem beziehen und der Überwachungsbereich durch ein ein- oder zweidimensionales Koordinatensystem modelliert wird, so werden bevorzugt die von den Bildsensoren ausgegebenen Daten auf das ein- bzw. zweidimensionale Koordinatensystem des Überwachungsbereichs übertragen.
In diesen beiden Fällen besteht die Möglichkeit, dass bei der Übertragung der Daten auf das Koordinatensystem des Überwachungsbereichs die Daten auf das Koordinatensystem des Überwachungsbereichs projiziert werden. Falls die Daten beispielsweise Parameter einer Modellierung der zu überwachenden Objekte enthalten, so kann beispielsweise das Modell auf das Koordinatensystem projiziert werden. Das bedeutet, dass, falls die von den Bildsensoren ausgegebenen Daten Parameter eines Ellipsoids enthalten, beispielsweise dieses Ellipsoid auf ein zweidimensionales Koordinatensystem des Überwachungsbereichs projiziert wird. Falls die von den Bildsensoren ausgegebenen Daten hingegen beispielsweise Parameter eines Ellipsoids oder einer Ellipse enthalten und der Überwachungsbereich durch ein eindimensionales Koordinatensystem modelliert wird, so kann beispielsweise bei der Übertragung der Daten eine Längenausdehnung des Ellipsoids bzw. der Ellipse auf dem eindimensionalen Koordinatensystem berücksichtigt werden.
Falls sich die von den Bildsensoren ausgegebenen Daten auf ein Koordinatensystem mit weniger Dimensionen als das Koordinatensystem des Überwachungsbereichs beziehen, so werden bevorzugt die von den Bildsensoren ausgegebenen Daten auf das Koordinatensystem des Überwachungsbereichs übertragen, indem eine Ausrichtung der Koordinatensysteme der Bildsensoren räumlich im Koordinatensystem des Überwachungsbereichs angeordnet werden.
Falls sich die von den Bildsensoren ausgegebenen Daten auf ein Koordinatensystem des jeweiligen Bildsensors beziehen und falls der Überwachungsbereich durch ein zweidimensionales Koordinatensystem modelliert wird, so werden bevorzugt eine Position sowie eine Ausrichtung von jedem Bildsensor abgespeichert und für die Übertragung der von den Bildsensoren ausgegebenen Daten auf das zweidimensionale Koordinatensystem des Überwachungsbereichs berücksichtigt.
Falls sich die von den Bildsensoren ausgegebenen Daten auf ein Koordinatensystem des jeweiligen Bildsensors beziehen und falls der Überwachungsbereich durch ein ein- oder dreidimensionales Koordinatensystem modelliert wird, so werden bevorzugt eine Position sowie eine Ausrichtung von jedem Bildsensor abgespeichert und für die Übertragung der von den Bildsensoren ausgegebenen Daten auf das ein- bzw. dreidimensionale Koordinatensystem des Überwachungsbereichs berücksichtigt. In beiden vorhergenannten Fällen hat dies den Vorteil, dass eine optimale Übertragung der Daten auf das Koordinatensystem des Überwachungsbereichs erreicht wird.
Als Variante dazu besteht aber auch die Möglichkeit, dass, falls sich die von den Bildsensoren ausgegebenen Daten auf ein Koordinatensystem des jeweiligen Bildsensors beziehen und falls der Überwachungsbereich durch ein Koordinatensystem modelliert wird, eine Position sowie eine Ausrichtung der Koordinatensysteme der Bildsensoren jeweils aufgrund von Merkmalen in den Bilddaten der Bildsensoren bestimmt wird, wobei diese Position sowie Ausrichtung für die Übertragung der von den Bildsensoren ausgegebenen Daten auf das Koordinatensystem des Überwachungsbereichs berücksichtigt werden. Bevorzugt werden die Bildsensoren überkopf montiert. Das bedeutet, dass die Bildsensoren im Wesentlichen senkrecht nach unten ausgerichtet werden und entsprechend Bilder vom Geschehen unterhalb der Bildsensoren erfassen. Die Bildsensoren werden also zweckmässigerweise oberhalb der zu überwachenden Objekte angeordnet. Die Montage der Bildsensoren überkopf hat den Vorteil, dass die von den Bildsensoren überwachten Teilbereiche von oben her überwacht werden. Falls die Teilbereiche im Wesentlichen horizontale Flächen sind, welche zwar Wölbungen und Neigungen aufweisen können, werden dadurch die Teilbereiche aus einer im Wesentlichen senkrecht zu ihrer Fläche liegenden Position überwacht. Entsprechend bewegen sich die zu überwachenden Objekte auf einer Fläche, welche im Wesentlichen parallel zur Bildebene der Bildsensoren ist. Dadurch wird eine optimale Erfassung von Positionen und Geschwindigkeiten der zu überwachenden Objekte ermöglicht. Zudem hat dies den Vorteil, dass sich die zu überwachenden Objekte nur in den wenigsten Fällen aus der Perspektive der Bildsensoren voreinander bewegen und gegenseitig verdecken können. Wenn die Bildsensoren überkopf montiert werden und die zu überwachenden Objekte Personen sind, so besteht beispielsweise vor allem in Randbereichen der überwachten Teilbereiche oder wenn sich eine erwachsene Person über ein Kind beugt eine Gefahr, dass sich Personen gegenseitig verdecken. Ansonsten können die Personen durch diese Anordnung der Bildsensoren optimal überwacht werden.
Als Variante dazu besteht auch die Möglichkeit, dass die Bildsensoren nicht überkopf montiert werden. Beispielsweise können sie schräg nach unten oder horizontal seitlich ausgerichtet werden. Je nach zu überwachenden Objekten und Geometrie des Überwachungsbereichs kann auch eine solche Anordnung der Bildsensoren vorteilhaft sein. Dies kann beispielsweise der Fall sein, wenn ein Rollband überwacht werden soll, auf welchem sich Personen oder Tiere befinden, welche sich nicht gegenseitig überholen können. Dies kann aber beispielsweise auch der Fall sein, wenn auf einem Förderband transportierte Gegenstände überwacht werden sollen.
Aus der nachfolgenden Detailbeschreibung und der Gesamtheit der Patentansprüche ergeben sich weitere vorteilhafte Ausführungsformen und Merkmalskombinationen der Erfindung.
Kurze Beschreibung der Zeichnungen
Die zur Erläuterung des Ausführungsbeispiels verwendeten Zeichnungen zeigen:
Fig. 1 eine schematische Darstellung einer erfindungsgemässen Vorrichtung zur
Überwachung eines Überwachungsbereichs,
Fig. 2a, b, c je eine schematische Darstellung zur Illustration der Erfassung eines zu überwachenden Objekts durch einen Bildsensor,
Fig. 3 eine weitere schematische Darstellung der erfindungsgemässen
Vorrichtung zur Überwachung des Überwachungsbereichs und
Fig. 4 eine weitere schematische Darstellung der erfindungsgemässen
Vorrichtung zur Überwachung des Überwachungsbereichs.
Grundsätzlich sind in den Figuren gleiche Teile mit gleichen Bezugszeichen versehen.
Wege zur Ausführung der Erfindung
Figur 1 zeigt eine schematische Darstellung einer erfindungsgemässen Vorrichtung 1 zur Überwachung eines Überwachungsbereichs 2. Diese Vorrichtung 1 umfasst einen ersten Bildsensor 3 und einen zweiten Bildsensor 4. Beide Bildsensoren 3, 4 umfassen je eine Kamera, welche Filmsequenzen aufnehmen kann. Der erste Bildsensor 3 überwacht einen ersten Teilbereich 5 des Überwachungsbereichs 2, während der zweite Bildsensor 4 einen zweiten Teilbereich 6 des Überwachungsbereichs 2 überwacht. Die beiden Teilbereiche 5, 6 überlappen sich in einem Überlappungsbereich 7 und decken zusammen den gesamten Überwachungsbereich 2 ab.
Weiter umfasst die Vorrichtung 1 eine Berechnungseinheit 8. Diese Berechnungseinheit 8 kann beispielsweise ein Server oder sonst ein Computer sein. Die beiden Bildsensoren 3 und 4 sind mit der Berechnungseinheit 8 verbunden und geben Daten an die Berechnungseinheit 8 aus. In einer anderen Ausführungsform kann die Berechnungseinheit 8 aber auch in einen der Bildsensoren 3, 4 integriert sein. Dabei besteht auch die Möglichkeit, dass mehrere der Bildsensoren 3, 4 eine solche Berechnungseinheit 8 umfassen. Die Bildsensoren 3, 4 können innerhalb des von ihnen überwachten Teilbereichs 5, 6 zu überwachende Objekte erfassen. Beispielsweise kann es sich bei den zu überwachenden Objekten um Personen handeln. Es kann sich aber auch um Tiere, Fahrzeuge oder Gegenstände handeln.
Die Figuren 2a, 2b und 2c zeigen je eine schematische Darstellung zur Illustration der Erfassung eines zu überwachenden Objekts durch einen Bildsensor. Im Folgenden wird für den gezeigten Bildsensor und den gezeigten Teilbereich jeweils auf den ersten Bildsensor 3 und den ersten Teilbereich 5 Bezug genommen. Es handelt sich dabei aber um eine exemplarische Beschreibung, welche auch für weitere Bildsensoren und weitere Teilbereiche steht. Insbesondere steht diese Beschreibung auch für den oben beschriebenen zweiten Bildsensor 4 und den oben beschriebenen zweiten Teilbereich 6.
In Figur 2a ist der erste Bildsensor 3 und der von ihm überwachte erste Teilbereich 5 gezeigt. Im ersten Teilbereich 5 befindet sich eine Person 9. Um diese Person 9 zu erfassen, umfasst der erste Bildsensor 3 eine Verarbeitungseinheit (nicht gezeigt), welche die vom ersten Bildsensor 3 aufgenommenen Bilddaten verarbeitet. Dazu identifiziert sie zu überwachende Objekte, welche dadurch vom Bildsensor 3 erfasst sind und gibt Daten zu den erfassten, zu überwachenden Objekten aus. Im vorliegenden Fall handelt es sich daher bei den ausgegebenen Daten um Daten zur Person 9, welche sich im ersten Teilbereich 5 befindet. Für die Verarbeitung der vom ersten Bildsensor 3 erfassten Bilddaten werden die zu erfassenden Objekte als Ellipsoide im dreidimensionalen Raum modelliert. Wie in der Figur 2b gezeigt, wird daher die Person 9 durch ein Ellipsoid 10 modelliert. Bei dieser Modellierung ergibt eine vom Bildsensor 3 ausgehende Projektion dieses Ellipsoids 10 auf den ersten Teilbereich 5 eine Ellipse 1 1 (Figur 2c). Ein vom Bildsensor 3 ausgehender Strahl 12, welcher durch den Schwerpunkt oder Mittelpunkt des Ellipsoids 10 verläuft, verläuft auch durch den Schwerpunkt oder Mittelpunkt der Ellipse 1 1.
Um diese Modellierung der erfassten, zu überwachenden Objekte zu vereinfachen, werden die vom ersten Bildsensor 3 erfassten Bilddaten in der Verarbeitungseinheit in einem ersten Schritt entzerrt und die entzerrten Bilddaten werden mit einem zweidimensionalen Koordinatensystem versehen, welches sich über den überwachten ersten Teilbereich 5 erstreckt. In einem zweiten Schritt werden die zu überwachenden Objekte in den Bilddaten identifiziert, indem ein bekanntes Verfahren zur Objektidentifikation angewendet wird. Bei diesem Verfahren kann es sich beispielsweise um ein Verfahren handeln, bei welchem jeweils ein Standbild (ohne jegliches Objekt im überwachten ersten Teilbereich 5) von den Bilddaten subtrahiert wird. In einem dritten Schritt wird je eine Ellipse 1 1 auf die erfassten Objekte gelegt. Dazu werden jeweils Längen der beiden Hauptachsen der Ellipse 1 1 , eine Position der Ellipse 1 1 sowie ein Winkel zwischen einer der beiden Hauptachsen der Ellipse 1 1 und einer Koordinatenachse des ersten Teilbereichs 5 an das entsprechende erfasste Objekt gefittet. Diese Daten zu den erfassten Objekten werden von der Verarbeitungseinheit und dem ersten Bildsensor 3 an die Berechnungseinheit 8 (siehe Figur 1 ) ausgegeben, wo sie weiterverarbeitet werden.
Figur 3 zeigt wie bereits Figur 1 eine schematische Darstellung der erfindungsgemässen Vorrichtung 1 zur Überwachung des Überwachungsbereichs 2. Im Gegensatz zur Figur 1 befinden sich hier aber zwei Personen 9.1 , 9.2 im zweiten Teilbereich 6. Eine erste dieser beiden Personen 9.1 befindet sich gleichzeitig auch im ersten Teilbereich 5 und somit im Überlappungsbereich 7. Sie ist sowohl vom ersten als auch vom zweiten Bildsensor 3, 4 erfasst. Die zweite Person 9.2 hingegen befindet sich nur im zweiten Teilbereich 6 und ist nur vom zweiten Bildsensor 4 erfasst. Für die erste Person 9.1 , welche von beiden Bildsensoren 3, 4 erfasst ist, sind die Strahlen 12.1 , 12.2 gezeigt, welche ausgehend vom jeweiligen Bildsensor 3, 4 durch den Schwerpunkt oder Mittelpunkt des modellierten Ellipsoids und der entsprechenden modellierten Ellipse 1 1.1 , 1 1.2 verlaufen. Zudem sind die beiden Ellipsen 1 1.1 , 1 1.2 gezeigt, welche von den beiden Bildsensoren 3, 4 für die erste Person 9.1 erfasst werden. Die Parameter der beiden Ellipsen 1 1.1 , 1 1.2 werden von den Bildsensoren 3, 4 an die Berechnungseinheit 8 ausgegeben.
Weiter ist für die zweite Person 9.2, welche nur vom zweiten Bildsensor 4 erfasst ist, der Strahl 12.3 gezeigt, welcher ausgehend vom zweiten Bildsensor 4 durch den Schwerpunkt oder Mittelpunkt des modellierten Ellipsoids und der entsprechenden modellierten Ellipse 1 1.3 verläuft. Weiter ist die Ellipse 1 1.3 gezeigt, welche vom zweiten Bildsensor 4 für die zweite Person 9.2 erfasst wird. Die Parameter dieser Ellipse 1 1.3 werden vom zweiten Bildsensor 4 an die Berechnungseinheit 8 ausgegeben.
Aus diesen von den beiden Bildsensoren 3, 4 ausgegebenen Daten wird durch die Berechnungseinheit 8 eine Gesamtheit der zu überwachenden Objekte ermittelt. Dazu werden in einem ersten Schritt die Daten, welche von den beiden Bildsensoren 3, 4 ausgegeben werden, auf ein zweidimensionales Koordinatensystem umgerechnet, welches sich über den Überwachungsbereich 2 erstreckt. In einem zweiten Schritt wird aufgrund der umgerechneten Daten eine Matrix erstellt. Die Elemente dieser Matrix enthalten Bewertungen für die Wahrscheinlichkeit, dass ein vom ersten Bildsensor 3 erfasstes Objekt mit einem vom zweiten Bildsensor 4 übereinstimmt. Im vorliegenden Beispiel sind diese Bewertungen auf Wahrscheinlichkeiten, d.h. auf eins normiert. Die Bewertungen könnten aber auch auf einen anderen Wert normiert sein. In einem dritten Schritt wird auf der Basis der in der Matrix enthaltenen Bewertungen die wahrscheinlichste Zuordnung der erfassten Objekte bestimmt und die Gesamtheit der zu überwachenden Objekte ermittelt. Dabei wird die wahrscheinlichste Zuordnung von der Berechnungseinheit 8 unter Anwendung der Ungarischen Methode, welche auch als Kuhn-Munkres-Algorithmus bezeichnet wird, bestimmt.
Eine Grösse der von der Berechnungseinheit erstellten Matrix hängt von der Anzahl der von den beiden Bildsensoren 3, 4 erfassten Objekte ab. Da es sein kann, dass ein vom einen Bildsensor 3, 4 erfasstes Objekt nicht vom anderen Bildsensor 4, 3 erfasst ist, enthält die Matrix eine Anzahl Zeilen, welche der Anzahl der vom einen Bildsensor 3, 4 erfassten Objekte plus eins beträgt. Weiter enthält die Matrix aus diesem Grund eine Anzahl Spalten, welche der Anzahl der vom anderen Bildsensor 4, 3 erfassten Objekte plus eins beträgt. Im vorliegenden Fall ist vom ersten Bildsensor 3 mit der ersten Person 9.1 nur ein zu überwachendes Objekt erfasst. Deshalb weist die von der Berechnungseinheit 8 bestimmte Matrix zwei Zeilen auf. Vom zweiten Bildsensor 4 hingegen sind mit der ersten und der zweiten Person 9.1 , 9.2 zwei zu überwachende Objekte erfasst. Entsprechend weist die von der Berechnungseinheit 8 bestimmte Matrix drei Spalten auf. Somit hat die von der Berechnungseinheit 8 bestimmte Matrix folgende Form:
Pu Pn Pu
Die erste Zeile dieser Matrix bezieht sich auf Bewertungen, dass die vom ersten Bildsensor 3 erfasste erste Person 9.1 mit einer bzw. keiner vom zweiten Bildsensor 4 erfassten Person übereinstimmt. Die zweite Zeile der Matrix hingegen bezieht sich auf Bewertungen, dass sich keine vom ersten Bildsensor 3 erfasste Person mit einer bzw. keiner vom zweiten Bildsensor 4 erfassten Person übereinstimmt. Die erste Spalte der Matrix bezieht sich auf Bewertungen, dass die erste vom zweiten Bildsensor 4 erfasste Person 9.1 mit einer bzw. keiner vom ersten Bildsensor 3 erfassten Person übereinstimmt. Die zweite Spalte der Matrix bezieht sich auf Bewertungen, dass die zweite vom zweiten Bildsensor 4 erfasste Person 9.2 mit einer bzw. mit keiner vom ersten Bildsensor 3 erfassten Person übereinstimmt. Die dritte Spalte hingegen bezieht sich auf Bewertungen, dass keine vom zweiten Bildsensor 4 erfasste Person mit einer bzw. mit keiner vom ersten Bildsensor 3 erfassten Person übereinstimmt. Da somit das Element p23 die Bewertung enthält, dass kein vom ersten Bildsensor 3 erfasstes Objekt mit keinem vom zweiten Bildsensor 4 erfassten Objekt übereinstimmt, kann dieses Element auf einen festen Wert gesetzt werden. Im Folgenden ist dieses Element auf null gesetzt. Es könnte aber auch auf einen beliebigen anderen Wert gesetzt werden. In der Berechnungseinheit 8 sind sowohl die Positionen als auch die Ausrichtungen der beiden Bildsensoren 3, 4 abgespeichert. Deshalb kann die Berechnungseinheit 8 aufgrund der vom ersten Bildsensor 3 ausgegebenen Daten feststellen, ob sich ein vom ersten Bildsensor 3 erfasstes Objekt nur im ersten Teilbereich 5 befindet, oder ob es sich zugleich auch im zweiten Teilbereich 6 und somit im Überlappungsbereich 7 befindet. Genauso kann die Berechnungseinheit 8 deshalb aufgrund der vom zweiten Bildsensor 4 ausgegebenen Daten feststellen, ob sich ein vom zweiten Bildsensor 4 erfasstes Objekt nur im zweiten Teilbereich 6 befindet, oder ob es sich zugleich auch im ersten Teilbereich 5 und somit im Überlappungsbereich 7 befindet. Im Beispiel, welches in Figur 3 gezeigt ist, befindet sich die erste Person 9.1 im Überlappungsbereich 7, während sich die zweite Person 9.2 nur im zweiten Teilbereich 6 befindet. Entsprechend setzt die Berechnungseinheit 8 die Bewertung p auf null und die Bewertung p2Z auf 1 :
p2X \ 0
Die Elemente p , p2 und 13 der Matrix werden von der Berechnungseinheit 8 durch die Anwendung von Randbedingungen sowie gewissen Bewertungskriterien bestimmt. Die Randbedingungen bestehen daraus, dass jedes vom einen Bildsensor 3, 4 erfasste Objekt entweder mit einem vom anderen Bildsensor 4, 3 erfassten Objekt übereinstimmt oder nicht übereinstimmt. Dadurch ergeben sich für die vorliegende Matrix folgende Randbedingungen: p + p2 = 1 , pn + p22 = 1 und pu + pn + p = 1 . Im in der Figur 3 gezeigten Beispiel mit der ersten und der zweiten Person 9.1 , 9.2 im Überwachungsbereich 2 bedeutet dies, dass die Matrix die Form
Pu 0 (1 - pn)
erhält, wobei der Wert des Elements p von der Berechnungseinheit 8 gemäss den weiter unten erläuterten Bewertungskriterien bestimmt wird. In einem modifizierten Fall, welcher ähnlich wie der in der Figur 3 dargestellte Fall aufgebaut ist, wobei sich aber die nur vom zweiten Bildsensor 4 erfasste zweite Person 9.2 ebenfalls im Überlappungsbereich 7 befindet, sieht die von der Berechnungseinheit 8 aufgestellte Matrix anders aus. In diesem Fall wird berücksichtigt, dass eine der beiden vom zweiten Bildsensor 4 erfassten Personen 9.1 , 9.2 mit der vom ersten Bildsensor 3 erfassten Person 9.1 übereinstimmen könnte. Entsprechend sieht die von der Berechnungseinheit 8 erstellte Matrix folgendermassen aus:
Pu Pu Q - Pn - Pn
- Pu ) - Pn ) o
Die Werte der Elemente p und 12 werden von der Berechnungseinheit 8 gemäss den im Folgenden erläuterten Bewertungskriterien bestimmt.
Figur 4 zeigt wie bereits die Figuren 1 und 3 eine schematische Darstellung der erfindungsgemässen Vorrichtung 1 zur Überwachung des Überwachungsbereichs 2. Im Gegensatz zur Figur 3 sind keine Personen dargestellt. Es sind jedoch die beiden Ellipsen 1 1.1 , 1 1.2 im Überlappungsbereich 7 zusammen mit den von den Bildsensoren 3, 4 ausgehenden Strahlen 12.1 , 12.2 dargestellt, deren Daten gemäss Figur 3 für die erfasste erste Person 9.1 (hier nicht gezeigt) von den Bildsensoren 3, 4 an die Berechnungseinheit 8 ausgegeben werden. Die Figur 4 dient dazu, die Bestimmung der Elemente der Matrix zu illustrieren.
Wie bereits erwähnt enthalten die Elemente der Matrix die Bewertungen für die Wahrscheinlichkeit, dass ein vom ersten Bildsensor 3 erfasstes Objekt mit einem vom zweiten Bildsensor 4 erfassten Objekt übereinstimmt. Dazu können verschiedene Bewertungskriterien verwendet werden.
Beispielsweise kann eine Minimaldistanz 13 zwischen den von den Bildsensoren 3, 4 ausgehenden Strahlen 12.1 , 12.2 als Bewertungskriterium verwendet werden. Dabei kann eine Minimaldistanz von null (sich schneidende Strahlen 12.1 , 12.2) einer grösstmöglichen Bewertung entsprechen. Falls die Bewertungen in Wahrscheinlichkeiten ausgedrückt werden, so entspricht dies einem Wert von /?, = 1 und alle anderen Minimaldistanzen sind durch eine kleinere Wahrscheinlichkeit bewertet. Falls hingegen die Bewertungen mittels Kostenbewertungen ausgedrückt werden, so entspricht dies dem Wert von p, = 0, während alle anderen Minimaldistanzen durch einen grösseren Bewertungswert bewertet werden.
Als zweites mögliches Bewertungskriterium kann eine Ähnlichkeit der Ellipsengrössen verwendet werden. Dabei sollte aber berücksichtigt werden, dass die Ellipsen Projektionen eines Ellipsoids sind. Entsprechend kann für die Bestimmung der Ellipsengrössen eine Distanz in der Ebene des Überwachungsbereichs 2 zum jeweiligen Bildsensor 3, 4 berücksichtigt werden. Dabei kann eine Übereinstimmung der Ellipsengrössen unter Distanzberücksichtigung zum jeweiligen Bildsensor einer grösstmöglichen Bewertung entsprechen. Falls die Bewertungen in Wahrscheinlichkeiten ausgedrückt werden, so entspricht dies einem Wert von p2 = 1 und alle anderen Ellipsengrössenähnlichkeiten sind durch eine kleinere Wahrscheinlichkeit bewertet. Falls hingegen die Bewertungen mittels Kostenbewertungen ausgedrückt werden, so entspricht dies dem Wert von p2 = 0, während alle anderen Ellipsengrössenähnlichkeiten durch einen grösseren Bewertungswert bewertet werden.
Als drittes mögliches Bewertungskriterium kann ein Ähnlichkeitsmass für die Geschwindigkeiten der erfassten Objekte verwendet werden. Dabei kann es sich beispielsweise um den Absolutbetrag der Differenz zwischen den beiden Geschwindigkeitsvektoren handeln. Falls dieser Absolutbetrag null ist, so handelt es sich um die grösstmögliche Übereinstimmung. Falls die Bewertungen in Wahrscheinlichkeiten ausgedrückt werden, so entspricht dies einem Wert von p3 = 1 und alle anderen Geschwindigkeitsdifferenzen sind durch eine kleinere Wahrscheinlichkeit bewertet. Falls hingegen die Bewertungen mittels Kostenbewertungen ausgedrückt werden, so entspricht dies dem Wert von p3 = 0, während alle anderen Geschwindigkeitsdifferenzen durch einen grösseren Bewertungswert bewertet werden.
Als viertes mögliches Bewertungskriterium kann ein Mass verwendet werden, welches eine sinnvolle Höhe des Mittelpunktes 14 der Linie der Minimaldistanz 13 zwischen den von den Bildsensoren 3, 4 ausgehenden Strahlen 12.1 , 12.2 bewertet. Dabei kann die sinnvolle Höhe den zu überwachenden Objekten angepasst werden. Bei erwachsenen Personen kann die sinnvolle Höhe je nach Annahme der Personengrösse 80 - 100cm betragen. Beispielsweise kann das Mass durch den Absolutbetrag der Differenz zwischen der sinnvollen Höhe und der Höhe des Mittelpunktes 14 genommen werden. In diesem Fall bedeutet ein Wert null des Absolutbetrags eine grösstmögliche Übereinstimmung. Falls die Bewertungen in Wahrscheinlichkeiten ausgedrückt werden, so entspricht dies einem Wert von 4 = 1 und alle anderen Höhen des Mittelpunktes 14 sind durch eine kleinere Wahrscheinlichkeit bewertet. Falls hingegen die Bewertungen mittels Kostenbewertungen ausgedrückt werden, so entspricht dies dem Wert von p = 0, während alle anderen Höhen des Mittelpunkts 14 durch einen grösseren Bewertungswert bewertet werden.
Als fünftes mögliches Bewertungskriterium kann ein Mass verwendet werden, welches die bisherigen Zuordnungen berücksichtigt. Falls es sich bei den Bildsensoren 3, 4 um Kameras handelt, welche Filmsequenzen aufnehmen, kann dazu beispielsweise eine Summe über die Bewertungen der Übereinstimmung der entsprechenden zu überwachenden Objekte während der letzten zehn aufgenommenen Einzelbilder verwendet werden. In diesem Beispiel bedeutet eine grösstmögliche Bewertung kontinuierlich während der letzen zehn Bewertungen eine grösstmögliche Bewertung. Falls die Bewertungen in Wahrscheinlichkeiten ausgedrückt werden, so entspricht dies einem Wert von p5 = 1 und alle anderen bisherigen Zuordnungen sind durch eine kleinere Wahrscheinlichkeit bewertet. Falls hingegen die Bewertungen mittels Kostenbewertungen ausgedrückt werden, so entspricht dies dem Wert von p5 = 0, während alle anderen bisherigen Zuordnungen durch einen grösseren Bewertungswert bewertet werden.
Für die Bestimmung der Elemente der Matrix kann jeweils eines dieser fünf oben genannten Bewertungskriterien verwendet werden. Es besteht aber auch die Möglichkeit, dass ein anderes hier nicht genanntes Bewertungskriterium verwendet wird. Zudem besteht die Möglichkeit, dass mehrer Bewertungskriterien gemeinsam verwendet werden. Beispielsweise können die Matrixelemente jeweils aus einer Summe der verschiedenen Bewertungswerte gebildet sein. Dabei können die verschiedenen Bewertungswerte der verschiedenen Bewertungskriterien beispielsweise auch unterschiedlich gewichtet sein. Bezogen auf die oben genannten Bewertungskriterien kann ein Matrixelement pl} beispielsweise wie folgt gebildet sein: flj = + a2p2 + a3p3 + -?4 + a5p5, wobei 3k jeweils einen Gewichtungsfaktor darstellt. Falls es sich bei den einzelnen Bewertungen um auf 1 normierte Wahrscheinlichkeiten handelt, so sollten die Gewichtungsfaktoren ebenfalls auf 1 normiert sein: a, + a2 + a3 + a4 + a5 = 1.
Wie bereits erwähnt erfolgt die Zuordnung der zu überwachenden Objekte auf der Basis der Matrix durch die Berechnungseinheit 8 in an sich bekannter Weise, unter Anwendung der Ungarischen Methode, welche auch als Kuhn-Munkres-Algorithmus bezeichnet wird. Aus dieser Zuordnung wird durch die Berechnungseinheit 8 die Gesamtheit der zu überwachenden Objekte ermittelt. Die Gesamtheit der zu überwachenden Objekte kann von der Berechnungseinheit 8 wiederum ausgegeben werden. Dazu können beispielsweise die überwachten Objekte als Punkte im Überwachungsbereich 2 auf einem Bildschirm (nicht gezeigt) dargestellt werden. Es besteht aber auch die Möglichkeit, dass die Gesamtheit der zu überwachenden Objekte nur in Form von Zahlen ausgegeben wird. Beispielsweise kann die Berechnungseinheit 8 an einen weiteren Computer angeschlossen sein, welcher den zeitlichen Verlauf der Anzahl der zu überwachenden Objekte auswertet. Dieser weitere Computer kann aber beispielsweise auch die Bewegungen der Objekte aufzeichnen und Stauwarnungen ausgeben, falls sich in einem Bereich des Überwachungsbereichs 2 Objekte stauen. Diese Verwendungsmöglichkeiten der von der Berechnungseinheit 8 ausgegebenen Gesamtheit der zu überwachenden Objekte sind nicht abschliessend. Die Daten der ausgegebenen Gesamtheit können je nach Bedarf verwendet werden. Auch kann die oben beschriebene Vorrichtung 1 entsprechend den konkreten Bedürfnissen angepasst werden.
Die oben beschriebene Vorrichtung 1 ist nicht die einzige erfindungsgemässe Ausführungsform. Es sind diverse Abwandlungen von der Vorrichtung 1 möglich. Beispielsweise besteht die Möglichkeit, dass die zu erfassenden Objekte von den Bildsensoren nicht als Ellipsoide, sondern andersartig modelliert werden. Weiter besteht die Möglichkeit, dass die von den Bildsensoren ausgegebenen Daten nur die Positionen der erfassten Objekte oder nur Parameter zu Strahlen ausgehend vom jeweiligen Bildsensor zum jeweiligen erfassten Objekt enthalten. Dabei besteht die Möglichkeit, dass die Datenerfassung der Bildsensoren im Wesentlichen wie oben im Zusammenhang mit Figur 2c beschrieben in drei Schritten erfolgt. Von den derart erfassten Daten kann beispielsweise für ein erfasstes Objekt jeweils nur die Position des Ellipsenmittelpunkts von der Verarbeitungseinheit und dem entsprechenden Bildsensor an die Berechnungseinheit ausgegeben werden. Es besteht aber auch die Möglichkeit, dass von den Bildsensoren jeweils nur Daten zu einem Strahl ausgehend vom entsprechenden Bildsensor durch den Ellipsenmittelpunkt ausgegeben werden. Als Variante besteht aber auch die Möglichkeit, dass eine andere Form an das erfasste Objekt gefittet wird. Beispielsweise kann es sich dabei um einen Kreis oder um ein Rechteck handeln.
Um eine optimale Bestimmung der Positionen der zu überwachenden Objekte zu ermöglichen, kann beispielsweise eine Höhe für den Schwerpunkt der zu überwachenden Objekte angenommen werden. Dabei kann ein Schnittpunkt zwischen einem vom jeweiligen Bildsensor ausgehenden, zum erfassten Objekt zeigenden Strahl und einer in der angenommenen Höhe des Schwerpunkts über dem Boden angeordneten Ebene berechnet werden. Der so bestimmte Schnittpunkt kann als Position des entsprechenden Objekts verwendet werden. Eine derartige Positionsbestimmung ist auch dann möglich, wenn ein zu überwachendes Objekt nur von einem Bildsensor erfasst ist.
Bei diesem Vorgehen zur Positionsbestimmung besteht die Möglichkeit, dass als Wert für die Höhe des Schwerpunkts ein fester Wert angenommen wird. Es besteht aber auch die Möglichkeit, dass in der Gesamtheit der zu überwachenden Objekte für jedes Objekt ein individueller Wert für die Höhe des Schwerpunkts gespeichert wird. Falls ein Objekt neu in die Gesamtheit der zu überwachenden Objekte aufgenommen wird, kann dabei ein vorgegebener Wert eingesetzt werden, welcher in etwa der Höhe des Schwerpunkts der zu überwachenden Objekte entspricht. Falls sich dieses Objekt in einen Überlappungsbereich bewegt, in welchem es von mehr als einem Bildsensor erfasst wird, kann der gespeicherte Wert der Höhe des Schwerpunkts angepasst werden, indem die Höhe des Mittelpunktes der Linie der Minimaldistanz zwischen den von den Bildsensoren ausgehenden Strahlen mitberücksichtigt wird. Dabei kann beispielsweise jeweils der Wert der Höhe des Mittelpunkts der Linie der Minimaldistanz direkt als Höhe des Schwerpunkts abgespeichert werden. Es besteht aber auch die Möglichkeit, dass bei mehrmaliger Bewegung eines Objekts in einen Überlappungsbereich ein Mittelwert der bisher bestimmten Werte der Höhe des Schwerpunkts abgespeichert wird. Letzteres ermöglicht die Berücksichtigung von mehreren Bestimmungen der Höhe des Schwerpunkts, wodurch eine genauere Bestimmung der Höhe des Schwerpunkts ermöglicht wird. Dies führt zu einer genaueren Positionsbestimmung der zu überwachenden Objekte, da die von einem Bildsensor ausgehenden, zum erfassten Objekt verlaufenden Strahlen stark geneigt verlaufen können, wenn sich ein Objekt im Randbereich eines Teilbereichs befindet. Entsprechend können bereits kleine Abweichungen der Höhe des Schwerpunkts zu erheblichen Positionsabweichungen führen.
Zusammenfassend ist festzustellen, dass ein dem eingangs genannten technischen Gebiet zugehörendes Verfahren und eine entsprechende Vorrichtung geschaffen wird, welche aus den Daten der Bildsensoren eine verbesserte Ermittlung der Gesamtheit der zu überwachenden Objekten im Überwachungsbereich ermöglichen.

Claims

Patentansprüche
Verfahren zur Überwachung eines Überwachungsbereichs (2) mit wenigstens zwei Bildsensoren (3, 4), wobei a) durch jeden der Bildsensoren (3, 4) ein Teilbereich (5, 6) des Überwachungsbereichs (2) überwacht wird, indem durch jeden Bildsensor (3, 4) innerhalb des von ihm überwachten Teilbereichs lokalisierte, zu überwachende Objekte (9.1 , 9.2) erfasst werden und von jedem Bildsensor (3, 4) Daten zu den erfassten Objekten (9.1 , 9.2) ausgegeben werden, b) die Bildsensoren (3, 4) derart angeordnet und ausgerichtet werden, dass sich die überwachten Teilbereiche (5, 6) überlappen und dass jedes zu überwachende Objekt (9.1 , 9.2), welches sich im Überwachungsbereich (2) befindet, immer von mindestens einem Bildsensor (3, 4) erfasst ist und c) aus den Daten der Bildsensoren (3, 4) eine Gesamtheit der zu überwachenden Objekte im Überwachungsbereich (2) ermittelt wird, dadurch gekennzeichnet, dass d) aufgrund der Daten der Bildsensoren (3, 4) die zu überwachenden Objekte (9.1 , 9.2) in überlappenden Teilbereichen (5, 6), welche von mehr als einem Bildsensor (3, 4) erfasst sind, mittels einer Bewertung ihrer Übereinstimmung einander zugeordnet werden um die Gesamtheit der zu überwachenden Objekte im Überwachungsbereich (2) zu ermitteln.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass jeweils für die Zuordnung der zu überwachenden Objekte (9.1 , 9.2) in überlappenden Teilbereichen (3, 4) eine Matrix erstellt wird, deren Elemente pjj die Bewertung enthalten, wie gut ein von einem Bildsensor (3, 4) erfasstes Objekt (9.1 , 9.2) mit Identifikation i mit einem von einem anderen Bildsensor (3, 4) erfassten Objekt (9.1 , 9.2) mit Identifikation ] übereinstimmt.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass für jede Kombination von möglicherweise übereinstimmenden Objekten (9.1 , 9.2) eine Summe der Bewertungen der bei dieser Kombination übereinstimmenden Objekte (9.1 , 9.2) gebildet wird und dass die Zuordnung der zu überwachenden Objekte (9.1 , 9.2) durch eine Wahl der Kombination erfolgt, welche ein Extrem dieser Summe ergibt.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die von den Bildsensoren (3, 4) ausgegebenen Daten anonymisiert ausgegeben werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in den von den Bildsensoren (3, 4) ausgegebenen Daten jedes erfasste Objekt (9.1 , 9.2) durch ein parametrisiertes Modell repräsentiert wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass für die Bewertung der Übereinstimmung jeweils ein aus einer minimalen Distanz ( 13) zwischen einem Strahl (12.1 , 12.2, 12.3) ausgehend von einem Bildsensor (3, 4) durch einen Schwerpunkt des parametrisierten Modells und einem Strahl (12.1 , 12.2, 12.3) ausgehend von einem anderen Bildsensor (4, 3) durch einen Schwerpunkt des parametrisierten Modells berechneter Wert berücksichtigt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass für jedes zu überwachende Objekt der Gesamtheit der zu überwachenden Objekte eine Höhe des Schwerpunkts des entsprechenden Objekts gespeichert wird, wobei anfangs eine sinnvolle Höhe als Wert dieser Höhe angenommen wird und der Wert dieser Höhe dynamisch angepasst wird, indem bei jeder Zuordnung von zu überwachenden Objekten, bei welcher das entsprechende zu überwachende Objekt von wenigstens zwei Bildsensoren erfasst ist, eine Höhe des Schwerpunkts dieses Objekts bestimmt wird, indem eine Höhe eines Mittelpunkts einer kürzesten Verbindungslinie zwischen einem Strahl ausgehend vom einen Bildsensor durch den Schwerpunkt des von ihm erfassten parametrisierten Modells und einem Strahl ausgehend vom anderen Bildsensor durch den Schwerpunkt des von ihm erfassten parametrisierten Modells ermittelt wird.
8. Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass für die
Bewertung der Übereinstimmung berücksichtigt wird, ob sich ein Mittelpunkt (14) einer kürzesten Verbindungslinie zwischen dem Strahl (12.1 , 12.2, 12.3) ausgehend vom einen Bildsensor (3, 4) durch den Schwerpunkt des von ihm erfassten parametrisierten Modells und dem Strahl (12.1 , 12.2, 12.3) ausgehend vom anderen
Bildsensor (3, 4) durch den Schwerpunkt des von ihm erfassten parametrisierten Modells auf einer sinnvollen Höhe für eine Höhe eines Schwerpunkts der zu überwachenden Objekte (9.1 , 9.2) befindet.
9. Verfahren nach einem der Ansprüche 5 bis 8, dadurch gekennzeichnet, dass eine Ähnlichkeit der parametrisierten Modelle der zu überwachenden Objekte für die
Bewertung der Übereinstimmung berücksichtigt wird.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass für die
Bewertung der Übereinstimmung von den Bildsensoren (3, 4) erfasste Geschwindigkeiten und Bewegungsrichtungen der zu überwachenden Objekte (9.1 , 9.2) berücksichtigt werden.
1 1. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass für die Bewertung der Übereinstimmung früher erfolgte Zuordnungen der zu überwachenden Objekte (9.1 , 9.2) berücksichtigt werden.
12. Verfahren nach einem der Ansprüche 1 bis 1 1 , dadurch gekennzeichnet, dass der Überwachungsbereich (2) als zweidimensionale Fläche mit einem zweidimensionalen Koordinatensystem modelliert wird und dass jedes der zu überwachenden Objekte (9.1 , 9.2) der Gesamtheit der zu überwachenden Objekte durch sich auf dieses Koordinatensystem beziehende Daten charakterisiert wird.
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass jeder von einem Bildsensor (3, 4) überwachte Teilbereich (5, 6) als zweidimensionale Fläche mit einem zweidimensionalen Koordinatensystem modelliert wird und dass sich die von jedem Bildsensor (3, 4) ausgegebenen Daten zu den erfassten Objekten (9.1 , 9.2) auf das Koordinatensystem des von diesem Bildsensor (3, 4) überwachten Teilbereichs (5, 6) beziehen.
14. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die von den
Bildsensoren (3, 4) erfassten Objekte (9.1 , 9.2) als Ellipsoide (10) modelliert werden, deren Projektion auf die zweidimensionale Fläche des entsprechenden Teilbereichs (5, 6) eine Ellipse (1 1.1 , 1 1.2, 1 1.3) ergeben und dass die von den Bildsensoren (3, 4) ausgegebenen Daten zu jedem der erfassten, zu überwachenden Objekte (9.1 , 9.2) eine Identifikation, X- und Y-Koordinaten eines Mittelpunkts der Ellipse (1 1.1 , 1 1.2, 1 1.3), Grössen der Hauptachsen der Ellipse (1 1.1 , 1 1.2, 1 1.3), einen Orientierungswinkel der Ellipse ( 1 1.1 , 1 1.2, 1 1.3) sowie einen Geschwindigkeitsvektor umfassen.
15. Verfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass die Koordinatensysteme, auf welche sich die von den Bildsensoren (3, 4) ausgegebenen
Daten beziehen, entzerrt werden.
16. Verfahren nach Anspruch 12 und einem der Ansprüche 14 bis 15, dadurch gekennzeichnet, dass die von den Bildsensoren (3, 4) ausgegebenen Daten auf das zweidimensionale Koordinatensystem des Überwachungsbereichs (2) übertragen werden.
17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass eine Position sowie eine Ausrichtung von jedem Bildsensor (3, 4) abgespeichert werden und für die Übertragung der von den Bildsensoren (3, 4) ausgegebenen Daten auf das zweidimensionale Koordinatensystem des Überwachungsbereichs (2) berücksichtigt werden.
18. Verfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass die
Bildsensoren (3, 4) überkopf montiert werden.
19. Vorrichtung ( 1) zur Überwachung eines Überwachungsbereichs (2) mit wenigstens zwei Bildsensoren (3, 4), wobei a) durch jeden der Bildsensoren (3, 4) ein Teilbereich (5, 6) des Überwachungsbereichs (2) überwachbar ist, indem durch jeden Bildsensor (3, 4) innerhalb des von ihm überwachbaren Teilbereichs (5, 6) lokalisierte, zu überwachende Objekte (9.1 , 9.2) erfassbar sind und von jedem Bildsensor (3, 4) Daten zu den erfassten Objekten (9.1 , 9.2) ausgebbar sind, b) die Bildsensoren (3, 4) derart angeordnet und ausgerichtet sind, dass sich die überwachten Teilbereiche (5, 6) überlappen und dass jedes zu überwachende Objekt (9.1 , 9.2), welches sich im Überwachungsbereich (2) befindet, immer von mindestens einem Bildsensor (3, 4) erfassbar ist und c) die Vorrichtung (1 ) eine Berechnungseinheit (8) umfasst, durch welche aus den Daten der Bildsensoren (3, 4) eine Gesamtheit der zu überwachenden Objekte im Überwachungsbereich (2) ermittelbar ist, dadurch gekennzeichnet, dass d) durch die Berechnungseinheit (8) aufgrund der Daten der Bildsensoren (3, 4) die zu überwachenden Objekte (9.1 , 9.2) in überlappenden Teilbereichen (5, ,6), welche von mehr als einem Bildsensor (3, 4) erfasst sind, mittels Bewertung ihrer Übereinstimmung einander zuordenbar sind um die Gesamtheit überwachenden Objekte im Überwachungsbereich (2) zu ermitteln.
EP12794848.7A 2011-11-29 2012-11-23 Verfahren und vorrichtung zur überwachung eines überwachungsbereichs Withdrawn EP2786564A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP12794848.7A EP2786564A1 (de) 2011-11-29 2012-11-23 Verfahren und vorrichtung zur überwachung eines überwachungsbereichs

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11405363.0A EP2600611A1 (de) 2011-11-29 2011-11-29 Verfahren und Vorrichtung zur überwachung eines Überwachungsbereichs
PCT/CH2012/000261 WO2013078568A1 (de) 2011-11-29 2012-11-23 Verfahren und vorrichtung zur überwachung eines überwachungsbereichs
EP12794848.7A EP2786564A1 (de) 2011-11-29 2012-11-23 Verfahren und vorrichtung zur überwachung eines überwachungsbereichs

Publications (1)

Publication Number Publication Date
EP2786564A1 true EP2786564A1 (de) 2014-10-08

Family

ID=47278628

Family Applications (2)

Application Number Title Priority Date Filing Date
EP11405363.0A Withdrawn EP2600611A1 (de) 2011-11-29 2011-11-29 Verfahren und Vorrichtung zur überwachung eines Überwachungsbereichs
EP12794848.7A Withdrawn EP2786564A1 (de) 2011-11-29 2012-11-23 Verfahren und vorrichtung zur überwachung eines überwachungsbereichs

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP11405363.0A Withdrawn EP2600611A1 (de) 2011-11-29 2011-11-29 Verfahren und Vorrichtung zur überwachung eines Überwachungsbereichs

Country Status (3)

Country Link
US (1) US9854210B2 (de)
EP (2) EP2600611A1 (de)
WO (1) WO2013078568A1 (de)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013209484A1 (de) * 2013-05-22 2014-11-27 Hella Kgaa Hueck & Co. Verfahren zur Ermittlung eines Flächenbelegungsgrads oder eines Volumenbelegungsgrads
KR101557376B1 (ko) * 2014-02-24 2015-10-05 에스케이 텔레콤주식회사 사람 계수 방법 및 그를 위한 장치
KR102101438B1 (ko) * 2015-01-29 2020-04-20 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
WO2017060083A1 (en) * 2015-10-06 2017-04-13 Philips Lighting Holding B.V. Integrated lighting and people counting system
KR102076531B1 (ko) * 2015-10-27 2020-02-12 한국전자통신연구원 멀티 센서 기반 위치 추적 시스템 및 방법
US11347192B2 (en) * 2015-10-30 2022-05-31 Signify Holding B.V. Commissioning of a sensor system
US10388027B2 (en) * 2016-06-01 2019-08-20 Kyocera Corporation Detection method, display apparatus, and detection system
US10929561B2 (en) * 2017-11-06 2021-02-23 Microsoft Technology Licensing, Llc Removing personally identifiable data before transmission from a device
US10776672B2 (en) 2018-04-25 2020-09-15 Avigilon Corporation Sensor fusion for monitoring an object-of-interest in a region
EP3564900B1 (de) * 2018-05-03 2020-04-01 Axis AB Verfahren, vorrichtung und system zur anwendung eines grades an unschärfe auf bilddaten in einem datenschutzbereich eines bildes
US20220012501A1 (en) 2018-12-14 2022-01-13 Xovis Ag Method and arrangement for determining a group of persons to be considered
EP3680814A1 (de) * 2019-01-14 2020-07-15 Kaba Gallenschütz GmbH Verfahren zur erkennung von bewegungsabläufen und passiererkennungssystem
CN110503028B (zh) * 2019-08-21 2023-12-15 腾讯科技（深圳）有限公司 确定区域中对象的分布的传感器、系统、方法和介质
DE102019214198A1 (de) * 2019-09-18 2021-03-18 Robert Bosch Gmbh Ereignisbasierte Erkennung und Verfolgung von Objekten
CN113705388B (zh) * 2021-08-13 2024-01-12 国网湖南省电力有限公司 基于摄像信息实时定位多人空间位置的方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110150327A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Method and apparatus for masking privacy area of image

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231436A1 (en) 2001-04-19 2009-09-17 Faltesek Anthony E Method and apparatus for tracking with identification
WO2004045215A1 (en) * 2002-11-12 2004-05-27 Intellivid Corporation Method and system for tracking and behavioral monitoring of multiple objects moving throuch multiple fields-of-view
US20050012817A1 (en) * 2003-07-15 2005-01-20 International Business Machines Corporation Selective surveillance system with active sensor management policies
US7286157B2 (en) 2003-09-11 2007-10-23 Intellivid Corporation Computerized method and apparatus for determining field-of-view relationships among multiple image sensors
US7346187B2 (en) 2003-10-10 2008-03-18 Intellivid Corporation Method of counting objects in a monitored environment and apparatus for the same
US7558762B2 (en) * 2004-08-14 2009-07-07 Hrl Laboratories, Llc Multi-view cognitive swarm for object recognition and 3D tracking
US7924311B2 (en) * 2004-12-21 2011-04-12 Panasonic Corporation Camera terminal and monitoring system
DE102005013225A1 (de) * 2005-03-18 2006-09-28 Fluyds Gmbh Objektverfolgungs- und Situationsanalysesystem
US7418113B2 (en) * 2005-04-01 2008-08-26 Porikli Fatih M Tracking objects in low frame rate videos
US7409076B2 (en) 2005-05-27 2008-08-05 International Business Machines Corporation Methods and apparatus for automatically tracking moving entities entering and exiting a specified region
US8116564B2 (en) 2006-11-22 2012-02-14 Regents Of The University Of Minnesota Crowd counting and monitoring
US8253797B1 (en) * 2007-03-05 2012-08-28 PureTech Systems Inc. Camera image georeferencing systems
US8098891B2 (en) 2007-11-29 2012-01-17 Nec Laboratories America, Inc. Efficient multi-hypothesis multi-human 3D tracking in crowded scenes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110150327A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Method and apparatus for masking privacy area of image

Also Published As

Publication number Publication date
US20140327780A1 (en) 2014-11-06
EP2600611A8 (de) 2013-07-17
US9854210B2 (en) 2017-12-26
WO2013078568A1 (de) 2013-06-06
EP2600611A1 (de) 2013-06-05

Similar Documents

Publication Publication Date Title
WO2013078568A1 (de) Verfahren und vorrichtung zur überwachung eines überwachungsbereichs
DE60308782T2 (de) Vorrichtung und Methode zur Hinderniserkennung
DE102014105351B4 (de) Detektion von menschen aus mehreren ansichten unter verwendung einer teilumfassenden suche
DE102009009815B4 (de) Verfahren und Vorrichtung zur Erkennung von Parklücken
DE69310758T2 (de) Verfahren und vorrichtung zum klassifizieren der bewegung von objekten entlang einem durchgang
DE10029866B4 (de) Objekterkennungssystem
EP2126840A1 (de) Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera
WO2013029722A2 (de) Verfahren zur umgebungsrepräsentation
DE102004018813A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE102012000459A1 (de) Verfahren zur Objektdetektion
DE102017215079A1 (de) Erfassen von Verkehrsteilnehmern auf einem Verkehrsweg
DE102014113359B4 (de) Filtervorrichtung und Umgebungserkennungssystem
WO2020178198A1 (de) Schätzung der bewegung einer bildposition
DE102016201741A1 (de) Verfahren zur Höhenerkennung
DE10148070A1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE112019004963T5 (de) Optikbasiertes mehrdimensionales Ziel- und Mehrfachobjekterkennungs- und verfolgungsverfahren
DE102020133506A1 (de) Parkplatzsteuerungssystem, Parkplatzsteuerungsverfahren und Programm
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
DE102019209473A1 (de) Verfahren und Vorrichtung zur schnellen Erfassung von sich wiederholenden Strukturen in dem Bild einer Straßenszene
DE102006036345B4 (de) Verfahren und Vorrichtung zur Lagebestimmung von Objekten im dreidimensionalen Raum
DE102019202901A1 (de) Fußgängerverfolgung unter Verwendung eines Tiefensensornetzwerks
EP4229549A1 (de) System und verfahren zum annotieren von automobilradardaten
DE102019210518A1 (de) Verfahren zum Erkennen eines Objektes in Sensordaten, Fahrerassistenzsystem sowie Computerprogramm
DE102019102423A1 (de) Verfahren zur Live-Annotation von Sensordaten
DE102008057176B4 (de) Automatisierbares 3D-Rekonstruktionsverfahren und Überwachungsvorrichtung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20140616

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20170511

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20170922