EP2676240A1 - Verfahren zum detektieren von zielobjekten in einem überwachungsbereich - Google Patents

Verfahren zum detektieren von zielobjekten in einem überwachungsbereich

Info

Publication number
EP2676240A1
EP2676240A1 EP12706022.6A EP12706022A EP2676240A1 EP 2676240 A1 EP2676240 A1 EP 2676240A1 EP 12706022 A EP12706022 A EP 12706022A EP 2676240 A1 EP2676240 A1 EP 2676240A1
Authority
EP
European Patent Office
Prior art keywords
movement
image
door
sequence
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP12706022.6A
Other languages
English (en)
French (fr)
Inventor
Julia ICK
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hella GmbH and Co KGaA
Original Assignee
Hella KGaA Huek and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hella KGaA Huek and Co filed Critical Hella KGaA Huek and Co
Publication of EP2676240A1 publication Critical patent/EP2676240A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for detecting target objects in an image sequence of a surveillance area and to a system for carrying out such a method.
  • the invention further relates to a vehicle with such a system.
  • Such methods are often used to count or track (track) people or other moving objects that are in a surveillance area or are moving through a surveillance area.
  • Possible areas of application are, for example, the entrance area of a building or a door of a vehicle of passenger traffic, such as a train or bus.
  • the image sequences are recorded with a camera and then evaluated with a suitably equipped evaluation, for example by means of an image segmentation, a pattern analysis, a motion analysis and / or another image analysis method based on image data of the image sequence.
  • the present invention is therefore based on the object of proposing a method for detecting target objects in an image sequence of a monitoring area, which overcomes or at least alleviates the problems in the prior art.
  • the method should therefore allow to detect target objects within a surveillance area.
  • the surveillance area should also be able to contain disturbing objects which, like the target objects, may not be spatially stationary but mobile.
  • a system is proposed, which is suitable for detecting moving target objects in a surveillance area, in addition to the moving target objects also also movable interfering objects can be located.
  • it is intended to propose a vehicle for carrying persons suitable for detecting and counting persons entering or leaving the vehicle.
  • the method according to the invention for detecting moving target objects, in particular persons, in an image sequence of a monitoring area therefore provides that pixel values of images of the image sequence are cleaned up from interference contributions, the interference contributions being generated by at least one interference object contained in the control area. Subsequently, the target objects in the image sequence are searched on the basis of the adjusted pixel values, for example by means of one of the above-mentioned image analysis methods (image segmentation, mouse analysis, motion analysis, etc.).
  • the term pixel value generally designates a value calculated in a predetermined manner from raw data of an image for a single pixel of the image, wherein the value can be, for example, numerical or even boolean. It can also be provided that a pixel value is calculated from the raw data of a contiguous region of adjacent pixels of the image and assigned to each of these pixels, for example by means of an averaging method.
  • objects can be recognized, for example, by grouping adjacent pixels (pixels) with similar pixel values into image segments and classifying image segments which correspond to predetermined selection criteria as target objects.
  • Selection criteria include, for example, the size and / or the shape of a picture segment, as well as the criterion as to whether the pixel values of the pixels within a picture segment are within predetermined limits.
  • a start that is to say a start time
  • an instantaneous, current position of the jamming object within the images is determined.
  • the instantaneous position of the disturbing object is taken into account.
  • the movement sequence of a faulty object is designated as predetermined or known, if it is known how the instantaneous position of the disturbing object can be calculated or simulated during the course of the movement.
  • pixels or pixels belonging to target objects in the image sequence are not confused with pixels or pixels of the interfering object, or pixel regions (segments) belonging to interfering objects merge with pixel regions which belong to target objects, so that the distinction between target object and Disturbing object and the detection of the target object is easier and more reliable.
  • the pixels of each image are transferred into a three-dimensional coordinate system, a so-called world coordinate system.
  • the origin of this coordinate system lies at the level of a base area of the surveillance area, for example, a floor of the surveillance area, and further extends an XY plane of this coordinate system within this area.
  • the height of each pixel is specified perpendicular to this XY plane or determined by means of the evaluation unit. It is particularly useful if the
  • Coordinate origin is positioned directly below the camera, with which the image sequence is generated.
  • the image sequence is detected with a stereo camera.
  • Each of the images then contains two individual images captured from two different perspectives, with which a three-dimensional representation of the monitoring region is possible.
  • each (stereo) pixel of a stereo image which is given in each case by two pixels of the two individual images of the image, can be transmitted into the three-dimensional world coordinate system as described above.
  • a height map and / or an occupancy map of the surveillance area is or will be calculated for each image of the image sequence.
  • the base area of the monitoring area ie the XY plane of the world coordinate system
  • the individual grid elements corresponding, for example, to 5 ⁇ 5 cm area areas of the base area of the monitored area.
  • those pixels are determined in which any object, such as a target object or an interfering object, or a part of this object is imaged. For example, such pixels can be recognized by the fact that in them the base is covered by this object.
  • the coordinates in the world coordinate system and the associated raster element below the pixel are determined.
  • the elevation map the height of the highest pixel in which an object is displayed is then entered for each raster element.
  • This maximum height of a raster element is also referred to below as the height value of the raster element.
  • the assignment card contains the number of pixels for each raster element, in each of which an object is mapped. This number is also referred to below as the occupancy value of a raster element.
  • a stereo camera system is used for detecting the image sequence, and each pixel of the three-dimensional images of this image sequence is assigned a screen area within the base area of the monitoring area. After this assignment, as described above, a height map and an occupancy map are calculated. The pixel values stored in these maps, ie the height values and occupancy values associated with the grid elements, are subsequently cleaned up from interference contributions from interfering objects.
  • the altitude te and / or the occupancy values are set to zero. In this way, the pixel values of the image are cleaned in a particularly reliable manner from interference contributions of the disturbing object.
  • the instantaneous position of the disturbing object is calculated on the basis of a movement model, that is to say a predetermined calculation method. That is, the motion of the jamming object is simulated by means of the motion model as soon as the beginning of the movement of the jamming object has been detected.
  • the motion model may include one or more model parameters, either in one
  • Training phase is determined.
  • Model parameters may be given for example by a numerical value, a Boolean value or even a multidimensional vector of such quantities, such as a set of world coordinates or
  • Detected detected start of the movement In a typical case where the obstruction object is through a door and the movement is through a door opening, it could be e.g. Any door recognition can be used.
  • the model parameters mentioned in connection with the preferred embodiment may be, for example, a rest position of a specific subarea of the clutter object within an image.
  • a subarea can be, for example, a lower edge of an interfering object, for example a door.
  • Another model parameter can be given by an opening region belonging to one or more interfering objects within an image, that is, for example, a passage opening within a disturbing object given by a door.
  • Another possible model parameter represents a period of time which lies between a start of the movement sequence and a signal.
  • This signal may, for example, be a trigger signal with which the motion sequence of the interfering object is triggered, for example a triggering signal of an auto-triggering signal. matic door opener.
  • the signal can also be a measuring signal of a sensor with which movements of the disturbing object are monitored.
  • a motion sensor of any type can be used to generate such a signal on a door, for example with an inductive, capacitive or optoelectronic sensor element.
  • the beginning of the movement sequence is determined on the basis of the pixel values of the image sequence acquired with the camera and / or by evaluating images recorded with another camera and / or on the basis of a measurement signal of a sensor different from the camera.
  • the aforementioned ways of recognizing the beginning of the course of motion can be combined with one another.
  • the motion model may include, for example, an equation of motion for the interfering object.
  • This equation of motion may include one or more of the model parameters.
  • Typical model parameters for such an equation of motion are the already mentioned (average) speed of the disturbing object, the time difference between the measuring or triggering signal and the beginning of the movement and the rest position of the disturbing object.
  • the motion model can additionally include a method with which model parameters of the motion model, for example those that enter into the equation of motion of the disturbing object, can be determined and / or optimized.
  • the above-mentioned model parameter which indicates the time delay between a trigger signal of the movement sequence and the beginning of the movement sequence, is determined by one or more measurements of this time delay.
  • provision may be made, for example, for the triggering signal, such as a door opener, to be received by the evaluation unit and for the time t 0 of this signal reception to be stored. Then the time is determined by the evaluation unit, which is determined by the recording time ("Timestamp"). is defined that image in which the beginning of the triggered by the trigger signal sequence of movements has been detected by the evaluation.
  • the beginning of this opening movement can be recognized, for example, by means of a forming door gap, which for example must have a predetermined minimum width Ex, by the evaluation unit.
  • the required time delay is finally calculated by the difference between these two points in time, ie by tj-1 0 / with the evaluation unit and assigned to the corresponding model parameter.
  • the method for determining and / or optimizing the model parameters may, for example, be used during the initialization phase mentioned or during the first or another training phase.
  • the speed of the disturbing object during the course of the movement can, for example, be given by the quotient of the distance traveled during the course of the movement and the duration of the course of the movement.
  • the named distance can be specified or measured, for example, as a number of pixels passed through or raster elements.
  • positions of objects or parts of objects can be specified or measured in world coordinates or in row and column indices of pixels or pels.
  • one of the model parameters is given by a line index of a start line or an end line of the interference object within one such height or occupancy map of an image, by a column index of a center column between two parts of the interfering object in a height or occupancy map of an image or by an average time difference between a trigger signal for the movement of the disturbing object or a measurement signal of a (motion) sensor and in a Occupancy card or height map of an image recognizable beginning of the movement.
  • one of the model parameters is given by an average speed of movement of the interfering object, whereby the speed of movement can be defined as the number of pixels per time unit covered in an occupancy card.
  • Additional Mordell parameters used can define a direction - eg horizontal, vertical or oblique - of the movement sequence or a movement curve.
  • the first training phase it can be provided, for example, that, starting from starting values or initial values for one or more model parameters, a plurality of measurements of these or other model parameters are carried out and, if appropriate, subsequently the model parameters thus generated are averaged after each measurement.
  • a distinction is made between successful and unsuccessful measurements.
  • An unsuccessful measurement can occur, for example, when a relevant image area for the measurement of a model parameter has been obscured by a target object, for example by a person in the surveillance area.
  • the value of one or more model parameters is specified in an initialization phase.
  • This so-called initial value can then be maintained as a constant value for the model parameter or further optimized in the following procedure within training phases, as described below.
  • One way of specifying the initial value of a model parameter defined by an idle position of the clutter object is to input it via a graphical user interface.
  • an image of the monitoring unit is displayed with a screen during an initialization phase of the method and marks the position of the interfering object, for example a lower edge of a door, by means of a mouse, a touch screen or another suitable interface in the image on the screen becomes.
  • the world coordinates of the rest position, or the course of the lower edge of the door are calculated and stored as corresponding values of the model parameter in an evaluation unit.
  • the resting position of a center between two adjoining door leaves of a door can be entered.
  • the world coordinators th of this position for example, based on the corresponding mark in the screen, calculated and stored as a corresponding value of the associated model parameter in an evaluation.
  • initial values of model parameters are calculated as functions of input initial values of other (model parameters.) It can be provided that an initial search range for the disturbance object is determined from a rest position of a disturbance object A bottom and top row of pixels may be determined as described above, and this bottom and top row of pixels may serve as a search area for the object of disturbance within the images and within the height maps, respectively and / or the occupancy maps between these rows of pixels or rasters.
  • one or more model parameters of the movement model are continuously optimized in a second training phase of the method, which can be connected directly to the first training phase or the initialization phase, for example.
  • those measured values which deviate very greatly from the current or the preceding model parameter values are preferably neglected or less heavily weighted.
  • the faulty object may be, for example, a door and the movement sequence may be an opening or closing of the door.
  • the door may have two leaves that can be pushed apart or unfolded, for example.
  • the door may in particular be a passenger door of a bus or a passenger train.
  • the named predetermined and known positions of the disturbing object or of the part of the disturbing object can be the abovementioned rest position (s) of the disturbing object or the part of the disturbing object.
  • the rest positions may be a closed position and an open position where the door is closed or opened, and accordingly, an opening movement and an opening Closing movement of the door. It may therefore be provided in this case that the current position of the door or a part of the door is compared with these rest positions and is specified according to whether the door is currently in the open position or the closed position or is currently open or closes.
  • a corresponding signal can be generated in which this information is coded.
  • target objects in the surveillance area are tracked by the evaluation unit and / or counted
  • a system for detecting target objects within an image sequence of a surveillance area comprises a camera for capturing the image sequence and an evaluation unit connected to the camera for data transmission, which is set up to clean up pixel values of images of the image sequence of interference contributions.
  • the mentioned interference contributions originate from at least one faulty object contained in the control area.
  • the evaluation unit is also set up on the basis of the pixel values to search the target objects in the image sequence.
  • the evaluation unit is also set up to detect a start of a predetermined movement sequence of the interference object, to determine a momentary position of the interference object within the images during the movement sequence and to determine the instantaneous position of the interference object during the cleaning up of the interference object To take account of pixel values of the interference contributions of the disturbing object.
  • the system according to the invention has the capability of eliminating or eliminating disturbing influences of disturbing objects whose motion sequences are known from the pixel values of the images and thus improving or eliminating separation or discrimination of target objects and disturbing objects in the image sequence of the surveillance area to increase a hit rate and / or a counting accuracy of the target objects.
  • the evaluation unit is set up to calculate or simulate the instantaneous position of the at least one interfering object on the basis of a movement model, as has already been described above for the method according to the invention. Therefore, corresponding model parameters can also be predefined or the system can be optimized in a training phase, wherein the evaluation unit is set up to generate measured values for the parameters, to mittein and to replace the model parameters by such averaged parameter values.
  • the camera is a stereo camera and is thus suitable for the generation of images which each comprise two individual images.
  • the images of a stereo camera which are often referred to as stereo images, allow a three-dimensional representation of the surveillance area.
  • steels Reimaging the transmission of pixels of the stereo images in a three-dimensional image coordinate system.
  • the evaluation unit can also be set up to convert the pixels transmitted into the world coordinate system into height maps or occupancy maps.
  • the system may include a motion sensor, for example, in addition to the camera used for the generation of the image sequence, which is adapted to fully or partially detect the motion sequence of one or more interfering objects (in particular the beginning) and to transmit appropriate Messsignaie to the evaluation unit.
  • a motion sensor for example, in addition to the camera used for the generation of the image sequence, which is adapted to fully or partially detect the motion sequence of one or more interfering objects (in particular the beginning) and to transmit appropriate Messsignaie to the evaluation unit.
  • the evaluation unit is preferably set up to use these measurement signals to determine the beginning or even the entire course of the relevant interfering object.
  • the sensor may, for example, comprise an electrical, electronic, inductive, capacitive and / or optoelectronic sensor element, such as a CMOS chip or CCD chip.
  • a passenger transport vehicle comprising at least one vehicle door and a control unit adapted to generate a trigger signal for automatically opening the vehicle door, the control unit being connected to the vehicle door for transmitting the trigger signal.
  • the vehicle also comprises a system of the type proposed here, wherein the evaluation unit of the system is connected to the door or the control unit of the door for receiving the trigger signal, which signals the beginning of the opening of the door, that is, the faulty object.
  • FIG. 2 shows an image of a monitoring area acquired with the system shown in FIG. 1,
  • FIG. 3 shows an occupancy or height map of the image shown in FIG. 2 during an initialization phase of the system
  • FIG. 4 shows another occupancy or altitude map during a training phase of the system
  • FIG. 5 shows another occupancy or height map during a training phase of the system
  • FIG. 6 shows another occupancy or altitude map after a first one
  • FIG. 8 shows the occupancy or altitude map shown in FIG.
  • FIG. 9 shows an occupancy or height map with an interference object and a target object before the pixel values of the map are cleaned up
  • FIG. 10 shows the occupancy or altitude map shown in FIG. 10
  • FIG. 1 shows a cross section through a vehicle 1 for transporting people, for example a bus or a train, shown schematically. It contains a specific embodiment of the system 2 proposed here, which is set up to carry out a specific embodiment of the method proposed here.
  • the system 2 comprises a stereo camera 4 'for acquiring an image sequence of stereo images, also referred to below as images for short, of a monitoring area 3, which is identified by a dashed line in FIG. 1 and also in the following figures. Each of the images comprises two individual images in which the surveillance area 3 is depicted in two different perspectives.
  • the stereo camera 2 is connected to an evaluation unit 4 of the system for transmitting raw data of the images to the evaluation unit 4.
  • an automatic vehicle door 5 of the vehicle 1 is arranged.
  • This is connected to a Bed ientician 6, which is adapted to, with appropriate operation by a passenger P to generate a trigger signal and transmit to the door.
  • the door 5 is arranged to open after the trigger signal has been received.
  • This motion sensor 6 ' is also connected to the evaluation unit 4 for transmitting corresponding measurement signals, in which in particular the beginning of the opening movement of the door 5 is coded.
  • the evaluation unit 4 is set up to process the measurement signals and, in particular, to determine the time of the beginning on the basis of the measurement signals and on the basis of the trigger signal of the operator control unit 6.
  • FIG. 2 diagrammatically shows one of the images 7 of the surveillance area 3 which has been acquired by the stereo camera 4 'of the system 2 shown in FIG. 1 in an initialization phase of the system and displayed by means of a screen (not shown here) of the system 2.
  • the door 5 has left and right doors 8, 9 which contact each other in a center line 10 'of the door 5 when the door 5 is closed.
  • the position of a lower edge 10 of the door 5 is marked by means of a marking line 11 extending along an entire width of the door 5. Further, in the image 7, the position of the center line 10 'by means of another marker 12.
  • the two mark 11, 12 have been entered by means of an input interface (not shown) in the evaluation unit 4, for example by means of a touch screen function of the screen or a mouse or a other for setting markers within the image 7 suitable input interface.
  • the evaluation device 4 is programmed to transfer the pixels of the image 7 (as well as all other images captured by the stereo camera 4 ') into a three-dimensional coordinate system (world coordinate system) and to calculate the corresponding (world) coordinates of the pixels.
  • the origin of this coordinate system is at the level of a base area 13 of the monitoring system. 3, ie at the level of a floor of the surveillance area, which in this example extends beyond the surveillance area 3.
  • the height of each pixel of the image 7 (as well as all other images) is thus determined perpendicular to this XY plane along the Z axis of the world coordinate system by means of the evaluation unit 4.
  • the evaluation unit 4 calculates a height map and an occupancy map of the surveillance area for each image of the image sequence.
  • the elevation map or occupancy map 14 of the image 7 shown in FIG. 2 is shown schematically by way of example.
  • evaluation unit 4 determines in a first step for each of these raster elements 16 those pixels of image 7 in which an arbitrary object, such as a target object, in this example a passenger, or an interfering object, In this example, the door 5, or a part of these objects will be mapped.
  • a target object in this example a passenger, or an interfering object
  • the door 5, or a part of these objects will be mapped.
  • Such "occupied" pixels are recognized by the fact that the base 13 in them
  • the associated coordinates in the world coordinate system and then the associated raster element 16 are determined directly below the pixel.
  • the height map of each image the height of the highest "occupied" pixel in which an object is imaged is then entered for each raster element 16. This height is also referred to below as the height value of the associated raster element 16.
  • the occupancy map of each image contains for each raster element 16 the number of all "occupied" pixels, in which so in each case an object is displayed. This number is also referred to below as the occupancy value of a raster element 16.
  • the system 4 is in an initialization phase at the time the image 7 is taken.
  • initialization values for model parameters of a movement model for simulating the opening movement of the door 5 are set or measured. Based on this movement model for the opening movement of the door 5, an instantaneous position of the door 5 during the opening movement in each image detected during the opening movement by the camera 4 'can be determined. Based on the determined in this way instantaneous position of the door 5 then all the grid elements 16 are determined within or above which the door 5 is currently located. Thereafter, the height values and the occupancy values of these raster elements are set to zero. In this way, the height values or occupancy values stored in these cards, that is to say in general the pixel values derived from the raw data of the images, are corrected by interference contributions from the door 5.
  • a first model parameter is a rest position of the lower edge 10 of the door 5, and a second model parameter is a rest position of the center line 10 'of the door 5.
  • the position of this center line 10' simultaneously defines the position of a passage opening of the door during the opening movement of the door 5 between edge regions 17 and 18 of the two door leaves 8 and 9 is formed.
  • a third model parameter is given by a period of time which lies between the beginning of the opening movement and the triggering signal emitted by the operating unit 6 or a measuring signal of the motion sensor 6 'which signals the beginning of the opening of the door.
  • a fourth model parameter is given by a mean velocity of the edge regions 17 and 18 of the door 5 during the opening movement.
  • This speed is determined by the quotient from during the movement through the edge regions 17, 18 distances traveled and the duration of the movement given.
  • the mentioned distances are indicated or measured in each case as a number of raster elements 16 which have passed through the edge regions 17, 18 during the opening movement.
  • the first model parameter given by the world coordinates and the row and column indices of the rest position of the lower edge 10, is calculated by means of the evaluation unit 4 from the course of the marking line 11 in FIG. From the thus determined coordinates or row and column indices of the lower edge 10 in the rest position of the door 5, the initial values of two further model parameters are determined, namely the line index of a start line 19 (fifth model parameter) and a line index of an end line 20 (sixth model parameter) Door 5 within the height and occupancy map of the image 7. By means of these two initial values, an initial door area 21 between start and end line 19, 20 is defined, in which the course of the door 5 in the height or the occupancy card 14 in the following pictures is expected.
  • an initial value of the second model parameter given by a column index of the rest position of the center line 10 'of the door 5 in the elevation map or the occupancy map 14, from the marker 12 in the image 7 with the evaluation unit 4 is calculated.
  • a center column 21 defined by this column index thus runs in the occupancy map or elevation map 14 between the edge regions 17, 18 of the door 5.
  • initial values of the third and the fourth model parameters are also input by means of an input interface.
  • the initialization phase is followed by a first training phase in which the initial values of the model parameters 2 to 5 are calibrated or more precisely determined by means of measurements. These measurements are carried out automatically with the evaluation unit 4 on the basis of images recorded during this first training phase, with generated measured values of the model parameters being averaged.
  • successful and unsuccessful measurements with a measurement of, for example, the second parameter not being successful, for example, if the center line 10 'has been covered by a person standing in front of the door 5.
  • the beginning of the opening movement is defined in this example as the time in which between the two edge regions 17, 18 of the door 5 a gap with a width 0x, for example, at least 3 grid elements (ie 15 cm) with the evaluation unit 4 in the height or Occupancy card 14 can be seen. This time is shown in FIG.
  • the third model parameter that is, the elapsed time between reception of the opening signal of the operation unit (trigger timing) and the beginning of the opening movement (opening timing), is measured by counting the number of images detected between the triggering timing and the opening timing have been.
  • the second model parameter, the position of the center line 21 is measured as the midpoint between the two edge regions 17, 18 of the door 5. It would also be possible to use this time span as a time difference between the above-defined beginning of the movement and a specific one Define measurement signal of the motion sensor 6 ', such as the measurement signal, the beginning of the opening movement of the
  • the end of the opening movement is defined as the time at which the two edge regions 17, 18 move out of the monitoring region 3 (end time). This time is shown in FIG.
  • the fourth model parameter ie the speed with which the door leaves 8, 9 move outward, is measured by counting the number of images which has been recorded between the triggering time and the end time.
  • model parameters two to four which enter into an equation of motion of the movement model for determining the instantaneous position of the door 5 are carried out until a sufficient constancy of these model parameters is achieved.
  • model parameters seven and eight are also determined.
  • all raster elements 16 are stored in the evaluation unit 4, which are covered by the door 5 in at least one image during the opening process.
  • the seventh model parameter is determined to be the smallest row index of these stored raster elements, and the eighth model parameter is determined to be the largest row index of these stored raster elements.
  • the pixel lines belonging to these two model parameters are shown as horizontal dashed-dotted lines 22 and 23 above and below the door leaves 8 and 9. These lines are also referred to below as start and end lines.
  • the phase of these measurements is also referred to as the first training phase.
  • the instantaneous positions of the edge regions 17 and 18 with the evaluation unit are calculated at any time on the basis of the model parameters 2 to 4, and the height values and the occupancy values for all those raster elements 16 are set to zero over which the door leaves 8 or 9 currently extend , These are all raster elements which are located between the start and end lines 22, 23 and at the same time left of the current position of the left edge portion 17 of the left door leaf 8 or between the start and end lines 22, 23 and at the same time right of the current position of the right edge area 17 of the right door 9 are located.
  • the instantaneous position of the left and right edge regions 17, 18 of FIG Door calculated by means of the already mentioned equation of motion of the movement model with the evaluation unit 4.
  • the height and occupancy values of the interference contributions of the door 5 are adjusted and the door 5 is hidden from the occupancy and height map 14.
  • the passengers can then be detected particularly reliably on the basis of the thus corrected altitude and occupancy values, for example on the basis of altitude and occupancy maxima in the altitude or occupancy map.
  • the height and occupancy maxima of the passengers can no longer merge with the height and occupancy maxima of the door.
  • FIG 7 An occupancy or height map 14 of an image of this situation is shown before the above-described cleanup of the pixel values has been performed.
  • the hatched area in Figure 7 is an image segment 24 which includes raster elements with similar (unadjusted) altitude and occupancy values.
  • the altitude or occupancy map associated with this situation is shown after the pixel values have been cleaned up.
  • a segment 25 can be seen, which can be clearly detected as a person or passenger due to its shape.
  • the interference contributions of the door have been eliminated, so that the pixel values in the image area 26 belonging to the door are constantly zero.
  • the door 5 is thus hidden from the elevation map or from the occupancy card 14.
  • FIG. 9 once again shows a coherent segment 25 in which the passenger appears merged with the door and therefore can not or only very difficultly be detected.
  • the segment 25 shown in FIG. 10 results, which is clearly detectable as a passenger.
  • the evaluation unit is set up to track and count the passengers. In particular, passengers entering and leaving the door 5 are counted.
  • a second training phase follows directly after the first training phase in which the model parameters two to four as well as seven and eight are continuously measured and further optimized as described above. In this way, these model parameters can be adapted to a changing over the time opening behavior of the door. Again, such readings become very strong of current ones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Detektieren von Zielobjekten in einer Bildfolge eines Überwachungsbereichs (3), bei dem Pixelwerte von Bildern (7) der Bildfolge von Störbeiträgen bereinigt werden, wobei die Störbeiträge von mindestens einem in dem Überwachungsbereich (3) enthaltenen Störobjekt (5) erzeugt werden und wobei anhand der bereinigten Pixelwerte die Zielobjekte in der Bildfolge gesucht werden, wobei ein Beginn eines vorgegebenen Bewegungsablaufs des Störobjektes (5) detektiert wird, während des Bewegungsablaufs eine momentane Position des Störobjektes (5) innerhalb der Bilder bestimmt wird und die momentane Position des Störobjektes (5) bei dem Bereinigen der Pixelwerte von den Störbeiträgen des Störobjekts (5) berücksichtigt wird. Die Erfindung betrifft außerdem ein System zur Durchführung eines derartigen Verfahrens sowie ein Fahrzeug mit einem solchen System.

Description

Verfahren zum Detektieren von Zielobjekten in einem Überwachungsbereich
Die Erfindung betrifft ein Verfahren zum Detektieren von Zielobjekten in einer Bildfolge eines Überwachungsbereichs sowie ein System zur Durchführung eines derartigen Verfahrens. Die Erfindung betrifft ferner ein Fahrzeug mit einem solchen System.
Derartige Verfahren werden häufig eingesetzt zum Zählen oder Verfolgen (Tracken) von Personen oder anderen beweglichen Objekten, die sich in einem Überwachungsbereich befinden oder sich durch einen Überwachungsbereich hindurchbewegen. Mögliche Anwendungsgebiete sind beispielsweise der Eingangsbereich eines Gebäudes oder eine Tür eines Fahrzeugs des Personenverkehrs, etwa eines Zuges oder Busses. Die Bildfolgen werden dabei mit einer Kamera aufgenommen und anschließend mit einer entsprechend eingerichteten Auswerteeinheit ausgewertet, beispielsweise mittels einer Bildsegmentierung, einer Musteranalyse, einer Bewegungsanalyse und/oder eines anderen Bildanalyseverfahrens anhand von Bilddaten der Bildfolge.
Typischerweise besteht dabei das Problem, dass sich innerhalb des Überwachungsbereiches außer den Zielobjekte weitere Objekte, sogenannte Störob- jekte, befinden, die nicht gezählt oder„getrackt" werden sollen, die von den Zielobjekte aber zuverlässig unterschieden oder diskriminiert werden können. Üblicherweise wird versucht, dieses Problem zu lösen, indem Ziel- und Störobjekte verschiedenen Bewegungsklassen zugeordnet werden. So können beispielsweise die zu detektierenden Zielobjekte, die eine typische Geschwindigkeit aufweisen, einer ersten Bewegungsklasse zugeordnet werden und Störobjekte, die beispielsweise räumliche stationäre Objekte sein können, werden einer zweiten Bewegungsklasse zugeordnet. In dem entsprechenden Detekti- onsverfahren können dann mittels bekannten Bildverarbeitungsverfahren alle stationären Störobjekte aus den Bildern der Bildfolge ausgeblendet werden. Anschließend werden die auf diese Weise bereinigten Bilder der Bildfolge auf das Vorhandensein der Zielobjekte hin untersucht.
In vielen Anwendungsfällen ist es allerdings nicht möglich, Ziel- und Störobjekte verschiedenen Bewegungsklassen zuzuordnen. So sind beispielsweise Fahrzeugtüren in Bussen und Bahnen oder andere Türen ebenso wie Personen keine (rein) stationären Objekte, so dass sie sich nicht auf die oben beschriebene herkömmliche Weise ausblenden lassen.
Der vorliegenden Erfindung liegt also die Aufgabe zugrunde, ein Verfahren zum Detektieren von Zielobjekten in einer Bildfolge eines Überwachungsbereichs vorzuschlagen, welches die Probleme im Stand der Technik überwindet oder zumindest abmildert. Das Verfahren soll es also gestatten, Zielobjekte innerhalb eines Überwachungsbereichs zu erkennen. Dabei soll der Überwachungsbereich außerdem Störobjekte enthalten können, die ebenso wie die Zielobjekte räumlich nicht stationär sondern beweglich sein können. Außerdem soll ein System vorgeschlagen werden, das sich zum Detektieren beweglicher Zielobjekte in einem Überwachungsbereich eignet, in dem sich neben den beweglichen Zielobjekten außerdem ebenfalls bewegliche Störobjekte befinden können. Schließlich soll ein Fahrzeug zur Beförderung von Personen vorgeschlagen werden, das sich zum Detektieren und Zählen von in das Fahrzeug zusteigenden oder aus dem Fahrzeug aussteigenden Personen eignet.
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Hauptanspruchs sowie durch ein System mit den Merkmalen des Nebenanspruchs. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich mit den Merkmalen der abhängigen Ansprüche.
Das erfindungsgemäße Verfahren zum Detektieren von beweglichen Zielobjekten, insbesondere von Personen, in einer Bildfolge eines Überwachungsbereichs sieht demnach vor, dass Pixelwerte von Bildern der Bildfolge von Störbeiträgen bereinigt werden, wobei die Störbeiträge von mindestens einem in dem Kontrollbereich enthaltenen Störobjekt erzeugt werden . Anschließend werden die Zielobjekte in der Bildfolge anhand der bereinigten Pixelwerte gesucht, beispielsweise mittels eines der oben genannten Bildanalyseverfahren (Bildsegmentierung, M usteranalyse, Bewegungsanalyse etc.).
Dabei bezeichnet der Begriff Pixelwert allgemein einen auf eine vorgegebene Weise aus Rohdaten eines Bildes berechneten Wert für ein einzelnes Pixel (Bildpunkt) des Bildes, wobei der Wert beispielsweise numerisch oder auch boolesch sein kann. Es kann außerdem vorgesehen sein, dass ein Pixelwert aus den Rohdaten eines zusammenhängenden Bereichs benachbarter Pixel des Bildes berechnet wird und jedem dieser Pixel zugeordnet wird, beispielsweise mittels eines Mittelungsverfahrens.
Anhand von Pixelwerten können Objekte erkannt werden, indem beispielsweise benachbarte Pixel (Bildpunkte) mit ähnlichen Pixelwerten zu Bildsegmenten zusammengefasst werden und Bildsegmente, die vorgegebenen Auswahlkriterien entsprechen, als Zielobjekte klassifiziert werden. Als Auswahlkriterien kommen beispielsweise die Größe und/oder die Form eines Bildsegments in Frage sowie außerdem das Kriterium, ob die Pixelwerte der Pixel innerhalb eines Bildsegments innerhalb vorgegebener Schranken liegen.
Für das vorgeschlagene Verfahren ist es nun entscheidend, dass ein Beginn, also ein Startzeitpunkt, eines vorgegebenen und somit bekannten Bewegungsablaufs des mindestens einen Störobjektes detektiert wird und während des Bewegungsablaufs eine momentane, aktuelle Position des Störobjektes innerhalb der Bilder bestimmt wird. Beim anschließenden Bereinigen der Pixelwerte von den Störbeiträgen des Störobjektes wird die momentane Position des Störobjektes berücksichtigt. Dabei wird der Bewegungsablauf eines Störobjektes als vorgegeben oder bekannt bezeichnet, wenn bekannt ist, wie die momentane Position des Störobjektes während des Bewegungsablaufes berechnet oder simuliert werden kann.
Mit dem vorgeschlagenen Verfahren können also Störobjekte innerhalb des Überwachungsbereichs, deren Bewegungsabläufe bekannt sind und wobei der Beginn des Bewegungsablaufs detektierbar ist, aus den Bildern der Bildfolge auf besonders genaue und zuverlässige Weise ausgeblendet bzw. die Beiträge (Störbeiträge) der Störobjekte zu den Pixelwerten der Bilder heraus gerechnet werden.
Es kann somit sichergestellt werden, dass zu Zielobjekten gehörige Pixel oder Bildpunkte in der Bildfolge nicht mit Pixeln bzw. Bildpunkten des Störobjekts verwechselt werden oder zu Störobjekten gehörige Pixelbereiche (Segmente) mit Pixelbereichen verschmelzen, die zu Zielobjekten gehören, so dass die Unterscheidung zwischen Zielobjekt und Störobjekt und die Detektion des Zielobjekts leichter und zuverlässiger wird.
In einer Ausführungsform des Verfahrens ist vorgesehen, dass die Bildpunkte eines jeden Bildes in ein dreidimensionales Koordinatensystem, ein so genanntes Weltkoordinatensystem, übertragen werden. Vorzugsweise liegt der Ursprung dieses Koordinatensystems auf der Höhe einer Grundfläche des Überwachungsbereichs, also beispielsweise eines Fußbodens des Überwachungsbereichs, und verläuft ferner eine XY-Ebene dieses Koordinatensystems innerhalb dieser Grundfläche. Die Höhe eines jeden Bildpunktes wird senkrecht zu dieser XY-Ebene angegeben bzw. mittels der Auswerteeinheit bestimmt. Besonders zweckmäßig ist es, wenn der
Koordinatenursprung direkt unterhalb der Kamera positioniert ist, mit der die Bildfolge erzeugt wird.
Vorzugsweise wird die Bildfolge mit einer Stereokamera erfasst. Dann beinhaltet jedes der Bilder zwei aus zwei unterschiedlichen Perspektiven erfasste Einzelbilder, mit denen eine dreidimensionale Darstellung des Überwachungsbereiches möglich ist. Insbesondere lässt sich jeder (Stereo-)Bildpunkt eines Stereobildes, der jeweils durch zwei Bildpunkte der beiden Einzelbilder des Bildes gegeben ist, wie oben beschrieben in das dreidimensionale Weltkoordinatensystem übertragen. Außerdem kann vorgesehen sein, dass für jedes Bild der Bildfolge eine Höhenkarte und/oder eine Belegungskarte des Überwachungsbereichs berechnet wird bzw. werden. Hierfür wird die Grundfläche des Überwachungsbereichs, also die XY-Ebene des Weltkoordinatensystems, in ein Kartenraster zerlegt, wobei die einzelnen Rasterelemente beispielsweise 5x5 cm großen Flächenbereichen der Grundfläche des Überwachungsbereichs entsprechen. Zur Berechnung der Höhenkarte und der Belegungskarte für ein Bild werden in einem ersten Schritt für jedes dieser Rasterelemente in dem Bild solche Bildpunkte bestimmt, in denen ein beliebiges Objekt, wie etwa ein Zielobjekt oder ein Störobjekt, oder ein Teil dieses Objektes abgebildet wird. Beispielsweise können derartige Bildpunkte dadurch erkannt werden, dass in ihnen die Grundfläche durch dieses Objekt verdeckt wird.
Für jeden dieser Bildpunkte werden die Koordinaten in dem Weltkoordinatensystem und das zugehörige Rasterelement unterhalb des Bildpunktes bestimmt. In die Höhenkarte wird anschließend für jedes Rasterelement die Höhe des höchsten Bildpunktes, in dem ein Objekt abgebildet wird, eingetragen. Diese maximale Höhe eines Rasterelementes wird im Folgenden auch als Höhenwert des Rasterelementes bezeichnet. Die Belegungskarte enthält für jedes Rasterelement die Anzahl aller Bildpunkte, in denen jeweils ein Objekt abgebildet wird. Diese Anzahl wird im Folgenden auch als Belegungswert eines Rasterelementes bezeichnet.
In einer bevorzugten Ausführung des Verfahrens wird also ein Stereokamerasystem zur Erfassung der Bildfolge verwendet und jedem Bildpunkt der dreidimensionalen Bilder dieser Bildfolge eine Rasterfläche innerhalb der Grundfläche des Überwachungsbereichs zugeordnet. Nach dieser Zuordnung werden, wie oben beschrieben, eine Höhenkarte und eine Belegungskarte berechnet. Die in diesen Karten abgelegten Pixelwerte, also die zu den Rasterelementen gehörigen Höhenwerte und Belegungswerte, werden anschließend von Störbeiträgen von Störobjekten bereinigt.
In einer Ausführungsform des Verfahrens ist vorgesehen, dass, nachdem die Position des Störobjektes in einem Bild bestimmt wird, für solche Rasterelemente des Bildes, innerhalb derer sich das Störobjekt befindet, die Höhenwer- te und/oder die Belegungswerte auf Null gesetzt werden. Auf diese Weise werden die Pixelwerte des Bildes auf besonders zuverlässige Weise von Störbeiträgen des Störobjektes bereinigt.
In einer bevorzugten Ausführung des Verfahrens ist vorgesehen, dass die momentane Position des Störobjektes anhand eines Bewegungsmodells, also eines vorgegebenen Berechnungsverfahrens, berechnet wird. Das heißt, dass die Bewegung des Störobjekts mittels des Bewegungsmodells simuliert wird, sobald der Beginn der Bewegung des Störobjekts detektiert worden ist. Dabei kann das Bewegungsmodell einen oder mehrere Modellparameter beinhalten, der entweder in einer
Initialisierungsphase oder während einer ersten
Trainingsphase bestimmt wird. Der mindestens eine
Modellparameter kann beispielsweise durch eine numerische Zah l, einen booleschen Wert oder auch einen mehrdimensionalen Vektor derartiger Größen gegeben sein, wie etwa ein Satz von Weltkoordinaten oder
Zeilen- und Spaltenindizes. Alternativ wäre es auch möglich, die momentane Position des Störobjekts
jeweils durch Beobachten des Störobjekts nach dem
detektierten Beginn des Bewegungsablaufs zu bestimmen. In einem typischen Fall, in dem das Störobjekt durch eine Tür und der Bewegungsablauf durch eine Türöffnung gegeben ist, könnte dafür z.B. eine beliebige Türerkennung verwendet werden.
Bei den im Zusammenhang mit der bevorzugten Ausführung genannten Modellparametern kann es sich beispielsweise durch eine Ruheposition eines bestimmten Teilbereichs des Störobjektes innerhalb eines Bildes handeln. Ein solcher Teilbereich kann beispielsweise eine Unterkante eines Störobjekts, beispielsweise einer Tür, sein. Ein weiterer Modellparameter kann durch einen zu einem oder mehreren Störobjekten gehörigen Öffnungsbereich innerhalb eines Bildes gegeben sein, also beispielsweise eine Durchtrittsöffnung innerhalb eines durch eine Tür gegebenen Störobjekts. Ein weiterer möglicher Modellparameter stellt eine Zeitspanne dar, welche zwischen einem Beginn des Bewegungsablaufes und einem Signal liegt. Bei diesem Signal kann es sich beispielsweise u m ein Auslösesignal handeln, mit dem der Bewegungsablauf des Störobjektes ausgelöst wird, beispielsweise ein Auslösesignal eines auto- matischen Türöffners. Es kann sich bei dem Signal aber auch um ein Messsignal eines Sensors handeln, mit dem Bewegungen des Störobjektes überwacht werden. So kann beispielsweise an einer Tür ein Bewegungssensor beliebiger Art zur Erzeugung eines solchen Signals verwendet werden, beispielsweise mit einem induktiven, kapazitiven oder optoelektronischen Sensorelement. Es kann insbesondere vorgesehen sein, dass der Beginn des Bewegungsablaufs anhand der Pixelwerte der mit der Kamera erfassten Bildfolge und/oder durch Auswerten von mit einer anderen Kamera aufgenommenen Bildern und/oder anhand eines Messsignals eines von der Kamera verschiedenen Sensors bestimmt wird. Es können die genannten Weisen des Erkennens des Beginns des Bewegungsablaufs miteinander kombiniert werden. So kann beispielsweise vorgesehen sein, dass es für ein Erkennen des Beginns des Bewegungsablaufs notwendig ist, dass der Beginn sowohl anhand von Bildern mit der Auswerteeinheit erkannt wird und außerdem ein entsprechendes Messsignal von einem weiteren Bewegungssensors bzw. ein Auslösesignal einer Bedieneinheit erzeugt und von der Auswerteeinheit empfangen wird.
Das Bewegungsmodell kann beispielsweise eine Bewegungsgleichung für das Störobjekt umfassen. Diese Bewegungsgleichung kann eine oder mehrere der Modellparameter beinhalten. Typische Modellparameter für eine solche Bewegungsgleichung sind die bereits genannte (mittlere) Geschwindigkeit des Störobjektes, die Zeitdifferenz zwischen dem Mess- oder Auslösesignal und dem Beginn der Bewegung sowie die Ruheposition des Störobjektes. Das Bewegungsmodell kann zusätzlich ein Verfahren beinhalten, mit dem Modellparameter des Bewegungsmodells, etwa solche, die in die Bewegungsgleichung des Störobjektes eingehen, bestimmt und/oder optimiert werden.
Beispielsweise kann vorgesehen sein, dass der oben genannte Modellparameter, der die zeitliche Verzögerung zwischen einem Auslösesignals des Bewegungsablaufs und dem Beginn des Bewegungsablaufs angibt, durch eine oder mehrere Messungen dieser zeitlichen Verzögerung bestimmt wird. In einem entsprechenden Verfahren zur Bestimmung dieses Modellparameters kann beispielsweise vorgesehen sein, dass mit der Auswerteeinheit das Auslösesignal, etwa eines Türöffners, empfangen wird und der Zeitpunkt t0 dieses Signalempfangs gespeichert wird. Anschließend wird mit der Auswerteeinheit der Zeitpunkt bestimmt, der durch den Aufnahmezeitpunkt („Timestamp") desjenigen Bildes definiert ist, in dem der Beginn des durch das Auslösesignal ausgelösten Bewegungsablaufs durch die Auswerteeinheit erkannt worden ist. im Beispiel einer Öffnungsbewegung einer Tür kann der Beginn dieser Öffnungsbewegu ng beispielsweise anhand eines sich ausbildenden Türspaltes, der beispielsweise eine vorgegebene Mindestbreite Ex aufweisen muss, durch die Auswerteeinheit erkannt werden. Die gesuchte zeitliche Verzögerung wird schließlich durch die Differenz dieser beiden Zeitpunkte, also durch tj.— 10/ mit der Auswerteeinheit berechnet und dem entsprechenden Modellparameter zugewiesen.
Das Verfahren zur Bestimmung und/oder Optimierung der Modellparameter kann beispielsweise während der genannten Initialisierungsphase oder während der ersten oder einer weiteren Trainingsphase zur Anwendung kommen.
Die Geschwindigkeit des Störobjektes während des Bewegungsablaufs kann beispielsweise durch den Quotienten aus während des Bewegungsablaufs zurückgelegter Strecke und der Dauer des Bewegungsablaufs gegeben sein. Die genannte Strecke lässt sich beispielsweise als Anzahl durchschrittener Bildpunkte oder Rasterelemente angeben bzw. messen. Positionen von Objekten oder Teilen von Objekten können beispielweise in Weltkoordinaten oder in Zeilen- und Spaltenindizes von Bildpunkten (Pixeln) oder Rasterelementen angegeben bzw. gemessen werden.
In einer möglichen Ausführungsform des Verfahrens, in der Bildpunkte der von der Kamera erfassten Bilder des Überwachungsbereichs in eine Höhenkarte und/oder eine Belegungswerte übertragen werden, kann vorgesehen, dass einer der Modellparameter gegeben ist durch einen Zeilenindex einer Startzeile oder einer Endzeile des Störobjektes innerhalb einer solchen Höhenoder Belegungskarte eines Bildes, durch einen Spaltenindex einer Mittelspalte zwischen zwei Teilen des Störobjektes in einer Höhen- oder Belegungskarte eines Bildes oder durch eine mittlere Zeitdifferenz zwischen einem Auslösesignal für den Bewegungsablauf des Störobjektes oder einem Messsignal eines (Bewegungs-)Sensors und dem in einer Belegungskarte oder Höhenkarte eines Bildes erkennbaren Beginn des Bewegungsablaufes. Es kan n auch vorgesehen sein, dass einer der Modellparameter durch eine mittlere Bewegungsgeschwindigkeit des Störobjektes gegeben ist, wobei die Bewegungsgeschwin- digkeit definiert sein kann als Anzahl pro Zeiteinheit zurückgelegter Pixel in einer Belegungskarte. Zusätzliche verwendete Mordellparameter können eine Richtung - z.B. horizontal, vertikal oder schräg - des Bewegungsablaufs oder auch eine Bewegungskurve definieren.
Innerhalb der ersten Trainingsphase kann beispielsweise vorgesehen sein, dass, ausgehend von Startwerten bzw. Initialwerten für einen oder mehrere Modellparameter, mehrere Messungen dieser oder anderer Modellparameter durchgeführt werden und ggf. anschließend nach jeder Messung die somit erzeugten Modellparameter gemittelt werden. Vorzugsweise wird dabei zwischen erfolgreichen und nicht erfolgreichen Messungen unterschieden. Eine nicht erfolgreiche Messung kann beispielsweise dann eintreten, wenn ein für die Messung eines Modellparameters relevanter Bildbereich durch ein Zielobjekt, also etwa durch eine Person im Überwachungsbereich, verdeckt worden ist.
Wie oben beschrieben wurde, kann vorgesehen sein, dass der Wert eines oder mehrerer Modellparameter in einer Initialisierungsphase vorgegeben wird. Dieser sogenannte Initialwert kann anschließend als konstanter Wert für den Modellparameter beibehalten werden oder im folgenden Verfahren innerhalb Trainingsphasen weiter optimiert werden, wie unten beschrieben wird. Eine Möglichkeit, den Initialwert eines Modellparameter vorzugeben, der durch eine Ruheposition des Störobjektes definiert ist, besteht darin, ihn über eine graphische Benutzerschnittstelle einzugeben. Beispielsweise kann vorgesehen sein, dass während einer Initialisierungsphase des Verfahrens ein Bild der Überwachungseinheit mit einem Bildschirm angezeigt wird und die Position des Störobjektes, beispielsweise eine Unterkante einer Tür, mittels einer Maus, einem Touchscreen oder einer anderen geeigneten Schnittstelle in dem Bild auf dem Bildschirm markiert wird. Anschließend werden, beispielsweise anhand der Markierung, die Weltkoordinaten der Ruheposition, bzw. der Verlauf der Unterkante der Tür (also die Höhe und die Länge der Unterkante) berechnet und als entsprechende Werte des Modellparameters in einer Auswerteeinheit gespeichert. Mittels des Bildschirms oder auf eine andere geeignete Weise lässt sich außerdem auch, als ein weiterer Modellparameter, die Ruheposition einer Mitte zwischen zwei aneinander angrenzender Türflügel einer Tür eingeben. Anschließend werden wieder die Weltkoordina- ten dieser Position, beispielsweise anhand der entsprechenden Markierung im Bildschirm, berechnet und als entsprechender Wert des zugehörigen Modellparameters in eine Auswerteeinheit gespeichert.
In einer Weiterentwicklung ist vorgesehen, dass Initialwerte von Modellparametern als Funktionen von eingegebenen Initialwerten anderer (Modell- Parameter berechnet werden. So kann vorgesehen sein, dass aus einer Ruheposition eines Störobjektes ein initialer Suchbereich für das Störobjekt bestimmt wird. Im Fall einer doppelflügeligen Tür, deren Unterkante und Mitte wie oben beschrieben initialisiert wurden, kann eine unterste und einer oberste Pixelreihe bzw. Reihe von Rasterelementen bestimmt werden. Diese unterste und oberste Pixel- bzw. Rasterreihe kann dazu dienen, einen Suchbereich für das Störobjekt innerhalb der Bilder bzw. innerhalb der Höhenkarten und/oder der Belegungskarten zwischen diesen Pixel- bzw. Rasterreihen einzuschränken.
Außerdem kann vorgesehen sein, dass einer oder mehrere Modellparameter des Bewegungsmodells in einer zweiten Trainingsphase des Verfahrens, die sich beispielsweise an die erste Trainingsphase oder die Initialisierungsphase direkt anschließen kann, fortlaufend optimiert wird. Dabei werden vorzugsweise solche Messwerte, die sehr stark von den aktuellen oder den vorausgehenden Modellparameterwerten abweichen, vernachlässigt bzw. weniger stark gewichtet.
Bei dem Störobjekt kann es sich beispielsweise um eine Tür handeln und bei dem Bewegungsablauf kann es sich um ein Öffnen oder Schließen der Tür handeln. Dabei kann die Tür zwei Türflügel aufweisen, die sich beispielsweise auseinanderschieben oder auseinanderfalten lassen. Insbesondere ist es möglich, dass
diese beiden Türflügel symmetrisch sind, sich also beim Öffnen der beiden Türflügel eine mittige Durchtrittsöffnung durch die Tür ausbildet. Bei der Tür kann es sich insbesondere um eine Passagiertür eines Omnibusses oder eines Personenzuges handeln.
Zeichnet sich das Störobjekt dadurch aus, dass das Störobjekt oder ein Teil des Störobjekt sich häufig, überwiegend oder ausschließlich in vorgegebenen und bekannten Positionen befindet und/oder sich zwischen solchen Positionen hin- und herbewegt, kann vorgesehen sein, dass die momentane Position des Störobjektes bzw. des genannten Teils des Störobjekts mit diesen Positionen verglichen wird. Außerdem ist es dann möglich, zu bestimmen und anzugeben, ob sich das Störobjekt bzw. der genannten Teil des Störobjekts momentan in einer dieser Positionen befindet oder ob es sich momentan auf eine dieser Positionen zubewegt und, falls ja, in welcher der Positionen es sich befindet bzw. auf weiche der Positionen es sich zubewegt.
Bei den genannten vorgegebenen und bekannten Positionen des Störobjektes oder des Teils des Störobjekts kann es sich um die oben genannten Ruheposi- tion(en) des Störobjektes oder des Teils des Störobjekts handeln. Falls es sich bei dem Störobjekt, wie oben beschrieben, beispielsweise um eine Tür handelt, kann es sich bei den Ruhepositionen um eine Schließposition und um eine offene Position handeln, bei der die Tür also geschlossen oder geöffnet ist, und entsprechend um eine Öffnungsbewegung und eine Schließbewegung der Tür. Es kann in diesem Fall also vorgesehen sein, dass die momentane Position der Tür bzw. eines Teils der Tür mit diesen Ruhepositionen verglichen wird und entsprechend angegeben wird, ob die sich die Tür momentan in der offenen Position oder der Schließposition befindet bzw. sich momentan öffnet oder schließt. Es kann außerdem ein entsprechende Signale erzeugt werden, in denen diese Informationen kodiert sind.
In einer bevorzugten Ausführung des Verfahrens ist außerdem vorgesehen, dass Zielobjekte in dem Überwachungsbereich durch die Auswerteeinheit verfolgt („getrackt") und/oder gezählt werden. Insbesondere ist es möglich, dass Personen, die sich in einer vorbestimmten Richtung durch den Überwachungsbereich hindurchbewegen, gezählt werden.
Ein erfindungsgemäßes System zum Detektieren von Zielobjekten innerhalb einer Bildfolge eines Überwachungsbereichs umfasst eine Kamera zum Erfassen der Bildfolge und eine mit der Kamera zur Datenübertragung verbundene Auswerteeinheit, die dazu eingerichtet ist, Pixelwerte von Bildern der Bildfolge von Störbeiträgen zu bereinigen. Dabei stammen die genannten Störbeiträge von mindestens einem in dem Kontrollbereich enthaltenen Störobjekt. Dabei ist die Auswerteeinheit außerdem dazu eingerichtet, anhand der berei- nigten Pixelwerte die Zielobjekte in der Bildfolge zu suchen. Für das erfindungsgemäße System ist es nun entscheidend, dass die Auswerteeinheit ferner dazu eingerichtet ist, einen Beginn eines vorgegebenen Bewegungsablaufs des Störobjektes zu detektieren, während des Bewegungsablaufs eine momentane Position des Störobjektes innerhalb der Bilder zu bestimmen und die momentane Position des Störobjektes bei dem Bereinigen der Pixelwerte von den Störbeiträgen des Störobjektes zu berücksichtigen.
Somit hat das erfindungsgemäße System die Eignung, störende Einflüsse von Störobjekten, deren Bewegungsabläufe bekannt sind, aus den Pixelwerten der Bilder zu eliminieren bzw. herauszurechnen und auf diese Weise eine Trennung bzw. eine Diskriminierung von Zielobjekten und Störobjekten in der Bildfolge des Überwachungsbereiches zu verbessern bzw. eine Trefferrate und/oder eine Zählgenauigkeit der Zielobjekte zu erhöhen.
Es kann außerdem vorgesehen sein, dass die Auswerteeinheit dazu eingerichtet ist, die momentane Position des mindestens einen Störobjekts anhand eines Bewegungsmodells zu berechnen oder zu simulieren, wie bereits oben für das erfindungsgemäße Verfahren beschrieben worden ist. Es können daher auch entsprechende Modellparameter vorgegeben werden oder das System in einer Trainingsphase optimiert werden, wobei die Auswerteeinheit dazu eingerichtet ist, Messwerte für die Parameter zu erzeugen, zu mittein und die Modellparameter durch derartige gemittelte Parameterwerte zu ersetzen.
Schließlich kann die Auswerteeinheit des Systems programmtechnisch zur Ausführung eines der oder eine Kombination mehrerer der oben beschriebenen Ausführungsformen oder Weiterentwicklungen des vorgeschlagenen Verfahrens durchzuführen. Es ergeben sich die für das Verfahren beschriebenen Vorteile.
In einer weiteren Ausführungsform des Systems ist vorgesehen, dass die Kamera eine Stereokamera ist und sich somit zur Erzeugung von Bildern eignet, die jeweils zwei Einzelbilder umfassen. Die Bilder einer Stereokamera, die häufig auch als Stereobilder bezeichnet werden, erlauben eine dreidimensionale Darstellung des Überwachungsbereichs. Insbesondere ermöglichen Ste- reobilder die Übertragung von Bildpunkten der Stereobilder in ein dreidimensionales Bildkoordinatensystem. Wie bereits im Rahmen des oben beschriebenen Verfahrens ausgeführt worden ist, kann die Auswerteeinheit außerdem dazu eingerichtet sein, die in das Weltkoordinatensystem übertragenen Bildpunkte in Höhenkarten oder in Belegungskarten umzurechnen.
Das System kann einen Bewegungssensor umfassen, beispielsweise zusätzlich zu der für die Erzeugung der Bildfolge verwendeten Kamera, der dazu eingerichtet ist, den Bewegungsablauf eines oder mehrerer Störobjekte vollständig oder teilweise (insbesondere den Beginn) zu erfassen und entsprechende Messsignaie an die Auswerteeinheit zu übertragen. Dabei kann in diesen Messsignalen insbesondere der Beginn des Bewegungsablaufs kodiert sein. Die Auswerteeinheit ist vorzugsweise dazu eingerichtet, anhand dieser Messsignale den Beginn oder auch den gesamten Verlauf des betreffenden Störobjektes zu bestimmen. Der Sensor kann beispielsweise ein elektrisches, elektronisches, induktives, kapazitives und/oder ein optoelektronisches Sensorelement umfassen, wie etwa einen CMOS-Chip oder CCD-Chip.
Es wird außerdem ein Fahrzeug zur Beförderung von Personen vorgeschlagen, das mindestens eine Fahrzeugtür und eine Bedieneinheit umfasst, die dazu eingerichtet ist, ein Auslösesignal zum automatischen Öffnen der Fahrzeugtür zu erzeugen, wobei die Bedieneinheit mit der Fahrzeugtür zum Übertragen des Auslösesignals verbunden ist. Das Fahrzeug umfasst außerdem ein System hier vorgeschlagener Art, wobei die Auswerteeinheit des Systems mit der Tür oder der Bedieneinheit der Tür verbunden ist zum Empfangen des Auslösesignals, welches den Beginn des Öffnens der Tür, also dem Störobjekt, signalisiert.
Im Folgenden wird die Erfindung anhand in Figuren 1 bis 10 gezeigten speziellen Ausführungsbeispielen näher erläutert. Es zeigt:
Figur 1 ein Fahrzeug mit einem System hier vorgeschlagener Art,
Figur 2 ein Bild eines Überwachungsbereichs, erfasst mit dem in Figur 1 gezeigten System,
Figur 3 eine Belegungs- oder Höhenkarte des in Figur 2 gezeigten Bildes wäh rend einer Initialisierungsphase des Systems, Figur 4 eine weitere Belegungs- oder Höhenkarte während einer Trainingsphase des Systems,
Figur 5 eine weitere Belegungs- oder Höhenkarte während einer Train ingsphase des Systems,
Figur 6 eine weitere Belegungs- oder Höhenkarte nach einer ersten
Trainingsphase des Systems,
Figur 7 eine Belegungs- oder Höhenkarte mit einem Störobjekt und einem Zielobjekt vor der Bereinigung der Pixelwerte der Karte,
Figur 8 die in Figur 7 gezeigte Belegungs- oder Höhenkarte nach der
Bereinigung der Pixelwerte,
Figur 9 eine Belegungs- oder Höhenkarte mit einem Störobjekt und einem Zielobjekt vor der Bereinigung der Pixelwerte der Karte,
Figur 10 d ie in Figur 9 gezeigte Belegungs- oder Höhenkarte nach der
Bereinigung der Pixelwerte.
Dabei sind mit gleichen Bezugszeichen gleiche oder ähnliche Merkmale gekennzeichnet.
In Figur 1 ist ein Querschnitt durch ein Fahrzeug 1 zur Personenbeförderung, beispielsweise ein Bus oder eine Bahn, schematisch dargestellt. Es enthält eine spezielle Ausführungsform des hier vorgeschlagenen Systems 2, das zur Durchführung einer speziellen Ausführungsform des hier vorgeschlagenen Verfahrens eingerichtet ist.
Das System 2 umfasst eine Stereokamera 4' zum Erfassen einer Bildfolge von Stereobildern, im Folgenden auch kurz als Bilder bezeichnet, eines Ü berwachungsbereichs 3, der in der Figur 1 und ebenso in den folgenden Figuren durch eine gestrichelte Linie gekennzeichnet ist. Jedes der Bilder umfasst zwei Einzelbilder, in den der Überwachungsbereich 3 in zwei verschiedenen Perspektiven abgebildet ist. Die Stereokamera 2 ist mit einer Auswerteeinheit 4 des Systems zur Übertragung von Rohdaten der Bilder an die Auswerteeinheit 4 verbunden .
Innerhalb des Ü berwachungsbereichs 3 ist eine automatische Fahrzeugtür 5 des Fahrzeugs 1 angeordnet. Diese ist mit einer Bed ieneinheit 6 verbunden, die dazu eingerichtet ist, bei entsprechender Bedienung durch einen Passagier P ein Auslösesignal zu erzeugen und auf die Tür zu übertragen. Die Tür 5 ist dazu eingerichtet, sich zu öffnen, nachdem das Auslösesignal empfangen wurde. Es ist außerdem ein weiterer Bewegungssensor 6' vorgesehen, mit dem die Bewegung der Tür erfasst wird, beispielsweise mit einem mechanischen, elektronischen, optoelektronischen, induktiven oder einem anderen Sensorelement, welches beispielsweise direkt mit der Tür verbunden sein kann. Dieser Bewegungssensor 6' ist ebenfalls mit der Auswerteeinheit 4 zur Übertragung entsprechender Messsignale verbunden, in denen insbesondere der Beginn der Öffnungsbewegung der Tür 5 kodiert ist. Die Auswerteeinheit 4 ist dazu eingerichtet, die Messsignale zu verarbeiten und insbesondere den Zeitpunkt des Beginns anhand der Messsignale und anhand des Auslösesignals der Bedieneinheit 6 zu bestimmen.
In Figur 2 ist eines der Bilder 7 des Überwachungsbereichs 3 schematisch dargestellt, das von der Stereokamera 4' des in Figur 1 gezeigten Systems 2 in einer Initialisierungsphase des Systems erfasst worden ist und mittels eines Bildschirms (hier nicht gezeigt) des Systems 2 angezeigt wird.
Die Tür 5 weist einen linken und einen rechten Türflügel 8, 9 auf, die sich in einer Mittellinie 10' der Tür 5 berühren, wenn die Tür 5 geschlossen ist.
In dem gezeigten Bild 7 ist die Position einer Unterkante 10 der Tür 5 mittels einer entlang einer gesamten Breite der Tür 5 verlaufenden Markierungslinie 11 markiert. Ferner ist in dem Bild 7 die Position der Mittelinie 10' mittels einer weiteren Markierung 12. Die beiden Markierung 11, 12 sind mittels einer Eingabeschnittstelle (nicht dargestellt) in die Auswerteeinheit 4 eingegeben worden, beispielsweise mittels einer Touchscreenfunktion des Bildschirms oder einer Maus oder einer anderen zum Setzen von Markierungen innerhalb des Bildes 7 geeigneten Eingabeschnittstelle.
Die Auswerteeinrichtung 4 ist programmtechnisch dazu eingerichtet, die Bildpunkte des Bildes 7 (sowie aller weiteren der mit der Stereokamera 4' erfass- ten Bilder) in ein dreidimensionales Koordinatensystem (Weltkoordinatensystem) zu übertragen und die entsprechenden (Welt-)Koordinaten der Bildpunkte zu berechnen. Der Ursprung dieses Koordinatensystems ist, wie in Figur 2 zu erkennen ist, auf der Höhe einer Grundfläche 13 des Überwachungsbe- reichs 3 angeordnet, also auf der Höhe eines Fußbodens des Überwachungsbereichs, welcher sich in diesem Beispiel über den Überwachungsbereich 3 hinaus erstreckt. Es verläuft die XY-Ebene dieses Koordinatensystems innerhalb dieser Grundfläche 13. Die Höhe eines jeden Bildpunktes des Bildes 7 (sowie aller weiteren Bilder) wird also senkrecht zu dieser XY-Ebene entlang der Z-Achse des Weltkoordinatensystems mittels der Auswerteeinheit 4 bestimmt.
Außerdem werden mit der Auswerteeinheit 4 für jedes Bild der Bildfolge eine Höhenkarte und eine Belegungskarte des Überwachungsbereichs berechnet.
In Figur 3 ist beispielhaft die Höhenkarte bzw. die Belegungskarte 14 des in Figur 2 gezeigten Bildes 7 schematisch dargestellt.
Zu erkennen ist ein Ausschnitt eines Kartenrasters 15 mit Rasterelementen 16, in die die Grundfläche 13 innerhalb des Überwachungsbereichs 3 zerlegt wird. Dabei entsprechen die einzelnen Rasterelemente 16 in diesem Beispiel Flächenelementen der Grundfläche 13 mit Abmaßen von jeweils 5x5 cm. Zur Berechnung der Höhenkarte und der Belegungskarte werden mit der Auswerteeinheit 4 in einem ersten Schritt für jedes dieser Rasterelemente 16 solche Bildpunkte des Bildes 7 bestimmt, in denen ein beliebiges Objekt, wie etwa ein Zielobjekt, in diesem Beispiel ein Passagier, oder ein Störobjekt, in diesem Beispiel die Tür 5, oder ein Teil dieser Objekte abgebildet werden bzw. wird. Derartige„belegte" Bildpunkte werden dadurch erkannt, dass in ihnen die Grundfläche 13 durch
dieses Objekt verdeckt wird.
Für jeden dieser belegten Bildpunkte werden die zugehörigen Koordinaten in dem Weltkoordinatensystem und anschließend das zugehörige Rasterelement 16 direkt unterhalb des Bildpunktes bestimmt. In der Höhenkarte eines jeden Bildes wird anschließend für jedes Rasterelement 16 die Höhe des höchsten „belegten" Bildpunktes, in dem also ein Objekt abgebildet wird, eingetragen. Diese Höhe wird im Folgenden auch als Höhenwert des zugehörigen Rasterelementes 16 bezeichnet. Die Belegungskarte eines jeden Bildes enthält für jedes Rasterelement 16 die Anzahl aller„belegten" Bildpunkte, in denen also jeweils ein Objekt abgebildet wird. Diese Anzahl wird im Folgenden auch als Belegungswert eines Rasterelementes 16 bezeichnet.
In der in Figur 3 gezeigten Höhenkarte bzw. Belegungskarte 14 des in Figur 2 dargestellten Bildes 7 sind Bildebereiche, in denen die Höhenwerte bzw. Belegungswerte einen von Null verschiedene Wert aufweisen, schraffiert dargestellt. In dem dargestellten Beispiel befindet sich lediglich die Tür 5 innerhalb des Überwachungsbereiches 3.
Wie oben bereits erwähnt, befindet sich das System 4 zum Zeitpunkt der Aufnahme des Bildes 7 in einer Initialisierungsphase. In dieser Phase werden Initialisierungswerte für Modellparameter eines Bewegungsmodells zur Simulation der Öffnungsbewegung der Tür 5 festgelegt bzw. gemessen. Anhand dieses Bewegungsmodels für die Öffnungsbewegung der Tür 5 kann eine momentane Position der Tür 5 während der Öffnungsbewegung in jedem Bild, das während der Öffnungsbewegung durch die Kamera 4' erfasst wird, bestimmt werden. Anhand der auf diese Weise bestimmten momentanen Position der Tür 5 werden anschließend alle Rasterelemente 16 bestimmt, innerhalb bzw. oberhalb derer sich die Tür 5 momentan befindet. Danach werden die Höhenwerte sowie die Belegungswerte dieser Rasterelemente auf Null gesetzt. Auf diese Weise werden die in diesen Karten abgelegten Höhenwerte bzw. Belegungswerte, also allgemein die aus den Rohdaten der Bilder abgeleiteten Pixelwerte, von Störbeiträgen der Tür 5 bereinigt.
Bei einem ersten Modellparameter handelt es sich um eine Ruheposition der Unterkante 10 der Tür 5, und bei einem zweiten Modellparameter um eine Ruheposition der Mittellinie 10' der Tür 5. Die Position dieser Mittellinie 10' legt gleichzeitig die Position einer Durchgangsöffnung der Tür fest, welche während der Öffnungsbewegung der Tür 5 zwischen Kantenbereichen 17 und 18 der beiden Türflügel 8 und 9 gebildet wird. Ein dritter Modellparameter ist durch eine Zeitspanne gegeben, welche zwischen Beginn der Öffnungsbewegung und dem durch die Bedieneinheit 6 ausgesendeten Auslösesignal liegt bzw. einem den Beginn des Öffnens der Tür signalisierenden Messsignal des Bewegungssensors 6'. Ein vierter Modellparameter ist durch eine mittlere Geschwindigkeit der Kantenbereiche 17 und 18 der Tür 5 während der Öffnungsbewegung gegeben. Diese Geschwindigkeit ist durch den Quotienten aus während des Bewegungsablaufs durch die Kantenbereiche 17, 18 zurückgelegten Strecken und der Dauer des Bewegungsablaufs gegeben. Die genannten Strecken sind jeweils als Anzahl von während der Öffnungsbewegung von den Kantenbereichen 17, 18 durchschrittene Rasterelemente 16 angegeben bzw. gemessen.
Die oben genannten Positionen der genannten Teile 10, 10', 17, 18 der Tür werden sowohl in Weltkoordinaten als auch in Zeilen- und Spaltenindizes der zugehörigen Rasterelemente 16 der Belegungskarte und der Höhenkarte 14 angegeben bzw. gemessen.
Der erste Modellparameter, gegeben durch die Weltkoordinaten und die Zeilen- und Spaltenindizes der Ruheposition der Unterkante 10, wird mittels der Auswerteeinheit 4 aus dem Verlauf der Markierungslinie 11 in Bild 7 berechnet. Aus den somit bestimmten Koordinaten bzw. Zeilen- und Spaltenindizes der Unterkante 10 in der Ruheposition der Tür 5 werden die Initialwerte von zwei weiteren Modellparametern bestimmt, nämlich der Zeilenindex einer Startzeile 19 (fünfter Modellparameter) und ein Zeilenindex einer Endzeile 20 (sechster Modellparameter) der Tür 5 innerhalb der Höhen- und der Belegungskarte des Bildes 7. Mittels dieser beiden Initialwerte wird ein initialer Türbereich 21 zwischen Start- und Endzeile 19, 20 definiert, in dem der Verlauf der Tür 5 in der Höhen- bzw. der Belegungskarte 14 in den folgenden Bildern erwartet wird.
Außerdem wird ein Initialwert des zweiten Modellparameters, gegeben durch einen Spaltenindex der Ruheposition der Mittellinie 10' der Tür 5 in der Höhenkarte bzw. der Belegungskarte 14, aus der Markierung 12 in dem Bild 7 mit der Auswerteeinheit 4 berechnet. Eine durch diesen Spaltenindex definierte Mittelspalte 21 verläuft somit in der Belegungskarte bzw. Höhenkarte 14 zwischen den Kantenbereichen 17, 18 der Tür 5 hindurch.
In der Initialisierungsphase werden außerdem auch Initialwerte des dritten und des vierten Modellparameters mittels einer Eingabeschnittstelle eingegeben. An die Initialisierungsphase schließt sich eine erste Trainingsphase an, in der die Initialwerte der Modellparameter 2 bis 5 mittels Messungen kalibriert bzw. genauer bestimmt werden. Diese Messungen werden automatisch mit der Auswerteeinheit 4 anhand von während dieser ersten Trainingsphase auf- genommener Bilder durchgeführt, wobei erzeugte Messwerte der Modellparameter gemittelt werden. Ferner wird zwischen erfolgreichen und nicht erfolgreichen Messungen unterschieden, wobei eine Messung etwa des zweiten Parameters beispielsweise dann nicht erfolgreich ist, wenn die Mittellinie 10' durch eine vor der Tür 5 stehende Person verdeckt worden ist.
Der Beginn der Öffnungsbewegung ist in diesem Beispiel definiert als der Zeitpunkt, in dem zwischen den beiden Kantenbereichen 17, 18 der Tür 5 eine Lücke mit einer Breite 0x von beispielsweise mindestens 3 Rasterelementen (also 15 cm) mit der Auswerteeinheit 4 in der Höhen- oder Belegungskarte 14 erkennbar ist. Dieser Zeitpunkt ist in Figur 4 dargestellt. Der dritte Modellparameter, also die Zeitspanne, die vergeht zwischen Empfang des Öffnungssignals der Bedieneinheit (Auslösezeitpunkt) und dem Beginn der Öffnungsbewegung (Öffnungszeitpunkt) vergeht, wird gemessen, indem die Anzahl von Bildern gezählt wird, die zwischen dem Auslösezeitpunkt und dem Öffnungs- Zeitpunkt erfasst worden sind. Ferner wird zu diesem Zeitpunkt auch der zweite Modellparameter, die Position der Mittellinie 21, gemessen als Mittelpunkt zwischen den beiden Kantenbereichen 17, 18 der Tür 5. Es wäre auch möglich, diese Zeitspanne als zeitliche Differenz zwischen dem oben definierten Beginn der Bewegung und einem bestimmten Messsignal des Bewegungssensor 6' zu definieren, etwa dem Messsignal, der den Beginn der Öffnungsbewegung der
Tür 5 signalisiert. Auf diese Weise könnte beispielsweise die zeitliche Differenz zwischen dem Beginn der tatsächlichen, physikalischen Öffnungsbewegung der Tür und dem mittels den Höhenkarten oder Belegungskarten erkennbaren Beginn des Bewegungsablaufs berücksichtigt werden.
Das Ende der Öffnungsbewegung ist definiert als der Zeitpunkt, in dem sich die beiden Kantenbereich 17, 18 aus dem Überwachungsbereich 3 heraus bewegen (Endzeitpunkt). Dieser Zeitpunkt ist in Figur 5 dargestellt. Der vierte Modellparameter, also die Geschwindigkeit, mit der sich die Türflügel 8, 9 nach außen bewegen, wird gemessen indem die Anzahl von Bildern gezählt wird, die zwischen dem Auslösezeitpunkt und dem Endzeitpunkt erfasst worden sind.
Die nach der Initialisierungsphase stattfindenden wiederholten Messungen zur Optimierung der Modellparameter zwei bis vier, welche in eine Bewegungsgleichung des Bewegungsmodells zur Bestimmung der momentanen Position der Tür 5 eingehen, werden bis zum Erreichen einer hinreichenden Konstanz dieser Modellparameter durchgeführt. Außer den Modeilparametern zwei bis vier werden außerdem zwei weitere Modellparameter, Modellparameter sieben und acht, bestimmt. Zur Bestimmung dieser Modellparameter werden alle Rasterelemente 16 in der Auswerteeinheit 4 gespeichert, welche während des Öffnungsvorgangs in zumindest einem Bild von der Tür 5 überdeckt werden. Der siebte Modellparameter wird als der kleinste Zeilenindex dieser gespeicherten Rasterelemente bestimmt und der achte Modellparameter wird als der größte Zeilenindex dieser gespeicherten Rasterelemente bestimmt. In Figur 6 sind die zu diesen beiden Modellparametern gehörigen Pixelzeilen als horizontale Strichpunktlinien 22 und 23 oberhalb und unterhalb der Türflügel 8 und 9 eingezeichnet. Diese Linien werden im Folgenden auch als Start- und Endzeilen bezeichnet.
Die Phase dieser Messungen wird auch als erste Trainingsphase bezeichnet. Erfahrungsgemäß sind etwa 5 bis 10 erfolgreiche Messungen für jeden der betreffenden Parameter erforderlich. Nach dieser ersten Trainingsphase können mit dem System 2 Störbeiträge der Tür 5 aus der Höhen- und Belegungskarte herausgerechnet werden. Zu diesem Zweck werden zu jedem Zeitpunkt anhand der Modellparameter 2 bis 4 die momentanen Positionen der Kantenbereiche 17 und 18 mit der Auswerteeinheit berechnet und die Höhenwerte und die Belegungswerte für alle solche Rasterelemente 16 auf Null gesetzt, über die sich die Türflügel 8 oder 9 momentan erstrecken. Dies sind alle Rasterelemente, die zwischen der Start- und Endzeile 22, 23 und gleichzeitig links der momentanen Position des linken Kantenbereich 17 des linken Türflügels 8 befinden oder sich zwischen der Start- und Endzeile 22, 23 und gleichzeitig rechts der momentanen Position des rechten Kantenbereich 17 des rechten Türflügels 9 befinden. Dabei wird während der Öffnungsbewegung der Tür die momentane Position des linken und des rechten Kantenbereichs 17, 18 der Tür mittels der bereits erwähnten Bewegungsgleichung des Bewegungsmodells mit der Auswerteeinheit 4 berechnet.
Auf diese Weise werden die Höhen- und Belegungswerte von den Störbeiträgen der Tür 5 bereinigt und die Tür 5 aus der Belegungs- und Höhenkarte 14 ausgeblendet. Anschließend können die Passagiere anhand der somit bereinigten Höhen- und Belegungswerte besonders zuverlässig detektiert werden, beispielsweise anhand von Höhen- und Belegungsmaxima in der Höhen- bzw. der Belegungskarte. Die Höhen- und Belegungsmaxima der Passagiere können nun nicht mehr mit den Höhen- und Belegungsmaxima der Tür verschmelzen.
Dies soll anhand der in Figuren 7 und 8 dargestellten ersten Situation sowie der in Figuren 9 und 10 dargestellten zweiten Situation veranschaulicht werden.
In der ersten Situation befindet sich ein Passagier unmittelbar vor der Tür 5. In Figur 7 ist eine Belegungs- oder Höhenkarte 14 eines Bildes dieser Situation dargestellt, bevor die oben beschriebene Bereinigung der Pixelwerte durchgeführt worden ist. Der schraffierte Bereich in Figur 7 ist ein Bildsegment 24, welches Rasterelemente mit ähnlichen (unbereinigten) Höhen- und Belegungswerten umfasst. In Figur 8 ist die zu dieser Situation gehörige Höhenoder Belegungskarte nach der Bereinigung der Pixelwerte dargestellt. Nun ist ein Segment 25 zu erkennen, das aufgrund seiner Form eindeutig als Person bzw. Passagier detektiert werden kann. Die Störbeiträge der Tür sind herausgerechnet worden, so dass die Pixelwerte im zur Tür gehörigen Bildbereich 26 konstant Null betragen. Die Tür 5 ist somit aus der Höhenkarte bzw. aus der Belegungskarte 14 ausgeblendet.
In der zweiten Situation hat sich ein Passagier während des Öffnen s der Tür 5 bereits in die sich bildende Türöffnung zwischen den beiden Türflügeln 8, 9 hinein bewegt. Figur 9 zeigt wiederum ein zusammenhängendes Segment 25, in dem der Passagier mit der Tür verschmolzen erschient und daher nicht oder nur sehr schwer detektiert werden kann. Nach der beschriebenen Bereinigung der Pixelwerte von den Störbeiträgen ergibt sich das in Figur 10 gezeigte Segment 25, das als Passagier eindeutig detektierbar ist. Schließlich ist die Auswerteeinheit zum Tracken und Zählen der Passagiere eingerichtet. Insbesondere werden durch die Tür 5 zusteigende und aussteigende Passagiere gezählt. Es ist außerdem vorgesehen, dass sich direkt an die erste Trainingsphase eine zweite Trainingsphase anschließt, in der die Modellparameter zwei bis vier sowie sieben und acht fortlaufend wie oben beschrieben gemessen und weiter optimiert werden. Auf diese Weise können diese Modellparameter an ein sich über die Zeit änderndes Öffnungsverhalten der Tür angepasst werden. Dabei werden wiederum solche Messwerte, die sehr stark von momentanen
Werten der Modellparameter abweichen, vernachlässigt bzw. weniger stark gewichtet.

Claims

Patentansprüche
Verfahren zum Detektieren von Zielobjekten in einer Bildfolge eines Überwachungsbereichs (3), bei dem Pixelwerte von Bildern (7) der Bildfolge von Störbeiträgen bereinigt werden, wobei die Störbeiträge von mindestens einem in dem Überwachungsbereich (3) enthaltenen Störobjekt (5) erzeugt werden und wobei anhand der bereinigten Pixelwerte die Zielobjekte in der Bildfolge gesucht werden,
dadurch gekennzeichnet,
dass ein Beginn eines vorgegebenen Bewegungsablaufs des Störobjek tes (5) detektiert wird, während des Bewegungsablaufs eine momentane Position des Störobjektes (5) innerhalb der Bilder bestimmt wird und die momentane Position des Störobjektes (5) bei dem Bereinigen der Pixelwerte von den Störbeiträgen des Störobjekts (5) berücksichtigt wird.
Verfahren aus Anspruch 1, dadurch gekennzeichnet, dass die momentane Position des Störobjektes (5) anhand eines Bewegungsmodells berechnet wird, wobei vorzugsweise das Bewegungsmodell mindestens einen Modellparameter beinhaltet.
Verfahren aus Anspruch 2, dadurch gekennzeichnet, dass mindestens einer des mindestens einen Modellparameters während einer Initialisierungsphase des Verfahrens in der Form eines Initialwerts des Modellparameters vorgegeben wird.
Verfahren aus einem der Ansprüche 2 oder 3, dadurch gekennzeich net, dass mindestens einer des mindestens einen Modellparameters während einer ersten Trainingsphase des Verfahrens bestimmt wird.
Verfahren aus einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass mindestens einer des mindestens einen Modellparameters in einer zweiten Trainingsphase des Verfahrens fortlaufend optimiert wird.
Verfahren aus einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass mindestens einer des mindestens einen Modellparameters durch eine Ruheposition eines Teilbereichs (10) des Störobjektes (5) innerhalb eines Bildes (7), durch einen zu einem oder mehreren Störobjekten (5) gehörigen Öffnungsbereich (10') innerhalb eines Bildes, durch eine Zeitspanne zwischen Beginn des Bewegungsablaufes und einem Auslösesignals, das den Bewegungsablauf auslöst, und/oder durch eine Geschwindigkeit des Störobjektes (5) während des Bewegungsablaufs des Störobjektes (5) gegeben ist.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Pixelwerte Höhenwerte und/oder Belegungswerte von Bildpunkten der Bilder (7) beinhalten.
Verfahren aus Anspruch 7, sofern dieser sich auf einen der Ansprüche 2 bis 6 bezieht, dadurch gekennzeichnet, dass einer der Modellparameter gegeben ist durch einen Zeilenindex einer Startzeile (19) oder einer Endzeile (20) des Störobjektes (5) in der Höhen- oder Belegungskarte (14) eines Bildes, durch einen Spaltenindex einer Mittelspalte (21) zwischen zwei Teilen des Störobjektes (5) in der Höhen- oder Belegungskarte eines Bildes, durch eine mittlere Zeitdifferenz zwischen einem Auslösesignal für den Bewegungsablauf des Störobjektes (5) und einem ersten Detektieren des Bewegungsablaufes in einer Belegungskarte eines Bildes oder durch eine Bewegungsgeschwindigkeit des Störobjektes.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei dem Störobjekt um eine Tür (5) und bei dem Bewegungsablauf um ein Öffnen oder Schließen der Tür (5) handelt.
System (2) zum Detektieren von Zielobjekten in einer Bildfolge eines Überwachungsbereichs (3), wobei das System eine Kamera (4') zum Erfassen der Bildfolge und eine mit der Kamera (4') zur Datenübertragung verbundene Auswerteeinheit (4) umfasst, die dazu eingerichtet ist, Pixelwerte von Bildern (7) der Bildfolge von Störbeiträgen zu bereinigen, wobei die Störbeiträge von mindestens einem in dem Kontroll- bereich (3) enthaltenen Störobjekt (5) stammen, und wobei die Aus¬ werteeinheit (4) außerdem dazu eingerichtet ist, anhand der bereinigten Pixelwerte die Zielobjekte in der Bildfolge zu suchen,
dadurch gekennzeichnet,
dass die Auswerteeinheit (4) dazu eingerichtet ist, einen Beginn eines vorgegebenen Bewegungsablaufs des Störobjektes (5) zu erkennen, während des Bewegungsablaufs eine momentane Position des Störobjektes (5) innerhalb der Bilder (7) zu bestimmen und die momentane Position des Störobjektes (5) bei dem Bereinigen der Pixelwerte von den Störbeiträgen des Störobjektes (5) zu berücksichtigen.
11. System nach Anspruch 10, dadurch gekennzeichnet, dass die Auswer¬ teeinheit (4) eingerichtet ist, ein von einem Bewegungssensor (6') oder einem Bedienelement (6) kommendes Auslösesignal auszuwerten, um den Beginn des Bewegungsablaufs zu erkennen, und/oder eingerichtet ist, den Beginn des Bewegungsablaufs durch eine Bildauswertung der
Bildfolge der Kamera (4') und/oder anderer Kamerabilder zu erkennen.
12. System nach einem der Ansprüche 10 oder 11, dadurch gekennzeichnet, dass die Auswerteeinheit (4) dazu eingerichtet ist, die momentane Position des Bewegungsablaufs anhand eines Bewegungsmodells zu berechnen.
13. System nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Kamera (4') eine Stereokamera ist zur Erzeugung von zwei Einzelbilder umfassenden Bildern (7).
14. System nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass die Auswerteeinheit (4) eingerichtet ist zur Durchführung eines
Verfahrens nach einem der Ansprüche 1 bis 9.
15. System nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass das Störobjekt eine Tür (5) und der Bewegungsablauf eine Öffnungsbewegung der Tür (5) ist.
16. Fahrzeug (1) zur Beförderung von Personen, umfassend mindestens eine Fahrzeugtür (5) und eine Bedienein heit (6), die dazu eingerichtet ist, ein Auslösesignal zum automatischen Öffnen der Fahrzeugtür (5) zu erzeugen, wobei das Fahrzeug (1) außerdem ein System (2) nach ei nem der Ansprüche 10 bis 15 beinhaltet, wobei das Störobjekt (5) durch die Fahrzeugtür gegeben ist.
EP12706022.6A 2011-02-18 2012-02-17 Verfahren zum detektieren von zielobjekten in einem überwachungsbereich Withdrawn EP2676240A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011011929A DE102011011929A1 (de) 2011-02-18 2011-02-18 Verfahren zum Detektieren von Zielobjekten in einem Überwachungsbereich
PCT/EP2012/052815 WO2012110653A1 (de) 2011-02-18 2012-02-17 Verfahren zum detektieren von zielobjekten in einem überwachungsbereich

Publications (1)

Publication Number Publication Date
EP2676240A1 true EP2676240A1 (de) 2013-12-25

Family

ID=45768206

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12706022.6A Withdrawn EP2676240A1 (de) 2011-02-18 2012-02-17 Verfahren zum detektieren von zielobjekten in einem überwachungsbereich

Country Status (4)

Country Link
US (2) US9607225B2 (de)
EP (1) EP2676240A1 (de)
DE (1) DE102011011929A1 (de)
WO (1) WO2012110653A1 (de)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011011929A1 (de) * 2011-02-18 2012-08-23 Hella Kgaa Hueck & Co. Verfahren zum Detektieren von Zielobjekten in einem Überwachungsbereich
DE102013200817A1 (de) * 2013-01-18 2014-07-24 Hella Kgaa Hueck & Co. Verfahren zur Erkennung einer Belegung einer überwachten Zone
US9721349B2 (en) * 2013-02-25 2017-08-01 Texas Instruments Incorporated Method and system for automatically counting physical objects within a periphery band and an excluded region
JP5674857B2 (ja) * 2013-05-10 2015-02-25 技研トラステム株式会社 乗降者計数装置
US10657749B2 (en) * 2014-04-25 2020-05-19 Vivint, Inc. Automatic system access using facial recognition
US10274909B2 (en) 2014-04-25 2019-04-30 Vivint, Inc. Managing barrier and occupancy based home automation system
US11261642B2 (en) * 2016-01-29 2022-03-01 Faraday & Future Inc. System and method for tracking moving objects to avoid interference with vehicular door operations
JP2018093437A (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 検知システム
CN106875444B (zh) * 2017-01-19 2019-11-19 浙江大华技术股份有限公司 一种目标物定位方法及装置
CN108280952B (zh) * 2018-01-25 2020-03-27 盛视科技股份有限公司 一种基于前景目标分割的旅客尾随监测方法
US11821976B1 (en) 2018-04-10 2023-11-21 Jeral Innovations LLC Tactical motion sensor apparatus and method
CN110555339A (zh) * 2018-05-31 2019-12-10 北京嘀嘀无限科技发展有限公司 一种目标检测方法、系统、装置及存储介质
KR102591758B1 (ko) * 2018-11-07 2023-10-20 현대모비스 주식회사 차량 내 승객 감지장치 및 그 제어방법
CN113779859B (zh) * 2021-02-02 2022-04-05 北京瑞莱智慧科技有限公司 可解释的时序预测模型的训练方法、装置和计算设备
US11948303B2 (en) * 2021-02-26 2024-04-02 Capsovision Inc. Method and apparatus for objective assessment of gastrointestinal conditions based on images captured in the GI tract
CN116363781B (zh) * 2023-05-29 2023-08-11 深圳市捷易科技有限公司 通道闸机控制方法、装置、设备及计算机存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
US7215795B2 (en) * 2000-09-28 2007-05-08 Hitachi Kokusai Electric Inc. Intruding object detecting method and intruding object monitoring apparatus employing the method
US7382895B2 (en) * 2002-04-08 2008-06-03 Newton Security, Inc. Tailgating and reverse entry detection, alarm, recording and prevention using machine vision
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
DE102007000449A1 (de) * 2006-08-17 2008-03-27 Vis-à-pix GmbH Vorrichtung und Verfahren zur automatischen Zaehlung von Objekten auf beweglichem oder bewegtem Untergrund
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
US8917929B2 (en) * 2010-03-19 2014-12-23 Lapis Semiconductor Co., Ltd. Image processing apparatus, method, program, and recording medium
DE102011011929A1 (de) * 2011-02-18 2012-08-23 Hella Kgaa Hueck & Co. Verfahren zum Detektieren von Zielobjekten in einem Überwachungsbereich

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIAN-GANG WANG ET AL: "Face obscuration in a video sequence by integrating kernel-based mean-shift and active contour", CONTROL, AUTOMATION, ROBOTICS AND VISION, 2008. ICARCV 2008. 10TH INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 17 December 2008 (2008-12-17), pages 2314 - 2318, XP031433962, ISBN: 978-1-4244-2286-9 *

Also Published As

Publication number Publication date
DE102011011929A1 (de) 2012-08-23
US20140049647A1 (en) 2014-02-20
US20170161574A1 (en) 2017-06-08
US9904861B2 (en) 2018-02-27
US9607225B2 (en) 2017-03-28
WO2012110653A1 (de) 2012-08-23

Similar Documents

Publication Publication Date Title
EP2676240A1 (de) Verfahren zum detektieren von zielobjekten in einem überwachungsbereich
EP2450865B1 (de) Mobile Kontrollvorrichtungen und -verfahren für Fahrzeuge
EP1574986B1 (de) Vorrichtung und Verfahren zum Erfassen und Verfolgen von Personen in einem Untersuchungsabschnitt
DE69937699T2 (de) Vorrichtung zum Überwachen der Umgebung eines Fahrzeuges
DE102004032118B4 (de) Objekterkennungsverfahren für Fahrzeuge
WO2005038395A1 (de) Verfahren und vorrichtung zur bestimmung der aktualposition eines geodätischen instrumentes
WO2007107315A1 (de) Multisensorieller hypothesen-basierter objektdetektor und objektverfolger
DE102016224095A1 (de) Verfahren zum Kalibrieren einer Kamera und Kalibriersystem
EP2849151A1 (de) Verfahren zur Analyse von freien Warteschlangen
WO2018104191A1 (de) Automatisierte freiraumerkennung mittels differenzanalyse für fahrzeuge
EP2690459A2 (de) Vorrichtung und Verfahren zum Identifizieren und Dokumentieren mindestens eines ein Strahlungsfeld durchfahrendes Objektes
WO2003036320A2 (de) Verfahren und vorrichtung zur messung der geschwindigkeiten von sich bewegenden objekten
DE102016218093A1 (de) Betriebsverfahren für ein Ultraschallsensorsystem, Steuereinrichtung, Ultraschallsensorsystem und Fahrzeug
EP4296715A1 (de) Verfahren zur ermittlung einer angenäherten objektposition eines dynamischen objektes, computerprogramm, vorrichtung und fahrzeug
DE102007063508A1 (de) Verfahren und Anordnung zur Erfassung von Bewegungsgrößen bei einem Schienenfahrzeug
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
EP3299844A1 (de) Betriebsverfahren für ein ultraschallsensorsystem, steuereinrichtung, ultraschallsensorsystem und fahrzeug
EP3770879B1 (de) Verfahren, vorrichtung und computerprogramm zum aufbereiten von daten über eine ampelanlage
DE69213897T2 (de) Vorrichtung zum Messen des Abstandes zwischen Fahrzeugen
DE102005044979A1 (de) Verfahren zur Erkennung von Fahrspurmarkierungen
DE102018201801A1 (de) Vorrichtung zur Wahrnehmung eines Bereichs, Verfahren zum Betreiben einer Vorrichtung und Computerprogrammprodukt
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
DE102010056405A1 (de) Verfahren zur Erstellung eines Bilddokumentes, in dem ein durch ein Radargerät angemessenes Fahrzeug identifiziert werden kann und mit diesem Verfahren erstelltes Bilddokument
DE102019101127A1 (de) Verfahren zum Verarbeiten mittels Ultraschall erhaltener Daten
DE102017220506B4 (de) Verfahren und Vorrichtung zum Schätzen eines maritimen Verkehrszustandes

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130917

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: ICK, JULIA

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20161102

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20170216