EP2215601A2 - Image processing module for estimating an object position of a surveillance object, method for detecting a surveillance object and computer program - Google Patents

Image processing module for estimating an object position of a surveillance object, method for detecting a surveillance object and computer program

Info

Publication number
EP2215601A2
EP2215601A2 EP08804765A EP08804765A EP2215601A2 EP 2215601 A2 EP2215601 A2 EP 2215601A2 EP 08804765 A EP08804765 A EP 08804765A EP 08804765 A EP08804765 A EP 08804765A EP 2215601 A2 EP2215601 A2 EP 2215601A2
Authority
EP
European Patent Office
Prior art keywords
surveillance
model
camera
point
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP08804765A
Other languages
German (de)
French (fr)
Inventor
Stephan Heigl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2215601A2 publication Critical patent/EP2215601A2/en
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • An image processing module for estimating an object position of a surveillance obstruction for estimating an object position of a surveillance obstruction, a method for determining an object position of a surveillance object, and a computer program
  • the invention relates to an image processing module for estimating an object position of a surveillance object or subareas thereof in a surveillance area for a surveillance system for monitoring at least this surveillance area with a surveillance camera, with a model input interface for adopting a model or submodel of the surveillance area, with a camera input interface for adopting a camera model Security camera, with an object input interface to
  • an object point of the surveillance object wherein the object point is determined on the basis of one or more pixels of the surveillance object of a surveillance image recorded with the surveillance camera, wherein the image processing module is formed by offsetting the model, the camera model and the object point, the object position of the surveillance object or
  • the invention relates to a corresponding method for determining the object position of a surveillance object and a computer program.
  • Video surveillance systems are often used to monitor large, angular or complex surveillance areas with the help of surveillance cameras.
  • the recorded with the surveillance cameras image streams are usually merged into a monitoring center or the like and there either automated or controlled by monitoring personnel.
  • the number of image streams that need to be controlled by security guards is steadily increasing. From a certain number of video monitors for displaying the image data streams, it must be assumed that attention for each one
  • Video monitor of the security guards is safely reduced. If the number of video monitors is further increased, this can lead to an unmanageable number, so that a sufficient monitoring quality may no longer be ensured.
  • the rectangles are "set up” by these are pivoted in the 2-D model of the football field to one of the surveillance camera facing side line of the rectangle by 90 °.
  • the proportions of the rectangle are distorted according to perspective, so that in the 2-D model of the
  • Soccer field first perspective approximate images of the football players are shown. In further steps, this operation will be carried out for other football players and thus get views of each football player from different perspectives. These perspective views are contracted to a model of the football player, so that a 3-D representation of the football players is formed.
  • the proposed image processing module is preferably implemented as part of a monitoring system, wherein the monitoring system is suitable and / or designed to monitor at least one surveillance area with a surveillance camera, wherein the surveillance cameras are aimed and / or directed to relevant areas in the surveillance area.
  • a surveillance camera aimed and / or directed to relevant areas in the surveillance area.
  • Another disclosed subject of the invention is therefore also such a monitoring system with the image processing module.
  • the surveillance area can be designed, for example, as the interior of a building complex, public spaces, hospitals, etc.
  • the image processing module is configured to estimate an object position of a surveillance object or portions thereof in the surveillance area.
  • An estimate in this context means a determination of the object position, wherein an arbitrary definition for the object position of the object
  • the monitoring object can be designed as any moving, quasi-stationary or stationary monitoring object and is preferably characterized in that it is not shown in the model described below.
  • the image processing module has a model input interface for adopting a model or a submodel of the monitoring region, wherein the model or submodel are collectively referred to below as a model.
  • the model forms static, quasi-static and / or non-static elements of the
  • the model may include the plans of a building, furniture, desks, or the like. Quasi-static elements are given, for example, in the monitoring of a parking lot by parked cars, which usually remain a longer residence time unmoved. Furthermore, that can - A -
  • Model also included non-static elements, such as passing trains, escalators, elevators, paternoster or the like included.
  • An object input interface is used to transfer an object point of the monitoring object.
  • the object point is based on one or more
  • Pixels of the surveillance object of a recorded with the surveillance camera surveillance image determined.
  • a detection of the monitored object takes place in the monitoring image, the detected image of the monitored object being e.g. is enclosed with a rectangle or polygon and where e.g. a foot point of the rectangle is passed as an object point.
  • a focus of the monitored object or the like can be passed as an object point.
  • the image processing module comprises a camera input interface for
  • the camera model includes in particular the position and / or orientation as well as the imaging and / or projection properties of the surveillance camera in world coordinates and / or model coordinates, so that the surveillance camera and its detection range can be integrated into the model.
  • the camera model is implemented as a transformation matrix, which allows a transformation of pixels in the image plane of the surveillance camera into the model.
  • Model input interface and camera input interface may also be formed as a common interface, the model then includes the camera model.
  • the image processing module is designed as control technology and / or circuit technology, the object position of the surveillance object or partial areas thereof in the
  • the position of the object point in the model is preferably first determined-thus determining the position of the object point in model coordinates-and in a further step transmitting the position in model coordinates to a position in world coordinates in the monitoring area.
  • the model is designed as a 3-D model so that the object position can be determined as a 3-D object position.
  • the 3-D model is delimited from the 2-D model, in particular by the 3-D model containing at least one out-of-plane element.
  • the 3-D model thus has spatial elements such as 3-D triangular meshes, elevation maps or even simple shapes or bodies such as spheres, cuboids or the like for modeling real elements in the surveillance area.
  • the model should come as close as possible to the spatial conditions of the real scene.
  • the model is also called a collision model.
  • One idea of the invention is that it is often necessary to locate surveillance objects not only in flat or planned surveillance areas, but also in surveillance areas with changing altitudes. On the one hand - to get back to the example of the football field - a grandstand or the like can no longer be sensibly processed by the known system.
  • the embodiment according to the invention is advantageous if the 3-D model, for example, depicts a complete building and object positions are to be determined in different floors or intermediate floors. The fact that a "true" 3-D model is used and an object point of the monitoring object is mapped into the model, geometrically complex monitoring areas can be easily incorporated into the object position determination.
  • the at least one surveillance camera has one or the detection area, that is to say a spatial area in the area
  • Surveillance area observed with the surveillance camera wherein the surveillance area and / or the model extends farther or wider than the detection area.
  • the detection range of the camera thus forms a subarea of the surveillance area or only covers a subarea of the model.
  • the monitoring system has at least two surveillance cameras with overlapping and / or non-overlapping detection areas, the surveillance area and / or the model extending exactly over the detection areas or further than the detection areas of the at least two surveillance cameras. Both trainings aim at that Model is far more spacious than the detection range of a single surveillance camera is designed to - as already explained - to be able to control complex surveillance areas effectively.
  • the image processing module is designed such that the object point which lies in the image plane or in an equivalent plane of the surveillance camera and is indicated in image coordinates, based on the camera model to an imaging point of the 3 -. D model is mapped.
  • the imaging point in the 3-D model is on an edge surface of an element shown in the 3-D model.
  • the imaging point determined in this way is interpreted as a 3-D object position and output, for example, via a further interface.
  • the image processing module is designed such that the object point in the image plane is imaged onto a projection point in the model, wherein the projection point lies on a projection plane of the surveillance camera arranged in the correct position in the model.
  • the projection plane is defined as the plane through which rays, starting from a projection center of the
  • Surveillance camera through one or more projection points and meet in the model on the corresponding imaging point.
  • the mapping of the object point to the projection point is completely determined by the camera model.
  • the image processing module is developed such that at least one intersection of the half-lines with one or more elements of the 3-D model are searched.
  • a point on the edge surface ie, for example, a puncture point is sought as the intersection. Since it is possible for the half-line to pierce several elements of the 3-D model and / or to pierce a front and a back of an element of the 3-D model, it is further preferred that the intersection be chosen as the imaging point the smallest distance to the projection origin and / or to the
  • intersection point is interpreted as an imaging point and initially represents the 3D object position of the object point and thus also of the object in model coordinates, which can be easily converted into world coordinates.
  • Memory device is implemented in which the set of all imaging points for a plurality and / or all pixels in the detection range of the surveillance camera is stored.
  • the corresponding imaging point can be found in monitoring mode for an object point in a technically simple manner, without having to carry out the test for multiple intersections, for example.
  • the data content of the memory device can be stored in an initialization phase, alternatively, it is possible that the content of the memory device is updated regularly, irregularly and / or event-controlled.
  • Another object of the invention relates to a method for determining a 3D object position of a surveillance camera detected by a surveillance object in a surveillance area, which is preferably carried out using the image processing module just described or according to one of the preceding claims.
  • an object point of the surveillance object is determined in the image plane of the surveillance camera. For this purpose, for example - as already stated - a rectangle is placed around the detected monitoring object and the base point of the rectangle is selected as the object point.
  • the object point is imaged on the basis of one or the camera model of the surveillance camera onto one or the imaging point of a 3-D model or 3-D submodel, which are also referred to collectively below as a 3-D model.
  • the mapping can take place, for example, by forming a transformation matrix on the basis of the camera model, which transforms the video image or sections thereof of the surveillance camera from the image plane onto a projection surface of the 3-D model, the position and size of the transformed video image being selected such that the pixels of the video image are arranged as correctly positioned projection points in the 3-D model.
  • the object point is mapped to a projection point in the projection plane by means of the transformation matrix.
  • a half-line starting in the projection center of the surveillance camera and piercing the projection point is then cut with the model, finding an imaging point which is formed as an intersection of the half-line with the 3-D model.
  • the 3-D object position of the imaging point is then interpreted as a 3-D object position of the object point and / or the monitored object.
  • some or all object points of the monitoring object can also be projected into the 3-D model in order to obtain a more complex 3-D position information of the surveillance object.
  • the intersection with the smallest distance to the projection center is selected as the imaging point.
  • Another possible embodiment can be seen in that some, a plurality and / or all pixels in the image plane of the surveillance camera are mapped to imaging points of the 3-D model, so that they are present in the sense of a table or a look-up table , This step may be periodic, irregular, and / or event driven, and / or depending on the updating of the 3-D model.
  • This step may be periodic, irregular, and / or event driven, and / or depending on the updating of the 3-D model.
  • Another object of the invention relates to a computer program having the features of claim 12.
  • FIG. 1 is a block diagram of a monitoring system having an image processing module as an embodiment of the invention
  • Figure 2 is a schematic representation of a 3-D model for illustrating the method according to the invention.
  • FIG. 1 shows a schematic block diagram of a monitoring system 1, which is connected to a plurality of surveillance cameras 2 and / or connectable.
  • the surveillance cameras 2 are arranged distributed in a monitoring area (not shown), wherein the detection areas of the
  • Surveillance cameras 2 partially overlap, but also detection areas are provided, which forms no intersection with a detection range of another surveillance camera 2.
  • the monitoring system 1 has an image processing module 3, which is designed to determine a 3-D object position of a monitoring object in the monitoring area on the basis of input data defined in more detail later.
  • This image processing module 3 is used when it is interesting to obtain information about the 3-D object position in world coordinates for a monitoring object detected by the monitoring system 1.
  • the surveillance object is detected in a video image of one of the surveillance cameras 2 and detected, for example, by a "bounding box", ie a rectangle projected in terms of data in the video image.
  • a base point of the bounding box ie a point which lies in the middle of the side edge of the rectangle, which, in perspective interpreted form, should represent the underside of the monitored object, is defined as an object point.
  • the operation of object point extraction is performed in a detection device 4, which
  • the object point is transferred to an evaluation device 5, which is designed to determine the 3-D object position of this object point, as will be explained below.
  • the evaluation device 5 receives from a first data memory 6 a model of the monitoring area.
  • the model is designed as a 3-D model, thus containing elements that are defined outside a common plane.
  • the spatial extent of the model can be limited to the detection range of a single surveillance camera 2, be greater than this detection range, pass over at least the detection areas of two surveillance cameras 2 or capture a plurality of detection areas of surveillance cameras 2.
  • the model should come as close to reality as possible and has, for example, space,
  • the evaluation device 5 receives from a second data memory 7 a camera model of the surveillance camera 2 with which the surveillance object is detected or which provides the object point.
  • the camera model includes data on the position and orientation of the surveillance camera 2 in model or world coordinates and on the optical imaging properties of the surveillance camera, so that, for example, the detection range of the surveillance camera 2 is modeled in the 3D model.
  • the 3-D object position of the object point can now be calculated in model or world coordinates. This calculation will be explained with reference to the schematic representation of a 3-D model 8 in the following figure.
  • the 3-D model is shown in simplified form in FIG. 2 with two elements, namely a cuboid 9 and a modeled surveillance camera 10.
  • the 3-D model is designed as a wireframe model.
  • the cuboid 9 represents any real object in the surveillance area, such as a desk or the like. A plurality of such bodies can thus form the 3-D model.
  • the modeled surveillance camera 10 comprises a projection center 11 and a projection plane 12.
  • the projection center 11 and plane 12 are arranged such that a pixel of the real surveillance camera 2 corresponding to the modeled camera 10 is projected on a half-line which begins in the projection center 11 and through one the image point corresponding imaging point extends, in the correct position as a projection point on the projection plane 12 is shown.
  • the object point is entered as a projection point 14 in the correct position in the model 8.
  • the half-line 13 is formed by the projection center 11 and the projection point 14, so that a direction of the half-line 13 is defined by these input data.
  • there are two points of intersection namely the imaging point 15 and a further intersection point 16. If there are several intersections 15, 16, the evaluation device 5 checks which intersection point 15, 16 has the smallest distance to the projection center 11 this then the modeled surveillance camera 10 facing upper side or visible side of the cuboid 9 and the 3-D model 8 must represent.
  • the 3-D position data of the imaging point 15 are subsequently output as a 3-D object position by the evaluation device 5 or the image processing module 3.
  • the illustrated method allows the position determination in rooms and at different heights. Particularly noteworthy is that walls or similar visual collision objects are taken into account.
  • the image processing module has another input interface to a third
  • Data memory 17 wherein in the third data memory 17 an assignment table is stored, in which for each pixel of the surveillance cameras 2, a corresponding 3 -D object position is calculated.
  • the third data memory 17 is refreshed, for example, in an initialization phase, but also during an update of the model, the camera model, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Video surveillance systems are used to observe oftentimes large-area, broken or complex surveillance areas. The image data streams recorded with the surveillance camera are usually brought together in a surveillance center or the like and are either automated there or controlled by surveillance personnel. The invention relates to an image processing module (3) for estimating an object position of a surveillance object or subareas thereof in a surveillance area for a surveillance system (1) for surveilling at least said surveillance area by means of at least one surveillance camera (2). Said image processing module comprises a model input interface (6) for receiving a model or partial model of the surveillance area (referred to in the following as model), a camera input interface (7) for receiving a camera model of the surveillance camera (2), an object input interface for receiving an object point of the surveillance object, said object points being determined based on a surveillance image recorded from one or more image points of the surveillance object by means of the surveillance camera. The image processing module (5) is adapted to determine the object position of the surveillance object or subareas thereof in the surveillance area by calculation of the model, the camera model and the object point, the model being configured as a 3D model so that the object position can be determined as a 3D object position.

Description

Beschreibung description
Titeltitle
Bildverarbeitungsmodul zur Schätzung einer Objektposition eines Überwachungsobiekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie ComputerprogrammAn image processing module for estimating an object position of a surveillance obstruction, a method for determining an object position of a surveillance object, and a computer program
Stand der TechnikState of the art
Die Erfindung betrifft ein Bildverarbeitungsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts oder Teilbereichen davon in einem Überwachungsbereich für ein Überwachungssystem zur Überwachung von mindestens diesem Überwachungsbereich mit einer Überwachungskamera, mit einer Modelleingangsschnittstelle zur Übernahme eines Modells oder Teilmodells des Überwachungsbereichs, mit einer Kameraeingangsschnittstelle zur Übernahme eines Kameramodells der Überwachungskamera, mit einer Objekteingangsschnittstelle zurThe invention relates to an image processing module for estimating an object position of a surveillance object or subareas thereof in a surveillance area for a surveillance system for monitoring at least this surveillance area with a surveillance camera, with a model input interface for adopting a model or submodel of the surveillance area, with a camera input interface for adopting a camera model Security camera, with an object input interface to
Übernahme eines Objektpunkts des Überwachungsobjekts, wobei der Objektpunkt auf Basis von einem oder mehreren Bildpunkten des Überwachungsobjekts eines mit der Überwachungskamera aufgenommenen Überwachungsbilds bestimmt ist, wobei das Bildverarbeitungsmodul ausgebildet ist, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des Überwachungsobjekts bzw.Acceptance of an object point of the surveillance object, wherein the object point is determined on the basis of one or more pixels of the surveillance object of a surveillance image recorded with the surveillance camera, wherein the image processing module is formed by offsetting the model, the camera model and the object point, the object position of the surveillance object or
Teilbereichen davon in dem Überwachungsbereich zu bestimmen. Ferner betrifft die Erfindung ein entsprechendes Verfahren zur Bestimmung der Objektposition eines Überwachungsobjekts sowie ein Computerprogramm.Determine portions of it in the surveillance area. Furthermore, the invention relates to a corresponding method for determining the object position of a surveillance object and a computer program.
Videoüberwachungssysteme dienen dazu, mit Hilfe von Überwachungskameras oftmals weiträumige, verwinkelte oder komplexe Überwachungsbereiche zu beobachten. Die mit den Überwachungskameras aufgenommenen Bilddatenströme werden üblicherweise in eine Überwachungszentrale oder dergleichen zusammengeführt und dort entweder automatisiert oder durch Überwachungspersonal kontrolliert. Mit der steigenden Größe bzw. Komplexität der Überwachungsbereiche und somit einer steigenden Anzahl von Überwachungskameras nimmt die Anzahl von den Bilddatenströmen, welche von dem Wachpersonal kontrolliert werden müssen, stetig zu. Ab einer gewissen Anzahl von Videomonitoren zur Darstellung der Bilddatenströme muss davon ausgegangen werden, dass die Aufmerksamkeit für jeden einzelnenVideo surveillance systems are often used to monitor large, angular or complex surveillance areas with the help of surveillance cameras. The recorded with the surveillance cameras image streams are usually merged into a monitoring center or the like and there either automated or controlled by monitoring personnel. With the increasing size and complexity of the surveillance areas, and thus an increasing number of surveillance cameras, the number of image streams that need to be controlled by security guards is steadily increasing. From a certain number of video monitors for displaying the image data streams, it must be assumed that attention for each one
Videomonitor des Wachpersonals sicher verringert ist. Wird die Anzahl der Videomonitore weiter erhöht, so kann dies zu einer unüberschaubaren Anzahl führen, so dass eine ausreichende Überwachungsqualität möglicherweise nicht mehr gesichert ist.Video monitor of the security guards is safely reduced. If the number of video monitors is further increased, this can lead to an unmanageable number, so that a sufficient monitoring quality may no longer be ensured.
Eine Weiterentwicklung von Videoüberwachungssystemen ist beispielsweise durch dieA further development of video surveillance systems, for example, by the
Druckschrift DE 698 125 18 T2, die wohl den nächstkommenden Stand der Technik bildet, gegeben, in der eine Bildverarbeitungsvorrichtung zur Beobachtung von zum Beispiel einem Fußballplatz offenbart ist. In dieser Druckschrift wird vorgeschlagen, dem Beobachter das Fußballfeld nicht mehr real darzustellen, sondern ihm ein Modell des Fußballfelds zu zeigen und die Fußballspieler als virtuelle Objekte einzublenden. Hierzu wird in einem ersten Schritt in einem Videobild die Lage des Fußballfeldes kalibriert, indem vier Eckpunkte des Fußballfelds in dem Videobild manuell bestimmt werden. In weiteren Schritten werden durch Bildverarbeitungsalgorithmen die Bilder von detektierten Fußballspielern in der Bildebene der Überwachungskamera mit Rechtecken (bounding-box) zu umgeben. Diese Rechtecke werden nachfolgend datentechnisch von der 2-D-Bildebene der Überwachungskamera in das 2-D-Modell des Fußballfelds übertragen. In einem nächsten Schritt werden die Rechtecke "aufgestellt ", indem diese in dem 2-D-Modell des Fußballfeldes um eine der Überwachungskamera zugewandte Seitenlinie des Rechtecks um 90° geschwenkt werden. Die Proportionen des Rechtecks werden nach perspektivischen Gesichtspunkten verzerrt, so dass in dem 2-D-Modell desDocument DE 698 125 18 T2, which is probably the closest prior art, given in which an image processing device for observing, for example, a football field is disclosed. In this document, it is proposed that the football field is no longer real to the observer but to show him a model of the soccer field and to show the football players as virtual objects. For this purpose, the position of the football field is calibrated in a first step in a video image by four corners of the football field are determined manually in the video image. In further steps, image processing algorithms surround the images of detected football players in the image plane of the surveillance camera with bounding boxes. These rectangles are subsequently transferred in terms of data technology from the 2-D image plane of the surveillance camera into the 2-D model of the football field. In a next step, the rectangles are "set up" by these are pivoted in the 2-D model of the football field to one of the surveillance camera facing side line of the rectangle by 90 °. The proportions of the rectangle are distorted according to perspective, so that in the 2-D model of the
Fußballfelds zunächst perspektivisch annähernd richtige Abbilder der Fußballspieler dargestellt sind. In weiteren Schritten wird diese Operation für weitere Fußballspieler durchgeführt und so Ansichten eines jeden Fußballspielspielers aus verschiedenen Perspektiven erhalten. Diese perspektivischen Ansichten werden zu einem Modell des Fußballspielers zusammengezogen, so dass eine 3 -D-Darstellung der Fußballspieler gebildet wird.Soccer field first perspective approximate images of the football players are shown. In further steps, this operation will be carried out for other football players and thus get views of each football player from different perspectives. These perspective views are contracted to a model of the football player, so that a 3-D representation of the football players is formed.
Offenbarung der Erfindung Im Rahmen der Erfindung wird ein Bildverarbeitungsmodul mit den Merkmalen des Anspruchs 1, ein Verfahren zur Bestimmung einer Objektposition mit den Merkmalen des Anspruchs 8 sowie ein Computerprogramm mit den Merkmalen des Anspruchs 12 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügtenDisclosure of the invention In the context of the invention, an image processing module with the features of claim 1, a method for determining an object position with the features of claim 8 and a computer program with the features of claim 12 is proposed. Preferred or advantageous embodiments of the invention will become apparent from the dependent claims, the following description and the appended
Figuren.Characters.
Das vorgeschlagene Bildverarbeitungsmodul ist vorzugsweise ein Teil eines Überwachungssystems realisiert, wobei das Überwachungssystem zur Überwachung von mindestens einem Überwachungsbereich mit einer Überwachungskamera geeignet und/oder ausgebildet ist, wobei die Überwachungskameras auf relevante Bereiche in dem Überwachungsbereich gerichtet und/oder zu richten sind. Ein weiterer offenbarter Erfindungsgegenstand ist somit auch ein derartiges Überwachungssystem mit dem Bildverarbeitungsmodul. Der Überwachungsbereich kann beispielsweise als das Innere eines Gebäudekomplexes, öffentliche Plätze, Krankenhäuser, etc. ausgebildet sein.The proposed image processing module is preferably implemented as part of a monitoring system, wherein the monitoring system is suitable and / or designed to monitor at least one surveillance area with a surveillance camera, wherein the surveillance cameras are aimed and / or directed to relevant areas in the surveillance area. Another disclosed subject of the invention is therefore also such a monitoring system with the image processing module. The surveillance area can be designed, for example, as the interior of a building complex, public spaces, hospitals, etc.
Das Bildverarbeitungsmodul ist zur Schätzung einer Objektposition eines Überwachungsobjekts oder Teilbereichen davon in dem Überwachungsbereich ausgebildet. Eine Schätzung bedeutet in diesem Zusammenhang eine Bestimmung der Objektposition, wobei eine beliebige Definition für die Objektposition desThe image processing module is configured to estimate an object position of a surveillance object or portions thereof in the surveillance area. An estimate in this context means a determination of the object position, wherein an arbitrary definition for the object position of the object
Überwachungsobjekts verwendbar ist Beispiele für Definitionen sind der Schwerpunkt des Überwachungsobjekts, ein Fußpunkt des Überwachungsobjekts oder dergleichen. Das Überwachungsobjekt kann als beliebiges, bewegtes, quasi-stationäres oder stationäres Überwachungsobjekt ausgebildet sein und ist vorzugsweise dadurch gekennzeichnet, dass es in dem nachfolgend beschriebenen Modell nicht abgebildet ist.Examples of definitions are the center of gravity of the surveillance object, a footpoint of the surveillance object or the like. The monitoring object can be designed as any moving, quasi-stationary or stationary monitoring object and is preferably characterized in that it is not shown in the model described below.
Das Bildverarbeitungsmodul weist eine Modelleingangsschnittstelle zur Übernahme eines Modells oder eines Teilmodells des Überwachungsbereichs auf, wobei Modell oder Teilmodell nachfolgend zusammenfassend als Modell bezeichnet werden. Das Modell bildet statische, quasi-statische und/oder nicht-statische Elemente desThe image processing module has a model input interface for adopting a model or a submodel of the monitoring region, wherein the model or submodel are collectively referred to below as a model. The model forms static, quasi-static and / or non-static elements of the
Überwachungsbereichs ab. Beispielsweise kann das Modell die Pläne eines Gebäudes, Möbel, Schreibtische oder dergleichen enthalten. Quasi-statische Elemente sind beispielsweise bei der Überwachung eines Parkplatzes durch parkende Autos gegeben, welche üblicherweise eine längere Verweildauer unbewegt bleiben. Weiterhin kann das - A -Monitored area. For example, the model may include the plans of a building, furniture, desks, or the like. Quasi-static elements are given, for example, in the monitoring of a parking lot by parked cars, which usually remain a longer residence time unmoved. Furthermore, that can - A -
Modell auch nicht-statische Elemente enthalten, wie zum Beispiel durchfahrende Züge, Rolltreppen, Aufzüge, Paternoster oder dergleichen enthalten.Model also included non-static elements, such as passing trains, escalators, elevators, paternoster or the like included.
Eine Objekteingangsschnittstelle dient zur Übernahme eines Objektpunkts des Überwachungsobjekts. Der Objektpunkt wird auf Basis von einem oder mehrerenAn object input interface is used to transfer an object point of the monitoring object. The object point is based on one or more
Bildpunkten des Überwachungsobjekts eines mit der Überwachungskamera aufgenommenen Überwachungsbilds bestimmt. Bei einer möglichen Umsetzung erfolgt in dem Bildverarbeitungsmodul oder in einem vorgeschalteten Modul eine Detektion des Überwachungsobjekts in dem Überwachungsbild, wobei das detektierte Abbild des Überwachungsobjekts z.B. mit einem Rechteck oder Polygon umschlossen wird und wobei z.B. ein Fußpunkt des Rechtecks als Objektpunkt weitergegeben wird. Alternativ hierzu kann selbstverständlich auch ein Schwerpunkt des Überwachungsobjekts oder dergleichen als Objektpunkt weitergegeben werden.Pixels of the surveillance object of a recorded with the surveillance camera surveillance image determined. In one possible implementation, in the image processing module or in an upstream module, a detection of the monitored object takes place in the monitoring image, the detected image of the monitored object being e.g. is enclosed with a rectangle or polygon and where e.g. a foot point of the rectangle is passed as an object point. Alternatively, of course, a focus of the monitored object or the like can be passed as an object point.
Ferner umfasst das Bildverarbeitungsmodul eine Kameraeingangsschnittstelle zurFurthermore, the image processing module comprises a camera input interface for
Übernahme eines Kameramodells. Das Kameramodell umfasst insbesondere die Lage und/oder Ausrichtung sowie die Abbildungs- und/oder Projektions eigenschaften der Überwachungskamera in Weltkoordinaten und/oder Modellkoordinaten, so dass die Überwachungskamera und deren Erfassungsbereich in das Modell integriert werden kann. Beispielsweise ist das Kameramodell als eine Transformationsmatrix realisiert, welche eine Transformation von Bildpunkten in der Bildebene der Überwachungskamera in das Modell erlaubt.Acquisition of a camera model. The camera model includes in particular the position and / or orientation as well as the imaging and / or projection properties of the surveillance camera in world coordinates and / or model coordinates, so that the surveillance camera and its detection range can be integrated into the model. For example, the camera model is implemented as a transformation matrix, which allows a transformation of pixels in the image plane of the surveillance camera into the model.
Modelleingangsschnittstelle und Kameraeingangsschnittstelle können auch als eine gemeinsame Schnittstelle ausgebildet sein, wobei das Modell dann das Kameramodell umfasst.Model input interface and camera input interface may also be formed as a common interface, the model then includes the camera model.
Das Bildverarbeitungsmodul ist steuerungstechnisch und/oder schaltungstechnisch ausgebildet, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des Überwachungsobjekts bzw. Teilbereichen davon in demBy controlling the model, the camera model and the object point, the image processing module is designed as control technology and / or circuit technology, the object position of the surveillance object or partial areas thereof in the
Überwachungsbereich zu bestimmen. Hierzu wird vorzugsweise zunächst die Lage des Objektpunkts in dem Modell bestimmt - somit die Lage des Objektspunkts in Modellkoordinaten bestimmt -und in einem weiteren Schritt die Lage in Modellkoordinaten auf eine Lage in Weltkoordinaten in dem Überwachungsbereich übertragen. Der Erfindung folgend wird vorgeschlagen, dass das Modell als ein 3 -D-Modell ausgebildet ist, so dass die Objektposition als 3 -D-Objektposition bestimmbar ist. Das 3- D-Modell wird gegenüber dem 2-D-Modell, insbesondere dadurch abgegrenzt, dass das 3 -D-Modell wenigstens ein Element außerhalb einer Ebene enthält. Das 3 -D-Modell weist somit räumliche Elemente auf, wie beispielsweise 3 -D-Dreiecksnetze, Höhenkarten oder auch einfache Formen oder Körper wie Sphären, Quader oder dergleichen zur Modellierung von realen Elementen in dem Überwachungsbereich. Vorzugsweise sollte das Modell den räumlichen Gegebenheiten der realen Szene so nahe wie möglich kommen. Das Modell wird auch als Kollisionsmodell bezeichnet.To determine the surveillance area. For this purpose, the position of the object point in the model is preferably first determined-thus determining the position of the object point in model coordinates-and in a further step transmitting the position in model coordinates to a position in world coordinates in the monitoring area. Following the invention, it is proposed that the model is designed as a 3-D model so that the object position can be determined as a 3-D object position. The 3-D model is delimited from the 2-D model, in particular by the 3-D model containing at least one out-of-plane element. The 3-D model thus has spatial elements such as 3-D triangular meshes, elevation maps or even simple shapes or bodies such as spheres, cuboids or the like for modeling real elements in the surveillance area. Preferably, the model should come as close as possible to the spatial conditions of the real scene. The model is also called a collision model.
Ein Gedanke der Erfindung ist es, dass es oftmals notwendig ist, Überwachungsobjekte nicht nur in ebenen bzw. planen Überwachungsbereichen, sondern auch in Überwachungsbereichen mit wechselnden Höhen zu orten. Zum einen kann - um auf das Beispiel des Fußballfelds zurückzukommen - eine Tribüne oder dergleichen nicht mehr von dem bekannten System sinnvoll verarbeitet werden. Zum anderen ist die erfindungsgemäße Ausgestaltung vorteilhaft, wenn das 3 -D-Modell beispielsweise ein komplettes Gebäude abbildet und Objektpositionen in verschiedene Etagen oder Zwischenetagen zu bestimmen sind. Dadurch, dass ein „echtes" 3 -D-Modell verwendet wird und ein Objektpunkt des Überwachungsobjekts in das Modell abgebildet wird, können in einfacher Weise auch geometrisch komplexe Überwachungsbereiche in die Objektpositionsermittlung übernommen werden.One idea of the invention is that it is often necessary to locate surveillance objects not only in flat or planned surveillance areas, but also in surveillance areas with changing altitudes. On the one hand - to get back to the example of the football field - a grandstand or the like can no longer be sensibly processed by the known system. On the other hand, the embodiment according to the invention is advantageous if the 3-D model, for example, depicts a complete building and object positions are to be determined in different floors or intermediate floors. The fact that a "true" 3-D model is used and an object point of the monitoring object is mapped into the model, geometrically complex monitoring areas can be easily incorporated into the object position determination.
Bei einer Weiterbildung der Erfindung weist die mindestens eine Überwachungskamera einen bzw. den Erfassungsbereich auf, also einen räumlichen Bereich in demIn one development of the invention, the at least one surveillance camera has one or the detection area, that is to say a spatial area in the area
Überwachungsbereich, der mit der Überwachungskamera beobachtet wird, wobei sich der Überwachungsbereich und/oder das Modell weiter oder weiträumiger als der Erfassungsbereich erstreckt. Der Erfassungsbereich der Kamera bildet somit einen Teilbereich des Überwachungsbereichs bzw. deckt nur einen Teilbereich des Modells ab.Surveillance area observed with the surveillance camera, wherein the surveillance area and / or the model extends farther or wider than the detection area. The detection range of the camera thus forms a subarea of the surveillance area or only covers a subarea of the model.
Es ist auch möglich, dass das Überwachungssystem mindestens zwei Überwachungskameras mit überlappenden und/oder nicht-überlappenden Erfassungsbereichen aufweist, wobei sich der Überwachungsbereich und/oder das Modell genau über die Erfassungsbereiche oder weiter als die Erfassungsbereiche der mindestens zwei Überwachungskameras erstreckt. Beide Weiterbildungen zielen darauf ab, dass das Modell weiträumiger als der Erfassungsbereich einer einzigen Überwachungskamera ausgebildet ist, um - wie bereits erläutert - auch komplexe Überwachungsbereiche effektiv kontrollieren zu können.It is also possible that the monitoring system has at least two surveillance cameras with overlapping and / or non-overlapping detection areas, the surveillance area and / or the model extending exactly over the detection areas or further than the detection areas of the at least two surveillance cameras. Both trainings aim at that Model is far more spacious than the detection range of a single surveillance camera is designed to - as already explained - to be able to control complex surveillance areas effectively.
Bei einer möglichen Konkretisierung der Erfindung ist das Bildverarbeitungsmodul schaltungstechnisch und/oder programmtechnisch so ausgebildet, dass der Objektpunkt, welcher in der Bildebene oder in einer dazu äquivalenten Ebene der Überwachungskamera liegt und in Bildkoordinaten angegeben ist, auf Basis des Kameramodells auf einen Abbildungspunkt des 3 -D-Modells abgebildet wird. Vorzugsweise liegt der Abbildungspunkt in dem 3-D-Modell auf einer Randfläche eines in dem 3 -D-Modell dargestellten Elements.In one possible concretization of the invention, the image processing module is designed such that the object point which lies in the image plane or in an equivalent plane of the surveillance camera and is indicated in image coordinates, based on the camera model to an imaging point of the 3 -. D model is mapped. Preferably, the imaging point in the 3-D model is on an edge surface of an element shown in the 3-D model.
Der derart ermittelte Abbildungspunkt wird als 3 -D-Objektposition interpretiert und beispielsweise über eine weitere Schnittstelle ausgegeben.The imaging point determined in this way is interpreted as a 3-D object position and output, for example, via a further interface.
Bei einer möglichen Ausführungsform ist das Bildverarbeitungsmodul so ausgebildet, dass der Objektpunkt in der Bildebene auf einen Projektionspunkt in dem Modell abgebildet wird, wobei der Projektionspunkt auf einer lagerichtig in dem Modell angeordneten Projektionsebene der Überwachungskamera liegt. Die Projektionsebene ist als die Ebene definiert, durch die Strahlen, ausgehend von einem Projektionszentrum derIn one possible embodiment, the image processing module is designed such that the object point in the image plane is imaged onto a projection point in the model, wherein the projection point lies on a projection plane of the surveillance camera arranged in the correct position in the model. The projection plane is defined as the plane through which rays, starting from a projection center of the
Überwachungskamera durch einen oder mehrere Projektionspunkte verlaufen und in dem Modell auf den korrespondierenden Abbildungspunkt treffen. Die Abbildung des Objektpunkts auf den Projektionspunkt ist durch das Kameramodell vollständig bestimmt.Surveillance camera through one or more projection points and meet in the model on the corresponding imaging point. The mapping of the object point to the projection point is completely determined by the camera model.
Durch Kenntnis der Lage des Projektionspunkts und der Lage des Projektionszentrums ist es möglich, z.B. auf Basis von geometrischen Optik, eine Halbgerade zu konstruieren, deren Ursprung in dem Projektionszentrum liegt und die durch den Projektionspunkt verläuft. Durch diese Operation ist sichergestellt, dass der gesuchte Abbildungspunkt auf der Halbgeraden liegt.By knowing the position of the projection point and the position of the projection center it is possible, e.g. based on geometric optics, to construct a half-line whose origin lies in the projection center and which passes through the projection point. This operation ensures that the point of interest you are looking for is in the middle straight.
Bevorzugt ist das Bildverarbeitungsmodul derart weitergebildet, dass mindestens ein Schnittpunkt der Halbgeraden mit einem oder mehreren Elementen des 3 -D-Modells gesucht werden. Vorzugsweise wird als Schnittpunkt ein Punkt auf der Randfläche, also z.B. ein Durchstoßpunkt gesucht. Nachdem es möglich ist, dass die Halbgerade mehrere Elemente des 3 -D-Modells durchstößt und/oder eine Vorder- und eine Rückseite eines Elements des 3 -D-Modells durchstößt, ist es weiterhin bevorzugt, dass der Schnittpunkt als Abbildungspunkt gewählt wird, welche den kleinsten Abstand zu dem Projektionsursprung und/oder zu derPreferably, the image processing module is developed such that at least one intersection of the half-lines with one or more elements of the 3-D model are searched. Preferably, a point on the edge surface, ie, for example, a puncture point is sought as the intersection. Since it is possible for the half-line to pierce several elements of the 3-D model and / or to pierce a front and a back of an element of the 3-D model, it is further preferred that the intersection be chosen as the imaging point the smallest distance to the projection origin and / or to the
Überwachungskamera aufweist. Hierdurch ist sichergestellt, dass der Schnittpunkt auf einer von der Überwachungskamera erfassbaren Fläche angeordnet wird.Has a security camera. This ensures that the intersection point is arranged on a surface that can be detected by the surveillance camera.
Der derart ermittelte Schnittpunkt wird als Abbildungspunkt interpretiert und repräsentiert die 3D-Objektposition des Objektpunkts und damit auch des Objekts zunächst in Modellkoordinaten, die in einfacher Weise in Weltkoordinaten gewandelt werden können.The thus determined intersection point is interpreted as an imaging point and initially represents the 3D object position of the object point and thus also of the object in model coordinates, which can be easily converted into world coordinates.
Insbesondere mit dem Ziel, im Überwachungsbetrieb die Anforderung an Prozessoren oder dergleichen zu verringern, wird ergänzend vorgeschlagen, dass eineIn particular, with the aim of reducing the demand on processors or the like in monitoring operation, it is additionally proposed that a
Speichervorrichtung implementiert ist, in der die Menge aller Abbildungspunkte für eine Vielzahl und/oder alle Bildpunkte im Erfassungsbereich der Überwachungskamera gespeichert ist. In diesem Fall kann im Überwachungsbetrieb für einen Objektpunkt in datentechnisch einfacher Weise der korrespondierende Abbildungspunkt gefunden werden, ohne zum Beispiel die Prüfung auf mehrere Schnittpunkte durchführen zu müssen. Der Dateninhalt der Speichervorrichtung kann zum einen in einer Initialisierungsphase eingespeichert werden, alternativ ist es möglich, dass der Inhalt der Speichervorrichtung regelmäßig, unregelmäßig und/oder ereignisgesteuert aktualisiert wird.Memory device is implemented in which the set of all imaging points for a plurality and / or all pixels in the detection range of the surveillance camera is stored. In this case, the corresponding imaging point can be found in monitoring mode for an object point in a technically simple manner, without having to carry out the test for multiple intersections, for example. The data content of the memory device can be stored in an initialization phase, alternatively, it is possible that the content of the memory device is updated regularly, irregularly and / or event-controlled.
Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Bestimmung einer 3 -D- Objektposition eines von einer Überwachungskamera erfassten Überwachungsobjekts in einem Überwachungsbereich, welches vorzugsweise mit Hilfe des soeben beschriebenen Bildverarbeitungsmoduls bzw. nach einem der vorhergehenden Ansprüche durchgeführt wird.Another object of the invention relates to a method for determining a 3D object position of a surveillance camera detected by a surveillance object in a surveillance area, which is preferably carried out using the image processing module just described or according to one of the preceding claims.
Bei dem erfindungsgemäßen Verfahren wird zunächst ein Objektpunkt des Überwachungsobjekts in der Bildebene der Überwachungskamera bestimmt. Hierzu wird beispielsweise - wie bereits ausgeführt - ein Rechteck um das detektierte Überwachungsobjekt gelegt und der Fußpunkt des Rechtecks als Objektpunkt gewählt. In einem nächsten Schritt wird der Objektpunkt auf Basis eines oder des Kameramodells der Überwachungskamera auf einen oder den Abbildungspunkt eines 3 -D-Modells oder 3 -D-Teilmodells, welche nachfolgend ebenfalls zusammenfassend als 3 -D-Modell bezeichnet werden, abgebildet.In the method according to the invention, first an object point of the surveillance object is determined in the image plane of the surveillance camera. For this purpose, for example - as already stated - a rectangle is placed around the detected monitoring object and the base point of the rectangle is selected as the object point. In a next step, the object point is imaged on the basis of one or the camera model of the surveillance camera onto one or the imaging point of a 3-D model or 3-D submodel, which are also referred to collectively below as a 3-D model.
Die Abbildung kann beispielsweise dadurch erfolgen, dass auf Basis des Kameramodells eine Transformationsmatrix erstellt wird, welche das Videobild oder Abschnitte davon der Überwachungskamera von der Bildebene auf eine Projektionsfläche des 3 -D-Modells transformiert, wobei Lage und Größe des transformierten Videobilds so gewählt ist, dass die Bildpunkte des Videobilds als lagerichtig Projektionspunkte in dem 3 -D-Modell angeordnet sind.The mapping can take place, for example, by forming a transformation matrix on the basis of the camera model, which transforms the video image or sections thereof of the surveillance camera from the image plane onto a projection surface of the 3-D model, the position and size of the transformed video image being selected such that the pixels of the video image are arranged as correctly positioned projection points in the 3-D model.
In einem nachfolgenden Schritt wird der Objektpunkt mittels der Transformationsmatrix auf einen Projektionspunkt in der Projektionsebene abgebildet. Eine Halbgerade, welche in dem Projektionszentrum der Überwachungskamera ihren Anfang hat und den Projektionspunkt durchstößt wird dann mit dem Modell geschnitten, wobei ein Abbildungspunkt gefunden wird, welcher als ein Schnittpunkt der Halbgeraden mit dem 3 -D-Modell ausgebildet ist. Die 3 -D-Objektposition des Abbildungspunkts wird dann als 3 -D-Objektposition des Objektpunkts und/oder des Überwachungsobjekts interpretiert.In a subsequent step, the object point is mapped to a projection point in the projection plane by means of the transformation matrix. A half-line starting in the projection center of the surveillance camera and piercing the projection point is then cut with the model, finding an imaging point which is formed as an intersection of the half-line with the 3-D model. The 3-D object position of the imaging point is then interpreted as a 3-D object position of the object point and / or the monitored object.
Bei einer Weiterbildung der Erfindung können auch einige oder sämtliche Objektpunkte des Überwachungsobjekts in das 3 -D-Modell projiziert werden, um eine komplexere 3 -D- Positionsinformation des Überwachungsobjekts zu erhalten.In one development of the invention, some or all object points of the monitoring object can also be projected into the 3-D model in order to obtain a more complex 3-D position information of the surveillance object.
Auch bei dem Verfahren ist es möglich, dass bei mehreren Schnittpunkten einer einzigen der Halbgeraden mit dem 3 -D-Modell der Schnittpunkt mit dem kleinsten Abstand zu dem Projektionszentrum als Abbildungspunkt gewählt wird.Also in the method, it is possible that at multiple intersections of a single half-line with the 3-D model, the intersection with the smallest distance to the projection center is selected as the imaging point.
Eine weitere mögliche Ausgestaltung ist darin zu sehen, dass einige, eine Mehrzahl und/oder alle Bildpunkte in der Bildebene der Überwachungskamera auf Abbildungspunkte des 3-D-Modells abgebildet werden, so dass diese im Sinne einer Tabelle oder einer Look-Up-Table vorliegen. Dieser Schritt kann regelmäßig, unregelmäßig und/oder ereignisgesteuert und/oder in Abhängigkeit der Aktualisierung des 3-D-Modells erfolgen. Obwohl die Erfindung anhand einer Darstellung mit Halbgeraden vorgestellt wurde, kann die gleiche Abbildung auch in einer äquivalenten mathematischen Darstellung umgesetzt werden.Another possible embodiment can be seen in that some, a plurality and / or all pixels in the image plane of the surveillance camera are mapped to imaging points of the 3-D model, so that they are present in the sense of a table or a look-up table , This step may be periodic, irregular, and / or event driven, and / or depending on the updating of the 3-D model. Although the invention has been presented in terms of a half-line representation, the same mapping can also be implemented in an equivalent mathematical representation.
Ein weiterer Gegenstand der Erfindung betrifft ein Computerprogramm mit den Merkmalen des Anspruchs 12.Another object of the invention relates to a computer program having the features of claim 12.
Kurze Beschreibung der ZeichnungenBrief description of the drawings
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung sowie den Figuren der Erfindung. Dabei zeigen:Further features, advantages and effects of the invention will become apparent from the following description and the figures of the invention. Showing:
Figur 1 ein Blockdiagramm eines Überwachungssystems mit einem Bildverarbeitungsmodul als ein Ausführungsbeispiel der Erfindung;Figure 1 is a block diagram of a monitoring system having an image processing module as an embodiment of the invention;
Figur 2 eine schematische Darstellung eines 3-D-Modells zur Illustration des Verfahrens gemäß der Erfindung.Figure 2 is a schematic representation of a 3-D model for illustrating the method according to the invention.
Ausführungsform(en) der ErfindungEmbodiment (s) of the invention
Die Figur 1 zeigt in einer schematischen Blockdarstellung ein Überwachungssystem 1 , welches mit einer Mehrzahl von Überwachungskameras 2 verbunden und/oder verbindbar ist. Die Überwachungskameras 2 sind in einem Überwachungsbereich (nicht dargestellt) verteilt angeordnet, wobei sich die Erfassungsbereiche der1 shows a schematic block diagram of a monitoring system 1, which is connected to a plurality of surveillance cameras 2 and / or connectable. The surveillance cameras 2 are arranged distributed in a monitoring area (not shown), wherein the detection areas of the
Überwachungskameras 2 teilweise überlappen, jedoch auch Erfassungsbereiche vorgesehen sind, welche keine Schnittmenge mit einem Erfassungsbereich einer anderen Überwachungskamera 2 bildet.Surveillance cameras 2 partially overlap, but also detection areas are provided, which forms no intersection with a detection range of another surveillance camera 2.
Das Überwachungssystem 1 weist unter anderem ein Bildverarbeitungsmodul 3 auf, welches ausgebildet ist, auf Basis von später näher definierten Eingangsdaten eine 3-D- Objektposition eines Überwachungsobjekts in dem Überwachungsbereich zu bestimmen. Dieses Bildverarbeitungsmodul 3 wird eingesetzt, wenn es interessant ist, zu einem durch das Überwachungssystem 1 erfassten Überwachungsobjekt eine Information über die 3- D-Objektposition in Weltkoordinaten zu erhalten. Zur Ermittlung der 3-D-Objektposition wird in einem ersten Schritt das Überwachungsobjekt in einem Videobild einer der Überwachungskameras 2 detektiert und beispielsweise durch eine „Bounding-Box", also einem in das Videobild datentechnisch projiziertes Rechteck, erfasst.Among other things, the monitoring system 1 has an image processing module 3, which is designed to determine a 3-D object position of a monitoring object in the monitoring area on the basis of input data defined in more detail later. This image processing module 3 is used when it is interesting to obtain information about the 3-D object position in world coordinates for a monitoring object detected by the monitoring system 1. In order to determine the 3-D object position, in a first step the surveillance object is detected in a video image of one of the surveillance cameras 2 and detected, for example, by a "bounding box", ie a rectangle projected in terms of data in the video image.
Ein Fußpunkt der Bounding-Box, also ein Punkt, welcher in der Mitte der Seitenkante des Rechtecks liegt, die perspektivisch interpretiert die Unterseite des Überwachungsobjekts repräsentieren müsste, wird als ein Objektpunkt definiert. Die Operation der Objektpunktextraktion wird in einer Detektionseinrichtung 4 durchgeführt, welcheA base point of the bounding box, ie a point which lies in the middle of the side edge of the rectangle, which, in perspective interpreted form, should represent the underside of the monitored object, is defined as an object point. The operation of object point extraction is performed in a detection device 4, which
Bestandteil des Bildverarbeitungsmoduls 3 sein, diesem jedoch auch vorgeschaltet sein kann.Part of the image processing module 3, but this can also be upstream.
Der Objektpunkt wird an eine Auswerteeinrichtung 5 übergeben, welche dazu ausgebildet ist, die 3 -D-Objektposition dieses Objektpunktes zu bestimmen, wie nachfolgend dargelegt wird.The object point is transferred to an evaluation device 5, which is designed to determine the 3-D object position of this object point, as will be explained below.
Als weitere Daten erhält die Auswerteeinrichtung 5 von einem ersten Datenspeicher 6 ein Modell des Überwachungsbereichs. Das Modell ist als ein 3-D-Modell ausgebildet, enthält somit Elemente, welche außerhalb einer gemeinsamen Ebene definiert sind. Die räumliche Erstreckung des Modells kann sich auf den Erfassungsbereich einer einzigen Überwachungskamera 2 beschränken, größer als dieser Erfassungsbereich sein, über mindestens die Erfassungsbereiche von zwei Überwachungskameras 2 gehen oder eine Vielzahl von Erfassungsbereichen von Überwachungskameras 2 erfassen. Das Modell soll der Realität so nahe wie möglich kommen und weist beispielsweise Raum-,As further data, the evaluation device 5 receives from a first data memory 6 a model of the monitoring area. The model is designed as a 3-D model, thus containing elements that are defined outside a common plane. The spatial extent of the model can be limited to the detection range of a single surveillance camera 2, be greater than this detection range, pass over at least the detection areas of two surveillance cameras 2 or capture a plurality of detection areas of surveillance cameras 2. The model should come as close to reality as possible and has, for example, space,
Gebäude- und/oder Geländegrenzen, 3 -D-Dreiecksnetze, Höhenkarten oder auch einfache geometrische Körper, wie zum Beispiel Sphären oder Quader zur Nachbildung der realen Welt dar. Die reale Welt wird datentechnisch in Weltkoordinaten dargestellt, das Modell liegt in Modellkoordinaten vor. Die Transformation von Welt- zu Modellkoordinaten oder in umgekehrter Richtung ist vollständig bestimmt.Building and / or terrain boundaries, 3-D triangular networks, elevation maps or even simple geometric bodies, such as spheres or cuboids to replicate the real world dar. The real world is represented by data technology in world coordinates, the model is present in model coordinates. The transformation from world to model coordinates or in the opposite direction is completely determined.
Als weitere Eingangsdaten erhält die Auswerteeinrichtung 5 aus einem zweiten Datenspeicher 7 ein Kameramodell der Überwachungskamera 2, mit der das Überwachungsobjekt erfasst ist bzw. die den Objektpunkt bereitstellt. Das Kameramodell umfasst Daten über die Lage und die Ausrichtung der Überwachungskamera 2 in Modell- bzw. Weltkoordinaten sowie über die optischen Abbildungseigenschaften der Überwachungskamera, so dass beispielsweise der Erfassungsbereich der Überwachungskamera 2 in dem 3D-Modell modellierbar ist.As a further input data, the evaluation device 5 receives from a second data memory 7 a camera model of the surveillance camera 2 with which the surveillance object is detected or which provides the object point. The camera model includes data on the position and orientation of the surveillance camera 2 in model or world coordinates and on the optical imaging properties of the surveillance camera, so that, for example, the detection range of the surveillance camera 2 is modeled in the 3D model.
Unter Verwendung der Daten des Kameramodells, des Modells sowie des Objektpunkts kann nun die 3-D-Objektposition des Objektpunkts in Modell- bzw. Weltkoordinaten berechnet werden. Diese Berechnung wird anhand der schematischen Darstellung eines 3 -D-Modells 8 in der nachfolgenden Figur erläutert.Using the data of the camera model, the model and the object point, the 3-D object position of the object point can now be calculated in model or world coordinates. This calculation will be explained with reference to the schematic representation of a 3-D model 8 in the following figure.
Das 3 -D-Modell ist in der Figur 2 vereinfacht mit zwei Elementen dargestellt, nämlich einem Quader 9 und einer modellierten Überwachungskamera 10. Beispielsweise ist das 3 -D-Modell als ein Drahtgittermodell ausgeführt. Der Quader 9 repräsentiert ein beliebiges reales Objekt in dem Überwachungsbereich, wie zum Beispiel einen Schreibtisch oder dergleichen. Eine Vielzahl derartiger Körper kann somit das 3-D- Modell bilden.The 3-D model is shown in simplified form in FIG. 2 with two elements, namely a cuboid 9 and a modeled surveillance camera 10. For example, the 3-D model is designed as a wireframe model. The cuboid 9 represents any real object in the surveillance area, such as a desk or the like. A plurality of such bodies can thus form the 3-D model.
Die modellierte Überwachungskamera 10 umfasst ein Projektionszentrum 11 sowie eine Projektionsebene 12. Projektionszentrum 11 und -ebene 12 sind so angeordnet, dass ein Bildpunkt der zu der modellierten Kamera 10 korrespondierenden realen Überwachungskamera 2 auf einer Halbgeraden, welche im Projektionszentrum 11 beginnt und sich durch einen zu dem Bildpunkt korrespondierenden Abbildungspunkt erstreckt, lagerichtig als Projektionspunkt auf der Projektionsebene 12 abgebildet liegt.The modeled surveillance camera 10 comprises a projection center 11 and a projection plane 12. The projection center 11 and plane 12 are arranged such that a pixel of the real surveillance camera 2 corresponding to the modeled camera 10 is projected on a half-line which begins in the projection center 11 and through one the image point corresponding imaging point extends, in the correct position as a projection point on the projection plane 12 is shown.
Diese optisch geometrischen Zusammenhänge können auch von der schematischen Darstellung in der Figur 2 entnommen werden, so verläuft eine Halbgerade 13 ausgehend von dem Projektionszentrum 11 durch einen Projektionspunkt 14 und durch einen Abbildungspunkt 15, welcher auf der Oberseite oder Oberfläche des Quaders 9 liegt. Die Ausrichtung sowie Lage des Projektionszentrums 11, der Projektionsebene 12 sowie der Projektionspunkte 14 sind durch das Kameramodell und das Modell 8 vorgegeben.These optical geometrical relationships can also be deduced from the schematic representation in FIG. 2, so that a half-line 13 runs from the projection center 11 through a projection point 14 and through an imaging point 15 which lies on the top or surface of the cuboid 9. The orientation and position of the projection center 11, the projection plane 12 and the projection points 14 are predetermined by the camera model and the model 8.
Wieder zurückkehrend zu der geschilderten Verfahrensweise des Bildverarbeitungsmoduls 3 in Figur 1 wird der Objektpunkt als Projektionspunkt 14 lagerichtig in dem Modell 8 eingetragen. Nachfolgend wird die Halbgerade 13 durch das Projektionszentrum 11 und den Projektionspunkt 14 gebildet, so dass durch diese Eingangsdaten eine Richtung der Halbgeraden 13 definiert ist. In einem nächsten Schritt wird die Halbgerade 13 mit dem Modell 8 - in diesem Fall mit dem Quader 9 - geschnitten. Wie sich aus der Darstellung ergibt, liegen zwei Schnittpunkte vor, nämlich der Abbildungspunkt 15 und ein weiterer Schnittpunkt 16. Bei Vorliegen von mehreren Schnittpunkten 15, 16 prüft die Auswerteeinrichtung 5, welcher Schnittpunkt 15, 16 den kleinsten Abstand zu dem Projektionszentrum 11 aufweist, da dieser dann die der modellierten Überwachungskamera 10 zugewandte Oberseite oder Sichtseite des Quaders 9 bzw. des 3-D-Modells 8 repräsentieren muss.Returning to the described procedure of the image processing module 3 in Figure 1, the object point is entered as a projection point 14 in the correct position in the model 8. Subsequently, the half-line 13 is formed by the projection center 11 and the projection point 14, so that a direction of the half-line 13 is defined by these input data. In a next step is the half-line 13 with the model 8 - in this case with the cuboid 9 - cut. As can be seen from the illustration, there are two points of intersection, namely the imaging point 15 and a further intersection point 16. If there are several intersections 15, 16, the evaluation device 5 checks which intersection point 15, 16 has the smallest distance to the projection center 11 this then the modeled surveillance camera 10 facing upper side or visible side of the cuboid 9 and the 3-D model 8 must represent.
Die 3 -D-Lagedaten des Abbildungspunkts 15 werden nachfolgend als 3 -D-Objektposition von der Auswerteeinrichtung 5 bzw. dem Bildverarbeitungsmodul 3 ausgegeben.The 3-D position data of the imaging point 15 are subsequently output as a 3-D object position by the evaluation device 5 or the image processing module 3.
Das dargestellte Verfahren erlaubt die Positionsbestimmung in Räumen und auf verschiedenen Höhen. Besonders hervorzuheben ist, dass Wände oder ähnliche Sichtkollisionsobjekte berücksichtigt werden.The illustrated method allows the position determination in rooms and at different heights. Particularly noteworthy is that walls or similar visual collision objects are taken into account.
Bei einer Weiterbildung des Ausführungsbeispiels ist es auch möglich, dass mehrere Bildpunkte des Überwachungsobjekts als Objektpunkte an das Bildverarbeitungsmodul 3 übergeben werden, um eine komplexere Information über die 3 -D-Objektposition des Überwachungsobjekts zu erhalten. Bei anderen Ausführungsformen weist das Bildverarbeitungsmodul eine weitere Eingangsschnittstelle zu einem drittenIn a development of the exemplary embodiment, it is also possible for a plurality of pixels of the monitoring object to be transferred as object points to the image processing module 3 in order to obtain more complex information about the 3-D object position of the surveillance object. In other embodiments, the image processing module has another input interface to a third
Datenspeicher 17 auf, wobei in dem dritten Datenspeicher 17 eine Zuordnungstabelle abgelegt ist, in der für jeden Bildpunkt einer der Überwachungskameras 2 eine entsprechende 3 -D-Objektposition berechnet ist. Der dritte Datenspeicher 17 wird zum Beispiel in einer Initialisierungsphase, aber auch bei einer Aktualisierung des Modells, des Kameramodells, etc. aufgefrischt. Durch die Verwendung des dritten DatenspeichersData memory 17, wherein in the third data memory 17 an assignment table is stored, in which for each pixel of the surveillance cameras 2, a corresponding 3 -D object position is calculated. The third data memory 17 is refreshed, for example, in an initialization phase, but also during an update of the model, the camera model, etc. By using the third data store
17 kann die Echtzeitfähigkeit des Bildverarbeitungsmoduls 3 und damit des Überwachungssystems 1 verbessert werden, da rechenzeitintensive Prozeduren vor dem Echtzeitbetrieb bereits abgearbeitet werden können. 17, the real-time capability of the image processing module 3 and thus of the monitoring system 1 can be improved, since computation-intensive procedures can already be executed before the real-time operation.

Claims

Ansprüche claims
1. Bildverarbeitungsmodul (3) zur Schätzung einer Objektposition einesAn image processing module (3) for estimating an object position of a
Überwachungsobjekts oder Teilbereichen davon in einem Überwachungsbereich für ein Überwachungssystem (1) zur Überwachung von mindestens diesemMonitoring object or sub-areas thereof in a monitoring area for a monitoring system (1) for monitoring at least this
Überwachungsbereich mit mindestens einer Überwachungskamera (2),Surveillance area with at least one surveillance camera (2),
mit einer Modelleingangsschnittstelle (6) zur Übernahme eines Modells oder Teilmodells des Überwachungsbereichs - nachfolgend zusammenfassend als Modell bezeichnet -,with a model input interface (6) for adopting a model or submodel of the monitored area - hereinafter referred to collectively as a model -
mit einer Kameraeingangsschnittstelle (7) zur Übernahme eines Kameramodells der Überwachungskamera (2),with a camera input interface (7) for adopting a camera model of the surveillance camera (2),
mit einer Objekteingangsschnittstelle zur Übernahme eines Objektpunkts des Überwachungsobjekts, wobei der Objektpunkt auf Basis von einem oder mehrerenwith an object input interface for accepting an object point of the monitoring object, wherein the object point is based on one or more
Bildpunkten des Überwachungsobjekts eines mit der Überwachungskamera aufgenommenen Überwachungsbilds bestimmt ist,Pixels of the surveillance object of a surveillance image taken with the surveillance camera,
wobei das Bildverarbeitungsmodul (5) ausgebildet ist, durch Verrechnung des Modells, des Kameramodells und des Objektpunkts die Objektposition des Überwachungsobjekts bzw. Teilbereichen davon in dem Überwachungsbereich zu bestimmen,wherein the image processing module (5) is designed to determine the object position of the surveillance object or partial areas thereof in the surveillance area by billing the model, the camera model and the object point;
dadurch gekennzeichnet,characterized,
dass das Modell als ein 3D-Modell ausgebildet ist, so dass die Objektposition als 3D-that the model is designed as a 3D model, so that the object position as a 3D model
Objektposition bestimmbar ist. Object position is determinable.
2. Bildverarbeitungsmodul (5) nach Anspruch 1, dadurch gekennzeichnet, dass die mindestens eine Überwachungskamera (2) einen Erfassungsbereich aufweist und sich der Überwachungsbereich und/oder das Modell weiter als der Erfassungsbereich erstreckt.2. Image processing module (5) according to claim 1, characterized in that the at least one surveillance camera (2) has a detection area and the monitoring area and / or the model extends further than the detection area.
3. Bildverarbeitungsmodul (5) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Überwachungssystem (1) mindestens zwei Überwachungskameras (2) mit überlappenden und/oder nicht-überlappenden Erfassungsbereichen aufweist und sich der Überwachungsbereich und/oder das Modell mindestens über oder weiter als die Erfassungsbereiche der mindestens zwei Überwachungskameras (2) erstreckt.3. Image processing module (5) according to claim 1 or 2, characterized in that the monitoring system (1) has at least two surveillance cameras (2) with overlapping and / or non-overlapping detection areas and the surveillance area and / or the model at least over or on extends as the detection areas of the at least two surveillance cameras (2).
4. Bildverarbeitungsmodul (5) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Verrechnung der Objektpunkt in der Bildebene der Überwachungskamera oder in einer äquivalenten Ebene auf Basis des Kameramodells auf einen Abbildungspunkt (15) des 3D-Modells abgebildet wird, wobei der Abbildungspunkt (15) die 3D-Objektposition repräsentiert.4. image processing module (5) according to any one of the preceding claims, characterized in that in the calculation of the object point in the image plane of the surveillance camera or in an equivalent plane based on the camera model is mapped to an imaging point (15) of the 3D model, wherein the Imaging point (15) represents the 3D object position.
5. Bildverarbeitungsmodul (5) nach Anspruch 4, dadurch gekennzeichnet, dass der Abbildungspunkt (145) als Schnittpunkt einer Halbgeraden (13) mit einem Element (9) des 3D-Modells definiert ist, wobei die Halbgerade durch einen Projektionsursprung (11) der modellierten Überwachungskamera (2) und durch einen auf dem Objektpunkt basierenden Projektionspunkt (14) verläuft.5. image processing module (5) according to claim 4, characterized in that the imaging point (145) as an intersection of a half-line (13) with an element (9) of the 3D model is defined, wherein the half-line through a projection origin (11) of the modeled Surveillance Camera (2) and by a project point based on the object point (14).
6. Bildverarbeitungsmodul (5) nach Anspruch 5, dadurch gekennzeichnet, dass bei mehreren Schnittpunkten (15, 16) der Schnittpunkt (15) mit dem kleinsten Abstand zu dem Projektionsursprung (11) als Abbildungspunkt (15) gewählt wird.6. image processing module (5) according to claim 5, characterized in that at a plurality of intersections (15, 16) of the intersection (15) is selected with the smallest distance to the projection origin (11) as an imaging point (15).
7. Bildverarbeitungsmodul (5) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Speichervorrichtung (17), wobei in der Speichervorrichtung (17) die Menge aller Abbildungspunkte (15) für eine Vielzahl und/oder alle Bildpunkte im Erfassungsbereich der Überwachungskamera (2) gespeichert ist.7. image processing module (5) according to any one of the preceding claims, characterized by a storage device (17), wherein stored in the storage device (17) the amount of all imaging points (15) for a plurality and / or all pixels in the detection range of the surveillance camera (2) is.
8. Verfahren zur Bestimmung einer 3D-Objektposition eines von einer Überwachungskamera (2) erfassten Überwachungsobjekts in einem Überwachungsbereich vorzugsweise unter Verwendung des Bildverarbeitungsmoduls (5) nach einem der vorhergehenden Ansprüche, wobei ein Objektpunkt des Überwachungsobjekts in der Bildebene der Überwachungskamera (2) bestimmt wird,8. Method for determining a 3D object position of a surveillance object detected by a surveillance camera (2) in a surveillance area, preferably using the image processing module (5) according to one of the preceding claims, wherein an object point of the surveillance object is determined in the image plane of the surveillance camera (2),
wobei der Objektpunkt auf der Basis eines Kameramodells der Überwachungskamera (2) auf einen Abbildungspunkt (15) eines 3D-Modells oder 3D-Teilmodells des Überwachungsbereichs - nachfolgend zusammenfassend als 3D-Modell bezeichnet - abgebildet wird,wherein the object point is imaged on the basis of a camera model of the surveillance camera (2) on an imaging point (15) of a 3D model or 3D submodel of the surveillance area - hereinafter referred to collectively as 3D model -
wobei die 3D-Objektposition des Abbildungspunkts (15) als 3D-Objektposition deswherein the 3D object position of the imaging point (15) as a 3D object position of the
Objektpunkts und/oder des Überwachungsobjekts interpretiert wird.Object point and / or the monitored object is interpreted.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Abbildung durch Konstruktion einer Halbgeraden erfolgt, welche durch das Projektionszentrum (11) der Überwachungskamera (2) und einen auf dem Objektpunkt basierenden Projektionspunkt9. The method according to claim 8, characterized in that the imaging takes place by constructing a half-line, which by the projection center (11) of the surveillance camera (2) and a project point based on the object point
(14) definiert ist, wobei der Abbildungspunkt (15) als ein Schnittpunkt der Halbgeraden mit dem 3D-Modell (8) ausgebildet ist.(14), wherein the imaging point (15) is formed as an intersection of the half-line with the 3D model (8).
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass bei mehreren Schnittpunkten (15, 16) der Halbgeraden mit dem 3D-Modell (8) der Schnittpunkt (15) mit dem kleinsten Abstand zu dem Projektionszentrum (11) als Abbildungspunkt (15) gewählt wird.10. The method according to claim 9, characterized in that selected at a plurality of intersections (15, 16) of the half-line with the 3D model (8) of the intersection (15) with the smallest distance to the projection center (11) as the imaging point (15) becomes.
11. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass alle Bildpunkte in der Bildebene der Überwachungskamera (2) auf Abbildungspunkte (15) des 3D-Modells (8) abgebildet werden und die Abbildungspunkte gespeichert werden.11. The method according to claim 9 or 10, characterized in that all the pixels in the image plane of the surveillance camera (2) are imaged on imaging points (15) of the 3D model (8) and the imaging points are stored.
12. Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens nach einem der Ansprüche 8 bis 11 durchzuführen, wenn das Programm auf einem Computer und/oder einem Bildverarbeitungsmodul (5) gemäß Anspruch derComputer program with program code means for carrying out all the steps of the method according to one of Claims 8 to 11, when the program is stored on a computer and / or an image processing module (5) according to Claim
Ansprüche 1 bis 7 ausgeführt wird. Claims 1 to 7 is executed.
EP08804765A 2007-11-26 2008-09-26 Image processing module for estimating an object position of a surveillance object, method for detecting a surveillance object and computer program Ceased EP2215601A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007056835A DE102007056835A1 (en) 2007-11-26 2007-11-26 Image processing module for estimating an object position of a surveillance object, method for determining an object position of a surveillance object and computer program
PCT/EP2008/062883 WO2009068336A2 (en) 2007-11-26 2008-09-26 Image processing module for estimating an object position of a surveillance object, method for detecting a surveillance object and computer program

Publications (1)

Publication Number Publication Date
EP2215601A2 true EP2215601A2 (en) 2010-08-11

Family

ID=40577061

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08804765A Ceased EP2215601A2 (en) 2007-11-26 2008-09-26 Image processing module for estimating an object position of a surveillance object, method for detecting a surveillance object and computer program

Country Status (3)

Country Link
EP (1) EP2215601A2 (en)
DE (1) DE102007056835A1 (en)
WO (1) WO2009068336A2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010003336A1 (en) 2010-03-26 2011-09-29 Robert Bosch Gmbh Method for the visualization of activity focuses in surveillance scenes
CN112804481B (en) * 2020-12-29 2022-08-16 杭州海康威视系统技术有限公司 Method and device for determining position of monitoring point and computer storage medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9719694D0 (en) 1997-09-16 1997-11-19 Canon Kk Image processing apparatus
WO2004042662A1 (en) * 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2009068336A2 *

Also Published As

Publication number Publication date
DE102007056835A1 (en) 2009-05-28
WO2009068336A3 (en) 2010-01-14
WO2009068336A2 (en) 2009-06-04

Similar Documents

Publication Publication Date Title
DE60133386T2 (en) DEVICE AND METHOD FOR DISPLAYING A TARGET BY IMAGE PROCESSING WITHOUT THREE DIMENSIONAL MODELING
DE112005000929B4 (en) Automatic imaging method and device
DE602006000627T2 (en) Three-dimensional measuring method and three-dimensional measuring device
DE102005021735B4 (en) Video surveillance system
WO2008083869A1 (en) Method, apparatus and computer program for the self-calibration of a surveillance camera
DE102011084554A1 (en) Method for displaying a vehicle environment
DE112016001150T5 (en) ESTIMATION OF EXTRINSIC CAMERA PARAMETERS ON THE BASIS OF IMAGES
EP2553660B1 (en) Method for visualizing zones of higher activity in monitoring scenes
DE112016006262T5 (en) Three-dimensional scanner and processing method for measuring support for this
DE112017001545T5 (en) VIRTUAL OVERLAY SYSTEM AND PROCESS FOR COVERED OBJECTS
DE102017121694A1 (en) Device and method for generating three-dimensional data and monitoring system with device for generating three-dimensional data
DE102016124978A1 (en) Virtual representation of an environment of a motor vehicle in a driver assistance system with a plurality of projection surfaces
DE102016124747A1 (en) Recognition of a raised object based on perspective images
DE102020127000A1 (en) GENERATION OF COMPOSITE PICTURES USING INTERMEDIATE SURFACES
DE102009026091A1 (en) Method for monitoring three-dimensional spatial area, particularly work cell of automatic working machine, for e.g. robot, involves accomplishing independent scene analysis of images in or for each camera
WO2009068336A2 (en) Image processing module for estimating an object position of a surveillance object, method for detecting a surveillance object and computer program
DE102018118422A1 (en) METHOD AND SYSTEM FOR PRESENTING DATA FROM A VIDEO CAMERA
WO2006094637A1 (en) Method for comparing a real object with a digital pattern
DE112022002520T5 (en) Procedure for automatic calibration of cameras and creation of maps
EP2940624B1 (en) Three-dimensional virtual model of an environment for applications for determining positions
DE102012010799B4 (en) Method for the spatial visualization of virtual objects
DE102019201600A1 (en) Method for generating a virtual, three-dimensional model of a real object, system for generating a virtual, three-dimensional model, computer program product and data carrier
DE102019102561A1 (en) Process for recognizing a plaster marking
EP1434184B1 (en) Control of a multicamera system
DE102012025463A1 (en) Method for determining e.g. pitch angle change of passenger car to determine proper motion of car in six different degrees of freedom, involves determining parameter based on pair of image features and associated image features of images

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

17P Request for examination filed

Effective date: 20100714

RBV Designated contracting states (corrected)

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20130104

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20180215