EP1434184B1 - Steuerung eines Multikamera-Systems - Google Patents

Steuerung eines Multikamera-Systems Download PDF

Info

Publication number
EP1434184B1
EP1434184B1 EP03029530A EP03029530A EP1434184B1 EP 1434184 B1 EP1434184 B1 EP 1434184B1 EP 03029530 A EP03029530 A EP 03029530A EP 03029530 A EP03029530 A EP 03029530A EP 1434184 B1 EP1434184 B1 EP 1434184B1
Authority
EP
European Patent Office
Prior art keywords
camera
line
sight
image
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP03029530A
Other languages
English (en)
French (fr)
Other versions
EP1434184A2 (de
EP1434184A3 (de
Inventor
Markus Dr. Michaelis
Volker Dr. Steinbiss
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funkwerk Video Systeme GmbH
Original Assignee
Funkwerk Plettac Electronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funkwerk Plettac Electronic GmbH filed Critical Funkwerk Plettac Electronic GmbH
Publication of EP1434184A2 publication Critical patent/EP1434184A2/de
Publication of EP1434184A3 publication Critical patent/EP1434184A3/de
Application granted granted Critical
Publication of EP1434184B1 publication Critical patent/EP1434184B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera

Definitions

  • the invention relates to a method for controlling a multi-camera system with the features of claim 1 and an apparatus for implementing the method with the features of claim 16.
  • Multicamera systems are well known. Especially in surveillance systems and alarm systems, there is often a combination of stationary cameras and pan-tilt-zoom cameras. Stationary cameras are cheaper and allow continuous monitoring of a predefined area. A disadvantage of stationary cameras, however, is that an intruder can not be tracked. If an intruder leaves the predefined surveillance field, tracking becomes impossible and the intruder is often lost. Moreover, with such systems, the coarse resolution of the camera often makes it impossible to identify an intruder or detect small objects. Therefore, pan-tilt zoom cameras are used to track and magnify an intruder detected with a stationary camera. The same problem arises in other applications, e.g. in camera systems for traffic observation or sports events in large halls or stadiums. For a user, manually controlling the pan-tilt-zoom camera to quickly and accurately capture an object is generally difficult.
  • EP-A1-0 529 317 and EP-A1-0 714 081 It is known to pass moving objects, with their pursuit with cameras, from one camera to the next.
  • the invention describes an application within closed spaces, for example within a casino. This selects the closest available pan-tilt zoom camera that can track the object as it exits the surveillance area of the camera currently sensing the object.
  • the applications deal with interiors in which the area to be monitored is one level - the floor level. For the objects a known size - person - and ground contact is assumed.
  • US-A-6,359,647 Another invention is disclosed which makes it possible to enable the transfer of objects between cameras and their monitored areas.
  • the cameras used here can be both pan-tilt-zoom cameras and stationary cameras.
  • the aim of the invention is to continuously track an object across multiple cameras, zoomed object tracking and the associated problems are not addressed. It is assumed that the objects move on one level - floor level - have a known size or the distance is determined by the focus setting of the camera lens.
  • US-A-6,215,519 It is known to use a second camera with higher resolution for tracking moving objects that have been detected in a stationary camera with a large field of view.
  • the stationary camera is assumed to be an omnidirectional camera with very low resolution, so that the higher resolution of the second camera is only a normal resolution and accordingly does not require high accuracy.
  • To localize the object with the second camera it is proposed to place both cameras directly next to one another or to accept the objects on a known ground plane.
  • a video surveillance device has a permanently installed first video camera.
  • the captured by the first video camera image section is divided into different evaluation windows. If a change in the image is detected in one of the evaluation windows, a second camera sets a predefined setting values, which represent the evaluation windows, via a control device.
  • the object of the invention is to improve the detection of an object visible in the image of a first camera by means of a second orientable camera.
  • the camera system according to the invention consists of a first camera, also referred to as a master camera, and at least one second camera, also referred to as a slave camera.
  • the second camera is advantageously a pan-tilt-zoom camera.
  • an object detector is present.
  • any type of suitable device, method or human user is called, in a camera image, an object of interest, eg.
  • People, cars, faces, moving objects, the position of a vanished object, a cloud of smoke, a shadow, etc. can detect. This can e.g. a human user who can access the object via a suitable input medium, e.g. a mouse, detected on a monitor image or other suitable representation of the camera image. Another example is video motion detectors that detect moving objects. Another possibility is to detect objects based on characteristic features, e.g. Color, shape, face recognition. A user is understood below to mean a person who operates the system.
  • An automatic detector should be understood as meaning detectors which function without human intervention. Semi-automatic combinations are also possible in which an automatic detector makes detection suggestions that must be verified by a user. Detection should also be understood here as localization, i. E.
  • a detection generally refers to a position determination in this sense in a camera image. In the case of a user, this is done in advantageous embodiments often by a mouse click. However, a joystick, a touch-sensitive monitor, or other suitable input medium may also be used.
  • the position can be a point that is assigned to the object or even one or more surfaces.
  • the position is often determined by a pixel.
  • This pixel has a finite extent and may be e.g. be represented in a higher resolution by multiple pixels.
  • the detector such as a motion detector or by so-called touchscreens, one or more surfaces may be selected as the position of the object. In the following, we therefore understand one or more surfaces under a point in the image or pixel. A point in the scene imaged by the camera can therefore also have an extension.
  • a monitor is to be understood as meaning any suitable device for temporally variable representation of images, text and graphics.
  • This can be, for example, CRT monitors such as PC monitors, surveillance monitors, TV or something similar. It can also be flat screens, LCD screens or other types of displays.
  • a camera image that is really visible to a user but also a non-visible representation of the same image as digital data in a computer.
  • a monitor picture is meant and the fade-in or marking of lines, dots etc. takes place in the monitor picture in a form perceptible to the user.
  • a process part is executed by an automatic detector, it is a general, not necessarily visibly displayed image.
  • the drawing or fade in here corresponds to a consideration of the corresponding positions in the image by the affected automatically executed process part.
  • a master camera is a camera in which an object is detected by an object detector, wherein this detection is to be used to detect the same object in further, so-called slave cameras.
  • the master camera is often stationary, but it can also be equipped with a pan-tilt unit.
  • each camera is suitable as a master camera in which at any given time a clear association between a point in the camera image and a so-called visual beam is given.
  • a visual ray belonging to a pixel is the location of all points in the space that are imaged by the camera onto that pixel. For real cameras, these are straight lines for extension-free pixels, and cones corresponding to extended pixels are the sum of all straight lines.
  • an unstretched straight line is given as a ray of sight, from this cone a suitable straight line is used as a representative, usually belonging to the object center or the object base straight. This may be the case, for example, when a video motion detector detects an area in the camera image or a user does not enter a pixel-perfect position via a touchscreen.
  • the assignment rule between pixels and visual rays, wherein the visual rays are given in a camera-fixed coordinate system referred to as internal calibration of the camera.
  • the position of the camera relative to a world coordinate system or other camera is referred to as external calibration.
  • the property of the master camera refers only to the current detection task. In a further detection, the same camera can also perform the function of a slave camera if its field of view is adjustable.
  • the task of the slave camera is to capture the object detected in the master camera.
  • the slave camera is any camera with adjustable field of view suitable.
  • the adjustment of the field of view for the detection of the object by the slave camera is understood to mean the alignment of the so-called camera sector with the object.
  • the camera vector is a predefined directional vector permanently connected to the camera; it is therefore set together with the field of view of the camera.
  • slave cameras are pan-tilt-zoom cameras (domes or pan-tilt heads).
  • any other mechanism for adjusting the field of view is also suitable. A zoom feature is not necessary for all applications, but often beneficial. It is assumed that the slave camera is externally calibrated, ie its position and orientation relative to the master camera is known.
  • the adjustment mechanism of the field of view is assumed to be calibrated, ie the camera sector can be set to specific directions and the zoom can be selectively influenced.
  • the function of the slave camera is only for this detection process.
  • the same camera can also be a master camera in another acquisition process.
  • a system may consist of two or more cameras, with each camera operating as a master camera and one or more cameras having an adjustable field of view operating as slave cameras for a specific object detection. For the next object detection, these can be other camera pairings or the roles of the last pairing can be reversed.
  • An object can also be detected by several master cameras at the same or different times. In the camera image of the master camera, it is also possible to detect a plurality of objects which are then detected by a plurality of slave cameras or an object is detected, which is then detected by a plurality of slave cameras. The search of the object is restricted in all cases to the visual beam of the object given by the respective master camera. For multiple objects, there is a line of sight through each object.
  • This exemplary description does not represent a limitation or limitation of the invention to the listed examples. It merely serves to illustrate the invention and particularly advantageous embodiments.
  • FIGS. 3 to 5 allow a quick basic understanding of the invention.
  • FIG. 1 shows the block diagram of the system.
  • a first camera 101 as a master camera and a second camera 102 with an adjustable field of view as a slave camera are shown here.
  • the master camera 101 is a stationary camera.
  • the master camera 101 is connected to a control unit 140 which connects the master camera 101 with a central control unit 142 via analog outputs, in particular, for example, for the video signal and digital outputs, in particular, for example, for control signals via networks. If digital cameras or image transmissions are used, the network for image transmission may be completely or partially digital. If the mater camera 101 has an adjustable zoom lens, it will be adjusted from the central control unit 142 via the control unit 140.
  • the current value is stored either in the central control unit 142 or queried via the control unit 140.
  • control unit 141 controls and connects the pan-tilt-zoom camera 102.
  • Pan and Tilt can also be set and the current values can be interrogated.
  • the central control unit 142 thus has access to the control, the current settings and the camera images of all participating cameras 101 and 102.
  • the camera images can be displayed on the monitors 144 and 145 connected to the central control unit 142. If automatic detectors are used for the master camera 101 and / or the slave camera 102, the corresponding monitors 144 and 145 can also be connected directly to the control units 140 and 141 or directly to the cameras 101 and 102 or they can be omitted altogether.
  • the central control unit 142 is capable of displaying information such as a mouse pointer, marked dots and visual rays in the displayed images.
  • graphic controls such as sliders
  • a user may make the necessary controls via an input device 143, which may be advantageously a mouse and / or keyboard and / or slider and / or control panel and / or joystick, etc.
  • the central control unit 142 also stores the data for the internal and external calibration of the cameras 101 and 102. If available, terrain models are also stored and automatic detectors, such as motion detectors, etc. installed. All information and modules for one of the cameras 101 or 102 may also be located in the local control units 140 or 141. at these modules are advantageously modules for calibration and / or automatic detection.
  • the central control unit 142 all inputs and information are collected and processed, ie, for an object detected in the master camera 101, the associated visual beam 303 (in FIG. 3 ) are calculated in world coordinates and, as far as the visual beam is detected by the slave camera 102, superimposed on the camera image of the slave camera 102 (visual beam 504 in FIG FIG. 5 ). Further overlays, according to the embodiments described below, are made and the slave camera 102, for example, according to the embodiments described below, controlled.
  • FIG. 2 shows a schematic representation of a camera.
  • cameras are often modeled as so-called projective or even hole cameras. All visual rays pass through one point, the so-called optical center 260 of the camera. Through the optical center 260 and a pixel 206 on the image plane 262 (one pixel on the CCD or CMOS chip in digital cameras), a line of sight 203 is defined, which is the location of all points in space imaged onto the pixel 206 by the camera become. Many real cameras can accurately match this model by algorithmically correcting distortions in the image. For other cameras, there are similar models.
  • the orientation of a camera with adjustable field of view does not necessarily occur in the middle of the picture. If the camera is not modeled as a projective camera, it may also be useful to define the orientation of the camera by a beam that does not pass through the optical center of the camera or there is no unique optical center. Therefore, a general camera sector 261 is defined that defines the orientation of the camera. If the camera is modeled as a projective camera, one can advantageously anchor the camera sector 261 in the optical center 260, as shown in the drawing. The camera sector 261 then corresponds to a specific line of sight and corresponds to the orientation of the camera sector the orientation of the associated pixel (pixel) on the object. For slave cameras with zoom capability, this pixel can be advantageously chosen as the zoom center, ie the pixel which remains stationary in the image as the zoom changes. Any other pixel, such as the center of the image, is also possible.
  • FIG. 3 shows a schematic plan (top view) of an area to be monitored with a system of two cameras 301 and 302.
  • the camera 301 is the master camera, the camera 302, the slave camera.
  • the two cameras 301 and 302 are eg surveillance cameras and serve for the visual surveillance of the area.
  • In the area are the objects 311 (house), 312 - 315 (trees) and 316 (cars).
  • the master camera 301 detects in its indicated by the boundary lines 321 field of view of this camera associated monitoring area. Surveillance areas often do not cover the whole field of vision. This is indicated by the lines 370 and 371, which represent here by way of example beginning and end of the monitoring area.
  • the imaged scene represents the orientation of the camera at the time of object detection.
  • the slave camera 302 has an adjustable field of view, eg as pan-tilt-zoom camera.
  • Line 307 denotes the line of sight associated with the camera camera of the slave camera (or the line defined by the camera vector in the general case). By aligning the slave camera with an object, we understand the orientation of this line on the object.
  • FIG. 4 shows a camera image of the master camera 301 FIG. 3 as it is, for example, for a user on a monitor. The image shows the objects 311, 314, 315 and 316 FIG.
  • an input unit eg a mouse
  • This point 406 can be marked by the system on the screen, in FIG. 4 this is done by a black dot.
  • the point 406 indicates an object in the scene, in this case a corner of the house, from the slave camera 302 FIG. 3 should be recorded.
  • This object corresponds to the area plan of FIG. 3 the world point 305 with the associated visual ray 303.
  • the distinction between the World point 305 and the pixel 406, and between the (world) visual ray 303 and its imaging / projection in a camera image (504 in the camera image of the slave camera in FIG. 5 ) is essential.
  • the entire visual beam 303 is formed in the camera image of the master camera on the one pixel 406.
  • the detector marks a pixel in the camera image of the master camera and thus a line of sight.
  • the position of the corresponding world point on the visual ray, ie its distance from the master camera, is still unknown.
  • the location of the world point and the effective control of the slave camera 302 is the subject of the embodiments of the invention described below.
  • the point 406 in FIG. 4 or 305 in FIG. 3 is with adapted reference numerals also in the FIGS. 5 to 7 located.
  • the slave camera 302 can be arranged close to the master camera 301, with proper alignment the visual beams of the master camera 301 and the camera camera of the slave camera run quasi parallel, the object distance is then irrelevant to the orientation of the slave camera.
  • the detection by the slave camera 302 is relatively easy to solve in this case.
  • a special case also arises if the terrain of the monitored area is known, especially if it is a very simple terrain form such as a floor level in interior monitoring. In this case, assuming that the object is on the ground, it is relatively easy to calculate the object distance and direct the slave camera 302 at the object. In more complex terrain, the terrain shape could also be determined by the camera system itself. This is possible, for example, by calculating distance maps by means of known stereo or multicamera methods.
  • a distance map is a map that stores the distance to the point of interest represented for each pixel in the camera image of the master camera. Another option, if the object size is known, is to use this to estimate the object distance and thus align the slave camera 302. Of all these cases, however, only a small to moderate accuracy is to be expected because cameras can not be in the same place, as object sizes are only vaguely known and inaccurate detected or variable (different objects, different views) and there terrain forms and distance maps normally only vaguely known. For the use of terrain forms / distance maps also the ground contact of the objects must be assumed and that the in Camera image of the master camera detected point 406 is located at a known height above ground.
  • the required accuracy is generally determined by the zoom, i. depend on the camera opening angle. Assuming that the detection by the slave camera 302 has an accuracy of e.g. 1/10 of the camera aperture angle, this means that for a large zoom of about 2 degrees aperture angle, an accuracy of setting the slave camera 302 by 0.2 degrees. This accuracy is not achievable with the methods given above in most cases.
  • the object search in an effective way for the user or an automatic detector is therefore the subject of the following and further described embodiments.
  • point 406 becomes a line of sight 303 in FIG. 3
  • entering this point means, for example, a mouse click.
  • the object distance can be restricted to a certain area. Often this is due to the size of the master camera 301 in FIG. 3 detected monitoring range, which is shown as an example between the boundary lines 370 and 371 in FIG. 3 lies.
  • the slave camera 302 is then automatically set by the system (pan, tilt and zoom) as in FIG. 3 shown. This is defined by the boundary lines 322 in FIG FIG. 3 indicated field of view completely captures the line of sight 303 of the pixel 406 within the surveillance area. If complete acquisition is not possible, the largest possible part can be recorded and a warning displayed. If necessary, the focus can be automatically adjusted so that objects appear as sharp as possible along the line of sight.
  • FIG. 12 shows the camera image of the slave camera 302 thus set as it is presented to a user on a monitor or an automatic detector.
  • the sight ray 303 off FIG. 3 is displayed in an advantageous manner (line 504 in FIG. 5 ), so that the user can orient themselves but depending on the application, the image is not obscured.
  • the line of sight 504 is displayed in color, dashed and / or semitransparent, etc.
  • the user or an automatic detector must now search the image only along the line of sight 504 to find the pixel 506, which is an image of the world point 305 sought FIG. 3 in the camera image of the slave camera. For a user, this means eg a second mouse click.
  • the line of sight 504 can be an imaginary line.
  • the detection in the camera image of the slave camera determines the position of the object on the line of sight 303, and the slave camera 302 can be automatically aimed at the object and set to high zoom. Restricting the search to this line is of course advantageous for an automatic detector, but for a user as well, the insertion of the Sehstrahls 504 and the restriction of the search along the line of sight 504 be helpful. This is the case, for example, if the object is very low in contrast and the image is of poor quality or if there are a large number of similar objects, for example a person in a crowd of viewers.
  • a great advantage in any case is that the user or detector with two detections (for a user eg two mouse clicks) and two associated movements of the slave camera 302 has detected the object. If the object in the camera image of the master camera was detected as an area, the search area would be correspondingly given by the sum of the visual rays.
  • FIG. 6 shows the same watch scene as FIG. 3 with a master camera 601 and a slave camera 602.
  • the user is presented on the screen or in the input device 143 in FIG. 1 a slider is offered.
  • the goal is again to align the slave camera 602 with the world point 605.
  • the associated pixel 406 is detected in the camera image of the master camera ( FIG. 4 ).
  • the slave camera 602 is already set to a large zoom, which is indicated by the boundary lines 322, 323 and 324 of the field of view for three different orientations of the slave camera in the drawing. This has the advantage, for example, that a high resolution is already given during the search and during the detection of the object by the slave camera 602.
  • the system therefore offers the user the option of moving the slave camera along the line of sight 603 by moving the slider.
  • the search is so much easier and faster because only this one degree of freedom to use and is to search.
  • the search on the visual ray S is automatically restricted to the range determined by the apriori knowledge.
  • the slider can be provided with distance information on the line of sight 603, for example.
  • the slider can also be replaced by other input media with one degree of freedom or input media whose function is limited to one degree of freedom.
  • the normal pan-tilt control of a camera via a joystick or buttons for object detection can be switched so that one of the two deflections or a pair of keys the slave camera moves on the line of sight, while the other deflection or the other pair of buttons is turned off Zoom the slave camera or the deflection of the slave camera perpendicular to the line controls or other tasks.
  • FIG. 7 shows representations of camera images taken from the slave camera 602 in FIG FIG. 6 with the orientations 622, 623 and 624 along the line of sight 603.
  • the camera image 722 displays the object 612 FIG. 6
  • the camera image 723 shows the objects 613, 614 and 616.
  • the object (the corner of the house) selected by the point 406 is in the camera image 724 in FIG FIG. 7 from the perspective of the slave camera 602 and zoomed in (point 706).
  • the slave camera 602 can be controlled by the same procedure, the slider is then of course omitted.
  • the object in the camera image of the master camera ( FIG. 4 ) detected as an area one of the visual rays, such as the middle, must be selected in this embodiment.
  • FIG. 8 shows a camera image 833 of the slave camera 602.
  • the slave camera 602 is still too high to detect the line of sight 603, sd only the Treetops of the objects 613 and 614 are detected.
  • the arrow 809 indicates the direction in which the line of sight is reached on the shortest path.
  • the information could also be displayed on a control panel, eg in which direction a joystick for camera control is to be moved or which of the control keys is to be operated. If the slave camera is moved according to this information, the camera image 823 is reached.
  • the slave camera has detected the visual beam, the camera image 823 is identical to the camera image 723 FIG. 7 ,
  • the arrows 804 shown indicate the direction in which the camera must be moved to start the line of sight. Instead of the arrows, the line of sight can also be displayed as a line or in another suitable way.
  • FIG. 9 shows a further particularly advantageous embodiment.
  • FIG. 9 shows a scenario with a master camera 901, a slave camera 902 and three persons 982, 983 and 984 located on a line of sight 903 of the master camera 901 at different positions.
  • the zoom is not adjusted during the process of the slave camera 602, indicated by the fields of view 922, 923 and 924.
  • the corresponding camera images are in FIG. 10 to see. Due to the different distances from the slave camera 902, the person 982 in the camera image 1022 becomes too large (face cut off), the person 984 in the camera image 1024 is detected too small.
  • the person 983 happens to be at a suitable distance (camera image 1023) for the set zoom.
  • the distance of the slave camera to the visual ray 903 for each orientation can be easily calculated and the zoom adjusted accordingly.
  • the distance information can also be used to control the focus when moving the camera so that a clear image is obtained at all times. This has the advantage over a normal autofocus that the latter is slow, on the one hand, and moving camera and / or one on the other moving objects does not have to work reliably.
  • the possibility of snapshots of the searched object is particularly advantageous for this embodiment.
  • a suspicious person is detected in low resolution.
  • a high-resolution snapshot of the person's face can be made very efficiently with the aid of the slave camera 902.
  • the snapshot can be triggered by a user, by an automatic detector (here a face detector) or semi-automatically.
  • the auto focus of the focus on the visual beam can also support the detection of the object in the slave camera.
  • the arrangement is such that the line of sight, before hitting the selected object, is far away from other objects (through the air).
  • the objects that are projected into the camera image of the slave camera along the line of sight then have the 'wrong' distance from the slave camera and are not focused.
  • the first sharply imaged object is in this case the searched object.
  • the distance from the slave camera 302, 602 or 902 can be easily calculated by triangulation. If the object has been detected by the slave camera on the visual beam, the distance of the object from the master camera 301, 601 or 901 can also be easily determined by triangulation. This information is generally useful for automatically adjusting zoom and focus and for other tasks.
  • the detection or tracking of a moving object in the camera image of the master camera 301, 601 or 901 can also take place continuously.
  • the line of sight 303, 603 or 903 and the control of the slave camera 302, 602 or 902 are then automatically adjusted continuously.
  • the focus is automatically adjusted such that objects are sharply imaged on the line of sight.
  • the searched object is thereby automatically detected, whereby starting from the first camera 01 with automatically focused on the line of sight 03 zoom the first sharply imaged or the sharpest pictured object is.
  • the one-degree-of-freedom controller is implemented as a slider or joystick or in the form of keys, wherein a deflection of the joystick moves the respective camera on the line of sight and the input medium used in normal operation for controlling the second camera 02 can be switched for the object detection task in such a way that it fulfills the function for object detection.
  • the master camera as in FIG. 3 shown equipped with a focused light source 350, eg a laser.
  • the light source is adjustable in its orientation, the spectrum does not have to be in the visible range.
  • the focused light source 350 is mounted as close as possible to the master camera 301 and can thus be used for a selected point 406 (FIG. FIG. 4 ) along the associated line of sight 303.
  • the beam then hits the selected object and illuminates it.
  • the slave camera 302 is sensitive to the radiation used, this may be used to detect the object by the slave camera 302. This applies in particular if the radiation leads via its spectrum, its intensity, via a pulsed operation, via combinations of these or other features, to a clearly detectable signal in the camera image of the slave camera.
  • the detection of the object in the camera image of the slave camera can be facilitated for a detector, in particular if a plurality of similar objects are visible along the displayed visual beam 504.
  • a detector in particular if a plurality of similar objects are visible along the displayed visual beam 504.
  • Other objects are only in the projection of the camera image on the visual beam, such as the objects 712-714 in FIG. 7 , They are therefore not marked by the light source.
  • This procedure is general, ie also in the in FIGS. 6 and 9 described embodiments, applicable.
  • a special feature arises if the light source is equipped with a distance measurement (laser scanner). In this case, the object distance is known directly and the slave camera can be aimed directly at the object. It is particularly advantageous if the focused light source is coupled to a distance measuring device, in particular in the function of a laser scanner, and the distance information thus obtained is used to direct
  • FIG. 12 Another embodiment is in FIG. 12 shown.
  • the figure shows as well FIG. 4 a camera image of the master camera 301 off FIG. 3 .
  • the superimposed visual beam 1208 is the visual beam 307 belonging to the camera vector of the slave camera FIG. 3 (or the straight line defined by the camera vector in the general case).
  • This allows a user to instantly recognize the current tilt of the slave camera.
  • the user is often offered location maps of the area on a monitor in which the cameras are shown. Since the site plans are top views, it is also easy to display the current pan of a pan-tilt-zoom camera by a corresponding symbol. This facilitates the user's orientation in controlling the camera.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Burglar Alarm Systems (AREA)
  • Cameras In General (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zur Steuerung eines Multikamera-Systems mit den Merkmalen des Anspruches 1 und eine Vorrichtung zur Umsetzung des Verfahrens mit den Merkmalen des Anspruches 16.
  • Multikamera-Systeme sind hinlänglich bekannt. Insbesondere bei Überwachungssystemen und Alarmsystemen besteht oft eine Kombination aus stationären Kameras und Pan-Tilt-Zoom-Kameras. Stationäre Kameras sind kostengünstiger und sie ermöglichen eine kontinuierliche Überwachung eines vordefinierten Bereichs. Nachteilig bei stationären Kameras ist es jedoch, dass ein Eindringling nicht verfolgt werden kann. Verlässt ein Eindringling das vordefinierte Überwachungsfeld, wird eine Verfolgung unmöglich, und der Eindringling wird häufig verloren. Außerdem ist es bei solchen Systemen durch die grobe Auflösung der Kamera oftmals nicht möglich einen Eindringling zu identifizieren oder kleine Objekte zu erkennen. Es werden daher Pan-Tilt-Zoom-Kameras verwendet, um einen mit einer stationären Kamera detektierten Eindringling zu verfolgen und zu vergrößern. Dieselbe Problematik ergibt sich auch bei anderen Anwendungen z.B. bei Kamerasystemen zur Verkehrsbeobachtung oder bei Sportereignissen in großen Hallen oder Stadien. Für einen Benutzer ist die manuelle Steuerung der Pan-Tilt-Zoom Kamera zur schnellen und gezielten Erfassung eines Objekts im allgemeinen schwierig.
  • Aus EP-A1-0 529 317 und EP-A1-0 714 081 ist es bekannt, bewegliche Objekte, bei deren Verfolgung mit Kameras, von einer Kamera auf die nächste zu übergeben. Die Erfindung beschreibt eine Anwendung innerhalb geschlossener Räume, beispielsweise innerhalb eines Kasinos. Hierbei wird die nächstliegende verfügbare Pan-Tilt-Zoom-Kamera ausgewählt, welche das Objekt verfolgen kann, wenn es den Überwachungsbereich der aktuell das Objekt erfassenden Kamera verlässt. Die Anwendungen behandeln dabei Innenräume bei denen der zu überwachende Bereich eine Ebene - die Fußbodenebene - ist. Für die Objekte wird eine bekannte Größe - Personen - und Bodenberührung angenommen.
  • Aus US-A-6 359 647 ist eine weitere Erfindung offenbart, welche es ermöglicht eine Übergabe von Objekten zwischen Kameras und deren überwachten Bereichen zu ermöglichen. Die hierbei eingesetzten Kameras können sowohl Pan-Tilt-Zoom-Kameras, als auch stationäre Kameras sein. Das Ziel der Erfindung ist es ein Objekt über mehrere Kameras hinweg kontinuierlich zu verfolgen, eine gezoomte Objektverfolgung und die damit verbundenen Probleme werden nicht angesprochen. Es wird angenommen, dass sich die Objekte auf einer Ebene - Fußbodenebene - bewegen, eine bekannte Größe haben oder die Distanz über die Fokuseinstellung des Kameraobjektivs ermittelt wird.
  • Aus US-A-6 215 519 ist bekannt, zur Verfolgung von beweglichen Objekten, die in einer stationären Kamera mit großem Gesichtsfeld detektiert wurden, eine zweite Kamera mit höherer Auflösung zu verwenden. Die stationäre Kamera wird als omnidirektionale Kamera mit sehr geringer Auflösung angenommen, so dass die höhere Auflösung der zweiten Kamera nur eine normale Auflösung ist und dementsprechend keine hohe Genauigkeit erfordert. Zur Lokalisierung des Objekts mit der zweiten Kamera wird vorgeschlagen beide Kameras direkt nebeneinander zu platzieren oder die Objekte auf einer bekannten Grundebene anzunehmen.
  • Aus DE 196 39 728 A1 ist eine Videoüberwachungseinrichtung bekannt. Bei dieser Videoüberwachungseinrichtung ist eine fest installierte erste Videokamera vorhanden. Der von der ersten Videokamera erfasste Bildausschnitt wird in unterschiedliche Auswertefenster unterteilt. Wird in einem der Auswertefenster eine Bildänderung detektiert, wird über eine Steuereinrichtung eine zweite Kamera auf vordefinierte Einstellwerte, welche die Auswertefenster repräsentieren, eingestellt.
  • Aufgabe der Erfindung ist es die Erfassung eines im Bild einer ersten Kamera sichtbaren Objekts durch eine zweite orientierbare Kamera zu verbessern.
  • Diese Aufgabe wird anhand der Verfahrensmerkmalen des Anspruchs 1 und den Vorrichtungsmerkmalen des Anspruches 16 gelöst.
  • Das erfindungsgemäße Kamerasystem besteht aus einer ersten Kamera, auch als Masterkamera bezeichnet, und mindestens einer zweiten Kamera, auch als Slavekamera bezeichnet. Bei der zweiten Kamera handelt es sich in vorteilhafter Weise um eine Pan-Tilt-Zoom-Kamera.
  • Im weiteren ist ein Objektdetektor vorhanden. Als Objektdetektor wird jede Art von geeigneter Vorrichtung, Verfahren oder menschlichem Benutzer bezeichnet, der in einem Kamerabild ein interessierendes Objekt, z.B.
  • Personen, PKWs, Gesichter, bewegte Objekte, die Position eines verschwundenen Objekts, eine Rauchwolke, ein Schatten usw., detektieren kann. Dies kann z.B. ein menschlicher Benutzer sein, der das Objekt über ein geeignetes Eingabemedium, z.B. eine Maus, auf einem Monitorbild oder einer anderen geeigneten Darstellung des Kamerabildes detektiert. Ein weiteres Beispiel sind Video-Bewegungsdetektoren, die bewegte Objekte detektieren. Eine weitere Möglichkeit besteht darin Objekte anhand charakteristischer Merkmale zu detektieren, z.B. Farbe, Form, Gesichtserkennung. Unter einem Benutzer verstehen wir im folgenden eine Person, die das System bedient. Unter einem automatischen Detektor sollen Detektoren verstanden werden, die ohne menschlichen Eingriff funktionieren. Es sind auch halb automatische Kombinationen möglich, bei denen ein automatischer Detektor Detektionsvorschläge macht, die durch einen Benutzer verifiziert werden müssen. Unter der Detektion soll hier auch die Lokalisierung verstanden werden, d.h. die Bestimmung der Position des Objekts im Kamerabild. Eine Detektion bezeichnet allgemein eine Positionsbestimmung in diesem Sinne in einem Kamerabild. Im Falle eines Benutzers geschieht dies in vorteilhaften Ausgestaltungen häufig durch einen Mausklick. Es kann jedoch auch ein Joystick, ein berührungssensitiver Monitor oder ein anderes geeignetes Eingabemedium verwendet werden.
  • Die Position kann dabei ein Punkt sein, der dem Objekt zugeordnet wird oder auch eine oder mehrere Flächen. Im Falle digital vorliegender Bilder wird die Position oft durch ein Pixel bestimmt. Dieses Pixel besitzt eine endliche Ausdehnung und kann z.B. in einer höheren Auflösung durch mehrere Pixel repräsentiert werden. Es kann auch durch die Eigenart des Detektors, wie etwa eines Bewegungsdetektors oder durch sogenannte Touchscreens eine oder mehrere Flächen als die Position des Objekts ausgewählt werden. Wir verstehen daher im folgenden unter einem Punkt im Bild oder Bildpunkt auch eine oder mehrere Flächen. Ein Punkt in der durch die Kamera abgebildeten Szene kann demnach auch eine Ausdehnung besitzen.
  • Unter einem Monitor soll im folgenden jede geeignete Einrichtung zur zeitlich veränderlichen Darstellung von Bildern, Text und Grafiken verstanden werden. Dies können z.B. Bildröhrenmonitore wie PC-Monitore, Überwachungsmonitore, Fernseher oder ähnliches sein. Es können auch Flachbildschirme, LCD-Bildschirme oder andere Arten von Displays sein.
  • Als Kamerabild bezeichnen wir ein wirklich für einen Benutzer sichtbares Monitorbild aber auch eine nicht sichtbare Repräsentation desselben Bildes etwa als digitale Daten in einem Computer. Soweit es sich im beschriebenen Verfahren um einen Benutzer handelt, ist ein Monitorbild gemeint und die Einblendung oder Einzeichnung von Linien, Punkten etc. geschieht in das Monitorbild in einer für den Benutzer wahrnehmbaren Form. Falls ein Verfahrensteil von einem automatischen Detektor ausgeführt wird handelt es sich um ein allgemeines, nicht notwendigerweise sichtbar dargestelltes Bild. Das Einzeichnen oder Einblenden entspricht hier einer Berücksichtigung der entsprechenden Positionen im Bild durch den betroffenen automatisch ausgeführten Verfahrensteil.
  • Wir werden im folgenden das System und Verfahren beschreiben, wie es sich für einen Benutzer darstellt. Dies soll jedoch generell die Verwendung automatischer oder halbautomatischer Detektoren einschließen. Das Verfahren bleibt gleich, wenn unter einem Detektionsschritt die Detektion durch einen beliebigen Detektor verstanden wird. Im Falle der automatischen Detektion in allen Detektionsschritten können in der Vorrichtung Monitore und Eingabemedien entfallen, da die hierdurch dargestellte und eingegebene Information in den Steuereinheiten automatisch erzeugt und berücksichtigt wird.
  • Als Masterkamera wird eine Kamera bezeichnet, in der ein Objekt von einem Objektdetektor detektiert wird, wobei diese Detektion zur Erfassung desselben Objekts in weiteren, sogenannten Slavekameras verwendet werden soll. Die Masterkamera ist oft stationär, sie kann aber auch mit einer Schwenk-Neige-Einheit ausgestattet sein. Tatsächlich ist jede Kamera als Masterkamera geeignet, bei der zu einem gegebenen Zeitpunkt eine eindeutige Zuordnung zwischen einem Punkt im Kamerabild und einem sogenannten Sehstrahl gegeben ist. Ein zu einem Bildpunkt gehöriger Sehstrahl ist der Ort aller Punkte im Raum, die von der Kamera auf diesen Bildpunkt abgebildet werden. Für reale Kameras sind dies für ausdehnungslose Bildpunkte Geraden, für ausgedehnte Bildpunkte entsprechende Kegel als Summe aller Geraden. Falls im folgenden verfahrensbedingt an einer Stelle eine nicht ausgedehnte Gerade als Sehstrahl gegeben ist, wird aus diesem Kegel eine geeignete Gerade als Repräsentant verwendet, meist die zur Objektmitte oder zum Objektfußpunkt gehörende Gerade. Dies kann etwa dann der Fall sein, wenn ein Video-Bewegungsdetektor eine Fläche im Kamerabild detektiert oder ein Benutzer über einen Touchscreen keine pixelgenaue Position eingibt. Die Zuordnungsvorschrift zwischen Bildpunkten und Sehstrahlen, wobei die Sehstrahlen in einem kamerafesten Koordinatensystem gegeben sind, bezeichnet man als interne Kalibrierung der Kamera. Die Position der Kamera relativ zu einem Weltkoordinatensystem oder einer anderen Kamera wird als externe Kalibrierung bezeichnet. Die Eigenschaft der Masterkamera bezieht sich nur auf die gerade aktuelle Detektionsaufgabe. In einer weiteren Detektion kann dieselbe Kamera auch die Funktion einer Slavekamera ausüben sofern ihr Gesichtsfeld einstellbar ist.
  • Die Aufgabe der Slavekamera ist es, das in der Masterkamera detektierte Objekt zu erfassen. Als Slavekamera ist jede Kamera mit einstellbarem Gesichtsfeld geeignet. Unter der Einstellung des Gesichtsfeldes zur Erfassung des Objekts durch die Slavekamera wird die Ausrichtung des sogenannten Kameravektors auf das Objekt verstanden. Der Kameravektor ist dabei ein vorgegebener, mit der Kamera fest verbundener Richtungsvektor; er wird daher zusammen mit dem Gesichtsfeld der Kamera eingestellt. In besonders vorteilhaften Ausgestaltungen sind Slavekameras Pan-Tilt-Zoom Kameras (Dome oder Schwenk-Neige-Köpfe). Jeder andere Mechanismus zur Einstellung des Gesichtsfelds ist jedoch auch geeignet.
    Eine Zoom-Funktion ist nicht für alle Anwendungen notwendig, jedoch oft vorteilhaft. Es wird angenommen, dass die Slavekamera extern kalibriert ist, d.h. ihre Position und Orientierung relativ zur Masterkamera ist bekannt. Außerdem wird der Einstellmechanismus des Gesichtsfeldes als kalibriert angenommen, d.h. der Kameravektor kann gezielt auf vorgegebene Richtungen eingestellt und der Zoom gezielt beeinflusst werden. Auch die Funktion der Slavekamera besteht nur für diesen Erfassungsvorgang. Dieselbe Kamera kann in einem weiteren Erfassungsvorgang auch Masterkamera sein.
  • Ein System kann aus zwei oder mehr Kameras bestehen, wobei für eine bestimmte Objekterfassung jeweils eine beliebige Kamera als Masterkamera und eine oder mehrere Kameras mit einstellbarem Gesichtsfeld als Slavekameras operieren. Für die nächste Objekterfassung können dies andere Kamerapaarungen sein oder auch die Rollen der letzten Paarung vertauscht werden. Ein Objekt kann zum selben oder verschiedenen Zeitpunkten auch von mehreren Masterkameras detektiert werden. Es können im Kamerabild der Masterkamera auch mehrere Objekte detektiert werden, die dann durch mehrere Slavekameras erfasst werden oder es wird ein Objekt detektiert, das dann durch mehrere Slavekameras erfasst wird. Die Suche des Objekts wird dabei in allen Fällen auf den durch die jeweilige Masterkamera gegebenen Sehstrahl des Objekts eingeschränkt. Bei mehreren Objekten ist durch jedes Objekt ein Sehstrahl gegeben.
    Im folgenden wird die Erfindung anhand von Figuren verdeutlicht. Diese beispielhafte Beschreibung stellt keine Limitierung oder Einschränkung der Erfindung auf die aufgeführten Beispiele dar. Sie dient lediglich zur Verdeutlichung der Erfindung und besonders vorteilhafter Ausgestaltungen.
  • Insbesondere die Figuren 3 bis 5 ermöglichen ein schnelles grundsätzliches Verständnis der Erfindung.
  • Es zeigt:
    • Figur 1
    ein Blockschaltbild eines Systems;
    Figur 2
    eine schematische Darstellung einer Kamera;
    Figur 3
    einen schematischen Plan eines zu überwachenden Areals mit einem System aus zwei Kameras, sowie eines ausgewählten Objekts und dem dazugehörigen Sehstrahl der Masterkamera;
    Figur 4
    ein Kamerabild der Masterkamera aus Figur 3;
    Figur 5
    ein Kamerabild der Slavekamera mit eingeblendetem Sehstrahl der Masterkamera;
    Figur 6
    einen schematischen Plan eines zu überwachenden Areals mit einem System aus zwei Kameras, wobei die Slavekamera in mehreren Ausrichtungen entlang des Sehstrahls der Masterkamera dargestellt ist;
    Figur 7
    Kamerabilder der Slavekamera in Figur 6, die mit verschiedenen Ausrichtungen entlang des Sehstrahls der Masterkamera erfasst werden;
    Figur 8
    ein Kamerabilder der Slavekamera in Figur 6, die mit Ausrichtungen auf und neben dem Sehstrahl der Masterkamera erfasst werden, sowie eingeblendeten Pfeilen zur Steuerung der Slavekamera;
    Figur 9
    einen schematischen Plan eines zu überwachenden Areals mit einem System aus zwei Kameras, wobei sich Personen in verschiedenen Entfernungen entlang eines Sehstrahls der Masterkamera befinden;
    Figur 10
    Kamerabilder der Slavekamera in Figur 9 bei einer Ausrichtung auf die Personen in Figur 9 ohne Zoomanpassung;
    Figur 11
    Kamerabilder der Slavekamera in Figur 9 bei einer Ausrichtung auf die Personen in Figur 9 mit Zoomanpassung;
    Figur 12
    ein Kamerabild der Masterkamera aus Figur 3 mit eingeblendetem Kameravektor der Slavekamera bzw. dazugehörigem Sehstrahl;
  • In der folgenden Beschreibung werden bei den einzelnen Figuren für sich entsprechende Objekte entsprechende Bezugszeichen verwendet. Dies ermöglicht es, die Erfindung im zusammenhängenden Rahmen zu beschreiben.
  • Figur 1 zeigt das Blockschaltbild des Systems. Beispielhaft ist hier eine erste Kamera 101 als Masterkamera und eine zweite Kamera 102 mit einstellbarem Gesichtsfeld als Slavekamera dargestellt. Die Masterkamera 101 ist eine stationäre Kamera. Die Masterkamera 101 ist an eine Steuereinheit 140 angeschlossen, die über analoge Ausgänge, insbesondere z.B. für das Videosignal und digitale Ausgänge, insbesondere z.B. für Steuersignale über Netzwerke, die Masterkamera 101 mit einer zentralen Steuereinheit 142 verbindet. Falls digitale Kameras oder Bildübertragungen eingesetzt werden kann das Netz zur Bildübertragung ganz oder teilweise digital sein. Falls die Materkamera 101 ein einstellbares Zoomobjektiv hat wird dieses von der zentralen Steuereinheit 142 aus über die Steuereinheit 140 eingestellt werden. Der aktuelle Wert ist entweder in der zentralen Steuereinheit 142 gespeichert oder über die Steuereinheit 140 abfragbar. In gleicher Weise steuert und verbindet die Steuereinheit 141 die Pan-Tilt-Zoom Kamera 102. Hier können außer dem Zoom auch Pan und Tilt eingestellt und die aktuellen Werte abgefragt werden. Die zentrale Steuereinheit 142 hat somit Zugriff auf die Steuerung, die aktuellen Einstellungen und die Kamerabilder aller beteiligten Kameras 101 und 102. Die Kamerabilder können auf den an die zentrale Steuereinheit 142 angeschlossenen Monitoren 144 und 145 dargestellt werden. Falls automatische Detektoren für die Masterkamera 101 und/oder die Slavekamera 102 verwendet werden, können die entsprechenden Monitore 144 und 145 auch direkt an die Steuereinheiten 140 und 141 oder direkt an die Kameras 101 und 102 angeschlossen werden oder sie können ganz entfallen. Im Falle automatischer Detektoren ohne Benutzereingriff oder Kontrolle können auch Einblendungen in das Kamera- bzw. Monitorbild entfallen. Es ist auch möglich nur einen Monitor zu benutzen, wobei die Bilder von der Masterkamera 101 und der Slavekamera 102 nebeneinander, im sogenannten Splitverfahren, ineinander, im sogenannten Bild-im-Bild-Verfahren oder zeitlich hintereinander dargestellt werden. Für die erste Detektion in der Masterkamera 101 wird dabei das Bild der Masterkamera 101 aufgeschaltet, für die darauffolgende Detektion in der Slavekamera 102 wird dann diese Kamera aufgeschaltet.
    In der folgenden Beschreibung wird, soweit es sich beim Detektor um einen Benutzer handelt, von einem Monitor pro Kamerabild ausgegangen. Die zentrale Steuereinheit 142 ist in der Lage in die dargestellten Bilder Informationen wie einen Mauszeiger, markierte Punkte und Sehstrahlen einzublenden. Bei Bedarf können auch im Kamerabild oder, falls dieses nicht bildfüllend ist, auf dem Monitor außerhalb des dargestellten Kamerabildes graphische Steuerelemente, wie z.B. Schieberegler, eingeblendet werden. Ein Benutzer kann über eine Eingabevorrichtung 143, bei welcher es sich in vorteilhaften Weise um eine Maus und/oder eine Tastatur und/oder einen Schieberegler und/oder ein Bedienpult und/oder einen Joystick, usw., handelt, die notwendigen Steuerungen vornehmen. In der zentralen Steuereinheit 142 sind auch die Daten für die interne und externe Kalibrierung der Kameras 101 und 102 gespeichert. Falls vorhanden, sind hier auch Geländemodelle gespeichert und automatische Detektoren, wie Bewegungsdetektoren, etc., installiert. Alle Informationen und Module für-eine der Kameras 101 oder 102 können auch in den lokalen Steuereinheiten 140 oder 141 angesiedelt sein. Bei diesen Modulen handelt es sich in vorteilhafter Weise um Module zur Kalibrierung und/oder automatischen Detektion. Sind solche Module in lokalen Steuereinheiten installiert, laufen nur die entsprechend verarbeiteten Informationen, etwa die Position des detektierten Objekts, in der zentralen Steuereinheit 142 zusammen. In der zentralen Steuereinheit 142 werden alle Eingaben und Informationen gesammelt und verarbeitet, d.h. für ein in der Masterkamera 101 detektiertes Objekt wird der zugehörige Sehstrahl 303 (in Figur 3) in Weltkoordinaten errechnet und, soweit der Sehstrahl von der Slavekamera 102 erfasst wird, in das Kamerabild der Slavekamera 102 eingeblendet (Sehstrahl 504 in Figur 5). Weitere Einblendungen, entsprechend der im folgenden geschilderten Ausgestaltungen, werden vorgenommen und die Slavekamera 102, z.B. entsprechend der im folgenden beschriebenen Ausgestaltungen, gesteuert. Falls ein Benutzer das System bedient, werden entsprechende Eingaben durch die zentrale Steuereinheit 142 berücksichtigt bzw. dem Benutzer entsprechende Steuerelemente angeboten.
    Figur 2 zeigt eine schematische Darstellung einer Kamera. Kameras werden wie in dieser Zeichnung dargestellt, oft als sogenannte projektive- oder auch Loch-Kamera modelliert. Dabei gehen alle Sehstrahlen durch einen Punkt, das sogenannte optische Zentrum 260 der Kamera. Durch das optische Zentrum 260 und einen Bildpunkt 206 auf der Bildebene 262 (einem Pixel auf dem CCD oder CMOS Chip bei digitalen Kameras) wird ein Sehstrahl 203 definiert, welcher der Ort aller Punkte im Raum ist, die durch die Kamera auf den Bildpunkt 206 abgebildet werden. Viele reale Kameras können durch die algorithmische Korrektur von Verzerrungen im Bild sehr genau diesem Model entsprechen. Für andere Kameras gibt es ähnliche Modelle. Die Ausrichtung einer Kamera mit einstellbarem Gesichtsfeld (Slavekamera 102 in Figur 1) erfolgt nicht notwendiger Weise auf die Bildmitte. Wird die Kamera nicht als projektive Kamera modelliert, kann es auch sinnvoll sein, die Ausrichtung der Kamera durch einen Strahl zu definieren, der nicht durch das optische Zentrum der Kamera geht bzw. es ist kein eindeutiges optisches Zentrum vorhanden. Daher wird ein allgemeiner Kameravektor 261 definiert, der die Ausrichtung der Kamera definiert. Falls die Kamera als projektive Kamera modelliert wird, kann man den Kameravektor 261 wie in der Zeichnung dargestellt vorteilhaft im optischen Zentrum 260 verankern. Der Kameravektor 261 entspricht dann einem bestimmten Sehstrahl und die Ausrichtung des Kameravektors entspricht der Ausrichtung des dazugehörigen Bildpunktes (Pixels) auf das Objekt. Bei Slavekameras mit Zoomfähigkeit kann dieser Bildpunkt vorteilhaft als das Zoomzentrum gewählt werden, d.h. der Bildpunkt, welcher bei sich veränderndem Zoom im Bild stationär bleibt. Jeder andere Bildpunkt, z.B. die Bildmitte, ist jedoch auch möglich.
  • Figur 3 zeigt einen schematischen Plan (Draufsicht) eines zu überwachenden Areals mit einem System aus zwei Kameras 301 und 302. Die Kamera 301 ist die Masterkamera, die Kamera 302 die Slavekamera. Die beiden Kameras 301 und 302 sind z.B. Überwachungskameras und dienen zur visuellen Überwachung des Areals. In dem Areal befinden sich die Objekte 311 (Haus), 312 - 315 (Bäume) und 316 (PKW). Die Masterkamera 301 erfasst in ihrem durch die Begrenzungslinien 321 angedeuteten Gesichtsfeld einen dieser Kamera zugeordneten Überwachungsbereich. Überwachungsbereiche umfassen oft nicht das ganze Gesichtsfeld. Dies wird durch die Linien 370 und 371 angedeutet, die hier beispielhaft Anfang und Ende des Überwachungsbereichs darstellen. In diesem Überwachungsbereich liegen die Objekte 314, 315, 316, sowie das Objekt 311. Ist die Masterkamera 301 mit einem einstellbaren Gesichtsfeld ausgestattet, so stellt die abgebildete Szene die Orientierung der Kamera zum Zeitpunkt der Objektdetektion dar. Die Slavekamera 302 hat ein einstellbares Gesichtsfeld, z.B. als Pan-Tilt-Zoom Kamera. Die Linie 307 bezeichnet den zum Kameravektor der Slavekamera gehörigen Sehstrahl (bzw. die durch den Kameravektor definierte Gerade im allgemeinen Fall). Unter der Ausrichtung der Slavekamera auf ein Objekt verstehen wir die Ausrichtung dieser Geraden auf das Objekt.
    Figur 4 zeigt ein Kamerabild der Masterkamera 301 aus Figur 3 wie es sich z.B. für einen Benutzer auf einem Monitor darstellt. Das Bild zeigt die Objekte 311, 314, 315 und 316 aus Figur 3. Es ist eine Eingabeeinheit vorhanden, z.B. eine Maus, mittels welcher ein Benutzer einen Bildpunkt 406 in der dargestellten Szene auswählen kann. Dieser Punkt 406 kann vom System auf dem Bildschirm markiert werden, in Figur 4 ist dies durch einen schwarzen Punkt vorgenommen. Der Punkt 406 bezeichnet ein Objekt in der Szene, in diesem Fall eine Hausecke, das von der Slavekamera 302 aus Figur 3 erfasst werden soll. Diesem Objekt entspricht im Arealplan der Figur 3 der Weltpunkt 305 mit dem dazugehörigen Sehstrahl 303. Die Unterscheidung zwischen dem Weltpunkt 305 und dem Bildpunkt 406, sowie zwischen dem (Welt-) Sehstrahl 303 und dessen Abbildung/Projektion in einem Kamerabild (504 im Kamerabild der Slavekamera in Figur 5) ist wesentlich. Der gesamte Sehstrahl 303 bildet sich im Kamerabild der Masterkamera auf den einen Bildpunkt 406 ab. Der Detektor markiert einen Bildpunkt im Kamerabild der Masterkamera und damit einen Sehstrahl. Die Lage des dazugehörigen Weltpunktes auf dem Sehstrahl, d.h. dessen Entfernung von der Masterkamera, ist noch unbekannt. Die Lokalisierung des Weltpunktes und die effektive Steuerung der Slavekamera 302 ist Gegenstand der im folgenden beschriebenen Ausgestaltungen der Erfindung. Der Punkt 406 in Figur 4 bzw. 305 in Figur 3 ist mit angepassten Bezugszeichen auch in den Figuren 5 bis 7 eingezeichnet.
    Falls die Slavekamera 302 dicht neben der Masterkamera 301 angeordnet werden kann, laufen bei passender Ausrichtung die Sehstrahlen der Masterkamera 301 und der Kameravektor der Slavekamera quasi parallel, die Objektentfernung ist dann für die Ausrichtung der Slavekamera irrelevant. Die Erfassung durch die Slavekamera 302 ist in diesem Fall relativ einfach zu lösen. Ein Sonderfall ergibt sich auch, falls die Geländeform des überwachten Geländes bekannt ist, insbesondere falls es sich um eine sehr einfache Geländeform wie eine Fußbodenebene bei Innenraumüberwachungen handelt. Unter der Annahme, dass sich das Objekt auf dem Boden befindet, kann man in diesem Fall relativ leicht die Objektentfernung ausrechnen und die Slavekamera 302 auf das Objekt richten. In komplexerem Gelände könnte die Geländeform auch durch das Kamerasystem selber bestimmt werden. Dies ist z.B. durch die Berechnung von Distanzkarten mittels bekannter Stereo- oder Multikamera-Methoden möglich. Eine Distanzkarte ist dabei eine Karte, die für jedes Pixel im Kamerabild der Masterkamera die Entfernung bis zum dargestellten Geländepunkt speichert. Eine weitere Möglichkeit ist bei bekannter Objektgröße diese zur Schätzung der Objektentfernung zu nutzen und so die Slavekamera 302 auszurichten. Von all diesen Fällen ist allerdings nur eine geringe bis mäßige Genauigkeit zu erwarten, da Kameras nicht am selben Ort sein können, da Objektgrößen nur ungenau bekannt und ungenau erfasst werden oder variabel sind (verschiedene Objekte, verschiedene Ansichten) und da Geländeformen und Distanzkarten im Normalfall nur ungenau bekannt sind. Für die Verwendung von Geländeformen/Distanzkarten muss auch die Bodenberührung der Objekte angenommen werden und, dass der im Kamerabild der Masterkamera erfasste Punkt 406 in einer bekannten Höhe über Grund liegt.
  • Die geforderte Genauigkeit wird im allgemeinen vom Zoom, d.h. dem Kameraöffnungswinkel abhängen. Wenn man davon ausgeht, dass die Erfassung durch die Slavekamera 302 mit einer Genauigkeit von z.B. 1/10 des Kameraöffnungswinkels erfolgen soll, bedeutet dies für einen großen Zoom von etwa 2 Grad Öffnungswinkel eine Genauigkeit der Einstellung der Slavekamera 302 von 0,2 Grad. Diese Genauigkeit ist mit den oben angegebenen Methoden in den meisten Fällen nicht zu erreichen.
  • In allen anderen Fällen, in denen keine der oben aufgezählten oder äquivalente Methoden anwendbar sind oder falls eine hohe Genauigkeit gefordert wird, ist die Position des Objekts durch dessen Markierung im Kamerabild der Masterkamera nicht festgelegt und das Objekt muss gesucht werden. Für einen Benutzer ist es jedoch sehr kompliziert eine Pan-Tilt-Zoom-Kamera auf ein Objekt einzustellen und diesem nachzuführen. Bis ein Benutzer die Slavekamera 302 auf ein in der Masterkamera 301 detektiertes bewegliches Objekt eingestellt hat, hat dieses sehr häufig bereits das Überwachungsfeld verlassen und der Benutzer hat es aus den Augen verloren. Außerdem wird in dieser Zeit die Aufmerksamkeit des Benutzers von der restlichen Überwachung abgezogen, so dass die auf anderen Monitoren dargestellten Szenen nicht überwacht werden. Auch ist es für einen Benutzer sehr kompliziert mit einer Pan-Tilt-Zoom-Kamera, welche auf einen großen Zoom eingestellt ist, ein Ziel zu verfolgen. In diesem Fall ist nur noch wenig Umgebungsinformation zur Orientierung vorhanden. Wird das Objekt kurzzeitig verloren, ist es daher meist nicht wieder auffindbar. Die gleichzeitige und unabhängige Steuerung von Zoom, Pan und Tilt durch einen Benutzer macht die Handhabbarkeit des Systems langsam und kompliziert. Bei der vollständigen oder teilweisen Automatisierung der Detektion und Verfolgung von Objekten mit einem MultiKamera-System drücken sich diese Probleme in einem erhöhten Suchaufwand aus, der die Anwendung langsam oder sogar unzuverlässig macht.
  • Die Objektsuche in einer für den Benutzer oder einen automatischen Detektor effektiven Weise zu unterstützen ist daher Gegenstand der folgenden und weiterer beschriebener Ausgestaltungen.
  • Durch den in Figur 4 markierten Punkt 406 wird ein Sehstrahl 303 in Figur 3 definiert. Für einen Benutzer bedeutet die Eingabe dieses Punktes z.B. einen Mausklick. Durch apriori Wissen kann die Objektentfernung auf einen bestimmten Bereich eingeschränkt werden. Oft ist dies durch die Größe des von der Masterkamera 301 in Figur 3 erfassten Überwachungsbereichs gegeben, der als Beispiel zwischen den Begrenzungslinien 370 und 371 in Figur 3 liegt. Die Slavekamera 302 wird dann vom System automatisch so eingestellt (Pan,Tilt und Zoom) wie in Figur 3 dargestellt. Das durch die Begrenzungslinien 322 in Figur 3 angedeutete Gesichtsfeld erfasst den Sehstrahl 303 des Bildpunktes 406 innerhalb des Überwachungsbereichs vollständig. Falls eine vollständige Erfassung nicht möglich ist kann ein möglichst großer Teil erfasst und eine Warnung angezeigt werden. Der Focus kann bei Bedarf automatisch so eingestellt werden, dass Objekte entlang des Sehstrahls möglichst scharf erscheinen.
  • Figur 5 zeigt das Kamerabild der so eingestellten Slavekamera 302, wie es sich einem Benutzer auf einem Monitor oder einem automatischen Detektor darstellt. Der Sehstrahl 303 aus Figur 3 wird in vorteilhafter Weise eingeblendet (Linie 504 in Figur 5), so dass der Benutzer sich orientieren kann aber je nach Anwendung das Bild nicht verdeckt wird. In vorteilhafter Weise wird der Sehstrahl 504 farbig, gestrichelt und/oder halbtransparent etc. eingeblendet. Der Benutzer oder ein automatischer Detektor müssen nun das Bild nur entlang des Sehstrahls 504 absuchen um den Bildpunkt 506 zu finden, der ein Abbild des gesuchten Weltpunktes 305 aus Figur 3 im Kamerabild der Slavekamera ist. Für einen Benutzer bedeutet dies z.B. einen zweiten Mausklick. Für einen automatischen Detektor kann der Sehstrahl 504 dabei eine gedachte Linie sein. Durch die Detektion im Kamerabild der Slavekamera wird die Lage des Objekts auf dem Sehstrahl 303 bestimmt und die Slavekamera 302 kann automatisch auf das Objekt gerichtet und auf großen Zoom eingestellt werden. Die Einschränkung der Suche auf diese Linie ist für einen automatischen Detektor natürlich vorteilhaft aber auch für einen Benutzer kann die Einblendung des Sehstrahls 504 und die Einschränkung der Suche entlang des Sehstrahls 504 hilfreich sein. Dies ist etwa dann der Fall, wenn das Objekt sehr kontrastarm und das Bild von schlechter Qualität ist oder wenn es eine Vielzahl gleichartiger Objekte gibt, etwa eine Person in einer Zuschauermenge.
    Ein großer Vorteil ist jedoch in jedem Fall, dass der Benutzer oder Detektor mit zwei Detektionen (für einen Benutzer z.B. zwei Mausklicks) und zwei dazugehörigen Bewegungen der Slavekamera 302 das Objekt erfasst hat. Falls das Objekt im Kamerabild der Masterkamera als Fläche erfasst wurde, würde sich der Suchbereich entsprechend durch die Summe der Sehstrahlen ergeben.
  • Eine weitere Ausgestaltung, bei der die Vorteile der Nutzung des Sehstrahls besonders deutlich sind, wird im folgenden beschrieben.
  • Figur 6 zeigt dieselbe Überwachungsszene wie Figur 3 mit einer Masterkamera 601 und einer Slavekamera 602. Zusätzlich wird dem Benutzer auf dem Bildschirm oder in der Eingabevorrichtung 143 in Figur 1 ein Schieberegler angeboten. Ziel ist es wieder die Slavekamera 602 auf den Weltpunkt 605 auszurichten. Wie oben beschrieben wird in einem ersten Schritt der dazugehörige Bildpunkt 406 im Kamerabild der Masterkamera detektiert (Figur 4). Im Gegensatz zu der in den Figuren 3 und 5 dargestellten Ausgestaltung ist die Slavekamera 602 bereits auf einen großen Zoom eingestellt, der durch die Begrenzungslinien 322, 323 und 324 des Gesichtsfeldes für drei verschiedene Ausrichtungen der Slavekamera in der Zeichnung angedeutet wird. Dies hat z.B. den Vorteil, dass während der Suche und bei der Erfassung des Objekts durch die Slavekamera 602 bereits eine hohe Auflösung gegeben ist. Dies kann z.B. die Detektion erleichtern oder erst ermöglichen. Es wird nach der Detektion des Objekts auch keine Zeit zur Einstellung des Zooms verloren, in der das Objekt sich schon weiter bewegt haben könnte.
    Wie schon dargelegt wurde ist bei großem Zoom und ohne Hilfe die Suche nach dem Objekt sehr schwierig, da Orientierungsmöglichkeiten fehlen und die gleichzeitige Kontrolle von Pan und Tilt, insbesondere bei großem Zoom und in einem großen Suchraum, schwierig ist. Das System bietet dem Benutzer daher durch das Verschieben des Schiebereglers die Möglichkeit die Slavekamera gezielt entlang des Sehstrahls 603 zu verfahren. Die Suche wird so wesentlich vereinfacht und beschleunigt da nur dieser eine Freiheitsgrad zu bedienen und abzusuchen ist. Außerdem wird auch die Suche auf dem Sehstrahl S automatisch auf den durch das apriori Wissen festgelegten Bereich eingeschränkt. Der Schieberegler kann z.B. mit Entfernungsangaben auf dem Sehstrahl 603 versehen werden. Der Schieberegler kann hier auch durch andere Eingabemedien mit einem Freiheitsgrad oder Eingabemedien deren Funktion auf einen Freiheitsgrad eingeschränkt ist ersetzt werden. So kann z.B. die normale Pan-Tilt Steuerung einer Kamera über einen Joystick oder Tasten für die Objekterfassung so umgestellt werden, dass eine der beiden Auslenkungen oder ein Tastenpaar die Slavekamera auf dem Sehstrahl verfährt, während die andere Auslenkung oder das andere Tastenpaar abgeschaltet ist, den Zoom der Slavekamera oder die Auslenkung der Slavekamera senkrecht zum Sehstrahl steuert oder andere Aufgaben übernimmt.
  • Figur 7 zeigt Darstellungen von Kamerabildern, welche von der Slavekamera 602 in Figur 6 mit den Ausrichtungen 622, 623 und 624 entlang des Sehstrahls 603 erfasst werden. Das Kamerabild 722 zeigt das Objekt 612 aus Figur 6, das Kamerabild 723 zeigt die Objekte 613, 614 und 616. Das durch den Punkt 406 ausgewählte Objekt (die Hausecke) ist im Kamerabild 724 in Figur 7 aus der Perspektive der Slavekamera 602 und gezoomt zu sehen (Punkt 706). Im Falle automatischer Detektoren kann die Slavekamera 602 nach derselben Vorgehensweise gesteuert werden, der Schieberegler entfällt dann natürlich. Wurde das Objekt im Kamerabild der Masterkamera (Figur 4) als Fläche erfasst, muss in dieser Ausgestaltung einer der Sehstrahlen, etwa der mittlere, ausgewählt werden.
  • In einer weiteren Ausgestaltung ist es auch möglich dem Benutzer alle normalen Freiheitsgrade der Kamerasteuerung zu belassen und ihm lediglich Hinweise zu geben, in welcher Richtung die Slavekamera 602 gesteuert werden muss um den Sehstrahl zu erfassen bzw., falls der Sehstrahl bereits durch die Slavekamera 602 erfasst wird, in welcher Richtung die Slavekamera 602 verfahren werden muss, um dem Sehstrahl zu folgen. Die Hinweise können z.B. über Einblendungen in das Monitorbild der Slavekamera 602 geschehen. Figur 8 zeigt ein Kamerabild 833 der Slavekamera 602. Die Slavekamera 602 ist hier noch zu hoch ausgerichtet um den Sehstrahl 603 zu erfassen, s.d. nur die Baumwipfel der Objekte 613 und 614 erfasst werden. Der Pfeil 809 zeigt die Richtung an, in der der Sehstrahl auf dem kürzesten Weg erreicht wird. Die Information könnte auch auf einem Bedienpult angezeigt werde, z.B. in welche Richtung ein Joystick zur Kamerasteuerung zu bewegen ist oder welcher der Steuertasten zu bedienen ist. Wird die Slavekamera entsprechend dieser Information verfahren erreicht man das Kamerabild 823. Die Slavekamera hat den Sehstrahl erfasst, das Kamerabild 823 ist identisch mit dem Kamerabild 723 aus Figur 7. Die eingeblendeten Pfeile 804 geben die Richtung an, in die die Kamera verfahren werden muss um den Sehstrahl abzufahren. Anstatt der Pfeile kann der Sehstrahl auch als Linie oder in anderer geeigneter Weise eingeblendet werden.
  • Figur 9 zeigt eine weitere besonders vorteilhafte Ausgestaltung. Zur Verdeutlichung sei die konkrete Aufgabe gegeben das Gesicht einer Person in hoher Auflösung zu erfassen. Figur 9 zeigt hierzu ein Szenario mit einer Masterkamera 901, einer Slavekamera 902 und drei Personen 982, 983 und 984 die sich auf einem Sehstrahl 903 der Masterkamera 901 an verschiedenen Positionen befinden. Bei der in den Figuren 6 und 7 beschriebenen Ausgestaltung wird der Zoom während des Verfahrens der Slavekamera 602 nicht angepasst, angedeutet durch die Gesichtsfelder 922, 923 und 924. Die entsprechenden Kamerabilder sind in Figur 10 zu sehen. Aufgrund der verschiedenen Entfernungen von der Slavekamera 902 wird die Person 982 im Kamerabild 1022 zu groß (Gesicht abgeschnitten), die Person 984 im Kamerabild 1024 zu klein erfasst. Die Person 983 befindet sich für den eingestellten Zoom zufällig in etwa in passender Entfernung (Kamerabild 1023).
  • Durch die Kenntnis der externen Kalibrierung und des Sehstrahls 903 kann die Entfernung der Slavekamera zum Sehstrahl 903 für jede Ausrichtung jedoch leicht berechnet und der Zoom entsprechend angepasst werden. Dadurch ergeben sich die Kamerabilder 1122, 1123 und 1124 der Slavekamera 902 in Figur 11. Über den ganzen Bereich des Sehstrahls 903 ist jetzt eine passende Auflösung gegeben. Mit der Entfernungsinformation kann auch der Fokus beim Verfahren der Kamera mitgeregelt werden, s.d. sich jederzeit ein scharfes Bild ergibt. Dies hat gegenüber einem normalen Autofokus den Vorteil, dass letzterer zum einen langsam ist, zum anderen bei bewegter Kamera und/oder bewegten Objekten nicht zuverlässig funktionieren muss. Für diese Ausgestaltung besonders vorteilhaft ist z.B. die Möglichkeit von Snapshots des gesuchten Objekts. In der Masterkamera 901 werde als Beispiel eine verdächtige Person in niedriger Auflösung detektiert. Durch die beschriebene Ausgestaltung kann mit Hilfe der Slavekamera 902 sehr effizient ein hochaufgelöster Snapshot des Gesichts der Person gemacht werden. Die Auslösung des Snapshots kann durch einen Benutzer erfolgen, durch einen automatischen Detektor (hier ein Gesichtsdetektor) oder halbautomatisch.
  • Im Falle eines großen Zoom, d.h. einer großen Entfernungssensibilität des Focus, kann die autoamtische Scharfstellung des Focus auf den Sehstrahl auch die Detektion des Objekts in der Slavekamera unterstützen. Oft ist die Anordung so, daß der Sehstrahl, bevor er auf das ausgewählte Objekt trifft, weit entfernt von anderen Objekten (durch die Luft) verläuft. Die Objekte, die in der Projektion in das Kamerabild der Slavekamera entlang des Sehstrahls abgebildet werden haben dann die 'falsche' Entfernung von der Slavekamera und werden nicht scharf abgebildet. Von der Masterkamera ausgehend das erste scharf abgebildete Objekt ist in diesem Fall das gesuchte Objekt.
  • Allgemein kann auch in anderen Ausgestaltungen für jede Position auf dem Sehstrahl 303, 603 oder 903 die Entfernung von der Slavekamera 302, 602 oder 902 leicht durch Triangulation berechnet werden. Ist das Objekt von der Slavekamera auf dem Sehstrahl erfasst worden, kann genauso auch leicht durch Triangulation die Entfernung des Objekts von der Masterkamera 301, 601 oder 901 bestimmt werden. Diese Information ist generell zur automatischen Einstellung von Zoom und Fokus und für weitere Aufgaben nutzbar.
  • In allen Ausgestaltungen kann die Detektion bzw. Verfolgung eines bewegten Objekts im Kamerabild der Masterkamera 301, 601 oder 901 auch kontinuierlich erfolgen. Der Sehstrahl 303, 603 oder 903 und die Steuerung der Slavekamera 302, 602 oder 902 werden dann automatisch kontinuierlich angepasst. In diesem Fall kann man die Suche sowohl für einen Benutzer als auch für automatische oder halbautomatische Detektoren weiter vereinfachen, da nicht mehr der ganze Sehstrahl abgesucht werden muss, sondern über die vorhergehende Position und Geschwindigkeit des Objekts die Suche stark einschränkbar ist.
  • Besonders vorteilhaft ist, wenn beim Verfahren der zweiten Kamera 02 entlang des Sehstrahls 03 der Focus automatisch so eingestellt wird, dass Objekte auf dem Sehstrahl scharf abgebildet werden.
    Außerdem ist von Vorteil, wenn beim Verfahren der zweiten Kamera 02 entlang des Sehstrahls 03 das gesuchte Objekt dadurch automatisch detektiert wird, wobei es ausgehend von der ersten Kamera 01 bei automatisch auf den Sehstrahl 03 scharf eingestelltem Zoom das erste scharf abgebildete bzw. das am schärfsten abgebildete Objekt ist.
  • Im Weiteren ist von Vorteil, wenn der Ein-Freiheitsgrad-Regler als Schieberegler oder Joystick oder in Form von Tasten realisiert wird, wobei eine Auslenkung des Joysticks die jeweilige Kamera auf dem Sehstrahl verfährt und das im normalen Betrieb zur Steuerung der zweiten Kamera 02 verwendete Eingabemedium für die Objekterfassungsaufgabe in der Weise umgestellt werden kann, dass es die Funktion zur Objekterfassung erfüllt.
  • In einer weiteren vorteilhaften Ausgestaltung der Erfindung ist die Masterkamera, wie in Figur 3 dargestellt, mit einer fokusierten Lichtquelle350 ausgestattet, z.B. einem Laser. Die Lichtquelle ist in ihrer Orientierung einstellbar, das Spektrum muss nicht im sichtbaren Bereich liegen. Die fokusierte Lichtquelle 350 wird möglichst dicht an der Masterkamera 301 montiert und kann so für einen ausgewählten Punkt 406 (Figur 4) entlang des zugehörigen Sehstrahls 303 orientiert werden. Der Strahl trifft dann auf das ausgewählte Objekt und beleuchtet dieses. Falls die Slavekamera 302 sensitiv für die verwendete Strahlung ist kann dies zur Detektion des Objekts durch die Slavekamera 302 dienen. Dies gilt insbesondere, falls die Strahlung über ihr Spektrum, ihre Intensität, über einen gepulsten Betrieb, über Kombinationen dieser oder andere Merkmale zu einem eindeutig detektierbaren Signal im Kamerabild der Slavekamera führt. Dadurch kann für einen Detektor die Erfassung des Objekts im Kamerabild der Slavekamera erleichtert werden, insbesondere falls entlang des eingeblendeten Sehstrahls 504 mehrere gleichartige Objekte sichtbar sind. Im Normalfall liegt nur eines dieser Objekte tatsächlich auf dem Welt-Sehstrahl 303 und wird daher durch die Lichtquelle markiert. Andere Objekte liegen nur in der Projektion des Kamerabilds auf dem Sehstrahl, wie etwa die Objekte 712-714 in Figur 7. Sie werden daher auch nicht von der Lichtquelle markiert. Dieses Vorgehen ist generell, d.h. auch bei den in den Figuren 6 und 9 beschriebenen Ausgestaltungen, anwendbar. Eine Besonderheit ergibt sich, falls die Lichtquelle mit einer Entfernungsmessung ausgestattet ist (Laserscanner). In diesem Fall ist die Objektentfernung direkt bekannt und die Slavekamera kann direkt auf das Objekt ausgerichtet werden. Besonders vorteilhaft ist es, wenn die fokussierte Lichtquelle mit einer Entfernungsmessvorrichtung gekoppelt ist, insbesondere in der Funktion eines Laserscanners, und die hierdurch gewonnene Entfernungsinformation verwendet wird, um die zweite Kamera 02 direkt auf ein Objekt auf dem Sehstrahl 03 in dieser Entfernung zu richten.
  • Eine weitere Ausgestaltung ist in Figur 12 dargestellt. Die Figur zeigt genauso wie Figur 4 ein Kamerabild der Masterkamera 301 aus Figur 3. Der eingeblendete Sehstrahl 1208 ist der zum Kameravektor der Slavekamera gehörige Sehstrahl 307 aus Figur 3 (bzw. die durch den Kameravektor definierte Gerade im allgemeinen Fall). Dies ermöglicht es einem Benutzer sofort die aktuelle Neigung (Tilt) der Slavekamera zu erkennen. Zur Handhabung von Multikamera-Systemen werden dem Benutzer oft Lagepläne des Areals auf einem Monitor angeboten, in denen die Kameras dargestellt sind. Da es sich bei den Lageplänen um Draufsichten handelt, ist es auch leicht durch eine entsprechende Symbolik den aktuellen Schwenk (Pan) einer Pan-Tilt-Zoom-Kamera anzuzeigen. Dies erleichtert dem Benutzer die Orientierung bei der Steuerung der Kamera. Schwieriger ist es auch die Neigung (Tilt) der Kamera in einer Weise darzustellen, die dem Benutzer die Orientierung in der Szene erleichtert. Durch die Einblendung des Kameravektors der Slavekamera bzw. des dazugehörigen Sehstrahls in das Kamerabild der Masterkamera ist dies leicht möglich. In Figur 12 ist z.B. deutlich zu sehen, dass die Slavekamera zu tief schaut, da der Kameravektor-Sehstrahl unterhalb des gesuchten Objekts 1206 verläuft. Bei bekannter Geländeform kann sogar der Auftreffpunkt des Sehstrahls 307, d.h. die von der Slavekamera 302 erfasste Position, im Kamerabild der Masterkamera markiert werden.
    • Bezugszeichenliste
  • Die erste oder die ersten beiden Ziffern der Bezugszeichen bezeichnen die Figuren-Nummer. Die letzten beiden Ziffern bedeuten in allen Figuren:
    • 01
    erste Kamera (Masterkamera)
    02
    zweite Kamera (Slavekamera)
    03
    ein Sehstrahl der Masterkamera in der Welt
    04
    ein Sehstrahl der Masterkamera, abgebildet in einem Kamerabild
    05
    Weltpunkt
    06
    Bildpunkt
    07
    Kameravektor (bzw. dessen Sehstrahl) der Slavekamera in der Welt
    08
    Kameravektor (bzw. dessen Sehstrahl) der Slavekamera abgebildet in einem Kamerabild
    09
    Pfeileinblendung im Kamerabild
    11-16
    Objekte in der Welt bzw. deren Abbildung in einem Kamerabild
    22-24,33
    Gesichtsfelder der Slavekamera oder dazugehörige Kamerabilder
    43
    40-42 Steuereinheiten Eingabevorrichtung
    43
    Eingabeeinheiten
    44,45
    Monitor
    50
    gerichtete Lichtquelle
    60
    optisches Zentrum der Kamera
    61
    Kameravektor
    62
    Bildebene der Kamera
    70,71
    Begrenzungslinien des Überwachungsbereichs
    82-84
    Personen vor der Kamera

Claims (19)

  1. Verfahren zur Erfassung eines Objekts in einer Szene, insbesondere zu deren Überwachung, mit mindestens einer ersten Kamera (01) und mindestens einer zweiten orientierbaren Kamera (02), wobei im Kamerabild der ersten Kamera (01) ein Bildpunkt (06) und damit ein zugehöriger Weltpunkt (05) in der durch die erste Kamera (01) beobachteten Szene ausgewählt wird,
    dadurch gekennzeichnet, dass
    ein Sehstrahl (03) durch den ausgewählten Bildpunkt (06) bestimmt wird und die zweite Kamera (02) auf den Weltpunkt (05) ausgerichtet wird, indem eine Orientierung der zweiten Kamera (02) am Sehstrahl (03) erfolgt.
  2. Verfahren nach Anspruch 1,
    dadurch gekennzeichnet, dass
    der Sehstrahl (03) in das Kamerabild der zweiten Kamera (02) in geeigneter Weise eingeblendet wird, z.B. als durchgängige Linie, oder gestrichelte Linie und/oder halbtransparent oder farbig dargestellt wird.
  3. Verfahren nach Anspruch 1 oder 2,
    dadurch gekennzeichnet, dass
    der Sehstrahl (03) von der Steuereinheit (41) der zweiten Kamera (02) auf Basis der von der Steuereinheit (40) der ersten Kamera (01) gelieferten Daten umgerechnet wird und die zweite Kamera (02) auf Basis dieser Daten von der Steuereinheit (41) der zweiten Kamera (02) auf den Weltpunkt (05) ausgerichtet wird oder der Sehstrahl (03) von der zentralen Steuereinheit (42) errechnet und eingeblendet wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3,
    dadurch gekennzeichnet, dass
    der Sehstrahl (S) als die Gerade definiert wird, welche durch den ausgewählten Bildpunkt (06) und das optische Zentrum (60) der ersten Kamera (01) definiert wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4,
    dadurch gekennzeichnet, dass
    die erste Kamera (01) als Masterkamera und die zweite Kamera (02) als Slavekamera verwaltet wird, wobei die erste Kamera (01) eine stationäre Kamera ist oder eine Pan-Kamera und/oder Tilt-Kamera und/oder Zoom-Kamera ist und/oder die erste Kamera (01) mit einem Fischaugenobjektiv, einem Weitwinkelobjektiv, einem Zoomobjektiv, oder Spiegeln ausgestattet ist oder als katadioptrische Kamera ausgebildet wird und/oder die zweite Kamera (02) eine Pan-Kamera und/oder Tilt-Kamera und/oder Zoom-Kamera ist und/oder die zweite Kamera (02) mit einer Bewegungseinheit ausgestattet wird, welche es ermöglicht die Orientierung des Gesichtsfelds der zweiten Kamera (02) einzustellen, so dass von der zweite Kamera (02) ein Bereich der zu überwachenden Szene überstrichen werden kann.
  6. Verfahren nach einem der Ansprüche 1 bis 5,
    dadurch gekennzeichnet, dass
    über die Einstelldaten der ersten Kamera (01) und dem Bildpunkt (06) und die Einstelldaten der zweiten Kamera (02) die Entfernung des Weltpunktes (05) von der ersten Kamera (01) und/oder der zweiten Kamera (02) errechnet wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6,
    dadurch gekennzeichnet, dass
    der Bildpunkt (06) über einen Detektor ausgewählt wird, der ein Benutzer, ein automatischer Detektor oder ein halbautomatischer Detektor sein kann und bei einem automatischen Detektor die Darstellung auf einem Monitor entfallen kann und/oder der Objektdetektor als Motion-Detektion-Einheit, Farbmerkmale-Erkennungseinheit, Personen-, KFZ-, oder Gesichtserkennungseinheit realisiert wird und/oder der Objektdetektor in der Steuereinheit (40) der ersten Kamera (01), in der zentralen Steuereinheit (42) oder verteilt in beiden Steuereinheiten realisiert wird.
  8. Verfahren nach einem der Ansprüche 1 bis 7,
    dadurch gekennzeichnet, dass
    der Zoom und die Orientierung und bei Bedarf auch der Focus der zweiten Kamera (02) derartig ausgewählt wird, dass nach der Markierung des Bildpunktes (06) im Kamerabild der ersten Kamera (01) der dazugehörige Sehstrahl (03) im Kamerabild der zweiten Kamera (02) in etwa mittig und möglichst scharf erfasst wird und der vorgegebene Überwachungsbereich entlang des Sehstrahls über seine ganzen Länge erfasst wird und/oder ein Warnsignal generiert wird, wenn der zum ausgewählten Bildpunkt (06) gehörige Sehstrahl (03) von der zweiten Kamera (02) nicht über den ganzen vorgegebenen Überwachungsbereich erfasst werden kann.
  9. Verfahren nach einem der Ansprüche 1 bis 8,
    dadurch gekennzeichnet, dass
    in das Kamerabild der von der ersten Kamera (01) erfassten Szene der zum Kameravektor der zweiten Kamera (02) gehörende Sehstrahl (07) eingeblendet wird, um die Orientierung der zweiten Kamera (02) anzuzeigen und/oder die Steuerung der zweiten Kamera (02) zu unterstützen und/oder der Auftreffpunkt des zum Kameravektors der zweiten Kamera (02) gehörenden Sehstrahls (07) im Kamerabild der ersten Kamera (01) markiert wird, falls die Geländeform der überwachten Szene bekannt ist.
  10. Verfahren nach einem der Ansprüche 1 bis 9,
    dadurch gekennzeichnet, dass
    in das Kamerbild der zweiten Kamera (02) ein Richtungshinweis, insbesondere in Form eines Pfeils, eingeblendet wird in welcher Richtung die zweite Kamera (02) verfahren werden muss, damit der Sehstrahl (03) erfasst wird.
  11. Verfahren nach einem der Ansprüche 1 bis 10,
    dadurch gekennzeichnet, dass
    falls sich der Sehstrahl (03) bereits im Kamerabild der zweiten Kamera (02) befindet, der Sehstrahl (03) in dieses Kamerabild eingeblendet wird, insbesondere in Form zweier Pfeile entgegengesetzter Richtung oder einer Linie, und so angezeigt wird, in welcher Richtung die zweite Kamera (02) entlang des Sehstrahls (03) zu bewegen ist.
  12. Verfahren nach einem der Ansprüche 1 bis 11,
    dadurch gekennzeichnet, dass
    ein Ein-Freiheitsgrad-Regler angeboten wird der die Orientierung der zweiten Kamera (02) entlang des Sehstrahls (03) steuert.
  13. Verfahren einem der Ansprüche 1 bis 12,
    dadurch gekennzeichnet, dass
    eine Objektgröße vorgegeben wird und der Zoom der zweiten Kamera (02) beim Verfahren entlang des Sehstrahls (03) automatisch so eingestellt wird, dass Objekte dieser Größe auf dem Sehstrahl in passender Größe im Kamerabild der zweiten Kamera (02) erfasst werden und/oder beim Verfahren der zweiten Kamera (02) entlang des Sehstrahls (03) der Focus automatisch so eingestellt wird, dass Objekte auf dem Sehstrahl scharf abgebildet werden.
  14. Verfahren nach einem der Ansprüche 1 bis 13,
    dadurch gekennzeichnet, dass
    beim Verfahren der zweiten Kamera (02) entlang des Sehstrahls (03) das gesuchte Objekt dadurch automatisch detektiert wird, wobei es ausgehend von der ersten Kamera (01) bei automatisch auf den Sehstrahl (03) scharf eingestelltem Zoom das erste scharf abgebildete bzw. das am schärfsten abgebildete Objekt ist und/oder der Ein-Freiheitsgrad-Regler als Schieberegler oder Joystick oder in Form von Tasten realisiert wird, wobei eine Auslenkung des Joysticks die jeweilige Kamera auf dem Sehstrahl verfährt.
  15. Verfahren nach einem der Ansprüche 1 bis 14,
    dadurch gekennzeichnet, dass
    das im normalen Betrieb zur Steuerung der zweiten Kamera (02) verwendete Eingabemedium für die Objekterfassungsaufgabe in der Weise umgestellt werden kann, dass es die Funktion zur Objekterfassung erfüllt und/oder ein Objekt in der zweiten Kamera (02) dadurch detektiert wird, dass an der ersten Kamera (01) eine fokussierte Lichtquelle mit einstellbarer Orientierung angebracht wird, die entlang des zum Bildpunkt (06) gehörenden Sehstrahls (03) ausgerichtet wird und durch die das Objekt beleuchtet und somit markiert wird und/oder eine eindeutige Detektion durch die Wellenlänge des Lichts der Lichtquelle und/oder einem gepulsten Betrieb der Lichtquelle erleichtert wird und/oder die fokussierte Lichtquelle mit einer Entfernungsmessvorrichtung gekoppelt ist, insbesondere in der Funktion eines Laserscanners, die hierdurch gewonnene Entfernungsinformation verwendet wird, um die zweite Kamera (02) direkt auf ein Objekt auf dem Sehstrahl (03) in dieser Entfernung zu richten.
  16. Vorrichtung zur Erfassung eines Objekts in einer Szene bestehend aus mindestens einer ersten Kamera (01) und mindestens einer zweiten orientierbaren Kamera (02), wobei der ersten Kamera (01) eine erste Steuereinheit (40) und der zweiten orientierbaren Kamera (02) eine zweite Steuereinheit (41) zugeordnet ist und über eine zentrale Steuereinheit (42) mit zugehörigen Eingabeeinheiten (43) im Kamerabild der ersten Kamera (01) ein Bildpunkt (06) und damit ein zugehöriger Weltpunkt (05) in der durch die erste Kamera (01) erfassten Szene auswählbar ist,
    dadurch gekennzeichnet, dass
    die zentrale Steuereinheit (42) einen Sehstrahl (03) beginnen von der ersten Kamera (01) zum Weltpunkt (05) berechnet und anhand dieses Sehstrahls (03) die zweite Steuereinheit (41) die zweite Kamera (02) ausgerichtet und auf den Weltpunkt (05) ausrichtet, indem sich zweite Steuereinheit (41) die zweite Kamera (02) am Sehstrahl (03) orientiert.
  17. Vorrichtung nach Anspruch 16,
    dadurch gekennzeichnet, dass
    die zweite Steuereinheit (41) der zweiten Kamera (02) den Sehstrahl (03) in die von der zweiten Kamera (02) erfassten Szene einblendet und den Sehstrahl (03) als durchgängige Linie, oder gestrichelte Linie und/oder semi-transparent oder farbig dargestellt, und der Sehstrahl (03) von der zweiten Steuereinheit (41) der zweiten Kamera (02) auf Basis der von einer ersten Steuereinheit (40) der ersten Kamera (01) gelieferten Daten errechnet.
  18. Vorrichtung nach Anspruch 16 oder 17,
    dadurch gekennzeichnet, dass
    die erste Kamera (01) eine stationäre Kamera und/oder orientierbare Kamera und/oder die erste Kamera (01) eine Masterkamera und die zweite Kamera (02) eine der Masterkamer zugehörige Slavekamera ist und/oder die erste Kamera (01) eine Pan-Kamera und/oder eine Tilt-Kamera und/oder eine Zoom-Kamera ist und/oder die erste Kamera (01) mit einem Fischaugenobjektiv, einem Weitwinkelobjektiv, einem Zoomobjektiv, oder Spiegeln ausgestattet oder als katadioptrische Kamera ausgebildet ist und/oder die zweite Kamera (02) eine Pan-Kamera und/oder Tilt-Kamera und/oder Zoom-Kamera ist und/oder die zweite Kamera (02) eine Bewegungseinheit aufweist, welche es ermöglicht die Orientierung des Gesichtsfelds der zweiten Kamera (02) einzustellen, so dass die zweite Kamera (02) einen Bereich der zu überwachenden Szene überstreichen kann und/oder die zentrale Steuereinheit (42) anhand der Einstelldaten der ersten Kamera (01) und der zweiten Kamera (02) die Entfernung des Weltpunktes (05) von der ersten Kamera (01) und/oder der zweiten Kamera (02) errechnet.
  19. Vorrichtung nach einem der Ansprüche 16 bis 18,
    dadurch gekennzeichnet, dass
    die zentrale Steuereinheit (42) die von der ersten Kamera (01) aufgenommene Szene auf einer der ersten Kamera (01) zugeordneten Anzeigevorrichtung (44) dargestellt, der Weltpunkt (05) von eine Detektor gewählt wird und/oder die zentrale Steuereinheit (42) den Sehstrahl (03) auf einer der zweiten Kamera (02) zugeordneten Anzeigevorrichtung (45) in die von der zweiten Kamera (02) erfassten Szene einblendet und/oder die Auswahl des Bildpunktes (06) automatisch über einen Objektdetektor erfolgt und/oder der Objektdetektor eine Motion-Detektion-Einheit, eine Farbmerkmale-Erkennungseinheit oder eine Gesichtserkennungseinheit ist und/oder der Objektdetektor in der ersten Steuereinheit (40) der ersten Kamera (01) realisiert ist.
EP03029530A 2002-12-22 2003-12-20 Steuerung eines Multikamera-Systems Expired - Lifetime EP1434184B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10261146A DE10261146A1 (de) 2002-12-22 2002-12-22 Steuerung eines Multikamera-Systems
DE10261146 2002-12-22

Publications (3)

Publication Number Publication Date
EP1434184A2 EP1434184A2 (de) 2004-06-30
EP1434184A3 EP1434184A3 (de) 2004-11-17
EP1434184B1 true EP1434184B1 (de) 2008-03-05

Family

ID=32404310

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03029530A Expired - Lifetime EP1434184B1 (de) 2002-12-22 2003-12-20 Steuerung eines Multikamera-Systems

Country Status (4)

Country Link
EP (1) EP1434184B1 (de)
AT (1) ATE388457T1 (de)
DE (2) DE10261146A1 (de)
ES (1) ES2301752T3 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004034663A1 (de) * 2004-07-17 2006-02-09 Siemens Ag Folgekamerasteuerung
DE102016119241B4 (de) 2016-10-10 2018-08-09 Markus Blömer Operationsbestimmungsvorrichtung zum Bestimmen einer von einem Gerät durchzuführenden Operation
CN112509257A (zh) * 2020-12-29 2021-03-16 鼎力联合（深圳）高新技术有限公司 一种光束扫描防御系统及其使用方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994017636A1 (en) * 1993-01-29 1994-08-04 Bell Communications Research, Inc. Automatic tracking camera control system
DE19639728C2 (de) * 1996-09-26 1998-12-24 Siemens Ag Video-Überwachungseinrichtung
US6853809B2 (en) * 2001-01-30 2005-02-08 Koninklijke Philips Electronics N.V. Camera system for providing instant switching between wide angle and full resolution views of a subject

Also Published As

Publication number Publication date
EP1434184A2 (de) 2004-06-30
ES2301752T3 (es) 2008-07-01
ATE388457T1 (de) 2008-03-15
DE10261146A1 (de) 2004-07-01
DE50309311D1 (de) 2008-04-17
EP1434184A3 (de) 2004-11-17

Similar Documents

Publication Publication Date Title
DE10235888B4 (de) Automatisch kollimierende Vermessungsvorrichtung mit Bildaufnahmevorrichtung
DE112005000929B4 (de) Automatisches Abbildungsverfahren und Vorrichtung
DE69607631T2 (de) Methode und verfahren zum automatischen und elektronischen einfügen von reklameschildern in einem videobild
EP2464098B1 (de) Umfeld-Darstellungsvorrichtung sowie ein Fahrzeug mit einer derartigen Umfeld-Darstellungsvorrichtung und Verfahren zur Darstellung eines Panoramabildes
DE60020420T2 (de) Situationsdarstellungs-Anzeigesystem
EP0735757B1 (de) Verfahren und Vorrichtung zur automatischen Bildaufnahme des Gesichtes einer Person
EP2880853B1 (de) Vorrichtung und verfahren zur bestimmung der eigenlage einer bildaufnehmenden kamera
EP1158271B1 (de) Verfahren und Vorrichtung zur Realisierung eines Informations- und Datenflusses für geodätische Geräte
DE60123534T2 (de) Gerät zum Verfolgen eines sich bewegenden Objekts
EP1583022A2 (de) Verfahren und Anordnung zur Aufnahme interessierender Bereiche von beweglichen Objekten
DE102008039130A1 (de) Durch ein neurales Netzwerk gesteuertes automatisches Verfolgungs- und Erkennungssystem und Verfahren
WO2007104367A1 (de) Video-überwachungssystem
DE102006033147A1 (de) Überwachungskamera, Verfahren zur Kalibrierung der Überwachungskamera sowie Verwendung der Überwachungskamera
EP3104330B1 (de) Verfahren zum nachverfolgen zumindest eines objektes und verfahren zum ersetzen zumindest eines objektes durch ein virtuelles objekt in einem von einer kamera aufgenommenen bewegtbildsignal
EP3534210A2 (de) Fokuseinstellungs-anzeigeeinheit
DE102016106696A1 (de) Koordinatenmesssystem
DE102005055879A1 (de) Flugverkehr-Leiteinrichtung
DE10226398B4 (de) Verfahren und Vorrichtung zum Erfassen der Lage eines Objekts im Raum
EP2831839B1 (de) Verfahren zum automatischen betreiben einer überwachungsanlage
EP1434184B1 (de) Steuerung eines Multikamera-Systems
DE69721520T2 (de) System mit einem Photosensor, insbesonder zur Zeitmessung bei Wettkämpfen, und Einstellverfahren zum Ausrichten eines solchen Systems auf eine Ziellinie
EP1912431A2 (de) Verfahren und Vorrichtung zur Steuerung einer schwenkbaren Kamera
EP3833576B1 (de) Kameraüberwachungssystem
DE19956266A1 (de) Überwachungsanlage
EP3185213B1 (de) Verfahren zur erstellung einer tiefenkarte mittels einer kamera

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

17P Request for examination filed

Effective date: 20041124

AKX Designation fees paid

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20060703

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 50309311

Country of ref document: DE

Date of ref document: 20080417

Kind code of ref document: P

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2301752

Country of ref document: ES

Kind code of ref document: T3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080805

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080605

ET Fr: translation filed
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

26N No opposition filed

Effective date: 20081208

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080605

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

BERE Be: lapsed

Owner name: FUNKWERK PLETTAC ELECTRONIC G.M.B.H.

Effective date: 20081231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081231

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081231

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081231

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080906

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080606

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20130117

Year of fee payment: 10

Ref country code: ES

Payment date: 20121226

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20121218

Year of fee payment: 10

REG Reference to a national code

Ref country code: NL

Ref legal event code: V1

Effective date: 20140701

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20140829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131231

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20150327

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131221

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 50309311

Country of ref document: DE

Owner name: FUNKWERK VIDEO SYSTEME GMBH, DE

Free format text: FORMER OWNER: FUNKWERK PLETTAC ELECTRONIC GMBH, 90766 FUERTH, DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20171117

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20171221

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20171229

Year of fee payment: 15

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50309311

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20181220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190702

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181220