EP1434184A2 - Control of a multicamera system - Google Patents

Control of a multicamera system Download PDF

Info

Publication number
EP1434184A2
EP1434184A2 EP03029530A EP03029530A EP1434184A2 EP 1434184 A2 EP1434184 A2 EP 1434184A2 EP 03029530 A EP03029530 A EP 03029530A EP 03029530 A EP03029530 A EP 03029530A EP 1434184 A2 EP1434184 A2 EP 1434184A2
Authority
EP
European Patent Office
Prior art keywords
camera
line
sight
control unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP03029530A
Other languages
German (de)
French (fr)
Other versions
EP1434184A3 (en
EP1434184B1 (en
Inventor
Markus Dr. Michaelis
Volker Dr. Steinbiss
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funkwerk Video Systeme GmbH
Original Assignee
Funkwerk Plettac Electronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funkwerk Plettac Electronic GmbH filed Critical Funkwerk Plettac Electronic GmbH
Publication of EP1434184A2 publication Critical patent/EP1434184A2/en
Publication of EP1434184A3 publication Critical patent/EP1434184A3/en
Application granted granted Critical
Publication of EP1434184B1 publication Critical patent/EP1434184B1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera

Definitions

  • the invention relates to a method for controlling a multi-camera system with the features of claim 1 and an apparatus for implementing the Method with the features of claim 16.
  • Multicamera systems are well known. Especially at Surveillance systems and alarm systems often consist of a combination stationary cameras and pan-tilt zoom cameras. Stationary cameras are cheaper and they allow continuous monitoring of a predefined area. A disadvantage of stationary cameras, however, is that an intruder can not be tracked. An intruder leaves predefined monitoring field, tracking becomes impossible, and the Invader is often lost. Moreover, it is through in such systems The rough resolution of the camera often does not allow for an intruder identify or detect small objects. There will therefore be pan-tilt zoom cameras used to detect one with a stationary camera To track and enlarge the intruder. The same problem arises also in other applications e.g. in camera systems for Traffic observation or sports events in large halls or stadiums. For a user, the manual control of the pan-tilt-zoom camera is to fast and targeted capture of an object in general difficult.
  • EP-A1-0 529 317 and EP-A1-0 714 081 it is known to be movable Objects tracking cameras, moving from one camera to the next to hand over.
  • the invention describes an application within closed rooms, for example within a casino.
  • the nearest available pan-tilt zoom camera selected, which is the Can track the object if it is currently the monitoring area of the Object detecting camera leaves.
  • the applications handle this Interiors where the area to be monitored is one level - the Floor level - is. For the objects becomes a well-known Size - Person and ground contact accepted.
  • the object of the invention is the detection of a picture of a first camera visible object to improve by a second orientable camera.
  • the camera system according to the invention consists of a first camera, too referred to as a master camera, and at least one second camera, as well Slave camera called.
  • the second camera is in Advantageously, a pan-tilt-zoom camera.
  • an object detector is present.
  • an object detector is any kind of a suitable device, method or human user indicating, in a camera image, an object of interest, e.g.
  • This can e.g. be a human user who has the object over suitable input medium, e.g. a mouse, on a monitor picture or one other suitable representation of the camera image detected.
  • suitable input medium e.g. a mouse
  • video motion detectors that detect moving objects.
  • objects based on characteristic To detect features e.g. Color, shape, face recognition. Under a In the following we mean a person who operates the system.
  • An automatic detector is to be understood as meaning detectors which work without human intervention. They are also semi automatic Combinations possible where an automatic detector Makes detection suggestions that are verified by a user have to. Detection should also be understood as localization are, i.
  • a Detection generally refers to a position determination in this sense in FIG a camera picture. In the case of a user, this happens in advantageous Configurations often by a mouse click. However, it can also be one Joystick, a touch-sensitive monitor or other suitable Input medium can be used.
  • the position can be a point that is assigned to the object or also one or more surfaces.
  • the Position often determined by a pixel.
  • This pixel has a finite Expansion and may e.g. in a higher resolution through several pixels be represented. It may also be due to the nature of the detector, such as a motion detector or so-called touch screens one or multiple surfaces are selected as the position of the object. We Therefore, below under a point in the picture or pixel also understand one or more surfaces. A point in the picture shown by the camera Scene can therefore also have an extension.
  • monitor in the following any suitable means for temporally changeable representation of images, text and graphics to be understood.
  • This can e.g. CRT monitors such as PC monitors, surveillance monitors, TV or something similar. It can also have flat screens, LCD screens or other types of displays.
  • a camera image a really visible to a user Monitor image but also an invisible representation of the same image for example as digital data in a computer.
  • a monitor picture is meant and the Insertion or marking of lines, points, etc. happens in the Monitor image in a form perceptible to the user.
  • an automatic detector If one Process part is carried out by an automatic detector is it It is a general, not necessarily visible image. The drawing or fade in here corresponds to a consideration of corresponding positions in the image by the affected automatically executed process part.
  • a master camera is a camera in which an object of a Object detector is detected, this detection for detecting the same Object to be used in other, so-called slave cameras.
  • the Master camera is often stationary, but it can also be used with a pan-tilt unit be equipped.
  • every camera is a master camera suitable, at a given time a unique assignment between a point in the camera image and a so-called visual ray given is.
  • a visual ray belonging to a pixel is the location of all dots in the room, which are imaged by the camera on this pixel. For Real cameras are this for straight-line pixels, for extended pixels corresponding cones as the sum of all lines.
  • an unstretched straight line is given as a ray of sight, from this cone is a suitable line as Representative used, usually the center of the object or object base belonging straight line. This may be the case if a video motion detector detects an area in the camera image or a user does not enter a pixel-perfect position via a touch screen.
  • the Allocation rule between pixels and visual rays, wherein the Visual rays are given in a camera-fixed coordinate system, is called internal calibration of the camera.
  • the position of the camera relative to a world coordinate system or another camera is called called external calibration.
  • the property of the master camera relates only on the current detection task. In another detection The same camera can also perform the function of a slave camera if you Field of view is adjustable.
  • the task of the slave camera is to capture the object detected in the master camera.
  • the slave camera is any camera with adjustable field of view suitable.
  • the adjustment of the field of view for the detection of the object by the slave camera is understood to mean the alignment of the so-called camera sector with the object.
  • the camera vector is a predefined directional vector permanently connected to the camera; it is therefore set together with the field of view of the camera.
  • slave cameras are pan-tilt-zoom cameras (domes or pan-tilt heads).
  • any other mechanism for adjusting the field of view is also suitable. A zoom feature is not necessary for all applications, but often beneficial. It is assumed that the slave camera is externally calibrated, ie its position and orientation relative to the master camera is known.
  • the adjustment mechanism of the field of view is assumed to be calibrated, ie the camera sector can be set to specific directions and the zoom can be selectively influenced.
  • the function of the slave camera is only for this detection process.
  • the same camera can also be a master camera in another acquisition process.
  • a system may consist of two or more cameras, with each camera operating as a master camera and one or more cameras having an adjustable field of view operating as slave cameras for a specific object detection. For the next object detection, these can be other camera pairings or the roles of the last pairing can be reversed.
  • An object can also be detected by several master cameras at the same or different times. In the camera image of the master camera, it is also possible to detect a plurality of objects which are then detected by a plurality of slave cameras or an object is detected, which is then detected by a plurality of slave cameras. The search of the object is restricted in all cases to the visual beam of the object given by the respective master camera. For multiple objects, there is a line of sight through each object.
  • This exemplary description does not represent a limitation or limitation of the invention to the listed examples. It merely serves to illustrate the invention and particularly advantageous embodiments.
  • Figures 3 to 5 allow a quick basic Understanding the invention.
  • Figure 1 shows the block diagram of the system.
  • a first camera 101 as a master camera and a second camera 102 with an adjustable field of view as a slave camera are shown here.
  • the master camera 101 is a stationary camera.
  • the master camera 101 is connected to a control unit 140 which connects the master camera 101 with a central control unit 142 via analog outputs, in particular, for example, for the video signal and digital outputs, in particular, for example, for control signals via networks. If digital cameras or image transmissions are used, the network for image transmission may be completely or partially digital. If the mater camera 101 has an adjustable zoom lens, it will be adjusted from the central control unit 142 via the control unit 140.
  • the current value is either stored in the central control unit 142 or queried via the control unit 140.
  • control unit 141 controls and connects the pan-tilt-zoom camera 102.
  • pan and tilt can also be set and the current values can be interrogated.
  • the central control unit 142 thus has access to the control, the current settings and the camera images of all participating cameras 101 and 102.
  • the camera images can be displayed on the monitors 144 and 145 connected to the central control unit 142. If automatic detectors are used for the master camera 101 and / or the slave camera 102, the corresponding monitors 144 and 145 can also be connected directly to the control units 140 and 141 or directly to the cameras 101 and 102 or they can be omitted altogether.
  • the central control unit 142 is capable of displaying information such as a mouse pointer, marked dots and visual rays in the displayed images.
  • graphic controls such as sliders
  • a user may make the necessary controls via an input device 143, which may be advantageously a mouse and / or keyboard and / or slider and / or control panel and / or joystick, etc.
  • the central control unit 142 also stores the data for the internal and external calibration of the cameras 101 and 102. If available, terrain models are also stored and automatic detectors, such as motion detectors, etc. installed. All information and modules for one of the cameras 101 or 102 may also be located in the local control units 140 or 141. These modules are advantageously modules for calibration and / or automatic detection.
  • the central control unit 142 all inputs and information are collected and processed, ie for an object detected in the master camera 101, the associated visual beam 303 (in FIG. 3) is calculated in world coordinates and, as far as the visual beam is detected by the slave camera 102, in the Camera image of the slave camera 102 superimposed (line of sight 504 in Figure 5). Further overlays, according to the embodiments described below, are made and the slave camera 102, for example, according to the embodiments described below, controlled. If a user operates the system, appropriate inputs are taken into account by the central control unit 142 or controls corresponding to the user are offered.
  • FIG. 2 shows a schematic representation of a camera.
  • cameras are often modeled as so-called projective or even hole cameras. All visual rays pass through one point, the so-called optical center 260 of the camera.
  • optical center 260 Through the optical center 260 and a pixel 206 on the image plane 262 (one pixel on the CCD or CMOS chip in digital cameras), a line of sight 203 is defined, which is the location of all points in space imaged on the pixel 206 by the camera become.
  • Many real cameras can accurately match this model by algorithmically correcting distortions in the image. For other cameras, there are similar models.
  • the orientation of a camera with adjustable field of view (slave camera 102 in Figure 1) is not necessarily on the center of the image.
  • a general camera sector 261 is defined that defines the orientation of the camera. If the camera is modeled as a projective camera, one can advantageously anchor the camera sector 261 in the optical center 260, as shown in the drawing. The camera sector 261 then corresponds to a specific line of sight and the orientation of the camera sector corresponds to the orientation of the associated pixel on the object. For slave cameras with zoom capability, this pixel can be advantageously chosen as the zoom center, ie the pixel which remains stationary in the image as the zoom changes. Any other pixel, such as the center of the image, is also possible.
  • FIG. 3 shows a schematic plan (plan view) of an area to be monitored with a system of two cameras 301 and 302.
  • the camera 301 is the master camera
  • the camera 302 is the slave camera.
  • the two cameras 301 and 302 are eg surveillance cameras and serve for the visual surveillance of the area.
  • In the area are the objects 311 (house), 312 - 315 (trees) and 316 (cars).
  • the master camera 301 detects in its indicated by the boundary lines 321 field of view of this camera associated monitoring area. Surveillance areas often do not cover the whole field of vision. This is indicated by the lines 370 and 371, which represent here by way of example beginning and end of the monitoring area.
  • the objects 314, 315, 316 as well as the object 311.
  • the imaged scene represents the orientation of the camera at the time of object detection.
  • the slave camera 302 has an adjustable field of view, eg as pan-tilt-zoom camera.
  • Line 307 denotes the line of sight associated with the camera camera of the slave camera (or the line defined by the camera vector in the general case). By aligning the slave camera with an object, we understand the orientation of this line on the object.
  • FIG. 4 shows a camera image of the master camera 301 from FIG. 3 as it is, for example, for a user on a monitor. The image shows the objects 311, 314, 315 and 316 of FIG. 3.
  • an input unit eg a mouse, by means of which a user can select a pixel 406 in the displayed scene.
  • This point 406 can be marked by the system on the screen, in Figure 4 this is done by a black dot.
  • the point 406 indicates an object in the scene, in this case a corner of the house, to be detected by the slave camera 302 of FIG. In the area diagram of FIG. 3, this object corresponds to the world point 305 with the associated visual ray 303.
  • the distinction between the world point 305 and the pixel 406 and between the (world) visual ray 303 and its imaging / projection in a camera image (504 in the camera image of FIG Slave camera in Figure 5) is essential.
  • the entire visual beam 303 is formed in the camera image of the master camera on the one pixel 406.
  • the detector marks a pixel in the camera image of the master camera and thus a line of sight.
  • the position of the corresponding world point on the visual ray, ie its distance from the master camera, is still unknown.
  • the location of the world point and the effective control of the slave camera 302 is the subject of the embodiments of the invention described below.
  • the point 406 in FIG. 4 or 305 in FIG. 3 is also shown with adapted reference symbols in FIGS. 5 to 7. If the slave camera 302 can be arranged close to the master camera 301, with proper alignment the visual beams of the master camera 301 and the camera camera of the slave camera run quasi parallel, the object distance is then irrelevant to the orientation of the slave camera.
  • the detection by the slave camera 302 is relatively easy to solve in this case.
  • a special case also arises if the terrain of the monitored area is known, especially if it is a very simple terrain form such as a floor level in interior monitoring. In this case, assuming that the object is on the ground, it is relatively easy to calculate the object distance and direct the slave camera 302 at the object. In more complex terrain, the terrain shape could also be determined by the camera system itself. This is possible, for example, by calculating distance maps by means of known stereo or multicamera methods.
  • a distance map is a map that stores the distance to the point of interest represented for each pixel in the camera image of the master camera. Another option, if the object size is known, is to use this to estimate the object distance and thus align the slave camera 302.
  • the required accuracy is generally determined by the zoom, i. the Hang camera opening angle. If one assumes that the Detection by the slave camera 302 with an accuracy of e.g. 1/10 of the Camera aperture angle, this means for a large zoom of about 2 degrees opening angle an accuracy of the setting of the slave camera 302 of 0.2 degrees. This accuracy is with the methods given above not reachable in most cases.
  • a line of sight 303 in FIG. 3 are defined.
  • entering this point means e.g. one Click.
  • the object distance can be at one certain area are restricted. Often this is due to the size of the detected by the master camera 301 in Figure 3 monitoring area given as an example between the boundary lines 370 and 371 in FIG Figure 3 is located.
  • the slave camera 302 will then automatically do so by the system set (pan, tilt and zoom) as shown in Figure 3. That by the Boundary lines 322 indicated in Figure 3 field of view detects the Line of sight 303 of the pixel 406 within the surveillance area Completely. If a complete acquisition is not possible a as much as possible is recorded and a warning is displayed.
  • the focus can be adjusted automatically if required so that objects along the Sehstrahls appear as sharp as possible.
  • FIG. 5 shows the camera image of the slave camera 302 set in this way, as it appears to a user on a monitor or an automatic detector.
  • the line of sight 303 from FIG. 3 is advantageously superimposed (line 504 in FIG. 5) so that the user can orient themselves, but depending on the application, the picture is not obscured.
  • the line of sight 504 is displayed in color, dashed and / or semitransparent, etc.
  • the user or an automatic detector now only has to search the image along the line of sight 504 in order to find the pixel 506, which is an image of the searched world point 305 from FIG. 3 in the camera image of the slave camera. For a user, this means eg a second mouse click.
  • the line of sight 504 can be an imaginary line.
  • the detection in the camera image of the slave camera determines the position of the object on the line of sight 303, and the slave camera 302 can be automatically aimed at the object and set to high zoom. Restricting the search to this line is of course advantageous to an automatic detector, but for a user, the insertion of the line of sight 504 and the restriction of the search along the line of sight 504 may also be helpful. This is the case, for example, if the object is very low in contrast and the image is of poor quality or if there are a large number of similar objects, for example a person in a crowd of viewers.
  • a great advantage in any case is that the user or detector with two detections (for a user eg two mouse clicks) and two associated movements of the slave camera 302 has detected the object. If the object in the camera image of the master camera was detected as an area, the search area would be correspondingly given by the sum of the visual rays.
  • FIG. 6 shows the same surveillance scene as FIG. 3 with a master camera 601 and a slave camera 602.
  • a slider is offered to the user on the screen or in the input device 143 in FIG.
  • the goal is again to align the slave camera 602 with the world point 605.
  • the associated pixel 406 is detected in the camera image of the master camera (FIG. 4).
  • the slave camera 602 is already set to a large zoom, which is indicated by the boundary lines 322, 323 and 324 of the visual field for three different orientations of the slave camera in the drawing. This has the advantage, for example, that a high resolution is already given during the search and during the detection of the object by the slave camera 602.
  • the system therefore offers the user the option of moving the slave camera along the line of sight 603 by moving the slider.
  • the search is so much easier and faster because only this one degree of freedom to use and search is.
  • the search on the visual ray S is automatically restricted to the range determined by the apriori knowledge.
  • the slider can be provided with distance information on the line of sight 603, for example.
  • the slider can also be replaced by other input media with one degree of freedom or input media whose function is limited to one degree of freedom.
  • the normal pan-tilt control of a camera can be changed via a joystick or keys for object detection so that one of the two deflections or a pair of keys the slave camera moves on the line of sight, while the other deflection or the other pair of buttons is turned off Zoom the slave camera or the deflection of the slave camera perpendicular to the line controls or other tasks.
  • FIG. 7 shows illustrations of camera images taken by the slave camera 602 in Figure 6 with the orientations 622, 623 and 624 along the line of sight 603 are recorded.
  • the camera image 722 shows the object 612 of FIG Camera image 723 shows the objects 613, 614, and 616.
  • This through point 406 selected object is in the camera image 724 in Figure 7 from the Perspective of the slave camera 602 and zoomed in (point 706).
  • the slider is then eliminated, of course.
  • the object in the camera image of the master camera ( Figure 4) as an area detected in this embodiment, one of the visual rays, such as the middle, to be selected.
  • figure 8 shows a camera image 833 of the slave camera 602.
  • the slave camera 602 is here still too high to detect the line of sight 603, s.d. only the Treetops of the objects 613 and 614 are detected.
  • the arrow 809 shows the Direction in which the line of sight is reached on the shortest path.
  • the Information could also be displayed on a control panel, e.g. in which Direction to move a joystick for camera control is or which of Control keys is to use.
  • Is the slave camera according to this Information procedure to reach the camera image 823th The slave camera has detects the visual beam, the camera image 823 is identical to the camera image 723 of FIG. 7.
  • the arrows 804 shown indicate the direction in which the camera has to be moved to drive off the line of sight. Instead of the Arrows can also be the line of sight as a line or in another suitable way to be displayed.
  • FIG. 9 shows a further particularly advantageous embodiment.
  • Clarification is the concrete task given the face of a person in high resolution.
  • FIG. 9 shows a scenario with a Master camera 901, a slave camera 902 and three persons 982, 983 and 984 on a visual beam 903 of the master camera 901 at different Positions are located.
  • Embodiment becomes the zoom during the process of the slave camera 602 not adapted, indicated by the fields of view 922, 923 and 924.
  • the corresponding camera images can be seen in FIG. Due to the At different distances from the slave camera 902, the person 982 becomes Camera picture 1022 too big (face cut off), the person 984 im Camera image 1024 recorded too small.
  • the person 983 is for the adjusted zoom at approximately the appropriate distance (camera image 1023).
  • the master camera 901 will be an example detected suspicious person in low resolution.
  • the described Embodiment can be very efficient with the help of the slave camera 902 High-resolution snapshot of the person's face.
  • the Triggering of the snapshot can be done by a user, by a automatic detector (here a face detector) or semi-automatic.
  • the auto focus can focus on the visual ray as well support the detection of the object in the slave camera. Often that is Arrangement so that the line of sight, before it hits the selected object, far away from other objects (through the air). The objects that are in the Projection into the camera image of the slave camera along the line of sight then the "wrong" distance from the slave camera has to be imaged and are not shown in focus. Starting from the master camera, the first sharply imaged object is in this case the searched object.
  • General can also be used in other embodiments for any position on the Line of sight 303, 603 or 903 the distance from the slave camera 302, 602 or 902 can easily be calculated by triangulation. Is the object of the Slave camera has been detected on the visual ray, as well as easily by triangulation, the distance of the object from the master camera 301, 601 or 901. This information is generally automatic Adjustment of zoom and focus and can be used for further tasks.
  • the detection or tracking of a moving Object in the camera image of the master camera 301, 601 or 901 also continuously respectively.
  • the sight beam 303, 603 or 903 and the slave camera control 302, 602 or 902 are then automatically adjusted continuously.
  • the focus is automatically adjusted such that objects are sharply imaged on the line of sight.
  • the searched object is thereby automatically detected, whereby starting from the first camera 01 with automatically focused on the line of sight 03 zoom the first sharply imaged or the sharpest pictured object is.
  • the one-degree of freedom controller than Slider or joystick or in the form of keys is realized, with a Deflection of the joystick moves the respective camera on the line of sight and used in normal operation to control the second camera 02 Input medium for the object acquisition task changed in the way that it fulfills the object detection function.
  • the Master camera as shown in Figure 3, with a focused light source 350 equipped, e.g. a laser.
  • the light source is in its orientation adjustable, the spectrum does not have to be in the visible range.
  • the Focused light source 350 is as close as possible to the master camera 301 and can thus be selected for a selected point 406 (FIG. 4) along the associated Sehstrahls 303 are oriented. The beam then hits the selected object and illuminate this. If the slave camera 302 sensitive for the radiation used this can be used to detect the object through the Slave camera 302 serve. This is especially true if the radiation is above it Spectrum, its intensity, via a pulsed operation, over combinations this or other features to a clearly detectable signal in Camera image of the slave camera leads.
  • FIG. 4 Another embodiment is shown in FIG.
  • the figure shows the same way like Figure 4 is a camera image of the master camera 301 of Figure 3.
  • the Visual beam 1208 is the camera camera of the slave camera associated Sehstrahl 307 of Figure 3 (or through the camera sector defined straight line in the general case). This allows a user Immediately detect the current tilt of the slave camera.
  • to Handling multi-camera systems will often give the user site maps of the area offered on a monitor in which the cameras are shown are. Since the site plans are top views, it is also easy by a corresponding symbolism the current pan of a pan-tilt-zoom camera display. This facilitates orientation for the user in the control of the camera.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Cameras In General (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

The method involves using at least one first camera (101) and at least one second orientatable camera (102), whereby an image point is selected in the first camera's image and hence an associated real point in the scene observed by the camera is selected. A viewing beam is defined by a selected image point and the second camera is directed to the real point by orienting the second camera with the viewing beam. AN Independent claim is also included for the following: (a) an arrangement for detecting an object in a scene.

Description

Die Erfindung betrifft ein Verfahren zur Steuerung eines Multikamera-Systems mit den Merkmalen des Anspruches 1 und eine Vorrichtung zur Umsetzung des Verfahrens mit den Merkmalen des Anspruches 16.The invention relates to a method for controlling a multi-camera system with the features of claim 1 and an apparatus for implementing the Method with the features of claim 16.

Multikamera-Systeme sind hinlänglich bekannt. Insbesondere bei Überwachungssystemen und Alarmsystemen besteht oft eine Kombination aus stationären Kameras und Pan-Tilt-Zoom-Kameras. Stationäre Kameras sind kostengünstiger und sie ermöglichen eine kontinuierliche Überwachung eines vordefinierten Bereichs. Nachteilig bei stationären Kameras ist es jedoch, dass ein Eindringling nicht verfolgt werden kann. Verlässt ein Eindringling das vordefinierte Überwachungsfeld, wird eine Verfolgung unmöglich, und der Eindringling wird häufig verloren. Außerdem ist es bei solchen Systemen durch die grobe Auflösung der Kamera oftmals nicht möglich einen Eindringling zu identifizieren oder kleine Objekte zu erkennen. Es werden daher Pan-Tilt-Zoom-Kameras verwendet, um einen mit einer stationären Kamera detektierten Eindringling zu verfolgen und zu vergrößern. Dieselbe Problematik ergibt sich auch bei anderen Anwendungen z.B. bei Kamerasystemen zur Verkehrsbeobachtung oder bei Sportereignissen in großen Hallen oder Stadien. Für einen Benutzer ist die manuelle Steuerung der Pan-Tilt-Zoom Kamera zur schnellen und gezielten Erfassung eines Objekts im allgemeinen schwierig.Multicamera systems are well known. Especially at Surveillance systems and alarm systems often consist of a combination stationary cameras and pan-tilt zoom cameras. Stationary cameras are cheaper and they allow continuous monitoring of a predefined area. A disadvantage of stationary cameras, however, is that an intruder can not be tracked. An intruder leaves predefined monitoring field, tracking becomes impossible, and the Invader is often lost. Moreover, it is through in such systems The rough resolution of the camera often does not allow for an intruder identify or detect small objects. There will therefore be pan-tilt zoom cameras used to detect one with a stationary camera To track and enlarge the intruder. The same problem arises also in other applications e.g. in camera systems for Traffic observation or sports events in large halls or stadiums. For a user, the manual control of the pan-tilt-zoom camera is to fast and targeted capture of an object in general difficult.

Aus EP-A1-0 529 317 und EP-A1-0 714 081 ist es bekannt, bewegliche Objekte, bei deren Verfolgung mit Kameras, von einer Kamera auf die nächste zu übergeben. Die Erfindung beschreibt eine Anwendung innerhalb geschlossener Räume, beispielsweise innerhalb eines Kasinos. Hierbei wird die nächstliegende verfügbare Pan-Tilt-Zoom-Kamera ausgewählt, welche das Objekt verfolgen kann, wenn es den Überwachungsbereich der aktuell das Objekt erfassenden Kamera verlässt. Die Anwendungen behandeln dabei Innenräume bei denen der zu überwachende Bereich eine Ebene - die Fußbodenebene - ist. Für die Objekte wird eine bekannte Größe - Personen - und Bodenberührung angenommen. From EP-A1-0 529 317 and EP-A1-0 714 081 it is known to be movable Objects tracking cameras, moving from one camera to the next to hand over. The invention describes an application within closed rooms, for example within a casino. Here is the nearest available pan-tilt zoom camera selected, which is the Can track the object if it is currently the monitoring area of the Object detecting camera leaves. The applications handle this Interiors where the area to be monitored is one level - the Floor level - is. For the objects becomes a well-known Size - Person and ground contact accepted.

Aus US-A-6 359 647 ist eine weitere Erfindung offenbart, welche es ermöglicht eine Übergabe von Objekten zwischen Kameras und deren überwachten Bereichen zu ermöglichen. Die hierbei eingesetzten Kameras können sowohl Pan-Tilt-Zoom-Kameras, als auch stationäre Kameras sein. Das Ziel der Erfindung ist es ein Objekt über mehrere Kameras hinweg kontinuierlich zu verfolgen, eine gezoomte Objektverfolgung und die damit verbundenen Probleme werden nicht angesprochen. Es wird angenommen, dass sich die Objekte auf einer Ebene - Fußbodenebene - bewegen, eine bekannte Größe haben oder die Distanz über die Fokuseinstellung des Kameraobjektivs ermittelt wird.From US-A-6 359 647 a further invention is disclosed which makes it possible a transfer of objects between cameras and their monitored To enable areas. The cameras used here can both Pan-tilt zoom cameras, as well as stationary cameras. The goal of Invention is an object across multiple cameras continuously to track, a zoomed object tracking and the associated Problems are not addressed. It is believed that the Objects on one level - floor level - move, a known size or the distance is determined by the focus setting of the camera lens becomes.

Aus US-A-6 215 519 ist bekannt, zur Verfolgung von beweglichen Objekten, die in einer stationären Kamera mit großem Gesichtsfeld detektiert wurden, eine zweite Kamera mit höherer Auflösung zu verwenden. Die stationäre Kamera wird als omnidirektionale Kamera mit sehr geringer Auflösung angenommen, so dass die höhere Auflösung der zweiten Kamera nur eine normale Auflösung ist und dementsprechend keine hohe Genauigkeit erfordert. Zur Lokalisierung des Objekts mit der zweiten Kamera wird vorgeschlagen beide Kameras direkt nebeneinander zu platzieren oder die Objekte auf einer bekannten Grundebene anzunehmen.From US-A-6 215 519 it is known to track moving objects which were detected in a stationary camera with a large field of view, a second camera with higher resolution. The stationary camera is assumed to be an omnidirectional camera with very low resolution, so that the higher resolution of the second camera is only a normal resolution and accordingly does not require high accuracy. To localize the Object with the second camera is proposed both cameras directly to place next to each other or the objects on a known ground plane to accept.

Aufgabe der Erfindung ist es die Erfassung eines im Bild einer ersten Kamera sichtbaren Objekts durch eine zweite orientierbare Kamera zu verbessern.The object of the invention is the detection of a picture of a first camera visible object to improve by a second orientable camera.

Diese Aufgabe wird anhand der Verfahrensmerkmalen des Anspruchs 1 und den Vorrichtungsmerkmalen des Anspruches 16 gelöst.This object is achieved by the method features of claim 1 and the device features of claim 16 solved.

Das erfindungsgemäße Kamerasystem besteht aus einer ersten Kamera, auch als Masterkamera bezeichnet, und mindestens einer zweiten Kamera, auch als Slavekamera bezeichnet. Bei der zweiten Kamera handelt es sich in vorteilhafter Weise um eine Pan-Tilt-Zoom-Kamera.The camera system according to the invention consists of a first camera, too referred to as a master camera, and at least one second camera, as well Slave camera called. The second camera is in Advantageously, a pan-tilt-zoom camera.

Im weiteren ist ein Objektdetektor vorhanden. Als Objektdetektor wird jede Art von geeigneter Vorrichtung, Verfahren oder menschlichem Benutzer bezeichnet, der in einem Kamerabild ein interessierendes Objekt, z.B. In addition, an object detector is present. As an object detector is any kind of a suitable device, method or human user indicating, in a camera image, an object of interest, e.g.

Personen, PKWs, Gesichter, bewegte Objekte, die Position eines verschwundenen Objekts, eine Rauchwolke, ein Schatten usw., detektieren kann. Dies kann z.B. ein menschlicher Benutzer sein, der das Objekt über ein geeignetes Eingabemedium, z.B. eine Maus, auf einem Monitorbild oder einer anderen geeigneten Darstellung des Kamerabildes detektiert. Ein weiteres Beispiel sind Video-Bewegungsdetektoren, die bewegte Objekte detektieren. Eine weitere Möglichkeit besteht darin Objekte anhand charakteristischer Merkmale zu detektieren, z.B. Farbe, Form, Gesichtserkennung. Unter einem Benutzer verstehen wir im folgenden eine Person, die das System bedient. Unter einem automatischen Detektor sollen Detektoren verstanden werden, die ohne menschlichen Eingriff funktionieren. Es sind auch halb automatische Kombinationen möglich, bei denen ein automatischer Detektor Detektionsvorschläge macht, die durch einen Benutzer verifiziert werden müssen. Unter der Detektion soll hier auch die Lokalisierung verstanden werden, d.h. die Bestimmung der Position des Objekts im Kamerabild. Eine Detektion bezeichnet allgemein eine Positionsbestimmung in diesem Sinne in einem Kamerabild. Im Falle eines Benutzers geschieht dies in vorteilhaften Ausgestaltungen häufig durch einen Mausklick. Es kann jedoch auch ein Joystick, ein berührungssensitiver Monitor oder ein anderes geeignetes Eingabemedium verwendet werden.People, cars, faces, moving objects, the position of a disappeared object, a cloud of smoke, a shadow, etc., detect can. This can e.g. be a human user who has the object over suitable input medium, e.g. a mouse, on a monitor picture or one other suitable representation of the camera image detected. Another one Examples are video motion detectors that detect moving objects. Another possibility is objects based on characteristic To detect features, e.g. Color, shape, face recognition. Under a In the following we mean a person who operates the system. An automatic detector is to be understood as meaning detectors which work without human intervention. They are also semi automatic Combinations possible where an automatic detector Makes detection suggestions that are verified by a user have to. Detection should also be understood as localization are, i. the determination of the position of the object in the camera image. A Detection generally refers to a position determination in this sense in FIG a camera picture. In the case of a user, this happens in advantageous Configurations often by a mouse click. However, it can also be one Joystick, a touch-sensitive monitor or other suitable Input medium can be used.

Die Position kann dabei ein Punkt sein, der dem Objekt zugeordnet wird oder auch eine oder mehrere Flächen. Im Falle digital vorliegender Bilder wird die Position oft durch ein Pixel bestimmt. Dieses Pixel besitzt eine endliche Ausdehnung und kann z.B. in einer höheren Auflösung durch mehrere Pixel repräsentiert werden. Es kann auch durch die Eigenart des Detektors, wie etwa eines Bewegungsdetektors oder durch sogenannte Touchscreens eine oder mehrere Flächen als die Position des Objekts ausgewählt werden. Wir verstehen daher im folgenden unter einem Punkt im Bild oder Bildpunkt auch eine oder mehrere Flächen. Ein Punkt in der durch die Kamera abgebildeten Szene kann demnach auch eine Ausdehnung besitzen.The position can be a point that is assigned to the object or also one or more surfaces. In the case of digitally available images, the Position often determined by a pixel. This pixel has a finite Expansion and may e.g. in a higher resolution through several pixels be represented. It may also be due to the nature of the detector, such as a motion detector or so-called touch screens one or multiple surfaces are selected as the position of the object. We Therefore, below under a point in the picture or pixel also understand one or more surfaces. A point in the picture shown by the camera Scene can therefore also have an extension.

Unter einem Monitor soll im folgenden jede geeignete Einrichtung zur zeitlich veränderlichen Darstellung von Bildern, Text und Grafiken verstanden werden. Dies können z.B. Bildröhrenmonitore wie PC-Monitore, Überwachungsmonitore, Fernseher oder ähnliches sein. Es können auch Flachbildschirme, LCD-Bildschirme oder andere Arten von Displays sein.Below a monitor is in the following any suitable means for temporally changeable representation of images, text and graphics to be understood. This can e.g. CRT monitors such as PC monitors, surveillance monitors, TV or something similar. It can also have flat screens, LCD screens or other types of displays.

Als Kamerabild bezeichnen wir ein wirklich für einen Benutzer sichtbares Monitorbild aber auch eine nicht sichtbare Repräsentation desselben Bildes etwa als digitale Daten in einem Computer. Soweit es sich im beschriebenen Verfahren um einen Benutzer handelt, ist ein Monitorbild gemeint und die Einblendung oder Einzeichnung von Linien, Punkten etc. geschieht in das Monitorbild in einer für den Benutzer wahrnehmbaren Form. Falls ein Verfahrensteil von einem automatischen Detektor ausgeführt wird handelt es sich um ein allgemeines, nicht notwendigerweise sichtbar dargestelltes Bild. Das Einzeichnen oder Einblenden entspricht hier einer Berücksichtigung der entsprechenden Positionen im Bild durch den betroffenen automatisch ausgeführten Verfahrensteil.We call a camera image a really visible to a user Monitor image but also an invisible representation of the same image for example as digital data in a computer. As far as it is described in the Procedure is a user, a monitor picture is meant and the Insertion or marking of lines, points, etc. happens in the Monitor image in a form perceptible to the user. If one Process part is carried out by an automatic detector is it It is a general, not necessarily visible image. The drawing or fade in here corresponds to a consideration of corresponding positions in the image by the affected automatically executed process part.

Wir werden im folgenden das System und Verfahren beschreiben, wie es sich für einen Benutzer darstellt. Dies soll jedoch generell die Verwendung automatischer oder halbautomatischer Detektoren einschließen. Das Verfahren bleibt gleich, wenn unter einem Detektionsschritt die Detektion durch einen beliebigen Detektor verstanden wird. Im Falle der automatischen Detektion in allen Detektionsschritten können in der Vorrichtung Monitore und Eingabemedien entfallen, da die hierdurch dargestellte und eingegebene Information in den Steuereinheiten automatisch erzeugt und berücksichtigt wird.We will describe below the system and procedure as it is represents for a user. However, this is generally the use automatic or semi-automatic detectors. The procedure remains the same if under a detection step, the detection by a any detector is understood. In case of automatic detection in All detection steps in the device monitors and Input media omitted because the thus represented and entered Information in the control units is automatically generated and taken into account.

Als Masterkamera wird eine Kamera bezeichnet, in der ein Objekt von einem Objektdetektor detektiert wird, wobei diese Detektion zur Erfassung desselben Objekts in weiteren, sogenannten Slavekameras verwendet werden soll. Die Masterkamera ist oft stationär, sie kann aber auch mit einer Schwenk-Neige-Einheit ausgestattet sein. Tatsächlich ist jede Kamera als Masterkamera geeignet, bei der zu einem gegebenen Zeitpunkt eine eindeutige Zuordnung zwischen einem Punkt im Kamerabild und einem sogenannten Sehstrahl gegeben ist. Ein zu einem Bildpunkt gehöriger Sehstrahl ist der Ort aller Punkte im Raum, die von der Kamera auf diesen Bildpunkt abgebildet werden. Für reale Kameras sind dies für ausdehnungslose Bildpunkte Geraden, für ausgedehnte Bildpunkte entsprechende Kegel als Summe aller Geraden. Falls im folgenden verfahrensbedingt an einer Stelle eine nicht ausgedehnte Gerade als Sehstrahl gegeben ist, wird aus diesem Kegel eine geeignete Gerade als Repräsentant verwendet, meist die zur Objektmitte oder zum Objektfußpunkt gehörende Gerade. Dies kann etwa dann der Fall sein, wenn ein Video-Bewegungsdetektor eine Fläche im Kamerabild detektiert oder ein Benutzer über einen Touchscreen keine pixelgenaue Position eingibt. Die Zuordnungsvorschrift zwischen Bildpunkten und Sehstrahlen, wobei die Sehstrahlen in einem kamerafesten Koordinatensystem gegeben sind, bezeichnet man als interne Kalibrierung der Kamera. Die Position der Kamera relativ zu einem Weltkoordinatensystem oder einer anderen Kamera wird als externe Kalibrierung bezeichnet. Die Eigenschaft der Masterkamera bezieht sich nur auf die gerade aktuelle Detektionsaufgabe. In einer weiteren Detektion kann dieselbe Kamera auch die Funktion einer Slavekamera ausüben sofern ihr Gesichtsfeld einstellbar ist.A master camera is a camera in which an object of a Object detector is detected, this detection for detecting the same Object to be used in other, so-called slave cameras. The Master camera is often stationary, but it can also be used with a pan-tilt unit be equipped. In fact, every camera is a master camera suitable, at a given time a unique assignment between a point in the camera image and a so-called visual ray given is. A visual ray belonging to a pixel is the location of all dots in the room, which are imaged by the camera on this pixel. For Real cameras are this for straight-line pixels, for extended pixels corresponding cones as the sum of all lines. If in the following process-related at one point an unstretched straight line is given as a ray of sight, from this cone is a suitable line as Representative used, usually the center of the object or object base belonging straight line. This may be the case if a video motion detector detects an area in the camera image or a user does not enter a pixel-perfect position via a touch screen. The Allocation rule between pixels and visual rays, wherein the Visual rays are given in a camera-fixed coordinate system, is called internal calibration of the camera. The position of the camera relative to a world coordinate system or another camera is called called external calibration. The property of the master camera relates only on the current detection task. In another detection The same camera can also perform the function of a slave camera if you Field of view is adjustable.

Die Aufgabe der Slavekamera ist es, das in der Masterkamera detektierte Objekt zu erfassen. Als Slavekamera ist jede Kamera mit einstellbarem Gesichtsfeld geeignet. Unter der Einstellung des Gesichtsfeldes zur Erfassung des Objekts durch die Slavekamera wird die Ausrichtung des sogenannten Kameravektors auf das Objekt verstanden. Der Kameravektor ist dabei ein vorgegebener, mit der Kamera fest verbundener Richtungsvektor; er wird daher zusammen mit dem Gesichtsfeld der Kamera eingestellt. In besonders vorteilhaften Ausgestaltungen sind Slavekameras Pan-Tilt-Zoom Kameras (Dome oder Schwenk-Neige-Köpfe). Jeder andere Mechanismus zur Einstellung des Gesichtsfelds ist jedoch auch geeignet.
Eine Zoom-Funktion ist nicht für alle Anwendungen notwendig, jedoch oft vorteilhaft. Es wird angenommen, dass die Slavekamera extern kalibriert ist, d.h. ihre Position und Orientierung relativ zur Masterkamera ist bekannt. Außerdem wird der Einstellmechanismus des Gesichtsfeldes als kalibriert angenommen, d.h. der Kameravektor kann gezielt auf vorgegebene Richtungen eingestellt und der Zoom gezielt beeinflusst werden. Auch die Funktion der Slavekamera besteht nur für diesen Erfassungsvorgang. Dieselbe Kamera kann in einem weiteren Erfassungsvorgang auch Masterkamera sein. The task of the slave camera is to capture the object detected in the master camera. The slave camera is any camera with adjustable field of view suitable. The adjustment of the field of view for the detection of the object by the slave camera is understood to mean the alignment of the so-called camera sector with the object. The camera vector is a predefined directional vector permanently connected to the camera; it is therefore set together with the field of view of the camera. In particularly advantageous embodiments, slave cameras are pan-tilt-zoom cameras (domes or pan-tilt heads). However, any other mechanism for adjusting the field of view is also suitable.
A zoom feature is not necessary for all applications, but often beneficial. It is assumed that the slave camera is externally calibrated, ie its position and orientation relative to the master camera is known. In addition, the adjustment mechanism of the field of view is assumed to be calibrated, ie the camera sector can be set to specific directions and the zoom can be selectively influenced. The function of the slave camera is only for this detection process. The same camera can also be a master camera in another acquisition process.

Ein System kann aus zwei oder mehr Kameras bestehen, wobei für eine bestimmte Objekterfassung jeweils eine beliebige Kamera als Masterkamera und eine oder mehrere Kameras mit einstellbarem Gesichtsfeld als Slavekameras operieren. Für die nächste Objekterfassung können dies andere Kamerapaarungen sein oder auch die Rollen der letzten Paarung vertauscht werden. Ein Objekt kann zum selben oder verschiedenen Zeitpunkten auch von mehreren Masterkameras detektiert werden. Es können im Kamerabild der Masterkamera auch mehrere Objekte detektiert werden, die dann durch mehrere Slavekameras erfasst werden oder es wird ein Objekt detektiert, das dann durch mehrere Slavekameras erfasst wird. Die Suche des Objekts wird dabei in allen Fällen auf den durch die jeweilige Masterkamera gegebenen Sehstrahl des Objekts eingeschränkt. Bei mehreren Objekten ist durch jedes Objekt ein Sehstrahl gegeben.
Im folgenden wird die Erfindung anhand von Figuren verdeutlicht. Diese beispielhafte Beschreibung stellt keine Limitierung oder Einschränkung der Erfindung auf die aufgeführten Beispiele dar. Sie dient lediglich zur Verdeutlichung der Erfindung und besonders vorteilhafter Ausgestaltungen.A system may consist of two or more cameras, with each camera operating as a master camera and one or more cameras having an adjustable field of view operating as slave cameras for a specific object detection. For the next object detection, these can be other camera pairings or the roles of the last pairing can be reversed. An object can also be detected by several master cameras at the same or different times. In the camera image of the master camera, it is also possible to detect a plurality of objects which are then detected by a plurality of slave cameras or an object is detected, which is then detected by a plurality of slave cameras. The search of the object is restricted in all cases to the visual beam of the object given by the respective master camera. For multiple objects, there is a line of sight through each object.
In the following the invention is illustrated by means of figures. This exemplary description does not represent a limitation or limitation of the invention to the listed examples. It merely serves to illustrate the invention and particularly advantageous embodiments.

Insbesondere die Figuren 3 bis 5 ermöglichen ein schnelles grundsätzliches Verständnis der Erfindung.In particular, Figures 3 to 5 allow a quick basic Understanding the invention.

Es zeigt:

Figur 1
ein Blockschaltbild eines Systems;
Figur 2
eine schematische Darstellung einer Kamera;
Figur 3
einen schematischen Plan eines zu überwachenden Areals mit einem System aus zwei Kameras, sowie eines ausgewählten Objekts und dem dazugehörigen Sehstrahl der Masterkamera;
Figur 4
ein Kamerabild der Masterkamera aus Figur 3;
Figur 5
ein Kamerabild der Slavekamera mit eingeblendetem Sehstrahl der Masterkamera;
Figur 6
einen schematischen Plan eines zu überwachenden Areals mit einem System aus zwei Kameras, wobei die Slavekamera in mehreren Ausrichtungen entlang des Sehstrahls der Masterkamera dargestellt ist;
Figur 7
Kamerabilder der Slavekamera in Figur 6, die mit verschiedenen Ausrichtungen entlang des Sehstrahls der Masterkamera erfasst werden;
Figur 8
ein Kamerabilder der Slavekamera in Figur 6, die mit Ausrichtungen auf und neben dem Sehstrahl der Masterkamera erfasst werden, sowie eingeblendeten Pfeilen zur Steuerung der Slavekamera;
Figur 9
einen schematischen Plan eines zu überwachenden Areals mit einem System aus zwei Kameras, wobei sich Personen in verschiedenen Entfernungen entlang eines Sehstrahls der Masterkamera befinden;
Figur 10
Kamerabilder der Slavekamera in Figur 9 bei einer Ausrichtung auf die Personen in Figur 9 ohne Zoomanpassung;
Figur 11
Kamerabilder der Slavekamera in Figur 9 bei einer Ausrichtung auf die Personen in Figur 9 mit Zoomanpassung;
Figur 12
ein Kamerabild der Masterkamera aus Figur 3 mit eingeblendetem Kameravektor der Slavekamera bzw. dazugehörigem Sehstrahl;
It shows:
FIG. 1
a block diagram of a system;
FIG. 2
a schematic representation of a camera;
FIG. 3
a schematic plan of an area to be monitored with a system of two cameras, and a selected object and the associated visual beam of the master camera;
FIG. 4
a camera image of the master camera of Figure 3;
FIG. 5
a camera image of the slave camera with visual beam of the master camera inserted;
FIG. 6
a schematic plan of an area to be monitored with a system of two cameras, wherein the slave camera is shown in multiple orientations along the visual beam of the master camera;
FIG. 7
Camera images of the slave camera in Figure 6, which are detected with different orientations along the visual beam of the master camera;
FIG. 8
a camera images of the slave camera in Figure 6, which are detected with alignments on and next to the line of sight of the master camera, and on-screen arrows for controlling the slave camera;
FIG. 9
a schematic plan of an area to be monitored with a system of two cameras, with people at different distances along a visual beam of the master camera are;
FIG. 10
Camera images of the slave camera in Figure 9 with an orientation to the persons in Figure 9 without zoom adjustment;
FIG. 11
Camera images of the slave camera in FIG. 9 with an alignment with the persons in FIG. 9 with zoom adjustment;
FIG. 12
a camera image of the master camera of Figure 3 with the camera camera of the slave camera or associated visual beam;

In der folgenden Beschreibung werden bei den einzelnen Figuren für sich entsprechende Objekte entsprechende Bezugszeichen verwendet. Dies ermöglicht es, die Erfindung im zusammenhängenden Rahmen zu beschreiben.In the following description will be in the individual figures for themselves corresponding objects corresponding reference numerals used. This makes it possible to describe the invention in a coherent framework.

Figur 1 zeigt das Blockschaltbild des Systems. Beispielhaft ist hier eine erste Kamera 101 als Masterkamera und eine zweite Kamera 102 mit einstellbarem Gesichtsfeld als Slavekamera dargestellt. Die Masterkamera 101 ist eine stationäre Kamera. Die Masterkamera 101 ist an eine Steuereinheit 140 angeschlossen, die über analoge Ausgänge, insbesondere z.B. für das Videosignal und digitale Ausgänge, insbesondere z.B. für Steuersignale über Netzwerke, die Masterkamera 101 mit einer zentralen Steuereinheit 142 verbindet. Falls digitale Kameras oder Bildübertragungen eingesetzt werden kann das Netz zur Bildübertragung ganz oder teilweise digital sein. Falls die Materkamera 101 ein einstellbares Zoomobjektiv hat wird dieses von der zentralen Steuereinheit 142 aus über die Steuereinheit 140 eingestellt werden. Der aktuelle Wert ist entweder in der zentralen Steuereinheit 142 gespeichert oder über die Steuereinheit 140 abfragbar. In gleicher Weise steuert und verbindet die Steuereinheit 141 die Pan-Tilt-Zoom Kamera 102. Hier können außer dem Zoom auch Pan und Tilt eingestellt und die aktuellen Werte abgefragt werden. Die zentrale Steuereinheit 142 hat somit Zugriff auf die Steuerung, die aktuellen Einstellungen und die Kamerabilder aller beteiligten Kameras 101 und 102. Die Kamerabilder können auf den an die zentrale Steuereinheit 142 angeschlossenen Monitoren 144 und 145 dargestellt werden. Falls automatische Detektoren für die Masterkamera 101 und/oder die Slavekamera 102 verwendet werden, können die entsprechenden Monitore 144 und 145 auch direkt an die Steuereinheiten 140 und 141 oder direkt an die Kameras 101 und 102 angeschlossen werden oder sie können ganz entfallen. Im Falle automatischer Detektoren ohne Benutzereingriff oder Kontrolle können auch Einblendungen in das Kamera- bzw. Monitorbild entfallen. Es ist auch möglich nur einen Monitor zu benutzen, wobei die Bilder von der Masterkamera 101 und der Slavekamera 102 nebeneinander, im sogenannten Splitverfahren, ineinander, im sogenannten Bild-im-Bild-Verfahren oder zeitlich hintereinander dargestellt werden. Für die erste Detektion in der Masterkamera 101 wird dabei das Bild der Masterkamera 101 aufgeschaltet, für die darauffolgende Detektion in der Slavekamera 102 wird dann diese Kamera aufgeschaltet.
In der folgenden Beschreibung wird, soweit es sich beim Detektor um einen Benutzer handelt, von einem Monitor pro Kamerabild ausgegangen. Die zentrale Steuereinheit 142 ist in der Lage in die dargestellten Bilder Informationen wie einen Mauszeiger, markierte Punkte und Sehstrahlen einzublenden. Bei Bedarf können auch im Kamerabild oder, falls dieses nicht bildfüllend ist, auf dem Monitor außerhalb des dargestellten Kamerabildes graphische Steuerelemente, wie z.B. Schieberegler, eingeblendet werden. Ein Benutzer kann über eine Eingabevorrichtung 143, bei welcher es sich in vorteilhaften Weise um eine Maus und/oder eine Tastatur und/oder einen Schieberegler und/oder ein Bedienpult und/oder einen Joystick, usw., handelt, die notwendigen Steuerungen vornehmen. In der zentralen Steuereinheit 142 sind auch die Daten für die interne und externe Kalibrierung der Kameras 101 und 102 gespeichert. Falls vorhanden, sind hier auch Geländemodelle gespeichert und automatische Detektoren, wie Bewegungsdetektoren, etc., installiert. Alle Informationen und Module für-eine der Kameras 101 oder 102 können auch in den lokalen Steuereinheiten 140 oder 141 angesiedelt sein. Bei diesen Modulen handelt es sich in vorteilhafter Weise um Module zur Kalibrierung und/oder automatischen Detektion. Sind solche Module in lokalen Steuereinheiten installiert, laufen nur die entsprechend verarbeiteten Informationen, etwa die Position des detektierten Objekts, in der zentralen Steuereinheit 142 zusammen. In der zentralen Steuereinheit 142 werden alle Eingaben und Informationen gesammelt und verarbeitet, d.h. für ein in der Masterkamera 101 detektiertes Objekt wird der zugehörige Sehstrahl 303 (in Figur 3) in Weltkoordinaten errechnet und, soweit der Sehstrahl von der Slavekamera 102 erfasst wird, in das Kamerabild der Slavekamera 102 eingeblendet (Sehstrahl 504 in Figur 5). Weitere Einblendungen, entsprechend der im folgenden geschilderten Ausgestaltungen, werden vorgenommen und die Slavekamera 102, z.B. entsprechend der im folgenden beschriebenen Ausgestaltungen, gesteuert. Falls ein Benutzer das System bedient, werden entsprechende Eingaben durch die zentrale Steuereinheit 142 berücksichtigt bzw. dem Benutzer entsprechende Steuerelemente angeboten.
Figur 2 zeigt eine schematische Darstellung einer Kamera. Kameras werden wie in dieser Zeichnung dargestellt, oft als sogenannte projektive- oder auch Loch-Kamera modelliert. Dabei gehen alle Sehstrahlen durch einen Punkt, das sogenannte optische Zentrum 260 der Kamera. Durch das optische Zentrum 260 und einen Bildpunkt 206 auf der Bildebene 262 (einem Pixel auf dem CCD oder CMOS Chip bei digitalen Kameras) wird ein Sehstrahl 203 definiert, welcher der Ort aller Punkte im Raum ist, die durch die Kamera auf den Bildpunkt 206 abgebildet werden. Viele reale Kameras können durch die algorithmische Korrektur von Verzerrungen im Bild sehr genau diesem Model entsprechen. Für andere Kameras gibt es ähnliche Modelle. Die Ausrichtung einer Kamera mit einstellbarem Gesichtsfeld (Slavekamera 102 in Figur 1) erfolgt nicht notwendiger Weise auf die Bildmitte. Wird die Kamera nicht als projektive Kamera modelliert, kann es auch sinnvoll sein, die Ausrichtung der Kamera durch einen Strahl zu definieren, der nicht durch das optische Zentrum der Kamera geht bzw. es ist kein eindeutiges optisches Zentrum vorhanden. Daher wird ein allgemeiner Kameravektor 261 definiert, der die Ausrichtung der Kamera definiert. Falls die Kamera als projektive Kamera modelliert wird, kann man den Kameravektor 261 wie in der Zeichnung dargestellt vorteilhaft im optischen Zentrum 260 verankern. Der Kameravektor 261 entspricht dann einem bestimmten Sehstrahl und die Ausrichtung des Kameravektors entspricht der Ausrichtung des dazugehörigen Bildpunktes (Pixels) auf das Objekt. Bei Slavekameras mit Zoomfähigkeit kann dieser Bildpunkt vorteilhaft als das Zoomzentrum gewählt werden, d.h. der Bildpunkt, welcher bei sich veränderndem Zoom im Bild stationär bleibt. Jeder andere Bildpunkt, z.B. die Bildmitte, ist jedoch auch möglich.Figure 1 shows the block diagram of the system. By way of example, a first camera 101 as a master camera and a second camera 102 with an adjustable field of view as a slave camera are shown here. The master camera 101 is a stationary camera. The master camera 101 is connected to a control unit 140 which connects the master camera 101 with a central control unit 142 via analog outputs, in particular, for example, for the video signal and digital outputs, in particular, for example, for control signals via networks. If digital cameras or image transmissions are used, the network for image transmission may be completely or partially digital. If the mater camera 101 has an adjustable zoom lens, it will be adjusted from the central control unit 142 via the control unit 140. The current value is either stored in the central control unit 142 or queried via the control unit 140. In the same way, the control unit 141 controls and connects the pan-tilt-zoom camera 102. Here, in addition to the zoom, pan and tilt can also be set and the current values can be interrogated. The central control unit 142 thus has access to the control, the current settings and the camera images of all participating cameras 101 and 102. The camera images can be displayed on the monitors 144 and 145 connected to the central control unit 142. If automatic detectors are used for the master camera 101 and / or the slave camera 102, the corresponding monitors 144 and 145 can also be connected directly to the control units 140 and 141 or directly to the cameras 101 and 102 or they can be omitted altogether. In the case of automatic detectors without user intervention or control, it is also possible to dispense with flashes in the camera or monitor image. It is also possible to use only one monitor, wherein the images from the master camera 101 and the slave camera 102 are displayed next to one another, in the so-called split method, in one another, in the so-called picture-in-picture method or in chronological succession. For the first detection in the master camera 101 while the image of the master camera 101 is switched, for the subsequent detection in the slave camera 102 then this camera is switched on.
In the following description, as far as the detector is a user, one monitor per camera image is assumed. The central control unit 142 is capable of displaying information such as a mouse pointer, marked dots and visual rays in the displayed images. If required, graphic controls, such as sliders, can also be displayed in the camera image or, if this is not screen-filling, on the monitor outside the displayed camera image. A user may make the necessary controls via an input device 143, which may be advantageously a mouse and / or keyboard and / or slider and / or control panel and / or joystick, etc. The central control unit 142 also stores the data for the internal and external calibration of the cameras 101 and 102. If available, terrain models are also stored and automatic detectors, such as motion detectors, etc. installed. All information and modules for one of the cameras 101 or 102 may also be located in the local control units 140 or 141. These modules are advantageously modules for calibration and / or automatic detection. If such modules are installed in local control units, only the correspondingly processed information, such as the position of the detected object, converge in the central control unit 142. In the central control unit 142, all inputs and information are collected and processed, ie for an object detected in the master camera 101, the associated visual beam 303 (in FIG. 3) is calculated in world coordinates and, as far as the visual beam is detected by the slave camera 102, in the Camera image of the slave camera 102 superimposed (line of sight 504 in Figure 5). Further overlays, according to the embodiments described below, are made and the slave camera 102, for example, according to the embodiments described below, controlled. If a user operates the system, appropriate inputs are taken into account by the central control unit 142 or controls corresponding to the user are offered.
FIG. 2 shows a schematic representation of a camera. As shown in this drawing, cameras are often modeled as so-called projective or even hole cameras. All visual rays pass through one point, the so-called optical center 260 of the camera. Through the optical center 260 and a pixel 206 on the image plane 262 (one pixel on the CCD or CMOS chip in digital cameras), a line of sight 203 is defined, which is the location of all points in space imaged on the pixel 206 by the camera become. Many real cameras can accurately match this model by algorithmically correcting distortions in the image. For other cameras, there are similar models. The orientation of a camera with adjustable field of view (slave camera 102 in Figure 1) is not necessarily on the center of the image. If the camera is not modeled as a projective camera, it may also be useful to define the orientation of the camera by a beam that does not pass through the optical center of the camera or there is no unique optical center. Therefore, a general camera sector 261 is defined that defines the orientation of the camera. If the camera is modeled as a projective camera, one can advantageously anchor the camera sector 261 in the optical center 260, as shown in the drawing. The camera sector 261 then corresponds to a specific line of sight and the orientation of the camera sector corresponds to the orientation of the associated pixel on the object. For slave cameras with zoom capability, this pixel can be advantageously chosen as the zoom center, ie the pixel which remains stationary in the image as the zoom changes. Any other pixel, such as the center of the image, is also possible.

Figur 3 zeigt einen schematischen Plan (Draufsicht) eines zu überwachenden Areals mit einem System aus zwei Kameras 301 und 302. Die Kamera 301 ist die Masterkamera, die Kamera 302 die Slavekamera. Die beiden Kameras 301 und 302 sind z.B. Überwachungskameras und dienen zur visuellen Überwachung des Areals. In dem Areal befinden sich die Objekte 311 (Haus), 312 - 315 (Bäume) und 316 (PKW). Die Masterkamera 301 erfasst in ihrem durch die Begrenzungslinien 321 angedeuteten Gesichtsfeld einen dieser Kamera zugeordneten Überwachungsbereich. Überwachungsbereiche umfassen oft nicht das ganze Gesichtsfeld. Dies wird durch die Linien 370 und 371 angedeutet, die hier beispielhaft Anfang und Ende des Überwachungsbereichs darstellen. In diesem Überwachungsbereich liegen die Objekte 314, 315, 316, sowie das Objekt 311. Ist die Masterkamera 301 mit einem einstellbaren Gesichtsfeld ausgestattet, so stellt die abgebildete Szene die Orientierung der Kamera zum Zeitpunkt der Objektdetektion dar. Die Slavekamera 302 hat ein einstellbares Gesichtsfeld, z.B. als Pan-Tilt-Zoom Kamera. Die Linie 307 bezeichnet den zum Kameravektor der Slavekamera gehörigen Sehstrahl (bzw. die durch den Kameravektor definierte Gerade im allgemeinen Fall). Unter der Ausrichtung der Slavekamera auf ein Objekt verstehen wir die Ausrichtung dieser Geraden auf das Objekt.
Figur 4 zeigt ein Kamerabild der Masterkamera 301 aus Figur 3 wie es sich z.B. für einen Benutzer auf einem Monitor darstellt. Das Bild zeigt die Objekte 311, 314, 315 und 316 aus Figur 3. Es ist eine Eingabeeinheit vorhanden, z.B. eine Maus, mittels welcher ein Benutzer einen Bildpunkt 406 in der dargestellten Szene auswählen kann. Dieser Punkt 406 kann vom System auf dem Bildschirm markiert werden, in Figur 4 ist dies durch einen schwarzen Punkt vorgenommen. Der Punkt 406 bezeichnet ein Objekt in der Szene, in diesem Fall eine Hausecke, das von der Slavekamera 302 aus Figur 3 erfasst werden soll. Diesem Objekt entspricht im Arealplan der Figur 3 der Weltpunkt 305 mit dem dazugehörigen Sehstrahl 303. Die Unterscheidung zwischen dem Weltpunkt 305 und dem Bildpunkt 406, sowie zwischen dem (Welt-) Sehstrahl 303 und dessen Abbildung/Projektion in einem Kamerabild (504 im Kamerabild der Slavekamera in Figur 5) ist wesentlich. Der gesamte Sehstrahl 303 bildet sich im Kamerabild der Masterkamera auf den einen Bildpunkt 406 ab. Der Detektor markiert einen Bildpunkt im Kamerabild der Masterkamera und damit einen Sehstrahl. Die Lage des dazugehörigen Weltpunktes auf dem Sehstrahl, d.h. dessen Entfernung von der Masterkamera, ist noch unbekannt. Die Lokalisierung des Weltpunktes und die effektive Steuerung der Slavekamera 302 ist Gegenstand der im folgenden beschriebenen Ausgestaltungen der Erfindung. Der Punkt 406 in Figur 4 bzw. 305 in Figur 3 ist mit angepassten Bezugszeichen auch in den Figuren 5 bis 7 eingezeichnet.
Falls die Slavekamera 302 dicht neben der Masterkamera 301 angeordnet werden kann, laufen bei passender Ausrichtung die Sehstrahlen der Masterkamera 301 und der Kameravektor der Slavekamera quasi parallel, die Objektentfernung ist dann für die Ausrichtung der Slavekamera irrelevant. Die Erfassung durch die Slavekamera 302 ist in diesem Fall relativ einfach zu lösen. Ein Sonderfall ergibt sich auch, falls die Geländeform des überwachten Geländes bekannt ist, insbesondere falls es sich um eine sehr einfache Geländeform wie eine Fußbodenebene bei Innenraumüberwachungen handelt. Unter der Annahme, dass sich das Objekt auf dem Boden befindet, kann man in diesem Fall relativ leicht die Objektentfernung ausrechnen und die Slavekamera 302 auf das Objekt richten. In komplexerem Gelände könnte die Geländeform auch durch das Kamerasystem selber bestimmt werden. Dies ist z.B. durch die Berechnung von Distanzkarten mittels bekannter Stereo- oder Multikamera-Methoden möglich. Eine Distanzkarte ist dabei eine Karte, die für jedes Pixel im Kamerabild der Masterkamera die Entfernung bis zum dargestellten Geländepunkt speichert. Eine weitere Möglichkeit ist bei bekannter Objektgröße diese zur Schätzung der Objektentfernung zu nutzen und so die Slavekamera 302 auszurichten. Von all diesen Fällen ist allerdings nur eine geringe bis mäßige Genauigkeit zu erwarten, da Kameras nicht am selben Ort sein können, da Objektgrößen nur ungenau bekannt und ungenau erfasst werden oder variabel sind (verschiedene Objekte, verschiedene Ansichten) und da Geländeformen und Distanzkarten im Normalfall nur ungenau bekannt sind. Für die Verwendung von Geländeformen/Distanzkarten muss auch die Bodenberührung der Objekte angenommen werden und, dass der im Kamerabild der Masterkamera erfasste Punkt 406 in einer bekannten Höhe über Grund liegt.FIG. 3 shows a schematic plan (plan view) of an area to be monitored with a system of two cameras 301 and 302. The camera 301 is the master camera, the camera 302 is the slave camera. The two cameras 301 and 302 are eg surveillance cameras and serve for the visual surveillance of the area. In the area are the objects 311 (house), 312 - 315 (trees) and 316 (cars). The master camera 301 detects in its indicated by the boundary lines 321 field of view of this camera associated monitoring area. Surveillance areas often do not cover the whole field of vision. This is indicated by the lines 370 and 371, which represent here by way of example beginning and end of the monitoring area. In this monitoring area are the objects 314, 315, 316, as well as the object 311. If the master camera 301 equipped with an adjustable field of view, the imaged scene represents the orientation of the camera at the time of object detection. The slave camera 302 has an adjustable field of view, eg as pan-tilt-zoom camera. Line 307 denotes the line of sight associated with the camera camera of the slave camera (or the line defined by the camera vector in the general case). By aligning the slave camera with an object, we understand the orientation of this line on the object.
FIG. 4 shows a camera image of the master camera 301 from FIG. 3 as it is, for example, for a user on a monitor. The image shows the objects 311, 314, 315 and 316 of FIG. 3. There is an input unit, eg a mouse, by means of which a user can select a pixel 406 in the displayed scene. This point 406 can be marked by the system on the screen, in Figure 4 this is done by a black dot. The point 406 indicates an object in the scene, in this case a corner of the house, to be detected by the slave camera 302 of FIG. In the area diagram of FIG. 3, this object corresponds to the world point 305 with the associated visual ray 303. The distinction between the world point 305 and the pixel 406 and between the (world) visual ray 303 and its imaging / projection in a camera image (504 in the camera image of FIG Slave camera in Figure 5) is essential. The entire visual beam 303 is formed in the camera image of the master camera on the one pixel 406. The detector marks a pixel in the camera image of the master camera and thus a line of sight. The position of the corresponding world point on the visual ray, ie its distance from the master camera, is still unknown. The location of the world point and the effective control of the slave camera 302 is the subject of the embodiments of the invention described below. The point 406 in FIG. 4 or 305 in FIG. 3 is also shown with adapted reference symbols in FIGS. 5 to 7.
If the slave camera 302 can be arranged close to the master camera 301, with proper alignment the visual beams of the master camera 301 and the camera camera of the slave camera run quasi parallel, the object distance is then irrelevant to the orientation of the slave camera. The detection by the slave camera 302 is relatively easy to solve in this case. A special case also arises if the terrain of the monitored area is known, especially if it is a very simple terrain form such as a floor level in interior monitoring. In this case, assuming that the object is on the ground, it is relatively easy to calculate the object distance and direct the slave camera 302 at the object. In more complex terrain, the terrain shape could also be determined by the camera system itself. This is possible, for example, by calculating distance maps by means of known stereo or multicamera methods. A distance map is a map that stores the distance to the point of interest represented for each pixel in the camera image of the master camera. Another option, if the object size is known, is to use this to estimate the object distance and thus align the slave camera 302. Of all these cases, however, only a small to moderate accuracy is to be expected because cameras can not be in the same place, as object sizes are only vaguely known and inaccurate detected or variable (different objects, different views) and there terrain forms and distance maps normally only vaguely known. For the use of terrain shapes / distance maps also the ground contact of the objects must be assumed and that the detected in the camera image of the master camera point 406 is at a known height above ground.

Die geforderte Genauigkeit wird im allgemeinen vom Zoom, d.h. dem Kameraöffnungswinkel abhängen. Wenn man davon ausgeht, dass die Erfassung durch die Slavekamera 302 mit einer Genauigkeit von z.B. 1/10 des Kameraöffnungswinkels erfolgen soll, bedeutet dies für einen großen Zoom von etwa 2 Grad Öffnungswinkel eine Genauigkeit der Einstellung der Slavekamera 302 von 0,2 Grad. Diese Genauigkeit ist mit den oben angegebenen Methoden in den meisten Fällen nicht zu erreichen.The required accuracy is generally determined by the zoom, i. the Hang camera opening angle. If one assumes that the Detection by the slave camera 302 with an accuracy of e.g. 1/10 of the Camera aperture angle, this means for a large zoom of about 2 degrees opening angle an accuracy of the setting of the slave camera 302 of 0.2 degrees. This accuracy is with the methods given above not reachable in most cases.

In allen anderen Fällen, in denen keine der oben aufgezählten oder äquivalente Methoden anwendbar sind oder falls eine hohe Genauigkeit gefordert wird, ist die Position des Objekts durch dessen Markierung im Kamerabild der Masterkamera nicht festgelegt und das Objekt muss gesucht werden. Für einen Benutzer ist es jedoch sehr kompliziert eine Pan-Tilt-Zoom-Kamera auf ein Objekt einzustellen und diesem nachzuführen. Bis ein Benutzer die Slavekamera 302 auf ein in der Masterkamera 301 detektiertes bewegliches Objekt eingestellt hat, hat dieses sehr häufig bereits das Überwachungsfeld verlassen und der Benutzer hat es aus den Augen verloren. Außerdem wird in dieser Zeit die Aufmerksamkeit des Benutzers von der restlichen Überwachung abgezogen, so dass die auf anderen Monitoren dargestellten Szenen nicht überwacht werden. Auch ist es für einen Benutzer sehr kompliziert mit einer Pan-Tilt-Zoom-Kamera, welche auf einen großen Zoom eingestellt ist, ein Ziel zu verfolgen. In diesem Fall ist nur noch wenig Umgebungsinformation zur Orientierung vorhanden. Wird das Objekt kurzzeitig verloren, ist es daher meist nicht wieder auffindbar. Die gleichzeitige und unabhängige Steuerung von Zoom, Pan und Tilt durch einen Benutzer macht die Handhabbarkeit des Systems langsam und kompliziert. Bei der vollständigen oder teilweisen Automatisierung der Detektion und Verfolgung von Objekten mit einem Multi-Kamera-System drücken sich diese Probleme in einem erhöhten Suchaufwand aus, der die Anwendung langsam oder sogar unzuverlässig macht. In all other cases where none of the above enumerated or equivalent Methods are applicable or if high accuracy is required is the position of the object by its marking in the camera image of the Master camera not set and the object must be searched. For one However, it is very complicated for a pan-tilt-zoom camera to be on Set object and track this. Until a user the Slave camera 302 on a detected in the master camera 301 movable Object has set this very often already the monitoring field leave and the user has lost sight of it. In addition, in This time the user's attention from the rest of the monitoring deducted, so that the scenes shown on other monitors not be monitored. Also it is very complicated for a user with one Pan-tilt zoom camera, which is set to a large zoom, a target to pursue. In this case, there is little information about the environment Orientation available. If the object is lost for a short time, it is therefore usually not findable again. The simultaneous and independent control of Zoom, Pan and Tilt by a user makes the manageability of the Systems slow and complicated. In the case of complete or partial Automation of detection and tracking of objects with a multi-camera system These problems translate into increased search effort which makes the application slow or even unreliable.

Die Objektsuche in einer für den Benutzer oder einen automatischen Detektor effektiven Weise zu unterstützen ist daher Gegenstand der folgenden und weiterer beschriebener Ausgestaltungen.The object search in a for the user or an automatic detector Effective support is therefore the subject of the following and further described embodiments.

Durch den in Figur 4 markierten Punkt 406 wird ein Sehstrahl 303 in Figur 3 definiert. Für einen Benutzer bedeutet die Eingabe dieses Punktes z.B. einen Mausklick. Durch apriori Wissen kann die Objektentfernung auf einen bestimmten Bereich eingeschränkt werden. Oft ist dies durch die Größe des von der Masterkamera 301 in Figur 3 erfassten Überwachungsbereichs gegeben, der als Beispiel zwischen den Begrenzungslinien 370 und 371 in Figur 3 liegt. Die Slavekamera 302 wird dann vom System automatisch so eingestellt (Pan,Tilt und Zoom) wie in Figur 3 dargestellt. Das durch die Begrenzungslinien 322 in Figur 3 angedeutete Gesichtsfeld erfasst den Sehstrahl 303 des Bildpunktes 406 innerhalb des Überwachungsbereichs vollständig. Falls eine vollständige Erfassung nicht möglich ist kann ein möglichst großer Teil erfasst und eine Warnung angezeigt werden. Der Focus kann bei Bedarf automatisch so eingestellt werden, dass Objekte entlang des Sehstrahls möglichst scharf erscheinen.Through the point 406 marked in FIG. 4, a line of sight 303 in FIG. 3 Are defined. For a user, entering this point means e.g. one Click. By apriori knowledge, the object distance can be at one certain area are restricted. Often this is due to the size of the detected by the master camera 301 in Figure 3 monitoring area given as an example between the boundary lines 370 and 371 in FIG Figure 3 is located. The slave camera 302 will then automatically do so by the system set (pan, tilt and zoom) as shown in Figure 3. That by the Boundary lines 322 indicated in Figure 3 field of view detects the Line of sight 303 of the pixel 406 within the surveillance area Completely. If a complete acquisition is not possible a as much as possible is recorded and a warning is displayed. The focus can be adjusted automatically if required so that objects along the Sehstrahls appear as sharp as possible.

Figur 5 zeigt das Kamerabild der so eingestellten Slavekamera 302, wie es sich einem Benutzer auf einem Monitor oder einem automatischen Detektor darstellt. Der Sehstrahl 303 aus Figur 3 wird in vorteilhafter Weise eingeblendet (Linie 504 in Figur 5), so dass der Benutzer sich orientieren kann aber je nach Anwendung das Bild nicht verdeckt wird. In vorteilhafter Weise wird der Sehstrahl 504 farbig, gestrichelt und/oder halbtransparent etc. eingeblendet. Der Benutzer oder ein automatischer Detektor müssen nun das Bild nur entlang des Sehstrahls 504 absuchen um den Bildpunkt 506 zu finden, der ein Abbild des gesuchten Weltpunktes 305 aus Figur 3 im Kamerabild der Slavekamera ist. Für einen Benutzer bedeutet dies z.B. einen zweiten Mausklick. Für einen automatischen Detektor kann der Sehstrahl 504 dabei eine gedachte Linie sein. Durch die Detektion im Kamerabild der Slavekamera wird die Lage des Objekts auf dem Sehstrahl 303 bestimmt und die Slavekamera 302 kann automatisch auf das Objekt gerichtet und auf großen Zoom eingestellt werden. Die Einschränkung der Suche auf diese Linie ist für einen automatischen Detektor natürlich vorteilhaft aber auch für einen Benutzer kann die Einblendung des Sehstrahls 504 und die Einschränkung der Suche entlang des Sehstrahls 504 hilfreich sein. Dies ist etwa dann der Fall, wenn das Objekt sehr kontrastarm und das Bild von schlechter Qualität ist oder wenn es eine Vielzahl gleichartiger Objekte gibt, etwa eine Person in einer Zuschauermenge.
Ein großer Vorteil ist jedoch in jedem Fall, dass der Benutzer oder Detektor mit zwei Detektionen (für einen Benutzer z.B. zwei Mausklicks) und zwei dazugehörigen Bewegungen der Slavekamera 302 das Objekt erfasst hat. Falls das Objekt im Kamerabild der Masterkamera als Fläche erfasst wurde, würde sich der Suchbereich entsprechend durch die Summe der Sehstrahlen ergeben.FIG. 5 shows the camera image of the slave camera 302 set in this way, as it appears to a user on a monitor or an automatic detector. The line of sight 303 from FIG. 3 is advantageously superimposed (line 504 in FIG. 5) so that the user can orient themselves, but depending on the application, the picture is not obscured. Advantageously, the line of sight 504 is displayed in color, dashed and / or semitransparent, etc. The user or an automatic detector now only has to search the image along the line of sight 504 in order to find the pixel 506, which is an image of the searched world point 305 from FIG. 3 in the camera image of the slave camera. For a user, this means eg a second mouse click. For an automatic detector, the line of sight 504 can be an imaginary line. The detection in the camera image of the slave camera determines the position of the object on the line of sight 303, and the slave camera 302 can be automatically aimed at the object and set to high zoom. Restricting the search to this line is of course advantageous to an automatic detector, but for a user, the insertion of the line of sight 504 and the restriction of the search along the line of sight 504 may also be helpful. This is the case, for example, if the object is very low in contrast and the image is of poor quality or if there are a large number of similar objects, for example a person in a crowd of viewers.
However, a great advantage in any case is that the user or detector with two detections (for a user eg two mouse clicks) and two associated movements of the slave camera 302 has detected the object. If the object in the camera image of the master camera was detected as an area, the search area would be correspondingly given by the sum of the visual rays.

Eine weitere Ausgestaltung, bei der die Vorteile der Nutzung des Sehstrahls besonders deutlich sind, wird im folgenden beschrieben.Another embodiment in which the benefits of using the visual ray are particularly clear will be described below.

Figur 6 zeigt dieselbe Überwachungsszene wie Figur 3 mit einer Masterkamera 601 und einer Slavekamera 602. Zusätzlich wird dem Benutzer auf dem Bildschirm oder in der Eingabevorrichtung 143 in Figur 1 ein Schieberegler angeboten. Ziel ist es wieder die Slavekamera 602 auf den Weltpunkt 605 auszurichten. Wie oben beschrieben wird in einem ersten Schritt der dazugehörige Bildpunkt 406 im Kamerabild der Masterkamera detektiert (Figur 4). Im Gegensatz zu der in den Figuren 3 und 5 dargestellten Ausgestaltung ist die Slavekamera 602 bereits auf einen großen Zoom eingestellt, der durch die Begrenzungslinien 322, 323 und 324 des Gesichtsfeldes für drei verschiedene Ausrichtungen der Slavekamera in der Zeichnung angedeutet wird. Dies hat z.B. den Vorteil, dass während der Suche und bei der Erfassung des Objekts durch die Slavekamera 602 bereits eine hohe Auflösung gegeben ist. Dies kann z.B. die Detektion erleichtern oder erst ermöglichen. Es wird nach der Detektion des Objekts auch keine Zeit zur Einstellung des Zooms verloren, in der das Objekt sich schon weiter bewegt haben könnte.
Wie schon dargelegt wurde ist bei großem Zoom und ohne Hilfe die Suche nach dem Objekt sehr schwierig, da Orientierungsmöglichkeiten fehlen und die gleichzeitige Kontrolle von Pan und Tilt, insbesondere bei großem Zoom und in einem großen Suchraum, schwierig ist. Das System bietet dem Benutzer daher durch das Verschieben des Schiebereglers die Möglichkeit die Slavekamera gezielt entlang des Sehstrahls 603 zu verfahren. Die Suche wird so wesentlich vereinfacht und beschleunigt da nur dieser eine Freiheitsgrad zu bedienen und abzusuchen ist. Außerdem wird auch die Suche auf dem Sehstrahl S automatisch auf den durch das apriori Wissen festgelegten Bereich eingeschränkt. Der Schieberegler kann z.B. mit Entfernungsangaben auf dem Sehstrahl 603 versehen werden. Der Schieberegler kann hier auch durch andere Eingabemedien mit einem Freiheitsgrad oder Eingabemedien deren Funktion auf einen Freiheitsgrad eingeschränkt ist ersetzt werden. So kann z.B. die normale Pan-Tilt Steuerung einer Kamera über einen Joystick oder Tasten für die Objekterfassung so umgestellt werden, dass eine der beiden Auslenkungen oder ein Tastenpaar die Slavekamera auf dem Sehstrahl verfährt, während die andere Auslenkung oder das andere Tastenpaar abgeschaltet ist, den Zoom der Slavekamera oder die Auslenkung der Slavekamera senkrecht zum Sehstrahl steuert oder andere Aufgaben übernimmt.FIG. 6 shows the same surveillance scene as FIG. 3 with a master camera 601 and a slave camera 602. In addition, a slider is offered to the user on the screen or in the input device 143 in FIG. The goal is again to align the slave camera 602 with the world point 605. As described above, in a first step, the associated pixel 406 is detected in the camera image of the master camera (FIG. 4). In contrast to the embodiment shown in FIGS. 3 and 5, the slave camera 602 is already set to a large zoom, which is indicated by the boundary lines 322, 323 and 324 of the visual field for three different orientations of the slave camera in the drawing. This has the advantage, for example, that a high resolution is already given during the search and during the detection of the object by the slave camera 602. This can, for example, make the detection easier or only possible. There is no time to set the zoom after the detection of the object, in which the object could have moved on already.
As already stated, the search for the object is very difficult with large zoom and without help, since there are no orientation possibilities and the simultaneous control of Pan and Tilt, especially at high zoom and in a large search space, is difficult. The system therefore offers the user the option of moving the slave camera along the line of sight 603 by moving the slider. The search is so much easier and faster because only this one degree of freedom to use and search is. In addition, the search on the visual ray S is automatically restricted to the range determined by the apriori knowledge. The slider can be provided with distance information on the line of sight 603, for example. The slider can also be replaced by other input media with one degree of freedom or input media whose function is limited to one degree of freedom. For example, the normal pan-tilt control of a camera can be changed via a joystick or keys for object detection so that one of the two deflections or a pair of keys the slave camera moves on the line of sight, while the other deflection or the other pair of buttons is turned off Zoom the slave camera or the deflection of the slave camera perpendicular to the line controls or other tasks.

Figur 7 zeigt Darstellungen von Kamerabildern, welche von der Slavekamera 602 in Figur 6 mit den Ausrichtungen 622, 623 und 624 entlang des Sehstrahls 603 erfasst werden. Das Kamerabild 722 zeigt das Objekt 612 aus Figur 6, das Kamerabild 723 zeigt die Objekte 613, 614 und 616. Das durch den Punkt 406 ausgewählte Objekt (die Hausecke) ist im Kamerabild 724 in Figur 7 aus der Perspektive der Slavekamera 602 und gezoomt zu sehen (Punkt 706). Im Falle automatischer Detektoren kann die Slavekamera 602 nach derselben Vorgehensweise gesteuert werden, der Schieberegler entfällt dann natürlich. Wurde das Objekt im Kamerabild der Masterkamera (Figur 4) als Fläche erfasst, muss in dieser Ausgestaltung einer der Sehstrahlen, etwa der mittlere, ausgewählt werden.FIG. 7 shows illustrations of camera images taken by the slave camera 602 in Figure 6 with the orientations 622, 623 and 624 along the line of sight 603 are recorded. The camera image 722 shows the object 612 of FIG Camera image 723 shows the objects 613, 614, and 616. This through point 406 selected object (the corner of the house) is in the camera image 724 in Figure 7 from the Perspective of the slave camera 602 and zoomed in (point 706). In the event of automatic detectors, the slave camera 602 after the same Approach to be controlled, the slider is then eliminated, of course. Was the object in the camera image of the master camera (Figure 4) as an area detected in this embodiment, one of the visual rays, such as the middle, to be selected.

In einer weiteren Ausgestaltung ist es auch möglich dem Benutzer alle normalen Freiheitsgrade der Kamerasteuerung zu belassen und ihm lediglich Hinweise zu geben, in welcher Richtung die Slavekamera 602 gesteuert werden muss um den Sehstrahl zu erfassen bzw., falls der Sehstrahl bereits durch die Slavekamera 602 erfasst wird, in welcher Richtung die Slavekamera 602 verfahren werden muss, um dem Sehstrahl zu folgen. Die Hinweise können z.B. über Einblendungen in das Monitorbild der Slavekamera 602 geschehen. Figur 8 zeigt ein Kamerabild 833 der Slavekamera 602. Die Slavekamera 602 ist hier noch zu hoch ausgerichtet um den Sehstrahl 603 zu erfassen, s.d. nur die Baumwipfel der Objekte 613 und 614 erfasst werden. Der Pfeil 809 zeigt die Richtung an, in der der Sehstrahl auf dem kürzesten Weg erreicht wird. Die Information könnte auch auf einem Bedienpult angezeigt werde, z.B. in welche Richtung ein Joystick zur Kamerasteuerung zu bewegen ist oder welcher der Steuertasten zu bedienen ist. Wird die Slavekamera entsprechend dieser Information verfahren erreicht man das Kamerabild 823. Die Slavekamera hat den Sehstrahl erfasst, das Kamerabild 823 ist identisch mit dem Kamerabild 723 aus Figur 7. Die eingeblendeten Pfeile 804 geben die Richtung an, in die die Kamera verfahren werden muss um den Sehstrahl abzufahren. Anstatt der Pfeile kann der Sehstrahl auch als Linie oder in anderer geeigneter Weise eingeblendet werden.In a further embodiment, it is also possible for the user all leave normal degrees of freedom of camera control and only to him To indicate in which direction the slave camera 602 is being controlled in order to capture the line of sight or, if the line of sight already through the Slave camera 602 is detected, in which direction the slave camera 602 must be moved to follow the line of sight. The hints may e.g. via overlays in the monitor image of the slave camera 602 happened. figure 8 shows a camera image 833 of the slave camera 602. The slave camera 602 is here still too high to detect the line of sight 603, s.d. only the Treetops of the objects 613 and 614 are detected. The arrow 809 shows the Direction in which the line of sight is reached on the shortest path. The Information could also be displayed on a control panel, e.g. in which Direction to move a joystick for camera control is or which of Control keys is to use. Is the slave camera according to this Information procedure to reach the camera image 823th The slave camera has detects the visual beam, the camera image 823 is identical to the camera image 723 of FIG. 7. The arrows 804 shown indicate the direction in which the camera has to be moved to drive off the line of sight. Instead of the Arrows can also be the line of sight as a line or in another suitable way to be displayed.

Figur 9 zeigt eine weitere besonders vorteilhafte Ausgestaltung. Zur Verdeutlichung sei die konkrete Aufgabe gegeben das Gesicht einer Person in hoher Auflösung zu erfassen. Figur 9 zeigt hierzu ein Szenario mit einer Masterkamera 901, einer Slavekamera 902 und drei Personen 982, 983 und 984 die sich auf einem Sehstrahl 903 der Masterkamera 901 an verschiedenen Positionen befinden. Bei der in den Figuren 6 und 7 beschriebenen Ausgestaltung wird der Zoom während des Verfahrens der Slavekamera 602 nicht angepasst, angedeutet durch die Gesichtsfelder 922, 923 und 924. Die entsprechenden Kamerabilder sind in Figur 10 zu sehen. Aufgrund der verschiedenen Entfernungen von der Slavekamera 902 wird die Person 982 im Kamerabild 1022 zu groß (Gesicht abgeschnitten), die Person 984 im Kamerabild 1024 zu klein erfasst. Die Person 983 befindet sich für den eingestellten Zoom zufällig in etwa in passender Entfernung (Kamerabild 1023).FIG. 9 shows a further particularly advantageous embodiment. to Clarification is the concrete task given the face of a person in high resolution. FIG. 9 shows a scenario with a Master camera 901, a slave camera 902 and three persons 982, 983 and 984 on a visual beam 903 of the master camera 901 at different Positions are located. In the described in Figures 6 and 7 Embodiment becomes the zoom during the process of the slave camera 602 not adapted, indicated by the fields of view 922, 923 and 924. The corresponding camera images can be seen in FIG. Due to the At different distances from the slave camera 902, the person 982 becomes Camera picture 1022 too big (face cut off), the person 984 im Camera image 1024 recorded too small. The person 983 is for the adjusted zoom at approximately the appropriate distance (camera image 1023).

Durch die Kenntnis der externen Kalibrierung und des Sehstrahls 903 kann die Entfernung der Slavekamera zum Sehstrahl 903 für jede Ausrichtung jedoch leicht berechnet und der Zoom entsprechend angepasst werden. Dadurch ergeben sich die Kamerabilder 1122, 1123 und 1124 der Slavekamera 902 in Figur 11. Über den ganzen Bereich des Sehstrahls 903 ist jetzt eine passende Auflösung gegeben. Mit der Entfernungsinformation kann auch der Fokus beim Verfahren der Kamera mitgeregelt werden, s.d. sich jederzeit ein scharfes Bild ergibt. Dies hat gegenüber einem normalen Autofokus den Vorteil, dass letzterer zum einen langsam ist, zum anderen bei bewegter Kamera und/oder bewegten Objekten nicht zuverlässig funktionieren muss. Für diese Ausgestaltung besonders vorteilhaft ist z.B. die Möglichkeit von Snapshots des gesuchten Objekts. In der Masterkamera 901 werde als Beispiel eine verdächtige Person in niedriger Auflösung detektiert. Durch die beschriebene Ausgestaltung kann mit Hilfe der Slavekamera 902 sehr effizient ein hochaufgelöster Snapshot des Gesichts der Person gemacht werden. Die Auslösung des Snapshots kann durch einen Benutzer erfolgen, durch einen automatischen Detektor (hier ein Gesichtsdetektor) oder halbautomatisch.Due to the knowledge of the external calibration and the sight ray 903, the However, the distance of the slave camera to the line of sight 903 for each orientation easily calculated and the zoom adjusted accordingly. Thereby result in the camera images 1122, 1123 and 1124 of the slave camera 902 in Figure 11. Over the whole area of the visual ray 903 is now a suitable Resolution given. With the distance information can also be the focus at Procedure of the camera are mitgeregelt, s.d. always a sharp picture results. This has the advantage over a normal autofocus that the latter is slow, on the other hand with a moving camera and / or moving objects does not have to work reliably. For this Embodiment is particularly advantageous, e.g. the possibility of snapshots of the searched object. In the master camera 901 will be an example detected suspicious person in low resolution. By the described Embodiment can be very efficient with the help of the slave camera 902 High-resolution snapshot of the person's face. The Triggering of the snapshot can be done by a user, by a automatic detector (here a face detector) or semi-automatic.

Im Falle eines großen Zoom, d.h. einer großen Entfernungssensibilität des Focus, kann die autoamtische Scharfstellung des Focus auf den Sehstrahl auch die Detektion des Objekts in der Slavekamera unterstützen. Oft ist die Anordung so, daß der Sehstrahl, bevor er auf das ausgewählte Objekt trifft, weit entfernt von anderen Objekten (durch die Luft) verläuft. Die Objekte, die in der Projektion in das Kamerabild der Slavekamera entlang des Sehstrahls abgebildet werden haben dann die ,falsche' Entfernung von der Slavekamera und werden nicht scharf abgebildet. Von der Masterkamera ausgehend das erste scharf abgebildete Objekt ist in diesem Fall das gesuchte Objekt.In the case of a large zoom, i. a great range sensitivity of the Focus, the auto focus can focus on the visual ray as well support the detection of the object in the slave camera. Often that is Arrangement so that the line of sight, before it hits the selected object, far away from other objects (through the air). The objects that are in the Projection into the camera image of the slave camera along the line of sight then the "wrong" distance from the slave camera has to be imaged and are not shown in focus. Starting from the master camera, the first sharply imaged object is in this case the searched object.

Allgemein kann auch in anderen Ausgestaltungen für jede Position auf dem Sehstrahl 303, 603 oder 903 die Entfernung von der Slavekamera 302, 602 oder 902 leicht durch Triangulation berechnet werden. Ist das Objekt von der Slavekamera auf dem Sehstrahl erfasst worden, kann genauso auch leicht durch Triangulation die Entfernung des Objekts von der Masterkamera 301, 601 oder 901 bestimmt werden. Diese Information ist generell zur automatischen Einstellung von Zoom und Fokus und für weitere Aufgaben nutzbar.General can also be used in other embodiments for any position on the Line of sight 303, 603 or 903 the distance from the slave camera 302, 602 or 902 can easily be calculated by triangulation. Is the object of the Slave camera has been detected on the visual ray, as well as easily by triangulation, the distance of the object from the master camera 301, 601 or 901. This information is generally automatic Adjustment of zoom and focus and can be used for further tasks.

In allen Ausgestaltungen kann die Detektion bzw. Verfolgung eines bewegten Objekts im Kamerabild der Masterkamera 301, 601 oder 901 auch kontinuierlich erfolgen. Der Sehstrahl 303, 603 oder 903 und die Steuerung der Slavekamera 302, 602 oder 902 werden dann automatisch kontinuierlich angepasst. In diesem Fall kann man die Suche sowohl für einen Benutzer als auch für automatische oder halbautomatische Detektoren weiter vereinfachen, da nicht mehr der ganze Sehstrahl abgesucht werden muss, sondern über die vorhergehende Position und Geschwindigkeit des Objekts die Suche stark einschränkbar ist.In all embodiments, the detection or tracking of a moving Object in the camera image of the master camera 301, 601 or 901 also continuously respectively. The sight beam 303, 603 or 903 and the slave camera control 302, 602 or 902 are then automatically adjusted continuously. In In this case you can search for both a user and for simplify automatic or semi-automatic detectors, not because more of the whole visual ray needs to be searched, but over the previous position and speed of the object the search strong can be limited.

Besonders vorteilhaft ist, wenn beim Verfahren der zweiten Kamera 02 entlang des Sehstrahls 03 der Focus automatisch so eingestellt wird, dass Objekte auf dem Sehstrahl scharf abgebildet werden.
Außerdem ist von Vorteil, wenn beim Verfahren der zweiten Kamera 02 entlang des Sehstrahls 03 das gesuchte Objekt dadurch automatisch detektiert wird, wobei es ausgehend von der ersten Kamera 01 bei automatisch auf den Sehstrahl 03 scharf eingestelltem Zoom das erste scharf abgebildete bzw. das am schärfsten abgebildete Objekt ist.It is particularly advantageous if, during the movement of the second camera 02 along the line of sight 03, the focus is automatically adjusted such that objects are sharply imaged on the line of sight.
In addition, it is advantageous if, during the process of the second camera 02 along the line of sight 03, the searched object is thereby automatically detected, whereby starting from the first camera 01 with automatically focused on the line of sight 03 zoom the first sharply imaged or the sharpest pictured object is.

Im Weiteren ist von Vorteil, wenn der Ein-Freiheitsgrad-Regler als Schieberegler oder Joystick oder in Form von Tasten realisiert wird, wobei eine Auslenkung des Joysticks die jeweilige Kamera auf dem Sehstrahl verfährt und das im normalen Betrieb zur Steuerung der zweiten Kamera 02 verwendete Eingabemedium für die Objekterfassungsaufgabe in der Weise umgestellt werden kann, dass es die Funktion zur Objekterfassung erfüllt.Furthermore, it is advantageous if the one-degree of freedom controller than Slider or joystick or in the form of keys is realized, with a Deflection of the joystick moves the respective camera on the line of sight and used in normal operation to control the second camera 02 Input medium for the object acquisition task changed in the way that it fulfills the object detection function.

In einer weiteren vorteilhaften Ausgestaltung der Erfindung ist die Masterkamera, wie in Figur 3 dargestellt, mit einer fokusierten Lichtquelle350 ausgestattet, z.B. einem Laser. Die Lichtquelle ist in ihrer Orientierung einstellbar, das Spektrum muss nicht im sichtbaren Bereich liegen. Die fokusierte Lichtquelle 350 wird möglichst dicht an der Masterkamera 301 montiert und kann so für einen ausgewählten Punkt 406 (Figur 4) entlang des zugehörigen Sehstrahls 303 orientiert werden. Der Strahl trifft dann auf das ausgewählte Objekt und beleuchtet dieses. Falls die Slavekamera 302 sensitiv für die verwendete Strahlung ist kann dies zur Detektion des Objekts durch die Slavekamera 302 dienen. Dies gilt insbesondere, falls die Strahlung über ihr Spektrum, ihre Intensität, über einen gepulsten Betrieb, über Kombinationen dieser oder andere Merkmale zu einem eindeutig detektierbaren Signal im Kamerabild der Slavekamera führt. Dadurch kann für einen Detektor die Erfassung des Objekts im Kamerabild der Slavekamera erleichtert werden, insbesondere falls entlang des eingeblendeten Sehstrahls 504 mehrere gleichartige Objekte sichtbar sind. Im Normalfall liegt nur eines dieser Objekte tatsächlich auf dem Welt-Sehstrahl 303 und wird daher durch die Lichtquelle markiert. Andere Objekte liegen nur in der Projektion des Kamerabilds auf dem Sehstrahl, wie etwa die Objekte 712-714 in Figur 7. Sie werden daher auch nicht von der Lichtquelle markiert. Dieses Vorgehen ist generell, d.h. auch bei den in den Figuren 6 und 9 beschriebenen Ausgestaltungen, anwendbar. Eine Besonderheit ergibt sich, falls die Lichtquelle mit einer Entfernungsmessung ausgestattet ist (Laserscanner). In diesem Fall ist die Objektentfernung direkt bekannt und die Slavekamera kann direkt auf das Objekt ausgerichtet werden. Besonders vorteilhaft ist es, wenn die fokussierte Lichtquelle mit einer Entfernungsmessvorrichtung gekoppelt ist, insbesondere in der Funktion eines Laserscanners, und die hierdurch gewonnene Entfernungsinformation verwendet wird, um die zweite Kamera 02 direkt auf ein Objekt auf dem Sehstrahl 03 in dieser Entfernung zu richten.In a further advantageous embodiment of the invention is the Master camera, as shown in Figure 3, with a focused light source 350 equipped, e.g. a laser. The light source is in its orientation adjustable, the spectrum does not have to be in the visible range. The Focused light source 350 is as close as possible to the master camera 301 and can thus be selected for a selected point 406 (FIG. 4) along the associated Sehstrahls 303 are oriented. The beam then hits the selected object and illuminate this. If the slave camera 302 sensitive for the radiation used this can be used to detect the object through the Slave camera 302 serve. This is especially true if the radiation is above it Spectrum, its intensity, via a pulsed operation, over combinations this or other features to a clearly detectable signal in Camera image of the slave camera leads. This allows for a detector the Capture the object in the camera image of the slave camera to be facilitated in particular if along the visual beam 504 more similar objects are visible. Normally, only one of these objects is located actually on the world-ray of sight 303 and is therefore due to the light source marked. Other objects are only in the projection of the camera image on the Sehstrahl, such as the objects 712-714 in Figure 7. They are therefore also not marked by the light source. This procedure is general, i. also at the embodiments described in Figures 6 and 9, applicable. A Special feature arises if the light source with a distance measurement equipped (laser scanner). In this case, the object distance is direct known and the slave camera can be aimed directly at the object. It is particularly advantageous if the focused light source with a Distance measuring device is coupled, in particular in the function of a Laser scanner, and the resulting distance information used to place the second camera 02 directly on an object on the Sight line 03 at this distance.

Eine weitere Ausgestaltung ist in Figur 12 dargestellt. Die Figur zeigt genauso wie Figur 4 ein Kamerabild der Masterkamera 301 aus Figur 3. Der eingeblendete Sehstrahl 1208 ist der zum Kameravektor der Slavekamera gehörige Sehstrahl 307 aus Figur 3 (bzw. die durch den Kameravektor definierte Gerade im allgemeinen Fall). Dies ermöglicht es einem Benutzer sofort die aktuelle Neigung (Tilt) der Slavekamera zu erkennen. Zur Handhabung von Multikamera-Systemen werden dem Benutzer oft Lagepläne des Areals auf einem Monitor angeboten, in denen die Kameras dargestellt sind. Da es sich bei den Lageplänen um Draufsichten handelt, ist es auch leicht durch eine entsprechende Symbolik den aktuellen Schwenk (Pan) einer Pan-Tilt-Zoom-Kamera anzuzeigen. Dies erleichtert dem Benutzer die Orientierung bei der Steuerung der Kamera. Schwieriger ist es auch die Neigung (Tilt) der Kamera in einer Weise darzustellen, die dem Benutzer die Orientierung in der Szene erleichtert. Durch die Einblendung des Kameravektors der Slavekamera bzw. des dazugehörigen Sehstrahls in das Kamerabild der Masterkamera ist dies leicht möglich. In Figur 12 ist z.B. deutlich zu sehen, dass die Slavekamera zu tief schaut, da der Kameravektor-Sehstrahl unterhalb des gesuchten Objekts 1206 verläuft. Bei bekannter Geländeform kann sogar der Auftreffpunkt des Sehstrahls 307, d.h. die von der Slavekamera 302 erfasste Position, im Kamerabild der Masterkamera markiert werden. Another embodiment is shown in FIG. The figure shows the same way like Figure 4 is a camera image of the master camera 301 of Figure 3. The Visual beam 1208 is the camera camera of the slave camera associated Sehstrahl 307 of Figure 3 (or through the camera sector defined straight line in the general case). This allows a user Immediately detect the current tilt of the slave camera. to Handling multi-camera systems will often give the user site maps of the area offered on a monitor in which the cameras are shown are. Since the site plans are top views, it is also easy by a corresponding symbolism the current pan of a pan-tilt-zoom camera display. This facilitates orientation for the user in the control of the camera. It is also more difficult the inclination (tilt) of Display camera in a way that gives the user orientation in the Scene relieved. By showing the camera camera of the slave camera or the corresponding visual beam in the camera image of the master camera is this is easily possible. In Fig. 12, e.g. clearly see that the slave camera looks too deep, as the camera sector's line of sight below the object sought 1206 runs. With known terrain form can even the impact of the Line of sight 307, i. the position detected by the slave camera 302, in Camera image of the master camera to be marked.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

Die erste oder die ersten beiden Ziffern der Bezugszeichen bezeichnen die Figuren-Nummer. Die letzten beiden Ziffern bedeuten in allen Figuren:

01
erste Kamera (Masterkamera)
02
zweite Kamera (Slavekamera)
03
ein Sehstrahl der Masterkamera in der Welt
04
ein Sehstrahl der Masterkamera, abgebildet in einem Kamerabild
05
Weltpunkt
06
Bildpunkt
07
Kameravektor (bzw. dessen Sehstrahl) der Slavekamera in der Welt
08
Kameravektor (bzw. dessen Sehstrahl) der Slavekamera abgebildet in einem Kamerabild
09
Pfeileinblendung im Kamerabild
11-16
Objekte in der Welt bzw. deren Abbildung in einem Kamerabild
22-24,33
Gesichtsfelder der Slavekamera oder dazugehörige Kamerabilder
43 40-42
SteuereinheitenEingabevorrichtung
43
Eingabeeinheiten
44,45
Monitor
50
gerichtete Lichtquelle
60
optisches Zentrum der Kamera
61
Kameravektor
62
Bildebene der Kamera
70,71
Begrenzungslinien des Überwachungsbereichs
82-84
Personen vor der Kamera
The first or the first two digits of the reference numerals designate the figure number. The last two digits in all figures mean:
01
first camera (master camera)
02
second camera (slave camera)
03
a line of sight of the master camera in the world
04
a line of sight of the master camera, shown in a camera image
05
world point
06
pixel
07
Camera vector (or its line of sight) of the slave camera in the world
08
Camera vector (or its visual beam) of the slave camera imaged in a camera image
09
Arrow display in the camera image
11-16
Objects in the world or their image in a camera image
22 to 24.33
Fields of view of the slave camera or associated camera images
43 40-42
Controller input device
43
input units
44.45
monitor
50
directed light source
60
optical center of the camera
61
camera vector
62
Image plane of the camera
70.71
Boundary lines of the surveillance area
82-84
People in front of the camera

Claims (19)

Verfahren zur Erfassung eines Objekts in einer Szene, insbesondere zu deren Überwachung, mit mindestens einer ersten Kamera (01) und mindestens einer zweiten orientierbaren Kamera (02), wobei im Kamerabild der ersten Kamera (01) ein Bildpunkt (06) und damit ein zugehöriger Weltpunkt (05) in der durch die erste Kamera (01) beobachteten Szene ausgewählt wird,
dadurch gekennzeichnet, dass
ein Sehstrahl (03) durch den ausgewählten Bildpunkt (06) bestimmt wird und die zweite Kamera (02) auf den Weltpunkt (05) ausgerichtet wird, indem eine Orientierung der zweiten Kamera (02) am Sehstrahl (03) erfolgt.Method for detecting an object in a scene, in particular for its monitoring, with at least one first camera (01) and at least one second orientable camera (02), wherein in the camera image of the first camera (01) a pixel (06) and thus an associated World point (05) is selected in the scene observed by the first camera (01),
characterized in that
a visual ray (03) is determined by the selected pixel (06) and the second camera (02) is aligned with the world point (05) by an orientation of the second camera (02) on the visual ray (03). Verfahren nach Anspruch 1,
dadurch gekennzeichnet, dass
der Sehstrahl (03) in das Kamerabild der zweiten Kamera (02) in geeigneter Weise eingeblendet wird, z.B. als durchgängige Linie, oder gestrichelte Linie und/oder halbtransparent oder farbig dargestellt wird.Method according to claim 1,
characterized in that
the visual ray (03) is superimposed in the camera image of the second camera (02) in a suitable manner, for example as a continuous line, or dashed line and / or semitransparent or colored. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
der Sehstrahl (03) von der Steuereinheit (41) der zweiten Kamera (02) auf Basis der von der Steuereinheit (40) der ersten Kamera (01) gelieferten Daten umgerechnet wird und die zweite Kamera (02) auf Basis dieser Daten von der Steuereinheit (41) der zweiten Kamera (02) auf den Weltpunkt (05) ausgerichtet wird oder der Sehstrahl (03) von der zentralen Steuereinheit (42) errechnet und eingeblendet wird.Method according to claim 1 or 2,
characterized in that
the visual beam (03) is converted by the control unit (41) of the second camera (02) on the basis of the data supplied by the control unit (40) of the first camera (01) and the second camera (02) is converted by the control unit on the basis of this data (41) of the second camera (02) is aligned with the world point (05) or the visual beam (03) is calculated and displayed by the central control unit (42). Verfahren nach einem der Ansprüche 1 bis 3,
dadurch gekennzeichnet, dass
der Sehstrahl (S) als die Gerade definiert wird, welche durch den ausgewählten Bildpunkt (06) und das optische Zentrum (60) der ersten Kamera (01) definiert wird. Method according to one of claims 1 to 3,
characterized in that
the visual ray (S) is defined as the straight line defined by the selected pixel (06) and the optical center (60) of the first camera (01). Verfahren nach einem der Ansprüche 1 bis 4,
dadurch gekennzeichnet, dass
die erste Kamera (01) als Masterkamera und die zweite Kamera (02) als Slavekamera verwaltet wird, wobei die erste Kamera (01) eine stationäre Kamera ist oder eine Pan-Kamera und/oder Tilt-Kamera und/oder Zoom-Kamera ist und/oder die erste Kamera (01) mit einem Fischaugenobjektiv, einem Weitwinkelobjektiv, einem Zoomobjektiv, oder Spiegeln ausgestattet ist oder als katadioptrische Kamera ausgebildet wird und/oder die zweite Kamera (02) eine Pan-Kamera und/oder Tilt-Kamera und/oder Zoom-Kamera ist und/oder die zweite Kamera (02) mit einer Bewegungseinheit ausgestattet wird, welche es ermöglicht die Orientierung des Gesichtsfelds der zweiten Kamera (02) einzustellen, so dass von der zweite Kamera (02) ein Bereich der zu überwachenden Szene überstrichen werden kann.Method according to one of claims 1 to 4,
characterized in that
the first camera (01) is managed as a master camera and the second camera (02) as a slave camera, wherein the first camera (01) is a stationary camera or a pan camera and / or tilt camera and / or zoom camera is and or the first camera (01) is equipped with a fisheye lens, a wide-angle lens, a zoom lens, or mirrors or is designed as a catadioptric camera and / or the second camera (02) is a pan camera and / or tilt camera and / or Zoom camera is and / or the second camera (02) is equipped with a movement unit, which makes it possible to adjust the orientation of the field of view of the second camera (02), so that of the second camera (02) covered an area of the scene to be monitored can be. Verfahren nach einem der Ansprüche 1 bis 5,
dadurch gekennzeichnet, dass
über die Einstelldaten der ersten Kamera (01) und dem Bildpunkt (06) und die Einstelldaten der zweiten Kamera (02) die Entfernung des Weltpunktes (05) von der ersten Kamera (01) und/oder der zweiten Kamera (02) errechnet wird.Method according to one of claims 1 to 5,
characterized in that
the distance of the world point (05) from the first camera (01) and / or the second camera (02) is calculated via the setting data of the first camera (01) and the pixel (06) and the setting data of the second camera (02). Verfahren nach einem der Ansprüche 1 bis 6,
dadurch gekennzeichnet, dass
der Bildpunkt (06) über einen Detektor ausgewählt wird, der ein Benutzer, ein automatischer Detektor oder ein halbautomatischer Detektor sein kann und bei einem automatischen Detektor die Darstellung auf einem Monitor entfallen kann und/oder der Objektdetektor als Motion-Detektion-Einheit, Farbmerkmale-Erkennungseinheit, Personen-, KFZ-, oder Gesichtserkennungseinheit realisiert wird und/oder der Objektdetektor in der Steuereinheit (40) der ersten Kamera (01), in der zentralen Steuereinheit (42) oder verteilt in beiden Steuereinheiten realisiert wird. Method according to one of claims 1 to 6,
characterized in that
the pixel (06) is selected via a detector, which may be a user, an automatic detector or a semi-automatic detector and in an automatic detector, the display on a monitor can be omitted and / or the object detector as a motion detection unit, Farbmerkmale- Detection unit, passenger, motor vehicle, or face recognition unit is realized and / or the object detector in the control unit (40) of the first camera (01), in the central control unit (42) or distributed in both control units is realized. Verfahren nach einem der Ansprüche 1 bis 7,
dadurch gekennzeichnet, dass
der Zoom und die Orientierung und bei Bedarf auch der Focus der zweiten Kamera (02) derartig ausgewählt wird, dass nach der Markierung des Bildpunktes (06) im Kamerabild der ersten Kamera (01) der dazugehörige Sehstrahl (03) im Kamerabild der zweiten Kamera (02) in etwa mittig und möglichst scharf erfasst wird und der vorgegebene Überwachungsbereich entlang des Sehstrahls über seine ganzen Länge erfasst wird und/oder ein Warnsignal generiert wird, wenn der zum ausgewählten Bildpunkt (06) gehörige Sehstrahl (03) von der zweiten Kamera (02) nicht über den ganzen vorgegebenen Überwachungsbereich erfasst werden kann.Method according to one of claims 1 to 7,
characterized in that
the zoom and the orientation and, if necessary, the focus of the second camera (02) is selected such that after the marking of the pixel (06) in the camera image of the first camera (01) the associated visual beam (03) in the camera image of the second camera ( 02) is detected approximately centrally and as sharply as possible, and the predetermined monitoring area along the line of sight is detected over its entire length and / or a warning signal is generated if the line of sight (03) belonging to the selected pixel (06) is detected by the second camera (02 ) can not be detected over the entire specified monitoring area. Verfahren nach einem der Ansprüche 1 bis 8,
dadurch gekennzeichnet, dass
in das Kamerabild der von der ersten Kamera (01) erfassten Szene der zum Kameravektor der zweiten Kamera (02) gehörende Sehstrahl (07) eingeblendet wird, um die Orientierung der zweiten Kamera (02) anzuzeigen und/oder die Steuerung der zweiten Kamera (02) zu unterstützen und/oder der Auftreffpunkt des zum Kameravektors der zweiten Kamera (02) gehörenden Sehstrahls (07) im Kamerabild der ersten Kamera (01) markiert wird, falls die Geländeform der überwachten Szene bekannt ist.Method according to one of claims 1 to 8,
characterized in that
in the camera image of the detected by the first camera (01) scene of the camera camera of the second camera (02) associated visual beam (07) is displayed to indicate the orientation of the second camera (02) and / or the control of the second camera (02 ) and / or the point of impact of the visual beam (07) belonging to the camera sector of the second camera (02) is marked in the camera image of the first camera (01), if the terrain shape of the monitored scene is known. Verfahren nach einem der Ansprüche 1 bis 9,
dadurch gekennzeichnet, dass
in das Kamerbild der zweiten Kamera (02) ein Richtungshinweis, insbesondere in Form eines Pfeils, eingeblendet wird in welcher Richtung die zweite Kamera (02) verfahren werden muss, damit der Sehstrahl (03) erfasst wird.Method according to one of claims 1 to 9,
characterized in that
in the camera image of the second camera (02) a direction indicator, in particular in the form of an arrow, is displayed in which direction the second camera (02) must be moved so that the visual beam (03) is detected. Verfahren nach einem der Ansprüche 1 bis 10,
dadurch gekennzeichnet, dass
falls sich der Sehstrahl (03) bereits im Kamerabild der zweiten Kamera (02) befindet, der Sehstrahl (03) in dieses Kamerabild eingeblendet wird, insbesondere in Form zweier Pfeile entgegengesetzter Richtung oder einer Linie, und so angezeigt wird, in welcher Richtung die zweite Kamera (02) entlang des Sehstrahls (03) zu bewegen ist.Method according to one of claims 1 to 10,
characterized in that
if the line of sight (03) is already in the camera image of the second camera (02), the line of sight (03) is superimposed on this camera image, in particular in the form of two opposite direction arrows or a line, thus indicating in which direction the second Camera (02) along the visual beam (03) is to move. Verfahren nach einem der Ansprüche 1 bis 11,
dadurch gekennzeichnet, dass
ein Ein-Freiheitsgrad-Regler angeboten wird der die Orientierung der zweiten Kamera (02) entlang des Sehstrahls (03) steuert.Method according to one of claims 1 to 11,
characterized in that
a one-degree-of-freedom controller is offered which controls the orientation of the second camera (02) along the line of sight (03). Verfahren einem der Ansprüche 1 bis 12,
dadurch gekennzeichnet, dass
eine Objektgröße vorgegeben wird und der Zoom der zweiten Kamera (02) beim Verfahren entlang des Sehstrahls (03) automatisch so eingestellt wird, dass Objekte dieser Größe auf dem Sehstrahl in passender Größe im Kamerabild der zweiten Kamera (02) erfasst werden und/oder beim Verfahren der zweiten Kamera (02) entlang des Sehstrahls (03) der Focus automatisch so eingestellt wird, dass Objekte auf dem Sehstrahl scharf abgebildet werden.Method according to one of claims 1 to 12,
characterized in that
an object size is specified and the zoom of the second camera (02) during the process along the line of sight (03) is automatically adjusted so that objects of this size on the visual beam in the size of the camera image of the second camera (02) are detected and / or Method of the second camera (02) along the visual beam (03), the focus is automatically adjusted so that objects are sharply imaged on the visual beam. Verfahren nach einem der Ansprüche 1 bis 13,
dadurch gekennzeichnet, dass
beim Verfahren der zweiten Kamera (02) entlang des Sehstrahls (03) das gesuchte Objekt dadurch automatisch detektiert wird, wobei es ausgehend von der ersten Kamera (01) bei automatisch auf den Sehstrahl (03) scharf eingestelltem Zoom das erste scharf abgebildete bzw. das am schärfsten abgebildete Objekt ist und/oder der Ein-Freiheitsgrad-Regler als Schieberegler oder Joystick oder in Form von Tasten realisiert wird, wobei eine Auslenkung des Joysticks die jeweilige Kamera auf dem Sehstrahl verfährt.Method according to one of claims 1 to 13,
characterized in that
During the process of the second camera (02) along the line of sight (03), the searched object is thereby automatically detected, whereby starting from the first camera (01) the zoom is automatically focused on the line of sight (03) is most sharply imaged object and / or the one-degree of freedom controller is realized as a slider or joystick or in the form of keys, with a deflection of the joystick moves the respective camera on the line of sight. Verfahren nach einem der Ansprüche 1 bis 14,
dadurch gekennzeichnet, dass
das im normalen Betrieb zur Steuerung der zweiten Kamera (02) verwendete Eingabemedium für die Objekterfassungsaufgabe in der Weise umgestellt werden kann, dass es die Funktion zur Objekterfassung erfüllt und/oder ein Objekt in der zweiten Kamera (02) dadurch detektiert wird, dass an der ersten Kamera (01) eine fokussierte Lichtquelle mit einstellbarer Orientierung angebracht wird, die entlang des zum Bildpunkt (06) gehörenden Sehstrahls (03) ausgerichtet wird und durch die das Objekt beleuchtet und somit markiert wird und/oder eine eindeutige Detektion durch die Wellenlänge des Lichts der Lichtquelle und/oder einem gepulsten Betrieb der Lichtquelle erleichtert wird und/oder die fokussierte Lichtquelle mit einer Entfernungsmessvorrichtung gekoppelt ist, insbesondere in der Funktion eines Laserscanners, die hierdurch gewonnene Entfernungsinformation verwendet wird, um die zweite Kamera (02) direkt auf ein Objekt auf dem Sehstrahl (03) in dieser Entfernung zu richten.Method according to one of claims 1 to 14,
characterized in that
the object recording task input medium used in the normal operation for controlling the second camera (02) can be changed over so as to satisfy the object detection function and / or to detect an object in the second camera (02) by detecting the object the first camera (01) a focused orientation light source is mounted, which is aligned along the visual beam (03) belonging to the pixel (06) and through which the object is illuminated and thus marked and / or a unique detection by the wavelength of the light the light source and / or a pulsed operation of the light source is facilitated and / or the focused light source is coupled to a distance measuring device, in particular in the function of a laser scanner, the distance information thus obtained is used to the second camera (02) directly on an object to the line of sight (03) at this distance. Vorrichtung zur Erfassung eines Objekts in einer Szene bestehend aus mindestens einer ersten Kamera (01) und mindestens einer zweiten orientierbaren Kamera (02), wobei der ersten Kamera (01) eine erste Steuereinheit (40) und der zweiten orientierbaren Kamera (02) eine zweite Steuereinheit (41) zugeordnet ist und über eine zentrale Steuereinheit (42) mit zugehörigen Eingabeeinheiten (43) im Kamerabild der ersten Kamera (01) ein Bildpunkt (06) und damit ein zugehöriger Weltpunkt (05) in der durch die erste Kamera (01) erfassten Szene auswählbar ist,
dadurch gekennzeichnet, dass
die zentrale Steuereinheit (42) einen Sehstrahl (03) beginnen von der ersten Kamera (01) zum Weltpunkt (05) berechnet und anhand dieses Sehstrahls (03) die zweite Steuereinheit (41) die zweite Kamera (02) ausgerichtet und auf den Weltpunkt (05) ausrichtet, indem sich zweite Steuereinheit (41) die zweite Kamera (02) am Sehstrahl (03) orientiert.Device for detecting an object in a scene consisting of at least one first camera (01) and at least one second orientable camera (02), wherein the first camera (01) has a first control unit (40) and the second orientable camera (02) has a second Control unit (41) is assigned and via a central control unit (42) with associated input units (43) in the camera image of the first camera (01) a pixel (06) and thus an associated world point (05) in the by the first camera (01) captured scene is selectable,
characterized in that
the central control unit (42) calculates a line of sight (03) from the first camera (01) to the world point (05) and, based on this line of sight (03), the second control unit (41) aligns the second camera (02) with the world point ( 05) aligns by second control unit (41) the second camera (02) oriented on the visual beam (03). Vorrichtung nach Anspruch 16,
dadurch gekennzeichnet, dass
die zweite Steuereinheit (41) der zweiten Kamera (02) den Sehstrahl (03) in die von der zweiten Kamera (02) erfassten Szene einblendet und den Sehstrahl (03) als durchgängige Linie, oder gestrichelte Linie und/oder semi-transparent oder farbig dargestellt, und der Sehstrahl (03) von der zweiten Steuereinheit (41) der zweiten Kamera (02) auf Basis der von einer ersten Steuereinheit (40) der ersten Kamera (01) gelieferten Daten errechnet.Device according to claim 16,
characterized in that
the second control unit (41) of the second camera (02) displays the line of sight (03) in the scene detected by the second camera (02) and the line of sight (03) as a continuous line, or dashed line and / or semi-transparent or colored and the visual beam (03) is calculated by the second control unit (41) of the second camera (02) on the basis of the data supplied by a first control unit (40) of the first camera (01). Vorrichtung nach Anspruch 16 oder 17,
dadurch gekennzeichnet, dass
die erste Kamera (01) eine stationäre Kamera und/oder orientierbare Kamera und/oder die erste Kamera (01) eine Masterkamera und die zweite Kamera (02) eine der Masterkamer zugehörige Slavekamera ist und/oder die erste Kamera (01) eine Pan-Kamera und/oder eine Tilt-Kamera und/oder eine Zoom-Kamera ist und/oder die erste Kamera (01) mit einem Fischaugenobjektiv, einem Weitwinkelobjektiv, einem Zoomobjektiv, oder Spiegeln ausgestattet oder als katadioptrische Kamera ausgebildet ist und/oder die zweite Kamera (02) eine Pan-Kamera und/oder Tilt-Kamera und/oder Zoom-Kamera ist und/oder die zweite Kamera (02) eine Bewegungseinheit aufweist, welche es ermöglicht die Orientierung des Gesichtsfelds der zweiten Kamera (02) einzustellen, so dass die zweite Kamera (02) einen Bereich der zu überwachenden Szene überstreichen kann und/oder die zentrale Steuereinheit (42) anhand der Einstelldaten der ersten Kamera (01) und der zweiten Kamera (02) die Entfernung des Weltpunktes (05) von der ersten Kamera (01) und/oder der zweiten Kamera (02) errechnet.Device according to claim 16 or 17,
characterized in that
the first camera (01) is a stationary camera and / or orientable camera and / or the first camera (01) is a master camera and the second camera (02) is a master camera associated slave camera and / or the first camera (01) is a pan camera Camera and / or a tilt camera and / or a zoom camera is and / or the first camera (01) equipped with a fisheye lens, a wide-angle lens, a zoom lens, or mirrors or designed as catadioptric camera and / or the second camera (02) is a pan camera and / or tilt camera and / or zoom camera and / or the second camera (02) has a movement unit, which makes it possible to adjust the orientation of the field of view of the second camera (02), so that the second camera (02) can cover an area of the scene to be monitored and / or the central control unit (42) based on the setting data of the first camera (01) and the second camera (02) the distance of the world point (05) from the first Camera (01) and / or the second camera (02) calculated. Vorrichtung nach einem der Ansprüche 16 bis 18,
dadurch gekennzeichnet, dass
die zentrale Steuereinheit (42) die von der ersten Kamera (01) aufgenommene Szene auf einer der ersten Kamera (01) zugeordneten Anzeigevorrichtung (44) dargestellt, der Weltpunkt (05) von eine Detektor gewählt wird und/oder die zentrale Steuereinheit (42) den Sehstrahl (03) auf einer der zweiten Kamera (02) zugeordneten Anzeigevorrichtung (45) in die von der zweiten Kamera (02) erfassten Szene einblendet und/oder die Auswahl des Bildpunktes (06) automatisch über einen Objektdetektor erfolgt und/oder der Objektdetektor eine Motion-Detektion-Einheit, eine Farbmerkmale-Erkennungseinheit oder eine Gesichtserkennungseinheit ist und/oder der Objektdetektor in der ersten Steuereinheit (40) der ersten Kamera (01) realisiert ist.Device according to one of claims 16 to 18,
characterized in that
the central control unit (42) displays the scene recorded by the first camera (01) on a display device (44) associated with the first camera (01), the world point (05) is selected by a detector and / or the central control unit (42) the visual beam (03) on one of the second camera (02) associated display device (45) fades into the scene detected by the second camera (02) and / or the selection of the pixel (06) automatically via an object detector and / or the object detector a motion detection unit, a color feature recognition unit or a face recognition unit is and / or the object detector in the first control unit (40) of the first camera (01) is realized.
EP03029530A 2002-12-22 2003-12-20 Control of a multicamera system Expired - Lifetime EP1434184B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10261146 2002-12-22
DE10261146A DE10261146A1 (en) 2002-12-22 2002-12-22 Control of a multi-camera system

Publications (3)

Publication Number Publication Date
EP1434184A2 true EP1434184A2 (en) 2004-06-30
EP1434184A3 EP1434184A3 (en) 2004-11-17
EP1434184B1 EP1434184B1 (en) 2008-03-05

Family

ID=32404310

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03029530A Expired - Lifetime EP1434184B1 (en) 2002-12-22 2003-12-20 Control of a multicamera system

Country Status (4)

Country Link
EP (1) EP1434184B1 (en)
AT (1) ATE388457T1 (en)
DE (2) DE10261146A1 (en)
ES (1) ES2301752T3 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509257A (en) * 2020-12-29 2021-03-16 鼎力联合（深圳）高新技术有限公司 Beam scanning defense system and use method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004034663A1 (en) * 2004-07-17 2006-02-09 Siemens Ag Follow camera control
DE102016119241B4 (en) 2016-10-10 2018-08-09 Markus Blömer Operation determining device for determining an operation to be performed by a device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994017636A1 (en) * 1993-01-29 1994-08-04 Bell Communications Research, Inc. Automatic tracking camera control system
DE19639728A1 (en) * 1996-09-26 1998-04-09 Siemens Ag Video monitoring unit arrangement
US20020102101A1 (en) * 2001-01-30 2002-08-01 Philips Electronics North America Corporation Camera system and method for operating same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994017636A1 (en) * 1993-01-29 1994-08-04 Bell Communications Research, Inc. Automatic tracking camera control system
DE19639728A1 (en) * 1996-09-26 1998-04-09 Siemens Ag Video monitoring unit arrangement
US20020102101A1 (en) * 2001-01-30 2002-08-01 Philips Electronics North America Corporation Camera system and method for operating same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509257A (en) * 2020-12-29 2021-03-16 鼎力联合（深圳）高新技术有限公司 Beam scanning defense system and use method thereof

Also Published As

Publication number Publication date
DE50309311D1 (en) 2008-04-17
DE10261146A1 (en) 2004-07-01
EP1434184A3 (en) 2004-11-17
ES2301752T3 (en) 2008-07-01
EP1434184B1 (en) 2008-03-05
ATE388457T1 (en) 2008-03-15

Similar Documents

Publication Publication Date Title
DE69429028T2 (en) All-round visibility surveillance system with motionless camera
EP2464098B1 (en) Vicinity presentation device, a vehicle with such a vicinity presentation device and method for displaying a panorama image
DE69526397T2 (en) Closed TV surveillance system with mobile camera and automatic target acquisition
DE60020420T2 (en) Presentation situation display system
DE69607631T2 (en) METHOD AND METHOD FOR THE AUTOMATIC AND ELECTRONIC INSERTING OF ADVERTISING SIGNS IN A VIDEO IMAGE
DE10152883B4 (en) tracking device
EP2880853B1 (en) Apparatus and method for determining the distinct location of an image-recording camera
EP2174188B1 (en) Apparatus for the automatic positioning of coupled cameras for three-dimensional image representation
EP1614080B1 (en) Monitoring device
DE19836681A1 (en) Stereoscopic image pick-up and reproducing system
WO2007104367A1 (en) Video monitoring system
EP3534210B1 (en) Focus adjustment display unit
EP0445334A1 (en) Method of intruder detection
DE102005055879A1 (en) Air Traffic guide
DE69721520T2 (en) System with a photosensor, in particular for time measurement in competitions, and setting method for aligning such a system to a finish line
EP2831839B1 (en) Method for automatically operating a monitoring system
EP1434184B1 (en) Control of a multicamera system
DE10049366A1 (en) Security area monitoring method involves using two image detection units whose coverage areas overlap establishing monitored security area
EP1912431A2 (en) Method and device for actuating a pivotable camera
WO2020061604A1 (en) Method for setting the focus of a film camera
EP2884746A1 (en) Monitoring camera device with depth information determination
DE19956266A1 (en) Monitoring system
EP3185213B1 (en) Method for creating a depth map by means of a camera
EP1455525A1 (en) Method and device for recording videodata
DE19827835B4 (en) Image transmission method and apparatus

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

17P Request for examination filed

Effective date: 20041124

AKX Designation fees paid

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20060703

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 50309311

Country of ref document: DE

Date of ref document: 20080417

Kind code of ref document: P

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2301752

Country of ref document: ES

Kind code of ref document: T3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080805

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080605

ET Fr: translation filed
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

26N No opposition filed

Effective date: 20081208

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080605

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

BERE Be: lapsed

Owner name: FUNKWERK PLETTAC ELECTRONIC G.M.B.H.

Effective date: 20081231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081231

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081231

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081231

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080906

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080606

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20130117

Year of fee payment: 10

Ref country code: ES

Payment date: 20121226

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20121218

Year of fee payment: 10

REG Reference to a national code

Ref country code: NL

Ref legal event code: V1

Effective date: 20140701

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20140829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131231

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20150327

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131221

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 50309311

Country of ref document: DE

Owner name: FUNKWERK VIDEO SYSTEME GMBH, DE

Free format text: FORMER OWNER: FUNKWERK PLETTAC ELECTRONIC GMBH, 90766 FUERTH, DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20171117

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20171221

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20171229

Year of fee payment: 15

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50309311

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20181220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190702

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181220