EP3724677A1 - 3-d sensor system having scene lighting that depends on a solid angle - Google Patents

3-d sensor system having scene lighting that depends on a solid angle

Info

Publication number
EP3724677A1
EP3724677A1 EP18826220.8A EP18826220A EP3724677A1 EP 3724677 A1 EP3724677 A1 EP 3724677A1 EP 18826220 A EP18826220 A EP 18826220A EP 3724677 A1 EP3724677 A1 EP 3724677A1
Authority
EP
European Patent Office
Prior art keywords
light
scene
sensor system
illumination
illumination light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP18826220.8A
Other languages
German (de)
French (fr)
Inventor
Urs Hunziker
Johannes Eckstein
Beat Wyss
Christian Seiler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bircher Reglomat AG
Original Assignee
Bircher Reglomat AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bircher Reglomat AG filed Critical Bircher Reglomat AG
Publication of EP3724677A1 publication Critical patent/EP3724677A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4918Controlling received signal intensity, gain or exposure of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4868Controlling received signal intensity or exposure of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813Housing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects

Definitions

  • the present invention relates to a sensor system and a method for three-dimensional acquisition of a scene based on transit time measurements. Furthermore, the present invention relates to several uses of such
  • Actuators operated closure body used, which facilitate the handling of the respective closure body for operators or automatically operated without any action, for example, when an object to be passed to the opening passes into the region of the opening.
  • Such an opening may, for example, be a passageway in a building.
  • a closure body may be, for example, a door or a gate.
  • such a sensor system may cause automatic opening of the closure body or opening.
  • a sensor system or a data processing device connected downstream of such a sensor system uses known methods of image processing
  • a face recognition for example, a face recognition.
  • a 3D sensor system for the field of application of the monitoring of automatically opening doors and / or gates, which is based on the principle of transit time measurement of light beams emitted by illumination sources and after an at least partial reflection or 180 ° Backscatter be detected by a light receiver.
  • Such sensor systems are commonly referred to as "time-of-flight” (TOF) sensor systems.
  • TOF sensor systems have the disadvantage that with
  • the intensity of the (backscattered) measuring light to be detected by a light receiver of the TOF sensor is weakened in two respects. In the case of a punctiform illumination light source without a special focus, it scales
  • Attenuation of the illumination light emitted by the illumination sources with l / d / 2, where d is the distance to the illumination light source.
  • d is the distance to the illumination light source.
  • Illumination light is scattered isotropically, perceived as a point light source. As a result, in this case, this leads to a l / d 'scaling of the intensity of the
  • the intensity attenuation is correspondingly lower, but still contributes to a significant loss of light output. This in turn leads to a correspondingly poor energy efficiency of a TOF sensor system.
  • the sensor system includes (a) a lighting device for illuminating the scene
  • Illumination light (B) a measuring device (BL) for receiving measuring light, which is at least partially backscattered by at least one object contained in the scene illumination light, and (b2) for measuring
  • the illumination device is configured such that an illumination intensity of the illumination light depends on the solid angle of the beam path of the illumination light, so that a distance-based intensity loss of the illumination light and the measurement light is at least partially compensated.
  • the described sensor system which is a so-called Time Of Flight (TOF)
  • Sensor system is, it is based on the knowledge that by a variable in terms of intensity illumination of the scene to be detected optimal
  • Lighting can be achieved, which in the result leads to that of all sub-areas of the scene received measuring light in terms of its intensity is at least approximately equal. As a result, it can be avoided that there are underexposed and / or overexposed subregions of the measurement light in an image of the detected scene.
  • the characteristic of the illumination light can thus be adjusted so that the intensity is always just as high as it is for a reliable detection of the respective solid angle range
  • Lighting only requires as much energy as is required, so that the described sensor system is characterized in the result by a good energy efficiency.
  • criteria for reliable detection over time or with the solid angle may vary.
  • a particularly reliable detection in a region of the closing edge of a closing sliding door may be required and be ensured by a suitable illumination angle dependent on the illumination angle.
  • illumination light in this document means those electromagnetic waves which are emitted by a light source of the illumination device and strike the relevant object of the scene.
  • the “measuring light” are the backscattered by or on the object electromagnetic waves, which from the measuring device or a
  • the term "scene” may in particular be understood to mean that spatial area which is optically detected by the sensor system. Objects in the scene are recognized by a suitable image analysis.
  • the data processing device can make use of known methods for image evaluation and / or image analysis.
  • Data processing device can therefore be a special
  • object can be understood as meaning any spatially physical structure which has a surface texture which leads to an at least partial reflection or scattering of illumination light and is therefore visible to the measuring device by the resulting measurement light.
  • the object may be an object such as a motor vehicle or a living being such as a human.
  • the object may be in relation to that
  • Sensor system be static or dormant object. Furthermore, the object may also move within, leave or enter the scene.
  • characteristic of a scene can be understood as the entirety of all spatial structures which are detected by the sensor system. In this case, some structures can be recognized as being relevant and other structures as being less or even irrelevant by the data processing device by means of image processing and / or image recognition.
  • distance-based loss of intensity can mean the one
  • Lighting light beams is caused.
  • this loss scales with l / d ⁇ , where d is the
  • Beam shaping for example, focusing, the illumination light, the measuring light and / or in a non-isotropic scattering of the illumination light with a preferred emission of the measuring light in the direction of
  • the "distance-based intensity loss” is correspondingly lower, but in practice still represents a significant loss, which reduces the energy efficiency of a TOF sensor. According to the invention, these losses are at least partially reduced or compensated by a suitable room-angle-dependent intensity of the illumination light.
  • optical and / or “light” may refer to electromagnetic waves having a particular wavelength or frequency or a particular spectrum of wavelengths or frequencies.
  • the electromagnetic waves used can be assigned to the spectral range visible to the human eye.
  • electromagnetic waves associated with the ultraviolet (UV) or infrared (IR) spectral regions may also be used.
  • the IR spectral range can extend into the long-wave IR range with wavelengths between 3.5 pm to 15 pm, which are determined by means of the
  • Light receiver of the sensor can be detected.
  • Intensity distribution of the illumination light is not only possible for TOF sensor systems that illuminate the whole or at least larger portions of the scene simultaneously.
  • the compensation according to the invention can also profitably be used in TOF sensor systems, which scan the scene sequentially with an illumination light beam, for example a laser beam.
  • the illumination device is configured to provide the illumination light with a spatial intensity distribution which at least approximately compensates for an edge light drop.
  • the edge light drop is a natural edge light drop, according to which a brightness in an image when a uniformly bright subject is imaged by a lens decreases by a factor of cos'M from that in the center of the image.
  • Measuring device can be used.
  • the compensation of the natural marginal light drop described here contributes greatly to the improvement of the light intensity ratios.
  • the compensation of the natural Randlichtabfalls by a suitable space angle-dependent distribution of the illumination intensity may be at least 30%, preferably 50%, more preferably 80% and even more preferably 90% or even 95%.
  • Lighting device to control such that a characteristic of the illumination light, which describes the dependence of the illumination intensity of the illumination light of the solid angle, during a operation of the sensor system is dynamically changeable.
  • Lighting light can be one and the same scene at different
  • Illumination conditions are recorded several times.
  • different data sets of one and the same scene are available to the data processing device, so that by means of a suitable method of image analysis (by the data processing device) that data record for determining the three-dimensional characteristic of the scene can be used, which reproduces the scene most accurately.
  • an optimal lighting characteristic can also be determined according to the "try-and-error" principle or by other statistical optimization procedures. This can be done dynamically during a real operation of the sensor system or as part of a calibration by means of a detection of suitable reference objects.
  • Lighting characteristics recorded 3D images of the scene are processed together so that a comprehensive data set is available for a final determination of the 3D characteristic of the scene.
  • different partial areas of the scene can be characterized in that for a first partial area a first partial data record recorded in a first illumination characteristic and for a second partial area of the second partial data set recorded for a second illumination characteristic for the determination of the
  • Lighting light characteristic are assigned.
  • Data processing device coupled to the illumination light controller and configured to evaluate the determined three-dimensional characteristic of the scene and based on a result of this evaluation to change the characteristic of the illumination light. Vividly, the way the scene depends on one
  • Scene detection is dependent on the angle of illumination illuminated by the illumination device, of measurement and evaluation results, which have been determined from a previous scene detection.
  • the characteristic of the lighting becomes so dynamically on the basis of results of a
  • Appropriate control of the lighting device may depend on current environmental conditions resulting in the result of
  • Such environmental conditions may be weather conditions such as the presence of rain, snow, hail, fog, smoke, suspended particles, etc. in the scene.
  • the result of the evaluation depends on the optical scattering behavior of at least one object contained in the scene. This has the advantage that in addition to the distance-based
  • Compensation also an optionally existing different scattering behavior and / or reflection behavior of different objects in the scene is taken into account, so that the measuring light impinges with an at least approximately spatially uniform intensity distribution on a light receiver of the measuring device.
  • a brightness which is as uniform as possible over the light-sensitive surface of the light receiver favors precise distance measurement by the described TOF sensor system.
  • Lighting device configured to control the characteristic of the illumination light in response to an external control signal.
  • the control signals can via a corresponding data input of the
  • the control of the illumination device can then be carried out by the above-described illumination light control unit of the sensor system.
  • a control or adaptation of the illumination characteristic can therefore not (only) depend on the information generated in the context of the TOF measurement or the results of the scene evaluation. According to the embodiment described here, a suitable adaptation of the illumination characteristic
  • external control signals can be indicative of all features and / or states which have an influence on the backscattering behavior of the
  • Such a feature is, for example, a (color) change of an object to be detected and / or an object newly entering or leaving the scene, which object
  • the characteristic of the illumination light is determined by at least one of the following features: (a) wavelength, (b) spectral intensity distribution, (c) polarization direction, and (d)
  • the wavelength, frequency or color of the illumination light can by a suitable control of spectrally different light elements, in particular LEDs with different colors, varies or to the
  • the polarization direction of the illumination light can in a known manner, for example by the
  • Illumination light source for spatially scanning the scene with a
  • Illumination light sources which are in particular individually controllable and in each case assigned to a specific solid angle region of the scene, and / or (d) a planar illumination light source, in particular with a luminous intensity which is not homogeneous over the surface.
  • a scanning the scene laser beam can be directed in a known manner via two rotatable mirrors with mutually non-parallel and preferably perpendicular to each other oriented axes of rotation to each illuminated point of the scene.
  • a (dynamically adaptive) deflection can also non-mechanical optical elements such as diffractive
  • Optical elements are used.
  • the deflection can in particular by the illumination light control device described above being controlled.
  • the at least approximately punctiform illumination light source may be a (sufficiently strong) semiconductor diode, for example a laser or light emitting diode.
  • a (sufficiently strong) semiconductor diode for example a laser or light emitting diode.
  • Beam shaping systems in particular lens systems are used.
  • suitable optical elements for beam deflection are used.
  • Beam splitting and / or beam merge can be used. Also DOEs can be used advantageously.
  • the plurality of illumination light sources which are also in particular laser or light-emitting diodes, can be controlled (in particular individually) by the illumination light control device described above. This advantageously allows an adaptively controlled or even regulated adjustment of the characteristic of the illumination light.
  • a flat light source can also be the source for a spatially-dependent, non-homogeneous intensity distribution. If it is a spatially homogeneously illuminated surface, suitable optical elements for
  • Beam deflection, beam splitting, beam merging and / or beam shaping can be used to realize the described spatial angle-dependent uneven illumination of the scene.
  • Lighting device at least one diffractive or refractive optical element which is configured, the space angle-dependent
  • the term diffraction is used in this context generally designates the spatial deflection of an electromagnetic wave at structural obstacles. Such obstacles may be an edge, a hole or a one-dimensional, a two-dimensional or even a three-dimensional grid.
  • the diffractive optical element can be, for example and preferably, a DOE, which advantageously has a dynamic adaptation or adaptation of the illumination characteristic during the
  • refraction refers to the change in the propagation direction of a wave due to a spatial change in its propagation velocity, which is specific to light waves through the
  • Refractive index n of a medium is described.
  • Lighting device configured to provide the illumination light with a deviating beam cross section of a circular shape. This has the advantage that in scenes which are "not round", inadequate illumination of corner areas of the scene can be avoided. An inadequate
  • the illumination light has a rectangular beam cross section.
  • the beam cross-section is adapted to achieve as homogeneous as possible illumination to the shape of the scene to be detected.
  • a suitable shape of the beam cross section can be realized not only by a corresponding shaping of the luminous area of the illumination device, the beam cross section can also be adjusted by optical components such as mirrors and refractive optical elements (eg lens system) in a suitable manner become. Diffractive optical elements (DOEs) can also be used, which optionally even allow a dynamic and / or scene-dependent shaping of the beam cross-section.
  • DOEs diffractive optical elements
  • DLP digital light processing
  • MEMS microelectromechanical systems
  • Measuring device on a light receiver with a plurality of pixels for receiving the measuring light and coupled to the light receiver
  • a light receiver control device wherein the light receiver control device and the light receiver are configured such that in a modified operation of the sensor system at least two pixels of the plurality of pixels are combined to form a higher-level pixel.
  • the plurality of pixels are grouped together so that a certain number of pixels are combined into a higher-level pixel.
  • the certain number may be, for example, (preferably) two, three, (preferably) four, six, (preferably) eight, or (preferably) nine. Of course, an even stronger summary of pixels is possible.
  • Such aggregation of pixels also referred to as "binning" has the effect of increasing the number of photons of the measurement light collected during a scene acquisition of one pixel, in proportion to the number of pixels, at the expense of spatial resolution pixels summed up to a parent pixel.
  • the so-called statistical value is reduced, in particular in the case of weak measuring light
  • Photon noise which improves the scene evaluation accuracy.
  • a binning is therefore particularly advantageous in the case of a weak measuring light when high spatial resolution is not required.
  • binning can also be carried out locally in only at least a partial area of the active areas of the light receiver via the surface of the light receiver. Although this leads to an inhomogeneous spatial resolution, which is not necessarily desired. However, the disadvantage of such an inhomogeneous spatial resolution is overcompensated in many applications by the increased photon accumulation.
  • a local "binning" can be done at least in some known light receivers without special electronic or apparatus elements simply by a corresponding control of the light receiver, which control determines the "binning" and thus the operating mode of the sensor system.
  • a local "binning" is performed in such a way that, measured by the measuring device and / or learned by the data processing device, exactly those areas of the
  • Light receiver which have received too little light energy in at least one previous scene detection, by a suitable control of the light receiver by the light receiver control device in subsequent scene captures in a suitable manner to higher-level pixels
  • Such a dynamically controlled or regulated “binning” can during a normal operation of the sensor system (learned) and / or during the configuration of the sensor system, for example in the context of a (first) installation, a maintenance, a cyclic or
  • the spatial resolution of the light receiver along different directions will be different if the individual pixels are square Have shape. This can be exploited in some cases in an advantageous manner.
  • Such an application is present, for example, when a movement of an object of the scene along a previously known spatial direction is to be detected with high accuracy.
  • the number of pixels arranged along a line perpendicular to this known spatial direction may be larger than the number of pixels arranged along a line perpendicular thereto. Then the spatial resolution along the direction of motion is greater than the spatial resolution perpendicular to the
  • Direction of movement and the motion profile of such a linearly moving object can with a particularly high accuracy even at a
  • the described binning is also adaptive in response to at least one previously acquired (and evaluated)
  • Scene characteristic (automatically) can be activated. This means that the "binning" is controlled not only controlled by the light receiver controller but depending on the results obtained by a scene evaluation. This will be a particularly reliable
  • Scene detection also allows for weak measuring light, so that the described sensor system with a correspondingly weak
  • Lighting light and thus can be operated in an energy efficient manner.
  • the light receiver has a light-sensitive surface, which is subdivided into a multiplicity of pixels. With or on each pixel those photons of the measurement light are accumulated, which originate from a certain solid angle region or the associated subregion of the scene.
  • the measuring unit is used to determine the runtime of the associated light beams of the illumination light and the measuring light for each pixel.
  • the measuring device is mechanically coupled, wherein the holder is designed such that the sensor system can be attached to a stationary in relation to the scene to be detected holding structure.
  • the holder ensures that the described sensor system can be a stationary system which has a certain spatially fixed detection range and thus always monitors the same scene.
  • spatially stationary objects that are present in the scene can be detected in an image analysis and hidden in a further image analysis with respect to movement profiles.
  • computing power can be saved and the energy efficiency of the described sensor system can be improved.
  • the stationary support structure may be directly or indirectly mechanically coupled to a device for controlling a coverage characteristic of an opening to be passed through the object by at least one closure body.
  • this device in addition to a suitable guide or
  • Closing on, in particular for moving the closing body between a closed position and an open position (and vice versa).
  • the opening may be an entrance, for example, for a person or a vehicle.
  • the closing body may be a door, for example a front door or a garage door.
  • the stationary support structure may be, for example, the stationary frame structure of an entrance, for example the frame of a door.
  • Data processing device further configured such that a
  • Covering characteristic of an opening to be passed by an object by at least one closing body is controllable.
  • the opening which is, for example, an entrance (or an exit) of a building
  • the closing body can be moved automatically between an open position and a closed position.
  • a method of three-dimensionally capturing a scene comprises (a) illuminating the scene with illumination light by means of a Lighting device and by means of a measuring device (b) receiving measurement light which is at least partially backscattered by at least one object contained in the scene illumination light; and (c) measuring distances between the sensor system and the at least one object based on a light transit time of the illumination light and the measurement light. Furthermore, the described method comprises (d) determining the
  • Lighting device configured such that an illumination intensity of the illumination light from the solid angle of the beam path of the
  • Lighting light depends, so that a distance-based loss of intensity of the illumination light and the measuring light is at least partially compensated.
  • the described method is also based on the knowledge that the intensity of the received measurement light, which is received by different and preferably all subregions of the scene, is at least approximately the same due to a suitable illumination angle dependent on the angle of the room.
  • the spatial characteristic of the illumination light can be adjusted so that the intensity is always just as high as required for a reliable detection of the subarea of the scene assigned to the respective solid angle region. As a result, only as much energy as required is needed for the lighting and an energy-efficient three-dimensional one
  • the method further comprises (a) detecting an object in the scene;
  • the approved action may, for example, be an authorized passage through an opening in a building, which opening is closed by a closing body before being identified as an approved object and only after successful identification by a corresponding movement of the door
  • Closing body is opened.
  • the objects to be identified may preferably be persons and / or vehicles. Successful identification may be to control or activate a closure mechanism for a closure body prior to opening a building.
  • Covering characteristic of an opening to be passed by an object by at least one closing body is
  • Covering characteristic which is controlled by the described sensor system or at least co-controlled. Because such sensor systems
  • Sensor system can be monitored in an energetically efficient manner and larger distances, which naturally to an earlier detection of a Opening request of the closure body leads, which can be a great advantage especially for fast moving objects. Furthermore, the scene can be detected with a wider detection angle, which, for example, leads to an early detection of itself transversely to the opening
  • the opening is an entrance or an exit, in particular an emergency exit in a building.
  • the object is a person or a vehicle.
  • the building may in particular be a house or a garage.
  • a sensor system described above for detecting and / or controlling traffic flows of objects moving through a scene of the sensor system, the scene being determined by a spatial detection range of the sensor system.
  • This described use is based on the finding that it is in a traffic detection and / or traffic flow control on a
  • Energy-efficient sensor technology arrives, since this sensor is typically constantly in operation and beyond, especially in larger traffic flows typically a very large number of such sensor systems are in use.
  • the relevant for the traffic flow objects for example, people, vehicles, products such. B. packages, suitcases, etc. be. Since a plurality or even a multiplicity of 3D sensors are usually used for such applications, energy savings have a particularly positive effect here.
  • TOF-based sensor systems can be subdivided into two fundamentally different classes both with regard to the illumination light and with regard to the measurement light, which can be combined as desired.
  • Bl The first alternative (Bl) for the lighting is characterized by the fact that the scene by means of a single illumination light beam high
  • Focusing and low divergence sequentially is scanned. For each position of the illumination light beam in the scene, a measurement of the duration of the illumination light and the measurement light
  • the scanning can be realized using movable optical components, in particular mirrors. Alternatively or in
  • Combination can be used for sequential scanning of the scene with the
  • Illuminating light beam can be used a solid body, which manages without mechanically moving parts and has integrated photonic structures or circuits. With a suitable control of these structures, the illumination light beam is then directed to the desired location of the scene.
  • a solid is known for example from US 2015/293224 Al.
  • B2 The second alternative (B2) for lighting is characterized by the fact that the entire scene is illuminated (all at once and flatly). If necessary, the intensity of the illumination light in selected subregions of the scene can be (selectively) increased in order to enable improved 3D object detection at these locations. Such spatially uneven distribution of the intensity of the illumination light can be done without moving optical
  • DOE Diffractive optical element
  • Ml A first alternative (Ml) for the measurement is based on pulsed
  • Illumination light beams The "travel time" of a light pulse on the receiver side for each pixel within a time window is determined and derived from the distance.
  • the second alternative (M2) for the measurement is based on a temporal, preferably sinusoidal, modulation of the illumination light with a
  • the predetermined frequency is predetermined, with appropriate values for this frequency depending on the expected transit time or the maximum detection distance.
  • the phase difference is measured for each pixel and derived therefrom the distance information.
  • Both measuring principles M 1 and M 2 are based on an integration of the number of photons or the photoelectrons generated in the light receiver, which arrive on each pixel to be measured.
  • an ever-present light or photon noise depends on the number of photons accumulated in a pixel. Therefore, the higher the number of accumulated photons, the more accurate the distance information obtained from the TOF measurement becomes.
  • Figure 1 shows the use of a sensor system for controlling a
  • Figure 2 shows the use of a sensor system for detecting a
  • Figures 3a and 3b illustrate a collection of single pixels of a light receiver.
  • Figures 4a to 4c show different beam cross sections of a
  • Light receiver to optimize the incident optical energy of the measuring light by illuminating the scene differently (intensively) depending on the characteristics of the scene.
  • the scene to be captured is cuboidal or cubic in nature.
  • known TOF sensors typically have a detection range that has at least approximately the same range for all detected solid angles.
  • the TOF sensor system described in this document is now able to at least partially compensate for this "spherical shell boundary" by selectively increasing or reducing the illumination intensity in selected subregions of the scene.
  • This can be described with the above-described cos' law described adverse effect and optimally utilized the energy used for lighting.
  • certain subregions of the scene which are dependent on the spatially geometrical arrangement of the sensor system and the scene to be detected can be "exposed" in a generalized manner with an optimum illumination intensity.
  • a TOF sensor system is typically mounted above the average height of the objects to be observed (people, products, vehicles, etc.) so that unwanted object shadowing is less problematic in a variety of objects.
  • Capturing scene can be used to further optimize the operation of the
  • lighting dependent on the geometry of the scene can be realized by controlling the illumination angle-dependent illumination intensity.
  • a different strategy can be used.
  • Brightness of a single element varies with respect to the other elements. This variation can be both constructive in design (e.g., laser or
  • Control via variable current per laser or light emitting diode by means of suitable electronics, for example by measuring in the (initial) installation set). Furthermore, a dynamic adjustment of the individual laser or LEDs during operation is possible. In this case, simply those laser or light emitting diodes, which are assigned to areas of the scene that provide little measuring light, are correspondingly more energized. This is particularly well suited for the above lighting principle B2 in combination with the aforementioned measuring principle Ml or M2.
  • the illumination intensity can be specifically controlled.
  • a static scene can be measured, with the appropriate intensity for each solid angle is taught to illuminating light.
  • An embodiment of the invention achieves energy savings by means of dynamic lighting energy optimization, wherein Illumination energies of different wavelengths or frequencies are used. Depending on the color of the object, for example, the wavelengths that contribute to the most intense reflections or
  • other wavelengths or other wavelength regions with less reflection or scattering may be present in the wavelength spectrum with a higher intensity.
  • a red object can be illuminated primarily with a red light component and the green and blue light components are reduced (for the relevant solid angle), preferably to at least approximately zero intensity.
  • the same principle can also be applied in the relationship between visible light and infrared (IR) light.
  • variable frequency or wavelength variable illumination with respect to reflection and scattering properties with associated distance and solid angle can be used in a subsequent
  • Scene analysis of moving objects can be of great advantage, because it allows easier objects to be detected and tracked, since the
  • the sensor system described in this document may be used, for example, in passageways, especially in passageways having a shutter characteristic that is automatically controlled (e.g., by means of doors, gates, barriers, traffic lights, etc.). Since the sensors for a
  • Passage control is usually powered by the existing closure systems with energy, it is with a given amount of energy as much sensory effect to achieve.
  • the sensor system described in this document allows, compared to known sensor systems (i), data acquisition for longer distances (earlier detection of a
  • Cross-traffic and / or (iii) a more reliable detection of objects in a security area of the closure system.
  • a receiving chip whose pixels have different sensitivities is used for the light receiver. This can e.g. by reducing the noise of individual pixels or zones of pixels. Since the noise is often correlated with the heat of the sensor, e.g. by means of a heat pump (for example a Peltier element) a higher sensitivity can be achieved for a part of the receiving chip. The more punctual this
  • Temperature change can be generated on the receiving chip, the higher the energy efficiency of the sensor system can be.
  • Lighting principle B2 is suitable, an (additional) spatial variation of the illumination light is achieved by DOE's.
  • DOEs in the context of laser systems, the maximum illumination energy can thus be utilized, because those portions of the illumination light beams, which should strike the scene at a lower intensity, are not simply passed through a mask
  • Pattern projections are required, which are required for 3D sensors, which are based on the known principle of structured illumination or the so-called. Strip projection.
  • the spatial variation of the illumination light described here can also be used with additional lens systems, in particular Freeform lenses are additionally optimized.
  • the room-angle-dependent illumination intensity described in this document provides for scene-dependent illumination, which results in a more uniform distribution of the intensity of the light received from the different parts of the scene
  • Measuring light leads.
  • the scene to be detected is first illuminated conventionally, in particular according to the illumination principle B2.
  • the sensor system can be operated at the lower limit of the measurability as long as the scene is (still) static. However, if a change in the scene is (grossly) detected or at least suspected, then an increase in the illumination intensity can be reacted immediately, so that the scene or the scene changes can then be detected and evaluated with high accuracy.
  • This mechanism can be used both for IR sensor systems and for sensor systems with
  • FIG. 1 shows the use of a sensor system 100 to control a coverage characteristic of an opening 184 depending on the characteristics of a scene 190 monitored by the sensor system 100.
  • the opening 184 is an entrance for persons into a building or garage entrance for motor vehicles.
  • the corresponding input structure is provided with the reference numeral 180.
  • An object 195 in the scene is intended to symbolize such a person or a motor vehicle.
  • the input structure 180 comprises a stationary support structure 182, which constitutes a frame and a guide for two closing bodies 186 designed as sliding doors.
  • the sliding doors 186 can each be represented by means of a motor 187 along the two thick double arrows
  • Move instructions are moved.
  • the actuation of the motors 187 takes place, as explained below, by means of the sensor system 100 described in this document.
  • the sensor system 100 has a TOF measuring device 110, a
  • the TOF measuring device 110 has a lighting device 130 and a light receiver 120. As shown here
  • Exemplary embodiment comprises the TOF measuring device 110 or are associated with the TOF measuring device 110 (i) an illumination light control device 135 for controlling the operation of the illumination device 130, (ii) a measuring unit 125 connected downstream of the light receiver 120 for measuring a
  • the whole sensor system 100 (in contrast to the representation of FIG. 1) is constructed as a module which, in addition to the TOF measuring device 110, also has the data processing device 150 and the database 160 within a compact design.
  • the light receiver control device 140 has an interface 142, via which an external control signal 142a can be received.
  • the external control signal may be from an attached system (not shown), such as a
  • Monitoring system which controls the operation of the sensor device 100 depending on external parameters.
  • an external parameter may be, for example, a previously known optical property of the object 195. Also a below with reference to the figures 3a and 3b described
  • Scene-dependent grouping of pixels of the light receiver 120 may be initiated by the control signal 142a.
  • Signaling data transmitted via the interface 142 may also include information about the detected and evaluated scene 190. Such information may be, for example, the information that an escape route is blocked, that a license plate written out for search has been recognized, a parking lot has been illegally occupied, a suspicious object is in the monitored scene 190, etc. In this case, a corresponding information flow from the sensor system 100 or more precisely from the light receiver control device 140 to the affiliated system. Alternatively or in combination, such signaling data 152a may also be be output from the data processing device 150 via an interface 152.
  • An external control signal 152a transferred to the data processing device 150 via the interface 152 can also be used to make the operation of the data processing device 150 at least partially dependent on external information.
  • an "a priori knowledge" can be transmitted via an object 195 for an improved evaluation of the detected scene 190 and in particular for an improved object recognition.
  • Lighting device 130 which may be, for example, an array of individually controllable laser or light-emitting diodes, the scene 190 and thus also located in the scene 190 object 195 with a pulsed and thus temporally modulated illumination light 131.
  • the illumination light control device 135 is configured, the Lighting device 130 to control such that a characteristic of the illumination light 131, which describes the dependence of the illumination intensity of the illumination light 131 of the solid angle (in which the illumination light 131 strikes the scene 190), during a operation of the sensor system 100 is dynamically changeable.
  • the illumination light controller 135 may also cause the characteristic of the illumination light 131 to at least approximately compensate for natural edge light falloff, according to which brightness in an image when imaging a uniformly bright subject through an objective not shown for clarity decreases the factor cos' with respect to the brightness in the center of the image picked up by the light receiver.
  • the space angle-dependent intensity distribution of the illumination light 131 is illustrated in FIG. 1 by arrows of different widths and dashed lines.
  • solid angles of the scene 190 which are associated with a larger measuring distance, are illuminated more strongly than solid angles, which have a smaller measuring distance assigned.
  • the illumination light controller 135 may be the characteristic of the
  • Illumination light 131 depending on an external control signal 137
  • Control signal 137a may be indicative of the space angle dependent
  • Illumination light 131 for example its (a) wavelength, (b) spectral intensity distribution, (c) polarization direction, and (d) intensity distribution for different polarization directions. These further properties can be selected such that they contribute to the most reliable and accurate object recognition possible. Again, a "a priori knowledge" about optical properties of the object 195 can be considered.
  • the light receiver 120 of the TOF measuring device 110 receives illuminating light 131 backscattered from the object 195. This backscattered light is referred to as measuring light 196 in this document.
  • the spatial detection of the scene 195 takes place on the basis of the principles explained in detail above of a transit time measurement, which is also referred to as Time Of Flight (TOF) measurement.
  • TOF Time Of Flight
  • the corresponding TOF data is transferred to the data processing device 150. This can be done directly or indirectly via the
  • Light receiver controller 140 done. It should be noted that the illumination device 130 in addition to the illumination units shown in Figure 1 can also have other lighting units that illuminate the scene 190 from a different angle. Likewise, the two lighting units can also be arranged outside the housing of the TOF measuring device 110 and thus be further spaced from the light receiver 120. On the principles of
  • the detected optical scene 190 is identified by means of suitable methods
  • Image evaluation evaluated For this purpose, a plurality of images taken by the scene 190 under different illumination conditions or different illumination characteristics may be shared.
  • 3D images of the scene 190 can be recorded within certain time intervals.
  • the data processing device 150 is able, based on corresponding position shifts of the object 195 not only its speed as an absolute value but as a motion vector (with a
  • Sliding doors 186 open only when the object 195 actually moves in the direction of the opening 184. If the object 195 is a vehicle of so-called cross traffic, which is located in the
  • the corresponding motion vector is detected by the data processing device 150 and there is no opening of the sliding doors 186. After passing the object 195 through the opening 184, it can be quickly closed again, for example, to pass further
  • the sensor system 100 is also capable of performing object recognition. This is what the
  • Data processing device 150 to a stored in the database 160 record of reference objects corresponding to selected objects that are authorized to pass through the opening 184. This means that with a suitable approach of the object 195 to the input 184, the sliding doors 186 are opened only when the detected object 195 at least approximately coincides with one of the stored reference objects. This clearly indicates that in the use described here of the
  • the coverage characteristic of the opening 184 depends not only on the motion profile of the object 195, but also that an object-based access control takes place.
  • FIG. 2 shows a further use or a further use of the invention
  • the TOF measuring device 110 detects a traffic flow of (various) objects 295a, 295b, 295c, 295d and 295e, which are on a conveyor belt 298 and along the direction of movement represented by an arrow through a scene 290 move through.
  • a reliable knowledge of the number and / or the type of objects 295a to 295e can be used in the field of logistics for traffic flow control. Only an example of such
  • Controlling a traffic flow is the control of luggage transport in an airport.
  • labels on the relevant objects 295a - 295e can also determine the type of the respective object. It should be noted, however, that use in an airport is merely one example of a variety of other uses in the field
  • FIGS. 3a and 3b illustrate a combination of individual pixels of a light receiver 320a designed as a semiconductor or CCD chip
  • the light receiver 320a has a plurality of light-sensitive or
  • the pixels 322a are associated with the full spatial resolution of the light receiver 320a, which resolution is predetermined by the semiconductor architecture of the chip 320a.
  • the light receiver 320b In the light receiver 320b, four of the light-sensitive pixels (for a full resolution) are respectively added to a higher-level pixel 322b (for an increased resolution)
  • a pixel 322b collects a four-fold amount of light compared to a single pixel 322a. Such a "binning" reduces the required
  • binning reduces the intensity of the illumination light and thus reduces the energy consumption of the sensor system.
  • the described "binning" can also be realized dynamically by a corresponding control of one and the same light receiver 320a or 320b.
  • the light receiver is either in a first operating mode (with full resolution) or in a second operating mode (with
  • Switching between different modes of operation may be controlled by external control signals (see reference numeral 142a in Figure 1). Alternatively or in combination, such switching may also depend on the result of a scene evaluation, such that the "binning" mode of operation for a next
  • Scene capture is regulated.
  • each with a different strong summary of pixels can be used. Furthermore, it is possible to combine a different number of individual pixels into a higher-order pixel in different partial areas of the light receiver. Then, individual portions of the scene with a higher spatial resolution (and less photon accumulation) and other portions of the scene with a lower spatial resolution (and higher
  • Different levels of pixel aggregation can be carried out dynamically or adaptively in exactly those subregions in which a particular object is currently located.
  • Figures 4a to 4c show different beam cross sections of a
  • a first illumination light 431a illustrated in FIG. 4a has a substantially circular beam cross section and is preferably suitable for "round scenes". However, for most applications that do not capture (and evaluate) a "round scene," one of a circular shape is appropriate deviating beam cross section.
  • FIG. 4b shows an illumination light 431b with an elliptical beam cross section.
  • FIG. 4c shows
  • Illumination light 431c with a rectangular beam cross section.
  • optical components such as mirrors and refractive optical elements (e.g.
  • Lens system are suitably adapted to the scene to be detected.
  • Diffractive optical elements DOEs
  • DOEs can also be used, which optionally even allow a dynamic and / or scene-dependent shaping of the beam cross-section.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The invention relates to a sensor system (100) and to a method for three-dimensionally sensing a scene (190). The sensor system (100) comprises: (a) a lighting device (130) for lighting the scene (190) with illuminating light (131); (b) a measuring device (110) for receiving measurement light (196), which is illuminating light (131) at least partially backscattered by at least one object (195) contained in the scene, and for measuring distances between the sensor system (100) and the at least one object (195) on the basis of the light propagation time of the illuminating light (131) and of the measurement light (196); and (c) a data-processing device (150) connected downstream of the measuring device (110), for determining the three-dimensional characteristic of the scene (190) on the basis of the measured distances. The lighting device (130) is configured in such a way that a lighting intensity of the illuminating light (131) depends on the solid angle of the beam path of the illuminating light (131), such that a distance-based intensity loss of the illuminating light (131) and of the measurement light (196) is at least partially compensated. The invention further relates to different uses of a sensor system (100) of this type.

Description

3D Sensorsystem mit einer von einem Raumwinkel abhängigen  3D sensor system with one dependent on a solid angle
Szenenbeleuchtung  scene lighting
Technisches Gebiet Technical area
Die vorliegende Erfindung betrifft ein Sensorsystem sowie ein Verfahren zum dreidimensionalen Erfassen einer Szene basierend auf Laufzeitmessungen. Ferner betrifft die vorliegende Erfindung mehrere Verwendungen eines solchen The present invention relates to a sensor system and a method for three-dimensional acquisition of a scene based on transit time measurements. Furthermore, the present invention relates to several uses of such
Sensorsystems. Sensor system.
Hintergrund der Erfindung Background of the invention
Zum Öffnen und/oder Verschließen von Öffnungen werden häufig mittels For opening and / or closing of openings are often by means of
Aktuatoren betriebene Verschließkörper verwendet, welche für Bedienpersonen die Handhabung des betreffenden Verschließkörpers erleichtern oder ohne jede Bedienaktion automatisch betrieben werden, wenn beispielsweise ein die Öffnung zu passierendes Objekt in den Bereich der Öffnung gelangt. Eine solche Öffnung kann beispielsweise ein Durchgang in einem Gebäude sein. Ein Verschließkörper kann beispielsweise eine Tür oder ein Tor sein. Actuators operated closure body used, which facilitate the handling of the respective closure body for operators or automatically operated without any action, for example, when an object to be passed to the opening passes into the region of the opening. Such an opening may, for example, be a passageway in a building. A closure body may be, for example, a door or a gate.
Um eine hohe Betriebssicherheit von automatisch zu öffnenden und zu To automatically open and close a high level of operational safety
schließenden Verschließkörpern zu erreichen, ist es bekannt, den Bereich vor oder innerhalb einer mit einem Verschließkörper bedeckbaren Öffnung mittels eines optischen Sensorsystems zu erfassen. Damit kann zum einen sichergestellt werden, dass beim Verschießen der Öffnung nicht versehentlich ein Objekt, beispielsweise eine Person, von dem Verschließkörper eingeklemmt wird. To achieve closing closure bodies, it is known to detect the area in front of or within an opening which can be covered by a closing body by means of an optical sensor system. This can on the one hand ensure that when the opening is closed, it is not accidentally For example, a person is trapped by the closing body.
Außerdem kann bei manchen Applikationen ein solches Sensorsystem ein automatisches Öffnen des Verschließkörpers bzw. der Öffnung veranlassen. In diesem Zusammenhang ist es auch bekannt, dass ein solches Sensorsystem bzw. eine einem solchen Sensorsystem nachgeschaltete Datenverarbeitungs- einrichtung mittels bekannter Methoden der Bildverarbeitung eine In addition, in some applications such a sensor system may cause automatic opening of the closure body or opening. In this context, it is also known that such a sensor system or a data processing device connected downstream of such a sensor system uses known methods of image processing
Objekterkennung durchführt und die Öffnung nur dann freigibt, wenn sich ein zum Passieren der Öffnungen befugtes Objekt dem Bereich der (noch Performs object detection and releases the opening only if an authorized to pass the openings object in the range of (still
verschlossenen Öffnung) nähert. Eine solche Objekterkennung kann closed opening). Such object recognition can
beispielsweise eine Gesichtserkennung sein. for example, a face recognition.
Aus EP 2 453 252 Bl ist für den Anwendungsbereich der Überwachung von automatisch zu öffnenden Türen und/oder Toren ein 3D-Sensorsystem bekannt, welches auf dem Prinzip der Laufzeitmessung von Lichtstrahlen beruht, die von Beleuchtungsquellen ausgesandt und nach einer zumindest teilweisen Reflexion bzw. 180° Rückstreuung von einem Lichtempfänger detektiert werden. Solche Sensorsysteme werden allgemein als "Time-of-Flight" (TOF) Sensorsysteme bezeichnet. TOF Sensorsysteme haben jedoch den Nachteil, dass mit From EP 2 453 252 B1, a 3D sensor system is known for the field of application of the monitoring of automatically opening doors and / or gates, which is based on the principle of transit time measurement of light beams emitted by illumination sources and after an at least partial reflection or 180 ° Backscatter be detected by a light receiver. Such sensor systems are commonly referred to as "time-of-flight" (TOF) sensor systems. However, TOF sensor systems have the disadvantage that with
zunehmendem Abstand d des zu erfassenden Objekts die Intensität des von einem Lichtempfänger des TOF Sensors zu erfassenden (zurückgestreuten) Messlichts in zweifacher Hinsicht geschwächt ist. Im Falle einer punktförmigen Beleuchtungslichtquelle ohne eine spezielle Fokussierung skaliert diese increasing distance d of the object to be detected, the intensity of the (backscattered) measuring light to be detected by a light receiver of the TOF sensor is weakened in two respects. In the case of a punctiform illumination light source without a special focus, it scales
Schwächung des von den Beleuchtungsquellen ausgesandten Beleuchtungslichts mit l/d/ 2, wobei d der Abstand zu der Beleuchtungslichtquelle ist. Gleiches gilt für das Messlicht, wenn man eine Stelle des Objekts, an welcher das Attenuation of the illumination light emitted by the illumination sources with l / d / 2, where d is the distance to the illumination light source. The same applies to the measurement light, if one a point of the object, at which the
Beleuchtungslicht isotrop gestreut wird, als Punktlichtquelle auffasst. Im Ergebnis führt dies in diesem Fall zu einer l/d' Skalierung der Intensität des Illumination light is scattered isotropically, perceived as a point light source. As a result, in this case, this leads to a l / d 'scaling of the intensity of the
empfangenen Messlichts. Bei einer auf irgendeine Art und Weise realisierten Strahlformung, beispielsweise einer Fokussierung, des Beleuchtungslichts, des Messlichts und/oder bei einer nicht isotropen Streuung des Beleuchtungslichts mit einer bevorzugten Aussendung des Messlichts in Richtung des Lichtempfängers, ist die Intensitätsschwächung entsprechend geringer, trägt jedoch trotzdem zu einem signifikanten Verlust an Lichtleistung bei. Dies wiederum führt zu einer entsprechend schlechten Energieeffizienz eines TOF Sensorsystems. received measuring light. In the case of beamforming realized in some manner, for example focusing, of the illumination light, of the measurement light and / or in the case of a non-isotropic scattering of the illumination light with a preferred emission of the measurement light in the direction of Light receiver, the intensity attenuation is correspondingly lower, but still contributes to a significant loss of light output. This in turn leads to a correspondingly poor energy efficiency of a TOF sensor system.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde eine aus energetischer Sicht effiziente und trotzdem zuverlässige dreidimensionale Erfassung einer Szene, welche auch relativ weit entfernte Objekte umfasst, zu ermöglichen. It is an object of the present invention to provide an energetically efficient and nevertheless reliable three-dimensional detection of a scene which also includes relatively distant objects.
Zusammenfassung der Erfindung Summary of the invention
Diese Aufgabe wird gelöst durch die Gegenstände der unabhängigen This task is solved by the objects of the independent ones
Patentansprüche. Vorteilhafte Ausführungsformen der vorliegenden Erfindung sind in den abhängigen Ansprüchen beschrieben. Claims. Advantageous embodiments of the present invention are described in the dependent claims.
Gemäß einem ersten Aspekt der Erfindung wird ein Sensorsystem zum According to a first aspect of the invention, a sensor system for
dreidimensionalen Erfassen einer Szene beschrieben. Das Sensorsystem weist auf (a) eine Beleuchtungseinrichtung zum Beleuchten der Szene mit Three-dimensional capture a scene described. The sensor system includes (a) a lighting device for illuminating the scene
Beleuchtungslicht; (b) eine Messeinrichtung (bl) zum Empfangen von Messlicht, welches zumindest teilweise von zumindest einem in der Szene enthaltenen Objekt zurückgestreutes Beleuchtungslicht ist, und (b2) zum Messen von Illumination light; (B) a measuring device (BL) for receiving measuring light, which is at least partially backscattered by at least one object contained in the scene illumination light, and (b2) for measuring
Distanzen zwischen dem Sensorsystem und dem zumindest einen Objekt basierend auf einer Lichtlaufzeit des Beleuchtungslichts und des Messlichts; und (c) eine der Messeinrichtung nachgeschaltete Datenverarbeitungseinrichtung zum Ermitteln der dreidimensionalen Charakteristik der Szene basierend auf den gemessenen Distanzen. Erfindungsgemäß ist die Beleuchtungseinrichtung derart konfiguriert, dass eine Beleuchtungsintensität des Beleuchtungslichts von dem Raumwinkel des Strahlengangs des Beleuchtungslichts abhängt, so dass ein distanzbasierter Intensitätsverlust des Beleuchtungslichts und des Messlichts zumindest teilweise kompensiert wird. Dem beschriebenen Sensorsystem, welches ein sog. Time Of Flight (TOF) Distances between the sensor system and the at least one object based on a light transit time of the illumination light and the measurement light; and (c) data processing means connected downstream of the measuring device for determining the three-dimensional characteristic of the scene based on the measured distances. According to the invention, the illumination device is configured such that an illumination intensity of the illumination light depends on the solid angle of the beam path of the illumination light, so that a distance-based intensity loss of the illumination light and the measurement light is at least partially compensated. The described sensor system, which is a so-called Time Of Flight (TOF)
Sensorsystem ist, liegt die Erkenntnis zugrunde, dass durch eine hinsichtlich der Intensität variable Ausleuchtung der zu erfassenden Szene eine optimale Sensor system is, it is based on the knowledge that by a variable in terms of intensity illumination of the scene to be detected optimal
Beleuchtung erreicht werden kann, welche im Ergebnis dazu führt, dass von allen Teilbereichen der Szene empfangenes Messlicht hinsichtlich seiner Intensität zumindest annähernd gleich ist. Dadurch kann vermieden werden, dass es in einem Bild der erfassten Szene von dem Messlicht unterbelichtete und/oder überbelichtete Teilbereiche gibt. Die Charakteristik des Beleuchtungslichts kann damit so eingestellt werden, dass die Intensität stets gerade so hoch ist, wie es für eine zuverlässige Erfassung des dem jeweiligen Raumwinkelbereich Lighting can be achieved, which in the result leads to that of all sub-areas of the scene received measuring light in terms of its intensity is at least approximately equal. As a result, it can be avoided that there are underexposed and / or overexposed subregions of the measurement light in an image of the detected scene. The characteristic of the illumination light can thus be adjusted so that the intensity is always just as high as it is for a reliable detection of the respective solid angle range
zugeordneten Teilbereichs der Szene erforderlich ist. Dadurch wird für die associated portion of the scene is required. This will for the
Beleuchtung lediglich so viel Energie benötigt, wie es erforderlich ist, so dass sich das beschriebene Sensorsystem im Ergebnis durch eine gute Energieeffizienz auszeichnet. Lighting only requires as much energy as is required, so that the described sensor system is characterized in the result by a good energy efficiency.
Je nach Verwendung des beschriebenen Sensorsystems können Kriterien für ein zuverlässiges Erfassen über die Zeit oder mit dem Raumwinkel variieren. So kann eine besonders zuverlässige Erfassung in einem Bereich der Schließkante einer sich schließenden Schiebetüre erforderlich sein und durch eine geeignete raumwinkelabhängige Beleuchtungsintensität gewährleistet werden. Depending on the use of the described sensor system, criteria for reliable detection over time or with the solid angle may vary. Thus, a particularly reliable detection in a region of the closing edge of a closing sliding door may be required and be ensured by a suitable illumination angle dependent on the illumination angle.
Unter dem Begriff "Beleuchtungslicht" sind in diesem Dokument diejenigen elektromagnetischen Wellen zu verstehen, welche von einer Lichtquelle der Beleuchtungseinrichtung ausgesandt werden und auf das betreffende Objekt der Szene treffen. Das "Messlicht" sind die von bzw. an dem Objekt zurückgestreuten elektromagnetischen Wellen, welche von der Messeinrichtung bzw. einem The term "illumination light" in this document means those electromagnetic waves which are emitted by a light source of the illumination device and strike the relevant object of the scene. The "measuring light" are the backscattered by or on the object electromagnetic waves, which from the measuring device or a
Lichtempfänger der Messeinrichtung empfangen und für die dreidimensionale Auswertung der Szene, zusammen mit den entsprechenden TOF Received light receiver of the measuring device and for the three-dimensional evaluation of the scene, together with the corresponding TOF
Distanzinformationen, verwendet werden. Unter dem Begriff "Szene" kann insbesondere derjenige räumliche Bereich verstanden werden, welcher von dem Sensorsystem optisch erfasst wird. In der Szene befindliche Objekte werden durch eine geeignete Bildauswertung erkannt. Dazu kann von der Datenverarbeitungseinrichtung auf bekannte Methoden zur Bildauswertung und/oder Bildanalyse zurückgegriffen werden. Die Distance information, to be used. The term "scene" may in particular be understood to mean that spatial area which is optically detected by the sensor system. Objects in the scene are recognized by a suitable image analysis. For this purpose, the data processing device can make use of known methods for image evaluation and / or image analysis. The
Datenverarbeitungseinrichtung kann demzufolge ein spezieller Data processing device can therefore be a special
Bildverarbeitungsprozessor sein und einen solchen aufweisen, der konfiguriert ist, bekannte Verfahren zur Bildauswertung und/oder Bildverarbeitung Be image processing processor and having one that is configured, known methods for image analysis and / or image processing
anzuwenden bzw. durchzuführen. to apply or to carry out.
Unter dem Begriff "Objekt" kann jede räumlich körperliche Struktur verstanden werden, welche eine Oberflächenbeschaffenheit aufweist, die zu einer zumindest teilweisen Reflexion bzw. Streuung von Beleuchtungslicht führt und damit durch das resultierende Messlicht für die Messeinrichtung sichtbar ist. Das Objekt kann ein Gegenstand wie beispielsweise ein Kraftfahrzeug oder ein Lebewesen wie beispielweise ein Mensch sein. Das Objekt kann ein in Bezug auf das The term "object" can be understood as meaning any spatially physical structure which has a surface texture which leads to an at least partial reflection or scattering of illumination light and is therefore visible to the measuring device by the resulting measurement light. The object may be an object such as a motor vehicle or a living being such as a human. The object may be in relation to that
Sensorsystem statisches oder ruhendes Objekt sein. Ferner kann das Objekt sich auch innerhalb der Szene bewegen, diese verlassen oder in diese eintreten. Sensor system be static or dormant object. Furthermore, the object may also move within, leave or enter the scene.
Durch eine wiederholte Szenenerfassung kann dann (durch einen Vergleich der mit verschiedenen Szenenerfassungen ermittelten verschiedenen Ortspositionen) die Bewegung (nach der Gesetzmäßigkeit Geschwindigkeit = Weg / Zeit) des Objekts bestimmt werden. Hierbei können je nach Anwendungsfall der  Through a repeated scene capture, the movement (according to the law of speed = distance / time) of the object can then be determined (by comparing the different spatial positions determined with different scene acquisitions). Depending on the application, the
Absolutwert der Geschwindigkeit und/oder der Bewegungsvektor, d.h. zusätzlich die Bewegungsrichtung, ermittelt werden. Absolute value of the velocity and / or the motion vector, i. additionally the direction of movement, be determined.
Unter dem Begriff "Charakteristik einer Szene" kann die Gesamtheit aller räumlichen Strukturen verstanden werden, welche von dem Sensorsystem erfasst werden. Dabei können von der Datenverarbeitungseinrichtung mittels einer Bildverarbeitung und/oder Bilderkennung manche Strukturen als relevant und andere Strukturen als weniger oder sogar irrelevant erkannt werden. Unter dem Ausdruck "distanzbasierter Intensitätsverlust" kann diejenige The term "characteristic of a scene" can be understood as the entirety of all spatial structures which are detected by the sensor system. In this case, some structures can be recognized as being relevant and other structures as being less or even irrelevant by the data processing device by means of image processing and / or image recognition. The term "distance-based loss of intensity" can mean the one
Reduzierung der Intensität von Beleuchtungslicht und Messlicht verstanden werden, welche durch eine Aufweitung des Querschnitts der Reducing the intensity of illumination light and measuring light are understood, which by an expansion of the cross section of the
Beleuchtungslichtstrahlen verursacht ist. Im Falle einer Punktlichtquelle ohne eine spezielle Fokussierung skaliert dieser Verlust mit l/d^, wobei d der Lighting light beams is caused. In the case of a point light source without a special focus, this loss scales with l / d ^, where d is the
Abstand zu der Punktlichtquelle ist. Gleiches gilt für das Messlicht, wenn man eine Stelle des Objekts, an welcher das Beleuchtungslicht isotrop gestreut wird, als Punktlichtquelle auffasst. Im Ergebnis führt dies zu einer l/d' Skalierung des resultierenden Messsignals, welches durch die Intensität des empfangenen Messlichts gegeben ist. Bei einer auf irgendeine Art und Weise realisierten Distance to the point light source is. The same applies to the measuring light when a point of the object at which the illumination light is scattered isotropically, as a point light source. As a result, this leads to a l / d 'scaling of the resulting measurement signal, which is given by the intensity of the received measurement light. In one way realized in any way
Strahlformung, beispielsweise einer Fokussierung, des Beleuchtungslichts, des Messlichts und/oder bei einer nicht isotropen Streuung des Beleuchtungslichts mit einer bevorzugten Aussendung des Messlichts in Richtung der Beam shaping, for example, focusing, the illumination light, the measuring light and / or in a non-isotropic scattering of the illumination light with a preferred emission of the measuring light in the direction of
Messeinrichtung, ist der "distanzbasierte Intensitätsverlust" entsprechend geringer, stellt in der Praxis jedoch trotzdem einen signifikanten Verlust dar, welcher die Energieeffizienz eines TOF Sensors reduziert. Erfindungsgemäß werden diese Verluste durch eine geeignete raumwinkelabhänge Intensität des Beleuchtungslichts zumindest teilweise reduziert bzw. kompensiert. Measuring device, the "distance-based intensity loss" is correspondingly lower, but in practice still represents a significant loss, which reduces the energy efficiency of a TOF sensor. According to the invention, these losses are at least partially reduced or compensated by a suitable room-angle-dependent intensity of the illumination light.
Die Begriffe "optisch" und/oder "Licht" können sich auf elektromagnetische Wellen beziehen, die eine bestimmte Wellenlänge bzw. Frequenz oder ein bestimmtes Spektrum von Wellenlängen bzw. Frequenzen haben. Insbesondere können die zum Einsatz kommenden elektromagnetischen Wellen dem für das menschliche Auge sichtbaren Spektralbereich zugeordnet werden. Alternativ oder in Kombination können auch elektromagnetische Wellen verwendet werden, die dem ultravioletten (UV) oder dem infraroten (IR) Spektralbereich zugeordnet sind . Der IR Spektralbereich kann sich bis in den langwelligen IR Bereich mit Wellenlängen zwischen 3,5 pm bis 15 pm erstrecken, welche mittels des The terms "optical" and / or "light" may refer to electromagnetic waves having a particular wavelength or frequency or a particular spectrum of wavelengths or frequencies. In particular, the electromagnetic waves used can be assigned to the spectral range visible to the human eye. Alternatively or in combination, electromagnetic waves associated with the ultraviolet (UV) or infrared (IR) spectral regions may also be used. The IR spectral range can extend into the long-wave IR range with wavelengths between 3.5 pm to 15 pm, which are determined by means of the
Lichtempfängers des Sensors erfasst werden können. Light receiver of the sensor can be detected.
Es wird darauf hingewiesen, dass die erfindungsgemäße Kompensation des distanzbasierten Intensitätsverlustes mittels der raumwinkelabhängigen It should be noted that the inventive compensation of Distance-based intensity loss by means of the space angle-dependent
Intensitätsverteilung des Beleuchtungslichts nicht nur für TOF Sensorsysteme möglich ist, welche die ganze oder zumindest größere Teilbereiche der Szene gleichzeitig beleuchten. Die erfindungsgemäße Kompensation kann auch bei TOF Sensorsystemen gewinnbringend zum Einsatz kommen, welche die Szene sequenziell mit einem Beleuchtung Lichtstrahl, beispielsweise einem Laserstrahl, abtasten. Intensity distribution of the illumination light is not only possible for TOF sensor systems that illuminate the whole or at least larger portions of the scene simultaneously. The compensation according to the invention can also profitably be used in TOF sensor systems, which scan the scene sequentially with an illumination light beam, for example a laser beam.
Gemäß einem Ausführungsbeispiel der Erfindung ist die Beleuchtungseinrichtung konfiguriert, das Beleuchtungslicht mit einer räumlichen Intensitätsverteilung bereitzustellen, welche einen Randlichtabfall zumindest annähernd kompensiert. Der Randlichtabfall ist insbesondere ein natürlicher Randlichtabfall, gemäß dem eine Helligkeit in einem Bild beim Abbilden eines gleichmäßig hellen Motivs durch ein Objektiv um den Faktor cos'M gegenüber der Helligkeit in der Mitte des Bildes abnimmt. According to one exemplary embodiment of the invention, the illumination device is configured to provide the illumination light with a spatial intensity distribution which at least approximately compensates for an edge light drop. In particular, the edge light drop is a natural edge light drop, according to which a brightness in an image when a uniformly bright subject is imaged by a lens decreases by a factor of cos'M from that in the center of the image.
Der natürliche Randlichtabfall, welcher durch das sog . cos'M (Cosinus hoch 4) Gesetz beschrieben wird, hängt in bekannter Weise von der Brennweite des verwendeten Objektivs ab. Im Falle des beschriebenen TOF Sensorsystems kann ein solches Objektiv für eine Abbildung des Beleuchtungslichts auf die Szene und/oder für die Abbildung der Szene auf einen Lichtempfänger der The natural Randlichtabfall, which by the so-called. cos'M (cosine high 4) law depends in a known manner on the focal length of the lens used. In the case of the described TOF sensor system, such an objective can be used to image the illumination light onto the scene and / or to image the scene onto a light receiver
Messeinrichtung verwendet werden. Im Falle der Verwendung von Objektiven und bevorzugt eines gemeinsamen Objektives sowohl für das (aus einer flächigen Lichtquelle ausgesandte) Beleuchtungslicht als auch für das (von der flächigen Szene gestreute) Messlicht würde ohne die beschriebene Kompensation der natürliche Randlichtabfall zweifach auftreten und der negative Einfluss des cos'M Gesetzes wäre entsprechend stark. Daher trägt bei TOF Sensorsystem, bei denen sowohl das Beleuchtungslicht als auch das Messlicht durch ein Objektiv tritt, die hier beschriebene Kompensation des natürlichen Randlichtabfalls besonders stark zu einer Verbesserung der Lichtintensitätsverhältnisse bei. Die Kompensation des natürlichen Randlichtabfalls durch eine geeignete raumwinkelabhängige Verteilung der Beleuchtungsintensität kann zumindest 30%, bevorzugt 50%, weiter bevorzugt 80% und noch weiter bevorzugt 90% oder sogar 95% betragen. Diese Prozentangaben beziehen sich (bei einer fest vorgegebenen Brennweite des verwendeten Objektives) auf das Verhältnis zwischen den Intensitäten am Rand der Szene (für das Beleuchtungslicht) bzw. am Rand des auf der Messeinrichtung abgebildeten Bildes der Szene (für das Messlicht), welche (a) mit der beschriebenen Kompensation und (b) ohne die beschriebene Kompensation des natürlichen Randabfalls auftreten. Measuring device can be used. In the case of the use of lenses and preferably a common objective for both (emitted from a flat light source) illumination light and for (scattered by the area scene) measuring light without the described compensation of the natural marginal light waste would occur twice and the negative influence of cos 'M law would be correspondingly strong. Therefore, in the TOF sensor system in which both the illuminating light and the measuring light pass through an objective, the compensation of the natural marginal light drop described here contributes greatly to the improvement of the light intensity ratios. The compensation of the natural Randlichtabfalls by a suitable space angle-dependent distribution of the illumination intensity may be at least 30%, preferably 50%, more preferably 80% and even more preferably 90% or even 95%. These percentages refer (with a fixed focal length of the objective used) to the ratio between the intensities at the edge of the scene (for the illumination light) and at the edge of the image of the scene (for the measuring light) imaged on the measuring device, which (a ) with the described compensation and (b) occur without the described compensation of the natural edge drop.
Dementsprechend würde eine 100% Kompensation eine vollständige Accordingly, 100% compensation would be complete
Eliminierung des natürlichen Randlichtabfalls bedeuten. Dabei würde bei einer (fiktiven) Szene, die in allen Teilbereichen das Beleuchtungslicht gleich stark streut, die Helligkeit in einem Bild in allen Teilbereichen gleich sein, wobei das Bild die (vollständige) Abbildung der Szene auf einem Lichtempfänger der Messeinrichtung ist. Mean elimination of natural edge light waste. In the case of a (fictitious) scene, which diffuses the illuminating light equally strongly in all subareas, the brightness in an image would be the same in all subregions, the image being the (complete) image of the scene on a light receiver of the measuring device.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist das According to a further embodiment of the invention, the
Sensorsystem ferner auf eine mit der Beleuchtungseinrichtung gekoppelte Beleuchtungslicht-Steuereinrichtung, welche konfiguriert ist, die Sensor system further to a lighting device coupled to the illumination light controller, which is configured, the
Beleuchtungseinrichtung derart anzusteuern, dass eine Charakteristik des Beleuchtungslichts, welche die Abhängigkeit der Beleuchtungsintensität des Beleuchtungslichts von dem Raumwinkel beschreibt, während eines Betriebes des Sensorsystems dynamisch veränderbar ist. Lighting device to control such that a characteristic of the illumination light, which describes the dependence of the illumination intensity of the illumination light of the solid angle, during a operation of the sensor system is dynamically changeable.
Durch eine dynamische Veränderbarkeit der Charakteristik des Through a dynamic variability of the characteristics of the
Beleuchtungslichts kann ein und dieselbe Szene bei unterschiedlichen Lighting light can be one and the same scene at different
Beleuchtungsbedingungen (nacheinander) mehrfach aufgenommen werden. Dadurch stehen der Datenverarbeitungseinrichtung unterschiedliche Datensätze von ein und derselben Szene zur Verfügung, sodass mittels einer geeigneten Methode der Bildanalyse (von der Datenverarbeitungseinrichtung) derjenige Datensatz für die Ermittlung der dreidimensionalen Charakteristik der Szene verwendet werden kann, welcher die Szene am genauesten wiedergibt. Dabei kann gegebenenfalls ein "a priori Wissen" über die optischen und/oder Illumination conditions (one after the other) are recorded several times. As a result, different data sets of one and the same scene are available to the data processing device, so that by means of a suitable method of image analysis (by the data processing device) that data record for determining the three-dimensional characteristic of the scene can be used, which reproduces the scene most accurately. If necessary, an "a priori knowledge" of the optical and / or
geometrischen Eigenschaften von in der Szene befindlichen Objekten geometric properties of objects in the scene
berücksichtigt werden. be taken into account.
Ferner kann eine optimale Beleuchtungscharakteristik auch nach dem Prinzip "Try-and-Error" oder durch andere statistische Optimierungsprozeduren ermittelt werden. Dies kann dynamisch während eines reellen Betriebs des Sensorsystems oder im Rahmen einer Kalibrierung mittels einer Erkennung von geeigneten Referenzobjekten erfolgen. Furthermore, an optimal lighting characteristic can also be determined according to the "try-and-error" principle or by other statistical optimization procedures. This can be done dynamically during a real operation of the sensor system or as part of a calibration by means of a detection of suitable reference objects.
Bei manchen Ausführungsformen können auch die bei unterschiedlichen In some embodiments, those at different
Beleuchtungscharakteristiken aufgenommenen 3D Bilder der Szene gemeinsam verarbeitet werden, sodass für eine finale Ermittlung der 3D Charakteristik der Szene ein umfangreicher Datensatz zur Verfügung steht. Bei einer solchen gemeinsamen Verarbeitung können unterschiedliche Teilbereiche der Szene dadurch charakterisiert werden, dass für einen ersten Teilbereich ein bei einer ersten Beleuchtungscharakteristik aufgenommener erster Teil-Datensatz und für einen zweiten Teilbereich der bei einer zweiten Beleuchtungscharakteristik aufgenommene zweiter Teil-Datensatz für die Ermittlung der Lighting characteristics recorded 3D images of the scene are processed together so that a comprehensive data set is available for a final determination of the 3D characteristic of the scene. In such a common processing, different partial areas of the scene can be characterized in that for a first partial area a first partial data record recorded in a first illumination characteristic and for a second partial area of the second partial data set recorded for a second illumination characteristic for the determination of the
Gesamtcharakteristik der Szene verwendet werden . Selbstverständlich können für die Erfassung der Gesamtcharakteristik der Szene auch mehr als drei Overall characteristic of the scene can be used. Of course, more than three can be used to capture the overall characteristics of the scene
Datensätze herangezogen werden, welche jeweils einer unterschiedlichen Records are used, each of a different
Beleuchtung Lichtcharakteristik zugeordnet sind . Lighting light characteristic are assigned.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist die According to a further embodiment of the invention is the
Datenverarbeitungseinrichtung mit der Beleuchtungslicht-Steuereinrichtung gekoppelt und konfiguriert, die ermittelte dreidimensionale Charakteristik der Szene auszuwerten und basierend auf einem Ergebnis dieser Auswertung die Charakteristik des Beleuchtungslichts zu verändern. Anschaulich ausgedrückt hängt die Art und Weise, wie die Szene für eine Data processing device coupled to the illumination light controller and configured to evaluate the determined three-dimensional characteristic of the scene and based on a result of this evaluation to change the characteristic of the illumination light. Vividly, the way the scene depends on one
Szenenerfassung raumwinkelabhängig von der Beleuchtungseinrichtung beleuchtet wird, von Mess- und Auswertungsergebnissen ab, die aus einer vorherigen Szenenerfassung ermittelt worden sind. Die Charakteristik der Beleuchtung wird also dynamisch aufgrund von Messergebnissen einer Scene detection is dependent on the angle of illumination illuminated by the illumination device, of measurement and evaluation results, which have been determined from a previous scene detection. The characteristic of the lighting becomes so dynamically on the basis of results of a
vorherigen Szenenerfassung angepasst. Damit findet korrekt ausgedrückt nicht mehr lediglich eine Steuerung der Beleuchtungseinrichtung sondern vielmehr eine Regelung derselben statt. Dies erlaubt auf vorteilhafte Weise eine besonders genaue Adaption der Szenenbeleuchtung in Hinblick auf eine optimale adapted to previous scene capture. This means that, correctly speaking, not only a control of the lighting device but rather a regulation thereof takes place. This advantageously allows a particularly accurate adaptation of the scene lighting with regard to an optimum
Szenenauswertung. Scene analysis.
Eine geeignete Steuerung der Beleuchtungseinrichtung kann von aktuellen Umgebungsbedingungen abhängen, welche sich in dem Ergebnis der Appropriate control of the lighting device may depend on current environmental conditions resulting in the result of
Szenenauswertung widerspiegeln. Solche Umgebungsbedingungen können Wetterbedingungen wie beispielsweise das Vorhandensein von Regen, Schnee, Hagel, Nebel, Rauch, Schwebepartikeln, etc. in der Szene sein. Reflect scene evaluation. Such environmental conditions may be weather conditions such as the presence of rain, snow, hail, fog, smoke, suspended particles, etc. in the scene.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung hängt das Ergebnis der Auswertung von dem optischen Streuverhalten von zumindest einem in der Szene enthaltenen Objekt ab. Dies hat den Vorteil, dass zusätzlich zu der vorstehend beschriebenen und erfindungsgemäßen distanzbasierten According to a further exemplary embodiment of the invention, the result of the evaluation depends on the optical scattering behavior of at least one object contained in the scene. This has the advantage that in addition to the distance-based
Kompensation auch noch ein gegebenenfalls vorhandenes unterschiedliches Streuverhalten und/oder Reflexionsverhalten von verschiedenen Objekten in der Szene berücksichtigt wird, sodass das Messlicht mit einer zumindest annähernd räumlich gleichmäßigen Intensitätsverteilung auf einen Lichtempfänger der Messeinrichtung auftrifft. Eine über die lichtsensitive Fläche des Lichtempfängers möglichst gleichmäßige Helligkeit begünstigt eine präzise Distanzmessung durch das beschriebene TOF Sensorsystem. Compensation also an optionally existing different scattering behavior and / or reflection behavior of different objects in the scene is taken into account, so that the measuring light impinges with an at least approximately spatially uniform intensity distribution on a light receiver of the measuring device. A brightness which is as uniform as possible over the light-sensitive surface of the light receiver favors precise distance measurement by the described TOF sensor system.
Es wird darauf hingewiesen, dass bei vielen Objekten das Streu-bzw. It should be noted that in many objects, the litter or.
Reflexionsverhalten von der Wellenlänge bzw. der Frequenz des Beleuchtungslichts hängt. Eine Berücksichtigung einer solchen Reflection behavior of the wavelength or the frequency of Lighting light hangs. A consideration of such
Frequenzabhängigkeit kann auf vorteilhafte Weise zu einer weiteren Frequency dependence can be advantageous to another
Verbesserung der Szenenbeleuchtung und der darauffolgenden Improvement of the scene lighting and the following
Szenenauswertung beitragen. Contribute scene evaluation.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist die According to a further embodiment of the invention is the
Beleuchtungseinrichtung konfiguriert, die Charakteristik des Beleuchtungslichts in Abhängigkeit von einem externen Steuersignal zu steuern. Lighting device configured to control the characteristic of the illumination light in response to an external control signal.
Die Steuersignale können über einen entsprechenden Dateneingang des The control signals can via a corresponding data input of the
Sensorsystems, insbesondere einen Dateneingang der Beleuchtungslicht- Steuereinrichtung, empfangen werden. Zur Realisierung einer geeigneten Sensor system, in particular a data input of the illumination light control device, are received. To realize a suitable
Anpassung und/oder einer Regelung der Beleuchtungscharakteristik kann die Steuerung der Beleuchtungseinrichtung dann von der vorstehend beschriebenen Beleuchtungslicht-Steuereinheit des Sensorsystems vorgenommen werden. Eine Steuerung bzw. Anpassung der Beleuchtungscharakteristik kann also nicht (nur) von den im Rahmen der TOF Messung generierten Informationen bzw. den Ergebnissen der Szenenauswertung abhängen. Gemäß dem hier beschriebenen Ausführungsbeispiel erfolgt eine geeignete Anpassung der Adjustment and / or regulation of the illumination characteristic, the control of the illumination device can then be carried out by the above-described illumination light control unit of the sensor system. A control or adaptation of the illumination characteristic can therefore not (only) depend on the information generated in the context of the TOF measurement or the results of the scene evaluation. According to the embodiment described here, a suitable adaptation of the
Beleuchtungscharakteristik von extern. Lighting characteristics from external.
Externe Steuersignale können prinzipiell für alle Merkmale und oder Zustände indikativ sein, welche einen Einfluss auf das Rückstreuverhalten des In principle, external control signals can be indicative of all features and / or states which have an influence on the backscattering behavior of the
Beleuchtungslichts haben. Ein solches Merkmal ist beispielsweise eine (farbliche) Veränderung eines zu erfassenden Objekts und/oder ein in die Szene neu eintretendes bzw. die Szene verlassendes Objekt, welches das Have illumination light. Such a feature is, for example, a (color) change of an object to be detected and / or an object newly entering or leaving the scene, which object
Rückstreuverhalten zumindest teilweise beeinflusst. Backscattering at least partially influenced.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist die Charakteristik des Beleuchtungslichts zusätzlich zu der Raumwinkelabhängigkeit durch zumindest eines der folgenden Merkmale bestimmt: (a) Wellenlänge, (b) spektrale Intensitätsverteilung, (c) Polarisationsrichtung, und (d) According to a further embodiment of the invention, in addition to the solid angle dependence, the characteristic of the illumination light is determined by at least one of the following features: (a) wavelength, (b) spectral intensity distribution, (c) polarization direction, and (d)
Intensitätsverteilung für unterschiedliche Polarisationsrichtungen. Durch eine anwendungsspezifische Verwendung von einem dieser Merkmale oder durch eine geeignete Kombination von zumindest zwei dieser Merkmale können die zu erkennenden Objekte besonders gut beleuchtet und als Ergebnis mit besonders hoher Genauigkeit und Zuverlässigkeit erkannt werden. Intensity distribution for different polarization directions. By an application-specific use of one of these features or by a suitable combination of at least two of these features, the objects to be recognized can be illuminated particularly well and recognized as a result with particularly high accuracy and reliability.
Die Wellenlänge, Frequenz bzw. Farbe des Beleuchtungslichts kann durch eine geeignete Ansteuerung von spektral unterschiedlichen Leuchtelementen, insbesondere LEDs mit unterschiedlicher Farbe, variiert bzw. an die zu The wavelength, frequency or color of the illumination light can by a suitable control of spectrally different light elements, in particular LEDs with different colors, varies or to the
erwartende Charakteristik der Szene angepasst werden. Die Polarisationsrichtung des Beleuchtungslichts kann auf bekannte Weise beispielsweise durch die expected characteristic of the scene to be adjusted. The polarization direction of the illumination light can in a known manner, for example by the
Verwendung von Polarisationsfiltern eingestellt werden. Use of polarizing filters can be set.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die According to a further embodiment of the invention, the
Beleuchtungseinrichtung auf (a) eine als Laser ausgebildete Lighting device on (a) designed as a laser
Beleuchtungslichtquelle zum räumlichen Abtasten der Szene mit einem Illumination light source for spatially scanning the scene with a
ausgesandten Laserstrahl-Beleuchtungslicht, (b) eine zumindest annähernd punktförmige Beleuchtungslichtquelle, (c) eine Mehrzahl von einzelnen (b) an at least approximately punctiform illumination light source, (c) a plurality of individual ones
Beleuchtungslichtquellen, die insbesondere individuell ansteuerbar und jeweils einem bestimmten Raumwinkelbereich der Szene zugeordnet sind, und/oder (d) eine flächige Beleuchtungslichtquelle, insbesondere mit einer über die Fläche nicht homogenen Leuchtintensität. Illumination light sources, which are in particular individually controllable and in each case assigned to a specific solid angle region of the scene, and / or (d) a planar illumination light source, in particular with a luminous intensity which is not homogeneous over the surface.
Ein die Szene abtastender Laserstrahl kann in bekannter weise über zwei drehbare Spiegel mit zueinander nicht parallelen und bevorzugt senkrecht zueinander orientierten Drehachsen auf die jeweils zu beleuchtende Stelle der Szene gelenkt werden. Für eine solche (dynamisch adaptive) Ablenkung können auch nicht mechanische optische Elemente wie beispielsweise Diffraktive A scanning the scene laser beam can be directed in a known manner via two rotatable mirrors with mutually non-parallel and preferably perpendicular to each other oriented axes of rotation to each illuminated point of the scene. For such a (dynamically adaptive) deflection can also non-mechanical optical elements such as diffractive
Optische Elemente (DOEs) verwendet werden. Die Ablenkung kann insbesondere durch die vorstehend beschriebene Beleuchtungslicht-Steuereinrichtung gesteuert werden. Optical elements (DOEs) are used. The deflection can in particular by the illumination light control device described above being controlled.
Die eine zumindest annähernd punktförmige Beleuchtungslichtquelle kann eine (ausreichend starke) Halbleiterdiode, beispielsweise eine Laser- oder Leuchtdiode sein. Um gezielt die Szene flächig zu beleuchten, können geeignete The at least approximately punctiform illumination light source may be a (sufficiently strong) semiconductor diode, for example a laser or light emitting diode. In order to illuminate the scene areally, suitable
Strahlformungssysteme, insbesondere Linsensysteme verwendet werden. Um die beschriebene raumwinkelabhängig ungleichmäßige Beleuchtung der Szene zu realisieren, können geeignete optische Elemente zur Strahlablenkung, Beam shaping systems, in particular lens systems are used. In order to realize the above-described spatially-dependent non-uniform illumination of the scene, suitable optical elements for beam deflection,
Strahlteilung und/oder Strahlzusammenführung verwendet werden. Auch DOEs können auf vorteilhafte Weise verwendet werden. Beam splitting and / or beam merge can be used. Also DOEs can be used advantageously.
Die Mehrzahl von Beleuchtungslichtquellen, welche ebenfalls insbesondere Laser- oder Leuchtdioden sind, können (insbesondere individuell) von der vorstehend beschriebenen Beleuchtungslicht-Steuereinrichtung angesteuert werden. Dies erlaubt auf vorteilhafte Weise eine adaptiv gesteuerte oder sogar geregelte Einstellung der Charakteristik des Beleuchtungslichts. The plurality of illumination light sources, which are also in particular laser or light-emitting diodes, can be controlled (in particular individually) by the illumination light control device described above. This advantageously allows an adaptively controlled or even regulated adjustment of the characteristic of the illumination light.
Auch eine flächige Lichtquelle kann die Quelle für eine raumwinkelabhängig nicht homogene Intensitätsverteilung sein. Sofern es sich um eine räumlich homogen erleuchtete Fläche handelt, können geeignete optische Elemente zur A flat light source can also be the source for a spatially-dependent, non-homogeneous intensity distribution. If it is a spatially homogeneously illuminated surface, suitable optical elements for
Strahlablenkung, Strahlteilung, Strahlzusammenführung und/oder Strahlformung eingesetzt werden, um die beschriebene raumwinkelabhängig ungleichmäßige Beleuchtung der Szene zu realisieren. Beam deflection, beam splitting, beam merging and / or beam shaping can be used to realize the described spatial angle-dependent uneven illumination of the scene.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die According to a further embodiment of the invention, the
Beleuchtungseinrichtung zumindest ein diffraktives oder refraktives optisches Element auf, welches konfiguriert ist, die raumwinkelabhängige Lighting device at least one diffractive or refractive optical element which is configured, the space angle-dependent
Intensitätsverteilung des Beleuchtungslichts mittels räumlichen Strukturierens des Beleuchtungslichts zu realisieren. To realize intensity distribution of the illumination light by means of spatial structuring of the illumination light.
Unter dem Begriff Diffraktion (oder Beugung) wird in diesem Zusammenhang allgemein die räumliche Ablenkung einer elektromagnetischen Welle an strukturellen Hindernissen bezeichnet. Solche Hindernisse können sein eine Kante, ein Loch oder ein eindimensionales, ein zweidimensionales oder sogar ein dreidimensionales Gitter. Das diffraktive optische Element kann beispielsweise und bevorzugt ein DOE sein, welches auf vorteilhafte Weise eine dynamische Anpassung bzw. Adaptierung der Beleuchtungscharakteristik während des The term diffraction (or diffraction) is used in this context generally designates the spatial deflection of an electromagnetic wave at structural obstacles. Such obstacles may be an edge, a hole or a one-dimensional, a two-dimensional or even a three-dimensional grid. The diffractive optical element can be, for example and preferably, a DOE, which advantageously has a dynamic adaptation or adaptation of the illumination characteristic during the
Betriebs des Sensorsystems erlaubt. Operation of the sensor system allowed.
Unter dem Begriff Refraktion (oder Brechung) wird bezeichnet die Änderung der Ausbreitungsrichtung einer Welle aufgrund einer räumlichen Änderung ihrer Ausbreitungsgeschwindigkeit, die speziell für Lichtwellen durch den The term refraction (or refraction) refers to the change in the propagation direction of a wave due to a spatial change in its propagation velocity, which is specific to light waves through the
Brechungsindex n eines Mediums beschrieben wird. Refractive index n of a medium is described.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist die According to a further embodiment of the invention is the
Beleuchtungseinrichtung konfiguriert, das Beleuchtungslicht mit einem von einer Kreisform abweichenden Strahlquerschnitt bereitzustellen. Dies hat den Vorteil, dass bei Szenen, welche "nicht rund" sind, eine unzureichende Beleuchtung von Eckbereichen der Szene vermieden werden kann. Eine unzureichende Lighting device configured to provide the illumination light with a deviating beam cross section of a circular shape. This has the advantage that in scenes which are "not round", inadequate illumination of corner areas of the scene can be avoided. An inadequate
Beleuchtung der Eckbereiche könnte zwar ggf. durch eine insgesamt erhöhte Intensität des Beleuchtungslichts verhindert werden, in diesem Fall würden jedoch die mittleren Bereiche der Szene überbelichtet, was zumindest aus energetischer Sicht sehr nachteilig wäre. Although illumination of the corner areas could possibly be prevented by an overall increased intensity of the illumination light, in this case, the central areas of the scene would be overexposed, which would be very disadvantageous at least from an energetic point of view.
Bei vielen Ausführungsformen bzw. Anwendungen des Sensorsystems ist es vorteilhaft, wenn das Beleuchtungslicht einen rechteckigen Strahlquerschnitt hat. Bevorzugt ist der Strahlquerschnitt zur Erzielung einer möglichst homogegen Beleuchtung an die Form der zu erfassenden Szene angepasst. Eine geeignete Formgebung des Strahlquerschnitts kann nicht nur durch eine entsprechende Formung der Leuchtfläche der Beleuchtungseinrichtung realisiert werden, der Strahlquerschnitt kann auch durch optische Komponenten wie Spiegel und refraktive optische Elemente (z.B. Linsensystem) auf geeignete Weise angepasst werden. Auch Diffraktive Optische Elemente (DOE) können verwendet werden, welche optional sogar eine dynamische und/oder szenenabhängige Formung des Strahlquerschnitts ermöglichen. Darüber hinaus können auch Mikrospiegelarrays verwendet werden, die aus der sog. Digital Light Processing (DLP) In many embodiments or applications of the sensor system, it is advantageous if the illumination light has a rectangular beam cross section. Preferably, the beam cross-section is adapted to achieve as homogeneous as possible illumination to the shape of the scene to be detected. A suitable shape of the beam cross section can be realized not only by a corresponding shaping of the luminous area of the illumination device, the beam cross section can also be adjusted by optical components such as mirrors and refractive optical elements (eg lens system) in a suitable manner become. Diffractive optical elements (DOEs) can also be used, which optionally even allow a dynamic and / or scene-dependent shaping of the beam cross-section. In addition, it is also possible to use micromirror arrays resulting from so-called digital light processing (DLP).
Projektionstechnik bekannt sind. Auch mit sog. Mikro Elektro Mechanische Systeme (microelectromechanical Systems, MEMS) Vorrichtungen lassen sich eine Vielzahl von optischen Elementen derart bewegen, dass es zu einer gewünschten raumwinkelabhängigen Beleuchtungsintensität kommt. Projection technology are known. Even with so-called microelectromechanical systems (MEMS) devices, a large number of optical elements can be moved in such a way that a desired illumination angle dependent on the angle of illumination is obtained.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die According to a further embodiment of the invention, the
Messeinrichtung auf einen Lichtempfänger mit einer Vielzahl von Pixeln zum Empfangen des Messlichts und eine mit dem Lichtempfänger gekoppelte Measuring device on a light receiver with a plurality of pixels for receiving the measuring light and coupled to the light receiver
Lichtempfänger-Steuereinrichtung, wobei die Lichtempfänger-Steuereinrichtung und der Lichtempfänger derart konfiguriert sind, dass in einem modifizierten Betrieb des Sensorsystems zumindest zwei Pixel der Vielzahl von Pixeln zu einem übergeordneten Pixel zusammengefasst sind. A light receiver control device, wherein the light receiver control device and the light receiver are configured such that in a modified operation of the sensor system at least two pixels of the plurality of pixels are combined to form a higher-level pixel.
Typischerweise werden zumindest einige der Vielzahl von Pixeln dahingehend zusammengefasst, dass jeweils eine gewisse Anzahl von Pixeln zu einem übergeordneten Pixel zusammengefasst wird. Die gewisse Anzahl kann dabei beispielsweise (bevorzugt) zwei, drei, (bevorzugt) vier, sechs, (bevorzugt) acht, oder (bevorzugt) neun sein. Selbstverständlich ist auch eine noch stärkere Zusammenfassung von Pixeln möglich. Typically, at least some of the plurality of pixels are grouped together so that a certain number of pixels are combined into a higher-level pixel. The certain number may be, for example, (preferably) two, three, (preferably) four, six, (preferably) eight, or (preferably) nine. Of course, an even stronger summary of pixels is possible.
Ein solches Zusammenfassen von Pixeln, welches auch als "Binning" bezeichnet wird, hat die Wirkung, dass auf Kosten der räumlichen Auflösung die Anzahl an Photonen des Messlichts, die während einer Szenenerfassung von einem Pixel eingesammelt bzw. akkumuliert werden, entsprechend der Anzahl an zu einem übergeordneten Pixel zusammengefassten Pixeln erhöht wird. Dadurch verringert sich insbesondere bei schwachem Messlicht das sog. statistische Such aggregation of pixels, also referred to as "binning", has the effect of increasing the number of photons of the measurement light collected during a scene acquisition of one pixel, in proportion to the number of pixels, at the expense of spatial resolution pixels summed up to a parent pixel. As a result, the so-called statistical value is reduced, in particular in the case of weak measuring light
Photonenrauschen, was die Szenenauswertegenauigkeit verbessert. Ein "Binning" ist deshalb insbesondere bei einem schwachen Messlicht dann von Vorteil, wenn eine hohe räumliche Auflösung nicht erforderlich ist. Photon noise, which improves the scene evaluation accuracy. A binning is therefore particularly advantageous in the case of a weak measuring light when high spatial resolution is not required.
Es wird darauf hingewiesen, dass über die Fläche des Lichtempfängers ein Binning auch lokal in lediglich zumindest einem Teilbereich der aktiven Flächen des Lichtempfängers durchgeführt werden kann. Dies führt dann zwar zu einer inhomogenen räumlichen Auflösung, welche nicht unbedingt gewünscht ist. Der Nachteil einer solchen inhomogenen räumlichen Auflösung wird aber in vielen Anwendungsfällen durch die erhöhte Photonenakkumulation überkompensiert. Ein lokales "Binning" kann zumindest bei einigen bekannten Lichtempfängern ohne besondere elektronische oder apparative Elemente einfach durch eine entsprechende Ansteuerung des Lichtempfängers erfolgen, welche Ansteuerung das "Binning" und damit den Betriebsmodus des Sensorsystems bestimmt. It should be noted that binning can also be carried out locally in only at least a partial area of the active areas of the light receiver via the surface of the light receiver. Although this leads to an inhomogeneous spatial resolution, which is not necessarily desired. However, the disadvantage of such an inhomogeneous spatial resolution is overcompensated in many applications by the increased photon accumulation. A local "binning" can be done at least in some known light receivers without special electronic or apparatus elements simply by a corresponding control of the light receiver, which control determines the "binning" and thus the operating mode of the sensor system.
Bei bevorzugten Ausführungsformen wird ein lokales "Binning" dahingehend durchgeführt, dass, von der Messeinrichtung gemessen und/oder von der Datenverarbeitungseinrichtung erlernt, genau diejenigen Bereiche des In preferred embodiments, a local "binning" is performed in such a way that, measured by the measuring device and / or learned by the data processing device, exactly those areas of the
Lichtempfängers, welche bei zumindest einer vorherigen Szenenerfassung zu wenig Lichtenergie erhalten haben, durch eine geeignete Ansteuerung des Lichtempfängers durch die Lichtempfänger-Steuereinrichtung bei nachfolgenden Szenenerfassungen in geeigneter weise zu übergeordneten Pixel Light receiver, which have received too little light energy in at least one previous scene detection, by a suitable control of the light receiver by the light receiver control device in subsequent scene captures in a suitable manner to higher-level pixels
zusammengefasst werden. Ein solches dynamisch gesteuertes oder geregeltes "Binning" kann während eines üblichen Betriebs des Sensorsystems (erlernt) und/oder während der Konfiguration des Sensorsystems beispielsweise im Rahmen einer (Erst)Installation, einer Wartung, einer zyklischen bzw. be summarized. Such a dynamically controlled or regulated "binning" can during a normal operation of the sensor system (learned) and / or during the configuration of the sensor system, for example in the context of a (first) installation, a maintenance, a cyclic or
automatischen Re-Konfiguration etc. durchgeführt werden. automatic re-configuration etc. are performed.
Es wird ferner darauf hingewiesen, dass bei einer nicht quadratischen Anzahl an zu einem übergeordneten Pixel zusammengefassten einzelnen Pixeln die räumliche Auflösung des Lichtempfängers entlang unterschiedlicher Richtungen jedenfalls dann unterschiedlich ist, wenn die einzelnen Pixel eine quadratische Form haben. Dies kann bei manchen Anwendungsfällen in vorteilhafter Weise ausgenutzt werden. Ein solcher Anwendungsfall liegt beispielsweise dann vor, wenn eine Bewegung eines Objekts der Szene entlang einer vorbekannten Raumrichtung mit hoher Genauigkeit erfasst werden soll. In einem solchen Fall kann die Anzahl an Pixel, welche entlang einer Linie senkrecht zu dieser vorbekannten Raumrichtung (so wie sie auf dem Lichtempfänger abgebildet ist) angeordnet sind, größer sein als die Anzahl an Pixel, welche entlang einer dazu senkrechten Linie angeordnet sind. Dann ist die räumliche Auflösung entlang der Bewegungsrichtung größer als die räumliche Auflösung senkrecht zu der It is further noted that if the individual pixels are not square in number, the spatial resolution of the light receiver along different directions will be different if the individual pixels are square Have shape. This can be exploited in some cases in an advantageous manner. Such an application is present, for example, when a movement of an object of the scene along a previously known spatial direction is to be detected with high accuracy. In such a case, the number of pixels arranged along a line perpendicular to this known spatial direction (as depicted on the light receiver) may be larger than the number of pixels arranged along a line perpendicular thereto. Then the spatial resolution along the direction of motion is greater than the spatial resolution perpendicular to the
Bewegungsrichtung und das Bewegungsprofil eines solchen linear bewegten Objekts kann mit einer besonders hohen Genauigkeit auch bei einem Direction of movement and the motion profile of such a linearly moving object can with a particularly high accuracy even at a
vergleichsweise schwachen Messlicht ermittelt werden. comparatively weak measuring light can be determined.
Es wird ferner darauf hingewiesen, dass das beschriebene Binning auch adaptiv als Reaktion auf zumindest eine zuvor erfasste (und ausgewertete) It should also be noted that the described binning is also adaptive in response to at least one previously acquired (and evaluated)
Szenencharakteristik (auf automatische Weise) aktiviert werden kann. Dies bedeutet, dass das "Binning" von der Lichtempfänger-Steuereinrichtung nicht nur gesteuert sondern abhängig von den durch eine Szenenauswertung gewonnenen Ergebnissen geregelt wird. Dadurch wird eine besonders zuverlässige Scene characteristic (automatically) can be activated. This means that the "binning" is controlled not only controlled by the light receiver controller but depending on the results obtained by a scene evaluation. This will be a particularly reliable
Szenenerfassung auch bei schwachem Messlicht ermöglicht, so dass das beschriebene Sensorsystem auch mit einem entsprechend schwachen Scene detection also allows for weak measuring light, so that the described sensor system with a correspondingly weak
Beleuchtungslicht und damit auf energieeffiziente Weise betrieben werden kann. Lighting light and thus can be operated in an energy efficient manner.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist die According to a further embodiment of the invention, the
Messeinrichtung auf einen Lichtempfänger oder den vorstehend genannten Lichtempfänger zum Empfangen des Messlichts und eine dem Lichtempfänger nachgeschaltete Messeinheit, welche konfiguriert ist die Lichtlaufzeit zu messen basierend auf (a) einer Messung der Zeitspanne zwischen einen Aussenden eines Pulses des Beleuchtungslichts und dem Empfang des zu dem Puls gehörigen Messlichts und/oder (b) einer Messung einer Phasenverschiebung zwischen einer zeitlichen Modulation des Beleuchtungslichts und einer zugehörigen Modulation des empfangenen Messlichts. Dies hat den Vorteil, dass das beschriebene Sensorsystem abhängig von dem jeweiligen Anwendungsfall auf eine geeignete Weise unter Ausnutzung eines jeweils geeigneten TOF Messprinzips realisiert werden kann. Bei manchen Ausführungsformen ist das Sensorsystem derart konfiguriert, dass flexibel bzw. bei Bedarf zwischen den beiden verschiedenen Messprinzipien "Pulsbetrieb" und "Phasenmessung" umgeschaltet werden kann. A measuring device on a light receiver or the above-mentioned light receiver for receiving the measuring light and a light receiver downstream measuring unit which is configured to measure the light transit time based on (a) a measurement of the period between a transmission of a pulse of the illumination light and the reception of the pulse to the associated measurement light and / or (b) a measurement of a phase shift between a temporal modulation of the illumination light and an associated modulation of the received measuring light. This has the advantage that the described sensor system can be realized in a suitable manner, depending on the particular application, by utilizing a respectively suitable TOF measuring principle. In some embodiments, the sensor system is configured in such a way that it is possible to switch between the two different measurement principles "pulse mode" and "phase measurement" flexibly or, if necessary, between the two different measurement principles.
Unabhängig von dem angewendeten Messprinzip weist der Lichtempfänger eine lichtsensitive Oberfläche auf, welche in eine Vielzahl von Pixel unterteilt ist. Mit bzw. auf jedem Pixel werden diejenigen Photonen des Messlichts akkumuliert, welche aus einem bestimmten Raumwinkelbereich bzw. dem zugehörigen Teilbereich der Szene stammen. Die Messeinheit wird dazu verwendet, für jeden Pixel die Laufzeit der zugehörigen Lichtstrahlen des Beleuchtungslichts und des Messlichts zu ermitteln. Regardless of the measuring principle used, the light receiver has a light-sensitive surface, which is subdivided into a multiplicity of pixels. With or on each pixel those photons of the measurement light are accumulated, which originate from a certain solid angle region or the associated subregion of the scene. The measuring unit is used to determine the runtime of the associated light beams of the illumination light and the measuring light for each pixel.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist das. According to a further embodiment of the invention, the.
Sensorsystem ferner auf eine Halterung, welche zumindest mit der Sensor system further on a holder, which at least with the
Messeinrichtung mechanisch gekoppelt ist, wobei die Halterung derart ausgebildet ist, dass das Sensorsystem an einer in Bezug auf die zu erfassende Szene stationären Haltestruktur anbringbar ist. The measuring device is mechanically coupled, wherein the holder is designed such that the sensor system can be attached to a stationary in relation to the scene to be detected holding structure.
Anschaulich ausgedrückt sorgt die Halterung dafür, dass das beschriebene Sensorsystem ein stationäres System sein kann, welches einen bestimmten räumlich festen Erfassungsbereich hat und damit immer die gleiche Szene überwacht. Durch einen Vergleich von verschiedenen zeitlich voneinander beabstandeten Erfassungen der von der Orientierung des Sensorsystems abhängigen Szene können im Rahmen einer Bildauswertung räumlich stationäre Objekte, die in der Szene vorhanden sind, erkannt und bei einer weiteren Bildauswertung in Hinblick auf Bewegungsprofile ausgeblendet werden. Dadurch kann Rechenleistung eingespart werden und die energetische Effizienz des beschriebenen Sensorsystems verbessert werden. Die stationäre Haltestruktur kann direkt oder indirekt mechanisch gekoppelt sein mit einer Vorrichtung zum Steuern einer Bedeckungscharakteristik einer von dem Objekt zu passierenden Öffnung durch zumindest einen Verschließkörper. In terms of clarity, the holder ensures that the described sensor system can be a stationary system which has a certain spatially fixed detection range and thus always monitors the same scene. By comparing different temporally spaced detections of the dependent of the orientation of the sensor system scene spatially stationary objects that are present in the scene can be detected in an image analysis and hidden in a further image analysis with respect to movement profiles. As a result, computing power can be saved and the energy efficiency of the described sensor system can be improved. The stationary support structure may be directly or indirectly mechanically coupled to a device for controlling a coverage characteristic of an opening to be passed through the object by at least one closure body.
Bevorzugt weist diese Vorrichtung neben einer geeigneten Führung bzw. Preferably, this device in addition to a suitable guide or
Lagerung des Verschließkörpers einen Aktuator zum Bewegen des  Storage of the closing body an actuator for moving the
Verschließkörpers auf, insbesondere zum Bewegen des Verschließkörpers zwischen einer geschlossenen Position und einer geöffneten Position (und umgekehrt). Closing on, in particular for moving the closing body between a closed position and an open position (and vice versa).
Im Bereich der Gebäudesicherheit kann die Öffnung ein Eingang, beispielsweise für eine Person oder ein Fahrzeug sein. Der Verschließkörper kann eine Tür sein, beispielsweise eine Haustür bzw. ein Garagentor. Die stationäre Haltestruktur kann beispielsweise die stationäre Rahmenstruktur eines Eingangs sein, beispielsweise der Rahmen einer Tür. In the field of building security, the opening may be an entrance, for example, for a person or a vehicle. The closing body may be a door, for example a front door or a garage door. The stationary support structure may be, for example, the stationary frame structure of an entrance, for example the frame of a door.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist die According to a further embodiment of the invention is the
Datenverarbeitungseinrichtung ferner derart konfiguriert, dass eine Data processing device further configured such that a
Bedeckungscharakteristik einer von einem Objekt zu passierenden Öffnung durch zumindest einen Verschließkörper steuerbar ist. Dadurch kann die Öffnung, welche beispielsweise ein Eingang (bzw. ein Ausgang) eines Gebäudes ist, auf energetisch günstige Weise automatisch überwacht werden und durch eine geeignete Ansteuerung eines Aktuators kann der Verschließkörper automatisch zwischen einer geöffneten Position und einer geschlossenen Position bewegt werden. Dazu kann die Datenverarbeitungseinrichtung des beschriebenen Covering characteristic of an opening to be passed by an object by at least one closing body is controllable. As a result, the opening, which is, for example, an entrance (or an exit) of a building, can be automatically monitored in an energetically favorable manner, and by suitable actuation of an actuator, the closing body can be moved automatically between an open position and a closed position. For this purpose, the data processing device of the described
Sensorsystems mit der Steuerung eines bekannten Steuersystems für einen Verschließkörper gekoppelt werden. Sensor system coupled with the control of a known control system for a closure body.
Gemäß einem weiteren Aspekt der Erfindung wird beschrieben ein Verfahren zum dreidimensionalen Erfassen einer Szene. Das beschriebene Verfahren weist auf (a) ein Beleuchten der Szene mit Beleuchtungslicht mittels einer Beleuchtungseinrichtung und mittels einer Messeinrichtung (b) ein Empfangen von Messlicht, welches zumindest teilweise von zumindest einem in der Szene enthaltenen Objekt zurückgestreutes Beleuchtungslicht ist; und (c) ein Messen von Distanzen zwischen dem Sensorsystem und dem zumindest einen Objekt basierend auf einer Lichtlaufzeit des Beleuchtungslichts und des Messlichts. Ferner weist das beschrieben Verfahren auf (d) ein Ermitteln der In accordance with another aspect of the invention, a method of three-dimensionally capturing a scene is described. The described method comprises (a) illuminating the scene with illumination light by means of a Lighting device and by means of a measuring device (b) receiving measurement light which is at least partially backscattered by at least one object contained in the scene illumination light; and (c) measuring distances between the sensor system and the at least one object based on a light transit time of the illumination light and the measurement light. Furthermore, the described method comprises (d) determining the
dreidimensionalen Charakteristik der Szene basierend auf den gemessenen Distanzen mittels einer der Messeinrichtung nachgeschalteten Three-dimensional characteristic of the scene based on the measured distances downstream of one of the measuring device
Datenverarbeitungseinrichtung. Bei diesem Ausführungsbeispiel ist die Data processing device. In this embodiment, the
Beleuchtungseinrichtung derart konfiguriert, dass eine Beleuchtungsintensität des Beleuchtungslichts von dem Raumwinkel des Strahlengangs des Lighting device configured such that an illumination intensity of the illumination light from the solid angle of the beam path of the
Beleuchtungslichts abhängt, so dass ein distanzbasierter Intensitätsverlust des Beleuchtungslichts und des Messlichts zumindest teilweise kompensiert wird. Lighting light depends, so that a distance-based loss of intensity of the illumination light and the measuring light is at least partially compensated.
Auch dem beschriebenen Verfahren liegt die Erkenntnis zugrunde, dass durch eine geeignete raumwinkelabhängige Beleuchtungsintensität die Intensität des empfangenen Messlichts, welches von verschiedenen und bevorzugt von allen Teilbereichen der Szene empfangen wird, zumindest annähernd gleich ist. Die räumliche Charakteristik des Beleuchtungslichts kann dabei so eingestellt werden, dass die Intensität stets gerade so hoch ist, wie es für eine zuverlässige Erfassung des dem jeweiligen Raumwinkelbereich zugeordneten Teilbereichs der Szene erforderlich ist. Dadurch wird für die Beleuchtung lediglich so viel Energie wie erforderlich benötigt und eine energieeffiziente dreidimensionale The described method is also based on the knowledge that the intensity of the received measurement light, which is received by different and preferably all subregions of the scene, is at least approximately the same due to a suitable illumination angle dependent on the angle of the room. The spatial characteristic of the illumination light can be adjusted so that the intensity is always just as high as required for a reliable detection of the subarea of the scene assigned to the respective solid angle region. As a result, only as much energy as required is needed for the lighting and an energy-efficient three-dimensional one
Szenenerfassung auf der Basis von Time Of Flight (TOF) realisiert. Scene capture based on Time Of Flight (TOF) realized.
Gemäß einem verfahrensbezogenen Ausführungsbeispiel der Erfindung weist das Verfahren ferner auf (a) ein Erfassen eines in der Szene befindlichen Objekts;According to a method-related embodiment of the invention, the method further comprises (a) detecting an object in the scene;
(b) ein Vergleichen des erfassten Objekts mit zumindest einem in einer (b) comparing the detected object with at least one in a
Datenbank hinterlegten Vergleichsobjekt; und (c), wenn das Objekt innerhalb vorgegebener zulässiger Abweichungen mit einem Vergleichsobjekt Database stored comparison object; and (c) if the object is within predetermined allowable deviations with a comparison object
übereinstimmt, ein Identifizieren des Objekts als ein für eine bestimmte Aktion zugelassenes Objekt. matches, identifying the object as one for a particular action approved object.
Die zugelassene Aktion kann beispielsweise eine erlaubte Passage durch eine Öffnung in einem Gebäude sein, welche Öffnung vor der Identifizierung als zugelassenes Objekt durch einen Verschließkörper verschlossen ist und erst nach der erfolgreichen Identifizierung durch eine entsprechende Bewegung des The approved action may, for example, be an authorized passage through an opening in a building, which opening is closed by a closing body before being identified as an approved object and only after successful identification by a corresponding movement of the door
Verschließkörpers geöffnet wird. Die zu identifizierenden Objekte können bevorzugt Personen und/oder Fahrzeuge sein. Eine erfolgreiche Identifizierung kann zur Steuerung bzw. zur Aktivierung eines Verschlussmechanismus für einen Verschließkörper vor einer Öffnung eines Gebäudes sein. Closing body is opened. The objects to be identified may preferably be persons and / or vehicles. Successful identification may be to control or activate a closure mechanism for a closure body prior to opening a building.
Gemäß einem weiteren Aspekt der Erfindung wird beschrieben eine Verwendung eines vorstehend beschriebenen Sensorsystems für ein Steuern einer According to a further aspect of the invention, a use of a sensor system described above for controlling a
Bedeckungscharakteristik einer von einem Objekt zu passierenden Öffnung durch zumindest einen Verschließkörper. Covering characteristic of an opening to be passed by an object by at least one closing body.
Der beschriebenen Verwendung liegt die Erkenntnis zugrunde, dass eine auf energetisch effiziente Weise vorgenommen Erfassung und Auswertung einer optischen Szene auf vorteilhafte Weise bei Durchgängen eingesetzt werden kann, welche von einem Verschließkörper verschlossen werden können. Dies gilt insbesondere für Durchgänge, welche eine Verschließ- bzw. eine The described use is based on the finding that a detection and evaluation of an optical scene made in an energy-efficient manner can be used advantageously in passages which can be closed by a closing body. This is especially true for passages which a closure or a
Bedeckungscharakteristik aufweisen, die von dem beschriebenen Sensorsystem gesteuert oder zumindest mitgesteuert wird. Da solche Sensorsysteme Covering characteristic, which is controlled by the described sensor system or at least co-controlled. Because such sensor systems
üblicherweise durch die Verschlusssysteme für die Verschließkörper mit Energie versorgt werden, ist es besonders wichtig, mit einer vergleichsweise geringen Energiemenge auszukommen und trotzdem zu zuverlässigen TOF Usually powered by the closure systems for the closure body, it is particularly important to operate with a comparatively small amount of energy and still to reliable TOF
Szenenauswertungen zu kommen. Scene evaluations to come.
Durch die erfindungsgemäße Verwendung des vorstehend beschriebenen By the inventive use of the above-described
Sensorsystems können auf energetisch effiziente Weise auch größere Distanzen überwacht werden, welches naturgemäß zu einem früheren Erkennen einer Öffnungsanforderung des Verschlusskörpers führt, was insbesondere bei sich schnell bewegenden Objekten von großem Vorteil sein kann. Ferner kann die Szene mit einem breiteren Erfassungswinkel erfasst werden, was beispielswiese zu einem frühzeitiges Erkennen von sich quer zur Öffnung bewegenden Sensor system can be monitored in an energetically efficient manner and larger distances, which naturally to an earlier detection of a Opening request of the closure body leads, which can be a great advantage especially for fast moving objects. Furthermore, the scene can be detected with a wider detection angle, which, for example, leads to an early detection of itself transversely to the opening
Querverkehr und damit zu einem zuverlässigeres Erkennen von Objekten im Sicherheitsbereich des Verschlusssystems führen kann. Dadurch kann bei Querverkehr eine unnötige Öffnungsanforderung unterdrückt werden. Cross-traffic and thus lead to a more reliable detection of objects in the security area of the closure system. This can be suppressed in cross traffic unnecessary opening request.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist die Öffnung ein Eingang oder ein Ausgang, insbesondere ein Notausgang in einem Gebäude. Durch das Erkennen eines zwar vorhandenen, aber sich ggf. nicht bewegenden Objektes in einem Durchgangsbereich kann ein Eingang oder Ausgang According to a further embodiment of the invention, the opening is an entrance or an exit, in particular an emergency exit in a building. By recognizing an existing, but possibly not moving object in a passage area can be an input or output
überwacht, insbesondere ein blockierter Notausgang erkannt, und die monitored, in particular a blocked emergency exit detected, and the
entsprechende Information an ein angegliedertes System, beispielsweise an ein Überwachungssystem, übermittelt werden. corresponding information to an affiliated system, for example to a monitoring system, transmitted.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist das Objekt eine Person oder ein Fahrzeug. In diesem Fall kann das Gebäude insbesondere ein Haus bzw. eine Garage sein. According to a further embodiment of the invention, the object is a person or a vehicle. In this case, the building may in particular be a house or a garage.
Gemäß einem weiteren Aspekt der Erfindung wird beschrieben eine Verwendung eines vorstehend beschriebenen Sensorsystems für ein Erfassen und/oder Steuern von Verkehrsströmen von Objekten, welche sich durch eine Szene des Sensorsystems (hindurch) bewegen, wobei die Szene durch einen räumlichen Erfassungsbereich des Sensorsystems bestimmt ist. According to another aspect of the invention, there is described a use of a sensor system described above for detecting and / or controlling traffic flows of objects moving through a scene of the sensor system, the scene being determined by a spatial detection range of the sensor system.
Auch dieser beschriebenen Verwendung liegt die Erkenntnis zugrunde, dass es bei einer Verkehrserfassung und/oder Verkehrsstromlenkung auf eine This described use is based on the finding that it is in a traffic detection and / or traffic flow control on a
energieeffiziente Sensorik ankommt, da diese Sensorik typischerweise ständig in Betrieb ist und darüber hinaus insbesondere bei größeren Verkehrsströmen typischerweise eine sehr hohe Anzahl derartiger Sensorsysteme im Einsatz sind. Die für den betreffenden Verkehrsstrom relevanten Objekte können beispielsweise Personen, Fahrzeuge, Produkte wie z. B. Pakete, Koffer, etc. sein. Da für derartige Anwendungen üblicherweise eine Mehrzahl oder gar eine Vielzahl von 3D Sensoren einsetzt werden, wirken sich hier Energieeinsparungen besonders positiv aus. Energy-efficient sensor technology arrives, since this sensor is typically constantly in operation and beyond, especially in larger traffic flows typically a very large number of such sensor systems are in use. The relevant for the traffic flow objects, for example, people, vehicles, products such. B. packages, suitcases, etc. be. Since a plurality or even a multiplicity of 3D sensors are usually used for such applications, energy savings have a particularly positive effect here.
Es wird darauf hingewiesen, dass Ausführungsformen der Erfindung mit Bezug auf unterschiedliche Erfindungsgegenstände beschrieben wurden. Insbesondere sind einige Ausführungsformen der Erfindung mit Vorrichtungsansprüchen und andere Ausführungsformen der Erfindung mit Verfahrensansprüchen bzw. It should be noted that embodiments of the invention have been described with reference to different subject matters. In particular, some embodiments of the invention are with apparatus claims and other embodiments of the invention with method claims or
Verwendungsansprüchen beschrieben. Dem Fachmann wird jedoch bei der Lektüre dieser Anmeldung sofort klar werden, dass, sofern nicht explizit anders angegeben, zusätzlich zu einer Kombination von Merkmalen, die zu einem Typ von Erfindungsgegenstand gehören, auch eine beliebige Kombination von Merkmalen möglich ist, die zu unterschiedlichen Typen von Usage claims described. However, it will be readily apparent to those skilled in the art upon reading this application that, unless explicitly stated otherwise, in addition to a combination of features belonging to a type of subject matter, any combination of features that may result in different types of features is also possible
Erfindungsgegenständen gehören . Subject matters belong.
Bevor an späterer Stelle und bezugnehmend auf die Zeichnung exemplarische Ausführungsbeispiele der Erfindung beschrieben werden, werden an dieser Stelle einige technische Überlegungen dargestellt, die im Zusammenhang mit der Erfindung stehen. Before describing exemplary embodiments of the invention with reference to the drawings, some technical considerations related to the invention will be described here.
TOF-basierende Sensorsysteme können generell sowohl in Bezug auf das Beleuchtungslicht als auch in Bezug auf das Messlicht in zwei grundsätzlich unterschiedliche Klassen unterteilt werden, welche beliebig miteinander kombiniert werden können. In general, TOF-based sensor systems can be subdivided into two fundamentally different classes both with regard to the illumination light and with regard to the measurement light, which can be combined as desired.
Bl : Die erste Alternative (Bl) für die Beleuchtung zeichnet sich dadurch aus, dass die Szene mittels eines einzelnen Beleuchtungslichtstrahls hoher Bl: The first alternative (Bl) for the lighting is characterized by the fact that the scene by means of a single illumination light beam high
Fokussierung und niedriger Divergenz (also hoher Kollimation) sequentiell abgetastet wird. Für jede Position des Beleuchtungslichtstrahls in der Szene wird eine Messung der Laufzeit des Beleuchtungslichts und des Messlichts Focusing and low divergence (ie high collimation) sequentially is scanned. For each position of the illumination light beam in the scene, a measurement of the duration of the illumination light and the measurement light
vorgenommen. Das Abtasten kann unter Verwendung von beweglichen optischen Komponenten, insbesondere Spiegel, realisiert werden. Alternativ oder in performed. The scanning can be realized using movable optical components, in particular mirrors. Alternatively or in
Kombination kann für ein sequentielles Abtasten der Szene mit dem Combination can be used for sequential scanning of the scene with the
Beleuchtungslichtstrahl ein Festkörper verwendet werden, welcher ohne mechanisch bewegliche Teile auskommt und integrierte photonische Strukturen bzw. Schaltungen aufweist. Bei einer geeigneten Ansteuerung dieser Strukturen wird der Beleuchtungslichtstrahl dann auf die gewünschte Stelle der Szene gerichtet. Ein solcher Festkörper ist beispielsweise aus US 2015/293224 Al bekannt. Illuminating light beam can be used a solid body, which manages without mechanically moving parts and has integrated photonic structures or circuits. With a suitable control of these structures, the illumination light beam is then directed to the desired location of the scene. Such a solid is known for example from US 2015/293224 Al.
B2 : Die zweite Alternative (B2) für die Beleuchtung zeichnet sich dadurch aus, dass die gesamte Szene (auf einmal und flächig) beleuchtet wird. Bei Bedarf kann die Intensität des Beleuchtungslichts in ausgewählten Teilbereichen der Szene (punktuell) erhöht werden, um an diesen Stellen eine verbesserte 3D Objekterfassung zu ermöglichen. Eine solche räumlich ungleichmäßige Verteilung der Intensität des Beleuchtungslichts kann ohne bewegliche optische B2: The second alternative (B2) for lighting is characterized by the fact that the entire scene is illuminated (all at once and flatly). If necessary, the intensity of the illumination light in selected subregions of the scene can be (selectively) increased in order to enable improved 3D object detection at these locations. Such spatially uneven distribution of the intensity of the illumination light can be done without moving optical
Komponenten beispielsweise mittels eines sog. Diffraktiven Optischen Elementes (DOE) erfolgen. Components for example by means of a so-called. Diffractive optical element (DOE) take place.
Ml : Eine erste Alternative (Ml) für die Messung basiert auf gepulsten Ml: A first alternative (Ml) for the measurement is based on pulsed
Beleuchtungslichtstrahlen. Dabei wird die "Reisezeit" eines Lichtimpulses auf der Empfängerseite für jeden Pixel innerhalb eines Zeitfensters bestimmt und daraus die Entfernung abgeleitet. Illumination light beams. The "travel time" of a light pulse on the receiver side for each pixel within a time window is determined and derived from the distance.
M2: Die zweite Alternative (M2) für die Messung basiert auf einer zeitlichen, bevorzugt sinusförmigen, Modulation des Beleuchtungslichts mit einer M2: The second alternative (M2) for the measurement is based on a temporal, preferably sinusoidal, modulation of the illumination light with a
vorgegebenen Frequenz, wobei geeignete Werte für diese Frequenz von der zu erwartenden Laufzeit bzw. der maximalen Erfassungsdistanz abhängen. Auf der Seite des Lichtempfängers wird die Phasendifferenz für jeden Pixel gemessen und daraus die Distanzinformation abgeleitet. predetermined frequency, with appropriate values for this frequency depending on the expected transit time or the maximum detection distance. On the side of the light receiver, the phase difference is measured for each pixel and derived therefrom the distance information.
Beide Messprinzipien M l und M2 basieren auf einer Integration der Anzahl von Photonen bzw. der in dem Lichtempfänger generierten Photoelektronen, welche auf jedem zu messenden Pixel eintreffen . In diesem Zusammenhang ist es offensichtlich, dass ein stets vorhandenes Licht- bzw. Photonenrauschen von der Anzahl der in einem Pixel akkumulierten Photonen abhängt. Daher wird die aus der TOF Messung gewonnen Distanzinformation umso genauer, je höher die Anzahl an akkumulierten Photonen ist. Both measuring principles M 1 and M 2 are based on an integration of the number of photons or the photoelectrons generated in the light receiver, which arrive on each pixel to be measured. In this context, it is obvious that an ever-present light or photon noise depends on the number of photons accumulated in a pixel. Therefore, the higher the number of accumulated photons, the more accurate the distance information obtained from the TOF measurement becomes.
Weitere Vorteile und Merkmale der vorliegenden Erfindung ergeben sich aus der folgenden beispielhaften Beschreibung derzeit bevorzugter Ausführungsformen. Further advantages and features of the present invention will become apparent from the following exemplary description of presently preferred embodiments.
Kurze Beschreibung der Zeichnung Short description of the drawing
Figur 1 zeigt die Verwendung eines Sensorsystems zum Steuern einer Figure 1 shows the use of a sensor system for controlling a
Bedeckungscharakteristik einer Öffnung mittels als Schiebetüren ausgebildeten Verschließkörpern. Covering characteristic of an opening by means of closing bodies designed as sliding doors.
Figur 2 zeigt die Verwendung eines Sensorsystems zum Erfassen eines Figure 2 shows the use of a sensor system for detecting a
Verkehrsflusses von auf einem Förderband transportierten Objekten. Traffic flow of transported on a conveyor belt objects.
Die Figuren 3a und 3b illustrieren ein Zusammenfassen von Einzelpixeln eines Lichtempfängers. Figures 3a and 3b illustrate a collection of single pixels of a light receiver.
Die Figuren 4a bis 4c zeigen verschiedene Strahlquerschnitte eines Figures 4a to 4c show different beam cross sections of a
Beleuchtungslichts zum Anpassen der Beleuchtung an die Form der zu Lighting light to adjust the lighting to the shape of the
erfassenden Szene. Detaillierte Beschreibung capturing scene. Detailed description
Es wird darauf hingewiesen, dass die nachfolgend beschriebenen It should be noted that the following
Ausführungsformen lediglich eine beschränkte Auswahl an möglichen Embodiments only a limited selection of possible
Ausführungsvarianten der Erfindung darstellen. Insbesondere ist es möglich, die Merkmale einzelner Ausführungsformen in geeigneter Weise miteinander zu kombinieren, so dass für den Fachmann mit den hier explizit dargestellten Ausführungsvarianten eine Vielzahl von verschiedenen Ausführungsformen als offensichtlich offenbart anzusehen sind. Represent variants of the invention. In particular, it is possible to suitably combine the features of individual embodiments with one another, so that a multiplicity of different embodiments are to be regarded as obviously disclosed to the person skilled in the art with the embodiment variants explicitly illustrated here.
Bevor in diesem Abschnitt die Figuren im Detail beschrieben werden, werden nachstehend einige Aspekte von einer Reihe von Ausführungsformen erläutert. Before the figures are described in detail in this section, some aspects of a number of embodiments are explained below.
In Anbetracht der bei vielen Anwendungen von 3D Sensorsystemen großen Bedeutung eines energieeffizienten Betriebs lässt sich die auf den Given the importance of energy - efficient operation in many applications of 3D sensor systems, it can be applied to the
Lichtempfänger treffende optische Energie des Messlichts dadurch optimieren, dass je nach Ausprägung der Szene die Szene unterschiedlich (intensiv) beleuchtet wird. Light receiver to optimize the incident optical energy of the measuring light by illuminating the scene differently (intensively) depending on the characteristics of the scene.
Für die meisten Anwendungen von TOF Sensorsystemen ist die zu erfassende Szene jedoch quaderförmiger oder kubischer Natur. Bekannte TOF Sensoren haben aber typischerweise einen Erfassungsbereich, der für alle erfassten Raumwinkel zumindest annähernd eine gleiche Reichweite hat. Die However, for most applications of TOF sensor systems, the scene to be captured is cuboidal or cubic in nature. However, known TOF sensors typically have a detection range that has at least approximately the same range for all detected solid angles. The
(Außen)Grenze des Erfassungsbereiches ist daher ein Teil einer Kugelschale (bei der alle Punkte den gleichen Abstand zu dem TOF Sensorsystem haben). (Outside) boundary of the detection area is therefore part of a spherical shell (where all points have the same distance to the TOF sensor system).
Das in diesem Dokument beschriebene TOF Sensorsystem ist nun in der Lage, diese "Kugelschalenbegrenzung" durch ein gezielte Erhöhung oder Reduzierung der Beleuchtungsintensität in ausgewählten Teilbereichen der Szene zumindest teilweise zu kompensieren. Durch eine Reduzierung der Beleuchtungsintensität im Zentrum der Szene und eine Erhöhung der Beleuchtungsintensität gegen den Rand der Szene und insbesondere zu den Ecken hin, kann dieser mit dem vorstehend erläuterten cos' Gesetz beschriebene nachteilige Effekt reduziert und die für die Beleuchtung eingesetzte Energie optimal ausgenutzt werden. The TOF sensor system described in this document is now able to at least partially compensate for this "spherical shell boundary" by selectively increasing or reducing the illumination intensity in selected subregions of the scene. By reducing the illumination intensity in the center of the scene and increasing the illumination intensity against the scene Edge of the scene and in particular to the corners, this can be described with the above-described cos' law described adverse effect and optimally utilized the energy used for lighting.
Ferner lassen sich bestimmte von der räumlich geometrischen Anordnung von Sensorsystem und zu erfassender Szene abhängige Teilbereiche der Szene pauschalisiert mit einer optimalen Beleuchtungsintensität "belichten". So wird zum Beispiel ein TOF-Sensorsystem üblicherweise über der mittleren Höhe der zu beobachtenden Objekte (Menschen, Produkte, Fahrzeuge, usw.) montiert, damit bei einer Mehrzahl von Objekten eine unerwünschte Objektabschattung weniger problematisch ist. Dies bedeutet aber, dass in den meisten Fällen der obere Bereich der Szene größere Messdistanzen beinhaltet als der untere Bereich. Furthermore, certain subregions of the scene which are dependent on the spatially geometrical arrangement of the sensor system and the scene to be detected can be "exposed" in a generalized manner with an optimum illumination intensity. For example, a TOF sensor system is typically mounted above the average height of the objects to be observed (people, products, vehicles, etc.) so that unwanted object shadowing is less problematic in a variety of objects. However, this means that in most cases the upper part of the scene contains larger measurement distances than the lower part.
Dieses Wissen um den Montageort des Sensorsystems in Bezug zu der This knowledge about the mounting location of the sensor system in relation to the
erfassenden Szene kann zur weiteren Optimierung des Betriebs des Capturing scene can be used to further optimize the operation of the
beschriebenen Sensorsystems insbesondere in Hinblick auf die energetische Effizienz berücksichtigt werden, indem der obere Bereich der Szene entsprechend weniger stark beleuchtet bzw. "belichtet" wird. be taken into account in particular with regard to the energy efficiency by the upper area of the scene accordingly less heavily lit or "exposed".
Apparativ lässt sich eine von der Geometrie der Szene abhängige Beleuchtung durch Steuern der abstrahlwinkelabhängigen Beleuchtungsintensität realisieren. Je nach Lichtquelle kann dabei eine unterschiedliche Strategie angewendet werden. Apparently, lighting dependent on the geometry of the scene can be realized by controlling the illumination angle-dependent illumination intensity. Depending on the light source, a different strategy can be used.
(1) Bei einer Lichtquelle, welche aus mehreren einzelnen Beleuchtungsintensität liefernden Elementen besteht, welche die gesamte Beleuchtungseinrichtung darstellen (z.b. ein Array von Laser- oder Leuchtdioden), wird einfach die (1) In a light source consisting of a plurality of individual illuminance-providing elements which constitute the entire illumination device (e.g., an array of laser or light-emitting diodes), the
Helligkeit eines einzelnen Elementes gegenüber den anderen Elementen variiert. Diese Variation kann sowohl konstruktiv im Aufbau (z.B. Laser- oder Brightness of a single element varies with respect to the other elements. This variation can be both constructive in design (e.g., laser or
Leuchtdioden mit unterschiedlicher Intensität) als auch durch die Art der LEDs with different intensity) as well as by the type of
Ansteuerung (via variablem Strom pro Laser- oder Leuchtdiode durch eine geeignete Elektronik, beispielshaft durch ein Einmessen bei der (Erst)Installation eingestellt) eingestellt werden. Ferner ist auch eine dynamische Einstellung der einzelnen Laser- oder Leuchtdioden während des Betriebs möglich. Dabei werden einfach diejenigen Laser- oder Leuchtdioden, welche Bereichen der Szene zugeordnet sind, die wenig Messlicht liefern, entsprechend stärker bestromt. Dies eignet sich besonders gut für das o.g. Beleuchtungsprinzip B2 in Kombination mit dem o.g. Messprinzip Ml oder M2. Control (via variable current per laser or light emitting diode by means of suitable electronics, for example by measuring in the (initial) installation set). Furthermore, a dynamic adjustment of the individual laser or LEDs during operation is possible. In this case, simply those laser or light emitting diodes, which are assigned to areas of the scene that provide little measuring light, are correspondingly more energized. This is particularly well suited for the above lighting principle B2 in combination with the aforementioned measuring principle Ml or M2.
(2) Bei Beleuchtungseinrichtungen, welche mit einem Beleuchtungslichtstrahl sequentiell die ganze Szene abtasten (scannen), ist zu jedem Zeitpunkt der jeweilige momentane Raumwinkel des Beleuchtungslichtstrahls bekannt. Durch Variieren der Intensität dieses Beleuchtungslichtstrahls abhängig vom jeweiligen Raumwinkel kann so die Beleuchtungsintensität abhängig von der (2) In lighting devices which sequentially scan (scan) the entire scene with an illuminating light beam, the respective instantaneous solid angle of the illuminating light beam is known at all times. By varying the intensity of this illumination light beam as a function of the respective solid angle, the illumination intensity can thus be dependent on the
Szenengeometrie (und bei optionaler dynamischer "Ergebnisregelung" auch abhängig von der Reflexions- bzw. Streulichtmenge) für jeden Raumwinkel die Beleuchtungsintensität gezielt gesteuert werden. So kann eine statische Szene eingemessen werden, wobei die zu jedem Raumwinkel passende Intensität an Beleuchtungslicht eingelernt wird. Scene geometry (and with optional dynamic "result control" also depending on the amount of reflection or scattered light) for each solid angle, the illumination intensity can be specifically controlled. Thus, a static scene can be measured, with the appropriate intensity for each solid angle is taught to illuminating light.
Die vorstehend erläuterte und optionale dynamische Anpassung der Intensität an Beleuchtungslicht kann sowohl in Echtzeit als auch von "Frame zu Frame" adaptiv erfolgen. Dabei wird für die Teile der Szene, von denen zu wenig The above-explained and optional dynamic adjustment of the intensity of illumination light can be done adaptively both in real time and from "frame to frame". This is for the parts of the scene, of which too little
Messlicht empfangen wird, unmittelbar die Intensität des entsprechenden Measuring light is received, immediately the intensity of the corresponding
Teil(Beleuchtungslichts) erhöht. Dies bedeutet, dass abhängig von den Part (lighting) increased. This means that depending on the
Ergebniswerten einer letzten Szenenerfassung für die nächste Szenenerfassung diejenigen Bereiche mit "Überbelichtung" abgeschwächt beleuchtet und Result values of a final scene capture for the next scene capture those areas with "overexposure" attenuated and illuminated
diejenigen mit "Unterbelichtung" aufgehellt werden. Dieser Ansatz eignet sich besonders gut für das Beleuchtungsprinzip Bl in Kombination mit dem lighten those with "underexposure". This approach is particularly well suited for the lighting principle Bl in combination with the
Messprinzip Ml oder M2. Measuring principle Ml or M2.
Eine Ausführungsform der Erfindung erreicht eine Energieeinsparung mittels einer dynamischen Beleuchtungsenergieoptimierung, wobei Beleuchtungsenergien von unterschiedlichen Wellenlängen bzw. Frequenzen verwendet werden. Dabei können beispielsweise abhängig von der Farbe des Objekts die Wellenlängen, die zu den intensivsten Reflexionen bzw. An embodiment of the invention achieves energy savings by means of dynamic lighting energy optimization, wherein Illumination energies of different wavelengths or frequencies are used. Depending on the color of the object, for example, the wavelengths that contribute to the most intense reflections or
Lichtstreuungen führen, mit einer geringeren Intensität ausgesendet werden. Im Gegensatz dazu können andere Wellenlängen bzw. andere Wellenlängenbereiche mit geringerer Reflexion bzw. Streuung in dem Wellenlängenspektrum mit einer höheren Intensität vorhanden sein. So kann beispielsweise ein rotes Objekt so primär mit einem rotem Lichtanteil beleuchtet werden und der grüne und der blaue Lichtanteil werden (für den betreffenden Raumwinkel) reduziert, bevorzugt auf zumindest annähernd eine Intensität von Null. Dasselbe Prinzip kann auch im Verhältnis zwischen sichtbarem Licht und infraroten (IR) Licht angewendet werden. Light scattering lead to be emitted with a lower intensity. In contrast, other wavelengths or other wavelength regions with less reflection or scattering may be present in the wavelength spectrum with a higher intensity. Thus, for example, a red object can be illuminated primarily with a red light component and the green and blue light components are reduced (for the relevant solid angle), preferably to at least approximately zero intensity. The same principle can also be applied in the relationship between visible light and infrared (IR) light.
Die im Rahmen einer frequenz- bzw. wellenlängenvariablen Beleuchtung gewonnen Informationen betreffend Reflexions- bzw. Streueigenschaften mit zugehöriger Distanz und Raumwinkel können bei einer nachfolgenden The information obtained in the context of a variable frequency or wavelength variable illumination with respect to reflection and scattering properties with associated distance and solid angle can be used in a subsequent
Szenenauswertung von bewegten Objekten von großem Vorteil sein, weil dadurch einfacher Objekte erkannt und verfolgt werden können, da die Scene analysis of moving objects can be of great advantage, because it allows easier objects to be detected and tracked, since the
funktionelle Zusammengehörigkeit von Raumpunkten über die Reflexions- bzw. Streueigenschaften zusätzlich gruppierend interpretiert werden können. Functional cohesion of spatial points on the reflection or scattering properties can be interpreted in addition grouping.
Das in diesem Dokument beschriebene Sensorsystem kann beispielsweise bei Durchgängen einsetzt werden, insbesondere bei Durchgängen, welche eine Verschlusscharakteristik aufweisen, die automatisch gesteuert wird (z.B. mittels Türen, Tore, Barrieren, Ampeln, etc.). Da die Sensorik für eine The sensor system described in this document may be used, for example, in passageways, especially in passageways having a shutter characteristic that is automatically controlled (e.g., by means of doors, gates, barriers, traffic lights, etc.). Since the sensors for a
Durchgangssteuerung üblicherweise durch die vorhandenen Verschlusssysteme mit Energie versorgt wird, gilt es mit einer gegebenen Energiemenge möglichst viel sensorische Wirkung zu erzielen. Das in diesem Dokument beschriebene Sensorsystem erlaubt im Vergleich zu bekannten Sensorsystemen (i) eine Datenerfassung für größere Distanzen (früheres Erkennen einer Passage control is usually powered by the existing closure systems with energy, it is with a given amount of energy as much sensory effect to achieve. The sensor system described in this document allows, compared to known sensor systems (i), data acquisition for longer distances (earlier detection of a
Öffnungsanforderung, insbesondere bei schneller bewegenden Objekten), (ii) breitere Erfassungswinkel (z.B. frühzeitiges Erkennen und Verfolgen von Opening request, especially for faster moving objects), (ii) wider coverage angle (eg early detection and tracking of
Querverkehr) und/oder (iii) ein zuverlässigeres Erkennen von Objekten in einem Sicherheitsbereich des Verschlusssystems. Cross-traffic) and / or (iii) a more reliable detection of objects in a security area of the closure system.
Bei manchen Ausführungsformen wird für den Lichtempfänger ein Empfangschip verwendet, dessen Pixel unterschiedliche Sensitivitäten haben. Dies kann z.B. durch Reduktion des Rauschens einzelner Pixel oder Zonen von Pixeln sein. Da das Rauschen häufig mit der Wärme des Sensors korreliert ist, kann z.B. mittels einer Wärmepumpe (z.B. ein Peltier-Element) für einen Teil des Empfangschips eine höhere Sensitivität erreicht werden. Je punktueller diese In some embodiments, a receiving chip whose pixels have different sensitivities is used for the light receiver. This can e.g. by reducing the noise of individual pixels or zones of pixels. Since the noise is often correlated with the heat of the sensor, e.g. by means of a heat pump (for example a Peltier element) a higher sensitivity can be achieved for a part of the receiving chip. The more punctual this
Temperaturveränderung auf dem Empfangschip erzeugt werden kann, desto höher kann die Energieeffizienz des Sensorsystems sein. So lässt sich z.B. in einer bestimmten Ausführungsform ein Temperaturgradient über den Temperature change can be generated on the receiving chip, the higher the energy efficiency of the sensor system can be. Thus, for example, in a particular embodiment, a temperature gradient over the
Empfangschip aufprägen, so dass das von einer weiter entfernten Zone der Szene kommende Messlicht auf eine kühlere Zone des Empfangschips gelangt. Imprint a receiving chip so that the measuring light coming from a more distant zone of the scene reaches a cooler zone of the receiving chip.
In einer weiteren Ausführungsform, welche sich vor allem für das In a further embodiment, which is especially for the
Beleuchtungsprinzip B2 eignet, wird eine (zusätzliche) räumliche Variation des Beleuchtungslichts durch DOE's erreicht. Bei DOE's im Zusammenhang mit Lasersystemen kann so die maximale Beleuchtungsenergie ausgenutzt werden, weil diejenigen Anteile der Beleuchtungslichtstrahlen, welche mit geringerer Intensität auf die Szene treffen sollen, nicht einfach durch eine Maske Lighting principle B2 is suitable, an (additional) spatial variation of the illumination light is achieved by DOE's. With DOEs in the context of laser systems, the maximum illumination energy can thus be utilized, because those portions of the illumination light beams, which should strike the scene at a lower intensity, are not simply passed through a mask
ausgeblendet werden sondern deren Intensität durch das DOE auf andere Bereiche der Szene umverteilt wird. So kann die Energie des Beleuchtungslichts nahezu vollständig ausgenutzt werden. Derselbe Effekt der Konzentration von Beleuchtungslicht in einem Teilbereich der Szene (wenn auch mit tieferer Effizienz) kann auch durch Mechanismen erreicht werden, wie sie für but their intensity is redistributed by the DOE to other areas of the scene. Thus, the energy of the illumination light can be almost completely utilized. The same effect of the concentration of illumination light in a portion of the scene (albeit at a lower efficiency) can also be achieved by mechanisms such as those for
Musterprojektionen verwendet werden, die für 3D Sensoren erforderlich sind, welche auf dem bekannten Prinzip der strukturierten Beleuchtung bzw. der sog. Streifenprojektion beruhen. Die hier beschriebene räumliche Variation des Beleuchtungslichts kann auch mit zusätzlichen Linsensystemen, insbesondere Freiformlinsen zusätzlich optimiert werden. Anschaulich ausgedrückt sorgt die in diesem Dokument beschriebene raumwinkelabhängige Beleuchtungsintensität für eine szenenabhängige Ausleuchtung, welche zu einer gleichmäßigeren Verteilung der Intensität des aus den verschiedenen Teilen der Szene empfangenen Pattern projections are required, which are required for 3D sensors, which are based on the known principle of structured illumination or the so-called. Strip projection. The spatial variation of the illumination light described here can also be used with additional lens systems, in particular Freeform lenses are additionally optimized. Illustratively, the room-angle-dependent illumination intensity described in this document provides for scene-dependent illumination, which results in a more uniform distribution of the intensity of the light received from the different parts of the scene
Messlichts führt. Measuring light leads.
In einer weiteren Ausführungsform wird die zu erfassende Szene zunächst konventionell, insbesondere gemäß dem Beleuchtungsprinzip B2, beleuchtet.In a further embodiment, the scene to be detected is first illuminated conventionally, in particular according to the illumination principle B2.
Nach einer Ermittlung der Distanzinformation der ganzen Szene werden in den folgenden Szenenerfassungen die "überbelichteten Regionen" mit einer After determining the distance information of the whole scene in the following scene captures the "overexposed regions" with a
geringeren Beleuchtungsintensität beleuchtet. Insbesondere bei Sensorsystemen, welche zeitliche Veränderungen von Objekten in der Szene detektieren sollen, kann das Sensorsystem an der unteren Grenze der Messbarkeit betrieben werden, solange die Szene (noch) statisch ist. Wenn jedoch eine Veränderung in der Szene (grob) erkannt oder zumindest vermutet wird, dann kann sofort mit einer Erhöhung der Beleuchtungsintensität reagiert werden, so dass die Szene beziehungsweise die Szenenveränderungen dann mit einer hohen Genauigkeit erfasst und ausgewertet werden können. Dieser Mechanismus kann sowohl für IR Sensorsysteme als auch für Sensorsysteme verwendet werden, die mit illuminated lower illumination intensity. Particularly in sensor systems which are intended to detect temporal changes of objects in the scene, the sensor system can be operated at the lower limit of the measurability as long as the scene is (still) static. However, if a change in the scene is (grossly) detected or at least suspected, then an increase in the illumination intensity can be reacted immediately, so that the scene or the scene changes can then be detected and evaluated with high accuracy. This mechanism can be used both for IR sensor systems and for sensor systems with
sichtbarem Licht arbeiten. work visible light.
In der folgenden auf die Figuren Bezug nehmenden detaillierten Beschreibung sind Merkmale bzw. Komponenten von unterschiedlichen Ausführungsformen, die mit den entsprechenden Merkmalen bzw. Komponenten von einer anderen Ausführungsform nach gleich oder zumindest funktionsgleich sind, mit den gleichen Bezugszeichen oder mit Bezugszeichen versehen, welche in den letzten beiden Ziffern identisch sind . Zur Vermeidung von unnötigen Wiederholungen werden bereits anhand einer vorher beschriebenen Ausführungsform erläuterte Merkmale bzw. Komponenten an späterer Stelle nicht mehr im Detail erläutert. Figur 1 zeigt die Verwendung eines Sensorsystems 100 zum Steuern einer Bedeckungscharakteristik einer Öffnung 184 abhängig von der Charakteristik einer von dem Sensorsystem 100 überwachten Szene 190. Gemäß dem hier dargestellten Ausführungsbeispiel ist die Öffnung 184 eine Eintrittsöffnung für Personen in ein Gebäude oder eine Garageneinfahrt für Kraftfahrzeuge. Die entsprechende Eingangsstruktur ist mit dem Bezugszeichen 180 versehen. Ein in der Szene befindliches Objekt 195 soll eine solche Person oder ein Kraftfahrzeug symbolisieren. In the following detailed description referring to the figures, features of different embodiments, which are the same or at least functionally identical to the corresponding features or components of another embodiment, are provided with the same reference numerals or with reference numerals, which in the last two digits are identical. In order to avoid unnecessary repetitions, features or components already explained on the basis of a previously described embodiment will not be explained in detail later. 1 shows the use of a sensor system 100 to control a coverage characteristic of an opening 184 depending on the characteristics of a scene 190 monitored by the sensor system 100. According to the embodiment shown here, the opening 184 is an entrance for persons into a building or garage entrance for motor vehicles. The corresponding input structure is provided with the reference numeral 180. An object 195 in the scene is intended to symbolize such a person or a motor vehicle.
Die Eingangsstruktur 180 umfasst eine stationäre Haltestruktur 182, welche einen Rahmen sowie eine Führung für zwei als Schiebetüren ausgebildete Verschließkörper 186 darstellt. Die Schiebetüren 186 können jeweils mittels eines Motors 187 entlang der durch zwei dicke Doppelpfeile dargestellten The input structure 180 comprises a stationary support structure 182, which constitutes a frame and a guide for two closing bodies 186 designed as sliding doors. The sliding doors 186 can each be represented by means of a motor 187 along the two thick double arrows
Verschieberichtungen bewegt werden. Die Ansteuerung der Motoren 187 erfolgt, wie im Folgenden dargelegt, mittels des in diesem Dokument beschriebenen Sensorsystems 100. Move instructions are moved. The actuation of the motors 187 takes place, as explained below, by means of the sensor system 100 described in this document.
Das Sensorsystem 100 weist auf eine TOF-Messeinrichtung 110, eine The sensor system 100 has a TOF measuring device 110, a
Datenverarbeitungseinrichtung 150 sowie eine Datenbank 160. Die TOF- Messeinrichtung 110 wiederum weist eine Beleuchtungseinrichtung 130 und einen Lichtempfänger 120 auf. Gemäß dem hier dargestellten Data processing device 150 and a database 160. The TOF measuring device 110 in turn has a lighting device 130 and a light receiver 120. As shown here
Ausführungsbeispiel weist die TOF-Messeinrichtung 110 auf bzw. sind der TOF- Messeinrichtung 110 zugeordnet (i) eine Beleuchtungslicht-Steuereinrichtung 135 zum Steuern des Betriebs der Beleuchtungseinrichtung 130, (ii) eine dem Lichtempfänger 120 nachgeschaltete Messeinheit 125 zum Messen einer Exemplary embodiment comprises the TOF measuring device 110 or are associated with the TOF measuring device 110 (i) an illumination light control device 135 for controlling the operation of the illumination device 130, (ii) a measuring unit 125 connected downstream of the light receiver 120 for measuring a
Lichtlaufzeit zwischen von der Beleuchtungseinrichtung 130 ausgesandten Beleuchtungslicht 131 und von dem Lichtempfänger 120 empfangenen Messlicht 196 und (iii) eine Lichtempfänger-Steuereinrichtung 140 zum Steuern des Betriebs bzw. zum Auswählen eines Betriebsmodus des Lichtempfängers 120. In der TOF-Messeinrichtung 110 sind insbesondere alle optischen Komponenten des Sensorsystems 100 untergebracht. An einem Gehäuse der TOF- Messeinrichtung 110 ist eine Halterung 111 vorgesehen. Mittels dieser Halterung 111 ist zumindest die TOF-Messeinrichtung 110 an der stationären Haltestruktur 182 in mechanisch stabiler und räumlich fester Weise angebracht. Bevorzugt ist das ganze Sensorsystem 100 (im Gegensatz zu der Darstellung von Figur 1) als ein Modul aufgebaut, welches innerhalb einer kompakten Bauweise neben der TOF-Messeinrichtung 110 auch noch die Datenverarbeitungseinrichtung 150 sowie die Datenbank 160 aufweist. Light propagation time between illumination light 131 emitted from the illumination device 130 and measurement light 196 received by the light receiver 120, and (iii) a light receiver control device 140 for controlling the operation of the light receiver 120. In particular, all optical components of the sensor system 100 are accommodated in the TOF measuring device 110. On a housing of the TOF measuring device 110, a holder 111 is provided. By means of this holder 111, at least the TOF measuring device 110 is attached to the stationary holding structure 182 in a mechanically stable and spatially fixed manner. Preferably, the whole sensor system 100 (in contrast to the representation of FIG. 1) is constructed as a module which, in addition to the TOF measuring device 110, also has the data processing device 150 and the database 160 within a compact design.
Gemäß dem hier dargestellten Ausführungsbeispiel weist die Lichtempfänger- Steuereinrichtung 140 eine Schnittstelle 142 auf, über welche ein externes Steuersignal 142a empfangen werden kann. Das externe Steuersignal kann von einem angegliederten System (nicht dargestellt), beispielsweise einem According to the embodiment shown here, the light receiver control device 140 has an interface 142, via which an external control signal 142a can be received. The external control signal may be from an attached system (not shown), such as a
Überwachungssystem, stammen, welches den Betrieb der Sensorvorrichtung 100 abhängig von externen Parametern steuert. Ein solcher externer Parameter kann beispielsweise eine vorab bekannte optische Eigenschaft des Objektes 195 sein. Auch ein nachstehend anhand der Figuren 3a und 3b beschriebenes Monitoring system, which controls the operation of the sensor device 100 depending on external parameters. Such an external parameter may be, for example, a previously known optical property of the object 195. Also a below with reference to the figures 3a and 3b described
szenenabhängiges Zusammenfassen von Pixeln des Lichtempfängers 120 kann von dem Steuersignal 142a veranlasst bzw. gesteuert werden. Scene-dependent grouping of pixels of the light receiver 120 may be initiated by the control signal 142a.
Über die Schnittstelle 142 übertragene Signalisierungsdaten können außerdem Informationen über die erfasste und ausgewertete Szene 190 enthalten. Eine solche Information kann beispielhaft die Information sein, dass ein Fluchtweg blockiert ist, dass ein zur Fahndung ausgeschriebenes Nummernschild erkannt wurde, dass ein Parkplatz illegal belegt wurde, dass sich ein verdächtiger Gegenstand in der überwachten Szene 190 befindet, etc. In diesem Fall erfolgt ein entsprechender Informationsfluss von der Sensorsystem 100 bzw. genauer von der Lichtempfänger-Steuereinrichtung 140 zu dem angegliederten System. Alternativ oder in Kombination können solche Signalisierungsdaten 152a auch von der Datenverarbeitungseinrichtung 150 über eine Schnittstelle 152 ausgegeben werden. Signaling data transmitted via the interface 142 may also include information about the detected and evaluated scene 190. Such information may be, for example, the information that an escape route is blocked, that a license plate written out for search has been recognized, a parking lot has been illegally occupied, a suspicious object is in the monitored scene 190, etc. In this case, a corresponding information flow from the sensor system 100 or more precisely from the light receiver control device 140 to the affiliated system. Alternatively or in combination, such signaling data 152a may also be be output from the data processing device 150 via an interface 152.
Ein an die Datenverarbeitungseinrichtung 150 über die Schnittstelle 152 übergebenes externes Steuersignal 152a kann auch dazu verwendet werden, den Betrieb der Datenverarbeitungseinrichtung 150 zumindest teilweise von externen Informationen abhängig zu machen. Insbesondere kann über das Steuersignal 152a ein "a priori Wissen" über ein Objekt 195 für eine verbesserte Auswertung der erfassten Szene 190 und insbesondere für eine verbesserte Objekterkennung übermittelt werden. An external control signal 152a transferred to the data processing device 150 via the interface 152 can also be used to make the operation of the data processing device 150 at least partially dependent on external information. In particular, via the control signal 152a an "a priori knowledge" can be transmitted via an object 195 for an improved evaluation of the detected scene 190 and in particular for an improved object recognition.
Gemäß dem hier dargestellten Ausführungsbeispiel beleuchtet die According to the embodiment shown here, the illuminated
Beleuchtungseinrichtung 130, welche beispielsweise ein Array von individuell ansteuerbaren Laser- oder Leuchtdioden sein kann, die Szene 190 und damit auch das in der Szene 190 befindliche Objekt 195 mit einem gepulsten und damit zeitlich modulierten Beleuchtungslicht 131. Die Beleuchtungslicht- Steuereinrichtung 135 ist konfiguriert, die Beleuchtungseinrichtung 130 derart anzusteuern, dass eine Charakteristik des Beleuchtungslichts 131, welche die Abhängigkeit der Beleuchtungsintensität des Beleuchtungslichts 131 von dem Raumwinkel beschreibt (in dem das Beleuchtungslicht 131 auf die Szene 190 trifft), während eines Betriebes des Sensorsystems 100 dynamisch veränderbar ist. Alternativ oder in Kombination kann die Beleuchtungslicht-Steuereinrichtung 135 auch dafür sorgen, dass die Charakteristik des Beleuchtungslichts 131 einen natürlichen Randlichtabfall zumindest annähernd kompensiert, gemäß dem eine Helligkeit in einem Bild beim Abbilden eines gleichmäßig hellen Motivs durch ein aus Gründen der Übersichtlichkeit nicht dargestellten Objektiv um den Faktor cos' gegenüber der Helligkeit in der Mitte des von dem Lichtempfänger aufgenommenen Bildes abnimmt. Lighting device 130, which may be, for example, an array of individually controllable laser or light-emitting diodes, the scene 190 and thus also located in the scene 190 object 195 with a pulsed and thus temporally modulated illumination light 131. The illumination light control device 135 is configured, the Lighting device 130 to control such that a characteristic of the illumination light 131, which describes the dependence of the illumination intensity of the illumination light 131 of the solid angle (in which the illumination light 131 strikes the scene 190), during a operation of the sensor system 100 is dynamically changeable. Alternatively, or in combination, the illumination light controller 135 may also cause the characteristic of the illumination light 131 to at least approximately compensate for natural edge light falloff, according to which brightness in an image when imaging a uniformly bright subject through an objective not shown for clarity decreases the factor cos' with respect to the brightness in the center of the image picked up by the light receiver.
Die raumwinkelabhängige Intensitätsverteilung des Beleuchtungslichts 131 ist in Figur 1 durch unterschiedlich breite und gestrichelt dargestellte Pfeile illustriert. Dabei steht ein breiter Pfeile für eine hohe Beleuchtungsintensität in den betreffenden Raumwinkelbereich (herein) und ein schmaler Pfeil soll eine vergleichsweise geringe Intensität der entsprechenden Beleuchtungslichtstrahlen verdeutlichen. Um eine möglichst gleichmäßige Verteilung der Intensität des zurückgestreuten Messlichts 196 (aus Gründen der Übersichtlichkeit sind in Figur 1 lediglich zwei Messlichtstrahlen dargestellt) zu erreichen, werden Raumwinkel der Szene 190, welche einer größeren Messdistanz zugeordnet sind, stärker beleuchtet als Raumwinkel, welche einer geringeren Messdistanz zugeordnet sind. The space angle-dependent intensity distribution of the illumination light 131 is illustrated in FIG. 1 by arrows of different widths and dashed lines. In this case, a broad arrows for a high illumination intensity in the respective solid angle range (in) and a narrow arrow to illustrate a comparatively low intensity of the corresponding illumination light beams. In order to achieve the most uniform possible distribution of the intensity of the backscattered measuring light 196 (only two measuring light beams are shown in FIG. 1 for reasons of clarity), solid angles of the scene 190, which are associated with a larger measuring distance, are illuminated more strongly than solid angles, which have a smaller measuring distance assigned.
Die Beleuchtungslicht-Steuereinrichtung 135 kann die Charakteristik des The illumination light controller 135 may be the characteristic of the
Beleuchtungslichts 131 abhängig von einem externen Steuersignal 137 Illumination light 131 depending on an external control signal 137
bestimmen, welches über eine Schnittstelle 137 übergeben wird. Das determine which is transferred via an interface 137. The
Steuersignal 137a kann indikativ sein für die raumwinkelabhängige Control signal 137a may be indicative of the space angle dependent
Beleuchtungsintensität und/oder für weitere Eigenschaften des Illumination intensity and / or for further properties of the
Beleuchtungslichts 131, beispielsweise dessen (a) Wellenlänge, (b) spektrale Intensitätsverteilung, (c) Polarisationsrichtung, und (d) Intensitätsverteilung für unterschiedliche Polarisationsrichtungen. Diese weiteren Eigenschaften können dabei derart ausgewählt sein, dass sie zu einer möglichst zuverlässigen und genauen Objekterkennung beitragen. Auch hier kann ein "a priori Wissen" über optische Eigenschaften des Objekts 195 berücksichtigt werden. Illumination light 131, for example its (a) wavelength, (b) spectral intensity distribution, (c) polarization direction, and (d) intensity distribution for different polarization directions. These further properties can be selected such that they contribute to the most reliable and accurate object recognition possible. Again, a "a priori knowledge" about optical properties of the object 195 can be considered.
Der Lichtempfänger 120 der TOF-Messeinrichtung 110 empfängt von dem Objekt 195 zurückgestreutes Beleuchtungslicht 131. Dieses zurückgestreute Licht wird in diesem Dokument als Messlicht 196 bezeichnet. Die räumliche Erfassung der Szene 195 erfolgt auf der Basis der vorstehend im Detail erläuterten Prinzipien einer Laufzeitmessung, welche auch als Time Of Flight (TOF) Messung bezeichnet wird. Die entsprechenden TOF Daten werden an die Datenverarbeitungs- einrichtung 150 übergeben. Dies kann direkt oder indirekt über die The light receiver 120 of the TOF measuring device 110 receives illuminating light 131 backscattered from the object 195. This backscattered light is referred to as measuring light 196 in this document. The spatial detection of the scene 195 takes place on the basis of the principles explained in detail above of a transit time measurement, which is also referred to as Time Of Flight (TOF) measurement. The corresponding TOF data is transferred to the data processing device 150. This can be done directly or indirectly via the
Lichtempfänger-Steuereinrichtung 140 erfolgen. Es wird darauf hingewiesen, dass die Beleuchtungseinrichtung 130 neben den in Figur 1 dargestellten Beleuchtungseinheiten auch noch andere Beleuchtungs- einheiten aufweisen kann, welche die Szene 190 aus einem anderen Winkel beleuchten. Ebenfalls können die beiden Beleuchtungseinheiten auch außerhalb des Gehäuses der TOF-Messeinrichtung 110 angeordnet und damit von dem Lichtempfänger 120 weiter beabstandet sein. An den Prinzipien der Light receiver controller 140 done. It should be noted that the illumination device 130 in addition to the illumination units shown in Figure 1 can also have other lighting units that illuminate the scene 190 from a different angle. Likewise, the two lighting units can also be arranged outside the housing of the TOF measuring device 110 and thus be further spaced from the light receiver 120. On the principles of
durchgeführten TOF Messung ändert sich dadurch nichts. performed TOF measurement does not change anything.
Gemäß dem hier dargestellten Ausführungsbeispiel wird basierend auf diesen 3D Daten die erfasste optische Szene 190 mittels geeigneter Methoden der According to the exemplary embodiment illustrated here, based on this 3D data, the detected optical scene 190 is identified by means of suitable methods
Bildauswertung ausgewertet. Dazu können mehrere Bilder, welche von der Szene 190 unter unterschiedlichen Beleuchtungsbedingungen bzw. unterschiedlichen Beleuchtungscharakteristika aufgenommen wurden, gemeinsam verwendet werden. Image evaluation evaluated. For this purpose, a plurality of images taken by the scene 190 under different illumination conditions or different illumination characteristics may be shared.
Zur Erfassung eines Bewegungsprofils des Objekts 195 können innerhalb gewisser zeitlicher Abstände jeweils 3D Bilder der Szene 190 aufgenommen werden. Damit ist die Datenverarbeitungseinrichtung 150 in der Lage, basierend auf entsprechenden Positionsverschiebungen des Objekts 195 nicht nur dessen Geschwindigkeit als Absolutwert sondern als Bewegungsvektor (mit einer To capture a motion profile of the object 195, 3D images of the scene 190 can be recorded within certain time intervals. Thus, the data processing device 150 is able, based on corresponding position shifts of the object 195 not only its speed as an absolute value but as a motion vector (with a
Richtungsinformation) zu bestimmen. Eine Kenntnis der genauen Position und/oder des Bewegungsprofils des Objekts 195 kann dann in vorteilhafter Weise dazu verwendet werden, die beiden Motoren 187 in geeigneter Weise von der Datenverarbeitungseinrichtung 150 anzusteuern. Gemäß dem hier dargestellten Ausführungsbeispiel werden bei einer verschlossenen Öffnung 184 die Direction information). Knowledge of the exact position and / or motion profile of the object 195 may then be advantageously used to appropriately drive the two motors 187 from the data processing device 150. According to the embodiment shown here are at a closed opening 184 the
Schiebetüren 186 lediglich dann geöffnet, wenn sich das Objekt 195 tatsächlich in Richtung der Öffnung 184 bewegt. Falls es sich bei dem Objekt 195 um ein Fahrzeug eines sogenannten Querverkehrs handelt, welches sich im Sliding doors 186 open only when the object 195 actually moves in the direction of the opening 184. If the object 195 is a vehicle of so-called cross traffic, which is located in the
Wesentlichen an der Öffnung 184 vorbei bewegt, dann wird der entsprechende Bewegungsvektor von der Datenverarbeitungseinrichtung 150 erkannt und es unterbleibt ein Öffnen der Schiebetüren 186. Nach einem Passieren des Objekts 195 durch die Öffnung 184 kann diese zügig wieder geschlossen werden, um beispielsweise ein Passieren von weiteren Moving substantially past the opening 184, then the corresponding motion vector is detected by the data processing device 150 and there is no opening of the sliding doors 186. After passing the object 195 through the opening 184, it can be quickly closed again, for example, to pass further
Objekten zu verhindern. In diesem Zusammenhang ist es offensichtlich, dass nicht nur der Zeitpunkt, zu dem die Öffnung freigegeben werden muss, sondern auch der Zeitraum, für den die Öffnung 184 offengehalten werden muss, von der Geschwindigkeit des Objekts 195 abhängt, mit der sich dieses in Richtung auf die Öffnung 184 und durch die Öffnung 184 hindurch bewegt. Prevent objects. In this connection, it is obvious that not only the time at which the opening must be released, but also the period of time for which the opening 184 must be kept open depends on the speed of the object 195 with which it is moving in the direction of the opening 184 and through the opening 184 therethrough.
Gemäß dem hier dargestellten Ausführungsbeispiel ist das Sensorsystem 100 ferner in der Lage, eine Objekterkennung vorzunehmen. Dazu greift die According to the embodiment illustrated here, the sensor system 100 is also capable of performing object recognition. This is what the
Datenverarbeitungseinrichtung 150 auf einen in der Datenbank 160 abgelegten Datensatz von Referenzobjekten zu, welche ausgewählten Objekten entsprechen, die autorisiert sind, die Öffnung 184 zu passieren. Dies bedeutet, dass bei einer geeigneten Annäherung des Objekts 195 an den Eingang 184 die Schiebetüren 186 lediglich dann geöffnet werden, wenn das erkannte Objekt 195 zumindest annähernd mit einem der hinterlegten Referenzobjekten übereinstimmt. Dies bedeutet anschaulich, dass bei der hier beschriebenen Verwendung des Data processing device 150 to a stored in the database 160 record of reference objects corresponding to selected objects that are authorized to pass through the opening 184. This means that with a suitable approach of the object 195 to the input 184, the sliding doors 186 are opened only when the detected object 195 at least approximately coincides with one of the stored reference objects. This clearly indicates that in the use described here of the
Sensorsystems 100 die Bedeckungscharakteristik der Öffnung 184 nicht nur von dem Bewegungsprofil des Objekts 195 abhängt, sondern dass auch noch eine objektbasierte Zugangskontrolle stattfindet. Sensor system 100, the coverage characteristic of the opening 184 depends not only on the motion profile of the object 195, but also that an object-based access control takes place.
Figur 2 zeigt eine weitere Verwendung bzw. einen weiteren Einsatz des FIG. 2 shows a further use or a further use of the invention
Sensorsystems 100. Aus Gründen der Übersichtlichkeit ist in Figur 2 lediglich die TOF-Messeinrichtung 110 des Sensorsystems 100 dargestellt. Sensor system 100. For reasons of clarity, only the TOF measuring device 110 of the sensor system 100 is shown in FIG.
Gemäß dem hier dargestellten Ausführungsbeispiel erfasst die TOF- Messeinrichtung 110 einen Verkehrsfluss von (verschiedenen) Objekten 295a, 295b, 295c, 295d und 295e, welche sich auf einem Förderband 298 befinden und entlang der durch einen Pfeil dargestellten Bewegungsrichtung durch eine Szene 290 hindurch bewegen. Eine zuverlässige Kenntnis der Anzahl und/oder der Art der Objekte 295a bis 295e kann im Bereich der Logistik für eine Steuerung des Verkehrsflusses verwendet werden. Lediglich ein Beispiel für eine solche According to the embodiment illustrated here, the TOF measuring device 110 detects a traffic flow of (various) objects 295a, 295b, 295c, 295d and 295e, which are on a conveyor belt 298 and along the direction of movement represented by an arrow through a scene 290 move through. A reliable knowledge of the number and / or the type of objects 295a to 295e can be used in the field of logistics for traffic flow control. Only an example of such
Steuerung eines Verkehrsfluss ist die Steuerung des Gepäcktransportes in einem Flughafen . Dabei können auch Etiketten auf den betreffenden Objekten 295a - 295e die Art des jeweiligen Objektes bestimmen. Es wird jedoch darauf hingewiesen, dass der Einsatz in einem Flughafen lediglich ein Beispiel von einer Vielzahl von anderen Anwendungsmöglichkeiten auf dem Gebiet der Controlling a traffic flow is the control of luggage transport in an airport. In this case, labels on the relevant objects 295a - 295e can also determine the type of the respective object. It should be noted, however, that use in an airport is merely one example of a variety of other uses in the field
Verkehrsteuerung ist. Traffic control is.
Die Figuren 3a und 3b illustrieren ein Zusammenfassen von Einzelpixeln eines als ein Halbleiter- bzw. CCD Chip ausgebildeten Lichtempfängers 320a bzw. FIGS. 3a and 3b illustrate a combination of individual pixels of a light receiver 320a designed as a semiconductor or CCD chip;
320b. Der Lichtempfänger 320a weist eine Vielzahl von lichtsensitiven bzw.  320b. The light receiver 320a has a plurality of light-sensitive or
Photonen sammelnden Pixeln 322a auf. Gemäß dem hier dargestellten Photon collecting pixels 322a. As shown here
Ausführungsbeispiel sind die Pixel 322a der vollen räumlichen Auflösung des Lichtempfängers 320a zugeordnet, welche Auflösung durch die Halbleiter- Architektur des Chips 320a vorgegeben ist. Embodiment, the pixels 322a are associated with the full spatial resolution of the light receiver 320a, which resolution is predetermined by the semiconductor architecture of the chip 320a.
Bei dem Lichtempfänger 320b sind jeweils vier der lichtsensitiven Pixel (für eine volle Auflösung) zu einem übergeordneten Pixel 322b (für eine erhöhte In the light receiver 320b, four of the light-sensitive pixels (for a full resolution) are respectively added to a higher-level pixel 322b (for an increased resolution)
Photonenakkumulation pro Pixel auf Kosten einer reduzierten räumlichen Photon accumulation per pixel at the expense of a reduced spatial
Auflösung) zusammengefasst. Anschaulich ausgedrückt sammelt ein Pixel 322b im Vergleich zu einem einzelnen Pixel 322a eine vierfache Menge an Licht. Ein solches Zusammenfassen (Englisch "Binning") reduziert die erforderliche Resolution). Illustratively, a pixel 322b collects a four-fold amount of light compared to a single pixel 322a. Such a "binning" reduces the required
(Mindest)Intensität des erfassten Messlichts, welche zum Auswerten des entsprechenden Bildbereiches der Szene benötigt wird . Da die Intensität des Messlichts unmittelbar von der Intensität des Beleuchtungslichts abhängt, kann durch das "Binning" die Intensität des Beleuchtungslichts reduziert und damit der Energieverbrauch des Sensorsystems verringert werden. Das beschriebene "Binning" kann auch dynamisch durch eine entsprechende Ansteuerung ein und desselben Lichtempfängers 320a bzw. 320b realisiert werden. Dabei wird der Lichtempfänger entweder in einem ersten Betriebsmodus (mit voller Auflösung) oder in einem zweiten Betriebsmodus (mit (Minimum) intensity of the detected measurement light, which is needed to evaluate the corresponding image area of the scene. Since the intensity of the measurement light depends directly on the intensity of the illumination light, binning reduces the intensity of the illumination light and thus reduces the energy consumption of the sensor system. The described "binning" can also be realized dynamically by a corresponding control of one and the same light receiver 320a or 320b. The light receiver is either in a first operating mode (with full resolution) or in a second operating mode (with
zusammengefassten Photonen sammelnden Pixeln) betrieben. Ein Umschalten zwischen verschiedenen Betriebsmodi kann von externen Steuersignalen (vgl. Bezugszeichen 142a in Figur 1) gesteuert werden. Alternativ oder in Kombination kann ein solches Umschalten auch von dem Ergebnis einer Szenenauswertung abhängen, so dass der "Binning" Betriebsmodus für eine nächste operated photon-collecting pixels) operated. Switching between different modes of operation may be controlled by external control signals (see reference numeral 142a in Figure 1). Alternatively or in combination, such switching may also depend on the result of a scene evaluation, such that the "binning" mode of operation for a next
Szenenerfassung geregelt wird. Scene capture is regulated.
Es wird darauf hingewiesen, dass auch mehr als zwei unterschiedliche It should be noted that more than two different
Betriebsmodi mit jeweils einer unterschiedlich starken Zusammenfassung von Pixeln zum Einsatz kommen können. Ferner ist es möglich, in unterschiedlichen Teilbereichen des Lichtempfängers jeweils eine unterschiedliche Anzahl von Einzelpixeln zu einem übergeordneten Pixel zusammenzufassen. Dann können einzelne Teilbereiche der Szene mit einer höheren räumlichen Auflösung (und einer geringeren Photonenakkumulation) und andere Teilbereich der Szene mit einer niedrigeren räumlichen Auflösung (und einer höheren Operating modes, each with a different strong summary of pixels can be used. Furthermore, it is possible to combine a different number of individual pixels into a higher-order pixel in different partial areas of the light receiver. Then, individual portions of the scene with a higher spatial resolution (and less photon accumulation) and other portions of the scene with a lower spatial resolution (and higher
Photonenakkumulation) erfasst werden. Das beschriebene lokale und Photon accumulation). The described local and
unterschiedlich starke Zusammenfassen von Pixeln kann dynamisch bzw. adaptiv in genau den Teilbereichen durchgeführt werden kann, in denen sich gerade ein bestimmtes Objekt befindet. Different levels of pixel aggregation can be carried out dynamically or adaptively in exactly those subregions in which a particular object is currently located.
Die Figuren 4a bis 4c zeigen verschiedene Strahlquerschnitte eines Figures 4a to 4c show different beam cross sections of a
Beleuchtungslichts zum Anpassen der Beleuchtung an die Form der zu Lighting light to adjust the lighting to the shape of the
erfassenden Szene. Ein in Figur 4a illustriertes erstes Beleuchtungslicht 431a hat einen im Wesentlichen kreisförmigen Strahlquerschnitt und eignet sich bevorzugt für "runde Szenen". Für die meisten Anwendungsfälle, welche keine "runde Szene" erfassen (und auswerten), eignet sich jedoch ein von einer Kreisform abweichender Strahlquerschnitt. In Figur 4b ist ein Beleuchtungslicht 431b mit einem elliptischen Strahlquerschnitt dargestellt. Figur 4c zeigt ein capturing scene. A first illumination light 431a illustrated in FIG. 4a has a substantially circular beam cross section and is preferably suitable for "round scenes". However, for most applications that do not capture (and evaluate) a "round scene," one of a circular shape is appropriate deviating beam cross section. FIG. 4b shows an illumination light 431b with an elliptical beam cross section. FIG. 4c shows
Beleuchtungslicht 431c mit einem rechteckigen Strahlquerschnitt. Wie Illumination light 431c with a rectangular beam cross section. As
vorstehend bereits erwähnt, kann der Strahlquerschnitt durch eine already mentioned above, the beam cross section through a
entsprechende Formgebung der Beleuchtungseinrichtung und/oder durch optische Komponenten wie Spiegel und refraktive optische Elemente (z.B. corresponding shaping of the illumination device and / or by optical components such as mirrors and refractive optical elements (e.g.
Linsensystem) auf geeignete Weise an die jeweils zu erfassende Szene angepasst werden. Auch Diffraktive Optische Elemente (DOE) können verwendet werden, welche optional sogar eine dynamische und/oder szenenabhängige Formung des Strahlquerschnitts ermöglichen. Lens system) are suitably adapted to the scene to be detected. Diffractive optical elements (DOEs) can also be used, which optionally even allow a dynamic and / or scene-dependent shaping of the beam cross-section.
Es wird angemerkt, dass der Begriff "aufweisen" nicht andere Elemente It is noted that the term "comprise" does not include other elements
ausschließt und dass das "ein" nicht eine Mehrzahl ausschließt. Auch können Elemente, die in Zusammenhang mit unterschiedlichen Ausführungsbeispielen beschrieben sind, kombiniert werden. Es sollte auch angemerkt werden, dass Bezugszeichen in den Ansprüchen nicht als den Schutzbereich der Ansprüche beschränkend ausgelegt werden sollen. excludes and that the "one" does not exclude a plurality. Also, elements described in connection with different embodiments may be combined. It should also be noted that reference signs in the claims should not be construed as limiting the scope of the claims.
BEZUGSZEICHEN : Reference sign:
100 Sensorsystem 100 sensor system
110 TOF Messeinrichtung 110 TOF measuring device
111 Halterung 111 bracket
120 Lichtempfänger  120 light receiver
125 Messeinheit 125 measuring unit
130 Beleuchtungseinrichtung  130 lighting device
131 Beleuchtungslicht  131 illumination light
135 Beleuchtungslicht-Steuereinrichtung135 illumination light controller
137 Schnittstelle 137 interface
137a externes Steuersignal  137a external control signal
140 Lichtempfänger- Steuereinrichtung 140 light receiver control device
142 Schnittstelle 142 interface
142a externes Steuersignal 142a external control signal
150 Datenverarbeitungseinrichtung 152 Schnittstelle  150 data processing device 152 interface
152a externes Steuersignal 152a external control signal
160 Datenbank 160 database
180 Eingangsstruktur 180 entrance structure
182 stationäre Haltestruktur 182 stationary holding structure
184 Öffnung / Eingang 184 opening / entrance
186 Verschließkörper / Schiebetür 187 Motor 186 Closing body / sliding door 187 Engine
190 Szene 190 scene
195 Objekt  195 object
196 Messlicht 290 Szene 196 measuring light 290 scene
295a-e Objekte  295a-e objects
298 Förderband 320a/b Lichtempfänger / Sensorchip 298 conveyor 320a / b light receiver / sensor chip
322a Pixel  322a pixels
322b übergeordnetes Pixel / zusammengefasstes Pixel 322b parent pixel / pooled pixel
431a Beleuchtungslicht mit rundem Querschnitt431a Illumination light with round cross-section
431b Beleuchtungslicht mit elliptischen Querschnitt431b Illuminating light with elliptical cross section
431c Beleuchtungslicht mit rechteckigem Querschnitt 431c Illuminating light with rectangular cross section

Claims

P a t e n t a n s p r ü c h e P a n t a n s p r e c h e
1. Sensorsystem (100) zum dreidimensionalen Erfassen einer Szene (190), das Sensorsystem (100) aufweisend A sensor system (100) for three-dimensionally capturing a scene (190) comprising the sensor system (100)
eine Beleuchtungseinrichtung (130) zum Beleuchten der Szene (190) mit Beleuchtungslicht (131);  an illumination device (130) for illuminating the scene (190) with illumination light (131);
eine Messeinrichtung (110)  a measuring device (110)
zum Empfangen von Messlicht (196), welches zumindest teilweise von zumindest einem in der Szene enthaltenen Objekt (195) zurückgestreutes Beleuchtungslicht (131) ist, und for receiving measurement light (196) which is at least partially backscattered by at least one object (195) contained in the scene illumination light (131), and
zum Messen von Distanzen zwischen dem Sensorsystem (100) und dem zumindest einen Objekt (195) basierend auf einer Lichtlaufzeit des for measuring distances between the sensor system (100) and the at least one object (195) based on a light transit time of the
Beleuchtungslichts (131) und des Messlichts (196); und Illumination light (131) and the measurement light (196); and
eine der Messeinrichtung (110) nachgeschaltete Datenverarbeitungs- einrichtung (150) zum Ermitteln der dreidimensionalen Charakteristik der Szene (190) basierend auf den gemessenen Distanzen;  a data processing device (150) connected downstream of the measuring device (110) for determining the three-dimensional characteristic of the scene (190) based on the measured distances;
wobei die Beleuchtungseinrichtung (130) derart konfiguriert ist, dass eine wherein the illumination device (130) is configured such that a
Beleuchtungsintensität des Beleuchtungslichts (131) von dem Raumwinkel des Strahlengangs des Beleuchtungslichts (131) abhängt, so dass ein Illumination intensity of the illumination light (131) on the solid angle of the beam path of the illumination light (131) depends, so that a
distanzbasierter Intensitätsverlust des Beleuchtungslichts (131) und des Distance-based intensity loss of the illumination light (131) and the
Messlichts (196) zumindest teilweise kompensiert wird. Measuring light (196) is at least partially compensated.
2. Sensorsystem (100) gemäß dem vorangehenden Anspruch, wobei 2. Sensor system (100) according to the preceding claim, wherein
die Beleuchtungseinrichtung (130) konfiguriert ist, das Beleuchtungslicht (131) mit einer räumlichen Intensitätsverteilung bereitzustellen, welche einen the illumination device (130) is configured to provide the illumination light (131) with a spatial intensity distribution that includes a
Randlichtabfall zumindest annähernd kompensiert, insbesondere einen Randlichtabfall at least approximately compensated, in particular a
natürlichen Randlichtabfall gemäß dem eine Helligkeit in einem Bild beim natural edge light fall according to the one brightness in an image
Abbilden eines gleichmäßig hellen Motivs durch ein Objektiv um den Faktor cos' gegenüber der Helligkeit in der Mitte des Bildes abnimmt. Imaging an evenly bright subject through a lens by a factor of cos' relative to the brightness in the center of the image decreases.
3. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, ferner aufweisend 3. A sensor system (100) according to one of the preceding claims, further comprising
eine mit der Beleuchtungseinrichtung (130) gekoppelte Beleuchtungslicht- Steuereinrichtung (135), welche konfiguriert ist, die Beleuchtungseinrichtung an illumination light controller (135) coupled to the illumination device (130) and configured to illuminate the illumination device
(130) derart anzusteuern, dass eine Charakteristik des Beleuchtungslichts (131), welche die Abhängigkeit der Beleuchtungsintensität des Beleuchtungslichts (131) von dem Raumwinkel beschreibt, während eines Betriebes des Sensorsystems (100) dynamisch veränderbar ist. (130) in such a way that a characteristic of the illumination light (131) which describes the dependence of the illumination intensity of the illumination light (131) on the solid angle is dynamically changeable during operation of the sensor system (100).
4. Sensorsystem (100) gemäß dem vorangehenden Anspruch, wobei 4. Sensor system (100) according to the preceding claim, wherein
die Datenverarbeitungseinrichtung (150) mit der Beleuchtungslicht- Steuereinrichtung (135) gekoppelt ist und konfiguriert ist, die ermittelte dreidimensionale Charakteristik der Szene (190) auszuwerten und basierend auf einem Ergebnis dieser Auswertung die Charakteristik des Beleuchtungslichtsthe data processing device (150) is coupled to the illumination light control device (135) and is configured to evaluate the determined three-dimensional characteristic of the scene (190) and, based on a result of this evaluation, the characteristic of the illumination light
(131) zu verändern. (131) change.
5. Sensorsystem (100) gemäß dem vorangehenden Anspruch, wobei 5. Sensor system (100) according to the preceding claim, wherein
das Ergebnis der Auswertung von dem optischen Streuverhalten von zumindest einem in der Szene (190) enthaltenen Objekt (195) abhängt. the result of the evaluation depends on the optical scattering behavior of at least one object (195) contained in the scene (190).
6. Sensorsystem (100) gemäß einem der drei vorangehenden Ansprüche, wobei die Beleuchtungseinrichtung (130) konfiguriert ist, die Charakteristik des 6. Sensor system (100) according to one of the three preceding claims, wherein the illumination device (130) is configured to change the characteristics of
Beleuchtungslichts in Abhängigkeit von einem externen Steuersignal (142a) zu steuern. Lighting light in response to an external control signal (142 a) to control.
7. Sensorsystem (100) gemäß einem der vier vorangehenden Ansprüche, wobei die Charakteristik des Beleuchtungslichts (131) zusätzlich zu der The sensor system (100) according to one of the four preceding claims, wherein the characteristic of the illumination light (131) in addition to the
Raumwinkelabhängigkeit durch zumindest eines der folgenden Merkmale bestimmt ist: Solid angle dependence is determined by at least one of the following features:
(a) Wellenlänge, (b) spektrale Intensitätsverteilung, (c) Polarisationsrichtung, und (d) Intensitätsverteilung für unterschiedliche Polarisationsrichtungen. (a) wavelength, (b) spectral intensity distribution, (c) polarization direction, and (d) intensity distribution for different polarization directions.
8. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Beleuchtungseinrichtung (130) aufweist 8. Sensor system (100) according to one of the preceding claims, wherein the illumination device (130)
(a) eine als Laser ausgebildete Beleuchtungslichtquelle zum räumlichen Abtasten der Szene mit einem ausgesandten Laserstrahl-Beleuchtungslicht,  (a) an illumination light source formed as a laser for spatially scanning the scene with a transmitted laser beam illumination light,
(b) eine zumindest annähernd punktförmige Beleuchtungslichtquelle,  (b) an at least approximately punctiform illumination light source,
(c) eine Mehrzahl von einzelnen Beleuchtungslichtquellen, die insbesondere individuell ansteuerbar und jeweils einem bestimmten Raumwinkelbereich der Szene zugeordnet sind, und/oder  (C) a plurality of individual illumination light sources, which are in particular individually controllable and each associated with a certain solid angle range of the scene, and / or
(d) eine flächige Beleuchtungslichtquelle, insbesondere mit einer über die Fläche nicht homogenen Leuchtintensität.  (D) a flat illumination light source, in particular with a light intensity not homogeneous over the surface.
9. Sensorsystem (100) gemäß dem vorangehenden Anspruch, wobei die 9. sensor system (100) according to the preceding claim, wherein the
Beleuchtungseinrichtung (130) aufweist Lighting device (130)
zumindest ein diffraktives oder refraktives optisches Element, welches at least one diffractive or refractive optical element which
konfiguriert ist, die raumwinkelabhängige Intensitätsverteilung des is configured, the space angle-dependent intensity distribution of the
Beleuchtungslichts mittels räumlichen Strukturierens des Beleuchtungslichts zu realisieren. To realize illumination light by means of spatial structuring of the illumination light.
10. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Beleuchtungseinrichtung (130) konfiguriert ist, 10. Sensor system (100) according to one of the preceding claims, wherein the illumination device (130) is configured,
das Beleuchtungslicht (131) mit einem von einer Kreisform abweichenden Strahlquerschnitt (431b, 431c) bereitzustellen. to provide the illumination light (131) with a beam cross-section (431b, 431c) deviating from a circular shape.
11. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Messeinrichtung (110) aufweist 11. Sensor system (100) according to one of the preceding claims, wherein the measuring device (110)
einen Lichtempfänger (120) mit einer Vielzahl von Pixeln (322a) zum Empfangen des Messlichts (196) und  a light receiver (120) having a plurality of pixels (322a) for receiving the measurement light (196) and
eine mit dem Lichtempfänger (120) gekoppelte Lichtempfänger- Steuereinrichtung (140), wobei die Lichtempfänger-Steuereinrichtung (140) und der Lichtempfänger (120) derart konfiguriert sind, dass in einem modifizierten Betrieb des Sensorsystems (100) zumindest zwei Pixel (322a) der Vielzahl von Pixeln (322a) zu einem übergeordneten Pixel (322b) zusammengefasst sind. a light receiver controller (140) coupled to the light receiver (120), wherein the light receiver controller (140) and the light receiver (120) are configured to operate in a modified manner Operation of the sensor system (100) at least two pixels (322 a) of the plurality of pixels (322 a) to a higher-level pixel (322 b) are combined.
12. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche , wobei die Messeinrichtung (110) aufweist 12. Sensor system (100) according to one of the preceding claims, wherein the measuring device (110)
einen oder, sofern rückbezogen auf den vorangehenden Anspruch, den Lichtempfänger (120) zum Empfangen des Messlichts (196) und  or, if referred to the preceding claim, the light receiver (120) for receiving the measuring light (196) and
eine dem Lichtempfänger (120) nachgeschaltete Messeinheit (125), welche konfiguriert ist die Lichtlaufzeit zu messen basierend auf  a measurement unit (125) connected downstream of the light receiver (120) and configured to measure the light propagation time based on
(a) einer Messung der Zeitspanne zwischen einen Aussenden eines Pulses des(a) a measurement of the time span between a transmission of a pulse of the
Beleuchtungslichts (131) und dem Empfang des zu dem Puls gehörigen Illumination light (131) and the reception of the pulse associated with
Messlichts (196) und/oder Measuring light (196) and / or
(b) einer Messung einer Phasenverschiebung zwischen einer zeitlichen  (b) a measurement of a phase shift between a temporal
Modulation des Beleuchtungslichts (131) und einer zugehörigen zeitlichen Modulation of the illumination light (131) and an associated temporal
Modulation des empfangenen Messlichts (196). Modulation of the received measuring light (196).
13. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, ferner aufweisend 13. The sensor system (100) according to one of the preceding claims, further comprising
eine Halterung (111), welche zumindest mit der Messeinrichtung (110) mechanisch gekoppelt ist, wobei die Halterung (111) derart ausgebildet ist, dass das Sensorsystem (100) an einer in Bezug auf die zu erfassende Szene (190) stationären Haltestruktur (182) anbringbar ist.  a holder (111) which is mechanically coupled at least to the measuring device (110), wherein the holder (111) is designed such that the sensor system (100) is fixed to a holding structure (182) stationary relative to the scene (190) to be detected ) is attachable.
14. Sensorsystem (100) gemäß einem der vorangehenden Ansprüche, wobei die Datenverarbeitungseinrichtung (150) ferner derart konfiguriert ist, dass eine Bedeckungscharakteristik einer von einem Objekt (195) zu passierenden Öffnung (184) durch zumindest einen Verschließkörper (186) steuerbar ist. 14. The sensor system according to claim 1, wherein the data processing device is further configured such that a coverage characteristic of an opening to be passed from an object can be controlled by at least one closure body.
15. Verfahren zum dreidimensionalen Erfassen einer Szene (190), das Verfahren aufweisend 15. A method of three-dimensionally capturing a scene (190) comprising the method
Beleuchten der Szene (190) mit Beleuchtungslicht (131) mittels einer Beleuchtungseinrichtung (130);  Illuminating the scene (190) with illumination light (131) by means of a lighting device (130);
mittels einer Messeinrichtung (110), by means of a measuring device (110),
Empfangen von Messlicht (196), welches zumindest teilweise von zumindest einem in der Szene (190) enthaltenen Objekt (195) zurückgestreutes Beleuchtungslicht (131) ist; und  Receiving measurement light (196) which is at least partially backscattered by at least one object (195) contained in the scene (190); and
Messen von Distanzen zwischen dem Sensorsystem (100) und dem zumindest einen Objekt (195) basierend auf einer Lichtlaufzeit des  Measuring distances between the sensor system (100) and the at least one object (195) based on a light transit time of the
Beleuchtungslichts (131) und des Messlichts (196); und Illumination light (131) and the measurement light (196); and
Ermitteln der dreidimensionalen Charakteristik der Szene (190) basierend auf den gemessenen Distanzen mittels einer der Messeinrichtung (110) nachgeschalteten Datenverarbeitungseinrichtung (150);  Determining the three-dimensional characteristic of the scene (190) based on the measured distances by means of a data processing device (150) connected downstream of the measuring device (110);
wobei die Beleuchtungseinrichtung (130) derart konfiguriert ist, dass eine Beleuchtungsintensität des Beleuchtungslichts (131) von dem Raumwinkel des Strahlengangs des Beleuchtungslichts (131) abhängt, so dass ein wherein the illumination device (130) is configured such that an illumination intensity of the illumination light (131) depends on the solid angle of the beam path of the illumination light (131), so that a
distanzbasierter Intensitätsverlust des Beleuchtungslichts (131) und des Distance-based intensity loss of the illumination light (131) and the
Messlichts (196) zumindest teilweise kompensiert wird. Measuring light (196) is at least partially compensated.
16. Verfahren gemäß dem vorangehenden Anspruch, ferner aufweisend 16. The method according to the preceding claim, further comprising
Erfassen eines in der Szene (190) befindlichen Objekts (195);  Detecting an object (195) in the scene (190);
Vergleichen des erfassten Objekts (195) mit zumindest einem in einer Datenbank (160) hinterlegten Vergleichsobjekt; und,  Comparing the detected object (195) with at least one comparison object stored in a database (160); and,
wenn das Objekt (195) innerhalb vorgegebener zulässiger Abweichungen mit einem Vergleichsobjekt übereinstimmt, Identifizieren des Objekts (195) als ein für eine bestimmte Aktion zugelassenes Objekt (195).  if the object (195) agrees with a comparison object within predetermined permissible deviations, identifying the object (195) as an object (195) permitted for a particular action.
17. Verwendung eines Sensorsystems (100) gemäß einem der vorangehenden Ansprüche 1 bis 14 für ein Steuern einer Bedeckungscharakteristik einer von einem Objekt (195) zu passierenden Öffnung (184) durch zumindest einen Verschließkörper (186). 17. Use of a sensor system (100) according to one of the preceding claims 1 to 14 for controlling a coverage characteristic of one of an opening (184) to be passed through an object (195) by at least one closing body (186).
18. Verwendung gemäß dem vorangehenden Anspruch, wobei Use according to the preceding claim, wherein
die Öffnung (184) ein Eingang oder ein Ausgang ist, insbesondere ein the opening (184) is an input or an output, in particular a
Notausgang in einem Gebäude. Emergency exit in a building.
19. Verwendung gemäß einem der beiden vorangehenden Ansprüche, wobei das Objekt (195) eine Person oder ein Fahrzeug ist. 19. Use according to one of the two preceding claims, wherein the object (195) is a person or a vehicle.
20. Verwendung eines Sensorsystems (100) gemäß einem der vorangehenden Ansprüche 1 bis 14 für ein Erfassen und/oder Steuern von Verkehrsströmen von Objekten (295a-295e), welche sich durch eine Szene (290) des Sensorsystems (100) bewegen, wobei die Szene (190) durch einen räumlichen 20. Use of a sensor system (100) according to one of the preceding claims 1 to 14 for detecting and / or controlling traffic flows of objects (295a-295e) which move through a scene (290) of the sensor system (100), wherein the Scene (190) by a spatial
Erfassungsbereich des Sensorsystems (100) bestimmt ist. Detection range of the sensor system (100) is determined.
EP18826220.8A 2017-12-12 2018-12-11 3-d sensor system having scene lighting that depends on a solid angle Withdrawn EP3724677A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017129639.5A DE102017129639A1 (en) 2017-12-12 2017-12-12 3D sensor system with scene lighting dependent on a solid angle
PCT/EP2018/084422 WO2019115559A1 (en) 2017-12-12 2018-12-11 3-d sensor system having scene lighting that depends on a solid angle

Publications (1)

Publication Number Publication Date
EP3724677A1 true EP3724677A1 (en) 2020-10-21

Family

ID=64899260

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18826220.8A Withdrawn EP3724677A1 (en) 2017-12-12 2018-12-11 3-d sensor system having scene lighting that depends on a solid angle

Country Status (3)

Country Link
EP (1) EP3724677A1 (en)
DE (1) DE102017129639A1 (en)
WO (1) WO2019115559A1 (en)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10351714B4 (en) * 2003-11-05 2005-09-29 Eads Astrium Gmbh Device for optically detecting a distant object
JP2008286565A (en) * 2007-05-16 2008-11-27 Omron Corp Body detector
EP2558977B1 (en) * 2010-04-15 2015-04-22 IEE International Electronics & Engineering S.A. Configurable access control sensing device
DE102010033818A1 (en) * 2010-08-09 2012-02-09 Dorma Gmbh + Co. Kg sensor
EP2667218B1 (en) 2010-11-15 2017-10-18 Cedes AG Energy efficient 3D sensor
EP2469301A1 (en) * 2010-12-23 2012-06-27 André Borowski Methods and devices for generating a representation of a 3D scene at very high speed
DE202012010014U1 (en) * 2012-10-19 2014-01-20 Sick Ag laser scanner
US10132928B2 (en) 2013-05-09 2018-11-20 Quanergy Systems, Inc. Solid state optical phased array lidar and method of using same
US9635231B2 (en) * 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
DE102015115101A1 (en) * 2015-09-08 2017-03-09 Huf Hülsbeck & Fürst Gmbh & Co. Kg Sensor system of a sensor device of a motor vehicle
DE102015220798A1 (en) * 2015-10-23 2017-04-27 Designa Verkehrsleittechnik Gmbh Access control system for a storage area and access control procedures
TWI570387B (en) * 2015-11-09 2017-02-11 財團法人工業技術研究院 Image ranging system, light source module and image sensing module
DE102015226771A1 (en) * 2015-12-29 2017-06-29 Robert Bosch Gmbh Deflection device for a lidar sensor
DE102016202181A1 (en) * 2016-02-12 2017-08-17 pmdtechnologies ag Lighting for a 3D camera
US10641872B2 (en) * 2016-02-18 2020-05-05 Aeye, Inc. Ladar receiver with advanced optics
US11237251B2 (en) * 2016-05-11 2022-02-01 Texas Instruments Incorporated Lidar scanning with expanded scan angle
DE102016122712B3 (en) * 2016-11-24 2017-11-23 Sick Ag Optoelectronic sensor and method for acquiring object information

Also Published As

Publication number Publication date
DE102017129639A1 (en) 2019-06-13
WO2019115559A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
DE112017001112T5 (en) Method and apparatus for an actively pulsed 4D camera for image acquisition and analysis
DE102018105301B4 (en) Camera and method for capturing image data
EP3014569B1 (en) Inspection of the contoured surface of the underbody of a motor vehicle
EP1159636A1 (en) Resoluting range finding device
EP2314427B1 (en) Method and device for controlling electrical devices by means of motion detection
EP3526963A1 (en) Object monitoring apparatus with infrared image capture and infrared pulse illumination
DE102013108824A1 (en) Sensor arrangement for detecting operating gestures on vehicles
WO2010076066A1 (en) Camera arrangement for sensing a state of a vehicle window
WO2020229186A1 (en) 3d sensor system which can be operated in different operating modes on the basis of the operating state of a closing body
DE102013100521A1 (en) Sensor arrangement for detecting operating gestures on vehicles
EP2946226A1 (en) Universal sensor assembly for detecting operator gestures in vehicles
EP3696537B1 (en) Device and method for detecting damage to a moving vehicle
EP3311190A1 (en) Sensor system of a sensor device of a motor vehicle
DE102007022523A1 (en) motor vehicle
EP3724676A1 (en) Sensor system for three-dimensionally detecting a scene with different photon accumulations
EP2562685B1 (en) Method and device for classifying a light object located in front of a vehicle
EP3724674A1 (en) 3d sensor system having a freeform optic
EP3724601B1 (en) Distance determination based on different depth of field areas with different focus settings of an objective lens
EP3724677A1 (en) 3-d sensor system having scene lighting that depends on a solid angle
DE102017129654A1 (en) 3D scene capture based on light transit times and a characteristic feature of detected electromagnetic waves
DE102006010990B4 (en) security system
WO2020229190A1 (en) Identifying an object on the basis of recognising part of the object and on the basis of description data of a reference object
WO2020229189A1 (en) Tof sensor system with a lighting device comprising an array of individual light sources
EP1865755B1 (en) Device to control illumination having presence detection
DE102017129663A1 (en) Sensor system with a light field camera for determining the characteristic of a scene

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200604

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: WYSS, BEAT

Inventor name: HUNZIKER, URS

Inventor name: ECKSTEIN, JOHANNES

Inventor name: SEILER, CHRISTIAN

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210629

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20211110