EP4078230A2 - Verfahren zum erfassen wenigstens eines verkehrsteilnehmers - Google Patents

Verfahren zum erfassen wenigstens eines verkehrsteilnehmers

Info

Publication number
EP4078230A2
EP4078230A2 EP20829905.7A EP20829905A EP4078230A2 EP 4078230 A2 EP4078230 A2 EP 4078230A2 EP 20829905 A EP20829905 A EP 20829905A EP 4078230 A2 EP4078230 A2 EP 4078230A2
Authority
EP
European Patent Office
Prior art keywords
determined
road user
radar
detected
optical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20829905.7A
Other languages
English (en)
French (fr)
Inventor
Michael Lehning
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SMS Smart Microwave Sensors GmbH
Original Assignee
SMS Smart Microwave Sensors GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SMS Smart Microwave Sensors GmbH filed Critical SMS Smart Microwave Sensors GmbH
Publication of EP4078230A2 publication Critical patent/EP4078230A2/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/44—Monopulse radar, i.e. simultaneous lobing
    • G01S13/4454—Monopulse radar, i.e. simultaneous lobing phase comparisons monopulse, i.e. comparing the echo signals received by an interferometric antenna arrangement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/358—Receivers using I/Q processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation

Definitions

  • the invention relates to a method for detecting at least one road user on a road. Such methods have been known from the prior art for a long time and in different embodiments. Devices and sensors for performing such methods have also been described in the prior art.
  • Different sensors have been used for years to record road users. This applies, for example, to the use of optical cameras in the form of mono cameras or stereo cameras.
  • a camera delivers a very good one Resolution with respect to the transverse direction in which a road user is with respect to the camera. It consequently provides a good angular resolution in the azimuth direction and elevation direction, which are also referred to as lateral direction and height direction.
  • the distance to an object cannot be inferred from individual optical images provided by a single camera, unless the size of at least a partial area of an object, for example a license plate of a road user, is known and from the optical image determine is.
  • the speed of an object cannot be determined from a single optical image.
  • Stereo cameras can provide information about the distance of an object if the offset between the two individual cameras that make up the stereo camera is known.
  • the speed cannot be resolved in this sensor arrangement either.
  • cameras usually detect visible light and therefore do not work or only function to a very limited extent in darkness, fog, rain and snow. However, this is necessary for equipping vehicles for autonomous driving, for example, since such vehicles should also drive autonomously at night.
  • Laser scanners are also used for traffic monitoring. However, they have a low spatial resolution which, even due to recent developments such as the use of solid state lasers and / or frequency modulation, does not come close to the resolution of camera systems. By using wavelengths on the order of magnitude of visible light, for example in the near infrared, the same reflection problems arise as with camera systems, for example on shiny and optically reflective surfaces. In addition, the range and performance are limited due to the safety regulations that apply to lasers. Further disadvantages are the low spatial resolution, sensitivity to contamination and, in the case of frequency-modulated laser scanners, the high technical and financial outlay.
  • Radar sensors are often used in the prior art to detect road users. Radar radiation is transmitted by means of a radar transmitter of the radar sensor, reflected by the respective road user and then walked detected by a radar receiver of the radar sensor. If the radar radiation is transmitted, for example, in the form of frequency ramps, the distance or the distance of the road user from the radar sensor and the radial speed, i.e. the speed component of the road user that is directed towards the sensor or away from the sensor, can be derived from the detected radar radiation, to be determined. Such a method is known from DE 10 2017 105 783, in which different frequency ramps are transmitted and so-called range Doppler matrices are calculated from the detected received signals that correspond to the detected radar radiation.
  • Radar sensors have the disadvantage that they only offer poor angular resolution. This disadvantage is counteracted with different approaches.
  • the angular resolution of a radar sensor can be significantly improved if several radar receivers arranged at fixed and known distances from one another and / o the several radar transmitters arranged at fixed and known distances from one another are used and form the radar sensor. Even then, however, the resolution cannot be compared with that of an optical sensor, for example a camera.
  • the invention is therefore based on the object of specifying a method with which the disadvantages of the prior art can be eliminated and the road user can be better detected.
  • the invention solves the problem posed by a method for detecting at least one road user on a traffic route by means of a radar sensor and an optical detector in which - Radar radiation from at least one radar transmitter of the radar sensor sends out and is reflected by at least one road user,
  • the reflected radar radiation is detected by means of at least one radar receiver of the radar sensor
  • the detected radar radiation is evaluated in such a way that at least one distance and a radial speed of the at least one road user is determined relative to the radar sensor,
  • An optical image of the at least one road user is detected by means of the optical detector's rule
  • the optical image is evaluated, at least one parameter of the at least one road user being determined both from the detected radar radiation and from the optical image.
  • the method combines the advantages of a radar sensor with the advantages of an optical detector, for example a mono camera or a stereo camera.
  • the radar radiation is emitted by the at least one radar transmitter, reflected by the road user and detected as reflected radar radiation by the radar receiver. This corresponds to the mode of operation of a radar sensor from the prior art.
  • the optical detector used in the method detects an optical image. It can also detect visible light, infrared radiation or UV radiation. The detected radiation can have different wavelengths or be monochromatic. The optimal choice depends on the requirements of the application. This optical image, which is detected by the optical detector's rule, is evaluated, it being possible to use all evaluation methods that are known from the prior art. Of course, additional evaluations can also be carried out.
  • At least one parameter of the at least one road user is determined by both measurement principles - that is, twice - namely once when evaluating the detected radar radiation and once when evaluating the optical image.
  • This double determination ensures that the parameters that are determined when evaluating the detected radar radiation and the parameters that are determined when evaluating the optical image can be assigned to a single road user, provided they belong to this one road user.
  • the most varied of parameters can be used as parameters of the road user.
  • the at least one parameter which is determined both from the detected radar radiation and from the optical image, preferably contains a direction in which the road user is located. Even if the resolution of the two measurement methods used is significantly different with regard to this parameter, certain parameters, such as this spatial direction, which were determined with the two different sensors and methods, can be assigned to a single road user.
  • This parameter which is determined both from the optical image and from the detected radar radiation, can also be referred to as a bridge parameter, as it enables the parameters of the different detection modes to be combined and assigned to the correct road user. In this way, it is possible to combine the parameters that can only be determined by one of the two sensor arrangements, assign them to the same road user and thus supplement and expand knowledge about the road user. Parameters that can be determined by both sensor arrangements, ie the radar sensor and the optical detector, can be checked and compared, checked for plausibility and thus given with lower error tolerances.
  • At least one detection matrix is preferably determined from the detected radar radiation, from which the distance of the at least one road user from the radar sensor and / or the radial speed of the road user with respect to the radar sensor is determined.
  • the use of range Doppler matrices is known from the prior art.
  • the radar radiation is preferably sent out in the form of frequency ramps or encoded in some other way.
  • the reflected radar radiation emitted by the Radar receiver of the radar sensor is detected, is then mixed with the transmitted signal and sent to the evaluation.
  • Different Fast Fourier Transformations (FFT) correlations or other methods are carried out so that at the end a matrix can be obtained with the spectral weight, i.e. the detected energy, at certain values for the distance and the Doppler frequency and thus the radial velocity is included.
  • FFT Fast Fourier Transformations
  • the radar sensor preferably has several radar transmitters and / or several radar receivers, so that several combinations of transmitter and receiver can be formed.
  • a range-Doppler matrix can be created for each of these combinations. These can be combined in the form of a digital beam forming process ("Digital Beam Forming") in such a way that different directions, preferably both in the azimuth direction and in the elevation direction, are recorded. The angular resolution can be improved in this way by cleverly combining the various range-Doppler matrices. This produces the same effect as with a pivotable sensor arrangement and / or pivotable radar sensors.
  • several detection matrices in particular several range Doppler matrices, are determined which contain information about road users in different directions, in particular azimuth angle ranges. The detected radar radiation is used to determine information about the direction in which the at least one road user is located relative to the radar sensor.
  • a spatial direction in which the at least one road user is located relative to the optical detector is preferably determined from the optical image. This has long been known from the prior art and can be achieved, for example, by multiplying individual, directory-corrected pixels of the optical detector, for example a CMOS camera, by the inverse camera matrix. In this way, each pixel can be assigned a precise spatial direction and an angular range from which the electromagnetic radiation that the pixel has detected originates. If the spatial direction is determined both from the optical image and from the detected radar radiation, it is suitable as a bridge parameter in order to combine the measured values and parameters that were determined with the different sensor types and processes and to assign them to a road user.
  • the detected radar radiation and / or the optical image of the at least one road user is advantageously detected and evaluated at different times.
  • an optical flow can be determined. This means that certain objects or parts of objects, for example the road user or his license plate, can be identified on the various optical images and thus tracked. From this, for example, a speed, a direction of movement, a distance and / or a size of the object, in particular of the at least one road user, can be determined. It is advantageous if other parameters are used in the evaluation of the optical images and the optical flux which were preferably determined from the evaluation of the detected radar radiation.
  • At least one parameter is preferably taken into account that was determined in at least one previous evaluation of the optical image.
  • at least one parameter is taken into account which was determined in at least one previous evaluation of the detected radar radiation.
  • parameters can also be used that were determined during the evaluation of the same variable. In this way, for example, traffic participants can be recorded and tracked who are not visible to the respective sensor for the entire measurement time. For example, if a car approaches an intersection, it is initially visible to the sensor arrangement until it has to stop behind a larger vehicle, for example a truck, or is covered by it.
  • these parameters can be used to actively search for the car in later evaluations, using the known values, for example for distance, position and / or orientation of the car. The same applies, for example, to cars that are still visible to the sensor, but have to stop at a traffic light, for example.
  • the speed of the vehicle is reduced to 0 m / s, so that, in particular when evaluating the detected radar radiation, no other fixed objects such as traffic signs, more distinctive speed can be determined.
  • the parameters of earlier evaluations can be used so that the respective road user can be recognized as soon as he starts again and has a radial speed again.
  • a speed of the at least one road user and / or a direction in which the at least one road user is relatively is determined at least also from the optical flow, preferably in combination with the radial speed, which is particularly preferably determined from the detected radar radiation to the optical detector is located.
  • the radial speed which is particularly preferably determined from the detected radar radiation to the optical detector is located.
  • the sensor arrangement can, for example, monitor the part of the traffic route that lies in front of the motor vehicle on which it is positioned. The method described here is carried out to accurately determine the relative movement of other vehicles.
  • This method can also be used to determine one's own speed relative to stationary components and objects.
  • autonomous driving it is important to recognize whether or not the vehicle that is equipped with the sensor arrangement is on a collision course with a preceding vehicle that has a lower speed. For this purpose it is not sufficient to determine the radial speed; rather, a possibly small component of the relative speed between the two vehicles must also be determined which does not point towards or away from one of the vehicles. This is the only way to determine whether, for example, a lane change is necessary or whether the two vehicles can drive past each other.
  • a component of the at least one road user is recognized in the detected optical image, the dimensions of which is known in at least one spatial direction, preferably in two spatial directions perpendicular to one another, so that a distance of the at least one road user can be obtained from the detected optical image from the optical detector and / o- the one size of the at least one road user can be determined, particularly preferred is determined.
  • One such component is, for example, the number plate, which is standardized in size in many countries. There may be two or three different versions of a license plate, but their dimensions are very different and known.
  • the distance of the object in this case the component of the at least one road user, can be inferred.
  • the distance can be determined both when evaluating the optical image and when evaluating the detected radar radiation, so that it can be used as a bridge parameter.
  • a distance between the radar sensor and the optical detector and / or an orientation of the radar sensor relative to the optical detector is preferably determined from the detected radar radiation and the optical image. This can be done in different ways. As a rule, this works when an object, an object or part of an object or an object is recognized both during the evaluation of the detected radar radiation and during the evaluation of the optical image.
  • the orientation of the object or object relative to the radar sensor and relative to the optical detector is particularly preferably detected. If the size, shape or orientation of the object is known, the different angles of view that the radar sensor and the optical detector have on the object or the object can affect the positioning, i.e. in particular the distance and / or orientation, of the two sensors be closed to each other.
  • the distance and / or the orientation of the two sensors to one another is known. Nevertheless, it makes sense to determine the distance and / or the orientation from the detected radar radiation and the optical image in order to then compare it, for example, with the known target data. In this way, malfunctions of the sensor arrangement can be detected, which are caused, for example, by a displacement or a movement of the optical detector and / or the radar sensor relative to the respective other detector or sensor.
  • an extent of the at least one road user is preferably determined in the azimuth direction and / or in the elevation direction.
  • the distance of the at least one road user from the radar sensor is preferably determined, where the location and / or size and / or orientation of the road user is determined from the extent and the distance. This is particularly advantageous when movements of the road user are to be predicted or anticipated. If the exact location and orientation of a road user is known, movements in a number of directions are ruled out. A car, for example, can only move forwards or backwards and, if necessary, take a curve. A sideways movement is usually impossible due to the design of the car. If the orientation of the car is known, certain movements can be excluded from the outset, since the traffic participant is not able to carry out these movements due to his technical nature.
  • an orientation of the at least one road user is preferably determined, from which a complete speed and / or a complete direction of movement of the at least one road user is determined with the radial speed and the distance of the at least one road user.
  • a complete speed and a complete direction of movement contain not only a single movement component, for example the radial speed or the movement towards the sensor, but also all other components of the respective vector quantity.
  • the at least one road user is advantageously classified on the basis of parameters, at least one of which was determined during the evaluation of the detected radar radiation and at least one during the evaluation of the optical image.
  • the invention also solves the problem posed by a device for detecting at least one road user on a traffic route, which has at least one radar sensor with at least one radar transmitter and at least one radar receiver, at least one optical detector and an electrical controller that is set up to perform a method described here.
  • the at least one radar transmitter preferably has several transmitting antennas and / or the at least one radar receiver has several receiving antennas.
  • FIG. 4 shows the schematic arrangement of several radar receivers
  • FIG. 5 shows the schematic representation of several detection matrices, in particular range Doppler matrices,
  • FIG. 6 shows a further step in the evaluation of the direction-dependent detection matrices
  • FIG. 9 shows the schematic representation of the determination of range Doppler matrices for different spatial directions.
  • FIGS. 1 to 3 schematically show steps for determining a detection matrix, in particular a range-Doppler matrix.
  • the radar radiation emitted is preferably emitted in the form of frequency ramps, which are referred to as “ramp”.
  • the terms “sample 0”, “sample 1” etc. which designate the columns of the matrix shown, store the respectively received or detected radar radiation as complex amplitude values.
  • the different columns consequently relate to different points in time, which are preferably equidistant, at which the detected radar radiation is read out. This happens several times for a large number of frequency ramps transmitted one after the other.
  • the respective measured values are entered in the various lines, with each line representing a frequency ramp curve.
  • the detected radar radiation is mixed with the transmitted radar radiation.
  • This mixed radiation is transferred to the matrix shown in FIG. 1 and fed to the evaluation. From the frequency offset between the transmitted radar radiation and the detected radar radiation, which is essentially defined by the time span required by the radar radiation to get from the radar transmitter to the road user and back to the radar receiver, a conclusion can be drawn about the Reach the distance of the road user from the radar sensor.
  • a first Fourier transformation is carried out in the exemplary embodiment shown, the Fourier transformation being carried out for each row of the matrix in FIG.
  • the measured values are consequently transferred to a Fourier transformation within each individual frequency ramp.
  • the result is the matrix shown schematically in FIG. 2, in which the columns are now defined by different radial distances from the radar sensor.
  • a second Fourier transformation is carried out which, however, is now carried out not via the entries in a row but via the entries in a column of the matrix.
  • This is the so-called Doppler transformation, which is carried out via a so-called “range gate”, that is, a column of the matrix shown in FIG.
  • the result is Dopplerfrequen that can be converted into radial velocities, that is, velocities that lead towards or away from the radar sensor.
  • the range-Doppler matrix shown in FIG. 3 is produced in this way.
  • FIG. 4 schematically shows an embodiment of a radar receiver which can be part of a radar sensor. It has a plurality of receiving antennas 2, which are arranged equidistant from one another at a distance d. An equidistant one Arrangement is advantageous, but not absolutely necessary.
  • the arrows 4 represent radar radiation which, in the exemplary embodiment shown, was reflected by a road user. An angle other than 90 ° is included between the extension direction in which the receiving antennas 2 are arranged next to one another and the direction of the arrows 4 from which the reflected radar radiation strikes the receiving antennas 2. Wavefronts of plane waves of the radar radiation are shown schematically by the dashed lines 6. As a result of the angle, in the exemplary embodiment shown, the reflected radar radiation first hits the receiving antennas 2 arranged furthest to the right and only at later times on the receiving antennas 2 arranged further to the left.
  • the detected radar radiation can be mixed with the emitted radiation for each of the receiving antennas 2 and fed to the evaluation.
  • a large number of range Doppler matrices are created.
  • a separate range-Doppler matrix can be calculated for each desired spatial direction by feeding the complex amplitude values phase-corrected for the respective desired spatial direction to the evaluation method.
  • This process is called digital beam forming (DBF).
  • DBF digital beam forming
  • a range Doppler matrix can be calculated for any spatial direction.
  • An example of range Doppler matrices calculated in this way for different spatial directions is shown schematically in FIG.
  • Each of the hatched squares represents a range-doubler matrix 8 which was calculated according to the method in FIG.
  • FIG. 6 shows schematically that the nine range Doppler matrices 8 shown in FIG. 5 are combined. This is of course also possible with more or less range Doppler matrices 8.
  • a depth image 10 can be determined. This includes not only the radial distance of a road user from the radar sensor and his Radialge speed with respect to the radar sensor, but also in particular angle information about the azimuth direction and possibly the elevation direction. The direction in which an angular resolution can be achieved depends in particular on how the pattern arrangement of the receiving antennas 2 is constructed.
  • FIG. 7 shows schematically different road users who can be distinguished by a classification.
  • a truck 12, a motor vehicle 14, a motorcycle 16, a cyclist 18 and a pedestrian 20 are shown.
  • These different road users can be distinguished from one another on the basis of the parameters to be determined. This applies to speeds as well as spreading cross-sections, dimensions and behavior on the respective traffic route.
  • Figure 8 shows schematically and by way of example the truck 12 with various parameters. It has a height 22, a width 24 and a length 26, which represent some of the parameters to be determined. In addition, he moves forward along the speed arrow 28 and has an orientation and direction that can also be referred to as a pose.
  • the dimensions of height 22, width 24 and length 26 can be determined, for example, from the optical image that was recorded by means of the at least one optical detector. This is particularly the case when elements that are also recorded in the optical image are known, such as buildings, signs, dimensions of elements shown or other sizes of the objects shown. In this case, the dimensions of the road user contained in the optical image can be related to the known dimensions of a further illustrated object, so that an estimation of the dimensions is possible.
  • the width 24 of the truck 12 can be determined via the distance between different points of the road user depicted in the optical image, for example the two exterior mirrors of a truck 12, if it is known how far the truck 12 is from the radar sensor. This information can be determined from the range Doppler matrix 8 or in some other way from the detected and evaluated radar beams.
  • a complete whereabouts of the road user, in particular the truck 12 shown, can also be determined solely from the evaluated optical image, provided the road geometry, in particular the course, the number of lanes and other structural conditions of the traffic route are known.
  • the location can at least be estimated by only evaluating the optical image.
  • a better result is also achieved with these parameters if these data determined from the optical image are combined with distance data determined from the evaluation of the detected radar radiation.
  • radar tracking in which a road user is tracked over a period of time and his movement is tracked by evaluating a plurality, in particular many, detection matrices created one after the other, the distance and the change in the distance of the road user can be determined particularly easily to determine the radar sensor.
  • the actual whereabouts of the road user can be determined very precisely.
  • This can also be determined, for example, by means of image recognition software when evaluating the optical image.
  • the combination with the information ascertained from the detected radar radiation improves the quality of the specific parameter in this case as well and also makes it possible to compare and check the ascertained values. If, for example, the orientation of a road user determined from the optical image, for example the truck 12 shown, does not match the speed determined from the detected radar radiation and in particular the direction of this speed, this indicates an incorrect evaluation of the data.
  • the full speed i.e. the determination of the speed as a vector variable with direction and magnitude
  • FIG. 9 schematically shows the way to calculate range-Doppler matrices 8 for different spatial directions.
  • different antennas 2 are used, of which only two are shown for the sake of clarity.
  • the received measurement signals are initially used in a conventional manner in order to determine a range-Doppler matrix 8 in each case.
  • the radar radiation reflected by a road user reaches the various receiving antennas 2 at different times, as is shown schematically in FIG. This is how they differ individual entries of the range doubler matrices generated separately for each receiving antenna 2 also in phase Q.
  • a range-Doppler matrix 8 is to be calculated for a specific spatial direction, the individual range-Doppler matrices 8 are added up in a summer 30. A separate summer 30 is shown for each desired spatial direction.
  • the individual range Doppler matrices are previously subjected to a phase shifter 32 which is individually determined for the desired spatial direction.
  • the phase Q of each individual matrix element of the range Doppler matrices 8 to be summed is changed by means of this phase shifter 32 within the scope of the digital Strahlfor mung in order to achieve the desired spatial direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erfassen wenigstens eines Verkehrsteilnehmers auf einem Verkehrsweg mittels eines Radarsensors und eines optischen Detektors, wobei bei dem Verfahren Radarstrahlung von wenigstens einem Radar-Sender des Radarsensors ausgesendet und von dem wenigstens einen Verkehrsteilnehmer reflektiert wird, die reflektierte Radarstrahlung mittels wenigstens eines Radar-Empfängers des Radarsensors detektiert wird, die detektierte Radarstrahlung derart ausgewertet wird, dass zumindest ein Abstand und eine Radialgeschwindigkeit des wenigstens einen Verkehrsteilnehmers relativ zu dem Radarsensor bestimmt wird, ein optisches Bild des wenigstens einen Verkehrsteilnehmers mittels des optischen Detektors detektiert wird, und das optische Bild ausgewertet wird, wobei wenigstens ein Parameter des wenigstens einen Verkehrsteilnehmers sowohl aus der detektierten Radarstrahlung als auch aus dem optischen Bild bestimmt wird.

Description

Verfahren zum Erfassen wenigstens eines Verkehrsteilnehmers Beschreibung
Die Erfindung betrifft ein Verfahren zum Erfassen wenigstens eines Verkehrsteilneh mers auf einem Verkehrsweg. Derartige Verfahren sind aus dem Stand der Technik seit langem und in unterschiedlichen Ausführungsformen bekannt. Auch Vorrichtun gen und Sensoren zum Durchführen derartiger Verfahren sind im Stand der Technik beschrieben worden.
Für unterschiedliche Anwendungen ist es von Vorteil, Verkehrsteilnehmer auf einem Verkehrsweg zu erfassen und gegebenenfalls zu klassifizieren. Derartige Verfahren finden Anwendung beispielsweise bei der Steuerung von Kreuzungen von Verkehrs wegen, bei der statistischen Erfassung beispielsweise von Straßenverkehr, bei der Abrechnung von Maut-Systemen, bei denen die Benutzung eines Verkehrsweges ge bührenpflichtig ist, sowie bei der Verfolgung von Verkehrsdelikten, beispielsweise Rotlichtverstößen oder Geschwindigkeitsüberschreitungen. Dabei ist es heute oft nicht mehr ausreichend, die Anzahl bestimmter Verkehrsteilnehmer zu kennen. Sen soren für die Erfassung von Verkehrsteilnehmern auf einem Verkehrsweg können auch am Verkehrsteilnehmer selbst, beispielsweise in einem Kraftfahrzeug, einge setzt werden, um andere Verkehrsteilnehmer, die den gleichen Verkehrsweg verwen den, zu detektieren, zu klassifizieren und deren Verhalten einzuschätzen und gege benenfalls vorherzusagen. Dafür ist es notwendig oder zumindest von großem Vor teil, die anderen Verkehrsteilnehmer möglichst detailliert zu kennen, zu erkennen und zu klassifizieren.
Unterschiedliche Sensoren werden seit Jahren eingesetzt, um Verkehrsteilnehmer zu erfassen. Dies betrifft beispielsweise die Verwendung von optischen Kameras in Form von Mono-Kameras oder Stereo-Kameras. Eine Kamera liefert eine sehr gute Auflösung bezüglich der transversalen Richtung, in der sich ein Verkehrsteilnehmer bezüglich der Kamera befindet. Sie liefert folglich eine gute Winkelauflösung in Azi mutrichtung und Elevationsrichtung, die auch als Seitenrichtung und Höhenrichtung bezeichnet werden. Aus einzelnen optischen Bildern, die eine einzelne Kamera lie fert, kann jedoch in der Regel nicht auf die Entfernung eines Objektes geschlossen werden, sofern nicht die Größe wenigstens eines Teilbereiches eines Objektes, bei spielsweise ein Nummernschild eines Verkehrsteilnehmers, bekannt und aus dem optischen Bild zu ermitteln ist. Die Geschwindigkeit eines Objektes ist aus einem ein zelnen optischen Bild in der Regel nicht zu ermitteln. Stereo-Kameras hingegen kön nen bei bekanntem Versatz zwischen den beiden Einzelkameras, die die Stereo-Ka mera bilden, Informationen über die Entfernung eines Objektes liefern. Die Ge schwindigkeit kann jedoch auch in dieser Sensoranordnung nicht aufgelöst werden. Hinzu kommt, dass Kameras in der Regel sichtbares Licht detektieren und somit bei Dunkelheit, Nebel oder Regen und Schnee nicht oder nur sehr eingeschränkt funktio nieren. Dies ist jedoch für beispielsweise die Ausrüstung von Fahrzeugen für das au tonome Fahren notwendig, da solche Fahrzeuge auch nachts autonom fahren sollen.
Auch Laserscanner werden für die Verkehrsüberwachung eingesetzt. Sie verfügen jedoch über eine geringe räumliche Auflösung, die auch durch neuere Entwicklungen wie beispielsweise die Verwendung von Solid State Lasern und/oder Frequenzmodu lation nicht an die Auflösung von Kamerasystemen heranreicht. Durch die Verwen dung von Wellenlängen in der Größenordnung des sichtbaren Lichtes, beispiels weise im nahen Infrarot ergeben sich die gleichen Reflexionsproblematiken wie bei Kamerasystemen, beispielsweise an glänzenden und optisch reflektierenden Ober flächen. Zudem ergeben sich eine eingeschränkte Reichweite sowie eine Leistungs beschränkung aufgrund der einzuhaltenden für Laser geltenden Sicherheitsvorschrif ten. Als weitere Nachteile sind die geringe räumliche Auflösung, Empfindlichkeit ge gen Verschmutzung und bei frequenzmodulierten Laserscannern der hohe techni sche und finanzielle Aufwand zu nennen.
Häufig werden im Stand der Technik Radarsensoren verwendet, um Verkehrsteilneh mer zu erfassen. Dabei wird Radarstrahlung mittels eines Radar-Senders des Radar sensors ausgesendet, vom jeweiligen Verkehrsteilnehmer reflektiert und anschlie- ßend von einem Radar-Empfänger des Radarsensors detektiert. Wird die Radar strahlung beispielsweise in Form von Frequenzrampen ausgesendet, kann aus der detektierten Radarstrahlung der Abstand oder die Entfernung des Verkehrsteilneh mers vom Radarsensor sowie die Radialgeschwindigkeit, also die Geschwindigkeits komponente des Verkehrsteilnehmers, die auf den Sensor zu oder von dem Sensor weg gerichtet ist, bestimmt werden. Aus der DE 10 2017 105 783 ist ein derartiges Verfahren bekannt, bei dem unterschiedliche Frequenzrampen ausgesendet werden und aus den detektierten Empfangssignalen, die der detektierten Radarstrahlung ent sprechen, sogenannte Range-Doppler-Matrizen berechnet werden. Mehrere unter schiedliche Frequenzrampen sind notwendig, um Mehrdeutigkeiten, die aus der Dopplerfrequenz bei der Bestimmung der Radialgeschwindigkeit stammen, zu behe ben oder ihren Effekt wenigstens abzumildern. Ein Verfahren ähnlicher Natur ist bei spielsweise aus der DE 10 2012 008 350 bekannt. Es sind jedoch auch andere Ver fahren zur Erzeugung einer Range-Doppler-Matrix möglich, beispielsweise mittels PMCW (phase modulated continuous wave) Modulation, insbesondere digitaler Mo dulation und geeigneter Auswertung.
Radarsensoren haben den Nachteil, nur eine schlechte Winkelauflösung zu bieten. Diesem Nachteil wird mit unterschiedlichen Ansätzen entgegengewirkt. Die Winkel auflösung eines Radarsensors kann deutlich verbessert werden, wenn mehrere in festen und bekannten Abständen zueinander angeordnete Radar-Empfänger und/o der mehrere in festen und bekannten Abständen zueinander angeordnete Radar- Sender verwendet werden und den Radarsensor bilden. Die Auflösung ist selbst dann jedoch mit der eines optischen Sensors, beispielsweise einer Kamera, nicht vergleichbar.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren anzugeben, mit dem die Nachteile aus dem Stand der Technik behoben und der Verkehrsteilnehmer bes ser erfasst werden kann.
Die Erfindung löst die gestellte Aufgabe durch ein Verfahren zum Erfassen wenigs tens eines Verkehrsteilnehmers auf einem Verkehrsweg mittels eines Radarsensors und eines optischen Detektors, bei dem - Radarstrahlung von wenigstens einem Radar-Sender des Radarsensors ausge sendet und von dem wenigstens einen Verkehrsteilnehmer reflektiert wird,
- die reflektierte Radarstrahlung mittels wenigstens eines Radar-Empfängers des Radarsensors detektiert wird,
- die detektierte Radarstrahlung derart ausgewertet wird, dass zumindest ein Ab stand und eine Radialgeschwindigkeit des wenigstens einen Verkehrsteilneh mers relativ zu dem Radarsensor bestimmt wird,
- ein optisches Bild des wenigstens einen Verkehrsteilnehmers mittels des opti schen Detektors detektiert wird, und
- das optische Bild ausgewertet wird, wobei wenigstens ein Parameter des wenigstens einen Verkehrsteilnehmers sowohl aus der detektierten Radarstrahlung als auch aus dem optischen Bild bestimmt wird.
Das Verfahren kombiniert die Vorteile eines Radarsensors mit den Vorteilen eines optischen Detektors, beispielsweise einer Mono-Kamera oder einer Stereo-Kamera. Die Radarstrahlung wird von dem wenigstens einen Radar-Sender ausgesendet, vom Verkehrsteilnehmer reflektiert und als reflektierte Radarstrahlung vom Radar- Empfänger detektiert. Dies entspricht der Funktionsweise eines Radarsensors aus dem Stand der Technik. Der optische Detektor, der bei dem Verfahren verwendet wird, detektiert ein optisches Bild. Dazu kann er sichtbares Licht, Infrarot-Strahlung oder UV-Strahlung detektieren. Die detektierte Strahlung kann unterschiedliche Wel lenlängen aufweisen oder monochromatisch sein. Die optimale Wahl hängt von den Erfordernissen des Anwendungsfalls ab. Dieses optische Bild, das von dem opti schen Detektor detektiert wird, wird ausgewertet, wobei alle Auswertungsverfahren verwendet werden können, die aus dem Stand der Technik bekannt sind. Selbstver ständlich können auch zusätzliche Auswertungen durchgeführt werden. Erfindungs gemäß wird wenigstens ein Parameter des wenigstens einen Verkehrsteilnehmers durch beide Messprinzipien - also doppelt - bestimmt, nämlich einmal bei der Aus wertung der detektierten Radarstrahlung und einmal bei der Auswertung des opti schen Bildes. Diese Doppelbestimmung sorgt dafür, dass die Parameter, die beim Auswerten der detektierten Radarstrahlung ermittelt werden, und die Parameter, die beim Auswerten des optischen Bildes bestimmt werden, einem einzigen Verkehrsteil nehmer zugeordnet werden können, sofern sie denn zu diesem einen Verkehrsteil nehmer gehören. Als Parameter des Verkehrsteilnehmers können unterschiedlichste Größen herange zogen werden. Dies betrifft den Abstand vom Radarsensor und/oder vom optischen Detektor, die Richtung, in der sich der Verkehrsteilnehmer bezüglich des Radar sensors und/oder des optischen Detektors befindet, die Radialgeschwindigkeit in Be zug auf den Radarsensor und/oder den optischen Detektor, andere Geschwindig keitskomponenten in andere Richtungen, die Größe, die Orientierung, die Tempera tur und alle weiteren Größen, die aus detektierter Radarstrahlung und/oder ausge wertet dem optischen Bild ermittelt werden können. Der wenigstens eine Parameter, der sowohl aus der detektierten Radarstrahlung als auch aus dem optischen Bild be stimmt wird, beinhaltet vorzugsweise eine Richtung, in der sich der Verkehrsteilneh mer befindet. Auch wenn die Auflösung der beiden verwendeten Messverfahren be züglich dieses Parameters deutlich unterschiedlich ist, lassen sich doch bestimmte Parameter wie beispielsweise diese Raumrichtung, die mit den beiden unterschiedli chen Sensoren und Verfahren bestimmt wurden, einem einzigen Verkehrsteilnehmer zuordnen. Dieser Parameter, der sowohl aus dem optischen Bild als auch aus der detektierten Radarstrahlung bestimmt wird, kann auch als Brückenparameter be zeichnet werden, da er es ermöglicht, die Parameter der unterschiedlichen Detekti onsweisen zu kombinieren und dem richtigen Verkehrsteilnehmer zuzuordnen. Auf diese Weise wird es möglich, die nur durch eine der beiden Sensoranordnungen be stimmbaren Parameter zu kombinieren, dem gleichen Verkehrsteilnehmer zuzuord nen und so die Kenntnis über den Verkehrsteilnehmer zu ergänzen und zu erweitern. Parameter, die durch beide Sensoranordnungen, also den Radarsensor und den op tischen Detektor bestimmbar sind, können kontrolliert und verglichen werden, auf Plausibilität geprüft werden und so mit geringeren Fehlertoleranzen angegeben wer den.
Vorzugsweise wird aus der detektierten Radarstrahlung wenigstens eine Detektions matrix, insbesondere wenigstens eine Range-Doppler-Matrix, bestimmt, aus der der Abstand des wenigstens einen Verkehrsteilnehmers vom Radarsensor und/oder die Radialgeschwindigkeit des Verkehrsteilnehmers bezüglich des Radarsensors be stimmt wird. Die Verwendung von Range-Doppler-Matrizen ist aus dem Stand der Technik bekannt. Die Radarstrahlung wird vorzugsweise in Form von Frequenzram pen oder anderweitig codiert ausgesendet. Die reflektierte Radarstrahlung, die vom Radar-Empfänger des Radarsensors detektiert wird, wird anschließend mit dem aus gesendeten Signal gemischt und der Auswertung zugeführt. Dabei werden unter schiedliche Fast-Fourier-Transformationen (FFT), Korrelationen oder andere Verfah ren durchgeführt, sodass am Ende eine Matrix erhalten werden kann, in der spektra les Gewicht, also detektierte Energie, bei bestimmten Werten für den Abstand und die Dopplerfrequenz und damit die Radialgeschwindigkeit enthalten ist.
Vorzugsweise verfügt der Radarsensor über mehrere Radar-Sender und/oder meh rere Radar-Empfänger, sodass mehrere Kombinationen aus Sender und Empfänger gebildet werden können. Für jede dieser Kombinationen kann eine eigene Range- Doppler-Matrix gebildet werden. Diese können in Form eines digitalen Strahlfor mung-Prozesses ("Digital Beam Forming") so kombiniert werden, dass unterschiedli che Richtungen, vorzugsweise sowohl in Azimutrichtung als auch in Elevationsrich tung, erfasst werden. Durch geschickte Kombination der verschiedenen Range- Doppler-Matrizen kann auf diese Weise die Winkelauflösung verbessert werden. Man erzeugt damit den gleichen Effekt, wie mit einer schwenkbaren Sensoranordnung und/oder schwenkbaren Radar-Sensoren. Vorzugsweise werden mehrere Detekti onsmatrizen, insbesondere mehrere Range-Doppler-Matrizen, bestimmt, die Informa tionen über Verkehrsteilnehmer in unterschiedlichen Richtungen, insbesondere Azi mutwinkel-Bereichen, enthalten. Aus der detektierten Radarstrahlung werden so In formationen über die Richtung ermittelt, in der sich der wenigstens eine Verkehrsteil nehmer relativ zu dem Radarsensor befindet.
Vorzugsweise wird aus dem optischen Bild eine Raumrichtung bestimmt, in der sich der wenigstens eine Verkehrsteilnehmer relativ zu dem optischen Detektor befindet. Dies ist aus dem Stand der Technik seit langem bekannt und kann beispielsweise durch Multiplikation einzelner verzeichniskorrigierter Pixel des optischen Detektors, beispielsweise einer CMOS-Kamera, mit der inversen Kameramatrix erreicht werden. Auf diese Weise kann jedem Pixel eine genaue Raumrichtung und ein Winkelbereich zugewiesen werden, aus dem die elektromagnetische Strahlung, die der Pixel detek tiert hat, stammt. Wird die Raumrichtung sowohl aus dem optischen Bild als auch aus der detektierten Radarstrahlung ermittelt, eignet sie sich als Brückenparameter, um die Messwerte und Parameter, die mit den unterschiedlichen Sensortypen und Ver fahren bestimmt wurden, zu kombinieren und einem Verkehrsteilnehmer zuzuordnen. Vorteilhafterweise wird die detektierte Radarstrahlung und/oder das optische Bild des wenigstens einen Verkehrsteilnehmers zu verschiedenen Zeitpunkten detektiert und ausgewertet. Insbesondere bei der Auswertung der optischen Bilder, die mehrfach nacheinander zu unterschiedlichen Zeitpunkten aufgenommen und detektiert wur den, lässt sich ein optischer Fluss bestimmen. Dies bedeutet, dass bestimmte Ob jekte oder Teile von Objekten, beispielsweise der Verkehrsteilnehmer oder sein Nummernschild, auf den verschiedenen optischen Bildern identifiziert und somit ver folgt werden kann. Daraus lässt sich beispielsweise eine Geschwindigkeit, eine Be wegungsrichtung, ein Abstand und/oder eine Größe des Objektes, insbesondere des wenigstens einen Verkehrsteilnehmers, bestimmen. Dabei ist es von Vorteil, wenn andere Parameter bei der Auswertung der optischen Bilder und des optischen Flus ses herangezogen werden, die bevorzugt aus der Auswertung der detektierten Ra darstrahlung bestimmt wurden.
Vorzugsweise wird beim Auswerten der detektierten Radarstrahlung wenigstens ein Parameter berücksichtigt, der bei wenigstens einer vorherigen Auswertung des opti schen Bildes bestimmt wurde. Alternativ oder zusätzlich dazu wird beim Auswerten des optischen Bildes wenigstens ein Parameter berücksichtigt, der bei wenigstens ei ner vorherigen Auswertung der detektierten Radarstrahlung bestimmt wurde. Selbst verständlich können auch Parameter verwendet werden, die bei der Auswertung der gleichen Größe ermittelt wurden. Auf diese Weise können beispielsweise Verkehrs teilnehmer erfasst und verfolgt werden, die nicht über die gesamte Messzeit für den jeweiligen Sensor sichtbar sind. Nähert sich beispielsweise ein Pkw einer Kreuzung, ist er für die Sensoranordnung beispielsweise zunächst sichtbar, bis er hinter einem größeren Fahrzeug, beispielsweise einem Lkw, anhalten muss oder von diesem ver deckt wird. Da der Pkw bei vorherigen Auswertungen erkannt und verfolgt wurde, können diese Parameter verwendet werden, um den Pkw auch bei späteren Auswer tungen aktiv zu suchen und dabei die bekannten Werte beispielsweise für Abstand, Position und/oder Orientierung des Pkws zu verwenden. Gleiches gilt beispielsweise für Pkw, die zwar für den Sensor noch sichtbar sind, jedoch beispielsweise an einer Lichtsignalanlage halten müssen. Die Geschwindigkeit des Fahrzeugs reduziert sich auf 0 m/s, sodass insbesondere bei der Auswertung der detektierten Radarstrahlung keine sich von anderen feststehenden Objekten, beispielsweise Verkehrsschildern, unterscheidende Geschwindigkeit mehr ermittelt werden kann. Dennoch können die Parameter früherer Auswertungen herangezogen werden, sodass der jeweilige Ver kehrsteilnehmer wiedererkannt werden kann, sobald er wieder anfährt und wieder eine Radialgeschwindigkeit aufweist.
Bevorzugt wird zumindest auch aus dem optischen Fluss, bevorzugt in Kombination mit der Radialgeschwindigkeit, die besonders bevorzugt aus der detektierten Radar strahlung bestimmt wird, eine Geschwindigkeit des wenigstens einen Verkehrsteil nehmers und/oder eine Richtung bestimmt, in der sich der wenigstens eine Verkehrs teilnehmer relativ zu dem optischen Detektor befindet. Auf diese Weise kann nicht nur die Radialgeschwindigkeit, sondern auch eine andere richtungweisende Ge schwindigkeitskomponente des Geschwindigkeitsvektors, vorzugsweise der gesamte Geschwindigkeitsvektor bestimmt werden. Dies ist beispielsweise für die Anwendung von großem Vorteil, in der die Sensoranordnung an einem Kraftfahrzeug positioniert ist. Die Sensoranordnung kann beispielsweise den Teil des Verkehrsweges überwa chen, der vor dem Kraftfahrzeug liegt, an dem sie positioniert ist. Dabei wird das be schriebene Verfahren zur genauen Ermittlung der relativen Bewegung anderer Fahr zeuge durchgeführt. Ebenso kann dieses Verfahren genutzt werden, um die eigene Geschwindigkeit relativ zu ruhenden Komponenten und Objekten zu ermitteln. Für das autonome Fahren ist es wichtig, zu erkennen, ob sich das Fahrzeug, das mit der Sensoranordnung ausgerüstet ist, mit einem voranfahrenden Fahrzeug, das eine ge ringere Geschwindigkeit aufweist, auf Kollisionskurs befindet oder nicht. Dazu ist es nicht ausreichend, die Radialgeschwindigkeit zu bestimmen, vielmehr muss auch eine gegebenenfalls kleine Komponente der Relativgeschwindigkeit zwischen den beiden Fahrzeugen bestimmt werden, die nicht auf eines der Fahrzeuge zu oder von ihm weg zeigt. Nur so kann bestimmt werden, ob beispielsweise ein Spurwechsel nö tig ist oder ob die beiden Fahrzeuge aneinander vorbeifahren können.
In einer bevorzugten Ausgestaltung wird in dem detektierten optischen Bild ein Be standteil des wenigstens einen Verkehrsteilnehmers erkannt, dessen Abmessung in wenigstens einer Raumrichtung, bevorzugt in zwei zueinander senkrecht stehenden Raumrichtungen, bekannt ist, sodass aus dem detektierten optischen Bild ein Ab stand des wenigstens einen Verkehrsteilnehmers von dem optischen Detektor und/o- der eine Größe des wenigstens einen Verkehrsteilnehmers bestimmbar ist, beson ders bevorzugt bestimmt wird. Ein derartiger Bestandteil ist beispielsweise das Num mernschild, das in vielen Ländern in seiner Größe genormt ist. Gegebenenfalls gibt es zwei oder drei unterschiedliche Ausführungsformen eines Nummernschildes, de ren Maße jedoch stark unterschiedlich und bekannt sind. Daher kann aus der schein baren Größe, also den Abmessungen in wenigstens einer Richtung in dem detektier- ten Bild, und der Kenntnis der wahren Größe auf den Abstand des Objektes, hier also des Bestandteils des wenigstens einen Verkehrsteilnehmers, geschlossen wer den. Dadurch kann der Abstand sowohl bei der Auswertung des optischen Bildes als auch bei der Auswertung der detektierten Radarstrahlung bestimmt werden, sodass er als Brückenparameter verwendet werden kann.
Bevorzugt wird ein Abstand zwischen dem Radarsensor und dem optischen Detektor und/oder eine Orientierung des Radarsensors relativ zu dem optischen Detektor aus der detektierten Radarstrahlung und dem optischen Bild bestimmt. Dies kann auf un terschiedliche Weise geschehen. In der Regel funktioniert dies dann, wenn ein Ge genstand, ein Objekt oder ein Teil eines Gegenstandes oder eines Objektes sowohl bei der Auswertung der detektierten Radarstrahlung als auch bei der Auswertung des optischen Bildes erkannt wird. Besonders bevorzugt wird die Orientierung des Ge genstandes oder Objektes relativ zum Radarsensor und relativ zum optischen Detek tor erkannt. Ist die Größe, Form oder Orientierung des Objektes bekannt, kann aus den unterschiedlichen Blickwinkeln, die der Radarsensor und der optische Detektor auf den Gegenstand oder das Objekt haben, auf die Positionierung, also insbeson dere den Abstand und/oder die Orientierung, der beiden Sensoren zueinander ge schlossen werden.
In einer bevorzugten Ausgestaltung ist der Abstand und/oder die Orientierung der beiden Sensoren zueinander bekannt. Dennoch ist es sinnvoll, den Abstand und/o der die Orientierung aus der detektierten Radarstrahlung und dem optischen Bild zu bestimmen, um ihn dann beispielsweise mit den bekannten Soll-Daten zu verglei chen. Auf diese Weise können Fehlfunktionen der Sensoranordnung erkannt werden, die beispielsweise durch eine Verschiebung oder eine Bewegung des optischen De tektors und/oder des Radarsensors relativ zum jeweils anderen Detektor oder Sensor hervorgerufen werden. Vorzugsweise wird beim Auswerten des optischen Bildes eine Ausdehnung des we nigstens einen Verkehrsteilnehmers in Azimutrichtung und/oder in Elevationsrichtung bestimmt. Beim Auswerten der detektierten Radarstrahlung wird bevorzugt die Ent fernung des wenigstens einen Verkehrsteilnehmers vom Radarsensor bestimmt, wo bei aus der Ausdehnung und der Entfernung die Lage und/oder Größe und/oder Ori entierung des Verkehrsteilnehmers ermittelt wird. Dies ist insbesondere dann von Vorteil, wenn Bewegungen des Verkehrsteilnehmers vorhergesagt oder antizipiert werden sollen. Ist die genaue Lage und Orientierung eines Verkehrsteilnehmers be kannt, scheiden Bewegungen in einer Reihe von Richtungen aus. Ein Pkw beispiels weise kann sich nur vorwärts oder rückwärts bewegen und gegebenenfalls eine Kurve einschlagen. Eine Seitwärtsbewegung ist aufgrund der Konstruktion des Pkw in der Regel ausgeschlossen. Ist die Orientierung des Pkw bekannt, können damit bestimmte Bewegungen von vornherein ausgeschlossen werden, da der Verkehrs teilnehmer aufgrund seiner technischen Beschaffenheit nicht in der Lage ist, diese Bewegungen durchzuführen.
Vorzugsweise wird beim Auswerten des optischen Bildes eine Orientierung des we nigstens einen Verkehrsteilnehmers bestimmt, aus der mit der Radialgeschwindigkeit und der Entfernung des wenigstens einen Verkehrsteilnehmers eine vollständige Ge schwindigkeit und/oder eine vollständige Bewegungsrichtung des wenigstens einen Verkehrsteilnehmers bestimmt wird. Eine vollständige Geschwindigkeit und eine voll ständige Bewegungsrichtung beinhalten nicht nur eine einzige Bewegungskompo nente, beispielsweise die Radialgeschwindigkeit oder die Bewegung auf den Sensor zu, sondern auch alle anderen Komponenten der jeweiligen vektoriellen Größe.
Vorteilhafterweise wird der wenigstens eine Verkehrsteilnehmer auf der Grundlage von Parametern klassifiziert, von denen wenigstens einer bei der Auswertung der de tektierten Radarstrahlung und wenigstens einer bei der Auswertung des optischen Bildes bestimmt wurde. Selbstverständlich ist die Klassifizierung umso genauer und weniger fehleranfällig, je mehr unterschiedliche Parameter verwendet werden. Die Erfindung löst die gestellte Aufgabe zudem durch eine Vorrichtung zum Erfassen wenigstens eines Verkehrsteilnehmers auf einem Verkehrsweg, die wenigstens ei nen Radarsensor mit wenigstens einem Radar-Sender und wenigstens einen Radar- Empfänger, wenigstens einen optischen Detektor sowie eine elektrische Steuerung aufweist, die eingerichtet ist zum Durchführen eines hier beschriebenen Verfahrens. Vorzugsweise verfügt der wenigstens eine Radar-Sender über mehrere Sendeanten nen und/oder der wenigstens eine Radar-Empfänger über mehrere Empfangsanten nen.
Mithilfe der beigefügten Zeichnungen werden nachfolgend einige Ausführungsbei spiele der vorliegenden Erfindung näher erläutert. Es zeigen
Figuren 1 bis 3 - verschiedene Stufen bei der Auswertung der Radarstrahlung,
Figur 4 die schematische Anordnung mehrerer Radar-Empfänger,
Figur 5 die schematische Darstellung mehrerer Detektionsmatrizen, insbesondere Range-Doppler-Matrizen,
Figur 6 einen weiteren Schritt bei der Auswertung der richtungsabhän gigen Detektionsmatrizen,
Figuren 7 und 8- verschiedene Verkehrsteilnehmer und ihre Parameter und
Figur 9 die schematische Darstellung der Bestimmung von Range- Doppler-Matrizen für unterschiedliche Raumrichtungen.
Figuren 1 bis 3 zeigen schematisch Schritte zur Bestimmung einer Detektionsmatrix, insbesondere einer Range-Doppler-Matrix. Die ausgesendete Radarstrahlung wird bevorzugt in Form von Frequenzrampen ausgesendet, die als „Ramp“ bezeichnet werden. In der in Figur 1 gezeigten Matrix werden unter den Begriffen „Abtast 0“, „Abtast 1“ usw., die die Spalten der gezeigten Matrix bezeichnen, die jeweils empfan gene oder detektierten Radarstrahlung als komplexe Amplitudenwerte gespeichert. Die verschiedenen Spalten betreffen folglich verschiedene Zeitpunkte, die vorzugs weise äquidistant sind, zu denen die detektierte Radarstrahlung ausgelesen wird. Dies geschieht mehrfach für Vielzahl nacheinander ausgesendete Frequenzrampen. Die jeweiligen Messwerte werden in die verschiedenen Zeilen eingetragen, wobei jede Zeile für einen Frequenzrampenverlauf steht.
Tatsächlich wird die detektierte Radarstrahlung mit der ausgesendeten Radarstrah lung gemischt. Diese gemischt Strahlung wird in die in Figur 1 gezeigte Matrix über tragen und der Auswertung zugeführt. Aus dem Frequenzversatz zwischen der aus gesendeten Radarstrahlung und der detektierten Radarstrahlung, der im Wesentli chen durch die Zeitspanne definiert wird, die Radarstrahlung benötigt, um vom Ra dar-Sender zum Verkehrsteilnehmer und zurück zum Radar-Empfänger zu gelangen, lässt sich ein Rückschluss auf die Entfernung des Verkehrsteilnehmers vom Radar sensor erreichen.
Dazu wird im gezeigten Ausführungsbeispiel eine erste Fourier-Transformation durchgeführt, wobei die Fourier-Transformation für jede Zeile der Matrix in Figur 1 durchgeführt wird. Es werden folglich die Messwerte innerhalb jeder einzelnen Fre quenzrampe einer Fourier-Transformation überführt. Es entsteht die in Figur 2 sche matisch dargestellte Matrix, bei der nun die Spalten durch unterschiedliche radiale Abstände vom Radarsensor definiert werden.
Um zu der in Figur 3 gezeigten Matrix zu gelangen, wird eine zweite Fourier-Trans formation durchgeführt, die nun jedoch nicht über die Einträge einer Zeile, sondern über die Einträge einer Spalte der Matrix durchgeführt wird. Dies ist die sogenannte Doppler-Transformation, die über ein sogenanntes „Range-gate“, also eine Spalte der in Figur 2 gezeigten Matrix, durchgeführt wird. Es ergeben sich Dopplerfrequen zen, die in Radialgeschwindigkeiten, also Geschwindigkeiten, die auf den Radar sensor zu oder von ihm weg führen, umgerechnet werden können. Auf diese Weise entsteht die in Figur 3 dargestellte Range-Doppler-Matrix.
Figur 4 zeigt schematisch eine Ausführungsform eines Radar-Empfängers, die Teil eines Radarsensors sein kann. Sie verfügt über eine Mehrzahl von Empfangsanten nen 2, die im Abstand d zueinander äquidistant angeordnet sind. Eine äquidistante Anordnung ist von Vorteil, jedoch nicht zwangsläufig notwendig. Durch die Pfeile 4 wird Radarstrahlung dargestellt, die im gezeigten Ausführungsbeispiel von einem Verkehrsteilnehmer reflektiert wurde. Zwischen der Erstreckungsrichtung, in der die Empfangsantennen 2 nebeneinander angeordnet sind und der Richtung der Pfeile 4, aus der die reflektierte Radarstrahlung auf die Empfangsantennen 2 trifft, ist ein von 90° verschiedener Winkel eingeschlossen. Durch die gestrichelten Linien 6 werden Wellenfronten ebener Wellen der Radarstrahlung schematisch dargestellt. Durch den Winkel trifft die reflektierte Radarstrahlung im gezeigten Ausführungsbeispiel zu nächst auf die am weitesten rechts angeordnete Empfangsantennen 2 und erst zu späteren Zeitpunkten auf die weiter links angeordneten Empfangsantennen 2.
Soll nun die auf diese Weise detektierte Radarstrahlung entsprechend den Figuren 1 bis 3 ausgewertet werden, kann für jede der Empfangsantennen 2 die detektierte Ra darstrahlung mit der ausgesendeten Strahlung gemischt und der Auswertung zuge führt werden. Es entstehen auf diese Weise eine Vielzahl von Range-Doppler-Matri- zen. Insbesondere kann für jede gewünschte Raumrichtung eine eigene Range- Doppler-Matrix berechnet werden, indem man die komplexen Amplitudenwerte pha senkorrigiert für die jeweilige gewünschte Raumrichtung dem Auswerteverfahren zu führt. Dieses Verfahren wird als sogenannte digitale Strahlformung (engl. Digital Beam Forming - DBF) bezeichnet. Systematisch ist dieses Vorgehen in Figur 9 ge zeigt. Die Anzahl der möglichen M Raumrichtungen, für die jeweils eine Range- Doppler-Matrix berechnet wird, kann dabei deutlich über der Anzahl der N (virtuellen) Empfangsantennen liegen. Auch wenn man grundsätzlich M immer weiter vergrö ßern könnte, sprechen der rechnerische Aufwand und die maximal erreichbare räum liche Auflösung dagegen. Insbesondere kann aber für bestimmte Raumrichtungen, die sich aufgrund der Analyse des Kamerabilds als interessant ergeben, explizit eine Range-Doppler-Matrix berechnet werden und dieses Ergebnis der Fusion zugeführt werden.
Während in Figur 4 die schematisch dargestellten Empfangsantennen 2 in einer Reihe oder Linie angeordnet sind, ist dies in der Praxis natürlich nicht notwendig. Selbstverständlich ist es möglich, Empfangsantennen 2 auch in einer zweidimensio nalen Anordnung, beispielsweise einen Rechteckgitter, anzuordnen. Diese Anord- nung ermöglicht somit durch die Anwendung der digitalen Strahlformung die Berech nung einer Range-Doppler-Matrix für beliebige Raumrichtungen. Ein Beispiel für so berechnete Range-Doppler-Matrizen für verschiedene Raumrichtungen ist schema tisch in Figur 5 dargestellt. Jedes der schraffierten Vierecke stellt eine Range-Dopp- ler-Matrix 8 dar, die gemäß der Methodik in Figur 9 berechnet wurde.
Durch an sich bekannte Rechnungen der Strahlformung lassen sich unterschiedliche Range-Doppler-Matrizen 8 gewichtet addieren, um so eine Winkelauflösung zu erhal ten. Figur 6 zeigt schematisch, dass die in Figur 5 dargestellten neun Range-Dopp ler-Matrizen 8 zusammengefasst werden. Dies ist selbstverständlich auch mit mehr oder weniger Range-Doppler-Matrizen 8 möglich. Durch die Zusammenfassung der Informationen, die aus den unterschiedlichen Range-Doppler-Matrizen 8 erreicht und errechnet werden, lässt sich ein Tiefenbild 10 ermitteln. In diesem sind nicht nur der radiale Abstand eines Verkehrsteilnehmers vom Radarsensor sowie seine Radialge schwindigkeit in Bezug auf den Radarsensor enthalten, sondern insbesondere auch Winkelinformationen über die Azimutrichtung und gegebenenfalls die Elevationsrich tung. In welche Richtung eine Winkelauflösung erreicht werden kann, hängt insbe sondere davon ab, wie die Musteranordnung der Empfangsantennen 2 aufgebaut ist.
Figur 7 zeigt schematisch unterschiedliche Verkehrsteilnehmer, die durch eine Klas sifikation unterschieden werden können. Dargestellt ist ein Lastkraftwagen 12, ein Kraftfahrzeug 14, ein Motorrad 16, ein Fahrradfahrer 18 sowie ein Fußgänger 20. Diese unterschiedlichen Verkehrsteilnehmer können aufgrund der zu ermittelnden Parameter voneinander unterschieden werden. Dies betrifft sowohl Geschwindigkei ten als auch Streuquerschnitte, Abmessungen und Verhalten auf dem jeweiligen Ver kehrsweg.
Figur 8 zeigt schematisch und beispielhaft den Lastkraftwagen 12 mit unterschiedli chen Parametern. Er verfügt über eine Höhe 22, eine Breite 24 sowie eine Länge 26, die einige der zu bestimmenden Parameter darstellen. Zudem bewegt er sich entlang des Geschwindigkeitspfeils 28 vorwärts und weist eine Orientierung und Richtung, die auch als Pose bezeichnet werden kann, auf. Die Abmessungen Höhe 22, Breite 24 und Länge 26 können beispielsweise aus dem optischen Bild, das mittels des wenigstens einen optischen Detektors aufgenommen wurde, bestimmt werden. Dies ist insbesondere dann der Fall, wenn Elemente, die ebenfalls in dem optischen Bild erfasst sind, bekannt sind, wie beispielsweise Ge bäude, Schilder, Abmessungen von gezeigten Elementen oder sonstige Größen der dargestellten Gegenstände. In diesem Fall können die im optischen Bild enthaltenen Abmessungen des Verkehrsteilnehmers zu den bekannten Abmessungen eines wei teren dargestellten Gegenstandes in Relation gesetzt werden, sodass eine Abschät zung der Abmessungen möglich ist. Ein deutlich besseres Ergebnis ergibt sich je doch, wenn die im optischen Bild enthaltenen Abmessungen mit den Entfernungsda ten in Relation gesetzt werden, die aus der ausgewerteten Radarstrahlung ermittelt wurden. Über den Abstand verschiedene Punkte des im optischen Bild abgebildeten Verkehrsteilnehmers, beispielsweise der beiden Außenspiegel eines Lastkraftwa gens 12, lässt sich die Breite 24 des Lastkraftwagens 12 bestimmen, wenn bekannt ist, wie weit der Lastkraftwagen 12 vom Radarsensor entfernt ist. Diese Informatio nen können aus der Range-Doppler-Matrix 8 oder auf sonstige Weise aus den detek- tierten und ausgewerteten Radarstrahlen ermittelt werden.
Ein vollständiger Aufenthaltsort des Verkehrsteilnehmers, insbesondere des gezeig ten Lastkraftwagens 12, lässt sich ebenfalls allein aus dem ausgewerteten optischen Bild bestimmen, sofern die Straßengeometrie, also insbesondere der Verlauf, die An zahl der Spuren, und sonstige bauliche Gegebenheiten des Verkehrsweges, bekannt sind. Auch in diesem Fall lässt sich der Aufenthaltsort zumindest abschätzen, in dem lediglich das optische Bild ausgewertet wird. Ein besseres Ergebnis wird jedoch auch bei diesen Parametern erreicht, wenn diese aus dem optischen Bild bestimmten Da ten mit Entfernungsdaten kombiniert werden, die aus der Auswertung der detektier- ten Radarstrahlung ermittelt werden. Insbesondere bei dem sogenannten Radartra cking, bei dem ein Verkehrsteilnehmer über einen Zeitraum hin verfolgt wird und seine Bewegung durch die Auswertung einer Mehrzahl, insbesondere vieler, zeitlich nacheinander erstellter Detektionsmatrizen nach verfolgt wird, lässt sich besonders einfach der Abstand und die Veränderung des Abstandes des Verkehrsteilnehmers zum Radarsensor bestimmen. In Kombination mit der im Vergleich zum Radarsensor deutlich besseren Winkelauflösung des optischen Bildes kann der tatsächliche Auf enthaltsort des Verkehrsteilnehmers sehr genau festgestellt werden. Gleiches gilt für die Pose, also insbesondere die Orientierung des Verkehrsteilneh mers. Auch diese lässt sich beispielsweise mittels einer Bilderkennungssoftware bei der Auswertung des optischen Bildes ermitteln. Die Kombination mit den aus der de- tektierten Radarstrahlung ermittelten Informationen verbessert jedoch auch in diesem Fall die Qualität des bestimmten Parameters und ermöglicht es zudem, die ermittel ten Werte abzugleichen und zu überprüfen. Stimmt beispielsweise die aus dem opti schen Bild ermittelte Orientierung eines Verkehrsteilnehmers, beispielsweise des dargestellten Lastkraftwagens 12 nicht mit der aus der detektierten Radarstrahlung ermittelten Geschwindigkeit und insbesondere der Richtung dieser Geschwindigkeit über ein, lässt dies auf eine fehlerhafte Auswertung der Daten schließen.
Die vollständige Geschwindigkeit, also die Bestimmung der Geschwindigkeit als vek torielle Größe mit Richtung und Betrag lässt sich ebenfalls verbessern, indem die Da ten aus der Auswertung des optischen Bildes mit den ermittelten Parametern aus der detektierten Radarstrahlung kombiniert werden. Während eine Auswertung mehrerer nacheinander aufgenommener optischer Bilder einen optischen Fluss ermittelt und so beispielsweise die Veränderung der Ausdehnung eines Verkehrsteilnehmers im optischen Bild auf die Veränderung des Abstandes rückschließen lässt, ist die Aus wertung zeitlich nacheinander detektierter Radarstrahlung insbesondere was den Ab stand und die Veränderung des Abstandes zum Radarsensor angeht, deutlich ge nauer.
Figur 9 zeigt schematisch den Weg zur Berechnung von Range-Doppler-Matrizen 8 für unterschiedliche Raumrichtungen. Dazu werden unterschiedliche Empfangsan tennen 2, von denen zur besseren Übersichtlichkeit nur zwei dargestellt sind, ver wendet. Die empfangenen Messsignale werden zunächst in herkömmlicherweise verwendet, um jeweils eine Range-Doppler-Matrix 8 zu bestimmen. Diese beinhaltet komplexe Werte, die insbesondere eine Intensität I und eine Phase aufweisen. Sind die Empfangsantennen 2 beispielsweise nebeneinander angeordnet, besteht zwi schen ihnen ein Versatz. Dadurch erreicht die von einem Verkehrsteilnehmer reflek tierte Radarstrahlung die verschiedenen Empfangsantennen 2 zu unterschiedlichen Zeiten, wie in Figur 4 schematisch dargestellt ist. Dadurch unterscheiden sich die einzelnen Einträge der für jede Empfangsantenne 2 separat erzeugten Range-Dopp- ler-Matrizen auch in der Phase Q.
Soll nun eine Range-Doppler-Matrix 8 für eine bestimmte Raumrichtung ausgerech net werden, werden die einzelnen Range-Doppler-Matrizen 8 in einem Summierer 30 aufsummiert. Dargestellt ist ein separater Summierer 30 für jede gewünschte Raum richtung. Die einzelnen Range-Doppler-Matrizen werden zuvor einem für die ge wünschte Raumrichtung individuell bestimmten Phasenschieber 32 unterworfen. Die Phase Q jedes einzelnen Matrix-Elementes der zu summierenden Range-Doppler- Matrizen 8 wird mittels dieser Phasenschieber 32 im Rahmen der digitalen Strahlfor mung verändert um so die gewünschte Raumrichtung zu erreichen.
Bezugszeichenliste
2 Empfangsantenne 4 Pfeil
6 gestrichelte Linie
8 Range-Doppler-Matrix
10 Tiefenbild
12 Lastkraftwagen
14 Kraftfahrzeug
16 Motorrad
18 Fahrradfahrer
20 Fußgänger
22 Höhe
24 Breite
26 Länge
28 Geschwindigkeitspfeil 30 Summierer 32 Phasenschieber

Claims

Patentansprüche:
1. Verfahren zum Erfassen wenigstens eines Verkehrsteilnehmers auf einem Ver kehrsweg mittels eines Radarsensors und eines optischen Detektors, wobei bei dem Verfahren
- Radarstrahlung von wenigstens einem Radar-Sender des Radarsensors ausgesendet und von dem wenigstens einen Verkehrsteilnehmer reflektiert wird,
- die reflektierte Radarstrahlung mittels wenigstens eines Radar-Empfängers des Radarsensors detektiert wird,
- die detektierte Radarstrahlung derart ausgewertet wird, dass zumindest ein Abstand und eine Radialgeschwindigkeit des wenigstens einen Verkehrsteil nehmers relativ zu dem Radarsensor bestimmt wird,
- ein optisches Bild des wenigstens einen Verkehrsteilnehmers mittels des op tischen Detektors detektiert wird, und
- das optische Bild ausgewertet wird, wobei wenigstens ein Parameter des wenigstens einen Verkehrsteilnehmers sowohl aus der detektierten Radarstrahlung als auch aus dem optischen Bild bestimmt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass aus der detektierten Radarstrahlung wenigstens eine Detektionsmatrix, insbesondere wenigstens eine Range-Doppler-Matrix, bestimmt wird, aus der der Abstand und die Radial geschwindigkeit bestimmt wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass mehrere Detekti onsmatrizen, insbesondere mehrere Range-Doppler-Matrizen, bestimmt wer den, die Informationen über Verkehrsteilnehmer in unterschiedlichen Richtun gen, insbesondere Azimutwinkel-Bereichen, enthalten und aus der detektierten Radarstrahlung so Informationen über die Richtung ermittelt werden, in der sich der wenigstens eine Verkehrsteilnehmer relativ zu dem Radarsensor befindet.
4. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass aus dem optischen Bild eine Richtung bestimmt wird, in der sich der we nigstens eine Verkehrsteilnehmer relativ zu dem optischen Detektor befindet.
5. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die reflektierte Radarstrahlung und das optische Bild des wenigstens ei nen Verkehrsteilnehmers mehrfach nacheinander zu verschiedenen Zeitpunk ten detektiert werden, wobei bevorzugt aus verschiedenen nacheinander detek- tierten optischen Bildern des wenigstens einen Verkehrsteilnehmers ein opti scher Fluss bestimmt wird.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass beim Auswerten der detektierten Radarstrahlung wenigstens ein Parameter berücksichtigt wird, der bei wenigstens einer vorherigen Auswertung des optischen Bildes bestimmt wurde und/oder beim Auswerten des optischen Bildes wenigstens ein Parame ter berücksichtigt wird, der bei wenigstens einer vorherigen Auswertung der de tektierten Radarstrahlung bestimmt wurde.
7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass zumindest auch aus dem optischen Fluss, bevorzugt in Kombination mit der Radialge schwindigkeit, die aus der detektierten Radarstrahlung bestimmt wurde, eine Geschwindigkeit des wenigstens einen Verkehrsteilnehmers und/oder eine Richtung bestimmt wird, in der sich der wenigstens eine Verkehrsteilnehmer re lativ zu dem optischen Detektor befindet.
8. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass in dem detektierten optischen Bild ein Bestandteil des wenigstens einen Verkehrsteilnehmers erkannt wird, dessen Abmessung in wenigstens einer Richtung bekannt ist, so dass aus dem detektierten optischen Bild ein Abstand des wenigstens einen Verkehrsteilnehmers von dem optischen Detektor be stimmt wird.
9. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass ein relativer Versatz zwischen dem Radarsensor und dem optischen De tektor und/oder eine relative Orientierung des Radarsensors zu dem optischen Detektor aus der detektierten Radarstrahlung und dem optischen Bild bestimmt wird.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass der Abstand und/o der die Orientierung während des Verfahrens mehrfach bestimmt wird und be vorzugt mit vorgegebenen Sollwerten verglichen wird.
11. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass beim Auswerten des optischen Bildes eine Ausdehnung des wenigstens einen Verkehrsteilnehmer in Azimutrichtung und/oder in Elevationsrichtung be stimmt wird und beim Auswerten der detektierten Radarstrahlung die Entfer nung des wenigstens einen Verkehrsteilnehmers bestimmt wird, wobei aus der Ausdehnung und der Entfernung des wenigstens einen Verkehrsteilnehmers die Lage und/oder Größe des wenigstens einen Verkehrsteilnehmers ermittelt wird.
12. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass beim Auswerten des optischen Bildes eine Orientierung des wenigstens einen Verkehrsteilnehmers bestimmt wird, aus der mit der Radialgeschwindig keit und Entfernung des wenigstens einen Verkehrsteilnehmers, die aus der de tektierten Radarstrahlung bestimmt wurden, eine vollständige Geschwindigkeit und/oder Bewegungsrichtung und/oder eine Längsbeschleunigung und/oder eine Querbeschleunigung des wenigstens einen Verkehrsteilnehmers bestimmt wird.
13. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der wenigstens eine Verkehrsteilnehmer auf der Grundlage von Parame tern klassifiziert wird, von denen wenigstens einer bei der Auswertung der de tektierten Radarstrahlung und wenigstens einer bei der Auswertung des opti schen Bildes bestimmt wurde.
14. Vorrichtung zum Erfassen wenigstens eines Verkehrsteilnehmer auf einem Ver kehrsweg, die wenigstens einen Radarsensor mit wenigstens einem Radar- Sender und wenigstens einem Radar-Empfänger, wenigstens einen optischen Detektor und einer elektrischen Steuerung aufweist, die eingerichtet ist zum Durchführen eines Verfahrens gemäß einem der vorstehenden Ansprüche.
15. Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass der wenigstens eine Radar-Sender mehrere Sendeantennen und/oder der wenigstens eine Ra dar-Empfänger mehrere Empfangsantennen aufweist.
EP20829905.7A 2019-12-18 2020-12-16 Verfahren zum erfassen wenigstens eines verkehrsteilnehmers Pending EP4078230A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019134985.0A DE102019134985B4 (de) 2019-12-18 2019-12-18 Verfahren zum Erfassen wenigstens eines Verkehrsteilnehmers
PCT/EP2020/086540 WO2021122828A2 (de) 2019-12-18 2020-12-16 Verfahren zum erfassen wenigstens eines verkehrsteilnehmers

Publications (1)

Publication Number Publication Date
EP4078230A2 true EP4078230A2 (de) 2022-10-26

Family

ID=74095834

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20829905.7A Pending EP4078230A2 (de) 2019-12-18 2020-12-16 Verfahren zum erfassen wenigstens eines verkehrsteilnehmers

Country Status (7)

Country Link
US (1) US20230008876A1 (de)
EP (1) EP4078230A2 (de)
JP (1) JP2023519061A (de)
KR (1) KR20220110543A (de)
CN (1) CN114829972A (de)
DE (1) DE102019134985B4 (de)
WO (1) WO2021122828A2 (de)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012008350A1 (de) 2012-04-19 2013-10-24 S.M.S Smart Microwave Sensors Gmbh Verfahren und Vorrichtung zur Abstimmung von Abstand und Radialgeschwindigkeit eines Objekts mittels Radarsignalen
DE102013206707A1 (de) 2013-04-15 2014-10-16 Robert Bosch Gmbh Verfahren zur Überprüfung eines Umfelderfassungssystems eines Fahrzeugs
EP3252501B1 (de) 2016-06-03 2022-06-08 Veoneer Sweden AB Verbesserte objekterkennung und bewegungsstatusschätzung für ein fahrzeugumgebungserkennungssystem
DE102017105783B4 (de) 2017-03-17 2020-06-10 S.M.S Smart Microwave Sensors Gmbh Verfahren zum Bestimmen eines Abstandes und einer Geschwindigkeit eines Objektes
DE102018205879A1 (de) 2018-04-18 2019-10-24 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Verarbeitung von Sensordaten

Also Published As

Publication number Publication date
JP2023519061A (ja) 2023-05-10
DE102019134985A1 (de) 2021-06-24
WO2021122828A3 (de) 2021-08-12
US20230008876A1 (en) 2023-01-12
WO2021122828A2 (de) 2021-06-24
KR20220110543A (ko) 2022-08-08
CN114829972A (zh) 2022-07-29
DE102019134985B4 (de) 2022-06-09

Similar Documents

Publication Publication Date Title
EP1557692B1 (de) Verfahren zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen
EP1557691B1 (de) Verfahren zur Erkennung von Markierungen auf einer Fahrbahn
EP3485290B1 (de) Verfahren und system zur abtastung eines objekts
EP1797450B1 (de) Radarsensor und verfahren zur abstands- und geschwindigkeitsregelung
EP1557694B1 (de) Verfahren zur Klassifizierung von Objekten
DE102011117554A1 (de) Fahrumgebungserfassungsvorrichtung
DE102014223363A1 (de) Verfahren und Vorrichtung zur Lokalisation eines Kraftfahrzeugs in einer ortsfesten Referenzkarte
DE102010012811B4 (de) Verfahren zur Messung von Geschwindigkeiten und Zuordnung der gemessenen Geschwindigkeiten zu angemessenen Fahrzeugen durch Erfassen und Zusammenführen von Objekt-Trackingdaten und Bild-Trackingdaten
DE102011081740A1 (de) Fahrumgebung-Erkennungseinrichtung und Fahrumgebung-Erkennungsverfahren
EP2046619B1 (de) Fahrerassistenzsystem
DE102009006113A1 (de) Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
DE102018115265A1 (de) Verfahren und vorrichtung zur objektoberflächenschätzung mittels reflexionsverzögerungs-aufspreizung
DE102018115372A1 (de) Verfahren und vorrichtung zur parallelen beleuchtung durch ein vcsel-array
EP2804014B1 (de) Vorrichtung und Verfahren zum Bestimmen eines Fahrzeugmerkmals
DE102018118528A1 (de) Verfahren und Vorrichtung zur Segment-übergreifenden Erfassung in einem Lidar-System
DE102018118142A1 (de) Vorrichtung zum erhöhen des sichtfeldes für lidar-detektoren und -beleuchter
DE102018118679A1 (de) Verfahren und vorrichtung zur parallelen aufnahme in ein lidar-array
DE102011077333A1 (de) Fahrerassistenzsystem mit Objektdetektion
DE102018123170A1 (de) Verfahren und vorrichtung zur frameratenerhöhung in lidar-arrays
DE102013112671A1 (de) Objekttyp-Bestimmungsvorrichtung
DE102011005970A1 (de) Verfahren und Vorrichtung zum Schätzen einer Straßenform
WO2020127245A1 (de) Bestimmung der orientierung von objekten mittels radar oder durch die verwendung von elektromagnetischer abfragestrahlung
WO2017080787A1 (de) Seitliche leitplankenerkennung über einen abstandssensor im kfz
DE102020105192B4 (de) Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug
DE102020106680A1 (de) System und verfahren zum steuern des betriebs einer vorrichtung mit einem lenkbaren optischen sensor und einer lenkbaren radareinheit

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220629

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230525