EP3874402A1 - Verfahren zur unterstützung einer kamerabasierten umfelderkennung eines fortbewegungsmittels mittels einer strassennässeinformation eines ersten ultraschallsensors - Google Patents

Verfahren zur unterstützung einer kamerabasierten umfelderkennung eines fortbewegungsmittels mittels einer strassennässeinformation eines ersten ultraschallsensors

Info

Publication number
EP3874402A1
EP3874402A1 EP19773013.8A EP19773013A EP3874402A1 EP 3874402 A1 EP3874402 A1 EP 3874402A1 EP 19773013 A EP19773013 A EP 19773013A EP 3874402 A1 EP3874402 A1 EP 3874402A1
Authority
EP
European Patent Office
Prior art keywords
transportation
signal
ultrasonic sensor
road
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19773013.8A
Other languages
English (en)
French (fr)
Inventor
Paul Ruhnau
Simon Weissenmayer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP3874402A1 publication Critical patent/EP3874402A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0855—Ultrasonic rain sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1306—Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing

Definitions

  • the present invention relates to a method for supporting a camera-based environment detection of a means of transportation by means of road wetness information from a first ultrasonic sensor.
  • Means of transportation are known from the prior art which carry out a camera-based environment detection in order to obtain information about objects in the environment of the means of transportation. This information is received and used by driver assistance systems and / or systems for autonomous control of the means of transport, for example.
  • Such an environment detection is based on algorithms known from the prior art for image analysis and for the classification of
  • Objects which are usually use one or more classifiers for specific objects.
  • Means of transportation known to detect an existing precipitation. These are usually arranged in an upper area of a windshield of the means of transportation and are arranged, one on the
  • Windshield to detect existing precipitation can be used to select suitable classifiers of an environment detection.
  • ultrasound sensors are known from the prior art, which are often used in connection with means of transportation for parking assistance systems or Similar driver assistance systems are used.
  • ultrasonic sensors are usually arranged on the means of transportation in such a way that their direction of radiation and detection is essentially horizontal to the means of transportation, by distances of objects in the vicinity of the
  • Proposed means of transportation by means of road wetness information from a first ultrasonic sensor can be, for example, a road vehicle (e.g. motorcycle, car, van, truck) or a
  • the device can
  • the evaluation unit which preferably has a data input.
  • the evaluation unit can be configured, for example, as an ASIC, FPGA, processor, digital signal processor, microcontroller, or the like, and can be connected to an internal and / or external storage unit in terms of information technology.
  • Evaluation unit can also be set up to carry out the method according to the invention in connection with a computer program executed by the evaluation unit.
  • a first signal representing an environment of the means of transportation is generated by means of the first
  • the ultrasound sensor can be an ultrasound sensor of the means of transportation that can also be used for other purposes. Alternatively or additionally, for that
  • a dedicated ultrasonic sensor can also be used.
  • the ultrasound sensor of the means of transportation can be, for example, an ultrasound sensor of a parking assistance system or another
  • the ultrasonic sensor can, for example, in a front apron or in the area of a rear of the means of transportation or also at other positions of the Means of transportation may be arranged so that both the tire noise, but also the road ahead or the back road and its surroundings can be detected.
  • the ultrasonic sensor can be used directly or indirectly (ie, for example, via another control device of the
  • Means of transportation to be connected in terms of information technology to the data input of the evaluation unit according to the invention.
  • the connection can be established, for example, by means of a bus system (e.g. CAN, LIN, MOST, Ethernet, etc.) of an on-board network of the means of transportation.
  • the first signal of the first ultrasonic sensor received by the evaluation unit can first be stored in the memory unit connected to the evaluation unit for subsequent processing by the evaluation unit.
  • a second signal representing the surroundings of the means of transportation is recorded by means of a camera of the means of transportation.
  • the second signal can preferably be acquired at an essentially identical point in time as the first signal, so that it can be ensured that the two signals each contain environmental information corresponding to one another in time. Due to different sensor types and different signal processing and signal transmission chains, there may be a time offset between the two signals.
  • the offset between the two signals can be, for example, between a few milliseconds and a few hundred milliseconds, or even in the seconds range.
  • the camera can be, for example, a 2D or 3D camera with a standard image resolution, an HD or an ultra-HD image resolution or an infrared camera.
  • the camera can preferably be arranged and aligned on the means of transportation in such a way that it captures an environment in front of the means of transportation.
  • an arrangement and / or alignment of the camera is not limited to this example.
  • the camera can be used directly or indirectly in terms of information technology with the evaluation unit according to the invention via the vehicle electrical system
  • the camera can be connected in terms of information technology to an image processing unit of the means of transport, which is set up to receive image signals from the camera and to process them.
  • an image processing unit can be part of a Driver assistance system or a system for autonomous operation of the means of transportation.
  • the image processing unit in this preferred embodiment can be used for information technology purposes with the
  • Evaluation unit can transmit the road wetness information described in more detail below to the image processing unit.
  • the image processing unit can be a component of the evaluation unit itself (or vice versa), so that communication between these two components can take place directly and not via the vehicle electrical system.
  • This can be implemented, for example, in such a way that a logic to be executed by the evaluation unit according to the invention for implementing the method steps according to the invention is executed in the form of a computer program by means of the image processing unit.
  • the evaluation unit can compare a noise level of the first signal with a predefined threshold value for a noise level, which can be stored in the memory unit connected to the evaluation unit.
  • the predefined threshold value for a noise level is preferably selected such that when the predefined threshold value is exceeded by the noise level of a currently prevailing road wetness
  • the evaluation unit can also estimate a degree of wetness by exceeding the predefined level
  • Threshold value is taken into account by the noise level of the first signal.
  • Speed ranges of the means of transportation can correspond.
  • it can be advantageous to use the vehicle electrical system Information provided on a current means of transportation
  • the evaluation unit can select a corresponding, predefined threshold value from a plurality of predefined threshold values depending on a value of a current speed, since a higher speed generally with a higher speed
  • Noise level associated with the first signal In this way it can be prevented that, at a higher speed of the means of transportation, the evaluation unit erroneously detects road wetness, even though the road surface is actually in a dry state.
  • predefined parameter set selected from a plurality of predefined parameter sets depending on the road wetness information.
  • the plurality of predefined parameter sets can be different, for example
  • a classifier can preferably be part of a computer program which is executed by the image processing unit and / or the evaluation unit.
  • Image processing unit are implemented as separate components, the selection of the predefined parameter set by the
  • Image processing unit depending on the road wetness information and possibly further information (e.g. about a speed of the road wetness information).
  • Means of transportation can be made available by the evaluation unit.
  • a goal of using different predefined ones can be made available by the evaluation unit.
  • predefined parameter sets adapted to a current environment (ie wet or dry) for the environment detection.
  • a classifier trained for a dry environment in a wet environment for example due to whirled up water (spray), means of transportation in front can usually only ensure inadequate or unreliable results in the course of the environment detection.
  • a classifier trained for a wet environment can often not be optimal in a dry environment Deliver recognition results.
  • a predefined parameter set that is matched to the respective degree of measurement can additionally be selected depending on the degree of wetness.
  • the determination of the road wetness information can additionally depend on a
  • values received via the on-board electrical system of the means of transportation can be determined via a current acceleration and / or a current engine speed of the vehicle
  • Means of transportation are taken into account advantageously in a similar manner.
  • the predefined parameter set can be a configuration of a trained
  • the classifier described above can be implemented on the basis of a self-learning system, such as a neural network (e.g. with a deep learning structure).
  • a self-learning system such as a neural network (e.g. with a deep learning structure).
  • other types of self-learning systems can be used. In this way, training trips of the means of transportation can be carried out in different ways by means of such a self-learning system
  • the selection of the predefined parameter set can alternatively or additionally take place as a function of a change in the noise level and / or a current temperature and / or an amount of water present in the environment of the means of transportation.
  • a change in the noise level can, as described above, due to different amounts of water on one
  • a change in the noise level can also be caused by a change in a distance
  • vehicles in front can be caused by an additional analysis of the second signal, for example by a
  • Size change of immediately preceding vehicles is determined.
  • signals from other environment sensors of the means of transportation can also be used to evaluate a current situation. It can be particularly advantageous here to take into account distance information from vehicles in front of a LIDAR and / or a radar system of the means of transportation.
  • the predefined parameter sets generated and used for the abovementioned cases can have the effect that means of locomotion partially obscured by a spray cloud are recognized better and / or faster, even if only vague outlines of means of transportation in front can be recorded by the camera.
  • Roadside snow is present, in particular can be high if there is an outside temperature of 0 ° C or less and at the same time there is recognized road wetness. Based on this information, another suitable predefined parameter set selected and in the course of
  • Lane limitation can be reliably recognized even in the presence of snow.
  • the road wetness information can be determined as a function of the interference-free nature of the first signal.
  • Interference-free is to be understood here to mean the absence of a wide variety of interferences that make reliable detection of road wetness difficult or even impossible, such as developments on the roadside and / or other means of transportation in the immediate vicinity of the means of transportation.
  • Such interference can be determined, for example, on the basis of the second signal or on the basis of signals from other environmental sensors, such as LIDAR and / or radar sensors. In the event that there is a corresponding interference, the
  • Evaluation unit transmit a road wetness information to the image processing unit which shows a road wetness condition before the occurrence of the
  • This value can preferably continue to be used as road wetness information by the overall system until the interference or interference from the environment of the means of transportation
  • the first ultrasonic sensor can be arranged on the means of transportation in such a way that a detection area of the first ultrasonic sensor is in the direction of travel or counter to the direction of travel of the
  • Locomotion means are additionally detected on the basis of a second ultrasound sensor and in particular are detected by a second ultrasound sensor which is arranged on the means of locomotion in such a way that a detection area of the second ultrasound sensor lies in the direction of travel or against the direction of travel of the means of locomotion.
  • the first ultrasonic sensor in the direction of travel and the second ultrasonic sensor in the opposite direction to the direction of travel of the means of transportation be aligned. In this way, the road wetness information can be determined on the basis of both ultrasonic sensors, which means an additional one
  • Road wetness information can be determined alternately on the basis of the first or on the basis of the second ultrasonic sensor, in each case by evaluating the first signal of the ultrasonic sensor with respect to road wetness which has the lowest proportion of interference at a current point in time.
  • further ultrasonic sensors can be used for the method according to the invention.
  • third, fourth and more ultrasonic sensors can be used, which can be combined and used analogously to the configurations described above.
  • An arrangement of the first, second, third, fourth and possibly further ultrasonic sensors is explicitly not on the front and / or
  • the road wetness information determined from the first signal can be checked for plausibility by road wetness information determined from the second signal. This can be done on the basis of an analysis of reflections from light sources in the
  • Camera images take place, for example, by checking whether these light sources are above or apparently below a road level.
  • the road wetness information can also be checked for plausibility by further sensors and / or control devices of the means of transportation.
  • a rain sensor arranged on a windshield of the means of transportation comes into question, or further sensors of the
  • Information about objects in the environment of the means of transport determined by the environment detection can then, among other things, transmitted to a driver assistance system and / or a system for autonomous control of the means of transportation and used there.
  • the device comprises an evaluation unit and a data input.
  • the evaluation unit can be configured, for example, as an ASIC, FPGA, processor, digital signal processor, microcontroller, or the like, and can be connected to an internal and / or external storage unit in terms of information technology.
  • the evaluation unit can be set up to process the method according to the invention in conjunction with a method
  • Execute evaluation unit executed computer program. Furthermore, the evaluation unit is set up to record, in connection with the data input, a first signal determined by means of the first ultrasonic sensor of the means of transportation representing an environment of the means of transportation and a second signal determined by means of a camera of the means of transportation to capture the environment of the means of transportation.
  • the ultrasonic sensor can preferably be an already existing ultrasonic sensor of the means of transportation. Furthermore, the ultrasonic sensor can be arranged, for example, in a front apron or in the area of a rear of the means of transportation or also at further positions of the means of transportation, so that either the road ahead or the road ahead and its surroundings can be detected.
  • the camera can be, for example, a 2D or 3D camera with a standard image resolution, an HD or an ultra-HD image resolution or an infrared camera.
  • the camera can preferably be arranged and aligned on the means of transportation in such a way that the camera can capture an environment in front of the means of transportation.
  • Evaluation unit can directly and / or indirectly by means of an electrical system of the means of transportation with the ultrasonic sensor and the camera
  • the evaluation unit is set up to determine road wetness information on the basis of the first signal, to select a predefined parameter set from a plurality of predefined parameter sets as a function of the road wetness information, and to carry out an environment detection on the basis of the second signal in connection with the predefined parameter set.
  • Figure 1 is a flow diagram illustrating steps of a
  • Figure 2 is a block diagram of a device according to the invention in
  • Figure 3 is a diagram of a speed-dependent
  • Noise level of a first ultrasonic sensor is Noise level of a first ultrasonic sensor.
  • Figure 1 shows a flow diagram illustrating steps of a
  • an evaluation unit 10 which is a microcontroller, represents a first signal representing an environment 60 of the
  • the first ultrasonic sensor 30 is arranged in a front apron of the means of transportation 80 and aligned in the direction of travel of the means of transportation 80.
  • the evaluation unit 10 receives the first signal by means of a data input 12 of the evaluation unit 10 and stores environmental information represented by the first signal in an internal memory unit 20 of the microcontroller.
  • a second signal representing the surroundings 60 of the means of transportation 80 is recorded by means of a camera 40 of the means of transportation 80.
  • the camera 40 is arranged in an interior of the means of transportation 80 in an upper region of a windshield of the means of transportation 80 and is oriented such that the camera 40 is attached to the means of transportation 80
  • the second signal of the camera 40 is from an image processing unit of the means of transportation 80
  • step 300 the evaluation unit 10 executes one
  • Computer program determines road wetness information based on the first signal.
  • the evaluation unit 10 compares a noise level 70 of the first signal with a predefined threshold value 75 for a noise level 70. Exceeding the predefined threshold value 75 by the noise level 70 indicates that there is road wetness in the surroundings 60 of the means of transportation 80. Because in this case based on the
  • the evaluation unit 10 sends a corresponding signal, which includes the current road wetness information, by means of a vehicle bus
  • step 400 of the method according to the invention the image processing unit selects a predefined parameter set from a plurality of predefined ones
  • Parameter sets depending on the received road wetness information The one selected in this case by the image processing unit
  • Parameter set represents a configuration of a classifier based on a neural network, which at an earlier point in time (e.g. in a development phase of the means of transportation 80) among others
  • step 500 an environment recognition is carried out on the basis of the second signal in conjunction with the predefined parameter set by means of the image processing unit.
  • Information about objects in the surroundings 60 of the means of transportation 80 determined by means of the environment detection is then transmitted to a system for autonomously controlling the means of transportation 80 by means of the vehicle electrical system and is used by the latter in the course of the autonomous control of the means of transportation 80.
  • FIG. 2 shows a block diagram of a device according to the invention in FIG.
  • the device comprises an evaluation unit 10, which here is a microcontroller and has a data input 12.
  • the evaluation unit 10 is provided with a first one oriented in the direction of travel of the means of transportation 80
  • Ultrasound sensor 30 and a second ultrasound sensor 35 oriented counter to the direction of travel are connected in terms of information technology via an electrical system of the means of transport 80. Also via the data input 12 is the evaluation unit 10 with a camera 40 oriented in the direction of travel of the means of transportation 80 in terms of information technology via the vehicle electrical system
  • the evaluation unit 10 is connected in terms of information technology to an external storage unit 20, which is set up to receive information received by the evaluation unit 10 for a to store downstream processing by the evaluation unit 10.
  • the evaluation unit 10 is able to detect an environment 60 of the
  • Evaluation unit 10 is not only configured on the basis of first signals from the first ultrasonic sensor 30 and the second ultrasonic sensor 35
  • Determining road wetness information is also set up to select a predefined parameter set corresponding to the road wetness information and by means of the predefined parameter set on the basis of a second signal from camera 40 an environment detection
  • FIG. 3 shows a diagram of a speed-dependent noise level 70 of a first ultrasound sensor 30.
  • a means of transport 80 which uses the first ultrasound sensor 30 in the sense of the method according to the invention travels at a speed v which corresponds to a predefined threshold value 75 corresponds to the first phase P1.
  • predefined threshold value 75 from a plurality of predefined threshold values 75 is used for a comparison with the noise level 70 of the first signal, which was previously defined for this speed range.
  • the noise level 70 in the first phase P1 is completely above the predefined threshold value 75 of the first phase P1, an existing road wetness is determined by an evaluation unit 10 according to the invention. From the course of the speed v it can be seen that the speed v of the means of transportation 80 here continues to increase over time.
  • a predefined threshold value 75 which differs from the predefined threshold value 75 of the first phase P1, is selected for a second phase P2 by means of the evaluation unit 10, on account of the now higher speed v.
  • the predefined threshold value 75 of the second phase P2 is adapted to the noise level 75 generated by the higher speed v.
  • the evaluation unit 10 determines a dry road surface.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels (80) mittels einer Straßennässeinformation eines ersten Ultraschallsensors (30). Das Verfahren umfasst die Schritte: Erfassen eines ersten Signals repräsentierend ein Umfeld (60) des Fortbewegungsmittels (80) mittels des ersten Ultraschallsensors (30) des Fortbewegungsmittels (80), Erfassen eines zweiten Signals repräsentierend das Umfeld (60) des Fortbewegungsmittels (80) mittels einer Kamera (40) des Fortbewegungsmittels (80), Ermitteln einer Straßennässeinformation auf Basis des ersten Signals, Auswählen eines vordefinierten Parametersatzes aus einer Mehrzahl vordefinierter Parametersätze in Abhängigkeit der Straßennässeinformation, und Durchführen einer Umfelderkennung auf Basis des zweiten Signals in Verbindung mit dem vordefinierten Parametersatz.

Description

Beschreibung
Titel
Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Straßennässeinformation eines ersten Ultraschallsensors
Stand der Technik
Die vorliegende Erfindung betrifft ein Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Straßennässeinformation eines ersten Ultraschallsensors.
Aus dem Stand der Technik sind Fortbewegungsmittel bekannt, welche eine kamerabasierte Umfelderkennung durchführen, um Informationen über Objekte im Umfeld der Fortbewegungsmittel zu erhalten. Diese Informationen werden beispielsweise von Fahrerassistenzsystemen und/oder Systemen für eine autonome Steuerung der Fortbewegungsmittel empfangen und von diesen verwendet. Grundlage einer solchen Umfelderkennung sind aus dem Stand der Technik bekannte Algorithmen zu Bildanalyse und zur Klassifikation von
Objekten, welche i.d.R. einen oder mehrere Klassifikatoren für bestimmte Objekte einsetzen.
Des Weiteren sind aus dem Stand der Technik Regensensoren für
Fortbewegungsmittel zur Erkennung eines vorhandenen Niederschlages bekannt. Diese sind meist in einem oberen Bereich einer Windschutzscheibe der Fortbewegungsmittel angeordnet und sind eingerichtet, einen auf der
Windschutzscheibe vorhandenen Niederschlag zu erkennen. Eine durch einen solchen Regensensor ermittelte Nässeinformation kann zur Auswahl geeigneter Klassifikatoren einer Umfelderkennung verwendet werden.
Ferner sind aus dem Stand der Technik Ultraschallsensoren bekannt, die im Zusammenhang mit Fortbewegungsmitteln häufig für Parkassistenzsysteme oder ähnliche Fahrerassistenzsysteme eingesetzt werden. Zu diesem Zweck sind solche Ultraschallsensoren meist derart an Fortbewegungsmitteln angeordnet, dass ihre Abstrahl- und Erfassungsrichtung im Wesentlichen horizontal zu den Fortbewegungsmitteln liegt, um Abstände von Objekten im Umfeld des
Fortbewegungsmittels zum Fortbewegungsmittel auf Basis von Signallaufzeiten der Ultraschallsignale ermitteln zu können.
Offenbarung der Erfindung
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines
Fortbewegungsmittels mittels einer Straßennässeinformation eines ersten Ultraschallsensors vorgeschlagen. Das Fortbewegungsmittel kann beispielsweise ein Straßenfahrzeug (z.B. Motorrad, PKW, Transporter, LKW) oder ein
Schienenfahrzeug oder ein Luftfahrzeug/Flugzeug oder ein Wasserfahrzeug sein. Des Weiteren können die nachfolgend beschriebenen Verfahrensschritte vollständig oder teilweise durch eine erfindungsgemäße Vorrichtung des
Fortbewegungsmittels ausgeführt werden. Die Vorrichtung kann eine
Auswerteeinheit umfassen, welche bevorzugt über einen Dateneingang verfügt. Die Auswerteeinheit kann beispielsweise als ASIC, FPGA, Prozessor, digitaler Signalprozessor, Mikrocontroller, o.ä., ausgestaltet und informationstechnisch an eine interne und/oder externe Speichereinheit angebunden sein. Die
Auswerteeinheit kann darüber hinaus eingerichtet sein, das erfindungsgemäße Verfahren in Verbindung mit einem durch die Auswerteeinheit ausgeführten Computerprogramm durchzuführen.
In einem ersten Schritt des erfindungsgemäßen Verfahrens wird ein erstes Signal repräsentierend ein Umfeld des Fortbewegungsmittels mittels des ersten
Ultraschallsensors des Fortbewegungsmittels erfasst. Der Ultraschallsensor kann ein auch für andere Zwecke verwendeter/verwendbarer Ultraschallsensor des Fortbewegungsmittels sein. Alternativ oder zusätzlich kann für das
erfindungsgemäße Verfahren auch ein dedizierter Ultraschallsensor eingesetzt werden. Der Ultraschallsensor des Fortbewegungsmittels kann beispielsweise ein Ultraschallsensor eines Parkassistenzsystems oder eines anderen
Fahrerassistenzsystems des Fortbewegungsmittels sein. Der Ultraschallsensor kann beispielsweise in einer Frontschürze oder im Bereich eines Hecks des Fortbewegungsmittels oder auch an weiteren Positionen des Fortbewegungsmittels angeordnet sein, so dass sowohl die Reifengeräusche, aber auch die vorausliegende oder die zurückliegende Fahrbahn und deren Umfeld erfasst werden können. Darüber hinaus kann der Ultraschallsensor direkt oder indirekt (d.h. beispielsweise über ein anderes Steuergerät des
Fortbewegungsmittels) informationstechnisch mit dem Dateneingang der erfindungsgemäßen Auswerteeinheit verbunden sein. Die Verbindung kann beispielsweise mittels eines Bussystems (z.B. CAN, LIN, MOST, Ethernet, usw.) eines Bordnetzes des Fortbewegungsmittels hergestellt werden. Das von der Auswerteeinheit empfangene erste Signal des ersten Ultraschallsensors kann für eine nachfolgende Bearbeitung durch die Auswerteeinheit zunächst in der an die Auswerteeinheit angebundenen Speichereinheit abgelegt werden.
In einem zweiten Schritt des erfindungsgemäßen Verfahrens wird ein zweites Signal repräsentierend das Umfeld des Fortbewegungsmittels mittels einer Kamera des Fortbewegungsmittels erfasst. Das zweite Signal kann bevorzugt zu einem im Wesentlichen identischen Zeitpunkt wie das erste Signal erfasst werden, so dass sichergestellt werden kann, dass die beiden Signale jeweils zeitlich miteinander korrespondierende Umfeldinformationen enthalten. Aufgrund unterschiedlicher Sensortypen und unterschiedlicher Signalverarbeitungs- und Signalübertragungsketten kann es zu einem zeitlichen Versatz zwischen den beiden Signalen kommen. Ein bevorzugter, aber für das erfindungsgemäße Verfahren nicht zwangsläufig sicherzustellender Bereich eines zeitlichen
Versatzes zwischen den beiden Signalen kann zum Beispiel zwischen einigen Millisekunden und einigen hundert Millisekunden, oder auch im Sekundenbereich liegen. Die Kamera kann beispielsweise eine 2D- oder 3D-Kamera mit einer Standardbildauflösung, einer HD- oder einer Ultra-HD-Bildauflösung oder eine Infrarotkamera sein. Bevorzugt kann die Kamera derart am Fortbewegungsmittel angeordnet und ausgerichtet sein, dass sie ein dem Fortbewegungsmittel vorausliegendes Umfeld erfasst. Eine solche Anordnung und/oder Ausrichtung der Kamera ist jedoch nicht auf dieses Beispiel beschränkt. Analog zum ersten Ultraschallsensor kann die Kamera direkt oder indirekt informationstechnisch mit der erfindungsgemäßen Auswerteeinheit über das Bordnetz des
Fortbewegungsmittels verbunden sein. In einer bevorzugten Ausführungsform der vorliegenden Erfindung kann die Kamera informationstechnisch mit einer Bildverarbeitungseinheit des Fortbewegungsmittels verbunden sein, welche eingerichtet ist, Bildsignale der Kamera zu empfangen und diese zu verarbeiten. Eine solche Bildverarbeitungseinheit kann u.a. Bestandteil eines Fahrerassistenzsystems oder eines Systems für einen autonomen Fährbetrieb des Fortbewegungsmittels sein. Des Weiteren kann die Bildverarbeitungseinheit in dieser bevorzugten Ausführungsform informationstechnisch mit der
erfindungsgemäßen Auswerteeinheit verbunden sein, so dass die
Auswerteeinheit die im Folgenden näher beschriebene Straßennässeinformation an die Bildverarbeitungseinheit übertragen kann. Alternativ oder zusätzlich zu dieser Ausführungsform kann die Bildverarbeitungseinheit ein Bestandteil der Auswerteeinheit selbst sein (oder auch umgekehrt), so dass eine Kommunikation zwischen diesen beiden Komponenten direkt und nicht über das Bordnetz des Fortbewegungsmittels ablaufen kann. Dies kann beispielsweise derart realisiert werden, dass eine durch die erfindungsgemäße Auswerteeinheit auszuführende Logik zur Umsetzung der erfindungsgemäßen Verfahrensschritte in Form eines Computerprogramms mittels der Bildverarbeitungseinheit ausgeführt wird.
In einem dritten Schritt des erfindungsgemäßen Verfahrens wird die
Straßennässeinformation auf Basis des ersten Signals ermittelt. Zu diesem Zweck kann die Auswerteeinheit einen Rauschpegel des ersten Signals mit einem vordefinierten Schwellenwert für einen Rauschpegel abgleichen, welcher in der an die Auswerteeinheit angebundenen Speichereinheit abgelegt sein kann. Der vordefinierte Schwellenwert für einen Rauschpegel wird bevorzugt derart gewählt, dass bei einer Überschreitung des vordefinierten Schwellenwertes durch den Rauschpegel von einer aktuell vorliegenden Straßennässe
ausgegangen werden kann. Umgekehrt gilt, dass bei einer Unterschreitung des vordefinierten Schwellenwertes durch den Rauschpegel von einer trockenen Fahrbahnoberfläche ausgegangen werden kann. Ein Ergebnis des Ermittelns der Straßennässeinformation kann wiederum in der Speichereinheit abgelegt werden. Alternativ oder zusätzlich zu einer reinen Unterscheidung zwischen einer nassen oder einer trockenen Fahrbahnoberfläche kann die Auswerteeinheit im Falle einer Überschreitung des vordefinierten Schwellenwertes durch den Rauschpegel des ersten Signals auch eine Abschätzung eines Nässegrades erfolgen, indem eine Höhe der Überschreitung des vordefinierten
Schwellenwertes durch den Rauschpegel des ersten Signals berücksichtigt wird. Darüber hinaus ist es auch denkbar, eine Mehrzahl vordefinierter Schwellenwerte für einen Rauschpegel zu verwenden, wobei die jeweiligen vordefinierten
Schwellenwerte mit unterschiedlichen Geschwindigkeiten und/oder
Geschwindigkeitsbereichen des Fortbewegungsmittels korrespondieren können. Mit anderen Worten kann es von Vorteil sein, eine über das Bordnetz des Fortbewegungsmittels bereitgestellte Information über eine aktuelle
Geschwindigkeit des Fortbewegungsmittels durch die Auswerteeinheit zu empfangen, so dass die Auswerteeinheit in Abhängigkeit eines Wertes einer aktuellen Geschwindigkeit einen jeweils korrespondierenden, vordefinierten Schwellenwert aus einer Mehrzahl vordefinierter Schwellenwerte auswählen kann, da eine höhere Geschwindigkeit in der Regel mit einem höheren
Rauschpegel im ersten Signal einhergeht. Auf diese Weise kann verhindert werden, dass bei einer höheren Geschwindigkeit des Fortbewegungsmittels durch die Auswerteeinheit fälschlicherweise eine Straßennässe erkannt wird, obwohl sich die Fahrbahnoberfläche tatsächlich in einem trockenen Zustand befindet.
In einem vierten Schritt des erfindungsgemäßen Verfahrens wird ein
vordefinierter Parametersatz aus einer Mehrzahl vordefinierter Parametersätze in Abhängigkeit der Straßennässeinformation ausgewählt. Die Mehrzahl vordefinierter Parametersätze kann beispielsweise unterschiedliche
Konfigurationen für einen Klassifikator repräsentieren, welcher eingerichtet ist, auf Basis des zweiten Signals ein Umfeld des Fortbewegungsmittels zu analysieren und Objekte in diesem Umfeld zu erkennen. Bevorzugt kann ein solcher Klassifikator Teil eines Computerprogramms sein, welches durch die Bildverarbeitungseinheit und/oder die Auswerteeinheit ausgeführt wird. Für den Fall, dass die erfindungsgemäße Auswerteeinheit und die
Bildverarbeitungseinheit als separate Komponenten umgesetzt sind, kann das Auswählen des vordefinierten Parametersatzes durch die
Bildverarbeitungseinheit in Abhängigkeit der Straßennässeinformation und ggf. weiterer Informationen (z.B. über eine Geschwindigkeit des
Fortbewegungsmittels) erfolgen, welche über das Bordnetz des
Fortbewegungsmittels von der Auswerteeinheit zur Verfügung gestellt werden können. Ein Ziel der Verwendung unterschiedlicher vordefinierter
Parametersätze ist es, an ein aktuelles Umfeld (d.h. nass oder trocken) angepasste, vordefinierte Parametersätze für die Umfelderkennung zu verwenden. Dies hat den Hintergrund, dass ein für ein trockenes Umfeld trainierter Klassifikator in einem nassen Umfeld zum Beispiel aufgrund von aufgewirbeltem Wasser (Gischt) vorausfahrender Fortbewegungsmittel i.d.R. nur unzureichende bzw. unzuverlässige Ergebnisse im Zuge der Umfelderkennung sicherstellen kann. Umgekehrt kann ein für ein nasses Umfeld trainierter Klassifikator wiederum in einem trockenen Umfeld häufig keine optimalen Erkennungsergebnisse liefern. Für den Fall, dass die durch Auswerteeinheit bereitgestellte Nässeinformation neben einer reinen Nass-/Trocken- Unterscheidung eine Information über einen Nässegrad beinhaltet, kann zusätzlich in Abhängigkeit des Nässegrades ein auf den jeweiligen Messegrad abgestimmter vordefinierter Parametersatz ausgewählt werden.
In einem fünften Schritt des erfindungsgemäßen Verfahrens wird eine
Umfelderkennung auf Basis des zweiten Signals in Verbindung mit dem vordefinierten Parametersatz durchgeführt. Da aufgrund der vorliegenden Nässeinformation für die Umfelderkennung jeweils angepasste, vordefinierte Parametersätze verwendet werden können, kann eine Erkennungsleistung der Umfelderkennung entsprechend optimiert werden. Eine daraus resultierende erhöhte Zuverlässigkeit der Umfelderkennung kann wiederum zu einer höheren Sicherheit bei einem Einsatz des Fortbewegungsmittels führen.
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
In einer vorteilhaften Ausgestaltung der vorliegenden Erfindung kann das Ermitteln der Straßennässeinformation zusätzlich in Abhängigkeit einer
Geschwindigkeit und/oder einer Beschleunigung und/oder einer Motordrehzahl des Fortbewegungsmittels erfolgen. Das vorteilhafte Berücksichtigen einer aktuellen Geschwindigkeit beim Ermitteln einer aktuellen
Straßennässeinformation wurde oben bereits im Detail beschrieben. Analog dazu können über das Bordnetz des Fortbewegungsmittels empfangene Werte über eine aktuelle Beschleunigung und/oder eine aktuelle Motordrehzahl des
Fortbewegungsmittels auf ähnliche Weise vorteilhaft berücksichtigt werden.
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann der vordefinierte Parametersatz eine Konfiguration eines trainierten,
selbstlernenden Systems repräsentieren. D. h., dass der oben beschriebene Klassifikator auf Basis eines selbstlernenden Systems, wie beispielsweise einem neuronalen Netz (z.B. mit einer Deep-Learning-Struktur) realisiert werden kann. Darüber hinaus können auch weitere Arten selbstlernende Systeme eingesetzt werden. Auf diese Weise können mittels eines solchen selbstlernenden Systems Trainingsfahrten des Fortbewegungsmittels in unterschiedlichen
Nässesituationen durchgeführt werden und jeweilige trainierte Konfigurationen des selbstlernenden Systems in Form unterschiedlicher vordefinierter
Parametersätze gespeichert werden.
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann das Auswahlen des vordefinierten Parametersatzes alternativ oder zusätzlich in Abhängigkeit einer Änderung des Rauschpegels und/oder einer aktuellen Temperatur und/oder einer im Umfeld des Fortbewegungsmittels vorhandenen Wassermenge erfolgen. Eine Änderung des Rauschpegels kann wie oben beschrieben aufgrund unterschiedlicher Wassermengen auf einer
Fahrbahnoberfläche verursacht werden. Darüber hinaus kann eine Änderung des Rauschpegels aber auch durch eine Änderung eines Abstandes zu
vorausfahrenden Fahrzeugen verursacht werden. In beiden Fällen kann es aufgrund der damit einhergehenden, veränderten Sichtbedingungen sinnvoll sein, entsprechende angepasste Parametersätze für die Umfelderkennung zu verwenden. Eine Unterscheidung, ob eine Änderung des Rauschpegels durch eine veränderte Wassermenge oder durch Abstandsänderungen
vorausfahrender Fahrzeuge verursacht wird, kann durch eine zusätzliche Analyse des zweiten Signals erfolgen, indem beispielsweise eine
Größenänderung unmittelbar vorausfahrender Fahrzeuge ermittelt wird.
Alternativ oder zusätzlich können auch Signale weiterer Umfeldsensoren des Fortbewegungsmittels zur Bewertung einer aktuellen Situation herangezogen werden. Hier kann es insbesondere von Vorteil sein, Abstandsinformationen zu vorausfahrenden Fahrzeugen von einem LIDAR- und/oder einem Radarsystem des Fortbewegungsmittels zu berücksichtigen. Die für die oben genannten Fälle erzeugten und verwendeten vordefinierten Parametersätze können bewirken, dass durch eine Gischtwolke teilverdeckte Fortbewegungsmittel besser und/oder schneller erkannt werden, auch wenn durch die Kamera nur vage Umrisse vorausfahrender Fortbewegungsmittel erfasst werden können.
Des Weiteren kann es sinnvoll sein, eine aktuelle Außentemperatur beim
Auswählen des vordefinierten Parametersatzes zu berücksichtigen, da eine Außentemperatur von unter 4 °C und insbesondere unter 0 °C einen
Rückschluss auf potentiell vorhandenen Schnee am Fahrbahnrand und/oder auf der selbst Fahrbahn erlaubt. Die Wahrscheinlichkeit, dass zumindest am
Fahrbahnrand Schnee vorhanden ist, kann insbesondere dann hoch sein, wenn eine Außentemperatur von 0 °C oder weniger und gleichzeitig eine erkannte Straßennässe vorliegt. Auf Basis dieser Informationen kann ein weiterer geeigneter vordefinierter Parametersatz ausgewählt und im Zuge der
Umfelderkennung verwendet werden, so dass beispielsweise eine
Fahrbahnbegrenzung auch bei vorhandenem Schnee zuverlässig erkannt werden kann.
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann das Ermitteln der Straßennässeinformation in Abhängigkeit einer Störungsfreiheit des ersten Signals erfolgen. Unter Störungsfreiheit soll hier die Abwesenheit unterschiedlichster Störeinflüsse verstanden werden, die eine zuverlässige Straßennässeerkennung erschweren, oder sogar unmöglich machen, wie zum Beispiel Bebauungen am Straßenrand und/oder weitere Fortbewegungsmittel in unmittelbarer Nähe des Fortbewegungsmittels. Solche Störeinflüsse können beispielsweise auf Basis des zweiten Signals oder auf Basis von Signalen weiterer Umfeldsensoren, wie LIDAR- und/oder Radarsensoren ermittelt werden. Für den Fall, dass ein entsprechender Störeinfluss vorliegt, kann die
Auswerteeinheit eine Straßennässeinformation an die Bildverarbeitungseinheit übertragen, die einen Straßennässezustand vor dem Auftreten des
Störeinflusses repräsentiert. Dieser Wert kann durch das Gesamtsystem bevorzugt so lange als Straßennässeinformation weiterverwendet werden, bis der oder die Störeinflüsse aus dem Umfeld des Fortbewegungsmittels
verschwunden sind. Auf diese Weise lassen sich insbesondere zeitlich begrenzte Störeinflüsse auf vorteilhafte Weise umgehen, da deren kurzfristiges Auftauchen und Verschwinden nicht zu unerwünscht häufigen Veränderungen der
Straßennässeinformation führen. Dadurch wird wiederum ein unerwünscht häufiges Wechseln der vordefinierten Parametersätze vermieden.
Wie bereits oben beschrieben, kann der erste Ultraschallsensor derart am Fortbewegungsmittel angeordnet sein, dass ein Erfassungsbereich des ersten Ultraschallsensors in Fahrtrichtung oder entgegen der Fahrtrichtung des
Fortbewegungsmittels liegt. Darüber hinaus kann das Umfeld des
Fortbewegungsmittels zusätzlich auf Basis eines zweiten Ultraschallsensors erfasst werden und insbesondere durch einen zweiten Ultraschallsensor erfasst werden, welcher derart am Fortbewegungsmittel angeordnet ist, dass ein Erfassungsbereich des zweiten Ultraschallsensors in Fahrtrichtung oder entgegen der Fahrtrichtung des Fortbewegungsmittels liegt. In einer bevorzugten Variante kann beispielsweise der erste Ultraschallsensor in Fahrtrichtung und der zweite Ultraschallsensor entgegen der Fahrtrichtung des Fortbewegungsmittels ausgerichtet sein. Auf diese Weise kann die Straßennässeinformation auf Basis beider Ultraschallsensoren ermittelt werden, wodurch eine zusätzliche
Plausibilisierung der aus den jeweiligen ersten Signalen gewonnenen
Straßennässeinformationen möglich ist. Alternativ kann die
Straßennässeinformation abwechselnd auf Basis des ersten oder auf Basis des zweiten Ultraschallsensors ermittelt werden, indem jeweils das erste Signal desjenigen Ultraschallsensors bezüglich einer Straßennässe ausgewertet wird, welches zu einem aktuellen Zeitpunkt den geringsten Anteil von Störeinflüssen aufweist. In diesem Zusammenhang sei darauf hingewiesen, dass neben dem ersten und dem zweiten Ultraschallsensor weitere Ultraschallsensoren für das erfindungsgemäße Verfahren eingesetzt werden können. D.h., es können beispielsweise dritte, vierte und mehr Ultraschallsensoren eingesetzt werden, die analog zu oben beschriebenen Ausgestaltungen kombiniert und verwendet werden können. Eine Anordnung der ersten, zweiten, dritten, vierten und ggf. weiteren Ultraschallsensoren ist explizit nicht auf den Front- und/oder
Heckbereich des Fortbewegungsmittels beschränkt.
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann die aus dem ersten Signal ermittelte Straßennässeinformation durch eine aus dem zweiten Signal ermittelte Straßennässeinformation plausibilisiert werden. Dies kann auf Basis einer Analyse von Reflexionen von Lichtquellen im
Kamerabild erfolgen, indem beispielsweise überprüft wird, ob diese Lichtquellen oberhalb oder scheinbar unterhalb einer Fahrbahnebene liegen. Darüber hinaus kann die Straßennässeinformation auch durch weitere Sensoren und/oder Steuergeräte des Fortbewegungsmittels plausibilisiert werden. Hier kommt beispielsweise ein an einer Windschutzscheibe des Fortbewegungsmittels angeordneter Regensensor in Frage, oder auch weitere Sensoren des
Fortbewegungsmittels.
Durch die Umfelderkennung ermittelte Informationen über Objekte im Umfeld des Fortbewegungsmittels können anschließend u.a. an ein Fahrerassistenzsystem und/oder ein System für eine autonome Steuerung des Fortbewegungsmittels übermittelt und dort verwendet werden.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung zur Unterstützung einer kamerabasierten Umfelderkennung eines
Fortbewegungsmittels mittels einer Straßennässeinformation eines ersten Ultraschallsensors vorgeschlagen. Die Vorrichtung umfasst eine Auswerteeinheit und einen Dateneingang. Die Auswerteeinheit kann beispielsweise als ASIC, FPGA, Prozessor, digitaler Signalprozessor, Mikrocontroller, o.ä., ausgestaltet und informationstechnisch an eine interne und/oder externe Speichereinheit angebunden sein. Die Auswerteeinheit kann darüber hinaus eingerichtet sein, das erfindungsgemäße Verfahren in Verbindung mit einem durch die
Auswerteeinheit ausgeführten Computerprogramm durchzuführen. Des Weiteren ist die Auswerteeinheit eingerichtet, in Verbindung mit dem Dateneingang ein mittels des ersten Ultraschallsensors des Fortbewegungsmittels ermitteltes erstes Signal repräsentierend ein Umfeld des Fortbewegungsmittels zu erfassen und ein mittels einer Kamera des Fortbewegungsmittels ermitteltes zweites Signal repräsentierend das Umfeld des Fortbewegungsmittels zu erfassen. Der Ultraschallsensor kann bevorzugt ein bereits bestehender Ultraschallsensor des Fortbewegungsmittels sein. Ferner kann der Ultraschallsensor beispielsweise in einer Frontschürze oder im Bereich eines Hecks des Fortbewegungsmittels oder auch an weiteren Positionen des Fortbewegungsmittels angeordnet sein, so dass entweder die vorausliegende, oder die zurückliegende Fahrbahn und deren Umfeld erfasst werden kann. Die Kamera kann beispielsweise eine 2D- oder 3D- Kamera mit einer Standardbildauflösung, einer HD-, oder einer Ultra-HD- Bildauflösung oder eine Infrarotkamera sein. Bevorzugt kann die Kamera derart am Fortbewegungsmittel angeordnet und ausgerichtet sein, dass die Kamera ein dem Fortbewegungsmittel vorausliegendes Umfeld erfassen kann. Die
Auswerteeinheit kann mittels eines Bordnetzes des Fortbewegungsmittels mit dem Ultraschallsensor und der Kamera direkt und/oder indirekt
informationstechnisch verbunden sein. Darüber hinaus ist die Auswerteeinheit eingerichtet, eine Straßennässeinformation auf Basis des ersten Signals zu ermitteln, einen vordefinierten Parametersatz aus einer Mehrzahl vordefinierter Parametersätze in Abhängigkeit der Straßennässeinformation auszuwählen, und eine Umfelderkennung auf Basis des zweiten Signals in Verbindung mit dem vordefinierten Parametersatz durchzuführen.
Kurze Beschreibung der Zeichnungen
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. Dabei zeigen: Figur 1 ein Flussdiagramm veranschaulichend Schritte eines
Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
Figur 2 ein Blockschaltbild einer erfindungsgemäßen Vorrichtung in
Verbindung mit einem Fortbewegungsmittel; und
Figur 3 ein Diagramm eines geschwindigkeitsabhängigen
Rauschpegels eines ersten Ultraschallsensors.
Ausführungsformen der Erfindung
Figur 1 zeigt ein Flussdiagramm veranschaulichend Schritte eines
Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels 80 mittels einer Straßennässeinformation eines ersten Ultraschallsensors 30. Im ersten Schritt 100 wird mittels einer erfindungsgemäßen Auswerteeinheit 10, welche ein Mikrocontroller ist, ein erstes Signal repräsentierend ein Umfeld 60 des
Fortbewegungsmittels 80 mittels des ersten Ultraschallsensors 30 des
Fortbewegungsmittels 80 erfasst. Der erste Ultraschallsensor 30 ist in einer Frontschürze des Fortbewegungsmittels 80 angeordnet und in Fahrtrichtung des Fortbewegungsmittels 80 ausgerichtet. Die Auswerteeinheit 10 empfängt das erste Signal mittels eines Dateneingangs 12 der Auswerteeinheit 10 und speichert durch das erste Signal repräsentierte Umfeldinformationen in einer internen Speichereinheit 20 des Mikrocontrollers ab. Im Schritt 200 wird ein zweites Signal repräsentierend das Umfeld 60 des Fortbewegungsmittels 80 mittels einer Kamera 40 des Fortbewegungsmittels 80 erfasst. Die Kamera 40 ist in einem Innenraum des Fortbewegungsmittels 80 in einem oberen Bereich einer Windschutzscheibe des Fortbewegungsmittels 80 angeordnet und derart ausgerichtet, dass die Kamera 40 ein dem Fortbewegungsmittel 80
vorausliegendes Umfeld 60 erfassen kann. Das zweite Signal der Kamera 40 wird von einer Bildverarbeitungseinheit des Fortbewegungsmittels 80
empfangen, welche informationstechnisch mit der Kamera 40 verbunden ist. Das erste Signal des Ultraschallsensors 30 und das zweite Signal der Kamera 40 werden im Wesentlichen zu einem identischen Zeitpunkt erfasst. Im Schritt 300 wird mittels eines durch die Auswerteeinheit 10 ausgeführten
Computerprogramms eine Straßennässeinformation auf Basis des ersten Signals ermittelt. Zu diesem Zweck vergleicht die Auswerteeinheit 10 einen Rauschpegel 70 des ersten Signals mit einem vordefinierten Schwellenwert 75 für einen Rauschpegel 70. Ein Überschreiten des vordefinierten Schwellenwertes 75 durch den Rauschpegel 70 lässt auf eine vorhandene Straßennässe im Umfeld 60 des Fortbewegungsmittels 80 schließen. Da in diesem Fall auf Basis des
vordefinierten Schwellenwertes 75 eine vorhandene Straßennässe erkannt wird, sendet die Auswerteeinheit 10 ein entsprechendes Signal, welches die aktuelle Straßennässeinformation umfasst, mittels eines Fahrzeugbusses eines
Bordnetzes des Fortbewegungsmittels 80 an die Bildverarbeitungseinheit. Die Bildverarbeitungseinheit wählt im Schritt 400 des erfindungsgemäßen Verfahrens einen vordefinierten Parametersatz aus einer Mehrzahl vordefinierter
Parametersätze in Abhängigkeit der empfangenen Straßennässeinformation aus. Der in diesem Fall durch die Bildverarbeitungseinheit ausgewählte
Parametersatz repräsentiert eine Konfiguration eines auf einem neuronalen Netz basierenden Klassifikators, welcher zu einem früheren Zeitpunkt (z.B. in einer Entwicklungsphase des Fortbewegungsmittels 80) unter ähnlichen
Straßennässebedingungen trainiert wurde. Anschließend wird im Schritt 500 mittels der Bildverarbeitungseinheit eine Umfelderkennung auf Basis des zweiten Signals in Verbindung mit dem vordefinierten Parametersatz durchgeführt. Mittels der Umfelderkennung ermittelte Informationen über Objekte im Umfeld 60 des Fortbewegungsmittels 80 werden daraufhin an ein System zur autonomen Steuerung des Fortbewegungsmittels 80 mittels des Bordnetzes übertragen und von diesem im Zuge der autonomen Steuerung des Fortbewegungsmittels 80 verwendet.
Figur 2 zeigt ein Blockschaltbild einer erfindungsgemäßen Vorrichtung in
Verbindung mit einem Fortbewegungsmittel 80. Die Vorrichtung umfasst eine Auswerteeinheit 10, die hier ein Mikrocontroller ist und über einen Dateneingang 12 verfügt. Mittels des Dateneingangs 12 ist die Auswerteeinheit 10 mit einem in Fahrtrichtung des Fortbewegungsmittels 80 ausgerichteten ersten
Ultraschallsensor 30 und einem entgegen der Fahrtrichtung ausgerichteten zweiten Ultraschallsensor 35 informationstechnisch über ein Bordnetz des Fortbewegungsmittels 80 verbunden. Ebenfalls über den Dateneingang 12 ist die Auswerteeinheit 10 mit einer in Fahrtrichtung des Fortbewegungsmittels 80 ausgerichteten Kamera 40 informationstechnisch über das Bordnetz des
Fortbewegungsmittels 80 verbunden. Des Weiteren ist die Auswerteeinheit 10 informationstechnisch mit einer externen Speichereinheit 20 verbunden, welche eingerichtet ist, durch die Auswerteeinheit 10 empfangene Informationen für eine nachgelagerte Verarbeitung durch die Auswerteeinheit 10 zu speichern. Mittels des ersten Ultraschallsensors 30, des zweiten Ultraschallsensors 35 und der Kamera 40 ist die Auswerteeinheit 10 in der Lage, ein Umfeld 60 des
Fortbewegungsmittels 80 zu im Wesentlichen identischen Zeitpunkten zu erfassen. In diesem Beispiel werden sämtliche Schritte des erfindungsgemäßen Verfahrens in der Auswerteeinheit 10 selbst ausgeführt, d.h., dass die
Auswerteeinheit 10 nicht nur eingerichtet ist, auf Basis erster Signale des ersten Ultraschallsensors 30 und des zweiten Ultraschallsensors 35 eine
Straßennässeinformation zu ermitteln, sondern darüber hinaus eingerichtet ist, einen mit der Straßennässeinformation korrespondierenden, vordefinierten Parametersatz auszuwählen und mittels des vordefinierten Parametersatzes auf Basis eines zweiten Signals der Kamera 40 eine Umfelderkennung
durchzuführen.
Figur 3 zeigt ein Diagramm eines geschwindigkeitsabhängigen Rauschpegels 70 eines ersten Ultraschallsensors 30. In einer ersten Phase P1 des Diagramms fährt ein Fortbewegungsmittel 80, welches den ersten Ultraschallsensor 30 im Sinne des erfindungsgemäßen Verfahrens einsetzt, mit einer Geschwindigkeit v, welche mit einem vordefinierten Schwellenwert 75 der ersten Phase P1 korrespondiert. Mit anderen Worten, wird aufgrund einer zunächst relativ geringen Geschwindigkeit v des Fortbewegungsmittels 80 in der ersten Phase P1 derjenige vordefinierte Schwellenwert 75 aus einer Mehrzahl vordefinierter Schwellenwerte 75 für einen Abgleich mit dem Rauschpegel 70 des ersten Signals verwendet, welcher zuvor für diesen Geschwindigkeitsbereich festgelegt wurde. Da sich der Rauschpegel 70 in der ersten Phase P1 vollständig oberhalb des vordefinierten Schwellenwertes 75 der ersten Phase P1 befindet, wird durch eine erfindungsgemäße Auswerteeinheit 10 eine vorhandene Straßennässe festgestellt. Am Verlauf der Geschwindigkeit v lässt sich erkennen, dass die Geschwindigkeit v des Fortbewegungsmittels 80 hier im Laufe der Zeit weiter zunimmt. Beim Erreichen eines Geschwindigkeitswertes v1 wird mittels der Auswerteeinheit 10, aufgrund der nun vorliegenden höheren Geschwindigkeit v, ein vom vordefinierten Schwellenwert 75 der ersten Phase P1 abweichender vordefinierter Schwellenwert 75 für eine zweite Phase P2 ausgewählt. Dadurch findet eine Anpassung des vordefinierten Schwellenwertes 75 der zweiten Phase P2 an den durch die höhere Geschwindigkeit v erzeugten Rauschpegel 75 statt. Wie bereits in der ersten Phase P1 , wird hier zunächst wiederum eine
vorhandene Straßennässe erkannt, da sich der Rauschpegel 70 zu Beginn der zweiten Phase P2 oberhalb des vordefinierten Schwellenwertes 75 der zweiten Phase P2 befindet. Zu einem Zeitpunkt t1 in der zweiten Phase P2 fällt die Kurve des Rauschpegels 70 soweit ab, dass diese den vordefinierten Schwellenwert 75 der zweiten Phase P2 unterschreitet. Im Ansprechen darauf wird durch die Auswerteeinheit 10 eine trockene Fahrbahnoberfläche festgestellt.

Claims

Ansprüche
1. Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung
eines Fortbewegungsmittels (80) mittels einer Straßennässeinformation eines ersten Ultraschallsensors (30) umfassend die Schritte:
• Erfassen (100) eines ersten Signals repräsentierend ein Umfeld (60) des Fortbewegungsmittels (80) mittels des ersten Ultraschallsensors (30) des Fortbewegungsmittels (80),
• Erfassen (200) eines zweiten Signals repräsentierend das Umfeld (60) des Fortbewegungsmittels (80) mittels einer Kamera (40) des
Fortbewegungsmittels (80),
• Ermitteln (300) der Straßennässeinformation auf Basis des ersten
Signals,
• Auswählen (400) eines vordefinierten Parametersatzes aus einer
Mehrzahl vordefinierter Parametersätze in Abhängigkeit der
Straßennässeinformation, und
• Durchführen (500) einer Umfelderkennung auf Basis des zweiten
Signals in Verbindung mit dem vordefinierten Parametersatz.
2. Verfahren nach Anspruch 1 , wobei das erste Signal und das zweite Signal zu einem im Wesentlichen identischen Zeitpunkt erfasst werden.
3. Verfahren nach einem der vorstehenden Ansprüche, wobei die
Straßennässeinformation durch Abgleichen eines Rauschpegels (70) des ersten Signals mit einem vordefinierten Schwellenwert (75) für einen Rauschpegel (70) und insbesondere durch Abgleichen des Rauschpegels (70) mit einem geschwindigkeitsabhängig vordefinierten Schwellenwert (75) ermittelt wird.
4. Verfahren nach einem der vorstehenden Ansprüche, wobei das Ermitteln (300) der Straßennässeinformation zusätzlich in Abhängigkeit
• einer Geschwindigkeit, und/oder
• einer Beschleunigung, und/oder
• einer Motordrehzahl
des Fortbewegungsmittels (80) erfolgt.
5. Verfahren nach einem der vorstehenden Ansprüche, wobei der
vordefinierte Parametersatz eine Konfiguration eines trainierten, selbstlernenden Systems repräsentiert.
6. Verfahren nach einem der vorstehenden Ansprüche, wobei das Auswahlen (400) des vordefinierten Parametersatzes alternativ oder zusätzlich in Abhängigkeit
• einer Änderung des Rauschpegels (70), und/oder
• einer aktuellen Außentemperatur und/oder
• einer im Umfeld (60) des Fortbewegungsmittels (80) vorhandenen
Wassermenge
erfolgt.
7. Verfahren nach einem der vorstehenden Ansprüche, wobei das Ermitteln (300) der Straßennässeinformation in Abhängigkeit einer Störungsfreiheit des ersten Signals erfolgt.
8. Verfahren nach einem der vorstehenden Ansprüche, wobei der erste
Ultraschallsensor (30) derart am Fortbewegungsmittel (80) angeordnet ist, dass ein Erfassungsbereich des ersten Ultraschallsensors (30) in
Fahrtrichtung oder entgegen der Fahrtrichtung des Fortbewegungsmittels (80) liegt.
9. Verfahren nach einem der vorstehenden Ansprüche, wobei das Umfeld (60) zusätzlich auf Basis eines zweiten Ultraschallsensors (35) erfasst wird, weicher derart am Fortbewegungsmittel (80) angeordnet ist, dass ein Erfassungsbereich des zweiten Ultraschallsensors (35) in Fahrtrichtung oder entgegen der Fahrtrichtung des Fortbewegungsmittels (80) liegt.
10. Verfahren nach einem der vorstehenden Ansprüche, wobei die aus dem ersten Signal ermittelte Straßennässeinformation durch eine aus dem zweiten Signal ermittelte Straßennässeinformation plausibilisiert wird.
1 1. Vorrichtung zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels (80) mittels einer Straßennässeinformation eines ersten Ultraschallsensors (30) umfassend:
• eine Auswerteeinheit (10), und
• einen Dateneingang (12),
wobei die Auswerteeinheit (10) eingerichtet ist, • in Verbindung mit dem Dateneingang (12)
o ein mittels des ersten Ultraschallsensors (30) des
Fortbewegungsmittels (80) ermitteltes erstes Signal
repräsentierend ein Umfeld (60) des Fortbewegungsmittels (80) zu erfassen,
o ein mittels einer Kamera (40) des Fortbewegungsmittels (80) ermitteltes zweites Signal repräsentierend das Umfeld (60) des Fortbewegungsmittels (80) zu erfassen,
• eine Straßennässeinformation auf Basis des ersten Signals zu ermitteln,
• einen vordefinierten Parametersatz aus einer Mehrzahl vordefinierter Parametersätze in Abhängigkeit der Straßennässeinformation auszuwählen, und
• eine Umfelderkennung auf Basis des zweiten Signals in Verbindung mit dem vordefinierten Parametersatz durchzuführen.
EP19773013.8A 2018-10-31 2019-09-16 Verfahren zur unterstützung einer kamerabasierten umfelderkennung eines fortbewegungsmittels mittels einer strassennässeinformation eines ersten ultraschallsensors Pending EP3874402A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018218733.9A DE102018218733A1 (de) 2018-10-31 2018-10-31 Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Strassennässeinformation eines ersten Ultraschallsensors
PCT/EP2019/074653 WO2020088829A1 (de) 2018-10-31 2019-09-16 Verfahren zur unterstützung einer kamerabasierten umfelderkennung eines fortbewegungsmittels mittels einer strassennässeinformation eines ersten ultraschallsensors

Publications (1)

Publication Number Publication Date
EP3874402A1 true EP3874402A1 (de) 2021-09-08

Family

ID=67999619

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19773013.8A Pending EP3874402A1 (de) 2018-10-31 2019-09-16 Verfahren zur unterstützung einer kamerabasierten umfelderkennung eines fortbewegungsmittels mittels einer strassennässeinformation eines ersten ultraschallsensors

Country Status (7)

Country Link
US (1) US11580752B2 (de)
EP (1) EP3874402A1 (de)
JP (1) JP7069425B2 (de)
KR (1) KR20210083303A (de)
CN (1) CN112997189A (de)
DE (1) DE102018218733A1 (de)
WO (1) WO2020088829A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022202036A1 (de) 2022-02-28 2023-08-31 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bereitstellen eines Klassifikationsergebnisses zur Objektidentifikation mithilfe ultraschallbasierter Sensorsysteme in mobilen Einrichtungen

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2945230B2 (ja) 1993-02-25 1999-09-06 三菱電機株式会社 路面状態検知装置
JP2000304860A (ja) * 1999-04-23 2000-11-02 Matsushita Electric Works Ltd 車載用超音波検知器
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
US9873442B2 (en) * 2002-06-04 2018-01-23 General Electric Company Aerial camera system and method for identifying route-related hazards
JP4183542B2 (ja) * 2003-03-28 2008-11-19 名古屋電機工業株式会社 車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラム
DE102004020282A1 (de) * 2003-04-24 2006-07-20 Roman Koller Verlustmessung mit Sensor
JP4296940B2 (ja) * 2004-01-13 2009-07-15 トヨタ自動車株式会社 車両運転支援装置および車両運転支援方法
JP3934119B2 (ja) 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置
DE102005023696A1 (de) 2005-05-23 2006-11-30 Robert Bosch Gmbh Überwachungseinrichtung für ein Fahrzeug
US20140172727A1 (en) * 2005-12-23 2014-06-19 Raj V. Abhyanker Short-term automobile rentals in a geo-spatial environment
JP2007322231A (ja) 2006-05-31 2007-12-13 Fujifilm Corp 路面状況検出装置
DE102006037591A1 (de) * 2006-08-11 2008-02-14 Robert Bosch Gmbh Vorrichtung zur Erfassung eines bewegten Objektes
CN101016053A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防追尾碰撞预警方法和系统
JP4952444B2 (ja) * 2007-08-29 2012-06-13 横浜ゴム株式会社 車両走行路面状態推定システム
JP5034809B2 (ja) * 2007-09-18 2012-09-26 マツダ株式会社 車両用路面状態推定装置
DE102010044219A1 (de) * 2010-11-22 2012-05-24 Robert Bosch Gmbh Verfahren zur Erfassung der Umgebung eines Fahrzeugs
GB2489561B (en) 2011-03-15 2013-10-02 Land Rover Uk Ltd Vehicle under-body mounted sensor and control system
WO2012171739A2 (de) * 2011-06-17 2012-12-20 Robert Bosch Gmbh Verfahren und steuergerät zur erkennung einer wetterbedingung in einem umfeld eines fahrzeugs
DE102011056051A1 (de) * 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
DE102012221518A1 (de) * 2012-11-26 2014-05-28 Robert Bosch Gmbh Verfahren zur Ermittlung der Straßenglätte in einem Fahrzeug
JPWO2015045501A1 (ja) * 2013-09-27 2017-03-09 日立オートモティブシステムズ株式会社 外界認識装置
DE102013226631A1 (de) * 2013-12-19 2015-06-25 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Ermittlung von lokalen Wetterverhältnissen und eines lokalen Fahrbahnzustands
US20150202770A1 (en) * 2014-01-17 2015-07-23 Anthony Patron Sidewalk messaging of an autonomous robot
US9335178B2 (en) * 2014-01-28 2016-05-10 GM Global Technology Operations LLC Method for using street level images to enhance automated driving mode for vehicle
US9550418B1 (en) * 2014-06-03 2017-01-24 Twin Harbor Labs, LLC Travel safety control
KR101618551B1 (ko) * 2014-07-02 2016-05-09 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
DE102014213536A1 (de) * 2014-07-11 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Zusammenfügen von Teilbildern zu einem Abbild einer Umgebung eines Fortbewegungsmittels
US9428183B2 (en) * 2014-07-31 2016-08-30 Toyota Motor Engineering & Manufacturing North America, Inc. Self-explaining autonomous vehicle
DE102015202782A1 (de) * 2015-02-17 2016-08-18 Robert Bosch Gmbh Verfahren zum Betreiben einer Sensorvorrichtung und Sensorvorrichtung
DE102015106408A1 (de) * 2015-04-27 2016-10-27 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Sensoranordnung zum Erkennen eines Zustands einer Fahrbahn mit einem Ultraschallsensor, Fahrerassistenzsystem, Kraftfahrzeug sowie dazugehöriges Verfahren
DE102015106401A1 (de) * 2015-04-27 2016-10-27 Valeo Schalter Und Sensoren Gmbh Sensoranordnung zum Erkennen eines Zustands einer Fahrbahn mit zumindest zwei beabstandeten Ultraschallsensoren, Fahrerassistenzsystem, Kraftfahrzeug sowie dazuhöriges Verfahren
DE102015208429A1 (de) * 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnreflexionen
US20160357187A1 (en) 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
JP6468162B2 (ja) * 2015-10-19 2019-02-13 株式会社デンソー 障害物報知装置
DE102015015022A1 (de) 2015-11-20 2016-05-25 Daimler Ag Vorrichtung und Verfahren zur Ermittlung von Nässe auf einer Fahrbahn
US9928427B2 (en) * 2015-12-03 2018-03-27 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire rearward splash
DE102016103251A1 (de) * 2016-02-24 2017-08-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben von mindestens einem Sensor zur Umfelderfassung eines Fahrzeugs
DE102016009022A1 (de) 2016-07-23 2017-02-02 Daimler Ag Verfahren zur Erkennung von Nässe auf einer Fahrbahn
DE102016218238B3 (de) 2016-09-22 2017-07-06 Robert Bosch Gmbh Verfahren und Recheneinheit zur Erkennung einer nassen oder feuchten Fahrbahn und zur Objektdetektion
JP6859073B2 (ja) 2016-11-01 2021-04-14 株式会社デンソー 異常検出装置
DE102016122987A1 (de) * 2016-11-29 2018-05-30 Valeo Schalter Und Sensoren Gmbh Verfahren zum vorrausschauenden Bestimmen einer Aquaplaninggefahr für ein Kraftfahrzeug, Fahrerassistenzsystem, Kraftfahrzeug sowie Aquaplaning-Bestimmungssystem
CN106600987A (zh) * 2016-12-28 2017-04-26 北京博研智通科技有限公司 一种具有多维检测功能的路口交通信号控制方法及系统
DE102017206244A1 (de) * 2017-04-11 2018-10-11 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur ermittlung eines fahrbahnzustands

Also Published As

Publication number Publication date
CN112997189A (zh) 2021-06-18
WO2020088829A1 (de) 2020-05-07
JP7069425B2 (ja) 2022-05-17
JP2022509379A (ja) 2022-01-20
US11580752B2 (en) 2023-02-14
US20210124957A1 (en) 2021-04-29
DE102018218733A1 (de) 2020-04-30
KR20210083303A (ko) 2021-07-06

Similar Documents

Publication Publication Date Title
EP2651696B1 (de) Verfahren zur erkennung einer nassen strasse
WO2019174682A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
EP2581892B1 (de) Abstandsmesssystem sowie Verfahren zur Abstandsmessung insbesondere eines Fahrzeugs zu seiner Umgebung
DE102013112916A1 (de) Fahrzeugfahrtunterstützungssteuerungsvorrichtung
DE112017003974B4 (de) Geschwindigkeitsregelungsvorrichtung
DE102012101453A1 (de) Fahrzeugfahrtunterstützungsvorrichtung
DE102020212799A1 (de) Durchführen von objekt- und aktivitätserkennung auf der grundlage von daten von einer kamera und einem radarsensor
DE102012111846A1 (de) Kollisionsschutzverfahren und Kollisionsschutzsystem
EP3622709A1 (de) Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
DE102015203845A1 (de) System und Verfahren zum Erkennen eines vorausfahrenden Fahrzeugs unter Verwendung eines Sensors
DE102014009059A1 (de) Seiten-Rückwärts-Alarmsystem für Fahrzeuge und Alarmsteuerverfahren für dieses
WO2018059817A1 (de) Verfahren zum erkennen eines objekts in einer umgebung eines kraftfahrzeugs unter berücksichtigung einer streuung von abstandswerten eines ultraschallsensors, steuergerät, fahrerassistenzsystem sowie kraftfahrzeug
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102015009849A1 (de) Radarsystem vom Typ für ein Fahrzeug und Verfahren zum Entfernen eines nicht interessierenden Ziels
WO2018202552A1 (de) Verfahren und vorrichtung zum klassifizieren von objekten im umfeld eines kraftfahrzeuges
DE102013202915A1 (de) Verfahren und Vorrichtung zum Vermessen einer Parklücke für ein Einparkassistenzsystem eines Kraftfahrzeugs
WO2015090691A1 (de) Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
DE102012024959A1 (de) Verfahren zum Betreiben eines Fahrzeugs und Fahrzeug
DE102021213900A1 (de) Vorrichtung und verfahren zur erfassung einer blockierung eines radarsensors und radarvorrichtung
DE102013022050A1 (de) Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP3874402A1 (de) Verfahren zur unterstützung einer kamerabasierten umfelderkennung eines fortbewegungsmittels mittels einer strassennässeinformation eines ersten ultraschallsensors
WO2020182812A1 (de) Verfahren zum ermitteln eines nässebedingten unfallrisikos für ein fortbewegungsmittel
DE102017122578A1 (de) Verfahren zur Unterdrückung von Falschdetektionen, Radarsystem und Fahrerassistenzsystem
DE102017118809B4 (de) Verfahren zum Betreiben einer Sensorvorrichtung eines Kraftfahrzeugs, Sensorvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017115457A1 (de) Erkennung einer Fehlstellung eines Abstandssensors basierend auf einem Verhältnis von Detektionsmerkmalen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210531

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230428

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230509