EP3874402A1 - Method for supporting camera-based environment recognition by a transportation means, using road-moisture information from a first ultrasonic sensor - Google Patents

Method for supporting camera-based environment recognition by a transportation means, using road-moisture information from a first ultrasonic sensor

Info

Publication number
EP3874402A1
EP3874402A1 EP19773013.8A EP19773013A EP3874402A1 EP 3874402 A1 EP3874402 A1 EP 3874402A1 EP 19773013 A EP19773013 A EP 19773013A EP 3874402 A1 EP3874402 A1 EP 3874402A1
Authority
EP
European Patent Office
Prior art keywords
transportation
signal
ultrasonic sensor
road
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19773013.8A
Other languages
German (de)
French (fr)
Inventor
Paul Ruhnau
Simon Weissenmayer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP3874402A1 publication Critical patent/EP3874402A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0855—Ultrasonic rain sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1306—Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing

Definitions

  • the present invention relates to a method for supporting a camera-based environment detection of a means of transportation by means of road wetness information from a first ultrasonic sensor.
  • Means of transportation are known from the prior art which carry out a camera-based environment detection in order to obtain information about objects in the environment of the means of transportation. This information is received and used by driver assistance systems and / or systems for autonomous control of the means of transport, for example.
  • Such an environment detection is based on algorithms known from the prior art for image analysis and for the classification of
  • Objects which are usually use one or more classifiers for specific objects.
  • Means of transportation known to detect an existing precipitation. These are usually arranged in an upper area of a windshield of the means of transportation and are arranged, one on the
  • Windshield to detect existing precipitation can be used to select suitable classifiers of an environment detection.
  • ultrasound sensors are known from the prior art, which are often used in connection with means of transportation for parking assistance systems or Similar driver assistance systems are used.
  • ultrasonic sensors are usually arranged on the means of transportation in such a way that their direction of radiation and detection is essentially horizontal to the means of transportation, by distances of objects in the vicinity of the
  • Proposed means of transportation by means of road wetness information from a first ultrasonic sensor can be, for example, a road vehicle (e.g. motorcycle, car, van, truck) or a
  • the device can
  • the evaluation unit which preferably has a data input.
  • the evaluation unit can be configured, for example, as an ASIC, FPGA, processor, digital signal processor, microcontroller, or the like, and can be connected to an internal and / or external storage unit in terms of information technology.
  • Evaluation unit can also be set up to carry out the method according to the invention in connection with a computer program executed by the evaluation unit.
  • a first signal representing an environment of the means of transportation is generated by means of the first
  • the ultrasound sensor can be an ultrasound sensor of the means of transportation that can also be used for other purposes. Alternatively or additionally, for that
  • a dedicated ultrasonic sensor can also be used.
  • the ultrasound sensor of the means of transportation can be, for example, an ultrasound sensor of a parking assistance system or another
  • the ultrasonic sensor can, for example, in a front apron or in the area of a rear of the means of transportation or also at other positions of the Means of transportation may be arranged so that both the tire noise, but also the road ahead or the back road and its surroundings can be detected.
  • the ultrasonic sensor can be used directly or indirectly (ie, for example, via another control device of the
  • Means of transportation to be connected in terms of information technology to the data input of the evaluation unit according to the invention.
  • the connection can be established, for example, by means of a bus system (e.g. CAN, LIN, MOST, Ethernet, etc.) of an on-board network of the means of transportation.
  • the first signal of the first ultrasonic sensor received by the evaluation unit can first be stored in the memory unit connected to the evaluation unit for subsequent processing by the evaluation unit.
  • a second signal representing the surroundings of the means of transportation is recorded by means of a camera of the means of transportation.
  • the second signal can preferably be acquired at an essentially identical point in time as the first signal, so that it can be ensured that the two signals each contain environmental information corresponding to one another in time. Due to different sensor types and different signal processing and signal transmission chains, there may be a time offset between the two signals.
  • the offset between the two signals can be, for example, between a few milliseconds and a few hundred milliseconds, or even in the seconds range.
  • the camera can be, for example, a 2D or 3D camera with a standard image resolution, an HD or an ultra-HD image resolution or an infrared camera.
  • the camera can preferably be arranged and aligned on the means of transportation in such a way that it captures an environment in front of the means of transportation.
  • an arrangement and / or alignment of the camera is not limited to this example.
  • the camera can be used directly or indirectly in terms of information technology with the evaluation unit according to the invention via the vehicle electrical system
  • the camera can be connected in terms of information technology to an image processing unit of the means of transport, which is set up to receive image signals from the camera and to process them.
  • an image processing unit can be part of a Driver assistance system or a system for autonomous operation of the means of transportation.
  • the image processing unit in this preferred embodiment can be used for information technology purposes with the
  • Evaluation unit can transmit the road wetness information described in more detail below to the image processing unit.
  • the image processing unit can be a component of the evaluation unit itself (or vice versa), so that communication between these two components can take place directly and not via the vehicle electrical system.
  • This can be implemented, for example, in such a way that a logic to be executed by the evaluation unit according to the invention for implementing the method steps according to the invention is executed in the form of a computer program by means of the image processing unit.
  • the evaluation unit can compare a noise level of the first signal with a predefined threshold value for a noise level, which can be stored in the memory unit connected to the evaluation unit.
  • the predefined threshold value for a noise level is preferably selected such that when the predefined threshold value is exceeded by the noise level of a currently prevailing road wetness
  • the evaluation unit can also estimate a degree of wetness by exceeding the predefined level
  • Threshold value is taken into account by the noise level of the first signal.
  • Speed ranges of the means of transportation can correspond.
  • it can be advantageous to use the vehicle electrical system Information provided on a current means of transportation
  • the evaluation unit can select a corresponding, predefined threshold value from a plurality of predefined threshold values depending on a value of a current speed, since a higher speed generally with a higher speed
  • Noise level associated with the first signal In this way it can be prevented that, at a higher speed of the means of transportation, the evaluation unit erroneously detects road wetness, even though the road surface is actually in a dry state.
  • predefined parameter set selected from a plurality of predefined parameter sets depending on the road wetness information.
  • the plurality of predefined parameter sets can be different, for example
  • a classifier can preferably be part of a computer program which is executed by the image processing unit and / or the evaluation unit.
  • Image processing unit are implemented as separate components, the selection of the predefined parameter set by the
  • Image processing unit depending on the road wetness information and possibly further information (e.g. about a speed of the road wetness information).
  • Means of transportation can be made available by the evaluation unit.
  • a goal of using different predefined ones can be made available by the evaluation unit.
  • predefined parameter sets adapted to a current environment (ie wet or dry) for the environment detection.
  • a classifier trained for a dry environment in a wet environment for example due to whirled up water (spray), means of transportation in front can usually only ensure inadequate or unreliable results in the course of the environment detection.
  • a classifier trained for a wet environment can often not be optimal in a dry environment Deliver recognition results.
  • a predefined parameter set that is matched to the respective degree of measurement can additionally be selected depending on the degree of wetness.
  • the determination of the road wetness information can additionally depend on a
  • values received via the on-board electrical system of the means of transportation can be determined via a current acceleration and / or a current engine speed of the vehicle
  • Means of transportation are taken into account advantageously in a similar manner.
  • the predefined parameter set can be a configuration of a trained
  • the classifier described above can be implemented on the basis of a self-learning system, such as a neural network (e.g. with a deep learning structure).
  • a self-learning system such as a neural network (e.g. with a deep learning structure).
  • other types of self-learning systems can be used. In this way, training trips of the means of transportation can be carried out in different ways by means of such a self-learning system
  • the selection of the predefined parameter set can alternatively or additionally take place as a function of a change in the noise level and / or a current temperature and / or an amount of water present in the environment of the means of transportation.
  • a change in the noise level can, as described above, due to different amounts of water on one
  • a change in the noise level can also be caused by a change in a distance
  • vehicles in front can be caused by an additional analysis of the second signal, for example by a
  • Size change of immediately preceding vehicles is determined.
  • signals from other environment sensors of the means of transportation can also be used to evaluate a current situation. It can be particularly advantageous here to take into account distance information from vehicles in front of a LIDAR and / or a radar system of the means of transportation.
  • the predefined parameter sets generated and used for the abovementioned cases can have the effect that means of locomotion partially obscured by a spray cloud are recognized better and / or faster, even if only vague outlines of means of transportation in front can be recorded by the camera.
  • Roadside snow is present, in particular can be high if there is an outside temperature of 0 ° C or less and at the same time there is recognized road wetness. Based on this information, another suitable predefined parameter set selected and in the course of
  • Lane limitation can be reliably recognized even in the presence of snow.
  • the road wetness information can be determined as a function of the interference-free nature of the first signal.
  • Interference-free is to be understood here to mean the absence of a wide variety of interferences that make reliable detection of road wetness difficult or even impossible, such as developments on the roadside and / or other means of transportation in the immediate vicinity of the means of transportation.
  • Such interference can be determined, for example, on the basis of the second signal or on the basis of signals from other environmental sensors, such as LIDAR and / or radar sensors. In the event that there is a corresponding interference, the
  • Evaluation unit transmit a road wetness information to the image processing unit which shows a road wetness condition before the occurrence of the
  • This value can preferably continue to be used as road wetness information by the overall system until the interference or interference from the environment of the means of transportation
  • the first ultrasonic sensor can be arranged on the means of transportation in such a way that a detection area of the first ultrasonic sensor is in the direction of travel or counter to the direction of travel of the
  • Locomotion means are additionally detected on the basis of a second ultrasound sensor and in particular are detected by a second ultrasound sensor which is arranged on the means of locomotion in such a way that a detection area of the second ultrasound sensor lies in the direction of travel or against the direction of travel of the means of locomotion.
  • the first ultrasonic sensor in the direction of travel and the second ultrasonic sensor in the opposite direction to the direction of travel of the means of transportation be aligned. In this way, the road wetness information can be determined on the basis of both ultrasonic sensors, which means an additional one
  • Road wetness information can be determined alternately on the basis of the first or on the basis of the second ultrasonic sensor, in each case by evaluating the first signal of the ultrasonic sensor with respect to road wetness which has the lowest proportion of interference at a current point in time.
  • further ultrasonic sensors can be used for the method according to the invention.
  • third, fourth and more ultrasonic sensors can be used, which can be combined and used analogously to the configurations described above.
  • An arrangement of the first, second, third, fourth and possibly further ultrasonic sensors is explicitly not on the front and / or
  • the road wetness information determined from the first signal can be checked for plausibility by road wetness information determined from the second signal. This can be done on the basis of an analysis of reflections from light sources in the
  • Camera images take place, for example, by checking whether these light sources are above or apparently below a road level.
  • the road wetness information can also be checked for plausibility by further sensors and / or control devices of the means of transportation.
  • a rain sensor arranged on a windshield of the means of transportation comes into question, or further sensors of the
  • Information about objects in the environment of the means of transport determined by the environment detection can then, among other things, transmitted to a driver assistance system and / or a system for autonomous control of the means of transportation and used there.
  • the device comprises an evaluation unit and a data input.
  • the evaluation unit can be configured, for example, as an ASIC, FPGA, processor, digital signal processor, microcontroller, or the like, and can be connected to an internal and / or external storage unit in terms of information technology.
  • the evaluation unit can be set up to process the method according to the invention in conjunction with a method
  • Execute evaluation unit executed computer program. Furthermore, the evaluation unit is set up to record, in connection with the data input, a first signal determined by means of the first ultrasonic sensor of the means of transportation representing an environment of the means of transportation and a second signal determined by means of a camera of the means of transportation to capture the environment of the means of transportation.
  • the ultrasonic sensor can preferably be an already existing ultrasonic sensor of the means of transportation. Furthermore, the ultrasonic sensor can be arranged, for example, in a front apron or in the area of a rear of the means of transportation or also at further positions of the means of transportation, so that either the road ahead or the road ahead and its surroundings can be detected.
  • the camera can be, for example, a 2D or 3D camera with a standard image resolution, an HD or an ultra-HD image resolution or an infrared camera.
  • the camera can preferably be arranged and aligned on the means of transportation in such a way that the camera can capture an environment in front of the means of transportation.
  • Evaluation unit can directly and / or indirectly by means of an electrical system of the means of transportation with the ultrasonic sensor and the camera
  • the evaluation unit is set up to determine road wetness information on the basis of the first signal, to select a predefined parameter set from a plurality of predefined parameter sets as a function of the road wetness information, and to carry out an environment detection on the basis of the second signal in connection with the predefined parameter set.
  • Figure 1 is a flow diagram illustrating steps of a
  • Figure 2 is a block diagram of a device according to the invention in
  • Figure 3 is a diagram of a speed-dependent
  • Noise level of a first ultrasonic sensor is Noise level of a first ultrasonic sensor.
  • Figure 1 shows a flow diagram illustrating steps of a
  • an evaluation unit 10 which is a microcontroller, represents a first signal representing an environment 60 of the
  • the first ultrasonic sensor 30 is arranged in a front apron of the means of transportation 80 and aligned in the direction of travel of the means of transportation 80.
  • the evaluation unit 10 receives the first signal by means of a data input 12 of the evaluation unit 10 and stores environmental information represented by the first signal in an internal memory unit 20 of the microcontroller.
  • a second signal representing the surroundings 60 of the means of transportation 80 is recorded by means of a camera 40 of the means of transportation 80.
  • the camera 40 is arranged in an interior of the means of transportation 80 in an upper region of a windshield of the means of transportation 80 and is oriented such that the camera 40 is attached to the means of transportation 80
  • the second signal of the camera 40 is from an image processing unit of the means of transportation 80
  • step 300 the evaluation unit 10 executes one
  • Computer program determines road wetness information based on the first signal.
  • the evaluation unit 10 compares a noise level 70 of the first signal with a predefined threshold value 75 for a noise level 70. Exceeding the predefined threshold value 75 by the noise level 70 indicates that there is road wetness in the surroundings 60 of the means of transportation 80. Because in this case based on the
  • the evaluation unit 10 sends a corresponding signal, which includes the current road wetness information, by means of a vehicle bus
  • step 400 of the method according to the invention the image processing unit selects a predefined parameter set from a plurality of predefined ones
  • Parameter sets depending on the received road wetness information The one selected in this case by the image processing unit
  • Parameter set represents a configuration of a classifier based on a neural network, which at an earlier point in time (e.g. in a development phase of the means of transportation 80) among others
  • step 500 an environment recognition is carried out on the basis of the second signal in conjunction with the predefined parameter set by means of the image processing unit.
  • Information about objects in the surroundings 60 of the means of transportation 80 determined by means of the environment detection is then transmitted to a system for autonomously controlling the means of transportation 80 by means of the vehicle electrical system and is used by the latter in the course of the autonomous control of the means of transportation 80.
  • FIG. 2 shows a block diagram of a device according to the invention in FIG.
  • the device comprises an evaluation unit 10, which here is a microcontroller and has a data input 12.
  • the evaluation unit 10 is provided with a first one oriented in the direction of travel of the means of transportation 80
  • Ultrasound sensor 30 and a second ultrasound sensor 35 oriented counter to the direction of travel are connected in terms of information technology via an electrical system of the means of transport 80. Also via the data input 12 is the evaluation unit 10 with a camera 40 oriented in the direction of travel of the means of transportation 80 in terms of information technology via the vehicle electrical system
  • the evaluation unit 10 is connected in terms of information technology to an external storage unit 20, which is set up to receive information received by the evaluation unit 10 for a to store downstream processing by the evaluation unit 10.
  • the evaluation unit 10 is able to detect an environment 60 of the
  • Evaluation unit 10 is not only configured on the basis of first signals from the first ultrasonic sensor 30 and the second ultrasonic sensor 35
  • Determining road wetness information is also set up to select a predefined parameter set corresponding to the road wetness information and by means of the predefined parameter set on the basis of a second signal from camera 40 an environment detection
  • FIG. 3 shows a diagram of a speed-dependent noise level 70 of a first ultrasound sensor 30.
  • a means of transport 80 which uses the first ultrasound sensor 30 in the sense of the method according to the invention travels at a speed v which corresponds to a predefined threshold value 75 corresponds to the first phase P1.
  • predefined threshold value 75 from a plurality of predefined threshold values 75 is used for a comparison with the noise level 70 of the first signal, which was previously defined for this speed range.
  • the noise level 70 in the first phase P1 is completely above the predefined threshold value 75 of the first phase P1, an existing road wetness is determined by an evaluation unit 10 according to the invention. From the course of the speed v it can be seen that the speed v of the means of transportation 80 here continues to increase over time.
  • a predefined threshold value 75 which differs from the predefined threshold value 75 of the first phase P1, is selected for a second phase P2 by means of the evaluation unit 10, on account of the now higher speed v.
  • the predefined threshold value 75 of the second phase P2 is adapted to the noise level 75 generated by the higher speed v.
  • the evaluation unit 10 determines a dry road surface.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

The invention relates to a method and to a device for supporting camera-based environment recognition by a transportation means (80), using road-moisture information from a first ultrasonic sensor (30). The method comprises the following steps: detecting a first signal representing an environment (60) of the transportation means (80), using the first ultrasonic sensor (30) of the transportation means (80); detecting a second signal representing the environment (60) of the transportation means (80), using a camera (40) of the transportation means (80); determining road-moisture information on the basis of the first signal; selecting a predefined set of parameters from a plurality of predefined sets of parameters depending on the road-moisture information; and carrying out environment recognition on the basis of the second signal in conjunction with the predefined set of parameters.

Description

Beschreibung  description
Titel title
Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Straßennässeinformation eines ersten Ultraschallsensors  Method for supporting a camera-based environment detection of a means of transportation by means of road wetness information from a first ultrasonic sensor
Stand der Technik State of the art
Die vorliegende Erfindung betrifft ein Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Straßennässeinformation eines ersten Ultraschallsensors. The present invention relates to a method for supporting a camera-based environment detection of a means of transportation by means of road wetness information from a first ultrasonic sensor.
Aus dem Stand der Technik sind Fortbewegungsmittel bekannt, welche eine kamerabasierte Umfelderkennung durchführen, um Informationen über Objekte im Umfeld der Fortbewegungsmittel zu erhalten. Diese Informationen werden beispielsweise von Fahrerassistenzsystemen und/oder Systemen für eine autonome Steuerung der Fortbewegungsmittel empfangen und von diesen verwendet. Grundlage einer solchen Umfelderkennung sind aus dem Stand der Technik bekannte Algorithmen zu Bildanalyse und zur Klassifikation von Means of transportation are known from the prior art which carry out a camera-based environment detection in order to obtain information about objects in the environment of the means of transportation. This information is received and used by driver assistance systems and / or systems for autonomous control of the means of transport, for example. Such an environment detection is based on algorithms known from the prior art for image analysis and for the classification of
Objekten, welche i.d.R. einen oder mehrere Klassifikatoren für bestimmte Objekte einsetzen. Objects, which are usually use one or more classifiers for specific objects.
Des Weiteren sind aus dem Stand der Technik Regensensoren für Furthermore, rain sensors for the
Fortbewegungsmittel zur Erkennung eines vorhandenen Niederschlages bekannt. Diese sind meist in einem oberen Bereich einer Windschutzscheibe der Fortbewegungsmittel angeordnet und sind eingerichtet, einen auf der Means of transportation known to detect an existing precipitation. These are usually arranged in an upper area of a windshield of the means of transportation and are arranged, one on the
Windschutzscheibe vorhandenen Niederschlag zu erkennen. Eine durch einen solchen Regensensor ermittelte Nässeinformation kann zur Auswahl geeigneter Klassifikatoren einer Umfelderkennung verwendet werden. Windshield to detect existing precipitation. Wetness information determined by such a rain sensor can be used to select suitable classifiers of an environment detection.
Ferner sind aus dem Stand der Technik Ultraschallsensoren bekannt, die im Zusammenhang mit Fortbewegungsmitteln häufig für Parkassistenzsysteme oder ähnliche Fahrerassistenzsysteme eingesetzt werden. Zu diesem Zweck sind solche Ultraschallsensoren meist derart an Fortbewegungsmitteln angeordnet, dass ihre Abstrahl- und Erfassungsrichtung im Wesentlichen horizontal zu den Fortbewegungsmitteln liegt, um Abstände von Objekten im Umfeld des Furthermore, ultrasound sensors are known from the prior art, which are often used in connection with means of transportation for parking assistance systems or Similar driver assistance systems are used. For this purpose, such ultrasonic sensors are usually arranged on the means of transportation in such a way that their direction of radiation and detection is essentially horizontal to the means of transportation, by distances of objects in the vicinity of the
Fortbewegungsmittels zum Fortbewegungsmittel auf Basis von Signallaufzeiten der Ultraschallsignale ermitteln zu können. To be able to determine the means of transportation for the means of transportation on the basis of signal propagation times of the ultrasonic signals.
Offenbarung der Erfindung Disclosure of the invention
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines According to a first aspect of the present invention, a method for supporting camera-based environment recognition of a
Fortbewegungsmittels mittels einer Straßennässeinformation eines ersten Ultraschallsensors vorgeschlagen. Das Fortbewegungsmittel kann beispielsweise ein Straßenfahrzeug (z.B. Motorrad, PKW, Transporter, LKW) oder ein Proposed means of transportation by means of road wetness information from a first ultrasonic sensor. The means of transportation can be, for example, a road vehicle (e.g. motorcycle, car, van, truck) or a
Schienenfahrzeug oder ein Luftfahrzeug/Flugzeug oder ein Wasserfahrzeug sein. Des Weiteren können die nachfolgend beschriebenen Verfahrensschritte vollständig oder teilweise durch eine erfindungsgemäße Vorrichtung des Rail vehicle or an aircraft / aircraft or a watercraft. Furthermore, the method steps described below can be carried out in full or in part by an inventive device
Fortbewegungsmittels ausgeführt werden. Die Vorrichtung kann eine Means of transportation are carried out. The device can
Auswerteeinheit umfassen, welche bevorzugt über einen Dateneingang verfügt. Die Auswerteeinheit kann beispielsweise als ASIC, FPGA, Prozessor, digitaler Signalprozessor, Mikrocontroller, o.ä., ausgestaltet und informationstechnisch an eine interne und/oder externe Speichereinheit angebunden sein. Die Include evaluation unit, which preferably has a data input. The evaluation unit can be configured, for example, as an ASIC, FPGA, processor, digital signal processor, microcontroller, or the like, and can be connected to an internal and / or external storage unit in terms of information technology. The
Auswerteeinheit kann darüber hinaus eingerichtet sein, das erfindungsgemäße Verfahren in Verbindung mit einem durch die Auswerteeinheit ausgeführten Computerprogramm durchzuführen. Evaluation unit can also be set up to carry out the method according to the invention in connection with a computer program executed by the evaluation unit.
In einem ersten Schritt des erfindungsgemäßen Verfahrens wird ein erstes Signal repräsentierend ein Umfeld des Fortbewegungsmittels mittels des ersten In a first step of the method according to the invention, a first signal representing an environment of the means of transportation is generated by means of the first
Ultraschallsensors des Fortbewegungsmittels erfasst. Der Ultraschallsensor kann ein auch für andere Zwecke verwendeter/verwendbarer Ultraschallsensor des Fortbewegungsmittels sein. Alternativ oder zusätzlich kann für das Ultrasound sensor of the means of transportation detected. The ultrasound sensor can be an ultrasound sensor of the means of transportation that can also be used for other purposes. Alternatively or additionally, for that
erfindungsgemäße Verfahren auch ein dedizierter Ultraschallsensor eingesetzt werden. Der Ultraschallsensor des Fortbewegungsmittels kann beispielsweise ein Ultraschallsensor eines Parkassistenzsystems oder eines anderen inventive methods, a dedicated ultrasonic sensor can also be used. The ultrasound sensor of the means of transportation can be, for example, an ultrasound sensor of a parking assistance system or another
Fahrerassistenzsystems des Fortbewegungsmittels sein. Der Ultraschallsensor kann beispielsweise in einer Frontschürze oder im Bereich eines Hecks des Fortbewegungsmittels oder auch an weiteren Positionen des Fortbewegungsmittels angeordnet sein, so dass sowohl die Reifengeräusche, aber auch die vorausliegende oder die zurückliegende Fahrbahn und deren Umfeld erfasst werden können. Darüber hinaus kann der Ultraschallsensor direkt oder indirekt (d.h. beispielsweise über ein anderes Steuergerät des Driver assistance system of the means of transportation. The ultrasonic sensor can, for example, in a front apron or in the area of a rear of the means of transportation or also at other positions of the Means of transportation may be arranged so that both the tire noise, but also the road ahead or the back road and its surroundings can be detected. In addition, the ultrasonic sensor can be used directly or indirectly (ie, for example, via another control device of the
Fortbewegungsmittels) informationstechnisch mit dem Dateneingang der erfindungsgemäßen Auswerteeinheit verbunden sein. Die Verbindung kann beispielsweise mittels eines Bussystems (z.B. CAN, LIN, MOST, Ethernet, usw.) eines Bordnetzes des Fortbewegungsmittels hergestellt werden. Das von der Auswerteeinheit empfangene erste Signal des ersten Ultraschallsensors kann für eine nachfolgende Bearbeitung durch die Auswerteeinheit zunächst in der an die Auswerteeinheit angebundenen Speichereinheit abgelegt werden. Means of transportation) to be connected in terms of information technology to the data input of the evaluation unit according to the invention. The connection can be established, for example, by means of a bus system (e.g. CAN, LIN, MOST, Ethernet, etc.) of an on-board network of the means of transportation. The first signal of the first ultrasonic sensor received by the evaluation unit can first be stored in the memory unit connected to the evaluation unit for subsequent processing by the evaluation unit.
In einem zweiten Schritt des erfindungsgemäßen Verfahrens wird ein zweites Signal repräsentierend das Umfeld des Fortbewegungsmittels mittels einer Kamera des Fortbewegungsmittels erfasst. Das zweite Signal kann bevorzugt zu einem im Wesentlichen identischen Zeitpunkt wie das erste Signal erfasst werden, so dass sichergestellt werden kann, dass die beiden Signale jeweils zeitlich miteinander korrespondierende Umfeldinformationen enthalten. Aufgrund unterschiedlicher Sensortypen und unterschiedlicher Signalverarbeitungs- und Signalübertragungsketten kann es zu einem zeitlichen Versatz zwischen den beiden Signalen kommen. Ein bevorzugter, aber für das erfindungsgemäße Verfahren nicht zwangsläufig sicherzustellender Bereich eines zeitlichen In a second step of the method according to the invention, a second signal representing the surroundings of the means of transportation is recorded by means of a camera of the means of transportation. The second signal can preferably be acquired at an essentially identical point in time as the first signal, so that it can be ensured that the two signals each contain environmental information corresponding to one another in time. Due to different sensor types and different signal processing and signal transmission chains, there may be a time offset between the two signals. A preferred range of a temporal range, which is not inevitable for the method according to the invention
Versatzes zwischen den beiden Signalen kann zum Beispiel zwischen einigen Millisekunden und einigen hundert Millisekunden, oder auch im Sekundenbereich liegen. Die Kamera kann beispielsweise eine 2D- oder 3D-Kamera mit einer Standardbildauflösung, einer HD- oder einer Ultra-HD-Bildauflösung oder eine Infrarotkamera sein. Bevorzugt kann die Kamera derart am Fortbewegungsmittel angeordnet und ausgerichtet sein, dass sie ein dem Fortbewegungsmittel vorausliegendes Umfeld erfasst. Eine solche Anordnung und/oder Ausrichtung der Kamera ist jedoch nicht auf dieses Beispiel beschränkt. Analog zum ersten Ultraschallsensor kann die Kamera direkt oder indirekt informationstechnisch mit der erfindungsgemäßen Auswerteeinheit über das Bordnetz des The offset between the two signals can be, for example, between a few milliseconds and a few hundred milliseconds, or even in the seconds range. The camera can be, for example, a 2D or 3D camera with a standard image resolution, an HD or an ultra-HD image resolution or an infrared camera. The camera can preferably be arranged and aligned on the means of transportation in such a way that it captures an environment in front of the means of transportation. However, such an arrangement and / or alignment of the camera is not limited to this example. Analogous to the first ultrasonic sensor, the camera can be used directly or indirectly in terms of information technology with the evaluation unit according to the invention via the vehicle electrical system
Fortbewegungsmittels verbunden sein. In einer bevorzugten Ausführungsform der vorliegenden Erfindung kann die Kamera informationstechnisch mit einer Bildverarbeitungseinheit des Fortbewegungsmittels verbunden sein, welche eingerichtet ist, Bildsignale der Kamera zu empfangen und diese zu verarbeiten. Eine solche Bildverarbeitungseinheit kann u.a. Bestandteil eines Fahrerassistenzsystems oder eines Systems für einen autonomen Fährbetrieb des Fortbewegungsmittels sein. Des Weiteren kann die Bildverarbeitungseinheit in dieser bevorzugten Ausführungsform informationstechnisch mit der Means of transportation connected. In a preferred embodiment of the present invention, the camera can be connected in terms of information technology to an image processing unit of the means of transport, which is set up to receive image signals from the camera and to process them. Such an image processing unit can be part of a Driver assistance system or a system for autonomous operation of the means of transportation. Furthermore, the image processing unit in this preferred embodiment can be used for information technology purposes with the
erfindungsgemäßen Auswerteeinheit verbunden sein, so dass die evaluation unit according to the invention can be connected, so that the
Auswerteeinheit die im Folgenden näher beschriebene Straßennässeinformation an die Bildverarbeitungseinheit übertragen kann. Alternativ oder zusätzlich zu dieser Ausführungsform kann die Bildverarbeitungseinheit ein Bestandteil der Auswerteeinheit selbst sein (oder auch umgekehrt), so dass eine Kommunikation zwischen diesen beiden Komponenten direkt und nicht über das Bordnetz des Fortbewegungsmittels ablaufen kann. Dies kann beispielsweise derart realisiert werden, dass eine durch die erfindungsgemäße Auswerteeinheit auszuführende Logik zur Umsetzung der erfindungsgemäßen Verfahrensschritte in Form eines Computerprogramms mittels der Bildverarbeitungseinheit ausgeführt wird. Evaluation unit can transmit the road wetness information described in more detail below to the image processing unit. Alternatively or in addition to this embodiment, the image processing unit can be a component of the evaluation unit itself (or vice versa), so that communication between these two components can take place directly and not via the vehicle electrical system. This can be implemented, for example, in such a way that a logic to be executed by the evaluation unit according to the invention for implementing the method steps according to the invention is executed in the form of a computer program by means of the image processing unit.
In einem dritten Schritt des erfindungsgemäßen Verfahrens wird die In a third step of the method according to the invention, the
Straßennässeinformation auf Basis des ersten Signals ermittelt. Zu diesem Zweck kann die Auswerteeinheit einen Rauschpegel des ersten Signals mit einem vordefinierten Schwellenwert für einen Rauschpegel abgleichen, welcher in der an die Auswerteeinheit angebundenen Speichereinheit abgelegt sein kann. Der vordefinierte Schwellenwert für einen Rauschpegel wird bevorzugt derart gewählt, dass bei einer Überschreitung des vordefinierten Schwellenwertes durch den Rauschpegel von einer aktuell vorliegenden Straßennässe Road wetness information determined based on the first signal. For this purpose, the evaluation unit can compare a noise level of the first signal with a predefined threshold value for a noise level, which can be stored in the memory unit connected to the evaluation unit. The predefined threshold value for a noise level is preferably selected such that when the predefined threshold value is exceeded by the noise level of a currently prevailing road wetness
ausgegangen werden kann. Umgekehrt gilt, dass bei einer Unterschreitung des vordefinierten Schwellenwertes durch den Rauschpegel von einer trockenen Fahrbahnoberfläche ausgegangen werden kann. Ein Ergebnis des Ermittelns der Straßennässeinformation kann wiederum in der Speichereinheit abgelegt werden. Alternativ oder zusätzlich zu einer reinen Unterscheidung zwischen einer nassen oder einer trockenen Fahrbahnoberfläche kann die Auswerteeinheit im Falle einer Überschreitung des vordefinierten Schwellenwertes durch den Rauschpegel des ersten Signals auch eine Abschätzung eines Nässegrades erfolgen, indem eine Höhe der Überschreitung des vordefinierten can be assumed. Conversely, if the predefined threshold value is undershot by the noise level, it can be assumed that the road surface is dry. A result of the determination of the road wetness information can in turn be stored in the storage unit. As an alternative or in addition to a pure distinction between a wet or a dry road surface, if the predefined threshold value is exceeded by the noise level of the first signal, the evaluation unit can also estimate a degree of wetness by exceeding the predefined level
Schwellenwertes durch den Rauschpegel des ersten Signals berücksichtigt wird. Darüber hinaus ist es auch denkbar, eine Mehrzahl vordefinierter Schwellenwerte für einen Rauschpegel zu verwenden, wobei die jeweiligen vordefinierten Threshold value is taken into account by the noise level of the first signal. In addition, it is also conceivable to use a plurality of predefined threshold values for a noise level, the respective predefined ones
Schwellenwerte mit unterschiedlichen Geschwindigkeiten und/oder Threshold values with different speeds and / or
Geschwindigkeitsbereichen des Fortbewegungsmittels korrespondieren können. Mit anderen Worten kann es von Vorteil sein, eine über das Bordnetz des Fortbewegungsmittels bereitgestellte Information über eine aktuelle Speed ranges of the means of transportation can correspond. In other words, it can be advantageous to use the vehicle electrical system Information provided on a current means of transportation
Geschwindigkeit des Fortbewegungsmittels durch die Auswerteeinheit zu empfangen, so dass die Auswerteeinheit in Abhängigkeit eines Wertes einer aktuellen Geschwindigkeit einen jeweils korrespondierenden, vordefinierten Schwellenwert aus einer Mehrzahl vordefinierter Schwellenwerte auswählen kann, da eine höhere Geschwindigkeit in der Regel mit einem höheren To receive the speed of the means of transportation through the evaluation unit, so that the evaluation unit can select a corresponding, predefined threshold value from a plurality of predefined threshold values depending on a value of a current speed, since a higher speed generally with a higher speed
Rauschpegel im ersten Signal einhergeht. Auf diese Weise kann verhindert werden, dass bei einer höheren Geschwindigkeit des Fortbewegungsmittels durch die Auswerteeinheit fälschlicherweise eine Straßennässe erkannt wird, obwohl sich die Fahrbahnoberfläche tatsächlich in einem trockenen Zustand befindet. Noise level associated with the first signal. In this way it can be prevented that, at a higher speed of the means of transportation, the evaluation unit erroneously detects road wetness, even though the road surface is actually in a dry state.
In einem vierten Schritt des erfindungsgemäßen Verfahrens wird ein In a fourth step of the method according to the invention, a
vordefinierter Parametersatz aus einer Mehrzahl vordefinierter Parametersätze in Abhängigkeit der Straßennässeinformation ausgewählt. Die Mehrzahl vordefinierter Parametersätze kann beispielsweise unterschiedliche predefined parameter set selected from a plurality of predefined parameter sets depending on the road wetness information. The plurality of predefined parameter sets can be different, for example
Konfigurationen für einen Klassifikator repräsentieren, welcher eingerichtet ist, auf Basis des zweiten Signals ein Umfeld des Fortbewegungsmittels zu analysieren und Objekte in diesem Umfeld zu erkennen. Bevorzugt kann ein solcher Klassifikator Teil eines Computerprogramms sein, welches durch die Bildverarbeitungseinheit und/oder die Auswerteeinheit ausgeführt wird. Für den Fall, dass die erfindungsgemäße Auswerteeinheit und die Represent configurations for a classifier which is set up to analyze an environment of the means of transportation on the basis of the second signal and to recognize objects in this environment. Such a classifier can preferably be part of a computer program which is executed by the image processing unit and / or the evaluation unit. In the event that the evaluation unit according to the invention and the
Bildverarbeitungseinheit als separate Komponenten umgesetzt sind, kann das Auswählen des vordefinierten Parametersatzes durch die Image processing unit are implemented as separate components, the selection of the predefined parameter set by the
Bildverarbeitungseinheit in Abhängigkeit der Straßennässeinformation und ggf. weiterer Informationen (z.B. über eine Geschwindigkeit des Image processing unit depending on the road wetness information and possibly further information (e.g. about a speed of the
Fortbewegungsmittels) erfolgen, welche über das Bordnetz des Means of transportation) which take place via the on-board electrical system of the
Fortbewegungsmittels von der Auswerteeinheit zur Verfügung gestellt werden können. Ein Ziel der Verwendung unterschiedlicher vordefinierter Means of transportation can be made available by the evaluation unit. A goal of using different predefined ones
Parametersätze ist es, an ein aktuelles Umfeld (d.h. nass oder trocken) angepasste, vordefinierte Parametersätze für die Umfelderkennung zu verwenden. Dies hat den Hintergrund, dass ein für ein trockenes Umfeld trainierter Klassifikator in einem nassen Umfeld zum Beispiel aufgrund von aufgewirbeltem Wasser (Gischt) vorausfahrender Fortbewegungsmittel i.d.R. nur unzureichende bzw. unzuverlässige Ergebnisse im Zuge der Umfelderkennung sicherstellen kann. Umgekehrt kann ein für ein nasses Umfeld trainierter Klassifikator wiederum in einem trockenen Umfeld häufig keine optimalen Erkennungsergebnisse liefern. Für den Fall, dass die durch Auswerteeinheit bereitgestellte Nässeinformation neben einer reinen Nass-/Trocken- Unterscheidung eine Information über einen Nässegrad beinhaltet, kann zusätzlich in Abhängigkeit des Nässegrades ein auf den jeweiligen Messegrad abgestimmter vordefinierter Parametersatz ausgewählt werden. It is parameter sets to use predefined parameter sets adapted to a current environment (ie wet or dry) for the environment detection. The reason for this is that a classifier trained for a dry environment in a wet environment, for example due to whirled up water (spray), means of transportation in front can usually only ensure inadequate or unreliable results in the course of the environment detection. Conversely, a classifier trained for a wet environment can often not be optimal in a dry environment Deliver recognition results. In the event that the moisture information provided by the evaluation unit contains information about a degree of wetness in addition to a pure wet / dry distinction, a predefined parameter set that is matched to the respective degree of measurement can additionally be selected depending on the degree of wetness.
In einem fünften Schritt des erfindungsgemäßen Verfahrens wird eine In a fifth step of the method according to the invention, a
Umfelderkennung auf Basis des zweiten Signals in Verbindung mit dem vordefinierten Parametersatz durchgeführt. Da aufgrund der vorliegenden Nässeinformation für die Umfelderkennung jeweils angepasste, vordefinierte Parametersätze verwendet werden können, kann eine Erkennungsleistung der Umfelderkennung entsprechend optimiert werden. Eine daraus resultierende erhöhte Zuverlässigkeit der Umfelderkennung kann wiederum zu einer höheren Sicherheit bei einem Einsatz des Fortbewegungsmittels führen. Environment detection based on the second signal in connection with the predefined parameter set. Since adapted, predefined parameter sets can be used for the environment detection on the basis of the available moisture information, a detection performance of the environment detection can be optimized accordingly. A resulting increased reliability of the environment detection can in turn lead to greater safety when using the means of transportation.
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung. The subclaims show preferred developments of the invention.
In einer vorteilhaften Ausgestaltung der vorliegenden Erfindung kann das Ermitteln der Straßennässeinformation zusätzlich in Abhängigkeit einer In an advantageous embodiment of the present invention, the determination of the road wetness information can additionally depend on a
Geschwindigkeit und/oder einer Beschleunigung und/oder einer Motordrehzahl des Fortbewegungsmittels erfolgen. Das vorteilhafte Berücksichtigen einer aktuellen Geschwindigkeit beim Ermitteln einer aktuellen Speed and / or an acceleration and / or an engine speed of the means of transportation take place. The advantageous consideration of a current speed when determining a current one
Straßennässeinformation wurde oben bereits im Detail beschrieben. Analog dazu können über das Bordnetz des Fortbewegungsmittels empfangene Werte über eine aktuelle Beschleunigung und/oder eine aktuelle Motordrehzahl des  Road wetness information has already been described in detail above. Analogously, values received via the on-board electrical system of the means of transportation can be determined via a current acceleration and / or a current engine speed of the vehicle
Fortbewegungsmittels auf ähnliche Weise vorteilhaft berücksichtigt werden. Means of transportation are taken into account advantageously in a similar manner.
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann der vordefinierte Parametersatz eine Konfiguration eines trainierten, In a further advantageous embodiment of the present invention, the predefined parameter set can be a configuration of a trained,
selbstlernenden Systems repräsentieren. D. h., dass der oben beschriebene Klassifikator auf Basis eines selbstlernenden Systems, wie beispielsweise einem neuronalen Netz (z.B. mit einer Deep-Learning-Struktur) realisiert werden kann. Darüber hinaus können auch weitere Arten selbstlernende Systeme eingesetzt werden. Auf diese Weise können mittels eines solchen selbstlernenden Systems Trainingsfahrten des Fortbewegungsmittels in unterschiedlichen represent self-learning system. This means that the classifier described above can be implemented on the basis of a self-learning system, such as a neural network (e.g. with a deep learning structure). In addition, other types of self-learning systems can be used. In this way, training trips of the means of transportation can be carried out in different ways by means of such a self-learning system
Nässesituationen durchgeführt werden und jeweilige trainierte Konfigurationen des selbstlernenden Systems in Form unterschiedlicher vordefinierter Wetness situations are carried out and respective trained configurations of the self-learning system in the form of different predefined ones
Parametersätze gespeichert werden. Parameter sets are saved.
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann das Auswahlen des vordefinierten Parametersatzes alternativ oder zusätzlich in Abhängigkeit einer Änderung des Rauschpegels und/oder einer aktuellen Temperatur und/oder einer im Umfeld des Fortbewegungsmittels vorhandenen Wassermenge erfolgen. Eine Änderung des Rauschpegels kann wie oben beschrieben aufgrund unterschiedlicher Wassermengen auf einer In a further advantageous embodiment of the present invention, the selection of the predefined parameter set can alternatively or additionally take place as a function of a change in the noise level and / or a current temperature and / or an amount of water present in the environment of the means of transportation. A change in the noise level can, as described above, due to different amounts of water on one
Fahrbahnoberfläche verursacht werden. Darüber hinaus kann eine Änderung des Rauschpegels aber auch durch eine Änderung eines Abstandes zu Road surface are caused. In addition, a change in the noise level can also be caused by a change in a distance
vorausfahrenden Fahrzeugen verursacht werden. In beiden Fällen kann es aufgrund der damit einhergehenden, veränderten Sichtbedingungen sinnvoll sein, entsprechende angepasste Parametersätze für die Umfelderkennung zu verwenden. Eine Unterscheidung, ob eine Änderung des Rauschpegels durch eine veränderte Wassermenge oder durch Abstandsänderungen vehicles in front are caused. In both cases, it may make sense to use appropriate, modified parameter sets for the environment detection due to the associated changing visual conditions. A distinction whether a change in the noise level due to a change in the amount of water or changes in distance
vorausfahrender Fahrzeuge verursacht wird, kann durch eine zusätzliche Analyse des zweiten Signals erfolgen, indem beispielsweise eine vehicles in front can be caused by an additional analysis of the second signal, for example by a
Größenänderung unmittelbar vorausfahrender Fahrzeuge ermittelt wird. Size change of immediately preceding vehicles is determined.
Alternativ oder zusätzlich können auch Signale weiterer Umfeldsensoren des Fortbewegungsmittels zur Bewertung einer aktuellen Situation herangezogen werden. Hier kann es insbesondere von Vorteil sein, Abstandsinformationen zu vorausfahrenden Fahrzeugen von einem LIDAR- und/oder einem Radarsystem des Fortbewegungsmittels zu berücksichtigen. Die für die oben genannten Fälle erzeugten und verwendeten vordefinierten Parametersätze können bewirken, dass durch eine Gischtwolke teilverdeckte Fortbewegungsmittel besser und/oder schneller erkannt werden, auch wenn durch die Kamera nur vage Umrisse vorausfahrender Fortbewegungsmittel erfasst werden können.  Alternatively or additionally, signals from other environment sensors of the means of transportation can also be used to evaluate a current situation. It can be particularly advantageous here to take into account distance information from vehicles in front of a LIDAR and / or a radar system of the means of transportation. The predefined parameter sets generated and used for the abovementioned cases can have the effect that means of locomotion partially obscured by a spray cloud are recognized better and / or faster, even if only vague outlines of means of transportation in front can be recorded by the camera.
Des Weiteren kann es sinnvoll sein, eine aktuelle Außentemperatur beim Furthermore, it can be useful to have a current outside temperature at
Auswählen des vordefinierten Parametersatzes zu berücksichtigen, da eine Außentemperatur von unter 4 °C und insbesondere unter 0 °C einen Select the predefined parameter set to be taken into account, since an outside temperature of less than 4 ° C and especially less than 0 ° C
Rückschluss auf potentiell vorhandenen Schnee am Fahrbahnrand und/oder auf der selbst Fahrbahn erlaubt. Die Wahrscheinlichkeit, dass zumindest am Inference on potentially existing snow at the edge of the road and / or on the road itself is permitted. The probability that at least on
Fahrbahnrand Schnee vorhanden ist, kann insbesondere dann hoch sein, wenn eine Außentemperatur von 0 °C oder weniger und gleichzeitig eine erkannte Straßennässe vorliegt. Auf Basis dieser Informationen kann ein weiterer geeigneter vordefinierter Parametersatz ausgewählt und im Zuge der Roadside snow is present, in particular can be high if there is an outside temperature of 0 ° C or less and at the same time there is recognized road wetness. Based on this information, another suitable predefined parameter set selected and in the course of
Umfelderkennung verwendet werden, so dass beispielsweise eine Environment detection can be used, such as a
Fahrbahnbegrenzung auch bei vorhandenem Schnee zuverlässig erkannt werden kann. Lane limitation can be reliably recognized even in the presence of snow.
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann das Ermitteln der Straßennässeinformation in Abhängigkeit einer Störungsfreiheit des ersten Signals erfolgen. Unter Störungsfreiheit soll hier die Abwesenheit unterschiedlichster Störeinflüsse verstanden werden, die eine zuverlässige Straßennässeerkennung erschweren, oder sogar unmöglich machen, wie zum Beispiel Bebauungen am Straßenrand und/oder weitere Fortbewegungsmittel in unmittelbarer Nähe des Fortbewegungsmittels. Solche Störeinflüsse können beispielsweise auf Basis des zweiten Signals oder auf Basis von Signalen weiterer Umfeldsensoren, wie LIDAR- und/oder Radarsensoren ermittelt werden. Für den Fall, dass ein entsprechender Störeinfluss vorliegt, kann die In a further advantageous embodiment of the present invention, the road wetness information can be determined as a function of the interference-free nature of the first signal. Interference-free is to be understood here to mean the absence of a wide variety of interferences that make reliable detection of road wetness difficult or even impossible, such as developments on the roadside and / or other means of transportation in the immediate vicinity of the means of transportation. Such interference can be determined, for example, on the basis of the second signal or on the basis of signals from other environmental sensors, such as LIDAR and / or radar sensors. In the event that there is a corresponding interference, the
Auswerteeinheit eine Straßennässeinformation an die Bildverarbeitungseinheit übertragen, die einen Straßennässezustand vor dem Auftreten des Evaluation unit transmit a road wetness information to the image processing unit which shows a road wetness condition before the occurrence of the
Störeinflusses repräsentiert. Dieser Wert kann durch das Gesamtsystem bevorzugt so lange als Straßennässeinformation weiterverwendet werden, bis der oder die Störeinflüsse aus dem Umfeld des Fortbewegungsmittels Represented interference. This value can preferably continue to be used as road wetness information by the overall system until the interference or interference from the environment of the means of transportation
verschwunden sind. Auf diese Weise lassen sich insbesondere zeitlich begrenzte Störeinflüsse auf vorteilhafte Weise umgehen, da deren kurzfristiges Auftauchen und Verschwinden nicht zu unerwünscht häufigen Veränderungen der Have disappeared. In this way, temporally limited disturbing influences can be avoided in an advantageous manner, since their brief appearance and disappearance do not lead to undesired frequent changes in the
Straßennässeinformation führen. Dadurch wird wiederum ein unerwünscht häufiges Wechseln der vordefinierten Parametersätze vermieden. Guide road wetness information. This in turn prevents the predefined parameter sets from being changed undesirably.
Wie bereits oben beschrieben, kann der erste Ultraschallsensor derart am Fortbewegungsmittel angeordnet sein, dass ein Erfassungsbereich des ersten Ultraschallsensors in Fahrtrichtung oder entgegen der Fahrtrichtung des As already described above, the first ultrasonic sensor can be arranged on the means of transportation in such a way that a detection area of the first ultrasonic sensor is in the direction of travel or counter to the direction of travel of the
Fortbewegungsmittels liegt. Darüber hinaus kann das Umfeld des Means of transportation lies. In addition, the environment of the
Fortbewegungsmittels zusätzlich auf Basis eines zweiten Ultraschallsensors erfasst werden und insbesondere durch einen zweiten Ultraschallsensor erfasst werden, welcher derart am Fortbewegungsmittel angeordnet ist, dass ein Erfassungsbereich des zweiten Ultraschallsensors in Fahrtrichtung oder entgegen der Fahrtrichtung des Fortbewegungsmittels liegt. In einer bevorzugten Variante kann beispielsweise der erste Ultraschallsensor in Fahrtrichtung und der zweite Ultraschallsensor entgegen der Fahrtrichtung des Fortbewegungsmittels ausgerichtet sein. Auf diese Weise kann die Straßennässeinformation auf Basis beider Ultraschallsensoren ermittelt werden, wodurch eine zusätzliche Locomotion means are additionally detected on the basis of a second ultrasound sensor and in particular are detected by a second ultrasound sensor which is arranged on the means of locomotion in such a way that a detection area of the second ultrasound sensor lies in the direction of travel or against the direction of travel of the means of locomotion. In a preferred variant, for example, the first ultrasonic sensor in the direction of travel and the second ultrasonic sensor in the opposite direction to the direction of travel of the means of transportation be aligned. In this way, the road wetness information can be determined on the basis of both ultrasonic sensors, which means an additional one
Plausibilisierung der aus den jeweiligen ersten Signalen gewonnenen Plausibility check of those obtained from the respective first signals
Straßennässeinformationen möglich ist. Alternativ kann die Road wetness information is possible. Alternatively, the
Straßennässeinformation abwechselnd auf Basis des ersten oder auf Basis des zweiten Ultraschallsensors ermittelt werden, indem jeweils das erste Signal desjenigen Ultraschallsensors bezüglich einer Straßennässe ausgewertet wird, welches zu einem aktuellen Zeitpunkt den geringsten Anteil von Störeinflüssen aufweist. In diesem Zusammenhang sei darauf hingewiesen, dass neben dem ersten und dem zweiten Ultraschallsensor weitere Ultraschallsensoren für das erfindungsgemäße Verfahren eingesetzt werden können. D.h., es können beispielsweise dritte, vierte und mehr Ultraschallsensoren eingesetzt werden, die analog zu oben beschriebenen Ausgestaltungen kombiniert und verwendet werden können. Eine Anordnung der ersten, zweiten, dritten, vierten und ggf. weiteren Ultraschallsensoren ist explizit nicht auf den Front- und/oder Road wetness information can be determined alternately on the basis of the first or on the basis of the second ultrasonic sensor, in each case by evaluating the first signal of the ultrasonic sensor with respect to road wetness which has the lowest proportion of interference at a current point in time. In this context, it should be pointed out that, in addition to the first and the second ultrasonic sensor, further ultrasonic sensors can be used for the method according to the invention. This means that, for example, third, fourth and more ultrasonic sensors can be used, which can be combined and used analogously to the configurations described above. An arrangement of the first, second, third, fourth and possibly further ultrasonic sensors is explicitly not on the front and / or
Heckbereich des Fortbewegungsmittels beschränkt. Limited rear area of the means of transportation.
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann die aus dem ersten Signal ermittelte Straßennässeinformation durch eine aus dem zweiten Signal ermittelte Straßennässeinformation plausibilisiert werden. Dies kann auf Basis einer Analyse von Reflexionen von Lichtquellen im In a further advantageous embodiment of the present invention, the road wetness information determined from the first signal can be checked for plausibility by road wetness information determined from the second signal. This can be done on the basis of an analysis of reflections from light sources in the
Kamerabild erfolgen, indem beispielsweise überprüft wird, ob diese Lichtquellen oberhalb oder scheinbar unterhalb einer Fahrbahnebene liegen. Darüber hinaus kann die Straßennässeinformation auch durch weitere Sensoren und/oder Steuergeräte des Fortbewegungsmittels plausibilisiert werden. Hier kommt beispielsweise ein an einer Windschutzscheibe des Fortbewegungsmittels angeordneter Regensensor in Frage, oder auch weitere Sensoren des Camera images take place, for example, by checking whether these light sources are above or apparently below a road level. In addition, the road wetness information can also be checked for plausibility by further sensors and / or control devices of the means of transportation. Here, for example, a rain sensor arranged on a windshield of the means of transportation comes into question, or further sensors of the
Fortbewegungsmittels. Means of transportation.
Durch die Umfelderkennung ermittelte Informationen über Objekte im Umfeld des Fortbewegungsmittels können anschließend u.a. an ein Fahrerassistenzsystem und/oder ein System für eine autonome Steuerung des Fortbewegungsmittels übermittelt und dort verwendet werden. Information about objects in the environment of the means of transport determined by the environment detection can then, among other things, transmitted to a driver assistance system and / or a system for autonomous control of the means of transportation and used there.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung zur Unterstützung einer kamerabasierten Umfelderkennung eines According to a second aspect of the present invention, a device for supporting camera-based environment recognition of a
Fortbewegungsmittels mittels einer Straßennässeinformation eines ersten Ultraschallsensors vorgeschlagen. Die Vorrichtung umfasst eine Auswerteeinheit und einen Dateneingang. Die Auswerteeinheit kann beispielsweise als ASIC, FPGA, Prozessor, digitaler Signalprozessor, Mikrocontroller, o.ä., ausgestaltet und informationstechnisch an eine interne und/oder externe Speichereinheit angebunden sein. Die Auswerteeinheit kann darüber hinaus eingerichtet sein, das erfindungsgemäße Verfahren in Verbindung mit einem durch die Means of transportation by means of a road wetness information of a first Ultrasonic sensor proposed. The device comprises an evaluation unit and a data input. The evaluation unit can be configured, for example, as an ASIC, FPGA, processor, digital signal processor, microcontroller, or the like, and can be connected to an internal and / or external storage unit in terms of information technology. In addition, the evaluation unit can be set up to process the method according to the invention in conjunction with a method
Auswerteeinheit ausgeführten Computerprogramm durchzuführen. Des Weiteren ist die Auswerteeinheit eingerichtet, in Verbindung mit dem Dateneingang ein mittels des ersten Ultraschallsensors des Fortbewegungsmittels ermitteltes erstes Signal repräsentierend ein Umfeld des Fortbewegungsmittels zu erfassen und ein mittels einer Kamera des Fortbewegungsmittels ermitteltes zweites Signal repräsentierend das Umfeld des Fortbewegungsmittels zu erfassen. Der Ultraschallsensor kann bevorzugt ein bereits bestehender Ultraschallsensor des Fortbewegungsmittels sein. Ferner kann der Ultraschallsensor beispielsweise in einer Frontschürze oder im Bereich eines Hecks des Fortbewegungsmittels oder auch an weiteren Positionen des Fortbewegungsmittels angeordnet sein, so dass entweder die vorausliegende, oder die zurückliegende Fahrbahn und deren Umfeld erfasst werden kann. Die Kamera kann beispielsweise eine 2D- oder 3D- Kamera mit einer Standardbildauflösung, einer HD-, oder einer Ultra-HD- Bildauflösung oder eine Infrarotkamera sein. Bevorzugt kann die Kamera derart am Fortbewegungsmittel angeordnet und ausgerichtet sein, dass die Kamera ein dem Fortbewegungsmittel vorausliegendes Umfeld erfassen kann. Die Execute evaluation unit executed computer program. Furthermore, the evaluation unit is set up to record, in connection with the data input, a first signal determined by means of the first ultrasonic sensor of the means of transportation representing an environment of the means of transportation and a second signal determined by means of a camera of the means of transportation to capture the environment of the means of transportation. The ultrasonic sensor can preferably be an already existing ultrasonic sensor of the means of transportation. Furthermore, the ultrasonic sensor can be arranged, for example, in a front apron or in the area of a rear of the means of transportation or also at further positions of the means of transportation, so that either the road ahead or the road ahead and its surroundings can be detected. The camera can be, for example, a 2D or 3D camera with a standard image resolution, an HD or an ultra-HD image resolution or an infrared camera. The camera can preferably be arranged and aligned on the means of transportation in such a way that the camera can capture an environment in front of the means of transportation. The
Auswerteeinheit kann mittels eines Bordnetzes des Fortbewegungsmittels mit dem Ultraschallsensor und der Kamera direkt und/oder indirekt Evaluation unit can directly and / or indirectly by means of an electrical system of the means of transportation with the ultrasonic sensor and the camera
informationstechnisch verbunden sein. Darüber hinaus ist die Auswerteeinheit eingerichtet, eine Straßennässeinformation auf Basis des ersten Signals zu ermitteln, einen vordefinierten Parametersatz aus einer Mehrzahl vordefinierter Parametersätze in Abhängigkeit der Straßennässeinformation auszuwählen, und eine Umfelderkennung auf Basis des zweiten Signals in Verbindung mit dem vordefinierten Parametersatz durchzuführen. be connected with information technology. In addition, the evaluation unit is set up to determine road wetness information on the basis of the first signal, to select a predefined parameter set from a plurality of predefined parameter sets as a function of the road wetness information, and to carry out an environment detection on the basis of the second signal in connection with the predefined parameter set.
Kurze Beschreibung der Zeichnungen Brief description of the drawings
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. Dabei zeigen: Figur 1 ein Flussdiagramm veranschaulichend Schritte eines Exemplary embodiments of the invention are described in detail below with reference to the accompanying drawing. Show: Figure 1 is a flow diagram illustrating steps of a
Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;  Embodiment of a method according to the invention;
Figur 2 ein Blockschaltbild einer erfindungsgemäßen Vorrichtung in Figure 2 is a block diagram of a device according to the invention in
Verbindung mit einem Fortbewegungsmittel; und  Connection with a means of transportation; and
Figur 3 ein Diagramm eines geschwindigkeitsabhängigen Figure 3 is a diagram of a speed-dependent
Rauschpegels eines ersten Ultraschallsensors.  Noise level of a first ultrasonic sensor.
Ausführungsformen der Erfindung Embodiments of the invention
Figur 1 zeigt ein Flussdiagramm veranschaulichend Schritte eines Figure 1 shows a flow diagram illustrating steps of a
Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels 80 mittels einer Straßennässeinformation eines ersten Ultraschallsensors 30. Im ersten Schritt 100 wird mittels einer erfindungsgemäßen Auswerteeinheit 10, welche ein Mikrocontroller ist, ein erstes Signal repräsentierend ein Umfeld 60 des Embodiment of a method according to the invention for supporting a camera-based environment detection of a means of transport 80 by means of road wetness information from a first ultrasonic sensor 30. In the first step 100, an evaluation unit 10 according to the invention, which is a microcontroller, represents a first signal representing an environment 60 of the
Fortbewegungsmittels 80 mittels des ersten Ultraschallsensors 30 des Means of transportation 80 by means of the first ultrasonic sensor 30 of the
Fortbewegungsmittels 80 erfasst. Der erste Ultraschallsensor 30 ist in einer Frontschürze des Fortbewegungsmittels 80 angeordnet und in Fahrtrichtung des Fortbewegungsmittels 80 ausgerichtet. Die Auswerteeinheit 10 empfängt das erste Signal mittels eines Dateneingangs 12 der Auswerteeinheit 10 und speichert durch das erste Signal repräsentierte Umfeldinformationen in einer internen Speichereinheit 20 des Mikrocontrollers ab. Im Schritt 200 wird ein zweites Signal repräsentierend das Umfeld 60 des Fortbewegungsmittels 80 mittels einer Kamera 40 des Fortbewegungsmittels 80 erfasst. Die Kamera 40 ist in einem Innenraum des Fortbewegungsmittels 80 in einem oberen Bereich einer Windschutzscheibe des Fortbewegungsmittels 80 angeordnet und derart ausgerichtet, dass die Kamera 40 ein dem Fortbewegungsmittel 80 Means of transportation 80 detected. The first ultrasonic sensor 30 is arranged in a front apron of the means of transportation 80 and aligned in the direction of travel of the means of transportation 80. The evaluation unit 10 receives the first signal by means of a data input 12 of the evaluation unit 10 and stores environmental information represented by the first signal in an internal memory unit 20 of the microcontroller. In step 200, a second signal representing the surroundings 60 of the means of transportation 80 is recorded by means of a camera 40 of the means of transportation 80. The camera 40 is arranged in an interior of the means of transportation 80 in an upper region of a windshield of the means of transportation 80 and is oriented such that the camera 40 is attached to the means of transportation 80
vorausliegendes Umfeld 60 erfassen kann. Das zweite Signal der Kamera 40 wird von einer Bildverarbeitungseinheit des Fortbewegungsmittels 80 surrounding area 60 can capture. The second signal of the camera 40 is from an image processing unit of the means of transportation 80
empfangen, welche informationstechnisch mit der Kamera 40 verbunden ist. Das erste Signal des Ultraschallsensors 30 und das zweite Signal der Kamera 40 werden im Wesentlichen zu einem identischen Zeitpunkt erfasst. Im Schritt 300 wird mittels eines durch die Auswerteeinheit 10 ausgeführten received, which is technically connected to the camera 40. The first signal of the ultrasonic sensor 30 and the second signal of the camera 40 are recorded essentially at an identical point in time. In step 300, the evaluation unit 10 executes one
Computerprogramms eine Straßennässeinformation auf Basis des ersten Signals ermittelt. Zu diesem Zweck vergleicht die Auswerteeinheit 10 einen Rauschpegel 70 des ersten Signals mit einem vordefinierten Schwellenwert 75 für einen Rauschpegel 70. Ein Überschreiten des vordefinierten Schwellenwertes 75 durch den Rauschpegel 70 lässt auf eine vorhandene Straßennässe im Umfeld 60 des Fortbewegungsmittels 80 schließen. Da in diesem Fall auf Basis des Computer program determines road wetness information based on the first signal. For this purpose, the evaluation unit 10 compares a noise level 70 of the first signal with a predefined threshold value 75 for a noise level 70. Exceeding the predefined threshold value 75 by the noise level 70 indicates that there is road wetness in the surroundings 60 of the means of transportation 80. Because in this case based on the
vordefinierten Schwellenwertes 75 eine vorhandene Straßennässe erkannt wird, sendet die Auswerteeinheit 10 ein entsprechendes Signal, welches die aktuelle Straßennässeinformation umfasst, mittels eines Fahrzeugbusses eines predefined threshold value 75 an existing road wetness is detected, the evaluation unit 10 sends a corresponding signal, which includes the current road wetness information, by means of a vehicle bus
Bordnetzes des Fortbewegungsmittels 80 an die Bildverarbeitungseinheit. Die Bildverarbeitungseinheit wählt im Schritt 400 des erfindungsgemäßen Verfahrens einen vordefinierten Parametersatz aus einer Mehrzahl vordefinierter Vehicle electrical system of the means of transportation 80 to the image processing unit. In step 400 of the method according to the invention, the image processing unit selects a predefined parameter set from a plurality of predefined ones
Parametersätze in Abhängigkeit der empfangenen Straßennässeinformation aus. Der in diesem Fall durch die Bildverarbeitungseinheit ausgewählte Parameter sets depending on the received road wetness information. The one selected in this case by the image processing unit
Parametersatz repräsentiert eine Konfiguration eines auf einem neuronalen Netz basierenden Klassifikators, welcher zu einem früheren Zeitpunkt (z.B. in einer Entwicklungsphase des Fortbewegungsmittels 80) unter ähnlichen Parameter set represents a configuration of a classifier based on a neural network, which at an earlier point in time (e.g. in a development phase of the means of transportation 80) among others
Straßennässebedingungen trainiert wurde. Anschließend wird im Schritt 500 mittels der Bildverarbeitungseinheit eine Umfelderkennung auf Basis des zweiten Signals in Verbindung mit dem vordefinierten Parametersatz durchgeführt. Mittels der Umfelderkennung ermittelte Informationen über Objekte im Umfeld 60 des Fortbewegungsmittels 80 werden daraufhin an ein System zur autonomen Steuerung des Fortbewegungsmittels 80 mittels des Bordnetzes übertragen und von diesem im Zuge der autonomen Steuerung des Fortbewegungsmittels 80 verwendet. Road wetness was trained. Then, in step 500, an environment recognition is carried out on the basis of the second signal in conjunction with the predefined parameter set by means of the image processing unit. Information about objects in the surroundings 60 of the means of transportation 80 determined by means of the environment detection is then transmitted to a system for autonomously controlling the means of transportation 80 by means of the vehicle electrical system and is used by the latter in the course of the autonomous control of the means of transportation 80.
Figur 2 zeigt ein Blockschaltbild einer erfindungsgemäßen Vorrichtung in FIG. 2 shows a block diagram of a device according to the invention in FIG
Verbindung mit einem Fortbewegungsmittel 80. Die Vorrichtung umfasst eine Auswerteeinheit 10, die hier ein Mikrocontroller ist und über einen Dateneingang 12 verfügt. Mittels des Dateneingangs 12 ist die Auswerteeinheit 10 mit einem in Fahrtrichtung des Fortbewegungsmittels 80 ausgerichteten ersten Connection to a means of transportation 80. The device comprises an evaluation unit 10, which here is a microcontroller and has a data input 12. By means of the data input 12, the evaluation unit 10 is provided with a first one oriented in the direction of travel of the means of transportation 80
Ultraschallsensor 30 und einem entgegen der Fahrtrichtung ausgerichteten zweiten Ultraschallsensor 35 informationstechnisch über ein Bordnetz des Fortbewegungsmittels 80 verbunden. Ebenfalls über den Dateneingang 12 ist die Auswerteeinheit 10 mit einer in Fahrtrichtung des Fortbewegungsmittels 80 ausgerichteten Kamera 40 informationstechnisch über das Bordnetz des Ultrasound sensor 30 and a second ultrasound sensor 35 oriented counter to the direction of travel are connected in terms of information technology via an electrical system of the means of transport 80. Also via the data input 12 is the evaluation unit 10 with a camera 40 oriented in the direction of travel of the means of transportation 80 in terms of information technology via the vehicle electrical system
Fortbewegungsmittels 80 verbunden. Des Weiteren ist die Auswerteeinheit 10 informationstechnisch mit einer externen Speichereinheit 20 verbunden, welche eingerichtet ist, durch die Auswerteeinheit 10 empfangene Informationen für eine nachgelagerte Verarbeitung durch die Auswerteeinheit 10 zu speichern. Mittels des ersten Ultraschallsensors 30, des zweiten Ultraschallsensors 35 und der Kamera 40 ist die Auswerteeinheit 10 in der Lage, ein Umfeld 60 des Means of transportation 80 connected. Furthermore, the evaluation unit 10 is connected in terms of information technology to an external storage unit 20, which is set up to receive information received by the evaluation unit 10 for a to store downstream processing by the evaluation unit 10. By means of the first ultrasonic sensor 30, the second ultrasonic sensor 35 and the camera 40, the evaluation unit 10 is able to detect an environment 60 of the
Fortbewegungsmittels 80 zu im Wesentlichen identischen Zeitpunkten zu erfassen. In diesem Beispiel werden sämtliche Schritte des erfindungsgemäßen Verfahrens in der Auswerteeinheit 10 selbst ausgeführt, d.h., dass die To locate means of transportation 80 at substantially identical times. In this example, all steps of the method according to the invention are carried out in the evaluation unit 10 itself, i.e. that the
Auswerteeinheit 10 nicht nur eingerichtet ist, auf Basis erster Signale des ersten Ultraschallsensors 30 und des zweiten Ultraschallsensors 35 eine Evaluation unit 10 is not only configured on the basis of first signals from the first ultrasonic sensor 30 and the second ultrasonic sensor 35
Straßennässeinformation zu ermitteln, sondern darüber hinaus eingerichtet ist, einen mit der Straßennässeinformation korrespondierenden, vordefinierten Parametersatz auszuwählen und mittels des vordefinierten Parametersatzes auf Basis eines zweiten Signals der Kamera 40 eine Umfelderkennung Determining road wetness information, but is also set up to select a predefined parameter set corresponding to the road wetness information and by means of the predefined parameter set on the basis of a second signal from camera 40 an environment detection
durchzuführen. perform.
Figur 3 zeigt ein Diagramm eines geschwindigkeitsabhängigen Rauschpegels 70 eines ersten Ultraschallsensors 30. In einer ersten Phase P1 des Diagramms fährt ein Fortbewegungsmittel 80, welches den ersten Ultraschallsensor 30 im Sinne des erfindungsgemäßen Verfahrens einsetzt, mit einer Geschwindigkeit v, welche mit einem vordefinierten Schwellenwert 75 der ersten Phase P1 korrespondiert. Mit anderen Worten, wird aufgrund einer zunächst relativ geringen Geschwindigkeit v des Fortbewegungsmittels 80 in der ersten Phase P1 derjenige vordefinierte Schwellenwert 75 aus einer Mehrzahl vordefinierter Schwellenwerte 75 für einen Abgleich mit dem Rauschpegel 70 des ersten Signals verwendet, welcher zuvor für diesen Geschwindigkeitsbereich festgelegt wurde. Da sich der Rauschpegel 70 in der ersten Phase P1 vollständig oberhalb des vordefinierten Schwellenwertes 75 der ersten Phase P1 befindet, wird durch eine erfindungsgemäße Auswerteeinheit 10 eine vorhandene Straßennässe festgestellt. Am Verlauf der Geschwindigkeit v lässt sich erkennen, dass die Geschwindigkeit v des Fortbewegungsmittels 80 hier im Laufe der Zeit weiter zunimmt. Beim Erreichen eines Geschwindigkeitswertes v1 wird mittels der Auswerteeinheit 10, aufgrund der nun vorliegenden höheren Geschwindigkeit v, ein vom vordefinierten Schwellenwert 75 der ersten Phase P1 abweichender vordefinierter Schwellenwert 75 für eine zweite Phase P2 ausgewählt. Dadurch findet eine Anpassung des vordefinierten Schwellenwertes 75 der zweiten Phase P2 an den durch die höhere Geschwindigkeit v erzeugten Rauschpegel 75 statt. Wie bereits in der ersten Phase P1 , wird hier zunächst wiederum eine FIG. 3 shows a diagram of a speed-dependent noise level 70 of a first ultrasound sensor 30. In a first phase P1 of the diagram, a means of transport 80 which uses the first ultrasound sensor 30 in the sense of the method according to the invention travels at a speed v which corresponds to a predefined threshold value 75 corresponds to the first phase P1. In other words, due to an initially relatively low speed v of the means of transportation 80, in the first phase P1 that predefined threshold value 75 from a plurality of predefined threshold values 75 is used for a comparison with the noise level 70 of the first signal, which was previously defined for this speed range. Since the noise level 70 in the first phase P1 is completely above the predefined threshold value 75 of the first phase P1, an existing road wetness is determined by an evaluation unit 10 according to the invention. From the course of the speed v it can be seen that the speed v of the means of transportation 80 here continues to increase over time. When a speed value v1 is reached, a predefined threshold value 75, which differs from the predefined threshold value 75 of the first phase P1, is selected for a second phase P2 by means of the evaluation unit 10, on account of the now higher speed v. As a result, the predefined threshold value 75 of the second phase P2 is adapted to the noise level 75 generated by the higher speed v. As in the first phase P1, there will be another one
vorhandene Straßennässe erkannt, da sich der Rauschpegel 70 zu Beginn der zweiten Phase P2 oberhalb des vordefinierten Schwellenwertes 75 der zweiten Phase P2 befindet. Zu einem Zeitpunkt t1 in der zweiten Phase P2 fällt die Kurve des Rauschpegels 70 soweit ab, dass diese den vordefinierten Schwellenwert 75 der zweiten Phase P2 unterschreitet. Im Ansprechen darauf wird durch die Auswerteeinheit 10 eine trockene Fahrbahnoberfläche festgestellt. existing road wetness detected because the noise level 70 at the beginning of the second phase P2 is above the predefined threshold value 75 of the second phase P2. At a point in time t1 in the second phase P2, the curve of the noise level 70 drops to such an extent that it falls below the predefined threshold value 75 of the second phase P2. In response to this, the evaluation unit 10 determines a dry road surface.

Claims

Ansprüche Expectations
1. Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung 1. Procedure to support camera-based environment detection
eines Fortbewegungsmittels (80) mittels einer Straßennässeinformation eines ersten Ultraschallsensors (30) umfassend die Schritte:  of a means of transportation (80) by means of road wetness information of a first ultrasonic sensor (30) comprising the steps:
• Erfassen (100) eines ersten Signals repräsentierend ein Umfeld (60) des Fortbewegungsmittels (80) mittels des ersten Ultraschallsensors (30) des Fortbewegungsmittels (80),  Detection (100) of a first signal representing an environment (60) of the means of transportation (80) by means of the first ultrasonic sensor (30) of the means of transportation (80),
• Erfassen (200) eines zweiten Signals repräsentierend das Umfeld (60) des Fortbewegungsmittels (80) mittels einer Kamera (40) des  • Detecting (200) a second signal representing the environment (60) of the means of transportation (80) by means of a camera (40) of the
Fortbewegungsmittels (80),  Means of transportation (80),
• Ermitteln (300) der Straßennässeinformation auf Basis des ersten  • Determining (300) the road wetness information based on the first
Signals,  Signal,
• Auswählen (400) eines vordefinierten Parametersatzes aus einer  • Select (400) a predefined parameter set from one
Mehrzahl vordefinierter Parametersätze in Abhängigkeit der  A plurality of predefined parameter sets depending on the
Straßennässeinformation, und  Road wetness information, and
• Durchführen (500) einer Umfelderkennung auf Basis des zweiten  • Performing (500) environment detection based on the second
Signals in Verbindung mit dem vordefinierten Parametersatz.  Signals in connection with the predefined parameter set.
2. Verfahren nach Anspruch 1 , wobei das erste Signal und das zweite Signal zu einem im Wesentlichen identischen Zeitpunkt erfasst werden. 2. The method of claim 1, wherein the first signal and the second signal are acquired at a substantially identical time.
3. Verfahren nach einem der vorstehenden Ansprüche, wobei die 3. The method according to any one of the preceding claims, wherein the
Straßennässeinformation durch Abgleichen eines Rauschpegels (70) des ersten Signals mit einem vordefinierten Schwellenwert (75) für einen Rauschpegel (70) und insbesondere durch Abgleichen des Rauschpegels (70) mit einem geschwindigkeitsabhängig vordefinierten Schwellenwert (75) ermittelt wird.  Road wetness information is determined by comparing a noise level (70) of the first signal with a predefined threshold value (75) for a noise level (70) and in particular by comparing the noise level (70) with a speed-dependent predefined threshold value (75).
4. Verfahren nach einem der vorstehenden Ansprüche, wobei das Ermitteln (300) der Straßennässeinformation zusätzlich in Abhängigkeit 4. The method according to any one of the preceding claims, wherein the determination (300) of the road wetness information is additionally dependent
• einer Geschwindigkeit, und/oder  • a speed, and / or
• einer Beschleunigung, und/oder  • an acceleration, and / or
• einer Motordrehzahl  • an engine speed
des Fortbewegungsmittels (80) erfolgt. the means of transportation (80).
5. Verfahren nach einem der vorstehenden Ansprüche, wobei der 5. The method according to any one of the preceding claims, wherein the
vordefinierte Parametersatz eine Konfiguration eines trainierten, selbstlernenden Systems repräsentiert.  predefined parameter set represents a configuration of a trained, self-learning system.
6. Verfahren nach einem der vorstehenden Ansprüche, wobei das Auswahlen (400) des vordefinierten Parametersatzes alternativ oder zusätzlich in Abhängigkeit 6. The method according to any one of the preceding claims, wherein the selection (400) of the predefined parameter set alternatively or additionally depending
• einer Änderung des Rauschpegels (70), und/oder  • a change in the noise level (70), and / or
• einer aktuellen Außentemperatur und/oder  • a current outside temperature and / or
• einer im Umfeld (60) des Fortbewegungsmittels (80) vorhandenen  • one in the environment (60) of the means of transportation (80)
Wassermenge  Amount of water
erfolgt.  he follows.
7. Verfahren nach einem der vorstehenden Ansprüche, wobei das Ermitteln (300) der Straßennässeinformation in Abhängigkeit einer Störungsfreiheit des ersten Signals erfolgt. 7. The method according to any one of the preceding claims, wherein the determination (300) of the road wetness information is dependent on the freedom from interference of the first signal.
8. Verfahren nach einem der vorstehenden Ansprüche, wobei der erste 8. The method according to any one of the preceding claims, wherein the first
Ultraschallsensor (30) derart am Fortbewegungsmittel (80) angeordnet ist, dass ein Erfassungsbereich des ersten Ultraschallsensors (30) in  Ultrasonic sensor (30) is arranged on the means of transportation (80) such that a detection area of the first ultrasonic sensor (30) in
Fahrtrichtung oder entgegen der Fahrtrichtung des Fortbewegungsmittels (80) liegt.  Direction of travel or against the direction of travel of the means of transportation (80).
9. Verfahren nach einem der vorstehenden Ansprüche, wobei das Umfeld (60) zusätzlich auf Basis eines zweiten Ultraschallsensors (35) erfasst wird, weicher derart am Fortbewegungsmittel (80) angeordnet ist, dass ein Erfassungsbereich des zweiten Ultraschallsensors (35) in Fahrtrichtung oder entgegen der Fahrtrichtung des Fortbewegungsmittels (80) liegt. 9. The method according to any one of the preceding claims, wherein the environment (60) is additionally detected on the basis of a second ultrasonic sensor (35), which is arranged on the means of transportation (80) in such a way that a detection area of the second ultrasonic sensor (35) in the direction of travel or in the opposite direction the direction of travel of the means of transportation (80).
10. Verfahren nach einem der vorstehenden Ansprüche, wobei die aus dem ersten Signal ermittelte Straßennässeinformation durch eine aus dem zweiten Signal ermittelte Straßennässeinformation plausibilisiert wird. 10. The method according to claim 1, wherein the road wetness information determined from the first signal is checked for plausibility by road wetness information determined from the second signal.
1 1. Vorrichtung zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels (80) mittels einer Straßennässeinformation eines ersten Ultraschallsensors (30) umfassend: 1 1. Device for supporting a camera-based environment detection of a means of transportation (80) by means of road wetness information from a first ultrasonic sensor (30) comprising:
• eine Auswerteeinheit (10), und  • an evaluation unit (10), and
• einen Dateneingang (12),  A data input (12),
wobei die Auswerteeinheit (10) eingerichtet ist, • in Verbindung mit dem Dateneingang (12) the evaluation unit (10) being set up, • in connection with the data input (12)
o ein mittels des ersten Ultraschallsensors (30) des  o a by means of the first ultrasonic sensor (30) of the
Fortbewegungsmittels (80) ermitteltes erstes Signal  Locomotion means (80) determined first signal
repräsentierend ein Umfeld (60) des Fortbewegungsmittels (80) zu erfassen,  representing an environment (60) of the means of transportation (80),
o ein mittels einer Kamera (40) des Fortbewegungsmittels (80) ermitteltes zweites Signal repräsentierend das Umfeld (60) des Fortbewegungsmittels (80) zu erfassen,  o to detect a second signal determined by means of a camera (40) of the means of transportation (80), representative of the surroundings (60) of the means of transportation (80),
• eine Straßennässeinformation auf Basis des ersten Signals zu ermitteln, Determine road wetness information based on the first signal,
• einen vordefinierten Parametersatz aus einer Mehrzahl vordefinierter Parametersätze in Abhängigkeit der Straßennässeinformation auszuwählen, und • select a predefined parameter set from a plurality of predefined parameter sets depending on the road wetness information, and
• eine Umfelderkennung auf Basis des zweiten Signals in Verbindung mit dem vordefinierten Parametersatz durchzuführen.  • perform an environment detection on the basis of the second signal in connection with the predefined parameter set.
EP19773013.8A 2018-10-31 2019-09-16 Method for supporting camera-based environment recognition by a transportation means, using road-moisture information from a first ultrasonic sensor Pending EP3874402A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018218733.9A DE102018218733A1 (en) 2018-10-31 2018-10-31 Method for supporting a camera-based environment detection of a means of transportation by means of road wetness information from a first ultrasonic sensor
PCT/EP2019/074653 WO2020088829A1 (en) 2018-10-31 2019-09-16 Method for supporting camera-based environment recognition by a transportation means, using road-moisture information from a first ultrasonic sensor

Publications (1)

Publication Number Publication Date
EP3874402A1 true EP3874402A1 (en) 2021-09-08

Family

ID=67999619

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19773013.8A Pending EP3874402A1 (en) 2018-10-31 2019-09-16 Method for supporting camera-based environment recognition by a transportation means, using road-moisture information from a first ultrasonic sensor

Country Status (7)

Country Link
US (1) US11580752B2 (en)
EP (1) EP3874402A1 (en)
JP (1) JP7069425B2 (en)
KR (1) KR20210083303A (en)
CN (1) CN112997189A (en)
DE (1) DE102018218733A1 (en)
WO (1) WO2020088829A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022202036A1 (en) 2022-02-28 2023-08-31 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for providing a classification result for object identification using ultrasound-based sensor systems in mobile devices

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2945230B2 (en) 1993-02-25 1999-09-06 三菱電機株式会社 Road surface condition detection device
JP2000304860A (en) * 1999-04-23 2000-11-02 Matsushita Electric Works Ltd Ultrasonic detector for mounting on vehicle
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
US9873442B2 (en) * 2002-06-04 2018-01-23 General Electric Company Aerial camera system and method for identifying route-related hazards
JP4183542B2 (en) * 2003-03-28 2008-11-19 名古屋電機工業株式会社 Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program
DE102004020282A1 (en) * 2003-04-24 2006-07-20 Roman Koller Impedance or admittance circuit ohmic loss measuring method, involves feeding current portion into measuring impedance/admittance of circuit as power source to reduce ideal conductive value that refers to circuit inductivity/capacitance
JP4296940B2 (en) * 2004-01-13 2009-07-15 トヨタ自動車株式会社 Vehicle driving support device and vehicle driving support method
JP3934119B2 (en) 2004-06-14 2007-06-20 本田技研工業株式会社 Vehicle periphery monitoring device
DE102005023696A1 (en) 2005-05-23 2006-11-30 Robert Bosch Gmbh Combined ultrasound rain detection and collision avoidance system for motor vehicles includes ultrasound detector(s) and a calculator-control unit, the signals from which can be used to close windows in the event of rain
US20140172727A1 (en) * 2005-12-23 2014-06-19 Raj V. Abhyanker Short-term automobile rentals in a geo-spatial environment
JP2007322231A (en) 2006-05-31 2007-12-13 Fujifilm Corp Road surface condition detector
DE102006037591A1 (en) * 2006-08-11 2008-02-14 Robert Bosch Gmbh Device for detecting a moving object
CN101016053A (en) * 2007-01-25 2007-08-15 吉林大学 Warning method and system for preventing collision for vehicle on high standard highway
JP4952444B2 (en) * 2007-08-29 2012-06-13 横浜ゴム株式会社 Vehicle running road surface state estimation system
JP5034809B2 (en) * 2007-09-18 2012-09-26 マツダ株式会社 Vehicle road surface state estimating device
DE102010044219A1 (en) * 2010-11-22 2012-05-24 Robert Bosch Gmbh Method for detecting the environment of a vehicle
GB2489561B (en) 2011-03-15 2013-10-02 Land Rover Uk Ltd Vehicle under-body mounted sensor and control system
EP2721554A2 (en) * 2011-06-17 2014-04-23 Robert Bosch GmbH Method and control device for recognising weather conditions in the surroundings of a vehicle
DE102011056051A1 (en) * 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Method for evaluating image data of a vehicle camera taking into account information about rain
DE102012221518A1 (en) * 2012-11-26 2014-05-28 Robert Bosch Gmbh Method for determining road slipperiness in bike using regulating or control unit of spindrift detection system, involves detecting spindrift spun-on by wheel of vehicle in sensory manner and calculating slipperiness from spun-on spindrift
JPWO2015045501A1 (en) * 2013-09-27 2017-03-09 日立オートモティブシステムズ株式会社 External recognition device
DE102013226631A1 (en) * 2013-12-19 2015-06-25 Continental Teves Ag & Co. Ohg Method and device for determining local weather conditions and a local road condition
US20150202770A1 (en) * 2014-01-17 2015-07-23 Anthony Patron Sidewalk messaging of an autonomous robot
US9335178B2 (en) * 2014-01-28 2016-05-10 GM Global Technology Operations LLC Method for using street level images to enhance automated driving mode for vehicle
US9550418B1 (en) * 2014-06-03 2017-01-24 Twin Harbor Labs, LLC Travel safety control
KR101618551B1 (en) 2014-07-02 2016-05-09 엘지전자 주식회사 Driver assistance apparatus and Vehicle including the same
DE102014213536A1 (en) * 2014-07-11 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Merging partial images into an image of an environment of a means of transportation
US9428183B2 (en) * 2014-07-31 2016-08-30 Toyota Motor Engineering & Manufacturing North America, Inc. Self-explaining autonomous vehicle
DE102015202782A1 (en) * 2015-02-17 2016-08-18 Robert Bosch Gmbh Method for operating a sensor device and sensor device
DE102015106401A1 (en) * 2015-04-27 2016-10-27 Valeo Schalter Und Sensoren Gmbh Sensor arrangement for detecting a state of a roadway with at least two spaced ultrasonic sensors, driver assistance system, motor vehicle and associated method
DE102015106408A1 (en) * 2015-04-27 2016-10-27 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Sensor arrangement for detecting a state of a roadway with an ultrasonic sensor, driver assistance system, motor vehicle and associated method
DE102015208429A1 (en) * 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Method and device for detecting and evaluating road reflections
US20160357187A1 (en) 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
JP6468162B2 (en) 2015-10-19 2019-02-13 株式会社デンソー Obstacle notification device
DE102015015022A1 (en) 2015-11-20 2016-05-25 Daimler Ag Apparatus and method for determining wetness on a roadway
US9928427B2 (en) * 2015-12-03 2018-03-27 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire rearward splash
DE102016103251A1 (en) * 2016-02-24 2017-08-24 Bayerische Motoren Werke Aktiengesellschaft Method for operating at least one sensor for detecting the surroundings of a vehicle
DE102016009022A1 (en) 2016-07-23 2017-02-02 Daimler Ag Method for detecting wetness on a road
DE102016218238B3 (en) 2016-09-22 2017-07-06 Robert Bosch Gmbh Method and computing unit for detecting a wet or damp track and for object detection
JP6859073B2 (en) 2016-11-01 2021-04-14 株式会社デンソー Anomaly detection device
DE102016122987A1 (en) * 2016-11-29 2018-05-30 Valeo Schalter Und Sensoren Gmbh A method for anticipating determining a risk of aquaplaning for a motor vehicle, driver assistance system, motor vehicle and aquaplaning determination system
CN106600987A (en) * 2016-12-28 2017-04-26 北京博研智通科技有限公司 Intersection traffic signal control method and system having multi-dimensional detection function
DE102017206244A1 (en) * 2017-04-11 2018-10-11 Continental Teves Ag & Co. Ohg METHOD AND DEVICE FOR DETERMINING A TRAVEL CONDITION

Also Published As

Publication number Publication date
CN112997189A (en) 2021-06-18
JP2022509379A (en) 2022-01-20
DE102018218733A1 (en) 2020-04-30
JP7069425B2 (en) 2022-05-17
WO2020088829A1 (en) 2020-05-07
KR20210083303A (en) 2021-07-06
US11580752B2 (en) 2023-02-14
US20210124957A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
EP2651696B1 (en) Method for detecting a wet road
WO2019174682A1 (en) Method and device for detecting and evaluating roadway conditions and weather-related environmental influences
EP2581892B1 (en) Distance measuring system and method for measuring distance, in particular between a vehicle and its surroundings
DE102013112916A1 (en) Vehicle driving support control device
DE102012101453A1 (en) Vehicle driving support device
DE102009004626B4 (en) Device for monitoring the environment of a vehicle
EP3622709A1 (en) Method and apparatus for the spatially resolved detection of an object outside a vehicle with the aid of a sensor installed in a vehicle
DE102014009059A1 (en) Side-reverse alarm system for vehicles and alarm control procedures for this
DE102012111846A1 (en) Collision protection method for releasing warning signal and/or predetermined action for passenger car, involves determining time span in which object reaches local zone from relative speed of object and/or vehicle when path crosses zone
DE102020212799A1 (en) PERFORMING OBJECT AND ACTIVITY DETECTION BASED ON DATA FROM A CAMERA AND A RADAR SENSOR
WO2018059817A1 (en) Method for recognizing an object in an environment of a motor vehicle taking account of a variation of distance values of an ultrasonic sensor, control unit, driver assistance system, and motor vehicle
DE102015203845A1 (en) System and method for detecting a preceding vehicle using a sensor
DE102014106506A1 (en) Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
WO2018202552A1 (en) Method and device for classifying objects in the environment of a motor vehicle
DE102015009849A1 (en) Vehicle-type radar system and method of removing a target of no interest
DE102013202915A1 (en) Method for measuring parking space for parking assistance system of motor vehicle, involves determining free parking area within parking space depending on positions of two corners and detection of obstacles within two blind ranges
DE102012024959A1 (en) Method for operating vehicle e.g. passenger car, involves calculating position of object, and determining instantaneous detection area of sensor based on determined position of object when object is not detected by sensor
DE102021213900A1 (en) DEVICE AND METHOD FOR DETECTING BLOCKAGE OF RADAR SENSOR AND RADAR DEVICE
WO2015090691A1 (en) Method for generating a model of the surroundings of a motor vehicle, driver assistance system and motor vehicle
EP3874402A1 (en) Method for supporting camera-based environment recognition by a transportation means, using road-moisture information from a first ultrasonic sensor
WO2020182812A1 (en) Method for ascertaining the risk of an accident related to wetness for a means of transportation
DE102017122578A1 (en) Method for suppression of false detections, radar system and driver assistance system
DE102013022050A1 (en) Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle
DE102017118809B4 (en) Method for operating a sensor device of a motor vehicle, sensor device, driver assistance system and motor vehicle
DE102017115457A1 (en) Detecting a misalignment of a distance sensor based on a ratio of detection features

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210531

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230428

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230509