DE102021206656A1 - Method for a vehicle for detecting obstacles, computer program, storage medium and driver assistance system - Google Patents
Method for a vehicle for detecting obstacles, computer program, storage medium and driver assistance system Download PDFInfo
- Publication number
- DE102021206656A1 DE102021206656A1 DE102021206656.9A DE102021206656A DE102021206656A1 DE 102021206656 A1 DE102021206656 A1 DE 102021206656A1 DE 102021206656 A DE102021206656 A DE 102021206656A DE 102021206656 A1 DE102021206656 A1 DE 102021206656A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- trajectory
- filter
- area
- tube
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
Abstract
Verfahren für ein Fahrzeug 2 zur Detektion von Hindernissen 1, wobei für das Fahrzeug 2 basierend auf einem Fahrzustand des Fahrzeugs 2 eine Trajektorie 5 des Fahrzeugs 2 ermittelt wird, wobei basierend auf der Trajektorie 5 ein Fahrzeugtrajektorienschlauch 6 bestimmt wird, wobei ein Filterbereich ermittelt wird, wobei der Filterbereich den Fahrzeugtrajektorienschlauch 6 umfasst, wobei eine Fahrzeugumgebung sensortechnisch überwacht wird und Sensordaten bereitgestellt werden, wobei basierend auf den Sensordaten Umgebungsobjekte 8 detektiert werden,wobei die detektierten Umgebungsobjekte 8 basierend auf dem Filterbereich gefiltert werden, wobei Umgebungsobjekte 8, die einen Überlapp mit dem Filterbereich aufweisen als Hindernis 1 bewertet und/oder herausgefiltert werden.Method for a vehicle 2 for detecting obstacles 1, a trajectory 5 of the vehicle 2 being determined for the vehicle 2 based on a driving state of the vehicle 2, a vehicle trajectory tube 6 being determined based on the trajectory 5, a filter area being determined, wherein the filter area includes the vehicle trajectory tube 6, wherein a vehicle environment is monitored by sensors and sensor data is provided, with surrounding objects 8 being detected based on the sensor data, with the detected surrounding objects 8 being filtered based on the filter area, with surrounding objects 8 that overlap with the Have filter area rated as obstacle 1 and/or filtered out.
Description
Stand der TechnikState of the art
Die Erfindung betrifft ein Verfahren zur Detektion von Hindernissen für ein Fahrzeug, wobei eine Fahrzeugumgebung sensortechnisch überwacht wird und Sensordaten bereitgestellt werden, wobei basierend auf den Sensordaten Umgebungsobjekte detektiert werden.The invention relates to a method for detecting obstacles for a vehicle, with a vehicle environment being monitored by sensors and sensor data being provided, with surrounding objects being detected based on the sensor data.
Verfahren und Vorrichtungen zur Erkennung von Objekten in einer Fahrzeugumgebung sind im Stand der Technik bekannt. Anwendung finden diese im PKW-Bereich, Lkw-Bereich, Landmaschinenbereich aber auch im industriellen Umfeld, beispielsweise für autonom fahrende Förderanlagen in Fertigung, Produktion und/oder Bearbeitung.Methods and devices for detecting objects in a vehicle environment are known in the prior art. These are used in the passenger car sector, truck sector, agricultural machinery sector but also in the industrial environment, for example for autonomously moving conveyor systems in manufacturing, production and/or processing.
Beispielsweise beschreibt die Druckschrift
Offenbarung der ErfindungDisclosure of Invention
Es wird ein Verfahren für ein Fahrzeug zur Detektion von Hindernissen mit den Merkmalen des Anspruchs 1 vorgeschlagen. Ferner wird ein Computerprogramm, ein Speichermedium und Fahrassistenzsystem vorgeschlagen. Bevorzugte und/oder vorteilhafte Ausführungen ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren.A method for a vehicle for detecting obstacles with the features of claim 1 is proposed. Furthermore, a computer program, a storage medium and a driver assistance system are proposed. Preferred and/or advantageous embodiments result from the dependent claims, the description and the accompanying figures.
Die Erfindung betrifft ein Verfahren für ein Fahrzeug zur Detektion von Hindernissen. D.h., mit anderen Worten, dass die Erfindung ein Verfahren zur Detektion von Hindernissen, welche Hindernisse für ein Fahrzeug sind, betrifft. Das Verfahren kann insbesondere softwareimplementiert ausgeführt sein. Beispielsweise ist das Verfahren für ein Fahrassistenzsystem des Fahrzeugs. Mittels des Verfahrens sollen beispielsweise als Hindernisse solche Objekte ermittelt werden, für die eine Kollisionsgefahr für das Fahrzeug angenommen werden kann. Insbesondere sollen hierbei als Hindernisse nur die Objekte als relevant bzw. Hindernis detektiert werden, die tatsächlich kollisionsgefährdet für das Fahrzeug sind und sich nicht nur in einem abstandsbasierten Umkreis des Fahrzeugs befinden. Das Fahrzeug kann beispielsweise ein PKW, ein Lkw, eine Landmaschine, beispielsweise Traktor, und/oder ein Industriefahrzeug, beispielsweise Roboter oder Niederflurfahrzeug bilden.The invention relates to a method for a vehicle for detecting obstacles. That is, in other words, the invention relates to a method for detecting obstacles which are obstacles for a vehicle. The method can, in particular, be software-implemented. For example, the method is for a driver assistance system of the vehicle. By means of the method, such objects are to be determined as obstacles, for example, for which a risk of collision for the vehicle can be assumed. In particular, only those objects should be detected as relevant or obstacles that are actually at risk of collision for the vehicle and are not only located in a distance-based area around the vehicle. The vehicle can be, for example, a passenger car, a truck, an agricultural machine, for example a tractor, and/or an industrial vehicle, for example a robot or a low-floor vehicle.
Basierend auf einem Fahrzustand des Fahrzeugs wird eine Trajektorie des Fahrzeugs ermittelt. Insbesondere wird der Fahrzustand regelmäßig erfasst und/oder aktualisiert. Der Fahrzustand umfasst und/oder beschreibt beispielsweise Bewegungsgrößen, klimatische Größen, geometrische Größen und/oder eine Routenplanung des Fahrzeugs. Die Trajektorie ist insbesondere als ein Weg und/oder Pfad des Fahrzeugs zu verstehen, wobei dieser eine zweidimensionale oder dreidimensionale Größe ist. Die Trajektorie ist beispielsweise eine Planung und/oder ein Extrapolieren des zu erwartenden Wegs und/oder Pfades des Fahrzeugs ausgehend von der aktuellen Position und/oder Lage, insbesondere unter Annahme, dass der Fahrzeugzustand und/oder deren Parameter weiterhin eingenommen werden.A trajectory of the vehicle is determined based on a driving state of the vehicle. In particular, the driving status is regularly recorded and/or updated. The driving state includes and/or describes, for example, movement variables, climatic variables, geometric variables and/or route planning for the vehicle. The trajectory is to be understood in particular as a route and/or path of the vehicle, this being a two-dimensional or three-dimensional variable. The trajectory is, for example, a planning and/or an extrapolation of the route and/or path of the vehicle to be expected, starting from the current position and/or situation, in particular assuming that the vehicle state and/or its parameters continue to be assumed.
Basierend auf der Trajektorie wird ein Fahrzeugtrajektorienschlauch bestimmt. Der Fahrzeugtrajektorienschlauch verläuft insbesondere in Fahrtrichtung. Der Fahrzeugtrajektorienschlauch bildet beispielsweise die Trajektorie eines ausgedehnten Objekts, insbesondere in zwei oder drei Dimensionen. Der Fahrzeugschlauch kann flächig ausgebildet sein, alternativ ist der Fahrzeugschlauch ein dreidimensionaler Schlauch um die Trajektorie. Der Fahrzeugtrajektorienschlauch bildet beispielsweise eine Hülle und/oder Zone um die Trajektorie. Insbesondere wird der Fahrzeugtrajektorienschlauch basierend auf dem Fahrzeugzustand bestimmt.A vehicle trajectory tube is determined based on the trajectory. The vehicle trajectory hose runs in particular in the direction of travel. The vehicle trajectory hose forms, for example, the trajectory of an extended object, in particular in two or three dimensions. The vehicle hose can be flat, alternatively the vehicle hose is a three-dimensional hose around the trajectory. The vehicle trajectory hose forms, for example, an envelope and/or zone around the trajectory. In particular, the vehicle trajectory tube is determined based on the vehicle condition.
Es wird ein Filterbereich ermittelt, wobei der Filterbereich insbesondere basierend auf dem Fahrzeugterritorienschlauch und/oder der Trajektorie ermittelt wird. Der Filterbereich umfasst den Fahrzeugtrajektorienschlauch. Der Filterbereich ist ein flächiger oder dreidimensionaler Abschnitt und/oder Bereich. Der Filterbereich ist insbesondere zur Unterscheidung, ob ein Objekt ein Hindernis oder ein ungefährliches Objekt, nicht Hindernis, bildet. Insbesondere ist der Filterbereich nicht ein reiner und/oder fester Bereich um das Fahrzeug, beispielsweise mit konstanten Abständen, sondern dynamisch und/oder abhängig von der Fahrzeugbewegung, dem Fahrzustand, der Trajektorie und/oder dem Fahrzeugtrajektorienschlauch.A filter area is determined, the filter area being determined in particular on the basis of the vehicle territory hose and/or the trajectory. The filter area includes the vehicle trajectory hose. The filter area is a flat or three-dimensional section and/or area. The filter area is in particular for distinguishing whether an object forms an obstacle or a non-hazardous object, not an obstacle. In particular, the filter area is not a pure and/or fixed area around the vehicle, for example with constant distances, but is dynamic and/or dependent on the vehicle movement, the driving condition, the trajectory and/or the vehicle trajectory tube.
Eine Fahrzeugumgebung wird sensortechnisch überwacht. Die Fahrzeugumgebung ist beispielsweise eine Umgebung des Fahrzeugs, insbesondere in Fahrtrichtung. Insbesondere kann die Fahrzeugumgebung eine 360° Umgebung um das Fahrzeug bilden und/oder beschreiben. Die sensortechnische Überwachung erfolgt mit mindestens einem Sensor, vorzugsweise mindestens einer Kamera. Alternativ und/oder ergänzend umfassen die Sensoren zur sensortechnischen Überwachung einen Ultraschall, Radar, optischen oder anderweitigen Sensor. Insbesondere können die Sensoren zur sensortechnischen Überwachung Teil eines Fahrassistenzsystems, beispielsweise einer Parkhilfe, Abstandshaltungssystem und/oder Schildererkennung darstellen. Es werden Sensordaten bereitgestellt, wobei die Sensordaten die sensortechnische Überwachung der Fahrzeugumgebung umfassen und/oder beschreiben. Beispielsweise umfassen die Sensordaten Bilddaten, insbesondere Bilder, der Fahrzeugumgebung. Basierend auf den Sensordaten, insbesondere einer Auswertung der Sensordaten, werden Umgebungsobjekte detektiert. Auf die Sensordaten wird beispielsweise eine Objekterkennung angewendet. Die Objekterkennung kann eine Bilderkennung und/oder Bildauswertung umfassen. Insbesondere erfolgt die Detektion der Umgebungsobjekte unabhängig von der Trajektorie, dem Fahrzeugtrajektorienschlauch und/oder dem Filterbereich.A vehicle environment is monitored by sensors. The vehicle environment is, for example, an environment of the vehicle, in particular in the direction of travel. In particular, the vehicle environment can form and/or describe a 360° environment around the vehicle. The sensor-based monitoring is carried out with at least one sensor, preferably at least one camera. Alternatively and/or additionally, the sensors for sensor-based monitoring include an ultrasound, radar, optical or other sensor. In particular, the sensors for represent sensor-based monitoring part of a driver assistance system, such as a parking aid, distance control system and / or sign recognition. Sensor data are provided, the sensor data including and/or describing the sensor-based monitoring of the vehicle environment. For example, the sensor data includes image data, in particular images, of the vehicle surroundings. Surrounding objects are detected based on the sensor data, in particular an evaluation of the sensor data. For example, object recognition is applied to the sensor data. Object recognition can include image recognition and/or image analysis. In particular, the detection of the surrounding objects takes place independently of the trajectory, the vehicle trajectory tube and/or the filter area.
Die detektierten Umgebungsobjekte werden gefiltert. Das Filtern der Umgebungsobjekte erfolgt basierend und/oder mittels des Filterbereichs. Dabei werden Umgebungsobjekte, die eine Überlappung mit dem Filterbereich aufweisen als Hindernis bewertet und/oder herausgefiltert. Umgebungsobjekte ohne eine Überlappung mit dem Filterbereich werden nicht als Hindernis bewertet und/oder verworfen. Die Überlappung kann als eine vollständige Überlappung gefordert sein oder als teilweise Überlappung, so dass Umgebungsobjekte im Randbereich des Filterbereichs mit nur geringer Überlappung ebenfalls als Hindernis bewertet werden. Das Filtern der Umgebungsobjekte dient dem Ausfiltern von ungefährlichen Objekten in der Fahrzeugumgebung, so dass ein Fahrer nur tatsächlich relevante Objekte als Hindernis angezeigt und/oder signalisiert erhält und detektierte Objekte, die kein Hindernis bilden und/oder ungefährlich für den weiteren Fahrzeugweg sind, nicht zu einer Alarmierung und/oder Störung des Fahrers führen.The detected surrounding objects are filtered. The environmental objects are filtered based on and/or by means of the filter area. Surrounding objects that overlap with the filter area are evaluated as obstacles and/or filtered out. Environment objects without an overlap with the filter area are not evaluated as obstacles and/or are discarded. The overlap can be required as a complete overlap or as a partial overlap, so that surrounding objects in the edge area of the filter area with only a small overlap are also evaluated as obstacles. The filtering of the surrounding objects is used to filter out harmless objects in the vehicle environment, so that a driver only actually relevant objects are displayed and/or signaled as obstacles and detected objects that do not form an obstacle and/or are harmless for the further vehicle path are not lead to an alarm and/or disruption of the driver.
Hierbei kann bevorzugt bei der Detektion eines Hindernisses im Fahrzeugtrajektorienschlauch das Fahrzeug verzögert oder der geplante Fahrzeugtrajektorienschlauch so angepasst werden, dass er um das erfasste Hindernis herumgeführt wird. Alternativ oder zusätzlich kann das gefilterte Hindernis an einer Anzeigeeinheit angezeigt werden.When an obstacle is detected in the vehicle trajectory tube, the vehicle can be decelerated or the planned vehicle trajectory tube can be adjusted in such a way that it is guided around the detected obstacle. Alternatively or additionally, the filtered obstacle can be displayed on a display unit.
Es wird somit ein Verfahren vorgeschlagen, das der Bedienung eines Fahrzeugs, insbesondere einer Arbeitsmaschine, nur durch die wirklich wesentlichen Hindernisse bezüglich einer Kollision mit dem Fahrzeugtrajektorienschlauch hingewiesen wird. Insbesondere kann so ein Abschalten des Systems aufgrund zu vieler Warnungen und/oder Verwirrung des Bedienenden und/oder Fahrers vermieden werden, sodass die Benutzerfreundlichkeit erhöht wird und die Sicherheit der Fahrzeugbedienung und/oder Fahrzeugführung erhöht wird.A method is thus proposed which only alerts the operator of a vehicle, in particular a working machine, to the actually significant obstacles with regard to a collision with the vehicle trajectory tube. In particular, switching off the system due to too many warnings and/or confusion of the operator and/or driver can be avoided in this way, so that the user-friendliness is increased and the safety of the vehicle operation and/or vehicle guidance is increased.
Insbesondere ist es vorgesehen, dass als Fahrzeugtrajektorienschlauch ein extrapolierter Bereich bestimmt wird. Insbesondere ist als Extrapolation ein geschätzter Pfad und/oder das Annehmen der weiteren Entwicklung des physikalischen, kinematischen Fahrzeugsystems und/oder der Fahrzeugbewegungen in der Zukunft verstanden, unter Annahme des Beibehaltens des Fahrzustandes, beispielsweise Geschwindigkeit, Lenkwinkel und/oder Route. Beispielsweise wird als Fahrzeugtrajektorienschlauch der Bereich, Fläche oder Raum, verstanden, der sich ergibt, wenn angenommen wird, dass der Fahrzustand und/oder Fahrzeugbewegung des Fahrzeugs beibehalten wird. Der Fahrzeugtrajektorienschlauch ist beispielsweise der Bereich der Fahrzeugumgebung, der von dem Fahrzeug bei Beibehalten des Fahrzustands überstrichenen und/oder abgefahren wird.In particular, it is provided that an extrapolated area is determined as the vehicle trajectory tube. In particular, an estimated path and/or the assumption of further development of the physical, kinematic vehicle system and/or the vehicle movements in the future is understood as an extrapolation, assuming that the driving state, for example speed, steering angle and/or route, will be maintained. For example, the area, surface or space that results when it is assumed that the driving state and/or vehicle movement of the vehicle is maintained is understood to be the vehicle trajectory tube. The vehicle trajectory tube is, for example, the area of the vehicle environment that is swept over and/or traveled by the vehicle while maintaining the driving state.
Optional ist es vorgesehen, dass basierend auf der Trajektorie und/oder basierend auf dem Fahrzeugtrajektorienschlauch ein Pufferbereich ermittelt wird. Insbesondere kann es vorgesehen sein eine Mehrzahl an Pufferbereichen, beispielsweise einen ersten, zweiten und/oder weitere Pufferbereiche zu ermitteln. Der Pufferbereich bildet eine Erweiterung des Fahrzeugtrajektorienschlauches. Die Erweiterung kann eine zweidimensionale, flächige Erweiterung, oder eine dreidimensionale, räumliche und/oder volumenförmige Erweiterung bilden. Die Erweiterung erfolgt beispielsweise durch Ergänzen des Fahrzeugtrajektorienschlauchs mit konstanter Erweiterung, beispielsweise Abstand, oder abhängig von der Lage und/oder Position im Fahrzeugtrajektorienschlauch. Der Pufferbereich und/oder die Erweiterung ist insbesondere so gewählt, dass Umgebungsobjekte mit einer Überlappung mit dem Pufferbereich ebenfalls als Hindernisse detektiert werden sollen und/oder bewertet werden sollen. Insbesondere umfasst der Filterbereich den Pufferbereich. Der Pufferbereich kann somit beispielsweise als eine Erweiterung des Fahrzeugtrajektorienschlauchs verstanden werden, für die Umgebungsobjekte potenziell zu einer Kollision führen können, jedoch ungefährlicher und/oder unrelevanter sind als Objekte im Fahrzeugtrajektorienschlauch.Provision is optionally made for a buffer area to be determined based on the trajectory and/or based on the vehicle trajectory tube. In particular, it can be provided to determine a plurality of buffer areas, for example a first, second and/or further buffer areas. The buffer area forms an extension of the vehicle trajectory tube. The extension can form a two-dimensional, two-dimensional extension, or a three-dimensional, spatial and/or volume-shaped extension. The extension takes place, for example, by supplementing the vehicle trajectory tube with a constant extension, for example distance, or depending on the location and/or position in the vehicle trajectory tube. The buffer area and/or the extension is selected in particular in such a way that surrounding objects with an overlap with the buffer area should also be detected as obstacles and/or should be evaluated. In particular, the filter area includes the buffer area. The buffer area can thus be understood, for example, as an extension of the vehicle trajectory tube, for which surrounding objects can potentially lead to a collision, but are less dangerous and/or irrelevant than objects in the vehicle trajectory tube.
Besonders bevorzugt ist es, dass die Erweiterung des Fahrzeugtrajektorienschlauchs zum Pufferbereich richtungsabhängig, fahrerabhängig und/oder einsatzabhängig ausgebildet ist und/oder erfolgt. Beispielsweise kann die Erweiterung in Fahrtrichtung größer gewählt sein als nach links und/oder rechts, oder die Erweiterung nach rechts besser gewählt sein als nach links, beispielsweise bei Annahme des Rechtsverkehrs. Ferner kann beispielsweise die Erweiterung fahrerabhängig sein, beispielsweise kann ein Fahrer eine größere Erweiterung wählen zur Erhöhung der Sicherheit oder eine geringere Erweiterung zur Reduktion der Anzahl an Hindernissen und/oder Alarmierung. Im Speziellen kann die Erweiterung einsatzabhängig ausgebildet sein, beispielsweise für ein Fahrzeug mit Anhänger größer als für ein Fahrzeug ohne Anhänger.It is particularly preferred that the widening of the vehicle trajectory hose to the buffer area is and/or takes place depending on the direction, driver and/or use. For example, the extension in the direction of travel can be selected to be greater than to the left and/or right, or the extension to the right can be selected better than to the left, for example when traffic is assumed to be on the right. Furthermore, the extension can be driver-dependent, for example, a driver can select a larger extension to increase safety or a smaller extension to reduce the number of obstacles sen and/or alarm. In particular, the expansion can be designed depending on the application, for example larger for a vehicle with a trailer than for a vehicle without a trailer.
Besonders bevorzugt ist es, dass basierend auf der Trajektorie und/oder dem Fahrzeugtrajektorienschlauch der Pufferbereich und ein weiterer Pufferbereich ermittelt wird. Der weitere Pufferbereich ist beispielsweise eine Erweiterung des Fahrzeugtrajektorienschlauchs mit einer anders gewählten Erweiterung und/oder einer Erweiterung des Pufferbereichs. Beispielsweise kann so eine gestufte Detektion und/oder Filterung von Umgebungsobjekten erfolgen. Beispielsweise können so Umgebungsobjekte mit einer Überlappung mit dem weiteren Pufferbereich als weniger gefährliche Hindernisse, Umgebungsobjekte mit einer Überlappung mit dem Pufferbereich als potentielle Hindernisse und Umgebungsobjekte mit einer Überlappung mit dem Fahrzeugtrajektorienschlauch als Hindernis bewertet und/oder herausgefiltert werden. Insbesondere umfasst der Filterbereich den weiteren Pufferbereich.It is particularly preferred that the buffer area and a further buffer area are determined based on the trajectory and/or the vehicle trajectory tube. The additional buffer area is, for example, an extension of the vehicle trajectory tube with a different selected extension and/or an extension of the buffer area. For example, a stepped detection and/or filtering of surrounding objects can take place in this way. For example, surrounding objects that overlap with the wider buffer area can be evaluated and/or filtered out as less dangerous obstacles, surrounding objects that overlap with the buffer area as potential obstacles, and surrounding objects that overlap with the vehicle trajectory tube as obstacles. In particular, the filter area includes the further buffer area.
Eine Ausgestaltung der Erfindung sieht vor, dass die Sensordaten Überwachungsbilder, kurz Bilder, der Fahrzeugumgebung umfassen. Beispielsweise umfasst das Fahrzeug mindestens eine, vorzugsweise eine Mehrzahl an Kameras. Die Überwachungsbilder zeigen beispielsweise die Umgebung des Fahrzeugs in Fahrtrichtung, nach links, nach rechts und/oder gegen die Fahrtrichtung. Die Umgebungsobjekte werden basierend auf den Überwachungsbildern detektiert, beispielsweise wird eine Bilderkennung, Bildauswertung und/oder Objekterkennung auf die Überwachungsbilder angewendet. Insbesondere kann die Detektion der Umgebungsobjekte basierend auf den Sensordaten, insbesondere den Überwachungsbildern, eine Mindestausdehnung und/oder Mindestgröße für die Umgebungsobjekte fordern und/oder eine Objektklassifizierung umfassen, sodass beispielsweise eine Vorfilterung für die Umgebungsobjekte erfolgt.One embodiment of the invention provides for the sensor data to include surveillance images, or images for short, of the vehicle's surroundings. For example, the vehicle includes at least one, preferably a plurality of cameras. The surveillance images show, for example, the surroundings of the vehicle in the direction of travel, to the left, to the right and/or against the direction of travel. The surrounding objects are detected based on the surveillance images, for example image recognition, image analysis and/or object recognition is applied to the surveillance images. In particular, the detection of the surrounding objects based on the sensor data, in particular the surveillance images, can require a minimum extension and/or minimum size for the surrounding objects and/or include an object classification, so that a pre-filtering for the surrounding objects takes place, for example.
Besonders bevorzugt ist es, dass die Detektion der Objekte mittels eines neuronalen Netzes, vorzugsweise einem CNN (convolutional neuronal network) und/oder einem Algorithmus des maschinellen Lernens erfolgt. Besonders bevorzugt umfassen die Sensordaten Ultraschallmessungen und/oder Radarmessungen, beispielsweise eine Abstandsmessung und/oder Geschwindigkeitsmessung.It is particularly preferred that the objects are detected by means of a neural network, preferably a CNN (convolutional neural network) and/or a machine learning algorithm. The sensor data particularly preferably include ultrasonic measurements and/or radar measurements, for example a distance measurement and/or speed measurement.
Der Fahrzustand umfasst und/oder beschreibt insbesondere eine Fahrtrichtung, beispielsweise vorwärts, rückwärts, geradeaus, omnidirektional und/oder Kurve. Insbesondere umfasst der Fahrzustand eine Fahrtgeschwindigkeit und/oder Beschleunigung, beispielsweise Bremsen oder Beschleunigen. Die Fahrgeschwindigkeit kann als eine skalare oder vektorielle Größe vom Fahrzustand umfasst sein. Insbesondere umfasst der Fahrzustand einen Lenkwinkel und/oder ein Lenkwinkelsignal, beispielsweise Lenkradeinschlag, Kurvenradius und/oder Radstellung. Der Fahrzustand und/oder die vom Fahrzustand umfassten Größen, insbesondere Fahrtrichtung, Fahrgeschwindigkeit und/oder Lenkwinkel, sind und/oder werden vorzugsweise mittels eines Sensors bestimmt, beispielsweise Raddrehzahlsensor, Lenkwinkelsensor, Sensor zur Bestimmung des Lenkradeinschlags und/oder Gangwahl. Alternativ und/oder ergänzend wird der Fahrzustand basierend auf den Sensordaten, im Speziellen den Überwachungsbildern der Ultraschallmessung und/oder der Radarmessung, ermittelt.The driving state includes and/or describes in particular a direction of travel, for example forwards, backwards, straight ahead, omnidirectionally and/or around a curve. In particular, the driving state includes a driving speed and/or acceleration, for example braking or accelerating. The driving speed can be included in the driving state as a scalar or vector variable. In particular, the driving state includes a steering angle and/or a steering angle signal, for example the steering wheel angle, curve radius and/or wheel position. The driving condition and/or the variables included in the driving condition, in particular the direction of travel, driving speed and/or steering angle, are and/or are preferably determined by means of a sensor, for example a wheel speed sensor, steering angle sensor, sensor for determining the steering wheel angle and/or gear selection. Alternatively and/or additionally, the driving condition is determined based on the sensor data, specifically the monitoring images of the ultrasonic measurement and/or the radar measurement.
Beispielsweise wird die Fahrgeschwindigkeit und/oder der Lenkwinkel basierend auf einer Bildauswertung der Überwachungsbilder bestimmt. Beispielsweise werden hierzu Flussvektoren und/oder ein Flussfeld des optischen Flusses der Überwachungsbilder und/oder basierend auf den Überwachungsbildern bestimmt, wobei basierend auf dem Flussfeld und/oder dem ermittelten optischen Fluss die Fahrgeschwindigkeit und/oder der Lenkwinkel ermittelt wird.For example, the driving speed and/or the steering angle is determined based on an image analysis of the surveillance images. For example, flow vectors and/or a flow field of the optical flow of the surveillance images and/or based on the surveillance images are determined for this purpose, the driving speed and/or the steering angle being determined based on the flow field and/or the ascertained optical flow.
Besonders bevorzugt ist es, dass der Fahrzeugtrajektorienschlauch basierend auf einer Fahrzeuggeometrie bestimmt und/oder ermittelt wird. Beispielsweise wird als Fahrzeuggeometrie eine Projektion des Fahrzeugs in einer Draufsicht von oben auf den Boden und/oder die Straße verstanden. Die Fahrzeuggeometrie umfasst vorzugsweise eine Fahrzeugkontur. Die Fahrzeuggeometrie kann insbesondere eine dreidimensionale Größe bilden, beispielsweise ein dreidimensionales Modell des Fahrzeugs. Beispielsweise wird der Fahrzeugtrajektorienschlauch basierend auf dem Abfahren der Trajektorie mittels der Fahrzeuggeometrie bestimmt, beispielsweise als der Bereich, Fläche und/oder Volumen, dass bei Bewegung des Fahrzeugs mit der Fahrzeuggeometrie entlang der Trajektorier abgefahren, überdeckt wird und/oder sich ergibt.It is particularly preferred that the vehicle trajectory tube is determined and/or ascertained based on a vehicle geometry. For example, vehicle geometry is understood to mean a projection of the vehicle in a plan view from above onto the ground and/or the road. The vehicle geometry preferably includes a vehicle contour. The vehicle geometry can in particular form a three-dimensional variable, for example a three-dimensional model of the vehicle. For example, the vehicle trajectory tube is determined based on following the trajectory using the vehicle geometry, for example as the area, area and/or volume that is covered and/or results when the vehicle moves with the vehicle geometry along the trajectory.
Eine Ausgestaltung der Erfindung sieht vor, dass Hindernisse einem Benutzer optisch, akustisch und/oder haptisch signalisiert werden. Beispielsweise kann ein Warnsignal für ein Hindernis ausgegeben werden oder eine Vibration, beispielsweise am Lenkrad. Optisch wird das Hindernis beispielsweise an einer Anzeige, vorzugsweise einem Bildschirm, ausgegeben. Hindernisse können dabei farbig hinterlegt und/oder farbig angezeigt werden, vorzugsweise mit einer Signalfarbe wie Rot. Besonders bevorzugt erfolgt die grafische, akustische und/oder haptische Signalisierung der Hindernisse abstandsabhängig. Abstandsabhängig meint hier beispielsweise den Abstand des Hindernisses vom Fahrzeug zum aktuellen Zeitpunkt. Beispielsweise werden so Hindernisse in einem Nahbereich auffällig signalisiert, beispielsweise durch Zunahme der Signalfarbe, Intensität des akustischen Signals und/oder des optischen Signals, wobei weiter entfernte Hindernisse weniger stark signalisiert werden. Beispielsweise wird hierzu basierend auf dem Fahrzustand und/oder den Sensordaten ein Abstand des jeweiligen Hindernisses ermittelt. Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm zur Ausführung auf einem Computer, einem Rechner, einem Fahrassistenzsystem und/oder einem Bordcomputer eines Fahrzeugs. Das Computerprogramm ist ausgebildet das Verfahren zur Detektion von Hindernissen auszuführen, anzuwenden und/oder zu unterstützen.One embodiment of the invention provides that obstacles are signaled to a user optically, acoustically and/or haptically. For example, a warning signal for an obstacle can be output or a vibration, for example on the steering wheel. The obstacle is output optically, for example, on a display, preferably a screen. Obstacles can be given a colored background and/or displayed in color, preferably with a signal color such as red. The obstacles are particularly preferably signaled graphically, acoustically and/or haptically distance dependent. Distance-dependent means here, for example, the distance of the obstacle from the vehicle at the current time. For example, obstacles in a close-up area are signaled conspicuously, for example by increasing the signal color, intensity of the acoustic signal and/or the optical signal, with obstacles that are further away being signaled less strongly. For example, based on the driving condition and/or the sensor data, a distance from the respective obstacle is determined for this purpose. A further subject matter of the invention is a computer program for execution on a computer, a calculator, a driver assistance system and/or an on-board computer of a vehicle. The computer program is designed to execute, use and/or support the method for detecting obstacles.
Einen weiteren Gegenstand der Erfindung bildet ein Speichermedium, insbesondere ein maschinenlesbares Speichermedium, wobei auf dem Speichermedium das Computerprogramm gespeichert ist.A further object of the invention is a storage medium, in particular a machine-readable storage medium, the computer program being stored on the storage medium.
Einen weiteren Gegenstand bildet ein Fahrassistenzsystem für ein Fahrzeug, insbesondere für einen PKW, einen Lkw, ein Landmaschinenfahrzeug und/oder ein Fahrzeug der Produktion, Fabrikation und/oder Bearbeitung. Das Fahrassistenzsystem ist ausgebildet einen Fahrzustand des Fahrzeugs zu ermitteln und/oder bereitgestellt zu erhalten. Das Fahrassistenzsystem umfasst ein Auswertemodul, wobei das Auswertemodul ausgebildet ist, eine Trajektorie des Fahrzeugs basierend auf dem Fahrzustand zu ermitteln. Das Auswertemodul ist ausgebildet, basierend auf der Trajektorie einen Fahrzeugtrajektorienschlauch zu bestimmen. Das Auswertemodul ist ausgebildet, einen Filterbereich zu ermitteln, wobei der Filterbereich den Fahrzeugtrajektorienschlauch umfasst und beispielsweise einen Pufferbereich. Das Fahrassistenzsystem ist ausgebildet, Sensordaten bereitgestellt zu erhalten. Die Sensordaten umfassen eine sensortechnische Überwachung der Fahrzeugumgebung, insbesondere Überwachungsbilder. Das Auswertemodul ist ausgebildet, basierend auf den Sensordaten Umgebungsobjekte zu detektieren. Das Auswertemodul umfasst eine Filtereinheit, wobei die Filtereinheit ausgebildet ist, basierend auf dem Filterbereich die detektierten Umgebungsobjekte zu filtern, wobei Umgebungsobjekte die eine Überlappung mit dem Filterbereich aufweisen als Hindernisse bewertet werden und/oder herausgefiltert werden.A further object is a driver assistance system for a vehicle, in particular for a passenger car, a truck, an agricultural vehicle and/or a vehicle for production, manufacture and/or processing. The driver assistance system is designed to determine and/or receive a driving state of the vehicle. The driver assistance system includes an evaluation module, the evaluation module being designed to determine a trajectory of the vehicle based on the driving state. The evaluation module is designed to determine a vehicle trajectory tube based on the trajectory. The evaluation module is designed to determine a filter area, the filter area including the vehicle trajectory tube and, for example, a buffer area. The driver assistance system is designed to receive sensor data provided. The sensor data include sensor-based monitoring of the vehicle surroundings, in particular surveillance images. The evaluation module is designed to detect surrounding objects based on the sensor data. The evaluation module includes a filter unit, the filter unit being designed to filter the detected surrounding objects based on the filter range, with surrounding objects that overlap with the filter range being assessed as obstacles and/or being filtered out.
Weitere Vorteile, Wirkungen und Ausgestaltungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:
-
1 schematisch ein Fahrzeug mit Filterbereich; -
2 Ausführungsbeispiel eines Fahrzeugs mit Filterbereich und Alarmierungsbereich; -
3a, b ,c beispielhafte Konstruktion eines Fahrzeugtrajektorienschlauchs; -
4a, b Fahrzeugtrajektorienschläuche für Fahrtrichtung vorwärts und rückwärts.
-
1 schematic of a vehicle with a filter area; -
2 Embodiment of a vehicle with filter area and alarm area; -
3a, b ,c exemplary construction of a vehicle trajectory tube; -
4a, b Vehicle trajectory hoses for forward and reverse direction of travel.
Das Fahrzeug 2 umfasst Fahrzeugelektronik und/oder ein Fahrassistenzsystem, beispielsweise eine Kamera zur Aufnahme von Überwachungsbildern, einen Ultraschall oder Radarsensor zur Abstandsmessung und/oder weitere Sensoren. Die Sensoren und/oder die Kamera stellen Sensordaten bereit. Das Fahrzeug 2 weist beispielsweise ein Auswertemodul auf, wobei das Auswertemodul basierend auf den Sensordaten, insbesondere den Überwachungsbildern Umgebungsobjekte 8 detektiert. Beispielsweise werden Bäume, Passanten, weitere Verkehrsteilnehmer und/oder Straßenschilder als Umgebungsobjekte 8 erkannt. Basierend auf dem Filterbereich werden die detektierten Umgebungsobjekte 8 gefiltert, wobei das Filtern beispielsweise als ein Herausfiltern von Hindernissen 1 aus den detektierten Objekten 8 bildet. Hierbei werden Umgebungsobjekte 8 dann als Hindernis 1 bewertet und/oder herausgefiltert, wenn diese eine Überlappung mit dem Filterbereich aufweisen, mit anderen Worten im Filterbereich liegen. Die detektierten Hindernisse 1 können dem Bedienenden angezeigt, signalisiert und mitgeteilt werden, insbesondere in Form von Warnungen.The
Die
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- WO 2020065525 A1 [0003]WO 2020065525 A1 [0003]
Claims (15)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021206656.9A DE102021206656A1 (en) | 2021-06-28 | 2021-06-28 | Method for a vehicle for detecting obstacles, computer program, storage medium and driver assistance system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021206656.9A DE102021206656A1 (en) | 2021-06-28 | 2021-06-28 | Method for a vehicle for detecting obstacles, computer program, storage medium and driver assistance system |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021206656A1 true DE102021206656A1 (en) | 2022-12-29 |
Family
ID=84388741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021206656.9A Pending DE102021206656A1 (en) | 2021-06-28 | 2021-06-28 | Method for a vehicle for detecting obstacles, computer program, storage medium and driver assistance system |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102021206656A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015121353A1 (en) | 2015-12-08 | 2017-06-08 | Valeo Schalter Und Sensoren Gmbh | Method for detecting a possible collision between a motor vehicle and an object taking into account a spatial uncertainty, control device, driver assistance system and motor vehicle |
DE102018104986A1 (en) | 2018-03-05 | 2019-09-05 | Jungheinrich Aktiengesellschaft | Method for operating an industrial truck |
WO2020065525A1 (en) | 2018-09-24 | 2020-04-02 | C.R.F. Societa' Consortile Per Azioni | Automotive driver assistance |
DE102019105547A1 (en) | 2019-03-05 | 2020-09-10 | Bayerische Motoren Werke Aktiengesellschaft | Method and control unit for recognizing a vehicle entering or exiting |
-
2021
- 2021-06-28 DE DE102021206656.9A patent/DE102021206656A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015121353A1 (en) | 2015-12-08 | 2017-06-08 | Valeo Schalter Und Sensoren Gmbh | Method for detecting a possible collision between a motor vehicle and an object taking into account a spatial uncertainty, control device, driver assistance system and motor vehicle |
DE102018104986A1 (en) | 2018-03-05 | 2019-09-05 | Jungheinrich Aktiengesellschaft | Method for operating an industrial truck |
WO2020065525A1 (en) | 2018-09-24 | 2020-04-02 | C.R.F. Societa' Consortile Per Azioni | Automotive driver assistance |
DE102019105547A1 (en) | 2019-03-05 | 2020-09-10 | Bayerische Motoren Werke Aktiengesellschaft | Method and control unit for recognizing a vehicle entering or exiting |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2888556B1 (en) | Method and device for determining a vehicle position in a mapped environment | |
DE102015100316B4 (en) | Planning device for a sideways maneuver for an automated driving system | |
DE102008036009B4 (en) | Method for collision protection of a motor vehicle and parking garage assistant | |
EP3177498B1 (en) | Method for generating a map of surroundings of an area of the surroundings of a motor vehicle, driver assistance system and motor vehicle | |
DE102019103352A1 (en) | TRAJECTOR PUBLIC TRACKING FOR VEHICLE PAGE CONTROL USING A NEURONAL NETWORK | |
DE102009006113B4 (en) | Device and method for sensor fusion with dynamic objects | |
EP3401190B1 (en) | Method for operating a driver assistance system of a motor vehicle in order to manoeuvre the motor vehicle in a drivable area, driver assistance system and motor vehicle | |
DE102018120841A1 (en) | METHOD AND DEVICE FOR MONITORING AN AUTONOMOUS VEHICLE | |
DE102019124152A1 (en) | CLUTCH SUPPORT SYSTEM | |
DE102018120789A1 (en) | Method and device for monitoring an autonomous vehicle | |
DE102009016562A1 (en) | Method for identifying objects in periphery of vehicle, involves recording image of periphery of vehicle at vehicle position, and another image of periphery of vehicle at another vehicle position by camera arranged on vehicle | |
EP3931029B1 (en) | Method for operating a driver information system in an ego-vehicle and driver information system | |
EP2455250A1 (en) | Method for detecting the environment of a vehicle | |
EP2344386A1 (en) | Method and system for determining a position and/or orientation of a displaceable load | |
DE102005018408A1 (en) | Method and device for evaluating distance measuring data of a distance measuring system of a motor vehicle | |
DE102017003751A1 (en) | DRIVING ASSISTANCE DEVICE | |
DE102016215470A1 (en) | Concept for warning a road user of a danger area | |
DE102015208590A1 (en) | DEVICE FOR DETERMINING A ROUGH FOR A VEHICLE, CORRESPONDING METHOD AND VEHICLE | |
DE102017122969A1 (en) | VEHICLE WITH ENVIRONMENTAL CONTEXTANALYSIS | |
EP1665197B1 (en) | Method for determining a position of a motor vehicle on a road | |
WO2019201537A1 (en) | Method and controller for denoting a person | |
WO2020064576A1 (en) | Method for evaluating an effect of an object in the surroundings of a means of transport on a driving manoeuvre of the means of transport | |
DE112021000146T5 (en) | SYSTEMS AND METHODS FOR DETECTING WHEEL SLIP IN VEHICLES | |
DE112021006099T5 (en) | Onboard feedback system for autonomous vehicles | |
DE102016111079A1 (en) | Method for object height detection of an object in the environment of a motor vehicle and driver assistance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |