DE102019000434A1

DE102019000434A1 - Obstacle detection device for a vehicle and method for avoiding an obstacle for a vehicle

Info

Publication number: DE102019000434A1
Application number: DE102019000434.5A
Authority: DE
Inventors: Uwe Franke; Stefan Gehrig; Axel Gern; Fridtjof Stein
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2019-01-22
Filing date: 2019-01-22
Publication date: 2020-07-23

Abstract

Die Erfindung betrifft eine Hinderniserfassungsvorrichtung (1) für ein Fahrzeug (3), aufweisend eine Objekterkennungsvorrichtung (5), eine Stereokameravorrichtung (7) sowie eine NIR-Beleuchtungsvorrichtung (9), wobei die Stereokameravorrichtung (7) dazu eingerichtet ist eine Umgebung (11) des Fahrzeugs (3) zu erfassen und weiterhin dazu eingerichtet ist die erfassten Daten zu verarbeiten und in den erfassten Daten bestimmte Objekte (13) zu identifizieren und zu kategorisieren, wobei die Objekterkennungsvorrichtung (5) dazu eingerichtet ist, eine Relevanz der durch die Stereokameravorrichtung (7) identifizierten Objekte (13) zu bestimmen, wie beispielsweise eine Überfahrbarkeit, und wobei die Stereokameravorrichtung (7) dazu eingerichtet ist, die NIR-Beleuchtungsvorrichtung (9) derart anzusteuern, dass bei nicht ausreichender Ausleuchtung die NIR-Beleuchtungsvorrichtung (9) aktiviert wird.

The invention relates to an obstacle detection device (1) for a vehicle (3), comprising an object detection device (5), a stereo camera device (7) and an NIR lighting device (9), the stereo camera device (7) being set up to do so. of the vehicle (3) and is also set up to process the recorded data and to identify and categorize certain objects (13) in the recorded data, the object recognition device (5) being set up to determine a relevance of the stereo camera device ( 7) to determine identified objects (13), such as a driveability, and the stereo camera device (7) is set up to control the NIR illumination device (9) in such a way that the NIR illumination device (9) is activated if the illumination is insufficient .

Description

Die Erfindung betrifft eine Hinderniserfassungsvorrichtung für ein Fahrzeug sowie ein Verfahren zum Ausweichen eines Hindernisses für ein Fahrzeug.The invention relates to an obstacle detection device for a vehicle and a method for avoiding an obstacle for a vehicle.

Autonom fahrende Fahrzeuge, insbesondere Lkws, müssen auch bei hohen Geschwindigkeiten, wie sie beispielsweise auf Autobahnen vorkommen, sicher durch das autonome Fahrsystem gesteuert werden können.Autonomous vehicles, especially trucks, must be able to be safely controlled by the autonomous driving system even at high speeds, such as those found on motorways.

Die autonomen Fahrsysteme der Fahrzeuge greifen hierbei auf verschiedene Typen von Sensoren zurück, wie beispielsweise Lidar-Systeme, Radar-Systeme oder Kamera-Systeme, aber auch auf Kartendaten, durch welche sie das eigene Fahrzeug in der Umgebung, insbesondere in der vorhandenen Infrastruktur, lokalisieren und ihr Fahrverhalten auf andere Fahrzeuge, welche durch die Sensorik erfasst werden, abstimmen können. Die vorhandene Sensorausstattung eines Fahrzeugs ist immer ein gewisser Kompromiss, welcher einerseits die geforderten Anforderungen an den beziehungsweise die Sensoren mit andererseits den verschiedenen Sensortypen, der Bauform und den physikalischen Randbedingungen zu verbinden versucht. Beispielsweise vermisst eine Stereokamera einen verkehrsrelevanten Bereich vor einem Fahrzeug dreidimensional und gleichzeitig ist es notwendig, dass die Daten einer Kamera auch dahingehend ausgewertet werden, dass Verkehrszeichen und Ampeln erkannt werden, wobei dies manchmal auch als Bestimmung der Semantik der aufgenommenen Umgebung bezeichnet wird. Aus den hieraus abgeleiteten Anforderungen bestimmen sich die für die Sensoren relevanten Parameter, wie beispielsweise Basisbreite, Brennweite, Öffnungswinkel, Pixeldichte, Sensortyp (Farbsensor oder Monochromsensor), etc. Es gibt jedoch bestimmte Anwendungsfälle, in denen ein durch einen solchen Multi-Purpose-Kompromiss entstandener Sensor die durch den Anwendungsfall benötigte Reichweite nicht komplett abdecken kann. An dieser Stelle ist es dann notwendig, über eine entsprechende Spezialsensorik nachzudenken, welche auf den Anwendungsfall hin optimiert ist und dessen abgeleitete Anforderungen erfüllt. Besonders problematisch in diesem Zusammenhang ist der Anwendungsfall „Verlorene Ladung“. Bei autonomen Fahrsystemen ist es besonders wichtig, dass eine Kollision mit auf der Fahrbahn befindlichen Objekten sicher vermieden wird, um insbesondere die Akzeptanz solcher selbstfahrender Systeme nicht zu gefährden.The autonomous driving systems of the vehicles fall back on various types of sensors, such as lidar systems, radar systems or camera systems, but also on map data, by means of which they localize their own vehicle in the area, in particular in the existing infrastructure and can adjust their driving behavior to other vehicles that are detected by the sensors. The existing sensor equipment of a vehicle is always a certain compromise, which on the one hand tries to combine the required requirements for the sensor or sensors with the other the different sensor types, the design and the physical boundary conditions. For example, a stereo camera measures a traffic-relevant area in front of a vehicle three-dimensionally and at the same time it is necessary that the data of a camera is also evaluated in such a way that traffic signs and traffic lights are recognized, which is sometimes also referred to as determining the semantics of the recorded environment. From the requirements derived from this, the parameters relevant for the sensors are determined, such as the basic width, focal length, aperture angle, pixel density, sensor type (color sensor or monochrome sensor), etc. However, there are certain applications in which a multi-purpose compromise of this kind is used sensor that has been created cannot fully cover the range required by the application. At this point, it is then necessary to think about a corresponding special sensor system that is optimized for the application and fulfills its derived requirements. The “lost cargo” application is particularly problematic in this context. In the case of autonomous driving systems, it is particularly important that a collision with objects on the road is safely avoided, in particular in order not to endanger the acceptance of such self-driving systems.

Der Erfindung liegt daher die Aufgabe zugrunde, eine Hinderniserfassungsvorrichtung für ein Fahrzeug sowie ein Verfahren zum Ausweichen eines Hindernisses für ein Fahrzeug zu schaffen, wobei die genannten Nachteile nicht auftreten.The invention is therefore based on the object of providing an obstacle detection device for a vehicle and a method for avoiding an obstacle for a vehicle, the disadvantages mentioned not occurring.

Die Aufgabe wird gelöst, indem die Gegenstände der unabhängigen Ansprüche geschaffen werden. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen oder den im Folgenden aufgeführten Ausführungsbeispielen und Ausführungsformen.The object is achieved by creating the subject matter of the independent claims. Advantageous refinements result from the subclaims or the exemplary embodiments and embodiments listed below.

Die Aufgabe wird insbesondere gelöst, indem eine Hinderniserfassungsvorrichtung für ein Fahrzeug geschaffen wird, aufweisend eine Objekterkennungsvorrichtung, eine Stereokameravorrichtung sowie eine NIR-Beleuchtungsvorrichtung, wobei die Stereokameravorrichtung dazu eingerichtet ist, eine Umgebung des Fahrzeugs zu erfassen, insbesondere zu vermessen, vorzugsweise dreidimensional, und weiterhin dazu eingerichtet ist, die erfassten Daten zu verarbeiten und in den erfassten Daten bestimmte Objekte zu identifizieren und zu kategorisieren. Weiterhin ist die Objekterkennungsvorrichtung dazu eingerichtet, eine Relevanz der durch die Stereokamera identifizierten Objekte zu bestimmen, wie beispielsweise eine Überfahrbarkeit, und wobei die Stereokameravorrichtung dazu eingerichtet ist, die NIR-Beleuchtungsvorrichtung derart anzusteuern, dass bei nicht ausreichender Ausleuchtung die NIR-Beleuchtungsvorrichtung aktiviert wird. Dies hat insbesondere den Vorteil, dass in Abhängigkeit einer gefahrenen Geschwindigkeit des Fahrzeugs eine optimale Ausleuchtung eines Sicht-Frustrum der Stereokameravorrichtung gewährleistet werden kann. Auch bei Nacht oder schwierigen Sichtverhältnissen ist eine derartig optimale Ausleuchtung durch die Hinderniserfassungsvorrichtung gewährleistet, wobei gleichzeitig vermieden wird, dass ein entgegenkommender Verkehr geblendet wird. Durch die optional aktivierbare NIR-Beleuchtungsvorrichtung ist es möglich, bei hohen Geschwindigkeiten, bei welchen die am Fahrzeug vorbauten Scheinwerfer nicht mehr ausreichend die Umgebung vor dem Fahrzeug auszuleuchten können, trotzdem eine optimale Ausleuchtung der Umgebung zu erzielen, und wobei ein Gegenverkehr des Fahrzeugs nicht geblendet wird, da es sich um NIR-Strahlung handelt. Bevorzugt ist vorgesehen, dass die Objekterkennungsvorrichtung die Relevanz der Objekte durch ein Computer-Netz bestimmt, welches durch Deep Learning trainiert wurde. Weiterhin ist bevorzugt vorgesehen, dass die identifizierbaren Objekte ausgewählt sind aus einer Gruppe bestehend aus, Plastiktüte, Autoreifen, Teil eines Autoreifen, Gepäckstück, Möbelstück, Metallteil, wie eine Stange oder ein Rohr, sowie Tiere.The object is achieved in particular by creating an obstacle detection device for a vehicle, comprising an object detection device, a stereo camera device and an NIR illumination device, the stereo camera device being set up to detect, in particular to measure, preferably three-dimensionally, the surroundings of the vehicle and further is set up to process the captured data and to identify and categorize certain objects in the captured data. Furthermore, the object detection device is set up to determine a relevance of the objects identified by the stereo camera, such as, for example, driveability, and the stereo camera device is set up to control the NIR lighting device in such a way that the NIR lighting device is activated when there is insufficient illumination. This has the particular advantage that, depending on the speed of the vehicle, an optimal illumination of a visual frustration of the stereo camera device can be guaranteed. Such an optimal illumination by the obstacle detection device is ensured even at night or in difficult visibility conditions, while at the same time avoiding oncoming traffic being dazzled. The optionally activatable NIR lighting device makes it possible to achieve optimal illumination of the surroundings at high speeds at which the headlights mounted on the vehicle can no longer adequately illuminate the surroundings, and without oncoming traffic of the vehicle being dazzled because it is NIR radiation. It is preferably provided that the object recognition device determines the relevance of the objects through a computer network that has been trained by deep learning. Furthermore, it is preferably provided that the identifiable objects are selected from a group consisting of, plastic bag, car tire, part of a car tire, piece of luggage, piece of furniture, metal part, such as a rod or a tube, and animals.

In Zusammenhang mit der vorliegenden Erfindung soll unter dem Begriff „NIR“ beziehungsweise „NIR-Beleuchtungsvorrichtung“ eine Strahlung beziehungsweise eine Vorrichtung verstanden werden, welche eine elektromagnetische Strahlung emittiert, welche als „Nahes Infrarot“ bezeichnet wird, wobei die elektromagnetische Strahlung des „Nahen Infrarot“ eine Wellenlänge zwischen 780 nm bis 3 µm aufweist.In connection with the present invention, the term “NIR” or “NIR illumination device” is to be understood to mean radiation or a device which emits electromagnetic radiation which is referred to as “near infrared”, the electromagnetic radiation of the “near Infrared ”has a wavelength between 780 nm to 3 µm.

In Zusammenhang mit der vorliegenden Erfindung soll der Begriff „Objekt“ synonym mit dem Begriff „Hindernis“ verwendet werden.In connection with the present invention, the term “object” is to be used synonymously with the term “obstacle”.

Ferner ist bevorzugt vorgesehen, dass die Hinderniserfassungsvorrichtung weiterhin eine Sensorerfassungsvorrichtung aufweist, welche dazu eingerichtet ist, weitere Sensordaten, wie beispielsweise von einem Lidar, einem Radar und/oder einer Kamera, zu überwachen und zu empfangen sowie die empfangenen Sensordaten, vorzugsweise in einer überlagerten Aufbereitung, manchmal auch als Fusion bezeichnet, bereitzustellen. Dies hat insbesondere den Vorteil, dass durch die überlagerte Aufbereitung ein noch höheres Niveau an Informationsqualität erzielt werden kann.Furthermore, it is preferably provided that the obstacle detection device further comprises a sensor detection device which is set up to monitor and receive further sensor data, such as from a lidar, a radar and / or a camera, and the received sensor data, preferably in a superimposed preparation , sometimes referred to as a fusion. This has the particular advantage that an even higher level of information quality can be achieved through the overlaid processing.

Ferner ist bevorzugt vorgesehen, dass die Stereokameravorrichtung eine Ultrafern-Stereokameravorrichtung ist. Es ist bevorzugt vorgesehen, dass die Stereokameravorrichtung mindestens zwei Kameras aufweist. Weiterhin ist bevorzugt vorgesehen, dass die Stereokameravorrichtung, insbesondere die Kameras der Stereokameravorrichtung, dazu eingerichtet sind, NIR-Strahlung zu detektieren. Weiterhin ist bevorzugt vorgesehen, dass die Stereokameravorrichtung eine möglichst hohe Einbauhöhe im Fahrzeug in Bezug auf die Fahrzeughochrichtung aufweist. Es ist ebenfalls bevorzugt vorgesehen, dass eine Brennweite der Stereokameravorrichtung möglichst derart, insbesondere groß, gewählt wird, sodass vorzugsweise hoch-qualitative dreidimensionale Messungen ausgeführt werden können. Ferner ist bevorzugt vorgesehen, dass zwei Kameras der mindestens zwei Kameras der Stereokameravorrichtung möglichst in einem Abstand A voneinander, vorzugsweise in Fahrzeugquerrichtung, angeordnet sind, welcher vorzugsweise mindestens 50 %, besonders bevorzugt 60 %, besonders bevorzugt mindestens 70 % beträgt, wobei mit 100 % eine Fahrzeugbreite des Fahrzeugs in Fahrzeugquerrichtung angesprochen ist. In einer Weiterbildung der Erfindung ist vorgesehen, dass die Stereokameravorrichtung, insbesondere Kameras der Stereokameravorrichtung, jeweils einen Sensor aufweisen, welche eine, vorzugsweise hohe, Auflösung aufweist, welche dazu ausreicht hoch-qualitative dreidimensionale Messungen auszuführen.It is further preferably provided that the stereo camera device is an ultra-remote stereo camera device. It is preferably provided that the stereo camera device has at least two cameras. Furthermore, it is preferably provided that the stereo camera device, in particular the cameras of the stereo camera device, are set up to detect NIR radiation. Furthermore, it is preferably provided that the stereo camera device has the highest possible installation height in the vehicle with respect to the vertical direction of the vehicle. It is also preferably provided that a focal length of the stereo camera device is chosen to be as large as possible, so that preferably high-quality three-dimensional measurements can be carried out. Furthermore, it is preferably provided that two cameras of the at least two cameras of the stereo camera device are arranged at a distance A from one another, preferably in the vehicle transverse direction, which is preferably at least 50%, particularly preferably 60%, particularly preferably at least 70%, with 100% a vehicle width of the vehicle is addressed in the vehicle transverse direction. In a development of the invention it is provided that the stereo camera device, in particular cameras of the stereo camera device, each have a sensor which has a, preferably high, resolution which is sufficient to carry out high-quality three-dimensional measurements.

Ferner ist bevorzugt vorgesehen, dass die Hinderniserfassungsvorrichtung weiterhin eine Planungsvorrichtung aufweist, welche dazu eingerichtet ist, in Abhängigkeit der durch die Objekterkennungsvorrichtung identifizierten Objekte eine Ausweichtrajektorie zu bestimmen, und die Planungsvorrichtung vorzugsweise weiterhin dazu eingerichtet ist, die durch die Objekterkennungsvorrichtung identifizierten Objekte, vorzugsweise mit einer genauen Ortskoordinate, wie beispielsweise GPS-Daten, an eine externe Recheneinrichtung, manchmal auch als Back-End bezeichnet, zu übermitteln, sodass vorzugsweise auch Planungsvorrichtungen von anderen Fahrzeugen entsprechende Informationen herunterladen können. Dies hat insbesondere den Vorteil, dass auch andere Planungsvorrichtungen von anderen Fahrzeugen von den entsprechend bereitgestellten Informationen profitieren können, sodass ein nachfolgendes Fahrzeug über nicht überfahrbare Hindernisse frühzeitig informiert wird.Furthermore, it is preferably provided that the obstacle detection device furthermore has a planning device which is set up to determine an evasive trajectory depending on the objects identified by the object detection device, and the planning device is preferably further set up to use the objects identified by the object detection device, preferably with a to transmit exact location coordinates, such as GPS data, to an external computing device, sometimes also referred to as a back end, so that planning devices from other vehicles can preferably also download corresponding information. This has the particular advantage that other planning devices can also benefit from the corresponding information provided by other vehicles, so that a following vehicle is informed at an early stage about obstacles that cannot be driven over.

In Zusammenhang mit der vorliegenden Erfindung soll unter dem Begriff „Ausweichtrajektorie“ eines Fahrzeugs ein Pfad entlang von Orten im Raum verstanden werden, wobei jedem Ort des Pfades eine longitudinale (in Fahrzeugfahrtrichtung) und eine laterale (in Fahrzeugquerrichtung) Geschwindigkeit des Fahrzeugs zugeordnet sind.In connection with the present invention, the term “alternative trajectory” of a vehicle is to be understood to mean a path along locations in space, with each location of the path being associated with a longitudinal (in the direction of vehicle travel) and a lateral (in the vehicle transverse direction) speed of the vehicle.

Ferner ist bevorzugt vorgesehen, dass die Hinderniserfassungsvorrichtung weiterhin eine Steuervorrichtung aufweist, welche eine geplante Ausweichtrajektorie mit dem Fahrzeug ausführt. Für den Fall, wenn ein Fahrer des Fahrzeugs nicht in einer noch zur Verfügung stehenden Zeit, bis eine Kollision stattfindet, reagiert, wird durch die Steuervorrichtung eine Ausweichtrajektorie mit dem Fahrzeug ausgeführt. Hierdurch wird sichergestellt, dass das Fahrzeug rechtzeitig um ein nicht überfahrbares Objekt herumgeleitet wird.Furthermore, it is preferably provided that the obstacle detection device furthermore has a control device which executes a planned avoidance trajectory with the vehicle. In the event that a driver of the vehicle does not react within a time that is still available until a collision occurs, the control device executes an evasive trajectory with the vehicle. This ensures that the vehicle is guided around an object that cannot be driven over in good time.

Die Aufgabe wird auch gelöst, indem ein Verfahren zum Ausweichen eines Hindernisses für ein Fahrzeug geschaffen wird, mit einer Hinderniserfassungsvorrichtung nach einem Ausführungsbeispiel der vorliegenden Erfindung, wobei das Verfahren durch die folgenden Schritte gekennzeichnet wird:

a) Erfassen, insbesondere Vermessen, einer Umgebung, vorzugsweise dreidimensional, des Fahrzeugs mit der Stereokameravorrichtung unter optionaler Aktivierung der NIR-Beleuchtungsvorrichtung,
b) Verarbeiten der durch die Stereokameravorrichtung aufgenommenen Daten und Bestimmen von Objekten in der Umgebung des Fahrzeugs,
c) Bereitstellen von Informationen über die in der Umgebung bestimmten Objekte.

The object is also achieved by creating a method for avoiding an obstacle for a vehicle, with an obstacle detection device according to an exemplary embodiment of the present invention, the method being characterized by the following steps:

a) detecting, in particular measuring, an environment, preferably three-dimensionally, of the vehicle with the stereo camera device with optional activation of the NIR illumination device,
b) processing the data recorded by the stereo camera device and determining objects in the vicinity of the vehicle,
c) Providing information about the objects determined in the environment.

Dies hat insbesondere den Vorteil, dass auf besonders einfache Art und Weise einem Fahrer eines Fahrzeugs entsprechende Informationen über bestimmte Objekte in der Umgebung bereitgestellt werden können.This has the particular advantage that corresponding information about certain objects in the environment can be provided to a driver of a vehicle in a particularly simple manner.

Weiterhin ist bevorzugt vorgesehen, dass die in Verfahrensschritt c) bereitgestellten Informationen einem Fahrer des Fahrzeugs angezeigt werden, insbesondere mittels einer Anzeigenvorrichtung. Dies hat insbesondere den Vorteil, dass das System bei nicht autonom fahrenden Fahrzeugen dem Fahrer des Fahrzeugs zumindest Informationen darüber bereitgestellt werden können, wo und welche Art von Objekten sich in der Umgebung seines Fahrzeugs befinden.Furthermore, it is preferably provided that the information provided in method step c) are displayed to a driver of the vehicle, in particular by means of a display device. This has the particular advantage that in non-autonomous vehicles, the system can at least provide the driver of the vehicle with information about where and what type of objects are in the surroundings of his vehicle.

Weiterhin ist bevorzugt vorgesehen, dass die gemäß Verfahrensschritt c) bereitgestellten Informationen an die Planungsvorrichtung übermittelt werden, derart, dass die Planungsvorrichtung eine Ausweichtrajektorie bestimmen kann, wobei die Ausweichtrajektorie vorzugsweise der NIR-Beleuchtungsvorrichtung übermittelt wird, wobei diese entsprechend die Beleuchtung in Abhängigkeit der geplanten Ausweichtrajektorie ausführt. Dies hat insbesondere den Vorteil, dass Objekte, welche auf der Ausweichtrajektorie liegen, gezielt beleuchtet werden können, insbesondere wenn die Ausweichtrajektorie auch einen Kurvenradius aufweist, sind auch Objekte beleuchtet, welche sich nicht direkt in gerader Linie vor dem Fahrzeug befinden. Hierdurch ist es möglich, dass entsprechend deutlich mehr Objekte, welche kritisch sein können, erfasst werden können. Demgemäß ist es weiterhin bevorzugt vorgesehen, dass die NIR-Beleuchtungsvorrichtung dazu eingerichtet ist, Beleuchtungskeulen in der Art eines Kurvenlichts zu erzeugen, insbesondere zu emittieren.Furthermore, it is preferably provided that the information provided according to method step c) is transmitted to the planning device in such a way that the planning device can determine an alternate trajectory, the alternate trajectory preferably being transmitted to the NIR illuminating device, which correspondingly illuminates depending on the planned alternate trajectory executes. This has the particular advantage that objects that lie on the avoidance trajectory can be illuminated in a targeted manner, especially if the avoidance trajectory also has a curve radius, and objects that are not directly in a straight line in front of the vehicle are also illuminated. This makes it possible for significantly more objects, which can be critical, to be detected accordingly. Accordingly, it is further preferably provided that the NIR lighting device is set up to generate, in particular to emit, lighting lobes in the manner of a cornering light.

Ferner ist es bevorzugt vorgesehen, dass die Planungsvorrichtung eine longitudinale Ausweichtrajektorie bestimmt, wenn das entsprechend relevante Objekt der Kategorie nicht überfahrbar zugeordnet ist, insbesondere in Fällen, wenn eine Notbremsung ausgelöst werden muss.Furthermore, it is preferably provided that the planning device determines a longitudinal alternative trajectory if the correspondingly relevant object is not assigned to the category that can be driven over, in particular in cases when an emergency braking must be triggered.

In Zusammenhang mit der vorliegenden Erfindung soll unter dem Begriff „longitudinale Ausweichtrajektorie“, vorzugsweise in Zusammenhang mit einer drohenden Kollision mit einem Objekt, eine Ausweichtrajektorie verstanden werden, bei welcher die laterale Geschwindigkeit des Fahrzeugs überall kleiner oder gleich (≤) 0,1 m/s ist, bevorzugt kleiner oder gleich (≤) 0,05 m/s, besonders bevorzugt gleich 0 m/s. Eine longitudinale Ausweichtrajektorie ist insbesondere dann notwendig, wenn einerseits das Objekt nicht überfahrbar ist und andererseits ein laterales Ausweichen nicht möglich ist. Ein laterales Ausweichen ist beispielsweise dann nicht möglich, wenn die gegebenenfalls vorhandenen parallelen Fahrstreifen auf einer mehrspurigen Fahrbahn besetzt, das heißt nicht frei, sind, und/oder der Fahrstreifen eines entgegenkommenden Verkehrs bei nicht getrennten Fahrsteifen für Verkehr und Gegenverkehr besetzt, das heißt nicht frei, ist. In diesem Fall ist es insbesondere notwendig, dass eine Vollbremsung, das heißt ein longitudinales Ausweichen, geplant und/oder eingeleitet wird.In connection with the present invention, the term “longitudinal avoidance trajectory”, preferably in connection with an impending collision with an object, is to be understood to mean an avoidance trajectory in which the lateral speed of the vehicle is less than or equal to (≤) 0.1 m / everywhere. s is, preferably less than or equal to ()) 0.05 m / s, particularly preferably equal to 0 m / s. A longitudinal evasive trajectory is particularly necessary if, on the one hand, the object cannot be driven over and, on the other hand, lateral evasion is not possible. Lateral evasion is not possible, for example, if the parallel lanes, if any, are occupied on a multi-lane lane, i.e. are not free, and / or the lane of oncoming traffic is occupied for non-separated lanes for traffic and oncoming traffic, i.e. not free , is. In this case, it is particularly necessary that full braking, that is to say longitudinal evasion, is planned and / or initiated.

Weiterhin ist bevorzugt vorgesehen, dass die Planungsvorrichtung eine laterale Ausweichtrajektorie bestimmt, wenn das entsprechend relevante Objekt der Kategorie überfahrbar zugeordnet ist, und/oder ein Ausweichen problemlos möglich ist.Furthermore, it is preferably provided that the planning device determines a lateral avoidance trajectory if the correspondingly relevant object is assigned to the category so that it can be driven over, and / or avoidance is easily possible.

In Zusammenhang mit der vorliegenden Erfindung soll unter dem Begriff „laterale Ausweichtrajektorie“, vorzugsweise in Zusammenhang mit einer drohenden Kollision mit einem Objekt, eine Ausweichtrajektorie verstanden werden, wobei eine Kollision mit einem Objekt durch eine Veränderung der lateralen Geschwindigkeit oder weitestgehend durch eine Veränderung der lateralen Geschwindigkeit erzielt wird. Mit anderen Worten wird bevorzugt eine Kurve um das Objekt gefahren. Unter der Voraussetzung, dass das Objekt überfahrbar ist, wird die laterale Ausweichtrajektorie bevorzugt derart durch die Planungsvorrichtung geplant, dass das Objekt nicht durch eines der Räder des Fahrzeugs erfasst wird. Mit anderen Worten wird in einem Fall eines überfahrbaren Objekts und einem besetzten, das heißt nicht freien, parallelen Fahrstreifen oder einem besetzten Fahrstreifen des Gegenverkehrs das Objekt bevorzugt derart überfahren, dass die Räder des Fahrzeugs das Objekt nicht erfassen. In einem Fall eines überfahrbaren Objekts und einem freien parallelen Fahrstreifen oder einem freien Fahrstreifen des Gegenverkehrs wird das Objekt - trotz Überfahrbarkeit - bevorzugt umfahren, das heißt dem Objekt wird vollständig ausgewichen.In connection with the present invention, the term “lateral avoidance trajectory”, preferably in connection with an impending collision with an object, is to be understood as an avoidance trajectory, wherein a collision with an object is caused by a change in the lateral speed or largely by a change in the lateral Speed is achieved. In other words, a curve is preferably made around the object. Provided that the object can be driven over, the lateral avoidance trajectory is preferably planned by the planning device such that the object is not detected by one of the wheels of the vehicle. In other words, in the case of an object which can be driven over and an occupied, that is to say non-free, parallel lane or an occupied lane of oncoming traffic, the object is preferably passed over in such a way that the wheels of the vehicle do not detect the object. In the case of an object that can be driven over and a free parallel lane or a free lane of oncoming traffic, the object - despite being able to be driven over - is preferably bypassed, ie the object is completely avoided.

Ferner ist bevorzugt vorgesehen, dass die gemäß Verfahrensschritt c) bereitgestellten Informationen an die NIR-Beleuchtungsvorrichtung übermittelt werden, in der Art, dass eine Beleuchtung der NIR-Beleuchtungsvorrichtung in Abhängigkeit der bestimmten Objekte ausgeführt wird. Dies hat insbesondere den Vorteil, dass die Objekte, welche besonders kritisch sind, insbesondere nicht überfahrbar sind, genau ausgeleuchtet und somit präzise erkannt und lokalisiert werden können. Vorzugsweise ist die NIR-Beleuchtungsvorrichtung dazu eingerichtet, dass die NIR-Beleuchtungsvorrichtung erst ab einer vorgebbaren Geschwindigkeit des Fahrzeugs aktiviert wird.Furthermore, it is preferably provided that the information provided according to method step c) is transmitted to the NIR lighting device in such a way that the NIR lighting device is illuminated as a function of the specific objects. This has the particular advantage that the objects, which are particularly critical and in particular cannot be driven over, can be precisely illuminated and thus precisely recognized and localized. The NIR lighting device is preferably set up such that the NIR lighting device is only activated from a predeterminable speed of the vehicle.

Weiterhin ist bevorzugt vorgesehen, dass die gemäß Verfahrensschritt c) bereitgestellten Informationen an die Stereokameravorrichtung übermittelt werden, in der Art, dass eine Erfassung der Umgebung des Fahrzeugs mittels der Stereokameravorrichtung in Abhängigkeit der bestimmten Objekte ausgeführt wird. Dies hat insbesondere den Vorteil, dass die Objekte, welche besonders kritisch sind, insbesondere nicht überfahrbar sind, genau erfasst werden können.Furthermore, it is preferably provided that the information provided according to method step c) is transmitted to the stereo camera device in such a way that the surroundings of the vehicle are detected by means of the stereo camera device as a function of the specific objects. This has the particular advantage that the objects which are particularly critical and in particular cannot be driven over can be detected precisely.

In einer Weiterbildung der Erfindung ist vorgesehen, dass die Planungsvorrichtung dazu eingerichtet ist, es zu erkennen, wenn durch Witterungsbedingungen und/oder durch, insbesondere geometrische, Umgebungsbedingungen es nicht möglich ist die für eine momentane Geschwindigkeit notwendigen Erfassungsbereich vollständig zu erfassen, die Geschwindigkeit des Fahrzeugs zu reduzieren, insbesondere eine Steuerungsvorrichtung dazu anzuweisen, die Geschwindigkeit des Fahrzeugs zu reduzieren. Mit anderen Wort ist bevorzugt vorgesehen, dass falls eine zu befahrende Straßenoberfläche einen Bereich aufweist, welcher außerhalb des Erfassungsbereichs der Sensoren liegt, wie beispielsweise beim Überfahren eine Kuppe der hinter der Kuppe liegende Bereich oder bei einer zu durchfahrenden Kurve der nicht mehr einsehbare Bereich, die Geschwindigkeit des Fahrzeugs reduziert wird. Es ist aber ebenfalls bevorzugt vorgesehen, dass falls der bei einer bestimmten Geschwindigkeit notwendigerweise zu erfassende Bereich durch Witterungsbedingungen, wie beispielsweise Regen, Schneefall oder Nebel, nicht mehr vollständig erfasst werden kann, die Geschwindigkeit des Fahrzeugs derart reduziert wird, sodass wieder der notwendigerweise für eine reduzierte Geschwindigkeit zu erfassende Bereich wieder vollständig erfasst werden kann.In a further development of the invention it is provided that the planning device is set up to detect when weather conditions and / or through, in particular geometrical, environmental conditions make it impossible to completely capture the detection area required for a current speed, to reduce the speed of the vehicle, in particular to instruct a control device to determine the speed of the vehicle Reduce vehicle. In other words, it is preferably provided that if a road surface to be driven on has an area that lies outside the detection range of the sensors, such as when driving over a crest the area behind the crest or when the curve to be traversed is the no longer visible area Speed of the vehicle is reduced. However, it is also preferably provided that if the area that is necessarily to be recorded at a certain speed can no longer be completely covered by weather conditions, such as rain, snow or fog, the speed of the vehicle is reduced in such a way that the speed is again necessary for one reduced speed area to be captured can be completely captured again.

In einer Weiterbildung der Erfindung ist vorgesehen, dass die Planungsvorrichtung dazu eingerichtet ist, es zu erkennen, wenn ein für eine Geschwindigkeit notwendiger Erfassungsbereich durch ein anderes Fahrzeug, wie beispielsweise ein PKW oder LKW, insbesondere in Fahrzeugfahrrichtung voraus, nicht vollständig einsehbar ist, und in diesem Fall den Abstand zu dem vorausfahrenden Fahrzeug derart verändert wird, insbesondere der Abstand vergrößert wird, dass der notwendige Erfassungsbereich wieder vollständig erfasst werden kann. Der für eine Geschwindigkeit notwendige Erfassungsbereich wird insbesondere durch einen für die Geschwindigkeit des Fahrzeugs notwendigen Bremsweg bestimmt, insbesondere definiert, wobei vorzugsweise nach dem Bremsweg beziehungsweise einem entsprechenden Bremsvorgang das Fahrzeug zum Stehen gekommen ist. Diese Weiterbildung hat insbesondere den Hintergrund, dass bei einem LKW mit der erfindungsgemäßen Hinderniserfassungsvorrichtung, welchem ein PKW vorausfährt und der PKW hochdynamisch einem Objekt ausweicht, der LKW aufgrund seiner Masse diesem Objekt nicht ausweichen kann und somit mit dem Objekt kollidieren wird, wenn ein zu geringer Abstand zum Vorausfahrenden vorhanden ist.In a further development of the invention, it is provided that the planning device is set up to recognize when a detection area necessary for a speed cannot be fully viewed by another vehicle, such as a car or truck, in particular in the direction of travel ahead, and in In this case, the distance to the vehicle in front is changed in such a way, in particular the distance is increased, that the necessary detection area can be completely detected again. The detection range required for a speed is determined, in particular defined, in particular by a braking distance required for the speed of the vehicle, the vehicle preferably stopping after the braking distance or a corresponding braking operation. This development has in particular the background that, in the case of a truck with the obstacle detection device according to the invention, which is driven by a car and the car dodges an object in a highly dynamic manner, the truck cannot evade this object due to its mass and will therefore collide with the object if one is too small There is a distance to the vehicle in front.

Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert. Dabei zeigt:

1 eine schematische Darstellung, mit welcher ein Ausführungsbeispiel der Hinderniserfassungsvorrichtung erläutert wird,
2 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens.

The invention is explained in more detail below with reference to the drawing. It shows:

1 2 shows a schematic illustration with which an exemplary embodiment of the obstacle detection device is explained,
2nd a flowchart of a method according to the invention.

In 1 ist in einer schematischen Darstellung eine Hinderniserfassungsvorrichtung 1 für ein Fahrzeug 3 gezeigt, wobei die Hinderniserfassungsvorrichtung 1 eine Objekterkennungsvorrichtung 5, eine Stereokameravorrichtung 7 sowie eine NIR-Beleuchtungsvorrichtung 9 aufweist. Die Stereokameravorrichtung 7 ist dazu eingerichtet eine Umgebung 11 des Fahrzeugs 3 zu erfassen, insbesondere zu vermessen, vorzugsweise dreidimensional, und weiterhin dazu eingerichtet, die erfassten Daten zu verarbeiten und in den erfassten Daten bestimmte Objekte 13 zu identifizieren und zu kategorisieren. Die Objekterkennungsvorrichtung ist weiterhin dazu eingerichtet, eine Relevanz der durch die Stereokameravorrichtung 7 identifizierten Objekte 13 zu bestimmen, wie beispielsweise eine Überfahrbarkeit, und wobei die Stereokameravorrichtung 7 dazu weiterhin eingerichtet ist, die NIR-Beleuchtungsvorrichtung 9 derart anzusteuern, dass bei nicht ausreichender Ausleuchtung die NIR-Beleuchtungsvorrichtung 9 aktiviert wird.In 1 is a schematic representation of an obstacle detection device 1 for a vehicle 3rd shown, the obstacle detection device 1 an object detection device 5 , a stereo camera device 7 and an NIR lighting device 9 having. The stereo camera device 7 an environment is set up for this 11 of the vehicle 3rd to record, in particular to measure, preferably three-dimensionally, and furthermore set up to process the recorded data and certain objects in the recorded data 13 identify and categorize. The object recognition device is also set up to be relevant to the stereo camera device 7 identified objects 13 to determine how to drive over, and being the stereo camera device 7 the NIR illumination device is also set up for this purpose 9 to be controlled in such a way that the NIR illuminating device is not illuminated sufficiently 9 is activated.

Ferner ist der 1 zu entnehmen, dass die Hinderniserfassungsvorrichtung 1 weiterhin eine Sensorerfassungsvorrichtung 15 aufweist, welche dazu eingerichtet ist, weitere Sensordaten, wie beispielsweise von einem Lidar, einem Radar und/oder einer Kamera, zu überwachen und zu empfangen, sowie die empfangenen Sensordaten, vorzugsweise in einer überlagerten Aufbereitung, manchmal auch als Fusion bezeichnet, zusammen mit den erfassten Daten bereitzustellen.Furthermore, the 1 that the obstacle detection device 1 furthermore a sensor detection device 15 which is set up to monitor and receive further sensor data, such as from a lidar, a radar and / or a camera, and the received sensor data, preferably in a superimposed preparation, sometimes also referred to as a fusion, together with the to provide recorded data.

Ferner ist der 1 zu entnehmen, eine Ausweichtrajektorie zu bestimmen, und die Planungsvorrichtung 17 vorzugsweise weiterhin dazu eingerichtet ist, die durch die Objekterkennungsvorrichtung 5 identifizierten Objekte, vorzugsweise mit einer genauen Ortskoordinate, wie beispielsweise GPS-Daten an eine externe Recheneinrichtung (in den Figuren nicht gezeigt), manchmal auch als Back-End bezeichnet, zu übermitteln, insbesondere bereitzustellen, sodass vorzugsweise auch Planungsvorrichtungen (in den Figuren nicht gezeigt) von anderen Fahrzeugen (in den Figuren nicht gezeigt) entsprechende Informationen herunterladen können. Ferner ist der 1 zu entnehmen, dass die Hinderniserfassungsvorrichtung 1 weiterhin eine Steuervorrichtung 19 aufweist, welche eine geplante Ausweichtrajektorie mit dem Fahrzeug 3 ausführt.Furthermore, the 1 to determine an alternative trajectory and determine the planning device 17th is preferably further configured to by the object recognition device 5 to transmit identified objects, preferably with an exact location coordinate, such as GPS data to an external computing device (not shown in the figures), sometimes also referred to as back-end, so that preferably also planning devices (not shown in the figures) ) can download corresponding information from other vehicles (not shown in the figures). Furthermore, the 1 that the obstacle detection device 1 still a control device 19th which has a planned alternative trajectory with the vehicle 3rd executes.

Ein mögliches Szenario, in welcher die erfindungsgemäße Hinderniserfassungsvorrichtung 1 vorteilhaft eingesetzt werden kann, sieht wie folgt aus: Ein Fahrzeug 3 fährt mit seiner Maximalgeschwindigkeit. Auf einer vor dem Fahrzeug 3 liegenden Straße liegt ein nicht überfahrbares Objekt 13, insbesondere Hindernis. Bei dem nicht überfahren Objekt 13 handelt es sich um „verlorene Ladung“. Mit der fahrzeugtypspezifischen maximalen Verzögerung bei einer Vollbremsung lässt sich aus einer Eigengeschwindigkeit der Fahrzeugs 3 und noch weiteren impliziten Totzeitparametern eine benötigte Reichweite für Sensoren bestimmen, manchmal auch als Sensor-Reichweitenanforderung bezeichnet, sodass ein kollisionsfreies Anhalten vor dem Objekt erzielt wird. Bevorzugt ist hierbei vorgesehen, dass eine Sensor-Reichweitenanforderung in Abhängigkeit einer Bremsqualität eines Anhängers des Fahrzeugs bestimmt wird.A possible scenario in which the obstacle detection device according to the invention 1 can be used advantageously as follows: A vehicle 3rd runs at its maximum speed. On one in front of the vehicle 3rd lying street is a non-traversable object 13 , especially obstacle. With the object not run over 13 it is "lost cargo". With the vehicle-specific maximum deceleration in the event of full braking, the vehicle's own speed can be determined 3rd and yet other implicit dead time parameters determine a required range for sensors, sometimes referred to as a sensor range requirement, so that a collision-free stopping in front of the object is achieved. It is preferably provided here that a sensor range requirement is determined as a function of a braking quality of a trailer of the vehicle.

In 2 ist eine schematische Darstellung des Ablaufs eines erfindungsgemäßen Verfahrens gezeigt, wobei das Verfahren zum Ausweichen eines Hindernisses für ein Fahrzeug, mit einer Hinderniserfassungsvorrichtung 1 gemäß der vorliegenden Erfindung, durch folgende Schritte gekennzeichnet wird:

In 2nd is a schematic representation of the sequence of a method according to the invention, the method for avoiding an obstacle for a vehicle, with an obstacle detection device 1 according to the present invention, characterized by the following steps:

Ferner ist in Bezug auf das Verfahren bevorzugt vorgesehen, dass die in Verfahrensschritt c) bereitgestellten Informationen einem Fahrer des Fahrzeugs angezeigt werden, insbesondere mittels einer Anzeigenvorrichtung.Furthermore, in relation to the method, it is preferably provided that the information provided in method step c) is displayed to a driver of the vehicle, in particular by means of a display device.

Ferner ist bevorzugt vorgesehen, dass die gemäß Verfahrensschritt c) bereitgestellten Informationen an die Planungsvorrichtung übermittelt werden, derart, dass die Planungsvorrichtung eine Ausweichtrajektorie bestimmen kann, wobei die Ausweichtrajektorie vorzugsweise der NIR-Beleuchtungsvorrichtung übermittelt wird, wobei diese entsprechend die Beleuchtung in Abhängigkeit der geplanten Ausweichtrajektorie ausführt.Furthermore, it is preferably provided that the information provided according to method step c) is transmitted to the planning device in such a way that the planning device can determine an alternate trajectory, the alternate trajectory preferably being transmitted to the NIR illuminating device, which correspondingly illuminates depending on the planned alternate trajectory executes.

Ferner ist bevorzugt vorgesehen, dass die gemäß Verfahrensschritt c) bereitgestellten Informationen an die NIR-Beleuchtungsvorrichtung übermittelt werden, in der Art, dass eine Beleuchtung der NIR-Beleuchtungsvorrichtung in Abhängigkeit der bestimmten Objekte ausgeführt wird.Furthermore, it is preferably provided that the information provided according to method step c) is transmitted to the NIR lighting device in such a way that the NIR lighting device is illuminated as a function of the specific objects.

Claims

Obstacle detection device (1) for a vehicle (3), comprising an object detection device (5), a stereo camera device (7) and an NIR illumination device (9), the stereo camera device (7) being set up to surroundings (11) of the vehicle (3 ) and is further set up to process the recorded data and to identify and categorize certain objects (13) in the recorded data, the object recognition device (5) being set up to determine the relevance of the objects identified by the stereo camera device (7) (13) to be determined, such as a driveability, and the stereo camera device (7) is set up to control the NIR lighting device (9) in such a way that the NIR lighting device (9) is activated if there is insufficient illumination.

Obstacle detection device after Claim 1 , characterized in that the obstacle detection device (1) further comprises a sensor detection device (15) which is set up to monitor and receive further sensor data, such as from a lidar, a radar and / or a camera, and the received sensor data, preferably to be provided in a superimposed processing together with the recorded data.

Obstacle detection device according to one of the preceding claims, characterized in that the obstacle detection device (1) further comprises a planning device (17) which is set up to determine an alternative trajectory as a function of the objects (13) identified by the object detection device (5), and the Planning device (17) is preferably also set up to transmit the objects identified by the object recognition device (5), preferably with an exact location coordinate, such as GPS data, to an external computing device, sometimes also referred to as a back end, so that preferably Planning devices from other vehicles can also download corresponding information.

Obstacle detection device according to one of the preceding claims, characterized in that the obstacle detection device (1) further comprises a control device (19) which executes a planned evasive trajectory with the vehicle (3).

Method for avoiding an obstacle for a vehicle (3), with an obstacle detection device (1) according to one of the preceding Claims, wherein the method is characterized by the following steps: a) detection of an environment (11) of the vehicle (3) with the stereo camera device (7) with optional activation of the NIR illumination device (9), b) processing of the by the stereo camera device ( 7) recorded data and determining objects (13) in the environment (11) of the vehicle (3), c) providing information about the objects (13) determined in the environment (11).

Procedure according to Claim 5 , characterized in that the information provided in method step c) is displayed to a driver of the vehicle (3), in particular by means of a display device.

Procedure according to one of the Claims 5 or 6 , characterized in that the information provided according to method step c) is transmitted to the planning device (17) in such a way that the planning device (17) can determine an alternative trajectory, the alternative trajectory preferably being transmitted to the NIR illumination device (9), the latter executes the lighting according to the planned alternative trajectory.

Procedure according to one of the Claims 5 to 7 , characterized in that the information provided according to method step c) is transmitted to the NIR illumination device (9) in such a way that the NIR illumination device (9) is illuminated as a function of the determined objects (13).