DE102019213533A1 - Device for adapting a driving strategy of a vehicle - Google Patents

Device for adapting a driving strategy of a vehicle Download PDF

Info

Publication number
DE102019213533A1
DE102019213533A1 DE102019213533.1A DE102019213533A DE102019213533A1 DE 102019213533 A1 DE102019213533 A1 DE 102019213533A1 DE 102019213533 A DE102019213533 A DE 102019213533A DE 102019213533 A1 DE102019213533 A1 DE 102019213533A1
Authority
DE
Germany
Prior art keywords
vehicle
incline
image signal
images
driving strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019213533.1A
Other languages
German (de)
Inventor
Gabriela Jager
Markus Birk
Dieter Balz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102019213533.1A priority Critical patent/DE102019213533A1/en
Publication of DE102019213533A1 publication Critical patent/DE102019213533A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00Indexing codes relating to the type of vehicle
    • B60W2300/15Agricultural vehicles
    • B60W2300/152Tractors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/15Road slope, i.e. the inclination of a road segment in the longitudinal direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung (30) zum Anpassen einer Fahrstrategie eines Fahrzeugs (12), mit einer Eingangsschnittstelle (34) zum Empfangen eines Bildsignals eines optischen Sensors (22) mit Informationen zu einer Umgebung des Fahrzeugs (12), wobei das Bildsignal wenigstens zwei Bilder umfasst, die an zwei unterschiedlichen Orten erzeugt wurden; einer Verarbeitungseinheit (36) mit einem vortrainierten künstlichen neuronalen Netz (52) zum Ermitteln eines Steigungswinkels (16) einer Steigung (14) in der Umgebung des Fahrzeugs (12) und eines Abstands (20) des Fahrzeugs (12) zu der Steigung (14) basierend auf den wenigstens zwei Bildern des Bildsignals; einer Anpassungseinheit (38) zum Anpassen der Fahrstrategie basierend auf dem ermittelten Steigungswinkel (16) und dem ermittelten Abstand (20); und einer Ausgangsschnittstelle (40) zum Ausgeben der Fahrstrategie an ein Fahrzeugsteuergerät (32). Die vorliegende Erfindung betrifft weiterhin ein Verfahren sowie ein System (10) zum Anpassen der Fahrstrategie eines Fahrzeugs (12).The present invention relates to a device (30) for adapting a driving strategy of a vehicle (12), having an input interface (34) for receiving an image signal from an optical sensor (22) containing information about the surroundings of the vehicle (12), the image signal at least includes two images generated in two different locations; a processing unit (36) with a pre-trained artificial neural network (52) for determining an angle of incline (16) of an incline (14) in the vicinity of the vehicle (12) and a distance (20) of the vehicle (12) to the incline (14) ) based on the at least two images of the image signal; an adaptation unit (38) for adapting the driving strategy based on the ascertained gradient angle (16) and the ascertained distance (20); and an output interface (40) for outputting the driving strategy to a vehicle control unit (32). The present invention also relates to a method and a system (10) for adapting the driving strategy of a vehicle (12).

Description

Die vorliegende Erfindung betrifft eine Vorrichtung sowie ein System und ein Verfahren zum Anpassen einer Fahrstrategie eines Fahrzeugs.The present invention relates to a device as well as a system and a method for adapting a driving strategy of a vehicle.

Moderne Fahrzeuge (Autos, Transporter, Lastwagen, Motorräder, Nutzfahrzeuge etc.) umfassen eine Vielzahl an Systemen, die dem Fahrer Informationen zur Verfügung stellen und einzelne Funktionen des Fahrzeugs teil- oder vollautomatisiert steuern. Über Sensoren werden die Umgebung des Fahrzeugs sowie andere Verkehrsteilnehmer erfasst. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden und auf Veränderungen in dieser Fahrzeugumgebung reagiert werden. Durch die fortschreitende Entwicklung im Bereich der autonom und teilautonom fahrenden Fahrzeuge werden der Einfluss und der Wirkungsbereich solcher Fahrerassistenzsysteme (Advanced Driver Assistance Systems, ADAS) immer größer.Modern vehicles (cars, vans, trucks, motorcycles, commercial vehicles, etc.) include a large number of systems that provide the driver with information and control individual functions of the vehicle in a partially or fully automated manner. The surroundings of the vehicle and other road users are recorded via sensors. Based on the recorded data, a model of the vehicle environment can be generated and changes in this vehicle environment can be reacted to. Due to the progressive development in the field of autonomous and semi-autonomous vehicles, the influence and scope of such driver assistance systems (Advanced Driver Assistance Systems, ADAS) are increasing.

Bei landwirtschaftlichen Nutzfahrzeugen und Landmaschinen (Bodenbearbeitungsmaschinen, Zugmaschinen etc.) lässt sich ein autonomer oder teilautonomer Betrieb vergleichsweise einfach implementieren, da die Fahrzeuge überwiegend außerhalb verkehrsreicher Bereiche eingesetzt werden, beispielsweise auf Äckern und Feldern.In the case of agricultural utility vehicles and agricultural machinery (tillage machines, tractors, etc.), autonomous or semi-autonomous operation can be implemented comparatively easily, since the vehicles are mainly used outside of high-traffic areas, for example in fields and fields.

Bei Fahrzeugen allgemein und insbesondere bei Nutzfahrzeugen, aber auch bei landwirtschaftlichen Maschinen ist ein frühzeitiges Erkennen von Änderungen in der Umgebung des Fahrzeugs wichtig. Besonders beim Transport schwerer Lasten wird viel Energie gespart, wenn die Fahrzeuge möglichst gleichmäßig bewegt werden. Wird die Fahrzeuggeschwindigkeit durch ein Abbremsen verringert, kann die ursprüngliche Geschwindigkeit nur durch ein nachfolgendes Beschleunigen wiedererlangt werden, was zu einem höheren Energieverbrauch und zu einem Zeitverlust führt. Gleiches gilt für eine Steigung im Streckenverlauf. Erklimmt ein Fahrzeug in einem hohen Gang des Getriebes eine Steigung, so reduziert sich die Geschwindigkeit und der Energieverbrauch steigt deutlich im Vergleich zu einem kleineren Gang. Dies gilt insbesondere bei Fahrzeugen, die große Lasten transportieren oder die wenig Leistung erbringen, und kann bis zum Stillstand des Fahrzeugs führen, wenn nicht rechtzeitig reagiert wird. Ein stillstehendes Fahrzeug auf der Fahrbahn stellt jedoch eine Gefahrenquelle für andere Verkehrsteilnehmer dar. Eine an einen Stillstand anschließende Beschleunigung an einer Steigung erhöht den Energieverbrauch zusätzlich im Vergleich zu einem angepassten Fahren mit einer kleineren Übersetzung. Werden Änderungen in der Streckenführung rechtzeitig erkannt, kann die Fahrstrategie des Fahrzeugs entsprechend angepasst werden.For vehicles in general and in particular for commercial vehicles, but also for agricultural machines, it is important to recognize changes in the surroundings of the vehicle at an early stage. A lot of energy is saved, especially when transporting heavy loads, if the vehicles are moved as evenly as possible. If the vehicle speed is reduced by braking, the original speed can only be regained by subsequent acceleration, which leads to higher energy consumption and a loss of time. The same applies to an incline in the course of the route. If a vehicle climbs an incline in a high gear of the transmission, the speed is reduced and the energy consumption increases significantly compared to a lower gear. This applies in particular to vehicles that transport large loads or that have little power and can lead to the vehicle coming to a standstill if there is no timely response. However, a stationary vehicle on the lane represents a source of danger for other road users. Acceleration on an incline following a standstill additionally increases the energy consumption compared to an adapted driving with a smaller gear ratio. If changes in the route are recognized in good time, the vehicle's driving strategy can be adjusted accordingly.

Ein Verfahren zur Erkennung der Streckenführung wird beispielsweise in „Road Segmentation Supervised by an Extended V-Disparity Algorithm for Autonomous Navigation“, Nicolas Soquet, Didier Aubert, Nicolas Hautiere, 2007, iEEE Intelligent Vehicles Symposium, iSSN 1931-0587 vorgeschlagen. In dem Verfahren wird basierend auf den Daten einer Stereokamera ein Disparity Image erzeugt und die Fahrbahn im Frontbereich eines Fahrzeugs durch farbliche Segmente kenntlich gemacht.A method for recognizing the route is proposed, for example, in “Road Segmentation Supervised by an Extended V-Disparity Algorithm for Autonomous Navigation”, Nicolas Soquet, Didier Aubert, Nicolas Hautiere, 2007, iEEE Intelligent Vehicles Symposium, iSSN 1931-0587. In the method, a disparity image is generated based on the data from a stereo camera and the lane in the front area of a vehicle is identified by colored segments.

Aus der US 8,867,790 B2 ist ein weiteres Verfahren zur Detektion von Objekten in einem Frontalbereich vor einem Fahrzeug bekannt, das auf Disparity Maps, basierend auf Bildern einer Stereokamera, beruht. Dieses Verfahren eignet sich zum Erkennen von Objekten oberhalb der Fahrbahnoberfläche.From the US 8,867,790 B2 a further method for detecting objects in a frontal area in front of a vehicle is known which is based on disparity maps based on images from a stereo camera. This method is suitable for detecting objects above the road surface.

Die bekannten Verfahren benötigen eine hohe Rechenleistung und eine aufwendige regelbasierte Programmierung.The known methods require high computing power and complex rule-based programming.

Ausgehend hiervon stellt sich für die vorliegende Erfindung die Aufgabe, die Fahrstrategie eines Fahrzeugs, sei es autonom, teilautonom oder manuell fahrend, an die Umgebung des Fahrzeugs, insbesondere an Geländeinformationen anzupassen, um gefährliche Situationen und Unfälle zu vermeiden. Zudem soll die Fahrstrategie so ausgebildet werden können, dass ein zeit- und energieeffizienter Betrieb des Fahrzeugs ermöglicht werden kann.Based on this, the task of the present invention is to adapt the driving strategy of a vehicle, be it autonomous, partially autonomous or driving manually, to the surroundings of the vehicle, in particular to terrain information, in order to avoid dangerous situations and accidents. In addition, the driving strategy should be able to be designed in such a way that the vehicle can be operated in a time- and energy-efficient manner.

Zum Lösen dieser Aufgabe betrifft die vorliegende Erfindung in einem ersten Aspekt eine Vorrichtung zum Anpassen einer Fahrstrategie eines Fahrzeugs, insbesondere eines Nutzfahrzeugs, mit:

  • einer Eingangsschnittstelle zum Empfangen eines Bildsignals eines optischen Sensors mit Informationen zu einer Umgebung des Fahrzeugs, wobei das Bildsignal wenigstens zwei Bilder umfasst, die an zwei unterschiedlichen Orten erzeugt wurden;
  • einer Verarbeitungseinheit mit einem vortrainierten künstlichen neuronalen Netz (KNN) zum Ermitteln eines Steigungswinkels einer Steigung in der Umgebung des Fahrzeugs und eines Abstands des Fahrzeugs zu der Steigung basierend auf den wenigstens zwei Bildern des Bildsignals;
  • einer Anpassungseinheit zum Anpassen der Fahrstrategie basierend auf dem ermittelten Steigungswinkel und dem ermittelten Abstand; und
  • einer Ausgangsschnittstelle zum Ausgeben der Fahrstrategie an ein Fahrzeugsteuergerät.
To achieve this object, the present invention relates in a first aspect to a device for adapting a driving strategy of a vehicle, in particular a commercial vehicle, with:
  • an input interface for receiving an image signal from an optical sensor with information about the surroundings of the vehicle, the image signal comprising at least two images that were generated at two different locations;
  • a processing unit with a pre-trained artificial neural network (KNN) for determining an angle of incline of an incline in the vicinity of the vehicle and a distance of the vehicle to the incline based on the at least two images of the image signal;
  • an adaptation unit for adapting the driving strategy based on the ascertained gradient angle and the ascertained distance; and
  • an output interface for outputting the driving strategy to a vehicle control unit.

In einem weiteren Aspekt betrifft die vorliegende Erfindung ein System zum Anpassen einer Fahrstrategie eines Fahrzeugs, mit:

  • einer wie zuvor beschriebenen Vorrichtung;
  • einem optischen Sensor zum Übermitteln von Bildsignalen mit Informationen zu der Umgebung des Fahrzeugs; und
  • einem Fahrzeugsteuergerät zum Empfangen und Verarbeiten der Fahrstrategie.
In a further aspect, the present invention relates to a system for adapting a driving strategy of a vehicle, with:
  • a device as previously described;
  • an optical sensor for transmitting image signals with information about the surroundings of the vehicle; and
  • a vehicle control unit for receiving and processing the driving strategy.

Weitere Aspekte der Erfindung betreffen ein Fahrzeug, ein entsprechend der Vorrichtung ausgebildetes Verfahren und ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens, wenn der Programmcode auf einem Computer ausgeführt wird, sowie ein Speichermedium, auf dem ein Computerprogramm gespeichert ist, das, wenn es auf einem Computer ausgeführt wird, eine Ausführung des hierin beschriebenen Verfahrens bewirkt.Further aspects of the invention relate to a vehicle, a method embodied in accordance with the device and a computer program product with program code for performing the steps of the method when the program code is executed on a computer, as well as a storage medium on which a computer program is stored is executed on a computer, causes an execution of the method described herein.

Weiterbildende Ausgestaltungen der Erfindung werden in den abhängigen Ansprüchen beschrieben. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere können das System, das Fahrzeug, das Verfahren und das Computerprogrammprodukt entsprechend den für die Vorrichtung und das System in den abhängigen Ansprüchen beschriebenen Ausgestaltungen ausgeführt sein.Further refinements of the invention are described in the dependent claims. It goes without saying that the features mentioned above and those yet to be explained below can be used not only in the respectively specified combination, but also in other combinations or on their own, without departing from the scope of the present invention. In particular, the system, the vehicle, the method and the computer program product can be designed in accordance with the configurations described for the device and the system in the dependent claims.

Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger gespeichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hardware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme.A computer program can be stored / distributed on a non-volatile data carrier, for example on an optical memory or on a semiconductor drive (SSD). A computer program can be distributed together with hardware and / or as part of hardware, for example by means of the Internet or by means of wired or wireless communication systems.

Erfindungsgemäß ist es vorgesehen, aus den empfangenen Bildsignalen mit zwei Bildern, die an unterschiedlichen Orten erzeugt wurden, einen Steigungswinkel einer Steigung in der Umgebung des Fahrzeugs und einen Abstand des Fahrzeugs zu der Steigung zu ermitteln. Steigungswinkel und Abstand werden basierend auf den wenigstens zwei Bildern des Bildsignals ermittelt, wobei ein vortrainiertes künstliches neuronales Netz (KNN) verwendet wird. Im Rahmen der Erfindung hat sich gezeigt, dass das Erkennen einer Steigung im Frontalbereich vor dem Fahrzeug aus dem empfangenen Bildsignal prinzipiell möglich ist. Allerdings ist hierzu das Aufstellen und Erarbeiten einer Vielzahl von Regeln notwendig, die die Abarbeitung und das Erkennen rechenintensiv und langsam machen. Es hat sich gezeigt, dass ein künstliches neuronales Netz mit Datensätzen vortrainiert werden kann und dass basierend auf dem künstlichen neuronalen Netz eine Verarbeitung deutlich zuverlässiger und schneller erfolgt. Rechenleistung wird gespart. Ein regelbasiertes Programmieren entfällt.According to the invention, it is provided that, from the received image signals with two images that were generated at different locations, an angle of incline of an incline in the vicinity of the vehicle and a distance between the vehicle and the incline are determined. The angle of inclination and the distance are determined based on the at least two images of the image signal, a pre-trained artificial neural network (ANN) being used. In the context of the invention, it has been shown that the detection of a slope in the frontal area in front of the vehicle from the received image signal is possible in principle. However, this requires the establishment and development of a large number of rules that make processing and recognition slow and computationally intensive. It has been shown that an artificial neural network can be pre-trained with data sets and that processing based on the artificial neural network is much more reliable and faster. Computing power is saved. Rule-based programming is not required.

Basierend auf dem Steigungswinkel und dem Abstand einer erkannten Steigung vor dem Fahrzeug wird in einer Anpassungseinheit der erfindungsgemäßen Vorrichtung die Fahrstrategie angepasst. Diese angepasste oder geänderte Fahrstrategie wird an ein Fahrzeugsteuergerät in dem Fahrzeug übermittelt. So ist es beispielsweise möglich, abhängig von der Steigung und dem Abstand ein Schalten des Getriebes in einen höheren Gang, also in eine größere Übersetzung, zu verhindern. Dies kann bei einem Automatikgetriebe automatisch erfolgen. Bei einem manuellen Schaltgetriebe eines Fahrzeugs kann entweder ein Hinweissignal an den Benutzer des Fahrzeugs ausgegeben werden, etwa als optisches oder akustisches Signal, oder ein höherer Gang mit einer größeren Übersetzung kann zeitweise gesperrt werden. In diesem Fall würde die erfindungsgemäße Vorrichtung dem Fahrzeugsteuergerät mitteilen, dass ein Schalten zu verhindern ist, und/oder ein Warnsignal ausgegeben.Based on the gradient angle and the distance of a recognized gradient in front of the vehicle, the driving strategy is adapted in an adaptation unit of the device according to the invention. This adapted or changed driving strategy is transmitted to a vehicle control unit in the vehicle. For example, depending on the gradient and the distance, it is possible to prevent the transmission from shifting to a higher gear, i.e. a higher gear ratio. This can be done automatically in an automatic transmission. In the case of a manual gearbox of a vehicle, either a warning signal can be output to the user of the vehicle, for example as an optical or acoustic signal, or a higher gear with a larger gear ratio can be temporarily blocked. In this case, the device according to the invention would inform the vehicle control unit that switching is to be prevented and / or output a warning signal.

Alternativ könnte ein kleinerer Gang mit einer kleineren Übersetzung gewählt werden, sobald das Fahrzeug einen vordefinierten kritischen Abstand von der Steigung erreicht hat. Der Abstand kann abhängig vom Steigungswinkel der Steigung sein. Des Weiteren kann die Motorelektronik so vorbereitet werden, dass der Motor mehr Leistung erbringen kann, sobald die Steigung erreicht ist. Dies gilt insbesondere bei Fahrzeugen mit geringer Leistung, beim Transport großer Lasten oder wenn die Fahrzeuggeschwindigkeit konstant gehalten werden soll. Alternativ oder zusätzlich kann der Fahrer einen Hinweis erhalten, dass mit einer Steigung zu rechnen ist. Beispielsweise könnte der Steigungswinkel dem Fahrer angegeben werden, damit sich dieser auf die kommende Steigung einstellen kann. Ebenso ist es möglich, insbesondere bei Nutzfahrzeugen und bei Fahrzeugen, die schwere Lasten transportieren, ein Hinweissignal an andere Verkehrsteilnehmer auszugeben. Dies kann beispielsweise durch das Ansteuern der Bremsleuchten erfolgen. Alternativ oder zusätzlich können andere sich in der Nähe befindende Fahrzeuge über Kommunikationseinheiten informiert werden, wenn eine Kommunikation zwischen den Fahrzeugen besteht. Beispielsweise könnten ein Radiosignal oder andere Signale ausgegeben werden, die Fahrzeuge in der Nähe des sich bald verlangsamenden Fahrzeugs empfangen könnten.Alternatively, a lower gear with a lower gear ratio could be selected as soon as the vehicle has reached a predefined critical distance from the incline. The distance can be dependent on the slope angle of the slope. Furthermore, the engine electronics can be prepared so that the engine can provide more power as soon as the incline is reached. This applies in particular to vehicles with low power, when transporting large loads or when the vehicle speed is to be kept constant. As an alternative or in addition, the driver can receive a message that an incline is to be expected. For example, the angle of incline could be given to the driver so that he can adjust to the upcoming incline. It is also possible, in particular in the case of commercial vehicles and vehicles that transport heavy loads, to output a warning signal to other road users. This can be done, for example, by controlling the brake lights. Alternatively or additionally, other vehicles located in the vicinity can be informed via communication units when there is communication between the vehicles. For example, a radio signal or other signals could be emitted that vehicles in the vicinity of the vehicle that is about to slow down could receive.

In einer weiterbildenden Ausgestaltung ist die Verarbeitungseinheit der Vorrichtung so ausgebildet, dass das künstliche neuronale Netz mit Datensätzen vortrainiert ist, die zwei Bilder, einen Steigungswinkel einer Steigung und einen Abstand zu der Steigung umfassen. Steigungswinkel und Abstand sind bekannt. Die beiden Bilder werden hinterlegt. Alle Daten dienen als Trainingsdaten für das künstliche neuronale Netz. Die beiden Bilder werden dabei dem Input Layer des neuronalen Netzes zugeführt, das hieraus (mittels mehrerer Hidden Layer) den Output Layer mit Angaben zum Steigungswinkel und Abstand der Steigung erzeugt.In a further development, the processing unit of the device is designed in such a way that the artificial neural network is pre-trained with data records that include two images, a slope angle of a slope and a distance to the slope. The pitch angle and distance are known. The two images are deposited. All data serve as training data for the artificial neural network. The two images are fed to the input layer of the neural network, which uses this to generate the output layer (using several hidden layers) with information on the angle of incline and the distance between the incline.

In einer weiterbildenden Ausgestaltung wird das künstliche neuronale Netz der Verarbeitungseinheit vortrainiert, indem Bilder verwendet werden, die vorverarbeitet sind. Die Bilder können beispielsweise in Form von gefilterten Daten, komprimierten Daten oder reduzierten Daten vorliegen. Beispielsweise ist es möglich, nicht alle Bilddaten eines Bildes zu verwenden, sondern lediglich ausgewählte. Beispielsweise könnte ein Bereich ausgewählt werden, der durch ein Quadrat oder ein Trapez beschrieben wird, in dem der interessierende Bereich vor dem Fahrzeug abgebildet ist. Ebenfalls wäre es möglich, dass Daten vorskaliert sind.In a further development, the artificial neural network of the processing unit is pre-trained by using pre-processed images. The images can be in the form of filtered data, compressed data or reduced data, for example. For example, it is possible not to use all the image data of an image, but only selected ones. For example, an area could be selected which is described by a square or a trapezoid in which the area of interest is depicted in front of the vehicle. It would also be possible for data to be pre-scaled.

In einer weiterbildenden Ausführungsform werden die Bilder zunächst in eine Disparity Map umgewandelt und verarbeitet, in der die Unterschiede zwischen den beiden Bildern bzw. den die Bilder repräsentierenden Bilddaten verwendet werden. Die Disparity Map dient als Teil des Datensatzes, mit dem das künstliche neuronale Netz trainiert wird. Bevorzugt ist die Disparity Map für das Training weiterverarbeitet, beispielsweise kann sie komprimiert oder gefiltert oder geglättet sein. Entsprechend erfolgt das Erkennen einer Steigung ebenfalls mittels einer Disparity Map. Die Bilder des optischen Sensors werden in eine Disparity Map umgerechnet, auf deren Grundlage das Erkennen der Steigung erfolgt.In a further-developing embodiment, the images are first converted into a disparity map and processed in which the differences between the two images or the image data representing the images are used. The disparity map serves as part of the data set with which the artificial neural network is trained. The disparity map is preferably processed further for the training, for example it can be compressed or filtered or smoothed. Correspondingly, a slope is also recognized by means of a disparity map. The images of the optical sensor are converted into a disparity map, on the basis of which the slope is recognized.

Vorzugsweise wird das künstliche neuronale Netz der Verarbeitungseinheit mit Datensätzen vortrainiert, die auf gemessenen Daten basieren. Hierzu wird mit einem Fahrzeug bei bekanntem Abstand und bekanntem Steigungswinkel einer Steigung eine Weiterverarbeitung von erzeugten Bildern vorgenommen. Je mehr Bilder erzeugt und verarbeitet werden können, desto besser kann das künstliche neuronale Netz trainiert werden. Abstand und Steigungswinkel können mit zusätzlichen Messeinrichtungen gemessen werden. Da das Trainieren mit Messdaten recht zeitaufwendig ist, kann alternativ oder zusätzlich das künstliche neuronale Netz mit Datensätzen vortrainiert werden, die auf simulierten Daten basieren. Die simulierten Daten werden bevorzugt mittels eines Simulationsprogramms erzeugt. Simulationsdaten und Messdaten können auch kombiniert verwendet werden.The artificial neural network of the processing unit is preferably pre-trained with data sets which are based on measured data. For this purpose, a further processing of generated images is carried out with a vehicle at a known distance and a known angle of incline of an incline. The more images that can be generated and processed, the better the artificial neural network can be trained. Distance and angle of incline can be measured with additional measuring devices. Since training with measurement data is quite time-consuming, the artificial neural network can alternatively or additionally be pre-trained with data sets based on simulated data. The simulated data are preferably generated by means of a simulation program. Simulation data and measurement data can also be used in combination.

Sobald eine Trainingsphase des künstlichen neuronalen Netzes der Verarbeitungseinheit abgeschlossen ist, können die Daten in einem weiteren Schritt verifiziert werden. Hierzu werden der Vorrichtung Bilddaten zur Verfügung gestellt, aus denen eine (vorher bekannte) Steigung ermittelt oder prognostiziert werden soll. Da die Steigung mit Steigungswinkel und Abstand bekannt ist, kann die Güte der Vorrichtung überprüft werden. Gegebenenfalls können mehr Datensätze verwendet werden, um das künstliche neuronale Netz zuverlässiger zu machen.As soon as a training phase of the artificial neural network of the processing unit has been completed, the data can be verified in a further step. For this purpose, image data are made available to the device, from which a (previously known) gradient is to be determined or forecast. Since the slope with the slope angle and distance is known, the quality of the device can be checked. If necessary, more data sets can be used in order to make the artificial neural network more reliable.

Insgesamt weist das künstliche neuronale Netz den Vorteil auf, dass eine deutlich schnellere und zuverlässigere Prognostizierung und Erkennung einer vor einem Fahrzeug liegenden Steigung mit Steigungswinkel und Abstand möglich ist. Es kann auf eine traditionelle regelbasierte Programmierung verzichtet werden.Overall, the artificial neural network has the advantage that a significantly faster and more reliable forecasting and detection of an incline in front of a vehicle with incline angle and distance is possible. There is no need for traditional rule-based programming.

In einer weiterbildenden Ausführungsform hat die Verarbeitungseinheit ein künstliches neuronales Netz, das mit Datensätzen vortrainiert ist, die eine Zeitangabe und/oder zusätzliche Fahrzeuginformationen umfassen. Beispielsweise kann die Geschwindigkeit des Fahrzeugs sowie ein Lenkwinkel des Fahrzeugs aufgenommen werden und dem Datensatz für das Training des künstlichen neuronalen Netzes zugeführt werden. Auf diese Weise kann bei der Verwendung der Vorrichtung erkannt werden, wenn sich eine Steigung nicht direkt frontal vor dem Fahrzeug befindet, sondern das Fahrzeug sich in einem abweichenden Winkel, also schräg auf die Steigung zubewegt. Auf Grundlage dieser Informationen kann die Zuverlässigkeit der Vorrichtung weiter erhöht werden. Im Betrieb der Vorrichtung werden dann ebenfalls die Zeitangabe und/oder die Fahrzeuginformationen ermittelt und dem künstlichen neuronalen Netz (KNN) der Verarbeitungseinheit zugeführt.In a further-developing embodiment, the processing unit has an artificial neural network that is pre-trained with data records that include a time specification and / or additional vehicle information. For example, the speed of the vehicle and a steering angle of the vehicle can be recorded and fed to the data set for training the artificial neural network. In this way, when using the device, it can be recognized when an incline is not located directly in front of the vehicle, but rather the vehicle is moving at a different angle, that is, at an incline, towards the incline. On the basis of this information, the reliability of the device can be increased further. When the device is in operation, the time information and / or the vehicle information are then also determined and fed to the artificial neural network (ANN) of the processing unit.

Liegen die zusätzlichen Fahrzeuginformationen und eine Zeitangabe vor, so kann insbesondere beim Erstellen einer Disparity Map die Genauigkeit der Vorhersage oder die Genauigkeit der Trainingsdaten erhöht werden. Zusätzlich kann optional eine Filterung über die Zeit erfolgen, um Ungenauigkeiten in der Vorhersage, Abweichungen der Daten und Informationen zu berücksichtigen. Beispielsweise können Varianzen und Kovarianzen ermittelt werden, um das Erkennen der Steigung zu verbessern. Beispielsweise könnte ein Kalman-Filter verwendet werden. Auch andere dem Fachmann bekannte Filtertechniken können zum Einsatz kommen. Diese Filter werden insbesondere dann eingesetzt, wenn das Bildsignal Bilder umfasst, die zeitlich voneinander abweichen und an unterschiedlichen Orten erstellt werden, beispielsweise bei der Verwendung einer Monokamera mit zwei Bildern zu unterschiedlichen Zeitpunkten bei einem sich bewegenden Fahrzeug.If the additional vehicle information and a time specification are available, the accuracy of the prediction or the accuracy of the training data can be increased, in particular when creating a disparity map. In addition, filtering over time can optionally take place in order to take into account inaccuracies in the forecast, deviations in the data and information. For example, variances and covariances can be determined in order to improve the detection of the slope. For example, a Kalman filter could be used. Other filter techniques known to those skilled in the art can also be used. These filters are used in particular when the image signal includes images that differ from one another in time and are created at different locations, for example when using a Mono camera with two images at different times of a moving vehicle.

In einer weiterbildenden Ausgestaltung ist die Eingangsschnittstelle dazu ausgebildet, ein Bildsignal einer Stereokamera zu empfangen. Das Bildsignal umfasst dabei bevorzugt ein erstes Bild eines ersten Kamerasensors und ein zweites Bild eines zweiten Kamerasensors. Die Stereokamera mit den beiden Kamerasensoren ist bevorzugt an der Front des Fahrzeugs angeordnet, um den Frontalbereich vor dem Fahrzeug zu erkennen. Bevorzugt sind die beiden Kamerasensoren in einem gemeinsamen Gehäuse angeordnet. Selbstverständlich ist es möglich, einen Kamerasensor im rechten Bereich des Fahrzeugs und den anderen Kamerasensor im linken Bereich des Fahrzeugs anzuordnen. Die Stereokamera erzeugt dann ein Bildsignal mit zwei Bildern, zeitlich synchronisiert, die in der gleichen Entfernung von der Steigung erzeugt werden.In a further development, the input interface is designed to receive an image signal from a stereo camera. The image signal preferably includes a first image from a first camera sensor and a second image from a second camera sensor. The stereo camera with the two camera sensors is preferably arranged at the front of the vehicle in order to detect the frontal area in front of the vehicle. The two camera sensors are preferably arranged in a common housing. It is of course possible to arrange one camera sensor in the right area of the vehicle and the other camera sensor in the left area of the vehicle. The stereo camera then generates an image signal with two images, synchronized in time, which are generated at the same distance from the slope.

In einer alternativen weiterbildenden Ausgestaltung ist die Eingangsschnittstelle zum Empfangen eines Bildsignals einer Monokamera ausgebildet. Das Bildsignal umfasst ein erstes Bild der Monokamera und ein zweites Bild der Monokamera. Die beiden Bilder sind zeitlich nacheinander aufgenommen. Da sich das Fahrzeug zwischen den beiden Aufnahmen der Monokamera bewegt, weichen das erste Bild und das zweite Bild der Monokamera voneinander ab. Aus der Abweichung kann beispielsweise eine Disparity Map erstellt werden, die Aussagen über die Entfernung zur Steigung und den Steigungswinkel ermöglicht. Bei einer Stereokamera weichen das Bild des ersten Kamerasensors und das Bild des zweiten Kamerasensors voneinander ab, sodass ebenfalls eine Differenzbildung möglich ist und beispielsweise eine Disparity Map gebildet werden kann, um den Abstand zur Steigung und deren Steigungswinkel zu ermitteln.In an alternative refinement, the input interface is designed to receive an image signal from a mono camera. The image signal comprises a first image from the mono camera and a second image from the mono camera. The two images are taken one after the other. Since the vehicle moves between the two recordings of the mono camera, the first image and the second image of the mono camera deviate from one another. For example, a disparity map can be created from the deviation, which enables statements to be made about the distance to the gradient and the gradient angle. In the case of a stereo camera, the image of the first camera sensor and the image of the second camera sensor differ from one another, so that a difference can also be formed and, for example, a disparity map can be formed in order to determine the distance to the slope and its slope angle.

In einer weiterbildenden Ausführungsform umfasst das erfindungsgemäße System als optischen Sensor eine Stereokamera mit zwei Kamerasensoren oder eine Monokamera, wie bereits oben beschrieben.In a further-developing embodiment, the system according to the invention comprises, as an optical sensor, a stereo camera with two camera sensors or a mono camera, as already described above.

Vorzugsweise erzeugt das Fahrzeugsteuergerät des erfindungsgemäßen Systems Steuerbefehle basierend auf der Fahrstrategie, die von der Vorrichtung übermittelt wurde. Die Steuerbefehle werden an Komponenten des Fahrzeugs übermittelt, um die vorgegebene Fahrstrategie zu verwirklichen. Beispielsweise können Motorsteuerkomponenten darauf vorbereitet werden, dass in Kürze mehr Leistung zur Verfügung stehen muss. Ebenso ist es möglich, ein Hochschalten des Getriebes zu einer größeren Übersetzung zu verhindern oder ein Ändern der Gangwahl zu einer geringeren Übersetzung zu initiieren.The vehicle control unit of the system according to the invention preferably generates control commands based on the driving strategy that was transmitted by the device. The control commands are transmitted to components of the vehicle in order to implement the specified driving strategy. For example, engine control components can be prepared so that more power will soon be available. It is also possible to prevent the transmission from shifting up to a higher gear ratio or to initiate a change in gear selection to a lower gear ratio.

Die Umgebung eines Fahrzeugs umfasst insbesondere einen von dem optischen Sensor oder Umgebungssensor erfassten Bereich des Umfelds des Fahrzeugs, wobei der optische Sensor an dem Fahrzeug angebracht ist. Ein optischer Sensor kann mehrere einzelne Sensoren umfassen. Insbesondere ist er im Frontbereich des Fahrzeugs angeordnet, um einen Frontalbereich vor dem Fahrzeug zu detektieren. Der optische Sensor umfasst vorzugsweise eine Stereokamera oder eine Monokamera. Der Sensor erzeugt zwei Bilder, die an unterschiedlichen Orten erzeugt wurden. Bei einer Stereokamera sind dies zwei Bilder unterschiedlicher Kamerasensoren, bei einer Monokamera zeitlich versetzt aufgenommene Bilder bei sich bewegender Kamera. Das künstliche neuronale Netz kann in einer elektronischen Steuereinheit der Verarbeitungseinheit implementiert sein. Beispielsweise kann das künstliche neuronale Netz in einem Chip oder Prozessor integriert sein. Es kann in Form einer Software vorliegen oder beispielsweise als Programmcode oder hardwarenah in einem Chip implementiert sein. Das verwendete Filter zum Trainieren oder Anwenden des künstlichen neuronalen Netzes kann gängige Filter umfassen, um die Abweichung, Streuung, Varianz oder Kovarianz zu berücksichtigen. Dem Fachmann sind unterschiedliche Filtertechniken bekannt, beispielsweise könnte ein Kalman-Filter verwendet werden. Die Filter können zu Beginn der Ausführung eines Erkennens oder eines Trainings initialisiert werden.The surroundings of a vehicle include, in particular, an area of the surroundings of the vehicle detected by the optical sensor or surroundings sensor, the optical sensor being attached to the vehicle. An optical sensor can comprise several individual sensors. In particular, it is arranged in the front area of the vehicle in order to detect a frontal area in front of the vehicle. The optical sensor preferably comprises a stereo camera or a mono camera. The sensor creates two images that were created in different locations. In the case of a stereo camera, these are two images from different camera sensors; in the case of a mono camera, images recorded at different times when the camera is moving. The artificial neural network can be implemented in an electronic control unit of the processing unit. For example, the artificial neural network can be integrated in a chip or processor. It can be in the form of software or, for example, as program code or implemented in a chip close to the hardware. The filter used for training or applying the artificial neural network can include customary filters in order to take into account the deviation, dispersion, variance or covariance. Different filter techniques are known to those skilled in the art, for example a Kalman filter could be used. The filters can be initialized at the beginning of the execution of a discovery or training.

Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläutert. Es zeigen:

  • 1 eine schematische Ansicht des erfindungsgemäßen Systems zum Anpassen einer Fahrstrategie eines Fahrzeugs;
  • 2 eine schematische Darstellung des erfindungsgemäßen Systems;
  • 3 eine schematische Darstellung eines Fahrzeugs mit dem erfindungsgemäßen System;
  • 4 eine schematische Darstellung eines Datensatzes zum Trainieren eines künstlichen neuronalen Netzes (KNN) der erfindungsgemäßen Vorrichtung;
  • 5 eine Prinzipskizze des Trainierens eines künstlichen neuronalen Netzes;
  • 6 eine schematische Darstellung des erfindungsgemäßen Verfahrens; und
  • 7 eine alternative Ausführungsform des erfindungsgemäßen Verfahrens.
The invention is described and explained in more detail below using a few selected exemplary embodiments in connection with the accompanying drawings. Show it:
  • 1 a schematic view of the system according to the invention for adapting a driving strategy of a vehicle;
  • 2 a schematic representation of the system according to the invention;
  • 3 a schematic representation of a vehicle with the system according to the invention;
  • 4th a schematic representation of a data set for training an artificial neural network (ANN) of the device according to the invention;
  • 5 a schematic diagram of training an artificial neural network;
  • 6th a schematic representation of the method according to the invention; and
  • 7th an alternative embodiment of the method according to the invention.

Die 1 zeigt schematisch ein erfindungsgemäßes System 10 zum Anpassen einer Fahrstrategie eines Fahrzeugs 12, das hier schematisch als Traktor dargestellt ist. Die Darstellung zeigt eine Seitenansicht einer Verkehrssituation mit einer Steigung 14 mit einem Steigungswinkel 16, die in einem Frontalbereich 18 vor dem Fahrzeug 12 liegt. Ein Abstand 20 spiegelt die Distanz zwischen dem Fahrzeug 12 und einem Fußpunkt der Steigung 14 wider. Der Frontalbereich 18 vor dem Fahrzeug 12 wird mittels eines optischen Sensors 22 erfasst, der als Stereokamera 24 in einem Frontbereich 26 am Fahrzeug 12 angeordnet ist.The 1 shows schematically a system according to the invention 10 for adapting a driving strategy of a vehicle 12th , here schematically as Tractor is shown. The illustration shows a side view of a traffic situation with an incline 14th with a slope angle 16 that are in a frontal area 18th in front of the vehicle 12th lies. A distance 20th reflects the distance between the vehicle 12th and a base point of the slope 14th contrary. The frontal area 18th in front of the vehicle 12th is made by means of an optical sensor 22nd captured as a stereo camera 24 in a front area 26th at the vehicle 12th is arranged.

Basierend auf einem Bildsignal des optischen Sensors 22, das zwei Bilder umfasst, die von je einer der beiden Kameras der Stereokamera 24 aufgenommen werden, wird eine Disparity Map ermittelt. Auf dieser Grundlage kann mittels des erfindungsgemäßen Systems 10 eine Schätzung des Abstands 20 und des Steigungswinkels 16 der Steigung 14 erfolgen.Based on an image signal from the optical sensor 22nd , which includes two images, each from one of the two cameras of the stereo camera 24 are recorded, a disparity map is determined. On this basis, by means of the system according to the invention 10 an estimate of the distance 20th and the pitch angle 16 the slope 14th respectively.

2 zeigt das erfindungsgemäße System 10 mit einer Vorrichtung 30, dem optischen Sensor 22 und einem Fahrzeugsteuergerät 32. Die Vorrichtung 30 umfasst eine Eingangsschnittstelle 34, um ein Bildsignal des optischen Sensors 22 zu empfangen, wobei das Bildsignal Informationen zu dem Frontalbereich 18 in der Umgebung des Fahrzeugs 12 umfasst. Das Bildsignal umfasst zwei Bilder, die an zwei unterschiedlichen Orten erzeugt wurden, nämlich von den beiden Kameras der Stereokamera 24. 2 shows the system according to the invention 10 with a device 30th , the optical sensor 22nd and a vehicle control unit 32 . The device 30th includes an input interface 34 to get an image signal from the optical sensor 22nd to receive the image signal information about the frontal area 18th in the vicinity of the vehicle 12th includes. The image signal comprises two images that were generated at two different locations, namely by the two cameras of the stereo camera 24 .

Die Vorrichtung 30 hat weiter eine Verarbeitungseinheit 36, eine Anpassungseinheit 38 zum Anpassen der Fahrstrategie und eine Ausgangsschnittstelle 40 zum Ausgeben der Fahrstrategie an das Fahrzeugsteuergerät 32.The device 30th further has a processing unit 36 , an adjustment unit 38 for adapting the driving strategy and an output interface 40 to output the driving strategy to the vehicle control unit 32 .

Die Verarbeitungseinheit 36 umfasst ein vortrainiertes künstliches neuronales Netz (KNN), um basierend auf den zwei Bildern des Bildsignals den Steigungswinkel 16 der Steigung 14 und den Abstand zwischen dem Fahrzeug 12 und der Steigung 14 zu ermitteln. Basierend auf Steigungswinkel 16 und Abstand 20 wird die Fahrstrategie in der Anpassungseinheit 38 angepasst.The processing unit 36 comprises a pre-trained artificial neural network (ANN) in order to determine the angle of inclination based on the two images of the image signal 16 the slope 14th and the distance between the vehicle 12th and the slope 14th to determine. Based on pitch angle 16 and distance 20th becomes the driving strategy in the adaptation unit 38 customized.

Bevorzugt werden die Bildsignale, die der optische Sensor 22 liefert, in der Verarbeitungseinheit 36 oder in einer anderen Einheit der Vorrichtung 30 vorverarbeitet. Beispielsweise kann eine so genannte Disparity Map erstellt werden, die reduziert (sparse), komprimiert (dense) oder gefiltert sein kann. Die Bilddaten der Bilder können skaliert, vollständig und/oder auf interessierende Bereiche reduziert sein. Ein Downscaling kann ebenfalls optional erfolgen. Die vorzugsweise vorverarbeiteten Bilddaten werden dann dem künstlichen neuronalen Netz zur Verfügung gestellt, das aus diesen Daten den Steigungswinkel 16 und den Abstand 20 ermittelt.The image signals sent by the optical sensor are preferred 22nd supplies, in the processing unit 36 or in another unit of the device 30th preprocessed. For example, a so-called disparity map can be created, which can be reduced (sparse), compressed (dense) or filtered. The image data of the images can be scaled, complete and / or reduced to areas of interest. Downscaling can also be done optionally. The preferably preprocessed image data are then made available to the artificial neural network, which calculates the angle of inclination from these data 16 and the distance 20th determined.

3 zeigt ein Fahrzeug 12, das ein Nutzfahrzeug 42 ist und über das erfindungsgemäße System 10 verfügt. Eine Stereokamera 24 ist im Frontbereich 26 des Nutzfahrzeugs 42 angeordnet. Die mit der Stereokamera 24 ermittelten Bildsignale werden in der Vorrichtung 30 mittels des künstlichen neuronalen Netzes verarbeitet und eine Fahrstrategie an das Fahrzeugsteuergerät 32 übermittelt. Das Fahrzeugsteuergerät 32 verhindert im vorliegenden Fall beispielhaft das automatische Hochschalten in einen Gang mit einer größeren Übersetzung und erzeugt deshalb ein Steuersignal für ein Automatikgetriebe 44. Das hier gezeigte Nutzfahrzeug 42 umfasst also ein Fahrzeugsteuergerät 32, das es ermöglicht, die Fahrstrategie und somit das Fahrzeugverhalten gemäß der ermittelten Fahrstrategie anzupassen. Beispielsweise kann über das Fahrzeugsteuergerät 32 ein Herunterschalten des Automatikgetriebes 44 initiiert werden, sodass kurz vor Erreichen der Steigung 14 eine geringere Übersetzung gewählt wird. 3 shows a vehicle 12th that is a commercial vehicle 42 is and about the system according to the invention 10 disposes. A stereo camera 24 is in the front area 26th of the commercial vehicle 42 arranged. The one with the stereo camera 24 detected image signals are in the device 30th processed by means of the artificial neural network and a driving strategy to the vehicle control unit 32 transmitted. The vehicle control unit 32 In the present case, for example, prevents the automatic upshifting into a gear with a larger gear ratio and therefore generates a control signal for an automatic transmission 44 . The commercial vehicle shown here 42 thus includes a vehicle control unit 32 , which makes it possible to adapt the driving strategy and thus the vehicle behavior according to the determined driving strategy. For example, via the vehicle control unit 32 a downshift of the automatic transmission 44 be initiated so that just before reaching the slope 14th a lower gear ratio is selected.

4 zeigt eine Anzahl typischer Datensätze 46, die für das Training des künstlichen neuronalen Netzes verwendet werden. Die Datensätze 46 umfassen jeweils Bilddaten 48 eines ersten und zweiten Bilds einer Stereokamera 24, optionale Fahrzeuginformationen 50 (z.B. Geschwindigkeit, Lenkwinkel und/oder Zeitangaben) sowie einen bekannten Steigungswinkel 16 und einen bekannten Abstand 20. Diese Datensätze 46 werden zum Training des künstlichen neuronalen Netzes verwendet. Zu sehen ist, dass die ersten drei gezeigten Datensätze 46 jeweils einen Steigungswinkel 16 von 10 Grad aufweisen und der Abstand 20 von 5 Metern bis 0,5 Meter variiert. In der zweiten Datensatzgruppe beträgt der Steigungswinkel 16 stets 5 Grad, während der Abstand unterschiedliche Werte annimmt. 4th shows a number of typical data sets 46 used for artificial neural network training. The records 46 each include image data 48 a first and second image from a stereo camera 24 , optional vehicle information 50 (e.g. speed, steering angle and / or time information) and a known angle of incline 16 and a known distance 20th . These records 46 are used to train the artificial neural network. It can be seen that the first three data sets shown 46 each have a pitch angle 16 of 10 degrees and the distance 20th varies from 5 meters to 0.5 meters. In the second group of data sets, the slope angle is 16 always 5 degrees, while the distance assumes different values.

Bei der Verwendung des künstlichen neuronalen Netzes in der Verarbeitungseinheit 36, wenn eine unbekannte Steigung erkannt werden soll, werden dem künstlichen neuronalen Netz die Bilddaten 48 zur Verfügung gestellt, alternativ weiterverarbeitete Bilddaten, etwa eine Disparity Map 56. Die Ausgangsdatensätze, die von dem künstlichen neuronalen Netz erzeugt werden, geben dann die gesuchten Steigungswinkel 16 und den Abstand 20 an.When using the artificial neural network in the processing unit 36 , if an unknown slope is to be recognized, the artificial neural network receives the image data 48 made available, alternatively further processed image data, such as a disparity map 56 . The output data sets that are generated by the artificial neural network then give the slope angle sought 16 and the distance 20th at.

5 zeigt schematisch am Beispiel einer Disparity Map 56 als Eingangsgröße ein künstliches neuronales Netz 52 mit einem Input Layer 70, mehreren Hidden Layern 72 und einem Output Layer 74. Die Anzahl der hier verwendeten Neuronen hängt von der Rasterung der Disparity Map 56 bzw. den Pixeln des Disparity Images ab, das aus den beiden Bildern des Bildsignals gewonnen wurde. Bei der Ermittlung des Steigungswinkels 16 und des Abstands 20 können neben der Disparity Map 56 auch weitere Fahrzeuginformationen 50 einfließen, die beispielsweise die Fahrzeuggeschwindigkeit und den Lenkwinkel einschließen können. Ebenso ist eine Filterung möglich, um beispielsweise Varianzen und Kovarianzen der verwendeten Daten und Informationen sowie Bildsignale zu berücksichtigen. 5 shows schematically using the example of a disparity map 56 an artificial neural network as the input variable 52 with an input layer 70 , several hidden layers 72 and an output layer 74 . The number of neurons used here depends on the rasterization of the disparity map 56 or the pixels of the disparity image that was obtained from the two images of the image signal. When determining the angle of incline 16 and the distance 20th can in addition to the disparity map 56 also other vehicle information 50 include, for example, the vehicle speed and the Can include steering angle. Filtering is also possible in order, for example, to take into account variances and covariances of the data and information used, as well as image signals.

Selbstverständlich ist es möglich, neben der Verwendung einer Disparity Map 56 auch die Bilder und die entsprechenden Bilddaten 48 direkt miteinander zu vergleichen und hieraus Abstand 20 und Steigungswinkel 16 zu ermitteln.Of course it is possible, in addition to using a disparity map 56 also the images and the corresponding image data 48 to compare directly with each other and from this distance 20th and pitch angle 16 to determine.

Um Rechenzeit und Datenmengen zu sparen, kann von den Bildern oder der Disparity Map 56 lediglich ein interessierender und relevanter Bereich ausgewählt werden, beispielsweise in Form eines Rechtecks oder einer Spalte oder alternativ in Form eines Trapezes. Ein interessierender Bereich (region of interest, ROI) in den Bildern spiegelt sich in der Disparity Map 56 ebenfalls in Form eines Rechtecks, einer Spalte oder eines Trapezes wider.In order to save computing time and data volumes, the images or the disparity map 56 only an interesting and relevant area can be selected, for example in the form of a rectangle or a column or alternatively in the form of a trapezoid. A region of interest (ROI) in the images is reflected in the disparity map 56 also in the form of a rectangle, a column or a trapezoid.

6 zeigt das erfindungsgemäße Verfahren zum Anpassen einer Fahrstrategie. In einem ersten Schritt S10 des Empfangens wird ein Bildsignal eines optischen Sensors 22 mit Informationen zu einer Umgebung, insbesondere eines Frontalbereichs 18 des Fahrzeugs 12, empfangen. Das Bildsignal umfasst zwei Bilder, die an unterschiedlichen Orten erzeugt wurden, beispielsweise mittels Stereokamera 24. 6th shows the method according to the invention for adapting a driving strategy. In a first step S10 of receiving, an image signal from an optical sensor 22nd with information about an environment, in particular a frontal area 18th of the vehicle 12th received. The image signal comprises two images that were generated at different locations, for example by means of a stereo camera 24 .

In einem optionalen Schritt S12 wird aus den Bilddaten der Bilder 54 eine Disparity Map 56 erzeugt, die gefiltert, komprimiert oder reduziert sein kann. Die Disparity Map 56 kann vollständig, skaliert (z.B. herunterskaliert) und/oder auf interessierende Bereiche reduziert sein. Gleiches gilt für die Bilder bzw. die Bilddaten selbst.In an optional step S12, a disparity map is created from the image data of the images 54 56 that can be filtered, compressed or reduced. The disparity map 56 can be complete, scaled (e.g. scaled down) and / or reduced to areas of interest. The same applies to the images or the image data themselves.

Die empfangenen Bilder des Bildsignals oder die zu der Disparity Map 56 weiterverarbeiteten Daten werden in einem weiteren Schritt S14 des Ermittelns verwendet, um einen unbekannten Steigungswinkel 16 einer Steigung 14 und einen unbekannten Abstand 20 zwischen dem Fahrzeug 12 und der Steigung 14 zu ermitteln. Ein weiterer Schritt des Anpassens S16 der Fahrstrategie basierend auf dem ermittelten Steigungswinkel 16 und dem ermittelten Abstand 20 folgt. In einem weiteren Schritt S18 wird die Fahrstrategie an ein Fahrzeugsteuergerät 32 ausgegeben.The received images of the image signal or those for the disparity map 56 Further processed data are used in a further step S14 of the determination to determine an unknown pitch angle 16 an incline 14th and an unknown distance 20th between the vehicle 12th and the slope 14th to determine. Another step of adapting S16 the driving strategy based on the ascertained gradient angle 16 and the determined distance 20th follows. In a further step S18, the driving strategy is sent to a vehicle control unit 32 issued.

7 zeigt eine weiterbildende Ausführungsform des erfindungsgemäßen Verfahrens, bei dem optionale, zusätzliche Schritte durchgeführt werden. In einem Schritt S20 wird ein vorhandenes Filter zur Filterung von ermitteltem Steigungswinkel und Abstand initialisiert. Es folgen die Schritte S10 und optional S12 wie in dem Verfahren gemäß 6. In einem Schritt S22 werden Fahrzeuggeschwindigkeit und Lenkwinkel von dem Fahrzeug 12 ermittelt. Schritt S24 umfasst das Berechnen der von dem Fahrzeug 12 zurückgelegten Wegstrecke zwischen zwei Aufnahmen der Stereokamera 24 basierend auf der Fahrzeuggeschwindigkeit. In dem anschließenden Schritt S14 werden mittels des künstlichen neuronalen Netzes der Steigungswinkel 16 und der Abstand 20 ermittelt, die in Schritt S26 gefiltert werden. Die gefilterten Werte werden zum Anpassen der Fahrstrategie verwendet. Varianzen oder Kovarianzen können berücksichtigt werden. In Schritt S18 wird die Fahrstrategie an das Fahrzeugsteuergerät 32 übermittelt. 7th shows a further developing embodiment of the method according to the invention, in which optional, additional steps are carried out. In a step S20, an existing filter for filtering the ascertained incline angle and distance is initialized. Steps S10 and optionally S12 follow as in the method according to FIG 6th . In a step S22, the vehicle speed and steering angle are determined by the vehicle 12th determined. Step S24 includes calculating the from the vehicle 12th Distance covered between two recordings of the stereo camera 24 based on the vehicle speed. In the subsequent step S14, the slope angle is determined by means of the artificial neural network 16 and the distance 20th determined, which are filtered in step S26. The filtered values are used to adapt the driving strategy. Variances or covariances can be taken into account. In step S18, the driving strategy is sent to the vehicle control unit 32 transmitted.

Wird für jede Messung nicht die Disparity Map 56 berechnet und trainiert, sondern direkt die Bilder 54 der Stereokamera 24 verwendet, so entfällt die Berechnung der Disparity Map 56. Das künstliche neuronale Netz lernt den Steigungswinkel 16 und den Abstand 20 zur Steigung 14 aus den Bildern der Kamera direkt.The disparity map is not used for each measurement 56 calculated and trained, but directly the images 54 from the stereo camera 24 is used, the disparity map is not calculated 56 . The artificial neural network learns the slope angle 16 and the distance 20th to the slope 14th directly from the images of the camera.

Bei einem alternativen Training für das künstliche neuronale Netz wird eine Monokamera verwendet. Durch eine zeitlich hintereinander erfolgende Aufnahme der Monokamera wird ein so genanntes motion stereo erzeugt. Zwei hintereinander aufgenommene Monokamerabilder werden zu einem motion stereo-Paar zusammengefügt. Diese Bilder können ganz, skaliert und/oder für einen interessierenden Bereich vorliegen. Die Zeit zwischen den zwei gepaarten motion stereo-Bildern wird anhand der Geschwindigkeit des Fahrzeugs bestimmt, sodass ein festgelegter Wert der von dem Fahrzeug gefahrenen Distanz in Fahrzeug- und/oder Kamerakoordinaten eingehalten wird. Beispielsweise kann die Fahrzeuggeschwindigkeit so gewählt werden, dass ein vorgegebener gefahrener Abstand von beispielsweise einem Meter zwischen zwei motion stereo-Bildern erzielt wird. Dazu ist eine Fahrzeuggeschwindigkeit von 1 Meter pro Sekunde notwendig und eine Zeitdifferenz zwischen den Aufnahmen der Monobilder von 1 Sekunde. In diesem Fall entfällt also die Berechnung einer Disparity Map oder die Nutzung einer Stereokamera. Dafür müssen allerdings die Angaben zur Fahrzeuggeschwindigkeit sehr akkurat sein. Das künstliche neuronale Netz lernt hierbei den Steigungswinkel 16 und den Abstand 20 zur Steigung 14 aus einer Serie von gepaarten Bildern direkt.In an alternative training for the artificial neural network, a mono camera is used. A so-called motion stereo is generated by recording the mono camera one after the other. Two mono camera images recorded one after the other are combined to form a motion stereo pair. These images can be whole, scaled and / or for an area of interest. The time between the two paired motion stereo images is determined on the basis of the speed of the vehicle, so that a fixed value of the distance traveled by the vehicle in vehicle and / or camera coordinates is maintained. For example, the vehicle speed can be selected in such a way that a predetermined distance traveled, for example one meter, is achieved between two motion stereo images. This requires a vehicle speed of 1 meter per second and a time difference between the recordings of the mono images of 1 second. In this case, there is no need to calculate a disparity map or use a stereo camera. For this, however, the information on the vehicle speed must be very accurate. The artificial neural network learns the angle of incline 16 and the distance 20th to the slope 14th directly from a series of paired images.

BezugszeichenlisteList of reference symbols

1010
Systemsystem
1212th
Fahrzeugvehicle
1414th
Steigungpitch
1616
SteigungswinkelPitch angle
1818th
FrontalbereichFrontal area
2020th
Abstanddistance
2222nd
optischer Sensoroptical sensor
2424
StereokameraStereo camera
2626th
Frontbereich Front area
3030th
Vorrichtungcontraption
3232
FahrzeugsteuergerätVehicle control unit
3434
EingangsschnittstelleInput interface
3636
VerarbeitungseinheitProcessing unit
3838
AnpassungseinheitAdjustment unit
4040
AusgangsschnittstelleOutput interface
4242
NutzfahrzeugCommercial vehicle
4444
Automatikgetriebeautomatic transmission
4646
Datensatzrecord
4848
BilddatenImage data
5050
FahrzeuginformationVehicle information
5252
Künstliches neuronales Netz (KNN) Artificial Neural Network (ANN)
5656
Disparity Map Disparity Map
7070
Input LayerInput layer
7272
Hidden LayerHidden layer
7474
Output LayerOutput layer

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • US 8867790 B2 [0006]US 8867790 B2 [0006]

Claims (15)

Vorrichtung (30) zum Anpassen einer Fahrstrategie eines Fahrzeugs (12), insbesondere eines Nutzfahrzeugs, mit: einer Eingangsschnittstelle (34) zum Empfangen eines Bildsignals eines optischen Sensors (22) mit Informationen zu einer Umgebung des Fahrzeugs (12), wobei das Bildsignal wenigstens zwei Bilder umfasst, die an zwei unterschiedlichen Orten erzeugt wurden; einer Verarbeitungseinheit (36) mit einem vortrainierten künstlichen neuronalen Netz (52) zum Ermitteln eines Steigungswinkels (16) einer Steigung (14) in der Umgebung des Fahrzeugs (12) und eines Abstands (20) des Fahrzeugs (12) zu der Steigung (14) basierend auf den wenigstens zwei Bildern des Bildsignals; einer Anpassungseinheit (38) zum Anpassen der Fahrstrategie basierend auf dem ermittelten Steigungswinkel (16) und dem ermittelten Abstand (20); und einer Ausgangsschnittstelle (40) zum Ausgeben der Fahrstrategie an ein Fahrzeugsteuergerät (32).Device (30) for adapting a driving strategy of a vehicle (12), in particular a commercial vehicle, with: an input interface (34) for receiving an image signal from an optical sensor (22) with information on the surroundings of the vehicle (12), the image signal comprising at least two images which were generated at two different locations; a processing unit (36) with a pre-trained artificial neural network (52) for determining an angle of incline (16) of an incline (14) in the vicinity of the vehicle (12) and a distance (20) of the vehicle (12) to the incline (14) ) based on the at least two images of the image signal; an adaptation unit (38) for adapting the driving strategy based on the ascertained gradient angle (16) and the ascertained distance (20); and an output interface (40) for outputting the driving strategy to a vehicle control unit (32). Vorrichtung (30) nach Anspruch 1, wobei die Verarbeitungseinheit (36) so ausgebildet ist, dass das künstliche neuronale Netz (52) mit Datensätzen vortrainiert ist, die zwei Bilder, einen Steigungswinkel (16) und einen Abstand (20) umfassen.Device (30) after Claim 1 , wherein the processing unit (36) is designed such that the artificial neural network (52) is pre-trained with data sets which include two images, a slope angle (16) and a distance (20). Vorrichtung (30) nach einem der vorstehenden Ansprüche, wobei die Verarbeitungseinheit (36) so ausgebildet ist, dass das künstliche neuronale Netz (52) mit Datensätzen vortrainiert ist, bei denen die Bilder vorverarbeitet sind.Device (30) according to one of the preceding claims, wherein the processing unit (36) is designed such that the artificial neural network (52) is pre-trained with data sets in which the images are pre-processed. Vorrichtung (30) nach einem der vorstehenden Ansprüche, wobei die Verarbeitungseinheit (36) so ausgebildet ist, dass das künstliche neuronale Netz (52) mit Datensätzen vortrainiert ist, bei denen die Bilder in Form einer Disparity Map (56) vorliegen, wobei die Disparity Map (56) weiterverarbeitet ist.Device (30) according to one of the preceding claims, wherein the processing unit (36) is designed such that the artificial neural network (52) is pre-trained with data sets in which the images are in the form of a disparity map (56), the disparity Map (56) is further processed. Vorrichtung (30) nach einem der vorstehenden Ansprüche, wobei die Verarbeitungseinheit (36) so ausgebildet ist, dass das künstliche neuronale Netz (52) mit Datensätzen vortrainiert ist, die auf gemessenen Daten basieren und/oder die auf simulierten Daten basieren.Device (30) according to one of the preceding claims, wherein the processing unit (36) is designed such that the artificial neural network (52) is pre-trained with data sets which are based on measured data and / or which are based on simulated data. Vorrichtung (30) nach einem der vorstehenden Ansprüche, wobei die Verarbeitungseinheit (36) so ausgebildet ist, dass das künstliche neuronale Netz (52) mit Datensätzen vortrainiert ist, die eine Zeitangabe und/oder zusätzliche Fahrzeuginformationen umfassen.Device (30) according to one of the preceding claims, wherein the processing unit (36) is designed in such a way that the artificial neural network (52) is pre-trained with data records which include a time specification and / or additional vehicle information. Vorrichtung (30) nach einem der vorstehenden Ansprüche, wobei die Eingangsschnittstelle (34) zum Empfangen eines Bildsignals einer Stereokamera (24) ausgebildet ist; und das Bildsignal ein erstes Bild eines ersten Kamerasensors und ein zweites Bild eines zweiten Kamerasensors umfasst.Device (30) according to one of the preceding claims, wherein the input interface (34) is designed to receive an image signal from a stereo camera (24); and the image signal comprises a first image from a first camera sensor and a second image from a second camera sensor. Vorrichtung (30) nach einem der vorstehenden Ansprüche, wobei die Eingangsschnittstelle (34) zum Empfangen eines Bildsignals einer Monokamera ausgebildet ist; und das Bildsignal ein erstes Bild der Monokamera und ein zweites Bild der Monokamera umfasst, die zeitlich nacheinander aufgenommen wurden.Device (30) according to one of the preceding claims, wherein the input interface (34) is designed to receive an image signal from a mono camera; and the image signal comprises a first image from the mono camera and a second image from the mono camera, which were recorded one after the other. System (10) zum Anpassen einer Fahrstrategie eines Fahrzeugs (12), mit: einer Vorrichtung (30) nach einem der vorstehenden Ansprüche; einem optischen Sensor (22) zum Übermitteln von Bildsignalen mit Informationen zu der Umgebung des Fahrzeugs (12); und einem Fahrzeugsteuergerät (32) zum Empfangen und Verarbeiten der Fahrstrategie.System (10) for adapting a driving strategy of a vehicle (12), with: a device (30) according to any one of the preceding claims; an optical sensor (22) for transmitting image signals with information about the surroundings of the vehicle (12); and a vehicle control unit (32) for receiving and processing the driving strategy. System (10) nach Anspruch 9, wobei der optische Sensor (22) eine Stereokamera (24) mit zwei Kamerasensoren oder eine Monokamera ist.System (10) according to Claim 9 , wherein the optical sensor (22) is a stereo camera (24) with two camera sensors or a mono camera. System (10) nach Anspruch 9 oder 10, wobei das Fahrzeugsteuergerät (32) basierend auf der Fahrstrategie Steuerbefehle erzeugt, die an Komponenten des Fahrzeugs (12) übermittelt werden, um die Fahrstrategie zu verwirklichen.System (10) according to Claim 9 or 10 wherein the vehicle control unit (32) generates control commands based on the driving strategy, which are transmitted to components of the vehicle (12) in order to implement the driving strategy. Fahrzeug (12) mit einem System nach einem der Ansprüche 9 bis 11, wobei das Fahrzeug (12) ein Nutzfahrzeug (42) ist.Vehicle (12) with a system according to one of the Claims 9 to 11 wherein the vehicle (12) is a utility vehicle (42). Verfahren zum Anpassen einer Fahrstrategie eines Fahrzeugs (12), mit den Schritten: Empfangen eines Bildsignals eines optischen Sensors (22) mit Informationen zu einer Umgebung des Fahrzeugs (12), wobei das Bildsignal wenigstens zwei Bilder umfasst, die an zwei unterschiedlichen Orten erzeugt wurden; Ermitteln eines Steigungswinkels (16) einer Steigung (14) in der Umgebung des Fahrzeugs (12) und eines Abstands (20) des Fahrzeugs (12) zu der Steigung (14) basierend auf den wenigstens zwei Bildern des Bildsignals; Anpassen der Fahrstrategie basierend auf dem ermittelten Steigungswinkel (16) und dem ermittelten Abstand (20); und Ausgeben der Fahrstrategie an ein Fahrzeugsteuergerät (32).Method for adapting a driving strategy of a vehicle (12), with the steps: Receiving an image signal from an optical sensor (22) with information about the surroundings of the vehicle (12), the image signal comprising at least two images that were generated at two different locations; Determining an angle of incline (16) of an incline (14) in the vicinity of the vehicle (12) and a distance (20) of the vehicle (12) to the incline (14) based on the at least two images of the image signal; Adapting the driving strategy based on the ascertained gradient angle (16) and the ascertained distance (20); and outputting the driving strategy to a vehicle control unit (32). Verfahren nach dem vorstehenden Anspruch, mit dem weiteren Schritt: Verwenden eines vortrainierten künstlichen neuronalen Netzes (52) zum Ermitteln des Steigungswinkels (16) der Steigung (14) in der Umgebung des Fahrzeugs (12) und des Abstands (20) des Fahrzeugs (12) zu der Steigung (14) basierend auf den wenigstens zwei Bildern des Bildsignals.Method according to the preceding claim, with the further step of: using a pre-trained artificial neural network (52) to determine the angle of incline (16) the incline (14) in the vicinity of the vehicle (12) and the distance (20) of the vehicle (12) to the incline (14) based on the at least two images of the image signal. Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens nach Anspruch 13 oder 14, wenn der Programmcode auf einem Computer ausgeführt wird.Computer program product with program code for performing the steps of the method according to Claim 13 or 14th when the program code is executed on a computer.
DE102019213533.1A 2019-09-05 2019-09-05 Device for adapting a driving strategy of a vehicle Pending DE102019213533A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019213533.1A DE102019213533A1 (en) 2019-09-05 2019-09-05 Device for adapting a driving strategy of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019213533.1A DE102019213533A1 (en) 2019-09-05 2019-09-05 Device for adapting a driving strategy of a vehicle

Publications (1)

Publication Number Publication Date
DE102019213533A1 true DE102019213533A1 (en) 2021-03-11

Family

ID=74644898

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019213533.1A Pending DE102019213533A1 (en) 2019-09-05 2019-09-05 Device for adapting a driving strategy of a vehicle

Country Status (1)

Country Link
DE (1) DE102019213533A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010020867A1 (en) * 2009-05-22 2011-05-19 Fuji Jukogyo Kabushiki Kaisha Road shape recognition device
DE102012004198A1 (en) * 2012-03-01 2012-10-04 Daimler Ag Method for assisting driver in driving vehicle, involves graphically outputting critical driving condition such as sliding of vehicle predicted based on terrain profile on display unit mounted on inner space of vehicle
US8867790B2 (en) * 2010-08-03 2014-10-21 Panasonic Corporation Object detection device, object detection method, and program
DE102013221696A1 (en) * 2013-10-25 2015-04-30 Robert Bosch Gmbh Method and device for determining a height profile of a road ahead of a vehicle
DE102017203276A1 (en) * 2017-03-01 2018-09-06 Volkswagen Aktiengesellschaft Method and device for determining a trajectory in off-road scenarios
DE102017205513A1 (en) * 2017-03-31 2018-10-04 Zf Friedrichshafen Ag Method and device for setting an operating strategy for a vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010020867A1 (en) * 2009-05-22 2011-05-19 Fuji Jukogyo Kabushiki Kaisha Road shape recognition device
US8867790B2 (en) * 2010-08-03 2014-10-21 Panasonic Corporation Object detection device, object detection method, and program
DE102012004198A1 (en) * 2012-03-01 2012-10-04 Daimler Ag Method for assisting driver in driving vehicle, involves graphically outputting critical driving condition such as sliding of vehicle predicted based on terrain profile on display unit mounted on inner space of vehicle
DE102013221696A1 (en) * 2013-10-25 2015-04-30 Robert Bosch Gmbh Method and device for determining a height profile of a road ahead of a vehicle
DE102017203276A1 (en) * 2017-03-01 2018-09-06 Volkswagen Aktiengesellschaft Method and device for determining a trajectory in off-road scenarios
DE102017205513A1 (en) * 2017-03-31 2018-10-04 Zf Friedrichshafen Ag Method and device for setting an operating strategy for a vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SOQUET, Nicolas ; AUBERT, Didier ; HAUTIERE, Nicolas: Road Segmentation Supervised by an Extended V-Disparity Algorithm for Autonomous Navigation. In: 2007 IEEE Intelligent Vehicles Symposium - June 13-15, 2007 - Istanbul, Turkey, 2007, S. 1-6. - ISSN 1931-0587 (P). DOI: 10.1109/IVS.2007.4290108. URL: https://ieeexplore.ieee.org/iel5/4290054/4290055/04290108.pdf [abgerufen am 2019-10-14]. *

Similar Documents

Publication Publication Date Title
DE112014002019B4 (en) Waveform modeling device, vehicle information processing system, waveform modeling method and waveform modeling program
DE102017103123A1 (en) Vehicle lane placement
DE102018100469A1 (en) GENERATED SIMULATED SENSOR DATA FOR TRAINING AND VERIFYING RECOGNITION MODELS
DE102018120845A1 (en) Method and device for monitoring an autonomous vehicle
DE102017129075A1 (en) PARKING NAVIGATION SYSTEM AND METHOD
EP3695244B1 (en) Method and device for creating an inverse sensor model and method for detecting obstacles
DE102018107935A1 (en) Device for Determining the Operational Design Domain (ODD)
WO2019060938A1 (en) Method and a device for generating a dynamic speed profile of a motor vehicle
DE102015208599A1 (en) Object detection device
DE102018106804A1 (en) Route generation device, route generation method, and route generation program
DE102021103149A1 (en) METHOD AND DEVICE FOR DETERMINING THE OPTIMAL CROSSING LANE IN AN ASSISTED DRIVING SYSTEM
DE102021128041A1 (en) IMPROVEMENT OF A VEHICLE NEURAL NETWORK
DE102020102725A1 (en) METHOD AND DEVICE FOR A CONTEXT-DEPENDENT HIGH-RESOLUTION MAP FROM THE CROWD SOURCE
DE102021103370A1 (en) OBJECT DETECTION USING LOW-LEVEL CAMERA-RADAR FUSION
WO2020048669A1 (en) Method for determining a lane change indication of a vehicle, computer-readable storage medium, and vehicle
DE102018124979A1 (en) Driver assistance system for determining a distance between two vehicles with a camera
DE112018004003T5 (en) CONTROL AND METHOD FOR AUTOMATIC DRIVING
DE102016220581A1 (en) METHOD AND DEVICE FOR DETERMINING A ENVIRONMENTAL MODEL
EP2467826A1 (en) Method and control device for determining movement information of an object
DE102017201796A1 (en) Control device for determining a self-motion of a motor vehicle and motor vehicle and method for providing the control device
DE102008042631A1 (en) Method for determining distance between object and vehicle surrounding in monocular video assistance system of motor vehicle, involves determining distance of object based on image breadth and focal distance of assistance system
DE102019102922A1 (en) Method and device for multi-sensor data fusion for automated and autonomous vehicles
DE102019213533A1 (en) Device for adapting a driving strategy of a vehicle
DE112020007559T5 (en) Driving assistance control device and driving assistance control method
DE102021126348A1 (en) NOTIFICATION DEVICE FOR A DRIVER

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed