DE102022112291A1 - Driving assistance system and driving assistance method for a vehicle - Google Patents

Driving assistance system and driving assistance method for a vehicle Download PDF

Info

Publication number
DE102022112291A1
DE102022112291A1 DE102022112291.3A DE102022112291A DE102022112291A1 DE 102022112291 A1 DE102022112291 A1 DE 102022112291A1 DE 102022112291 A DE102022112291 A DE 102022112291A DE 102022112291 A1 DE102022112291 A1 DE 102022112291A1
Authority
DE
Germany
Prior art keywords
vehicle
driving assistance
information
assistance system
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022112291.3A
Other languages
German (de)
Inventor
Joe LALLEMAND
Nina Friederike Brouwer
Michel Lanz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102022112291.3A priority Critical patent/DE102022112291A1/en
Publication of DE102022112291A1 publication Critical patent/DE102022112291A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80Circuits; Control arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/182Selecting between different operative modes, e.g. comfort and performance modes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain

Abstract

Die vorliegende Offenbarung betrifft ein Fahrassistenzsystem für ein Fahrzeug, insbesondere ein Kraftfahrzeug. Das Fahrassistenzsystem umfasst eine Umgebungssensorik, die eingerichtet ist, um eine Fahrzeugumgebung zu erfassen und entsprechende Umgebungsdaten bereitzustellen; ein Auswertemodul, das eingerichtet ist, um basierend auf den Umgebungsdaten Szenerie-Informationen zu bestimmen, wobei die Szenerie-Informationen Farb- und Klasseninformationen umfassen; und wenigstens ein Steuermodul, das eingerichtet ist, um wenigstens eine Fahrzeugfunktion basierend auf den Szenerie-Informationen anzusteuern.The present disclosure relates to a driving assistance system for a vehicle, in particular a motor vehicle. The driving assistance system includes an environmental sensor system that is set up to detect a vehicle environment and provide corresponding environmental data; an evaluation module that is set up to determine scenery information based on the environmental data, the scenery information comprising color and class information; and at least one control module that is configured to control at least one vehicle function based on the scenery information.

Description

Die vorliegende Offenbarung betrifft ein Fahrassistenzsystem für ein Fahrzeug, ein Fahrzeug mit einem solchen Fahrassistenzsystem, ein Fahrassistenzverfahren für ein Fahrzeug und ein Speichermedium zum Ausführen des Fahrassistenzverfahrens. Die vorliegende Offenbarung betrifft insbesondere eine Stimmungserkennung in einer Fahrzeugumgebung zur Ansteuerung von Fahrzeugfunktionen.The present disclosure relates to a driving assistance system for a vehicle, a vehicle with such a driving assistance system, a driving assistance method for a vehicle and a storage medium for executing the driving assistance method. The present disclosure relates in particular to mood recognition in a vehicle environment for controlling vehicle functions.

In modernen Fahrzeugen ist eine Umgebungssensorik verbaut, die eine Fahrzeugumgebung erfassen kann. Die Umgebungssensorik kann zum Beispiel eine oder mehrere Kameras, Radare und/oder LiDAR umfassen. In der Fahrzeugumgebung sind in der Realität sehr viele unterschiedliche dynamische Objekte/Subjekte wie Fahrzeuge, Menschen und Tiere, statische Objekten wie Mülltonnen, Verkehrsleitsysteme, natürliche Objekte und Terrain vorhanden. Bei der Steuerung von Fahrzeugfunktionen, wie zum Beispiel einer Fahrassistenzfunktion zum automatisierten Fahren, werden dabei im Allgemeinen nur die als für den Fahrbetrieb relevanten Objekte/Subjekte berücksichtigt.Modern vehicles have built-in environmental sensors that can detect the vehicle's surroundings. The environmental sensor system can include, for example, one or more cameras, radars and/or LiDAR. In reality, the vehicle environment contains many different dynamic objects/subjects such as vehicles, people and animals, static objects such as garbage cans, traffic control systems, natural objects and terrain. When controlling vehicle functions, such as a driver assistance function for automated driving, generally only those objects/subjects that are relevant to driving are taken into account.

Es ist eine Aufgabe der vorliegenden Offenbarung, ein Fahrassistenzsystem für ein Fahrzeug, ein Fahrzeug mit einem solchen Fahrassistenzsystem, ein Fahrassistenzverfahren für ein Fahrzeug und ein Speichermedium zum Ausführen des Fahrassistenzverfahrens anzugeben, die einen Einfluss einer Fahrzeugumgebung auf Insassen des Fahrzeugs erkennen können. Zudem ist es eine Aufgabe der vorliegenden Offenbarung, einen Betrieb von Fahrzeugfunktionen an eine Umgebungssituation anzupassen.It is an object of the present disclosure to provide a driving assistance system for a vehicle, a vehicle with such a driving assistance system, a driving assistance method for a vehicle and a storage medium for executing the driving assistance method, which can detect an influence of a vehicle environment on occupants of the vehicle. In addition, it is an object of the present disclosure to adapt operation of vehicle functions to an environmental situation.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.This task is solved by the subject matter of the independent claims. Advantageous refinements are specified in the subclaims.

Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrassistenzsystem für ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Fahrassistenzsystem umfasst eine Umgebungssensorik, die eingerichtet ist, um eine Fahrzeugumgebung zu erfassen und entsprechende Umgebungsdaten bereitzustellen; ein Auswertemodul, das eingerichtet ist, um basierend auf den Umgebungsdaten Szenerie-Informationen zu bestimmen, wobei die Szenerie-Informationen Farbinformationen umfassen; und wenigstens ein Steuermodul, das eingerichtet ist, um wenigstens eine Fahrzeugfunktion basierend auf den Szenerie-Informationen anzusteuern.According to an independent aspect of the present disclosure, a driving assistance system for a vehicle, in particular a motor vehicle, is specified. The driving assistance system includes an environmental sensor system that is set up to detect a vehicle environment and provide corresponding environmental data; an evaluation module that is set up to determine scenery information based on the environmental data, wherein the scenery information includes color information; and at least one control module that is configured to control at least one vehicle function based on the scenery information.

Das Auswertemodul und das Steuermodul können in einem gemeinsamen Software- und/oder Hardware-Modul realisiert sein. Alternativ dazu können das Auswertemodul und das Steuermodul jeweils in getrennten Software- und/oder Hardware-Modulen realisiert sein.The evaluation module and the control module can be implemented in a common software and/or hardware module. Alternatively, the evaluation module and the control module can each be implemented in separate software and/or hardware modules.

Erfindungsgemäß werden im Rahmen einer Umfelderkennung Farben in der Fahrzeugumgebung erkannt und für die Ansteuerung von Fahrzeugfunktionen verwendet. Beispielsweise kann das Fahrzeug eine rötliche Dämmerung erkennen und dazu passende Musik abspielen. In einem weiteren Beispiel kann das Fahrzeug eine typische Farbe von Saharastaub erkennen und zum Beispiel ein Abstellen des Fahrzeugs in einem geschützten Bereich, wie einer Garage oder einem Parkhaus, empfehlen. Dadurch kann ein Betrieb von Fahrzeugfunktionen an eine Umgebungssituation angepasst werden.According to the invention, as part of an environment recognition, colors in the vehicle surroundings are recognized and used to control vehicle functions. For example, the vehicle can detect a reddish twilight and play appropriate music. In another example, the vehicle can detect a typical color of Saharan dust and, for example, recommend parking the vehicle in a protected area, such as a garage or parking garage. This allows the operation of vehicle functions to be adapted to an environmental situation.

Vorzugsweise umfasst die Umgebungssensorik wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System und/oder wenigstens einen Laserscanner. Die Umgebungssensorik kann die Umgebungsdaten (auch als „Umfelddaten“ bezeichnet) bereitstellen, die den Umgebungsbereich des Fahrzeugs abbilden.The environmental sensor system preferably comprises at least one LiDAR system and/or at least one radar system and/or at least one camera and/or at least one ultrasound system and/or at least one laser scanner. The environmental sensor system can provide the environmental data (also referred to as “environmental data”) that depicts the surrounding area of the vehicle.

Vorzugsweise umfassen die Umgebungsdaten Bilddaten, die von wenigstens einer Kamera des Fahrzeugs bereitgestellt werden. Aus den Bilddaten können die Szenerie-Informationen, insbesondere die Farbinformationen, bestimmt werden.Preferably, the environmental data includes image data provided by at least one camera of the vehicle. The scenery information, in particular the color information, can be determined from the image data.

Vorzugsweise sind die Szenerie-Informationen Informationen, die unabhängig von einem Fahrbetrieb und/oder unabhängig von einem Fremdverkehr sind. Insbesondere können die Szenerie-Informationen Informationen sein, die keine fahrttechnisch relevanten Objekte/Subjekte und/oder verkehrsrelevante Objekte/Subjekte betreffen.Preferably, the scenery information is information that is independent of driving operations and/or independent of foreign traffic. In particular, the scenery information can be information that does not concern objects/subjects relevant to driving and/or objects/subjects relevant to traffic.

Vorzugsweise ist das Auswertemodul eingerichtet, um basierend auf den Umgebungsdaten eine Klassifikation der Fahrzeugumgebung durchzuführen. Unter Klassifikation wird im Rahmen der Umfelderkennung im Allgemeinen ein Labeln von in den Umfelddaten erkannten Objekten und/oder Subjekten und/oder Umgebungstypen verstanden (z.B. „Fahrzeug“, „Fußgänger“, „Baum“, „Wald“, „Küste“, „Gebäude“, „Vegetation“, etc.).The evaluation module is preferably set up to carry out a classification of the vehicle environment based on the environmental data. In the context of environment recognition, classification is generally understood to mean labeling of objects and/or subjects and/or environmental types recognized in the environment data (e.g. “vehicle”, “pedestrian”, “tree”, “forest”, “coast”, “building”. ”, “Vegetation”, etc.).

Vorzugsweise erfolgt die Klassifikation der Fahrzeugumgebung unter Verwendung von semantischer Segmentierung. Unter dem Begriff „semantische Segmentierung“ wird im Allgemeinen eine Klassifikation von Bildsegmenten bzw. Pixeln eines Eingangsbildes in eine (feste) Anzahl von Klassen verstanden. Insbesondere wird bei der semantischen Segmentierung jedem Pixel eines Bilds eine semantische Bedeutung zugewiesen, beispielsweise für eine Unterscheidung von Himmel, Fahrzeugen, Fußgängern, Fahrrädern, Straßen, Bordsteinen, Gebäuden, Masten, Schildern, etc. Die semantische Segmentierung kann dabei jedem einzelnen Pixel des Eingangsbildes eine Bedeutung zuweisen, und zwar sowohl für nicht zählbare „Zeug“-Klassen (z.B. Himmel, Straßen, etc.) als auch für zählbare „Ding“-Klassen (z.B. Fahrzeuge oder Personen).The classification of the vehicle environment is preferably carried out using semantic segmentation. The term “semantic segmentation” is generally understood to mean a classification of image segments or pixels of an input image into a (fixed) number of classes. In particular, the semantic Segmentation assigns a semantic meaning to each pixel of an image, for example to distinguish between sky, vehicles, pedestrians, bicycles, streets, curbs, buildings, poles, signs, etc. Semantic segmentation can assign a meaning to each individual pixel of the input image, and both for uncountable “stuff” classes (e.g. sky, roads, etc.) and for countable “thing” classes (e.g. vehicles or people).

Vorzugsweise verwendet die Klassifikation der Fahrzeugumgebung, insbesondere die semantische Segmentierung, ein (trainiertes) neuronales Netz.Preferably, the classification of the vehicle environment, in particular the semantic segmentation, uses a (trained) neural network.

In einigen Ausführungsformen kann das Auswertemodul eingerichtet sein, um die Szenerie-Informationen, insbesondere die Farbinformationen, unter Verwendung der Klassifikation der Fahrzeugumgebung zu bestimmen.In some embodiments, the evaluation module can be set up to determine the scenery information, in particular the color information, using the classification of the vehicle environment.

Vorzugsweise können aus den Farbinformationen Rückschlüsse auf eine Stimmung in der Fahrzeugumgebung gezogen werden. Insbesondere können Rückschlüsse auf eine menschliche Wahrnehmung der Umgebung bzw. eine Stimmung, die ein Mensch damit assoziiert, gezogen und entsprechende Einstellungen von Fahrzeugfunktionen vorgenommen werden. Beispielsweise kann ein rötlicher Sonnenuntergang erkannt und dazu passende Musik abgespielt oder vorgeschlagen werden. In einem weiteren Beispiel kann das Fahrzeug einen grünen Wald in der Straßenumgebung erkennen und darauf basierend eine Innenraumbeleuchtung und/oder Darstellung in wenigstens einem visuellen User Interface, wie einem Infotainmentsystem, anpassen, insbesondere dynamisch anpassen.Preferably, conclusions about a mood in the vehicle environment can be drawn from the color information. In particular, conclusions can be drawn about a human perception of the environment or a mood that a person associates with it and corresponding settings of vehicle functions can be made. For example, a reddish sunset can be recognized and appropriate music can be played or suggested. In a further example, the vehicle can recognize a green forest in the road environment and, based on this, adapt, in particular dynamically adapt, interior lighting and/or representation in at least one visual user interface, such as an infotainment system.

Vorzugsweise umfassen die Szenerie-Informationen weiter Wetterinformationen und/oder Helligkeitsinformationen. Das wenigstens eine Steuermodul kann in diesem Fall eingerichtet sein, um die wenigstens eine Fahrzeugfunktion basierend auf den Farbinformationen und zusätzlich basierend auf den Wetterinformationen und/oder Helligkeitsinformationen anzusteuern.Preferably, the scenery information further includes weather information and/or brightness information. In this case, the at least one control module can be set up to control the at least one vehicle function based on the color information and additionally based on the weather information and/or brightness information.

Die Wetterinformationen können zum Beispiel eine Witterung und/oder eine Wetterlage betreffen, wie Regen, Schnee, Trockenjeit und Nebel. In einigen Ausführungsformen können die Wetterinformationen aus Beobachtungen des Himmels abgeleitet werden. Anders gesagt können die Wetterinformationen nicht von extern empfangen oder durch Beobachtung von Feuchtigkeit an einer Kameralinse bestimmt werden. Beispielsweise kann das Fahrzeug eine winterliche Stimmung in der Umgebung der Straße erkennen und darauf basierend die Innenraumbeleuchtung und/oder eine Darstellung in wenigstens einem visuellen User Interface, wie einem Infotainmentsystem, anpassen, insbesondere dynamisch anpassen.The weather information can, for example, concern weather and/or a weather situation, such as rain, snow, dry weather and fog. In some embodiments, the weather information may be derived from observations of the sky. In other words, the weather information cannot be received externally or determined by observing moisture on a camera lens. For example, the vehicle can recognize a wintry mood in the area around the road and, based on this, adapt, in particular dynamically adapt, the interior lighting and/or a representation in at least one visual user interface, such as an infotainment system.

Die Helligkeitsinformationen können eine Helligkeit von Umgebungslicht betreffen. Basierend auf den Helligkeitsinformationen kann zum Beispiel eine Dämmerung, ein Sonnenaufgang oder eine Nacht erkannt werden.The brightness information may concern a brightness of ambient light. Based on the brightness information, for example, twilight, sunrise or night can be recognized.

Vorzugsweise betreffen die Farbinformationen einen Himmel und/oder ein Umgebungslicht und/oder eine Vegetation. Basierend auf einer Farbe des Himmels und/oder des Umgebungslichts kann zum Beispiel ein Sonnenuntergang und/oder herbstliche Szene erkannt werden. In einem weiteren Beispiel kann basierend auf einer Farbe des Himmels und/oder des Umgebungslichts und/oder der Vegetation eine herbstliche Szene erkannt werden.Preferably, the color information relates to a sky and/or ambient light and/or vegetation. For example, a sunset and/or autumnal scene can be recognized based on a color of the sky and/or the ambient light. In another example, an autumnal scene may be recognized based on a color of the sky and/or ambient light and/or vegetation.

Der Begriff „Vegetation“, wie er im Rahmen der vorliegenden Offenbarung verwendet wird, bezieht sich auf eine Pflanzenformationen in der Fahrzeugumgebung. Insbesondere umfasst die Vegetation wenigstens eine Vegetationsobjekt, wie zum Beispiel einen Baum, einen Strauch oder Bestandteile davon. Der Baum kann zum Beispiel eine Linde, ein Kirschbaum, ein Zitronenbaum, ein Kastanienbaum, eine Fichte, eine Kiefer oder eine Tanne sein. Der Strauch kann zum Beispiel ein Flieder oder eine Weide sein. Der Bestandteil kann zum Beispiel ein Ast, ein Stamm oder eine Baumkrone sein. Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und das wenigstens eine Vegetationsobjekt kann jedes andere Gewächs oder jeder Bestandteil davon in der Fahrzeugumgebung sein, das/der durch die Umgebungssensorik erfasst und insbesondere farblich (z.B. grün, braun, rot etc.) klassifiziert werden kann.The term “vegetation” as used herein refers to plant formations in the vehicle environment. In particular, the vegetation includes at least one vegetation object, such as a tree, a bush or components thereof. The tree can be, for example, a linden tree, a cherry tree, a lemon tree, a chestnut tree, a spruce, a pine or a fir. The shrub can be, for example, a lilac or a willow. The component can be, for example, a branch, a trunk or a treetop. However, the present disclosure is not limited to this and the at least one vegetation object can be any other plant or any component thereof in the vehicle environment that can be detected by the environmental sensor system and in particular classified by color (e.g. green, brown, red, etc.).

Vorzugsweise ist das Auswertemodul weiter eingerichtet, um ein Farbspektrum in der Fahrzeugumgebung zu bestimmen. Das wenigstens eine Steuermodul kann eingerichtet sein, um die wenigstens eine Fahrzeugfunktion basierend auf dem bestimmten Farbspektrum anzusteuern. Beispielsweise kann das Farbspektrum einen hohen Anteil warmen (z.B. gelblichen) Lichts oder kalten (z.B. bläulichen) Lichts enthalten, wobei zum Beispiel eine Musikauswahl an das warme Licht oder kalte Licht angepasst werden kann, insbesondere dynamisch angepasst werden kann.Preferably, the evaluation module is further set up to determine a color spectrum in the vehicle environment. The at least one control module can be set up to control the at least one vehicle function based on the specific color spectrum. For example, the color spectrum can contain a high proportion of warm (e.g. yellowish) light or cold (e.g. bluish) light, whereby, for example, a music selection can be adapted to the warm light or cold light, in particular dynamically adapted.

Vorzugsweise ist das Auswertemodul weiter eingerichtet, um das Farbspektrum durch eine Fourier-Transformation zu bestimmen. Die Fourier-Transformation ist im Allgemeinen eine mathematische Methode, mit der ein Frequenzspektrum erzeugt werden kann. Im Rahmen der vorliegenden Offenbarung kann eine Fourier-Transformation an den Umgebungsdaten, wie zum Beispiel Bilddaten, durchgeführt werden, um ein Farbfrequenzspektrum zu bestimmen.The evaluation module is preferably further set up to determine the color spectrum using a Fourier transformation. Fourier transform is generally a mathematical method that can be used to generate a frequency spectrum. Within the scope of the present disclosure, a Fourier transform can be used the environmental data, such as image data, are carried out to determine a color frequency spectrum.

Vorzugsweise ist das Auswertemodul weiter eingerichtet, um ein Farbhistogramm zu bestimmen. Das Farbhistogramm kann dabei eine Häufigkeit von Pixeln in einem Kamerabild angeben, die dieselbe Farbe aufweisen. Aus dem Farbhistogramm kann zum Beispiel das Farbspektrum abgeleitet werden. Beispielsweise kann das Farbhistogramm einen hohen Anteil warmen (z.B. gelblichen) Lichts oder kalten (z.B. bläulichen) Lichts enthalten, wobei zum Beispiel eine Musikauswahl oder eine Innenraumbeleuchtung an das warme Licht oder kalte Licht angepasst werden kann, insbesondere dynamisch angepasst werden kann.The evaluation module is preferably further set up to determine a color histogram. The color histogram can indicate a frequency of pixels in a camera image that have the same color. For example, the color spectrum can be derived from the color histogram. For example, the color histogram can contain a high proportion of warm (e.g. yellowish) light or cold (e.g. bluish) light, whereby, for example, a music selection or interior lighting can be adapted to the warm light or cold light, in particular dynamically adapted.

In einigen Ausführungsformen kann das Auswertemodul eingerichtet sein, um die Szenerie-Informationen, insbesondere die Farbinformationen, ohne Klassifikation der Fahrzeugumgebung zu bestimmen. Beispielsweise kann das Auswertemodul eingerichtet sein, um die Szenerie-Informationen, insbesondere die Farbinformationen, allein mittels einer Fourier-Transformation und/oder eines Farbhistogramms zu bestimmen.In some embodiments, the evaluation module can be set up to determine the scenery information, in particular the color information, without classifying the vehicle surroundings. For example, the evaluation module can be set up to determine the scenery information, in particular the color information, solely using a Fourier transformation and/or a color histogram.

Vorzugsweise ist das Fahrassistenzsystem eingerichtet, um wenigstens einen Zusatzparameter zu erhalten, insbesondere von extern zu empfangen. Beispielsweise kann der wenigstens eine Zusatzparameter von einem Server oder Backend abgerufen werden. Das Auswertemodul kann eingerichtet sein, um die Szenerie-Informationen weiter basierend auf dem wenigstens einen Zusatzparameter zu bestimmen. Ergänzend oder alternativ kann das Steuermodul eingerichtet sein, um die wenigstens eine Fahrzeugfunktion weiter basierend auf dem wenigstens einen Zusatzparameter anzusteuern. Insbesondere können die aus den Umgebungsdaten gewonnenen Informationen mit zusätzlichen (bzw. nicht aus den Umgebungsdaten abgeleiteten) Informationen fusioniert werden, um die Szenerie-Informationen zu erhalten. The driving assistance system is preferably set up to receive at least one additional parameter, in particular to receive it externally. For example, the at least one additional parameter can be retrieved from a server or backend. The evaluation module can be set up to further determine the scenery information based on the at least one additional parameter. Additionally or alternatively, the control module can be set up to further control the at least one vehicle function based on the at least one additional parameter. In particular, the information obtained from the environmental data can be fused with additional information (or not derived from the environmental data) in order to obtain the scenery information.

Vorzugsweise ist der wenigstens eine Zusatzparameter aus der Gruppe ausgewählt, die eine Wetterbedingung (z.B. aktueller Wetterbericht, Wind, Niederschlag, etc.), eine Zeit (z.B. Datum, Uhrzeit, Tageszeit, Jahreszeit, etc.) und Karteninformationen (z.B. digitale Kartendaten) umfasst, oder die daraus besteht.Preferably, the at least one additional parameter is selected from the group that includes a weather condition (e.g. current weather report, wind, precipitation, etc.), a time (e.g. date, time, time of day, season, etc.) and map information (e.g. digital map data). , or which consists of it.

Vorzugsweise ist das wenigstens eine Steuermodul eingerichtet, um die wenigstens eine Fahrzeugfunktion basierend auf den Szenerie-Informationen derart anzusteuern, dass Musik, wie zum Beispiel eine (vorgenerierte) Musikliste, abgespielt wird. Insbesondere kann automatisch eine dynamisch an die Szenerie bzw. Szenerie-Informationen angepasste Musik abgespielt werden. Zum Beispiel kann bei einer Dämmerung sanfte Musik gespielt werden.Preferably, the at least one control module is set up to control the at least one vehicle function based on the scenery information in such a way that music, such as a (pre-generated) music list, is played. In particular, music that is dynamically adapted to the scenery or scenery information can be played automatically. For example, soft music can be played at dusk.

Ergänzend oder alternativ kann das wenigstens eine Steuermodul eingerichtet sein, um die wenigstens eine Fahrzeugfunktion basierend auf den Szenerie-Informationen derart anzusteuern, dass eine Musikauswahl, wie zum Beispiel eine (vorgenerierte) Musikliste, vorgeschlagen wird. Beispielsweise kann einem Fahrzeuginsassen, insbesondere einem Fahrer, eine an die Szenerie bzw. Szenerie-Informationen angepasste Musik vorgeschlagen werden. Der Fahrzeuginsasse kann aus der vorgeschlagenen Musik eine bestimmte Musik auswählen, oder kann die vorgeschlagene Musik allgemein zum Abspielen bestätigen.Additionally or alternatively, the at least one control module can be set up to control the at least one vehicle function based on the scenery information in such a way that a music selection, such as a (pre-generated) music list, is suggested. For example, a vehicle occupant, in particular a driver, can be suggested music that is adapted to the scenery or scenery information. The vehicle occupant can select a specific music from the suggested music, or can generally confirm the suggested music to be played.

Vorzugsweise erfolgt das Auswählen oder das Bestätigen der Musik mittels einer Benutzereingabe. Die Benutzereingabe kann zum Beispiel eine Berührungseingabe auf einem Touchscreen, eine taktile Eingabe mittels eines Bedienelements (z.B. eines Druckknopfes) oder eine Spracheingabe sein.The selection or confirmation of the music is preferably carried out using user input. The user input can be, for example, a touch input on a touchscreen, a tactile input using a control element (e.g. a push button) or a voice input.

Ergänzend oder alternativ kann das wenigstens eine Steuermodul eingerichtet sein, um die wenigstens eine Fahrzeugfunktion basierend auf einem Vergleich der Szenerie-Informationen mit wenigstens einem gespeicherten Bild derart anzusteuern, dass eine Musikauswahl, wie zum Beispiel eine (vorgenerierte) Musikliste, automatisch abgespielt oder vorgeschlagen wird. Beispielsweise kann das wenigstens eine gespeicherte Bild ein zur Musik und/oder zu einem Musikalbum gehörendes Coverbild sein. In einigen Ausführungsformen kann dasjenige Musikalbum aus einer Vielzahl von Musikalben automatisch abgespielt oder vorgeschlagen wird, dessen Coverbild der Szenerie, insbesondere der Farbgebung, in der Fahrzeugumgebung ähnlich ist, insbesondere am nächsten kommt.Additionally or alternatively, the at least one control module can be set up to control the at least one vehicle function based on a comparison of the scenery information with at least one stored image in such a way that a music selection, such as a (pre-generated) music list, is automatically played or suggested . For example, the at least one stored image can be a cover image belonging to the music and/or a music album. In some embodiments, the music album from a large number of music albums can be automatically played or suggested, the cover image of which is similar, in particular comes closest, to the scenery, in particular the color scheme, in the vehicle surroundings.

Ergänzend oder alternativ kann das wenigstens eine Steuermodul eingerichtet sein, um die wenigstens eine Fahrzeugfunktion basierend auf den Szenerie-Informationen derart anzusteuern, dass eine Innenraumbeleuchtung eingestellt bzw. angepasst wird. Insbesondere kann die Innenraumbeleuchtung an eine Szenerie außerhalb des Fahrzeugs farblich und/oder in Bezug auf eine Helligkeit angepasst werden.Additionally or alternatively, the at least one control module can be set up to control the at least one vehicle function based on the scenery information in such a way that interior lighting is set or adjusted. In particular, the interior lighting can be adapted to a scenery outside the vehicle in terms of color and/or brightness.

Ergänzend oder alternativ kann das wenigstens eine Steuermodul eingerichtet sein, um die wenigstens eine Fahrzeugfunktion basierend auf den Szenerie-Informationen derart anzusteuern, dass wenigstens ein visuelles User Interface eingestellt bzw. angepasst wird. Insbesondere kann eine Farbgebung und/oder eine Helligkeit des visuellen User Interfaces an eine Szenerie außerhalb des Fahrzeugs angepasst werden. Das visuelle User Interface kann zum Beispiel eine Anzeigevorrichtung, insbesondere ein Display oder Touchscreen, eines Infotainmentsystems sein.Additionally or alternatively, the at least one control module can be set up to control the at least one vehicle function based on the scenery information in such a way that at least one visual user interface is set or adjusted. In particular, a color and/or a brightness of the visual User interfaces can be adapted to a scenery outside the vehicle. The visual user interface can be, for example, a display device, in particular a display or touchscreen, of an infotainment system.

Ergänzend oder alternativ kann das wenigstens eine Steuermodul eingerichtet sein, um die wenigstens eine Fahrzeugfunktion basierend auf den Szenerie-Informationen derart anzusteuern, dass wenigstens eine Fahreigenschaft des Fahrzeugs angepasst wird. Die wenigstens eine Fahreigenschaft kann zum Beispiel eine Fahrdynamik sein, insbesondere eine Fahrdynamik einer Fahrassistenzfunktion zum automatisierten Fahren.Additionally or alternatively, the at least one control module can be set up to control the at least one vehicle function based on the scenery information in such a way that at least one driving characteristic of the vehicle is adjusted. The at least one driving characteristic can be, for example, driving dynamics, in particular driving dynamics of a driving assistance function for automated driving.

Die vorliegende Offenbarung ist jedoch nicht auf die oben genannten Beispiele von Aktionen auf die erkannte Szenerie begrenzt und es können ergänzend oder alternativ andere Aktionen durch das Fahrassistenzsystem ausgeführt werden. Beispiele hierfür umfassen ein Anpassen einer Beduftung im Innenraum des Fahrzeugs.However, the present disclosure is not limited to the above-mentioned examples of actions on the recognized scenery and other actions can additionally or alternatively be carried out by the driving assistance system. Examples of this include adjusting a scent in the interior of the vehicle.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Fahrzeug umfasst das Fahrassistenzsystem gemäß den Ausführungsformen der vorliegenden Offenbarung.According to a further independent aspect of the present disclosure, a vehicle, in particular a motor vehicle, is specified. The vehicle includes the driving assistance system according to the embodiments of the present disclosure.

Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung.The term vehicle includes cars, trucks, buses, mobile homes, motorcycles, etc. that are used to transport people, goods, etc. In particular, the term includes motor vehicles for passenger transport.

Vorzugsweise ist das Fahrassistenzsystem zum automatisierten Fahren eingerichtet.The driving assistance system is preferably set up for automated driving.

Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012).In the context of the document, the term “automated driving” can be understood to mean driving with automated longitudinal or lateral guidance or autonomous driving with automated longitudinal and lateral guidance. Automated driving can, for example, involve driving for a longer period of time on the motorway or driving for a limited period of time as part of parking or maneuvering. The term “automated driving” includes automated driving with any level of automation. Examples of levels of automation include assisted, partially automated, highly automated or fully automated driving. These levels of automation were defined by the Federal Highway Research Institute (BASt) (see BASt publication “Research Compact”, edition 11/2012).

Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich.During assisted driving, the driver permanently performs longitudinal or lateral guidance while the system takes over the other function within certain limits. In partially automated driving (TAF), the system takes over longitudinal and lateral guidance for a certain period of time and/or in specific situations, whereby the driver must continuously monitor the system, as with assisted driving. In highly automated driving (HAF), the system takes over longitudinal and lateral guidance for a certain period of time without the driver having to permanently monitor the system; However, the driver must be able to take over control of the vehicle within a certain period of time. With fully automated driving (VAF), the system can automatically handle driving in all situations for a specific application; A driver is no longer required for this application.

Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.The four levels of automation mentioned above correspond to SAE levels 1 to 4 of the SAE J3016 standard (SAE - Society of Automotive Engineering). Furthermore, SAE J3016 specifies SAE level 5 as the highest level of automation, which is not included in the BASt definition. SAE Level 5 corresponds to driverless driving, in which the system can automatically handle all situations throughout the journey like a human driver; a driver is generally no longer required.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrassistenzverfahren für ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Fahrassistenzverfahren umfasst ein Erfassen einer Fahrzeugumgebung durch eine Umgebungssensorik und Bereitstellen entsprechender Umgebungsdaten; ein Bestimmen von Szenerie-Informationen basierend auf den Umgebungsdaten, wobei die Szenerie-Informationen Farbinformationen umfassen; und ein Ansteuern wenigstens einer Fahrzeugfunktion basierend auf den Szenerie-Informationen.According to a further independent aspect of the present disclosure, a driving assistance method for a vehicle, in particular a motor vehicle, is specified. The driving assistance method includes detecting a vehicle environment using an environmental sensor system and providing corresponding environmental data; determining scenery information based on the environmental data, the scenery information including color information; and controlling at least one vehicle function based on the scenery information.

Das Fahrassistenzverfahren kann die Aspekte des in diesem Dokument beschriebenen Fahrassistenzsystems implementieren.The driving assistance method can implement the aspects of the driving assistance system described in this document.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Software (SW) Programm angegeben. Das SW Programm kann eingerichtet werden, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Fahrassistenzverfahren für ein Fahrzeug auszuführen.According to another independent aspect of the present disclosure, a software (SW) program is provided. The SW program can be set up to run on one or more processors and thereby carry out the driving assistance method for a vehicle described in this document.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Speichermedium angegeben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Fahrassistenzverfahren für ein Fahrzeug auszuführen.According to another independent aspect of the present disclosure, a storage medium is provided. The storage medium can include a SW program which is inserted is intended to be executed on one or more processors and thereby to carry out the driving assistance method for a vehicle described in this document.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist eine Software mit Programmcode zur Durchführung des in diesem Dokument beschriebenen Fahrassistenzverfahrens für ein Fahrzeug auszuführen, wenn die Software auf einer oder mehreren softwaregesteuerten Einrichtungen abläuft.According to a further independent aspect of the present disclosure, software with program code for carrying out the driving assistance method described in this document is to be executed for a vehicle if the software runs on one or more software-controlled devices.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein System für ein Fahrzeug angegeben. Das System umfasst einen oder mehrere Prozessoren; und wenigstens einen Speicher, der mit dem einen oder den mehreren Prozessoren verbunden ist und Anweisungen enthält, die von dem einen oder den mehreren Prozessoren ausgeführt werden können, um das in diesem Dokument beschriebene Fahrassistenzverfahren für ein Fahrzeug auszuführen.According to another independent aspect of the present disclosure, a system for a vehicle is provided. The system includes one or more processors; and at least one memory coupled to the one or more processors and containing instructions executable by the one or more processors to execute the vehicle driving assistance method described herein.

Ein Prozessor bzw. ein Prozessormodul ist ein programmierbares Rechenwerk, also eine Maschine oder eine elektronische Schaltung, die gemäß übergebenen Befehlen andere Elemente steuert und dabei einen Algorithmus (Prozess) vorantreibt.A processor or a processor module is a programmable arithmetic unit, i.e. a machine or an electronic circuit that controls other elements according to instructions given and thereby drives an algorithm (process).

Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:

  • 1 schematisch ein Fahrzeug mit einem Fahrassistenzsystem gemäß Ausführungsformen der vorliegenden Offenbarung,
  • 2 schematisch ein Fahrzeug und ein Farbspektrum gemäß Ausführungsformen der vorliegenden Offenbarung,
  • 3 schematisch ein Fahrzeug mit einem Fahrassistenzsystem zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung, und
  • 4 ein Flussdiagram eines Fahrassistenzverfahrens gemäß Ausführungsformen der vorliegenden Offenbarung.
Embodiments of the disclosure are shown in the figures and are described in more detail below. Show it:
  • 1 schematically a vehicle with a driving assistance system according to embodiments of the present disclosure,
  • 2 schematically a vehicle and a color spectrum according to embodiments of the present disclosure,
  • 3 schematically a vehicle with a driver assistance system for automated driving according to embodiments of the present disclosure, and
  • 4 a flowchart of a driving assistance method according to embodiments of the present disclosure.

Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.In the following, unless otherwise noted, the same reference numerals are used for elements that are the same and have the same effect.

1 zeigt schematisch ein Fahrzeug 10 mit einem Fahrassistenzsystem 100 gemäß Ausführungsformen der vorliegenden Offenbarung. 1 schematically shows a vehicle 10 with a driving assistance system 100 according to embodiments of the present disclosure.

Das Fahrassistenzsystem 100 umfasst eine Umgebungssensorik 110, ein Auswertemodul 120 und ein Steuermodul 130.The driving assistance system 100 includes an environmental sensor system 110, an evaluation module 120 and a control module 130.

In einigen Ausführungsformen kann die Umgebungssensorik 110 wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System und/oder wenigstens einen Laserscanner umfassen. Die Umgebungssensorik 110 kann Umgebungsdaten (auch als „Umfelddaten“ bezeichnet) bereitstellen, die den Umgebungsbereich des Fahrzeugs 10 abbilden.In some embodiments, the environmental sensor system 110 may include at least one LiDAR system and/or at least one radar system and/or at least one camera and/or at least one ultrasound system and/or at least one laser scanner. The environmental sensor system 110 can provide environmental data (also referred to as “environmental data”) that depicts the surrounding area of the vehicle 10.

Vorzugsweise sind die Umgebungsdaten Bilddaten, die mittels eines Computer Vision-Algorithmus, insbesondere eines trainierten Algorithmus, analysiert werden.Preferably, the environmental data is image data that is analyzed using a computer vision algorithm, in particular a trained algorithm.

Das Auswertemodul 120 ist eingerichtet, um basierend auf den von der Umgebungssensorik 110 bereitgestellten Umgebungsdaten Szenerie-Informationen, die Farbinformationen einer Szenerie bzw. Fahrzeugumgebung umfassen, zu bestimmen. Das Steuermodul 130 ist eingerichtet, um wenigstens eine Fahrzeugfunktion basierend auf den durch das Auswertemodul 120 bestimmten Szenerie-Informationen anzusteuern.The evaluation module 120 is set up to determine scenery information, which includes color information of a scenery or vehicle environment, based on the environmental data provided by the environmental sensor system 110. The control module 130 is set up to control at least one vehicle function based on the scenery information determined by the evaluation module 120.

Das erfindungsgemäße Fahrassistenzsystem 100 kann im Rahmen einer Umfelderkennung Farben in der Fahrzeugumgebung erkennen und für die Ansteuerung von Fahrzeugfunktionen verwenden. Beispielsweise kann das Fahrassistenzsystem 100 eine rötliche Dämmerung erkennen und dazu passende Musik abspielen. In einem weiteren Beispiel kann das Fahrassistenzsystem 100 eine typische Farbe von Saharastaub erkennen und zum Beispiel ein Abstellen des Fahrzeugs in einem geschützten Bereich, wie einer Garage oder einem Parkhaus, empfehlen. Dadurch kann ein Betrieb von Fahrzeugfunktionen an eine aktuelle Umgebungssituation angepasst werden.The driving assistance system 100 according to the invention can recognize colors in the vehicle surroundings as part of an environment recognition and use them to control vehicle functions. For example, the driving assistance system 100 can recognize a reddish twilight and play appropriate music. In another example, the driving assistance system 100 can recognize a typical color of Saharan dust and, for example, recommend parking the vehicle in a protected area, such as a garage or parking garage. This allows the operation of vehicle functions to be adapted to a current environmental situation.

2 zeigt schematisch ein Fahrzeug 10 und ein Farbspektrum 20 gemäß Ausführungsformen der vorliegenden Offenbarung. 2 schematically shows a vehicle 10 and a color spectrum 20 according to embodiments of the present disclosure.

Im in der 2 beispielhaft gezeigten Anwendungsfall kann das Fahrzeug 10, das eine Kamera umfasst, auf einer Straße unterwegs sein. Die Kamera des Fahrzeugs 10 kann die Fahrzeugumgebung erfassen und ein Farbspektrum 20 der das Fahrzeug 10 umgebenden Szenerie zum Beispiel mittels einer Fourier-Analyse oder eines Farbhistogramms bestimmen.Im in the 2 In the application shown as an example, the vehicle 10, which includes a camera, can be traveling on a road. The camera of the vehicle 10 can capture the vehicle surroundings and determine a color spectrum 20 of the scenery surrounding the vehicle 10, for example using a Fourier analysis or a color histogram.

Basierend auf dem Farbspektrum 20 kann wenigstens eine Fahrzeugfunktion, wie zum Beispiel ein Entertainmentsystem, angesteuert werden. Beispielsweise kann eine durchschnittliche Farbe des Himmels und/oder einer Vegetation ermittelt und eine entsprechende Musikauswahl getroffen und/oder Anpassung der Innenraumbeleuchtung vorgenommen werden.Based on the color spectrum 20, at least one vehicle function, such as an entertainment system, can be controlled. At For example, an average color of the sky and/or vegetation can be determined and a corresponding music selection can be made and/or the interior lighting can be adjusted.

3 zeigt schematisch ein Fahrzeug 10 mit einem Fahrassistenzsystem 300 zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung. 3 schematically shows a vehicle 10 with a driving assistance system 300 for automated driving according to embodiments of the present disclosure.

Das Fahrassistenzsystem 300 kann das erfindungsgemäße Fahrassistenzsystem umfassen oder sein, und kann eine vom Fahrbetrieb unabhängige Szenerie, wie eine Himmelsfarbe, erkennen. Beispielswese kann wenigstens eine Fahreigenschaft des Fahrassistenzsystems 300, wie eine Fahrdynamik, basierend auf der Szenerie angepasst werden. Beispielsweise kann das Fahrzeug 10 automatisch einen geschlossenen Parkraum, wie eine Garage oder ein Parkhaus, anfahren, wenn eine für Saharastaub typische Farbe erkannt wird.The driving assistance system 300 can include or be the driving assistance system according to the invention and can recognize a scenery that is independent of the driving operation, such as a sky color. For example, at least one driving characteristic of the driving assistance system 300, such as driving dynamics, can be adjusted based on the scenery. For example, the vehicle 10 can automatically approach a closed parking space, such as a garage or parking garage, if a color typical of Saharan dust is detected.

In Bezug auf die 3 erfolgt die Längs- und/oder Querführung des Fahrzeugs 10 beim automatisierten Fahren automatisch. Das Fahrassistenzsystem 300 übernimmt also die Fahrzeugführung. Hierzu steuert das Fahrassistenzsystem 300 den Antrieb 30, das Getriebe 32, die hydraulische Betriebsbremse 34 und die Lenkung 36 über nicht dargestellte Zwischeneinheiten.Regarding the 3 The longitudinal and/or lateral guidance of the vehicle 10 occurs automatically during automated driving. The driving assistance system 300 therefore takes over driving the vehicle. For this purpose, the driving assistance system 300 controls the drive 30, the transmission 32, the hydraulic service brake 34 and the steering 36 via intermediate units, not shown.

Zur Planung und Durchführung des automatisierten Fahrens werden Umfeldinformationen der Umfeldsensorik, die das Fahrzeugumfeld beobachtet, vom Fahrerassistenzsystem 300 entgegengenommen. Insbesondere kann das Fahrzeug 10 wenigstens einen Umgebungssensor 12 umfassen, der zur Aufnahme der Umgebungsdaten, die das Fahrzeugumfeld angeben, eingerichtet ist. Der wenigstens eine Umgebungssensor 12 kann beispielsweise ein LiDAR-System, ein oder mehrere Radar-Systeme und/oder eine oder mehrere Kameras und/oder einen oder mehrere Laserscanner umfassen.To plan and carry out automated driving, environmental information from the environmental sensors that monitor the vehicle's surroundings is received by the driver assistance system 300. In particular, the vehicle 10 can include at least one environmental sensor 12, which is set up to record the environmental data that indicates the vehicle surroundings. The at least one environmental sensor 12 can include, for example, a LiDAR system, one or more radar systems and/or one or more cameras and/or one or more laser scanners.

4 zeigt schematisch ein Flussdiagramm eines Fahrassistenzverfahrens 400 gemäß Ausführungsformen der vorliegenden Offenbarung. Das Fahrassistenzverfahren 400 kann durch eine entsprechende Software implementiert werden, die durch einen oder mehrere Prozessoren (z.B. eine CPU) ausführbar ist. 4 schematically shows a flowchart of a driving assistance method 400 according to embodiments of the present disclosure. The driving assistance method 400 can be implemented by appropriate software that can be executed by one or more processors (eg a CPU).

Das Fahrassistenzverfahren 400 umfasst im Block 410 ein Erfassen einer Fahrzeugumgebung durch eine Umgebungssensorik und Bereitstellen entsprechender Umgebungsdaten; im Block 420 ein Bestimmen von Szenerie-Informationen basierend auf den Umgebungsdaten, wobei die Szenerie-Informationen Farbinformationen umfassen; und im Block 430 ein Ansteuern wenigstens einer Fahrzeugfunktion basierend auf den Szenerie-Informationen.The driving assistance method 400 includes, in block 410, detecting a vehicle environment using an environmental sensor system and providing corresponding environmental data; at block 420, determining scenery information based on the environmental data, the scenery information including color information; and in block 430, controlling at least one vehicle function based on the scenery information.

Erfindungsgemäß werden im Rahmen einer Umfelderkennung Farben in der Fahrzeugumgebung erkannt und für die Ansteuerung von Fahrzeugfunktionen verwendet. Beispielsweise kann das Fahrzeug eine rötliche Dämmerung erkennen und dazu passende Musik abspielen. In einem weiteren Beispiel kann das Fahrzeug eine herbstliche Stimmung in der Umgebung der Straße erkennen und darauf basierend die Innenraumbeleuchtung und/oder Darstellung in den visuellen User Interfaces, wie dem Infotainmentsystem, dynamisch anpassen. In einem weiteren Beispiel kann das Fahrzeug eine typische Farbe von Saharastaub erkennen und zum Beispiel ein Abstellen des Fahrzeugs in einem geschützten Bereich, wie einer Garage oder einem Parkhaus, empfehlen. Dadurch kann ein Betrieb von Fahrzeugfunktionen an eine Umgebungssituation angepasst werden.According to the invention, as part of an environment recognition, colors in the vehicle surroundings are recognized and used to control vehicle functions. For example, the vehicle can detect a reddish twilight and play appropriate music. In a further example, the vehicle can recognize an autumnal mood in the street surroundings and, based on this, dynamically adjust the interior lighting and/or display in the visual user interfaces, such as the infotainment system. In another example, the vehicle can detect a typical color of Saharan dust and, for example, recommend parking the vehicle in a protected area, such as a garage or parking garage. This allows the operation of vehicle functions to be adapted to an environmental situation.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.Although the invention has been illustrated and explained in detail by preferred embodiments, the invention is not limited by the examples disclosed and other variations may be derived therefrom by those skilled in the art without departing from the scope of the invention. It is therefore clear that a large number of possible variations exist. It is also to be understood that exemplary embodiments are truly examples only and should not be construed in any way as limiting the scope, application, or configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to concretely implement the exemplary embodiments, whereby the person skilled in the art can make a variety of changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, with knowledge of the disclosed inventive concept, without To leave the scope of protection, which is defined by the claims and their legal equivalents, such as further explanations in the description.

Claims (10)

Fahrassistenzsystem (100) für ein Fahrzeug (10), umfassend: eine Umgebungssensorik (110), die eingerichtet ist, um eine Fahrzeugumgebung zu erfassen und entsprechende Umgebungsdaten bereitzustellen; ein Auswertemodul (120), das eingerichtet ist, um basierend auf den Umgebungsdaten Szenerie-Informationen zu bestimmen, wobei die Szenerie-Informationen Farbinformationen umfassen; und wenigstens ein Steuermodul (130), das eingerichtet ist, um wenigstens eine Fahrzeugfunktion basierend auf den Szenerie-Informationen anzusteuern.Driving assistance system (100) for a vehicle (10), comprising: an environmental sensor system (110) which is set up to detect a vehicle environment and to provide corresponding environmental data; an evaluation module (120) which is set up to determine scenery information based on the environmental data, the scenery information comprising color information; and at least one control module (130) that is set up to control at least one vehicle function based on the scenery information. Das Fahrassistenzsystem (100) nach Anspruch 1, wobei die Szenerie-Informationen weiter Wetterinformationen und/oder Helligkeitsinformationen umfassen.The driving assistance system (100) according to Claim 1 , wherein the scenery information further includes weather information and/or brightness information. Das Fahrassistenzsystem (100) nach Anspruch 1 oder 2, wobei die Farbinformationen einen Himmel und/oder ein Umgebungslicht und/oder eine Vegetation betreffen.The driving assistance system (100) according to Claim 1 or 2 , wherein the color information relates to a sky and/or ambient light and/or vegetation. Das Fahrassistenzsystem (100) nach einem der Ansprüche 1 bis 3, wobei das Auswertemodul (120) eingerichtet ist, um ein Farbspektrum in der Fahrzeugumgebung zu bestimmen, und wobei das wenigstens eine Steuermodul (130) eingerichtet ist, um die wenigstens eine Fahrzeugfunktion basierend auf dem Farbspektrum anzusteuern.The driving assistance system (100) according to one of the Claims 1 until 3 , wherein the evaluation module (120) is set up to determine a color spectrum in the vehicle environment, and wherein the at least one control module (130) is set up to control the at least one vehicle function based on the color spectrum. Das Fahrassistenzsystem (100) nach Anspruch 4, wobei das Auswertemodul (120) eingerichtet ist, um das Farbspektrum durch eine Fourier-Transformation zu bestimmen.The driving assistance system (100) according to Claim 4 , wherein the evaluation module (120) is set up to determine the color spectrum using a Fourier transformation. Das Fahrassistenzsystem (100) nach einem der Ansprüche 1 bis 5, wobei das Auswertemodul (120) eingerichtet ist, um basierend auf den Umgebungsdaten eine Klassifikation durchzuführen, insbesondere unter Verwendung von semantischer Segmentierung.The driving assistance system (100) according to one of the Claims 1 until 5 , wherein the evaluation module (120) is set up to carry out a classification based on the environmental data, in particular using semantic segmentation. Das Fahrassistenzsystem (100) nach einem der Ansprüche 1 bis 6, wobei das wenigstens eine Steuermodul (130) eingerichtet ist, um die wenigstens eine Fahrzeugfunktion basierend auf den Szenerie-Informationen derart anzusteuern, dass: Musik abgespielt wird; und/oder eine Musikauswahl vorgeschlagen wird; und/oder eine Innenraumbeleuchtung angepasst wird; und/oder wenigstens ein visuelles User Interface angepasst wird; und/oder wenigstens eine Fahreigenschaft angepasst wird, insbesondere eine Fahrdynamik einer Fahrassistenzfunktion zum automatisierten Fahren.The driving assistance system (100) according to one of the Claims 1 until 6 , wherein the at least one control module (130) is set up to control the at least one vehicle function based on the scenery information such that: music is played; and/or a music selection is suggested; and/or interior lighting is adjusted; and/or at least one visual user interface is adapted; and/or at least one driving characteristic is adapted, in particular a driving dynamics of a driving assistance function for automated driving. Fahrzeug (10), insbesondere Kraftfahrzeug, umfassend das Fahrassistenzsystem (100) nach einem der Ansprüche 1 bis 7.Vehicle (10), in particular motor vehicle, comprising the driving assistance system (100) according to one of Claims 1 until 7 . Fahrassistenzverfahren (400) für ein Fahrzeug, umfassend: Erfassen (410) einer Fahrzeugumgebung durch eine Umgebungssensorik und Bereitstellen entsprechender Umgebungsdaten; Bestimmen (420) von Szenerie-Informationen basierend auf den Umgebungsdaten, wobei die Szenerie-Informationen Farbinformationen umfassen; und Ansteuern (430) wenigstens einer Fahrzeugfunktion basierend auf den Szenerie-Informationen.Driving assistance method (400) for a vehicle, comprising: Detecting (410) a vehicle environment using an environmental sensor system and providing corresponding environmental data; determining (420) scenery information based on the environmental data, the scenery information including color information; and Controlling (430) at least one vehicle function based on the scenery information. Speichermedium, umfassend ein Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Fahrassistenzverfahren (400) gemäß Anspruch 9 auszuführen.Storage medium comprising a software program that is set up to be executed on one or more processors and thereby the driving assistance method (400) according to Claim 9 to carry out.
DE102022112291.3A 2022-05-17 2022-05-17 Driving assistance system and driving assistance method for a vehicle Pending DE102022112291A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022112291.3A DE102022112291A1 (en) 2022-05-17 2022-05-17 Driving assistance system and driving assistance method for a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022112291.3A DE102022112291A1 (en) 2022-05-17 2022-05-17 Driving assistance system and driving assistance method for a vehicle

Publications (1)

Publication Number Publication Date
DE102022112291A1 true DE102022112291A1 (en) 2023-11-23

Family

ID=88599653

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022112291.3A Pending DE102022112291A1 (en) 2022-05-17 2022-05-17 Driving assistance system and driving assistance method for a vehicle

Country Status (1)

Country Link
DE (1) DE102022112291A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1452995A2 (en) 2003-02-28 2004-09-01 Eastman Kodak Company Method for detecting color objects in digital images
DE102011013777A1 (en) 2011-03-12 2011-11-03 Daimler Ag Motor vehicle e.g. four-wheeled vehicle has controller that separately adjusts color of light from light emitting modules based on outputs from sensors that detect driving speed, engine speed, biometric, gear shift and door opening/closing
DE102012002564A1 (en) 2012-02-09 2012-09-06 Daimler Ag Motor vehicle is provided with lamps arranged in interior of motor vehicle, and information detection unit which is adapted to detect information
DE102013203162A1 (en) 2012-03-07 2013-09-12 GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) Virtual convertible tops, sun roofs and rear windows, and systems and methods for providing the same
DE102014019157A1 (en) 2014-12-19 2016-06-23 Audi Ag Method and adjustment of vehicle dynamics properties of a vehicle
DE102015203016A1 (en) 2015-02-19 2016-08-25 Volkswagen Aktiengesellschaft Method and device for optical self-localization of a motor vehicle in an environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1452995A2 (en) 2003-02-28 2004-09-01 Eastman Kodak Company Method for detecting color objects in digital images
DE102011013777A1 (en) 2011-03-12 2011-11-03 Daimler Ag Motor vehicle e.g. four-wheeled vehicle has controller that separately adjusts color of light from light emitting modules based on outputs from sensors that detect driving speed, engine speed, biometric, gear shift and door opening/closing
DE102012002564A1 (en) 2012-02-09 2012-09-06 Daimler Ag Motor vehicle is provided with lamps arranged in interior of motor vehicle, and information detection unit which is adapted to detect information
DE102013203162A1 (en) 2012-03-07 2013-09-12 GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) Virtual convertible tops, sun roofs and rear windows, and systems and methods for providing the same
DE102014019157A1 (en) 2014-12-19 2016-06-23 Audi Ag Method and adjustment of vehicle dynamics properties of a vehicle
DE102015203016A1 (en) 2015-02-19 2016-08-25 Volkswagen Aktiengesellschaft Method and device for optical self-localization of a motor vehicle in an environment

Similar Documents

Publication Publication Date Title
DE102018132525A1 (en) Method and device for evaluating a vehicle driving surface
DE102018101318A1 (en) OBJECT RECOGNITION USING A RECURRENT NEURONAL NETWORK AND A LINKED CHARACTERIZATION OF FIGURE
DE102018101125A1 (en) Recurrent deep neuronal convolution network for the detection of objects
DE102016100416A1 (en) Test bench for virtual sensors
DE102018201054A1 (en) System and method for image representation by a driver assistance module of a vehicle
DE102017113186A1 (en) Object recognition on vehicle exterior surface
DE102018126664A1 (en) DOMAIN ADAPTATION THROUGH CLASS-EXISTED SELF-TRAINING WITH SPATIAL PRIOR
DE202016100609U1 (en) Vehicle panoramic roof
DE102019115459A1 (en) METHOD AND DEVICE FOR EVALUATING A ROAD SURFACE FOR MOTOR VEHICLES
DE102018116036A1 (en) Training a deep convolutional neural network for individual routes
DE102018002955A1 (en) PROCESS AND CONTROL ARRANGEMENT FOR ENVIRONMENTAL PERCEPTION
DE102016210534A1 (en) Method for classifying an environment of a vehicle
DE102014213485A1 (en) DRIVING SUPPORT DEVICE
DE102020124666A1 (en) PROCESS, SYSTEM AND COMPUTER PROGRAM PRODUCT FOR PROVIDING DRIVER ASSISTANCE
DE102018128634A1 (en) Method for providing visual information about at least part of an environment, computer program product, mobile communication device and communication system
DE102015225346A1 (en) A method for assisting a driver of a motor vehicle when driving the motor vehicle
DE102008043761B4 (en) Method and control unit for adapting a vehicle assistance system
WO2020151879A1 (en) Device and method for monitoring vehicle functions on a vehicle
DE102014216168A1 (en) Control of a communication output of a service device of a motor vehicle
DE102008043828A1 (en) Method and control device for determining photometric parameters of a projectable character
DE102022112291A1 (en) Driving assistance system and driving assistance method for a vehicle
DE102020125232A1 (en) Color correction method for a camera system and a camera system
DE102020118450A1 (en) Method and system for generating test data for a simulation to validate a driving function for automated driving
DE102008032747A1 (en) Method for displaying image of road detected by e.g. image detection device, for assisting driver to control vehicle, involves subjecting image regions into image and visually reproducing entire image with enhanced image region
DE102019204187A1 (en) Classification and temporal recognition of tactical driving maneuvers by road users

Legal Events

Date Code Title Description
R163 Identified publications notified