DE102023000964A1

DE102023000964A1 - Method for controlling a scenting device of a motor vehicle

Info

Publication number: DE102023000964A1
Application number: DE102023000964.4A
Authority: DE
Inventors: Rene Wirtz
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2023-03-13
Filing date: 2023-03-13
Publication date: 2024-02-29

Abstract

Die Erfindung betrifft ein Verfahren zum Steuern einer Beduftungseinrichtung eines Kraftfahrzeugs, welche Beduftungseinrichtung zur Ausgabe einer aus einer Mehrzahl von unterschiedlichen, einzeln bevorrateten Duftmedien zusammengesetzten Duftkomposition über eine Mischeinrichtung in einen Fahrzeuginnenraum mit einer lernfähige Steuerung ansteuerbar ist, wobei:- zumindest eine Eingangsgröße zur Steuerung eines Mischungsverhältnisses der ausgebbaren Duftkomposition aus Umgebungsbedingungen abgeleitet wird, und- aus der zumindest einen Eingangsgröße durch die lernfähige Steuerung eine Ausgangsgröße als Steuerungsanweisung für die Mischeinrichtung zur Herstellung der Duftkomposition in einem aus der Eingangsgröße abgeleiteten Mischungsverhältnisses erzeugt wird,Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass aus Kameradaten einer Fahrzeugkamera, die auf die äußere Umgebung des Kraftfahrzeuges gerichtet ist, Bilddaten extrahiert werden, und dass aus den Bilddaten die zumindest eine Eingangsgröße erzeugt wird.The invention relates to a method for controlling a scenting device of a motor vehicle, which scenting device can be controlled via a mixing device into a vehicle interior with a learning controller for outputting a fragrance composition composed of a plurality of different, individually stored scent media via a mixing device, whereby: - at least one input variable for controlling a Mixing ratio of the dispensable fragrance composition is derived from ambient conditions, and - from the at least one input variable, an output variable is generated by the adaptive controller as a control instruction for the mixing device for producing the fragrance composition in a mixing ratio derived from the input variable. The method according to the invention is characterized in that Image data is extracted from camera data from a vehicle camera that is aimed at the external environment of the motor vehicle, and that at least one input variable is generated from the image data.

Description

Die Erfindung betrifft ein Verfahren zum Steuern einer Beduftungseinrichtung eines Kraftfahrzeugs gemäß Oberbegriff des Patentanspruchs 1.The invention relates to a method for controlling a scenting device of a motor vehicle according to the preamble of patent claim 1.

Die DE 103 28 747 A1 beschreibt ein gattungsgemäßen Verfahren zum Steuern einer Beduftungseinrichtung eines Kraftfahrzeugs. Die Beduftungseinrichtung dient zur Ausgabe einer Duftkomposition, die aus einer Mehrzahl von unterschiedlichen, einzeln in der Beduftungseinrichtung bevorrateten Duftmedien zusammengesetzt ist. Über eine Mischeinrichtung kann die Duftkomposition in einen Fahrzeuginnenraum eingebracht werden. Die Mischeinrichtung wird mit einer Steuerung angesteuert, die lernfähig mit einem neuronalen Netz ausgebildet ist. Die Steuerung leitet aus Umgebungsbedingungen, die somit zumindest eine Eingangsgröße bilden, mit Hilfe des neuronalen Netzes zumindest eine Ausgangsgröße ab, die ein Mischungsverhältnisses der einzelnen Duftmedien zu Herstellung der auszugebenden Duftkomposition kennzeichnen, so dass die Mischeinrichtung die Duftkomposition herstellen kann.The DE 103 28 747 A1 describes a generic method for controlling a scenting device of a motor vehicle. The scenting device is used to dispense a fragrance composition which is composed of a plurality of different scent media stored individually in the scenting device. The fragrance composition can be introduced into a vehicle interior via a mixing device. The mixing device is controlled with a controller that is designed to be able to learn using a neural network. The control derives from environmental conditions, which thus form at least one input variable, with the help of the neural network at least one output variable, which characterizes a mixing ratio of the individual fragrance media to produce the fragrance composition to be dispensed, so that the mixing device can produce the fragrance composition.

Die DE 10 2019 209 979 A1 offenbart eine Beduftungseinrichtung, deren lernfähige Steuerung mit Machine Learning arbeitet, um Duftkompositionen herzustellen, die in einen Fahrzeuginnenraum eingebracht werden können. Zum Bestimmen des Mischungsverhältnisses der Duftkomposition wird ein Innenraumsensor verwendet, der zuvor die Anteile bestimmter Duftmoleküle im Innenraum bestimmt, so dass in Abhängigkeit des im Innenraum vorliegenden Geruchs eine Duftkomposition zur Erzeugung eines gewünschten, immer gleichen Geruchs im Innenraum gemischt werden kann.The DE 10 2019 209 979 A1 discloses a scenting device whose adaptive control works with machine learning to produce scent compositions that can be introduced into a vehicle interior. To determine the mixing ratio of the fragrance composition, an interior sensor is used, which previously determines the proportions of certain fragrance molecules in the interior, so that depending on the smell present in the interior, a fragrance composition can be mixed in the interior to produce a desired, always the same smell.

Ein ähnliches Verfahren zur Beduftung eines Fahrzeuginnenraums ist aus der DE 10 2015 202 678 A1 bekannt. Das Mischungsverhältnis der Duftkomposition kann beispielsweise abgeleitet werden aus folgenden Bedingungen: Zeit, Temperatur, Luftqualität, Geschwindigkeit, Fahrsituation, Fahrstrecke, etc.A similar process for scenting a vehicle interior is from DE 10 2015 202 678 A1 known. The mixing ratio of the fragrance composition can be derived, for example, from the following conditions: time, temperature, air quality, speed, driving situation, route, etc.

Die DE 103 05 481 A1 beschreibt die automatische Herstellung einer Duftnote, die in Abhängigkeit von Wetterbedingungen oder Tageszeit erzeugt wird. Zudem kann eine Duftnote individuell über eine programmierbare Steuerung eingestellt werden. Die beschriebene Beduftungseinrichtung, die in ein Fahrzeug eingebracht werden kann, besitzt eine Sprachsteuerung.The DE 103 05 481 A1 describes the automatic production of a scent that is generated depending on weather conditions or time of day. In addition, a scent note can be adjusted individually using a programmable control. The scenting device described, which can be installed in a vehicle, has voice control.

Aufgabe der Erfindung ist es, ein gattungsgemäße Verfahren zum Steuern einer Beduftungseinrichtung anzugeben, bei dem die Ausgangsgröße auf einfache Art und Weise und komfortabel für einen Fahrzeugnutzer erzeugt werden kann.The object of the invention is to provide a generic method for controlling a scenting device, in which the output variable can be generated in a simple manner and conveniently for a vehicle user.

Diese Aufgabe wird gelöst mit einem Verfahren zum Steuern einer Beduftungseinrichtung, das die Merkmale des Patentanspruchs 1 umfasst. Es ist ein Verfahren zum Steuern einer Beduftungseinrichtung eines Kraftfahrzeugs vorgesehen, welche Beduftungseinrichtung zur Ausgabe einer aus einer Mehrzahl von unterschiedlichen, einzeln bevorrateten Duftmedien zusammengesetzten Duftkomposition über eine Mischeinrichtung in einen Fahrzeuginnenraum mit einer lernfähige Steuerung ansteuerbar ist, welche Steuerung die zumindest eine Eingangsgröße zur Steuerung eines Mischungsverhältnisses der ausgebbaren Duftkomposition aus Umgebungsbedingungen ableitet und die aus der zumindest einen Eingangsgröße durch die lernfähige Steuerung eine Ausgangsgröße als Steuerungsanweisung für die Mischeinrichtung zur Herstellung der Duftkomposition in einem aus der Eingangsgröße abgeleiteten Mischungsverhältnisses erzeugt.This task is solved with a method for controlling a scenting device, which includes the features of patent claim 1. A method is provided for controlling a scenting device of a motor vehicle, which scenting device can be controlled to output a fragrance composition composed of a plurality of different, individually stored fragrance media via a mixing device into a vehicle interior with a learning controller, which controller uses the at least one input variable to control a Mixing ratio of the dispensable fragrance composition is derived from environmental conditions and which generates an output variable from the at least one input variable by the adaptive controller as a control instruction for the mixing device for producing the fragrance composition in a mixing ratio derived from the input variable.

Erfindungsgemäß ist vorgesehen, dass aus Kameradaten einer Fahrzeugkamera, die auf die äußere Umgebung des Kraftfahrzeuges gerichtet ist, Bilddaten extrahiert werden, und dass aus den Bilddaten die zumindest eine Eingangsgröße erzeugt wird. Aus den Kameradaten werden somit die Umgebnungsbedingungen abgebildet. In vorteilhafter Weise ist es so möglich, eine Duftkomposition nach einem ermittelten Mischungsverhältnis aus den zur Verfügung stehenden Duftmedien zu erzeugen, so dass im Fahrzeuginnenraum eine Duftkomposition eingebracht wird, die einen Geruch außerhalb des Fahrzeugs kopiert oder ergänzt oder einen individuell vorgebbaren Geruch erzeugt. Fährt das Fahrzeug beispielsweise an einem Lavendelfeld vorbei, kann ein gleicher oder ähnlicher Geruch durch die gemischte Duftkomposition im Innern des Fahrzeugs bereitgestellt werden, was die Wahrnehmung der Außenwelt für den Fahrzeugnutzer erhöht. Es wäre aber auch denkbar, dass zu dem äußeren Lavendelduft eine ergänzende Duftkomposition erzeugt wird, die häufig in anderen Gegenden vorhanden ist. Es wird demnach erfindungegemäß eine Duftkomposition ohne Zutun des Fahrzeugnutzes, vorzugsweise in Echtzeit, erzeugt.According to the invention, it is provided that image data is extracted from camera data of a vehicle camera that is aimed at the external environment of the motor vehicle, and that at least one input variable is generated from the image data. The environmental conditions are mapped from the camera data. Advantageously, it is possible to generate a fragrance composition according to a determined mixing ratio from the available fragrance media, so that a fragrance composition is introduced into the vehicle interior that copies or complements a smell outside the vehicle or generates an individually predeterminable smell. For example, if the vehicle drives past a lavender field, the same or similar smell can be provided by the mixed scent composition inside the vehicle, which increases the vehicle user's perception of the outside world. However, it would also be conceivable that a complementary fragrance composition is created in addition to the external lavender scent, which is often present in other areas. According to the invention, a fragrance composition is created without any input from the vehicle user, preferably in real time.

Das erfindungsgemäße Verfahren mit seiner lernfähigen Steuerung basiert in bevorzugter Weise auf einem tiefen neuronalen Netz, das bildbasierte Eingangsgrößen in ein eigene Duftkomposition umwandelt. Professionelle Parfümeure können mit Worten die Duftmedien beschreiben, die als Basisdüfte und/der Duftmischungen vorliegen können, und trainieren das Netzwerk, so dass bekannte und neue Duftkompositionen gemischt werden können. Es ist somit vorzugsweise nach einer Weiterbildung der Erfindung vorgesehen, dass den bevorrateten Duftmedien eine Charakterisierung, also eine Beschreibung mit Worten, zugeordnet wird.The method according to the invention with its adaptive control is preferably based on a deep neural network that converts image-based input variables into its own fragrance composition. Professional perfumers can use words to describe the fragrance media, which can be present as base fragrances and/or fragrance mixtures, and train the network so that known and new fragrance compositions can be mixed. According to a further development of the invention, it is therefore preferably provided that the stored ones Fragrance media is assigned a characterization, i.e. a description with words.

In einer Weiterbildung des Verfahrens ist vorgesehen, dass die lernfähige Steuerung aus den Bilddaten eine Beschreibung eines Duftes ableitet, aus der die auszugebende Duftkomposition ermittelt wird. Das heißt, dass beispielsweise die Fahrzeugkamera einen Wald oder ein Lavendelfeld aufnimmt und in der lernfähigen Steuerung zu dem erfassten und erkannten Bestandteil eines Bildes die Beschreibung Wald bzw. Lavendelfeld hinzugefügt wird. Vorzugsweise in Verbindung mit der Beschreibung bzw. Charakterisierung der einzelnen Duftmedien, mit der die lernfähige Steuerung trainiert ist, können so Duftkompositionen anhand der Beschreibung und der Charakterisierung erzeugt werden.In a further development of the method, it is provided that the adaptive control derives a description of a scent from the image data, from which the scent composition to be output is determined. This means that, for example, the vehicle camera records a forest or a lavender field and the adaptive control system adds the description forest or lavender field to the captured and recognized component of an image. Preferably in conjunction with the description or characterization of the individual scent media with which the adaptive control is trained, scent compositions can be generated based on the description and the characterization.

Nach einem Ausführungsbeispiel ist vorgesehen, dass die lernfähige Steuerung aus einer Spracheingabe eines Fahrzeugnutzers eine Beschreibung eines Duftes ableitet, aus der die auszugebende Duftkomposition ermittelt wird. Zusätzlich zu einer aus Bilddaten abgeleiteten Duftkomposition kann in vorteilhafter Weise auf Wunsch des Fahrzeugnutzers eine Duftkomposition mit der lernfähigen Steuerung erzeugt werden, die nicht zwingend mit den Umgebungsbedingungen übereinstimmt. So kann ein Nutzer oder Passagier im Fahrzeug zum Beispiel sagen: „Hey Mercedes, mix mir einen Duft wie ein Erdbeerfeld im April kurz nach einem Regenschauer“. Das neuronale Netzwerk berechnet dann aus dieser Spracheingabe anhand der charakterisierten Duftmedien die benötigten Duftmedien und das Mischungsverhältnis und sprüht oder verdampft den so gemischten Duft in den Fahrzeuginnenraum ein. Dies wird insbesondere dadurch möglich, dass die Chararterisierungen der Duftmedien in der lernfähigen Steuerung vorgehalten werden. According to one exemplary embodiment, it is provided that the adaptive control derives a description of a scent from a voice input from a vehicle user, from which the scent composition to be output is determined. In addition to a scent composition derived from image data, a scent composition that does not necessarily correspond to the ambient conditions can advantageously be generated at the request of the vehicle user using the adaptive control. For example, a user or passenger in the vehicle can say: “Hey Mercedes, mix me a scent like a strawberry field in April shortly after a rain shower”. The neural network then calculates the required fragrance media and the mixing ratio from this voice input based on the characterized fragrance media and sprays or evaporates the thus mixed fragrance into the vehicle interior. This is made possible in particular by the fact that the characterizations of the scent media are kept in the adaptive control system.

Nach einer Weiterbildung des Verfahrens ist vorgesehen, dass die Beschreibung die Eingangsgröße bildet, die mit der Charakterisierung der Duftmedien mit der lernfähigen Steuerung verknüpft wird, und so als die Ausgangsgröße ein Mischungsverhältnis nach Auswahl und Menge der für die Duftkomposition zu verwendenden Duftmedien bestimmt wird.According to a further development of the method, it is provided that the description forms the input variable, which is linked to the characterization of the fragrance media with the adaptive control, and so that the output variable is a mixing ratio based on the selection and amount of the fragrance media to be used for the fragrance composition.

Die Erfindung wird nachfolgende anhand eines Ausführungsbeispiels näher erläutert: Das Verfahren zum Steuern einer Beduftungseinrichtung eines Innenraums eines Kraftfahrzeugs beruht auf einem tiefen neuronalen Netz, das aufgenommene Bilder einer Fahrzeugkamera und von einem Fahrzeugnutzer gesprochene Sprachbefehle in eine eigene, zu erzeugende Duftkomposition quasi umwandelt, die aus mindestens zwei in der Beduftungseinrichtung bevorrateten Duftmedien gemischt und in den Fahrzeuginnenraum eingebracht wird. Dazu wird das Netzwerk von professionellen Parfümeuren mit Basisdüften und Duftmischungen, die die Duftmedien bilden, trainiert, in dem Duftmedien von den Experten mit Worten beschrieben werden. Das trainierte Netzwerk wird dann genutzt, um aus Bilddaten und Spracheingaben einen neuen Duftcocktail, also eine neue Duftkomposition, zu kreieren. So kann ein Passagier zum Beispiel sagen: „Hey Mercedes, mix mir einen Duft wie ein Erdbeerfeld im April kurz nach einem Regenschauer“. Das neuronale Netzwerk berechnet dann aus dieser Spracheingabe die benötigten Duftmedien und ihr Mischungsverhältnis und sprüht oder verdampft den so gemischten Duft dann in den Fahrzeuginnenraum ein.The invention is explained in more detail below using an exemplary embodiment: The method for controlling a scenting device in an interior of a motor vehicle is based on a deep neural network that essentially converts images recorded by a vehicle camera and voice commands spoken by a vehicle user into its own fragrance composition to be generated at least two fragrance media stored in the scenting device are mixed and introduced into the vehicle interior. For this purpose, the network of professional perfumers is trained with basic fragrances and fragrance mixtures that form the fragrance media, in which fragrance media are described in words by the experts. The trained network is then used to create a new scent cocktail, i.e. a new scent composition, from image data and voice input. For example, a passenger can say: “Hey Mercedes, mix me a scent like a strawberry field in April just after a rain shower”. The neural network then calculates the required scent media and their mixing ratio from this voice input and then sprays or evaporates the mixed scent into the vehicle interior.

Auch Bilder der Fahrzeugkamera, die nach außen gerichtet ist und die Fahrzeugumgebung erfassen kann, kann genutzt werden, um die Düfte zu charakterisieren bzw. zu beschreiben und so das Netzwerk zu trainieren. Ein solch trainiertes Netz kann dann genutzt werden, um die Kameradaten der Fahrzeugkamera, die den Außenraum des Fahrzeugs aufnimmt, als Eingangswerte zu nutzen und das Netz wandelt die Bilddaten in eine Duftkomposition um. Dies kann vom Passagier über eine Sprachbefehl („Hey Mercedes, wandle die aktuelle Umgebung in einen Duft um!“) oder einen Schalter erfolgen.Images from the vehicle camera, which is directed outward and can capture the vehicle's surroundings, can also be used to characterize or describe the scents and thus train the network. Such a trained network can then be used to use the camera data from the vehicle camera, which records the exterior of the vehicle, as input values and the network converts the image data into a scent composition. This can be done by the passenger using a voice command (“Hey Mercedes, convert the current environment into a scent!”) or a switch.

Das trainierte Netz kann direkt auf der Hardware des Fahrzeugs laufen, oder in einer Cloudumgebung, die mit dem Fahrzeug über eine Drahtlose Verbindung verbunden ist.The trained network can run directly on the vehicle's hardware, or in a cloud environment connected to the vehicle via a wireless connection.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10328747 A1 [0002]
DE 102019209979 A1 [0003]
DE 102015202678 A1 [0004]
DE 10305481 A1 [0005]

Claims

Method for controlling a scenting device of a motor vehicle, which scenting device can be controlled to output a fragrance composition composed of a plurality of different, individually stored fragrance media via a mixing device into a vehicle interior with a learning control, wherein: - at least one input variable for controlling a mixing ratio of the scent composition that can be dispensed is derived from environmental conditions, and - from the at least one input variable, an output variable is generated by the adaptive controller as a control instruction for the mixing device for producing the fragrance composition in a mixing ratio derived from the input variable, characterized in that from camera data from a vehicle camera that is based on the external Environment of the motor vehicle is directed, image data is extracted, and that at least one input variable is generated from the image data.

Procedure according to Claim 1 , characterized in that the adaptive control derives a description of a scent from the image data, from which the scent composition to be output is determined.

Procedure according to Claim 1 , characterized in that the adaptive control derives a description of a scent from a voice input from a vehicle user, from which the scent composition to be output is determined.

Procedure according to Patent claim 1 , characterized in that a characterization is assigned to the stored fragrance media.

Method according to one of the preceding claims, characterized in that the description forms the input variable which is linked to the characterization of the fragrance media with the adaptive control, and so as the output variable a mixing ratio is determined according to the selection and amount of the fragrance media to be used for the fragrance composition .