DE102018217634A1

DE102018217634A1 - Method for operating a vehicle and vehicle

Info

Publication number: DE102018217634A1
Application number: DE102018217634.5A
Authority: DE
Inventors: Rachid Khlifi
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2018-10-15
Filing date: 2018-10-15
Publication date: 2019-11-14

Abstract

Es wird ein Verfahren zum Betrieb eines Fahrzeugs (2) angegeben, wobei das Fahrzeug (2) einen Innenraum (4) aufweist, wobei eine Stimmungssituation (S) innerhalb des Innenraums (4) erkannt wird, indem eine Anzahl von akustischen Signalen (A) in dem Innenraum (4) mittels wenigstens eines Mikrofons (10) aufgenommen wird und mittels einer Steuereinheit (6) ausgewertet wird, wobei das Fahrzeug (2) wenigstens ein Subsystem (8, 12, 14) aufweist, welches mittels der Steuereinheit (6) abhängig von der Stimmungssituation (S) gesteuert wird. Weiterhin wird ein entsprechendes Fahrzeug (2) angegeben.

The invention relates to a method for operating a vehicle (2), wherein the vehicle (2) has an interior space (4), wherein a mood situation (S) within the interior space (4) is detected by a number of acoustic signals (A). is received in the interior (4) by means of at least one microphone (10) and is evaluated by means of a control unit (6), wherein the vehicle (2) has at least one subsystem (8, 12, 14) which by means of the control unit (6) depending on the mood situation (S) is controlled. Furthermore, a corresponding vehicle (2) is specified.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Fahrzeugs sowie ein entsprechendes Fahrzeug.The invention relates to a method for operating a vehicle and to a corresponding vehicle.

Ein Fahrzeug dient regelmäßig dem Transport von Personen, welche sich in einem Innenraum des Fahrzeugs aufhalten. Das Fahrzeug wird häufig von einem der Insassen gesteuert, welcher dann auch als Fahrer bezeichnet wird. Alternativ ist das Fahrzeug ein autonomes Fahrzeug und wird von einer geeigneten Steuereinheit gesteuert, wobei regelmäßig wenigstens einem der Insassen ein Eingreifen ermöglicht wird oder von diesem sogar eine Überwachung der Fahrt gefordert wird. Auch dieser Insasse wird typischerweise als Fahrer bezeichnet, da er oder sie wenigstens die Möglichkeit hat, das Fahrzeug zu steuern.A vehicle regularly serves to transport people who are in an interior of the vehicle. The vehicle is often controlled by one of the occupants, who is then also referred to as a driver. Alternatively, the vehicle is an autonomous vehicle and is controlled by a suitable control unit, whereby at least one of the occupants is regularly allowed to intervene or even requires monitoring of the journey. Also, this occupant is typically referred to as a driver, since he or she has at least the ability to control the vehicle.

Während der Fahrt eines Fahrzeugs können Situationen entstehen, welche die Aufmerksamkeit des Fahrers beeinträchtigen, mit entsprechend nachteiligen Folgen für die Sicherheit des Fahrers sowie möglicher weiterer Insassen.While driving a vehicle, situations may arise that affect the driver's attention, with consequent detrimental consequences for the safety of the driver as well as possible other occupants.

In der DE 2017 103 391 A1 wird die Stimmung eines Fahrers eines Fahrzeugs anhand vom Fahrverhalten des Fahrers bestimmt und daraufhin das Fahrzeug zu einem gewissen Grad an das Befinden oder an die Bedürfnisse des Fahrers angepasst. Einem aufgeregten Gemütszustand wird z.B. mit beruhigender Musik entgegengewirkt.In the DE 2017 103 391 A1 For example, the mood of a driver of a vehicle is determined based on the driving behavior of the driver, and then the vehicle is adjusted to a certain degree to the driver's condition or needs. An agitated state of mind is counteracted eg with soothing music.

In der DE 10 2017 124 900 A1 wird ein Fahrzeug beschrieben, welches auf Veränderungen des Gemütszustands eines Benutzers reagiert. Ein Gemütszustand eines Fahrzeuginsassen wird basierend auf Informationen bestimmt, welche von einem Sensor gesammelt werden. Falls vorhanden, wird eine dem Gemütszustand zugeordnete Reaktionsaktion ausgeführt, um eine Fahrzeugeigenschaft zu ändern. Beispielsweise kann das Fahrzeug versuchen, einen wütenden Fahrer zu beruhigen, indem Beleuchtung oder Musik angepasst werden.In the DE 10 2017 124 900 A1 a vehicle is described which responds to changes in the state of mind of a user. A state of mind of a vehicle occupant is determined based on information collected by a sensor. If present, a responsive action associated with the state of mind is executed to change a vehicle characteristic. For example, the vehicle may attempt to calm an angry driver by adjusting lighting or music.

Vor diesem Hintergrund ist es eine Aufgabe der Erfindung, ein verbessertes Verfahren zum Betrieb eines Fahrzeugs anzugeben sowie entsprechend ein verbessertes Fahrzeug. Im Betrieb und speziell während einer Fahrt des Fahrzeugs, soll eine möglichst hohe Sicherheit gewährleistet sein.Against this background, it is an object of the invention to provide an improved method for operating a vehicle and, accordingly, an improved vehicle. During operation and especially during a journey of the vehicle, the highest possible safety should be ensured.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen gemäß Anspruch 1 sowie durch ein Fahrzeug mit den Merkmalen gemäß Anspruch 10. Vorteilhafte Ausführungsformen, Weiterbildungen und Varianten sind Gegenstand der Unteransprüche. Die Ausführungen im Zusammenhang mit dem Verfahren gelten sinngemäß auch für das Fahrzeug und umgekehrt.The object is achieved by a method with the features of claim 1 and by a vehicle having the features of claim 10. Advantageous embodiments, developments and variants are the subject of the dependent claims. The remarks in connection with the method apply mutatis mutandis to the vehicle and vice versa.

Das Verfahren dient zum Betrieb eines Fahrzeugs. Das Fahrzeug dient dem Transport von Personen. Das Fahrzeug weist einen Innenraum auf, welcher auch als Fahrgastraum bezeichnet wird. In dem Innenraum hält sich wenigstens ein Insasse auf. Zweckmäßigerweise ist der Innenraum ausgebildet, mehrere Insassen aufzunehmen. Der wenigstens eine Insasse ist insbesondere ein Fahrer des Fahrzeugs. Unter „Fahrer“ wird vorliegend insbesondere eine Person verstanden, welche das Fahrzeug steuert oder welcher ein Eingreifen in eine automatische Steuerung des Fahrzeugs ermöglicht ist oder von welcher eine Überwachung des Betriebs des Fahrzeugs gefordert ist. Allgemein hat ein Fahrer die Möglichkeit, in den Betrieb des Fahrzeugs einzugreifen und speziell insbesondere dessen Fahrparameter einzustellen und dadurch dessen Fahrt zu steuern. In einer geeigneten Ausgestaltung ist das Fahrzeug ein autonomes Fahrzeug.The method is used to operate a vehicle. The vehicle is used to transport people. The vehicle has an interior, which is also referred to as a passenger compartment. At least one occupant stays in the interior. Conveniently, the interior is designed to accommodate several occupants. The at least one occupant is in particular a driver of the vehicle. In the present case, "driver" is understood to mean, in particular, a person who controls the vehicle or who is permitted to intervene in an automatic control of the vehicle or by whom monitoring of the operation of the vehicle is required. In general, a driver has the opportunity to intervene in the operation of the vehicle and in particular to adjust its driving parameters and thereby control its travel. In a suitable embodiment, the vehicle is an autonomous vehicle.

Im Rahmen des Verfahrens wird eine Stimmungssituation innerhalb des Innenraums erkannt. Die Stimmungssituation wird auch als Gesamtstimmung bezeichnet, da diese gerade nicht die Stimmung eines einzelnen, speziellen Insassen bezeichnet, sondern eine sich insgesamt für den Innenraum ergebende Stimmung, welche in einer möglichen und geeigneten Ausgestaltung aus einzelnen Stimmungen mehrerer Insassen zusammengesetzt ist. Die Stimmungssituation wird erkannt, indem eine Anzahl von akustischen Signalen in dem Innenraum mittels wenigstens eines Mikrofons aufgenommen wird und mittels einer Steuereinheit ausgewertet wird. Die Steuereinheit wird auch als Controller bezeichnet. Unter „eine Anzahl von akustischen Signalen“ wird vorliegend „ein oder mehrere akustische Signale“ oder „wenigstens ein akustisches Signal“ verstanden. Bevorzugterweise werden mehrere akustische Signale aufgenommen, wodurch die Erkennung der Stimmungssituation verbessert wird.As part of the process, a mood situation within the interior is detected. The mood situation is also referred to as overall mood, as this just does not designate the mood of a single, special occupant, but a total resulting for the interior mood, which is composed in a possible and suitable embodiment of individual moods of several inmates. The mood situation is detected by recording a number of acoustic signals in the interior by means of at least one microphone and evaluating them by means of a control unit. The control unit is also referred to as a controller. In the present case, "a number of acoustic signals" is understood to mean "one or more acoustic signals" or "at least one acoustic signal". Preferably, a plurality of acoustic signals are recorded, whereby the detection of the mood situation is improved.

Die Stimmungssituation wird insbesondere dadurch erkannt, dass die akustischen Signale zusammen eine Geräuschkulisse bilden, welche dann klassifiziert wird und damit einer bestimmten Stimmungssituation zugeordnet wird. Für diese Klassifikation weist die Steuereinheit zweckmäßigerweise einen Klassifikator auf. Die bestimmte Stimmungssituation liegt dann vor und wird entsprechend erkannt. Die akustischen Signale können grundsätzlich aus verschiedensten Schallquellen stammen. In einer geeigneten Ausgestaltung stammt wenigstens ein akustisches Signal von einem Insassen des Fahrzeugs und ist beispielsweise Sprache oder ein sonstwie durch einen Insassen erzeugtes Geräusch. Alternativ oder zusätzlich stammt wenigsten ein akustisches Signal von dem Fahrzeug selbst und ist beispielsweise ein Motorengeräusch oder ein Warnsignal. Alternativ oder zusätzlich stammt wenigstens ein akustisches Signal aus der Umgebung des Fahrzeugs und ist beispielsweise Straßenlärm oder ein Warn- oder Hinweissignal, welcher bzw. welches von außen in den Innenraum eindringt.The mood situation is recognized in particular in that the acoustic signals together form a background noise, which is then classified and thus assigned to a specific mood situation. For this classification, the control unit expediently has a classifier. The particular mood situation then exists and is recognized accordingly. The acoustic signals can basically come from a variety of sound sources. In a suitable embodiment, at least one audible signal originates from an occupant of the vehicle and is, for example, speech or a sound otherwise generated by an occupant. Alternatively or additionally, at least one acoustic signal comes from the vehicle itself and is For example, an engine noise or a warning signal. Alternatively or additionally, at least one acoustic signal originates from the surroundings of the vehicle and is, for example, road noise or a warning or warning signal which penetrates into the interior from the outside.

Das Fahrzeug weist nun wenigstens ein Subsystem auf, welches mittels der Steuereinheit abhängig von der Stimmungssituation gesteuert wird. Darunter wird insbesondere verstanden, dass das Subsystem angesteuert wird, um auf die Stimmungssituation zu reagieren und deren Einfluss auf wenigstens einen Insassen und speziell auf den Fahrer zu verändern und vorzugsweise diesem Einfluss der Stimmungssituation entgegenzuwirken.The vehicle now has at least one subsystem, which is controlled by the control unit depending on the mood situation. This is understood to mean, in particular, that the subsystem is activated in order to react to the mood situation and to change its influence on at least one occupant and especially on the driver, and preferably to counteract this influence of the mood situation.

Ein Kerngedanke der Erfindung besteht insbesondere darin, innerhalb des Innenraums eines Fahrzeugs eine akustische Überwachung durchzuführen und in Reaktion hierauf ein Subsystem des Fahrzeugs automatisch anzusteuern. Das Fahrzeug reagiert also automatisch auf die Stimmungssituation, d.h. insbesondere eine Geräuschkulisse, innerhalb des Fahrzeugs. Diese Reaktion, speziell das Einstellen des Subsystems, hat zum Ziel, die Betriebssicherheit des Fahrzeugs zu verbessern. In einer geeigneten Ausgestaltung wird dies erreicht, indem der Fahrer direkt beeinflusst wird, z.B. indem dessen Wohlbefinden, Entspannung, Aufmerksamkeit, Konzentration oder ähnliches verbessert wird. Unter „Beeinflussung eines Insassen“ wird allgemein insbesondere verstanden, dass der emotionale Zustand oder der Gemütszustand des Insassen oder dessen Stimmung beeinflusst wird. Alternativ oder zusätzlich wird die Betriebssicherheit verbessert, indem die Fahrweise oder das Fahrverhalten des Fahrzeug verändert werden, speziell um einer veränderten Reaktionsfähigkeit des Fahrers entgegenzuwirken und dies insbesondere auszugleichen. Dadurch wird z.B. die Gefahr eines Unfalls vorteilhaft reduziert. Insgesamt wird durch eine intelligente Reaktion des Fahrzeugs auf die Stimmungssituation im Innenraum die Sicherheit für die Insassen und insbesondere auch für andere Verkehrsteilnehmer verbessert.A central idea of the invention is, in particular, to perform an acoustic monitoring within the interior of a vehicle and to automatically actuate a subsystem of the vehicle in response thereto. The vehicle thus automatically responds to the mood situation, i. in particular a background noise, within the vehicle. This reaction, specifically the setting of the subsystem, aims to improve the operational safety of the vehicle. In a suitable embodiment, this is achieved by directly influencing the driver, e.g. by improving their well-being, relaxation, attention, concentration or similar. By "influencing an occupant" is generally understood in particular that the emotional state or state of mind of the occupant or his mood is affected. Alternatively or additionally, the reliability is improved by changing the driving style or the driving behavior of the vehicle, specifically to counteract a changed reactivity of the driver and compensate for this particular. This will e.g. the risk of an accident advantageously reduced. Overall, an intelligent response of the vehicle to the mood in the interior improves safety for the occupants and in particular for other road users.

Ein besonderer Vorteil der Erfindung besteht insbesondere darin, dass die Stimmungssituation im Innenraum insgesamt erkannt wird, sodass also die Stimmung nicht lediglich insassenspezifisch erkannt wird und entsprechend auch nicht lediglich insassenspezifisch reagiert wird. Insbesondere wird im Gegensatz zur eingangs genannten DE 10 2017 124 900 A1 vorliegend also nicht eine spezielle Überwachung des Fahrers durchgeführt, sondern eine Überwachung des Innenraums insgesamt. Somit werden vorliegend vorteilhaft auch solche Einflüsse auf einen bestimmten Insassen berücksichtigt, welche nicht auf diesen selbst zurückgehen, speziell auch Einflüsse der Insassen aufeinander. Auf die spezielle Stimmung eines einzelnen Insassen, speziell des Fahrers, kommt es zunächst nicht an, vielmehr wird der Entscheidung über die konkrete Ansteuerung des Subsystems die Stimmungssituation im Innenraum insgesamt zugrundegelegt. Dem liegt die Erkenntnis zugrunde, dass der Fahrer an der Stimmungssituation nicht zwingend beteiligt sein muss, dass jedoch anzunehmen ist, dass der Fahrer hiervon wenigstens beeinflusst wird.A particular advantage of the invention is, in particular, that the mood situation in the interior is recognized as a whole, so that the mood is not detected only specific to the occupant and is therefore not responded to only specific to the occupant. In particular, in contrast to the aforementioned DE 10 2017 124 900 A1 in the present case, therefore, not a special monitoring of the driver carried out, but a monitoring of the interior as a whole. Thus, in the present case, such influences on a particular occupant are also advantageously taken into account, which do not go back to themselves, especially influences of the occupants on each other. At first it does not matter to the particular mood of a single occupant, especially of the driver, but rather the decision on the specific activation of the subsystem is based on the overall mood in the interior. This is based on the knowledge that the driver does not necessarily have to be involved in the mood situation, but that it can be assumed that the driver will at least be influenced by it.

Die Stimmungssituation ist in einer geeigneten Ausgestaltung charakterisiert durch einen emotionalen Zustand oder auch Gemütszustand, insbesondere Aufgeregtheit, Erregtheit, Ausgelassenheit, Wut oder dergleichen oder im Gegensatz dazu Gelassenheit, Ruhe oder dergleichen. Die Stimmungssituation kann generell emotional positiv oder negativ sein. Mit steigender Aufgeregtheit innerhalb des Innenraums steigt typischerweise auch das Ablenkungspotential oder auch der Stressfaktor für den Fahrer, wodurch die Betriebssicherheit des Fahrzeugs potentiell nachteilig beeinflusst wird. In einem beispielhaften Anwendungsfall wird im Innenraum von mehreren Insassen eine hitzige Diskussion oder ein Streitgespräch geführt oder es herrscht eine verbale Spannung, was der Fahrer entweder als aktiver Teilnehmer oder als Nichtbeteiligter in jedem Fall wahrnimmt. In einem anderen Anwendungsfall verursachen im Innenraum mitgeführte Geräte, z.B. Unterhaltungselektronik, entsprechende Störgeräusche, welche potentiell einen Teil der Aufmerksamkeit des Fahrers binden. Andersherum kann auch eine zu starke Gelassenheit, d.h. eine besonders geringe Aufgeregtheit, oder sogar Ausgelassenheit oder Heiterkeit zu einem Ablenkungspotential für den Fahrer in Form von mangelnder Aufmerksamkeit führen. Mit anderen Worten: generell kann sowohl eine unter emotionalen Gesichtspunkten positive als auch negative Stimmungssituation zu einer Ablenkung führen und im Ergebnis einen negativen Einfluss auf die Aufmerksamkeit des Fahrers und die Sicherheit im Fahrbetrieb haben. Außerdem kann der Fahrer unabhängig von seiner eigenen Beteiligung an der Stimmungssituation abgelenkt werden.The mood situation is characterized in a suitable embodiment by an emotional state or state of mind, in particular excitement, excitement, exuberance, anger or the like or, in contrast, serenity, rest or the like. The mood can generally be emotionally positive or negative. With increasing excitement within the interior typically also increases the distraction potential or the stress factor for the driver, whereby the operational safety of the vehicle is potentially adversely affected. In an exemplary application, a heated discussion or debate is held in the interior of several occupants or there is a verbal tension, which the driver perceives either as an active participant or as a non-participant in each case. In another application, indoor devices, e.g. Consumer electronics, corresponding noise, which potentially bind a portion of the driver's attention. On the other hand, an excessive serenity, i. a particularly low excitement, or even exuberance or gaiety, lead to a distraction potential for the driver in the form of lack of attention. In other words, in general, both an emotionally positive and negative mood can lead to a distraction and, as a result, have a negative impact on the driver's attention and driving safety. In addition, the driver can be distracted regardless of his own involvement in the mood situation.

In einer bevorzugten Ausgestaltung wird die Stimmungssituation hinsichtlich ihres Einflusses auf einen Fahrer des Fahrzeugs bewertet und das Subsystem wird gesteuert, um den Einfluss der Stimmungssituation auf den Fahrer oder die Stimmungssituation selbst zu verändern. Mit anderen Worten: die Stimmungssituation wird zunächst erkannt und daraufhin wird ein Ablenkungspotential der Stimmungssituation bestimmt, d.h. wie stark der Fahrer durch die Stimmungssituation potentiell oder tatsächlich abgelenkt wird. Eine Ablenkung des Fahrers führt direkt zu einer Beeinträchtigung der Betriebssicherheit des Fahrzeugs. Das gilt auch dann, wenn das Fahrzeug ein autonomes Fahrzeug in einem autonomen Fahrbetrieb ist, da durch eine Ablenkung des Fahrers regelmäßig dessen Reaktionszeit für einen Eingriff erhöht wird. Ein Ziel der Steuerung des Subsystems ist dann, die Ablenkung des Fahrers durch die aktuell herrschende Stimmungssituation zu reduzieren. Dies wird erreicht, indem entweder versucht wird mittels des Subsystems die Stimmungssituation selbst hin zu einer Stimmungssituation mit geringerem Ablenkungspotential zu verändern oder zumindest den Einfluss der Stimmungssituation auf den Fahrer zu reduzieren. Auch eine Kombination hiervon ist möglich und geeignet.In a preferred embodiment, the mood situation is evaluated with regard to its influence on a driver of the vehicle and the subsystem is controlled in order to change the influence of the mood situation on the driver or the mood situation itself. In other words, the mood situation is first recognized and then a distraction potential of the mood situation is determined, ie how much the driver is potentially or actually distracted by the mood situation. A distraction of the driver leads directly to an impairment of the operational safety of the vehicle. This is true even if the vehicle is an autonomous vehicle in an autonomous driving, as by a distraction of the The driver's reaction time is increased regularly for an intervention. A goal of controlling the subsystem is then to reduce the distraction of the driver by the currently prevailing mood situation. This is achieved by either attempting to change the mood situation by means of the subsystem itself to a mood situation with a lower distraction potential or at least to reduce the influence of the mood situation on the driver. A combination of these is possible and suitable.

In einer bevorzugten Ausgestaltung umfassen die akustischen Signale auch oder lediglich solche akustischen Signale, welche nicht von einem Fahrer des Fahrzeugs selbst ausgehen. Dabei wird also vorteilhaft nicht lediglich eine Stimmung speziell des Fahrers ermittelt, um diese dann durch eine geeignete Ansteuerung des Subsystems zu beeinflussen oder auszugleichen, sondern es werden vorteilhaft zusätzlich hierzu oder ausschließlich auch andere akustische Signale und Einflüsse berücksichtigt. Die akustischen Signale, welche nicht vom Fahrer selbst stammen, sind beispielsweise Sprache von weiteren Insassen des Fahrzeugs oder andere durch diesen Insassen erzeugte Geräusche, Geräusche von Teilen des Fahrzeugs oder Geräusch aus der Umgebung des Fahrzeugs, welche von außen in den Innenraum eindringen.In a preferred embodiment, the acoustic signals also or only those acoustic signals that do not emanate from a driver of the vehicle itself. In this case, advantageously, not only a mood is determined specifically by the driver, in order then to influence or compensate for this by a suitable control of the subsystem, but advantageously also other or only other acoustic signals and influences are taken into account. The acoustic signals, which are not from the driver itself, are, for example, speech of other occupants of the vehicle or other noises generated by this occupant, noises of parts of the vehicle or noise from the surroundings of the vehicle, which penetrate from the outside into the interior.

In einer bevorzugten Ausgestaltung umfassen die akustischen Signale Sprache, d.h. Sprache von einem oder mehreren Insassen innerhalb des Innenraums. Dadurch wird vorteilhaft eine akustische Stimmungsüberwachung anhand einer im Innenraum stattfindenden Diskussion, d.h. auch einer Unterhaltung oder eines Gesprächs der Insassen durchgeführt. Vorzugsweise wird die Intensität, insbesondere die emotionale Intensität der Diskussion bestimmt, beispielsweise anhand der Lautstärke, also der Intensität der akustischen Signale. Alternativ oder zusätzlichen werden die akustischen Signale zweckmäßigerweise mittels der Steuereinheit auf ein oder mehrere Gesprächsmerkmale untersucht und zur Bestimmung der Art des im Innernaum geführten Gesprächs verwendet. Daraus wird dann die Stimmungssituation erkannt. Gesprächsmerkmale sind beispielsweise die Anzahl der am Gespräch beteiligten Personen, die Frequenz, mit welcher sich die Personen beim Sprechen abwechseln, die Redezeit einer jeweiligen Person sowie Stimmlage, Lautstärke oder Sprechgeschwindigkeit einer jeweiligen Person. Die am Gespräch beteiligten Personen sind üblicherweise allesamt Insassen, allgemein ist jedoch wenigstens eine Person ein Insasse, während sich weitere Personen grundsätzlich auch außerhalb des Fahrzeugs aufhalten können, wobei dann aber deren Sprache im Innenraum hörbar ist, z.B. weil die Person sich nahe am Fahrzeug aufhält oder deren Sprache über eine Sprecheinrichtung in den Innenraum übertragen wird.In a preferred embodiment, the acoustic signals comprise speech, i. Language of one or more inmates within the interior. This advantageously provides acoustic mood monitoring based on a discussion taking place in the interior, i. also performed a conversation or a conversation of the inmates. Preferably, the intensity, in particular the emotional intensity of the discussion is determined, for example, based on the volume, ie the intensity of the acoustic signals. Alternatively or additionally, the acoustic signals are expediently examined by means of the control unit for one or more call features and used to determine the nature of the conversation conducted in the interior space. From this the mood situation is recognized. Conversational characteristics are, for example, the number of persons involved in the conversation, the frequency with which the persons alternate in speaking, the speaking time of a respective person as well as the pitch, volume or speech rate of a respective person. The persons involved in the conversation are usually all inmates, but in general at least one person is an occupant, while other persons can in principle also be outside the vehicle, but then their speech in the interior is audible, e.g. because the person is close to the vehicle or their language is transmitted via a speech device in the interior.

Der Ausgestaltung, bei welcher die akustischen Signale Sprache umfassen, liegt insbesondere die Erkenntnis zugrunde, dass Sprache in besonderem Maße in vielen Fällen automatisch zur Bindung von Aufmerksamkeit und damit zu einer Ablenkung führt, auch bereits dann, wenn keine aktive Beteiligung an einer Diskussion erfolgt, sondern nur zugehört wird. Eine Erkennung von Sprache ist daher besonders gut geeignet, um die Stimmungssituation möglichst genau zu erkennen und speziell insbesondere hinsichtlich ihres Ablenkungspotentials zu bewerten. In einer besonders einfachen Ausgestaltung ist es bereits ausreichend, dass bei der Auswertung der akustischen Signale lediglich erkannt wird, ob Sprache überhaupt vorhanden ist oder nicht. Besonders bevorzugt ist aber eine Ausgestaltung, bei welcher die akustischen Signale auch qualitativ ausgewertet werden. Mit anderen Worten: die akustischen Signale werden ausgewertet, indem die Sprache, die darin enthalten ist, klassifiziert wird, um daraus dann eine bestimmte Stimmungssituation abzuleiten, z.B. die oben bereits genannten Gemütszustände Aufgeregtheit, Erregtheit, Ausgelassenheit, Wut, Gelassenheit, Ruhe und dergleichen. Dies wird insbesondere dadurch erreicht, dass wie oben beschrieben Gesprächsmerkmale der akustischen Signale bestimmt werden und zur Erkennung der Stimmungssituation verwendet werden.The embodiment in which the acoustic signals comprise speech is based in particular on the recognition that speech in particular automatically leads in many cases to the binding of attention and thus to a distraction, even when there is no active participation in a discussion. but just listen. A recognition of speech is therefore particularly well suited to recognize the mood situation as accurately as possible and to evaluate especially in particular with regard to their distraction potential. In a particularly simple embodiment, it is already sufficient that, in the evaluation of the acoustic signals, it is merely recognized whether speech is present at all or not. However, an embodiment in which the acoustic signals are also qualitatively evaluated is particularly preferred. In other words, the acoustic signals are evaluated by classifying the speech contained therein to derive therefrom a certain mood situation, e.g. the states of mind already mentioned, excitement, agitation, exuberance, anger, serenity, calm, and the like. This is achieved, in particular, by the fact that, as described above, call features of the acoustic signals are determined and used to identify the mood situation.

In einer bevorzugten Ausgestaltung werden die akustischen Signale mit wenigstens und insbesondere genau vier Mikrofonen aufgenommen, welche um den Innenraum herum verteilt angeordnet sind und in den Innenraum hinein gerichtet sind. Allgemein sind also bevorzugt mehrere Mikrofone im Innenraum verteilt angeordnet. Die verteilte Anordnung mehrerer Mikrofone wird auch als Akustik-Sensorik bezeichnet. Durch diese spezielle Anordnung wird eine besonders vorteilhafte Abdeckung des Innenraums dahingehend gewährleistet, dass die Stimmungssituation besonders allumfassend und zuverlässig erkannt wird. Insbesondere wird durch eine verteilte Anordnung mehrerer Mikrofone vorteilhafterweise eine mögliche Abschattung von akustischen Signalen durch Insassen und Gegenstände, z.B. Sitzlehnen, im Innenraum berücksichtigt und entsprechend sichergestellt, dass möglichst viele akustische Signale auch tatsächlich aufgenommen und berücksichtigt werden. Durch die Verteilung mehrere Mikrofone im Innenraum wird dieser effizient abgedeckt und ein Großteil oder alle der im Innenraum vorhandenen akustischen Signale wird bzw. werden aufgenommen. In einer geeigneten Ausgestaltung ist ein erstes Mikrofon vorn im Innenraum angeordnet, ein zweites Mikrofon ist gegenüberliegend hiervon hinten im Innenraum angeordnet, ein drittes Mikrofon ist links im Innenraum angeordnet und ein viertes Mikrofon ist gegenüberliegend hiervon rechts im Innenraum angeordnet. Alternativ ist der Innenraum generell viereckig ausgebildet und weist vier Ecken auf und in jeder der Ecken ist ein Mikrofon angeordnet. Auf eine gerichtete Aufnahme von akustischen Signalen wird vorzugsweise verzichtet, vielmehr werden durch die Mikrofone vorzugsweise möglichst alle potentiellen Schallquellen im Innenraum abgedeckt.In a preferred embodiment, the acoustic signals are recorded with at least and in particular exactly four microphones, which are arranged distributed around the interior and are directed into the interior. In general, therefore, several microphones are preferably arranged distributed in the interior. The distributed arrangement of several microphones is also referred to as acoustic sensors. By means of this special arrangement, a particularly advantageous covering of the interior is ensured in such a way that the mood situation is recognized particularly comprehensively and reliably. In particular, by means of a distributed arrangement of a plurality of microphones, possible shading of acoustic signals by occupants and objects, for example seat backs, in the interior is advantageously taken into account and correspondingly ensured that as many acoustic signals as possible are actually recorded and taken into account. By distributing several microphones in the interior, this is covered efficiently and a large part or all of the acoustic signals present in the interior is / are recorded. In a suitable embodiment, a first microphone is arranged in the front in the interior, a second microphone is arranged opposite it from behind in the interior, a third microphone is located on the left in the interior and a fourth microphone is arranged opposite thereof right in the interior. Alternatively, the interior is generally square and has four corners and in each of the corners a microphone is arranged. On a directed recording of acoustic signals is preferably omitted, but are preferably covered by the microphones as possible all potential sound sources in the interior.

In einer bevorzugten Ausgestaltung werden die akustischen Signale ausgewertet, indem wenigstens ein Signalparameter der akustischen Signale gemessen wird und mit einem vorgegebenen Wert hierfür verglichen wird. Der Signalparameter ist dabei eine Intensität oder eine Frequenz oder ein Frequenzspektrum, insbesondere der Gesamtheit der akustischen Signale. Allgemein wird vorzugsweise wenigstens ein Signalparameter einer Summe der akustischen Signale bestimmt und zur Klassifizierung und somit zur Erkennung der Stimmungssituation verwendet. Die genannten Signalparameter sind besonders geeignet, um daraus die aktuell vorliegende Stimmungssituation zu bestimmen, speziell in einer Ausgestaltung, bei welcher die akustischen Signale Sprache umfassen. Der Vergleich mit einem vorgegebenen Wert dient insbesondere der Klassifizierung der Stimmungssituation. Beispielsweise wird der vorgegebene Wert als Schwellwert oder Grenzwert verwendet. In einer geeigneten Ausgestaltung wird eine hohe Aufregung als Stimmungssituation erkannt, wenn die Intensität einen vorgegebenen Wert überschreitet und andersherum wird eine geringe Aufregung erkannt, wenn die Intensität höchstens dem Wert entspricht. Alternativ oder zusätzlich wird eine hohe Aufregung erkannt, wenn eine gemessene Frequenz einem vorgegebenen Wert entspricht, also vorhanden ist, und andersherum wird eine geringe Aufregung erkannt, wenn keine Frequenz gemessen wird, die dem Wert entspricht, also die Frequenz nicht vorhanden ist. Alternativ oder zusätzlich werden bestimmte Frequenzgänge oder bestimmte Intensitäten in Teilen des Frequenzspektrums mit hoher oder niedriger Aufregung assoziiert und eine entsprechende Stimmungssituation erkannt. Das Frequenzspektrum wird beispielsweise verwendet, um eine Klangfärbung der akustischen Signale zu bestimmen und anhand dessen die Stimmungssituation zu erkennen.In a preferred embodiment, the acoustic signals are evaluated by at least one signal parameter of the acoustic signals is measured and compared with a predetermined value for this purpose. The signal parameter is an intensity or a frequency or a frequency spectrum, in particular the entirety of the acoustic signals. Generally, at least one signal parameter of a sum of the acoustic signals is preferably determined and used for classification and thus for detecting the mood situation. The signal parameters mentioned are particularly suitable for determining therefrom the currently present mood situation, especially in an embodiment in which the acoustic signals comprise speech. The comparison with a given value serves in particular to classify the mood situation. For example, the predetermined value is used as a threshold or limit. In a suitable embodiment, a high level of excitement is recognized as a mood situation when the intensity exceeds a predetermined value and vice versa, a slight excitement is detected when the intensity is at most equal to the value. Alternatively or additionally, a high excitation is detected when a measured frequency corresponds to a predetermined value, ie is present, and vice versa, a slight excitement is detected when no frequency is measured, which corresponds to the value, so the frequency is not present. Alternatively or additionally, certain frequency responses or certain intensities in parts of the frequency spectrum are associated with high or low excitation and a corresponding mood situation is detected. The frequency spectrum is used, for example, to determine a tone coloration of the acoustic signals and to detect the mood situation on the basis of this.

In einer bevorzugten Ausgestaltung wird die Stimmungssituation erkannt, indem zusätzlich zu den akustischen Signalen mittels wenigstens eines Zusatzsensorsensors ein oder mehrere Zusatzsignale aufgenommen werden und mittels der Steuereinheit ausgewertet werden. Dabei ist der Zusatzsensor eine Kamera oder ein Radarsensor. Alternativ oder zusätzlich sind auch andere Zusatzsensoren geeignet. Die obigen Ausführungen zu Anzahl und Anordnung von mehreren Mikrofonen gelten für eine Ausgestaltung mit mehreren Zusatzsensoren entsprechend. Auch die obigen Ausführungen hinsichtlich des Signalparameters und des Vergleichs mit einem vorgegebenen Wert im Zusammenhang mit den akustischen Signalen gelten analog für einen oder mehrere Signalparameter des Zusatzsignals. Durch die Verwendung eines oder mehrerer Zusatzsensoren ist eine verbesserte Erkennung, insbesondere Klassifizierung der Stimmungssituation realisiert, da zusätzlich zu den akustischen Signalen nun auch noch andere Informationen über den Innenraum gewonnen werden. So wird mittels einer Kamera oder eines Radarsensors beispielsweise eine Bewegung oder eine Position eines Insassen gemessen und zur Erkennung der Stimmungssituation herangezogen. Beispielsweise wird bei einer schnellen Bewegung auf eine hohe Aufgeregtheit geschlossen. Mittels einer Kamera wird beispielsweise ein Gesichtsausdruck eines Insassen erkannt und daraus dessen Gemütszustand abgeleitet und zur Erkennung der Stimmungssituation herangezogen. Alternativ oder zusätzlich wird mittels einer Kamera beispielsweise eine Blickrichtung eines Insassen erkannt und zur Erkennung der Stimmungssituation herangezogen.In a preferred embodiment, the mood situation is detected by one or more additional signals are recorded in addition to the acoustic signals by means of at least one additional sensor sensor and evaluated by the control unit. The additional sensor is a camera or a radar sensor. Alternatively or additionally, other additional sensors are suitable. The above statements on the number and arrangement of a plurality of microphones apply correspondingly to an embodiment with a plurality of additional sensors. The above statements regarding the signal parameter and the comparison with a predetermined value in connection with the acoustic signals also apply analogously to one or more signal parameters of the additional signal. By using one or more additional sensors improved recognition, in particular classification of the mood situation is realized because in addition to the acoustic signals now also other information about the interior are obtained. Thus, for example, a movement or a position of an occupant is measured by means of a camera or a radar sensor and used to detect the mood situation. For example, in a fast movement is concluded on a high excitement. By means of a camera, for example, a facial expression of an occupant is detected and derived from his state of mind and used to detect the mood situation. Alternatively or additionally, by means of a camera, for example, a line of sight of an occupant is detected and used to detect the mood situation.

Wie zuvor bereits angedeutet dient die Ansteuerung des Subsystems in Abhängigkeit der erkannten Stimmungssituation insbesondere dazu, auf einen potentiellen Einfluss dieser Stimmungsreaktion auf die Betriebssicherheit des Fahrzeugs zu reagieren und im Ergebnis die Betriebssicherheit möglichst zu verbessern. Dies wird vorzugsweise durch eine Veränderung der Stimmungssituation oder durch einen Eingriff in den Fahrbetrieb oder eine Kombination hiervon erreicht.As already indicated above, the activation of the subsystem in response to the detected mood situation serves, in particular, to react to a potential influence of this mood reaction on the operational safety of the vehicle and, as a result, to improve the reliability as far as possible. This is preferably achieved by a change in the mood situation or by an intervention in the driving operation or a combination thereof.

In einer bevorzugten Ausgestaltung ist das Subsystem ein Multimediasystem des Fahrzeugs. Hierbei wird das Subsystem abhängig von der Stimmungssituation derart gesteuert, dass Musik oder Sprache ausgegeben werden oder eine Beleuchtung eingestellt wird, um wenigstens einen der Insassen, insbesondere einen Fahrer des Fahrzeugs, zu beeinflussen. Vorzugsweise wird der Fahrer beruhigt oder allgemein dessen Gemütszustand beeinflusst oder die Konzentration des Fahrers erhöht oder auf das Fahrgeschehen gelenkt. Allgemein wird das Multimediasystem vorzugsweise derart gesteuert, dass die Stimmungssituation beruhigt wird, d.h. dass eine Aufregung verringert wird. Dies geschieht insbesondere mit dem Ziel, das Ablenkungspotential der Stimmungssituation zu reduzieren.In a preferred embodiment, the subsystem is a multimedia system of the vehicle. Here, depending on the mood situation, the subsystem is controlled such that music or speech is output or lighting is set to influence at least one of the occupants, in particular a driver of the vehicle. Preferably, the driver is calmed or generally affected his state of mind or increased the concentration of the driver or directed to the driving. Generally, the multimedia system is preferably controlled so that the mood situation is calmed, i. that excitement is reduced. This is done in particular with the aim of reducing the distraction potential of the mood situation.

In einer geeigneten Ausgestaltung wird zur Veränderung und insbesondere zur Beruhigung der Stimmungssituation mittels des Subsystems eine beruhigende Musik abgespielt. Hierzu weist das Subsystem geeignete Lautsprecher auf. Alternativ oder zusätzlich wird mittels des Subsystems eine Sprachnachricht ausgegeben, welche allgemein die Insassen und speziell den Fahrer auf die Stimmungssituation oder deren Ablenkungspotential hinweist oder welche alternativ oder zusätzlich beruhigend wirkt. Vorzugsweise wird vom Subsystem eine möglichst empathische Sprache verwendet. Zur Ausgabe von Sprache oder einer Sprachnachricht weist das Subsystem ein Sprachausgabemodul auf. Alternativ oder zusätzlich wird mittels des Subsystems eine angenehme oder gemütliche Beleuchtung des Innenraums eingestellt, beispielsweise indem die Helligkeit reduziert wird. Hierzu weist das Subsystem geeignete Beleuchtungsmittel für den Innenraum auf.In a suitable embodiment, a soothing music is played to change and in particular to calm the mood situation by means of the subsystem. For this purpose, the subsystem has suitable speakers. Alternatively or additionally, a voice message is output by means of the subsystem, which generally indicates the occupants and especially the driver on the mood situation or their diversion potential or which acts alternatively or additionally reassuring. Preferably, the subsystem uses as empathetic a language as possible. To the issue of speech or a voice message, the subsystem comprises a voice output module. Alternatively or additionally, a pleasant or cozy illumination of the interior is adjusted by means of the subsystem, for example by reducing the brightness. For this purpose, the subsystem has suitable lighting means for the interior.

In einer bevorzugten Ausgestaltung ist das Subsystem ein Sitz für einen Insassen des Fahrzeugs, also ein Fahrzeugsitz, und wird abhängig von der Stimmungssituation derart gesteuert, dass eine Sitzposition verändert wird oder eine Massagefunktion aktiviert wird, um den Insassen zu beeinflussen, insbesondere zu beruhigen. Beispielsweise wird eine Komfortposition eingestellt, um das Wohlbefinden des Insassen zu erhöhen und dadurch zu einer Beruhigung beizutragen. Alternativ ist auch eine Ausgestaltung denkbar und geeignet, bei welcher der Sitz in eine Fahrtposition verbracht wird, in welcher die Aufmerksamkeit des Insassen auf das aktuelle Verkehrsgeschehen gerichtet wird. Beispielsweise ist bei einem autonomen Fahrzeug der Sitz ein Frontsitz im Fahrzeug und derart drehbar, dass der Insasse nach hinten blicken und sich mit Insassen im rückwärtigen Teil unterhalten kann. Aus einer solchen Unterhaltungsposition heraus wird dann der Sitz zweckmäßigerweise in einer Fahrtposition gedreht, in welcher der Blick des Insassen wieder nach vorn gerichtet ist.In a preferred embodiment, the subsystem is a seat for an occupant of the vehicle, so a vehicle seat, and is controlled depending on the mood situation such that a seating position is changed or a massage function is activated to influence the occupant, in particular to calm. For example, a comfort position is set to increase the well-being of the occupant and thereby contribute to reassurance. Alternatively, a configuration is conceivable and suitable in which the seat is moved to a driving position in which the attention of the occupant is directed to the current traffic situation. For example, in an autonomous vehicle, the seat is a front seat in the vehicle and rotatable so that the occupant can look back and talk to occupants in the rear part. From such an entertainment position out the seat is then suitably rotated in a driving position in which the view of the occupant is directed forward again.

In einer bevorzugten Ausgestaltung ist das Subsystem eine automatische Fahrzeugsteuerung für das Fahrzeug, d.h. das Fahrzeug wird in einem automatischen oder autonomen Fahrbetrieb mittels der Fahrzeugsteuerung gesteuert oder eine Steuerung durch den Fahrer wird durch die Fahrzeugsteuerung unterstützt. Die Fahrzeugsteuerung ist z.B. eine Geschwindigkeitsregelung, eine Abstandsregelung, eine Bremsautomatik, eine Lenkautomatik, ein Spurhaltesystem oder dergleichen. Das Subsystem wird abhängig von der Stimmungssituation derart gesteuert, dass ein Fahrparameter der Fahrzeugsteuerung verändert wird, um ein Fahrverhalten des Fahrzeugs anzupassen, d.h. insbesondere zu verändern oder hinsichtlich der Stimmungssituation geeignet einzustellen. Durch diese Ausgestaltung wird die Sicherheit beim Betrieb des Fahrzeugs verbessert. Der Fahrzeugparameter ist vorzugsweise eine Geschwindigkeit des Fahrzeugs, eine Beschleunigung des Fahrzeugs, ein Abstand des Fahrzeugs zu einem vorausfahrenden Fahrzeug oder zu einer Fahrbahnmarkierung, ein Lenkeinschlag des Fahrzeugs oder dergleichen. Der Fahrparameter wird mittels eines entsprechenden Fahrparametersensors gemessen und insbesondere an die Steuereinheit weitergegeben. Allgemein wird die Fahrzeugsteuerung also derart gesteuert, dass in Reaktion auf die Stimmungssituation im Innenraum automatisch in das Fahrgeschehen eingegriffen wird. Dies erfolgt insbesondere mit dem Ziel, einer veränderten Aufmerksamkeit des Fahrers Rechnung zu tragen. Beispielsweise wird der Abstand zu einem vorausfahrenden Fahrzeug vergrößert, um einen größeren Bremsweg bereitzustellen, wenn der Fahre durch eine Diskussion mit anderen Insassen abgelenkt ist und eine erhöhte Reaktionszeit zu erwarten ist.In a preferred embodiment, the subsystem is an automatic vehicle control for the vehicle, i. the vehicle is controlled in an automatic or autonomous driving operation by means of the vehicle control, or control by the driver is assisted by the vehicle control. The vehicle control is e.g. a cruise control, a distance control, an automatic brake, a steering automatic, a lane keeping system or the like. The subsystem is controlled depending on the mood situation such that a driving parameter of the vehicle control is changed to suit a drivability of the vehicle, i. in particular to change or suitably adjust to the mood. This refinement improves the safety during operation of the vehicle. The vehicle parameter is preferably a speed of the vehicle, an acceleration of the vehicle, a distance of the vehicle to a preceding vehicle or to a lane marking, a steering angle of the vehicle or the like. The driving parameter is measured by means of a corresponding driving parameter sensor and in particular forwarded to the control unit. In general, the vehicle control is thus controlled such that, in response to the mood situation in the interior, the driving situation is automatically intervened. This is done in particular with the aim of taking into account a changed attention of the driver. For example, the distance to a preceding vehicle is increased to provide a greater braking distance when the driver is distracted by a discussion with other occupants and an increased response time is expected.

Die oben beschriebene Beeinflussung des Wohlbefindens des Fahrers sowie der automatische Eingriff in das Fahrgeschehen können grundsätzlich unabhängig voneinander angewendet werden und sind aber auch miteinander vorteilhaft kombinierbar.The above-described influencing the well-being of the driver as well as the automatic intervention in the driving process can basically be applied independently of each other and can also be advantageously combined with one another.

Ein erfindungsgemäßes Fahrzeug ist ausgebildet zur Durchführung eines Verfahrens wie vorstehend beschrieben. Zweckmäßigerweise ist die Steuereinheit des Fahrzeugs zur Durchführung des Verfahrens entsprechend ausgebildet.A vehicle according to the invention is designed to carry out a method as described above. Conveniently, the control unit of the vehicle for implementing the method is designed accordingly.

Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert. Darin zeigen jeweils schematisch:

1 ein Fahrzeug,
2 ein Flussdiagram eines Verfahrens zum Betrieb des Fahrzeugs.

An embodiment of the invention will be explained in more detail with reference to a drawing. In each case schematically show:

1 a vehicle,
2 a flowchart of a method for operating the vehicle.

In 1 ist ein Fahrzeug 2 dargestellt, welches einen Innenraum 4 aufweist, in welchem sich lediglich beispielhaft zwei Insassen F, I aufhalten, von welchen einer zugleich ein Fahrer F des Fahrzeugs 2 ist. Vorliegend hat der Fahrer F die Möglichkeit, in den Betrieb des Fahrzeugs 2 einzugreifen und speziell insbesondere dessen Fahrt zu steuern. Das Fahrzeug 2 weist eine Steuereinheit 6 auf, welch im gezeigten Ausführungsbeispiel auch eine Fahrzeugsteuerung 8 umfasst, welche alternativ separat ausgebildet ist.In 1 is a vehicle 2 represented, which has an interior 4 comprising, in which only two occupants by way of example F . I stop one of which at the same time a driver F of the vehicle 2 is. In the present case, the driver has F the possibility of operating the vehicle 2 to intervene and especially to control its travel. The vehicle 2 has a control unit 6 on, which in the embodiment shown, a vehicle control 8th includes, which is alternatively formed separately.

Im Innenraum 4 herrscht eine Stimmungssituation S, welche vorliegend durch ein Gespräch zwischen den beiden Insassen F, I bestimmt ist, alternativ oder zusätzlich auch durch andere Geräusche des Fahrzeugs 2 oder der Umgebung bestimmt sein kann. Die Stimmungssituation S bezeichnet demnach gerade nicht die Stimmung eines einzelnen, speziellen Insassen F, I, sondern eine sich insgesamt für den Innenraum 4 ergebende Stimmung, welche in einer möglichen und geeigneten Ausgestaltung aus einzelnen Stimmungen mehrerer Insassen F, I zusammengesetzt ist.In the interior 4 There is a mood situation S which present through a conversation between the two inmates F . I is determined, alternatively or additionally by other sounds of the vehicle 2 or the environment may be determined. The mood situation S therefore does not signify the mood of a single, special inmate F . I but a total for the interior 4 resulting mood, which in a possible and suitable embodiment of individual moods of several occupants F . I is composed.

Bei einem Verfahren zum Betrieb des Fahrzeugs 2 wird nun die Stimmungssituation S innerhalb des Innenraums 4 erkannt, nämlich indem eine Anzahl von akustischen Signalen A in dem Innenraum 4 mittels wenigstens eines Mikrofons 10 aufgenommen wird und mittels der Steuereinheit 6 ausgewertet wird. Im gezeigten Ausführungsbeispiel werden zwei akustische Signale A erzeugt, nämlich jeweils Sprache von jedem der beiden Insassen F, I. Dabei ist unmittelbar klar, dass sich die akustischen Signale A in ihrer Art auch unterscheiden können, dass auch eine andere Anzahl an akustischen Signalen A vorliegen kann und dass sich die Art und die Anzahl der akustischen Signale A auch zeitlich verändern können.In a method of operating the vehicle 2 will now be the mood S inside the interior 4 detected, namely by a number of acoustic signals A in the interior 4 by means of at least one microphone 10 is received and by means of the control unit 6 is evaluated. In the embodiment shown, two acoustic signals A generated, respectively Language of each of the two inmates F . I , It is immediately clear that the acoustic signals A in their own way can also distinguish that a different number of acoustic signals A can exist and that the type and number of acoustic signals A can also change over time.

Die Stimmungssituation S wird dadurch erkannt, dass die akustischen Signale A zusammen eine Geräuschkulisse bilden, welche vorliegend klassifiziert wird und damit einer bestimmten Stimmungssituation S zugeordnet wird. Diese bestimmte Stimmungssituation S liegt dann vor und wird entsprechend erkannt.The mood situation S is recognized by the fact that the acoustic signals A together form a background noise, which is classified here and thus a certain mood situation S is assigned. This particular mood situation S is then available and will be recognized accordingly.

Das Fahrzeug 2 weist nun wenigstens ein Subsystem 8, 12, 14 auf, welches mittels der Steuereinheit 6 abhängig von der Stimmungssituation S gesteuert wird. Dabei wird das Subsystem 8, 12, 14 gezielt derart angesteuert, um auf die Stimmungssituation S zu reagieren und deren Einfluss auf wenigstens einen Insassen F, I und speziell auf den Fahrer F zu verändern und z.B. diesem Einfluss der Stimmungssituation S entgegenzuwirken. Es wird also innerhalb des Innenraums 4 des Fahrzeugs 2 eine akustische Überwachung durchgeführt und in Reaktion hierauf ein Subsystem 8, 12, 14 des Fahrzeugs 2 automatisch angesteuert. Das Fahrzeug 2 reagiert also automatisch auf die Stimmungssituation S. Diese Reaktion hat zum Ziel, die Betriebssicherheit des Fahrzeugs 2 zu verbessern, z.B. indem das Wohlbefinden, die Entspannung, die Aufmerksamkeit oder die Konzentration des Fahrers F verbessert wird. Alternativ oder zusätzlich wird die Betriebssicherheit verbessert, indem durch eine Ansteuerung der Fahrzeugsteuerung 8 die Fahrweise oder das Fahrverhalten des Fahrzeugs 2 verändert werden.The vehicle 2 now has at least one subsystem 8th . 12 . 14 on, which by means of the control unit 6 depending on the mood situation S is controlled. This will be the subsystem 8th . 12 . 14 targeted so targeted to the mood situation S to react and their influence on at least one occupant F . I and especially on the driver F to change and eg this influence of the mood situation S counteract. So it will be inside the interior 4 of the vehicle 2 an acoustic monitoring is performed and in response a subsystem 8th . 12 . 14 of the vehicle 2 automatically controlled. The vehicle 2 So it reacts automatically to the mood situation S , This reaction aims at the operational safety of the vehicle 2 to improve, for example, the well-being, relaxation, attention or concentration of the driver F is improved. Alternatively or additionally, the reliability is improved by a control of the vehicle control 8th the driving style or the driving behavior of the vehicle 2 to be changed.

Eine Ausführungsform des zuvor beschriebenen Verfahrens zum Betrieb des Fahrzeugs 2 ist in 2 verdeutlicht. In einem ersten Schritt V1 wird die Stimmungssituation S innerhalb des Innenraums 4 erkannt, indem zunächst in einem Unterschritt U1 die akustischen Signalen A aufgenommen werden und anschließend im einem Unterschritt U2 ausgewertet werden. Daraufhin wird dann in einem zweiten Schritt V2 abhängig von der Stimmungssituation S ein Subsystem 8, 12, 14 angesteuert.An embodiment of the method for operating the vehicle described above 2 is in 2 clarified. In a first step V1 will the mood situation S inside the interior 4 recognized by first in a substep U1 the acoustic signals A be recorded and then in a sub-step U2 be evaluated. Then it will be in a second step V2 depending on the mood situation S a subsystem 8th . 12 . 14 driven.

Die Stimmungssituation S ist vorliegend charakterisiert durch einen emotionalen Zustand oder auch Gemütszustand, z.B. Aufgeregtheit, Erregtheit, Ausgelassenheit, Wut oder dergleichen oder im Gegensatz dazu Gelassenheit, Ruhe oder dergleichen. Die Stimmungssituation S kann generell emotional positiv oder negativ sein und kann auch in beiden Fällen einen negativen Einfluss auf die Betriebssicherheit des Fahrzeugs 2 haben. Mit steigender Aufgeregtheit innerhalb des Innenraums steigt typischerweise auch das Ablenkungspotential oder auch der Stressfaktor für den Fahrer F, wodurch die Betriebssicherheit des Fahrzeugs 2 potentiell nachteilig beeinflusst wird. Beispielsweise wird in der Situation der 1 im Innenraum 4 von den Insassen F, I eine hitzige Diskussion oder ein Streitgespräch geführt oder es herrscht eine verbale Spannung. Alternativ oder zusätzlich verursachen im Innenraum 4 mitgeführte und nicht näher gezeigte Geräte entsprechende, ebenfalls nicht dargestellte Störgeräusche, welche potentiell einen Teil der Aufmerksamkeit des Fahrers F binden. Andersherum kann auch eine zu starke Gelassenheit, d.h. eine besonders geringe Aufgeregtheit, zu einem Ablenkungspotential für den Fahrer F in Form von mangelnder Aufmerksamkeit führen.The mood situation S is presently characterized by an emotional state or state of mind, eg, excitement, excitement, exuberance, anger, or the like, or, in contrast, composure, rest, or the like. The mood situation S can generally be emotionally positive or negative and in both cases can have a negative impact on the operational safety of the vehicle 2 to have. With increasing excitement within the interior typically also increases the distraction potential or the stress factor for the driver F , thereby improving the operational safety of the vehicle 2 potentially adversely affected. For example, in the situation of 1 in the interior 4 from the inmates F . I a heated discussion or argument, or a verbal tension. Alternatively or additionally cause in the interior 4 entrained and unspecified devices corresponding noise, also not shown, which potentially forms part of the driver's attention F tie. On the other hand too much serenity, ie a particularly low level of excitement, can lead to a distraction potential for the driver F in the form of lack of attention.

Vorliegend wird mittels der Steuereinheit 6 die Stimmungssituation S hinsichtlich ihres Einflusses auf den Fahrer F bewertet und das Subsystem 8, 12, 14 wird gesteuert, um den Einfluss der Stimmungssituation S auf den Fahrer F zu verändern oder um die Stimmungssituation S selbst zu verändern. Hierzu wird ein Ablenkungspotential der Stimmungssituation S bestimmt, d.h. wie stark der Fahrer F durch die Stimmungssituation S potentiell oder tatsächlich abgelenkt wird. Ein Ziel der Steuerung des Subsystems 8, 12, 14 ist dann, die Ablenkung des Fahrers F durch die aktuell herrschende Stimmungssituation S zu reduzieren. Dies wird erreicht, indem entweder versucht wird mittels des Subsystems 8, 12, 14 die Stimmungssituation S selbst hin zu einer Stimmungssituation S mit geringerem Ablenkungspotential zu verändern oder zumindest den Einfluss der Stimmungssituation S auf den Fahrer F zu reduzieren. Auch eine Kombination hiervon ist möglich.In the present case is by means of the control unit 6 the mood S in terms of their influence on the driver F rated and the subsystem 8th . 12 . 14 is controlled to influence the mood S on the driver F to change or to change the mood S to change yourself. This is a distraction potential of the mood situation S determined, ie how strong the driver F by the mood situation S potentially or actually distracted. A goal of controlling the subsystem 8th . 12 . 14 then, the distraction of the driver F by the current prevailing mood S to reduce. This is achieved by either trying by means of the subsystem 8th . 12 . 14 the mood S even towards a mood situation S to change with less distraction potential or at least the influence of the mood situation S on the driver F to reduce. A combination of these is possible.

Wie aus 1 deutlich wird, umfassen die akustischen Signale A auch solche akustischen Signale A, welche nicht von einem Fahrer F selbst ausgehen, sodass nicht lediglich eine Stimmung speziell des Fahrers F ermittelt wird, sondern es werden auch andere akustische Signale A berücksichtigt. Wie bereits ausgeführt, umfassen die akustischen Signale A vorliegend Sprache. Sprache bindet in vielen Fällen die Aufmerksamkeit der Insassen F, I und führt damit zu einer Ablenkung, auch bereits dann, wenn keine aktive Beteiligung an einer Diskussion erfolgt, sondern nur zugehört wird. Daher wird eine akustische Stimmungsüberwachung anhand einer im Innenraum 4 stattfindenden Diskussion, d.h. auch einer Unterhaltung oder eines Gesprächs der Insassen F, I durchgeführt. Dabei wird beispielsweise die emotionale Intensität der Diskussion bestimmt, z.B. anhand der Lautstärke oder die akustischen Signale A werden auf ein oder mehrere Gesprächsmerkmale untersucht. Daraus wird dann die Stimmungssituation S erkannt. Die akustischen Signale A werden dann ausgewertet, indem die Sprache, die darin enthalten ist, klassifiziert wird, um daraus dann eine bestimmte Stimmungssituation S abzuleiten.How out 1 becomes clear, include the acoustic signals A also such acoustic signals A which is not from a driver F even go out, so not just a mood especially of the driver F is determined, but there are also other acoustic signals A considered. As already stated, the acoustic signals include A present language. Language in many cases attracts the attention of inmates F . I and thus leads to a distraction, even if there is no active participation in a discussion, but only listening. Therefore, an acoustic mood monitoring is based on one in the interior 4 held discussion, ie also a conversation or a conversation of the inmates F . I carried out. In this case, for example, the emotional intensity of the discussion is determined, for example, based on the volume or the acoustic signals A are examined for one or more call features. This then becomes the mood situation S recognized. The acoustic signals A are then evaluated by classifying the language contained therein to then derive a certain mood situation S derive.

In dem Ausführungsbeispiel der 1 werden die akustischen Signale A mit genau vier Mikrofonen 10 aufgenommen, welche um den Innenraum 4 herum verteilt angeordnet sind und in den Innenraum 4 hinein gerichtet sind. In einer Variante ist eine andere Anzahl von Mikrofonen 10 oder eine andere Anordnung im Innenraum 4 gewählt. Vorliegend wird der Innenraum 4 nahezu vollständig von den Mikrofonen 10 abgedeckt, sodass die Stimmungssituation S besonders allumfassend und zuverlässig erkannt wird. Durch die Mikrofone 10 werden möglichst alle potentiellen Schallquellen im Innenraum 4 abgedeckt. In 1 ist ein erstes Mikrofon 10 vorn im Innenraum 4 angeordnet, ein zweites Mikrofon 10 ist gegenüberliegend hiervon hinten im Innenraum 4 angeordnet, ein drittes Mikrofon 10 ist links im Innenraum 4 angeordnet und ein viertes Mikrofon 10 ist gegenüberliegend hiervon rechts im Innenraum 4 angeordnet. Der gezeigte Innenraum 4 ist zudem generell viereckig ausgebildet und weist vier Ecken, sodass in einer nicht gezeigten Variante in jeder der Ecken ein Mikrofon 10 angeordnet ist. In the embodiment of 1 become the acoustic signals A with exactly four microphones 10 taken, which is around the interior 4 are distributed around and into the interior 4 directed into it. In one variant is a different number of microphones 10 or another arrangement in the interior 4 selected. In the present case is the interior 4 almost completely from the microphones 10 covered, so the mood S especially comprehensively and reliably recognized. Through the microphones 10 Be as possible all potential sound sources in the interior 4 covered. In 1 is a first microphone 10 in the front in the interior 4 arranged a second microphone 10 is opposite of this in the back of the interior 4 arranged a third microphone 10 is left in the interior 4 arranged and a fourth microphone 10 is opposite of this right in the interior 4 arranged. The interior shown 4 is also generally square and has four corners, so that in a variant not shown in each of the corners a microphone 10 is arranged.

Die akustischen Signale A werden vorliegend ausgewertet, indem ein Signalparameter der akustischen Signale A gemessen wird und mit einem vorgegebenen Wert hierfür verglichen wird. Der Signalparameter ist dabei eine Intensität oder eine Frequenz oder ein Frequenzspektrum der akustischen Signale A.The acoustic signals A are evaluated here by a signal parameter of the acoustic signals A is measured and compared with a predetermined value for this. The signal parameter is an intensity or a frequency or a frequency spectrum of the acoustic signals A ,

Im gezeigten Ausführungsbeispiel sind zur Erkennung der Stimmungssituation S zusätzlich mehrere Zusatzsensorsensoren 16 im Fahrzeug 2 angeordnet. Die Zusatzsensorsensoren 16 nehmen Zusatzsignale auf, welche wie die akustischen Signale A mittels der Steuereinheit 6 ausgewertet werden. Ein jeweiliger Zusatzsensor 16 ist z.B. eine Kamera oder ein Radarsensor. Zusätzlich zu den akustischen Signalen A werden demnach auch andere Informationen über den Innenraum 4 gewonnen und zur Erkennung der Stimmungssituation S herangezogen. Beispielsweise wird mittels einer Kamera oder eines Radarsensors eine Bewegung oder eine Position eines Insassen F, I gemessen oder bei einer schnellen Bewegung eines der Insassen F, I wird auf eine hohe Aufgeregtheit geschlossen. Mittels einer Kamera wird beispielsweise ein Gesichtsausdruck eines Insassen F, I erkannt und daraus dessen Gemütszustand abgeleitet. Alternativ oder zusätzlich wird mittels einer Kamera beispielsweise eine Blickrichtung eines Insassen F, I erkannt.In the embodiment shown are for detecting the mood situation S additionally several additional sensor sensors 16 in the vehicle 2 arranged. The additional sensor sensors 16 receive additional signals, which are like the acoustic signals A by means of the control unit 6 be evaluated. A respective additional sensor 16 is eg a camera or a radar sensor. In addition to the acoustic signals A Accordingly, other information about the interior 4 won and to recognize the mood situation S used. For example, by means of a camera or a radar sensor, a movement or a position of an occupant F . I measured or during a quick movement of one of the occupants F . I is closed on a high excitement. By means of a camera, for example, a facial expression of an occupant F . I recognized and derived from this state of mind. Alternatively or additionally, by means of a camera, for example, a line of sight of an occupant F . I recognized.

Die Ansteuerung des Subsystems 8, 12, 14 in Abhängigkeit der erkannten Stimmungssituation S dient dazu, auf einen potentiellen Einfluss dieser Stimmungsreaktion S auf die Betriebssicherheit des Fahrzeugs 2 zu reagieren und im Ergebnis die Betriebssicherheit möglichst zu verbessern. Dies wird beispielsweise durch eine Veränderung der Stimmungssituation S oder durch einen Eingriff in den Fahrbetrieb erreicht.The control of the subsystem 8th . 12 . 14 depending on the perceived mood situation S serves to indicate a potential influence of this mood reaction S on the operational safety of the vehicle 2 to react and as a result to improve the reliability as possible. This is done, for example, by a change in the mood situation S or reached by an intervention in the driving operation.

Das Subsystem 12 ist im gezeigten Ausführungsbeispiel ein Multimediasystem des Fahrzeugs 2 und wird abhängig von der Stimmungssituation S derart gesteuert, dass Musik oder Sprache ausgegeben werden oder eine Beleuchtung eingestellt wird, um wenigstens einen der Insassen F, I, speziell den Fahrer F, zu beeinflussen und beispielsweise mit dem Ziel, das Ablenkungspotential der Stimmungssituation S zu reduzieren. Beispielsweise wird zur Beruhigung der Stimmungssituation S mittels des Subsystems 12 eine beruhigende Musik abgespielt und hierzu über einen Lautsprecher 18 in den Innenraum 4 ausgegeben. Alternativ oder zusätzlich wird mittels des Subsystems 12 über den Lautsprecher 18 eine Sprachnachricht ausgegeben, welche allgemein die Insassen F, I und speziell den Fahrer F auf die Stimmungssituation S oder deren Ablenkungspotential hinweist oder welche alternativ oder zusätzlich beruhigend wirkt. Alternativ oder zusätzlich wird mittels des Subsystems 12 eine angenehme oder gemütliche Beleuchtung des Innenraums 4 eingestellt, beispielsweise indem die Helligkeit reduziert wird. Hierzu weist das Subsystem 12 vorliegend ein Beleuchtungsmittel 20 für den Innenraum 4 auf.The subsystem 12 is a multimedia system of the vehicle in the illustrated embodiment 2 and becomes dependent on the mood situation S controlled so that music or speech are output or lighting is set to at least one of the occupants F . I , especially the driver F to influence and, for example, with the aim of distracting the mood situation S to reduce. For example, to calm the mood S by means of the subsystem 12 a soothing music played and this via a speaker 18 in the interior 4 output. Alternatively or additionally, by means of the subsystem 12 over the speaker 18 issued a voice message, which generally the inmates F . I and especially the driver F on the mood situation S or their distraction potential indicates or which acts alternatively or additionally reassuring. Alternatively or additionally, by means of the subsystem 12 a pleasant or cozy illumination of the interior 4 set, for example, by the brightness is reduced. This is indicated by the subsystem 12 in the present case, an illumination means 20 for the interior 4 on.

Das Subsystem 14 ist im gezeigten Ausführungsbeispiel ein Sitz für einen Insassen F, I des Fahrzeugs 2, also ein Fahrzeugsitz, und wird abhängig von der Stimmungssituation S derart gesteuert, dass eine Sitzposition verändert wird oder eine Massagefunktion aktiviert wird, um den Insassen F, I zu beeinflussen. Beispielsweise wird eine Komfortposition eingestellt, um das Wohlbefinden des Insassen F, I zu erhöhen und dadurch zu einer Beruhigung beizutragen.The subsystem 14 is a seat for an occupant in the illustrated embodiment F . I of the vehicle 2 , so a vehicle seat, and will depend on the mood S controlled such that a seating position is changed or a massage function is activated to the occupants F . I to influence. For example, a comfort position is set to the well-being of the occupant F . I increase and thereby contribute to reassurance.

Ein weiteres Subsystem 8 des Fahrzeugs 2 ist die Fahrzeugsteuerung 8, welche vorliegend eine automatische Fahrzeugsteuerung 8 für das Fahrzeug 2 ist, d.h. das Fahrzeug 2 wird in einem automatischen oder autonomen Fahrbetrieb mittels der Fahrzeugsteuerung 8 gesteuert oder eine Steuerung durch den Fahrer F wird durch die Fahrzeugsteuerung 8 unterstützt. Die Fahrzeugsteuerung 8 ist z.B. eine Geschwindigkeitsregelung, eine Abstandsregelung, eine Bremsautomatik, eine Lenkautomatik, ein Spurhaltesystem oder dergleichen. Die Fahrzeugsteuerung 8 wird abhängig von der Stimmungssituation S derart gesteuert, dass ein Fahrparameter der Fahrzeugsteuerung 8 verändert wird, um ein Fahrverhalten des Fahrzeugs 2 anzupassen und speziell hinsichtlich der Stimmungssituation S geeignet einzustellen, um dadurch die Sicherheit beim Betrieb des Fahrzeugs 2 zu verbessern. Der Fahrzeugparameter ist beispielsweise eine Geschwindigkeit des Fahrzeugs 2, eine Beschleunigung des Fahrzeugs 2, ein Abstand des Fahrzeugs 2 zu einem nicht gezeigten vorausfahrenden Fahrzeug oder zu einer ebenfalls nicht gezeigten Fahrbahnmarkierung, ein Lenkeinschlag des Fahrzeugs 2 oder dergleichen. Die Fahrzeugsteuerung 8 wird also insgesamt derart gesteuert, dass in Reaktion auf die Stimmungssituation S im Innenraum 4 automatisch in das Fahrgeschehen eingegriffen wird.Another subsystem 8th of the vehicle 2 is the vehicle control 8th , Which in this case an automatic vehicle control 8th for the vehicle 2 is, ie the vehicle 2 is in an automatic or autonomous driving by means of the vehicle control 8th controlled or controlled by the driver F is through the vehicle control 8th supported. The vehicle control 8th is eg a cruise control, a distance control, an automatic brake, a steering automatic, a lane keeping system or the like. The vehicle control 8th depends on the mood S so controlled that a driving parameter of the vehicle control 8th is changed to a driving behavior of the vehicle 2 and especially with regard to the mood S adjust accordingly, thereby safety during operation of the vehicle 2 to improve. The vehicle parameter is, for example, a speed of the vehicle 2 , an acceleration of the vehicle 2 , a distance of the vehicle 2 not to one shown preceding vehicle or to a roadway marking, also not shown, a steering angle of the vehicle 2 or similar. The vehicle control 8th is thus controlled overall in such a way that in response to the mood situation S in the interior 4 automatically intervened in the driving.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

22: Fahrzeugvehicle
44: Innenrauminner space
66: Steuereinheitcontrol unit
88th: Subsystem, FahrzeugsteuerungSubsystem, vehicle control
1010: Mikrofonmicrophone
1212: Subsystem, MultimediasystemSubsystem, multimedia system
1414: Subsystem, SitzSubsystem, seat
1616: Zusatzsensoradditional sensor
1818: Lautsprecherspeaker
2020: Beleuchtungsmittel lighting means
AA: akustisches Signalacoustic signal
FF: Fahrerdriver
II: Insasseinmate
SS: Stimmungssituationmood situation

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 2017103391 A1 [0004]
DE 102017124900 A1 [0005, 0013]

Claims

Method for operating a vehicle (2), - wherein the vehicle (2) has an interior space (4), - wherein a mood situation (S) within the interior (4) is detected by a number of acoustic signals (A) in the interior (4) by means of at least one microphone (10) is recorded and evaluated by means of a control unit (6), - wherein the vehicle (2) has at least one subsystem (8, 12, 14), which is controlled by the control unit (6) depending on the mood situation (S).

Method according to Claim 1 in which the mood situation (S) is evaluated for its influence on a driver (F) of the vehicle (2), and wherein the subsystem (8, 12, 14) is controlled to determine the influence of the mood situation (S) on the driver (F ) or to change the mood (S) itself.

Method according to one of Claims 1 or 2 , wherein the acoustic signals (A) also or only such acoustic signals (A) include, which do not emanate from a driver (F) of the vehicle (2) itself.

Method according to one of Claims 1 to 3 , wherein the acoustic signals (A) comprise speech.

Method according to one of Claims 1 to 4 in that the acoustic signals (A) are recorded with at least four microphones (10) which are distributed around the inner space (4) and directed into the inner space (4).

Method according to one of Claims 1 to 5 in that the acoustic signals (A) are evaluated by measuring at least one signal parameter of the acoustic signals (A) and comparing it with a predetermined value therefor, the signal parameter being an intensity or a frequency or a frequency spectrum.

Method according to one of Claims 1 to 6 , wherein the mood situation (S) is detected by one or more additional signals are recorded in addition to the acoustic signals (A) by means of at least one additional sensor sensor (16) and evaluated by the control unit (6), wherein the additional sensor (16) is a camera or a radar sensor.

Method according to one of Claims 1 to 7 wherein the subsystem (12) is a multimedia system of the vehicle (2) and is controlled depending on the mood situation (S) such that music or speech is output or lighting is adjusted to at least one of the occupants (F, I), in particular, a driver (F) of the vehicle (2) to influence, or wherein the subsystem (14) is a seat for an occupant (F, I) of the vehicle (2) and is controlled depending on the mood situation (S), that a sitting position is changed or a massage function is activated to influence the occupant (F, I).

Method according to one of Claims 1 to 8th wherein the subsystem (8) is an automatic vehicle control for the vehicle (2) and controlled depending on the mood situation (S) such that a driving parameter of the vehicle controller (8) is changed to adjust a drivability of the vehicle (2).

Vehicle (2), which is designed to carry out a method according to one of Claims 1 to 9 ,