DE102021115234A1

DE102021115234A1 - Method of entertaining a passenger of a vehicle, entertainment device and vehicle

Info

Publication number: DE102021115234A1
Application number: DE102021115234.8A
Authority: DE
Inventors: Manuel Schiller
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-06-11
Filing date: 2021-06-11
Publication date: 2022-12-15

Abstract

Die Erfindung betrifft ein Verfahren zur Unterhaltung eines Passagiers (1a, 1b) eines Fahrzeugs (2), umfassend folgende Schritte: Audioausgabe (12) zur Unterhaltung wenigstens eines Passagiers (1a, 1b) des Fahrzeugs (2); Erfassen eines Unterhaltungszustandes (14) des wenigstens einen Passagiers (1a, 1b) während der Audioausgabe (12); und automatisches Veranlassen eines Wechselns von einem Nichtkaraokemodus in einen Karaokemodus während der Audioausgabe (12), wenn eine dem erfassten Unterhaltungszustand (14) zugeordnete Unterhaltungsgröße einer vorgegebenen Bedingung entspricht. Die Erfindung betrifft ferner eine Unterhaltungsvorrichtung (10) und ein Fahrzeug (2).The invention relates to a method for entertaining a passenger (1a, 1b) of a vehicle (2), comprising the following steps: audio output (12) for entertaining at least one passenger (1a, 1b) of the vehicle (2); detecting a conversational state (14) of the at least one passenger (1a, 1b) during the audio output (12); and automatically causing a change from a non-karaoke mode to a karaoke mode during the audio output (12) if a conversation size associated with the detected conversation state (14) meets a predetermined condition. The invention also relates to an entertainment device (10) and a vehicle (2).

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Unterhaltung eines Passagiers eines Fahrzeugs. Die Erfindung betrifft ferner eine Unterhaltungsvorrichtung und ein Fahrzeug mit einer derartigen Vorrichtung.The present invention relates to a method for entertaining a passenger of a vehicle. The invention also relates to an entertainment device and a vehicle with such a device.

Es ist beispielsweise bekannt, den Gesang eines Passagiers zu erfassen. Auch sind Vorrichtungen bekannt, mit denen die Unterhaltung des Passagiers, beispielsweise ein Karaokeerlebnis verbessert werden kann, beispielsweise durch verbesserte Audioeffekte, Mikrofone für jeden von einer Mehrzahl von Passagieren sowie eine Filterung von Störgeräuschen.For example, it is known to capture a passenger's singing. Devices are also known with which the passenger's entertainment, for example a karaoke experience, can be improved, for example through improved audio effects, microphones for each of a plurality of passengers and filtering of background noise.

JP 2007047486 A offenbart eine Karaokevorrichtung, die eine Bestimmungsvorrichtung zur Bestimmung einer Intensität eines Gesangs eines Passagiers eines Fahrzeugs umfasst. Anhand der bestimmten Intensität des Gesangs wird die Textausgabe des Karaokemodus angepasst. Der Karaokemodus wird durch den Passagier mittels eines Tastendrucks oder mittels der Betätigung eines Hebels gestartet. JP 2007047486 A discloses a karaoke device including a determination device for determining an intensity of a singing of a passenger of a vehicle. Based on the determined intensity of the singing, the text output of the karaoke mode is adjusted. The karaoke mode is started by the passenger by pressing a button or by operating a lever.

Der Karaokemodus muss gemäß dem Stand der Technik manuell, also durch eine dedizierte Anweisung eines Passagiers gestartet werden, beispielsweise über ein manuelles Starten einer Applikation auf einem mobilen Endgerät wie beispielsweise einem Smartphone oder über eine Schnittstelle zum Betriebssystem des Fahrzeugs.According to the prior art, the karaoke mode must be started manually, ie by a dedicated instruction from a passenger, for example by manually starting an application on a mobile device such as a smartphone or via an interface to the vehicle's operating system.

Es ist die Aufgabe der Erfindung, ein verbessertes, nutzerfreundliches und zuverlässiges Starten eines Karaokemodus zu ermöglichen.It is the object of the invention to enable an improved, user-friendly and reliable starting of a karaoke mode.

Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Weitere mögliche Ausgestaltungen der Erfindung sind in den Unteransprüchen, der Beschreibung und den Figuren offenbart.This object is solved by the subject matter of the independent claims. Further possible configurations of the invention are disclosed in the dependent claims, the description and the figures.

Erfindungsgemäß erfolgt ein automatisches Veranlassen eines Wechselns von einem Nichtkaraokemodus in einen Karaokemodus während der Audioausgabe, wenn eine dem erfassten Unterhaltungszustand zugeordnete Unterhaltungsgröße einer vorgegebenen Bedingung entspricht. Gemäß der Erfindung wird zwischen einem Karaokemodus und einem Nichtkaraokemodus unterschieden. Der Karaokemodus ist dabei ein Modus, in dem zusätzlich zur Audioausgabe, also der für den Passagier akustisch wahrnehmbaren Ausgabe beispielsweise eines Liedes, ein Liedtext angezeigt und/oder anderweitig ausgegeben wird. Der Nichtkaraokemodus ist ein Modus, in dem allein die Audioausgabe insbesondere eines Liedes stattfindet, ohne dass ein Liedtext dem Passagier ausgegeben wird. Das automatische Veranlassen eines Wechselns von dem Nichtkaraokemodus in den Karaokemodus erzielt ein besonders benutzerfreundliches Starten des Karaokemodus und verbessert so die Nutzerfreundlichkeit des erfindungsgemäßen Verfahrens. Der erfasste Unterhaltungszustand spiegelt die Reaktion des Passagiers auf die Audioausgabe wider. Dem erfassten Unterhaltungszustand wird eine dem erfassten Unterhaltungszustand repräsentierende insbesondere numerische Unterhaltungsgröße zugeordnet. Diese Unterhaltungsgröße kann eine Mehrzahl numerischer und/oder boolescher Werte umfassen, um den Unterhaltungszustand präzise abzubilden. Das Entsprechen der Unterhaltungsgröße einer vorgegebenen Bedingung bedeutet, dass die Audioausgabe den Passagier derart unterhält, dass ein automatisches Wechseln von dem Nichtkaraokemodus in den Karaokemodus im Sinne des Passagiers zu sein scheint und deshalb das Wechseln veranlasst wird. Die Erfindung macht sich dabei zum Erfassen des Unterhaltungszustandes zu Nutze, dass das Erfassen des wenigstens einen Passagiers sowie das Erfassen von Stimme, Mimik, Gestik usw. als solche im Stand der Technik bekannt sind. Dadurch kann der Unterhaltungszustand benutzerfreundlich sowie zuverlässig erfasst werden, was letztlich das Starten des Karaokemodus verbessert. Die vorbestimmte Bedingung kann insbesondere einer voreingestellten Standardbedingung entsprechen und/oder von dem Passagier individuell festlegbar sein. Beispielsweise kann die Startbedingung eine Lautstärke von Gesang sein. Da das Veranlassen des Wechselns während der Audioausgabe erfolgt, ist es möglich, den Einstieg in den Karaokemodus während des Abspielens eines Lieds im Nichtkaraokemodus in einer nahtlosen Karaoke-Fortsetzung des Liedes im Karaokemodus zu erzielen.According to the invention, a changeover from a non-karaoke mode to a karaoke mode is automatically initiated during the audio output if an entertainment variable assigned to the recorded entertainment state corresponds to a predetermined condition. According to the invention, a distinction is made between a karaoke mode and a non-karaoke mode. The karaoke mode is a mode in which a song text is displayed and/or output in some other way in addition to the audio output, ie the output of a song, for example, which the passenger can hear acoustically. The non-karaoke mode is a mode in which only audio output, particularly a song, is performed without outputting lyrics to the passenger. The automatic initiation of a change from the non-karaoke mode to the karaoke mode achieves a particularly user-friendly starting of the karaoke mode and thus improves the user-friendliness of the method according to the invention. The captured entertainment state reflects the passenger's response to the audio output. A conversation variable, in particular a numerical one, that represents the conversation status that has been detected is assigned to the conversation status that has been detected. This conversation size may include a plurality of numeric and/or Boolean values to accurately represent the conversation state. Satisfying the entertainment size of a predetermined condition means that the audio output entertains the passenger in such a way that an automatic changeover from the non-karaoke mode to the karaoke mode appears to be in the passenger's interest and therefore the changeover is caused. The invention makes use of the fact that the recording of the at least one passenger and the recording of voice, facial expressions, gestures etc. are known as such in the prior art for recording the entertainment status. As a result, the conversation state can be detected in a user-friendly and reliable manner, which ultimately improves the starting of the karaoke mode. The predetermined condition can in particular correspond to a preset standard condition and/or can be individually defined by the passenger. For example, the start condition can be a volume of singing. Since the switching is made during the audio output, it is possible to achieve the karaoke mode entry while playing a non-karaoke mode song in a seamless karaoke continuation of the karaoke mode song.

Optional umfasst das Veranlassen des Wechselns die Ausgabe eines für den wenigstens einen Passagier wahrnehmbaren Umschaltvorschlages. Damit ist sichergestellt, dass das Wechseln von dem Nichtkaraokemodus in den Karaokemodus nicht ohne eine Bestätigung des Passagiers stattfindet und so ein wohldefiniertes Verhalten für den Start des Karaokemodus bereitgestellt werden kann.Initiating the change optionally includes the output of a changeover suggestion that the at least one passenger can perceive. This ensures that the changeover from the non-karaoke mode to the karaoke mode does not take place without confirmation from the passenger, and a well-defined behavior for starting the karaoke mode can thus be provided.

Alternativ kann das Veranlassen des Wechselns ein automatisches Schalten sein, um beispielsweise dann die Benutzerfreundlichkeit zu erhöhen, wenn ein Wechseln von dem Nichtkaraokemodus in den Karaokemodus erforderlich und/oder fast sicher scheint, beispielsweise wenn ein Lied gespielt wird, bei dem der Passagier typischerweise in den Karaokemodus wechselt.Alternatively, initiating the change may be automatic switching, for example to increase user-friendliness when changing from non-karaoke mode to karaoke mode is required and/or seems almost certain, for example when playing a song where the passenger is typically in the Karaoke mode changes.

Auch die Kombination, also ein für den Passagier wahrnehmbarer Umschaltvorschlag und das automatische Wechseln kann vorgesehen sein, wenn die Entscheidung, ob ein Umschaltvorschlag ausgeben wird oder ein automatisches Schalten erfolgt vom jeweiligen Kontext abhängig ist. Beispielsweise kann ein automatisches Wechseln bei bestimmten Liedern, beispielsweise bei einem Lieblingslied, stattfinden, während bei anderen Liedern ein Umschaltvorschlag ausgegeben wird.Also the combination, i.e. a changeover suggestion that the passenger can perceive and that Automatic switching can be provided if the decision as to whether a switching suggestion is issued or whether automatic switching takes place depends on the respective context. For example, an automatic change can take place for certain songs, for example a favorite song, while a switch suggestion is output for other songs.

Optional umfasst das Erfassen des Unterhaltungszustandes das Erfassen der Mimik, der Gestik und/oder der Stimme des wenigstens einen Passagiers, um den Unterhaltungszustand besonders effektiv charakterisierende Größen zu erfassen und auswerten zu können. Anhand der Mimik und/oder der Stimme kann insbesondere festgestellt werden, ob der Passagier singt. Anhand der Gestik kann festgestellt werden, ob der Passagier beispielsweise eine an ein ausgegebenes Lied angepasste rhythmische Bewegungen vollzieht. Sowohl Singen als auch rhythmische Bewegungen können einen Unterhaltungszustand darstellen, bei dem ein automatisches Veranlassen des Wechselns von dem Nichtkaraokemodus in den Karaokemodus gewünscht ist.Optionally, capturing the state of entertainment includes capturing the facial expressions, the gestures and/or the voice of the at least one passenger in order to be able to capture and evaluate variables that characterize the state of entertainment particularly effectively. Based on the facial expressions and/or the voice, it can be determined in particular whether the passenger is singing. The gestures can be used to determine whether the passenger is performing a rhythmic movement that is adapted to a song that has been played, for example. Both singing and rhythmic movements may represent an entertainment state where automatic initiation of switching from non-karaoke mode to karaoke mode is desired.

In einer Ausführungsform der Erfindung erfolgt das Erfassen des Unterhaltungszustandes durch das Auswerten von Eingabesignalen einer Innenraumkamera des Fahrzeuges und/oder eines Innenraummikrofons des Fahrzeuges, um Eingabesignale von in einem modernen Fahrzeug typischerweise vorhandenen Erfassungsvorrichtungen zum Erfassen des Unterhaltungszustandes, wie beispielsweise der Innenraumkamera und/oder dem Innenraummikrofon, zu verwenden und dabei auf bekannte Techniken zur Datenauswertung zurückgreifen zu können.In one embodiment of the invention, the entertainment status is detected by evaluating input signals from an interior camera of the vehicle and/or an interior microphone in the vehicle to input signals from detection devices typically present in a modern vehicle for detecting the entertainment status, such as the interior camera and/or the Indoor microphone to use and to be able to fall back on known techniques for data analysis.

In einer Ausgestaltung der Erfindung wird das Veranlassen des Wechselns abhängig von der Identität des wenigstens einen Passagiers, der Zeit, des Ortes des Fahrzeugs und/oder der Fahrsituation bestimmt, um ein besonders benutzerfreundliches und individualisiertes Veranlassen eines Wechselns bereitstellen zu können. In diesem Fall ist das Veranlassen des Wechselns kontextabhängig, so kann es beispielsweise für einen bestimmten Passagier bei einer morgendlichen Fahrt zur Arbeit wünschenswert sein, eine Audioausgabe im Nichtkaraokemodus wahrzunehmen, aber auf einer Fahrt am Wochenende, eine bestimmte Audioausgabe im Karaokemodus wahrzunehmen.In one embodiment of the invention, the initiation of the change is determined depending on the identity of the at least one passenger, the time, the location of the vehicle and/or the driving situation in order to be able to provide a particularly user-friendly and individualized initiation of a change. In this case, causing the switching is contextual, e.g. it may be desirable for a particular passenger on a morning commute to hear audio in non-karaoke mode, but on a weekend commute to hear a particular audio in karaoke mode.

Optional wird der jeweilige Unterhaltungszustand einer Mehrzahl von Passagieren in Reaktion auf die Audioausgabe erfasst; und das Veranlassen des Wechselns von dem Nichtkaraokemodus in den Karaokemodus ist für jeden der Mehrzahl von Passagieren derart individuell, dass das Veranlassen des Wechselns abhängig von der Audioausgabe und dem erfassten jeweiligen Unterhaltungszustandes von einem der Mehrzahl von Passagieren ist. Dabei kann der Unterhaltungszustand eines jeden Passagiers in Reaktion auf die Audioausgabe individuell berücksichtigt werden. Beispielsweise kann der Karaokemodus starten, wenn einem Passagier eine Unterhaltungsgröße zugeordnet werden kann, die einer vorbestimmten Bedingung entspricht, wenn mehreren der Passagiere eine gemeinsame Unterhaltungsgröße zugeordnet werden kann, die einer gemeinsamen vorbestimmten Bedingung entspricht und/oder wenn mehreren der Passagiere jeweils eine Unterhaltungsgröße zugeordnet werden kann, die jeweils einer insbesondere individuell vorbestimmten Bedingung entspricht.Optionally, the respective entertainment status of a plurality of passengers is detected in response to the audio output; and causing the transition from the non-karaoke mode to the karaoke mode is individual to each of the plurality of passengers such that causing the transition is dependent on the audio output and sensed respective conversational state of one of the plurality of passengers. The entertainment status of each passenger can be taken into account individually in response to the audio output. For example, the karaoke mode can start when a passenger can be assigned an entertainment size that corresponds to a predetermined condition, when several of the passengers can be assigned a common entertainment size that corresponds to a common predetermined condition and/or when several of the passengers are each assigned an entertainment size can, which in each case corresponds to a particular individually predetermined condition.

In einer Ausführungsform der Erfindung erfolgt für jeden der Mehrzahl von Passagieren ein Veranlassen eines Schaltens von dem Nichtkaraokemodus in einen individuellen Karaokemodus, um ein individuelles Karaokeerlebnis für mehr als nur einen Passagier zu ermöglichen, oder ein gemeinsames Karaokeerlebnis für mehrere Passagiere zu ermöglichen, bei dem beispielsweise zwei Passagiere unterschiedliche Stimmen eines Liedes singen und/oder voneinander verschiedene Passagen eines Liedes singen. In one embodiment of the invention, each of the plurality of passengers is caused to switch from the non-karaoke mode to an individual karaoke mode in order to enable an individual karaoke experience for more than just one passenger, or to enable a shared karaoke experience for several passengers, in which, for example two passengers sing different parts of a song and/or sing different passages of a song.

Optional umfasst das Verfahren ein Beenden des Karaokemodus, wobei das Beenden des Karaokemodus abhängig von der Audioausgabe und dem erfassten Unterhaltungszustand ist, um die Benutzerfreundlichkeit auch für den Wechsel vom Karaokemodus in den Nichtkaraokemodus zu ermöglichen, beispielsweise wenn ein Passagier während der Audioausgabe aufhört zu singen.Optionally, the method includes ending the karaoke mode, where the ending of the karaoke mode is dependent on the audio output and the sensed conversation state to enable usability for changing from the karaoke mode to the non-karaoke mode, for example when a passenger stops singing during the audio output.

Eine erfindungsgemäße Unterhaltungsvorrichtung zur Unterhaltung eines Passagiers eines Fahrzeugs umfasst eine Audioausgabevorrichtung zur Audioausgabe zur Unterhaltung wenigstens eines Passagiers des Fahrzeugs; und eine Erfassungseinrichtung zum Erfassen eines Unterhaltungszustandes des wenigstens einen Passagiers; wobei die Unterhaltungsvorrichtung dazu eingerichtet ist, ein Wechseln von einem Nichtkaraokemodus in einen Karaokemodus während der Audioausgabe automatisch zu veranlassen, wenn eine dem erfassten Unterhaltungszustand zugeordnete Unterhaltungsgröße einer vorgegebenen Bedingung entspricht. Die Unterhaltungsvorrichtung kann insbesondere zum Erfassen des Unterhaltungszustandes, zum Zuordnen der Unterhaltungsgröße zu dem erfassten Unterhaltungszustand, zum Prüfen, ob die zugeordnete Unterhaltungsgröße der vorgegebenen Bedingung entspricht und/oder zum automatischen Veranlassen eine Datenverarbeitungsvorrichtung umfassen oder mit einer Datenverarbeitungsvorrichtung verbunden sein.An entertainment device for entertaining a passenger of a vehicle according to the present invention comprises an audio output device for audio output for entertaining at least one passenger of the vehicle; and a detection device for detecting a state of entertainment of the at least one passenger; wherein the entertainment device is set up to automatically cause a change from a non-karaoke mode to a karaoke mode during the audio output if an entertainment size associated with the detected entertainment state corresponds to a predetermined condition. The entertainment device can include a data processing device or be connected to a data processing device, in particular for detecting the entertainment status, for assigning the entertainment size to the recorded entertainment status, for checking whether the assigned entertainment size corresponds to the specified condition and/or for automatic initiation.

Das erfindungsgemäße Fahrzeug umfasst die erfindungsgemäße Unterhaltungsvorrichtung oder eine mögliche Ausführungsform der erfindungsgemäßen Unterhaltungsvorrichtung. Dabei kann das Fahrzeug insbesondere ein Kraftfahrzeug, insbesondere ein Personenkraftwagen oder ein Lastkraftwagen sein. Das Fahrzeug kann auch ein wenigstens teilweise autonom fahrendes Fahrzeug sein.The vehicle according to the invention comprises the entertainment device according to the invention or a possible embodiment of the entertainment device according to the invention. The vehicle can in particular be a motor vehicle, in particular a passenger car or a truck. The vehicle can also be an at least partially autonomous vehicle.

Weitere Merkmale der Erfindung können sich aus den Ansprüchen, der Figur und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in der Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further features of the invention can result from the claims, the figure and the description of the figures. The features and feature combinations mentioned above in the description and the features and feature combinations shown below in the description of the figures and/or in the figure alone can be used not only in the combination specified in each case, but also in other combinations or on their own, without going beyond the scope of the invention to leave.

Die Zeichnung zeigt in:

1 ein Fahrzeug mit einer Unterhaltungsvorrichtung gemäß einer Ausführungsform der Erfindung.

The drawing shows in:

1 a vehicle having an entertainment device according to an embodiment of the invention.

In der Figur sind gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.Elements that are the same and have the same function are provided with the same reference symbols in the figure.

1 zeigt ein Fahrzeug 2 mit einer Unterhaltungsvorrichtung 10 gemäß einer Ausführungsform der Erfindung. 1 FIG. 1 shows a vehicle 2 with an entertainment device 10 according to an embodiment of the invention.

In der schematischen Darstellung der 1 befinden sich im Fahrzeug 2 eine Mehrzahl von Passagieren 1a, 1b. In dem dargestellten Fahrzeug 2 befinden sich drei Passagieren 1a, 1b, wobei ein Passagier 1a der Fahrer des Fahrzeugs 2 sein kann und die anderen Passagiere 1b Beifahrer im Fahrzeug 2 sein können. Es ist jedoch auch möglich, dass sich eine andere Anzahl von Passagieren 1a, 1b im Fahrzeug 2 befindet. Ferner ist es beispielsweise in einem autonom fahrenden Fahrzeug nicht notwendig, dass es einen ausgezeichneten Fahrer gibt.In the schematic representation of 1 are in the vehicle 2, a plurality of passengers 1a, 1b. In the illustrated vehicle 2 there are three passengers 1a, 1b, wherein one passenger 1a can be the driver of the vehicle 2 and the other passengers 1b can be passengers in the vehicle 2. However, it is also possible for a different number of passengers 1a, 1b to be in the vehicle 2. Further, in an autonomous vehicle, for example, it is not necessary that there is an excellent driver.

Die Unterhaltungsvorrichtung 10 zur Unterhaltung eines Passagiers 1a, 1b des Fahrzeugs 2 umfasst eine Audioausgabevorrichtung 11 zur Audioausgabe 12 zur Unterhaltung der Passagiere 1a, 1b. Die Audioausgabevorrichtung 11 umfasst eine Mehrzahl von Lautsprechern, wobei die Lautsprecher im Fahrzeug 2 derart angeordnet sind, dass die Mehrzahl der Passagiere 1a, 1b eine insbesondere für jeden Passagier 1a, 1b individuelle Audioausgabe 12 wahrnehmen können. Die Audioausgabevorrichtung 11 kann ein Radio umfassen, dass die Mehrzahl der Lautsprecher mit einem Signal beaufschlagt, um die Audioausgabe 12 zu bewerkstelligen.The entertainment device 10 for entertaining a passenger 1a, 1b of the vehicle 2 includes an audio output device 11 for audio output 12 for entertaining the passengers 1a, 1b. The audio output device 11 comprises a plurality of loudspeakers, the loudspeakers being arranged in the vehicle 2 in such a way that the majority of the passengers 1a, 1b can perceive an audio output 12 which is individual in particular for each passenger 1a, 1b. The audio output device 11 may include a radio that applies a signal to the plurality of speakers to accomplish the audio output 12 .

Die Unterhaltungsvorrichtung 10 umfasst eine Datenverarbeitungsvorrichtung 17 und eine Erfassungseinrichtung 13 zum Erfassen eines Unterhaltungszustandes 14 der Passagiere 1a, 1b. Die Erfassungseinrichtung 13 ist mit der Datenverarbeitungsvorrichtung 17 über Schnittstellen zur Datenübertragung verbunden, insbesondere zum Übertragen von Bildsignale und/oder Audiosignale betreffenden Daten bzw. Daten, die zur Ermittlung bzw. Erfassung des Unterhaltungszustandes 13 wesentlich sein können.The entertainment device 10 includes a data processing device 17 and a detection device 13 for detecting an entertainment status 14 of the passengers 1a, 1b. The detection device 13 is connected to the data processing device 17 via interfaces for data transmission, in particular for the transmission of data or data relating to image signals and/or audio signals, which can be essential for determining or detecting the entertainment status 13 .

Die Erfassungseinrichtung 13 umfasst dabei wenigstens eine Innenraumkamera 4 und wenigstens ein Innenraummikrofon 5.The detection device 13 comprises at least one interior camera 4 and at least one interior microphone 5.

Die Innenraumkamera 4 kann insbesondere eine auf den Fahrer 1a gerichtete Kamera sein, die beispielsweise in einem Rückspiegel oder im Dachhimmel des Fahrzeugs 2 angeordnet ist und die zur Erfassung der Mimik und/oder der Gestik des Fahrers 1a eingerichtet ist. Die Innenraumkamera 4 kann auch eine auf einen anderen oder mehrere andere Passagiere 1b gerichtete Kamera sein, die zur Erfassung der Mimik und/oder der Gestik des Passagiers 1b oder der Passagiere 1b eingerichtet ist. Die Innenraumkamera 4 kann auch mehrere Kameras umfassen.The interior camera 4 can in particular be a camera directed at the driver 1a, which is arranged, for example, in a rear-view mirror or in the roof liner of the vehicle 2 and which is set up to record the facial expressions and/or gestures of the driver 1a. The interior camera 4 can also be a camera directed at one or more other passengers 1b, which is set up to capture the facial expressions and/or the gestures of the passenger 1b or the passengers 1b. The interior camera 4 can also include multiple cameras.

Die Innenraumkamera 4 ist mit der Datenverarbeitungsvorrichtung 17 verbunden, die Bildsignale von der Innenraumkamera 4 empfängt und diese verarbeitet, um den Unterhaltungszustand 14 des Passagiers oder der Passagiere 1a, 1b festzustellen.The interior camera 4 is connected to the data processing device 17, which receives image signals from the interior camera 4 and processes them in order to determine the entertainment status 14 of the passenger or passengers 1a, 1b.

Das Innenraummikrofon 5 ist dazu eingerichtet, akustische Ausgaben der Passagiere 1a, 1b, also insbesondere die Stimme und/oder den Gesang der Passagiere 1a, 1b, zu erfassen. Das Innenraummikrofon 5 kann auch mehrere Mikrofone umfassen, um akustische Ausgaben von mehreren der Passagiere 1a, 1b zu erfassen. Das Innenraummikrofon 5 ist mit der Datenverarbeitungsvorrichtung 17 verbunden, die die akustischen Ausgaben repräsentierende Audiosignale empfängt und diese verarbeitet, um den Unterhaltungszustand 14 des Passagiers oder der Passagiere 1a, 1b festzustellen.The interior microphone 5 is set up to capture acoustic output from the passengers 1a, 1b, ie in particular the voice and/or the singing of the passengers 1a, 1b. The interior microphone 5 can also include a number of microphones in order to record acoustic outputs from a number of the passengers 1a, 1b. The interior microphone 5 is connected to the data processing device 17, which receives audio signals representing the acoustic outputs and processes them in order to determine the entertainment status 14 of the passenger or passengers 1a, 1b.

Die Innenraumkamera 4 und die im Fahrzeug 2 verbauten Innenraummikrofone 5 erfassen so, wie eine oder mehrere Passagiere 1a, 1b im Fahrzeug das aktuell über das Audiosystem 11 des Fahrzeugs 2 abgespielte Lied erleben. Durch Gestik, beispielsweise rhythmisches Kopfwippen oder Fingerschnippen, Mimik, beispielsweise Erkennen von Lippenbewegungen, und/oder durch Mitsingen, beispielsweise Erkennen von Gesang, wird die Stimmung bzw. der Unterhaltungszustand 14 der Passagiere 1a, 1b zum aktuellen Lied bzw. zur aktuellen Audioausgabe 12 abgebildet und ist mittels der Erfassungseinrichtung 13 erfassbar.The interior camera 4 and the interior microphones 5 installed in the vehicle 2 record how one or more passengers 1a, 1b in the vehicle experience the song currently being played via the audio system 11 of the vehicle 2 . Gestures, for example rhythmic head bobbing or finger snaps, facial expressions, for example recognizing lip movements, and/or singing along, for example recognizing singing, changes the mood or the state of entertainment 14 of the passengers 1a, 1b to the current song or to the current one Audio output 12 is shown and can be detected by the detection device 13 .

Aufgrund der von der Innenraumkamera 4 und dem Innenraummikrofon 5, also der Erfassungseinrichtung 13 erfassten Daten, ermittelt die Datenverarbeitungsvorrichtung 17 eine Unterhaltungsgröße, die dem Unterhaltungszustand 14 zugeordnet ist bzw. diesen repräsentiert. Die Datenverarbeitungsvorrichtung 17 prüft, ob die Unterhaltungsgröße einer vorgegebenen Bedingung entspricht. Die Bedingung kann beispielsweise in Form einer numerischen Schwelle der Unterhaltungsgröße vorliegen.On the basis of the data recorded by the interior camera 4 and the interior microphone 5, ie the detection device 13, the data processing device 17 ascertains an entertainment variable which is assigned to the entertainment state 14 or represents it. The data processing device 17 checks whether the entertainment size corresponds to a predetermined condition. For example, the condition may be in the form of a numerical threshold of entertainment size.

Entspricht die Unterhaltungsgröße der vorgegebenen Bedingung, gibt die Datenverarbeitungsvorrichtung 17 einen Umschaltvorschlag 15 an eine Ausgabevorrichtung 16 aus, um ein Wechseln von einem Nichtkaraokemodus in einen Karaokemodus zu veranlassen. Die Schwelle, ab der die Unterhaltungsvorrichtung 10 des Fahrzeugs 2 den Umschaltvorschlag 15 zum Start des Karaokemodus ausgibt, kann individuell, z.B. nach Profil des Fahrers, Zeit, Ort und Fahrsituation, bestimmt werden. Die Ausgabevorrichtung 16 kann dabei insbesondere ein Bildschirm, auf dem der Umschaltvorschlag 15 angezeigt wird, und/oder einen Lautsprecher, aus dem der Umschaltvorschlag 15 akustisch ausgegeben wird, umfassen. Einer der Passagiere 1a, 1b kann so zur Bestätigung oder zur Ablehnung des Umschaltvorschlags 15 aufgefordert werden. Die Ausgabevorrichtung 16 kann auch eine Eingabeschnittstelle bereitstellen, die ein Bestätigen des Umschaltvorschlags 15 ermöglicht, um von dem Nichtkaraokemodus in den Karaokemodus zu wechseln.If the entertainment size corresponds to the predetermined condition, the data processing device 17 outputs a changeover suggestion 15 to an output device 16 in order to initiate a change from a non-karaoke mode to a karaoke mode. The threshold above which the entertainment device 10 of the vehicle 2 issues the switching suggestion 15 to start the karaoke mode can be determined individually, e.g. according to the driver's profile, time, place and driving situation. The output device 16 can in particular include a screen on which the switchover suggestion 15 is displayed and/or a loudspeaker from which the switchover suggestion 15 is output acoustically. One of the passengers 1a, 1b can thus be prompted to confirm or reject the changeover suggestion 15. The output device 16 can also provide an input interface that allows the switch suggestion 15 to be confirmed in order to switch from the non-karaoke mode to the karaoke mode.

Der Karaokemodus ermöglicht es beispielsweise, die Wiedergabe des aktuellen Lieds nahtlos fortzusetzen. Der Karaokemodus umfasst zum Stand der Technik gehörende Effekte, wie die Einblendung von Text und individuell einstellbarer Effekte, z.B. Sound Effekte, Lautstärke Gesang, Background-Sounds.The karaoke mode, for example, makes it possible to seamlessly continue playing the current song. The karaoke mode includes effects belonging to the state of the art, such as the insertion of text and individually adjustable effects, e.g. sound effects, vocal volume, background sounds.

Mittels Meta-Informationen zur aktuellen Audioausgabe 12 bzw. zum aktuell abgespielten Lied (z.B. Dynamic Label Segment DLS über DAB Radio) können die erforderlichen Daten für den Karaokemodus für das Fahrzeug 2 aus einem Backend abgerufen werden (z.B. Liedtext, Audiospuren) und auf fahrzeugeigenen Systemen, beispielsweise der Ausgabevorrichtung 16, wiedergegeben werden.The data required for the karaoke mode for the vehicle 2 can be called up from a backend (e.g. lyrics, audio tracks) and on the vehicle's own systems using meta information on the current audio output 12 or on the song currently being played (e.g. dynamic label segment DLS via DAB radio). , for example the output device 16, are reproduced.

In nicht dargestellten Ausführungsformen kann die Ausgabevorrichtung 16 auch eine Mehrzahl von Bildschirmen und/oder Lautsprechern umfassen, damit mehrere Passagiere 1a, 1b einen jeweils individuellen Umschaltvorschlag 15 und/oder im Karaokemodus Text ausgegeben bekommen können. Die Aufteilung von Song-Abschnitten unter den Passagieren 1a, 1b ist damit möglich.In specific embodiments that are not shown, the output device 16 can also include a plurality of screens and/or loudspeakers, so that a number of passengers 1a, 1b can each have an individual switching suggestion 15 and/or text output in karaoke mode. The division of song sections among the passengers 1a, 1b is thus possible.

Während der Audioausgabe 12, also während dem Abspielen eines Lieds über das Audiosystem 11 des Fahrzeugs 2, werden für die drei Passagiere 1a, 1b über die Onboard-Sensorik, also die Erfassungseinrichtung 13, Gestik, Mimik und Gesang erfasst, welche zum aktuell abgespielten Lied passen und den Unterhaltungszustand 14 repräsentieren. Die Unterhaltungsvorrichtung 10, also das Infotainmentsystem des Fahrzeugs 2, schlägt demnach vor, für das aktuelle Lied in den Karaokemodus zu wechseln. Der Wechselvorschlag 15 kann sowohl über den Sprachassistent, als auch über die Anzeige auf Bildschirmen ausgegeben werden. Nachdem einer der drei Passagiere 1a, 1b den Vorschlag akzeptiert hat, startet der Karaokemodus. Die Passagiere 1a, 1b können wählen, ob das Lied von vorne gestartet wird oder der Karaokemodus nahtlos die Wiedergabe des Lieds fortsetzt. Die Passagiere 1a, 1b können nun entweder alle gemeinsam oder in verschiedenen Rollen (z.B. Duett) das Lied im Karaokemodus singen.During the audio output 12, i.e. during the playing of a song via the audio system 11 of the vehicle 2, gestures, facial expressions and singing are recorded for the three passengers 1a, 1b via the onboard sensors, i.e. the detection device 13, which correspond to the song currently being played match and represent the conversation state 14. The entertainment device 10, ie the infotainment system of the vehicle 2, therefore proposes switching to karaoke mode for the current song. The change suggestion 15 can be issued both via the language assistant and via the display on screens. After one of the three passengers 1a, 1b has accepted the suggestion, the karaoke mode starts. The passengers 1a, 1b can choose to start the song from the beginning or the karaoke mode seamlessly continues playing the song. The passengers 1a, 1b can now sing the song in karaoke mode either all together or in different roles (e.g. duet).

Die Ausgabe des Umschaltvorschlags 15 kann jedoch auch entbehrlich sein. Damit können Situationen erkannt werden, in denen das Ausführen des Karaokemodus vom Passagier 1a, 1b gewünscht ist, ohne dass dieser über manuelle Bedienung die Ausführung der Karaokeanwendung startet.The output of the changeover suggestion 15 can, however, also be superfluous. In this way, situations can be recognized in which the passenger 1a, 1b wants the karaoke mode to be carried out without the passenger 1a, 1b starting the execution of the karaoke application via manual operation.

Nach einem Ende eines Lieds kann der Karaokemodus beendet oder fortgesetzt werden. Der Karaokemodus kann automatisch beendet werden, wobei das Beenden des Karaokemodus abhängig von der Audioausgabe 12 und dem erfassten Unterhaltungszustand 14 ist. Wenn beispielsweise bei einer Fortsetzung des Karaokemodus die Reaktionen der Passagiere 1a, 1b auf eine ausbleibende Teilhabe am Karaokemodus hindeuten (z.B. keine Lippenbewegungen mehr), dann kann der Karaokemodus ebenfalls automatisch beendet werden und die reguläre Liedwiedergabe im Nichtkaraokemodus wird fortgesetzt.After a song ends, Karaoke mode can be exited or resumed. The karaoke mode can be terminated automatically, the termination of the karaoke mode being dependent on the audio output 12 and the conversation state 14 detected. If, for example, when the karaoke mode is continued, the reactions of the passengers 1a, 1b indicate that they are not participating in the karaoke mode (e.g. no more lip movements), then the karaoke mode can also be ended automatically and the regular song playback in the non-karaoke mode is continued.

Bezugszeichenlistereference list

1a, 1b1a, 1b: Passagierpassenger
22: Fahrzeugvehicle
44: Innenraumkamerainterior camera
55: Innenraummikrofonindoor microphone
1010: Unterhaltungsvorrichtungentertainment device
1111: Audioausgabevorrichtungaudio output device
1212: Audioausgabeaudio output
1313: Erfassungseinrichtungdetection device
1414: Unterhaltungszustandstate of entertainment
1515: Umschaltvorschlagswitching suggestion
1616: Ausgabevorrichtungdispenser
1717: Datenverarbeitungsvorrichtungdata processing device

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

JP2007047486A [0003]

Claims

Method for entertaining a passenger (1a, 1b) of a vehicle (2), comprising the following steps: - Audio output (12) for entertainment of at least one passenger (1a, 1b) of the vehicle (2); - detecting an entertainment state (14) of the at least one passenger (1a, 1b) during the audio output (12); and - automatically initiating a change from a non-karaoke mode to a karaoke mode during the audio output (12) if an entertainment size associated with the detected entertainment state (14) corresponds to a predetermined condition.

procedure after claim 1 , wherein - the initiation of the change includes the output of a changeover suggestion (15) perceptible to the at least one passenger (1a, 1b), or - the initiation of the change is an automatic shifting operation.

Method according to one of the preceding claims, wherein - The detection of the conversational state (14) includes detecting the facial expressions, the gestures and/or the voice of the at least one passenger (1a, 1b).

Method according to one of the preceding claims, wherein - The entertainment status (14) is detected by evaluating input signals from an interior camera (4) of the vehicle (2) and/or an interior microphone (5) of the vehicle (2).

Method according to one of the preceding claims, wherein - the initiation of the change is determined depending on the identity of the at least one passenger (1a, 1b), the time, the location of the vehicle (2) and/or the driving situation.

Method according to one of the preceding claims, wherein - the respective entertainment state (14) of a plurality of passengers (1a, 1b) is detected in response to the audio output (12); and - causing the change from the non-karaoke mode to the karaoke mode is individual for each of the plurality of passengers (1a, 1b) such that causing the change depends on the audio output (12) and the detected respective entertainment state (14) of one of the plurality of passengers (1a, 1b).

procedure after claim 6 , wherein - a switching from the non-karaoke mode to an individual karaoke mode is caused for each of the plurality of passengers (1a, 1b).

A method according to any one of the preceding claims, comprising - exiting the karaoke mode, the exiting of the karaoke mode being dependent on the audio output (12) and the conversation state (14) detected.

An entertainment device (10) for entertaining a passenger (1a, 1b) of a vehicle (2), comprising - an audio output device (11) for audio output (12) for the entertainment of at least one passenger (1a, 1b) of the vehicle (2); and - a detection device (13) for detecting an entertainment state (14) of the at least one passenger (1a, 1b); whereby - the entertainment device (10) is set up to automatically cause a change from a non-karaoke mode to a karaoke mode during the audio output (12) if an entertainment size assigned to the recorded entertainment state (14) corresponds to a predetermined condition.

Vehicle (2) comprising an entertainment device (10). claim 9 .