DE102017213249A1 - Method and system for generating an auditory message in an interior of a vehicle - Google Patents

Method and system for generating an auditory message in an interior of a vehicle Download PDF

Info

Publication number
DE102017213249A1
DE102017213249A1 DE102017213249.3A DE102017213249A DE102017213249A1 DE 102017213249 A1 DE102017213249 A1 DE 102017213249A1 DE 102017213249 A DE102017213249 A DE 102017213249A DE 102017213249 A1 DE102017213249 A1 DE 102017213249A1
Authority
DE
Germany
Prior art keywords
vehicle
voice
occupant
interior
auditory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017213249.3A
Other languages
German (de)
Inventor
Alexander Augst
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102017213249.3A priority Critical patent/DE102017213249A1/en
Publication of DE102017213249A1 publication Critical patent/DE102017213249A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20Automatic control
    • H03G3/30Automatic control in amplifiers having semiconductor devices
    • H03G3/32Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs, das Verfahren umfassend: Erfassen eines Parameters eines akustischen Inhalts durch einen Sensor in dem Innenraum des Fahrzeugs; und Erzeugen einer auditiven Meldung abhängig von dem erfassten Parameter des akustischen Inhalts durch eine Recheneinheit des Fahrzeugs.The invention relates to a method for generating an auditory message in an interior of a vehicle, the method comprising: detecting a parameter of an acoustic content by a sensor in the interior of the vehicle; and generating an auditory message dependent on the detected parameter of the acoustic content by a computing unit of the vehicle.

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs. Des Weiteren betrifft die Erfindung ein System zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs umfassend zumindest eine ins Fahrzeug verbaute oder mit dem Fahrzeug mitgeführtes Mittel. Des Weiteren betrifft die Erfindung ein korrespondierendes Computerprogramm und ein korrespondierendes entsprechend eingerichtetes mobiles Anwendergerät.The invention relates to a method for generating an auditory message in an interior of a vehicle. Furthermore, the invention relates to a system for generating an auditory message in an interior of a vehicle comprising at least one means built into the vehicle or carried by the vehicle. Furthermore, the invention relates to a corresponding computer program and a corresponding appropriately configured mobile user device.

Audiosysteme in Fahrzeugen haben einen Lautstärkeregler, mit dem die Lautstärke einer Audioausgabe durch einen Fahrer des Fahrzeugs angepasst werden kann. Aus dem Stand der Technik bekannt sind ferner Systeme, die beispielsweise dynamisch die Lautstärke der Audioausgabe bei einer erhöhten Geräuschkulisse in einem Innenraum des Fahrzeugs anpassen. Ebenfalls aus dem Stand der Technik bekannt sind Audiosysteme, die bei Meldungen des Fahrzeugs, z.B. bei Meldungen eines Bordcomputers oder eines Navigationssystems des Fahrzeugs, die Lautstärke der Audioausgabe dynamisch anpassen.Vehicle audio systems have a volume control that allows the volume of an audio output to be adjusted by a driver of the vehicle. Also known from the prior art are systems which, for example, dynamically adjust the volume of the audio output at an increased noise level in an interior of the vehicle. Also well-known in the art are audio systems used in vehicle messages, e.g. in the event of an on-board computer or a navigation system of the vehicle, adjust the volume of the audio output dynamically.

Es ist daher eine Aufgabe der Erfindung, ein Erzeugen einer auditiven Meldung effizient zu verbessern. Insbesondere ist eine Aufgabe der Erfindung, eine effizientere Wahrnehmbarkeit einer auditiven Meldung in einem Fahrzeuginnenraum zu erreichen.It is therefore an object of the invention to efficiently improve generating an auditory message. In particular, it is an object of the invention to achieve a more efficient perceptibility of an auditory message in a vehicle interior.

Gelöst wird diese Aufgabe durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.This object is achieved by the features of the independent claims. Advantageous embodiments and modifications of the invention will become apparent from the dependent claims.

Gemäß einem ersten Aspekt zeichnet sich die Erfindung aus durch ein Verfahren zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs, z.B. eines Kraftfahrzeugs. Das Verfahren umfasst ein Erfassen, insbesondere ein Prädizieren, eines Parameters eines akustischen Inhalts durch einen oder mehrere Sensoren, z.B. einem Kamerasensor und/oder einem Mikrofonsensor, in dem Innenraum eines Fahrzeugs, und ein Erzeugen, insbesondere ein Anpassen oder ein Variieren, der auditiven Meldung abhängig von dem erfassten, insbesondere prädizierten Parameter des akustischen Inhalts in dem Innenraum des Fahrzeugs. Der akustischen Inhalt kann eine Stimme zumindest eines Insassen des Fahrzeugs und/oder ein Audiosignals im Innenraum des Fahrzeugs sein. Das Audiosignal kann dabei von einem Multimediasystem, auch Infotainmentsystem oder Head-Unit genannt, des Fahrzeugs oder von einem mobilen Anwendergerät verbreitet werden.According to a first aspect, the invention is characterized by a method for generating an auditory message in an interior of a vehicle, e.g. of a motor vehicle. The method comprises detecting, in particular predicting, a parameter of an acoustic content by one or more sensors, e.g. a camera sensor and / or a microphone sensor, in the interior of a vehicle, and generating, in particular adjusting or varying, the auditory message depending on the detected, in particular predicated parameter of the acoustic content in the interior of the vehicle. The acoustic content may be a voice of at least one occupant of the vehicle and / or an audio signal in the interior of the vehicle. The audio signal can be distributed by a multimedia system, also called infotainment system or head unit, of the vehicle or by a mobile user device.

Der besagter Parameter des akustischen Inhalts kann eine, z.B. zeitlich geordnete, Sequenz aus mehreren Parameterwerten, z.B. in Bezug auf die nahe Vergangenheit, etwa den aktuellen Zeitpunkt, und/oder eine Prädiktion für die nahe Zukunft, umfassen. Beispielsweise kann ein Parameter des akustischen Inhalts auch ein Maß der Veränderung der Werte eines bestimmten Parameterwerts im Verlauf der Zeit und/oder in Bezug auf ein auf den Raum bezogene Größe, z.B. Richtung oder Distanz repräsentieren. Zumindest ein Parameter des akustischen Inhalts kann im Verfahren auf Basis von Sensordaten, einer Historie, z.B. im Zusammenhang mit einer oder mehreren Kommunikationen im Fahrzeuginnenraum oder Kommunikationen mit Beteiligung bestimmter Personen und/oder unter Berücksichtigung einer Wahrscheinlichkeitsrechnung, ermittelt werden. Bevorzugt kann zumindest ein Parameter des akustischen Inhalts, insbesondere anhand eines Abgleichs bzw. Verrechnung einer Vielzahl der Parameter aus der Historie prädiziert werden.The said parameter of the acoustic content may be one, e.g. time-ordered, sequence of several parameter values, e.g. in terms of the near past, such as the current time, and / or a near future prediction. For example, a parameter of the acoustic content may also be a measure of the change in the values of a particular parameter value over time and / or in relation to a space-related quantity, e.g. Represent direction or distance. At least one parameter of the acoustic content may be included in the method based on sensor data, a history, e.g. in connection with one or more communications in the vehicle interior or communications involving certain persons and / or considering a probability calculation. Preferably, at least one parameter of the acoustic content, in particular based on an adjustment or billing of a plurality of the parameters from the history, can be predicted.

Die auditive Meldung kann eine in sprachlicher Form, z.B. in Form einer im Fahrzeug voreingestellten Sprache, auszugebende Information sein. Ferner kann die auditive Meldung eine nichtsprachliche Information umfassen bzw. sein, z.B. ein Ton, eine Folge von Tönen, oder Melodien. Ferner kann die auditive Meldung eine kombinierte Form mit unterschiedlichen Anteilen einer sprachlichen und nichtsprachlichen Information sein. Insbesondere ist es für die auditive Meldung kennzeichnend, dass die auditive Meldung einen, von zumindest einem Insassen des Fahrzeugs zu interpretierenden Inhalt beispielsweise in Bezug auf eine vorliegende Fahrt, einen Zustand des Fahrzeugs, oder einen Fahrkontext umfasst. Insbesondere wird die auditive Meldung innerhalb des Fahrzeugs abhängig von Informationen aus einem Fahrzeugbordnetzwerk erzeugt. Indem die auditive Meldung abhängig von Informationen aus dem Fahrzeugbordnetzwerk erzeugt wird, kann sich die auditive Meldung von einem gesendeten oder von einem Datenträger oder Datenstrom abgespielten Multimediainhalt unterscheiden. Beispielsweise kann die auditive Meldung ein vorgegebenes Audiosignal, eine Kombination von Audiosignalen, oder eine Kombination von Abschnitten eines Audiosignals sein, welches kennzeichnend für eine Warnung, eine Bestätigung, eine Fehlbedienung des Fahrzeugs, und/oder für eine Information ist, die kennzeichnend für eine automatisch erzeugte sprachliche Mitteilung innerhalb des Fahrzeugs ist.The auditory message may be in linguistic form, e.g. in the form of a vehicle preset language, information to be output. Further, the auditory message may include non-speech information, e.g. a sound, a sequence of sounds, or melodies. Furthermore, the auditory message may be a combined form having different proportions of linguistic and non-linguistic information. In particular, it is characteristic of the auditory message that the auditory message comprises a content to be interpreted by at least one occupant of the vehicle, for example in relation to a present trip, a state of the vehicle, or a driving context. In particular, the auditory notification is generated within the vehicle depending on information from a vehicle on-board network. By generating the auditory message in response to information from the vehicle on-board network, the auditory message may differ from a multimedia content being broadcast or played by a volume or data stream. For example, the auditory message may be a predetermined audio signal, a combination of audio signals, or a combination of portions of an audio signal indicative of a warning, acknowledgment, vehicle misoperation, and / or information indicative of an automatic generated linguistic communication within the vehicle.

Die auditive Meldung kann zusätzlich oder alternativ ein Warnsignal und/oder ein Sprachsignal eines mit dem Fahrzeug verbundenen, mobilen Anwendergeräts sein, z.B. ein Smartphone, ein Tablet, eine Smart-Watch, und/oder eine Augmented-Reality (AR) Brille. Es kann sich dabei um eine auf den Fahrkontext des Fahrzeugs bezogene auditive Meldung sein. Das mit dem Fahrzeug verbundene, mobile Anwendergerät kann beispielsweise über eine Schnittstelle des Fahrzeugs eine Information zu einem akustischen Inhalt von z.B. einem Mikrofon des Fahrzeugs empfangen und eine auditive Meldung erzeugen oder eine bereits erzeugte auditive Meldung anpassen. Insbesondere repräsentiert die auditive Meldung eine Information, die zumindest überwiegend für einen bestimmten Insassen, z.B. für den Fahrer des Fahrzeugs oder für die Insassen an bestimmten Sitzen, z.B. Vordersitzen oder Hintersitzen, des Fahrzeugs relevant ist.The auditory message may additionally or alternatively be a warning signal and / or a voice signal of a mobile user device connected to the vehicle, eg a smartphone, a tablet, a smart watch, and / or an augmented reality (AR) goggles. This may be an auditory message related to the driving context of the vehicle be. The mobile user device connected to the vehicle can, for example, receive information about an acoustic content of, for example, a microphone of the vehicle via an interface of the vehicle and generate an auditory message or adapt an already generated auditory message. In particular, the auditory message represents information that is at least predominantly relevant to a particular occupant, eg the driver of the vehicle or the occupants at certain seats, eg front seats or rear seats, of the vehicle.

Vorteilhafterweis kann eine auditive Meldung flexibel in Abhängigkeit vom im Innenraum eines Fahrzeugs erfasstem akustischem Inhalt erzeugt und/oder angepasst werden. Die auditive Meldung kann somit effizienter erzeugt und intelligenter bereitgestellt werden. Fahrzeuginsassen bekommen die auditive Meldung in Abhängigkeit von dem akustischen Inhalt ihrer Kommunikation bereitgestellt. Stellt der akustische Inhalt beispielsweise ein wichtiges Gespräch der Fahrzeuginsassen dar, kann ein Erzeugen der auditiven Meldung unterdrückt werden und zu einem späteren Zeitpunkt nachgeholt werden. Eine auditive Meldung kann derart angepasst werden, dass dabei eine, durch Töne, Sequenzen von Tönen, oder Melodien repräsentierte Information variiert wird. Alternativ oder zusätzlich können wiederum Töne, Sequenzen von Tönen, oder Melodien angepasst werden, die dabei eine im Wesentlichen unveränderte Information repräsentieren. Mit anderen Worten kann dieselbe Information, z.B. eine Fahrerinformation mit anderen, angepassten Tönen, Sequenzen von Tönen, oder Melodien ausgegeben werden. Dabei kann zumindest ein erstes Kriterium einer auditiven Meldung mit einer bestimmten Art oder einem bestimmten Inhalt angepasst werden, während zumindest ein zweites Kriterium, welches die auditive Meldung als auditive Meldung der bestimmten Art oder mit dem bestimmten Inhalt kennzeichnet, unverändert ausgeben oder verstärkt werden. Beispielsweise kann eine oder mehrere Frequenzen und/oder Amplituden, in welchen die Töne ausgegeben werden, angepasst werden, während eine Tonsequenz im Wesentlichen konstant bleibt. Somit ist die auditive Meldung durch die menschliche Wahrnehmung immer noch hinreichend wiedererkennbar bzw. interpretierbar.Advantageously, an auditory message can be flexibly generated and / or adapted depending on the acoustic content detected in the interior of a vehicle. The auditory message can thus be generated more efficiently and provided more intelligently. Vehicle occupants get the auditory message depending on the acoustic content of their communication. For example, if the acoustic content represents an important conversation of the vehicle occupants, generating the auditory message may be suppressed and made up for later. An auditory message may be adapted to vary information represented by tones, sequences of tones, or melodies. Alternatively or additionally, in turn, tones, sequences of tones, or melodies can be adapted, which represent a substantially unchanged information. In other words, the same information, e.g. a driver information with other, adapted tones, sequences of tones, or tunes are output. In this case, at least a first criterion of an auditory message with a certain type or a specific content can be adapted, while at least a second criterion, which characterizes the auditory message as an auditory message of the particular kind or with the particular content, is issued or amplified unchanged. For example, one or more frequencies and / or amplitudes in which the tones are output may be adjusted while a tone sequence remains substantially constant. Thus, the auditory message through human perception is still sufficiently recognizable or interpretable.

Gemäß einer vorteilhaften Ausgestaltung kann der akustische Inhalt in dem Innenraum des Fahrzeugs eine Sprachmitteilung eines der Insassen des Fahrzeugs sein, und/oder der Parameter des akustischen Inhalts mittels einer Erkennung einer Kommunikationsbereitschaft zumindest eines Insassen des Fahrzeugs ermittelt werden. Durch das Erkennen der Kommunikationsbereitschaft kann das Erzeugen der auditiven Meldung bereits vor einer Sprachmitteilung eines Insassen angepasst bzw. variiert werden. Hiermit kann verhindert werden, dass eine auditive Meldung eine Kommunikation eines Fahrzeuginsassen unterbricht, wenn der Fahrzeuginsasse gerade zu sprechen beginnt.According to an advantageous embodiment, the acoustic content in the interior of the vehicle may be a voice message of one of the occupants of the vehicle, and / or the parameter of the acoustic content may be determined by detecting a readiness of communication of at least one occupant of the vehicle. By recognizing the willingness to communicate, the generation of the auditory message can already be adapted or varied before a voice message of an occupant. This can be prevented that an auditory message interrupts a communication of a vehicle occupant when the vehicle occupant begins to speak.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Verfahren ein Ermitteln einer Art und/oder einer Priorität des akustischen Inhalts in dem Innenraum des Fahrzeugs, und/oder ein Ermitteln einer Art und/oder einer Priorität einer zu erzeugenden, auditiven Meldung, und ein Erzeugen der auditiven Meldung abhängig von der ermittelten Art und/oder der ermittelten Priorität des akustischen Inhalts in dem Innenraum des Fahrzeugs und/oder der ermittelten Art und/oder der ermittelten Priorität der zu erzeugenden, auditiven Meldung umfassen. Hiermit kann das Erzeugen einer auditiven Mitteilung in Abhängigkeit einer Art und einer Priorität erfolgen. Das Erzeugen der auditiven Meldung kann dynamisch nach ihrer Wichtigkeit relativ zu dem akustischen Inhalt gesteuert werden.According to a further advantageous embodiment, the method may include determining a type and / or a priority of the acoustic content in the interior of the vehicle, and / or determining a type and / or a priority of an auditory message to be generated, and generating the auditory message depending on the determined type and / or the ascertained priority of the acoustic content in the interior of the vehicle and / or the determined type and / or the determined priority of the auditory message to be generated. This can be used to generate an auditory communication depending on a type and a priority. The generation of the auditory message may be controlled dynamically according to its importance relative to the acoustic content.

Besonders bevorzugt wird im Verfahren ein Abgleich eines oder mehrerer Parameter des akustischen Inhalts repräsentierend seine Art und/oder eine vorgegebene oder ein aus der Art des akustischen Inhalts ermittelten Prioritätsmaß des akustischen Inhalts, eines oder mehrerer Parameter mit einer auszugebenden, auditiven Meldung repräsentierend seine Art und/oder eine vorgegebene oder aus der Art der auszugebenden auditiven Meldung ermittelten Prioritätsmaß der auszugebenden auditiven Meldung ausgeführt. Ein solcher Abgleich der zumindest zwei Prioritätsmaße kann beispielsweise nach einer vorgegebenen Vorschrift, Logik, Zuordnungstabelle, etc. ausgeführt werden. Dabei kann ein im Verfahren ermitteltes bzw. verarbeitetes Prioritätsmaß zumindest eine jeweilige „Wichtigkeit“ und/oder zumindest eine „Eiligkeit“ kennzeichnen. Beispielsweise können im Verfahren, beispielsweise bei einem akustischen Inhalt mit etwa durchschnittlichen Parametern, auditiven Meldungen die folgende Prioritätskennungen haben:

  • - „Wichtig“, und „Eilig“;
  • - „Wichtig“ aber nicht „Eilig“;
  • - „Eilig“ aber nicht „Wichtig“;
  • - nicht „Eilig“ und nicht „Wichtig“;
unterschiedlich behandelt werden.Particularly preferred in the method is a comparison of one or more parameters of the acoustic content representing its type and / or a predetermined or determined from the nature of the acoustic content priority measure of the acoustic content, one or more parameters with an auditory message to be issued representing its nature and / or a predetermined or determined from the nature of the auditory message issued priority measure the issued auditory message. Such a comparison of the at least two priority measures can be carried out, for example, according to a prescribed rule, logic, assignment table, etc. In this case, a priority measure determined or processed in the method can identify at least one respective "importance" and / or at least one "urgency". For example, in the method, for example, an audible content with approximately average parameters, auditory messages may have the following priority identifiers:
  • - "Important", and "urgent";
  • - "important" but not "urgent";
  • - "urgent" but not "important";
  • - not "urgent" and not "important";
be treated differently.

Abhängig von dem Abgleich der eingelesenen, ermittelten, oder geschätzten Prioritätsmaße kann ein Anpassen der auszugebenden, auditiven Meldung erfolgen. Dabei kann der Zeitpunkt der Ausgabe und/oder zumindest ein, insbesondere akustischer Parameter bei der Ausgabe der auditiven Meldung variiert werden. Beispielsweise kann, wenn nur ein kurzes Zeitintervall zwischen einer sprachlichen Kommunikation erkannt oder prädiziert wird, eine auditive Meldung zum passenden Zeitintervall ausgegeben werden. In diesem Falle wird zumindest der Zeitpunkt oder ein Zeitintervall der Ausgabe der auditiven Meldung angepasst. Ferner kann das Verfahren auch den Zeitpunkt, zu dem die Ausgabe der auditiven Meldung beendet werden soll, und/oder das Zeitintervall der Ausgabe der auditiven Meldung anpassen. Insbesondere kann die auditive Meldung passend zu einem zur Verfügung stehenden Zeitintervall innerhalb einer Kommunikation zwischen den zumindest zwei Insassen des Fahrzeugs platziert bzw. geplant werden. Beispielsweise kann diese zwischen zwei Phrasen eines Sprechers oder einer Phrase eines Sprechers ausgegeben werden, wobei ein Zeitintervall bis zu einer erwarteten Erwiderung der Phrase durch einen anderen Insassen als hinreichend ermittelt, prädiziert, bzw. geschätzt wird. Ferner kann abhängig von dem Abgleich der besagten Parameter eine zur Ausgabe als eine akustische Meldung bestimmte Information alternativ oder zusätzlich als eine visuelle Meldung, z.B. Bild, Grafik, Text oder Symbol oder eine haptische Meldung, z.B. Vibration ausgegeben werden.Depending on the alignment of the read, determined or estimated priority measures, an adaptation of the auditory message to be output can take place. In this case, the time of the output and / or at least one, in particular acoustic parameters in the output of the auditory message can be varied. For example, if only a short time interval between a linguistic Communication is detected or predicated, an auditory message is issued at the appropriate time interval. In this case, at least the time or a time interval of the output of the auditory message is adjusted. Further, the method may also adjust the time at which the auditory message is to be ended and / or the auditory message time interval. In particular, the auditory message may be appropriately placed or scheduled within an available time interval within a communication between the at least two occupants of the vehicle. For example, it may be output between two phrases of a speaker or a speaker's phrase, with a time interval until an expected response of the phrase by another occupant being sufficiently determined, predicted, or estimated. Further, depending on the adjustment of the said parameters, information intended for output as an audible message can alternatively or additionally be output as a visual message, eg image, graphic, text or symbol or a haptic message, eg vibration.

Beispielsweise kann, falls aus dem Abgleich der Parameter ermittelt wird, dass das akustische Inhalt eine insgesamt höhere Priorität als die akustische Meldung erhalten soll, die auditive Meldung unterdrückt oder zu einem späteren Zeitpunkt und/oder mit veränderten Parameter ausgegeben werden. Beispielsweise kann, falls aus dem Abgleich der Prioritätsmaße ermittelt wird, dass eine bestimmte auditive Meldung ein insgesamt höheres Prioritätsmaß als ein bestimmter akustische Inhalt inne hat, die auditive Meldung mit einem veränderten Parameter, z.B. lauter oder vorwiegend aus einem anderen Lautsprecher, ausgegeben werden und zusätzlich eine visuelle bzw. grafische und/oder haptische Meldung ausgegeben werden. Es kann im Verfahren eine oder mehrere auditive Meldungen auf dieser Basis erzeugt werden, wobei die Zeitpunkte für ihre Ausgabe derart gewählt werden, dass diese hinsichtlich des Ausgabezeitintervalls im Wesentlichen zwischen zwei weiteren akustischen Inhalten, bzw. Amplitudenmaxima von zwei akustischen Inhalten passt.For example, if it is determined from the adjustment of the parameter that the acoustic content is to receive an overall higher priority than the acoustic message, the auditory message can be suppressed or output at a later time and / or with changed parameters. For example, if it is determined from the alignment of the priority measures that a particular auditory message has an overall higher priority measure than a certain auditory content, the auditory message may be associated with a changed parameter, e.g. louder or predominantly from another loudspeaker, and in addition a visual or graphical and / or haptic message are output. In the method, one or more auditory messages can be generated on this basis, wherein the times for their output are selected such that, in terms of the output time interval, they essentially fit between two further acoustic contents or amplitude maxima of two acoustic contents.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Erzeugen der auditiven Meldung unterdrückt werden, falls ein Kommunikationsvorhaben eines Insassen des Fahrzeugs von einem Kamerasensor des Fahrzeugs erkannt wird, eine Stimme eines Insassen des Fahrzeugs von einem Mikrofonsensor erfasst wird, und/oder eine Ausgabe eines Multimedia-Audiosignals vorliegt. Alternativ kann die auditive Meldung in vorzugsweise aktualisierter Form erzeugt werden, wenn mit Mitteln des Fahrzeugs, umfassend zumindest eine Recheneinheit, z.B. in einem Steuergerät des Fahrzeugs ermittelt wird, dass das Kommunikationsvorhaben des Insassen nicht mehr vorliegt, und/oder die Stimme des Insassen in dem Innenraum des Fahrzeugs nicht mehr ertönt, und/oder zumindest eine Pause eines aktuell wiedergegebenen Audiosignal vorliegt. Hiermit kann das Erzeugen der auditiven Meldung effizient und kontextabhängig gesteuert werden.According to a further advantageous embodiment, the generation of the auditory message can be suppressed if a communication intention of an occupant of the vehicle is detected by a camera sensor of the vehicle, a voice of an occupant of the vehicle is detected by a microphone sensor, and / or an output of a multimedia device. Audio signal is present. Alternatively, the auditory message may be generated in preferably updated form when using means of the vehicle comprising at least one computing unit, e.g. is determined in a control unit of the vehicle that the communication project of the occupant is no longer present, and / or the voice of the occupant in the interior of the vehicle no longer sounds, and / or at least a pause of a currently reproduced audio signal is present. This can be used to control the generation of the auditory message efficiently and context-dependent.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann der akustische Inhalt eine Stimme eines Insassen des Fahrzeugs sein, und das Erzeugen der auditiven Meldung abhängig von der Stimme zumindest eines Insassen des Fahrzeugs und/oder abhängig von der Stimme eines Insassen an einem bestimmten Sitzplatz in dem Innenraum des Fahrzeugs erfolgen. Hiermit kann das Erzeugen der auditiven Meldung personalisiert auf eine oder mehrere bestimmte Personen erfolgen.According to a further advantageous embodiment, the acoustic content may be a voice of an occupant of the vehicle, and generating the auditory message depending on the voice of at least one occupant of the vehicle and / or depending on the voice of an occupant at a particular seat in the interior of the vehicle Vehicle done. This can be used to generate the auditory message personalized to one or more specific persons.

Gemäß einer weiteren, vorteilhaften Ausgestaltung der akustische Inhalt ein Multimediainhalt sein, und/oder der akustische Inhalt mittels einer Analyse einer Audio-Datenstroms vor einer Wiedergabe des Audio-Datenstroms prädiziert werden. Hiermit kann das Erzeugen der auditiven Meldung in Abhängigkeit eines vorzugsweise prädizierten akustischen Inhalts eines Audio-Datenstroms gesteuert werden. Die Erzeugung der auditiven Meldung kann somit in Abhängigkeit von Merkmalen eines Audio-Datenstroms und damit in Abhängigkeit des aktuell ausgegebenen und/oder zukünftig auszugebenden Audio-Datenstroms, z.B. ein Musik-Datenstrom, im Innenraum des Fahrzeugs angepasst werden.According to a further advantageous embodiment, the acoustic content may be a multimedia content, and / or the acoustic content may be predicted by means of an analysis of an audio data stream prior to a reproduction of the audio data stream. This can be used to control the generation of the auditory message as a function of a preferably predicted acoustic content of an audio data stream. The generation of the auditory message can thus be dependent on characteristics of an audio data stream and thus depending on the currently output and / or future output audio data stream, e.g. a music data stream to be customized in the interior of the vehicle.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann die Stimme eine Personenstimme, insbesondere eine Stimme einer vorbekannten Person oder einer Stimme zugehörig zu einer Personengruppe in dem Innenraum des Fahrzeugs, sein, und das Erzeugen der auditiven Meldung abhängig von einem Erkennen der Stimme der vorbekannten Person oder einer Stimme zugehörig zu der Personengruppe in dem Innenraum des Fahrzeugs erfolgen. Hiermit kann das Erzeugen der auditiven Meldung personen- und/oder personengruppenbasiert erfolgen. Das Erzeugen der auditiven Meldung kann somit individualisiert gesteuert werden.According to a further advantageous embodiment, the voice may be a person's voice, in particular a voice of a previously known person or a voice belonging to a group of people in the interior of the vehicle, and generating the auditory message depending on a recognition of the voice of the known person or one Voice belonging to the group of people in the interior of the vehicle done. This can be used to generate the auditory message based on person and / or person group. The generation of the auditory message can thus be controlled individually.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Erfassen des Parameters des akustischen Inhalts ein Prädizieren des akustischen Inhalts mittels eines Erkennens eines Kommunikationsvorhabens zumindest eines Insassen des Fahrzeugs durch einen Kamerasensor des Fahrzeugs umfassen, und/oder das Erkennen ein Erkennen einer Lippenbewegung des zumindest einen Insassen und/oder ein Erkennen einer körperlichen Regung des zumindest einen Insassen mittels des Kamerasensors umfassen. Hiermit kann das Erzeugen der auditiven Meldung kommunikationsgestenbasiert erfolgt. Ein Erzeugen und Ausgeben einer auditiven Meldung gleichzeitig mit einer sprachlichen Kommunikation eines Fahrzeuginsassen kann effizient verhindert werden.According to a further advantageous embodiment, the detection of the parameter of the acoustic content may include predicting the acoustic content by detecting a communication project of at least one occupant of the vehicle by a camera sensor of the vehicle, and / or recognizing recognizing a lip movement of the at least one occupant and or detect a physical movement of the at least one occupant by means of the camera sensor. This can be used to generate the auditory message based on communication gestures. Generating and outputting an auditory Message simultaneously with a linguistic communication of a vehicle occupant can be efficiently prevented.

Gemäß einer weiteren vorteilhaften Ausgestaltung kann das Verfahren ein Einlernen eines oder mehrerer Schlüsselwörter, Wortsequenzen und/oder mimischer Muster zumindest eines Insassen, z.B. mit Mitteln des Fahrzeugs, insbesondere durch eine Recheneinheit des Fahrzeugs, und ein Erkennen einer Kommunikationsbereitschaft und/oder einer Relevanz des erfassten akustischen Inhalts in Abhängigkeit der eingelernten Schlüsselwörter, Wortsequenzen und/oder mimischer Muster des zumindest einen Insassen, und/oder ein Anpassen eines oder mehrerer Parameter der akustischen Meldung in Abhängigkeit der eingelernten Schlüsselwörter, Wortsequenzen und/oder mimischer Muster des zumindest einen Insassen umfassen. Hiermit kann sich das Fahrzeug der Umgebung und insbesondere an eine Kommunikationssituation eines oder mehrerer Insassen im Innenraum des Fahrzeugs anpassen, so dass das Fahrzeug erlernen kann, wann eine auditive Meldung in Abhängigkeit der Kommunikationssituation ausgegeben werden soll.According to a further advantageous embodiment, the method may include teaching one or more keywords, word sequences and / or mimic patterns of at least one occupant, e.g. with means of the vehicle, in particular by an arithmetic unit of the vehicle, and recognizing a willingness to communicate and / or a relevance of the detected acoustic content depending on the learned keywords, word sequences and / or mimic pattern of the at least one occupant, and / or adjusting one or several parameters of the acoustic message depending on the learned keywords, word sequences and / or mimic pattern of at least one occupant include. This allows the vehicle to adapt to the environment and in particular to a communication situation of one or more occupants in the interior of the vehicle, so that the vehicle can learn when an auditory message is to be output depending on the communication situation.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Verfahren ein Einlernen einer Stimme und/oder einer körperlichen Regung zumindest eines sprechenden Insassen des Fahrzeugs zu einem oder mehreren Zeitintervallen, und ein Anpassen der akustischen Meldung auf die Stimme des zumindest einen sprechenden Insassen falls die Stimme des zumindest einen sprechenden Insassen zu einem oder mehreren späteren Zeitintervallen, z.B. durch die Recheneinheit, insbesondere das Steuergerät des Fahrzeugs wiedererkannt wird, umfassen. Hiermit kann sich das Fahrzeug der Umgebung und insbesondere an eine Kommunikationssituation eines oder mehrerer Insassen im Innenraum des Fahrzeugs anpassen, so dass das Fahrzeug erlernen kann, wann und wie eine auditive Meldung ausgegeben werden soll.According to a further advantageous embodiment, the method may include training a voice and / or a physical impulse of at least one speaking occupant of the vehicle at one or more time intervals, and adapting the acoustic message to the voice of the at least one speaking occupant if the voice of the at least a speaking occupant at one or more later time intervals, eg is recognized by the arithmetic unit, in particular the control unit of the vehicle. This allows the vehicle to adapt to the environment and in particular to a communication situation of one or more occupants in the interior of the vehicle, so that the vehicle can learn when and how an auditory message is to be output.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann die Stimme des zumindest einen sprechenden Insassen in dem Innenraum des Fahrzeugs von einer Stimme aus einem Multimediaabspielgerät, insbesondere einem Infotainmentsystem des Fahrzeugs und/oder einem mit dem Fahrzeug gekoppelten Multimediaabspielgerät, unterschieden werden. Hiermit kann die Erkennung einer Person durch das Fahrzeug effizient verbessert werden.According to a further advantageous embodiment, the voice of the at least one speaking occupant in the interior of the vehicle can be distinguished from a voice from a multimedia player, in particular an infotainment system of the vehicle and / or a multimedia player coupled to the vehicle. This can efficiently improve the recognition of a person by the vehicle.

In einem Beispiel des Verfahrens kann die auditive Meldung kann, z.B. eine Fahrerinformation sein, insbesondere eine auf Basis einer sensorisch erfassten Information aus der Umgebung des Fahrzeugs auszugebende Information. Eine solche Information kann einen aktuellen oder prädizierten Abstand und/oder ein Kollisionsrisiko zu einem oder mehreren Objekten in der Umgebung des Fahrzeugs kennzeichnen. Beispielsweise kann die auditive Meldung ein auszugebendes akustisches Signal umfassen, welches aufgrund der Annäherung zu einem Hindernis in der Umgebung des Fahrzeugs erzeugt wird. Ein solches Signal kann aus einem Park- oder Rangiersystem des Fahrzeugs erzeugt werden.In one example of the method, the auditory message may be, e.g. be a driver information, in particular a based on a sensorially detected information to be output from the environment of the vehicle information. Such information may indicate a current or predicted distance and / or risk of collision with one or more objects in the environment of the vehicle. For example, the auditory message may include an audible signal to be output that is generated due to approaching an obstacle in the vicinity of the vehicle. Such a signal may be generated from a parking or shunting system of the vehicle.

Insbesondere handelt es sich bei dem „akustischen Inhalt“ um zwei oder mehrere im Innenraum des Fahrzeugs deutlich hörbare akustische Einwirkungen. Bevorzugt wird im Verfahren ein kumulierter akustischer Inhalt ermittelt bzw. prädiziert. Dabei können im Verfahren die einzelnen Inhalte des akustischen Inhalts (zumindest grob) voneinander unterschieden und unterschiedlich, z.B. mit einer vorausdefinierter, unterschiedlicher Gewichtung und/oder logischen Vorschriften, im Verfahren berücksichtigt werden. Beispielsweise kann eine Anpassung der auditiven Meldung an ein plötzlich ertönendes Geräusch bewusst stärker als an eine im Wesentlichen gleichlaute Hintergrundmusik ausgeprägt sein.In particular, the "acoustic content" is two or more clearly audible acoustic effects in the interior of the vehicle. In the method, a cumulative acoustic content is preferably determined or predicted. In this case, in the method, the individual contents of the acoustic content (at least roughly) can be distinguished from each other and different, e.g. with a predefined, different weighting and / or logical rules, to be considered in the procedure. For example, an adaptation of the auditory message to a sudden sound may deliberately be more pronounced than to a substantially similar background music.

Es kann im Verfahren eine oder mehrere auditive Meldungen auf dieser Basis erzeugt werden, wobei die Amplitude, Frequenzparameter, Tonsequenzen, Zeitverlaufsparameter, wie z.B. Parameter der sogenannten Umhüllenden (sogenannte „Envelope“), Anstiegsparameter und/oder Abklingparameter, ein sogenannter Dynamikumfang, angepasst werden. Diese können derart bestimmt werden, dass sich eine hinreichende Wahrnehmbarkeit der auditiven Meldungen und/oder eine reduzierte Störung weiterer akustischer Inhalte ergeben.In the method, one or more auditory messages may be generated based on this, wherein the amplitude, frequency parameters, tone sequences, timing parameters, such as, e.g. Parameters of the so-called envelope (so-called "Envelope"), increase parameters and / or decay parameters, a so-called dynamic range to be adjusted. These can be determined in such a way that a sufficient perceptibility of the auditory messages and / or a reduced disturbance of further acoustic content result.

Dabei können beispielsweise auch Töne, Tonsequenzen eines Fahrzeugsystems derart angepasst werden, dass diese auch bei einem wesentlich erhöhten aktuellen oder prädizierten akustischen Inhalt hinreichend wahrnehmbar sind und/oder die auditive Meldung dennoch Merkmale umfasst, die zur Zuordnung der auditiven Meldung zu dem bestimmten System des Fahrzeugs bzw. zu der bestimmten Art des Inhalts der auditiven Meldung bzw. der darin enthaltenen Information erlauben.In this case, for example, sounds, sound sequences of a vehicle system can be adapted so that they are sufficiently perceptible even with a significantly increased current or predicted acoustic content and / or the auditory message yet includes features that are used to assign the auditory message to the particular system of the vehicle or to the particular type of content of the auditory message or information contained therein.

Die Anpassung der zumindest einer auditiven Meldung kann nach einem oder mehreren vorausbestimmten Kriterien, z.B. den Nutzereinstellungen, erfolgen.
Bevorzugt repräsentiert zumindest ein Kriterium zur Anpassung zumindest eines Parameters der auditiven Meldung eine hinreichende Hörbarkeit und/oder Wahrnehmbarkeit und/oder akustische Verständlichkeit. Eine solche Wahrnehmbarkeit bzw. Hörbarkeit bzw. Verständlichkeit kann beispielsweise unter Einsatz eines psychoakustischen Modells einer menschlichen akustischen Wahrnehmung, insbesondere in Bezug auf einen bestimmten Insassen, ermittelt und im Verfahren berücksichtigt werden.
The adaptation of the at least one auditory message can be carried out according to one or more predetermined criteria, for example the user settings.
At least one criterion for adapting at least one parameter of the auditory message preferably represents sufficient audibility and / or perceptibility and / or audible intelligibility. Such perceptibility or audibility or intelligibility can be achieved, for example, by using a psychoacoustic model of a human acoustic perception, in particular in Reference to a specific occupant, identified and taken into account in the procedure.

Ein weiteres Kriterium kann zumindest eine Fahrzeugeinstellung oder eine Nutzereinstellung sein, die z.B. einem Sitzplatz oder einem Nutzerprofil eines Insassen zugeordnet werden kann. Dieses kann beispielsweise repräsentieren, in welchem Maße eine auditive Meldung, insbesondere eine auditive Meldung einer bestimmten Art und/oder Priorität, hörbar sein soll. Dabei können auch bestimmte Wahrnehmungseigenschaften zumindest einer bestimmten Person, z.B. Parameter repräsentierend ein Audiogramm eines bestimmten Insassen, berücksichtigt werden.Another criterion may be at least one vehicle setting or user setting, e.g. a seat or a user profile of an occupant can be assigned. This can represent, for example, the extent to which an auditory message, in particular an auditory message of a certain type and / or priority, should be audible. Certain perception characteristics of at least one particular person, e.g. Parameter representing an audiogram of a particular occupant, be taken into account.

Besonders bevorzugt kann im Verfahren eine Regelung eines oder mehrerer Parameter der auditiven Meldung ausgeführt werden, wobei ein Sollwert der Regelung abhängig von einer vorgegebenen Hörbarkeit und/oder akustischen Wahrnehmbarkeit einer auditiven Meldung und/oder eines akustischen Inhalts gewählt, insbesondere laufend angepasst wird.Particularly preferably, in the method, a control of one or more parameters of the auditory message can be performed, wherein a target value of the control is selected depending on a given audibility and / or acoustic perceptibility of an auditory message and / or an acoustic content, in particular continuously adapted.

Das Erzeugen einer auditiven Meldung kann im Verfahren derart durchgeführt werden, dass Steuerungssignale, zur Steuerung des Audiosystems oder des Bordcomputers oder des Systems des Fahrzeugs, z.B. des Multimediasystems des Fahrzeugs, auf dessen Basis die auditive Meldung erzeugt wird, ermittelt werden. Das Erzeugen der auditiven Meldung umfasst im Verfahren auch eine sinngemäße Anpassung einer bereits erzeugten, oder anhand der bereits vorliegenden, zwischengespeicherten Informationen, zu der auszugebenden auditiven Meldung. Dabei kann das Verfahren auf das Erzeugen einer mit der auditiven Meldung auszugebenden Information, auf das Erzeugen eines zugrundeliegenden Datensatzes und/oder auf die Ausgabe der auditiven Meldung durch ein Fahrzeugsystem angewandt werden. Mit anderen Worten umfasst das Erzeugen der auditiven Meldung ein Anpassen einer zu erzeugenden bzw. auszugebenden auditiven Meldung.The generation of an auditory message may be performed in the method such that control signals for controlling the audio system or the onboard computer or the system of the vehicle, e.g. the multimedia system of the vehicle on the basis of which the auditory message is generated. In the method, the generation of the auditory message also includes an analogous adaptation of an already generated or, based on the already present, cached information, to the auditory message to be output. In this case, the method can be applied to the generation of information to be output with the auditory message, to the generation of an underlying data record and / or to the output of the auditory message by a vehicle system. In other words, generating the auditory message involves adjusting an auditory message to be generated.

Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein System zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs. Das System umfasst einen Sensor, der dazu ausgebildet ist, einen Parameter eines akustischen Inhalts in dem Innenraum des Fahrzeugs zu erfassen, und ein Mittel des Fahrzeugs, umfassend zumindest eine ins Fahrzeug verbaute oder befestigte Recheneinheit, insbesondere ein Steuergerät des Fahrzeugs, das dazu ausgebildet ist, eine auditiven Meldung abhängig von dem erfassten Parameter des akustischen Inhalts zu erzeugen. Ferner kann die Recheneinheit, insbesondere das Steuergerät des Fahrzeugs dazu ausgebildet sein, das oben beschriebene Verfahren auszuführen.According to a further aspect, the invention is characterized by a system for generating an auditory message in an interior of a vehicle. The system comprises a sensor which is designed to detect a parameter of an acoustic content in the interior of the vehicle, and a means of the vehicle, comprising at least one computing unit installed or mounted in the vehicle, in particular a control unit of the vehicle, which is designed for this purpose to generate an auditory message depending on the detected parameter of the acoustic content. Furthermore, the arithmetic unit, in particular the control unit of the vehicle, can be designed to carry out the method described above.

Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein Computerprogramm, insbesondere ein Computerprogrammprodukt umfassend das Computerprogramm, wobei das Computerprogramm ausgebildet ist, bei seiner Ausführung auf einer Recheneinheit einen wesentlichen Teil des erfindungsgemäßen Verfahrens oder eine vorteilhafte Ausgestaltung des Verfahrens gemäß einem oder mehrerer weiterer Merkmale des Verfahrens durchzuführen. Insbesondere handelt es sich bei dem Computerprogramm um ein Computerprogramm, welches beispielsweise als eine App bzw. Applikation auf einer, im Fahrzeug verbauten oder mitführbaren Vorrichtung umfassend zumindest eine Recheneinheit, lauffähig ist.According to a further aspect, the invention is characterized by a computer program, in particular a computer program product comprising the computer program, wherein the computer program is designed, when executed on a computer unit, an essential part of the method according to the invention or an advantageous embodiment of the method according to one or more further features of the procedure. In particular, the computer program is a computer program which, for example, can run as an app or application on a device installed or to be carried in the vehicle, comprising at least one arithmetic unit.

Das Computerprogramm bzw. Computerprogrammprodukt umfasst dabei einen ausführbaren Programmcode, der bei einer Ausführung durch eine Vorrichtung umfassend eine Recheneinheit, zumindest einen Teil des Verfahrens gemäß einem vorliegend beschriebenen Aspekt oder eine vorteilhafte Ausgestaltung des vorliegend beschriebenen Verfahrens ausführt. Das Computerprogrammprodukt kann dabei als ein Update eines bisherigen Computerprogramms ausgebildet sein, welches beispielsweise im Rahmen einer Funktionserweiterung, beispielsweise im Rahmen eines sogenannten „Remote Software Update“ die Teile des Computerprogramms bzw. des entsprechenden Programmcode für eine Vorrichtung des Fahrzeug umfasst.The computer program or computer program product in this case comprises an executable program code, which executes in an embodiment by a device comprising a computing unit, at least part of the method according to an aspect described herein or an advantageous embodiment of the method described herein. The computer program product can be designed as an update of a previous computer program, which includes, for example as part of a functional extension, for example in the context of a so-called "remote software update" the parts of the computer program or the corresponding program code for a device of the vehicle.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalkombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren allein gezeigten Merkmale und Merkmalkombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.Further features of the invention will become apparent from the claims, the figures and the description of the figures. All features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively indicated combination but also in other combinations or alone.

Im Folgenden wird anhand der beigefügten Zeichnungen ein bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Daraus ergeben sich weitere Details, bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung. Im Einzelnen zeigen schematisch

  • 1 ein beispielhaftes Verfahren zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs, und
  • 2 ein beispielhaftes System zum Erzeugen eines auditiven Meldung in einem Innenraum eines Fahrzeug.
Hereinafter, a preferred embodiment of the invention will be described with reference to the accompanying drawings. This results in further details, preferred embodiments and further developments of the invention. In detail, show schematically
  • 1 an exemplary method for generating an auditory message in an interior of a vehicle, and
  • 2 an exemplary system for generating an auditory message in an interior of a vehicle.

Im Detail zeigt 1 ein Verfahren 100 zum Erzeugen einer auditiven Meldung im Innenraum eines Fahrzeugs. Das Verfahren 100 kann einen Parameter eines akustischen Inhalts durch einen Sensors, z.B. durch einen oder mehrere Mikrofonsensoren oder durch eine oder mehrere Kamerasensoren, in einem Innenraum ermitteln 102. Der akustische Inhalt in dem Innenraum des Fahrzeugs kann beispielsweise eine Sprachnachricht bzw. eine Sprachmitteilung eines Insassen des Fahrzeugs sein. Ein Parameter des akustischen Inhalts kann kennzeichnend für einen Anfang oder ein Ende der Sprachmitteilung, einen Verlauf einer Lautstärke, und/oder eine Tonlage sein. Zusätzlich oder alternativ kann das Verfahren 100 einen Parameter eines akustischen Inhalts und/oder eine kommunikationsbezogenen Handlung bzw. ein Kommunikationsvorhaben eines Insassen des Fahrzeugs prädizieren. Abhängig von dem ermittelten oder dem prädizierten Parameter des akustischen Inhalts und/oder der prädizierten kommunikationsbezogenen Handlung kann einen auditive Mitteilung zur Ausgabe im Innenraum des Fahrzeugs erzeugt oder angepasst werden 104.In detail shows 1 a procedure 100 for generating an auditory message in the interior of a vehicle. The procedure 100 can one Determine parameters of an acoustic content by a sensor, for example by one or more microphone sensors or by one or more camera sensors in an interior 102 , The acoustic content in the interior of the vehicle may be, for example, a voice message or a voice message from an occupant of the vehicle. A parameter of the acoustic content may be indicative of a beginning or an end of the voice message, a progression of a volume, and / or a pitch. Additionally or alternatively, the method 100 Predict a parameter of an acoustic content and / or a communication-related action or a communication project of an occupant of the vehicle. Depending on the determined or the predicted parameter of the acoustic content and / or the predicated communication-related action, an auditory message for output in the interior of the vehicle can be generated or adapted 104 ,

Wenn ein Sensor des Fahrzeugs erfasst, dass beispielsweise ein Beifahrer des Fahrzeugs gerade spricht, anfängt zu sprechen oder durch eine Geste, Mimik oder eine andere kommunikationsbezogene Handlung beabsichtigt zu sprechen, kann das Erzeugen einer auditiven Meldung des Fahrzeugs an einen Fahrer des Fahrzeugs verzögert ausgegeben oder an die Kommunikationssituation angepasst werden. Das Anpassen der auditiven Meldung kann für ein vorgegebenes Zeitintervall vorgenommen werden. Nach einem Ablauf des vorgegebenen Zeitintervalls kann ein erneutes Anpassen der auditiven Meldung erfolgen. Beispielsweise kann die auditive Meldung hinsichtlich einer Lautstärke einer oder mehrerer Lautsprecher eines Audiosystems des Fahrzeugs angepasst werden.When a sensor of the vehicle detects that, for example, a passenger of the vehicle is just beginning to speak or intends to speak by a gesture, facial expression, or other communication-related action, generating an auditory message of the vehicle to a driver of the vehicle may be delayed adapted to the communication situation. The adjustment of the auditory message can be done for a given time interval. After a lapse of the predetermined time interval, a new adjustment of the auditory message can take place. For example, the auditory message regarding a volume of one or more speakers of an audio system of the vehicle can be adjusted.

Der akustische Inhalt sowie die auditive Meldung können hinsichtlich ihrer Art und/oder ihrer Priorität klassifiziert werden. Das Klassifizieren des akustischen Inhalts und der auditiven Meldung kann nach einem vorgegeben Schema erfolgen. Vorzugsweise werden der akustische Inhalt und die auditive Meldung nach dem gleichen Schema klassifiziert, so dass eine Vergleichbarkeit hinsichtlich der Wichtigkeit und/oder Dringlichkeit vorgenommen werden kann. In Abhängigkeit der ermittelten Art und/oder Priorität kann die Wichtigkeit und der Dringlichkeit der auditiven Meldung relativ zu dem akustischen Inhalt bestimmt werden und das Erzeugen der auditiven Meldung entsprechend angepasst werden.The acoustic content as well as the auditory message can be classified according to their type and / or their priority. The classification of the acoustic content and the auditory message can be done according to a predetermined scheme. Preferably, the acoustic content and the auditory message are classified according to the same scheme, so that comparability in terms of importance and / or urgency can be made. Depending on the type and / or priority determined, the importance and urgency of the auditory message relative to the auditory content may be determined and the generation of the auditory message adjusted accordingly.

Wenn beispielsweise ermittelt wird, dass der akustische Inhalt eine Sprachmitteilung eines Insassen ist, ein Lärm im Innenraum ist, ein Multimediainhalt im Innenraum ist, oder ein Geräusch eines mitgeführten Anwendergeräts, z.B. ein Handy-Klingelton, ist, kann das Erzeugen der auditiven Meldung entsprechend angepasst werden. Die auditive Meldung kann beispielsweise pausiert werden, verkürzt werden, weniger ausführliche Information umfassen, schneller gesprochen werden, und/oder in zumindest zwei oder mehr Teile aufgeteilt werden.For example, if it is determined that the acoustic content is a voice message of an occupant, an indoor noise, a multimedia content in the interior, or a sound of a carried user equipment, e.g. is a mobile ringtone, the generation of the auditory message may be adjusted accordingly. For example, the auditory message may be paused, shortened, include less detailed information, spoken faster, and / or split into at least two or more parts.

Handelt es sich bei der auditiven Meldung um eine Ausgabe eines Navigationssystems des Fahrzeugs, kann die Priorität der auditiven Meldung mit einer Priorität des akustischen Inhalts vergleichen werden. Ist die Priorität des akustischen Inhalts höher als die Priorität der auditiven Meldung, kann die auditive Meldung des Navigationssystems unterdrückt werden. Ist die Art der auditiven Meldung eine Wiedergabe eines Multimediainhalts und die Art des akustischen Inhalts ein Streitgespräch zwischen Fahrzeuginsassen, kann die Wiedergabe des Multimediainhalts pausiert oder gestoppt werden. Wenn die auditive Meldung eine dringende Audio-Mitteilung, d.h. eine Audio-Mitteilung mit einer hohen Priorität, wie z.B. bei einer Audio-Mitteilung zur Übernahme eines autonom fahrenden Fahrzeugs durch den Fahrer ist, erfolgt kein Anpassen der auditiven Meldung. Die dringende Audio-Mitteilung wird ohne Veränderung erzeugt und ausgegeben.If the auditory message is an output of a navigation system of the vehicle, the priority of the auditory message may be compared to a priority of the audible content. If the priority of the acoustic content is higher than the priority of the auditory message, the auditory message of the navigation system can be suppressed. If the type of auditory message is a playback of a multimedia content and the type of acoustic content is a dispute between vehicle occupants, the playback of the multimedia content may be paused or stopped. If the auditory message is an urgent audio message, i. an audio message with a high priority, e.g. when an audio message for the acquisition of an autonomous driving vehicle by the driver, there is no adjustment of the auditory message. The urgent audio message is generated and output without change.

Das Erzeugen der auditiven Mitteilung kann zusätzlich oder alternativ abhängig von der Stimme eines Insassen und/oder abhängig von einem Sitzplatz eines sprechenden Insassen angepasst werden. Die Stimme kann eine Personenstimme zugehörig zu einer bestimmten Person oder einer Gruppe von Personen sein. Mittels eines oder mehrerer Mikrofonsensoren in dem Innenraum des Fahrzeugs kann eine Richtung einer Stimme und damit ein Sitzplatz des sprechenden Insassen ermittelt werden. Je nach der ermittelten Richtung kann das Erzeugen der auditiven Meldung angepasst werden. Beispielsweise kann die Stimme des Fahrers des Fahrzeugs das Erzeugen und Ausgeben von auditiven Meldungen, z.B. Multimediainhalten, an einen oder mehrere Insassen im Fond des Fahrzeugs beeinflussen, wenn die Stimme des Fahrers erkannt wird und der akustische Inhalt des Fahrers an die Insassen des Fahrzeugs im Fond gerichtet ist.The generating of the auditory message may additionally or alternatively be adjusted depending on the voice of an occupant and / or depending on a seat of a speaking occupant. The voice may be a person's voice belonging to a particular person or group of persons. By means of one or more microphone sensors in the interior of the vehicle, a direction of a voice and thus a seat of the speaking occupant can be determined. Depending on the determined direction, the generation of the auditory message can be adapted. For example, the driver's voice of the vehicle may be generating and outputting auditory messages, e.g. Multimedia contents, affect one or more occupants in the rear of the vehicle when the driver's voice is detected and the driver's acoustic content is directed to the occupants of the vehicle in the rear.

Die Stimme eines Sprechers im Innenraum des Fahrzeugs kann von einer Stimme aus einem Multimediaabspielgerät unterschieden werden. Bevorzugt kann die Stimme eines Sprechers im Innenraum des Fahrzeugs von der Stimme aus einem Multimediasystem durch einen Abgleich der Signale eines Mikrofonsensors des Fahrzeugs und eines Signals des Multimediasystems des Fahrzeugs unterschieden werden. Beispielsweise kann die Stimme eines Sprechers im Innenraum des Fahrzeugs von einer Stimme aus einem Multimediaabspielgerät dadurch unterschieden werden, dass ermittelt wird, ob die Stimme eines Sprechers im Fahrzeug nur im Mikrofonsystem des Fahrzeugs enthalten ist bzw. erkennbar ist, oder ob die Stimme auch in einem ausgewerteten Signal eines Multimediasystems erkannt werden kann.The voice of a speaker in the interior of the vehicle can be distinguished from a voice from a multimedia player. Preferably, the voice of a speaker in the interior of the vehicle can be distinguished from the voice from a multimedia system by matching the signals of a microphone sensor of the vehicle and a signal of the multimedia system of the vehicle. For example, the voice of a speaker in the interior of the vehicle of a voice from a multimedia player can be distinguished by determining whether the voice of a speaker is contained in the vehicle only in the microphone system of the vehicle or is recognizable, or if the voice in one evaluated signal of a multimedia system can be detected.

Die Stimme einer bestimmten Person kann durch das Fahrzeug erlernt werden. Bei einem Wiederkennen der erlernten Stimme kann ein vorgegebenes Erzeugen und/oder Anpassen der auditiven Meldung auf die Stimme der wiedererkannten Person erfolgen. Das Einlernen der Stimme einer bestimmten Person oder einer bestimmten Gruppe von Personen kann im Fahrzeug, außerhalb des Fahrzeugs, und/oder mittels eines mobilen Anwendergeräts erfolgen. Besonders bevorzugt kann für zumindest zwei Stimmen von zwei unterschiedlichen Personen ein unterschiedliches Anpassen der auditiven Meldung ausgeführt werden. Eine Personengruppe kann Mitglieder einer Familie umfassen. Stimmen einer Personengruppe können Kinderstimmen, Männerstimmen, oder Frauenstimmen sein. Die Stimme einer bestimmten Person kann mit einer beruflichen Position der Person verknüpft sein. Beispielsweise kann der akustische Inhalt in Abhängigkeit der beruflichen Position priorisiert werden.The voice of a particular person can be learned by the vehicle. Upon recognition of the learned voice, a predetermined generation and / or adaptation of the auditory message to the voice of the recognized person can take place. The teaching of the voice of a particular person or a particular group of people can be done in the vehicle, outside the vehicle, and / or by means of a mobile user device. Particularly preferably, a different adaptation of the auditory message can be carried out for at least two voices of two different persons. A group of people may include members of a family. Voices of a group of people can be children's voices, male voices, or female voices. The voice of a certain person can be linked to a professional position of the person. For example, the acoustic content can be prioritized depending on the occupational position.

Neben der Stimme können bestimmte Schlüsselwörter, Wortsequenzen und/oder mimische Muster zumindest eines Insassen eingelernt werden und das Erzeugen der auditiven Meldung in Abhängigkeit der erlernten Merkmale erfolgen. Wenn eine körperliche Regung, z.B. ein bestimmtes Lippenbewegungsmuster, bei einer Person erkannt wird, die bisher im Fahrzeug immer leise und/oder undeutlich gesprochen hat, kann die auditive Meldung passend zu der Sprachfrequenz und/oder der Sprechart der erkannten Person stark angepasst werden. Wenn eine körperliche Regung, z.B. ein bestimmtes Lippenbewegungsmuster bei einer Person erkannt wird, die bisher im Fahrzeug immer laut und/oder deutlich gesprochen hat, kann die auditive Meldung passend zu der Sprachfrequenz und/oder der Sprechart der erkannten Person nicht oder nur unwesentlich angepasst werden.In addition to the voice, certain key words, word sequences and / or mimic patterns of at least one occupant can be taught in and the auditory message can be generated as a function of the learned characteristics. If a physical sensation, e.g. a certain lip movement pattern is detected in a person who has always spoken softly and / or indistinctly in the vehicle so far, the auditory message can be adapted greatly to match the speech frequency and / or the speech of the recognized person. If a physical sensation, e.g. a certain lip movement pattern is detected in a person who has always spoken loud and / or clear in the vehicle, the auditory message matching the voice frequency and / or the speech of the recognized person can not or only slightly adapted.

Falls der akustische Inhalt ein Multimediainhalt ist, kann der akustische Inhalt mittels einer Analyse eines Audiodatenstroms des Multimediainhalts vorherbestimmt bzw. prädiziert werden. Beispielsweise kann ein Amplitudenverlauf des Audiodatenstroms vorherbestimmt werden. Die auditive Meldung wird nur dann erzeugt und ausgegeben, wenn der Amplitudenverlauf des Audiodatenstroms beispielsweise einem vorgegebenen Muster des Amplitudenverlaufs entspricht.If the acoustic content is a multimedia content, the acoustic content may be predicted by analysis of an audio data stream of the multimedia content. For example, an amplitude characteristic of the audio data stream can be predetermined. The auditory message is only generated and output if the amplitude profile of the audio data stream corresponds, for example, to a predetermined pattern of the amplitude profile.

Ferner kann der akustischen Inhalts mittels einer Erkennung eines Kommunikationsvorhabens zumindest eines Insassen des Fahrzeugs vorherbestimmt bzw. prädiziert werden. Die Erkennung des Kommunikationsvorhabens kann beispielsweise mittels der Erkennung einer oder mehreren eingelernten Lippenbewegungen und/oder einer oder mehreren eingelernten körperlichen Regungen der Person durch eine Innenraumkamera erfolgen. Als Kommunikationsvorhaben können auch eine oder mehrere körperlichen Regungen erkannt werden, die beispielsweise aus einer Analyse der Körpersprache und/oder einer Emotionsauswertung bekannt sind und dem Sprechen vorangehen. Die auditive Meldung kann somit abhängig von körperlichen Regungen wie beispielsweise eine Lächeln und Sprechen, ein erschrecktes Gesicht und lautes Sprechen bzw. Schreien angepasst werden. Beispielsweise kann das Erzeugen der auditiven Meldung beim Erkennen eines erschreckten Gesichts und/oder beim Erkennen eines Streits oder Schreiens ausgeschaltet, angehalten, unterbrochen oder stärker angepasst werden, als bei einer durchschnittlich ausgeprägten Kommunikationsbereitschaft und/oder Stimmerkennung. Bevorzugt kann die auditive Meldung auch vorab, z.B. vor oder kurz nach dem Anfang des Sprechens, angepasst werden. Dabei ergibt sich der Vorteil, dass der Person, die dabei ist etwas zu sagen, sehr zuvorgekommen wird.Furthermore, the acoustic content can be predicted or predicted by means of a recognition of a communication project of at least one occupant of the vehicle. The recognition of the communication project can be done for example by means of the recognition of one or more learned lip movements and / or one or more learned physical movements of the person through an interior camera. One or more physical impulses that are known, for example, from an analysis of body language and / or an emotion evaluation and that precede speech, can also be recognized as communication projects. The auditory message can thus be adjusted depending on physical impulses such as a smile and speech, a frightened face and loud talking or shouting. For example, the generation of the auditory message when recognizing a scared face and / or recognizing a hassle or screaming can be switched off, paused, interrupted or adjusted more strongly than with an average degree of communication readiness and / or voice recognition. Preferably, the auditory message may also be prefixed, e.g. be adjusted before or just after the beginning of speaking. This has the advantage that the person who is about to say something, is very anticipated.

Im Detail zeigt 2 ein beispielhaftes System 200 zum Erzeugen eines auditiven Meldung in einem Innenraum eines Fahrzeug. Das System kann einen oder mehrere Mikrofonsensoren 202 und einen oder mehrere Kamerasensoren 204 umfassen. Die Mikrofon- und/oder Kamerasensoren 202, 204 können einen Parameter eines akustischen Inhalts im Innenraum des Fahrzeugs erfassen 102. Die Sensoren 202 und 204 sind mit einem in diesem Beispiel für Mittel des Fahrzeugs eines für die Recheneinheit des Fahrzeugs repräsentativ genannten Steuergeräts 206 über ein Kommunikationsnetzwerk des Fahrzeugs verbunden. Das Mittel des Fahrzeugs kann im Allgemeinen zumindest eine Recheneinheit und/oder Sensor umfassen, die zum Betrieb in einem Fahrzeug eingerichtet, und insbesondere mit dem Fahrzeug, z.B. mit dem Bordnetzwerk des Fahrzeugs zum Austausch der Daten zur Ausführung des Verfahrens, verbunden ist.In detail shows 2 an exemplary system 200 for generating an auditory message in an interior of a vehicle. The system can have one or more microphone sensors 202 and one or more camera sensors 204 include. The microphone and / or camera sensors 202 . 204 may detect a parameter of an acoustic content in the interior of the vehicle 102 , The sensors 202 and 204 are with a in this example means of the vehicle representative of the computing unit of the vehicle control unit 206 connected via a communication network of the vehicle. The means of the vehicle may generally comprise at least one arithmetic unit and / or sensor, which is set up for operation in a vehicle, and in particular connected to the vehicle, for example to the on-board network of the vehicle for exchanging the data for carrying out the method.

Das Steuergerät 206 kann den Parameter des akustischen Inhalts empfangen und eine auditive Meldung abhängig von dem erfassten Parameter des akustischen Inhalts erzeugen 104. Die auditive Meldung kann beispielsweise über ein oder mehrere Audioausgabegeräte 208 ausgegeben werden. Ferner kann ein mobiles Anwendergerät 210 mit der Recheneinheit, insbesondere dem Steuergerät 206 gekoppelt sein, wobei das mobile Anwenderendgerät als Sensor zum Erfassen eines Parameters des akustischen Inhalts und/oder als Audioausgabegerät für die besagte auditive Meldung dienen kann. Ferner kann die Recheneinheit 206 das in Verbindung mit 1 beschriebene Verfahren ausführen.The control unit 206 may receive the parameter of the acoustic content and generate an auditory message depending on the detected parameter of the acoustic content 104 , The auditory message may, for example, be via one or more audio output devices 208 be issued. Furthermore, a mobile user device 210 with the arithmetic unit, in particular the control unit 206 be coupled, wherein the mobile user terminal can serve as a sensor for detecting a parameter of the acoustic content and / or as an audio output device for said auditory message. Furthermore, the arithmetic unit 206 that in conjunction with 1 perform the described method.

In diesem Beispiel betrifft die auditive Meldung akustisch ausgegebene Töne oder abschnitte sprachlicher Meldungen, die nicht nur zur bloßen Wahrnehmung (Hören, wie z.B. Musik), sondern zur Interpretation der entsprechenden Botschaft, zumindest Verstehen und/oder Unterscheiden und/oder Einordnen durch zumindest einen Insassen, z.B. durch den Fahrer bestimmt sind. In this example, the auditory message relates to acoustically output tones or portions of speech messages that are not limited to mere perception (listening, such as music) but interpreting the appropriate message, at least understanding and / or distinguishing and / or categorizing by at least one occupant , for example, determined by the driver.

Beispielsweise können auditive Meldungen auditiv, insbesondere sprachlich auszugebenden Informationen umfassen, die abhängig vom Fahrkontext des Fahrzeugs (z.B. Verkehrsschilder, Staumeldungen, andere Verkehrsteilnehmer) und/oder abhängig von dem Zustand des Fahrers (Müdigkeitserkennung, Ablenkung) und/oder Aktionen des Fahrers (Hinweise zu möglichen Folgen einer Handlung) erzeugt werden. Beispielsweise umfasst die auditive Meldung eine Information, z.B. einen Textabschnitt, der akustisch in einer, in einem im Fahrzeug verbauten oder mitgeführten Bordcomputer, voreingestellten Sprache ausgegeben wird. Vorteilhafterweise kann durch das oben beschriebene Verfahren und System die Ausgabe von auditiven Meldungen in Abhängigkeit eines oder mehrerer Parameter eines akustischen Inhalts im Fahrzeuginnenraum in einer prinzipiell verbesserten Art und Weise erfolgen. Dabei können die beschriebenen Merkmale des Verfahrens, insbesondere zur Erreichung vorgegebenen Optimierungskriterien in beliebiger Art und Weise miteinander kombiniert werden.For example, auditory messages may include auditory, in particular linguistic information that depends on the driving context of the vehicle (eg traffic signs, traffic jams, other road users) and / or depending on the condition of the driver (fatigue detection, distraction) and / or actions of the driver (references to possible consequences of an action) are generated. For example, the auditory message includes information, e.g. a text portion which is acoustically output in a preset language in a vehicle computer installed or carried on board. Advantageously, by the method and system described above, the output of auditory messages as a function of one or more parameters of an acoustic content in the vehicle interior can take place in a fundamentally improved manner. In this case, the described features of the method, in particular to achieve predetermined optimization criteria in any manner can be combined.

Beispielsweise kann abhängig vom Ermitteln einem hohen Prioritätsmaß eines aktuellen oder prädizierten akustischen Inhalts im Innenraum des Fahrzeugs, z.B. als „wichtig“ und/oder „eilig“ bzw. „dringend“, zu einer wesentlich stärkeren Anpassung der auditiven Meldung führen, als bei einem akustischen Inhalt mit einem mittleren oder niedrigeren Prioritätsmaß. Beispielsweise kann, beim Feststellen einer zeitlichen Überschneidung zwischen einem akustischen Inhalt bestimmter Arten und einer bestimmten auditiven Meldung, kann die auditive Meldung zu einem früheren oder späteren Zeitpunkt und/oder in einer verkürzten Form und/oder mit einem veränderten akustischen Parameter ausgegeben werden.For example, depending on the determination, a high priority measure of a current or predicted acoustic content in the interior of the vehicle, e.g. as "important" and / or "urgent" or "urgent", lead to a much greater adjustment of auditory reporting than to auditory content with a medium or lower priority level. For example, upon detecting a temporal overlap between an acoustic content of certain types and a particular auditory message, the auditory message may be output at an earlier or later time and / or in a shortened form and / or with a changed acoustic parameter.

Beispielsweise erfolgt eine Anpassung einer, insbesondere Sprache umfassenden auditiven Meldung vorwiegend oder stärker auf den akustischen Inhalt in Form von Personenstimmen, wobei die Personenstimmen sowohl die (live) gesprochen Inhalte im Innenraum und/oder Stimmen aus einem Multimediaprogramm und/oder Fernmeldeinhalten umfassen können. Dabei kann keine oder wesentlich geringere Anpassung auf weitere Geräuschquellen, wie z.B. das Bellen eines Hundes oder Hupen anderer Verkehrsteilnehmer oder auf einen Hintergrundgeräusch, z.B. Windgeräusche oder spezifischen Geräuschkulissen erfolgen. Dies ist besonders vorteilhaft, weil eine sprachliche Meldung, hinsichtlich ihrer Verständlichkeit wesentlich stärker durch Personenstimmen als durch weitere Geräusche gestört wird.For example, an adaptation of an auditory message, in particular speech, predominantly or more strongly takes place on the acoustic content in the form of person voices, wherein the person voices can comprise both the (live) spoken contents in the interior and / or voices from a multimedia program and / or telecommunication contents. Thereby no or substantially less adaptation to other sources of noise, e.g. the barking of a dog or horns of other road users or background noise, e.g. Wind noise or specific noise scenes done. This is particularly advantageous because a linguistic message is much more disturbed in terms of their comprehensibility by persons' voices than by further noises.

Alternativ oder zusätzlich kann ein Anpassen eines, der auditiven Meldung entsprechenden Audiosignals erfolgen, wobei die Signalenergie zumindest eines Teils des auditiven Meldung auf einen oder mehrere Frequenzbereiche verteilt wird, die eine geringere, insbesondere eine möglichst geringe Überschneidung oder Korrelation zu den Frequenzbereichen der menschlichen Stimme, insbesondere zur Stimme eines bestimmten Insassen (des „Sprechers“) aufweisen. Dabei kann die Wahrnehmbarkeit und/oder Verständlichkeit der sprachlichen Kommunikation zwischen den Insassen des Fahrzeugs und/oder der auditiven Meldung erhöht, oder eine wechselseitige Störung, insbesondere eine (beispielsweise aus der Psychoakustik bekannte) Maskierung verringert werden.Alternatively or additionally, an audio signal corresponding to the auditory message can be adapted, wherein the signal energy of at least part of the auditory message is distributed to one or more frequency ranges which have a smaller, in particular the smallest possible overlap or correlation with the frequency ranges of the human voice. in particular to the voice of a particular occupant (the "speaker"). In this case, the perceptibility and / or comprehensibility of the linguistic communication between the occupants of the vehicle and / or the auditory message can be increased, or a mutual interference, in particular a masking (known, for example, from psychoacoustics) can be reduced.

Einzelne Insassen des Fahrzeugs, z.B. Fahrer, Beifahrer und Fondinsassen, können individuelle, auditive Meldungen erhalten, die abhängig von der Stimme, dem Verhalten und/oder der Gesprächssituation abhängig sind. Durch den Einsatz eines Kamerasensors können beabsichtigte Handlungen erfasst und bei der Erzeugung von auditiven Meldungen berücksichtigt werden. Der Informationsfluss von dem Fahrzeug an der Fahrer kann somit dynamisch und intelligent gesteuert werden ohne störende oder überflüssige Informationen zu erhalten. Die Insassen bekommen genau die Informationen angezeigt, die wichtig in der aktuellen Situation sind. Somit kann der Informationsfluss bei autonom fahrenden Fahrzeugen effizienter gesteuert werden. Der Fahrer kann beispielsweise nur die sicherheitsrelevanten, auditiven Meldungen erhalten. Alle störenden, nicht-situativ passenden, auditiven Meldungen können verzögert, unterdrückt, und/oder situativ angepasst werden. Beispielsweise kann einen auditive Meldung über einen niedrigen Wischwasserstand so lange unterdrückt werden, bis eine Tankstelle angefahren wird und diese auditive Meldung eine hohe Wichtigkeit für den Fahrer des Fahrzeugs erhält.Individual occupants of the vehicle, e.g. Driver, co-driver and rear seat occupants can receive individual, auditory reports, which depend on the voice, the behavior and / or the conversation situation. By using a camera sensor, intentional actions can be detected and taken into account in the generation of auditory messages. The flow of information from the vehicle to the driver can thus be controlled dynamically and intelligently without receiving any annoying or superfluous information. The inmates get exactly the information that is important in the current situation. Thus, the information flow in autonomous vehicles can be controlled more efficiently. For example, the driver can only receive the safety-related auditory messages. All disturbing, non-situatively appropriate, auditory messages can be delayed, suppressed, and / or adapted situationally. For example, an auditory message about a low wiper water level can be suppressed until a gas station is approached and this auditory message receives a high importance for the driver of the vehicle.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

100100
Verfahrenmethod
102102
Ermitteln bzw. Erfassen eines akustischen InhaltsDetermining or detecting an acoustic content
104104
Erzeugen einer auditiven MeldungGenerate an auditory message
200200
Systemsystem
202202
Mikrofonsensormicrophone sensor
204204
Kamerasensorcamera sensor
206206
Recheneinheit des Fahrzeugs, beispielsweise ein SteuergerätArithmetic unit of the vehicle, such as a control unit
208208
AudioausgabegerätAudio Output Device
210210
mobiles Anwendergerätmobile user device

Claims (12)

Verfahren (100) zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs, das Verfahren umfassend: Erfassen (102) eines Parameters eines akustischen Inhalts durch einen Sensor (202, 204) in dem Innenraum des Fahrzeugs; und Erzeugen (104) einer auditiven Meldung abhängig von dem erfassten Parameter des akustischen Inhalts mittels einer Recheneinheit (206) des Fahrzeugs.A method (100) for generating an auditory message in an interior of a vehicle, the method comprising: Detecting (102) a parameter of an acoustic content by a sensor (202, 204) in the interior of the vehicle; and Generating (104) an auditory message depending on the detected parameter of the acoustic content by means of a computing unit (206) of the vehicle. Verfahren nach Anspruch 1, wobei der akustische Inhalt in dem Innenraum des Fahrzeugs eine Sprachmitteilung eines der Insassen des Fahrzeugs ist; und/oder wobei der Parameter des akustischen Inhalts mittels einer Erkennung einer Kommunikationsbereitschaft zumindest eines Insassen des Fahrzeugs ermittelt wird.Method according to Claim 1 wherein the acoustic content in the interior of the vehicle is a voice message of one of the occupants of the vehicle; and / or wherein the parameter of the acoustic content is determined by means of a detection of a readiness for communication of at least one occupant of the vehicle. Verfahren nach einem der vorhergehenden Ansprüche, das Verfahren weiterhin umfassend: Ermitteln einer Art und/oder einer Priorität des akustischen Inhalts in dem Innenraum des Fahrzeugs; und/oder Ermitteln einer Art und/oder einer Priorität einer zu erzeugenden, auditiven Meldung; und Erzeugen der auditiven Meldung abhängig von der ermittelten Art und/oder der ermittelten Priorität des akustischen Inhalts in dem Innenraum des Fahrzeugs und/oder der ermittelten Art und/oder der ermittelten Priorität der zu erzeugenden, auditiven Meldung.Method according to one of the preceding claims, the method further comprising: Determining a type and / or a priority of the acoustic content in the interior of the vehicle; and or Determining a type and / or a priority of an auditory report to be generated; and Generating the auditory message depending on the determined type and / or the determined priority of the acoustic content in the interior of the vehicle and / or the determined type and / or the determined priority of the auditory message to be generated. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erzeugen der auditiven Meldung unterdrückt wird, falls: - ein Kommunikationsvorhaben eines Insassen des Fahrzeugs von einem Kamerasensor (204) des Fahrzeugs erkannt wird; und/oder - eine Stimme eines Insassen des Fahrzeugs von einem Mikrofonsensor (202) erfasst wird; und/oder - eine Ausgabe eines Multimedia-Audiosignals vorliegt.Method according to one of the preceding claims, wherein the generation of the auditory message is suppressed if: a communication project of an occupant of the vehicle is detected by a camera sensor (204) of the vehicle; and or a voice of an occupant of the vehicle is detected by a microphone sensor (202); and or - There is an output of a multimedia audio signal. Verfahren nach einem der vorhergehenden Ansprüchen, wobei der akustische Inhalt ein Stimme eines Insassen des Fahrzeugs ist; und wobei das Erzeugen der auditiven Meldung abhängig von der Stimme zumindest eines Insassen des Fahrzeugs und/oder abhängig von der Stimme eines Insassen an einem bestimmten Sitzplatz in dem Innenraum des Fahrzeugs erfolgt.The method of any one of the preceding claims, wherein the acoustic content is a voice of an occupant of the vehicle; and wherein generating the auditory notification is dependent on the voice of at least one occupant of the vehicle and / or depending on the voice of an occupant at a particular seat in the interior of the vehicle. Verfahren nach einem der vorhergehenden Ansprüchen, wobei der akustische Inhalt ein Multimediainhalt ist; und/oder wobei der akustische Inhalt mittels einer Analyse einer Audio-Datenstroms vor einer Wiedergabe des Audio-Datenstroms prädiziert wird.The method of any one of the preceding claims, wherein the acoustic content is a multimedia content; and / or wherein the acoustic content is predicted by means of an analysis of an audio data stream prior to a reproduction of the audio data stream. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Stimme eine Personenstimme, insbesondere eine Stimme einer vorbekannten Person oder einer Stimme zugehörig zu einer Personengruppe in dem Innenraum des Fahrzeugs, ist; und wobei das Erzeugen der auditiven Meldung abhängig von einem Erkennen der Stimme der vorbekannten Person oder einer Stimme zugehörig zu der Personengruppe in dem Innenraum des Fahrzeugs erfolgt.Method according to one of the preceding claims, wherein the voice is a person's voice, in particular a voice of a previously known person or a voice belonging to a group of people in the interior of the vehicle; and wherein generating the auditory notification is dependent on a recognition of the voice of the known person or a voice belonging to the group of persons in the interior of the vehicle. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erfassen des Parameters des akustischen Inhalts ein Prädizieren des akustischen Inhalts mittels eines Erkennens eines Kommunikationsvorhabens zumindest eines Insassen des Fahrzeugs durch einen Kamerasensor (204) des Fahrzeugs umfasst; und/oder wobei das Erkennen ein Erkennen einer Lippenbewegung des zumindest einen Insassen und/oder ein Erkennen einer körperlichen Regung des zumindest einen Insassen mittels des Kamerasensors (204) umfasst.The method of claim 1, wherein detecting the parameter of the acoustic content comprises predicting the acoustic content by detecting a communication project of at least one occupant of the vehicle by a camera sensor of the vehicle; and / or wherein the detecting comprises detecting a lip movement of the at least one occupant and / or detecting a bodily movement of the at least one occupant by means of the camera sensor (204). Verfahren nach einem der vorhergehenden Ansprüche, das Verfahren weiterhin umfassend: Einlernen eines oder mehrerer Schlüsselwörter, Wortsequenzen und/oder mimischer Muster zumindest eines Insassen durch die Recheneinheit (206) des Fahrzeugs; und Erkennen einer Kommunikationsbereitschaft und/oder einer Relevanz des erfassten akustischen Inhalts in Abhängigkeit der eingelernten Schlüsselwörter, Wortsequenzen und/oder mimischer Muster des zumindest einen Insassen; und/oder Anpassen eines oder mehrerer Parameter der akustischen Meldung in Abhängigkeit der eingelernten Schlüsselwörter, Wortsequenzen und/oder mimischer Muster des zumindest einen Insassen.Method according to one of the preceding claims, the method further comprising: Teaching one or more keywords, word sequences and / or mimic patterns of at least one occupant by the computing unit (206) of the vehicle; and Detecting a willingness to communicate and / or a relevance of the detected acoustic content as a function of the learned keywords, word sequences and / or mimic patterns of the at least one occupant; and or Adapting one or more parameters of the acoustic message as a function of the learned keywords, word sequences and / or mimic pattern of the at least one occupant. Verfahren nach einem der vorangegangenen Ansprüche, das Verfahren weiterhin umfassend: Einlernen einer Stimme und/oder einer körperlichen Regung zumindest eines sprechenden Insassen des Fahrzeugs zu einem oder mehreren Zeitintervallen; und Anpassen der akustischen Meldung auf die Stimme des zumindest einen sprechenden Insassen falls die Stimme des zumindest einen sprechenden Insassen zu einem oder mehreren späteren Zeitintervallen durch die Recheneinheit (206) wiedererkannt wird.Method according to one of the preceding claims, the method further comprising: Teaching a voice and / or a physical impulse of at least one speaking occupant of the vehicle at one or more time intervals; and Adjusting the audible message to the voice of the at least one speaking occupant if the voice of the at least one speaking occupant is recognized by the computing unit (206) at one or more later time intervals. Verfahren nach Anspruch 10, wobei die Stimme des zumindest einen sprechenden Insassen in dem Innenraum des Fahrzeugs von einer sprechende Stimme aus einem Multimediaabspielgerät, insbesondere einem Infotainmentsystem des Fahrzeugs und/oder einem mit dem Fahrzeug gekoppelten Multimediaabspielgerät, unterschieden wird.Method according to Claim 10 wherein the voice of the at least one speaking occupant in the interior of the vehicle is spoken by a speaking voice from a multimedia player, in particular an infotainment system of the vehicle and / or a vehicle coupled to the multimedia player, a distinction is made. System (200) zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs, das System (200) umfassend: einen Sensor (202, 204), dazu ausgebildet, einen Parameter eines akustischen Inhalts in dem Innenraum des Fahrzeugs zu erfassen; und eine Recheneinheit (206) des Fahrzeugs, dazu ausgebildet, eine auditiven Meldung abhängig von dem erfassten Parameter des akustischen Inhalts zu erzeugen.A system (200) for generating an auditory message in an interior of a vehicle, the system (200) comprising: a sensor (202, 204) configured to detect a parameter of an acoustic content in the interior of the vehicle; and an arithmetic unit (206) of the vehicle configured to generate an auditory report in response to the detected parameter of the audio content.
DE102017213249.3A 2017-08-01 2017-08-01 Method and system for generating an auditory message in an interior of a vehicle Pending DE102017213249A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017213249.3A DE102017213249A1 (en) 2017-08-01 2017-08-01 Method and system for generating an auditory message in an interior of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017213249.3A DE102017213249A1 (en) 2017-08-01 2017-08-01 Method and system for generating an auditory message in an interior of a vehicle

Publications (1)

Publication Number Publication Date
DE102017213249A1 true DE102017213249A1 (en) 2019-02-07

Family

ID=65019837

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017213249.3A Pending DE102017213249A1 (en) 2017-08-01 2017-08-01 Method and system for generating an auditory message in an interior of a vehicle

Country Status (1)

Country Link
DE (1) DE102017213249A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3742281A1 (en) * 2019-05-22 2020-11-25 Deutsches Zentrum für Luft- und Raumfahrt e.V. Assistance system and method for supporting a surgeon
DE102020214526A1 (en) 2020-11-18 2021-12-23 Continental Automotive Gmbh Method for signaling the need to refill the liquid in a vehicle wiper water tank
CN114291008A (en) * 2020-10-07 2022-04-08 丰田自动车株式会社 Intelligent device for vehicle, intelligent system for vehicle, and computer-readable storage medium
DE102022125547A1 (en) 2022-10-04 2024-04-04 Cariad Se Motor vehicle and method for summarizing a conversation in a motor vehicle

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0966100A2 (en) * 1998-06-18 1999-12-22 Volkswagen Aktiengesellschaft Method and means for influencing the volume of audio reproducing devices in motor vehicles
DE102010006285A1 (en) * 2010-01-30 2011-08-04 GM Global Technology Operations LLC, ( n. d. Ges. d. Staates Delaware ), Mich. Motor vehicle audio system, has control unit connected with amplifier and detector for calculating amplified signal of sound detector with preset sound level of speakers and determining amplification factor according to preset sound level
DE102011012400A1 (en) * 2010-03-02 2012-04-26 Gm Global Technology Operations Llc, ( N.D. Ges. D. Staates Delaware) Infotainment Control
EP2744105A2 (en) * 2012-12-17 2014-06-18 Robert Bosch Gmbh Device and method for the automatic adjustment of the sound volume in a vehicle interior
DE102013012453B3 (en) * 2013-07-26 2014-10-16 Audi Ag Method for operating an infotainment system of a motor vehicle and infotainment system for a motor vehicle
US20150006167A1 (en) * 2012-06-25 2015-01-01 Mitsubishi Electric Corporation Onboard information device
DE102015014916A1 (en) * 2015-11-18 2016-05-12 Daimler Ag Method for outputting audio signals
DE102015213722A1 (en) * 2015-07-21 2017-01-26 Volkswagen Aktiengesellschaft A method of operating a speech recognition system in a vehicle and speech recognition system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0966100A2 (en) * 1998-06-18 1999-12-22 Volkswagen Aktiengesellschaft Method and means for influencing the volume of audio reproducing devices in motor vehicles
DE102010006285A1 (en) * 2010-01-30 2011-08-04 GM Global Technology Operations LLC, ( n. d. Ges. d. Staates Delaware ), Mich. Motor vehicle audio system, has control unit connected with amplifier and detector for calculating amplified signal of sound detector with preset sound level of speakers and determining amplification factor according to preset sound level
DE102011012400A1 (en) * 2010-03-02 2012-04-26 Gm Global Technology Operations Llc, ( N.D. Ges. D. Staates Delaware) Infotainment Control
US20150006167A1 (en) * 2012-06-25 2015-01-01 Mitsubishi Electric Corporation Onboard information device
EP2744105A2 (en) * 2012-12-17 2014-06-18 Robert Bosch Gmbh Device and method for the automatic adjustment of the sound volume in a vehicle interior
DE102013012453B3 (en) * 2013-07-26 2014-10-16 Audi Ag Method for operating an infotainment system of a motor vehicle and infotainment system for a motor vehicle
DE102015213722A1 (en) * 2015-07-21 2017-01-26 Volkswagen Aktiengesellschaft A method of operating a speech recognition system in a vehicle and speech recognition system
DE102015014916A1 (en) * 2015-11-18 2016-05-12 Daimler Ag Method for outputting audio signals

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3742281A1 (en) * 2019-05-22 2020-11-25 Deutsches Zentrum für Luft- und Raumfahrt e.V. Assistance system and method for supporting a surgeon
CN114291008A (en) * 2020-10-07 2022-04-08 丰田自动车株式会社 Intelligent device for vehicle, intelligent system for vehicle, and computer-readable storage medium
DE102020214526A1 (en) 2020-11-18 2021-12-23 Continental Automotive Gmbh Method for signaling the need to refill the liquid in a vehicle wiper water tank
DE102022125547A1 (en) 2022-10-04 2024-04-04 Cariad Se Motor vehicle and method for summarizing a conversation in a motor vehicle

Similar Documents

Publication Publication Date Title
EP3661797B1 (en) Method, device, mobile user apparatus and computer program for controlling an audio system of a vehicle
DE102010040818B4 (en) A responsive counseling system for use by one or more occupants of a motor vehicle
WO2021023667A1 (en) System and method for assisting selective hearing
DE102017213249A1 (en) Method and system for generating an auditory message in an interior of a vehicle
DE112016004391T5 (en) Dialogue device and dialog method
DE102019200954A1 (en) Signal processing device, system and method for processing audio signals
DE102013200380A1 (en) A method and system for using noise related vehicle information to enhance a spoken dialogue
DE112014006409T5 (en) Vehicle control device and vehicle control method
DE102013200376A1 (en) A method and system for using vehicle noise information to enhance an audio prompt
DE102013200378A1 (en) A method and system for using noise related vehicle information to enhance speech recognition
DE60212725T2 (en) METHOD FOR AUTOMATIC LANGUAGE RECOGNITION
DE10008226C2 (en) Voice control device and voice control method
EP3430615B1 (en) Transportation means, and system and method for adapting the length of a permissible speech pause in the context of a speech input
DE102018107326A1 (en) Adaptive occupant talk early warning system
DE102016221646A1 (en) Improved noise generation for quiet vehicles
DE102019200956A1 (en) Signal processing device, system and method for processing audio signals
EP3396978B1 (en) Hearing aid and method for operating a hearing aid
DE102014224120A1 (en) Output audio contributions for a vehicle
DE102017205652B3 (en) Method for operating a hearing device and hearing device
EP1121684B1 (en) Method and device for information and/or messages by means of speech
DE102017213252A1 (en) A method, apparatus and computer program for varying an audio content to be output in a vehicle
DE102017213260A1 (en) Method, device, mobile user device, computer program for controlling an audio system of a vehicle
DE112019007580B4 (en) Sound field control device and sound field control method
DE102017213256A1 (en) Method, device, mobile user device, computer program for controlling an audio system of a vehicle
DE102017213246A1 (en) Method, apparatus and computer program for generating auditory messages

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed