DE102021124492A1 - METHOD AND DEVICE FOR ATTENTION CONTROL OF A DRIVER IN A VEHICLE - Google Patents

METHOD AND DEVICE FOR ATTENTION CONTROL OF A DRIVER IN A VEHICLE Download PDF

Info

Publication number
DE102021124492A1
DE102021124492A1 DE102021124492.7A DE102021124492A DE102021124492A1 DE 102021124492 A1 DE102021124492 A1 DE 102021124492A1 DE 102021124492 A DE102021124492 A DE 102021124492A DE 102021124492 A1 DE102021124492 A1 DE 102021124492A1
Authority
DE
Germany
Prior art keywords
vehicle
audio signal
driver
hazard
modified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021124492.7A
Other languages
German (de)
Inventor
Michael Stecher
Franziska Hertlein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102021124492.7A priority Critical patent/DE102021124492A1/en
Publication of DE102021124492A1 publication Critical patent/DE102021124492A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/26
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00Arrangement or adaptation of acoustic signal devices
    • B60Q5/005Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

Die Erfindung beschreibt ein Verfahren zur Aufmerksamkeitssteuerung eines Fahrers eines Fahrzeugs und umfasst das Ermitteln von Gefahrenabschätzungsdaten für das Fahrzeug und/oder für den Fahrer des Fahrzeugs basierend auf Sensordaten des Fahrzeugs, wobei die Gefahrenabschätzungsdaten ein Gefahrenniveau einer Gefahr für das Fahrzeug und/oder für den Fahrer des Fahrzeugs repräsentieren; und Modifizieren eines Audiosignals, das nicht mit der Gefahr assoziiert ist, basierend auf den Gefahrenabschätzungsdaten zum Erhalten eines modifizierten Audiosignals; und Ausgeben des modifizierten Audiosignals mit mindestens einer Schallquelle des Fahrzeugs.The invention describes a method for the attention control of a driver of a vehicle and includes the determination of risk assessment data for the vehicle and / or for the driver of the vehicle based on sensor data of the vehicle, the risk assessment data a risk level of a risk for the vehicle and / or for the driver of the vehicle; and modifying an audio signal not associated with the hazard based on the hazard assessment data to obtain a modified audio signal; and outputting the modified audio signal with at least one sound source of the vehicle.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Aufmerksamkeitssteuerung eines Fahrers eines Fahrzeugs sowie ein Computerprogramm und ein Computerprogrammprodukt.The present invention relates to a method and a device for controlling the attention of a driver of a vehicle, as well as a computer program and a computer program product.

Aus dem Stand der Technik ist bekannt, dass über Lautsprecher im Innenraum von Fahrzeugen künstliche Fahrgeräusche eingespielt werden können. Diese Fahrgeräusche haben das Ziel, z. B. bei Fahrzeugen mit Verbrennungsmotor das Motorgeräusch zu überlagern und dadurch zu verstärken oder zu verändern, um das Fahrzeug entsprechend zu inszenieren. Auf diese Weise kann sich für den Fahrer ein Reihen-Dreizylinder beispielsweise so anhören können wie ein 5-Liter-V8.It is known from the prior art that artificial driving noises can be played in via loudspeakers in the interior of vehicles. These driving noises have the aim, e.g. B. to superimpose the engine noise in vehicles with combustion engines and thereby amplify or change it in order to stage the vehicle accordingly. In this way, for example, an in-line three-cylinder can sound like a 5-litre V8 to the driver.

Bei Elektrofahrzeugen werden künstliche Fahrgeräusche eingespielt, um überhaupt das Geräusch eines Antriebs zu simulieren, schließlich produzieren Elektromotoren keine oder nur wenige Geräusche. Die künstlichen Fahrgeräusche von Elektrofahrzeugen dienen ebenfalls der Inszenierung und bilden ähnlich zum Pendant des Verbrennungsmotors Betriebszustände wie Leerlauf oder Volllast ab. Diese Fahrgeräusche werden auch als E-Sound bezeichnet.In electric vehicles, artificial driving noises are played in order to simulate the noise of a drive at all, after all, electric motors produce little or no noise. The artificial driving noises of electric vehicles are also used for staging and, similar to the counterpart of the combustion engine, depict operating states such as idling or full load. These driving noises are also referred to as e-sounds.

Aus dem Stand der Technik ebenfalls bekannt sind Fahrerassistenzsysteme, die den Fahrer auf andere Verkehrsteilnehmer hinweisen und optische und/oder akustische Warnungen ausgeben, um eine Kollision mit diesen zu vermeiden. Ein Beispiel ist der Totwinkelwarner, der den Fahrer beim Abbiegen warnt, falls sich ein Fußgänger oder Radfahrer im toten Winkel aufhält und bei einer Weiterfahrt kollidieren würde. Die Warnung kann optisch beispielsweise im Außenspiel („Spiegeldreieck“) oder via Display erfolgen. Akustische Warnungen sind Warntöne, sog. Klangzeichen, wie ein „Gong“ oder „Beep“.Also known from the prior art are driver assistance systems that alert the driver to other road users and output optical and/or acoustic warnings in order to avoid a collision with them. One example is the blind spot warning system, which warns the driver when turning if a pedestrian or cyclist is in the blind spot and would collide if they continue driving. The warning can be given visually, for example, in the outside game (“mirror triangle”) or via a display. Acoustic warnings are warning tones, so-called acoustic signals, such as a "gong" or "beep".

Optische Warnungen haben das Problem, dass diese vom Fahrer übersehen werden können, vor allem weil der Fahrer naturgemäß beim Fahren vor allem auf die Straße schaut. Daher müssen optische Warnungen meist durch akustische Warnungen ergänzt werden. Akustische Warnungen haben die Eigenschaft, dass sie vom Fahrer zwangsläufig gehört werden, wodurch sich ebenfalls Nachteile ergeben können. The problem with visual warnings is that they can be overlooked by the driver, primarily because the driver naturally looks primarily at the road while driving. Therefore, optical warnings usually have to be supplemented by acoustic warnings. Acoustic warnings have the property that they are inevitably heard by the driver, which can also result in disadvantages.

Beispielsweise können häufige akustische Warnungen den Fahrer nerven, insbesondere dann, wenn der Fahrer ständig von verschiedenen Systemen zu unterschiedlichen Ereignissen gewarnt wird und das Auto ständig „gongt“ und „beept“. Dies mindert die Akzeptanz von Fahrerassistenzsystemen, wodurch beispielsweise die Gefahr entstehen kann, dass der Fahrer die Warnungen nicht mehr ernst nimmt oder das Fahrerassistenzsystem deaktiviert.For example, frequent audible warnings can annoy the driver, especially if the driver is constantly being warned by different systems about different events and the car is constantly chiming and beeping. This reduces the acceptance of driver assistance systems, which can result in the risk, for example, that the driver no longer takes the warnings seriously or deactivates the driver assistance system.

Ferner kann der Zeitpunkt einer akustischen Warnung schwer abzustimmen sein. Kommt der Warnton beispielsweise zu spät, bleibt dem Fahrer zu wenig Zeit zum Reagieren, kommt er zu früh, kann die Gefahr bestehen, dass der Warnton unnötig ist, weil sich die Gefahrensituation von selbst entschärft oder beispielsweise der Fahrer den Fußgänger beim Abbiegen ohnehin gesehen hätte.Furthermore, the timing of an audible warning can be difficult to coordinate. For example, if the warning tone sounds too late, the driver does not have enough time to react; if it comes too early, there may be a risk that the warning tone is unnecessary because the dangerous situation will de-escalate itself or, for example, the driver would have seen the pedestrian turning anyway .

Warntöne in Form von Klangzeichen sind relativ kurz (ca. 1 Sekunde) und lassen sich daher schlecht auf Ereignisse abbilden, die von längerer Dauer sind, wie z. B. das Herannahen eines Radfahrers, bei dem sich der Abstand zwischen Auto und Fahrer über einen Zeitraum von mehreren Sekunden stetig verringert. Aus diesem Grund werden zum Teil unterschiedliche Klangzeichen eingesetzt, z. B. für eine anfängliche Vorwarnung und eine sich anschließende Akutwarnung. Hierdurch entsteht aber das Problem, dass der Fahrer wissen muss, welches Klangzeichen mit welcher Situation oder mit welchem Fahrerassistenzsystem verknüpft ist. Außerdem trägt dies zu einer weiteren Häufung von Warnungen bei, was bereits anfangs als Problem angeführt wurde.Warning tones in the form of acoustic signals are relatively short (approx. 1 second) and are therefore difficult to map to events that last longer, e.g. B. the approach of a cyclist, where the distance between the car and driver steadily decreases over a period of several seconds. For this reason, different sound signals are sometimes used, e.g. B. for an initial advance warning and a subsequent acute warning. However, this creates the problem that the driver must know which acoustic signal is linked to which situation or to which driver assistance system. In addition, this contributes to a further accumulation of warnings, which was initially cited as a problem.

Ausgehend von diesem Stand der Technik ist es daher Aufgabe der Erfindung ein Verfahren sowie ein entsprechendes System bereitzustellen, mit welchem eine Aufmerksamkeit des Fahrers steuerbar ist und mit welchem beispielsweise die bisherigen Warnsysteme verbessert werden können.Proceeding from this prior art, it is therefore the object of the invention to provide a method and a corresponding system with which the driver's attention can be controlled and with which, for example, the previous warning systems can be improved.

Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 und ein System nach Anspruch 9, sowie ein Computerprogramm oder Computerprogrammprodukt nach Anspruch 11 gelöst. Vorteilhafte Ausgestaltungen der Erfindung werden in den Unteransprüchen beansprucht.This object is achieved by a method according to claim 1 and a system according to claim 9, and a computer program or computer program product according to claim 11. Advantageous developments of the invention are claimed in the dependent claims.

Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Aufmerksamkeitssteuerung eines Fahrers eines Fahrzeugs vorgeschlagen. Ein Fahrzeug kann beispielsweise ein Fahrzeug mit einem Verbrennungsmotor, ein Elektrofahrzeug oder ein Hybridfahrzeug sein. Ein Fahrzeug im Sinne der Erfindung kann insbesondere ein Personenkraftwagen sein.According to one aspect of the invention, a method for controlling the attention of a driver of a vehicle is proposed. A vehicle can be, for example, a vehicle with an internal combustion engine, an electric vehicle, or a hybrid vehicle. A vehicle within the meaning of the invention can in particular be a passenger car.

Das Verfahren umfasst das Ermitteln von Gefahrenabschätzungsdaten für das Fahrzeug und/oder für den Fahrer des Fahrzeugs basierend auf Sensordaten des Fahrzeugs. Sensordaten können beispielsweise von einem Sensorsystem mit mindestens einem Sensor oder von dem wenigstens einen Sensor des Fahrzeugs ermittelt werden. Das Sensorsystem kann beispielsweise ein Sensorsystem eines Fahrerassistenzsystems sein. Beispielsweise kann das Sensorsystem mindestens einen Sensor zum Erfassen von optischen Daten, einen Sensor zum Erfassen von akustischen Daten und/oder einen Sensor zum Erfassen von elektrischen Daten umfassen. Es sind auch andere Arten von Sensoren einsetzbar.The method includes determining risk assessment data for the vehicle and/or for the driver of the vehicle based on sensor data from the vehicle. Sensor data can be determined, for example, by a sensor system with at least one sensor or by the at least one sensor of the vehicle. The sensor system can, for example, be a Sensorsys tem of a driver assistance system. For example, the sensor system can include at least one sensor for acquiring optical data, one sensor for acquiring acoustic data and/or one sensor for acquiring electrical data. Other types of sensors can also be used.

Gefahrenabschätzungsdaten wie hierin verwendet repräsentieren beispielsweise ein Gefahrenniveau einer potenziellen Gefahr für das Fahrzeug und/oder für den Fahrer des Fahrzeugs. Ein Gefahrenniveau kann beispielsweise durch das unterschreiten eines (festgelegten) Wertes, beispielsweise eines von dem Sensorsystem oder dem wenigstens einen Sensor ermittelten Abstandes festgelegt sein. Beispielsweise kann ein Gefahrenniveau durch das überschreiten eines (festgelegten) Wertes, beispielsweise einer Geschwindigkeit oder einer Beschleunigung des Fahrzeugs oder eines Objekts im Erfassungsbereich des Sensorsystems oder des wenigstens eines Sensors festgelegt sein. Das Gefahrenniveau kann beispielsweise in vorgegebene Stufen unterteilt sein oder als kontinuierliches Gefahrenniveau definiert sein. Als Beispiel kann ein Sensor einen Abstand zu einem Objekt erfassen und den ermittelten Abstand mit vordefinierten Werten für ein Gefahrenniveau vergleichen. Entsprechend können verschiedene Stufen für ein Gefahrenniveau in den Gefahrenabschätzungsdaten repräsentiert sein. Gefahrenabschätzungsdaten können beispielsweise die Gefahrenniveaus von Sensordaten von einem oder mehreren Sensoren repräsentieren, bzw. umfassen.Hazard assessment data, as used herein, represents, for example, a hazard level of a potential hazard to the vehicle and/or to the driver of the vehicle. A level of danger can be specified, for example, by falling below a (specified) value, for example a distance determined by the sensor system or the at least one sensor. For example, a risk level can be determined by exceeding a (specified) value, for example a speed or an acceleration of the vehicle or an object in the detection range of the sensor system or the at least one sensor. The danger level can, for example, be subdivided into predetermined levels or be defined as a continuous danger level. As an example, a sensor can detect a distance to an object and compare the determined distance to predefined values for a danger level. Correspondingly, different stages for a danger level can be represented in the danger assessment data. Hazard assessment data may represent or include, for example, the hazard levels of sensor data from one or more sensors.

Das Verfahren umfasst ferner das Modifizieren eines vorhandenen Audiosignals, das nicht mit der Gefahr assoziiert ist. Das Audiosystem eines Fahrzeugs kann beispielsweise ein oder mehrere Audiosignale gleichzeitig abspielen. Dafür werden die Signale meist in einer Verarbeitungsvorrichtung des Fahrzeugs für Audiosignale gemischt und über die dem Audiosystem zur Verfügung stehenden Lautsprecher ausgegeben. Dazu gehören beispielsweise Radio, CD oder digitale Audiodaten auf anderen Datenträgersystemen. Ferner werden beispielsweise die zuvor genannten Warntöne über das Audiosystem ausgegeben. Lediglich diese Warntöne sind mit einer Gefahr assoziiert.The method further includes modifying an existing audio signal that is not associated with the hazard. For example, a vehicle's audio system may play one or more audio signals simultaneously. For this purpose, the signals are usually mixed in a processing device in the vehicle for audio signals and output via the loudspeakers available to the audio system. This includes, for example, radio, CD or digital audio data on other data carrier systems. Furthermore, for example, the aforementioned warning tones are output via the audio system. Only these warning tones are associated with a hazard.

Modifizieren bedeutet hierein beispielsweise, dass das vorhandene Audiosignal in wenigstens einer seiner akustischen Eigenschaften verändert wird. Das Modifizieren kann beispielsweise auf einer Recheneinheit des Audiosystems oder auf einer sonstigen Recheneinheit, beispielsweise des Fahrzeugs durchgeführt werden.Modifying means here, for example, that the existing audio signal is changed in at least one of its acoustic properties. The modification can be carried out, for example, on a computing unit of the audio system or on another computing unit, for example of the vehicle.

Das Modifizieren des Audiosignals kann insbesondere in Echtzeit durchgeführt werden. Das modifizierte Audiosignal kann dann mit anderen Audiosignalen, die im Fahrzeug ausgegeben werden sollen, gemischt werden. Beispielsweise kann das modifizierte Audiosignal mit anderen Audiosignalen gleichzeitig abgespielt werden.The audio signal can in particular be modified in real time. The modified audio signal can then be mixed with other audio signals to be output in the vehicle. For example, the modified audio signal can be played back simultaneously with other audio signals.

Das Modifizieren basiert ferner auf den Gefahrenabschätzungsdaten. Entsprechend den Gefahrenabschätzungsdaten können beispielsweise entsprechende und/oder verschiedene Parameter oder Parametervariationen für das Modifizieren verwendet werden.The modifying is also based on the hazard assessment data. According to the risk assessment data, for example, corresponding and/or different parameters or parameter variations can be used for the modification.

Das Verfahren umfasst ferner das Ausgeben des modifizierten Audiosignals mit mindestens einer Schallquelle des Fahrzeugs. Eine Schallquelle ist beispielsweise ein Lautsprecher. Eine Schallquelle kann beispielsweise auch ein Vibrationsmotor sein.The method also includes outputting the modified audio signal with at least one sound source of the vehicle. A sound source is, for example, a loudspeaker. A sound source can also be a vibration motor, for example.

Gemäß einer Ausführungsform kann das Verfahren das Ermitteln von Gefahrenrichtungsdaten umfassen. Gefahrenrichtungsdaten können beispielsweise basierend auf Sensordaten oder beispielsweise auf Sensordaten eines Fahrerassistenzsystems basieren. Gefahrenrichtungsdaten repräsentieren beispielsweise eine Richtung bezogen auf das Fahrzeug und/oder den Fahrer des Fahrzeugs.According to one embodiment, the method can include determining hazard direction data. Danger direction data can be based, for example, on sensor data or, for example, on sensor data from a driver assistance system. Hazard direction data represents, for example, a direction related to the vehicle and/or the driver of the vehicle.

Gefahrenrichtungsdaten repräsentieren beispielsweise eine Richtung und/oder einen Winkel bezogen auf beispielsweise eine Längsachse des Fahrzeugs und beispielsweise einen Mittelpunkt des Fahrzeugs, die, bzw. der mit einer Gefahr und/oder einem Objekt assoziiert ist, das beispielsweise von Sensordaten erfasst, beschrieben ist oder beschrieben wird.Hazard direction data represent, for example, a direction and/or an angle relative to, for example, a longitudinal axis of the vehicle and, for example, a center point of the vehicle, which is associated with a hazard and/or an object that is or is described, for example, detected by sensor data becomes.

Das Modifizieren des Audiosignals kann so durchgeführt werden, dass ein modifiziertes Audiosignal erhalten wird, so dass ein ortbarer Schall von der mindestens einen Schallquelle, vorzugsweise von mindestens zwei Schallquellen, emittiert wird, wobei eine (wahrnehmbare) Schallrichtung des Schalls im Wesentlichen einer Gefahrenrichtung entspricht, wenn das modifizierte Audiosignal ausgegeben wird. Beispielhaft kann ein Radfahrer in Bezug auf das Fahrzeug aus einer Richtung kommend, die für den Fahrer nicht einsehbar ist, aber von Sensoren des Fahrzeugs erfassbar ist, eine Gefahr darstellen, insofern, dass der Radfahrer mit dem Fahrzeug kollidieren könnte. Eine Richtung bezogen auf das Fahrzeug kann sich dabei beispielsweise kontinuierlich ändern. Diese Änderung über die Zeit kann beispielsweise in den Sensordaten repräsentiert sein. Das Modifizieren kann dabei beispielsweise je nach aktuellem Standort, bzw. Richtung, in der sich der Radfahrer befindet, das Audiosignal derart verändern, dass ein Fahrer eine Änderung des Audiosignals bemerkt und dem ausgegebenen (modifizierten) Audiosignal eine Richtung zuordnen kann. Diese dem modifizierten Audiosignal zugeordnete Richtung kann beispielsweise zumindest im Wesentlichen der Richtung entsprechen, die dem Radfahrer aktuell zugeordnet ist. Sobald die Gefahrenabschätzungsdaten, die dem Radfahrer zugeordnet sind, ein Gefahrenniveau repräsentieren, das keine Aufmerksamkeit des Fahrers benötigt, kann beispielsweise eine Modifikation des Audiosignals ausgesetzt werden, sofern keine anderen Gefahrenquellen vorhanden sind oder identifiziert sind (von den Sensoren des Fahrzeugs).The audio signal can be modified in such a way that a modified audio signal is obtained such that a locatable sound is emitted by the at least one sound source, preferably by at least two sound sources, with a (perceptible) sound direction of the sound essentially corresponding to a danger direction, when the modified audio signal is output. For example, a cyclist coming from a direction in relation to the vehicle that is not visible to the driver but can be detected by the vehicle's sensors can pose a risk in that the cyclist could collide with the vehicle. A direction related to the vehicle can change continuously, for example. This change over time can be represented in the sensor data, for example. The modification can change the audio signal, for example depending on the current location or direction in which the cyclist is located, in such a way that a driver notices a change in the audio signal and responds to the output (modified) Audio signal can assign a direction. This direction assigned to the modified audio signal can, for example, at least essentially correspond to the direction currently assigned to the cyclist. For example, once the hazard assessment data associated with the cyclist represents a hazard level that does not require driver attention, modification of the audio signal may be suspended unless other hazard sources are present or identified (by the vehicle's sensors).

Gefahrenabschätzungsdaten können nach einer Ausführungsform (auch) basierend auf Prediktoren, beispielsweise mit künstlicher Intelligenz oder maschinellem Lernen unterstützten Sensordaten eines Fahrerassistenzsystems ermittelt werden. Beispielsweise kann ein Fahrerassistenzsystem mit den Sensordaten eine erwartete Situation, wie beispielsweise eine Verkehrssituation errechnen und/oder (in bestimmten Ma-ßen) vorhersagen, beispielsweise im Zusammenhang mit einer Wahrscheinlichkeit. Basierend auf dieser Prediktion können Gefahrenabschätzungsdaten ermittelt werden und die vorhergesagte Gefahr, bzw. ein vorhergesagtes Gefahrenniveau repräsentieren.According to one embodiment, risk assessment data can (also) be determined based on predictors, for example sensor data of a driver assistance system supported with artificial intelligence or machine learning. For example, a driver assistance system can use the sensor data to calculate and/or (to a certain extent) predict an expected situation, such as a traffic situation, for example in connection with a probability. Based on this prediction, risk assessment data can be determined and represent the predicted risk or a predicted risk level.

Gemäß einer Ausführungsform kann das Modifizieren des Audiosignals das Modifizieren des Audiosignals mindestens eines von einer pegelorientiere Modifikation, wie beispielsweise Lautstärke und/oder Lautheit, eine spektrale Modifikation, wie beispielsweise ein Anheben oder Absenken von Frequenzbereichen wie Obertönen, Mitteltönen oder Bässen und/oder Anheben oder Absenken von wenigstens einer Frequenz, eine verzerrende Modifikation, wie beispielsweise ein verzerrender Effekt wie das Hinzufügen von Obertönen, eine verzögerungszeitorientierte Modifikation, wie beispielsweise Hall oder Verzögerung (englisch: „delay“) und/oder ein Modifizieren der Schallrichtung, umfassen. Beispielsweise kann das Modifizieren des Audiosignals mindestens eines von Lautstärke, Klang, Tonhöhe, Frequenz, Basslastigkeit und/oder Schallrichtung umfassen. Beispielsweise kann ein Audiosignal, das nicht mit einer Gefahr assoziiert ist, derart verändert werden, dass eine Aufmerksamkeit des Fahrers eines Fahrzeugs beispielsweise erhöht werden kann, im Vergleich zu einer Situation ohne Modifizieren eines Audiosignals. Als Beispiel kann das Audiosignal eines Motorgeräuschs, wie es beispielsweise bei Elektrofahrzeugen (E-Sound) eingespielt wird, modifiziert werden. Beispielsweise kann eine Frequenz des Motorengeräuschs verstärkt oder vermindert werden, beispielsweise derart, dass beim Fahrer des Fahrzeugs der Eindruck entsteht, dass das Motorengeräusch beispielsweise in einer bestimmten Richtung eine verstärkte Frequenz (oder ein Frequenzspektrum) oder eine verminderte Frequenz (oder ein Frequenzspektrum) aufweist. Weiterhin beispielsweise kann auch eine Basslastigkeit des Audiosignals, beispielsweise des Motorengeräuschs, modifiziert werden, weiter beispielsweise auch so, dass für den Fahrer der Eindruck entsteht, dass das modifizierte Audiosignal in einer Richtung, die einer Gefahrenrichtung entspricht, beispielsweise weniger oder mehr Bassfrequenzen aufweist. Das Modifizieren des Audiosignals kann auch eine Kombination von mehreren Veränderungen des Audiosignals sein. Das zu modifizierende Audiosignal kann beispielsweise auch ein Radiosignal sein, oder ein vergleichbares Audiosignal, beispielsweise des Entertainmentsystems des Fahrzeugs.According to one embodiment, modifying the audio signal can modify the audio signal at least one of a level-oriented modification, such as volume and/or loudness, a spectral modification, such as raising or lowering of frequency ranges such as overtones, midtones or bass and/or raising or Lowering at least one frequency, a distorting modification, such as a distorting effect such as adding overtones, a delay-time oriented modification such as reverberation or delay and/or modifying the direction of the sound. For example, modifying the audio signal can include at least one of volume, tone, pitch, frequency, bass emphasis, and/or sound direction. For example, an audio signal that is not associated with a hazard can be modified in such a way that the driver's attention of a vehicle can be increased, for example, compared to a situation without modifying an audio signal. As an example, the audio signal of an engine noise, such as that played in electric vehicles (E-Sound), can be modified. For example, a frequency of the engine noise can be increased or decreased, for example in such a way that the driver of the vehicle has the impression that the engine noise has an increased frequency (or a frequency spectrum) or a decreased frequency (or a frequency spectrum) in a certain direction, for example. Furthermore, for example, a bass-heavy audio signal, for example the engine noise, can also be modified, for example also in such a way that the driver gets the impression that the modified audio signal has, for example, fewer or more bass frequencies in a direction that corresponds to a danger direction. The modification of the audio signal can also be a combination of several changes in the audio signal. The audio signal to be modified can also be a radio signal, for example, or a comparable audio signal, for example from the vehicle's entertainment system.

Gemäß einer Ausführungsform kann das Ermitteln einer Gefahrenabschätzung ferner das Klassifizieren eines Objekts nach einem Objekttyp umfassen. Sensoren des Fahrzeugs können beispielsweise ein Objekt, das in Sensorreichweite ist, beispielsweise mit Hilfe von maschinellem Lernen oder künstlicher Intelligenz, klassifizieren. Ein Objekttyp kann beispielsweise ein dem Objekt zugeordnetes Substantiv sein, wie beispielsweise Fahrrad, Radfahrer, Fußgänger, Hund, Autobus, Lastwagen, etc. Der Objekttyp kann sich beispielsweise auf Verkehrsteilnehmer beziehen und/oder auf Objekte, die im Wesentlichen nicht am Verkehr teilnehmen, aber als Objekte an sich identifizierbar sind, wie beispielsweise Ampeln, Bäume, Straßenmarkierungen, Stra-ßenbegrenzungen, Verkehrsschilder, etc.. Sofern beispielsweise die Gefahrenabschätzungsdaten ein beispielsweise erhöhtes Gefahrenniveau für das Fahrzeug repräsentieren, kann das Modifizieren ferner und je nach klassifiziertem Objekttyp Parameter zum Modifizieren des Audiosignals verwenden, die für einen (identifizierten) Objekttyp vorbestimmt sind. Beispielsweise kann eine Modifizierung des Audiosignals für einen in für das Fahrzeug gefährlicher Weise näher kommenden Lastkraftwagen zunächst, entsprechend der Gefahrenabschätzungsdaten eine minimale Modifizierung des Audiosignals bedeuten. Wenn sich beispielsweise der Lastkraftwagen weiter in gefährlicher Weise dem Fahrzeug nähert, kann das Modifizieren des Audiosignals stärker ausfallen, so dass für den Fahrer beispielsweise eine weitere Veränderung des Audiosignals auffällt und entsprechend seine Aufmerksamkeit verändert wird oder zumindest gelenkt werden kann, insofern, dass sich der Fahrer der beispielhaft näher kommenden Gefahr des Lastkraftwagens bewusst wird.According to an embodiment, determining a risk assessment can also include classifying an object according to an object type. Sensors in the vehicle can, for example, classify an object that is within sensor range, for example with the help of machine learning or artificial intelligence. An object type can be, for example, a noun associated with the object, such as bicycle, cyclist, pedestrian, dog, bus, truck, etc. The object type can, for example, relate to road users and/or to objects that essentially do not participate in traffic, but are identifiable as objects per se, such as traffic lights, trees, road markings, road boundaries, traffic signs, etc.. If, for example, the risk assessment data represent an increased level of risk for the vehicle, for example, the modification can also, depending on the classified object type, parameter for modifying the Use audio signals that are predetermined for a (identified) object type. For example, a modification of the audio signal for a truck that is approaching dangerously for the vehicle can initially mean a minimal modification of the audio signal in accordance with the risk assessment data. If, for example, the truck continues to approach the vehicle in a dangerous manner, the modification of the audio signal can be greater, so that the driver notices a further change in the audio signal, for example, and his attention is changed accordingly or at least can be directed to the extent that the Driver becomes aware of the approaching danger of the truck, for example.

Der Objekttyp kann beispielsweise einer Gefahrenabschätzung zugeordnet werden oder zugeordnet sein. Einem Objekttyp können ein oder mehrere Modifikationsparameter zum Modifizieren des Audiosignals zugeordnet sein. Einem Objekttyp können je nach Gefahrenabschätzung ein oder mehrere Modifikationsparameter zugeordnet sein.The object type can be assigned or assigned to a risk assessment, for example. One or more modification parameters for modifying the audio signal can be assigned to an object type. Depending on the risk assessment, one or more modification parameters can be assigned to an object type.

Das Modifizieren des Audiosignals kann ferner basierend auf mindestens einem dem Objekttyp zugeordneten vorbestimmten Modifikationsparameter zum Modifizieren des Audiosignals durchgeführt werden.The audio signal can also be modified based on at least one predetermined modification parameter assigned to the object type for modifying the audio signal.

Gemäß einer Ausführungsform kann zusätzlich zum Ausgeben des modifizierten Audiosignals mindestens eine weitere Warnung vom Fahrzeug ausgegeben werden, insbesondere eine optische, haptische und/oder akustische Warnung. Beispielsweise kann das modifizierte Audiosignal mit einer weiteren Warnung kombiniert werden, die beispielsweise mit einer Gefahr assoziiert ist. Beispielsweise kann ein „Beep“ oder „Gong“ Sound zusätzlich zum modifizierten Audiosignal mit eingespielt, das heißt von der mindestens eine Schallquelle (mit) ausgegeben werden und/oder beim Modifizieren des Audiosignals mit dem zu modifizierenden oder dem modifizierten Audiosignal kombiniert werden. Beispielsweise kann ein Vibrationsmotor, beispielsweise im Lenkrad des Fahrzeugs beim Ausgeben des modifizierten Audiosignals mit aktiviert werden, entsprechend, bzw. basierend auf den Gefahrenabschätzungsdaten. Weiterhin kann beispielsweise eine optische Warnung zusätzlich zum modifizierten Audiosignal ausgegeben werden, beispielsweise mit einer Anzeigevorrichtung im Fahrzeug, beispielsweise eingeblendet in einem Head-up Display oder bei den üblichen Anzeigemöglichkeiten der Instrumententafel, bzw. des Armaturenbretts im Fahrzeug oder an Anzeigeflächen außerhalb des Fahrzeugraums, wie beispielsweise am Seitenspiegel. Es kann auch eine Kombination von einer mehreren Warnungen (auf beispielsweise unterschiedliche Weise) zusätzlich zum modifizierten Audiosignal ausgegeben werden.According to one embodiment, in addition to the output of the modified audio signal, at least one further warning can be output by the vehicle, in particular an optical, haptic and/or acoustic warning. For example, the modified audio signal can be combined with a further warning, which is associated with a hazard, for example. For example, a “beep” or “gong” sound can be played in addition to the modified audio signal, i.e. it can be output by the at least one sound source (also) and/or combined with the audio signal to be modified or the modified audio signal when modifying the audio signal. For example, a vibration motor, for example in the vehicle's steering wheel, can also be activated when the modified audio signal is output, correspondingly or based on the risk assessment data. Furthermore, for example, an optical warning can be output in addition to the modified audio signal, for example with a display device in the vehicle, for example displayed in a head-up display or with the usual display options on the instrument panel or dashboard in the vehicle or on display surfaces outside the vehicle compartment, such as for example on the side mirror. A combination of one or more warnings (e.g. in different ways) can also be output in addition to the modified audio signal.

Gemäß einer Ausführungsform kann das Modifizieren ferner in einer Vielzahl von Phasen und/oder Stufen, basierend auf den Gefahrenabschätzungsdaten vorgenommen werden.According to one embodiment, the modifying can also be done in a variety of phases and/or stages based on the hazard assessment data.

Phasen und/oder Stufen hierin beziehen sich auf ein Gefahrenniveau, das von den Gefahrenabschätzungsdaten repräsentiert wird. Entsprechend eines kontinuierlichen oder diskontinuierlichen (abgestuften) Gefahrenniveaus können Phasen und/oder Stufen für eine Aufmerksamkeitssteuerung eines Fahrers definiert sein. Das heißt, dass beispielsweise die Phasen und/oder Stufen eine Eskalation der Aufmerksamkeitssteuerung umfassen können. Beispielsweise kann in einer ersten Stufe und/oder Phase nur ein oder wenige Parameter eines Audiosignals modifiziert werden. In einer nachfolgenden Stufe und/oder Phase können weitere Parameter des Audiosignals zusätzlich modifiziert werden und in einer vorletzten und/oder letzten Stufe und/oder Phase können beispielsweise zu der Modifizierung des Audiosignals (die noch weiter modifizierte Parameter umfassen kann) Warntöne mit ausgegeben werden.Phases and/or stages herein refer to a hazard level represented by the hazard assessment data. According to a continuous or discontinuous (graded) level of danger, phases and/or stages for alerting a driver can be defined. This means that, for example, the phases and/or stages can include an escalation of the attention control. For example, only one or a few parameters of an audio signal can be modified in a first stage and/or phase. In a subsequent stage and/or phase, further parameters of the audio signal can also be modified, and in a penultimate and/or last stage and/or phase, warning tones can be output along with the modification of the audio signal (which can include further modified parameters).

Ferner kann das modifizierte Audiosignal basierend auf den Gefahrenabschätzungsdaten und je nach Phase und/oder Stufe, mit der wenigstens einen weiteren Warnung kombiniert werden. Beispielsweise kann eine Aufmerksamkeit des Fahrers bei einem Radfahrer in einem nur minder gefährlichen Abstand mit dem Ausgeben eines modifizierten Audiosignals erregt werden. Verringert sich der Abstand beispielsweise in einer Art und Weise, die als gefährlicher für das Fahrzeug eingestuft wird, können beispielsweise andere Modifikationsparameter zum Modifizieren des Audiosignals eingesetzt werden, die dazu geeignet sind, eine Aufmerksamkeit des Fahrers besser als die zuvor verwendeten Modifikationsparameter zu lenken, bzw. zu erregen. In einem sich erhöhenden Gefahrenniveau durch den Radfahrer, das in den Gefahrenabschätzungsdaten repräsentiert ist, kann beispielsweise zum Ausgeben des modifizierten Audiosignals (wenigstens) eine weitere Warnung mit dem modifizierten Audiosignal ausgegeben werden.Furthermore, the modified audio signal can be combined with the at least one further warning based on the hazard assessment data and depending on the phase and/or stage. For example, the driver's attention can be drawn to a cyclist at an only less dangerous distance by outputting a modified audio signal. For example, if the distance decreases in a way that is classified as more dangerous for the vehicle, other modification parameters can be used to modify the audio signal, for example, which are suitable for drawing the driver's attention better than the modification parameters previously used, or .to excite. In an increasing level of danger from the cyclist, which is represented in the danger assessment data, for example for the purpose of outputting the modified audio signal, (at least) one further warning can be output with the modified audio signal.

Gemäß einer Ausführungsform kann das Verfahren ferner das Ermitteln einer Identität des Fahrers umfassen. Beispielsweise kann das Erfassen der Identität eines Fahrers über einen intelligenten Fahrzeugschlüssel, der mit der Identität des Fahrers verknüpft ist oder über eine Erkennung des Fahrers, beispielsweise anhand biometrischer Daten mittel Sensorik im Fahrzeug, erfolgen.According to one embodiment, the method may further include determining an identity of the driver. For example, the driver's identity can be recorded using an intelligent vehicle key, which is linked to the driver's identity, or by recognizing the driver, for example using biometric data using sensors in the vehicle.

Dies hat den Vorteil, dass das Verfahren beispielsweise individuell auf den Fahrer abgestimmt werden kann. Beispielsweise können fahrerindividuelle Parameter für das Modifizieren des Audiosignals verwendet werden, und/oder es können vom Fahrer des Fahrzeugs individuell eingestellte Parameter für Objekttypen verwendet werden zum Modifizieren des Audiosignals.This has the advantage that the method can be individually tailored to the driver, for example. For example, driver-specific parameters can be used to modify the audio signal, and/or parameters for object types set individually by the driver of the vehicle can be used to modify the audio signal.

Gemäß einer Ausführungsform kann das Verfahren ferner das Ermitteln einer Kopfpose des Fahrers in Bezug auf das Fahrzeug umfassen. Damit kann beispielsweise das Modifizieren des Audiosignals um eine Anpassung des Audiosignals an die Kopfpose des Fahrers erweitert werden. Mit der ermittelten Kopfpose kann beispielsweise über eine Außenohr-Übertragungsfunktion (head-related transfer function (HRTF)) des Fahrers das Audiosignal (weiter) individuell an den Fahrer angepasst werden und eine Ortbarkeit des Audiosignals beispielsweise verbessert werden. Das Modifizieren des Audiosignals kann (damit) ferner auf der Außenohr-Übertragungsfunktion und der (individuellen) Kopfpose des Fahrers basieren.According to an embodiment, the method may further include determining a head pose of the driver with respect to the vehicle. In this way, for example, the modification of the audio signal can be expanded to include an adaptation of the audio signal to the driver's head pose. With the determined head pose, the audio signal can be (further) individually adapted to the driver, for example via an outer ear transfer function (head-related transfer function (HRTF)) of the driver, and localization of the audio signal can be improved, for example. The modification of the audio signal can (thus) be further based on the outer ear transfer function and the (individual) head pose of the driver.

Vorteilhafterweise kann mit einer Außenohr-Übertragungsfunktion und einem entsprechenden Modifizieren des Audiosignals eine Aufmerksamkeitserregung des Fahrers verbessert werden.Advantageously, attracting the driver's attention can be improved with an outer ear transfer function and a corresponding modification of the audio signal.

Gemäß einer Ausführungsform kann das Audiosignal ein artifizielles Fahrgeräusch und/oder ein artifizielles Motorgeräusch sein. Ein Fahrgeräusch und/oder ein Motorgeräusch sind beispielsweise Geräusche die unabhängig von einer Gefahr oder einer Gefahrensituation im Fahrzeug eingespielt werden oder eingespielt werden können, je nach Fahrzeug und/oder Antriebstyp des Fahrzeugs. Es können auch andere Audiosignale verwendet werden, die nicht mit einer Gefahr oder einer Gefahrensituation verknüpft sind. Audiosignale des Entertainmentsystems im Fahrzeug sind im Allgemeinen und beispielsweise nicht mit einer Gefahr und/oder Gefahrensituation verknüpft. Diese können basierend auf den Gefahrenabschätzungsdaten modifiziert und/oder zusätzlich zu artifiziellen Motorgeräuschen und/oder Fahrgeräuschen modifiziert werden. Es können alle Audiosignale, die nicht mit einer Gefahr und/oder einer Gefahrensituation verknüpft sind modifiziert werden, basierend auf den Gefahrenabschätzungsdaten.According to one embodiment, the audio signal can be an artificial driving noise and/or an artificial engine noise. A driving noise and/or an engine noise are, for example, noises that are or can be played in the vehicle independently of a hazard or a dangerous situation, depending on the vehicle and/or drive type of the vehicle. Other audio signals that are not associated with a hazard or a hazardous situation can also be used. Audio signals from the in-vehicle entertainment system are generally, for example, not associated with a hazard and/or hazardous situation. These can be modified based on the hazard assessment data and/or modified in addition to artificial engine noise and/or road noise. Any audio not associated with a hazard and/or hazard situation may be modified based on the hazard assessment data.

Gemäß einem Aspekt wird ein System zur Aufmerksamkeitssteuerung eines Fahrers eines Fahrzeugs vorgeschlagen, das zur Durchführung des oben beschriebenen Verfahrens und/oder gemäß Ausführungsformen des Verfahrens eingerichtet ist.According to one aspect, a system for controlling the attention of a driver of a vehicle is proposed, which is set up to carry out the method described above and/or according to embodiments of the method.

Gemäß einer Ausführungsform kann das System ferner Mittel zum Ermitteln von Gefahrenabschätzungsdaten für das Fahrzeug und/oder für den Fahrer des Fahrzeugs basierend auf Sensordaten des Fahrzeugs, wobei die Gefahrenabschätzungsdaten ein Gefahrenniveau einer (potenziellen) Gefahr für das Fahrzeug und/oder für den Fahrer des Fahrzeugs repräsentieren, aufweisen. Derartige Mittel sind beispielsweise Recheneinheiten des Fahrzeugs, die zentral und/oder dezentral Gefahrenabschätzungsdaten ermitteln, wie beispielsweise ein elektronisches Steuergerät (electronic control unit - ECU) oder ein Prozessor, beispielsweise in einem Sensorsystem oder einem Sensor oder in einer zentralen und/oder dezentralen Recheneinheit des Fahrzeugs.According to one embodiment, the system can also include means for determining risk assessment data for the vehicle and/or for the driver of the vehicle based on sensor data from the vehicle, the risk assessment data indicating a risk level of a (potential) risk for the vehicle and/or for the driver of the vehicle represent, exhibit. Such means are, for example, computing units in the vehicle that determine central and/or decentralized risk assessment data, such as an electronic control unit (ECU) or a processor, for example in a sensor system or a sensor or in a central and/or decentralized computing unit of the vehicle vehicle.

Ferner kann das System Mittel zum Modifizieren eines (vorhandenen) Audiosignals, das nicht mit der Gefahr assoziiert ist, basierend auf den Gefahrenabschätzungsdaten, aufweisen. Ein derartiges Mittel kann beispielsweise ein Prozessor oder ein elektronisches Steuergerät sein. Mit dem Mittel zum Modifizieren eines (vorhandenen) Audiosignals kann ein modifiziertes Audiosignal erzeugt werden, bzw. erhalten werden. Beispielsweise können die Mittel zum Ermitteln von Gefahrenabschätzungsdaten und die Mittel zum Modifizieren eines Audiosignals identische, dieselben oder unterschiedliche Mittel sein.Furthermore, the system may comprise means for modifying an (existing) audio signal not associated with the hazard based on the hazard assessment data. Such a means can be, for example, a processor or an electronic control unit. A modified audio signal can be generated or obtained with the means for modifying an (existing) audio signal. For example, the means for determining risk assessment data and the means for modifying an audio signal can be identical, the same or different means.

Weiterhin kann das System Mittel zum Ausgeben des modifizierten Audiosignals mit mindestens einer Schallquelle des Fahrzeugs aufweisen. Mittel zum Ausgeben sind beispielsweise ein oder mehrere Steuergeräte des Entertainmentsystems des Fahrzeugs oder ein dediziertes Audiosystem des Fahrzeugs oder eines der oben genannten Mittel, die eingerichtet sind, das modifizierte Audiosignal auszugeben. Die Mittel zum Ausgeben des (modifizierten) Audiosignals sind insbesondere mit Schallquellen im Fahrzeug kommunizierend verbunden, beispielsweise in Datenkommunikation und/oder in analoger Weise.Furthermore, the system can have means for outputting the modified audio signal with at least one sound source of the vehicle. Output means are, for example, one or more control units of the vehicle's entertainment system or a dedicated audio system of the vehicle or one of the above-mentioned means that are set up to output the modified audio signal. The means for outputting the (modified) audio signal are in particular connected in a communicative manner to sound sources in the vehicle, for example in data communication and/or in an analog manner.

Gemäß einem weiteren Aspekt wird ein Computerprogramm oder Computerprogrammprodukt vorgeschlagen. Das Computerprogramm oder Computerprogrammprodukt enthält insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen, die bei der Ausführung durch einen oder mehrere Computer oder ein System nach einem Aspekt der Erfindung, den oder die Computer oder das System dazu veranlassen, ein Verfahren nach einem anderen Aspekt der Erfindung durchzuführen.According to a further aspect, a computer program or computer program product is proposed. The computer program or computer program product contains, in particular, instructions stored on a computer-readable and/or non-volatile storage medium which, when executed by one or more computers or a system according to one aspect of the invention, cause the computer or the system to perform a method according to another aspect of the invention.

Die hier beschriebenen Ausführungsformen sind miteinander kombinierbar insoweit eine ausführbare Kombination für den Fachmann ersichtlich ist. Dies gilt auch über die Aspekte der Erfindung hinweg.The embodiments described here can be combined with one another insofar as an executable combination is apparent to a person skilled in the art. This also applies beyond the aspects of the invention.

Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung im Zusammenhang mit den Figuren.Further features, advantages and possible applications of the invention result from the following description in connection with the figures.

Es zeigen:

  • 1 eine teilweise schematische Darstellung von Ausführungsformen eines Systems zur Aufmerksamkeitssteuerung eines Fahrers in einem Fahrzeug mit einem Gefahrenobjekt in einem ersten (zeitlichen) Zustand;
  • 2 eine teilweise schematische Darstellung von Ausführungsformen eines Systems zur Aufmerksamkeitssteuerung eines Fahrers in einem Fahrzeug mit einem Gefahrenobjekt in einem zweiten (zeitlichen) Zustand;
  • 3 eine teilweise schematische Darstellung von Ausführungsformen eines Systems zur Aufmerksamkeitssteuerung eines Fahrers in einem Fahrzeug mit einem Gefahrenobjekt in einem dritten (zeitlichen) Zustand; und
  • 4 eine schematische Darstellung eines Verfahrens zur Aufmerksamkeitssteuerung eines Fahrers in einem Fahrzeug.
Show it:
  • 1 a partially schematic representation of embodiments of a system for controlling the attention of a driver in a vehicle with a dangerous object in a first (temporal) state;
  • 2 a partially schematic representation of embodiments of a system for controlling the attention of a driver in a vehicle with a dangerous object in a second (temporal) state;
  • 3 a partially schematic representation of embodiments of a system for controlling the attention of a driver in a vehicle with a dangerous object in a third (temporal) state; and
  • 4 a schematic representation of a method for controlling the attention of a driver in a vehicle.

Im Folgenden wird die Erfindung anhand der 1 bis 3 in Bezug auf den ersten Aspekt des erfindungsgemäßen Systems und anhand der 4 in Bezug auf das erfindungsgemäße Verfahren erläutert. Dabei werden gleiche, ähnliche oder gleichwirkende Elemente in den unterschiedlichen Figuren mit identischen Bezugszeichen versehen, und auf eine wiederholte Beschreibung dieser Elemente wird teilweise verzichtet, um Redundanzen zu vermeiden.The invention is based on the 1 until 3 in relation to the first aspect of the system according to the invention and based on 4 explained in relation to the inventive method. Elements that are the same, similar or have the same effect are provided with identical reference symbols in the different figures, and a repeated description of these elements is sometimes dispensed with in order to avoid redundancies.

Erfindungsgemäß wird vorzugsweise eine Aufmerksamkeit eines Fahrers eines Fahrzeugs 2 gesteuert und/oder beeinflusst. In Fahrzeugen ist es insbesondere in Gefahrensituation möglich, den Fahrer gezielt auf eine bestimmte Gefahr aufmerksam zu machen, indem man die (physiologischen) Sinne des Fahrers gezielt direkt oder indirekt anspricht. Eine Gefahr ist eine relative Größe, die durch vordefinierte oder predeterminierte Größen und/oder Bereiche für Fahrzeuge festgelegt werden kann. Diese pre-determinierten Größen und/oder Bereiche sind bei Fahrzeugen für die Sensoren oder Sensorsysteme festgelegt. Diese können je nach Auslegung, Umgebungsparametern, beispielsweise Fahrbahnzustand oder Wetter, verändert werden oder anders festgelegt sein.According to the invention, the attention of a driver of a vehicle 2 is preferably controlled and/or influenced. In vehicles, it is possible, particularly in dangerous situations, to draw the driver's attention to a specific danger in a targeted manner by directly or indirectly addressing the (physiological) senses of the driver. A hazard is a relative size that can be defined by predefined or predetermined sizes and/or areas for vehicles. These pre-determined sizes and/or ranges are specified for the sensors or sensor systems in vehicles. Depending on the design, environmental parameters, for example the condition of the road or the weather, these can be changed or defined differently.

1 zeigt schematisch ein Fahrzeug 2 in einer Draufsicht mit Sensoren, bzw. einem Sensorsystem 5, das mit kleinen schwarzen Quadraten schematisch dargestellt ist. Ferner ist ein Objekt 3 dargestellt, dass sich in einem Abstand zum Fahrzeug 2 befindet und eine durch einen Pfeil dargestellte Bewegungsrichtung aufweist. Das Objekt 3 kann beispielsweise ein anderer Verkehrsteilnehmer sein, wie beispielsweise ein anderes Fahrzeug, ein Fahrradfahrer oder ein Fußgänger. Das Objekt 3 wird von den Sensoren 5 erfasst und von einem Mittel zum Ermitteln von Gefahrenabschätzungsdaten ermittelt, ob das Objekt 3 eine Gefahr für das Fahrzeug 2 darstellt. Das Ermitteln der Gefahrenabschätzungsdaten umfasst, dass ein Gefahrenniveau für das Fahrzeug 2 ermittelt wird, das vom Objekt 3 ausgeht. Dieses Gefahrenniveau wird von den Gefahrenabschätzungsdaten repräsentiert. Beispielsweise kann das Objekt 3 keine Gefahr für das Fahrzeug darstellen, weil beispielsweise eine Geschwindigkeit, Beschleunigung, Fahrtrichtung und/oder Größe (es können auch andere Parameter bei der Ermittlung von Gefahrenabschätzungsdaten verwendet werden) in Kombination oder alleine keine Gefahr im Sinne der vordefinierten Bereiche oder Größen für das Fahrzeug 2 darstellt, bezogen auf die mit Sensoren 5 erfassbaren Größen. Neben dem Fahrzeug 2 ist ein Koordinatensystem dargestellt, das mit seiner x-Achse eine Ortskoordinate entlang des Fahrzeugs 2 parallel zu einer Fahrtrichtung oder Längsachse des Fahrzeugs darstellt. Die y-Achse stellt hier beispielhaft qualitativ einen Parameter eines (modifizierten) Audiosignals 10 dar. 1 shows schematically a vehicle 2 in a plan view with sensors, or a sensor system 5, which is shown schematically with small black squares. Furthermore, an object 3 is shown, which is at a distance from the vehicle 2 and has a direction of movement shown by an arrow. The object 3 can, for example, be another road user, such as another vehicle, a cyclist or a pedestrian. The object 3 is detected by the sensors 5 and a means for determining risk assessment data determines whether the object 3 poses a risk to the vehicle 2 . Determining the risk assessment data includes determining a risk level for vehicle 2 , which emanates from object 3 . This hazard level is represented by the hazard assessment data. For example, the object 3 cannot pose a hazard to the vehicle because, for example, a speed, acceleration, direction of travel and/or size (other parameters can also be used when determining hazard assessment data) in combination or alone no hazard in terms of the predefined areas or Represents variables for the vehicle 2, based on the variables that can be detected with sensors 5. A coordinate system is shown next to the vehicle 2 which, with its x-axis, represents a location coordinate along the vehicle 2 parallel to a travel direction or longitudinal axis of the vehicle. The y-axis qualitatively represents a parameter of a (modified) audio signal 10 here by way of example.

Wird das Objekt 3 als Gefahr für das Fahrzeug 2 definiert, kann basierend auf den Gefahrenabschätzungsdaten ein vorhandenes Audiosignal 10, das nicht mit einer Gefahr assoziiert ist, modifiziert werden, und zwar so, dass (wenigstens) ein Parameter des Audiosignals 10 verändert wird, wie beispielhaft dargestellt. Das Audiosignal 10 kann derart verändert werden, dass es wie in 1 beispielhaft dargestellt, eine Position des Objekts 3 in Bezug auf das Fahrzeug oder die (Kopf-)Position des Fahrers 4 akustisch darstellt. Dazu kann beispielsweise das vorhandene Audiosignal 10 derart modifiziert werden, dass dem modifizierten Audiosignal 10 eine Ortskomponente und/oder eine Schallrichtung zugeordnet werden kann. Das heißt, dass das modifizierte Audiosignal 10 beim Fahrer den Eindruck erweckt, dass es in einer Richtung bezogen auf die (Kopf-)Position des Fahrers (wenigstens) einen veränderten Parameter aufweist. Dieser Parameter kann beispielsweise abrupt oder kontinuierlich modifiziert werden, sodass eine Aufmerksamkeit des Fahrers erregt werden kann.If the object 3 is defined as a hazard for the vehicle 2, an existing audio signal 10 that is not associated with a hazard can be modified based on the hazard assessment data, in such a way that (at least) one parameter of the audio signal 10 is changed, such as shown as an example. The audio signal 10 can be changed in such a way that, as in 1 shown as an example, a position of the object 3 in relation to the vehicle or the (head) position of the driver 4 represents acoustically. For this purpose, for example, the existing audio signal 10 can be modified in such a way that a spatial component and/or a sound direction can be assigned to the modified audio signal 10 . This means that the modified audio signal 10 gives the driver the impression that it has (at least) one changed parameter in one direction in relation to the (head) position of the driver. This parameter can be modified abruptly or continuously, for example, so that the driver's attention can be drawn.

Die (Kopf-)Position des Fahrers 4 ist hier beispielhaft linksseitig dargestellt. Die (Kopf-)Position des Fahrers kann auch rechtsseitig sein, je nach Ausgestaltung des Fahrzeugs 2.The (head) position of the driver 4 is shown here as an example on the left. The (head) position of the driver can also be on the right, depending on the design of the vehicle 2.

Die Richtung, aus der das modifizierte Audiosignal 10 zu kommen scheint, bzw. kommt kann sich beispielsweise mit der Richtung, in der eine Gefahr ermittelt wurde, verändern.The direction from which the modified audio signal 10 appears to be coming, or is coming, can change with the direction in which a hazard was determined, for example.

In 1 sind nicht alle Sensoren des Fahrzeugs 2 dargestellt, sondern nur eine beispielhafte Auswahl für eine rechte Fahrzeugseite. Sensoren 5 an der anderen Fahrzeugseite, bzw. Front- oder Rückseite des Fahrzeugs sind hier nicht dargestellt. Das Audiosignal 10 kann (analog) für die anderen Fahrzeugseiten modifiziert werden, basierend auf Gefahrenabschätzungsdaten.In 1 not all sensors of the vehicle 2 are shown, but only an exemplary selection for a right-hand side of the vehicle. Sensors 5 on the other side of the vehicle, or the front or rear of the vehicle, are not shown here. The audio signal 10 can (analogously) be modified for the other vehicle sides based on hazard assessment data.

2 zeigt schematisch eine (zeitliche) Fortsetzung des Beispiels von 1. Das Objekt 3 ist in 2 im Vergleich zum Fahrzeug 2 weiter in Fahrtrichtung des Fahrzeugs nach vorne gerückt. Die Parameteränderung des modifizierten Audiosignals 10 ist hier ebenfalls mit dem Objekt 3 mitgewandert in Bezug auf eine Längsrichtung des Fahrzeugs 2 in Fahrtrichtung. Die Parameteränderung kann bezogen auf das Fahrzeug auch breiter als das Objekt 3 akustisch dargestellt sein oder werden, was mit den Pfeilen in x-Richtung, bzw. gegen x-Richtung dargestellt ist. Das modifizierte Audiosignal kann akustisch beispielsweise bis auf die Lokalisationsfähigkeitsauflösung des Fahrers bezogen auf das Richtungshören begrenzt sein. Das modifizierte Audiosignal kann beispielsweise akustisch auf nur einer Seite des Fahrzeugs 2 dargestellt, bzw. ausgegeben werden. Das modifizierte Audiosignal kann beispielsweise auch im gesamten Fahrzeug gleich dargestellt, bzw. ausgegeben werden. Das heißt, dass das modifizierte Audiosignal keine akustische Richtungskomponente aufweist. 2 shows schematically a (temporal) continuation of the example from 1 . Object 3 is in 2 compared to the vehicle 2 moved further forward in the direction of travel of the vehicle. The parameter change of the modified audio signal 10 has also migrated here with the object 3 in relation to a longitudinal direction of the vehicle 2 in the direction of travel. In relation to the vehicle, the change in parameters can also be presented acoustically as being wider than the object 3, which is shown with the arrows in the x-direction or against the x-direction. The modified audio signal can be acoustic for example, be limited to the driver's localization ability resolution related to directional hearing. The modified audio signal can, for example, be presented or output acoustically on only one side of the vehicle 2 . The modified audio signal can, for example, also be displayed or output in the same way throughout the vehicle. This means that the modified audio signal has no acoustic directional component.

3 zeigt schematisch eine weitere (zeitliche) Fortsetzung des Beispiels von 1 und 2. Das Objekt 3 ist hier noch weiter in Richtung der Front des Fahrzeugs 2 gerückt und ein modifiziertes Audiosignal 10 weist beispielhaft eine entsprechende Richtung auf, die der Richtung des Objekts 3 bezogen auf das Fahrzeug 2 entspricht. Beispielsweise kann das Audiosignal so modifiziert werden, dass es für den Fahrer so scheint, als wäre das Audiosignal nur in der Richtung, aus der eine potenzielle Gefahr kommt, modifiziert. Für den Fahrer wandert daher das modifizierte Audiosignal 10 mit dem Objekt 3 akustisch mit. Der Fahrer kann daher beispielsweise eine erhöhte Aufmerksamkeit in der entsprechenden Richtung entwickeln. Beispielsweise kann das Fahrzeug 2 erkennen, dass ein Abbiegemanöver geplant ist, beispielsweise an einem eingeschalteten Blinker oder den Fahrbahnmarkierungen, die über ein Sensorsystem des Fahrzeugs 2 beispielsweise aufgenommen und identifiziert wurden. Bei dem Objekt 3 könnte es sich beispielsweise um einen Radfahrer handeln, der für den Fahrer des Fahrzeugs 2 schwer zu erkennen ist, sich also beispielsweise in einem toten Winkel für den Fahrer befindet. Mit der Ausgabe des modifizierten Audiosignals 10 kann die Aufmerksamkeit des Fahrers auf den Radfahrer gelenkt werden und es kann gegebenenfalls auf eine Warnung durch einen „Beep“ oder ein gleichartiges Warnsignal verzichtet werden. 3 shows schematically a further (temporal) continuation of the example from 1 and 2 . The object 3 has moved even further in the direction of the front of the vehicle 2 and a modified audio signal 10 has a corresponding direction, for example, which corresponds to the direction of the object 3 in relation to the vehicle 2 . For example, the audio signal can be modified so that it appears to the driver that the audio signal is modified only in the direction from which a potential hazard is coming. The modified audio signal 10 therefore moves acoustically with the object 3 for the driver. The driver can therefore develop increased attention in the corresponding direction, for example. For example, the vehicle 2 can recognize that a turning maneuver is planned, for example from an activated turn signal or the lane markings that have been recorded and identified via a sensor system of the vehicle 2, for example. The object 3 could be, for example, a cyclist who is difficult for the driver of the vehicle 2 to see, ie is in a blind spot for the driver, for example. With the output of the modified audio signal 10, the driver's attention can be drawn to the cyclist and a warning by a "beep" or a similar warning signal can be dispensed with.

Gemäß einer Ausführungsform kann beispielsweise ein Kopfposen-Tracking (Headtracking) des Kopfs eines Fahrers verifizieren, ob eine Aufmerksamkeit des Fahrers entsprechend dem modifizierten Audiosignal erregt wurde. Wenn in dem Beispiel der 1 bis 3 der Fahrer seinen Kopf in Richtung des Objekts 3 dreht, kann beispielsweise einerseits das Erregen der Aufmerksamkeit verifiziert werden oder es kann beispielsweise auf eine (weitere und/oder intensivere) Warnung verzichtet werden. Hat der Fahrer beispielsweise seinen Kopf nicht in Richtung einer Gefahr gedreht kann beispielsweise zu einer weiteren Phase und/oder Stufe des Modifizierens des Audiosignals eskaliert werden. Dies ist beispielsweise auch für eine Blickrichtungserkennung anwendbar.For example, according to one embodiment, head pose tracking of a driver's head may verify whether a driver's attention has been caught in accordance with the modified audio signal. If in the example the 1 until 3 the driver turns his head in the direction of the object 3, for example, on the one hand, the arousal of attention can be verified or, for example, a (further and/or more intensive) warning can be dispensed with. For example, if the driver has not turned his head in the direction of a hazard, the audio signal can be escalated to a further phase and/or stage, for example. This can also be used, for example, for detecting a viewing direction.

4 zeigt schematisch ein Verfahren 100 zur Aufmerksamkeitssteuerung eines Fahrers eines Fahrzeugs 2. Das beispielhafte Verfahren 100 umfasst das Ermitteln von Gefahrenabschätzungsdaten 102 für das Fahrzeug 2 und/oder für den Fahrer des Fahrzeugs 2. 104 stellt beispielhaft das Modifizieren eines (vorhandenen) Audiosignals, das nicht mit einer Gefahr assoziiert ist, basierend auf den Gefahrenabschätzungsdaten dar. Das Modifizieren des Audiosignals kann verschiedene Arten von Modifikationen umfassen, die parallel oder sequenziell durchgeführt werden können (beispielhaft durch 104.1, 104.2, 104.3 dargestellt). Beispielsweise kann das Modifizieren 104 ferner umfassen, dass das Audiosignal einen ortbaren Schall aufweist, der von einem Fahrer des Fahrzeugs 2 richtungsaufgelöst wahrgenommen werden kann. Beispielsweise kann dadurch ermöglicht werden, dass der Fahrer auf eine Gefahr aus einer Richtung in Bezug auf das Fahrzeug 2 aufmerksam gemacht werden kann. Eine Gefahrenrichtung und eine Richtung, aus der das modifizierte Audiosignal kommt, stimmen gemäß Ausführungsformen zumindest im Wesentlichen überein. Das Modifizieren des Audiosignals 104 kann sich beispielsweise auf mehrere (unabhängige) Parameter des Audiosignals beziehen. So können beispielsweise eine pegelorientiere Modifikation, wie beispielsweise Lautstärke und/oder Lautheit, eine spektrale Modifikation, wie beispielsweise ein Anheben oder Absenken von Frequenzbereichen wie Obertönen, Mitteltönen oder Bässen und/oder Anheben oder Absenken von wenigstens einer Frequenz, eine verzerrende Modifikation, wie beispielsweise ein verzerrender Effekt wie das Hinzufügen von Obertönen, eine verzögerungszeitorientierte Modifikation, wie beispielsweise Hall oder Verzögerung (englisch: „delay“) und/oder ein Modifizieren der Schallrichtung und/oder Lautstärke, Klang, Tonhöhe, Frequenz, Basslastigkeit und/oder Schallrichtung (separat und/oder gleichzeitig) modifiziert (104.1, 104.2, 104.3) werden. Beispielsweise kann eine Lautstärke und eine Basslastigkeit erhöht werden im Vergleich zum unmodifizierten Audiosignal. Das Modifizieren des Audiosignals kann beispielsweise auf einem elektronischen Steuergerät 6 durchgeführt werden. Das modifizierte Audiosignal 10 kann dann beispielsweise über alle Schallquellen des Fahrzeugs 2 gleichzeitig ausgegeben 106 werden oder über einzelne. Beispielsweise kann eine Lautstärke nur auf Schallquellen, insbesondere Lautsprechern des Fahrzeugs erhöht ausgegeben 106 werden, die mit einer Richtung aus der die Gefahr, respektive das Objekt 3 das eine Gefahr für das Fahrzeug 2 darstellt, kommt, korrelieren. 4 shows schematically a method 100 for attention control of a driver of a vehicle 2. The exemplary method 100 includes the determination of hazard assessment data 102 for the vehicle 2 and / or for the driver of the vehicle 2. 104 is an example of modifying an (existing) audio signal that is not associated with a hazard, based on the hazard assessment data. Modifying the audio signal may include different types of modifications that may be performed in parallel or sequentially (exemplified by 104.1, 104.2, 104.3). For example, the modification 104 can also include the audio signal having a locatable sound that can be perceived by a driver of the vehicle 2 in a direction-resolved manner. For example, this can make it possible for the driver to be made aware of a danger from a direction in relation to the vehicle 2 . According to embodiments, a danger direction and a direction from which the modified audio signal comes at least essentially match. Modifying the audio signal 104 can, for example, relate to several (independent) parameters of the audio signal. For example, a level-oriented modification, such as volume and/or loudness, a spectral modification, such as raising or lowering of frequency ranges such as overtones, midtones or basses and/or raising or lowering of at least one frequency, a distorting modification, such as a distorting effect such as the addition of overtones, a delay-time oriented modification such as reverberation or delay and/or modifying sound direction and/or volume, timbre, pitch, frequency, bassiness and/or sound direction (separately and/or simultaneously) modified (104.1, 104.2, 104.3). For example, volume and bass can be increased compared to the unmodified audio signal. The audio signal can be modified, for example, on an electronic control device 6 . The modified audio signal 10 can then, for example, be output 106 simultaneously via all sound sources of the vehicle 2 or via individual ones. For example, a volume can only be output 106 on sound sources, in particular loudspeakers of the vehicle, which correlate with a direction from which the danger or the object 3 that represents a danger for the vehicle 2 comes.

Ein beispielhafter Ablauf der erfindungsgemäßen Lehre ist wie folgt: Ein Fahrzeug 2 erfasst mit seinem Sensorsystem 5 oder einem Teil seines Sensorsystems 5 ein Objekt 3. Für dieses Objekt 3 werden Gefahrenabschätzungsdaten ermittelt, die ein Gefahrenniveau, das von dem Objekt 3 für das Fahrzeug 2 oder den Fahrer des Fahrzeugs 2 ausgeht repräsentieren. Anhand der Gefahrenabschätzungsdaten wird ein vorhandenes Audiosignal, das nicht mit einer Gefahr assoziiert ist, modifiziert (je nach Gefahrenniveau, das vom Objekt 3 ausgeht). Anschließend wird das modifizierte Audiosignal 10 ausgegeben 106, um eine Aufmerksamkeit des Fahrers gezielt zu erregen, beispielswiese, um auf das Objekt 3 aufmerksam zu machen.An exemplary sequence of the teaching according to the invention is as follows: A vehicle 2 detects an object 3 with its sensor system 5 or part of its sensor system 5 the driver of the vehicle 2 go represent. Based on the hazard assessment data, an existing audio signal that is not associated with a hazard is modified (depending on the level of hazard emanating from the object 3). The modified audio signal 10 is then output 106 in order to specifically attract the driver's attention, for example to draw attention to the object 3 .

Es ist für den Fachmann ersichtlich, dass die erfindungsgemäßen Arbeitsschritte wie in der im Vorhergehenden beschriebenen Reihenfolge vorgenommen werden können, wie auch in einer anderen Reihenfolge, mit welcher die erfindungsgemäße Lehre umgesetzt werden kann.It is obvious to the person skilled in the art that the working steps according to the invention can be carried out as in the order described above, as well as in a different order with which the teaching according to the invention can be implemented.

Soweit anwendbar, können alle einzelnen Merkmale, die in den Ausführungsbeispielen dargestellt sind, miteinander kombiniert und/oder ausgetauscht werden, ohne den Bereich der Erfindung zu verlassen.As far as applicable, all individual features that are presented in the exemplary embodiments can be combined with one another and/or exchanged without departing from the scope of the invention.

Bezugszeichenlistereference list

11
System zur AufmerksamkeitssteuerungAttention control system
22
Fahrzeugvehicle
33
Objektobject
44
(Kopf-)Position des Fahrers(Head) position of the driver
55
Sensorsystem / Sensoren des FahrzeugsSensor system / sensors of the vehicle
66
elektronisches Steuergerätelectronic control unit
1010
(modifiziertes) Audiosignal(modified) audio signal
100100
VerfahrenProceedings
102102
Ermitteln von GefahrenabschätzungsdatenObtaining hazard assessment data
104104
Modifizieren des AudiosignalsModifying the audio signal
104.1 bis 104.3104.1 through 104.3
Modifizieren eines Parameters des Audiosignalsmodifying a parameter of the audio signal
106106
Ausgeben des modifizierten AudiosignalsOutputting the modified audio signal

Claims (11)

Verfahren (100) zur Aufmerksamkeitssteuerung eines Fahrers eines Fahrzeugs (2), umfassend: Ermitteln von Gefahrenabschätzungsdaten (102) für das Fahrzeug (2) und/oder für den Fahrer des Fahrzeugs (2) basierend auf Sensordaten des Fahrzeugs (2), wobei die Gefahrenabschätzungsdaten ein Gefahrenniveau einer Gefahr für das Fahrzeug (2) und/oder für den Fahrer des Fahrzeugs (2) repräsentieren; und Modifizieren eines Audiosignals (104), das nicht mit der Gefahr assoziiert ist, basierend auf den Gefahrenabschätzungsdaten zum Erhalten eines modifizierten Audiosignals; und Ausgeben des modifizierten Audiosignals (106) mit mindestens einer Schallquelle des Fahrzeugs (2).Method (100) for controlling the attention of a driver of a vehicle (2), comprising: Determination of risk assessment data (102) for the vehicle (2) and / or for the driver of the vehicle (2) based on sensor data of the vehicle (2), wherein the risk assessment data a risk level of a risk for the vehicle (2) and / or for the represent drivers of the vehicle (2); and modifying an audio signal (104) not associated with the hazard based on the hazard assessment data to obtain a modified audio signal; and Outputting the modified audio signal (106) with at least one sound source of the vehicle (2). Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren ferner umfasst: Ermitteln von Gefahrenrichtungsdaten, basierend auf den Sensordaten, insbesondere auf Sensordaten eines Fahrerassistenzsystems, wobei die Gefahrenrichtungsdaten eine Richtung bezogen auf das Fahrzeugs (2) und/oder den Fahrer des Fahrzeugs (2) repräsentieren; und Modifizieren des Audiosignals (104, 104.1, 104.2, 104.3), so dass ein ortbarer Schall von der mindestens einen Schallquelle, vorzugsweise von mindestens zwei Schallquellen, emittiert wird, wobei eine Schallrichtung des Schalls zumindest im Wesentlichen einer Gefahrenrichtung entspricht.Method (100) according to claim 1 , characterized in that the method further comprises: determining hazard direction data based on the sensor data, in particular on sensor data of a driver assistance system, the hazard direction data representing a direction based on the vehicle (2) and/or the driver of the vehicle (2); and modifying the audio signal (104, 104.1, 104.2, 104.3) so that a locatable sound is emitted by the at least one sound source, preferably by at least two sound sources, with a sound direction of the sound at least essentially corresponding to a hazard direction. Verfahren (100) nach einem der vorgehenden Ansprüche, dadurch gekennzeichnet, dass das Modifizieren des Audiosignals (104, 104.1, 104.2, 104.3) mindestens eines von einer pegelorientieren Modifikation, einer spektralen Modifikation, einer verzerrenden Modifikation, einer verzögerungszeitorientierten Modifikation und/oder ein Modifizieren der Schallrichtung umfasst.Method (100) according to one of the preceding claims, characterized in that the modification of the audio signal (104, 104.1, 104.2, 104.3) involves at least one of a level-oriented modification, a spectral modification, a distorting modification, a delay-time-oriented modification and/or a modification the direction of the sound. Verfahren (100) nach einem der vorgehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln einer Gefahrenabschätzung (102) ferner umfasst: Klassifizieren eines Objekts nach einem Objekttyp, wobei der Objekttyp einer Gefahrenabschätzung zugeordnet werden kann oder zugeordnet ist; und wobei das Modifizieren des Audiosignals (104, 104.1, 104.2, 104.3) ferner basierend auf mindestens einem dem Objekttyp zugeordneten vorbestimmten Modifikationsparameter zum Modifizieren des Audiosignals durchgeführt wird.Method (100) according to one of the preceding claims, characterized in that the determination of a risk assessment (102) further comprises: classifying an object according to an object type, wherein the object type can be assigned to a risk assessment or is assigned; and wherein the modifying of the audio signal (104, 104.1, 104.2, 104.3) is further performed based on at least one predetermined modification parameter associated with the object type for modifying the audio signal. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich zum Ausgeben des modifizierten Audiosignals (106) mindestens eine weitere Warnung vom Fahrzeug ausgegeben wird, insbesondere eine optische, haptische und/oder akustische Warnung.Method (100) according to one of the preceding claims, characterized in that in addition to the output of the modified audio signal (106), at least one further warning is output by the vehicle, in particular an optical, haptic and/or acoustic warning. Verfahren (100) nach Anspruch 5, wobei das Modifizieren des Audiosignals (104, 104.1, 104.2, 104.3) ferner in einer Vielzahl von Phasen und/oder Stufen, basierend auf den Gefahrenabschätzungsdaten durchgeführt wird und kombinieren des modifizierten Audiosignals mit der mindestens einen weiteren Warnung.Method (100) according to claim 5 , wherein modifying the audio signal (104, 104.1, 104.2, 104.3) further in a plurality of phases and/or Stages, is carried out based on the risk assessment data and combine the modified audio signal with the at least one other warning. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren ferner umfasst: Ermitteln einer Identität des Fahrers; Ermitteln einer Kopfpose des Fahrers in Bezug auf das Fahrzeug; und Anpassen des Audiosignals an den Fahrer, insbesondere über eine Au-ßenohr-Übertragungsfunktion; wobei das Modifizieren des Audiosignals (104, 104.1, 104.2, 104.3) ferner auf der Außenohr-Übertragungsfunktion und der Kopfpose basiert.Method (100) according to one of the preceding claims, characterized in that the method further comprises: determining an identity of the driver; determining a driver's head pose with respect to the vehicle; and adapting the audio signal to the driver, in particular via an outer-ear transfer function; wherein modifying the audio signal (104, 104.1, 104.2, 104.3) is further based on the outer ear transfer function and the head pose. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Audiosignal ein artifizielles Fahrgeräusch und/oder ein artifizielles Motorgeräusch ist.Method (100) according to one of the preceding claims, characterized in that the audio signal is an artificial driving noise and/or an artificial engine noise. System (1) zur Aufmerksamkeitssteuerung eines Fahrers eines Fahrzeugs (2), das zur Durchführung eines Verfahrens (100) nach einem der vorhergehenden Ansprüche eingerichtet ist.System (1) for controlling the attention of a driver of a vehicle (2), which is set up to carry out a method (100) according to one of the preceding claims. System (1) zur Aufmerksamkeitssteuerung eines Fahrers eines Fahrzeugs (2) wobei das System aufweist: Mittel zum Ermitteln von Gefahrenabschätzungsdaten (102) für das Fahrzeug (2) und/oder für den Fahrer des Fahrzeugs (2) basierend auf Sensordaten des Fahrzeugs (2), wobei die Gefahrenabschätzungsdaten ein Gefahrenniveau einer Gefahr für das Fahrzeug (2) und/oder für den Fahrer des Fahrzeugs (2) repräsentieren; Mittel zum Modifizieren eines Audiosignals (104, 104.1, 104.2, 104.3), das nicht mit der Gefahr assoziiert ist, basierend auf den Gefahrenabschätzungsdaten und zum Erhalten eines modifizierten Audiosignals; und Mittel zum Ausgeben des modifizierten Audiosignals (106) mit mindestens einer Schallquelle des Fahrzeugs (2).System (1) for controlling the attention of a driver of a vehicle (2), the system having: Means for determining risk assessment data (102) for the vehicle (2) and/or for the driver of the vehicle (2) based on sensor data of the vehicle (2), the risk assessment data indicating a risk level of a risk for the vehicle (2) and/or represent for the driver of the vehicle (2); means for modifying an audio signal (104, 104.1, 104.2, 104.3) not associated with the hazard based on the hazard assessment data and obtaining a modified audio signal; and Means for outputting the modified audio signal (106) with at least one sound source of the vehicle (2). Computerprogramm oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt, insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen enthält, die bei der Ausführung durch einen oder mehrere Computer oder ein System (1) nach Anspruch 8 den oder die Computer oder das System dazu veranlassen, ein Verfahren (100) nach einem der Ansprüche 1 bis 8 durchzuführen.Computer program or computer program product, wherein the computer program or computer program product contains instructions, in particular stored on a computer-readable and/or non-volatile storage medium, which, when executed by one or more computers or a system (1). claim 8 cause the computer or system to perform a method (100) according to any one of Claims 1 until 8th to perform.
DE102021124492.7A 2021-09-22 2021-09-22 METHOD AND DEVICE FOR ATTENTION CONTROL OF A DRIVER IN A VEHICLE Pending DE102021124492A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021124492.7A DE102021124492A1 (en) 2021-09-22 2021-09-22 METHOD AND DEVICE FOR ATTENTION CONTROL OF A DRIVER IN A VEHICLE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021124492.7A DE102021124492A1 (en) 2021-09-22 2021-09-22 METHOD AND DEVICE FOR ATTENTION CONTROL OF A DRIVER IN A VEHICLE

Publications (1)

Publication Number Publication Date
DE102021124492A1 true DE102021124492A1 (en) 2023-03-23

Family

ID=85383534

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021124492.7A Pending DE102021124492A1 (en) 2021-09-22 2021-09-22 METHOD AND DEVICE FOR ATTENTION CONTROL OF A DRIVER IN A VEHICLE

Country Status (1)

Country Link
DE (1) DE102021124492A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060001532A1 (en) 2004-06-30 2006-01-05 Denso Corporation Vehicle alarm sound outputting device and program
US20180132052A1 (en) 2016-11-08 2018-05-10 Harman Becker Automotive Systems Gmbh Vehicle sound processing system
US10511911B2 (en) 2017-08-11 2019-12-17 Samsung Electronics Co., Ltd. Method and apparatus of playing music based on surrounding situations
US20200339145A1 (en) 2019-04-26 2020-10-29 Tusimple, Inc. Auditory assistant module for autonomous vehicles
CN112758088A (en) 2019-11-05 2021-05-07 深圳市大富科技股份有限公司 Dangerous source reminding method and advanced driving assistance system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060001532A1 (en) 2004-06-30 2006-01-05 Denso Corporation Vehicle alarm sound outputting device and program
US20180132052A1 (en) 2016-11-08 2018-05-10 Harman Becker Automotive Systems Gmbh Vehicle sound processing system
US10511911B2 (en) 2017-08-11 2019-12-17 Samsung Electronics Co., Ltd. Method and apparatus of playing music based on surrounding situations
US20200339145A1 (en) 2019-04-26 2020-10-29 Tusimple, Inc. Auditory assistant module for autonomous vehicles
CN112758088A (en) 2019-11-05 2021-05-07 深圳市大富科技股份有限公司 Dangerous source reminding method and advanced driving assistance system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Li, S.; Peissig, J.: Measurement of head-related transfer functions : A review.. In: Applied Sciences, Vol. 10, 2020, No. 14, Article No. 5014 (40 S.). - ISSN 2076-3417

Similar Documents

Publication Publication Date Title
DE102011011722B4 (en) Sound generating device, method and computer program product for a vehicle
DE102018200878B3 (en) Detection of dangerous sounds
DE102017122866A1 (en) Parking assist device
DE102011116778B4 (en) Method and system for implementing engine sound enhancement for a vehicle
DE102018100021A1 (en) SPACIOUS AUDIBLE WARNINGS FOR A VEHICLE
DE102018107756A1 (en) SYSTEMS FOR SUBMITTING A WARNING SIGNAL FROM A VEHICLE TO WARNING ENTITIES NEARBY
DE102013221654B4 (en) Vehicle lane inspection monitoring
WO2013045374A1 (en) Method for the computer-assisted processing of the vicinity of a vehicle
DE102010035232A1 (en) Methods and systems for displaying vehicle return camera images in various modes
DE102010049081A1 (en) Method for operating a motor vehicle and motor vehicle
DE102010025351A1 (en) Method and device for assisting a vehicle driver
DE102009057981B4 (en) Method for controlling the acoustic perceptibility of a vehicle
DE102017200961A1 (en) Acoustic warning signal detection for motor vehicles
DE102013020699A1 (en) Parking assistance system and method for driver assistance during parking maneuvers
DE102018202394A1 (en) Method for operating a sound output device of a motor vehicle, control device, and motor vehicle
DE102018221120A1 (en) Vehicle and method for controlling the same
DE102012022321A1 (en) Method for operating a vehicle and vehicle
DE102019201407A1 (en) Method and device for controlling a driver's attention
DE102014224120A1 (en) Output audio contributions for a vehicle
DE102014217732B4 (en) Method for assisting a driver of a motor vehicle, device and system
EP2226217B1 (en) Information system for passenger of a vehicle using acoustic and tactile means
DE102016220449A1 (en) Direction indicator control system, means of locomotion and method of adjusting the luminous appearance of a direction indicator
DE102021124492A1 (en) METHOD AND DEVICE FOR ATTENTION CONTROL OF A DRIVER IN A VEHICLE
DE102019203369A1 (en) Device and method for adaptive speed control of a motor vehicle
DE102018203661A1 (en) Method and apparatus for testing directional hearing in a vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified