DE102021124492A1 - METHOD AND DEVICE FOR ATTENTION CONTROL OF A DRIVER IN A VEHICLE - Google Patents
METHOD AND DEVICE FOR ATTENTION CONTROL OF A DRIVER IN A VEHICLE Download PDFInfo
- Publication number
- DE102021124492A1 DE102021124492A1 DE102021124492.7A DE102021124492A DE102021124492A1 DE 102021124492 A1 DE102021124492 A1 DE 102021124492A1 DE 102021124492 A DE102021124492 A DE 102021124492A DE 102021124492 A1 DE102021124492 A1 DE 102021124492A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- audio signal
- driver
- hazard
- modified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000005236 sound signal Effects 0.000 claims abstract description 129
- 238000012502 risk assessment Methods 0.000 claims abstract description 25
- 238000012986 modification Methods 0.000 claims description 35
- 230000004048 modification Effects 0.000 claims description 35
- 210000003128 head Anatomy 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 210000000883 ear external Anatomy 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000002485 combustion reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 231100001261 hazardous Toxicity 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- B60K35/26—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q5/00—Arrangement or adaptation of acoustic signal devices
- B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
- B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Abstract
Die Erfindung beschreibt ein Verfahren zur Aufmerksamkeitssteuerung eines Fahrers eines Fahrzeugs und umfasst das Ermitteln von Gefahrenabschätzungsdaten für das Fahrzeug und/oder für den Fahrer des Fahrzeugs basierend auf Sensordaten des Fahrzeugs, wobei die Gefahrenabschätzungsdaten ein Gefahrenniveau einer Gefahr für das Fahrzeug und/oder für den Fahrer des Fahrzeugs repräsentieren; und Modifizieren eines Audiosignals, das nicht mit der Gefahr assoziiert ist, basierend auf den Gefahrenabschätzungsdaten zum Erhalten eines modifizierten Audiosignals; und Ausgeben des modifizierten Audiosignals mit mindestens einer Schallquelle des Fahrzeugs.The invention describes a method for the attention control of a driver of a vehicle and includes the determination of risk assessment data for the vehicle and / or for the driver of the vehicle based on sensor data of the vehicle, the risk assessment data a risk level of a risk for the vehicle and / or for the driver of the vehicle; and modifying an audio signal not associated with the hazard based on the hazard assessment data to obtain a modified audio signal; and outputting the modified audio signal with at least one sound source of the vehicle.
Description
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Aufmerksamkeitssteuerung eines Fahrers eines Fahrzeugs sowie ein Computerprogramm und ein Computerprogrammprodukt.The present invention relates to a method and a device for controlling the attention of a driver of a vehicle, as well as a computer program and a computer program product.
Aus dem Stand der Technik ist bekannt, dass über Lautsprecher im Innenraum von Fahrzeugen künstliche Fahrgeräusche eingespielt werden können. Diese Fahrgeräusche haben das Ziel, z. B. bei Fahrzeugen mit Verbrennungsmotor das Motorgeräusch zu überlagern und dadurch zu verstärken oder zu verändern, um das Fahrzeug entsprechend zu inszenieren. Auf diese Weise kann sich für den Fahrer ein Reihen-Dreizylinder beispielsweise so anhören können wie ein 5-Liter-V8.It is known from the prior art that artificial driving noises can be played in via loudspeakers in the interior of vehicles. These driving noises have the aim, e.g. B. to superimpose the engine noise in vehicles with combustion engines and thereby amplify or change it in order to stage the vehicle accordingly. In this way, for example, an in-line three-cylinder can sound like a 5-litre V8 to the driver.
Bei Elektrofahrzeugen werden künstliche Fahrgeräusche eingespielt, um überhaupt das Geräusch eines Antriebs zu simulieren, schließlich produzieren Elektromotoren keine oder nur wenige Geräusche. Die künstlichen Fahrgeräusche von Elektrofahrzeugen dienen ebenfalls der Inszenierung und bilden ähnlich zum Pendant des Verbrennungsmotors Betriebszustände wie Leerlauf oder Volllast ab. Diese Fahrgeräusche werden auch als E-Sound bezeichnet.In electric vehicles, artificial driving noises are played in order to simulate the noise of a drive at all, after all, electric motors produce little or no noise. The artificial driving noises of electric vehicles are also used for staging and, similar to the counterpart of the combustion engine, depict operating states such as idling or full load. These driving noises are also referred to as e-sounds.
Aus dem Stand der Technik ebenfalls bekannt sind Fahrerassistenzsysteme, die den Fahrer auf andere Verkehrsteilnehmer hinweisen und optische und/oder akustische Warnungen ausgeben, um eine Kollision mit diesen zu vermeiden. Ein Beispiel ist der Totwinkelwarner, der den Fahrer beim Abbiegen warnt, falls sich ein Fußgänger oder Radfahrer im toten Winkel aufhält und bei einer Weiterfahrt kollidieren würde. Die Warnung kann optisch beispielsweise im Außenspiel („Spiegeldreieck“) oder via Display erfolgen. Akustische Warnungen sind Warntöne, sog. Klangzeichen, wie ein „Gong“ oder „Beep“.Also known from the prior art are driver assistance systems that alert the driver to other road users and output optical and/or acoustic warnings in order to avoid a collision with them. One example is the blind spot warning system, which warns the driver when turning if a pedestrian or cyclist is in the blind spot and would collide if they continue driving. The warning can be given visually, for example, in the outside game (“mirror triangle”) or via a display. Acoustic warnings are warning tones, so-called acoustic signals, such as a "gong" or "beep".
Optische Warnungen haben das Problem, dass diese vom Fahrer übersehen werden können, vor allem weil der Fahrer naturgemäß beim Fahren vor allem auf die Straße schaut. Daher müssen optische Warnungen meist durch akustische Warnungen ergänzt werden. Akustische Warnungen haben die Eigenschaft, dass sie vom Fahrer zwangsläufig gehört werden, wodurch sich ebenfalls Nachteile ergeben können. The problem with visual warnings is that they can be overlooked by the driver, primarily because the driver naturally looks primarily at the road while driving. Therefore, optical warnings usually have to be supplemented by acoustic warnings. Acoustic warnings have the property that they are inevitably heard by the driver, which can also result in disadvantages.
Beispielsweise können häufige akustische Warnungen den Fahrer nerven, insbesondere dann, wenn der Fahrer ständig von verschiedenen Systemen zu unterschiedlichen Ereignissen gewarnt wird und das Auto ständig „gongt“ und „beept“. Dies mindert die Akzeptanz von Fahrerassistenzsystemen, wodurch beispielsweise die Gefahr entstehen kann, dass der Fahrer die Warnungen nicht mehr ernst nimmt oder das Fahrerassistenzsystem deaktiviert.For example, frequent audible warnings can annoy the driver, especially if the driver is constantly being warned by different systems about different events and the car is constantly chiming and beeping. This reduces the acceptance of driver assistance systems, which can result in the risk, for example, that the driver no longer takes the warnings seriously or deactivates the driver assistance system.
Ferner kann der Zeitpunkt einer akustischen Warnung schwer abzustimmen sein. Kommt der Warnton beispielsweise zu spät, bleibt dem Fahrer zu wenig Zeit zum Reagieren, kommt er zu früh, kann die Gefahr bestehen, dass der Warnton unnötig ist, weil sich die Gefahrensituation von selbst entschärft oder beispielsweise der Fahrer den Fußgänger beim Abbiegen ohnehin gesehen hätte.Furthermore, the timing of an audible warning can be difficult to coordinate. For example, if the warning tone sounds too late, the driver does not have enough time to react; if it comes too early, there may be a risk that the warning tone is unnecessary because the dangerous situation will de-escalate itself or, for example, the driver would have seen the pedestrian turning anyway .
Warntöne in Form von Klangzeichen sind relativ kurz (ca. 1 Sekunde) und lassen sich daher schlecht auf Ereignisse abbilden, die von längerer Dauer sind, wie z. B. das Herannahen eines Radfahrers, bei dem sich der Abstand zwischen Auto und Fahrer über einen Zeitraum von mehreren Sekunden stetig verringert. Aus diesem Grund werden zum Teil unterschiedliche Klangzeichen eingesetzt, z. B. für eine anfängliche Vorwarnung und eine sich anschließende Akutwarnung. Hierdurch entsteht aber das Problem, dass der Fahrer wissen muss, welches Klangzeichen mit welcher Situation oder mit welchem Fahrerassistenzsystem verknüpft ist. Außerdem trägt dies zu einer weiteren Häufung von Warnungen bei, was bereits anfangs als Problem angeführt wurde.Warning tones in the form of acoustic signals are relatively short (approx. 1 second) and are therefore difficult to map to events that last longer, e.g. B. the approach of a cyclist, where the distance between the car and driver steadily decreases over a period of several seconds. For this reason, different sound signals are sometimes used, e.g. B. for an initial advance warning and a subsequent acute warning. However, this creates the problem that the driver must know which acoustic signal is linked to which situation or to which driver assistance system. In addition, this contributes to a further accumulation of warnings, which was initially cited as a problem.
Ausgehend von diesem Stand der Technik ist es daher Aufgabe der Erfindung ein Verfahren sowie ein entsprechendes System bereitzustellen, mit welchem eine Aufmerksamkeit des Fahrers steuerbar ist und mit welchem beispielsweise die bisherigen Warnsysteme verbessert werden können.Proceeding from this prior art, it is therefore the object of the invention to provide a method and a corresponding system with which the driver's attention can be controlled and with which, for example, the previous warning systems can be improved.
Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 und ein System nach Anspruch 9, sowie ein Computerprogramm oder Computerprogrammprodukt nach Anspruch 11 gelöst. Vorteilhafte Ausgestaltungen der Erfindung werden in den Unteransprüchen beansprucht.This object is achieved by a method according to
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Aufmerksamkeitssteuerung eines Fahrers eines Fahrzeugs vorgeschlagen. Ein Fahrzeug kann beispielsweise ein Fahrzeug mit einem Verbrennungsmotor, ein Elektrofahrzeug oder ein Hybridfahrzeug sein. Ein Fahrzeug im Sinne der Erfindung kann insbesondere ein Personenkraftwagen sein.According to one aspect of the invention, a method for controlling the attention of a driver of a vehicle is proposed. A vehicle can be, for example, a vehicle with an internal combustion engine, an electric vehicle, or a hybrid vehicle. A vehicle within the meaning of the invention can in particular be a passenger car.
Das Verfahren umfasst das Ermitteln von Gefahrenabschätzungsdaten für das Fahrzeug und/oder für den Fahrer des Fahrzeugs basierend auf Sensordaten des Fahrzeugs. Sensordaten können beispielsweise von einem Sensorsystem mit mindestens einem Sensor oder von dem wenigstens einen Sensor des Fahrzeugs ermittelt werden. Das Sensorsystem kann beispielsweise ein Sensorsystem eines Fahrerassistenzsystems sein. Beispielsweise kann das Sensorsystem mindestens einen Sensor zum Erfassen von optischen Daten, einen Sensor zum Erfassen von akustischen Daten und/oder einen Sensor zum Erfassen von elektrischen Daten umfassen. Es sind auch andere Arten von Sensoren einsetzbar.The method includes determining risk assessment data for the vehicle and/or for the driver of the vehicle based on sensor data from the vehicle. Sensor data can be determined, for example, by a sensor system with at least one sensor or by the at least one sensor of the vehicle. The sensor system can, for example, be a Sensorsys tem of a driver assistance system. For example, the sensor system can include at least one sensor for acquiring optical data, one sensor for acquiring acoustic data and/or one sensor for acquiring electrical data. Other types of sensors can also be used.
Gefahrenabschätzungsdaten wie hierin verwendet repräsentieren beispielsweise ein Gefahrenniveau einer potenziellen Gefahr für das Fahrzeug und/oder für den Fahrer des Fahrzeugs. Ein Gefahrenniveau kann beispielsweise durch das unterschreiten eines (festgelegten) Wertes, beispielsweise eines von dem Sensorsystem oder dem wenigstens einen Sensor ermittelten Abstandes festgelegt sein. Beispielsweise kann ein Gefahrenniveau durch das überschreiten eines (festgelegten) Wertes, beispielsweise einer Geschwindigkeit oder einer Beschleunigung des Fahrzeugs oder eines Objekts im Erfassungsbereich des Sensorsystems oder des wenigstens eines Sensors festgelegt sein. Das Gefahrenniveau kann beispielsweise in vorgegebene Stufen unterteilt sein oder als kontinuierliches Gefahrenniveau definiert sein. Als Beispiel kann ein Sensor einen Abstand zu einem Objekt erfassen und den ermittelten Abstand mit vordefinierten Werten für ein Gefahrenniveau vergleichen. Entsprechend können verschiedene Stufen für ein Gefahrenniveau in den Gefahrenabschätzungsdaten repräsentiert sein. Gefahrenabschätzungsdaten können beispielsweise die Gefahrenniveaus von Sensordaten von einem oder mehreren Sensoren repräsentieren, bzw. umfassen.Hazard assessment data, as used herein, represents, for example, a hazard level of a potential hazard to the vehicle and/or to the driver of the vehicle. A level of danger can be specified, for example, by falling below a (specified) value, for example a distance determined by the sensor system or the at least one sensor. For example, a risk level can be determined by exceeding a (specified) value, for example a speed or an acceleration of the vehicle or an object in the detection range of the sensor system or the at least one sensor. The danger level can, for example, be subdivided into predetermined levels or be defined as a continuous danger level. As an example, a sensor can detect a distance to an object and compare the determined distance to predefined values for a danger level. Correspondingly, different stages for a danger level can be represented in the danger assessment data. Hazard assessment data may represent or include, for example, the hazard levels of sensor data from one or more sensors.
Das Verfahren umfasst ferner das Modifizieren eines vorhandenen Audiosignals, das nicht mit der Gefahr assoziiert ist. Das Audiosystem eines Fahrzeugs kann beispielsweise ein oder mehrere Audiosignale gleichzeitig abspielen. Dafür werden die Signale meist in einer Verarbeitungsvorrichtung des Fahrzeugs für Audiosignale gemischt und über die dem Audiosystem zur Verfügung stehenden Lautsprecher ausgegeben. Dazu gehören beispielsweise Radio, CD oder digitale Audiodaten auf anderen Datenträgersystemen. Ferner werden beispielsweise die zuvor genannten Warntöne über das Audiosystem ausgegeben. Lediglich diese Warntöne sind mit einer Gefahr assoziiert.The method further includes modifying an existing audio signal that is not associated with the hazard. For example, a vehicle's audio system may play one or more audio signals simultaneously. For this purpose, the signals are usually mixed in a processing device in the vehicle for audio signals and output via the loudspeakers available to the audio system. This includes, for example, radio, CD or digital audio data on other data carrier systems. Furthermore, for example, the aforementioned warning tones are output via the audio system. Only these warning tones are associated with a hazard.
Modifizieren bedeutet hierein beispielsweise, dass das vorhandene Audiosignal in wenigstens einer seiner akustischen Eigenschaften verändert wird. Das Modifizieren kann beispielsweise auf einer Recheneinheit des Audiosystems oder auf einer sonstigen Recheneinheit, beispielsweise des Fahrzeugs durchgeführt werden.Modifying means here, for example, that the existing audio signal is changed in at least one of its acoustic properties. The modification can be carried out, for example, on a computing unit of the audio system or on another computing unit, for example of the vehicle.
Das Modifizieren des Audiosignals kann insbesondere in Echtzeit durchgeführt werden. Das modifizierte Audiosignal kann dann mit anderen Audiosignalen, die im Fahrzeug ausgegeben werden sollen, gemischt werden. Beispielsweise kann das modifizierte Audiosignal mit anderen Audiosignalen gleichzeitig abgespielt werden.The audio signal can in particular be modified in real time. The modified audio signal can then be mixed with other audio signals to be output in the vehicle. For example, the modified audio signal can be played back simultaneously with other audio signals.
Das Modifizieren basiert ferner auf den Gefahrenabschätzungsdaten. Entsprechend den Gefahrenabschätzungsdaten können beispielsweise entsprechende und/oder verschiedene Parameter oder Parametervariationen für das Modifizieren verwendet werden.The modifying is also based on the hazard assessment data. According to the risk assessment data, for example, corresponding and/or different parameters or parameter variations can be used for the modification.
Das Verfahren umfasst ferner das Ausgeben des modifizierten Audiosignals mit mindestens einer Schallquelle des Fahrzeugs. Eine Schallquelle ist beispielsweise ein Lautsprecher. Eine Schallquelle kann beispielsweise auch ein Vibrationsmotor sein.The method also includes outputting the modified audio signal with at least one sound source of the vehicle. A sound source is, for example, a loudspeaker. A sound source can also be a vibration motor, for example.
Gemäß einer Ausführungsform kann das Verfahren das Ermitteln von Gefahrenrichtungsdaten umfassen. Gefahrenrichtungsdaten können beispielsweise basierend auf Sensordaten oder beispielsweise auf Sensordaten eines Fahrerassistenzsystems basieren. Gefahrenrichtungsdaten repräsentieren beispielsweise eine Richtung bezogen auf das Fahrzeug und/oder den Fahrer des Fahrzeugs.According to one embodiment, the method can include determining hazard direction data. Danger direction data can be based, for example, on sensor data or, for example, on sensor data from a driver assistance system. Hazard direction data represents, for example, a direction related to the vehicle and/or the driver of the vehicle.
Gefahrenrichtungsdaten repräsentieren beispielsweise eine Richtung und/oder einen Winkel bezogen auf beispielsweise eine Längsachse des Fahrzeugs und beispielsweise einen Mittelpunkt des Fahrzeugs, die, bzw. der mit einer Gefahr und/oder einem Objekt assoziiert ist, das beispielsweise von Sensordaten erfasst, beschrieben ist oder beschrieben wird.Hazard direction data represent, for example, a direction and/or an angle relative to, for example, a longitudinal axis of the vehicle and, for example, a center point of the vehicle, which is associated with a hazard and/or an object that is or is described, for example, detected by sensor data becomes.
Das Modifizieren des Audiosignals kann so durchgeführt werden, dass ein modifiziertes Audiosignal erhalten wird, so dass ein ortbarer Schall von der mindestens einen Schallquelle, vorzugsweise von mindestens zwei Schallquellen, emittiert wird, wobei eine (wahrnehmbare) Schallrichtung des Schalls im Wesentlichen einer Gefahrenrichtung entspricht, wenn das modifizierte Audiosignal ausgegeben wird. Beispielhaft kann ein Radfahrer in Bezug auf das Fahrzeug aus einer Richtung kommend, die für den Fahrer nicht einsehbar ist, aber von Sensoren des Fahrzeugs erfassbar ist, eine Gefahr darstellen, insofern, dass der Radfahrer mit dem Fahrzeug kollidieren könnte. Eine Richtung bezogen auf das Fahrzeug kann sich dabei beispielsweise kontinuierlich ändern. Diese Änderung über die Zeit kann beispielsweise in den Sensordaten repräsentiert sein. Das Modifizieren kann dabei beispielsweise je nach aktuellem Standort, bzw. Richtung, in der sich der Radfahrer befindet, das Audiosignal derart verändern, dass ein Fahrer eine Änderung des Audiosignals bemerkt und dem ausgegebenen (modifizierten) Audiosignal eine Richtung zuordnen kann. Diese dem modifizierten Audiosignal zugeordnete Richtung kann beispielsweise zumindest im Wesentlichen der Richtung entsprechen, die dem Radfahrer aktuell zugeordnet ist. Sobald die Gefahrenabschätzungsdaten, die dem Radfahrer zugeordnet sind, ein Gefahrenniveau repräsentieren, das keine Aufmerksamkeit des Fahrers benötigt, kann beispielsweise eine Modifikation des Audiosignals ausgesetzt werden, sofern keine anderen Gefahrenquellen vorhanden sind oder identifiziert sind (von den Sensoren des Fahrzeugs).The audio signal can be modified in such a way that a modified audio signal is obtained such that a locatable sound is emitted by the at least one sound source, preferably by at least two sound sources, with a (perceptible) sound direction of the sound essentially corresponding to a danger direction, when the modified audio signal is output. For example, a cyclist coming from a direction in relation to the vehicle that is not visible to the driver but can be detected by the vehicle's sensors can pose a risk in that the cyclist could collide with the vehicle. A direction related to the vehicle can change continuously, for example. This change over time can be represented in the sensor data, for example. The modification can change the audio signal, for example depending on the current location or direction in which the cyclist is located, in such a way that a driver notices a change in the audio signal and responds to the output (modified) Audio signal can assign a direction. This direction assigned to the modified audio signal can, for example, at least essentially correspond to the direction currently assigned to the cyclist. For example, once the hazard assessment data associated with the cyclist represents a hazard level that does not require driver attention, modification of the audio signal may be suspended unless other hazard sources are present or identified (by the vehicle's sensors).
Gefahrenabschätzungsdaten können nach einer Ausführungsform (auch) basierend auf Prediktoren, beispielsweise mit künstlicher Intelligenz oder maschinellem Lernen unterstützten Sensordaten eines Fahrerassistenzsystems ermittelt werden. Beispielsweise kann ein Fahrerassistenzsystem mit den Sensordaten eine erwartete Situation, wie beispielsweise eine Verkehrssituation errechnen und/oder (in bestimmten Ma-ßen) vorhersagen, beispielsweise im Zusammenhang mit einer Wahrscheinlichkeit. Basierend auf dieser Prediktion können Gefahrenabschätzungsdaten ermittelt werden und die vorhergesagte Gefahr, bzw. ein vorhergesagtes Gefahrenniveau repräsentieren.According to one embodiment, risk assessment data can (also) be determined based on predictors, for example sensor data of a driver assistance system supported with artificial intelligence or machine learning. For example, a driver assistance system can use the sensor data to calculate and/or (to a certain extent) predict an expected situation, such as a traffic situation, for example in connection with a probability. Based on this prediction, risk assessment data can be determined and represent the predicted risk or a predicted risk level.
Gemäß einer Ausführungsform kann das Modifizieren des Audiosignals das Modifizieren des Audiosignals mindestens eines von einer pegelorientiere Modifikation, wie beispielsweise Lautstärke und/oder Lautheit, eine spektrale Modifikation, wie beispielsweise ein Anheben oder Absenken von Frequenzbereichen wie Obertönen, Mitteltönen oder Bässen und/oder Anheben oder Absenken von wenigstens einer Frequenz, eine verzerrende Modifikation, wie beispielsweise ein verzerrender Effekt wie das Hinzufügen von Obertönen, eine verzögerungszeitorientierte Modifikation, wie beispielsweise Hall oder Verzögerung (englisch: „delay“) und/oder ein Modifizieren der Schallrichtung, umfassen. Beispielsweise kann das Modifizieren des Audiosignals mindestens eines von Lautstärke, Klang, Tonhöhe, Frequenz, Basslastigkeit und/oder Schallrichtung umfassen. Beispielsweise kann ein Audiosignal, das nicht mit einer Gefahr assoziiert ist, derart verändert werden, dass eine Aufmerksamkeit des Fahrers eines Fahrzeugs beispielsweise erhöht werden kann, im Vergleich zu einer Situation ohne Modifizieren eines Audiosignals. Als Beispiel kann das Audiosignal eines Motorgeräuschs, wie es beispielsweise bei Elektrofahrzeugen (E-Sound) eingespielt wird, modifiziert werden. Beispielsweise kann eine Frequenz des Motorengeräuschs verstärkt oder vermindert werden, beispielsweise derart, dass beim Fahrer des Fahrzeugs der Eindruck entsteht, dass das Motorengeräusch beispielsweise in einer bestimmten Richtung eine verstärkte Frequenz (oder ein Frequenzspektrum) oder eine verminderte Frequenz (oder ein Frequenzspektrum) aufweist. Weiterhin beispielsweise kann auch eine Basslastigkeit des Audiosignals, beispielsweise des Motorengeräuschs, modifiziert werden, weiter beispielsweise auch so, dass für den Fahrer der Eindruck entsteht, dass das modifizierte Audiosignal in einer Richtung, die einer Gefahrenrichtung entspricht, beispielsweise weniger oder mehr Bassfrequenzen aufweist. Das Modifizieren des Audiosignals kann auch eine Kombination von mehreren Veränderungen des Audiosignals sein. Das zu modifizierende Audiosignal kann beispielsweise auch ein Radiosignal sein, oder ein vergleichbares Audiosignal, beispielsweise des Entertainmentsystems des Fahrzeugs.According to one embodiment, modifying the audio signal can modify the audio signal at least one of a level-oriented modification, such as volume and/or loudness, a spectral modification, such as raising or lowering of frequency ranges such as overtones, midtones or bass and/or raising or Lowering at least one frequency, a distorting modification, such as a distorting effect such as adding overtones, a delay-time oriented modification such as reverberation or delay and/or modifying the direction of the sound. For example, modifying the audio signal can include at least one of volume, tone, pitch, frequency, bass emphasis, and/or sound direction. For example, an audio signal that is not associated with a hazard can be modified in such a way that the driver's attention of a vehicle can be increased, for example, compared to a situation without modifying an audio signal. As an example, the audio signal of an engine noise, such as that played in electric vehicles (E-Sound), can be modified. For example, a frequency of the engine noise can be increased or decreased, for example in such a way that the driver of the vehicle has the impression that the engine noise has an increased frequency (or a frequency spectrum) or a decreased frequency (or a frequency spectrum) in a certain direction, for example. Furthermore, for example, a bass-heavy audio signal, for example the engine noise, can also be modified, for example also in such a way that the driver gets the impression that the modified audio signal has, for example, fewer or more bass frequencies in a direction that corresponds to a danger direction. The modification of the audio signal can also be a combination of several changes in the audio signal. The audio signal to be modified can also be a radio signal, for example, or a comparable audio signal, for example from the vehicle's entertainment system.
Gemäß einer Ausführungsform kann das Ermitteln einer Gefahrenabschätzung ferner das Klassifizieren eines Objekts nach einem Objekttyp umfassen. Sensoren des Fahrzeugs können beispielsweise ein Objekt, das in Sensorreichweite ist, beispielsweise mit Hilfe von maschinellem Lernen oder künstlicher Intelligenz, klassifizieren. Ein Objekttyp kann beispielsweise ein dem Objekt zugeordnetes Substantiv sein, wie beispielsweise Fahrrad, Radfahrer, Fußgänger, Hund, Autobus, Lastwagen, etc. Der Objekttyp kann sich beispielsweise auf Verkehrsteilnehmer beziehen und/oder auf Objekte, die im Wesentlichen nicht am Verkehr teilnehmen, aber als Objekte an sich identifizierbar sind, wie beispielsweise Ampeln, Bäume, Straßenmarkierungen, Stra-ßenbegrenzungen, Verkehrsschilder, etc.. Sofern beispielsweise die Gefahrenabschätzungsdaten ein beispielsweise erhöhtes Gefahrenniveau für das Fahrzeug repräsentieren, kann das Modifizieren ferner und je nach klassifiziertem Objekttyp Parameter zum Modifizieren des Audiosignals verwenden, die für einen (identifizierten) Objekttyp vorbestimmt sind. Beispielsweise kann eine Modifizierung des Audiosignals für einen in für das Fahrzeug gefährlicher Weise näher kommenden Lastkraftwagen zunächst, entsprechend der Gefahrenabschätzungsdaten eine minimale Modifizierung des Audiosignals bedeuten. Wenn sich beispielsweise der Lastkraftwagen weiter in gefährlicher Weise dem Fahrzeug nähert, kann das Modifizieren des Audiosignals stärker ausfallen, so dass für den Fahrer beispielsweise eine weitere Veränderung des Audiosignals auffällt und entsprechend seine Aufmerksamkeit verändert wird oder zumindest gelenkt werden kann, insofern, dass sich der Fahrer der beispielhaft näher kommenden Gefahr des Lastkraftwagens bewusst wird.According to an embodiment, determining a risk assessment can also include classifying an object according to an object type. Sensors in the vehicle can, for example, classify an object that is within sensor range, for example with the help of machine learning or artificial intelligence. An object type can be, for example, a noun associated with the object, such as bicycle, cyclist, pedestrian, dog, bus, truck, etc. The object type can, for example, relate to road users and/or to objects that essentially do not participate in traffic, but are identifiable as objects per se, such as traffic lights, trees, road markings, road boundaries, traffic signs, etc.. If, for example, the risk assessment data represent an increased level of risk for the vehicle, for example, the modification can also, depending on the classified object type, parameter for modifying the Use audio signals that are predetermined for a (identified) object type. For example, a modification of the audio signal for a truck that is approaching dangerously for the vehicle can initially mean a minimal modification of the audio signal in accordance with the risk assessment data. If, for example, the truck continues to approach the vehicle in a dangerous manner, the modification of the audio signal can be greater, so that the driver notices a further change in the audio signal, for example, and his attention is changed accordingly or at least can be directed to the extent that the Driver becomes aware of the approaching danger of the truck, for example.
Der Objekttyp kann beispielsweise einer Gefahrenabschätzung zugeordnet werden oder zugeordnet sein. Einem Objekttyp können ein oder mehrere Modifikationsparameter zum Modifizieren des Audiosignals zugeordnet sein. Einem Objekttyp können je nach Gefahrenabschätzung ein oder mehrere Modifikationsparameter zugeordnet sein.The object type can be assigned or assigned to a risk assessment, for example. One or more modification parameters for modifying the audio signal can be assigned to an object type. Depending on the risk assessment, one or more modification parameters can be assigned to an object type.
Das Modifizieren des Audiosignals kann ferner basierend auf mindestens einem dem Objekttyp zugeordneten vorbestimmten Modifikationsparameter zum Modifizieren des Audiosignals durchgeführt werden.The audio signal can also be modified based on at least one predetermined modification parameter assigned to the object type for modifying the audio signal.
Gemäß einer Ausführungsform kann zusätzlich zum Ausgeben des modifizierten Audiosignals mindestens eine weitere Warnung vom Fahrzeug ausgegeben werden, insbesondere eine optische, haptische und/oder akustische Warnung. Beispielsweise kann das modifizierte Audiosignal mit einer weiteren Warnung kombiniert werden, die beispielsweise mit einer Gefahr assoziiert ist. Beispielsweise kann ein „Beep“ oder „Gong“ Sound zusätzlich zum modifizierten Audiosignal mit eingespielt, das heißt von der mindestens eine Schallquelle (mit) ausgegeben werden und/oder beim Modifizieren des Audiosignals mit dem zu modifizierenden oder dem modifizierten Audiosignal kombiniert werden. Beispielsweise kann ein Vibrationsmotor, beispielsweise im Lenkrad des Fahrzeugs beim Ausgeben des modifizierten Audiosignals mit aktiviert werden, entsprechend, bzw. basierend auf den Gefahrenabschätzungsdaten. Weiterhin kann beispielsweise eine optische Warnung zusätzlich zum modifizierten Audiosignal ausgegeben werden, beispielsweise mit einer Anzeigevorrichtung im Fahrzeug, beispielsweise eingeblendet in einem Head-up Display oder bei den üblichen Anzeigemöglichkeiten der Instrumententafel, bzw. des Armaturenbretts im Fahrzeug oder an Anzeigeflächen außerhalb des Fahrzeugraums, wie beispielsweise am Seitenspiegel. Es kann auch eine Kombination von einer mehreren Warnungen (auf beispielsweise unterschiedliche Weise) zusätzlich zum modifizierten Audiosignal ausgegeben werden.According to one embodiment, in addition to the output of the modified audio signal, at least one further warning can be output by the vehicle, in particular an optical, haptic and/or acoustic warning. For example, the modified audio signal can be combined with a further warning, which is associated with a hazard, for example. For example, a “beep” or “gong” sound can be played in addition to the modified audio signal, i.e. it can be output by the at least one sound source (also) and/or combined with the audio signal to be modified or the modified audio signal when modifying the audio signal. For example, a vibration motor, for example in the vehicle's steering wheel, can also be activated when the modified audio signal is output, correspondingly or based on the risk assessment data. Furthermore, for example, an optical warning can be output in addition to the modified audio signal, for example with a display device in the vehicle, for example displayed in a head-up display or with the usual display options on the instrument panel or dashboard in the vehicle or on display surfaces outside the vehicle compartment, such as for example on the side mirror. A combination of one or more warnings (e.g. in different ways) can also be output in addition to the modified audio signal.
Gemäß einer Ausführungsform kann das Modifizieren ferner in einer Vielzahl von Phasen und/oder Stufen, basierend auf den Gefahrenabschätzungsdaten vorgenommen werden.According to one embodiment, the modifying can also be done in a variety of phases and/or stages based on the hazard assessment data.
Phasen und/oder Stufen hierin beziehen sich auf ein Gefahrenniveau, das von den Gefahrenabschätzungsdaten repräsentiert wird. Entsprechend eines kontinuierlichen oder diskontinuierlichen (abgestuften) Gefahrenniveaus können Phasen und/oder Stufen für eine Aufmerksamkeitssteuerung eines Fahrers definiert sein. Das heißt, dass beispielsweise die Phasen und/oder Stufen eine Eskalation der Aufmerksamkeitssteuerung umfassen können. Beispielsweise kann in einer ersten Stufe und/oder Phase nur ein oder wenige Parameter eines Audiosignals modifiziert werden. In einer nachfolgenden Stufe und/oder Phase können weitere Parameter des Audiosignals zusätzlich modifiziert werden und in einer vorletzten und/oder letzten Stufe und/oder Phase können beispielsweise zu der Modifizierung des Audiosignals (die noch weiter modifizierte Parameter umfassen kann) Warntöne mit ausgegeben werden.Phases and/or stages herein refer to a hazard level represented by the hazard assessment data. According to a continuous or discontinuous (graded) level of danger, phases and/or stages for alerting a driver can be defined. This means that, for example, the phases and/or stages can include an escalation of the attention control. For example, only one or a few parameters of an audio signal can be modified in a first stage and/or phase. In a subsequent stage and/or phase, further parameters of the audio signal can also be modified, and in a penultimate and/or last stage and/or phase, warning tones can be output along with the modification of the audio signal (which can include further modified parameters).
Ferner kann das modifizierte Audiosignal basierend auf den Gefahrenabschätzungsdaten und je nach Phase und/oder Stufe, mit der wenigstens einen weiteren Warnung kombiniert werden. Beispielsweise kann eine Aufmerksamkeit des Fahrers bei einem Radfahrer in einem nur minder gefährlichen Abstand mit dem Ausgeben eines modifizierten Audiosignals erregt werden. Verringert sich der Abstand beispielsweise in einer Art und Weise, die als gefährlicher für das Fahrzeug eingestuft wird, können beispielsweise andere Modifikationsparameter zum Modifizieren des Audiosignals eingesetzt werden, die dazu geeignet sind, eine Aufmerksamkeit des Fahrers besser als die zuvor verwendeten Modifikationsparameter zu lenken, bzw. zu erregen. In einem sich erhöhenden Gefahrenniveau durch den Radfahrer, das in den Gefahrenabschätzungsdaten repräsentiert ist, kann beispielsweise zum Ausgeben des modifizierten Audiosignals (wenigstens) eine weitere Warnung mit dem modifizierten Audiosignal ausgegeben werden.Furthermore, the modified audio signal can be combined with the at least one further warning based on the hazard assessment data and depending on the phase and/or stage. For example, the driver's attention can be drawn to a cyclist at an only less dangerous distance by outputting a modified audio signal. For example, if the distance decreases in a way that is classified as more dangerous for the vehicle, other modification parameters can be used to modify the audio signal, for example, which are suitable for drawing the driver's attention better than the modification parameters previously used, or .to excite. In an increasing level of danger from the cyclist, which is represented in the danger assessment data, for example for the purpose of outputting the modified audio signal, (at least) one further warning can be output with the modified audio signal.
Gemäß einer Ausführungsform kann das Verfahren ferner das Ermitteln einer Identität des Fahrers umfassen. Beispielsweise kann das Erfassen der Identität eines Fahrers über einen intelligenten Fahrzeugschlüssel, der mit der Identität des Fahrers verknüpft ist oder über eine Erkennung des Fahrers, beispielsweise anhand biometrischer Daten mittel Sensorik im Fahrzeug, erfolgen.According to one embodiment, the method may further include determining an identity of the driver. For example, the driver's identity can be recorded using an intelligent vehicle key, which is linked to the driver's identity, or by recognizing the driver, for example using biometric data using sensors in the vehicle.
Dies hat den Vorteil, dass das Verfahren beispielsweise individuell auf den Fahrer abgestimmt werden kann. Beispielsweise können fahrerindividuelle Parameter für das Modifizieren des Audiosignals verwendet werden, und/oder es können vom Fahrer des Fahrzeugs individuell eingestellte Parameter für Objekttypen verwendet werden zum Modifizieren des Audiosignals.This has the advantage that the method can be individually tailored to the driver, for example. For example, driver-specific parameters can be used to modify the audio signal, and/or parameters for object types set individually by the driver of the vehicle can be used to modify the audio signal.
Gemäß einer Ausführungsform kann das Verfahren ferner das Ermitteln einer Kopfpose des Fahrers in Bezug auf das Fahrzeug umfassen. Damit kann beispielsweise das Modifizieren des Audiosignals um eine Anpassung des Audiosignals an die Kopfpose des Fahrers erweitert werden. Mit der ermittelten Kopfpose kann beispielsweise über eine Außenohr-Übertragungsfunktion (head-related transfer function (HRTF)) des Fahrers das Audiosignal (weiter) individuell an den Fahrer angepasst werden und eine Ortbarkeit des Audiosignals beispielsweise verbessert werden. Das Modifizieren des Audiosignals kann (damit) ferner auf der Außenohr-Übertragungsfunktion und der (individuellen) Kopfpose des Fahrers basieren.According to an embodiment, the method may further include determining a head pose of the driver with respect to the vehicle. In this way, for example, the modification of the audio signal can be expanded to include an adaptation of the audio signal to the driver's head pose. With the determined head pose, the audio signal can be (further) individually adapted to the driver, for example via an outer ear transfer function (head-related transfer function (HRTF)) of the driver, and localization of the audio signal can be improved, for example. The modification of the audio signal can (thus) be further based on the outer ear transfer function and the (individual) head pose of the driver.
Vorteilhafterweise kann mit einer Außenohr-Übertragungsfunktion und einem entsprechenden Modifizieren des Audiosignals eine Aufmerksamkeitserregung des Fahrers verbessert werden.Advantageously, attracting the driver's attention can be improved with an outer ear transfer function and a corresponding modification of the audio signal.
Gemäß einer Ausführungsform kann das Audiosignal ein artifizielles Fahrgeräusch und/oder ein artifizielles Motorgeräusch sein. Ein Fahrgeräusch und/oder ein Motorgeräusch sind beispielsweise Geräusche die unabhängig von einer Gefahr oder einer Gefahrensituation im Fahrzeug eingespielt werden oder eingespielt werden können, je nach Fahrzeug und/oder Antriebstyp des Fahrzeugs. Es können auch andere Audiosignale verwendet werden, die nicht mit einer Gefahr oder einer Gefahrensituation verknüpft sind. Audiosignale des Entertainmentsystems im Fahrzeug sind im Allgemeinen und beispielsweise nicht mit einer Gefahr und/oder Gefahrensituation verknüpft. Diese können basierend auf den Gefahrenabschätzungsdaten modifiziert und/oder zusätzlich zu artifiziellen Motorgeräuschen und/oder Fahrgeräuschen modifiziert werden. Es können alle Audiosignale, die nicht mit einer Gefahr und/oder einer Gefahrensituation verknüpft sind modifiziert werden, basierend auf den Gefahrenabschätzungsdaten.According to one embodiment, the audio signal can be an artificial driving noise and/or an artificial engine noise. A driving noise and/or an engine noise are, for example, noises that are or can be played in the vehicle independently of a hazard or a dangerous situation, depending on the vehicle and/or drive type of the vehicle. Other audio signals that are not associated with a hazard or a hazardous situation can also be used. Audio signals from the in-vehicle entertainment system are generally, for example, not associated with a hazard and/or hazardous situation. These can be modified based on the hazard assessment data and/or modified in addition to artificial engine noise and/or road noise. Any audio not associated with a hazard and/or hazard situation may be modified based on the hazard assessment data.
Gemäß einem Aspekt wird ein System zur Aufmerksamkeitssteuerung eines Fahrers eines Fahrzeugs vorgeschlagen, das zur Durchführung des oben beschriebenen Verfahrens und/oder gemäß Ausführungsformen des Verfahrens eingerichtet ist.According to one aspect, a system for controlling the attention of a driver of a vehicle is proposed, which is set up to carry out the method described above and/or according to embodiments of the method.
Gemäß einer Ausführungsform kann das System ferner Mittel zum Ermitteln von Gefahrenabschätzungsdaten für das Fahrzeug und/oder für den Fahrer des Fahrzeugs basierend auf Sensordaten des Fahrzeugs, wobei die Gefahrenabschätzungsdaten ein Gefahrenniveau einer (potenziellen) Gefahr für das Fahrzeug und/oder für den Fahrer des Fahrzeugs repräsentieren, aufweisen. Derartige Mittel sind beispielsweise Recheneinheiten des Fahrzeugs, die zentral und/oder dezentral Gefahrenabschätzungsdaten ermitteln, wie beispielsweise ein elektronisches Steuergerät (electronic control unit - ECU) oder ein Prozessor, beispielsweise in einem Sensorsystem oder einem Sensor oder in einer zentralen und/oder dezentralen Recheneinheit des Fahrzeugs.According to one embodiment, the system can also include means for determining risk assessment data for the vehicle and/or for the driver of the vehicle based on sensor data from the vehicle, the risk assessment data indicating a risk level of a (potential) risk for the vehicle and/or for the driver of the vehicle represent, exhibit. Such means are, for example, computing units in the vehicle that determine central and/or decentralized risk assessment data, such as an electronic control unit (ECU) or a processor, for example in a sensor system or a sensor or in a central and/or decentralized computing unit of the vehicle vehicle.
Ferner kann das System Mittel zum Modifizieren eines (vorhandenen) Audiosignals, das nicht mit der Gefahr assoziiert ist, basierend auf den Gefahrenabschätzungsdaten, aufweisen. Ein derartiges Mittel kann beispielsweise ein Prozessor oder ein elektronisches Steuergerät sein. Mit dem Mittel zum Modifizieren eines (vorhandenen) Audiosignals kann ein modifiziertes Audiosignal erzeugt werden, bzw. erhalten werden. Beispielsweise können die Mittel zum Ermitteln von Gefahrenabschätzungsdaten und die Mittel zum Modifizieren eines Audiosignals identische, dieselben oder unterschiedliche Mittel sein.Furthermore, the system may comprise means for modifying an (existing) audio signal not associated with the hazard based on the hazard assessment data. Such a means can be, for example, a processor or an electronic control unit. A modified audio signal can be generated or obtained with the means for modifying an (existing) audio signal. For example, the means for determining risk assessment data and the means for modifying an audio signal can be identical, the same or different means.
Weiterhin kann das System Mittel zum Ausgeben des modifizierten Audiosignals mit mindestens einer Schallquelle des Fahrzeugs aufweisen. Mittel zum Ausgeben sind beispielsweise ein oder mehrere Steuergeräte des Entertainmentsystems des Fahrzeugs oder ein dediziertes Audiosystem des Fahrzeugs oder eines der oben genannten Mittel, die eingerichtet sind, das modifizierte Audiosignal auszugeben. Die Mittel zum Ausgeben des (modifizierten) Audiosignals sind insbesondere mit Schallquellen im Fahrzeug kommunizierend verbunden, beispielsweise in Datenkommunikation und/oder in analoger Weise.Furthermore, the system can have means for outputting the modified audio signal with at least one sound source of the vehicle. Output means are, for example, one or more control units of the vehicle's entertainment system or a dedicated audio system of the vehicle or one of the above-mentioned means that are set up to output the modified audio signal. The means for outputting the (modified) audio signal are in particular connected in a communicative manner to sound sources in the vehicle, for example in data communication and/or in an analog manner.
Gemäß einem weiteren Aspekt wird ein Computerprogramm oder Computerprogrammprodukt vorgeschlagen. Das Computerprogramm oder Computerprogrammprodukt enthält insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen, die bei der Ausführung durch einen oder mehrere Computer oder ein System nach einem Aspekt der Erfindung, den oder die Computer oder das System dazu veranlassen, ein Verfahren nach einem anderen Aspekt der Erfindung durchzuführen.According to a further aspect, a computer program or computer program product is proposed. The computer program or computer program product contains, in particular, instructions stored on a computer-readable and/or non-volatile storage medium which, when executed by one or more computers or a system according to one aspect of the invention, cause the computer or the system to perform a method according to another aspect of the invention.
Die hier beschriebenen Ausführungsformen sind miteinander kombinierbar insoweit eine ausführbare Kombination für den Fachmann ersichtlich ist. Dies gilt auch über die Aspekte der Erfindung hinweg.The embodiments described here can be combined with one another insofar as an executable combination is apparent to a person skilled in the art. This also applies beyond the aspects of the invention.
Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung im Zusammenhang mit den Figuren.Further features, advantages and possible applications of the invention result from the following description in connection with the figures.
Es zeigen:
-
1 eine teilweise schematische Darstellung von Ausführungsformen eines Systems zur Aufmerksamkeitssteuerung eines Fahrers in einem Fahrzeug mit einem Gefahrenobjekt in einem ersten (zeitlichen) Zustand; -
2 eine teilweise schematische Darstellung von Ausführungsformen eines Systems zur Aufmerksamkeitssteuerung eines Fahrers in einem Fahrzeug mit einem Gefahrenobjekt in einem zweiten (zeitlichen) Zustand; -
3 eine teilweise schematische Darstellung von Ausführungsformen eines Systems zur Aufmerksamkeitssteuerung eines Fahrers in einem Fahrzeug mit einem Gefahrenobjekt in einem dritten (zeitlichen) Zustand; und -
4 eine schematische Darstellung eines Verfahrens zur Aufmerksamkeitssteuerung eines Fahrers in einem Fahrzeug.
-
1 a partially schematic representation of embodiments of a system for controlling the attention of a driver in a vehicle with a dangerous object in a first (temporal) state; -
2 a partially schematic representation of embodiments of a system for controlling the attention of a driver in a vehicle with a dangerous object in a second (temporal) state; -
3 a partially schematic representation of embodiments of a system for controlling the attention of a driver in a vehicle with a dangerous object in a third (temporal) state; and -
4 a schematic representation of a method for controlling the attention of a driver in a vehicle.
Im Folgenden wird die Erfindung anhand der
Erfindungsgemäß wird vorzugsweise eine Aufmerksamkeit eines Fahrers eines Fahrzeugs 2 gesteuert und/oder beeinflusst. In Fahrzeugen ist es insbesondere in Gefahrensituation möglich, den Fahrer gezielt auf eine bestimmte Gefahr aufmerksam zu machen, indem man die (physiologischen) Sinne des Fahrers gezielt direkt oder indirekt anspricht. Eine Gefahr ist eine relative Größe, die durch vordefinierte oder predeterminierte Größen und/oder Bereiche für Fahrzeuge festgelegt werden kann. Diese pre-determinierten Größen und/oder Bereiche sind bei Fahrzeugen für die Sensoren oder Sensorsysteme festgelegt. Diese können je nach Auslegung, Umgebungsparametern, beispielsweise Fahrbahnzustand oder Wetter, verändert werden oder anders festgelegt sein.According to the invention, the attention of a driver of a
Wird das Objekt 3 als Gefahr für das Fahrzeug 2 definiert, kann basierend auf den Gefahrenabschätzungsdaten ein vorhandenes Audiosignal 10, das nicht mit einer Gefahr assoziiert ist, modifiziert werden, und zwar so, dass (wenigstens) ein Parameter des Audiosignals 10 verändert wird, wie beispielhaft dargestellt. Das Audiosignal 10 kann derart verändert werden, dass es wie in
Die (Kopf-)Position des Fahrers 4 ist hier beispielhaft linksseitig dargestellt. Die (Kopf-)Position des Fahrers kann auch rechtsseitig sein, je nach Ausgestaltung des Fahrzeugs 2.The (head) position of the
Die Richtung, aus der das modifizierte Audiosignal 10 zu kommen scheint, bzw. kommt kann sich beispielsweise mit der Richtung, in der eine Gefahr ermittelt wurde, verändern.The direction from which the modified
In
Gemäß einer Ausführungsform kann beispielsweise ein Kopfposen-Tracking (Headtracking) des Kopfs eines Fahrers verifizieren, ob eine Aufmerksamkeit des Fahrers entsprechend dem modifizierten Audiosignal erregt wurde. Wenn in dem Beispiel der
Ein beispielhafter Ablauf der erfindungsgemäßen Lehre ist wie folgt: Ein Fahrzeug 2 erfasst mit seinem Sensorsystem 5 oder einem Teil seines Sensorsystems 5 ein Objekt 3. Für dieses Objekt 3 werden Gefahrenabschätzungsdaten ermittelt, die ein Gefahrenniveau, das von dem Objekt 3 für das Fahrzeug 2 oder den Fahrer des Fahrzeugs 2 ausgeht repräsentieren. Anhand der Gefahrenabschätzungsdaten wird ein vorhandenes Audiosignal, das nicht mit einer Gefahr assoziiert ist, modifiziert (je nach Gefahrenniveau, das vom Objekt 3 ausgeht). Anschließend wird das modifizierte Audiosignal 10 ausgegeben 106, um eine Aufmerksamkeit des Fahrers gezielt zu erregen, beispielswiese, um auf das Objekt 3 aufmerksam zu machen.An exemplary sequence of the teaching according to the invention is as follows: A
Es ist für den Fachmann ersichtlich, dass die erfindungsgemäßen Arbeitsschritte wie in der im Vorhergehenden beschriebenen Reihenfolge vorgenommen werden können, wie auch in einer anderen Reihenfolge, mit welcher die erfindungsgemäße Lehre umgesetzt werden kann.It is obvious to the person skilled in the art that the working steps according to the invention can be carried out as in the order described above, as well as in a different order with which the teaching according to the invention can be implemented.
Soweit anwendbar, können alle einzelnen Merkmale, die in den Ausführungsbeispielen dargestellt sind, miteinander kombiniert und/oder ausgetauscht werden, ohne den Bereich der Erfindung zu verlassen.As far as applicable, all individual features that are presented in the exemplary embodiments can be combined with one another and/or exchanged without departing from the scope of the invention.
Bezugszeichenlistereference list
- 11
- System zur AufmerksamkeitssteuerungAttention control system
- 22
- Fahrzeugvehicle
- 33
- Objektobject
- 44
- (Kopf-)Position des Fahrers(Head) position of the driver
- 55
- Sensorsystem / Sensoren des FahrzeugsSensor system / sensors of the vehicle
- 66
- elektronisches Steuergerätelectronic control unit
- 1010
- (modifiziertes) Audiosignal(modified) audio signal
- 100100
- VerfahrenProceedings
- 102102
- Ermitteln von GefahrenabschätzungsdatenObtaining hazard assessment data
- 104104
- Modifizieren des AudiosignalsModifying the audio signal
- 104.1 bis 104.3104.1 through 104.3
- Modifizieren eines Parameters des Audiosignalsmodifying a parameter of the audio signal
- 106106
- Ausgeben des modifizierten AudiosignalsOutputting the modified audio signal
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021124492.7A DE102021124492A1 (en) | 2021-09-22 | 2021-09-22 | METHOD AND DEVICE FOR ATTENTION CONTROL OF A DRIVER IN A VEHICLE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021124492.7A DE102021124492A1 (en) | 2021-09-22 | 2021-09-22 | METHOD AND DEVICE FOR ATTENTION CONTROL OF A DRIVER IN A VEHICLE |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021124492A1 true DE102021124492A1 (en) | 2023-03-23 |
Family
ID=85383534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021124492.7A Pending DE102021124492A1 (en) | 2021-09-22 | 2021-09-22 | METHOD AND DEVICE FOR ATTENTION CONTROL OF A DRIVER IN A VEHICLE |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102021124492A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060001532A1 (en) | 2004-06-30 | 2006-01-05 | Denso Corporation | Vehicle alarm sound outputting device and program |
US20180132052A1 (en) | 2016-11-08 | 2018-05-10 | Harman Becker Automotive Systems Gmbh | Vehicle sound processing system |
US10511911B2 (en) | 2017-08-11 | 2019-12-17 | Samsung Electronics Co., Ltd. | Method and apparatus of playing music based on surrounding situations |
US20200339145A1 (en) | 2019-04-26 | 2020-10-29 | Tusimple, Inc. | Auditory assistant module for autonomous vehicles |
CN112758088A (en) | 2019-11-05 | 2021-05-07 | 深圳市大富科技股份有限公司 | Dangerous source reminding method and advanced driving assistance system |
-
2021
- 2021-09-22 DE DE102021124492.7A patent/DE102021124492A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060001532A1 (en) | 2004-06-30 | 2006-01-05 | Denso Corporation | Vehicle alarm sound outputting device and program |
US20180132052A1 (en) | 2016-11-08 | 2018-05-10 | Harman Becker Automotive Systems Gmbh | Vehicle sound processing system |
US10511911B2 (en) | 2017-08-11 | 2019-12-17 | Samsung Electronics Co., Ltd. | Method and apparatus of playing music based on surrounding situations |
US20200339145A1 (en) | 2019-04-26 | 2020-10-29 | Tusimple, Inc. | Auditory assistant module for autonomous vehicles |
CN112758088A (en) | 2019-11-05 | 2021-05-07 | 深圳市大富科技股份有限公司 | Dangerous source reminding method and advanced driving assistance system |
Non-Patent Citations (1)
Title |
---|
Li, S.; Peissig, J.: Measurement of head-related transfer functions : A review.. In: Applied Sciences, Vol. 10, 2020, No. 14, Article No. 5014 (40 S.). - ISSN 2076-3417 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102011011722B4 (en) | Sound generating device, method and computer program product for a vehicle | |
DE102018200878B3 (en) | Detection of dangerous sounds | |
DE102017122866A1 (en) | Parking assist device | |
DE102011116778B4 (en) | Method and system for implementing engine sound enhancement for a vehicle | |
DE102018100021A1 (en) | SPACIOUS AUDIBLE WARNINGS FOR A VEHICLE | |
DE102018107756A1 (en) | SYSTEMS FOR SUBMITTING A WARNING SIGNAL FROM A VEHICLE TO WARNING ENTITIES NEARBY | |
DE102013221654B4 (en) | Vehicle lane inspection monitoring | |
WO2013045374A1 (en) | Method for the computer-assisted processing of the vicinity of a vehicle | |
DE102010035232A1 (en) | Methods and systems for displaying vehicle return camera images in various modes | |
DE102010049081A1 (en) | Method for operating a motor vehicle and motor vehicle | |
DE102010025351A1 (en) | Method and device for assisting a vehicle driver | |
DE102009057981B4 (en) | Method for controlling the acoustic perceptibility of a vehicle | |
DE102017200961A1 (en) | Acoustic warning signal detection for motor vehicles | |
DE102013020699A1 (en) | Parking assistance system and method for driver assistance during parking maneuvers | |
DE102018202394A1 (en) | Method for operating a sound output device of a motor vehicle, control device, and motor vehicle | |
DE102018221120A1 (en) | Vehicle and method for controlling the same | |
DE102012022321A1 (en) | Method for operating a vehicle and vehicle | |
DE102019201407A1 (en) | Method and device for controlling a driver's attention | |
DE102014224120A1 (en) | Output audio contributions for a vehicle | |
DE102014217732B4 (en) | Method for assisting a driver of a motor vehicle, device and system | |
EP2226217B1 (en) | Information system for passenger of a vehicle using acoustic and tactile means | |
DE102016220449A1 (en) | Direction indicator control system, means of locomotion and method of adjusting the luminous appearance of a direction indicator | |
DE102021124492A1 (en) | METHOD AND DEVICE FOR ATTENTION CONTROL OF A DRIVER IN A VEHICLE | |
DE102019203369A1 (en) | Device and method for adaptive speed control of a motor vehicle | |
DE102018203661A1 (en) | Method and apparatus for testing directional hearing in a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |