EP4244847A1 - Verfahren zur verarbeitung von spracheingaben und bedieneinrichtung zur steuerung von fahrzeugfunktionen - Google Patents

Verfahren zur verarbeitung von spracheingaben und bedieneinrichtung zur steuerung von fahrzeugfunktionen

Info

Publication number
EP4244847A1
EP4244847A1 EP23702291.8A EP23702291A EP4244847A1 EP 4244847 A1 EP4244847 A1 EP 4244847A1 EP 23702291 A EP23702291 A EP 23702291A EP 4244847 A1 EP4244847 A1 EP 4244847A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
iii
function
neutral
graphic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP23702291.8A
Other languages
English (en)
French (fr)
Inventor
Bianca Mix
Florian STAIB
Fabian Schöller
Stephan ARENSWALD
Tobias Blankenhorn
Edith Kuhn
Philip Rambowski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of EP4244847A1 publication Critical patent/EP4244847A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/193—Formal grammars, e.g. finite state automata, context free grammars or word networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Definitions

  • the invention relates to a method for processing voice inputs, via which vehicle functions are controlled in a vehicle, according to the type defined in more detail in the preamble of claim 1.
  • the invention also relates to an operating device for controlling vehicle functions with at least one microphone and one screen.
  • An operating system for a vehicle is fundamentally known from DE 103 60 655 A1.
  • the operating system described there includes a display for showing entries in a menu structure.
  • the entries in the menu structure can be activated via voice control, with at least one entry from the menu structure simultaneously forming a keyword for voice control.
  • Vehicle functions in a vehicle can increasingly be operated via voice control.
  • the commands are formed by keywords within the menu, so that it can be seen on the screen which vehicle function can be activated via which command.
  • the command referred to as a neutral short command in the context of this disclosure, which is ambiguous.
  • the neutral shortcut is often made up of just one word, e.g. in German or English.
  • the command "start” can mean starting a navigation system, starting a specific playlist in the media system, activating the seat heating, activating a light or, if necessary, accepting a call or the like. If different vehicle functions are available, such a neutral short command cannot be exactly defined due to its ambiguous character, which vehicle function should actually be started via the voice command. If there are different vehicle functions that can be activated via the neutral shortcut, these can be processed sequentially one after the other. However, this is not particularly convenient for a user and, in case of doubt, can result in the actually desired command being processed with a delay and vehicle functions possibly being started which the person using the vehicle actually should not have started.
  • the object of the present invention is therefore to specify an improved method as defined in the preamble of claim 1, which enables efficient and targeted processing of voice commands for controlling vehicle functions even when using neutral shortcuts.
  • a control device for solving the problem is specified in claim 11.
  • the method according to the invention for processing voice inputs, via which vehicle functions are controlled in a vehicle includes voice recognition and graphics assigned to the vehicle functions, which are displayed on a screen of the vehicle.
  • Various vehicle functions which are currently available for an upcoming activation by voice can therefore be displayed simultaneously on one screen, for example in the form of tiles arranged next to one another or other entries.
  • one of the graphics is prioritized and marked in a distinguishable manner on the screen.
  • This displayed identification shows a user which function will react directly to an issued neutral shortcut, such as the word "start” or “starte”, preferably without naming a keyword, with the other vehicle functions symbolized by the other graphics displayed at the same time
  • a neutral short command which in principle would also be suitable for activating these vehicle functions, do not react directly.
  • the neutral short command can therefore not be clearly related to a vehicle function or a category comprising a vehicle function, ie the short command cannot be used to determine which vehicle function it refers to.
  • the short command which preferably consists of one word, is to be understood here in such a way that the command does not include any references to a desired function, for example by keywords describing the function or creating a reference, but can be used universally for various applications.
  • the distinguishable identification of that displayed graphic of the several graphics displayed at the same time which is assigned to the vehicle function, which reacts directly to the neutral short command following the display of the graphics, thus makes it possible for a person using the vehicle to recognize by a quick glance at the screen, which of the vehicle functions can currently be controlled directly by the neutral shortcut.
  • the identification of each graphic displayed on a display area that is associated with the function that responds to a short command is always designed the same, remains the same, or is at least of equal value.
  • the vehicle function reacting to the neutral short command is selected from predefined functions suitable for selection with a neutral command is determined, with one function of the specified functions being dynamically prioritized with regard to the reaction to the neutral short command.
  • predefined functions can be created for the vehicle, for example in the form of a list, for example based on the empirical experience of the software developer.
  • the vehicle functions that are suitable with a shortcut are the applications that can be represented by the graphics, the function of which can be activated by a shortcut, ie preferably by a single word.
  • the prioritization of one of the specified functions means that this, ie currently only this, can be activated with a neutral short command or reacts to the neutral short command.
  • the dynamic prioritization makes it possible to determine the function that reacts to the neutral short command depending on the situation, depending on boundary conditions or sensor data read in from the vehicle.
  • the prioritized function or the graphic assigned to the function is marked.
  • the identification preferably looks the same for all prioritized functions or has an equivalent appearance, so that a user immediately recognizes the function that can be operated with a neutral voice command.
  • the sensor data read in includes, for example, information about the driving condition of the vehicle, about the driver and his or her condition, or about environmental conditions, which are either determined in the vehicle itself or made available via a server via telematics. For example, a state change of voice-operated functions such as an incoming telephone call causes the priority to be dynamically shifted to the state-changing function. Other examples of status changes would be pop-up messages from an information system, warning messages, traffic reports or reaching a geographic position to which a voice input can be used.
  • the prioritized vehicle function that reacts to the neutral short command can be determined using a model trained with historical data on the basis of its relevance for a person using the vehicle. For example, a person who uses the vehicle frequently and who has called up certain vehicle functions again and again in certain situations can be taken into account accordingly, so that in a similar situation the vehicle function called up particularly frequently in such a situation has the highest priority and accordingly to the marked function to make which responded immediately to the neutral shortcut.
  • models trained with historical data can be based on methods of adaptive learning or, in particular, the use of artificial intelligence or neural networks.
  • the person-dependent prioritized functions are saved in a personalized way.
  • the vehicle function that reacts to the neutral short command can be additionally determined depending on the vehicle context, for example the time of day, the season, the ambient temperature, the ambient brightness, the driving situation, a specific environmental situation detected by the vehicle's surroundings sensors or a change in status a voice-operated function such as a telephone, an information system.
  • a person who creates it determines and stores in a control unit which functions are prioritized depending on the vehicle context based on experience or expectations, for example activating the seat heating shortly after starting the vehicle in cold ambient temperatures.
  • a further additional or alternative possibility of determining the vehicle function which reacts to the neutral short command is to determine this depending on the person using the vehicle. For example, a profile for the relevant person who is recognized, for example, by an individually assigned vehicle key, a mobile terminal device assigned to them, such as a smartphone or the like, can be called up. If this person is using the vehicle, in particular the person driving the vehicle, then, for example, the vehicle functions that can be called up directly via the neutral short command can be prioritized based on a priority stored in the profile of this person or on the wishes they have individually set and saved.
  • a voice input with a clear command which therefore includes the direct or indirect naming of one of the vehicle functions that does not react to the neutral short command, especially regardless of what is displayed on the screen.
  • the vehicle function for starting the seat heating is the one on the screen that would react to the neutral short command in the current situation
  • another vehicle function can be activated at any time with a clear command, such as “Navigate home”. In this case, this will be done accordingly started navigating.
  • the unambiguous command includes a keyword that can be clearly assigned to a vehicle function.
  • the naming of the unique command preferably activates the function independently of the display on the screen, ie even if no graphic associated with the navigation is displayed on the screen.
  • one of the graphics is distinguished by an operator action by a person using the vehicle, so that the vehicle function assigned to this graphic is then defined as the vehicle function that reacts to the neutral short command.
  • a person using the vehicle can therefore override the presetting of the vehicle function that responds to the shortcut, which was made according to the methods described above, for example by looking or pointing at the graphic or at an element clearly assigned to the vehicle function or by touching the corresponding graphic
  • This function is selected on a touch-sensitive screen in order to react to the neutral shortcut. This means that the suggestion made by the vehicle's control units can be overridden so that changes can be made easily and efficiently.
  • a very advantageous embodiment provides that the graphic assigned to the vehicle function that reacts to the neutral short command is displayed on the screen by means of a graphic highlighting and/or centering in the horizontal and/or vertical direction on the screen.
  • the graphic is thus highlighted accordingly.
  • a marker symbol can be in the form of a dot or circle, but it can also be implemented by various other graphical possibilities.
  • the highlighted graphic can be changed in terms of its color and size, it can be backlit accordingly, it can flash or move to make it clear that this graphic or the vehicle function assigned to this graphic is the one that overrides the neutral shortcut can be selected immediately.
  • the highlighting can also be implemented by centering, for example, in the horizontal and/or vertical direction on the screen.
  • the graphic is thus displayed, for example, as the central graphic on the screen, the other graphics, which symbolize further vehicle functions, migrate to the area of the right and left or upper and lower edges.
  • the distinguishing identifier changes from one graphic to another graphic as soon as the vehicle function assigned to the other graphic becomes the one that can be addressed via the neutral short command. If there is a change in the assignment, then the identification can change from one graphic, preferably in an animated representation, to the other graphic.
  • the trigger for a change can be, for example, a change in prioritization due to a changed situation.
  • a corresponding static display of various vehicle functions can take place. For example, starting the seat heating can be selected as the vehicle function, which can be addressed via the neutral shortcut, and the appropriate graphic can be marked accordingly.
  • the animated representation includes, for example, a continuous transition of an identifier from a graphic to a graphic of another vehicle function.
  • information about a request for voice input from a user relating to a function displayed on a screen using the graphic is transmitted to a voice dialog system together with the priority assigned to the vehicle function and, if the voice dialog system confirms the priority, that of the vehicle function graphic is flagged as responsive to the neutral shortcut.
  • the request for a voice input to be made by a user is a graphic on the display area associated with the function, which can be controlled by means of a voice input from a user and preferably prompts a voice input.
  • Information about this preferably forthcoming request is transmitted together with prioritization information to the voice dialog system, which is thus activated for an evaluation of a forthcoming voice input.
  • the priority or prioritization determines that a neutral short command effects a control of the vehicle function sending the information to the speech dialog system, the further functions displayed simultaneously by graphics on the display area cannot be controlled with the short command. If the speech dialog system confirms the priority, the function requiring speech input is marked so that the user can easily see which function reacts to his shortcut.
  • the function that responds to a neutral short command does not take place until the speech dialog system confirms the priority and identification takes place. In this way, the voice dialog can give preference to other dialogs, and it is also avoided that, for example, the identification takes place before the voice dialog system is ready to receive inputs.
  • the operating device according to the invention is now used to control vehicle functions and includes at least one microphone and one screen. It is set up to carry out the method in one of the described embodiment variants and thus makes the device-side hardware available for carrying out the method in one of the configurations according to the invention. Further advantageous refinements of the method according to the invention and of the operating device also result from the exemplary embodiment, which is described in more detail below with reference to the figures.
  • Fig. 2 shows a system structure according to the invention
  • the basic structure includes a first system A, designed as a function control unit, for example, for controlling the corresponding vehicle functions I, II, III, and a system B, which is designed as a control unit designed as a speech dialog system.
  • the control units are hardware devices with a processor, preferably designed as an integrated circuit, which performs arithmetic operations using data and/or programs stored, for example, in a ROM (Read Only Memory), RAM (Random Access Memory) and/or FlashROM memory performs.
  • System A now requests a voice dialog from system B for a function displayed on a display surface such as a screen by means of a graphic, ie system A prepares system B to receive a voice input.
  • the system B starts this dialog by being ready to receive and recognizes an incoming voice command from a person using a vehicle not shown here.
  • the system B Upon receipt of the voice command after the request to establish readiness to receive according to the arrow labeled 2, the system B returns information associated with the received voice command to the system A according to the arrow 3.
  • the system A can then start the vehicle function I, II, III assigned to the corresponding voice command.
  • the problem here is that the person using the operating device 1 does not know which vehicle function they are addressing when using a neutral short command such as “start”. Rather, it must give a clear command in order to address a specific function or must accept that all vehicle functions I, II, III that respond to the neutral short command are processed one after the other. In practice, this is not very convenient.
  • FIG. 1 An optional further development of the operating device 1 can now be seen in FIG.
  • a selected function is correspondingly prioritized, which is indicated schematically here by a marking 4 of a graphic associated with a vehicle function displayed on the display surface.
  • the system B checks the prioritization request and either confirms it or does not confirm it.
  • the system B then returns a synchronization of the overall priority, indicated by the arrow 6, in addition to the pure information about the recorded voice command, so that the identification 4 of the prioritized vehicle function I, II, III appears on the display surface as on if the prioritization matches a neutral shortcut is responsive.
  • the person using the vehicle can therefore very easily interact with the operating device 1 with a neutral short command 8, so that very simple and convenient operation is possible.
  • system B does not confirm the prioritization received from system A, the corresponding function is not identified. System B can thus decide whether the voice command is effective for the function associated with the request originating from system A or for another function that is preferably not displayed on the screen.
  • a user can activate one of the vehicle functions I, II, III displayed on a screen and represented by a graphic or button with a short command, even without the above-described request to the speech dialog system, provided that marked as responding to a shortcut.
  • This variant can be implemented, for example, if the speech recognition system is preferably permanently ready to receive, ie is activated even without a keyword.
  • the operating device 1 comprises a screen 7 shown in FIG. 3.
  • vehicle functions I, II, III are now visualized on its display surface in the form of graphics or buttons assigned to these vehicle functions I, II, III.
  • the person using the operating device 1 wants to address another vehicle function such as vehicle function II or III, they can do so at any time by either using a clear command such as "Start vehicle function II” or by using a visual or Pointing gesture moves the marking 4 from its previous position in the vehicle function I to a position in another vehicle function II, III in order to make this vehicle function II, III the vehicle function that can be directly executed by the shortcut 8.
  • a clear command such as "Start vehicle function II”
  • a visual or Pointing gesture moves the marking 4 from its previous position in the vehicle function I to a position in another vehicle function II, III in order to make this vehicle function II, III the vehicle function that can be directly executed by the shortcut 8.
  • the result is an operating device 1 which allows easy and efficient operation, even with neutral shortcuts 8 , and therefore very quickly and intuitively.
  • vehicle function I is about starting the seat heating
  • vehicle function II is about accepting or rejecting an incoming call.
  • system A ie vehicle function II
  • system B ie voice control
  • the confirmation of the prioritization causes an identification 4 to be generated for the button representing the vehicle function II.
  • the neutral shortcut 8 that follows the generation of the identifier which could also be referred to as an implicit command, now, as shown by the identifier 4, prioritizes the vehicle function II, so that, for example, the incoming call is accepted with the voice command “start”. becomes.
  • Case b) would now be exactly the other way around.
  • system A prioritizes vehicle function I, i.e. switching on the seat heating, and system B confirms this priority. Accordingly, the marking 4 is arranged in the area of the vehicle function I. In this case, the seat heating is switched on via the neutral short command “start”.
  • Case c) is now based on this case b).
  • system A prioritizes vehicle function I, for example seat heating.
  • system B i.e. voice control
  • system B does not confirm this priority here, but rather prioritizes its own dialogue.
  • the neutral short command activates, for example, another vehicle function determined by system B and/or here is an explicit voice command, i.e. a clear one Command, which explicitly names the desired function displayed on the display area by means of the graphic, is necessary.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Verarbeitung von Spracheingaben, über welche in einem Fahrzeug Fahrzeugfunktion (I, II, III) gesteuert werden, mit einer Spracherkennung, und mit den Fahrzeugfunktionen (I, II, III) zugeordneten Grafiken, welche auf einem Bildschirm (7) des Fahrzeugs angezeigt werden. Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass mittels einem nicht eindeutig auf eine Fahrzeugfunktion beziehbaren sprachlichen neutralen Kurzbefehl Fahrzeugfunktionen steuerbar sind, indem diejenige angezeigte Grafik der auf den neutralen Kurzbefehl (8) direkt reagierenden Fahrzeugfunktion (I, II, III) gegenüber den gleichzeitig angezeigten Grafiken der anderen Fahrzeugfunktionen (I, II, III) unterscheidbar gekennzeichnet wird.

Description

Verfahren zur Verarbeitung von Spracheingaben und Bedieneinrichtung zur Steuerung von Fahrzeugfunktionen
Die Erfindung betrifft ein Verfahren zur Verarbeitung von Spracheingaben, über welche in einem Fahrzeug Fahrzeugfunktionen gesteuert werden, nach der im Oberbegriff von Anspruch 1 näher definierten Art. Außerdem betrifft die Erfindung eine Bedieneinrichtung zur Steuerung von Fahrzeugfunktionen mit wenigstens einem Mikrofon und einem Bildschirm.
Ein Bediensystem für ein Fahrzeug ist grundlegend aus der DE 103 60 655 A1 bekannt. Das dort beschriebene Bediensystem umfasst eine Anzeige zur Darstellung von Einträgen in einer Menüstruktur. Die Einträge in der Menüstruktur können über eine Sprachsteuerung aktiviert werden, wobei mindestens ein Eintrag aus der Menüstruktur gleichzeitig ein Schlüsselwort für die Sprachsteuerung ausbildet.
Zunehmend lassen sich Fahrzeugfunktionen in einem Fahrzeug über eine Sprachsteuerung bedienen. Im Falle der genannten Offenlegungsschrift ist es nun so, dass die Befehle durch Schlagworte innerhalb des Menüs gebildet werden, sodass auf dem Bildschirm quasi erkannt werden kann, über weichen Befehl welche Fahrzeugfunktion aktiviert werden kann.
Daneben ist es aus dem Bereich der Sprachsteuerung grundsätzlich bekannt, verschiedene Fahrzeugfunktionen über die Sprache zu steuern. Dabei muss man im Wesentlichen zwischen zwei unterschiedlichen Befehlsarten unterscheiden. Das eine der im Rahmen dieser Offenbarung als eindeutiger Befehl bezeichnete Befehl, welcher durch die Struktur des Befehls erkennen lässt, welche Funktion angesteuert werden soll. So wird beispielsweise durch die Befehlsworte „Navigiere zu“ eindeutig eine Fahrzeugfunktion im Bereich des Navigationssystems angesprochen, beispielsweise eine Adresseingabe mit anschließender Navigation zu dieser Adresse. Bei einem eingehenden Telefonanruf wäre ein eindeutiger Befehl beispielsweise „Anruf annehmen“ oder „Anruf ablehnen“. Der Befehl selbst lässt sich also eindeutig einer bestimmten Fahrzeugfunktion zuordnen.
Daneben gibt es den im Rahmen dieser Offenbarung als neutralen Kurzbefehl bezeichneten Befehl, welcher mehrdeutig ist. Der neutrale Kurzbefehl wird dabei häufig nur durch ein Wort gebildet, z.B. in der deutschen oder auch der englischen Sprache. So kann beispielsweise über den Befehl „starten“ sowohl das Starten eines Navigationssystems, das Starten einer bestimmten Wiedergabeliste im Mediensystem, das Aktivieren der Sitzheizung, das Aktivieren einer Beleuchtung oder gegebenenfalls auch das Annehmen eines Anrufs oder dergleichen gemeint sein. Stehen verschiedene Fahrzeugfunktionen zur Verfügung, kann über einen solchen neutralen Kurzbefehl aufgrund seines mehrdeutigen Charakters also nicht exakt definiert werden, welche Fahrzeugfunktion über den Sprachbefehl tatsächlich gestartet werden soll. Liegen verschiedene Fahrzeugfunktionen vor, welche über den neutralen Kurzbefehl aktiviert werden können, können diese beispielsweise sequentiell nacheinander abgearbeitet werden. Für einen Nutzer ist dies jedoch weder sonderlich komfortabel und kann im Zweifel dazu führen, dass der tatsächlich gewünschte Befehl verzögert abgearbeitet wird und das gegebenenfalls Fahrzeugfunktionen gestartet werden, welche nach Wunsch der das Fahrzeug nutzenden Person eigentlich nicht hätten gestartet werden sollen.
Die Aufgabe der hier vorliegenden Erfindung besteht deshalb darin, ein verbessertes Verfahren im Sinne des Oberbegriffs des Anspruchs 1 anzugeben, welches eine effiziente und zielgerichtete Abarbeitung von Sprachbefehlen zur Steuerung von Fahrzeugfunktionen auch bei der Verwendung neutraler Kurzbefehle ermöglicht. Außerdem ist es die Aufgabe der hier vorliegenden Erfindung, eine zur Durchführung dieses Verfahrens geeignete Bedieneinrichtung anzugeben.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1 , und hier insbesondere im kennzeichnenden Teil des Anspruchs 1 , gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich dabei aus den hiervon abhängigen Unteransprüchen. Eine Bedieneinrichtung zur Lösung der Aufgabe ist im Anspruch 11 angegeben. Das erfindungsgemäße Verfahren zur Verarbeitung von Spracheingaben, über welche in einem Fahrzeug Fahrzeugfunktionen gesteuert werden, umfasst dabei eine Spracherkennung und den Fahrzeugfunktionen zugeordnete Grafiken, welche auf einem Bildschirm des Fahrzeugs angezeigt wird. Verschiedene Fahrzeugfunktionen, welche zum aktuellen Zeitpunkt für eine bevorstehende Aktivierung per Sprache zur Verfügung stehen, können also auf einem Bildschirm gleichzeitig angezeigt werden, beispielsweise in der Art von nebeneinander angeordneten Kacheln oder anderweitigen Einträgen. Erfindungsgemäß ist es nun so, dass auf dem Bildschirm eine der Grafiken priorisiert und unterscheidbar gekennzeichnet wird. Diese dargestellte Kennzeichnung zeigt einem Nutzer dann an, welche Funktion auf einen ausgegebenen neutralen Kurzbefehl, wie beispielsweise das Wort „starten“ oder „starte“ direkt vorzugsweise ohne Nennung eines Schlüsselwortes reagieren wird, wobei die anderen durch die weiteren gleichzeitig angezeigten Grafiken symbolisierten Fahrzeugfunktionen auf einen solchen neutralen Kurzbefehl, welcher im Prinzip auch für diese Fahrzeugfunktionen zum Aktivieren geeignet wäre, eben nicht direkt reagieren. Der neutrale Kurzbefehl ist damit nicht eindeutig auf eine Fahrzeugfunktion oder eine Fahrzeugfunktion umfassende Kategorie beziehbar, d.h. anhand des Kurzbefehls kann nicht ermittelt werden, auf welche Fahrzeugfunktion sich dieser bezieht. Der vorzugsweise aus einem Wort bestehende Kurzbefehl ist damit vorliegend so zu verstehen, dass der Befehl keine Hinweise auf eine gewünschte Funktion, beispielsweise durch eine die Funktion beschreibende oder einen Bezug herstellende Schlüsselworte umfasst, sondern für verschiedene Anwendungen universal verwendbar ist. Die unterscheidbare Kennzeichnung derjenigen angezeigten Grafik der mehreren gleichzeitig angezeigten Grafiken, welcher der Fahrzeugfunktion zugeordnet ist, welche auf den der Anzeige der Grafiken nachfolgenden neutralen Kurzbefehl direkt reagiert, ermöglicht es also, einer das Fahrzeug nutzenden Person über einen schnellen Blick auf den Bildschirm zu erkennen, welche der Fahrzeugfunktionen aktuell durch den neutralen Kurzbefehl unmittelbar angesteuert werden kann. Vorzugsweise ist die Kennzeichnung jeder der auf einen Kurzbefehl reagierenden Funktion zugeordnete, auf einer Anzeigefläche dargestellten Grafik immer gleich, gleichbleibend oder zumindest gleichwertig gestaltet.
In einer sehr vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens ist es dabei vorgesehen, dass die auf den neutralen Kurzbefehl reagierende Fahrzeugfunktion aus vorgegebenen, für die Auswahl mit einem neutralen Befehl geeigneten Funktionen bestimmt wird, wobei jeweils eine Funktion der vorgegebenen Funktionen hinsichtlich Reaktion auf den neutralen Kurzbefehl dynamisch priorisiert wird. Solche vorgegebenen Funktionen können beispielsweise anhand der empirischen Erfahrung der Softwareentwickler für das Fahrzeug beispielsweise in Form einer Liste erstellt werden. Die mit einem Kurzbefehl geeigneten Fahrzeugfunktionen sind die durch die Grafiken repräsentierbare Anwendungen, deren Funktion durch einen Kurzbefehl, d.h. vorzugsweise durch ein einzelnes Wort aktiviert werden können. Die Priorisierung einer der vorgegeben Funktion bewirkt, dass diese, d.h. aktuell nur diese mit einem neutralen Kurzbefehl aktivierbar ist bzw. auf den neutralen Kurzbefehl reagiert. Die dynamische Priorisierung ermöglicht in Abhängigkeit von Randbedingungen oder eingelesenen Sensordaten des Fahrzeugs die auf den neutralen Kurzbefehl reagierende Funktion situationsabhängig zu bestimmen. Die priorisierte Funktion bzw. die der Funktion zugeordnete Grafik wird mit einer Kennzeichnung versehen. Die Kennzeichnung sieht vorzugsweise bei allen priorisierten Funktionen gleich oder im Erscheinungsbild gleichwertig aus, so dass ein Nutzer sofort die mit einem neutralen Sprachbefehl bedienbare Funktion erkennt. Die eingelesenen Sensordaten umfassen beispielsweise Informationen zum Fahrzustand des Fahrzeugs, zum Fahrer und dessen Zustand oder zu Umgebungsbedingungen, die entweder im Fahrzeug selbst ermittelt oder über einen Server über Telematik zu Verfügung gestellt werden. Beispielsweise eine Zustandsänderung von sprachbedienbaren Funktionen wie ein Eingang eines Telefonanrufs bewirkt, dass die Priorität auf die den Zustand sich ändernde Funktion dynamisch verschoben wird. Als weitere Beispiele für Zustandsänderungen wären aufscheinende Pop-Up Meldungen eines Informationssystems, Warnmeldungen, Verkehrsmeldungen oder erreichen einer geografischen Position zu nennen, auf die mit einer Spracheingabe reagiert werden kann.
Ergänzend oder insbesondere alternativ kann die auf den neutralen Kurzbefehl reagierende priorisierte Fahrzeugfunktion mittels eines mit historischen Daten trainierten Modells anhand ihrer Relevanz für eine das Fahrzeug nutzende Person bestimmt werden. Dabei kann beispielsweise eine das Fahrzeug häufig nutzende Person, welche zu bestimmten Situationen immer wieder bestimmte Fahrzeugfunktionen aufgerufen hat, entsprechend berücksichtigt werden, um in einer ähnlichen Situation, die in einer solchen Situation besonders häufig aufgerufene Fahrzeugfunktion mit der höchsten Priorität zu versehen und dementsprechend zu der gekennzeichneten Funktion zu machen, welche auf den neutralen Kurzbefehl unmittelbar reagiert. Solche mit historischen Daten trainierten Modelle können dabei auf Methoden des adaptiven Lernens oder insbesondere auch die Nutzung von künstlicher Intelligenz bzw. neuronalen Netzen basieren. Die personenabhängig priorisierten Funktionen werden dabei personalisiert gespeichert.
Wie bereits erwähnt lässt sich die auf den neutralen Kurzbefehl reagierende Fahrzeugfunktion dabei insbesondere ergänzend in Abhängigkeit des Fahrzeugkontexts bestimmen, also beispielsweise der Tageszeit, der Jahreszeit, der Umgebungstemperatur, der Umgebungshelligkeit, der Fahrsituation, einer über die Umfeldsensorik des Fahrzeugs erfassten konkreten Umgebungssituation oder eine Zustandsänderung einer sprachbedienbaren Funktion wie ein Telefon, ein Informationssystem.
Eine erstellende Person bestimmt und hinterlegt in einem Steuergerät, welche Funktion in Abhängigkeit des Fahrzeugkontextes anhand Erfahrung oder Erwartung priorisiert werden, beispielsweise kurz nach dem Starten des Fahrzeugs bei kalten Umgebungstemperaturen das Aktivieren der Sitzheizung.
Eine weitere zusätzliche oder alternative Möglichkeit, die auf den neutralen Kurzbefehl reagierende Fahrzeugfunktion zu bestimmen, vorzugsweise diese aus einer Auswahl von Funktionen als solche zu priorisieren, ist, diese in Abhängigkeit der das Fahrzeug nutzenden Person zu bestimmen. So kann beispielsweise in ein Profil für die entsprechende Person, welche beispielsweise durch einen individuell zugeordneten Fahrzeugschlüssel, ein ihr zugeordnetes mobiles Endgerät, wie beispielsweise ein Smartphone oder dergleichen, erkannt wird, aufgerufen werden. Ist diese Person die das Fahrzeug nutzende, insbesondere die das Fahrzeug steuernde Person, dann kann beispielsweise eine Priorisierung der über den neutralen Kurzbefehl direkt aufrufbaren Fahrzeugfunktionen anhand einer in dem Profil dieser Person hinterlegten Priorität oder der von ihr individuell eingestellten und gespeicherten Wünsche vorgenommen werden.
Darüber hinaus ist es so, dass gemäß einer außerordentlich günstigen Weiterbildung des erfindungsgemäßen Verfahrens für den Fall, dass mittels einer Spracheingabe mit einem eindeutigen Befehl, welcher also die direkte oder mittelbare Nennung einer der Fahrzeugfunktion umfasst, die nicht auf den neutralen Kurzbefehl reagieren, insbesondere unabhängig von der Anzeige auf dem Bildschirm, aktiviert werden. Ist also beispielsweise auf dem Bildschirm die Fahrzeugfunktion zum Starten der Sitzheizung in der aktuellen Situation diejenige, die auf den neutralen Kurzbefehl reagieren würde, dann kann mit einem eindeutigen Befehl jederzeit wie z.B. „Navigiere nach Hause“ eine andere Fahrzeugfunktion aktiviert werden In diesem Fall wird dementsprechend die Navigation gestartet. Der eindeutige Befehl umfasst dabei ein Schlüsselwort, das eindeutig eine Fahrzeugfunktion zuordenbar ist. Die Nennung des eindeutigen Befehls aktiviert bevorzugt die Funktion unabhängig von der Anzeige auf dem Bildschirm, d.h. auch wenn kein der Navigation zugehörige Grafik auf dem Bildschirm angezeigt wird.
Gemäß einer weiteren sehr günstigen zusätzlichen Ausgestaltung kann es auch vorgesehen sein, dass eine der Grafiken durch eine Bedienhandlung einer das Fahrzeug nutzenden Person unterscheidbar gekennzeichnet wird, sodass die dieser Grafik zugeordnete Fahrzeugfunktion dann als die auf den neutralen Kurzbefehl reagierende Fahrzeugfunktion festgelegt wird. Ein das Fahrzeug nutzende Person kann also die entsprechend der oben beschriebenen Methoden vorgenommene Voreinstellung der auf den Kurzbefehl reagierenden Fahrzeugfunktion überstimmen, indem beispielsweise über eine Blick- oder Zeigegeste auf die Grafik oder auf ein eindeutig der Fahrzeugfunktion zugeordneten Elements oder auch durch eine Berührung der entsprechenden Grafik auf einem berührungssensitiven Bildschirm eben diese Funktion ausgewählt wird, um auf den neutralen Kurzbefehl zu reagieren. Hierdurch lässt sich der von den Steuergeräten des Fahrzeugs gemachte Vorschlag also überstimmen, um so einfach und effizient Änderungen vornehmen zu können. Solche Änderungen können in der oben beschriebenen Ausgestaltungsvariante, bei welcher die historischen Erfahrungen des Systems berücksichtigt werden, dann wieder genutzt werden, um für ähnliche Situationen zu lernen, dass die durch die Bedienhandlung ausgewählte Fahrzeugfunktion auch in Zukunft in vergleichbaren Situationen automatisch vorgegeben oder in einer Prioritätenliste entsprechend höher priorisiert wird.
Eine sehr vorteilhafte Ausgestaltung sieht es dabei vor, dass diejenige Grafik, welche der auf den neutralen Kurzbefehl reagierenden Fahrzeugfunktion zugeordnet ist, auf dem Bildschirm mittels einer grafischen Hervorhebung und/oder einer Zentrierung in horizontaler und/oder vertikaler Richtung auf dem Bildschirm angezeigt wird. Die Grafik wird also entsprechend hervorgehoben. Dies kann durch eine einfache Markierung wie beispielsweise ein Markierungssymbol in Form eines Punktes oder Kreises erfolgen, es kann jedoch auch durch verschiedene andere grafische Möglichkeiten umgesetzt werden. So kann die hervorgehobene Grafik beispielsweise bezüglich ihrer Farbe, ihrer Größe verändert werden, sie kann entsprechend hinterleuchtet werden, sie kann blinken oder sich bewegen, um erkennbar zu machen, dass diese Grafik bzw. die dieser Grafik zugeordnete Fahrzeugfunktion diejenige ist, welche über den neutralen Kurzbefehl unmittelbar ausgewählt werden kann. Alternativ oder insbesondere auch ergänzend zu einer solchen grafischen Hervorhebung lässt sich die Hervorhebung auch dadurch realisieren, dass eine Zentrierung beispielsweise in horizontaler und/oder vertikaler Richtung auf dem Bildschirm erfolgt. Die Grafik wird also beispielsweise als die zentrale Grafik auf dem Bildschirm angezeigt, die anderen Grafiken, welche weitere Fahrzeugfunktionen symbolisieren, wandern in den Bereich des rechten und linken bzw. oberen und unteren Rands.
Gemäß einer sehr vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens kann es nun ferner vorgesehen sein, dass die unterscheidende Kennzeichnung von der einen Grafik zu einer anderen Grafik wechselt, sobald die der anderen Grafik zugeordnete Fahrzeugfunktion diejenige wird, die über den neutralen Kurzbefehl ansprechbar ist. Kommt es also in der Zuordnung zu einem Wechsel, dann kann die Kennzeichnung von der einen Grafik, vorzugsweise in einer animierten Darstellung, zu der anderen Grafik wechseln. Der Auslöser für den Wechsel eine Veränderung kann beispielsweise durch eine Veränderung einer Priorisierung aufgrund einer veränderten Situation sein. So kann beispielsweise statisch eine entsprechende Anzeige verschiedener Fahrzeugfunktionen erfolgen. Dabei kann beispielsweise das Starten der Sitzheizung als die Fahrzeugfunktion, welche über den neutralen Kurzbefehl angesprochen werden kann, ausgewählt und die passende Grafik entsprechend optisch markiert sein. Kommt es nun zu einem Wechsel der Situation, weil beispielsweise ein Anruf eingeht, dann genießt typischerweise dieser eingehende Anruf eine in der aktuellen Situation höhere Priorisierung, sodass die Grafik für den eingehenden Anruf entsprechend hervorgehoben wird, um über den neutralen Kurzbefehl, beispielsweise „Starten“, den Anruf einfach und effizient annehmen zu können. Vergleichbares kann für andere Situationen gelten, beispielsweise wenn vom Navigationsgerät ein Stau erkannt worden ist und ein geänderter Routenvorschlag erstellt worden ist, welcher der das Fahrzeug nutzenden Person angeboten wird, und in dieser Situation zu derjenigen Fahrzeugfunktion wird, welche über den neutralen Kurzbefehl einfach und effizient gestartet können werden soll. Die anmimierte Darstellung umfasst beispielsweise ein kontinuierliche Übergleiten einer Kennzeichnung von einer Grafik einer auf eine Grafik einer anderen Fahrzeugfunktion.
In einer vorteilhaften Ausgestaltung des Verfahrens wird eine Information zu einer Anforderung einer Spracheingabe von einem Nutzer betreffend einer mittels der Grafik auf einem Bildschirm dargestellten Funktion zusammen mit der der Fahrzeugfunktion zugeordneten Priorität an ein Sprachdialogsystem übermittelt und sofern das Sprachdialogsystem die Priorität bestätigt, die der Fahrzeugfunktion zugehörige Grafik als auf den neutralen Kurzbefehl reagierend gekennzeichnet wird. Die Anforderung einer von einem Nutzer zu tätigenden Spracheingabe ist eine der Funktion zugehörige Grafik auf der Anzeigefläche, die mittels einer Spracheingabe eines Nutzers steuerbar ist und vorzugsweise zu einer Spracheingabe auffordert. Eine Information über diese bevorzugt bevorstehende Anforderung wird zusammen mit einer Priorisierungsinformation an das Sprachdialogsystem übermittelt, das somit für eine Auswertung einer bevorstehenden Spracheingabe aktiviert wird. Die Priorität bzw. Priorisierung bestimmt, dass ein neutraler Kurzbefehl eine Steuerung der die Information an das Sprachdialogsystem sendende Fahrzeugfunktion bewirkt, die gleichzeitig durch Grafiken auf der Anzeigefläche angezeigten weiteren Funktionen sind nicht mit dem Kurzbefehl steuerbar. Sofern das Sprachdialogsystem die Priorität bestätigt, wird die Spracheingabe anfordernde Funktion gekennzeichnet, so dass der Nutzer unschwer erkennen kann, welche Funktion auf seinen Kurzbefehl reagiert. In vorteilhafter Weise erfolgt die auf einen neutralen Kurzbefehl reagierende Funktion erst, wenn das Sprachdialogsystem die Priorität bestätigt und Kennzeichnung erfolgt. Damit kann das Sprachdialog andere Dialoge bevorzugen, weiter ist damit vermieden, dass beispielsweise die Kennzeichnung erfolgt bevor das Sprachdialogsystem zum Empfang von Eingaben bereit ist.
Die erfindungsgemäße Bedieneinrichtung dient nun zur Steuerung von Fahrzeugfunktionen und umfasst wenigstens ein Mikrofon und einen Bildschirm. Sie ist dabei zur Durchführung des Verfahrens in einer der beschriebenen Ausführungsvarianten eingerichtet und stellt somit die vorrichtungsseitige Hardware zur Durchführung des Verfahrens in einer der Ausgestaltungen gemäß der Erfindung zur Verfügung. Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sowie der Bedieneinrichtung ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figuren näher beschrieben ist.
Dabei zeigen:
Fig. 1 ein Systemaufbau gemäß dem Stand der Technik;
Fig. 2 ein Systemaufbau gemäß der Erfindung;
Fig. 3 eine schematische Darstellung der visuellen Zuordnung von Fahrzeugfunktionen zu einem neutralen Kurzbefehl gemäß der Erfindung; und
Fig. 4 drei verschiedene Fälle eines möglichen Szenarios gemäß der Erfindung
In der Darstellung der Figur 1 ist eine Bedieneinrichtung 1 zu erkennen, welche zur Steuerung von Fahrzeugfunktionen I, II, III (vgl. Figur 3) geeignet ist. Der grundlegende Aufbau umfasst dabei ein beispielsweise als Funktionssteuergerät ausgebildetes erstes System A zur Steuerung der entsprechenden Fahrzeugfunktionen I, II, III und ein System B, welches als Sprachdialogsystem ausgeführtes Steuergerät ausgebildet ist. ist. Die Steuergeräte sind dabei Hardwaregeräte mit einem mit vorzugsweise als integrierte Schaltung ausgeführten Prozessor, der mit Hilfe von beispielsweise in einem ROM- (Read Only Memory), RAM- (Random Access Memory) und/oder FlashROM -Speicher gespeicherten Daten und/oder Programmen Rechenoperationen durchführt.
Das System A fordert nun beim System B einen Sprachdialog für ein auf einer Anzeigefläche wie einem Bildschirm mittels einer Grafik angezeigten Funktion an, d.h. das System A bereitet das System B vor eine Spracheingabe zu empfangen. Das System B startet diesen Dialog durch Empfangsbereitschaft und erkennt einen eingehenden Sprachbefehl einer ein hier nicht dargestelltes Fahrzeug nutzenden Person. Auf den Empfang des Sprachbefehls nach Aufforderung der Herstellung der Empfangsbereitschaft gemäß des mit 2 bezeichneten Pfeils liefert das System B also gemäß dem Pfeil 3 eine dem eingegangenen Sprachbefehl zugehörige Information an das System A zurück. Das System A kann dann die dem entsprechenden Sprachbefehl zugeordnete Fahrzeugfunktion I, II, III starten. Problematisch ist es dabei, dass die die Bedieneirichtung 1 nutzende Person nicht weiß, welche Fahrzeugfunktion sie bei der Verwendung eines neutralen Kurzbefehls wie beispielsweise „starten“ anspricht. Sie muss vielmehr einen eindeutigen Befehl geben, um eine gezielte Funktion anzusprechen oder muss es in Kauf nehmen, dass alle auf den neutralen Kurzbefehl reagierende Fahrzeugfunktionen I, II, III nacheinander abgearbeitet werden. Dies ist in der Praxis wenig komfortabel.
In der Darstellung der Figur 2 ist nun eine optionale Weiterbildung der Bedieneinrichtung 1 zu erkennen, die einen Ablauf zur Kennzeichnung einer auf einen neutralen Kurzbefehl reagierenden Grafik einer Fahrzeugfunktion beschreibt. Hierbei wird von verschiedenen Fahrzeugfunktionen I, II, III, welche durch das System A angesteuert werden können, eine ausgewählte Funktion entsprechend priorisiert, was hier durch eine Kennzeichnung 4 der einer auf der Anzeigefläche angezeigten, einer Fahrzeugfunktion zugehörigen Grafik schematisch angedeutet ist. Zusammen mit der Anforderung des Sprachdialogs gemäß des Pfeils 2, wie auch im Stand der Technik, kann nun außerdem eine Information über die Priorisierung gemäß des mit 5 bezeichneten Pfeils übertragen werden. Das System B überprüft die Priorisierungsanforderung und bestätigt diese oder bestätigt diese nicht. Im Fall einer Bestätigung liefert das System B ergänzend zur reinen Information über den erfassten Sprachbefehl dann, angedeutet durch den Pfeil 6, eine Synchronisierung der Gesamtpriorität zurück, sodass auf der Anzeigefläche die Kennzeichnung 4 der priorisierten Fahrzeugfunktion I, II, III bei übereinstimmender Priorisierung als auf einen neutralen Kurzbefehl reagierend erfolgt. Die das Fahrzeug nutzende Person kann also sehr einfach mit einem neutralen Kurzbefehl 8 mit der Bedieneinrichtung 1 interagieren, sodass eine sehr einfache und komfortable Bedienung möglich wird. Bestätigt das System B die vom System A empfangene Priorisierung nicht erfolgt keine Kennzeichnung der entsprechenden Funktion. Das System B kann damit entscheiden, ob der Sprachbefehl für die der von System A ausgehenden Anforderung zugehörigen Funktion oder einer anderen, vorzugsweise nicht auf dem Bildschirm angezeigten Funktion wirksam ist.
In einer zusätzlichen oder alternativen Weiterbildung kann vorgesehen sein, dass ein Nutzer auch ohne die vorab beschriebene Anforderung an das Sprachdialogsystem eine der auf einem Bildschirm angezeigte durch eine Grafik oder Schaltfläche repräsentierte Fahrzeugfunktionen I, II, III mit einem Kurzbefehl aktivieren kann, sofern diese als auf einen Kurzbefehl reagierend gekennzeichnet ist. Diese Variante kann beispielsweise umgesetzt werden, wenn das Spracherkennungssystem vorzugsweise dauerhaft empfangsbereit ist, d.h. auch ohne ein Schlüsselwort aktiviert ist.
Da eine für die Eingabe eines neutralen Kurzbefehls priorisierte Funktion unterscheidbar von den anderen Funktionen gekennzeichnet ist, weiß dann ein Nutzer, welche der Fahrzeugfunktion I, II, III mit sprachlicher Eingabe des neutralen Kurzbefehls aktivierbar ist.
Die Bedieneinrichtung 1 umfasst dazu einen in Figur 3 dargestellten Bildschirm 7. Auf seiner Anzeigefläche werden nun verschiedene Fahrzeugfunktionen I, II, III in Form von diesen Fahrzeugfunktionen I, II, III zugeordneten Grafiken bzw. Schaltflächen visualisiert. Die gemäß einer aus einer vorgegebenen Auswahl oder anderer eingangs im Detail erläuterter Varianten priorisierte Fahrzeugfunktion, hier die Fahrzeugfunktion I, welche über einen neutralen Kurzbefehl 8 direkt angesteuert werden kann, ist dabei grafisch hervorgehoben. Dies ist in der Darstellung der Figur 3 auf dem Bildschirm 7 durch eine doppelte Umrandung der Fahrzeugfunktion I dargestellt. Die doppelte Umrandung bildet also die Kennzeichnung 4 im oben beschriebenen Sinn. Wird nun, wie es in der Darstellung der Figur 3 rechts durch die Sprechblase dargestellt ist, der neutrale Kurzbefehl 8 ausgesprochen, wie hier das Wort „starten“, dann ist sowohl für das System als auch visualisiert für die die Bedieneinrichtung 1 nutzende Person klar erkennbar, dass durch diesen neutralen Kurzbefehl 8 die unterscheidbar über die Kennzeichnung 4 markierte Fahrzeugfunktion I gestartet wird.
Sollte die die Bedieneinrichtung 1 nutzende Person eine andere Fahrzeugfunktion wie beispielsweise die Fahrzeugfunktion II oder III ansprechen wollen, so kann sie dies jederzeit tun, indem sie entweder einen eindeutigen Befehl verwendet wie beispielsweise „Fahrzeugfunktion II starten“ oder indem sie beispielsweise über eine Blick- oder Zeigegeste die Kennzeichnung 4 von ihrer bisherigen Position bei der Fahrzeugfunktion I in eine Position bei einer anderen Fahrzeugfunktion II, III verschiebt, um eben diese Fahrzeugfunktion II, III zu der durch den Kurzbefehl 8 unmittelbar ausführbaren Fahrzeugfunktion zu machen. Damit entsteht eine Bedieneinrichtung 1 , welche einfach und effizient eine komfortable Bedienung auch mit neutralen Kurzbefehlen 8 und damit sehr schnell und intuitiv ermöglicht.
Anhand der Darstellung in Figur 4 sollen nun drei verschiedene Fälle a), b) und c) dargestellt und erläutert werden. Dabei sind zwei Fahrzeugfunktionen I und II jeweils auf einem Bildschirm dargestellt. Rein beispielhaft soll es ich bei der Fahrzeugfunktion I um das Starten der Sitzheizung handeln, bei der Fahrzeugfunktion II um das Annehmen oder Ablehnen eines eingehenden Anrufs. Im ersten Fall a) ist es nun so, dass das System A gemäß der Darstellung in Figur 2 den Anruf, also die Fahrzeugfunktion II, entsprechend priorisiert, und das System B, also die Sprachbedienung, diese Priorisierung bestätigt.
Die Bestätigung der Priorisierung bewirkt eine Erzeugung einer Kennzeichnung 4 der die Fahrzeugfunktion II repräsentierenden Schaltfläche.
Durch den auf die Erzeugung der Kennzeichnung folgenden neutralen Kurzbefehl 8, welcher auch als impliziter Befehl bezeichnet werden könnte, wird nun also, wie es durch die Kennzeichnung 4 dargestellt ist, die Fahrzeugfunktion II priorisiert, sodass beispielsweise beim Sprachbefehl „starten“ der eingehende Anruf angenommen wird.
Der Fall b) wäre nun genau andersherum gelagert. Das System A priorisiert hier die Fahrzeugfunktion I, also das Einschalten der Sitzheizung, und das System B bestätigt diese Priorität. Dementsprechend ist die Kennzeichnung 4 im Bereich der Fahrzeugfunktion I angeordnet. Über den neutralen Kurzbefehl „starten“ wird in diesem Fall also die Sitzheizung eingeschaltet.
Der Fall c) basiert nun auf diesem Fall b). Auch hier priorisiert das System A die Fahrzeugfunktion I, also beispielsweise die Sitzheizung. Allerdings bestätigt hier das System B, also die Sprachbedienung, diese Priorität nicht, sondern priorisiert den eigenen Dialog. In diesem Fall erfolgt keine Kennzeichnung 4 einer der Fahrzeugfunktionen I, II. In der Folge bedeutet dies, dass hier wie für einen Nutzer ersichtlich über einen neutralen Kurzbefehl 8 bzw. impliziten Sprachbefehl keine der auf der Anzeigefläche dargestellten Fahrzeugfunktionen I, II angesteuert werden kann. Der neutrale Kurzbefehl aktiviert beispielsweise eine andere, vom System B bestimmte Fahrzeugfunktion und/oder hier ist ein expliziter Sprachbefehl, also ein eindeutiger Befehl, welcher die gewünschte, auf der Anzeigefläche mittels der Grafik dargestellten Funktion explizit benennt, notwendig.

Claims

Patentansprüche Verfahren zur Verarbeitung von Spracheingaben, über welche in einem Fahrzeug Fahrzeugfunktion (I, II, III) gesteuert werden, mit einer Spracherkennung, und mit den Fahrzeugfunktionen (I, II, III) zugeordneten Grafiken, welche auf einem Bildschirm (7) des Fahrzeugs angezeigt werden, dadurch gekennzeichnet, dass mittels einem nicht eindeutig auf eine Fahrzeugfunktion beziehbaren sprachlichen neutralen Kurzbefehl Fahrzeugfunktionen steuerbar sind, indem diejenige angezeigte Grafik der auf den neutralen Kurzbefehl (8) direkt reagierenden Fahrzeugfunktion (I, II, III) gegenüber den gleichzeitig angezeigten Grafiken der anderen Fahrzeugfunktionen (I, II, III) priorisiert und unterscheidbar gekennzeichnet wird. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die auf den neutralen Kurzbefehl (8) reagierende Fahrzeugfunktion (I, II, III) aus vorgegebenen, für die Auswahl mit einem neutralen Befehl geeigneten Funktionen bestimmt wird, wobei jeweils eine Funktion der vorgegebenen Funktionen hinsichtlich Reaktion auf den neutralen Kurzbefehl dynamisch priorisiert wird. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die auf den neutralen Kurzbefehl (9) reagierende Fahrzeugfunktion (I, II, III) mittels eines mit historischen Daten trainierten Modells anhand ihrer Priorität für eine das Fahrzeug nutzende Person bestimmt wird. Verfahren nach Anspruch 1 , 2 oder 3, dadurch gekennzeichnet, dass die auf den neutralen Kurzbefehl (8) reagierende Fahrzeugfunktion (I, II, III) in Abhängigkeit des Fahrzeug kontexts bestimmt wird. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die auf den neutralen Kurzbefehl (8) reagierende Fahrzeugfunktion (I, II, III) in Abhängigkeit der das Fahrzeug nutzenden Person bestimmt wird. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass mittels einer Spracheingabe mit einem eindeutigen Befehl, welcher eine Nennung einer der Fahrzeugfunktionen (I, II, III) umfasst, die nicht auf den neutralen Kurzbefehl (8) reagieren, insbesondere unabhängig von der Anzeige auf dem Bildschirm (7), aktiviert werden. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass eine der Grafiken durch eine Bedienhandlung einer das Fahrzeug nutzenden Person unterscheidbar gekennzeichnet wird, sodass die dieser Grafik zugeordnete Fahrzeugfunktion (I, II, III) dann als die auf den neutralen Kurzbefehl (8) reagierende Fahrzeugfunktion (I, II, III) festgelegt wird. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass diejenige Grafik, welche der auf den neutralen Kurzbefehl (8) reagierenden Fahrzeugfunktion (I, II, III) zugeordnet ist, auf dem Bildschirm mittels einer grafischen Hervorhebung (4) und/oder eine Zentrierung in horizontaler und/oder vertikaler Richtung von den anderen Grafiken unterscheidbar auf dem Bildschirm angezeigt wird. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die unterscheidende Kennzeichnung (4) von der einen Grafik, vorzugsweise animiert, zu einer anderen Grafik wechselt, sobald die der anderen Grafik zugeordnete Fahrzeugfunktion (I, II, III) diejenige wird, die über den neutralen Kurzbefehl ansprechbar ist. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass eine Information zu einer Anforderung einer Spracheingabe von einem Nutzer betreffend einer mittels der Grafik auf einem Bildschirm dargestellten Fahrzeugfunktion zusammen mit der der Fahrzeugfunktion zugeordneten Priorität an ein Sprachdialogsystem übermittelt wird und sofern das Sprachdialogsystem die Priorität bestätigt die der Fahrzeugfunktion zugehörige Grafik als auf den neutralen Kurzbefehl reagierend gekennzeichnet wird. Bedieneinrichtung (1) zur Steuerung von Fahrzeugfunktionen (I, II, III) mit wenigstens einem Mikrophon und einem Bildschirm (7), welche zur Durchführung des Verfahrens nach einem der Ansprüchel bis 10 eingerichtet ist.
EP23702291.8A 2022-02-01 2023-01-25 Verfahren zur verarbeitung von spracheingaben und bedieneinrichtung zur steuerung von fahrzeugfunktionen Ceased EP4244847A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022000387.2A DE102022000387A1 (de) 2022-02-01 2022-02-01 Verfahren zur Verarbeitung von Spracheingaben und Bedieneinrichtung zur Steuerung von Fahrzeugfunktionen
PCT/EP2023/051811 WO2023148063A1 (de) 2022-02-01 2023-01-25 Verfahren zur verarbeitung von spracheingaben und bedieneinrichtung zur steuerung von fahrzeugfunktionen

Publications (1)

Publication Number Publication Date
EP4244847A1 true EP4244847A1 (de) 2023-09-20

Family

ID=85122332

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23702291.8A Ceased EP4244847A1 (de) 2022-02-01 2023-01-25 Verfahren zur verarbeitung von spracheingaben und bedieneinrichtung zur steuerung von fahrzeugfunktionen

Country Status (6)

Country Link
US (1) US20250218435A1 (de)
EP (1) EP4244847A1 (de)
KR (1) KR20240130116A (de)
CN (1) CN118648056A (de)
DE (1) DE102022000387A1 (de)
WO (1) WO2023148063A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023003428B4 (de) * 2023-08-21 2025-06-18 Mercedes-Benz Group AG Verfahren zum Betrieb eines fahrzeugintegrierten Sprachassistenten, Sprachassistent und Fahrzeug

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5632002A (en) * 1992-12-28 1997-05-20 Kabushiki Kaisha Toshiba Speech recognition interface system suitable for window systems and speech mail systems

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4107093B2 (ja) * 2003-01-30 2008-06-25 株式会社日立製作所 対話型端末装置及び対話アプリケーション提供方法
DE10360655A1 (de) 2003-12-23 2005-07-21 Daimlerchrysler Ag Bediensystem für ein Fahrzeug
US20060155547A1 (en) 2005-01-07 2006-07-13 Browne Alan L Voice activated lighting of control interfaces
DE102006035780B4 (de) 2006-08-01 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Unterstützung des Bedieners eines Spracheingabesystems
US7899673B2 (en) * 2006-08-09 2011-03-01 Microsoft Corporation Automatic pruning of grammars in a multi-application speech recognition interface
DE102007037567A1 (de) 2007-08-09 2009-02-12 Volkswagen Ag Verfahren zur multimodalen Bedienung mindestens eines Gerätes in einem Kraftfahrzeug
DE102009058151B4 (de) 2009-12-12 2020-08-20 Volkswagen Ag Verfahren zum Betreiben eines Sprachdialogsystems mit semantischer Bewertung und Sprachdialogsystem dazu
DE102010054242B4 (de) 2010-12-11 2025-05-15 Volkswagen Ag Verfahren zum Bereitstellen einer Bedienvorrichtung in einem Fahrzeug und Bedienvorrichtung
US10289260B2 (en) * 2014-08-27 2019-05-14 Honda Motor Co., Ltd. Systems and techniques for application multi-tasking
DE102016218270B4 (de) 2016-09-22 2018-04-26 Audi Ag Verfahren zum Betreiben einer Kraftfahrzeug-Bedienvorrichtung mit Spracherkenner, Bedienvorrichtung und Kraftfahrzeug

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5632002A (en) * 1992-12-28 1997-05-20 Kabushiki Kaisha Toshiba Speech recognition interface system suitable for window systems and speech mail systems

Also Published As

Publication number Publication date
CN118648056A (zh) 2024-09-13
KR20240130116A (ko) 2024-08-28
US20250218435A1 (en) 2025-07-03
DE102022000387A1 (de) 2023-08-03
WO2023148063A1 (de) 2023-08-10

Similar Documents

Publication Publication Date Title
EP1986889B1 (de) Vorrichtung und verfahren zur interaktiven informationsausgabe und/oder hilfestellung für den benutzer eines kraftfahrzeugs
EP1772339B1 (de) Verfahren zur Entlastung des Fahrers eines Kraftfahrzeugs
DE10330274A1 (de) Sprachgesteuertes System
WO2019154615A1 (de) Verfahren zum auswählen eines fahrprofils eines kraftwagens, fahrassistenzsystem und kraftwagen
DE102010038174A1 (de) Emotive Vorrichtung zur Informationsübermittlung in einem Kraftfahrzeug
DE102014013960A1 (de) Verfahren zum Betreiben wenigstens einer Fahrerassistenzeinrichtung eines Kraftwagens und System mit einer Fahrerassistenzeinrichtung
DE102016211646A1 (de) System zur automatisierten Fahrzeugführung mit fahrerseitiger Fahrmanöverauswahl in einer Sonder-Fahrsituation
DE102019217751B4 (de) Verfahren zum Betreiben eines Sprachdialogsystems und Sprachdialogsystem
DE10360656A1 (de) Bediensystem für ein Fahrzeug
DE102015213722A1 (de) Verfahren zum Betreiben eines Spracherkennungssystems in einem Fahrzeug und Spracherkennungssystem
EP2952661B1 (de) Verfahren und anordnung zum berührungslosen öffnen eines zugangs und/oder ausgangs an einem fahrzeug zur personenbeförderung sowie mit dieser anordnung ausgerüstetes fahrzeug zur personenbeförderung
EP1853465A1 (de) Verfahren und vorrichtung zur sprachsteuerung eines gerätes oder eines systems in einem kraftfahrzeug
EP3480815A1 (de) Sprachsteuerung für ein fahrzeug
WO2023152003A1 (de) Fahrerassistenzsystem, fortbewegungsmittel und verfahren zum betrieb eines fahrerassistenzsystems
EP2930603A1 (de) Verfahren und Vorrichtung zum Bereitstellen einer graphischen Benutzerschnittstelle in einem Fahrzeug
EP4244847A1 (de) Verfahren zur verarbeitung von spracheingaben und bedieneinrichtung zur steuerung von fahrzeugfunktionen
WO2014117930A1 (de) Systeminitiierte hilfefunktion für die bedienung von einer, einem fahrzeug zugeordneten vorrichtung - eingabe von leerzeichen
EP3205982B1 (de) Verfahren und navigationssystem zum bereitstellen einer prädikativen navigationsfunktion für ein fahrzeug
DE102009030263A1 (de) Bedienverfahren für ein menübasiertes Bedien- und Informationssystem eines Fahrzeugs
EP3049911B1 (de) Anwenderschnittstelle und verfahren zur unterstützung eines anwenders bei der bedienung einer bedieneinheit
WO2019206630A1 (de) Verfahren und system zur steuerung einer fahrzeugfunktion
DE102017210884B4 (de) Verfahren zum Betrieb eines Kraftfahrzeugs
EP3947004B1 (de) Verfahren zum betreiben einer bedienvorrichtung für ein kraftfahrzeug und bedienvorrichtung für ein kraftfahrzeug
DE102016218270B4 (de) Verfahren zum Betreiben einer Kraftfahrzeug-Bedienvorrichtung mit Spracherkenner, Bedienvorrichtung und Kraftfahrzeug
DE102016205925A1 (de) Verfahren und System zum Steuern einer Anwendungseinheit

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230505

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240424

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20241219