DE102021111176A1 - Communication system and method for controlling a vehicle function - Google Patents

Communication system and method for controlling a vehicle function Download PDF

Info

Publication number
DE102021111176A1
DE102021111176A1 DE102021111176.5A DE102021111176A DE102021111176A1 DE 102021111176 A1 DE102021111176 A1 DE 102021111176A1 DE 102021111176 A DE102021111176 A DE 102021111176A DE 102021111176 A1 DE102021111176 A1 DE 102021111176A1
Authority
DE
Germany
Prior art keywords
vehicle
mobile terminal
audio
microphone
communication system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021111176.5A
Other languages
German (de)
Inventor
Jürgen Lerzer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cariad SE
Original Assignee
Cariad SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cariad SE filed Critical Cariad SE
Priority to DE102021111176.5A priority Critical patent/DE102021111176A1/en
Priority to PCT/EP2022/059382 priority patent/WO2022228861A1/en
Publication of DE102021111176A1 publication Critical patent/DE102021111176A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B60R25/257—Voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724098—Interfacing with an on-board device of a vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2325/00—Indexing scheme relating to vehicle anti-theft devices
    • B60R2325/10—Communication protocols, communication systems of vehicle anti-theft devices
    • B60R2325/106—Internet
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2325/00—Indexing scheme relating to vehicle anti-theft devices
    • B60R2325/20—Communication devices for vehicle anti-theft devices
    • B60R2325/205—Mobile phones

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und ein Kommunikationssystem (10) zur Steuerung einer Fahrzeugfunktion (28, 32). Das Kommunikationssystem (10) umfasst einen Kraftfahrzeug (12) und einen mobiles Endgerät (14), wobei das Kraftfahrzeug (12) eine Fahrzeugcomputervorrichtung (20) mit einem Audio-Framework (24) aufweist, wobei das Audio-Framework (24) dazu ausgebildet ist, der Fahrzeugcomputervorrichtung (20) einen über ein Internetprotokoll empfangenen Audioeingangskanal als Mikrofonkanal zur Sprachsteuerung der Fahrzeugfunktion (28, 32) bereitzustellen und zumindest eine von der Fahrzeugfunktion (28, 32) erzeugte Antwort über das Internetprotokoll als Audioausgangskanal bereitzustellen, wobei das mobile Endgerät (14) zumindest eine Mikrofoneinrichtung (34) und zumindest eine Lautsprechereinrichtung (36) aufweist, wobei das mobile Endgerät (14) dazu ausgebildet ist, Audiodaten von der Mikrofoneinrichtung (34) als Audioeingangskanal über das Internetprotokoll an das Kraftfahrzeug (12) zu versenden und den Audioausgangskanal von dem Kraftfahrzeug (12) über das Internetprotokoll zu empfangen und die Antwort der Fahrzeugfunktion (28, 32) durch die Lautsprechereinrichtung (36) auszugeben.The invention relates to a method and a communication system (10) for controlling a vehicle function (28, 32). The communication system (10) comprises a motor vehicle (12) and a mobile terminal (14), the motor vehicle (12) having a vehicle computer device (20) with an audio framework (24), the audio framework (24) being designed for this purpose is to provide the vehicle computing device (20) with an audio input channel received via an internet protocol as a microphone channel for voice control of the vehicle function (28, 32) and to provide at least one response generated by the vehicle function (28, 32) via the internet protocol as an audio output channel, the mobile terminal ( 14) has at least one microphone device (34) and at least one loudspeaker device (36), the mobile terminal device (14) being designed to send audio data from the microphone device (34) to the motor vehicle (12) as an audio input channel via the internet protocol and to send the Receive audio output channel from the motor vehicle (12) via the Internet Protocol and the answer output location of the vehicle function (28, 32) through the loudspeaker device (36).

Description

Die Erfindung betrifft ein Kommunikationssystem zur Steuerung einer Fahrzeugfunktion sowie ein Verfahren zur Steuerung der Fahrzeugfunktion.The invention relates to a communication system for controlling a vehicle function and a method for controlling the vehicle function.

Fahrzeugfunktionen, die beispielsweise von einer Fahrzeugcomputervorrichtung durchgeführt werden, und die von Steuergeräten und Aktoren im Kraftfahrzeug ausgeführt werden können, werden üblicherweise von einem Fahrer des Kraftfahrzeugs von einem Innenraum des Kraftfahrzeugs aktiviert. Es ist auch bekannt, einige dieser Fahrzeugfunktionen ferngesteuert zu bedienen, indem über speziell dafür ausgebildete Fernbedienungen, beispielsweise einen Fahrzeugschlüssel oder über Anwendungsprogramme, Steuerbefehle an eine Schnittstelle des Kraftfahrzeugs gesendet werden.Vehicle functions that are carried out, for example, by a vehicle computer device and that can be carried out by control devices and actuators in the motor vehicle are usually activated by a driver of the motor vehicle from an interior of the motor vehicle. It is also known to operate some of these vehicle functions by remote control, in that control commands are sent to an interface of the motor vehicle via specially designed remote controls, for example a vehicle key or via application programs.

So ist beispielsweise aus der US 2009/0212905 A1 ein kabelloses Fernsteuersystem für Fahrzeugfunktionen bekannt, das eine tragbare Fernsteuereinheit aufweist, die Bedienelemente zur Aktivierung von Kontrollsignalen umfasst, die mit einer fahrzeugseitigen Transceivereinheit zur Steuerung der Fahrzeugfunktionen ausgetauscht werden.For example, from the U.S. 2009/0212905 A1 discloses a wireless remote control system for vehicle functions that includes a portable remote control unit that includes controls for activating control signals that are exchanged with an on-board transceiver unit for controlling vehicle functions.

Aus der US 2017/0019480 A1 ist eine mobile Vorrichtung, ein Fernsteuersystem für ein Fahrzeug und ein Verfahren zur Fernsteuerung des Fahrzeugs bekannt.From the U.S. 2017/0019480 A1 a mobile device, a remote control system for a vehicle and a method for remote control of the vehicle are known.

Aus der US 10 407 027 B2 ist ein Fahrzeugschlüssel, ein Kraftfahrzeug und ein Verfahren zur Steuerung des Schlüssels und des Kraftfahrzeugs bekannt.From the U.S. 10,407,027 B2 a vehicle key, a motor vehicle and a method for controlling the key and the motor vehicle are known.

Auch bekannt ist die Verwendung von digitalen Assistenten, beispielsweise bei einem Smartphone, das aufgenommene Sprachbefehle an einen Server des Herstellers sendet, wobei die Sprachbefehle dort zur Durchführung einer Funktion ausgewertet und durchgeführt werden. Eine dieser Funktionen könnte beispielsweise das Senden eines Steuersignals an das Kraftfahrzeug sein, wobei in diesem Fall die Fahrzeugfunktion immer durch eine spezifizierte Benutzerschnittstelle limitiert ist, die das Steuersignal empfängt. Des Weiteren wäre die Funktion von den Drittanbietern abhängig und da ein Drittanbieter zwischengeschaltet ist, werden Sicherheitseinschränkungen für die Fernsteuerung benötigt.Also known is the use of digital assistants, for example in a smartphone, which sends recorded voice commands to a manufacturer's server, the voice commands being evaluated and implemented there in order to carry out a function. One of these functions could be, for example, sending a control signal to the motor vehicle, in which case the vehicle function is always limited by a specified user interface that receives the control signal. Furthermore, the function would be dependent on the third parties and since a third party is interposed, security restrictions are required for the remote control.

Die Aufgabe der vorliegenden Erfindung ist es, eine effiziente und sichere Steuerung von Fahrzeugfunktionen bereitzustellen.The object of the present invention is to provide efficient and reliable control of vehicle functions.

Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen, der folgenden Beschreibung sowie den Figuren offenbart.This object is solved by the independent patent claims. Advantageous developments of the invention are disclosed in the dependent patent claims, the following description and the figures.

Die Erfindung basiert auf der Erkenntnis, dass eine effiziente und sichere Steuerung von Fahrzeugfunktionen erreicht werden kann, indem Audiodaten von einer Mikrofoneinrichtung eines mobilen Endgeräts direkt in das Fahrzeug übertragen werden, wo die Audiodaten analysiert und die Sprachbefehle zur Steuerung der Fahrzeugfunktion extrahiert werden, um die Fahrzeugfunktion durchzuführen.The invention is based on the finding that efficient and safe control of vehicle functions can be achieved by transmitting audio data from a microphone device of a mobile device directly into the vehicle, where the audio data is analyzed and the voice commands for controlling the vehicle function are extracted in order to perform vehicle function.

Die Erfindung betrifft ein Kommunikationssystem zur Steuerung einer Fahrzeugfunktion, mit einem Kraftfahrzeug und einem mobilen Endgerät. Das Kraftfahrzeug weist eine Fahrzeugcomputervorrichtung mit einem Audio-Framework auf. Die Fahrzeugcomputervorrichtung kann ein zentraler Steuercomputer des Kraftfahrzeugs und/oder ein Infotainmentsystem des Kraftfahrzeugs sein. Das Audio-Framework ist dazu ausgebildet, der Fahrzeugcomputervorrichtung einen über ein Internetprotokoll empfangenen Audioeingangskanal als Mikrofonkanal zur Sprachsteuerung der Fahrzeugfunktion bereitzustellen und zumindest eine von der Fahrzeugfunktion erzeugte Antwort über das Internetprotokoll als Audioausgangskanal bereitzustellen. Das Kraftfahrzeug weist eine Funkmodemvorrichtung auf, die dazu ausgebildet ist, über das Internetprotokoll den Audioeingangskanal von dem mobilen Endgerät zu empfangen und den Audioausgangskanal an das mobile Endgerät zu senden. Ferner weist das Kraftfahrzeug eine Fahrzeugmikrofoneinrichtung auf, die dazu ausgebildet ist, Audiodaten von der Fahrzeugmikrofoneinrichtung der Fahrzeugcomputervorrichtung als Mikrofonkanal zur Sprachsteuerung der Fahrzeugfunktion bereitzustellen.The invention relates to a communication system for controlling a vehicle function, having a motor vehicle and a mobile terminal. The motor vehicle has a vehicle computing device with an audio framework. The vehicle computing device can be a central control computer of the motor vehicle and/or an infotainment system of the motor vehicle. The audio framework is configured to provide the vehicle computing device with an audio input channel received via an internet protocol as a microphone channel for voice control of the vehicle function and to provide at least one response generated by the vehicle function via the internet protocol as an audio output channel. The motor vehicle has a radio modem device which is designed to receive the audio input channel from the mobile terminal and to send the audio output channel to the mobile terminal via the internet protocol. Furthermore, the motor vehicle has a vehicle microphone device which is designed to provide audio data from the vehicle microphone device to the vehicle computer device as a microphone channel for voice control of the vehicle function.

Das mobile Endgerät weist zumindest eine Mikrofroneinrichtung und zumindest eine Lautsprechereinrichtung auf, wobei das mobile Endgerät dazu ausgebildet ist, Audiodaten von der Mikrofroneinrichtung als Audioeingangskanal über das Internetprotokoll an die Funkmodemvorrichtung zu versenden und den Audioausgangskanal von der Funkmodemvorrichtung über das Internetprotokoll zu empfangen und die Antwort der Fahrzeugfunktion durch die Lautsprechereinrichtung auszugeben.The mobile terminal device has at least one microphone device and at least one loudspeaker device, the mobile terminal device being designed to send audio data from the microphone device as an audio input channel to the radio modem device via the internet protocol and to receive the audio output channel from the radio modem device via the internet protocol and to respond to the Issue vehicle function through the speaker device.

Mit anderen Worten ist vorgesehen, dass das Kraftfahrzeug über eine Funkmodemvorrichtung verfügt, die Daten empfangen und senden kann, wobei über die Funkmodemvorrichtung ein Audioeingangskanal mit Audiodaten empfangen werden kann, der von einer Mikrofoneinrichtung eines mobilen Endgeräts aufgenommen wurde. Das mobile Endgerät kann beispielsweise ein Smartphone, einen Smartspeaker, eine Smartwatch, ein Laptop und/oder ein Tablet-PC umfassen. Die Mikrofroneinrichtung und die Lautsprechereinrichtung des mobilen Endgeräts können in dieses integriert und/oder an dieses angeschlossen sein. Zwischen der Funkmodemvorrichtung und dem mobilen Endgerät können die Audiodaten vorzugsweise über ein Internetprotokoll gesendet werden. Mit der Übertragung durch das Internetprotokoll ist gemeint, dass Daten vorzugsweise mittels Datenpaketen über das Internet von einem Host, insbesondere dem mobilen Endgerät, zu einem anderen Host, insbesondere der Fahrzeugcomputervorrichtung, übertragen werden und jeder Host eine eindeutige IP-Adresse aufweist. Durch das Internetprotokoll muss keine dauerhafte Verbindung zwischen den Hosts bestehen, da jedes Datenpaket als unabhängige Dateneinheit behandelt wird und erst in der Vermittlungsschicht des Empfängers, insbesondere im Layer 3 des OSI-Modells, die Pakete in die richtige Reihenfolge gebracht werden.In other words, it is provided that the motor vehicle has a radio modem device that can receive and transmit data, with the radio modem device being able to receive an audio input channel with audio data that was recorded by a microphone device of a mobile terminal device. The mobile end device can include a smartphone, a smart speaker, a smart watch, a laptop and/or a tablet PC, for example. The microphone device and the loudspeaker device of the mobile terminal device can be integrated into and/or connected to this. The audio data can preferably be sent between the radio modem device and the mobile terminal device via an Internet protocol. The transmission through the internet protocol means that data is preferably transmitted by means of data packets via the internet from one host, in particular the mobile terminal device, to another host, in particular the vehicle computing device, and each host has a unique IP address. The internet protocol means that there is no need for a permanent connection between the hosts, since each data packet is treated as an independent data unit and the packets are only put into the right order in the network layer of the recipient, particularly in layer 3 of the OSI model.

Der so von der Funkmodemvorrichtung empfangene Audioeingangskanal kann dann von einem Audio-Framework empfangen werden und als Mikrofonkanal zur Sprachsteuerung der Fahrzeugfunktion für die Fahrzeugcomputervorrichtung bereitgestellt werden. Die Fahrzeugcomputervorrichtung kann vorzugsweise dazu ausgebildet sein, die über den Mikrofonkanal empfangenen Audiodaten zu analysieren und darin enthaltene Sprachbefehle zu erkennen. Mit diesen Sprachbefehlen kann dann die Fahrzeugcomputervorrichtung die Fahrzeugfunktion auslösen.The audio input channel thus received by the radio modem device may then be received by an audio framework and provided to the vehicle computing device as a microphone channel for voice control of the vehicle function. The vehicle computing device can preferably be configured to analyze the audio data received via the microphone channel and to recognize voice commands contained therein. The vehicle computing device can then use these voice commands to trigger the vehicle function.

Das Audio-Framework kann eine Logik sein, die Ein- und Ausgangskanäle verwaltet. So kann das Audio-Framework beispielsweise erkennen, von welcher Einrichtung, beispielsweise von einer Fahrzeugmikrofoneinrichtung oder dem mobilen Endgerät, der Audioeingangskanal stammt und wohin dieser weitergeleitet werden muss. Auch kann das Audio-Framework erkennen, wohin ein Audioausgangskanal gesendet werden soll. So kann erreicht werden, dass das mobile Endgerät und dessen Mikrofroneinrichtung wie ein Mikrofon im Kraftfahrzeug wirkt. Das heißt, dass ein Sprachbefehl sowohl innerhalb des Kraftfahrzeugs, als auch von außerhalb des Kraftfahrzeugs über das mobile Endgerät gleichwirkend zur Steuerung der Fahrzeugfunktion bereitgestellt werden kann.The audio framework can be logic that manages input and output channels. For example, the audio framework can identify the device from which the audio input channel originates, for example from a vehicle microphone device or the mobile terminal device, and to where it must be forwarded. The audio framework can also recognize where an audio output channel should be sent. In this way it can be achieved that the mobile end device and its microphone device act like a microphone in the motor vehicle. This means that a voice command can be made available both inside the motor vehicle and from outside the motor vehicle via the mobile terminal to control the vehicle function.

Des Weiteren kann von der Fahrzeugfunktion eine Antwort erzeugt werden, die über die Funkmodemvorrichtung an das mobile Endgerät als Audioausgangskanal gesendet wird, wo die Antwort dann von der Lautsprechereinrichtung des mobilen Endgeräts ausgegeben wird. Das heißt, dass die Lautsprechereinrichtung des mobilen Endgeräts so wirkt, wie ein fest verbauter Lautsprecher innerhalb des Kraftfahrzeugs.Furthermore, a response can be generated by the vehicle function, which is sent via the radio modem device to the mobile terminal as an audio output channel, where the response is then output from the loudspeaker device of the mobile terminal. This means that the speaker device of the mobile terminal acts like a permanently installed speaker inside the motor vehicle.

Durch die Erfindung ergibt sich der Vorteil, dass eine vollständige Fernsteuerung des Kraftfahrzeugs über Sprachbefehle in gleicher Weise durchgeführt werden kann, wie eine Sprachsteuerung innerhalb des Kraftfahrzeugs. Des Weiteren ist eine Sprachsteuerung nicht limitiert von der Spezifikation von externen Programmierschnittstellen. Hierdurch kann eine Implementierung von einer ferngesteuerten Sprachsteuerung unabhängig von Drittherstellern erreicht werden, die häufig unsicher ist. Somit kann ein höheres Sicherheitslevel in der Kommunikation erreicht werden und es können gleichzeitig sicherheitsrelevante Funktionalitäten ortsunabhängig über eine Sprachsteuerung erreicht werden.The advantage of the invention is that complete remote control of the motor vehicle can be carried out using voice commands in the same way as voice control inside the motor vehicle. Furthermore, voice control is not limited by the specification of external programming interfaces. In this way, an implementation of a remote-controlled voice control can be achieved independently of third-party manufacturers, which is often insecure. This means that a higher security level can be achieved in communication and at the same time security-related functionalities can be achieved via voice control, regardless of location.

Die Erfindung umfasst auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.The invention also includes embodiments that result in additional advantages.

Eine Ausführungsform sieht vor, dass das Kraftfahrzeug ferner eine Fahrzeugmikrofoneinrichtung aufweist, die dazu ausgebildet ist, Audiodaten von der Fahrzeugmikrofoneinrichtung der Fahrzeugcomputervorrichtung als Mikrofonkanal zur Sprachsteuerung der Fahrzeugfunktion bereitzustellen. Mit anderen Worten kann das Kraftfahrzeug eine Fahrzeugmikrofoneinrichtung innerhalb des Kraftfahrzeugs aufweisen, über die Audiodaten als Sprachbefehle aufgenommen werden können und der Fahrzeugcomputervorrichtung als Mikrofonkanal bereitgestellt werden können. Insbesondere kann auch der Mikrofonkanal der Fahrzeugmikrofoneinrichtung von dem Audio-Framework gesteuert werden. Das bedeutet, dass sowohl die Aufnahmen der Fahrzeugmikrofoneinrichtung als auch die Aufnahmen der Mikrofroneinrichtung des mobilen Endgeräts der Fahrzeugcomputervorrichtung als Mikrofonkanal bereitgestellt werden. Hierdurch ergibt sich der Vorteil, dass die Fahrzeugfunktion sowohl von innerhalb als auch entfernt von außerhalb gesteuert werden kann.One embodiment provides that the motor vehicle also has a vehicle microphone device which is designed to provide audio data from the vehicle microphone device to the vehicle computer device as a microphone channel for voice control of the vehicle function. In other words, the motor vehicle can have a vehicle microphone device inside the motor vehicle, via which audio data can be recorded as voice commands and can be provided to the vehicle computer device as a microphone channel. In particular, the microphone channel of the vehicle microphone device can also be controlled by the audio framework. This means that both the recordings of the vehicle microphone device and the recordings of the microphone device of the mobile terminal are made available to the vehicle computing device as a microphone channel. This has the advantage that the vehicle function can be controlled both from inside and remotely from outside.

Eine weitere Ausführungsform sieht vor, dass die Fahrzeugcomputervorrichtung ein digitales Sprachassistenzprogramm aufweist, das dazu ausgebildet ist, Steueranfragen und/oder Informationsanfragen und/oder Sprachrückmeldungen aus dem Mikrofonkanal zu ermitteln. Mit anderen Worten kann ein digitales Sprachassistenzprogramm beziehungsweise Speech Dialog System (SDS) in der Fahrzeugcomputervorrichtung vorgesehen sein, das die durch den Mikrofonkanal eintreffenden Audiodaten nach Sprachmustern durchsucht, um damit Steueranfragen, Informationsanfragen und/oder Sprachrückmeldungen zu bestimmen. Steueranfragen können Befehle zum Auslösen beziehungsweise Steuern der Fahrzeugfunktion sein. Informationsanfragen können eine Information von einem Sensor des Kraftfahrzeugs abfragen, wie beispielsweise eine aktuelle Temperatur. Sprachrückmeldungen können Bestätigungen oder Antworten auf zuvor eingegangene Informationen des Kraftfahrzeugs sein. Beispielsweise kann eine Informationsanfrage ergeben, dass eine Temperatur in- oder außerhalb des Kraftfahrzeugs sehr niedrig ist und diese Information zusammen mit der Anfrage an das mobile Endgerät senden, ob eine Standheizung aktiviert werden soll. Die Sprachrückmeldung kann hierbei eine Antwort auf diese Frage sein, beispielsweise eine Zustimmung zu der Anfrage. Durch diese Ausführungsform ergibt sich der Vorteil, dass intuitiv mit der Fahrzeugcomputervorrichtung gesprochen werden kann, um Fahrzeugfunktionen durchzuführen.A further embodiment provides that the vehicle computer device has a digital speech assistance program which is designed to determine control requests and/or information requests and/or voice feedback from the microphone channel. In other words, a digital language assistance program or Speech Dialogue System (SDS) can be provided in the vehicle computer device, which searches the audio data arriving through the microphone channel for speech patterns in order to use it to determine control requests, information requests and/or voice feedback. Control requests can be commands to trigger or control the vehicle function. Information requests can request information from a sensor of the motor vehicle, such as a current temperature. Voice feedback can be confirmations or responses to previously received information from the motor vehicle. For example, a request for information may reveal that a temperature is in or is very low outside of the motor vehicle and send this information together with the request to the mobile device as to whether a parking heater should be activated. The voice feedback can be an answer to this question, for example approval of the request. This embodiment results in the advantage that the vehicle computing device can be spoken to intuitively in order to carry out vehicle functions.

Vorzugsweise ist vorgesehen, dass das digitale Sprachassistenzprogramm dazu ausgebildet ist, Antwortsignale von einem der Fahrzeugfunktion zugeordneten Steuergerät und/oder Aktor und/oder Sensor zu erhalten und in Abhängigkeit der Antwortsignale die Antwort der Fahrzeugfunktion als Audioantwort zu erzeugen. Mit anderen Worten kann die Fahrzeugfunktion als Rückmeldung ein Antwortsignal an die Fahrzeugcomputervorrichtung, insbesondere an das digitale Sprachassistenzprogramm, senden, wobei das Sprachassistenzprogramm dann das Antwortsignal in eine Audioantwort umwandeln kann, um diese für einen Benutzer auszugeben. So kann ein Antwortsignal beispielsweise ein Zahlenwert eines Sensors, beispielsweise ein Temperaturwert sein, und das Sprachassistenzprogramm, kann diesen Zahlenwert in ein vorgegebenes akustisches Frequenzmuster einfügen und/oder umwandeln, um diesen dann als Audioantwort von der Lautsprechereinrichtung des mobilen Endgeräts ausgeben zu lassen. Hierdurch ergibt sich der Vorteil, dass die Fahrzeugcomputervorrichtung akustisch auf Anfragen antworten kann.It is preferably provided that the digital voice assistance program is designed to receive response signals from a control unit and/or actuator and/or sensor assigned to the vehicle function and to generate the response of the vehicle function as an audio response depending on the response signals. In other words, the vehicle function can send a response signal to the vehicle computing device, in particular to the digital voice assistance program, as feedback, wherein the voice assistance program can then convert the response signal into an audio response in order to output it to a user. For example, a response signal can be a numerical value from a sensor, for example a temperature value, and the language assistant program can insert and/or convert this numerical value into a predefined acoustic frequency pattern in order to then have it output as an audio response by the loudspeaker device of the mobile terminal device. This results in the advantage that the vehicle computing device can respond acoustically to requests.

Besonders bevorzugt ist vorgesehen, dass das Sprachassistenzprogramm dazu ausgebildet ist, den Mikrofonkanal der Fahrzeugmikrofoneinrichtung und den Audioeingangskanal von dem mobilen Endgerät simultan und/oder mit gleicher Priorität zu verarbeiten. Mit anderen Worten werden der lokale Benutzer und der entfernte Benutzer mit ihren Sprachbefehlen gleich behandelt. Besonders bevorzugt ist vorgesehen, dass der lokale und entfernte Benutzer parallel Sprachbefehle in die Fahrzeugcomputervorrichtung eingeben können, so dass mehrere Fahrzeugfunktionen parallel gesteuert werden können. Insbesondere kann dazu das Sprachassistenzprogramm eine Verarbeitung der Kanäle und eine anschließende Steuerung von Fahrzeugfunktionen beziehungsweise Informationsanfragen an Fahrzeugfunktionen parallel und mit gleicher Priorität durchführen. Vorzugsweise kann auch eine Generierung von Audioantworten durch das Sprachassistenzprogramm an das mobile Endgerät und an das Kraftfahrzeug, insbesondere an einen Fahrzeuglautsprecher, simultan und/oder mit gleicher Priorität durchgeführt werden.Provision is particularly preferably made for the language assistance program to be designed to process the microphone channel of the vehicle microphone device and the audio input channel from the mobile terminal device simultaneously and/or with the same priority. In other words, the local user and the remote user are treated the same with their voice commands. Provision is particularly preferably made for the local and remote user to be able to input voice commands into the vehicle computer device in parallel, so that a number of vehicle functions can be controlled in parallel. In particular, the language assistance program can process the channels and then control vehicle functions or information requests to vehicle functions in parallel and with the same priority. Audio responses can preferably also be generated by the voice assistance program to the mobile terminal device and to the motor vehicle, in particular to a vehicle loudspeaker, simultaneously and/or with the same priority.

In einer weiteren bevorzugten Ausführungsform ist vorgesehen, dass das Sprachassistenzprogramm dazu ausgebildet ist, eine biometrische Benutzeridentifikation durchzuführen. Die biometrische Benutzeridentifikation kann eine Analyse der Sprache des Benutzers umfassen, aus der erkannt werden kann, welcher Benutzer die Fahrzeugfunktion anfragt. Hierzu können Frequenzmuster, insbesondere Höhen und Tiefen, aus der Stimme erkannt werden. Die biometrische Benutzeridentifikation kann insbesondere anhand des erhaltenen Audioeingangssignals beziehungsweise des Mikrofonkanals durchgeführt werden. Vorzugsweise kann bei Erkennen eines Benutzers ein für den Benutzer vorgegebenes Benutzerprofil geladen werden, wobei in dem Benutzerprofil beispielsweise Fahrzeugfunktionseinstellungen voreingestellt sein können. Durch diese Ausführungsform ergibt sich der Vorteil, dass ein gleicher Benutzer wiedererkannt werden kann und die gleichen Zugriffsrechte aufweist, egal ob er sich innerhalb des Kraftfahrzeugs oder außerhalb des Kraftfahrzeugs befindet. Vorzugsweise kann das Benutzerprofil auch vorgegebene Zugriffsrechte auf Fahrzeugfunktionen umfassen. Das bedeutet, dass beispielsweise der Kraftfahrzeugbesitzer ein volles Zugriffsrecht auf alle Fahrzeugfunktionen aufweist und andere Benutzer nur einen eingeschränkten Zugriff auf die Fahrzeugfunktionen. Somit kann eine Sicherheit weiter verbessert werden.In a further preferred embodiment it is provided that the language assistance program is designed to carry out a biometric user identification. The biometric user identification can include an analysis of the user's speech, from which it can be recognized which user is requesting the vehicle function. For this purpose, frequency patterns, in particular highs and lows, can be recognized from the voice. The biometric user identification can be carried out in particular using the received audio input signal or the microphone channel. When a user is recognized, a user profile specified for the user can preferably be loaded, it being possible for vehicle function settings, for example, to be preset in the user profile. This embodiment results in the advantage that the same user can be recognized and has the same access rights, regardless of whether he is inside the motor vehicle or outside the motor vehicle. The user profile can preferably also include predefined access rights to vehicle functions. This means that, for example, the motor vehicle owner has full access rights to all vehicle functions and other users only have limited access to the vehicle functions. Thus, security can be further improved.

Eine weitere Ausführungsform sieht vor, dass das Kommunikationssystem ferner eine Servereinrichtung aufweist, die dazu ausgebildet ist, eine Verbindung zwischen dem Kraftfahrzeug und dem mobilen Endgerät zu erzeugen und/oder zu authentifizieren. Mit anderen Worten kann eine Servereinrichtung, beispielsweise ein Backend des Kraftfahrzeugherstellers, bereitgestellt sein, an dem sich der entfernte Benutzer und/oder das mobile Endgerät registrieren können. Über diese Servereinrichtung können die Verbindungseinstellungen zwischen dem mobilen Endgerät und dem Kraftfahrzeug geregelt sein. Insbesondere kann in der Servereinrichtung gespeichert sein, welche mobilen Endgeräte sich mit dem Kraftfahrzeug verbinden dürfen. Durch diese Ausführungsform ergibt sich der Vorteil, dass eine Sicherheit verbessert werden kann.A further embodiment provides that the communication system also has a server device which is designed to generate and/or authenticate a connection between the motor vehicle and the mobile terminal device. In other words, a server device, for example a backend from the motor vehicle manufacturer, can be provided, on which the remote user and/or the mobile terminal device can register. The connection settings between the mobile terminal device and the motor vehicle can be regulated via this server device. In particular, it can be stored in the server device which mobile terminals are allowed to connect to the motor vehicle. This embodiment has the advantage that security can be improved.

Eine weitere Ausführungsform sieht vor, dass das mobile Endgerät dazu ausgebildet ist, einen Verbindungsaufbau zwischen dem mobilen Endgerät und dem Kraftfahrzeug mittels einer Schlüsselworterkennung und/oder einer manuellen Benutzereingabe auszulösen. Das heißt, dass die Verbindung zwischen dem mobilen Endgerät und dem Kraftfahrzeug hergestellt werden kann, wenn ein Schlüsselwort von dem mobilen Endgerät, insbesondere einer Anwendungsapplikation auf dem mobilen Endgerät, erkannt wird. So kann beispielsweise in das mobile Endgerät das Schlüsselwort „Hey Audi“ gesprochen werden, wodurch das mobile Endgerät automatisiert eine Verbindung zu dem Kraftfahrzeug aufbaut, um anschließend eine Fahrzeugfunktion zu steuern. Alternativ oder zusätzlich kann dieser Verbindungsaufbau auch durch eine manuelle Benutzereingabe, beispielsweise über eine Toucheingabe auf einem Smartphone, ausgelöst werden. Durch diese Ausführungsform ergibt sich der Vorteil, dass intuitiv und schnell eine Verbindung zwischen dem mobilen Endgerät und dem Kraftfahrzeug aufgebaut werden kann.A further embodiment provides that the mobile end device is designed to trigger a connection setup between the mobile end device and the motor vehicle by means of keyword recognition and/or manual user input. This means that the connection between the mobile terminal and the motor vehicle can be established when a keyword is recognized by the mobile terminal, in particular an application on the mobile terminal. For example, the keyword "Hey Audi" can be entered into the mobile device. are spoken, whereby the mobile terminal automatically establishes a connection to the motor vehicle in order to then control a vehicle function. Alternatively or additionally, this connection setup can also be triggered by manual user input, for example via touch input on a smartphone. This embodiment has the advantage that a connection can be set up intuitively and quickly between the mobile terminal device and the motor vehicle.

Eine weitere Ausführungsform sieht vor, dass die Fahrzeugcomputervorrichtung dazu ausgebildet ist, durch den Audioeingangskanal von einem deaktivierten Zustand in einen aktivierten Zustand versetzt zu werden. So kann in der Fahrzeugcomputervorrichtung eine Aufweckfunktion vorhanden sein, die bei Eingang eines Signals durch den Audioeingangskanal, der von dem mobilen Endgerät stammt, die Fahrzeugcomputervorrichtung aktiviert. Die Fahrzeugcomputervorrichtung kann beispielsweise auch über ein Aktivierungssignal von der Servereinrichtung „aufgeweckt“ werden. Hierdurch ergibt sich der Vorteil, dass die Fahrzeugcomputervorrichtung jederzeit, auch bei abgeschaltetem Kraftfahrzeug erreichbar ist.A further embodiment provides that the vehicle computing device is designed to be switched from a deactivated state to an activated state by the audio input channel. A wake-up function can thus be present in the vehicle computing device, which activates the vehicle computing device when a signal is received through the audio input channel originating from the mobile terminal device. The vehicle computing device can also be “woken up” by the server device via an activation signal, for example. This results in the advantage that the vehicle computer device can be reached at any time, even when the motor vehicle is switched off.

Vorzugsweise ist vorgesehen, dass die Funkmodemvorrichtung zur Datenübertragung nach einem UMTS, GSM, LTE, 5G, Bluetooth und/oder WLAN-Standard ausgebildet ist. So kann eine Verbindung zu dem Internet nicht nur durch einen Mobilkommunikationsstandard erreicht werden, sondern auch durch andere kabellose Verbindungstechnologien, beispielsweise WLAN (WiFi), wenn eine Verbindung mit einem externen WLAN-Hotspot (WiFi-Hotspot) besteht. Alternativ oder zusätzlich kann eine Verbindung zwischen dem mobilen Endgerät und dem Kraftfahrzeug auch über kabelgebundene Technologien durchgeführt werden, beispielsweise indem das mobile Endgerät mittels eines USB-Anschlusses an die Fahrzeugcomputervorrichtung angeschlossen wird.Provision is preferably made for the radio modem device to be designed for data transmission according to a UMTS, GSM, LTE, 5G, Bluetooth and/or WLAN standard. Thus, a connection to the Internet can be achieved not only through a mobile communication standard, but also through other wireless connection technologies, for example WLAN (WiFi) if there is a connection to an external WLAN hotspot (WiFi hotspot). Alternatively or additionally, a connection between the mobile terminal device and the motor vehicle can also be established using wired technologies, for example by connecting the mobile terminal device to the vehicle computer device using a USB port.

Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Steuerung einer Fahrzeugfunktion mit einem Kommunikationssystem nach einem der vorhergehenden Ansprüche, wobei die Mikrofroneinrichtung des mobilen Endgerätes Audiodaten aufnimmt und über das Internet als Audioeingangssignal an die Funkmodemvorrichtung des Kraftfahrzeugs sendet, wobei der Fahrzeugcomputervorrichtung durch das Audio-Framework der von der Funkmodemvorrichtung empfangene Audioeingangskanal als Mikrofonkanal zur Sprachsteuerung der Fahrzeugfunktion bereitgestellt wird, und wobei die Fahrzeugcomputervorrichtung die Fahrzeugfunktion durchführt. Vorzugsweise können als weitere Schritte eine Antwort von der Fahrzeugfunktion erstellt werden, die zurück über die Funkmodemvorrichtung an das mobile Endgerät gesendet wird, wobei eine Lautsprechereinrichtung des mobilen Endgeräts die Antwort ausgibt. Hierbei ergeben sich gleiche Vorteile und Variationsmöglichkeiten wie bei dem Kommunikationssystem.A further aspect of the invention relates to a method for controlling a vehicle function with a communication system according to one of the preceding claims, wherein the microphone device of the mobile terminal records audio data and sends it over the Internet as an audio input signal to the radio modem device of the motor vehicle, the vehicle computer device through the audio framework the audio input channel received from the radio modem device is provided as a microphone channel for voice control of the vehicle function, and wherein the vehicle computing device performs the vehicle function. Preferably, as further steps, a response can be prepared by the vehicle function, which is sent back to the mobile terminal via the radio modem device, with a speaker device of the mobile terminal outputting the response. This results in the same advantages and possible variations as in the communication system.

Zu der Erfindung gehört auch die Steuervorrichtung für das Kraftfahrzeug. Die Steuervorrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.The invention also includes the control device for the motor vehicle. The control device can have a data processing device or a processor device that is set up to carry out an embodiment of the method according to the invention. For this purpose, the processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor). Furthermore, the processor device can have program code which is set up to carry out the embodiment of the method according to the invention when executed by the processor device. The program code can be stored in a data memory of the processor device.

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Kommunikationssystems beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.The invention also includes developments of the method according to the invention, which have features as have already been described in connection with the developments of the communication system according to the invention. For this reason, the corresponding developments of the method according to the invention are not described again here.

Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.The motor vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus or motorcycle.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.The invention also includes the combinations of features of the described embodiments. The invention also includes implementations that each have a combination of the features of several of the described embodiments, unless the embodiments were described as mutually exclusive.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben.Exemplary embodiments of the invention are described below.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar. Dabei zeigt

  • Fig. ein schematisch dargestelltes Kommunikationssystem gemäß einer beispielhaften Ausführungsform.
The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that are to be considered independently of one another and that each also develop the invention independently of one another. Therefore should the disclosure also encompass combinations of the features of the embodiments other than those illustrated. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described. while showing
  • 1 shows a schematically illustrated communication system according to an exemplary embodiment.

In der Figur bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figure, the same reference symbols designate elements with the same function.

Die einzige Figur zeigt ein Kommunikationssystem 10 zur Steuerung einer Fahrzeugfunktion, mit einem stark schematisierten Kraftfahrzeug 12 und einem mobilen Endgerät 14.The only figure shows a communication system 10 for controlling a vehicle function, with a highly schematic motor vehicle 12 and a mobile terminal device 14.

Das Kraftfahrzeug 12 kann beispielsweise eine Fahrzeugmikrofoneinrichtung 16 und Fahrzeuglautsprecher 18 eines Soundsystems 19 des Kraftfahrzeugs aufweisen, die innerhalb des Kraftfahrzeugs 12 fest verbaut sind. Ein Benutzer, der sich innerhalb des Kraftfahrzeugs befindet, kann über die Fahrzeugmikrofoneinrichtung 16 beispielsweise einen Sprachbefehl an das Kraftfahrzeug 12 aufnehmen, der in eine Fahrzeugcomputervorrichtung 20 des Kraftfahrzeugs 12 übertragen wird, insbesondere über eine Audioschnittstelle 22 (Audio-Interface). Ein Audio-Framework 24 kann diesen Sprachbefehl als Mikrofonkanal einem digitalen Sprachassistenzprogramm 26 bereitstellen. Das digitale Sprachassistenzprogramm 26 beziehungsweise Speech Dialog System (SDS) kann aus den Audiodaten des Mikrofonkanals dann Steueranfragen und/oder Informationsanfragen herausfiltern, die mit dem Sprachbefehl ausgelöst werden sollen. Wurde diese Steueranfrage von dem Sprachassistenzprogramm 26 erkannt, kann das Sprachassistenzprogramm 26 anschließend die Fahrzeugfunktion 28, beispielsweise eine Funktion eines Infotainmentsystems, ansteuern. Alternativ oder zusätzlich kann das Sprachassistenzprogramm 26 die Steueranfrage auch über eine Fahrzeugschnittstelle 30 (Vehicle Interface) an Steuergeräte 32 und/oder einen Aktor 32 und/oder einen Sensor 32 des Kraftfahrzeugs 12 zur Durchführung der Fahrzeugfunktion weiterleiten.The motor vehicle 12 can have, for example, a vehicle microphone device 16 and vehicle loudspeakers 18 of a sound system 19 of the motor vehicle, which are permanently installed inside the motor vehicle 12 . A user who is inside the motor vehicle can use the vehicle microphone device 16 to record a voice command to the motor vehicle 12, for example, which is transmitted to a vehicle computer device 20 of the motor vehicle 12, in particular via an audio interface 22 (audio interface). An audio framework 24 can provide this voice command as a microphone channel to a digital voice assistant program 26 . The digital voice assistance program 26 or Speech Dialogue System (SDS) can then filter out control queries and/or information queries from the audio data of the microphone channel which are to be triggered with the voice command. If this control request was recognized by the language assistance program 26, the language assistance program 26 can then control the vehicle function 28, for example a function of an infotainment system. Alternatively or additionally, the voice assistant program 26 can also forward the control request via a vehicle interface 30 (vehicle interface) to control units 32 and/or an actuator 32 and/or a sensor 32 of the motor vehicle 12 in order to carry out the vehicle function.

Wurde die Fahrzeugfunktion 28, 32 durchgeführt, kann von der jeweiligen Fahrzeugfunktion 28, 32 ein Antwortsignal zurück an das Sprachassistenzprogramm 26 gesendet werden, das aus dem Antwortsignal eine Audioantwort, insbesondere eine Rückmeldung zur Fahrzeugfunktion, erzeugen kann, die wiederum vom Audio-Framework 24 über die Audioschnittstelle 22 an das Soundsystem 19 weitergeleitet werden kann, wo es dann von den Fahrzeuglautsprechern 18 dem Benutzer als Rückmeldung ausgegeben werden kann.If the vehicle function 28, 32 has been carried out, the respective vehicle function 28, 32 can send a response signal back to the language assistant program 26, which can generate an audio response from the response signal, in particular feedback on the vehicle function, which in turn can be transmitted by the audio framework 24 via the audio interface 22 can be forwarded to the sound system 19, where it can then be output by the vehicle speakers 18 to the user as feedback.

Falls sich der Benutzer nicht im Kraftfahrzeug 12 befindet, kann besonders bevorzugt ein Sprachbefehl über das mobile Endgerät 14 für das Kraftfahrzeug 12 bereitgestellt werden. Das mobile Endgerät 14 kann dazu insbesondere eine Mikrofroneinrichtung 34 und eine Lautsprechereinrichtung 36 aufweisen, die in das mobile Endgerät integriert sein können oder an dieses angeschlossen werden können. Das mobile Endgerät 14 kann beispielsweise ein Smartphone sein. Damit eine Verbindung zwischen dem mobilen Endgerät 14 und dem Kraftfahrzeug 12 aufgebaut und/oder authentifiziert wird, kann zunächst vorgesehen sein, dass in einer Servereinrichtung 38, die ein Backend des Fahrzeugherstellers sein kann, Benutzerdaten und Zugriffsrechte hinterlegt sind, sowie Verbindungsinformationen zu dem Kraftfahrzeug 12. Somit kann sich das mobile Endgerät 14 über die Servereinrichtung 38 authentifizieren.If the user is not in the motor vehicle 12, a voice command can be made available to the motor vehicle 12 via the mobile terminal device 14. For this purpose, the mobile terminal device 14 can in particular have a microphone device 34 and a loudspeaker device 36, which can be integrated into the mobile terminal device or can be connected to it. The mobile terminal 14 can be a smartphone, for example. In order for a connection to be established and/or authenticated between mobile terminal device 14 and motor vehicle 12, provision can first be made for user data and access rights to be stored in a server device 38, which can be a backend of the vehicle manufacturer, as well as connection information for motor vehicle 12 The mobile terminal device 14 can thus authenticate itself via the server device 38 .

So kann beispielsweise auf dem mobilen Endgerät 14 eine Anwendungssoftware gestartet werden, die eine Verbindung mit der Servereinrichtung 38 aufbaut. Die Servereinrichtung 38 kann dann über das Internet 40 Verbindungsdaten an eine Funkmodemvorrichtung 42 des Kraftfahrzeugs 12 senden, insbesondere über ein Internetprotokoll, die dann über eine Funkmodemschnittstelle 44 in die Fahrzeugcomputervorrichtung 20 weitergeleitet werden. Über einen Internetprotokollstapel 46 (IP Stack) kann dann der Verbindungsaufbau über ein Serververbindungsmodul 48 aufgebaut werden, der ein Verbindungmodul zur entfernten Sprachsteuerung 50 der Fahrzeugcomputervorrichtung 20 aktiviert.For example, application software that establishes a connection to the server device 38 can be started on the mobile terminal device 14 . The server device 38 can then send connection data to a radio modem device 42 of the motor vehicle 12 via the Internet 40 , in particular via an Internet protocol, which are then forwarded to the vehicle computer device 20 via a radio modem interface 44 . The connection can then be established via an Internet protocol stack 46 (IP stack) via a server connection module 48 , which activates a connection module for remote voice control 50 of the vehicle computing device 20 .

Insbesondere kann diese Verbindung mittels einer Schlüsselworterkennung aktiviert werden, indem ein Schlüsselwort in die Mikrofroneinrichtung des mobilen Endgeräts gesprochen wird, das in der Servereinrichtung 38 erkannt werden kann, woraufhin die Servereinrichtung 38 die Verbindung wie zuvor beschrieben aufbaut. Besonders bevorzugt kann so auch die Fahrzeugcomputervorrichtung von einem deaktivierten Zustand in einen aktivierten Zustand versetzt werden, indem eine „Wake-up Funktion“ ausgelöst wird.In particular, this connection can be activated by means of keyword recognition by speaking a keyword into the microphone device of the mobile terminal, which can be recognized in the server device 38, whereupon the server device 38 establishes the connection as previously described. Particularly preferably, the vehicle computer device can also be switched from a deactivated state to an activated state by triggering a “wake-up function”.

Nachdem die Verbindung zwischen dem mobilen Endgerät 14 und dem Kraftfahrzeug 12 authentifiziert wurde, kann ein Sprachbefehl, das heißt Audiodaten, von der Mikrofroneinrichtung 34 über ein Internetprotokoll, das heißt über das Internet 40, an die Funkmodemvorrichtung 42 des Kraftfahrzeugs 12 übertragen werden. Über die Funkmodemschnittstelle 44 und den IP-Stack 46 können die Audiodaten von einem „Audio over IP-Modul“ 52 zu einem Audioeingangskanal umgewandelt werden, der von dem Audio-Framework 24 an das digitale Sprachassistenzprogramm 26 zur Sprachsteuerung der Fahrzeugfunktion 28, 32 bereitgestellt werden kann. Der Audioeingangskanal, der ausgehend von dem mobilen Endgerät 14 erhalten wird, kann hierbei als Mikrofonkanal behandelt werden, also in entsprechender Weise wie der Mikrofonkanal der Fahrzeugmikrofoneinrichtung 16. Vorzugsweise weisen dabei sowohl der Mikrofonkanal der Fahrzeugmikrofoneinrichtung 16 als auch der Audioeingangskanal, der von dem mobilen Endgerät 14 erhalten wird, eine gleiche Priorität auf und können parallel verarbeitet werden. Insbesondere können auch mehrere mobile Endgeräte vorgesehen sein, deren Audioeingangskanäle parallel und mit gleicher Priorität verarbeitet werden.After the connection between the mobile terminal 14 and the motor vehicle 12 has been authenticated, a voice command, i.e. audio data, can be transmitted from the microphone device 34 to the radio modem device 42 of the motor vehicle 12 via an Internet protocol, i.e. via the Internet 40. Via the radio modem interface 44 and the IP stack 46, the audio data can be converted from an "Audio over IP module" 52 to an audio input channel, which is provided by the audio framework 24 to the digital voice assistance program 26 for voice control of the vehicle function 28, 32 can. The audio input channel coming from mobile terminal device 14 can be treated as a microphone channel, i.e. in a corresponding manner to the microphone channel of vehicle microphone device 16. Preferably, both the microphone channel of vehicle microphone device 16 and the audio input channel that is received from mobile terminal device 14 have the same Priority on and can be processed in parallel. In particular, multiple mobile terminals can also be provided whose audio input channels are processed in parallel and with the same priority.

Auch eine von den Fahrzeugfunktionen erzeugte Antwort kann über das Internetprotokoll als Audioausgangskanal von der Funkmodemvorrichtung 42 an das mobile Endgerät zurückgesendet werden, wo die Antwort in Form einer Audioantwort durch die Lautsprechereinrichtung 36 ausgegeben werden kann.A response generated by the vehicle functions can also be sent back via the internet protocol as an audio output channel from the radio modem device 42 to the mobile terminal, where the response can be output in the form of an audio response through the loudspeaker device 36 .

Somit dient das mobile Endgerät 14 gleichberechtigt zu den im Fahrzeug befindlichen Fahrzeugmikrofon 16 und Fahrzeuglautsprechereinrichtungen 18 zur Sprachsteuerung von Fahrzeugfunktionen.The mobile terminal 14 is thus used on an equal footing with the vehicle microphone 16 and vehicle loudspeaker devices 18 located in the vehicle for voice control of vehicle functions.

Insgesamt zeigen die Beispiele, wie durch die Erfindung eine Fernkommunikation mit Sprachsteuerung eines Fahrzeugs 12 bereitgestellt werden kann.Overall, the examples show how remote communication with voice control of a vehicle 12 can be provided by the invention.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • US 2009/0212905 A1 [0003]US 2009/0212905 A1 [0003]
  • US 2017/0019480 A1 [0004]US 2017/0019480 A1 [0004]
  • US 10407027 B2 [0005]US 10407027 B2 [0005]

Claims (11)

Kommunikationssystem (10) zur Steuerung einer Fahrzeugfunktion (28, 32), mit einem Kraftfahrzeug (12) und einem mobilen Endgerät (14), - wobei das Kraftfahrzeug (12) eine Fahrzeugcomputervorrichtung (20) mit einem Audio-Framework (24) aufweist; - wobei das Audio-Framework (24) dazu ausgebildet ist, der Fahrzeugcomputervorrichtung (20) einen über ein Internetprotokoll empfangenen Audioeingangskanal als Mikrofonkanal zur Sprachsteuerung der Fahrzeugfunktion (28, 32) bereitzustellen und zumindest eine von der Fahrzeugfunktion (28, 32) erzeugte Antwort über das Internetprotokoll als Audioausgangskanal bereitzustellen; - wobei das Kraftfahrzeug (12) eine Funkmodemvorrichtung (42) aufweist, die dazu ausgebildet ist, über das Internetprotokoll den Audioeingangskanal von dem mobilen Endgerät (14) zu empfangen und den Audioausgangskanal an das mobile Endgerät (14) zu senden; - wobei das mobile Endgerät (14) zumindest eine Mikrofoneinrichtung (34) und zumindest eine Lautsprechereinrichtung (36) aufweist; - wobei das mobile Endgerät (14) dazu ausgebildet ist, Audiodaten von der Mikrofoneinrichtung (34) als Audioeingangskanal über das Internetprotokoll an die Funkmodemvorrichtung (42) zu versenden und den Audioausgangskanal von der Funkmodemvorrichtung (42) über das Internetprotokoll zu empfangen und die Antwort der Fahrzeugfunktion (28, 32) durch die Lautsprechereinrichtung (36) auszugeben.Communication system (10) for controlling a vehicle function (28, 32), with a motor vehicle (12) and a mobile terminal (14), - wherein the motor vehicle (12) has a vehicle computing device (20) with an audio framework (24); - wherein the audio framework (24) is designed to provide the vehicle computing device (20) with an audio input channel received via an Internet protocol as a microphone channel for voice control of the vehicle function (28, 32) and at least one response generated by the vehicle function (28, 32). provide the Internet Protocol as an audio output channel; - wherein the motor vehicle (12) has a radio modem device (42) which is adapted to receive the audio input channel from the mobile terminal (14) and to send the audio output channel to the mobile terminal (14) via the internet protocol; - wherein the mobile terminal device (14) has at least one microphone device (34) and at least one loudspeaker device (36); - wherein the mobile terminal device (14) is designed to send audio data from the microphone device (34) as an audio input channel to the radio modem device (42) via the internet protocol and to receive the audio output channel from the radio modem device (42) via the internet protocol and to receive the response from the Output vehicle function (28, 32) through the loudspeaker device (36). Kommunikationssystem (10) nach Anspruch 1, wobei das Kraftfahrzeug (12) ferner eine Fahrzeugmikrofoneinrichtung (16) aufweist, die dazu ausgebildet ist, Audiodaten von der Fahrzeugmikrofoneinrichtung (16) der Fahrzeugcomputervorrichtung (20) als Mikrofonkanal zur Sprachsteuerung der Fahrzeugfunktion (28, 32) bereitzustellen;Communication system (10) after claim 1 , wherein the motor vehicle (12) further comprises a vehicle microphone device (16) which is designed to provide audio data from the vehicle microphone device (16) to the vehicle computer device (20) as a microphone channel for voice control of the vehicle function (28, 32); Kommunikationssystem (10) nach einem der vorhergehenden Ansprüche, wobei die Fahrzeugcomputervorrichtung (20) ein digitales Sprachassistenzprogramm (26) aufweist, das dazu ausgebildet ist, Steueranfragen und/oder Informationsanfragen und/oder Sprachrückmeldungen aus dem Mikrofonkanal zu ermitteln.Communication system (10) according to one of the preceding claims, wherein the vehicle computing device (20) has a digital voice assistant program (26) which is designed to determine control requests and/or information requests and/or voice feedback from the microphone channel. Kommunikationssystem (10) nach Anspruch 3, wobei das digitale Sprachassistenzprogramm (26) dazu ausgebildet ist, Antwortsignale von einem der Fahrzeugfunktion zugeordneten Steuergerät und/oder Aktor und/oder Sensor zu erhalten und in Abhängigkeit der Antwortsignale die Antwort der Fahrzeugfunktion (28, 32) als Audioantwort zu erzeugen.Communication system (10) after claim 3 , wherein the digital language assistant program (26) is designed to receive response signals from a vehicle function associated control unit and / or actuator and / or sensor and depending on the response signals to generate the response of the vehicle function (28, 32) as an audio response. Kommunikationssystem (10) nach Anspruch 2 und einem der Ansprüche 3 oder 4, wobei das Sprachassistenzprogramm (26) dazu ausgebildet ist, den Mikrofonkanal der Fahrzeugmikrofoneinrichtung (16) und den Audioeingangskanal von dem mobilen Endgerät (14) simultan und/oder mit gleicher Priorität zu verarbeiten.Communication system (10) after claim 2 and one of the claims 3 or 4 , wherein the language assistance program (26) is designed to process the microphone channel of the vehicle microphone device (16) and the audio input channel from the mobile terminal (14) simultaneously and/or with the same priority. Kommunikationssystem (10) nach einem der Ansprüche 3 bis 5, wobei das Sprachassistenzprogramm (26) dazu ausgebildet ist, eine biometrische Benutzeridentifikation durchzuführen.Communication system (10) according to one of claims 3 until 5 , wherein the language assistance program (26) is designed to perform a biometric user identification. Kommunikationssystem (10) nach einem der vorhergehenden Ansprüche, wobei das Kommunikationssystem (10) ferner eine Servereinrichtung (38) aufweist, die dazu ausgebildet ist, eine Verbindung zwischen dem Kraftfahrzeug (12) und dem mobilen Endgerät (14) zu erzeugen und/oder zu authentifizieren.Communication system (10) according to one of the preceding claims, wherein the communication system (10) further comprises a server device (38) which is designed to generate and/or to create a connection between the motor vehicle (12) and the mobile terminal device (14). authenticate. Kommunikationssystem (10) nach einem der vorhergehenden Ansprüche, wobei das mobile Endgerät (14) dazu ausgebildet ist, einen Verbindungsaufbau zwischen dem mobilen Endgerät (14) und dem Kraftfahrzeug (12) mittels einer Schlüsselworterkennung und/oder einer manuellen Benutzereingabe auszulösen.Communication system (10) according to any one of the preceding claims, wherein the mobile terminal (14) is designed to trigger a connection setup between the mobile terminal (14) and the motor vehicle (12) by means of a keyword recognition and / or a manual user input. Kommunikationssystem (10) nach einem der vorhergehenden Ansprüche, wobei die Fahrzeugcomputervorrichtung (20) dazu ausgebildet ist, durch den Audioeingangskanal von einem deaktivierten Zustand in einen aktivierten Zustand versetzt zu werden.A communications system (10) as claimed in any preceding claim, wherein the vehicle computing device (20) is adapted to be switched from a disabled state to an enabled state by the audio input channel. Kommunikationssystem (10) nach einem der vorhergehenden Ansprüche, wobei die Funkmodemvorrichtung (42) zur Datenübertragung nach einem UMTS, GSM, LTE, 5G, Bluetooth und/oder W-LAN Standard ausgebildet ist.Communication system (10) according to one of the preceding claims, wherein the radio modem device (42) for data transmission is designed according to a UMTS, GSM, LTE, 5G, Bluetooth and/or W-LAN standard. Verfahren zur Steuerung einer Fahrzeugfunktion (28, 32) mit einem Kommunikationssystem (10) nach einem der vorhergehenden Ansprüche, wobei die Mikrofoneinrichtung (34) des mobilen Endgerätes (14) Audiodaten aufnimmt und über das Internet (40) als Audioeingangssignal an die Funkmodemvorrichtung (42) des Kraftfahrzeugs (12) sendet, wobei der Fahrzeugcomputervorrichtung (20) durch das Audio-Framework (24) der von der Funkmodemvorrichtung (42) empfangene Audioeingangskanal als Mikrofonkanal zur Sprachsteuerung der Fahrzeugfunktion (28, 32) bereitgestellt wird, und wobei die Fahrzeugcomputervorrichtung (20) die Fahrzeugfunktion (28, 32) durchführt.Method for controlling a vehicle function (28, 32) with a communication system (10) according to one of the preceding claims, wherein the microphone device (34) of the mobile terminal device (14) records audio data and transmits it via the Internet (40) as an audio input signal to the radio modem device (42 ) of the motor vehicle (12), wherein the audio framework (24) provides the vehicle computing device (20) with the audio input channel received from the radio modem device (42) as a microphone channel for voice control of the vehicle function (28, 32), and wherein the vehicle computing device ( 20) performs the vehicle function (28, 32).
DE102021111176.5A 2021-04-30 2021-04-30 Communication system and method for controlling a vehicle function Pending DE102021111176A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021111176.5A DE102021111176A1 (en) 2021-04-30 2021-04-30 Communication system and method for controlling a vehicle function
PCT/EP2022/059382 WO2022228861A1 (en) 2021-04-30 2022-04-08 Communication system and method for controlling a vehicle function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021111176.5A DE102021111176A1 (en) 2021-04-30 2021-04-30 Communication system and method for controlling a vehicle function

Publications (1)

Publication Number Publication Date
DE102021111176A1 true DE102021111176A1 (en) 2022-11-03

Family

ID=81595844

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021111176.5A Pending DE102021111176A1 (en) 2021-04-30 2021-04-30 Communication system and method for controlling a vehicle function

Country Status (2)

Country Link
DE (1) DE102021111176A1 (en)
WO (1) WO2022228861A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023102884A1 (en) 2023-02-07 2024-08-08 Bayerische Motoren Werke Aktiengesellschaft Method and device for voice-based remote control of a vehicle function

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10347827A1 (en) 2003-10-10 2005-04-28 Daimler Chrysler Ag System for remote control of vehicle functions and / or retrieval of vehicle status data
US20090212905A1 (en) 2004-08-04 2009-08-27 Daimlerchrysler Ag Wireless remote control system for vehicle functions
DE102012218938A1 (en) 2011-10-18 2013-04-18 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Method for provision of free hand services e.g. speech service, to driver of passenger car via cellular telephone, involves generating audio message from service response, and presenting audio message to user via loudspeaker
DE102012213609A1 (en) 2012-08-01 2014-02-06 Continental Automotive Gmbh Method for outputting information with synthetic speech
DE102015209192A1 (en) 2014-05-30 2016-02-18 Continental Automotive Systems, Inc. Remote setting and diagnostic interface for hands-free systems
US20170019480A1 (en) 2014-04-10 2017-01-19 Mitsubishi Electric Corporation Mobile device, vehicle remote control system, and vehicle remote control method
US10407027B2 (en) 2017-06-09 2019-09-10 Hyundai Motor Company Vehicle key, vehicle, and method for controlling key and vehicle
DE102020000784A1 (en) 2019-02-12 2020-08-13 David-Christopher Siemers Device with a WLAN router, vehicle with such a device and method for integrating information sources in a vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050085221A1 (en) * 2003-10-21 2005-04-21 General Motors Corporation Remotely controlling vehicle functions
US8428642B2 (en) * 2008-05-02 2013-04-23 Delphi Technologies, Inc. Method and apparatus for remote vehicle communications and control
US20190279447A1 (en) * 2015-12-03 2019-09-12 Autoconnect Holdings Llc Automatic vehicle diagnostic detection and communication

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10347827A1 (en) 2003-10-10 2005-04-28 Daimler Chrysler Ag System for remote control of vehicle functions and / or retrieval of vehicle status data
US20090212905A1 (en) 2004-08-04 2009-08-27 Daimlerchrysler Ag Wireless remote control system for vehicle functions
DE102012218938A1 (en) 2011-10-18 2013-04-18 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Method for provision of free hand services e.g. speech service, to driver of passenger car via cellular telephone, involves generating audio message from service response, and presenting audio message to user via loudspeaker
DE102012213609A1 (en) 2012-08-01 2014-02-06 Continental Automotive Gmbh Method for outputting information with synthetic speech
US20170019480A1 (en) 2014-04-10 2017-01-19 Mitsubishi Electric Corporation Mobile device, vehicle remote control system, and vehicle remote control method
DE102015209192A1 (en) 2014-05-30 2016-02-18 Continental Automotive Systems, Inc. Remote setting and diagnostic interface for hands-free systems
US10407027B2 (en) 2017-06-09 2019-09-10 Hyundai Motor Company Vehicle key, vehicle, and method for controlling key and vehicle
DE102020000784A1 (en) 2019-02-12 2020-08-13 David-Christopher Siemers Device with a WLAN router, vehicle with such a device and method for integrating information sources in a vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023102884A1 (en) 2023-02-07 2024-08-08 Bayerische Motoren Werke Aktiengesellschaft Method and device for voice-based remote control of a vehicle function

Also Published As

Publication number Publication date
WO2022228861A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
EP3172882B1 (en) Establishing a wireless connection to a vehicle
DE102015119826A1 (en) Method and systems for a vehicle computer system for communicating with a device
DE102015214891A1 (en) Electronic key system for managing an electronic vehicle key
DE102016106057A1 (en) SYSTEMS AND METHOD FOR MOBILE PHONE KEY-HANDBOOK MANAGEMENT
DE112010002210T5 (en) Performing hands-free operation of an electronic calendar application in a vehicle
DE102015120902A1 (en) Remote permission control and monitoring of vehicle applications
DE102014217407A1 (en) Method and apparatus for on-board diagnostics interface tool
DE102015206639A1 (en) In-car Residential House Automation Integration
DE102017121067A1 (en) MANAGEMENT OF THE CONTROL OF MOBILE DEVICES OF VEHICLE SYSTEMS USING GUIDELINES
DE102011017332A1 (en) Method for data communication in a vehicle and data communication device
DE102013221045A1 (en) Method and device for vehicle state control
DE102015208709A1 (en) PROCESS AND DEVICE FOR TEMPORARILY PLANNING THE VEHICLE'S TIMETABLE
WO2022228861A1 (en) Communication system and method for controlling a vehicle function
DE102015207858A1 (en) Method and system for interaction hint tailored to a driver
DE102015104632A1 (en) UPGRADE VEHICLE TELEMATICS
WO2016066245A1 (en) Method for operating a communication system, and communication system
DE102016102580A1 (en) SYSTEM AND METHOD FOR FACILITATING COMMUNICATION BETWEEN A MOBILE RADIO DEVICE AND A VEHICLE COMPUTER SYSTEM
DE102014204589A1 (en) PROCESS AND APPARATUS FOR APPROVING FOR TRANSFERRING SAFE DATA
EP3735688B1 (en) Method, device and computer-readable storage medium having instructions for processing a speech input, motor vehicle, and user terminal with speech processing
DE102016110245A1 (en) METHOD AND DEVICE FOR A VEHICLE-TO-MOBILE PHONE COMMUNICATION
DE102016115956B4 (en) Vehicle data processing system for wireless data communication
DE102017107795A1 (en) VEHICLE COMPUTER SYSTEM FOR AUTHORIZING INSURANCE AND APPROVAL CERTIFICATES
EP3494015B1 (en) Method for performing a function of a vehicle by means of a key device
EP3310081B1 (en) Device authentication of air personnel mobile devices on board aircraft
DE102015219365B4 (en) Create a communication connection between the mobile device and the vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: CARIAD SE, DE

Free format text: FORMER OWNER: AUDI AKTIENGESELLSCHAFT, 85057 INGOLSTADT, DE