DE102019214713A1 - System for the automated actuation of a vehicle door, vehicle and method - Google Patents

System for the automated actuation of a vehicle door, vehicle and method Download PDF

Info

Publication number
DE102019214713A1
DE102019214713A1 DE102019214713.5A DE102019214713A DE102019214713A1 DE 102019214713 A1 DE102019214713 A1 DE 102019214713A1 DE 102019214713 A DE102019214713 A DE 102019214713A DE 102019214713 A1 DE102019214713 A1 DE 102019214713A1
Authority
DE
Germany
Prior art keywords
person
vehicle door
voice
specific authentication
authorized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019214713.5A
Other languages
German (de)
Inventor
Christoph Müller
Nico Schöne
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102019214713.5A priority Critical patent/DE102019214713A1/en
Publication of DE102019214713A1 publication Critical patent/DE102019214713A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/25Means to switch the anti-theft system on or off using biometry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/25Means to switch the anti-theft system on or off using biometry
    • B60R25/257Voice recognition

Abstract

Die Erfindung betrifft ein System (1,1a,..,1c) zum automatisierten Betätigen einer Fahrzeugtür (4a, ... ,4e), aufweisend: eine Speichereinheit (2), eine Recheneinheit (10), welche unter anderem dazu ausgebildet ist, eine Spracherkennung durchzuführen, um einen Sprachbefehl der berechtigten Person zum Betätigen der Fahrzeugtür (4a, ... ,4e) zu erkennen, und welche ferner dazu ausgebildet ist, den erkannten Sprachbefehl zu der relevanten Fahrzeugtür (4a, ... ,4e) zuzuordnen und welche ferner dazu ausgebildet ist, ein Betätigungssignal auf Basis des erkannten Sprachbefehls zu generieren, eine Steuerungseinheit (11), welche zum Empfangen des Betätigungssignals konfiguriert ist und ferner dazu konfiguriert ist, die relevante Fahrzeugtür (4a, ... ,4e) basierend auf dem Betätigungssignal zu betätigen. Ferner betrifft die Erfindung noch ein Verfahren und ein Fahrzeug.The invention relates to a system (1,1a, ..., 1c) for the automated actuation of a vehicle door (4a, ..., 4e), comprising: a memory unit (2), a computing unit (10) which is designed, among other things, for this purpose to perform a voice recognition in order to recognize a voice command of the authorized person to operate the vehicle door (4a, ..., 4e), and which is furthermore designed to transmit the recognized voice command to the relevant vehicle door (4a, ..., 4e) and which is further designed to generate an actuation signal based on the recognized voice command, a control unit (11) which is configured to receive the actuation signal and is further configured to based on the relevant vehicle door (4a, ..., 4e) to operate on the actuation signal. The invention also relates to a method and a vehicle.

Description

Die Erfindung betrifft ein System zum automatisierten Betätigen einer Fahrzeugtür. Ferner betrifft die Erfindung noch ein Fahrzeug mit einem solchen System und ein Verfahren.The invention relates to a system for the automated actuation of a vehicle door. The invention also relates to a vehicle with such a system and a method.

Derzeit sind die meisten Fahrzeuge serienmäßig mit einer Zentralverriegelung ausgestattet, die per Fernbedienung aktiviert werden kann, um das Fahrzeug zu entriegeln. Zum Öffnen der Türe muss der Träger des Zündschlüssels in der Regel einen Türgriff ziehen, um die Tür zu öffnen.Most vehicles are currently equipped with central locking as standard, which can be activated by remote control to unlock the vehicle. To open the door, the person holding the ignition key usually has to pull a door handle to open the door.

Ferner können Fahrzeugtüren mittels Sprachbefehlsdaten geöffnet werden.Vehicle doors can also be opened using voice command data.

Die DE 10 2016 11 2597 A1 offenbart ein Steuersystem für eine Fahrzeugtür, das Folgendes umfasst: eine Servovorrichtung, die an eine Scharnieranordnung zwischen einer Tür und einer Karosserie gekoppelt ist; einen Sensor; und einen Controller: Empfangen eines Signals von dem Sensor; Identifizieren eines erkannten Anwenders aus den Sprachbefehlsdaten innerhalb des Signals; Interpretieren eines Steuerbefehls von den Sprachbefehlsdaten innerhalb des Signals; und Veranlassen der Servovorrichtung, die Tür in Reaktion auf den Steuerbefehl zu bewegen.DE 10 2016 11 2597 A1 discloses a control system for a vehicle door, comprising: a servo device which is coupled to a hinge arrangement between a door and a body; a sensor; and a controller: receiving a signal from the sensor; Identifying a recognized user from the voice command data within the signal; Interpreting a control command from the voice command data within the signal; and causing the servo device to move the door in response to the control command.

Es ist eine Aufgabe der Erfindung, die Betätigung von Fahrzeugtüren, insbesondere von außerhalb des Fahrzeugs, sicherer und komfortabler zu machen.It is an object of the invention to make the operation of vehicle doors, in particular from outside the vehicle, safer and more convenient.

Diese Aufgabe wird gelöst durch ein System zum automatisierten Betätigen einer Fahrzeugtür mit den Merkmalen des Anspruchs 1 sowie ein Fahrzeug mit einem solchen System mit den Merkmalen des Anspruchs 14.This object is achieved by a system for the automated actuation of a vehicle door with the features of claim 1 and a vehicle with such a system with the features of claim 14.

Ferner wird die Aufgabe gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 15.The object is also achieved by a method having the features of claim 15.

In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen. The subclaims list further advantageous measures which can be suitably combined with one another in order to achieve further advantages.

Die Aufgabe wird gelöst durch ein System zum automatisierten Betätigen einer relevanten Fahrzeugtür, aufweisend:

  • eine Speichereinheit in der zumindest ein personenspezifisches Authentifizierungskennzeichen wenigstens einer berechtigten Person zum automatisierten Betätigen einer Fahrzeugtür abgelegt ist,
  • eine Erfassungseinrichtung zum Erkennen einer Annäherung einer Person an eine Fahrzeugtür, und zum Kennzeichnen der Fahrzeugtür als relevant und zum Erfassen des personenspezifischen Authentifizierungskennzeichens der sich nähernden Person,
  • eine Recheneinheit, welche zum Abgleich des erfassten personenspezifischen Authentifizierungskennzeichens mit dem in der Speichereinheit hinterlegten zumindest einen berechtigten personenspezifischen Authentifizierungskennzeichen ausgebildet ist und welche ferner dazu ausgebildet ist, bei Erkennung des personenspezifischen Authentifizierungskennzeichens als berechtigt, eine Spracherkennung durchzuführen, um einen Sprachbefehl der berechtigten Person zum Betätigen der Fahrzeugtür zu erkennen, und welche ferner dazu ausgebildet ist, den erkannten Sprachbefehl zu der relevanten Fahrzeugtür zuzuordnen und welche ferner dazu ausgebildet ist, ein Betätigungssignal auf Basis des erkannten Sprachbefehls zu generieren,
  • eine Steuerungseinheit, welche zum Empfangen des Betätigungssignals konfiguriert ist und ferner dazu konfiguriert ist, die relevante Fahrzeugtür basierend auf dem Betätigungssignal zu betätigen.
The task is solved by a system for the automated actuation of a relevant vehicle door, having:
  • a memory unit in which at least one person-specific authentication identifier of at least one authorized person for the automated actuation of a vehicle door is stored,
  • a detection device for detecting an approach of a person to a vehicle door, and for identifying the vehicle door as relevant and for detecting the person-specific authentication identifier of the approaching person,
  • a computing unit which is designed to match the recorded person-specific authentication identifier with the at least one authorized person-specific authentication identifier stored in the memory unit and which is also designed to perform voice recognition when the person-specific authentication identifier is recognized as being authorized in order to operate a voice command from the authorized person the vehicle door, and which is also designed to assign the recognized voice command to the relevant vehicle door and which is also designed to generate an actuation signal on the basis of the recognized voice command,
  • a control unit configured to receive the actuation signal and further configured to actuate the relevant vehicle door based on the actuation signal.

Unter betätigen einer Fahrzeugtür kann beispielsweise das Öffnen und Schließen der Fahrzeugtür verstanden werden.By actuating a vehicle door, for example, the opening and closing of the vehicle door can be understood.

Personenspezifische Authentifizierungskennzeichen bezeichnen alle Kennzeichen mittels denen eine personenspezifische Authentifizierung möglich ist. Die Authentifizierung sorgt dafür, dass die Identität einer Person gegenüber dem System nachgewiesen und verifiziert werden kann.Person-specific authentication identifiers denote all identifiers by means of which a person-specific authentication is possible. The authentication ensures that the identity of a person can be proven and verified against the system.

Durch den Sprachbefehl der berechtigten Person vom beispielsweise Außen aus, kann das System den Sprachbefehl hören, interpretieren und umsetzen.The system can hear, interpret and implement the voice command through the voice command of the authorized person from outside, for example.

Durch das erfindungsgemäße System können so berechtigte Personen bei Annäherung an das Fahrzeug verbal den Befehl zum Entriegeln/Öffnen der Fahrzeugtür geben. Durch die Verbindung des Sprachbefehls mit der Positionsbestimmung der berechtigten Person kann die gewünschte, relevante Fahrzeugtür bestimmt und geöffnet werden. Dadurch kann auf eine Aktivierung der automatischen Fahrzeugtürentriegelung und Fahrzeugtüröffnung über beispielsweise eine Fußbetätigung/Funkschlüssel verzichtet werden.With the system according to the invention, authorized persons can verbally give the command to unlock / open the vehicle door when they approach the vehicle. By combining the voice command with the position determination of the authorized person, the desired, relevant vehicle door can be determined and opened. As a result, activation of the automatic vehicle door unlocking and vehicle door opening via, for example, foot actuation / radio key can be dispensed with.

Die Recheneinheit kann beispielsweise der oder die Prozessoren eines Fahrzeugs sein.The computing unit can be, for example, the processor or processors of a vehicle.

Die Steuerungseinheit kann beispielsweise zumindest das Steuergerät des Fahrzeugs umfassen, welches als elektronisches Modul ausgestaltet sein kann.The control unit can, for example, comprise at least the control unit of the vehicle, which can be designed as an electronic module.

Eine solche Steuerungseinheit kann Befehle generieren, zum Öffnen der relevanten Fahrzeugtür basierend auf dem Betätigungssignal. Dazu ist die Steuerungseinheit beispielsweise mit einem Türöffnungssystem verbunden.Such a control unit can generate commands to open the relevant vehicle door based on the actuation signal. For this purpose, the control unit is connected to a door opening system, for example.

Durch das erfindungsgemäße System kann das Fahrzeug Sprachbefehle von einem Fahrzeugäußeren als auch von einem Fahrzeuginneren hören, interpretieren und umsetzen. Eine berechtigte Person kann bei Annäherung an das Fahrzeug verbal den Befehl zum Betätigen der relevanten Fahrzeugtür, beispielsweise zum Entriegeln/Öffnen geben. Durch das erfindungsgemäße System wird geschickt die Richtungsbestimmung/Positionsbestimmung der berechtigten Person genutzt, so dass der Sprachbefehl sehr kurz ausfallen kann, beispielsweise „Tür öffnen“, da das Fahrzeug die Position der berechtigten Person und dadurch die relevante Fahrzeugtür erkennt. Dadurch werden lange und umständliche Befehle wie „Seitentür hinten links öffnen“ vermieden. Ferner wird auf unscharfe Begriffe wie links, welche von der Annäherungsseite der berechtigten Person (beispielsweise von vorne; von hinten) abhängen, vermieden. Ein Öffnen der falschen Fahrertür wird somit vermieden.With the system according to the invention, the vehicle can hear, interpret and implement voice commands from the exterior of the vehicle as well as from the interior of the vehicle. When approaching the vehicle, an authorized person can verbally give the command to operate the relevant vehicle door, for example to unlock / open it. The system according to the invention cleverly uses the direction / position determination of the authorized person so that the voice command can be very short, for example “open door”, since the vehicle recognizes the position of the authorized person and thus the relevant vehicle door. This avoids long and cumbersome commands such as “open rear left side door”. Furthermore, vague terms such as left, which depend on the approaching side of the authorized person (for example from the front; from the rear), are avoided. Opening the wrong driver's door is thus avoided.

Durch das erfindungsgemäße System kann beispielsweise eine berechtigte Person, die sich dem Fahrzeug nähert und dabei Gegenstände trägt, und somit keine Hand mehr frei hat, das Fahrzeug an der gewünschten Stelle (Kofferraum / Beifahrerseite...) beladen, ohne die Gegenstände zur Seite stellen zu müssen, um die relevante Fahrzeugtür zu öffnen.With the system according to the invention, for example, an authorized person who approaches the vehicle and carries objects and thus no longer has a free hand can load the vehicle at the desired location (trunk / passenger side ...) without putting the objects aside to have to open the relevant vehicle door.

Vorzugsweise umfasst das personenspezifische Authentifizierungskennzeichen zumindest das Stimmprofil der zumindest einen berechtigten Person. Hierbei kommt die Tatsache zum Tragen, dass die Stimme eines Menschen ebenso einmalig und unverwechselbar ist wie sein Fingerabdruck. Die menschliche Stimme kann als der durch die Stimmlippen eines Menschen erzeugte und in den Mund-, Rachen- und Nasenhöhlen modulierte Schall verstanden werden. Jedes Stimmprofil eines Menschen verfügt über spezielle Eigenschaften, so dass die Identität des Sprechenden dem Stimmprofil zugeordnet werden kann und umgekehrt.The person-specific authentication identifier preferably comprises at least the voice profile of the at least one authorized person. The fact that a person's voice is just as unique and unmistakable as their fingerprint comes into play here. The human voice can be understood as the sound generated by the vocal folds of a person and modulated in the mouth, throat and nasal cavities. Each voice profile of a person has special properties so that the identity of the speaker can be assigned to the voice profile and vice versa.

Weiterhin vorzugsweise umfasst das Stimmprofil zumindest die Stimmbiometrie. Die Stimmbiometrie weist auf die Eigenschaften der Stimme seines Besitzers hin. Diese Stimmbiometrie umfasst beispielsweise Tonhöhe, die Obertöne, die durchschnittliche Frequenz der ersten Formanten, oder andere messbare Stimmbiometrie hinsichtlich der Stimme des Besitzers. Ein solches stimmbiometrisches Stimmprofil bietet eine geschützte wie einfache Authentifizierung einer berechtigten Person.Furthermore, the voice profile preferably comprises at least the voice biometrics. Voice biometrics indicates the characteristics of the voice of its owner. This voice biometry includes, for example, the pitch, the overtones, the average frequency of the first formants, or other measurable voice biometrics with regard to the voice of the owner. Such a voice biometric voice profile offers a protected and simple authentication of an authorized person.

Das stimmbiometrische Stimmprofil ermöglicht somit eine zuverlässige Sprecherauthentifizierung in Sekundenschnelle und ist für die berechtigten Personen sehr bequem anzuwenden.The voice biometric voice profile thus enables reliable speaker authentication in a matter of seconds and is very convenient for authorized persons to use.

Das Stimmprofil kann vorab aufgenommen werden, vorzugsweise durch dasselbe Erfassungssystem, mit dem auch der spätere Sprachbefehl erfasst wird, sodass die Eigenschaften des Erfassungssystems damit ausgeglichen werden. Anschließend kann das Stimmprofil in der Speichereinheit abgelegt werden.The voice profile can be recorded in advance, preferably by the same recording system with which the later voice command is recorded, so that the properties of the recording system are compensated for. The voice profile can then be stored in the memory unit.

Alternativ können auch - beispielsweise durch eine Kommunikationseinheit- bereits vorhandene Stimmprofile in die Speichereinheit übertragen und dort gespeichert werden. Diese werden dann der berechtigten Person zugeordnet.Alternatively, voice profiles that are already present can also be transferred to the storage unit, for example by a communication unit, and stored there. These are then assigned to the authorized person.

Vorzugsweise erfolgt die Authentifizierung des Stimmprofils als auch die Spracherkennung mittels eines oder mehrerer künstlichen Neuronalen Netze, insbesondere eines Deep Learning Netzes. Diese eignen sich besonders gut für eine Spracherkennung und eine Sprachauthentifizierung.The authentication of the voice profile and the speech recognition preferably take place by means of one or more artificial neural networks, in particular a deep learning network. These are particularly suitable for speech recognition and speech authentication.

In weiterer bevorzugter Ausgestaltung liegt dem künstlichen neuronalen Netz ein unüberwachtes oder überwachtes Lernen zugrunde.In a further preferred embodiment, the artificial neural network is based on unsupervised or monitored learning.

Bevorzugt weist die Erfassungseinrichtung zumindest einen akustischen Sensor zum Erfassen des Sprachbefehls auf. Vorzugsweise ist der zumindest eine akustische Sensor als Richtmikrofon ausgebildet.The detection device preferably has at least one acoustic sensor for detecting the voice command. The at least one acoustic sensor is preferably designed as a directional microphone.

Dadurch kann sowohl der Sprachbefehl als auch die Richtung aus der der Sprachbefehl kommt, ermittelt werden. Dadurch kann die relevante Fahrzeugtür der der Sprachbefehl gilt bzw. der der Sprachbefehl zugeordnet ist, ermittelt werden.In this way, both the voice command and the direction from which the voice command is coming can be determined. As a result, the relevant vehicle door to which the voice command applies or to which the voice command is assigned can be determined.

Bevorzugt weist die Speichereinheit ein Codewort auf, insbesondere der Name der berechtigten Person, wobei das Codewort dem zugehörigen Stimmprofil, zugeordnet ist, so dass anhand des Codeworts eine schnellere Authentifikation ermöglicht ist.The memory unit preferably has a code word, in particular the name of the authorized person, the code word being assigned to the associated voice profile, so that faster authentication is made possible on the basis of the code word.

Durch das Codewort kann der Sprachbefehl schneller zu einer -möglicherweise - berechtigten Person zugeordnet werden bzw. schneller überprüft werden, ob diese Person berechtigt ist. Dies bedeutet, dass das System schneller auf einen Sprachbefehl reagiert.By means of the code word, the voice command can be assigned more quickly to a - possibly - authorized person or it can be checked more quickly whether this person is authorized. This means that the system reacts faster to a voice command.

Vorzugsweise ist das Codewort der Name der berechtigten Person. Dieses kann zu einer sicheren Authentifizierung führen, da Eigennamen meist mit der gleichen Betonung ausgesprochen werden.The code word is preferably the name of the authorized person. This can lead to a secure authentication, since proper names are usually pronounced with the same emphasis.

Vorzugsweise umfasst die Erfassungseinrichtung einen optischen Sensor, beispielsweise eine Kamera und/oder ein Surround-View-Kamerasystem, welcher ausgebildet ist, die Annäherung der zumindest einen berechtigten Person an eine Fahrzeugtür des Fahrzeugs zur Identifikation der relevanten Fahrzeugtür zu erkennen und/oder eine Bewegungstrajektorie zur Identifikation der relevanten Fahrzeugtür zu erfassen. Dabei kann ein bereits vorhandenes Surround-View-Kamerasystem oder eine bereits vorhandene Kamera verwendet werden. Anhand solcher Bewegungstrajektorie kann beispielsweise die relevante Fahrzeugtür einfach erkannt werden.The detection device preferably comprises an optical sensor, for example a camera and / or a surround view camera system, which is designed to detect the approach of the at least one authorized person to a vehicle door of the vehicle in order to identify the relevant vehicle door and / or to use a movement trajectory Identification of the relevant vehicle door to be recorded. An existing surround view camera system or an existing camera can be used. The relevant vehicle door, for example, can be easily identified on the basis of such movement trajectories.

In weiterer bevorzugter Ausgestaltung umfasst die Erfassungseinrichtung einen optischen Sensor. Ferner kann das personenspezifische Authentifizierungskennzeichen ein Körperteil, insbesondere das Gesicht, sein. Dieses ist ebenso unverwechselbar wie die Stimme und kann mit dem Authentifizierungskennzeichen „Stimmprofil“ beispielsweise kombiniert werden.In a further preferred embodiment, the detection device comprises an optical sensor. Furthermore, the person-specific authentication identifier can be a part of the body, in particular the face. This is just as unmistakable as the voice and can be combined with the “voice profile” authentication code, for example.

Vorzugsweise ist das Betätigungssignal derart ausgestaltet, dass die Steuerungseinheit ein Öffnen und Schließen der relevanten Fahrzeugtür innerhalb der vorab eingestellten Parameter bewerkstelligt. Dazu ist die Steuerungseinheit beispielsweise mit einem Türöffnungssystem/Türbetätigungssystem datentechnisch bzw. zur Datenübertragung verbunden.The actuation signal is preferably designed in such a way that the control unit opens and closes the relevant vehicle door within the parameters set in advance. For this purpose, the control unit is connected, for example, to a door opening system / door actuation system for data transmission or for data transmission.

Ferner wird die Aufgabe gelöst durch ein Fahrzeug mit einem wie oben beschriebenen System. Das System kann beispielsweise im Rahmen eines Fahrerassistenzsystems in das Fahrzeug integriert werden. Auch kann eine nachträgliche Installation möglich sein.The object is also achieved by a vehicle with a system as described above. The system can, for example, be integrated into the vehicle as part of a driver assistance system. Subsequent installation can also be possible.

Ferner wird die Aufgabe gelöst durch ein Verfahren zum automatisierten Betätigen einer Fahrzeugtür mit den Schritten:

  • - Bereitstellen einer Speichereinheit in der zumindest ein personenspezifisches Authentifizierungskennzeichen wenigstens einer berechtigten Person zum automatisierten Betätigen einer Fahrzeugtür abgelegt ist,
  • - Erkennen einer Annäherung einer Person an eine Fahrzeugtür und kennzeichnen der Fahrzeugtür als relevant und erfassen des personenspezifischen Authentifizierungskennzeichens der sich nähernden Person durch eine Erfassungseinrichtung,
  • - Abgleichen des erfassten personenspezifischen Authentifizierungskennzeichens mit dem in der Speichereinheit hinterlegten zumindest einen berechtigten personenspezifischen Authentifizierungskennzeichen und durchführen einer Spracherkennung bei Erkennung des personenspezifischen Authentifizierungskennzeichens als berechtigt, um einen Sprachbefehl der berechtigten Person zum Betätigen der Fahrzeugtür zu erkennen,
  • - Zuordnen des Sprachbefehls zu der relevanten Fahrzeugtür und
  • - Generieren eines Betätigungssignals auf Basis des erkannten Sprachbefehls,
  • - Empfangen des Betätigungssignals durch eine Steuerungseinheit und betätigen der relevanten Fahrzeugtür basierend auf dem Betätigungssignal.
The object is also achieved by a method for the automated actuation of a vehicle door with the following steps:
  • - Provision of a memory unit in which at least one person-specific authentication identifier of at least one authorized person for the automated actuation of a vehicle door is stored,
  • - Detecting an approach of a person to a vehicle door and marking the vehicle door as relevant and recording the person-specific authentication identifier of the approaching person by a detection device,
  • - Matching of the recorded person-specific authentication identifier with the at least one authorized person-specific authentication identifier stored in the memory unit and performing voice recognition when the person-specific authentication identifier is recognized as authorized in order to recognize a voice command from the authorized person to operate the vehicle door,
  • - Assigning the voice command to the relevant vehicle door and
  • - Generating an actuation signal based on the recognized voice command,
  • - Receipt of the actuation signal by a control unit and actuation of the relevant vehicle door based on the actuation signal.

Die Vorteile des Systems können auf das Verfahren übertragen werden.The advantages of the system can be transferred to the process.

Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:

  • 1: ein erfindungsgemäßes System in einer ersten Ausgestaltung,
  • 2: eine Anwendung des erfindungsgemäßen Systems,
  • 3: eine weitere Ausgestaltung des erfindungsgemäßen Systems,
  • 4: eine weitere Ausgestaltung des erfindungsgemäßen Systems,
  • 5: eine weitere Ausgestaltung des erfindungsgemäßen Systems,
  • 6: ein erfindungsgemäßes Verfahren.
Further features, properties and advantages of the present invention emerge from the following description with reference to the accompanying figures. They show schematically:
  • 1 : a system according to the invention in a first embodiment,
  • 2 : an application of the system according to the invention,
  • 3 : a further embodiment of the system according to the invention,
  • 4th : a further embodiment of the system according to the invention,
  • 5 : a further embodiment of the system according to the invention,
  • 6th : a method according to the invention.

1 zeigt ein Fahrzeug 3 mit verschiedenen Fahrzeugtüren 4a, 4b, 4c, 4d, 4e mit einem erfindungsgemäßen System 1 in einer ersten Ausgestaltung. Dabei wird die Kofferraumtür ebenfalls als Fahrzeugtür 4e bezeichnet. 1 shows a vehicle 3 with different vehicle doors 4a , 4b , 4c , 4d , 4e with a system according to the invention 1 in a first embodiment. The trunk door is also used as a vehicle door 4e designated.

Das erfindungsgemäße System 1 weist eine Speichereinheit 2 auf, in welcher mehrere personenspezifische Authentifizierungskennzeichen, welche hier als Stimmprofile ausgebildet sind, zu einer jeweiligen berechtigten Person gespeichert sind.The system according to the invention 1 has a storage unit 2 in which several person-specific authentication identifiers, which are designed here as voice profiles, are stored for a respective authorized person.

Dabei liegt jedem Stimmprofil eine Stimmbiometrie zugrunde, welche auf die Eigenschaften der Stimme des Benutzers hinweisen. Diese Stimmbiometrie umfasst beispielsweise Tonhöhe, die Obertöne, die durchschnittliche Frequenz der ersten Formanten, oder andere messbare Stimmbiometrie hinsichtlich der Stimme des Benutzers. Ein solches stimmbiometrisches Stimmprofil bietet eine geschützte wie einfache Authentifizierung einer berechtigten Person. Das stimmbiometrische Stimmprofil ermöglicht somit eine zuverlässige Sprecherauthentifizierung in Sekundenschnelle und ist für die berechneten Personen sehr bequem anzuwenden.Each voice profile is based on a voice biometry that indicates the properties of the user's voice. This voice biometry includes, for example, the pitch, the overtones, the average frequency of the first formants, or other measurable ones Voice biometrics in relation to the user's voice. Such a voice biometric voice profile offers a protected and simple authentication of an authorized person. The voice biometric voice profile thus enables reliable speaker authentication in a matter of seconds and is very convenient to use for the calculated people.

Ein stimmbiometrisches Stimmprofil enthält für gewöhnlich mehr als 100 einzigartige Besonderheiten einer Person in Bezug auf seine Stimme. Diese werden einerseits durch physische Faktoren wie die Stimmtrakt-Länge und/oder die Länge der Nasenpassage bestimmt. Auch Schwankungen in der Stimme, etwa wie bei einer Erkältung, führen in der Regel nicht zum Ausfall des Systems 1, da genügend andere Besonderheiten, welche zur Authentifizierung beitragen können, zur Verfügung stehen.A voice biometric profile usually contains more than 100 unique characteristics of a person related to his or her voice. These are determined on the one hand by physical factors such as the length of the vocal tract and / or the length of the nasal passage. Fluctuations in the voice, such as with a cold, usually do not cause the system to fail 1 , since there are enough other special features that can contribute to authentication.

Das Stimmprofil kann vorab zum Abspeichern in den Fahrzeug 3 aufgenommen werden. Vorzugsweise wird das Stimmprofil mit demselben Sensorsystem am Fahrzeug 3 aufgenommen, welche später auch die jeweiligen Sprachbefehle der berechtigten Personen empfangen. Dadurch können Besonderheiten in dem Sensorsystem ausgeglichen werden. Alternativ können bereits vorhandene Stimmprofile, welche beispielsweise für Smart Geräte bereits aufgenommen wurden, übernommen werden. Diese können beispielsweise durch eine drahtlose Kommunikationsschnittstelle am Fahrzeug 3 eingespielt werden.The voice profile can be saved in the vehicle beforehand 3 be included. The voice profile is preferably made with the same sensor system on the vehicle 3 recorded, which later also receive the respective voice commands of the authorized persons. This allows special features in the sensor system to be compensated for. Alternatively, existing voice profiles that have already been recorded for smart devices, for example, can be adopted. This can be done, for example, through a wireless communication interface on the vehicle 3 be imported.

Ferner ist eine Erfassungseinrichtung vorgesehen, welche hier einen oder mehrere optische Sensoren und/oder eine oder mehrere optische Kameras 6 umfasst, zum Erkennen einer Annäherung einer Person an eine Fahrzeugtür 4a, ..., 4e sowie zum Identifizieren der relevanten Fahrzeugtür 4a, ..., 4e.Furthermore, a detection device is provided which here has one or more optical sensors and / or one or more optical cameras 6th comprises, for detecting an approach of a person to a vehicle door 4a, ..., 4e as well as to identify the relevant vehicle door 4a, ..., 4e .

Die optischen Sensoren sind hier beispielsweise an jeder Fahrzeugseite 7a, 7b angeordnet, zum Erfassen der Seitenansicht vom Fahrzeug 3 ausgesehen. Die optische Kamera 6 kann als Frontkamera zum Erfassen der Vorderseite 8 und der Rückseite 9 ausgebildet sein. Es kann aber auch eine andere Anordnung und eine unterschiedliche Anzahl an optischen Sensoren/Kameras vorgesehen sein, oder ein bereits bestehendes Surround- View-System verwendet werden. Die optischen Sensoren und die Kamera 6 erkennen eine Annäherung oder sogar Bewegungstrajektorie einer sich annähernden Person an das Fahrzeug 3 und Erkennen daraus die relevante Fahrzeugtür 4a, ... ,4e.The optical sensors are here, for example, on each side of the vehicle 7a , 7b arranged to detect the side view of the vehicle 3 looked like. The optical camera 6th Can be used as a front camera to capture the front 8th and the back 9 be trained. However, a different arrangement and a different number of optical sensors / cameras can also be provided, or an already existing surround view system can be used. The optical sensors and the camera 6th recognize an approach or even movement trajectory of an approaching person to the vehicle 3 and recognize from it the relevant vehicle door 4a, ..., 4e .

Ferner umfasst die Erfassungseinrichtung 1 mehrere Mikrofone 5a,5b zum gerichteten Erfassen des Sprachbefehls der sich nähernden Person.Furthermore, the detection device comprises 1 multiple microphones 5a , 5b for the directed detection of the voice command of the approaching person.

Dabei sind die Mikrofone 5a,5b vorzugsweise als Richtmikrofone ausgebildet und jeweils an den beiden Fahrzeugseiten 7a, 7b oder beispielsweise an der Vorderseite 8 und an der Rückseite 9 des Fahrzeugs 3 angeordnet. Wahlweise können auch weniger oder mehrere Mikrofone an verschiedenen Stellen angeordnet sein. So langt beispielsweise ein Mikrofon, welches an der Dachantenne angeordnet ist, aus, zum Erfassen der Richtung und des Sprachbefehls der sich nähernden Person. Der Sprachbefehl wird der relevanten Fahrzeugtür 4a, ..., 4e zugeordnet.There are the microphones 5a , 5b preferably designed as directional microphones and each on both sides of the vehicle 7a , 7b or for example on the front 8th and at the back 9 of the vehicle 3 arranged. Optionally, fewer or more microphones can also be arranged at different locations. For example, a microphone which is arranged on the roof antenna is sufficient to detect the direction and the voice command of the approaching person. The voice command is the relevant vehicle door 4a, ..., 4e assigned.

Ferner umfasst das System 1 noch eine Recheneinheit 10, welche zum Abgleich des erfassten Stimmprofils des Sprachbefehls mit denen, in der Speichereinheit 2 hinterlegten berechtigten Stimmprofilen, ausgebildet ist.The system also includes 1 another arithmetic unit 10 which are used to compare the recorded voice profile of the voice command with those in the memory unit 2 stored authorized voice profiles.

Dieser Abgleich kann beispielsweise mittels künstlicher Intelligenz, insbesondere einem künstlichen neuronalen Netz vorgenommen werden, wobei das künstliche neuronale Netz während des Trainings lernt, auf unterschiedliche Aspekte zu achten. This comparison can be carried out, for example, by means of artificial intelligence, in particular an artificial neural network, the artificial neural network learning to pay attention to different aspects during training.

Dabei kann dem künstlichen neuronalen Netz, ein überwachtes maschinelles Lernen oder ein unüberwachtes maschinelles Lernen zugrunde liegen, insbesondere kann der Abgleich auf der Basis Deep Learning Methoden/Algorithmen vorgenommen werden. Diese eignen sich besonders gut für eine Spracherkennung und eine Sprachauthentifizierung.The artificial neural network can be based on monitored machine learning or unsupervised machine learning; in particular, the comparison can be carried out on the basis of deep learning methods / algorithms. These are particularly suitable for speech recognition and speech authentication.

Bei Erkennung des Stimmprofils als berechtigt, wird eine Spracherkennung durchgeführt, um einen Sprachbefehl zum Betätigen der relevanten Fahrzeugtür 4a,..,4e zu erkennen. Diese Spracherkennung kann ebenfalls auf der Basis von künstlichen neuronalen Netzen, insbesondere Deep Learning Methoden durchgeführt werden. Anschließend erzeugt die Recheneinheit 10 ein Betätigungssignal auf Basis des erkannten Sprachbefehls und der erkannten relevanten Fahrzeugtür 4a, ... ,4e. Nähert sich die berechtigte Person wie in 1 der Beifahrertür, hier als Fahrzeugtür 4b gekennzeichnet, und spricht beispielsweise den Befehl „Tür öffnen aus“, so wird ein Betätigungssignal generiert, welches eine Steuerungseinheit 11 dazu veranlasst, die notwendigen Aktionen zum Öffnen der Beifahrertür auszuführen.If the voice profile is recognized as authorized, voice recognition is carried out in order to receive a voice command to operate the relevant vehicle door 4a, .., 4e to recognize. This speech recognition can also be carried out on the basis of artificial neural networks, in particular deep learning methods. The arithmetic unit then generates 10 an actuation signal based on the recognized voice command and the recognized relevant vehicle door 4a, ..., 4e . If the authorized person approaches as in 1 the passenger door, here as a vehicle door 4b and if, for example, the command “open door off” is spoken, an actuation signal is generated, which a control unit 11 prompts you to take the necessary actions to open the passenger door.

2 zeigt eine weitere Anwendung des erfindungsgemäßen System 1. Hier nähert sich die berechtigte Person von hinten an die Rückseite 9 des Fahrzeugs 3 und damit an den Kofferraum mit der Kofferraumtür, hier als Fahrzeugtür 4e, gekennzeichnet, an. 2 shows a further application of the system according to the invention 1 . Here the authorized person approaches the rear from behind 9 of the vehicle 3 and thus to the trunk with the trunk door, here as a vehicle door 4e , marked, on.

Dies wird vom System 1 registriert. Bei dem Befehl „Tür öffnen“, wird nun automatisch die Kofferraumtür geöffnet.This is done by the system 1 registered. With the command "Open door", the trunk door is now opened automatically.

Durch das erfindungsgemäße System 1 kann das Fahrzeug 3 Sprachbefehle von einem Fahrzeugäußeren als auch von einem Fahrzeuginneren hören, interpretieren und umsetzen.With the system according to the invention 1 can the vehicle 3 Hear, interpret and implement voice commands from outside the vehicle as well as from inside the vehicle.

Durch das erfindungsgemäße System 1 kann die berechtigte Person bei Annäherung an das Fahrzeug 3 verbal den Befehl zum Entriegeln/Öffnen geben. Durch das erfindungsgemäße System 1 wird geschickt die Richtungsbestimmung genutzt, so dass der Sprachbefehl sehr kurz ausfallen kann „Tür öffnen“, da das Fahrzeug 3 die Position der berechtigten Person und die relevante Fahrzeugtür 4a,...,4e erkennt.With the system according to the invention 1 the authorized person can approach the vehicle 3 verbally give the command to unlock / open. With the system according to the invention 1 the direction determination is cleverly used so that the voice command can be very brief "open the door" because the vehicle 3 the position of the authorized person and the relevant vehicle door 4a, ..., 4e recognizes.

Dadurch werden lange umständliche Befehle wie „Seitentür hinten links öffnen“ vermieden. Ferner wird auf unscharfe Begriffe wie links, welche von der Annäherungsseite der berechtigten Person (von vorne von hinten) abhängen, vermieden. Ein Öffnen der falschen Fahrzeugtür 4a,...,4e wird somit vermieden.This avoids long, cumbersome commands such as “open rear left side door”. Furthermore, vague terms such as left, which depend on the approaching side of the authorized person (from the front from the back), are avoided. Opening the wrong vehicle door 4a, ..., 4e is thus avoided.

Durch das erfindungsgemäße System 1 kann beispielsweise eine berechtigte Person, die sich dem Fahrzeug 3 nähert und dabei Gegenstände trägt, und somit keine Hand mehr frei hat, das Fahrzeug 3 an der gewünschten Stelle (Kofferraum / Beifahrerseite ...) beladen, ohne die Gegenstände zur Seite stellen zu müssen, um die relevante Fahrzeugtür 4a, ...,4e zu öffnen. Bei den Gegenständen kann es sich zum Beispiel um einen Einkauf/Kind handeln.With the system according to the invention 1 for example, an authorized person who is driving the vehicle 3 approaches and carries objects, and thus no longer has a free hand, the vehicle 3 Load in the desired place (trunk / passenger side ...) without having to put the items to one side around the relevant vehicle door 4a, ..., 4e to open. The objects can be a purchase / child, for example.

Die Fahrzeugtüren 4a,..,4e können beispielsweise als eine Anschlag- bzw. Schwenktür oder als eine Schiebetür ausgebildet sein. Unter dem Betätigen der Fahrzeugtür 4a,..,,4e kann verstanden werden, dass die relevante, gewünschte Fahrzeugtür 4a,..,4e entriegelt wird und beispielsweise so um ein Scharnier oder entlang einer Schiene bewegt wird, dass ein Öffnen innerhalb vorab eingestellter Parameter bewerkstelligt wird, um beispielsweise einzusteigen oder die Gegenstände einzuladen. Die Berechtigung kann ein Öffnen oder Verschließen der relevanten Fahrzeugtür 4a,.. ,4e umfassen.The vehicle doors 4a, .., 4e can for example be designed as a stop or pivot door or as a sliding door. Under operating the vehicle door 4a, .. ,, 4e can be understood as the relevant, desired vehicle door 4a, .., 4e is unlocked and is moved, for example, around a hinge or along a rail that opening is accomplished within preset parameters, for example, in order to get in or load the objects. The authorization can open or close the relevant vehicle door 4a, .., 4e include.

Durch die Verwendung des stimmbiometrischen Stimmprofils ist eine eineindeutige Erkennung, ähnlich den genetischen Fingerabdruck einer Person möglich. Ein solches stimmbiometrisches Stimmprofil bewirkt eine geschützte Authentifizierung der berechtigten Person durch das System 1.Using the voice biometric profile enables one-to-one recognition, similar to a person's genetic fingerprint. Such a voice biometric voice profile causes a protected authentication of the authorized person by the system 1 .

3 zeigt eine weitere Ausgestaltung eines erfindungsgemäßen Systems 1a. Dieses weist wie bereits bei 1 die Speichereinheit 2 auf, in der personenspezifische Authentifizierungskennzeichen von mehreren berechtigten Personen gespeichert sind. Die personenspezifischen Authentifizierungskennzeichen sind hier ebenfalls als stimmbiometrisches Stimmprofil ausgebildet. 3 shows a further embodiment of a system 1a according to the invention. This shows as already at 1 the storage unit 2 in which the person-specific authentication IDs of several authorized persons are stored. The person-specific authentication identifiers are also designed here as a voice biometric voice profile.

Ferner umfasst das erfindungsgemäße System 1a noch eine Erfassungseinrichtung, welche hier als Mikrofone 5a,5b, insbesondere Richtmikrofone, die durch ihre richtungsabhängige Mikrofonempfindlichkeit eine Ausgrenzung von aus seitlichen und rückwärtigen Richtungen kommenden Störsignalen ermöglichen, ausgebildet ist.Furthermore, the system 1 a according to the invention also comprises a detection device, which here as microphones 5a , 5b , in particular directional microphones, which, due to their direction-dependent microphone sensitivity, allow interference signals coming from lateral and rearward directions to be excluded.

Dadurch kann die relevante Fahrzeugtür 4a,...4e, lediglich anhand der Richtung aus der die Stimme bzw. der Sprachbefehl kommt, ermittelt werden. Das erfindungsgemäße System 1a weist wie in 1 eine Recheneinheit 10 zum Empfang der aufgenommenen Sprachbefehle mit stimmbiometrischen Stimmprofil auf.This allows the relevant vehicle door 4a, ... 4e can only be determined on the basis of the direction from which the voice or the voice command is coming. The inventive system 1a has as in 1 an arithmetic unit 10 to receive the recorded voice commands with a voice biometric profile.

Ferner dient die Recheneinheit 10 zum Abgleich des aufgenommenen stimmbiometrischen Stimmprofils mit den in der Speichereinheit 2 hinterlegten berechtigten stimmbiometrischen Stimmprofilen und zur Durchführung -bei Erkennung des aufgenommenen stimmbiometrischen Stimmprofils als berechtigt- der Spracherkennung des Sprachbefehls. Basierend auf dem erkannten Sprachbefehl und der relevanten Fahrzeugtür 4a,...,4e wird ein Betätigungssignal generiert.The arithmetic unit is also used 10 to compare the recorded voice biometric profile with those in the storage unit 2 stored authorized voice biometric voice profiles and to carry out - if the recorded voice biometric voice profile is recognized as authorized - the voice recognition of the voice command. Based on the recognized voice command and the relevant vehicle door 4a, ..., 4e an actuation signal is generated.

Ferner umfasst das erfindungsgemäße System 1a eine Steuerungseinheit 11, welche zum Empfangen des Betätigungssignals konfiguriert ist und ferner dazu konfiguriert ist, die relevante Fahrzeugtür 4a, ...,4e basierend auf dem Betätigungssignal zu Öffnen oder zu Schließen.The system 1a according to the invention further comprises a control unit 11 configured to receive the actuation signal and further configured to open the relevant vehicle door 4a, ..., 4e to open or close based on the actuation signal.

4 umfasst eine weitere Ausgestaltung eines erfindungsgemäßen Systems 1b. Das erfindungsgemäße System 1b weist die Speichereinheit 2 auf, in der die personenspezifischen Authentifizierungskennzeichen der berechtigten Personen gespeichert sind. Die personenspezifischen Authentifizierungskennzeichen sind hier als Gesichtserkennung ausgebildet. 4th comprises a further embodiment of a system 1b according to the invention. The system 1b according to the invention has the memory unit 2 in which the person-specific authentication IDs of the authorized persons are stored. The person-specific authentication identifiers are designed here as face recognition.

Gesichtserkennung bezeichnet die Analyse der Ausprägung sichtbarer Merkmale im Bereich des Kopfes, gegeben durch eine geometrische Anordnung von beispielsweise Augen, Mund und Nase, der oberen Kanten der Augenhöhlen, der Gebiete um die Wangenknochen und der Seitenpartien des Mundes und Textureigenschaften der Haut als auch die Zuordnung des Gesichtes zu einer bestimmten Person. Die Gesichtserkennung kann zu den biometrischen Verfahren gezählt werden. Vorab kann ein Referenzbild oder mehrere Referenzbilder in der Speichereinheit 2 eingespeichert werden.Face recognition describes the analysis of the expression of visible features in the area of the head, given by a geometric arrangement of, for example, eyes, mouth and nose, the upper edges of the eye sockets, the areas around the cheekbones and the side areas of the mouth and texture properties of the skin as well as the assignment of the face of a particular person. Face recognition can be counted among the biometric processes. A reference image or a plurality of reference images can be stored beforehand in the storage unit 2 can be saved.

Ferner umfasst das Erfassungssystem eine Surround-View-Kamera 12, mit welcher eine sich nähernde Person aufgenommen werden kann. Dabei können zudem die Bewegungstrajektorien der sich nähernden Person mittels der Surround-View-Kamera 12 aufgenommen werden und dadurch eine relevante Fahrzeugtür 4a,..., 4e identifiziert werden.The detection system also includes a surround view camera 12th with which an approaching person can be recorded. The movement trajectories of the approaching person can also be seen using the surround view camera 12th and thereby a relevant vehicle door 4a , ..., 4e be identified.

Weiterhin umfasst das Erfassungssystem Richtmikrofone 5a,5b zum Erfassen des Sprachbefehls der sich nähernden Person. Anhand der Richtung des Sprachbefehls kann beispielsweise alternativ oder zusätzlich die relevante Fahrzeugtür 4a, ..., 4e ermittelt werden.The detection system also includes directional microphones 5a , 5b for detecting the voice command of the approaching person. On the basis of the direction of the voice command, the relevant vehicle door can, for example, alternatively or additionally 4a, ..., 4e be determined.

Ferner umfasst das erfindungsgemäße System 1b noch die Recheneinheit 10. Diese ist dazu ausgebildet, anhand des erfassten Gesichtes einen Abgleich mit den in der Speichereinheit 2 abgelegten Referenzbildern von berechtigten Personen abzugleichen.The system 1b according to the invention also includes the computing unit 10 . This is designed to use the captured face to make a comparison with that in the storage unit 2 to match stored reference images from authorized persons.

Dies kann beispielsweise ebenfalls mithilfe eines künstlichen neuronalen Netzes erfolgen. Das künstliche neuronale Netz ist vorzugsweise als Convolutional Neuronal Network ausgebildet. Diese werden vor allem für die Verarbeitung von Bilddaten verwendet. Sie sind im Kern klassische neuronale Netze, die jedoch eine Faltungs- und eine Pooling-Schicht aufweisen. Die Faltungsschicht verarbeitet die erfassten Gesichtsdaten mehrfach hintereinander, doch jeweils immer nur einen Ausschnitt daraus; die Pooling-Schicht reduziert die Ausschnittsdaten auf reduzierte Informationen.This can also be done, for example, with the aid of an artificial neural network. The artificial neural network is preferably designed as a convolutional neural network. These are mainly used for processing image data. At their core, they are classic neural networks, but they have a convolution and a pooling layer. The convolution layer processes the recorded facial data several times in a row, but always only a section of it; the pooling layer reduces the detail data to reduced information.

Die relevante Fahrzeugtür 4a, ..,4e kann hierbei durch die erfasste Bewegungstrajektorie, welche von der Surround-View-Kamera 12 erkannt worden ist, oder durch die Richtung des durch die Richtmikrofone 5a, 5b aufgenommenen Sprachbefehls erkannt werden.The relevant vehicle door 4a, .., 4e can in this case through the movement trajectory recorded by the surround view camera 12th has been detected, or by the direction of the directional microphones 5a , 5b recorded voice command.

Anschließend wird der Sprachbefehl bei Erkennung einer berechtigten Person mittels künstlicher Intelligenz analysiert und das Betätigungssignal generiert. Dieses wird der Steuerungseinheit 11 übermittelt, welche Aktionen zum Ausführen des Betätigungssignals generiert.Then, when an authorized person is recognized, the voice command is analyzed by means of artificial intelligence and the actuation signal is generated. This becomes the control unit 11 transmits which actions are generated for executing the actuation signal.

5 zeigt eine weitere Ausgestaltung eines erfindungsgemäßen Systems 1c. 5 shows a further embodiment of a system 1c according to the invention.

Dieses weist wie in 1 die Speichereinheit 2 auf, in welcher die personenspezifischen Authentifizierungskennzeichen der berechtigten Personen, gespeichert sind, wobei die personenspezifischen Authentifizierungskennzeichen als Stimmprofile ausgebildet sind. Dabei liegt jedem Stimmprofil eine Stimmbiometrie zugrunde, welche auf die Eigenschaften der Stimme des Benutzers hinweisen.As in 1 the storage unit 2 in which the person-specific authentication identifiers of the authorized persons are stored, the person-specific authentication identifiers being designed as voice profiles. Each voice profile is based on a voice biometry that indicates the properties of the user's voice.

Ferner ist zusätzlich zu dem Stimmprofil ein Codewort, beispielsweise der Name der berechtigten Person, hinterlegt und an die personenspezifischen Authentifizierungskennzeichen und an die entsprechenden berechtigten Personen gekoppelt.Furthermore, in addition to the voice profile, a code word, for example the name of the authorized person, is stored and linked to the person-specific authentication identifier and to the corresponding authorized person.

Durch das Codewort kann der Sprachbefehl schneller zu einer -möglicherweise - berechtigten Person zugeordnet werden bzw. schneller überprüft werden, ob diese Person berechtigt ist. Dies bedeutet, dass das System 1c schneller auf einen Sprachbefehl reagiert.By means of the code word, the voice command can be assigned more quickly to a - possibly - authorized person or it can be checked more quickly whether this person is authorized. This means that the system 1c reacts faster to a voice command.

Das Codewort kann auch mit einer der anderen Ausführungsformen kombiniert werden.The code word can also be combined with one of the other embodiments.

Die Authentifizierung mittels Gesichts- bzw. Körpererkennung kann auch in Kombination mit einer Authentifizierung mittels Stimmprofil verwendet werden.Authentication by means of face or body recognition can also be used in combination with authentication by means of a voice profile.

6 zeigt das erfindungsgemäße Verfahren. 6th shows the method according to the invention.

In einem ersten Schritt S1 sind in einer Speichereinheit 2 (1) biometrische Stimmprofile, welche an eine berechtigte Person gekoppelt sind, gespeichert.In a first step S1 are in a storage unit 2 ( 1 ) biometric voice profiles, which are linked to an authorized person, are saved.

Alternativ oder zusätzlich können beispielsweise noch das Gesicht-/oder die Gesichtsmerkmale abgelegt sein und/oder ein Codewort bzw. das Stimmprofil eines Codeworts, beispielsweise der Name, abgelegt sein. Dabei heißt abgelegt, dass das biometrische Stimmprofil, das Codewort und/oder das Gesicht/die Gesichtsmerkmale immer mit einer Person verbunden sind, welche als berechtigte Person bezeichnet wird.Alternatively or in addition, for example, the face / or facial features can also be stored and / or a code word or the voice profile of a code word, for example the name, can be stored. In this context, stored means that the biometric voice profile, the code word and / or the face / facial features are always associated with a person who is referred to as an authorized person.

Diese Person ist berechtigt, Fahrzeugtüren 4a, ... ,4e (1) zu betätigen, beispielsweise zu öffnen.This person is authorized to use vehicle doors 4a, ..., 4e ( 1 ) to operate, for example to open.

In einem zweiten Schritt S2 wird eine Annäherung einer Person an eine Fahrzeugtür 4a, ... ,4e (1) erkannt und diese Fahrzeugtür 4a, ... ,4e (1) als relevant eingestuft.In a second step S2 becomes an approach of a person to a vehicle door 4a, ..., 4e ( 1 ) recognized and this vehicle door 4a, ..., 4e ( 1 ) classified as relevant.

Dies kann beispielsweise mithilfe des optischen Sensors und der Erkennung der Bewegungstrajektorie der Person bewerkstelligt werden.This can be accomplished, for example, with the aid of the optical sensor and the detection of the person's movement trajectory.

Ferner kann dies auch durch einen akustischen Sensor beispielsweise ein Richtmikrofon, bewerkstelligt werden. Dieser ordnet einer empfangenen Stimme eine Richtung zu. Dadurch kann die relevante Fahrzeugtür 4a, ... ,4e (1) erkannt werden.Furthermore, this can also be achieved by an acoustic sensor, for example a directional microphone. This assigns a direction to a received voice. This allows the relevant vehicle door 4a, ..., 4e ( 1 ) be recognized.

In einem dritten Schritt S3 wird das biometrische Stimmprofil und/oder das Gesicht/die Gesichtsmerkmale und gegebenenfalls zusätzlich das Codewort als personenspezifisches Authentifizierungskennzeichen entweder durch den optischen Sensor oder durch das Richtmikrofon erfasst.In a third step S3 the biometric voice profile and / or the face / facial features and possibly also the code word as a person-specific authentication identifier is recorded either by the optical sensor or by the directional microphone.

In einem vierten Schritt S4 wird das biometrische Stimmprofil und/oder das Gesicht/die Gesichtsmerkmale und gegebenenfalls zusätzlich das Codewort mit den korrespondierenden in der Speichereinheit 2 (1) hinterlegten berechtigten personenspezifischen Authentifizierungskennzeichen abgeglichen.In a fourth step S4 the biometric voice profile and / or the face / facial features and possibly also the code word with the corresponding in the memory unit 2 ( 1 ) matched authorized person-specific authentication identifier.

Bei Erkennen einer Berechtigung wird eine Erkennung des Sprachbefehls der berechtigten Person durchgeführt.When an authorization is recognized, the voice command of the authorized person is recognized.

In einem fünften Schritt S5 wird der erkannte Sprachbefehl zu der relevanten Fahrzeugtür 4a, ... ,4e (1) zugeordnet.In a fifth step S5 the recognized voice command is sent to the relevant vehicle door 4a, ..., 4e ( 1 ) assigned.

In einem sechsten Schritt S6 wird ein Betätigungssignal auf Basis des erkannten Sprachbefehls und der erkannten relevanten Fahrzeugtür 4a, ... ,4e (1) generiert.In a sixth step S6 an actuation signal is generated based on the recognized voice command and the recognized relevant vehicle door 4a, ..., 4e ( 1 ) generated.

In einem siebten Schritt S7 wird das generierte Betätigungssignal an die Steuerungseinheit 11 übermittelt und von dieser empfangen. Basierend auf dem Betätigungssignal erzeugt die Steuerungseinheit 11 nun eine Betätigung der relevanten Fahrzeugtür 4a, ... ,4e (1).In a seventh step S7 the generated actuation signal is sent to the control unit 11 transmitted and received by this. The control unit generates based on the actuation signal 11 now an actuation of the relevant vehicle door 4a, ..., 4e ( 1 ).

BezugszeichenlisteList of reference symbols

11
Systemsystem
22
SpeichereinheitStorage unit
33
Fahrzeugvehicle
4a,..,4e4a, .., 4e
FahrzeugtürVehicle door
5a, 5b5a, 5b
RichtmikrofonDirectional microphone
66th
Kameracamera
7a,7b7a, 7b
FahrzeugseiteVehicle side
88th
Vorderseitefront
99
Rückseiteback
1010
RecheneinheitArithmetic unit
1111
SteuereinheitControl unit
1212th
Surround-View-Kamera Surround view camera
S1, ,S7S1,, S7
VerfahrensschritteProcedural steps

Claims (15)

System (1,1a,..,1c) zum automatisierten Betätigen einer Fahrzeugtür (4a, ... ,4e), aufweisend: eine Speichereinheit (2) in der zumindest ein personenspezifisches Authentifizierungskennzeichen wenigstens einer berechtigten Person zum automatisierten Betätigen einer Fahrzeugtür (4a, ... ,4e) abgelegt ist, eine Erfassungseinrichtung zum Erkennen einer Annäherung einer Person an eine Fahrzeugtür (4a, ... ,4e) und zum Kennzeichnen der Fahrzeugtür (4a, ... ,4e) als relevant und zum Erfassen des personenspezifischen Authentifizierungskennzeichens der sich nähernden Person, eine Recheneinheit (10), welche zum Abgleich des erfassten personenspezifischen Authentifizierungskennzeichens mit dem in der Speichereinheit (2) hinterlegten zumindest einen berechtigten personenspezifischen Authentifizierungskennzeichen ausgebildet ist und welche ferner dazu ausgebildet ist, bei Erkennung des personenspezifischen Authentifizierungskennzeichens als berechtigt, eine Spracherkennung durchzuführen, um einen Sprachbefehl der berechtigten Person zum Betätigen der Fahrzeugtür (4a, ... ,4e) zu erkennen, und welche ferner dazu ausgebildet ist, den erkannten Sprachbefehl zu der relevanten Fahrzeugtür (4a, ... ,4e) zuzuordnen und welche ferner dazu ausgebildet ist, ein Betätigungssignal auf Basis des erkannten Sprachbefehls zu generieren, eine Steuerungseinheit (11), welche zum Empfangen des Betätigungssignals konfiguriert ist und ferner dazu konfiguriert ist, die relevante Fahrzeugtür (4a, ... ,4e) basierend auf dem Betätigungssignal zu betätigen.System (1,1a, .., 1c) for the automated actuation of a vehicle door (4a, ..., 4e), comprising: a memory unit (2) in which at least one person-specific authentication identifier of at least one authorized person for the automated actuation of a vehicle door (4a, ..., 4e) is stored, a detection device for detecting an approach of a person to a vehicle door (4a, ..., 4e) and for identifying the vehicle door (4a, ..., 4e) as relevant and for detecting the person-specific authentication identifier of the approaching person, a computing unit (10) which is designed to match the recorded person-specific authentication identifier with the at least one authorized person-specific authentication identifier stored in the memory unit (2) and which is also designed to perform voice recognition when the person-specific authentication identifier is recognized as authorized to perform a Recognize voice command of the authorized person to operate the vehicle door (4a, ..., 4e), and which is also designed to assign the recognized voice command to the relevant vehicle door (4a, ..., 4e) and which is also designed to generate an actuation signal based on the recognized voice command, a control unit (11) which is configured to receive the actuation signal and is further configured to actuate the relevant vehicle door (4a, ..., 4e) based on the actuation signal. System (1,1a,..,1c) nach Anspruch 1, dadurch gekennzeichnet, dass das personenspezifische Authentifizierungskennzeichen zumindest das Stimmprofil der zumindest einen berechtigten Person umfasst.System (1,1a, .., 1c) according to Claim 1 , characterized in that the person-specific authentication identifier comprises at least the voice profile of the at least one authorized person. System (1,1a,..,1c) nach Anspruch 2, dadurch gekennzeichnet, dass das Stimmprofil zumindest die Stimmbiometrie umfasst.System (1,1a, .., 1c) according to Claim 2 , characterized in that the voice profile comprises at least the voice biometrics. System (1,1a,..,1c) nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Authentifizierung des Stimmprofils als auch die Spracherkennung mittels eines oder mehrerer Künstlichen Neuronalen Netze erfolgt.System (1,1a, .., 1c) according to Claim 2 or 3 , characterized in that the authentication of the voice profile as well as the speech recognition takes place by means of one or more artificial neural networks. System (1,1a,..,1c) nach Anspruch 4, dadurch gekennzeichnet, dass dem künstlichen neuronalen Netz ein unüberwachtes oder überwachtes Lernen zugrunde liegt.System (1,1a, .., 1c) according to Claim 4 , characterized in that the artificial neural network is based on unsupervised or monitored learning. System (1,1a,..,1c) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erfassungseinrichtung zumindest einen akustischen Sensor zum Erfassen des Sprachbefehls aufweist.System (1,1a, .., 1c) according to one of the preceding claims, characterized in that the detection device has at least one acoustic sensor for detecting the voice command. System (1,1a,..,1c) nach Anspruch 6, dadurch gekennzeichnet, dass der zumindest eine akustische Sensor als Richtmikrofon (5a, 5b) ausgebildet ist.System (1,1a, .., 1c) according to Claim 6 , characterized in that the at least one acoustic sensor is designed as a directional microphone (5a, 5b). System (1,1a,..,1c) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Speichereinheit (2) ein Codewort aufweist, wobei das Codewort dem zugehörigen Stimmprofil, zugeordnet ist, so dass anhand des Codeworts eine schnellere Authentifikation ermöglicht ist.System (1,1a, .., 1c) according to one of the preceding claims, characterized in that the memory unit (2) has a code word, the code word being assigned to the associated voice profile, so that faster authentication is made possible on the basis of the code word . System (1,1a,..,1c) nach Anspruch 8, dadurch gekennzeichnet, dass das Codewort der Name der berechtigten Person ist.System (1,1a, .., 1c) according to Claim 8 , characterized in that the code word is the name of the authorized person. System (1,1a,..,1c) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erfassungseinrichtung einen optischen Sensor umfasst, welcher ausgebildet ist, die Annäherung der zumindest einen berechtigten Person an eine Fahrzeugtür (4a, ... ,4e) des Fahrzeugs (3) zur Identifikation der relevanten Fahrzeugtür (4a,...4e) zu erkennen und/oder eine Bewegungstrajektorie zur Identifikation der relevanten Fahrzeugtür (4a, ... ,4e) zu erfassen.System (1,1a, .., 1c) according to one of the preceding claims, characterized in that the detection device comprises an optical sensor which is designed to allow the at least one authorized person to approach a vehicle door (4a, ..., 4e ) of the vehicle (3) to identify the relevant vehicle door (4a, ... 4e) and / or to record a movement trajectory to identify the relevant vehicle door (4a, ..., 4e). System (1,1a,..,1c) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erfassungseinrichtung einen optischen Sensor umfasst und das personenspezifische Authentifizierungskennzeichen ein Körperteil ist.System (1,1a, .., 1c) according to one of the preceding claims, characterized in that the detection device comprises an optical sensor and the person-specific authentication identifier is a part of the body. System (1,1a,..,1c) nach Anspruch 11, dadurch gekennzeichnet, dass das Körperteil das Gesicht ist.System (1,1a, .., 1c) according to Claim 11 , characterized in that the body part is the face. System (1,1a,..,1c) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, das das Betätigungssignal derart ausgestaltet ist, dass die Steuerungseinheit (11) ein Öffnen und Schließen der relevanten Fahrzeugtür (4a, ... ,4e) innerhalb der vorab eingestellten Parameter bewerkstelligt.System (1,1a, .., 1c) according to one of the preceding claims, characterized in that the actuation signal is designed such that the control unit (11) opens and closes the relevant vehicle door (4a, ..., 4e) within the parameters set in advance. Fahrzeug (3) mit einem System (1,1a,..,1c) nach einem der vorhergehenden Ansprüche.Vehicle (3) with a system (1,1a, .., 1c) according to one of the preceding claims. Verfahren zum automatisierten Betätigen einer Fahrzeugtür (4a, ... ,4e) gekennzeichnet durch die Schritte: - Bereitstellen einer Speichereinheit (2) in der zumindest ein personenspezifisches Authentifizierungskennzeichen wenigstens einer berechtigten Person zum automatisierten Betätigen einer Fahrzeugtür (4a, ... ,4e) abgelegt ist, - Erkennen einer Annäherung einer Person an eine Fahrzeugtür (4a, ... ,4e) und kennzeichnen der Fahrzeugtür (4a, ... ,4e) als relevant und erfassen des personenspezifischen Authentifizierungskennzeichens der sich nähernden Person durch eine Erfassungseinrichtung, - Abgleichen des erfassten personenspezifischen Authentifizierungskennzeichens mit den in der Speichereinheit (2) hinterlegten zumindest einen berechtigten personenspezifischen Authentifizierungskennzeichen und durchführen einer Spracherkennung bei Erkennung des personenspezifischen Authentifizierungskennzeichens als berechtigt, um einen Sprachbefehl der berechtigten Person zum Betätigen der Fahrzeugtür (4a, ... ,4e) zu erkennen, - Zuordnen des erkannten Sprachbefehls zu der relevanten Fahrzeugtür (4a, ... ,4e) und - Generieren eines Betätigungssignals auf Basis des erkannten Sprachbefehls, - Empfangen des Betätigungssignals durch eine Steuerungseinheit (11) und betätigen der relevanten Fahrzeugtür (4a, ... ,4e) basierend auf dem Betätigungssignal.Method for the automated actuation of a vehicle door (4a, ..., 4e) characterized by the steps: - Provision of a memory unit (2) in which at least one person-specific authentication identifier of at least one authorized person for the automated actuation of a vehicle door (4a, ..., 4e) ) is stored, - Detection of a person approaching a vehicle door (4a, ..., 4e) and marking the vehicle door (4a, ..., 4e) as relevant and recording the person-specific authentication identifier of the approaching person by a detection device, - Matching of the recorded person-specific authentication identifier with the at least one authorized person-specific authentication identifier stored in the storage unit (2) and performing a voice recognition when the person-specific authentication identifier is recognized as authorized in order to receive a voice command from the authorized person to operate the vehicle gtür (4a, ..., 4e), - assignment of the recognized voice command to the relevant vehicle door (4a, ..., 4e) and - generation of an actuation signal based on the recognized voice command, - reception of the actuation signal by a control unit ( 11) and actuate the relevant vehicle door (4a, ..., 4e) based on the actuation signal.
DE102019214713.5A 2019-09-26 2019-09-26 System for the automated actuation of a vehicle door, vehicle and method Pending DE102019214713A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019214713.5A DE102019214713A1 (en) 2019-09-26 2019-09-26 System for the automated actuation of a vehicle door, vehicle and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019214713.5A DE102019214713A1 (en) 2019-09-26 2019-09-26 System for the automated actuation of a vehicle door, vehicle and method

Publications (1)

Publication Number Publication Date
DE102019214713A1 true DE102019214713A1 (en) 2021-04-01

Family

ID=74873248

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019214713.5A Pending DE102019214713A1 (en) 2019-09-26 2019-09-26 System for the automated actuation of a vehicle door, vehicle and method

Country Status (1)

Country Link
DE (1) DE102019214713A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2600263A (en) * 2019-08-29 2022-04-27 Motional Ad Llc Methods for passenger authentication and door operation for autonomous vehicles
US20230060142A1 (en) * 2021-08-27 2023-03-02 Gm Cruise Holdings Llc Verifying authorized personnel for interaction with autonomous vehicles

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19522940A1 (en) * 1995-06-23 1997-01-02 Fraunhofer Ges Forschung Speech recognition system as means of controlling access
DE102016112597A1 (en) * 2015-07-29 2017-02-02 Ford Global Technologies, Llc Active door operation based on voice commands
DE102016209991A1 (en) * 2016-06-07 2017-12-07 Bayerische Motoren Werke Aktiengesellschaft Method and system for non-mechanical operation of a vehicle door and vehicle
WO2019081198A1 (en) * 2017-10-26 2019-05-02 Audi Ag Method for capturing a voice input by a user in an exterior area of a motor vehicle, and motor vehicle
DE112017004397T5 (en) * 2016-11-17 2019-05-23 Robert Bosch Gmbh System and method for classifying hybrid speech recognition results with neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19522940A1 (en) * 1995-06-23 1997-01-02 Fraunhofer Ges Forschung Speech recognition system as means of controlling access
DE102016112597A1 (en) * 2015-07-29 2017-02-02 Ford Global Technologies, Llc Active door operation based on voice commands
DE102016209991A1 (en) * 2016-06-07 2017-12-07 Bayerische Motoren Werke Aktiengesellschaft Method and system for non-mechanical operation of a vehicle door and vehicle
DE112017004397T5 (en) * 2016-11-17 2019-05-23 Robert Bosch Gmbh System and method for classifying hybrid speech recognition results with neural networks
WO2019081198A1 (en) * 2017-10-26 2019-05-02 Audi Ag Method for capturing a voice input by a user in an exterior area of a motor vehicle, and motor vehicle

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2600263A (en) * 2019-08-29 2022-04-27 Motional Ad Llc Methods for passenger authentication and door operation for autonomous vehicles
GB2600263B (en) * 2019-08-29 2022-11-02 Motional Ad Llc Methods for passenger authentication and door operation for autonomous vehicles
US11623611B2 (en) 2019-08-29 2023-04-11 Motional Ad Llc Methods for passenger authentication and door operation for autonomous vehicles
US20230060142A1 (en) * 2021-08-27 2023-03-02 Gm Cruise Holdings Llc Verifying authorized personnel for interaction with autonomous vehicles
US11899446B2 (en) * 2021-08-27 2024-02-13 Gm Cruise Holdings Llc Verifying authorized personnel for interaction with autonomous vehicles

Similar Documents

Publication Publication Date Title
EP1314676B1 (en) Security control system for transporting people with an elevator
DE102007023140A1 (en) Method for recognition or identification of driver of motor vehicle, involves capturing movement or movement sequence of driver or person by camera system
DE102018222761A1 (en) Method for authenticating a vehicle user using the movement data of a mobile electronic identification transmitter
DE102017216837A1 (en) Gesture and facial expression control for a vehicle
DE19838421A1 (en) Access control device for motor vehicle includes fingerprint recognition unit
DE102019214713A1 (en) System for the automated actuation of a vehicle door, vehicle and method
DE102017218542A1 (en) Method for voice control of vehicle functions of a motor vehicle from outside the motor vehicle, roof antenna element for a motor vehicle and motor vehicle with a roof antenna element
DE19824354A1 (en) Device for verifying signals
DE102013222645A1 (en) A detection system in a vehicle for detecting the voice activity of a vehicle occupant
EP2543561B1 (en) Method and system for checking the driving authorisation for a vehicle
WO2017157684A1 (en) Transportation means, and system and method for adapting the length of a permissible speech pause in the context of a speech input
DE102016217026A1 (en) Voice control of a motor vehicle
DE102011011221A1 (en) Method for recognition of attention of driver of motor car and production of activity signal for adaptive cruise control stop and go driver assistance system, involves producing activity signals from determined driver attention
DE102015202467A1 (en) Apparatus and method for controlling access to a vehicle
DE102018007582A1 (en) Motor vehicle and method for processing sound from outside the motor vehicle
DE102016210140A1 (en) Method for determining a right to use a vehicle, operating method for a vehicle and vehicle
DE102018105392A1 (en) Method for identifying at least one person, identification system and vehicle
DE112018006597B4 (en) Speech processing device and speech processing method
DE102008012287A1 (en) User-based device for use in access control system in vehicle, has identification device comprising sensor e.g. acceleration sensor, for detecting biometric data, and evaluation unit providing user authentication and/or user characteristics
DE102020214713A1 (en) Method of distinguishing a real person from a surrogate
DE102008024257A1 (en) Speaker identification method for use during speech recognition in infotainment system in car, involves assigning user model to associated entry, extracting characteristics from linguistic expression of user and selecting one entry
EP4047499A1 (en) Voice control method, voice control system and vehicle with voice control system
WO2001009845A1 (en) Biometric recognition method
WO2019219247A1 (en) Apparatus, system, and method for the automatic configuration of a vehicle, and corresponding vehicle
DE102021129103B3 (en) Method and system for robust vehicle occupant identification

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication