DE102014111883A1 - Access control method for enabling access to functions of a vehicle - Google Patents

Access control method for enabling access to functions of a vehicle Download PDF

Info

Publication number
DE102014111883A1
DE102014111883A1 DE102014111883.9A DE102014111883A DE102014111883A1 DE 102014111883 A1 DE102014111883 A1 DE 102014111883A1 DE 102014111883 A DE102014111883 A DE 102014111883A DE 102014111883 A1 DE102014111883 A1 DE 102014111883A1
Authority
DE
Germany
Prior art keywords
vehicle
access control
unit
camera
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102014111883.9A
Other languages
German (de)
Inventor
c/o DENSO SALES France S.A.R.L. Certin Laurent
c/o DENSO CORPORATION; 1-1 Show Uesaka Hiroto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to DE102014111883.9A priority Critical patent/DE102014111883A1/en
Priority to PCT/JP2015/003776 priority patent/WO2016027419A1/en
Publication of DE102014111883A1 publication Critical patent/DE102014111883A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00309Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated with bidirectional data transmission between data carrier and locks

Abstract

Die Erfindung betrifft ein Zugriffskontrollverfahren zur Gewährung des Zugriffs auf Funktionen eines Fahrzeugs (11) durch ein visuelles Authentifizierungssystem (10), das zumindest eine Mobileinheit (18) und eine Kameraeinheit (22) umfasst. Das Authentifizierungssystem (10) kommuniziert mit einer Fahrzeugeinheit (14). Die Mobileinheit (18) beschafft ein aktuelles Bild eines Fahrzeugnutzers (12) von der Kameraeinheit (22) (S12). Basierend auf diesem Bild wird durch die Mobileinheit (18) eine Nutzerverifikation (S14) durch visuelle Personenerkennung ausgeführt. Die Mobileinheit (18) gibt an die Fahrzeugeinheit (14) eine Authentifizierungsnachricht aus (S16), falls bzw. ob die Nutzerverifikation erfolgreich war.The invention relates to an access control method for granting access to functions of a vehicle (11) by a visual authentication system (10) comprising at least a mobile unit (18) and a camera unit (22). The authentication system (10) communicates with a vehicle unit (14). The mobile unit (18) acquires a current image of a vehicle user (12) from the camera unit (22) (S12). Based on this image, user verification (S14) is performed by visual recognition by the mobile unit (18). The mobile unit (18) issues to the vehicle unit (14) an authentication message (S16) if the user verification was successful.

Description

Die Erfindung betrifft ein Zugriffskontrollverfahren zur Freigabe des Zugriffs auf Funktionen eines Fahrzeugs durch ein visuelles Authentifizierungssystem. Das Authentifizierungssystem umfasst zumindest eine Mobileinheit und eine Kameraeinheit. Es kommuniziert ferner mit einer Fahrzeugeinheit, um die Authentifizierung und die Zugriffsfreigabe auszuführen. The invention relates to an access control method for enabling access to functions of a vehicle by a visual authentication system. The authentication system comprises at least a mobile unit and a camera unit. It also communicates with a vehicle unit to perform the authentication and the access release.

Aus der US 2007/274 576 A1 ist ein System zur Freigabe eines Fahrzeugs bekannt, bei dem eine Zugriffscodebasierte Identifizierung eines Fahrers über ein Mobiltelefon und mittels eines Identifiers erfolgt. Bei einem derartigen System müssen alle für die Durchführung eines Freigabeprozesses erforderlichen Daten in der Fahrzeugeinheit gespeichert werden. Es müssen ferner die jeweiligen Referenzdaten für alle potenziellen Nutzer im Fahrzeug gespeichert sein. Ein derartiges Verfahren ist ungünstig im Hinblick auf die Erweiterung bzw. Aktualisierung der Benutzerliste. Ferner kann nicht sichergestellt werden, dass ein Fahrzeug durch ein gestohlenes Mobiltelefon unerlaubt freigeschaltet wird. From the US 2007/274 576 A1 For example, a system for releasing a vehicle is known in which an access code-based identification of a driver takes place via a mobile telephone and by means of an identifier. In such a system, all data required to perform a release process must be stored in the vehicle unit. Furthermore, the respective reference data must be stored in the vehicle for all potential users. Such a method is unfavorable with regard to the extension or updating of the user list. Furthermore, it can not be ensured that a vehicle is unlocked without authorization by a stolen mobile phone.

Es ist Aufgabe der vorliegenden Erfindung, eine verbesserte Zugriffskontrolltechnik aufzuzeigen. Die Erfindung löst diese Aufgabe durch ein Zugriffskontrollverfahren, ein Softwareprodukt zur Durchführung des Zugriffskontrollverfahrens sowie ein Zugriff-Steuersystem mit den Merkmalen in den eigenständigen Ansprüchen. It is an object of the present invention to provide an improved access control technique. The invention solves this object by an access control method, a software product for performing the access control method, and an access control system having the features in the independent claims.

Bei der Zugriffskontrolltechnik gemäß der vorliegenden Offenbarung wird eine visuelle Authentifizierung durch eine Mobileinheit ausgeführt, die bevorzugt durch ein mobiles Kommunikationsgerät, insbesondere ein Smartphone eines Fahrzeugnutzers bzw. ein dort installiertes Softwareprodukt gebildet ist. Bei der Zugriffskontrolltechnik werden Informationen zumindest zwischen der Mobileinheit und einer Fahrzeugeinheit über elektronische Kommunikation ausgetauscht. In the access control technique according to the present disclosure, a visual authentication is performed by a mobile unit, which is preferably formed by a mobile communication device, in particular a smartphone of a vehicle user or a software product installed there. In the access control technique, information is exchanged at least between the mobile unit and a vehicle unit via electronic communication.

Die Mobileinheit verkörpert zumindest einen funktionalen Abschnitt innerhalb einer Software oder Schaltung, durch das die für die Durchführung eines Zugriffskontrollverfahrens vorgesehenen Schritte ausgeführt werden. Die Mobileinheit kann dabei als Instanz eines Softwareprodukts vorliegen, das beispielsweise von einem Zugriff-Provider-System bereitgestellt und auf einem mobilen Endgerät installiert wird. Das mobile Endgerät kann durch das Installieren und Ausführen des Softwareprodukts dazu angepasst werden, die Schritte des Zugriffskontrollverfahrens, die für die Mobileinheit vorgesehen sind, auszuführen. Alternativ oder zusätzlich kann ein dediziertes Mobilgerät vorgesehen sein, um die Mobileinheit zu verkörpern. Die nachfolgende Beschreiben stellt auf die funktionalen Aspekte der Mobileinheit und die sich daraus ergebende Verteilung der Verfahrensschritte auf die beteiligte Hard- und Softwarekomponenten ab und ist für beliebige dingliche Verkörperungen umsetzbar. The mobile unit embodies at least one functional section within software or circuitry through which the steps provided for performing an access control procedure are performed. The mobile unit can be present as an instance of a software product that is provided, for example, by an access provider system and installed on a mobile terminal. The mobile terminal may be adapted by installing and executing the software product to perform the steps of the access control procedure provided for the mobile unit. Alternatively or additionally, a dedicated mobile device may be provided to embody the mobile unit. The following description focuses on the functional aspects of the mobile unit and the resulting distribution of the method steps on the hardware and software components involved and can be implemented for any real embodiments.

Die Mobileinheit beschafft ein aktuelles Bild eines Fahrzeugnutzers von einer Kameraeinheit, die Zugriff auf zumindest eine Kamera im mobilen Kommunikationsgerät und/oder im Fahrzeug hat. Die Kameraeinheit ist ebenfalls ein funktionaler Abschnitt innerhalb einer Software oder Schaltung. Sie kann als separate Einheit vorliegen oder in die Mobileinheit integriert sein. The mobile unit acquires a current image of a vehicle user from a camera unit that has access to at least one camera in the mobile communication device and / or in the vehicle. The camera unit is also a functional section within a software or circuit. It may be a separate entity or integrated into the mobile unit.

Basierend auf dem aktuellen Bild des Fahrzeugnutzers, das die Kameraeinheit beschafft hat, wird durch die Mobileinheit eine Nutzerverifikation durch visuelle Personenerkennung, insbesondere durch Gesichtserkennung ausgeführt. Die Mobileinheit gibt an die Fahrzeugeinheit eine Authentifizierungsnachricht aus, falls bzw. ob die Nutzerverifikation erfolgreich war. Based on the current image of the vehicle user who has procured the camera unit, the mobile unit performs a user verification by means of visual person recognition, in particular by face recognition. The mobile unit issues an authentication message to the vehicle unit if the user verification was successful.

Auch die Fahrzeugeinheit ist ein funktionaler Abschnitt innerhalb einer Software oder Schaltung. Sie kann ferner in einem eigenständigen Gerät umfasst sein, auf dem die Schritte ausgeführt werden, die in der Zugriffskontrolltechnik für die Fahrzeugeinheit vorgesehen sind. The vehicle unit is also a functional section within a software or circuit. It may also be included in a stand-alone device on which the steps provided in the access control technology for the vehicle unit are performed.

Durch die Fahrzeugeinheit kann in Abhängigkeit von der Authentifizierungsnachricht die Freigabe des Zugriffs auf vorbestimmte Funktionen des Fahrzeugs ausgelöst werden. Die Gewährung des Zugangs zum Fahrzeug kann zeitlich vor oder überlappend mit der visuellen Authentifizierung erfolgen, um eine möglichst bequeme Nutzung zu ermöglichen. The vehicle unit can trigger the release of access to predetermined functions of the vehicle in dependence on the authentication message. The granting of access to the vehicle may be timed before or overlapping with the visual authentication to allow the most convenient use possible.

Es ist bevorzugt zusätzlich vorgesehen, dass die Mobileinheit gegenüber der Fahrzeugeinheit verifiziert wird, d.h. dass eine Geräteverifikation durchgeführt wird. It is preferably additionally provided that the mobile unit is verified relative to the vehicle unit, i. that a device verification is performed.

Bei der Zugriffskontrolltechnik gemäß der vorliegenden Offenbarung ist also eine Nutzerverifikation über visuelle Personenerkennung vorgesehen, die ein aktuell aufgenommenes Bild des Fahrzeugnutzers mit einem Referenz-Erkennungsmuster vergleicht. Ein Erkennungsmuster kann bevorzugt eine geordnete Datenstruktur sein, in der eine Menge von per Bildverarbeitung identifizierbaren visuellen Merkmalen sowie deren absolute oder relative Positionen enthalten sind. In der Praxis sind verschiedene Algorithmen zur elektronischen Generierung von Referenz-Mustern sowie deren Verwendung zur Personenerkennung bekannt. Es werden besonders bevorzugt Gesichtserkennungsmuster eingesetzt. In the access control technology according to the present disclosure, therefore, a user verification via visual person recognition is provided, which compares a currently recorded image of the vehicle user with a reference recognition pattern. A recognition pattern may preferably be an ordered data structure containing a set of image-visualizable visual features and their absolute or relative positions. In practice, various algorithms for the electronic generation of reference patterns and their use for person recognition are known. It is particularly preferred to use face recognition patterns.

Die Erkennung wird auf der Mobileinheit ausgeführt. Die Mobileinheit, bzw. das Gerät auf dem sie verkörpert ist, kann von einem Fahrzeugnutzer mitgeführt werden und über eine eigene (dedizierte) Datenverbindung mit einem Zugriff-Provider-System kommunizieren, um auf aktuelle Nutzerlisten zuzugreifen und/oder Erkennungsdaten, insbesondere Referenz-Erkennungsmuster, mit dem Providersystem auszutauschen. The detection is performed on the mobile unit. The mobile unit, or the device on which it is embodied, may be carried by a vehicle user and communicate via its own (dedicated) data connection with an access provider system in order to access current user lists and / or recognition data, in particular reference recognition patterns to exchange with the provider system.

Durch die vorgeschlagene Zugriffskontrolltechnik werden verschiedene Vorteile erreicht. Einerseits kann ein höheres Maß an Sicherheit geschaffen werden, da eine bildbasierte Nutzerverifikation alternativ oder zusätzlich zu der Geräteverifikation durchgeführt werden kann. Die Mobileinheit kann über in der Praxis geläufige Softwareaktualisierungsverfahren stets auf dem aktuellen Stand gehalten werden. Insbesondere kann ein Softwareprodukt als App auf ein Smartphone des Fahrzeugbenutzers geladen werden, um die Mobileinheit zu bilden. Ferner können an der Mobileinheit dem Fahrzeugnutzer auf besonders komfortable Weise Benutzungs- und Serviceeingaben ermöglicht werden. The proposed access control technique achieves several advantages. On the one hand, a higher degree of security can be created, since an image-based user verification can be performed alternatively or in addition to the device verification. The mobile unit can be kept up-to-date via common software update procedures. In particular, a software product may be loaded as an app on a smartphone of the vehicle user to form the mobile unit. Furthermore, user and service inputs can be made available to the vehicle user in a particularly comfortable manner at the mobile unit.

Verschiedene Funktionen des Fahrzeugs können bei unterschiedlichen Authentifizierungsstufen freigeben werden. Beispielsweise kann ein Zugang zum Fahrzeug bereits dann gewährt werden, wenn eine Geräteverifikation erfolgreich durchgeführt worden ist. Das Aktivieren eines Fahrantriebs, das Öffnen einer Lenkradsperre und/oder das Freigeben einer Energieversorgung für den Fahrantrieb können bevorzugt davon abhängig gemacht werden, dass auch die Nutzerverifikation durch visuelle Personenerkennung erfolgreich abgeschlossen worden ist. Various functions of the vehicle may be released at different levels of authentication. For example, access to the vehicle can already be granted if a device verification has been carried out successfully. The activation of a travel drive, the opening of a steering wheel lock and / or the release of a power supply for the drive can preferably be made dependent on the fact that the user verification has been successfully completed by visual recognition.

Eine Fahrzeugeinheit kann ggfs. nur über Daten verfügen, die für eine Geräteauthentifizierung notwendig sind. Für eine solche Authentifizierung können beliebige vorbekannte Verfahren und Geräte eingesetzt werden. Die Authentifizierung kann ausschließlich solche Merkmale auf Seiten der Mobileinheit abfragen, die als Softwaremerkmale angelegt sind, wie beispielsweise elektronische Signaturen und/oder Benutzer-Anmeldedaten und Passwörter. Alternativ oder zusätzlich kann sie Merkmale abfragen, deren Validität über Hardwarekomponenten sichergestellt wird, wie beispielsweise über codierte RFID-Chips. Derartige Hardwarekomponenten können separat vorliegen oder mit dem Gerät verbunden sein, das die Mobileinheit verkörpert. A vehicle unit may possibly only have data necessary for device authentication. For such authentication, any previously known methods and devices can be used. The authentication may only query those features on the mobile unit's part that are created as software features, such as electronic signatures and / or user credentials and passwords. Alternatively or additionally, it may query features whose validity is ensured by hardware components, such as coded RFID chips. Such hardware components may be separate or connected to the device that embodies the mobile unit.

An der Mobileinheit können Handlungen vorgenommen werden, um einen weiteren Benutzer beim Zugriff-Provider-System anzumelden, die Erlaubnis für einen Zugang und/oder Zugriff auf weitere Fahrzeuge freizuschalten oder Hilfe bzw. Serviceleistungen des Providers in Anspruch zu nehmen. Actions may be taken on the mobile unit to register another user with the access provider system, to clear the permission to access and / or access other vehicles, or to request assistance from the provider.

Die Kameraeinheit, über die ein aktuelles Bild eines Fahrzeugbenutzers beschafft wird, hat Zugriff auf zumindest eine Kamera. Dies kann beispielsweise eine Fahrzeugkamera sein, die bevorzugt auf den Fahrersitz gerichtet ist. Durch diese Ausrichtung kann vorteilhafter Weise sichergestellt werden, dass diejenige Person authentifiziert wird, die tatsächlich das Fahrzeug benutzen möchte. Alternativ oder zusätzlich kann die Kameraeinheit Zugriff auf eine Mobilkamera haben oder eine eigene Mobilkamera umfassen. Unter einer Mobilkamera wird im Weiteren eine in dem Kommunikationsgerät des Fahrzeugnutzers enthaltene Kamera verstanden. Auch eine solche Mobilkamera kann für die Aufnahme des Bildes auf den Fahrersitz bzw. den Kopf eines auf dem Fahrersitz sitzenden Nutzers gerichtet werden. In diesem Bereich am Fahrersitz, insbesondere in der Schulterregion oder an der Kopfstütze, können ein oder mehrere visuelle Marker angeordnet sein, die bei der Authentifizierung erkennbar sind. Ein visueller Marker kann eine codierte Information enthalten, insbesondere eine Identifizierungsinformation für das Fahrzeug, für das eine Zugriffsgewährung erfolgen soll. Es kann gefordert werden, dass während der Beschaffung des aktuellen Bildes des Fahrzeugnutzers zumindest ein visueller Marker in demselben Fokusbereich erkennbar ist, in dem sich Fahrzeugnutzer befindet. Die Position des visuellen Markers im Fahrzeug kann bekannt und ggfs. fest vorgegeben sein. In einem solchen Fall kann durch Referenzierung auf den visuellen Marker auch eine Position des Fahrzeugnutzers, insbesondere seines Gesichtes, im Fahrzeug erfasst werden, um hieraus bspw. auf eine Köpergröße rückzuschließen. The camera unit, via which a current image of a vehicle user is procured, has access to at least one camera. This may for example be a vehicle camera, which is preferably directed to the driver's seat. This orientation can advantageously ensure that the person who actually wishes to use the vehicle is authenticated. Alternatively or additionally, the camera unit may have access to a mobile camera or include its own mobile camera. A mobile camera is understood below to mean a camera contained in the communication device of the vehicle user. Such a mobile camera can also be aimed at the driver's seat or the head of a user seated in the driver's seat for taking the image. In this area on the driver's seat, in particular in the shoulder region or on the headrest, one or more visual markers can be arranged, which are recognizable during the authentication. A visual marker may contain coded information, in particular identification information for the vehicle for which access is to be granted. It may be required that, during the procurement of the current image of the vehicle user, at least one visual marker is recognizable in the same focus area in which the vehicle user is located. The position of the visual marker in the vehicle can be known and possibly fixed. In such a case, by referencing the visual marker, a position of the vehicle user, in particular of his face, can also be detected in the vehicle in order, for example, to deduce it from a body size.

Ein visueller Marker kann beliebig ausgebildet sein. Er kann codiert oder uncodiert sein. Bei einer Codierung kann sich um ein statisches Flächenmuster (bar code / QR-code o. dgl.) handeln, das beispielsweise auf einen Teil des Fahrersitzes oder einen Musterhalter aufgebracht ist. Alternativ kann es sich um ein dynamisches Erkennungsmuster handeln, bspw. das Abstrahlen eines codierten Signals von einer Anzeige oder einem Leuchtindikator (LED). A visual marker can be designed as desired. It can be coded or uncoded. An encoding may be a static surface pattern (bar code / QR code or the like) that is applied, for example, to a part of the driver's seat or a pattern holder. Alternatively, it may be a dynamic detection pattern, for example, the emission of a coded signal from a display or a light indicator (LED).

Durch die gemeinsame und bevorzugt gleichzeitige Erkennung des visuellen Markers und des Fahrzeugnutzers, der sich auf dem Fahrersitz befindet, wird ein besonders hohes Maß an Erkennungssicherheit ermöglicht. By the common and preferably simultaneous recognition of the visual marker and the vehicle user, who is located in the driver's seat, a particularly high degree of detection reliability is made possible.

Der Zugriff der Kameraeinheit auf eine Kamera kann nur temporär vorliegen, insbesondere für die Beschaffung eines aktuellen Bildes des Fahrzeugnutzers. Alternativ kann sie dauerhaft vorgesehen sein. Ferner kann ggfs. während der Durchführung eines Zugriffskontrollverfahrens zwischen verschiedenen Kameras gewechselt werden oder es können mehrere Bildaufnahmen von unterschiedlichen Kameras beschafft werden, die jeweils einzeln oder gemeinsam zur Durchführung der Personenerkennung ausgewertet werden. Es kann insbesondere vorgesehen sein, dass mehrere Fahrzeugkameras vorgesehen sind, die den Fahrzeugbenutzer aus unterschiedlichen Perspektiven aufnehmen. The access of the camera unit to a camera can be present only temporarily, in particular for the acquisition of a current image of the vehicle user. Alternatively, it may be provided permanently. Furthermore, if necessary, during the execution of an access control procedure, it is possible to switch between different cameras or it is possible to procure a plurality of image recordings from different cameras, which are evaluated individually or jointly for carrying out the person recognition. It may be provided, in particular, that a plurality of vehicle cameras are provided, which receive the vehicle user from different perspectives.

Ferner kann die Kameraeinheit ggf. mit anderen Kameras zusammenwirken, wie beispielsweise einer an einem PC installierten Kamera oder einer Kamera, die an einer Servicestelle des Providers für die Neueinrichtung von Benutzer-Accounts vorgesehen ist. Furthermore, the camera unit can optionally cooperate with other cameras, such as a camera installed on a PC or a camera, which is provided at a service point of the provider for the re-establishment of user accounts.

Die visuelle Personenerkennung wird bevorzugt auf Basis eines Referenz-Erkennungsmusters, insbesondere in der Form eines Gesichtserkennungsmusters ausgeführt. Das Referenz-Erkennungsmuster wird bevorzugt in einem Lernprozess unter Verwendung von Bildaufnahmen des Fahrzeugnutzers erstellt. Das Referenz-Erkennungsmuster kann beispielsweise an einer Servicestelle bei einer Erstanmeldung des Nutzers erzeugt und in einem Datenspeicher des Zugriff-Provider-Systems abgelegt werden. Es kann nachfolgend zum Download auf die Mobileinheit bereitgestellt werden. Alternativ oder zusätzlich kann ein Referenz-Erkennungsmuster unter Verwendung der Mobileinheit neu erzeugt und an das Access-Provider-System übertragen werden. Dort kann es vor der ersten Freischaltung weiteren Prüfungen unterzogen werden, wie beispielsweise einer manuellen Kontrolle und/oder einer Gegenüberstellung zu einem Bild des Fahrzeugnutzers auf einem Ausweisdokument etc. Alternativ können andere Verfahren oder Abläufe zur Erzeugung oder sonstigen Beschaffung eines Referenz-Erkennungsmusters vorgesehen sein, wie beispielsweise eine Übernahme von Erkennungsmustern von externen Diensten, die ebenfalls eine Personenerkennung betreffen. Dies kann beispielsweise ein Zugangs-Kontrollsystem eines Unternehmens oder ein öffentliches Personenerkennungssystem sein. The visual person recognition is preferably carried out on the basis of a reference recognition pattern, in particular in the form of a face recognition pattern. The reference recognition pattern is preferably created in a learning process using image captures of the vehicle user. The reference recognition pattern can be generated, for example, at a service point when the user first logs in and stored in a data store of the access provider system. It may subsequently be provided for download to the mobile unit. Alternatively or additionally, a reference recognition pattern may be recreated using the mobile unit and transmitted to the access provider system. There may be subjected to further tests before the first activation, such as a manual control and / or a comparison to a picture of the vehicle user on a passport document, etc. Alternatively, other methods or procedures for the generation or other procurement of a reference recognition pattern may be provided such as a takeover of recognition patterns from external services, which also relate to a person recognition. This may be, for example, an enterprise access control system or a public person recognition system.

Es ist ferner bevorzugt vorgesehen, dass ein Referenz-Erkennungsmuster in einem Lernverfahren aktualisiert wird. Dies ist beispielsweise sinnvoll, um die Erkennungsdaten bzw. Musterdaten dem sich gegebenenfalls ändernden Aussehen eines Fahrzeugnutzers anzupassen. Das Lernverfahren kann an einer Servicestelle des Providers, einem externen PC und/oder auf der Mobileinheit durchgeführt werden. Bevorzugt können bei dem Lernverfahren aktualisierte Referenz-Erkennungsmuster mit dem Zugriff-Provider-System ausgetauscht werden, damit diese auch zentral überprüft und ggf. mit anderen Mobileinheiten geteilt werden können. It is further preferred that a reference recognition pattern is updated in a learning process. This makes sense, for example, to adapt the recognition data or pattern data to the possibly changing appearance of a vehicle user. The learning process can be performed at a service point of the provider, an external PC and / or on the mobile unit. Preferably, in the learning method, updated reference recognition patterns can be exchanged with the access provider system, so that they can also be checked centrally and possibly shared with other mobile units.

Für das Fahrzeug ist bevorzugt ein Zugriff-Steuersystem vorgesehen, dass zumindest die am Fahrzeug angeordnete Fahrzeugeinheit und ein Kommunikationsmodul umfasst. Zwischen der Fahrzeugeinheit und der Mobileinheit können über das Kommunikationsmodul Daten zur Durchführung einer Geräteverifikation sowie Authentifizierungsnachrichten über eine Nutzerverifikation ausgetauscht werden. Das Zugriff-Steuersystem kommuniziert somit mit dem Authentifizierungssystem und wirkt mit diesem derart zusammen, dass das Zugriff-Steuersystem einen Zugriff auf die Funktionen des Fahrzeugs nur freigibt, wenn das Authentifizierungssystem mitteilt, dass die Nutzerverifikation durch visuelle Personenerkennung erfolgreich war. For the vehicle, an access control system is preferably provided, which comprises at least the vehicle unit arranged on the vehicle and a communication module. Between the vehicle unit and the mobile unit, data for performing device verification and authentication messages can be exchanged via the communication module via a user verification. The access control system thus communicates with and interacts with the authentication system such that the access control system only enables access to the functions of the vehicle when the authentication system notifies that the user verification by visual person recognition was successful.

In den Unteransprüchen sind weitere vorteilhafte Ausbildungen der Zugriffskontrolltechnik angegeben. In the subclaims further advantageous embodiments of the access control technique are given.

Die Erfindung ist in den Zeichnungen beispielsweise und schematisch dargestellt. Es zeigen: The invention is illustrated by way of example and schematically in the drawings. Show it:

1: eine schematische Erläuterungsdarstellung der Zugriffskontrolltechnik und seiner Komponenten; 1 : a schematic explanatory illustration of the access control technology and its components;

2: ein Sequenzdiagramm zur Erläuterung der Ausführung eines Zugriffskontrollverfahrens. 2 : A sequence diagram for explaining the execution of an access control method.

Bei der hier offenbarten Zugriffskontrolltechnik wirken Hardware- und Softwarekomponenten zusammen, die in verschiedener Weise auf ein mobiles Kommunikationsgerät (20), ein Fahrzeug (11) bzw. eine dort angeordnetes Steuergerät sowie ein Zugriff-Providersystem (16) verteilt sein können. Es können auch weitere Datenverarbeitungsgeräte an der Zugriffskontrolltechnik beteiligt sein, wie beispielsweise ein PC in einer Servicestelle des Zugriffs-Providers oder ein privater PC, auf den eine Einrichtungs- oder Anmeldesoftware installiert wird. Die nachfolgende Beschreibung geht davon aus, dass auf einem mobilen Kommunikationsgerät (20) in Form eines Smartphones des Fahrzeugnutzers (12) ein Softwareprodukt installiert ist, welches die Funktionen der Mobileinheit (18) ausführt. In the access control technique disclosed herein, hardware and software components interact in various ways with a mobile communication device (FIG. 20 ), a vehicle ( 11 ) or one there arranged control device and an access provider system ( 16 ) can be distributed. Other data processing devices may also be involved in the access control technique, such as a PC at a service provider of the access provider or a private PC on which a setup or login software is installed. The following description assumes that on a mobile communication device ( 20 ) in the form of a smartphone of the vehicle user ( 12 ) a software product is installed, which the functions of the mobile unit ( 18 ).

In 1 ist eine bevorzugte Ausführungsvariante der Zugriffskontrolltechnik skizziert, bei der ein visuelles Authentifizierungssystem (10) eine Mobileinheit (18) und eine Kameraeinheit (22) umfasst. Das visuelle Authentifizierungssystem bildet zusammen mit einem Zugriff-Steuersystem (13) und ggfs. einem Zugriff-Provider-System (16) ein Gesamtsystem, durch das die vorgeschlagene Zugriffskontrolltechnik ausgeführt wird. In 1 a preferred embodiment of the access control technique is sketched, in which a visual authentication system ( 10 ) a mobile unit ( 18 ) and a camera unit ( 22 ). The visual authentication system together with an access control system ( 13 ) and possibly an access provider system ( 16 ) an overall system by which the proposed access control technique is performed.

Das Zugriff-Steuersystem (13), das mit dem visuellen Authentifizierungssystem (10) zusammenarbeitet, ist am Fahrzeug (11) angeordnet und umfasst eine Fahrzeugeinheit (14) und ggf. eine Fahrzeugkamera (24). Die Fahrzeugeinheit (14) kann als Softwareprodukt oder Teil einer Schaltung vorliegen. Sie kann innerhalb eines bestehenden Steuergerätes des Fahrzeugs (11) oder durch ein separates und dediziert für die Zugriffskontrolltechnik vorgesehenes Gerät verkörpert sein. Die Fahrzeugkamera (24) kann ein eigenständiges technisches Gerät sein, das von der Fahrzeugeinheit (14) unabhängig ist, beispielsweise eine ohnehin vorhandene Innenraumkamera des Fahrzeugs (11). Alternativ oder zusätzlich kann eine Fahrzeugkamera (24) vorgesehen sein, die ein Bestandteil des dediziert für die Verkörperung der Fahrzeugeinheit (14) vorgesehenen Geräts ist. Es können auch mehrere Fahrzeugkameras (24) vorgesehen sind, die einzeln oder gemeinsam sowie nacheinander oder gleichzeitig zur Beschaffung eines Bildes des Fahrzeugnutzers (12) genutzt werden. The access control system ( 13 ) with the visual authentication system ( 10 ) is on the vehicle ( 11 ) and comprises a vehicle unit ( 14 ) and possibly a vehicle camera ( 24 ). The vehicle unit ( 14 ) may be present as a software product or part of a circuit. It can be used within an existing vehicle control unit ( 11 ) or by a separate device dedicated to the access control technology. The vehicle camera ( 24 ) may be a stand-alone technical device which is provided by the vehicle unit ( 14 ) is independent, for example, an already existing interior camera of the vehicle ( 11 ). Alternatively or additionally, a vehicle camera ( 24 ), which is a component of the dedicated vehicle body unit ( 14 ) is provided. It can also be several vehicle cameras ( 24 ) are provided, individually or jointly and in succession or at the same time for acquiring an image of the vehicle user ( 12 ) be used.

Das Fahrzeug (11) kann beispielsweise ein Leihwagen oder ein in einem Car-sharing Netzwerk betriebenes Fahrzeug sein. Es kann sich ferner um ein Flottenfahrzeug eines Unternehmens handeln. Alternativ kann es sich um ein beliebiges anderes Fahrzeug handeln, das von mehreren Fahrzeugnutzern (12) bedienbar sein soll, ohne dass diese über einen physischen Fahrzeugschlüssel verfügen. The vehicle ( 11 ) may be, for example, a rental car or a vehicle operated in a car-sharing network. It can also be a fleet vehicle of a company. Alternatively, it may be any other vehicle used by multiple vehicle users ( 12 ) should be operable without them having a physical vehicle key.

Durch das visuelle Authentifizierungssystem (10) wird überprüft, ob ein Benutzer berechtigt ist auf bestimmte Funktionen des Fahrzeugs zuzugreifen sowie ggfs. ob ein Fahrzeugnutzer (12) zu dem Fahrzeug (11) Zugang erhalten soll. Es können unterschiedliche Berechtigungen und unterschiedliche Authentifizierungsschritte für die Gewährung des Zugangs und/oder die Gewährung von Zugriff auf bestimmte Funktionen des Fahrzeugs vorgesehen sein. Welche Befugnisse für einen Fahrzeugnutzer (12) in Bezug auf ein bestimmtes Fahrzeug (11) vorgesehen sind, kann durch das Zugriff-Provider-System (16) festgelegt sein. Hierfür weist das Zugriff-Provider-System (16) bevorzugt geordnete Datenstrukturen auf, in denen Informationen über einen oder mehrere Fahrzeugnutzer, jeweils zugeordnete Fahrzeuge sowie ggf. über gespeicherte Referenz-Erkennungsmuster, insbesondere Gesichtserkennungsmuster, abgelegt sind. Through the visual authentication system ( 10 ), it is checked whether a user is authorized to access certain functions of the vehicle and, if so, whether a vehicle user ( 12 ) to the vehicle ( 11 ) Access. Different authorizations and different authentication steps may be provided for granting access and / or granting access to certain functions of the vehicle. Which powers for a vehicle user ( 12 ) with respect to a particular vehicle ( 11 ) can be determined by the access provider system ( 16 ). For this, the access provider system ( 16 ) preferably ordered data structures in which information about one or more vehicle users, respectively assigned vehicles and possibly stored on the reference recognition pattern, in particular face recognition pattern, are stored.

Das visuelle Authentifizierungssystem (10), insbesondere ein auf dem mobilen Kommunikationsgerät (20) ausgeführtes Softwareprodukt, durch das die Mobileinheit (18) gebildet wird, kann über jeweilige Kommunikationsmodule (19, 17) mit dem Zugriff-Provider-System (16) Daten austauschen. Insbesondere kann die Mobileinheit (18) einen aktuellen Datensatz in Bezug auf einen Fahrzeugnutzer (12) aus dem Providersystem abrufen. Der Abruf kann durch Auslösung einer entsprechenden Softwarefunktion erfolgen, die der Fahrzeugnutzer (12) am Mobilteil (18) aufruft. Alternativ oder zusätzlich kann die Mobileinheit (18) sich in regelmäßigen Abständen oder eventbasiert mit dem Zugriff-Provider-System (16) synchronisieren. The visual authentication system ( 10 ), in particular one on the mobile communication device ( 20 ) executed software product by which the mobile unit ( 18 ) is formed, via respective communication modules ( 19 . 17 ) with the access provider system ( 16 ) Exchange data. In particular, the mobile unit ( 18 ) a current record relating to a vehicle user ( 12 ) from the provider system. The retrieval can be done by triggering a corresponding software function that the vehicle user ( 12 ) on the handset ( 18 ). Alternatively or additionally, the mobile unit ( 18 ) is periodically or event-based with the access provider system ( 16 ) synchronize.

Das visuelle Authentifizierungssystem (10) umfasst neben der Mobileinheit (18) die Kameraeinheit (22). Diese bietet zumindest für die Durchführung einer Personenverifikation Zugriff auf zumindest eine Kamera (23, 24) und verfügt bevorzugt über Mechanismen zur Prüfung eines Aufnahmezeitpunktes sowie einer Hardwareidentität einer Kamera (23, 24). The visual authentication system ( 10 ) next to the mobile unit ( 18 ) the camera unit ( 22 ). This offers at least for the implementation of a person verification access to at least one camera ( 23 . 24 ) and preferably has mechanisms for checking a recording time and a hardware identity of a camera ( 23 . 24 ).

Mit anderen Worten kann durch die Kameraeinheit (22) eine Datenverbindung zu einer Mobilkamera (23), einer Fahrzeugkamera (24) oder einer anderen zur Aufnahme von Bildern eines Fahrzeugnutzers (12) geeigneten Kamera hergestellt werden kann. Es ist bevorzugt vorgesehen, dass die Kameraeinheit (22) eine Kamera (23, 24) über geeignete Verfahren identifizieren, authentifizieren und ansteuern kann. Ferner ist bevorzugt vorgesehen, dass durch eine Kamera (23, 24) eine Bildaufnahme mit einem verifizierbaren Aufnahmezeitpunkt erstellt und an die Mobileinheit (18) übertragen wird. Die Datenübertragung kann bevorzugt über drahtlose und ggfs. verschlüsselte Kommunikation erfolgen. Hierfür können entsprechend an dem mobilen Kommunikationsgerät (20) bzw. einer Kamera (24) Kommunikationsmodule (19, 25) vorgesehen sein. Bei Verwendung einer internen Kamera (23) des mobilen Kommunikationsgeräts (20) kann ein Direktzugriff auf die Hardware des mobilen Kommunikationsgeräts (20) erfolgen. In other words, the camera unit ( 22 ) a data connection to a mobile camera ( 23 ), a vehicle camera ( 24 ) or another for taking pictures of a vehicle user ( 12 ) suitable camera can be made. It is preferably provided that the camera unit ( 22 ) a camera ( 23 . 24 ) can identify, authenticate and control via suitable procedures. Furthermore, it is preferably provided that by a camera ( 23 . 24 ) creates an image recording with a verifiable recording time and to the mobile unit ( 18 ) is transmitted. The data transmission may preferably take place via wireless and possibly encrypted communication. For this purpose, according to the mobile communication device ( 20 ) or a camera ( 24 ) Communication modules ( 19 . 25 ) be provided. at Using an internal camera ( 23 ) of the mobile communication device ( 20 ) can provide direct access to the hardware of the mobile communication device ( 20 ) respectively.

In 2 ist der Ablauf eines Zugriffskontrollverfahrens gemäß der vorliegenden Offenbarung in einer bevorzugten Ausführungsvariante dargestellt. Bei dem Zugriffskontrollverfahren wird zumindest eine Kommunikation zwischen dem Zugriff-Steuersystem (13), insbesondere der Fahrzeugeinheit (14), und dem visuellen Authentifizierungssystem (10) durchgeführt, wobei das Authentifizierungssystem (10) die Mobileinheit (18) und die Kameraeinheit (22) umfasst. In 2 the flow of an access control method according to the present disclosure is shown in a preferred embodiment. In the access control method, at least one communication between the access control system ( 13 ), in particular the vehicle unit ( 14 ), and the visual authentication system ( 10 ), the authentication system ( 10 ) the mobile unit ( 18 ) and the camera unit ( 22 ).

Die Reihenfolge der Verfahrensschritte (S10 bis S18) kann der Darstellung in 2 entsprechen. Alternativ können eine Geräteverifikation und eine Nutzerverifikation in umgekehrter Reihenfolge durchgeführt werden. Eine Geräteverifikation (S10) kann ggfs. weggelassen oder durch einen anderen Verfahrensschritt ersetzt sein. Ferner können zusätzliche Zwischenschritte vorgesehen sein, auf die weiter unten eingegangen wird. The order of the method steps (S10 to S18) can be seen in FIG 2 correspond. Alternatively, device verification and user verification may be performed in reverse order. A device verification (S10) may possibly be omitted or replaced by another method step. Furthermore, additional intermediate steps may be provided, which will be discussed below.

Es wird angenommen, dass ein Fahrzeugnutzer (12) sich bereits bei einem Zugriff-Provider-System (16) angemeldet und zugehörige Personenerkennungsdaten, insbesondere ein Gesichtserkennungsmuster für den Fahrzeugnutzer (12), hinterlegt worden sind. Ferner wird angenommen, dass der Fahrzeugnutzer (12) bei erfolgreicher Geräte- und Nutzerverifikation eine Freigabe sowohl für den Zugang zum Fahrzeug (11) als auch zur Nutzung von Fahrzeugfunktionen erhalten soll. It is assumed that a vehicle user ( 12 ) already in an access provider system ( 16 ) and associated person recognition data, in particular a face recognition pattern for the vehicle user ( 12 ), have been deposited. It is further assumed that the vehicle user ( 12 ) upon successful device and user verification, a release for both access to the vehicle ( 11 ) as well as to use vehicle functions.

Wenn sich der Fahrzeugnutzer (12) dem Fahrzeug (11) nähert, werden über das am mobilen Kommunikationsgerät (20) angeordnete Kommunikationsmodul (19) und das an der Fahrzeugeinheit (14) angeordnete Kommunikationsmodul (15) Identifizierungsinformationen sowie Anmeldeinformationen ausgetauscht. Dies erfolgt bevorzugt über drahtlose Nahbereichskommunikationssysteme wie Bluetooth, WLAN oder dergleichen. Die Mobileinheit (18) kann über einen Identifizierungsschlüssel und ggf. über ein Passwort bei der Fahrzeugeinheit (14) angemeldet und identifiziert werden. Das Passwort kann ggfs. von dem Fahrzeugnutzer (12) an der Mobileinheit (18) eingegeben werden. Die Passworteingabe kann zur Ermöglichung einer komfortablen Systembedienung auch mit zeitlichem Vorlauf erfolgen. When the vehicle user ( 12 ) the vehicle ( 11 ), are transmitted via the mobile communication device ( 20 ) arranged communication module ( 19 ) and that on the vehicle unit ( 14 ) arranged communication module ( 15 ) Identification information as well as credentials exchanged. This is preferably done via wireless short-range communication systems such as Bluetooth, WLAN or the like. The mobile unit ( 18 ) can be sent via an identification key and possibly via a password to the vehicle unit ( 14 ) are registered and identified. The password may possibly. By the vehicle user ( 12 ) on the mobile unit ( 18 ). The password input can be made to allow a comfortable system operation also with time lead.

Mit anderen Worten verifiziert sich die Mobileinheit (18) gegenüber dem Fahrzeug (11) als berechtigtes Gerät zur Durchführung des Zugriffkontrollverfahrens. In 2 ist dieser Vorgang als Schritt (S10) dargestellt. In other words, the mobile unit verifies itself ( 18 ) opposite the vehicle ( 11 ) as an authorized device for performing the access control procedure. In 2 This process is shown as step (S10).

Bei einer erfolgreichen Geräteverifikation (S10) kann die Zentralverriegelung des Fahrzeugs (11) geöffnet werden, um dem Fahrzeugnutzer (12) den Zugang zum Fahrzeuginnenraum zu gewähren. Ferner kann durch die erfolgreiche Geräteverifikation (S10) die Ausführung der Nutzerverifikation gestartet werden. Alternativ kann die Ausführung der Nutzerverifikation durch ein anderes Ereignis, insbesondere durch einen manuellen Funktionsaufruf an der Mobileinheit (18) oder der Fahrzeugeinheit (14) gestartet werden. In case of a successful device verification (S10) the central locking of the vehicle ( 11 ) are opened to the vehicle user ( 12 ) to grant access to the vehicle interior. Furthermore, the execution of the user verification can be started by the successful device verification (S10). Alternatively, the execution of the user verification by another event, in particular by a manual function call to the mobile unit ( 18 ) or the vehicle unit ( 14 ) are started.

Im nächsten Schritt (S12) beschafft die Mobileinheit (18) über die Kameraeinheit (22) ein aktuelles Bild des Fahrzeugnutzers (12). Hierzu greift die Kameraeinheit (22) auf eine oder mehrere Kameras (23, 24) zu und leitet die Aufnahme des Bildes ein und überwacht die Übermittlung eines aktuell aufgenommenen Bildes. Es kann vorgesehen sein, dass an der Mobileinheit (18) und/oder an der Fahrzeugeinheit (14) ein unterstützendes Bedienungsmenü angezeigt wird. Beispielsweise kann über ein Display des mobilen Kommunikationsgeräts (20) das derzeit von einer Kamera (23, 24) verfügbare Bild angezeigt werden. Ferner kann dem Fahrzeugnutzer (12) die Möglichkeit gegeben werden, die Aufnahme des für die Nutzerverifikation zu verwendenden Bildes auszulösen bzw. aus einer Mehrzahl von aufgenommenen Bildern ein zu verwendendes Bild auszuwählen. In the next step (S12), the mobile unit acquires ( 18 ) via the camera unit ( 22 ) a current picture of the vehicle user ( 12 ). For this, the camera unit ( 22 ) to one or more cameras ( 23 . 24 ) and initiates the recording of the image and monitors the transmission of a currently recorded image. It may be provided that at the mobile unit ( 18 ) and / or on the vehicle unit ( 14 ) a supporting operation menu is displayed. For example, via a display of the mobile communication device ( 20 ) currently being used by a camera ( 23 . 24 ) available image. Furthermore, the vehicle user ( 12 ) be given the opportunity to trigger the recording of the image to be used for the user verification or to select an image to be used from a plurality of recorded images.

Wenn für die Beschaffung des Bildes eine Mobilkamera (23) verwendet wird, kann der Fahrzeugnutzer Anweisungen erhalten, wie er das Kommunikationsgerät bzw. die daran angeordnete Kamera (23) auf sich, insbesondere auf sein Gesicht auszurichten hat, damit ein verarbeitbares Bild aufgenommen wird. Er kann ferner Anweisungen erhalten, wenn eine Ausleuchtung der Umgebung unzureichend ist oder andere Aufnahmestörungen vorliegen. If, for the acquisition of the image, a mobile camera ( 23 ), the vehicle user may receive instructions as to the communication device or camera ( 23 ), especially on his face, so that a processable image is taken. He may also receive instructions if there is insufficient illumination of the environment or other recording disturbances.

Wenn eine Fahrzeugkamera (24) verwendet wird, können dem Fahrzeugnutzer (12) Anweisungen bzw. Hilfestellungen darüber gegeben werden, wie er sich bzw. den Fahrersitz zu positionieren oder die Fahrzeugkamera (24) auszurichten hat, damit eine verwertbare Aufnahme erstellt wird. Die ein oder mehreren Fahrzeugkameras (24) können an einer beliebigen Stelle im Fahrzeug (11) angeordnet sein, insbesondere in einem Lenkrad, in einer Abdeckung über der Instrumententafel, in der A-Säule oder im Dachhimmel. Eine Fahrzeugkamera (24) kann über ein eigenes Kommunikationsmodul (25) verfügen, um ein aufgenommenes Bild zur Mobileinheit (18) und/oder zur Fahrzeugeinheit (14) zu übertragen. Alternativ oder zusätzlich kann die ein oder mehreren Fahrzeugkameras (24) mit der Fahrzeugeinheit (14) verbunden sein, um über diese ein aufgenommenes Bild zur Mobileinheit (18) zu übertragen. Bevorzugt weist eine Fahrzeugkamera (14) eine Gerätesignatur auf, mit der die Identität der Kamera und/oder eine korrekte Zuordnung zum jeweiligen Fahrzeug (11) überprüfbar sind. Dasselbe kann für eine Mobilkamera (23) gelten. If a vehicle camera ( 24 ) can be used by the vehicle user ( 12 ) Instructions or assistance on how to position himself or the driver's seat or the vehicle camera ( 24 ) in order to create a usable recording. The one or more vehicle cameras ( 24 ) can be placed anywhere in the vehicle ( 11 ), in particular in a steering wheel, in a cover over the instrument panel, in the A-pillar or in the headliner. A vehicle camera ( 24 ) can be used via a separate communication module ( 25 ) to capture a captured image to the mobile unit ( 18 ) and / or to the vehicle unit ( 14 ) transferred to. Alternatively or additionally, the one or more vehicle cameras ( 24 ) with the vehicle unit ( 14 ) to record a captured image of the mobile unit ( 18 ) transferred to. Preferably, a vehicle camera ( 14 ) a device signature with which the identity of the camera and / or a correct assignment to the respective vehicle ( 11 ) are verifiable. The same can be said for a mobile camera ( 23 ) be valid.

Im nachfolgenden Schritt (S14) wird innerhalb der Mobileinheit (18) die Nutzerverifikation durchgeführt. Es wird hierbei eine visuelle Personenerkennung basierend auf dem im Schritt (S12) beschafften Bild durchgeführt. Es können beliebige bekannte Bildverarbeitungs- und Vergleichsalgorithmen verwendet werden. Es können insbesondere innerhalb des aufgenommenen Bildes charakteristische Merkmale des Gesichts, wie Form und relative Lage von Augen, Augenwinkeln, Nase, Nasenlöchern, Nasenflügeln, Ohren, Mund, Haaransatz, Bart etc. erkannt und mit einem für den jeweiligen Fahrzeugnutzer gespeicherten Referenz-Erkennungsmuster verglichen werden. Wenn das Ergebnis des Algorithmus ein Konfidenzniveau oberhalb eines vordefinierten Grenzwerts erreicht, wird die Nutzerverifikation als erfolgreich bestätigt. In the subsequent step (S14), within the mobile unit ( 18 ) the user verification performed. In this case, a visual recognition is performed based on the image acquired in step (S12). Any known image processing and comparison algorithms can be used. In particular, characteristic features of the face, such as shape and relative position of the eyes, corner of the eye, nose, nostrils, nose wings, ears, mouth, hairline, beard, etc., can be recognized within the recorded image and compared with a reference recognition pattern stored for the respective vehicle user become. If the result of the algorithm reaches a confidence level above a predefined limit, the user verification is confirmed as successful.

Anschließend wird von der Mobileinheit (18) eine Authentifizierungsnachricht an die Fahrzeugeinheit (14) gesendet (Schritt S16). Wenn die Fahrzeugeinheit (14) diese Nachricht erhält, kann Sie im Schritt (S18) die Freigabe von vorbestimmten Fahrzeugfunktionen gewähren. Subsequently, the mobile unit ( 18 ) an authentication message to the vehicle unit ( 14 ) (step S16). When the vehicle unit ( 14 ) receives this message, it may grant the release of predetermined vehicle functions in step (S18).

In der Authentifizierungsnachricht können ferner die freizugebenden Funktionen angegeben sein. The authentication message can also specify the functions to be released.

Von der Mobileinheit (18) und/oder der Fahrzeugeinheit (14) kann eine Bestätigungsnachricht über die erfolgte Fahrzeugfreigabe sowie ggf. die ausgeführten Geräte- und Nutzerverifikationen an das Zugriff-Provider-System (16) gesendet werden. From the mobile unit ( 18 ) and / or the vehicle unit ( 14 ) may be a confirmation message about the completed vehicle release and possibly the executed device and user verification to the access provider system ( 16 ).

Es kann weiterhin vorgesehen sein, dass bei jedem Nutzerverifikationsvorgang eine Aktualisierung der Erkennungsdaten ausgeführt wird, um die Erkennungsgenauigkeit über mehrere Zyklen zu erhöhen sowie die Daten an die physischen Veränderungen eines Fahrzeugnutzers (12) anzugleichen. Zu solchen Veränderungen können eine Änderung der Haarlänge, altersbedingte Veränderungen der Gesichtszüge oder das Tragen unterschiedlicher Brillen und Frisuren gehören. It may further be provided that in each user verification process, an update of the recognition data is performed in order to increase the recognition accuracy over several cycles and the data to the physical changes of a vehicle user ( 12 ). Such changes may include a change in hair length, age-related changes in facial features or wearing different glasses and hairstyles.

Abwandlungen der Erfindung sind in verschiedener Weise möglich. Insbesondere können die zu den Ausführungsbeispielen gezeigten oder beschriebenen Merkmale in beliebiger Weise miteinander kombiniert, vertauscht, ergänzt oder weggelassen werden. Modifications of the invention are possible in various ways. In particular, the features shown or described with reference to the exemplary embodiments may be combined, exchanged, supplemented or omitted in any manner.

Anstelle eines Smartphones kann ein anderes mobiles Kommunikationsgerät (20) eingesetzt werden, insbesondere ein speziell für den Zugriffskontrollmechanismus vorgesehenes Mobilgerät, das beispielsweise vom Zugriff-Provider, dem Miet- oder Car Sharing-Betreiber oder dem Inhaber einer Fahrzeugflotte bereitgestellt wird. Es können Passwortalgorithmen oder andere Backup-Funktionen vorgesehen sein, die eine Zugriffsgewährung für den Fall einer erfolglosen visuellen Personenverifikation ermöglichen. BEZUGSZEICHENLISTE 10 Authentifizierungssystem Authentication system 11 Fahrzeug / PKW Vehicle /passenger car 12 Fahrzeugnutzer Vehicle user 13 Zugriff-Steuersystem Access control system 14 Fahrzeugeinheit / Vehicle unit / Vehicle Fahrzeug-Freigabevorr. releasing device 15 Kommunikationsmodul Communication device 16 Zugriff-Provider-System Access-Provider-System 17 Kommunikationsmodul Communication module 18 Mobileinheit Mobile unit 19 Kommunikationsmodul Communication module 20 Mobiles Mobile communication Kommunikationsgerät / Smartphone device / Smart phone 22 Kameraeinheit Camera Unit 23 Mobile Kamera Mobile camera 24 Fahrzeugkamera In-Car camera 25 Kommunikationsmodul Communication module 26 Benutzerliste User list 28 Instead of a smartphone, another mobile communication device ( 20 ), in particular a mobile device provided specifically for the access control mechanism, which is provided, for example, by the access provider, the rental or car-sharing operator or the owner of a vehicle fleet. It may be provided password algorithms or other backup functions that allow access in the event of an unsuccessful visual person verification. LIST OF REFERENCE NUMBERS 10 authentication system Authentication system 11 Vehicle / car Vehicle / passenger car 12 vehicle users Vehicle user 13 Access control system Access control system 14 Vehicle unit / Vehicle unit / vehicle Vehicle Freigabevorr. releasing device 15 communication module Communication device 16 Access provider system Access provider system 17 communication module Communication module 18 mobile unit Mobile unit 19 communication module Communication module 20 mobile Mobile communication Communication device / smartphone device / smart phone 22 camera unit Camera Unit 23 Mobile camera Mobile camera 24 vehicle camera In-car camera 25 communication module Communication module 26 Member list User list 28

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 2007/274576 A1 [0002] US 2007/274576 A1 [0002]

Claims (15)

Zugriffskontrollverfahren zur Freigabe des Zugriffs auf Funktionen eines Fahrzeugs (11) durch ein visuelles Authentifizierungssystem (10), das zumindest eine Mobileinheit (18) und eine Kameraeinheit (22) umfasst und mit einer Fahrzeugeinheit (14) kommuniziert, wobei das Verfahren zumindest die folgenden Schritte aufweist: – Die Mobileinheit (18) beschafft ein aktuelles Bild eines Fahrzeugnutzers (12) von der Kameraeinheit (22) (S12); – Basierend auf diesem Bild wird durch die Mobileinheit (18) eine Nutzerverifikation (S14) durch visuelle Personenerkennung ausgeführt; – Die Mobileinheit (18) gibt an die Fahrzeugeinheit (14) eine Authentifizierungsnachricht aus (S16), falls bzw. ob die Nutzerverifikation erfolgreich war. Access control method for enabling access to functions of a vehicle ( 11 ) by a visual authentication system ( 10 ) containing at least one mobile unit ( 18 ) and a camera unit ( 22 ) and with a vehicle unit ( 14 ), the method comprising at least the following steps: 18 ) obtains a current picture of a vehicle user ( 12 ) from the camera unit ( 22 ) (S12); - Based on this image, the mobile unit ( 18 ) performs user verification (S14) by visual person recognition; - The mobile unit ( 18 ) gives to the vehicle unit ( 14 ) an authentication message (S16) if the user verification was successful. Zugriffskontrollverfahren nach Anspruch 1, dadurch gekennzeichnet, dass zwischen der Mobileinheit (18) und der Fahrzeugeinheit (14) eine Geräteverifikation ausgeführt wird (S10); Access control method according to claim 1, characterized in that between the mobile unit ( 18 ) and the vehicle unit ( 14 ) a device verification is performed (S10); Zugriffskontrollverfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Mobileinheit (18) mit der Fahrzeugeinheit (14) und gegebenenfalls mit einer Kamera, insbesondere einer Fahrzeugkamera (24), drahtlos kommuniziert. Access control method according to one of claims 1 or 2, characterized in that the mobile unit ( 18 ) with the vehicle unit ( 14 ) and optionally with a camera, in particular a vehicle camera ( 24 ), communicates wirelessly. Zugriffskontrollverfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Mobileinheit (18) als Softwaremodul auf einem mobilen Kommunikationsgerät (20) des Fahrzeugnutzers (12) ausgeführt wird. Access control method according to at least one of the preceding claims, characterized in that the mobile unit ( 18 ) as a software module on a mobile communication device ( 20 ) of the vehicle user ( 12 ) is performed. Zugriffskontrollverfahren nach mindestens einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die Kamerareinheit (22) Zugriff auf eine Fahrzeugkamera (24) hat, insbesondere eine im Fahrzeug (11) fest installierte und auf den Fahrersitz gerichtete Kamera. Access control method according to at least one of the preceding claims, characterized in that the camera unit ( 22 ) Access to a vehicle camera ( 24 ), in particular one in the vehicle ( 11 ) permanently installed and directed to the driver's seat camera. Zugriffskontrollverfahren nach mindestens einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die Kameraeinheit (22) Zugriff auf eine Mobilkamera (23) hat, insbesondere eine in dem Kommunikationsgerät (20) angeordnete Kamera. Access control method according to at least one of the preceding claims, characterized in that the camera unit ( 22 ) Access to a mobile camera ( 23 ), in particular one in the communication device ( 20 ) arranged camera. Zugriffskontrollverfahren nach mindestens einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die visuelle Personenerkennung auf Basis eines Referenz-Erkennungsmusters ausgeführt wird, insbesondere auf Basis eines Gesichtserkennungsmusters. Access control method according to at least one of the preceding claims, characterized in that the visual person recognition is carried out on the basis of a reference recognition pattern, in particular based on a face recognition pattern. Zugriffskontrollverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Referenz-Erkennungsmuster von einem Zugriff-Provider-System (16) bereitgestellt wird. Access control method according to one of the preceding claims, characterized in that a reference recognition pattern from an access provider system ( 16 ) provided. Zugriffskontrollverfahren nach mindestens einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass ein Referenz-Erkennungsmuster in einem Lernverfahren erzeugt und/oder aktualisiert wird. Access control method according to at least one of the preceding claims, characterized in that a reference recognition pattern is generated and / or updated in a learning process. Zugriffskontrollverfahren nach mindestens einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass das Lernverfahren auf der Mobileinheit ausgeführt wird und ein neu erzeugtes oder aktualisiertes Referenz-Erkennungsmuster mit dem Zugriff-Provider-System (16) austauscht. Access control method according to at least one of the preceding claims, characterized in that the learning process is performed on the mobile unit and a newly generated or updated reference recognition pattern with the access provider system ( 16 ) exchanges. Zugriffskontrollverfahren nach mindestens einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass ein Zugang zum Fahrzeug (11) freigegeben wird, wenn die Geräteverifikation (S10) zwischen der Mobileinheit (18) und der Fahrzeugeinheit (14) erfolgreich war. Access control method according to at least one of the preceding claims, characterized in that an access to the vehicle ( 11 ) is released when the device verification (S10) between the mobile unit (S10) 18 ) and the vehicle unit ( 14 ) was successful. Zugriffskontrollverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine visuelle Authentifizierung erfordert, dass in demselben Fokusbereich des beschafften Bildes, in dem sich der Fahrzeugnutzer (12) befindet, ein im Bereich des Fahrzeugsitzes angeordneter visueller Marker erkannt wird. Access control method according to one of the preceding claims, characterized in that a visual authentication requires that in the same focus area of the acquired image in which the vehicle user ( 12 ), a detected in the region of the vehicle seat visual marker is detected. Softwareprodukt zur Durchführung eines Zugriffskontrollverfahren zur Freigabe des Zugriffs auf Funktionen eines Fahrzeugs (11), dadurch gekennzeichnet, dass das Softwareprodukt ein Zugriffskontrollverfahren nach mindestens einem der vorhergehenden Ansprüche ausführt. Software product for performing an access control procedure for enabling access to functions of a vehicle ( 11 ), characterized in that the software product executes an access control method according to at least one of the preceding claims. Zugriff-Steuersystem (13) für ein Fahrzeug (11) mit einer am Fahrzeug angeordneten Fahrzeugeinheit (14) und einem Kommunikationsmodul (15), dadurch gekennzeichnet, dass das Zugriff-Steuersystem (13) mit einem Authentifizierungssystem (10) kommuniziert und zusammenwirkt, das zumindest eine Mobileinheit (18) und eine Kameraeinheit (22) umfasst, und dass das Zugriff-Steuersystem (13) einen Zugriff auf bestimmte Funktionen eines Fahrzeugs (11) nur freigibt, wenn das Authentifizierungssystem (10) mitteilt, dass eine Nutzerverifikation (S14) durch visuelle Personenerkennung auf Basis eines aktuell beschafften Bildes eines Fahrzeugnutzers (12) erfolgreich war. Access control system ( 13 ) for a vehicle ( 11 ) with a vehicle unit arranged on the vehicle ( 14 ) and a communication module ( 15 ), characterized in that the access control system ( 13 ) with an authentication system ( 10 ) communicates and interacts with at least one mobile unit ( 18 ) and a camera unit ( 22 ) and that the access control system ( 13 ) access to certain functions of a vehicle ( 11 ) only releases when the authentication system ( 10 ) notifies that a user verification (S14) by means of visual person recognition on the basis of a currently acquired image of a vehicle user ( 12 ) was successful. Zugriff-Steuersystem (13) nach dem vorhergehenden Anspruch, dadurch gekennze ic hnet, dass das Zugriff-Steuersystem (13) mit einer Fahrzeugkamera (24) verbunden ist, durch die das aktuelle Bild des Fahrzeugnutzers (12) erstellt und an die Mobileinheit (18) übertragen wird. Access control system ( 13 ) according to the preceding claim, characterized in that the access control system ( 13 ) with a vehicle camera ( 24 ), through which the current image of the vehicle user ( 12 ) and sent to the mobile unit ( 18 ) is transmitted.
DE102014111883.9A 2014-08-20 2014-08-20 Access control method for enabling access to functions of a vehicle Withdrawn DE102014111883A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102014111883.9A DE102014111883A1 (en) 2014-08-20 2014-08-20 Access control method for enabling access to functions of a vehicle
PCT/JP2015/003776 WO2016027419A1 (en) 2014-08-20 2015-07-28 Access control method for providing access to functions of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014111883.9A DE102014111883A1 (en) 2014-08-20 2014-08-20 Access control method for enabling access to functions of a vehicle

Publications (1)

Publication Number Publication Date
DE102014111883A1 true DE102014111883A1 (en) 2016-03-10

Family

ID=53872118

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014111883.9A Withdrawn DE102014111883A1 (en) 2014-08-20 2014-08-20 Access control method for enabling access to functions of a vehicle

Country Status (2)

Country Link
DE (1) DE102014111883A1 (en)
WO (1) WO2016027419A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017214879A1 (en) 2017-08-25 2019-02-28 Bayerische Motoren Werke Aktiengesellschaft Automatic tailgate opening
WO2020038650A1 (en) * 2018-08-21 2020-02-27 Daimler Ag Key device for capturing biometric information of a person
CN112258705A (en) * 2020-10-22 2021-01-22 浙江合众新能源汽车有限公司 Vehicle authorization method and vehicle authorization system based on face recognition
US20210105619A1 (en) * 2019-10-07 2021-04-08 Denso Corporation System and method for authenticating an occupant of a vehicle

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6790483B2 (en) * 2016-06-16 2020-11-25 日産自動車株式会社 Authentication method and authentication device
DE102016224746A1 (en) * 2016-12-12 2018-06-14 Continental Automotive Gmbh Access and / or starting device for a vehicle
DE102017129787A1 (en) * 2017-12-13 2019-06-13 HELLA GmbH & Co. KGaA Vehicle with a camera for detecting a body part of a user and method for the operation of the vehicle
US10629012B1 (en) * 2018-11-13 2020-04-21 Blackberry Limited Multi-factor authentication for vehicles
JP7314738B2 (en) * 2019-09-19 2023-07-26 大日本印刷株式会社 Electronic key, control device, electronic key system, authentication method, and program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10341691A1 (en) * 2003-09-08 2005-03-31 Kiekert Ag Portable electronic key e.g. for motor vehicle locking system, key sends and receives signal for transmission of data to and from vehicle with biometric information collected
US20050275511A1 (en) * 2004-06-09 2005-12-15 Yi Luo Remote keyless entry transmitter fob with RF analyzer
DE102006015332A1 (en) * 2005-04-04 2006-11-16 Denso Corp., Kariya Guest service system for vehicle users
US20070274576A1 (en) 2006-05-29 2007-11-29 Ryoko Morita Crime-prevention system
DE102012106522A1 (en) * 2012-07-18 2014-01-23 Huf Hülsbeck & Fürst Gmbh & Co. Kg Method for authenticating a driver in a motor vehicle
DE102013217723A1 (en) * 2012-09-12 2014-05-28 Ford Global Technologies, Llc Apparatus and method for registering users and managing biometric data of them in a vehicle
US20140266623A1 (en) * 2011-12-29 2014-09-18 David L. Graumann Systems, methods, and apparatus for learning the identity of an occupant of a vehicle
US20140334684A1 (en) * 2012-08-20 2014-11-13 Jonathan Strimling System and method for neighborhood-scale vehicle monitoring

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19838421A1 (en) * 1998-08-24 2000-03-16 Siemens Ag Access control device for motor vehicle includes fingerprint recognition unit
US6532298B1 (en) * 1998-11-25 2003-03-11 Iridian Technologies, Inc. Portable authentication device and method using iris patterns
JP4186440B2 (en) * 2001-08-07 2008-11-26 オムロン株式会社 Vehicle mounted device control system, mobile phone, and vehicle mounted device control method
US20100039224A1 (en) * 2008-05-26 2010-02-18 Okude Kazuhiro Biometrics information matching apparatus, biometrics information matching system, biometrics information matching method, person authentication apparatus, and person authentication method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10341691A1 (en) * 2003-09-08 2005-03-31 Kiekert Ag Portable electronic key e.g. for motor vehicle locking system, key sends and receives signal for transmission of data to and from vehicle with biometric information collected
US20050275511A1 (en) * 2004-06-09 2005-12-15 Yi Luo Remote keyless entry transmitter fob with RF analyzer
DE102006015332A1 (en) * 2005-04-04 2006-11-16 Denso Corp., Kariya Guest service system for vehicle users
US20070274576A1 (en) 2006-05-29 2007-11-29 Ryoko Morita Crime-prevention system
US20140266623A1 (en) * 2011-12-29 2014-09-18 David L. Graumann Systems, methods, and apparatus for learning the identity of an occupant of a vehicle
DE102012106522A1 (en) * 2012-07-18 2014-01-23 Huf Hülsbeck & Fürst Gmbh & Co. Kg Method for authenticating a driver in a motor vehicle
US20140334684A1 (en) * 2012-08-20 2014-11-13 Jonathan Strimling System and method for neighborhood-scale vehicle monitoring
DE102013217723A1 (en) * 2012-09-12 2014-05-28 Ford Global Technologies, Llc Apparatus and method for registering users and managing biometric data of them in a vehicle

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017214879A1 (en) 2017-08-25 2019-02-28 Bayerische Motoren Werke Aktiengesellschaft Automatic tailgate opening
WO2020038650A1 (en) * 2018-08-21 2020-02-27 Daimler Ag Key device for capturing biometric information of a person
US20210105619A1 (en) * 2019-10-07 2021-04-08 Denso Corporation System and method for authenticating an occupant of a vehicle
US11743719B2 (en) * 2019-10-07 2023-08-29 Denso Corporation System and method for authenticating an occupant of a vehicle
CN112258705A (en) * 2020-10-22 2021-01-22 浙江合众新能源汽车有限公司 Vehicle authorization method and vehicle authorization system based on face recognition

Also Published As

Publication number Publication date
WO2016027419A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
DE102014111883A1 (en) Access control method for enabling access to functions of a vehicle
DE102015103020B4 (en) METHOD OF PROVIDING USER INFORMATION IN A VEHICLE USING A CRYPTOGRAPHIC KEY
DE102018103440A1 (en) OBJECT DETECTION FOR VEHICLES
DE102014107242A1 (en) System and method for access control
DE102018220433A1 (en) Method for operating a car sharing vehicle and car sharing vehicle
DE102015016262B4 (en) Method for operating an access system for a motor vehicle
DE102020103337A1 (en) SYSTEMS AND METHODS FOR PROVIDING ACCESS TO VEHICLES USING BIOMETRIC DATA
DE102021101078A1 (en) BIOMETRIC KEYS FOR VEHICLES FOR USER AUTHENTICATION AND USAGE METHODS
DE202018000407U1 (en) Device for updating face recognition templates
EP2529189B1 (en) System and method for providing sensor data
EP1074004A1 (en) Electronic device and method for the authentication of a user of said device
EP1686541A2 (en) Identification system
DE102016104629A1 (en) Procedure for controlling access to vehicles
DE102013006086A1 (en) System for performing eye-movement controlled authentication of vehicle driver/user, outputs control signal based on sequence comparison result of detected sequence of eye movements of vehicle driver/user with pre-stored eye sequence
DE102015000479B4 (en) Motor vehicle with biometric activation function
DE102019119052A1 (en) Method and device for enabling vehicle functions of a vehicle, vehicle and system
EP3657750B1 (en) Method for the authentication of a pair of data glasses in a data network
DE102019121056A1 (en) DEVICE, SYSTEM AND METHOD FOR OPERATING A VEHICLE, IN PARTICULAR MOTOR VEHICLE
DE102017215937A1 (en) Method for operating a transmitting device of a motor vehicle, transmitting device for a motor vehicle and motor vehicle
DE102020201470A1 (en) A method of authenticating a user on a digital tachograph of a vehicle by means of a mobile device, a digital tachograph, a mobile device and a database device
DE102019002263A1 (en) Method for operating an access and driving authorization system
DE102019132049A1 (en) Device, method and computer program for a vehicle
WO2020126675A1 (en) Processing system
DE102018204842A1 (en) Method for operating a motor vehicle, authentication device, storage medium, motor vehicle, mobile portable terminal, data server device for operating on the Internet
DE102015219099A1 (en) A method, security system, and vehicle comprising the security system for controlling a security level of a vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee