-
Angaben zum technischen Gebiet
-
Die Erfindung betrifft eine mobile Vorrichtung, insbesondere einen tragbaren Personal-Computer (Laptop, Notebook, Netbook), einen Personal-Digital-Assistant (PDA), einen Tablet-Computer oder ein Mobiltelefon nach dem Oberbegriff von Anspruch 1 sowie ein Verfahren zur Bestimmung der Authentizität eines Benutzer nach dem Oberbegriff von Anspruch 9 oder nach dem Oberbegriff von Anspruch 10.
-
Stand der Technik
-
Dem Stand der Technik entsprechend sind verschiedene Verfahren zur Identifikation bekannt, mit denen der rechtmäßige Benutzer einer mobilen Vorrichtung die mobile Vorrichtung entsperren kann. Die Sperrung einer mobilen Vorrichtung ist zum Schutz vor unerlaubtem Zugriff sinnvoll, da auf mobilen Vorrichtungen eine Vielzahl von persönlichen Daten gespeichert sein können oder Zugangsdaten zu mobilen Diensten, die wiederum persönliche Daten speichern, abgelegt sein können. Zudem können über mobile Vorrichtungen, insbesondere Mobiltelefone, Bezahldienste abgewickelt werden, so dass die Authentifizierung des rechtmäßigen Benutzers sehr wichtig ist.
-
Ein einfaches Verfahren sieht die Eingabe einer vorgegebenen Ziffernfolge vor. Ein verfeinertes Verfahren erfordert die Eingabe einer alphanumerischen Folge, das aufgrund der erhöhten Anzahl von Kombinationsmöglichkeiten als sicherer gilt.
-
Die technische Entwicklung hat mobile Endgeräte, insbesondere Tablet-Computer und Mobiltelefone hervorgebracht, die sich über sogenannte Touch-Screens bedienen lassen. Verbreitete Touch-Screens nutzen kapazitive Messelemente oder bestimmen den Widerstand zwischen Schichten, um die Finger eines Bedieners auf dem Bildschirm zu lokalisieren. Mittels der berührungsempfindlichen Touch-Bildschirmen ist es möglich, sogenannte Wischmuster einzugeben. Das mobile Endgerät, genauer dessen Identifikationseinheit, vergleicht das eingegebene Wischmuster mit einem vorgegebenen Muster und generiert abhängig vom Vergleichsergebnis ein Signal zur teilweisen Freigabe des mobilen Endgerätes.
US 2009/0241072 offenbart ein derartigen Verfahren.
-
WO 99/24938 A1 beschreibt ein Verfahren, bei dem unter anderem aus den Bilddaten eines in einem Kommunikationsendgerät integrierten oder externen Video-Sensors ein biometrischer Schlüssel bestimmt wird. Zu den biometrischen Schlüssel werden Merkmale wie Augenmuster, Gesichtskonturen oder Charakteristiken der Stimme gezählt. Zur Gesichtserkennung wird mittels einer eingebauten Kamera ein Foto eines Nutzers aufgenommen, das mit abgelegten Daten verglichen wird. Zur Vermeidung einer missbräuchlichen Authentifizierung schlägt
WO 99/24938 A1 vor, dass Bewegungen von Mund und Auge analysiert werden, die beim Vorhalten einer Fotografie des ordnungsgemäßen Nutzers naturgemäß nicht vorhanden sind. Somit werden grobe Täuschungen mit einem statischen Foto erkannt.
-
DE 10 2006 036 573 B3 beschreibt ein Verfahren, bei dem eine Kamera einer mobilen Vorrichtung ein Objekt in mindestens zwei Dimensionen, also möglicherweise auch in drei Dimensionen, erfasst. Die Beschreibung geht allerdings davon aus, dass die Kamera die Abstandsinformationen zwischen den einzelnen Punkten des Objekts und der Kamera bestimmt. Dies ist demnach eine bekannte 3D-Kamera, die beispielsweise auf dem Lichtlaufzeitverfahren beruht, um die Abstandsinformationen zu gewinnen. Solche Kameras sind sehr kostspielig.
-
Gesichtserkennungsverfahren nutzen in der Regel geometrische Zusammenhänge und Merkmale, wie zum Beispiel Abstände von Mund, Nase und Augen. Dabei werden in der Regel 2D-Bilder ausgewertet. Durch eine Skalierung der Bilder bzw. durch eine Auswertung der relativen Abstände oder durch eine Normierung kann die Aufnahme aus unterschiedlichen Abständen oder mit unterschiedlichen optischen Einstellungen der Kamera, die zu abweichenden Größen des Gesichts auf dem Bild führen, ausgeglichen werden.
-
Neueste Entwicklungen zeigen Verfahren auf, die 3D-Bilder auswerten, um die Sicherheit in der Erkennung der Detektion zu verbessern und die Chance einer Überlistung zu reduzieren. Zudem wird durch 3D-Verfahren eine größere Unabhängigkeit von der jeweiligen Pose während der Bildaufnahme erzielt. Aufgrund der Kosten sind jedoch mobile Vorrichtungen in der Regel nicht mit einer 3D-Kamera ausgestattet.
-
Das der Erfindung zugrunde liegende Problem, Nachteile des Stands der Technik
-
Alle bekannten Verfahren zeigen Nachteile. Die Eingabe einer geheimen Zahlenkombination, der Personal Identification Number PIN, kann bei häufigem Nutzen der mobilen Vorrichtung aus Anwendersicht aufwendig und lästig sein. Zudem unterliegt die gemerkte Zahlenkombination einem Vergessensprozess, d. h. der Nutzer könnte die Zahlenkombination vergessen.
-
Die Eingabe eines Wischmusters ist ebenso aufwendig, zudem kann sich jemand, der den Nutzer bei der Eingabe des Wischmusters beobachtet, sich dieses einfach merken und sich später damit Zugriff zur mobilen Vorrichtung verschaffen. Beim häufigen Eingeben der PIN oder des Wischzeichens können sich auf dem Touch-Screen oder der Tastatur Fingerabdrücke und Spuren ergeben, so dass der Sicherheitscode bzw. das Wischmuster einfach analysiert werden kann, wenn das Muster der Abdrücke visuell untersucht wird. Somit birgt das Verfahren Sicherheitsrisiken.
-
Weiterhin ist die Gesichtserkennung per 2D-Verfahren nicht sehr sicher. Mittels verschiedenen Techniken könnte das Verfahren überlistet werden, so zum Beispiel durch das Davorhalten eines Fotos des autorisierten Nutzers.
WO 99/24938 schlägt deshalb die Auswertung von Bewegungen des aufgenommenen Nutzers, der den Authentifizierungsprozess in Gang setzt, vor, jedoch können auf einer mobilen Vorrichtung wie einem Tablet-Computer oder einem Smartphone Videos des Nutzers abgespielt werden, auf denen das Gesicht des Nutzers mit Bewegungen zu sehen ist. Der Bildschirm der mobilen Vorrichtung, auf der das beschriebene Video abgespielt wird, könnte vor die Kamera gehalten werden, die zur Entsperrung der mobilen Vorrichtung eingesetzt wird, so dass der Algorithmus die Bilder des Videos aufnimmt. Somit bleibt ein Sicherheitsrisiko bestehen.
-
DE 10 2006 036 573 zeigt hier ein Verfahren auf, das die Topographie des Nutzers auswertet, allerdings geht jenes Verfahren von den Abstandsinformationen zwischen Nutzer und Kamera aus, die im allgemeinen nicht zur Verfügung stehen. Es müsste eine entsprechende Kamera zur Aufnahme des Nutzers eingesetzt werden, wie zum Beispiel eine Kamera nach dem Time-of-Flight-Verfahren, die für jeden Bildpunkt eine Abstandsinformation ermittelt. Dies würde die Hardwarekosten erheblich erhöhen.
-
Es könnten weitere biometrische Daten als Grundlage für den Authentifizierungsvorgang ermittelt werden, wie beispielsweise
WO 99/24938 vorschlägt. Um Fingerabdrücke aufzunehmen müsste das Endgerät zusätzlich mit einem Fingerabdrucksensor ausgestattet sein, was wiederum die Herstellungskosten erhöht. Zudem lässt sich insbesondere bei kleinen mobilen Vorrichtungen wie Mobiltelefonen ein Fingerabdrucksensor aufgrund der Bauform nur schwierig integrieren. Die Authentifizierung per Stimme kann einfach überlistet werden, wenn Sprachproben des korrekten Nutzers aufgezeichnet und später zum Entsperren abgespielt werden. Zudem kann es je nach Umgebungssituation dem Nutzer nicht möglich sein, in die mobile Vorrichtung zu sprechen.
-
Sofern das Abwickeln von Bezahlvorgängen bei einer mobilen Vorrichtung, insbesondere einem Mobiltelefon, eingerichtet ist, ergibt sich ein Risiko, falls die Vorrichtung entwendet wird oder verloren geht. Das Abwickeln von Bezahlvorgängen erscheint zunächst sicherer, da kein Bargeld mehr mitgeführt werden muss. Wird das Portemonnaie mit Bargeld entwendet, ist zumindest der größtmögliche Schaden auf die Summe des Bargelds im Portemonnaie begrenzt. Wird dagegen die mobile Vorrichtung entwendet und erlangt der unrechtmäßige Nutzer Kenntnis über die Art der Sicherung des Zugangs, z. B. die PIN, den alphanumerischen Code oder das Wischmuster beispielsweise wie oben beschrieben durch das Untersuchen von Abdrücken auf dem Display, so kann ein wesentlich höherer finanzieller Schaden entstehen.
-
Aufgabe der Erfindung ist es daher, ein verbessertes Verfahren und eine mobile Vorrichtung zur Authentifizierung des Benutzers einer mobilen Vorrichtung vorzuschlagen, das die genannten Nachteile vermeidet.
-
Diese Aufgabe wird durch eine mit einer Kamera ausgestatteten mobile Vorrichtung gemäß Anspruch 1 oder ein Verfahren nach Anspruch 9 oder ein Verfahren nach Anspruch 10 gelöst. Zunächst erfolgt die Erläuterung einer mobilen Vorrichtung gemäß Anspruch 1 bzw. ein Verfahren nach Anspruch 9. Vorzugsweise wird eine Kamera genutzt, die bereits im Gerät eingebaut ist. Hier bietet sich eine integrierte Kamera auf der Vorderseite der mobilen Vorrichtung an, d. h. auf der Seite des Gerätes mit dem Bildschirm bzw. der Anzeigeeinheit. Diese integrierte Kamera ist beispielsweise für Videotelefonie vorgesehen. Die Kamera ist dafür ausgebildet, ein Objekt in zwei Dimensionen zu erfassen, wobei die mobile Vorrichtung oder das Verfahren nicht auf eine derartige Kamera beschränkt sind, sondern auch eine Kamera eingesetzt werden kann, die ein Objekt in drei Dimensionen erfassen kann.
-
Weiterhin kann eine separate, nicht in das mobile Endgerät integrierte Kamera eingesetzt werden, beispielsweise eine an einem Personal-Computer angeschlossene Kamera, die üblicherweise für Videotelefonie genutzt wird und vorzugsweise in der Nähe der Anzeigeeinheit montiert wird, um den Nutzer von vorne aufzunehmen. Es kann sich auch um eine andere wirkverbundene Kamera handeln, die beispielsweise mittels einer drahtlosen Schnittstelle mit dem mobilen Endgerät verbunden wird.
-
Die mobile Vorrichtung ist dazu ausgebildet, die erfassten Daten zu verarbeiten und mit zuvor abgespeicherten Daten zu vergleichen. Diese Aufgabe übernimmt die Identifikationseinheit der mobilen Vorrichtung. Die Identifikation muss jedoch nicht auf der mobilen Vorrichtung selbst ausgeführt werden, sondern diese kann auch auf einem ausgelagerten System, z. B. einem Server oder einem Cloud-Service, realisiert sein, womit es sich um eine wirkverbundene Identifikationseinheit handelt. Vorzugsweise wird jedoch die Identifikationseinheit auf der mobilen Vorrichtung selbst implementiert und ausgeführt, da bei einer Unterbrechung der Netzwerkverbindung, z. B. durch unzureichende Empfangsverhältnisse im Mobilfunknetz, kein Zugang zur mobilen Vorrichtung möglich wäre. Die Identifikationseinheit liefert ein Vergleichsergebnis. In Abhängigkeit von diesem Vergleichsergebnis wird die mobile Vorrichtung zur Benutzung entsperrt, d. h. zur Bedienung freigegeben. Es ist auch denkbar, dass nur bestimmte Funktionen des Gerätes freigegeben werden.
-
Zum Start des Authenfizierungsvorgangs nimmt die wirkverbundene Kamera wenigstens zwei Bilder des Benutzers auf. Aus diesen Bildern wird eine Schätzung für die 3D-Kontur des Benutzers bestimmt. Die Bilder werden dazu aus unterschiedlichen Positionen der aufzeichnenden Kamera in Relation zum Gesicht des Benutzers aufgezeichnet. Dies wird erreicht, indem beispielsweise die mobile Vorrichtung, vorzugsweise in der Ausgestaltung eines Mobiltelefons, radial bezüglich des Kopfes des Benutzers bewegt wird, während der Kopf des Benutzers näherungsweise ortsfest ist. Damit sind mindestens zwei Aufnahmen möglich, die eine unterschiedliche Ausrichtung des Bildaufnahmesensors in Relation zum Gesicht des Benutzers aufweisen. Die Bewegungsrichtung der mobilen Vorrichtung muss reicht zwingend genau radial erfolgen, denn der Abstand zwischen Gesicht und mobiler Vorrichtung könnte sich während des Aufzeichnungsvorgang durchaus ändern. Wichtig ist, dass die Bewegungsrichtung nur eine geringe axiale Komponente aufweist, da mit einer reinen axialen Bewegung nur geringe Informationen über die 3D-Kontur des Gesichts des Benutzers ermittelt werden können. Eine weitere Möglichkeit, die sich insbesondere bei mobilen Vorrichtungen mit eingeschränkter Bewegungsmöglichkeit anbietet wie beispielsweise einem Laptop, eine relative Bewegung zwischen dem Gesicht des Nutzers und der aufzeichnenden Kamera zu erreichen, ist es, dass der Benutzer den Kopf leicht bewegt. Um den Authentifizierungsvorgang einfach, d. h. mit möglichst geringen Nutzerinteraktionen, zu gestalten, kann die Identifikationseinheit den Vorgang der Aufnahme der einzelnen Bilder durch die Kamera selbständig in Gang setzen, wenn der Nutzer das Gerät aus dem Standby-Betrieb aktivieren möchte. Übliche Kameras liefern dabei mehr als eine ausreichende Anzahl an Bildern pro Zeiteinheit, so z. B. eine Kamera für Videotelefonie mit 30 Bildern pro Sekunden, damit der Vorgang der Bildaufnahme in einer akzeptablen Zeit abgeschlossen ist.
-
Vor der 3D-Rekonstruktion des Gesichts des Nutzers kann eine Vorverarbeitung der aufgezeichneten Bilder stattfinden. Beispielsweise können die Bilder auf die relevanten Ausschnitte zugeschnitten werden, da die Bilder je nach Ausrichtung der Kamera und den eingestellten optischen Eigenschaften eventuell unrelevante Bereiche enthalten. Somit wird der Rechenaufwand für den nachfolgenden Algorithmus reduziert. Weiterhin können die Bilder, die beispielsweise in Farbe vorliegen, auf Schwarz-Weiß-Bilder reduziert werden. Zur Minimierung des Rechenaufwands kann eine Reduktion der Auflösung durchgeführt werden, da übliche Kameras auf der Vorderseite von aktuellen Mobilgeräten eine Auflösung von 1,3 Megapixel oder gar 2,0 Megapixel aufweisen. Die 3D-Rekonstruktion kann jedoch mit einer wesentlich kleineren Auflösung erfolgen.
-
Im Falle des Einsatzes einer in der mobilen Vorrichtung integrierten Kamera liegen in der Regel Informationen über die eingestellten optischen Eigenschaften der Kamera vor, so dass hiermit die Anzahl der unbekannten und zu schätzenden Parameter reduziert werden kann. Möglicherweise können die Informationen über die optischen Parameter der Kamera auch aus einer wirkverbundenen Kamera ausgelesen werden. Es ist zudem möglich, beim Rekonstruktionsalgorithmus von Bildaufnahme zu Bildaufnahme variierende optische Parameter der Kamera zu berücksichtigen.
-
In der Literatur wird die Rekonstruktion einer 3D-Szene aus zwei oder mehreren 2D-Aufnahmen beschrieben (
„Reconstruction from Two Uncalibrated Views" und „Step-by-Step Building of a 3-D Model from Images", aus Yi Ma, Stefano Soatto, Jana Košecká und Shankar Sastry, „An Invitation to 3-D Vision", Springer Verlag). Zunächst ist die Einzigartigkeit der einzelnen Bilder, aus denen die 3D-Rekonstruktion erfolgen soll, festzustellen. Problematisch sind mehrere Bilder, die von derselben Aufnahmeposition entstanden, währenddessen sich das aufgenommene Objekt oder die Kamera nicht bewegten. Wenig oder keine zusätzliche Information über das zu erkennende Objekt erhält man, wenn die Kamerapositionen der verschiedenen Aufnahmen und das Objekt auf einer Achse liegen, also die Kamera in vorliegenden Fall in vorherrschender Richtung axial zum Gesicht des Nutzers bewegt wurde. Die mindestens zwei Bilder des zu rekonstruierenden Gesichts entstehen demnach aus unterschiedlichen relativen Aufnahmepositionen der Kamera bezüglich des Gesichts. Die genauen Aufnahmepositonen und Aufnahmerichtungen sind jedoch unbekannt. Es liegt eine zunächst unbekannte relative Bewegung vor. Daher findet im nächsten Schritt eine Merkmalextraktion statt, um die Bewegung zwischen den Aufnahmen zu schätzen. Diese kann beispielsweise dadurch erfolgen, dass der Gradient über das Bild bestimmt wird, so dass Punkte tendenziell bevorzugt mit hohem Kontrast ermittelt werden. Es kann anschließend zusätzlich die Qualität der erkannten Merkmale ermittelt werden, so dass der Algorithmus Merkmale, die evt. nicht eindeutig im zweiten bzw. dem jeweils folgenden Bild ermittelt werden können, verwerfen kann. Für ausgewählte Merkmale, die in einem ersten Bild gefunden wurden, wird in einem zweiten Bild das Pendant gesucht und die Verschiebung analysiert, damit die Kreuzkorrelation der beiden Bilder unter Berücksichtigung der geschätzten Verschiebung maximal wird. Damit wird die Bewegung zwischen den beiden Bildern geschätzt. Hier können weitere Sensorsignale einfließen, welche die Bewegung der mobilen Vorrichtung wiedergeben, so zum Beispiel ein Gyroskop oder ein Beschleunigungssensor. Unter Kenntnis der optischen Parameter der Kamera und unter Annahme von üblichen Abständen zwischen Gesicht und mobiler Vorrichtung, insbesondere einem Mobiltelefon, kann ein guter Startwert für den Iterationsalgorithmus zur Bestimmung der Verschiebung der Bilder ermittelt werden. Somit kann die Laufzeit des Algorithmus reduziert werden. Es ist denkbar, dass nur eine reduzierte Menge von allen bestimmten Merkmalen zur weiteren Verarbeitung herangezogen wird, damit der Rechenaufwand weiter minimiert wird. Aus diesen Daten, d. h. aus der bestimmten Verschiebung, können die grundlegenden Matrizen (fundamental matrices), die charakteristisch für diesen Rekonstruktionsalgorithmus sind, berechnet werden und anschließend die projizierte Rekonstruktion erfolgen. Nachfolgend kann erneut eine Berücksichtigung der optischen Daten der Kamera erfolgen, wenn die projizierte Rekonstruktion weiterverarbeitet wird. in einer Weiterentwicklung der Erfindung kann eine modellbasierte Rekonstruktion des Gesichts des Nutzers durchgeführt werden. Durch die vorliegende Anwendung ist bekannt, dass eine näherungsweise symmetrische Kontur in Form eines Gesichts ermittelt werden soll. Diese Information kann in Modellen hinterlegt werden, was den Rekonstruktionsvorgang erleichtert und im Ergebnis verbessert. Im nächsten Schritt, wenn gegebenenfalls die Parameter der Kamera, evt. eine Szenenbeschreibung und Schätzungen der Bewegung in den Berechnungsprozess eingeflossen sind, kann die euklidische Rekonstruktion erfolgen. Die projizierte Rekonstruktion sowie die Schritte der Szenenbeschreibung, Berücksichtigung der Bewegungsparameter und sogar die Einrechnung der Parameter der Kamera können entfallen, falls deren Berücksichtigung aus Gründen der Minimierung des Rechenaufwands im Verhältnis zur Erzielung einer verbesserten Rekonstruktion nicht als sinnvoll erscheint. Es sind zahlreiche weitere Verfahren bekannt, um aus zwei oder mehreren Bildaufnahmen 3D-Informationen der aufgenommenen Szene zu berechnen. Es können beispielsweise sogenannte „Multi-view Stereo Algorithmen” Einsatz finden, um die geometrischen Ausdehnungen eines Objekts, hier das 3D-Profil des Gesichts des Nutzers, zu erfassen. Dabei haben die Verfahren unterschiedliche Randbedingungen. Beispielsweise kann die „Shape-from-Silhouette”-Technik keine konkaven Oberflächen rekonstruieren, jedoch wird das Verfahren als volumenorientierter Ansatz meist deshalb verwendet, da es am einfachsten und am wenigsten rechenintensiv ist. Ein weiteres Verfahren ist „Space Carving” (beispielweise aus:
Carlos Leung, Brian C. Lovell, „3D Reconstruction Through Segmentation of Multi-View Image Sequences", School of Information Technology and Electrical Engineering, The University of Queensland, Brisbane, Queensland, 4072, Australia). Leung und Lovell schlagen eine Weiterentwicklung vor, indem alle Bildinformationen und Kameraeigenschaften in einen Feature-Raum abgebildet werden.
-
Der wesentliche Unterschied zwischen dem hier beschriebenen Verfahren zur Bestimmung des 3D-Profils und bekannten 3D-Bildaufnahmeverfahren, beispielsweise mittels einer bekannten Stereokamera, besteht darin, dass die einzelnen Bilder aus nicht genau bekannten Positionen des Bildaufnahmesensors aufgenommen werden. Zwischen den einzelnen Bildern werden Bezüge hergestellt, indem Gemeinsamkeiten einfacher Strukturen wie Punkte, Linien oder Bereiche in den Bildern ermittelt werden. Im Allgemeinen lässt dies anschließend ein Rückschluss auf die Position sowie die optischen Einstellungen der Kamera während der Bildaufnahme zu. Bei einer herkömmlichen Stereokamera ist die Position der beiden Kameras genau bekannt. Mit der Kenntnis der geometrischen Anordnung der Kameras kann aus den mit diesen Kameras aufgenommenen Bildern ein 3D-Profil berechnet werden. Der Nachteil der bekannten Stereokameras besteht jedoch darin, dass die Kosten für das System etwa doppelt so hoch sind wie die Kosten einer Kamera, welche zur Realisierung der erfindungsmäßen Vorrichtung bzw. den erfindungsgemäßen Verfahren erforderlich sind, da zur Realisierung einer Stereokamera zwei Bildaufnehmer inkl. der dazu gehörenden Optik benötigt werden. Zudem erfordert der Einbau von zwei Kameras entsprechend Bauraum, der durch die fortschreitende Miniaturisierung der mobilen Geräte meist knapp ist. Die erfindungsgemäße Vorrichtung bzw. die erfindungsgemäßen Verfahren kommen dagegen nur mit einer Kamera aus. Zwischen der zuvor abgespeicherten Referenz-3D-Kontur und der rekonstruierten 3D-Kontur, die das Ergebnis der Bildaufnahme und -verarbeitung des Authentifizierungsvorgangs darstellt, wird nun die Ähnlichkeit beispielsweise durch Anwendung der Kreuzkorrelation bestimmt, um die Übereinstimmung festzustellen und daraus das Vergleichsergebnis abzuleiten. Unter Umständen ist es sinnvoll, nur einen relevanten Ausschnitt aus dem bestimmten bzw. errechneten 3D-Profil mit einem relevanten Ausschnitt der Referenz-3D-Kontur zu vergleichen. Die Referenz-3D-Kontur bzw. die ermittelte 3D-Kontur als Ergebnis des Authentifizierungsvorgangs können jeweils auch Datensätze genannt werden.
-
Abhängig vom diesem Vergleichsergebnis wird nun das Freigabesignal für die mobile Vorrichtung bestimmt, mit dem die mobile Vorrichtung entsperrt wird oder weiterhin im gesperrten Zustand verharrt. Es ist auch denkbar, dass die mobile Vorrichtung nur teilweise entsperrt wird, wenn für den Benutzer nur bestimmte Funktionen zugänglich sein sollen. Weiterhin kann das Freigabesignal zur Freigabe oder zur Sperre oder zum Abbruch einer bestimmten Funktion genutzt werden, beispielsweise zur Aktivierung oder zum Abbruch eines Bezahlvorgangs oder um den Zugang zum Dienst oder Programm der Bezahlfunktion zu erlauben oder zu verweigern. Eine bevorzugte Ausführungsform sieht vor, dass mit dem erfindungsgemäßen Verfahren oder mit der erfindungsgemäßen Vorrichtung die Authentizität des Benutzers unmittelbar vor dem Auslösen eines Bezahlvorgangs, der mittels der mobilen Vorrichtung durchgeführt wird, verifiziert wird. Das erzeugte Freigabesignal ist natürlich nicht auf die Auswertung durch einen Dienst oder eine Funktion für eine Bezahlfunktion beschränkt, sondern es kann auch durch andere Anwendungen, Dienste und Funktionen ausgewertet werden, welche die Authentizität des Benutzers sicherstellen wollen.
-
Bei der Bestimmung der Ähnlichkeit zwischen dem rekonstruierten 3D-Profil und dem abgespeicherten 3D-Profil sind unterschiedliche Algorithmen und Verfahren denkbar. Zur Reduzierung der Anzahl von fehlerhaft nicht erkannten Übereinstimmungen trotz des korrekten Benutzers ist es sinnvoll, bestimmte Bereiche im 3D-Profil besonderen Auswertungen zu unterziehen, so beispielsweise die Augenpartie, denn es ist denkbar, dass ein Nutzer zeitweise eine Brille trägt und deshalb in diesem Bereich des Gesichts die 3D-Kontur stark variieren kann. Weiterhin könnte der Nutzer zeitweise eine Kopfbedeckung tragen, so dass in diesem Bereich die 3D-Kontur ebenso stark variiert.
-
Beim Authentifizierungsvorgang werden nun zwei oder mehrere Bilder des Gesichts des Nutzers ermittelt, wobei die Kamera unterschiedliche Richtungen zum Gesicht des Nutzers aufweist. Dies kann dadurch geschehen, dass das Mobilgerät in geeignetem Abstand so vor dem Körper bewegt wird, so dass die Kamera mindestens zwei Bilder des Gesichts des Nutzers aus unterschiedlichen Positionen aufnehmen kann. Aus den Bilddaten lässt sich nun ein 3D-Profil errechnen. Das 3D-Profil kann mit dem abgespeicherten Profil verglichen werden. In einer Abwandlung des Verfahrens wäre denkbar, dass das Mobilgerät während des Authentifizierungsvorgangs ortsfest oder nahezu ortsfest ist, jedoch der Nutzer den Kopf etwas dreht.
-
Neuartige mobile Vorrichtungen wie Smartphones sind meist mit einem Gyroskop und/oder einem Beschleunigungssensor ausgestattet. Die Informationen dieser Sensoren können dazu verwendet werden, einen örtlichen Bezug der Aufnahmen der Kamera während eines Authentifizierungsvorgangs zu schätzen, indem die Bewegung der mobilen Vorrichtung gemessen und die geometrischen Abstände der Aufnahmepunkte damit geschätzt werden. Dies kann zur Verbesserung der 3D-Rekonstruktion herangezogen werden, wie oben bereits erläutert. In einer Weiterentwicklung der Erfindung wäre es denkbar, dass aufgrund der Bewegungsdaten Entscheidungen für das Auslösen einer Bildaufnahme getroffen werden. Somit wäre sichergestellt, dass wenige Bilder mit unterschiedlichen Aufnahmerichtungen vorliegen, d. h. für eine 3D-Rekonstruktion relevante Informationen in den Bildaufnahmen enthalten sind und der Algorithmus nicht unnötig viele Aufnahmen verarbeiten muss. Damit reduziert sich die erforderliche Rechenzeit.
-
Je nach Ausgestaltung des Mobilgerätes oder der mobilen Vorrichtung wie zum Beispiel ein tragbarer Computer (Laptop) können zwei Kameras vorhanden sein, deren Aufnahmerichtung zur bevorzugten Position des Nutzers bei der Benutzung des Gerätes zeigt. Damit ließen sich ohne Bewegen des Mobilgerätes bzw. Bewegen des Kopfes des Nutzers ein 3D-Profil des Nutzers erfassen. Im Gegensatz zu bekannten Stereoverfahren ist bei dieser Anordnung die geometrische Ausrichtung der Kameras unrelevant.
-
Sinnvollerweise wird die Aufnahme des 3D-Profils, das für die Vergleichsoperationen der späteren Authentifizierungsprozesse als Referenz dient, mit einer ausführlicheren Auswertung vieler Bilder aus unterschiedlichsten Aufnahmerichtungen durchgeführt, um eine gute und robuste Datenbasis zu gewinnen. Dieser Datensatz als Referenz-3D-Kontur wird für die nachfolgenden Authentifizierungsvorgänge abgespeichert. Es ist denkbar, dass dieser Datensatz nicht nur eine 3D-Kontur enthält, sondern noch weitere Daten wie relevante 2D-Bilder Bestandteil des Datensatzes sind, die ebenso für den Authentifizierungsvorgang genutzt werden können.
-
Weiterhin ist es möglich, eine Ansicht des Nutzers zu schätzen, die vorher nicht genau aufgenommen und abgespeichert wurde. Somit wird das Verfahren robust gegenüber Variationen der geometrischen Anordnungen zwischen Nutzer und Kamera während des Authentifizierungsvorgangs sowie der Ausrichtung der Kamera.
-
Auf dem Bildschirm des Mobilgerätes können dem Nutzer Informationen über den Fortschritt des Authenfizierungsvorgangs angezeigt werden, ob z. B. ausreichend Aufnahmen vorliegen oder ob weitere Aufnahmen nötig, die eine andere Aufnahmerichtung haben. Beispielsweise kann der Nutzer durch Einblenden von Pfeilen dazu animiert werden, den Kopf oder das Mobiltelefon zu bewegen oder zu schwenken. Durch das Anzeigen von Informationen über den Authentifizierungsvorgang kann auch eine Wartezeit des Nutzers, die sich durch die Abarbeitung des Algorithmus nach den Aufnahmen zur 3D-Rekonstruktion ergeben, überbrückt werden, ohne dass der Nutzer die Zeit als übermäßig lange empfindet.
-
Die Identifikationseinheit kann weitere Vergleichsergebnisse nutzen, um das Freigabesignal zu bestimmen. Ergänzend zur Auswertung der 3D-Kontur können bekannte Gesichtserkennungsverfahren Anwendung finden, um die Sicherheit des Authentifizierungsvorgangs weiter zu erhöhen. Die Analyse der Gesichtserkennung kann zeitlich parallel zu der 3D-Auswertung erfolgen, um den Zeitaufwand zu reduzieren. Die Kombination mit der Auswertung von weiteren biometrischen Merkmalen ist ebenso denkbar. Zudem könnte die Eingabe einer PIN oder alphanumerischen Folge gefordert werden.
-
Vorzugsweise wird die in eine mobile Vorrichtung auf der Vorderseite eingebaute Kamera genutzt, denn damit kann der Nutzer die mobile Vorrichtung so halten, wie er sie nach der Freigabe auch nutzen möchte. Falls eine mobile Vorrichtung keine Kamera auf der Vorderseite aufweist, so kann das Verfahren eine Kamera auf der Rückseite der mobilen Vorrichtung nutzen. Die Nutzung der Kamera auf der Rückseite hat den Vorteil, dass diese für Fotoaufnahmen gedacht ist und deshalb üblicherweise ohnehin mit einer integrierten Lichtquelle zur Verbesserung der Belichtungsverhältnissen ausgestattet ist. Diese Lichtquelle kann für die Erfassung der Bilder des Gesichts des Nutzers eingesetzt werden, um die Belichtungsverhältnisse in dunklen Umgebungen zu verbessern. Es kann allerdings auch eine Lichtquelle auf der Vorderseite der mobilen Vorrichtung genutzt werden, um die Belichtungsverhältnisse zu verbessern. Dazu kann eine zusätzliche Beleuchtung beispielsweise in Form einer oder mehrerer LEDs, wie eine Weißlicht-LED oder eine IR-LED, eingebaut werden. Bei der Auswahl der Wellenlänge der LED ist eine Abstimmung auf die spektrale Empfindlichkeit des Bildsensors sowie der optischen Befilterung des Lichtwegs der Kamera sinnvoll, um maximale Effizienz bei der Detektion zu erreichen. Bevorzugt wird eine IR-LED eingesetzt, deren Licht vom Nutzer nicht als blendend empfunden wird. Es kann die IR-LED des Abstandssensors auf der Vorderseite von Mobiltelefon eingesetzt werden, der genutzt wird, um zu erkennen, dass der Nutzer das Mobiltelefon beim Telefonieren am Ohr hält, damit aus Energiespargründen und zur Erhöhung der Akkulaufzeit die Anzeigeeinheit dunkel geschaltet wird. Noch einfacher ist es, die Belichtungssituation zu verbessern, indem auf der Anzeigeeinheit ein geeignetes Bild, vorzugsweise ein heller Hintergrund, dargestellt wird. Das abgestrahlte Licht trifft auf das Gesicht des Nutzers, womit die Bildaufnahme bei dunkler Umgebung begünstigt wird.
-
Mobile Vorrichtungen wie Smartphones weisen eine zunehmende Rechenleistung auf, so dass die auszuführenden Rechenoperationen ohne Probleme in annehmbarer Zeit auf dem Smartphone selbst ausgeführt werden können. Sofern die Identifikationseinheit inklusive der Rechenalgorithmen auf der mobilen Vorrichtung implementiert werden, kann insbesondere der rechenintensive Teil des Algorithmus auf einer GPU (Graphical Processing Unit) ausgeführt werden, was eine schnelle Reaktionszeit des Authentifizierungsvorgangs ermöglicht. In einer Ausführungsvariante wird der Algorithmus parallelisiert, um Multi-Core-Architekturen der Prozessoren effizient zu nutzen. Es ist auch denkbar, die Algorithmen in dedizierten Schaltkreisen wie FPGA-Strukturen (FPGA = Field Programable Gate Array) ablaufen zu lassen. Weiterhin ließen sich, sofern eine Online-Verbindung besteht, Rechenoperationen auf einen Server, d. h. auf einen Rechner im Internet, auslagern, zu sogenannten „Cloud-Services”. Hier sind die Schnittstellen zwischen dem Mobiltelefon und dem Server mit besonderem Augenmerk auf die Sicherheit auszuführen, indem z. B. verschlüsselte Datenverbindungen aufgebaut werden. Es ist denkbar, dass einige rechenintensive, aber sicherheitsunkritischen Operationen per Cloud-Service oder Server-Dienste ausgeführt werden. Die mobile Vorrichtung nimmt die Bilder auf und sendet sie über die Online-Verbindung, ähnlich, wie es bei Videotelefonie ausgeführt wird. Die Verarbeitungsergebnisse, die Teilergebnisse im Sinne des Authentifizierungsvorgangs beinhalten können, wie zum Beispiel die 3D-Rekonstruktion, oder aber das Gesamtergebnis in Form des Freigabesignals beinhalten können, werden anschließend zur mobilen Vorrichtung übermittelt.
-
Bei der Aufnahme des Gesichts des Nutzers kann eine starke direkte Beleuchtung des Gesichts durch eine Lichtquelle wie eine Lampe oder die Sonne vorhanden sein, die dazu führt, dass eine starke Schattenbildung auf dem Bild vorhanden ist. Unter Umständen können Bereiche des Gesichts nicht erkannt werden. Hier bietet die erfindungsgemäß integrierte zusätzliche Beleuchtung eine Verbesserung. Je nach Lichtverhältnissen ist die zusätzliche Lichtquelle aufgrund ihrer begrenzten Leuchtkraft nicht dafür geeignet, die sehr inhomogene Beleuchtungssituation auf dem Bild gut anzugleichen. Hier bietet es sich an, zwei oder mehrere Bilder mit unterschiedlichen Belichtungseinstellungen aufzunehmen. Dabei ist vorzugsweise ein Bild oder auch zwei oder mehrere Bilder mit Überbelichtung vorhanden, so dass Bildinformationen für Bereiche gewonnen werden, die in normal belichteten Bildern zu dunkel erscheinen. Die Qualität der überbelichteten Bereiche dagegen wird durch eine Unterbelichtung günstiger. Deshalb wird vorzugsweise ebenso mindestens ein Bild mit Unterbelichtung erfasst. Aus den Bildern der Belichtungsserie kann anschließend ein verbessertes Bild bestimmt werden. Dieses Verfahren ist ebenso unter dem Schlagwort HDRI bekannt (HDRI = High Dynamic Range Image, Bild mit hohem Dynamikumfang). Ein so erfasstes Bild kann dann zusammen mit weiteren Bildern mit erhöhten Dynamikumfang mit dem oben beschriebenen Algorithmus und Verfahren weiter verarbeitet werden, d. h. es würde sich die Vorverarbeitung und die Berechnung der 3D-Kontur anschließen.
-
In einer Abstufung wird das Verfahren dazu eingesetzt, um zu erkennen, dass eine grobe Täuschung der Authentifizierung versucht wird, wenn zum Beispiel die Authentifizierung mit dem Vorhalten eines Bildes oder Videos des korrekten Nutzers überlistet werden soll. Die erkannte Topographie bzw. die 3D-Kontur würde stark von der eines menschlichen Kopfes abweichen. Primär würde die Identifikationseinheit eine Gesichtserkennung basierend auf den 2D-Daten durchführen und als Plausibilitätsüberprüfung gemäß dem erfindungsgemäßen Verfahren eine 3D-Kontur ermitteln.
-
Die der Erfindung zugrundeliegende Problemstellung lässt sich jedoch auch mit dem Verfahren nach Anspruch 10 lösen. Das Verfahren nutzt eine Beleuchtungsquelle, die vorzugsweise als IR-Lichtquelle ausgestaltet ist, damit der Nutzer das Licht während des Authentifizierungsvorgangs nicht wahrnimmt oder es ihn nicht stört, da sein Gesicht beleuchtet wird. Das Verfahren führt eine Time-of-Flight-Messung, d. h. eine Laufzeitmessung des Lichtpulses zwischen dem Aussenden des Lichts und dem Eintreffen des reflektierten Pulses auf einem Empfangselement durch. Der wesentliche Unterschied zu herkömmlichen 3D-Kameras, die auf dem Time-of-Flight-Verfahren basieren, besteht darin, dass nicht eine große Anzahl von Empfangselementen ausgewertet wird, sondern eine sehr kleine Anzahl von Empfangselementen vorhanden ist, idealerweise nur eine einzige Photodiode. Die Photodiode wandelt das empfangene Licht in ein elektrisches Signal um, das erfindungsgemäß anschließend digitalisiert wird. In der Zeitfunktion sind die einzelnen Reflektionen des beleuchteten Objekts zu finden. Die Information des Objekts ist nun in ein eindimensionales Signal komprimiert. Um die 3D-Information des Objekts zu erhalten, sind nun weitere Informationen erforderlich. Zusätzliche Information wird dadurch generiert, indem das Objekt unterschiedlich beleuchtet wird. Beispielsweise kann ein Mikrospiegel-Array eingesetzt werden, um die Beleuchtung des Objekts zu strukturieren. Somit können von Aufnahme zu Aufnahme die Ausrichtungen der einzelnen Spiegel verändert werden. Vorzugsweise werden zufällige Muster zur Ansteuerung der Mikrospiegel verwendet, die zueinander orthogonal, d. h. unkorreliert sind. Mit jeder Konfiguration des Mikrospiegel-Arrays wird eine Zeitfunktion des Empfangssignals der Photodiode oder der Photodioden aufgezeichnet, nachdem jeweils ein Lichtpuls ausgesendet wurde. Es ist auch denkbar, das von dem zu erfassenden Objekt remittierte Licht über ein Mikrospiegel-Array auf den Empfangschip zu lenken. Damit würde der Empfangslichtpfad beeinflusst. Weiterhin ist es denkbar, dass das Sendelicht mit einem adaptierbaren Element strukturiert wird, wie beispielsweise einem Matrix-Display, durch welches das Sendelicht geführt wird. Die einzelnen Bereiche des Displays, die Pixel, werden angesteuert und somit das Sendelicht beeinflusst. Aus den einzelnen Empfangssignalen wird nun ein 3D-Bild errechnet. Im Falle einer einzelnen Photodiode wäre es denkbar, aus einer Anzahl von Messungen, die der Auflösung des Mikrospiegel-Arrays entspricht, einfach ein 3D-Bild zu ermitteln. Dies wäre jedoch sehr ineffizient und würde sehr lange dauern. Das Verfahren hätte bei einer mobilen Vorrichtung erwartungsgemäß eine geringe Nutzerakzeptanz. Zudem wäre das Verfahren nicht energieeffizient und würde die Batterie bzw. den Akku bei mobilen Vorrichtungen bei netzunabhängigem Betrieb stark belasten. Die Rekonstruktion des 3D-Bildes ist mit einer sehr geringen Anzahl von Aufnahmen möglich, sofern gute Zufallsmuster für die Strukturierung des Lichtstrahls, entweder im Empfangspfad oder im Sendezweig, vorliegen. Aus Sicht der linearen Algebra handelt es sich um ein unlösbares Problem, da bei N Unbekannten, hier die Anzahl der Pixel des 3D-Bildes, die zudem noch die Entfernungsinformationen beinhalten, eine wesentliche geringe Anzahl an Messungen durchgeführt wird, die im Extremfall auf der Information eines einzigen Pixels beruht. Das Grundkonzept ist, dass die Information und die Bilder, die man gewinnen möchte, einen, gemessen an der Auflösung, geringen Informationsinhalt aufweisen. Die Bilder sind demnach stark komprimierbar. Es sind nur ca. 1% bis 5% der Messungen verglichen mit der Anzahl der Pixel erforderlich (aus: Ahmed Kirmani, Andrea Colaço, Franco N. C. Wong, und Vivek K. Goyal, „Exploiting sparsity in time-of-flight-range aquisition using a single time-resolved sensor", Optics Express, Vol. 19, Issue 22, pp. 21485–21507, 2011). Für das zu lösende Problem, das in das Feld der konvexen Optimierung fällt, sind mehrere Verfahren bekannt, so zum Beispiel die Algorithmen zur Minimierung der I1-Norm. Nachdem nun eine Schätzung der 3D-Kontur vorliegt, geht das Verfahren zur Authentifizierung des Nutzers der mobilen Vorrichtung wie in dem zuvor beschriebenen Verfahren dazu über, einen Vergleich der bestimmten Schätzung der 3D-Kontur des Gesichts des Nutzers mit einem zuvor abgespeicherten Datensatz mit der Referenz-3D-Kontur durchruführen. Selbstverständlich kann die Berechnung, z. B. die konvexe Optimierung bei diesem Verfahren zu einem Server ausgelagert werden, der über das mobile Netzwerk erreichbar ist, um die Anforderungen an die Rechenzeit für die mobile Vorrichtung zu reduzieren. Wie zuvor beschrieben, können in den Vergleichsvorgang weitere Informationen einfließen, so z. B. die Eingabe einer PIN, um die Sicherheit der Authentifizierung weiter zu erhöhen. Abhängig von den Vergleichsergebnissen wird das Freigabesignal bestimmt.
-
Das erfindungsgemäße Verfahren nach Anspruch 9 sowie das erfindungsgemäße Verfahren nach Anspruch 10 kann ebenso mit den Merkmalen des vom Vorrichtungsanspruch 1 abhängigen Merkmale weitergebildet werden.
-
Nachfolgend werden Ausführungen der vorliegenden Erfindung anhand von Beispielen und Figuren beschrieben. Die Figuren der Zeichnung zeigen in:
-
1 schematisch ein Ausführungsbeispiel einer mobilen Vorrichtung als Blockdiagramm;
-
2 schematisch ein Ausführungsbeispiel eines Mobiltelefons in seitlicher Vorderansicht;
-
3 schematisch ein Ausführungsbeispiel eines Mobiltelefons mit rückwärtiger Kamera in Rückansicht;
-
4 schematisch ein Ausführungsbeispiel eines Tablet-Computers mit Frontkamera;
-
5 schematisch ein Ausführungsbeispiel eines tragbaren Personal-Computers mit Frontkamera;
-
6 schematisch ein Ausführungsbeispiel eines Mobiltelefons in frontaler Vorderansicht;
-
7 schematisch eine Benutzerin eines Mobiltelefons und
-
8 schematisch ein weiteres Ausführungsbeispiel einer mobilen Vorrichtung als Blockdiagramm.
-
1 zeigt schematisch ein Ausführungsbeispiel einer mobilen Vorrichtung. Gezeigt sind die funktions- und wirkungsmäßig zusammenhängenden Blöcke, die am Authentifizierungsvorgang beteiligt sind. Die zentrale Einheit ist die Identifikationseinheit 10. Mit ihr ist wirkmäßig die Kamera 11 verbunden. Die gezeichnete Verbindung in 1 ist dabei nicht auf eine Leitungsverbindung beschränkt, denn es kann sich ebenso um eine mittels einer drahtlosen Kommunikationsschnittstelle verbundene Kamera handeln. Die Kamera ist dazu vorgesehen, den Benutzer, in 1 durch die Benutzerin 12 angedeutet, oder zumindest einen relevanten Teil seines Gesichts in wenigstens zwei Dimensionen zu erfassen. Die Daten der Kamera, die wenigstens zwei Bilder aufzeichnet, werden der Identifikationseinheit 10 übergeben. Optional kann eine zusätzliche Beleuchtungseinrichtung 9 genutzt werden, um die Lichtverhältnisse bei der Aufnahme des Bildes zu verbessern. Weiterhin kann die Identifikationseinheit 10 während des Vorgangs der Aufnahme der Bilder des Nutzers zusätzliche Sensorsignale wie das Signal des Gyroskops 17 oder des Beschleunigungssensors 18 nutzen, um die Zeitpunkte für die optimale Bildaufnahmen zu bestimmen oder im Falle der kontinuierlichen Aufzeichnung von Bildern relevante Bilder zu extrahieren oder die Signale für eine verbesserte oder vereinfachten Schätzung der 3D-Kontur zu verwenden. Die Identifikationseinheit ist natürlich nicht auf die Auswertung dieser Sensorsignale beschränkt. Aus den aufgenommenen, vorzugsweise zweidimensionalen Bildern wird ein 3D-Bild bzw. die Kontur des Gesichts des Nutzers ermittelt. Dabei wird beispielsweise der weiter oben beschriebene Algorithmus durchlaufen. Mit der Identifikationseinheit 10 ist ein Speicher 13 verbunden, in dem die Daten für den nun folgenden Vergleich abgelegt sind. Die Datensätze für die Vergleichsoperation können jedoch auch auf einem entfernten Server 16 bzw. auf dessen Speicher hinterlegt sein. Die Identifikationseinheit kann in diesem Fall über die drahtlose Schnittstelle 14 und 15 auf die Daten zugreifen. Rechenoperationen des Authentifizierungsvorgangs, insbesondere die 3D-Rekonstruktion, können ebenso durch einen Server 16 ausgeführt werden, womit die Anforderungen an die Rechenleistung der mobilen Vorrichtung entschärft werden. Dazu würden Bilder der Kamera 11 sowie weitere Sensorsignale wie die der Einheiten 17 und 18 über die drahtlose Schnittstelle 14 und 15 an den Server übermittelt. Die Modems 14 und 15 können dabei für unterschiedliche drahtlose Schnittstellen realisiert sein. Die Übertragung kann über ein WLAN-Netz (WLAN = Wireless Local Area Network), ein GSM-Netz (GSM = Global System for Mobile Communications), ein UMTS-Netz (UMTS = Universal Mobile Telecommunications System) oder über ein LTE-Netz (LTE = Long Term Evolution) erfolgen. Zur Unterstützung des Authentifizierungsvorgangs kann die Anzeigeeinheit 19 genutzt werden, um dem Benutzer 12 Informationen über den Fortschritt des Prozesses anzuzeigen. Die Leuchtkraft der Anzeigeeinheit 19 kann dazu genutzt werden, die Belichtungsverhältnisse bei der Aufnahme des Gesichts des Nutzers 12 mittels der Kamera 11 zu verbessern. In diesem Falle kann die zusätzliche Beleuchtungseinrichtung 9, die zum Beispiel als LED realisiert ist, entfallen.
-
2 zeigt schematisch eine Realisierung eines Mobiltelefons als eine mobile Vorrichtung. Zu sehen ist die Vorderseite des Mobiltelefons 20 mit der Anzeigeeinheit 22 und der Kamera 21, die üblicherweise für Videotelefonie vorgesehen ist. Optional kann das Mobiltelefon mit einer zusätzlichen Beleuchtungseinrichtung 23 zum Beispiel in Form einer LED ausgestattet sein. Dies würde zudem die Lichtverhältnisse während eines Video-Telefonats bei Dunkelheit verbessern.
-
Erfindungsgemäß kann auch die Kamera auf der Rückseite des Mobiltelefons eingesetzt werden, um Bilder des Nutzer während des Authentifizierungsvorgangs aufzunehmen. In 3 ist schematisch eine Realisierung eines Mobiltelefons 30 zu sehen, wobei hier die Rückseite 31 gezeigt ist. Das Mobiltelefon 30 umfasst eine Kamera 33 mit zusätzlicher, jedoch für das Verfahren optionaler Beleuchtung 32 in Form einer eingebauten LED. Um die Leuchtkraft zu erhöhen, kann auch mehr als eine LED eingebaut werden.
-
Die Erfindung kann in unterschiedlichen mobilen Vorrichtungen Einsatz finden, so zum Beispiel auch bei einem Tablet-Computer. 4 zeigt die Vorderseite eines Tablet-Computers 40 mit der Anzeigeeinheit 41, die üblicherweise als kapazitiver oder resistiver Touch-Screen ausgeführt ist. Die Kamera 42, welche das erfindungsgemäße Verfahren nutzen kann, ist ebenso zu sehen.
-
5 zeigt einen tragbaren Personal-Computer, einen Laptop 51. Der Laptop 51 ist im aufgeklappten Zustand gezeigt, so dass die Anzeigeeinheit 52 sowie die Eingabeeinheit 50 in Form einer Tastatur zu sehen sind. Zum Benutzer hin gerichtet ist die Kamera 53 im Rahmen der Anzeigeeinheit 52 montiert.
-
6 zeigt wiederum eine mobile Vorrichtung, hier ein Mobiltelefon 60. Durch 64 sind die bevorzugten Bewegungsrichtungen des Mobiltelefons 60 bei der Bildaufnahme während des Authentifizierungsvorgangs zu sehen, während der Benutzer das Gerät vor sich hält. Das Mobiltelefon ist in Vorderansicht zu sehen, mit der Anzeigeeinheit 61, der Kamera 62 zur Bildaufnahme des Nutzers während des Authentifizierurgsvorgangs. Mit der Öffnung 63 auf der Vorderseite sind die Umrisse für die Aussparung des Gehäuses für den Lautsprecher zu sehen.
-
7 zeigt eine Nutzerin 70 während des Authentifizierungsvorgangs. Sie hält ein Mobiltelefon 71 vor sich, damit sie die Anzeigeeinheit sehen kann. Mit 72 sind die bevorzugten Bewegungsrichtungen für die Bewegung der mobilen Vorrichtung während des Authentifizierungsvorgangs angedeutet. Die Nutzerin kann auch den Kopf leicht bewegen, dessen bevorzugte Bewegungsrichtungen mit den Pfeilen 73 angedeutet sind. Die Bewegungen weisen vorzugsweise nur eine kleine Komponente bezüglich der Achse zwischen mobiler Vorrichtung und dem Gesicht des zu erkennenden Nutzers auf.
-
8 zeigt ein Blockdiagramm einer Ausführung nach Anspruch 10. Die zentrale Einheit ist wiederum die Identifikationseinheit 80, die mit einer Lichtquelle 81 wirkungsmäßig verbunden ist. Die Lichtquelle ist vorzugsweise eine punktförmige Lichtquelle, z. B. in Form einer Laserdiode, welche ausgebildet ist, schnell in Ihrer Lichtintensität der Bestromung zu folgen. Mit dem Sensorelement bzw. dem Empfangselement 85 werden die von dem aufzunehmenden Objekt in Richtung des Empfangselements remittierten Lichtstrahlen aufgenommen und in elektrische Signale umgewandelt. Üblicherweise würde es sich hier um eine Photodiode handeln. Es kann jedoch auch ein kleines Photodiodenarray sein, das eine, gemessen an der zu erzielenden Auflösung des 3D-Bildes sehr geringe Auflösung besitzt. Erfindungsgemäß ist die Belichtung de Empfangselement von Aufnahme zu Aufnahme zu variieren, idealerweise, indem eine zufällige Struktur vorliegt. Dies kann auf zweierlei Weise erreicht werden. Eine Möglichkeit ist es, mit dem Element 82 im Sendelichtpfad eine strukturierte und durch einen Algorithmus veränderbare Beleuchtung des Objekts zu erzielen. Hier kann es sich um ein Matrix-Display handeln, das in ähnlicher Form in Flüssigkristalldisplays eingesetzt wird. Durch eine Ansteuerung der einzelnen Elemente der Matrix kann eine Beleuchtung des Objekts mit einem zufälligen Muster erreicht werden. Eine weitere Ausführungsform sieht vor, das Element 82 in Form eines Mikrospiegelarrays zu bauen, wobei dann eine Umlenkung des Lichtstrahls resultieren würde, die in 8 nicht dargestellt ist. Alternativ kann die Strukturierung des Lichts durch eine Beeinflussung des Lichtwegs im Empfangspfad erfolgen, d. h. entlang des Wegs zwischen dem Objekt 83, an dem das Licht des Senders 81 reflektiert wird, und dem Empfangselement 85. Hierzu ist Element 84 angedeutet, das ebenso als Mikrospiegel-Array oder ähnlich einem Matrix-Display ausgeführt werden kann. Das Blockdiagramm zeigt weiterhin den Speicher der mobilen Vorrichtung 86, in dem die Referenzdatensätze für die Vergleichsprozesse abgelegt sein können, und die Anzeigeeinheit 87, welche das Display der mobilen Vorrichtung darstellt. Weitere Details aus 1 wie das Modem, weitere Sensorelemente usw. sind der Übersicht wegen nicht dargestellt, jedoch kann eine Implementierung ebenso auf diese Elemente zugreifen. Die Elemente 81, 82, 84 und 85 aus 8 können auch zu einer Kamera zusammengefasst werden, so dass die Kamera ein bereits berechnetes 3D-Bild liefert. Hierzu würde die Kamera eine Berechnungseinheit umfassen, wie z. B. einen Prozessor oder einen dedizierten Hardwarechip. Die Berechnungen, zum Beispiel die konvexe Optimierung, können jedoch auch innerhalb der Identifikationseinheit 80 gelöst werden, so dass die Identifikationseinheit ebenso die Algorithmen der Berechnungen umfassen würden.
-
Vorteile der Erfindung
-
Da sich das Authentifizierungsverfahren durch ein Foto o. ä., das in geeignetem Abstand vor die Kamera gehalten wird, oder ein Video nicht täuschen lässt, ist das beschriebene Verfahren einer Erfassung und Auswertung von mindestens einem 2D-Bild überlegen und bietet somit einen verbesserten Schutz gegen unberechtigte Nutzung der mobilen Vorrichtung.
-
Das nach
DE 10 2006 036 573 , Anspruch 5, realisierte System ermittelt Abstandsinformationen der Objektpunkte. Die nach der vorliegenden Erfindung ausgebildete Vorrichtung gemäß Anspruch 1 oder das Verfahren nach Anspruch 9 erfasst jedoch keine Abstandsinformationen der Objektpunkte. Vielmehr wird durch die Algorithmen ein 3D-Profil errechnet, bei dem die Abstandsinformationen der Kamera keine Eingangsgröße sind. Diese Informationen liegen gar nicht vor, wenngleich durch die Algorithmen eine Schätzung der Kameraposition erfolgen kann. Der Vorteil ist, dass daher eine einfachere Kamera ausreicht, um die vorliegende Erfindung zu realisieren, denn es ist keine herkömmliche 3D-Kamera, die beispielsweise nach dem Time-of-Flight-Verfahren arbeitet und für jedes einzelne Pixel eine Abstandsinformation direkt ermittelt, erforderlich. Damit werden Vorteile bei den Hardwarekosten bei der Realisierung der Erfindung erzielt.
-
Der Verfahren nach Anspruch 10 nutzt zwar eine Time-of-Flight-Messung, allerdings nur mit einem oder wenigen Empfangskanälen. Damit hat die Realisierung deutliche Kostenvorteile gegenüber einem Verfahren, das eine herkömmlichen 3D-Kamera nach dem Time-of-Flight-Verfahren, die für jedes Pixel eine Zeitmessung durchführt und deswegen erheblich teurer ist oder erheblichen Begrenzungen bei der Auflösung unterliegt.
-
Das erfindungsgemäße Verfahren der Authentifizierung erfordert nur eine minimale Benutzerinteraktion, da der Benutzer keine Eingaben vorzunehmen hat. Damit ist das Verfahren einfacher als die Eingabe einer Ziffernfolge oder einer alphanumerischen Folge. Zudem ist die Sicherheit gegenüber der Eingabe von Wischmustern erhöht.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2009/0241072 [0004]
- WO 99/24938 A1 [0005, 0005]
- DE 102006036573 B3 [0006]
- WO 99/24938 [0011, 0013]
- DE 102006036573 [0012, 0057]
-
Zitierte Nicht-Patentliteratur
-
- „Reconstruction from Two Uncalibrated Views” und „Step-by-Step Building of a 3-D Model from Images”, aus Yi Ma, Stefano Soatto, Jana Košecká und Shankar Sastry, „An Invitation to 3-D Vision”, Springer Verlag [0022]
- Carlos Leung, Brian C. Lovell, „3D Reconstruction Through Segmentation of Multi-View Image Sequences”, School of Information Technology and Electrical Engineering, The University of Queensland, Brisbane, Queensland, 4072, Australia [0022]
- Ahmed Kirmani, Andrea Colaço, Franco N. C. Wong, und Vivek K. Goyal, „Exploiting sparsity in time-of-flight-range aquisition using a single time-resolved sensor”, Optics Express, Vol. 19, Issue 22, pp. 21485–21507, 2011 [0037]
