DE112020004597T5

DE112020004597T5 - Elektronische vorrichtung zur automatisierten benutzeridentifizierung

Info

Publication number: DE112020004597T5
Application number: DE112020004597.8T
Authority: DE
Inventors: Nichole Stockman; Korwin Jon Smith; Douglas Andrew Hungarter; Joshua Adam Cowan; Jared Corso; Rajeev Ranjan; Prithviraj Banerjee; Matthew Christopher Smith
Original assignee: Amazon Technologies Inc
Current assignee: Amazon Technologies Inc
Priority date: 2019-09-27
Filing date: 2020-09-25
Publication date: 2022-08-04
Also published as: GB202203911D0; GB2602588A; JP7379677B2; WO2021062161A1; CN114651287A; GB2602588B; JP2022548730A; US11941629B2; US20210097547A1

Abstract

Diese Offenbarung beschreibt Techniken zum Bereitstellen von Anweisungen beim Empfangen biometrischer Daten, die einem Benutzer zugeordnet sind. Beispielsweise kann eine Benutzererkennungsvorrichtung einen Teil eines Benutzers, wie etwa eine Hand, erfassen. Die Benutzererkennungsvorrichtung kann dann ein erstes grafisches Element anzeigen, das eine Zielposition zum Platzieren des Teils des Benutzers über der Benutzererkennungsvorrichtung angibt. Zusätzlich kann die Benutzererkennungsvorrichtung Positionen des Teils des Benutzers über der Benutzererkennungsvorrichtung bestimmen. Die Benutzererkennungsvorrichtung kann dann ein zweites grafisches Element anzeigen, das die Positionen angibt, beispielsweise wenn die Positionen nicht in der Nähe der Zielposition liegen. Zusätzlich kann die Benutzererkennungsvorrichtung Anweisungen zum Bewegen des Teils des Benutzers zu der Zielposition anzeigen. Basierend auf dem Erfassen, dass die Position des Teils des Benutzers in der Nähe der Zielposition ist, kann die Benutzererkennungsvorrichtung Daten, die den Teil des Benutzers darstellen, an ein entferntes System senden.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht die Priorität der US-Patentanmeldung Nr. 16/585,328 , eingereicht am 27. September 2019, mit dem Titel „ELECTRONIC DEVICE FOR AUTOMATED USER IDENTIFICATION“, deren gesamter Inhalt hierin durch Bezugnahme eingeschlossen ist.
HINTERGRUND
Einzelhändler, Großhändler und andere Produktvertreiber betreiben häufig physische Geschäfte, die Kassierer oder spezielle Selbstbedienungskassen verwenden, um Transaktionen mit Kunden abzuschließen. Während dieser herkömmlichen Bezahlvorgänge müssen Kunden möglicherweise physische Gegenstände zur Zahlung oder Identifizierung mit sich führen und verwenden, wie z.B. eine Kredit- oder Debitkarte, einen Führerschein, ein Telefon und so weiter. In Zukunft könnten physische Geschäfte verschiedene Arten von Sensoren verwenden, um es Benutzern zu ermöglichen, Artikel ohne Kassierer oder spezielle Selbstbedienungskassen zu erwerben und zu bezahlen. In einigen Beispielen kann es wünschenswert sein, Kunden unter Verwendung von Verfahren zu identifizieren, die keine Verwendung von physischen Objekten erfordern, und die entsprechenden Kundenkonten für Artikel zu belasten, die von den Kunden aus den physischen Geschäften entnommen werden.
Figurenliste
Die detaillierte Beschreibung erfolgt unter Bezugnahme auf die beigefügten Figuren. In den Figuren identifiziert/identifizieren die am weitesten links stehende(n) Ziffer(n) einer Bezugszahl die Figur, in der die Bezugszahl zuerst erscheint. Die Verwendung derselben Bezugszeichen in unterschiedlichen Figuren gibt ähnliche oder identische Elemente oder Merkmale an.

1A-1B veranschaulichen gemeinsam einen beispielhaften Prozess zum Bereitstellen von Anweisungen beim Erfassen biometrischer Daten.
2A-2F veranschaulichen beispielhafte Benutzerschnittstellen, die Anweisungen zum Platzieren einer Hand an eine Zielposition über einer Benutzererkennungsvorrichtung bereitstellen.
3A-3F veranschaulichen beispielhafte Benutzerschnittstellen, die Anweisungen zum Eingeben zusätzlicher Informationen beim Erfassen biometrischer Daten bereitstellen.
4A-4D veranschaulichen Beispiele von Zielpositionen zum Platzieren eines Teils eines Benutzers, sodass eine Benutzererkennungsvorrichtung biometrische Daten erfassen kann.
5 veranschaulicht ein Beispiel zum Analysieren einer Hand, um die Mitte einer Handfläche der Hand zu identifizieren.
6 veranschaulicht eine beispielhafte Umgebung, die eine Benutzererkennungsvorrichtung enthält, um zu bestimmen, dass ein Benutzer sich bei einem Benutzererkennungssystem registrieren möchte.
7 veranschaulicht eine beispielhafte Umgebung einschließlich eines Blockdiagramms von einem oder mehreren Servern, die dazu konfiguriert sind, mindestens einen Teil der Funktionalität eines Benutzererkennungssystems sowie einen beispielhaften Datenfluss innerhalb des Systems zum Registrieren eines Benutzers bei dem Benutzererkennungssystem zu unterstützen.
8 veranschaulicht eine beispielhafte Umgebung einschließlich eines Blockdiagramms von einem oder mehreren Servern, die dazu konfiguriert sind, mindestens einen Teil der Funktionalität eines Benutzererkennungssystems sowie einen beispielhaften Datenfluss innerhalb des Systems zum Identifizieren eines Benutzers des Benutzererkennungssystems und möglicherweise zum Aktualisieren der Registrierung des Benutzers zu unterstützen.
9 veranschaulicht beispielhafte Komponenten einer Benutzererkennungsvorrichtung, die dazu konfiguriert sind, mindestens einen Teil der Funktionalität eines Benutzererkennungssystems zu unterstützen.
10A-10B veranschaulichen gemeinsam ein Flussdiagramm eines beispielhaften Prozesses zum Bereitstellen von Anweisungen, die mit dem Platzieren einer Hand an einer Zielposition relativ zu einer Benutzererkennungsvorrichtung verbunden sind.
11 veranschaulicht ein Flussdiagramm eines beispielhaften Prozesses zum Bereitstellen von Anweisungen im Zusammenhang mit der Eingabe biometrischer Daten.
12 veranschaulicht ein Flussdiagramm eines beispielhaften Prozesses zum Bestimmen einer Position eines Teils eines Benutzers in Bezug auf eine elektronische Vorrichtung.
13 ist ein Blockdiagramm einer beispielhaften Materialhandhabungseinrichtung, die Sensoren und ein Bestandsverwaltungssystem enthält, die dazu konfiguriert sind, unter Verwendung der Sensordaten eine Ausgabe in Bezug auf Ereignisse zu erzeugen, die in der Einrichtung auftreten.
14 veranschaulicht ein Blockdiagramm von einem oder mehreren Servern, die dazu konfiguriert sind, den Betrieb der Einrichtung zu unterstützen.

DETAILLIERTE BESCHREIBUNG
Diese Offenbarung beschreibt Systeme, Techniken und Benutzerschnittstellen zum Identifizieren von Benutzern unter Verwendung biometrischer Erkennungstechniken. Wie nachfolgend beschrieben, können sich Benutzer bei einem Benutzererkennungssystem registrieren, das verschiedene biometriebasierte Erkennungstechniken verwendet, sodass Benutzer identifiziert werden können, ohne herkömmliche Formen der Identifizierung, wie z. B. einen Ausweis, mit sich führen oder verwenden oder auf ihr persönliches Telefon zugreifen zu müssen. Das Benutzererkennungssystem kann registrierte Benutzer für verschiedene Zwecke erkennen oder identifizieren, beispielsweise zum Automatisieren herkömmlicher Bezahlvorgänge in einer Materialhandhabungseinrichtung (oder „Einrichtung“), indem entsprechende Benutzerkonten mit Einkäufen von Artikeln belastet werden, die von registrierten Benutzern in der Einrichtung ausgewählt wurden.
In einem veranschaulichenden Beispiel werden die Systeme und Techniken verwendet, um Benutzer innerhalb einer Materialhandhabungseinrichtung zu erkennen oder zu identifizieren, welche ein Bestandsverwaltungssystem umfassen oder Zugriff darauf haben kann. Das Bestandsverwaltungssystem kann dazu konfiguriert sein, Informationen über Artikel, Benutzer, Bedingungen der Einrichtung usw. zu verwalten. Beispielsweise kann das Bestandsverwaltungssystem Daten enthalten, die ein Ergebnis verschiedener Ereignisse anzeigen, welche innerhalb der Einrichtung auftreten, wie beispielsweise welche Artikel ein bestimmter Benutzer auswählt oder zurückgibt, eine Position des bestimmten Benutzers und so weiter.
Der Betrieb des Bestandsverwaltungssystems kann durch Sensordaten unterstützt werden, die von einem oder mehreren Sensoren erfasst werden. Zu den Sensordaten können Bilddaten gehören, die von bildgebenden Geräten wie Kameras erfasst werden, sowie Informationen, die von Funkfrequenzetiketten, Gewichtssensoren und so weiter erfasst werden. Beispielsweise kann das Bestandsverwaltungssystem automatisch einen Artikel, der von einer Bestandsposition entfernt wurde, sowie einen Benutzer, der den Artikel entfernt hat, identifizieren. Als Reaktion darauf kann das Bestandsverwaltungssystem automatisch einen virtuellen Einkaufswagen des Benutzers aktualisieren.
Wenn ein Benutzer seine Einkaufssitzung beendet hat, müsste der Benutzer herkömmlicherweise für seine Artikel bezahlen, indem er seine Artikel von einem Kassierer scannen lässt oder spezielle Selbstbedienungskassen verwendet. Die hierin beschriebenen Techniken reduzieren den Aufwand bei herkömmlichen Bezahlverfahren, indem sie einen Benutzer erkennen oder identifizieren, der für die Verwendung des Benutzererkennungssystems registriert ist, und ein Benutzerkonto für diesen Benutzer mit den Kosten der in seinem virtuellen Einkaufswagen enthaltenen Artikel belasten. Gemäß den hierin beschriebenen Techniken muss ein Benutzer, der im Benutzererkennungssystem registriert ist, möglicherweise nur biometrische Informationen bereitstellen, indem er beispielsweise eine Handfläche des Benutzers an einer Bildgebungsvorrichtung scannt, einen Fingerabdruck des Benutzers scannt, in eine Kamera einer Benutzererkennungsvorrichtung, die sich in der Einrichtung befindet, schaut, oder dergleichen, um von dem Benutzererkennungssystem identifiziert zu werden.
Um das Benutzererkennungssystem zu verwenden, kann ein Benutzer anfordern, registriert zu werden, indem er mit einer in einer Einrichtung angeordneten Benutzererkennungsvorrichtung interagiert. Beispielsweise kann der Benutzer eine Registrierungsoption auf einer Anzeige der Benutzererkennungsvorrichtung auswählen, einen Sprach- oder GUI-basierten Befehl ausgeben, der die Registrierung anfordert, einen Ausweis des Benutzers in die Benutzererkennungsvorrichtung einführen und/oder einfach die Hand oder Handfläche vor die Benutzererkennungsvorrichtung führen, um den Registrierungsprozess einzuleiten.
Bei der Anforderung, im Benutzererkennungssystem registriert zu werden, kann die Benutzererkennungsvorrichtung mit Genehmigung und/oder auf ausdrücklichen Wunsch des Benutzers damit beginnen, verschiedene Arten von biometrischen Daten und/oder anderen Daten für den Benutzer zu erfassen. Beispielsweise kann die Benutzererkennungsvorrichtung einen oder mehrere Bildsensoren (z. B. eine Kamera) umfassen, die mit dem Erfassen von Bilddaten (z. B. eines Einzelbilds, einer Bildfolge, eines Videos usw.) von mindestens einem Teil des Benutzers z. B. einer Handfläche, dem Gesicht des Benutzers oder dergleichen, beginnen kann. Im Beispiel der Handfläche kann die Benutzererkennungsvorrichtung den Benutzer auffordern, seine Hand in verschiedene Winkel und/oder Ausrichtungen zu bewegen, während die Benutzererkennungsvorrichtung die Bilddaten erfasst, und kann auch Bilddaten unter verschiedenen Lichtbedingungen erfassen (z. B. ohne oder mit Blitz, unterschiedliche Lichtpolarisationen usw.), um Bilddaten zu erzeugen, die die Handfläche des Benutzers unter unterschiedlichen Umgebungsbedingungen darstellen.
In einigen Beispielen kann der Benutzer bereits ein Konto haben, das im Bestandsverwaltungssystem registriert ist, um für während einer Einkaufssitzung ausgewählte Artikel zu bezahlen. In solchen Beispielen kann die Benutzererkennungsvorrichtung ein Benutzerkonto ermitteln, mit dem der Benutzer auf verschiedene Weise registriert ist, z. B. indem sie den Benutzer auffordert, eine persönliche ID-Karte (z. B. einen Führerschein) einzulegen, einen Barcode zu scannen, der auf einem Display eines Telefons des Benutzers angezeigt werden kann, sich mit seinen Anmeldedaten anzumelden usw.
Sobald die Benutzererkennungsvorrichtung die Bilddaten erhalten hat, die die Handfläche oder einen anderen Teil des Benutzers darstellen, kann die Benutzererkennungsvorrichtung diese Daten verwenden, um den Benutzer im Benutzererkennungssystem zu registrieren. In einigen Beispielen kann das Benutzererkennungssystem vollständig auf der Benutzererkennungsvorrichtung implementiert sein, das die Software-, Firmware- und/oder Hardwarekomponenten zum Implementieren der hierin beschriebenen Techniken enthalten kann. In einigen Beispielen kann das Benutzererkennungssystem jedoch gemäß einer geteilten Architektur implementiert werden, wobei die Benutzererkennungsvorrichtung clientseitige Registrierungs- und Identifizierungstechniken durchführt und eine intensivere und/oder fortgeschrittenere Verarbeitung unter Verwendung einer serverbasierten Implementierung im Back-End durchgeführt werden kann. Beispielsweise kann das Benutzererkennungssystem eine oder mehrere netzwerkbasierte Rechenvorrichtungen umfassen, die an einer separaten Position in der Einrichtung und/oder an einer entfernten, cloudbasierten Position angeordnet sind. Die netzwerkbasierten Vorrichtungen können verschiedene Komponenten zum Implementieren des Benutzererkennungssystems enthalten.
In diesen Beispielen kann die Benutzererkennungsvorrichtung die Bilddaten und/oder Merkmalsdaten, die von der Benutzererkennungsvorrichtung unter Verwendung der Bilddaten erzeugt worden sind, an die netzwerkbasierten Vorrichtungen senden, um den Benutzer in dem Benutzererkennungssystem zu registrieren. Die netzwerkbasierten Vorrichtungen des Benutzererkennungssystems können verschiedene Verarbeitungstechniken an den Bilddaten und/oder Merkmalsdaten durchführen, sodass das Benutzererkennungssystem in der Lage ist, den Benutzer aus nachfolgend empfangenen Bilddaten und/oder Merkmalsdaten zu identifizieren.
Das Benutzererkennungssystem kann die Bilddaten analysieren, um verschiedene Merkmale des Benutzers zu bestimmen. Beispielsweise kann das Benutzererkennungssystem basierend auf den Bilddaten Handflächenmerkmalsdaten extrahieren und/oder erzeugen, die die Handfläche des Benutzers darstellen. Diese Handflächenmerkmalsdaten können Informationen darstellen, die möglicherweise einzigartig für die Handfläche des Benutzers sind, wie z. B. das Faltenmuster in der Handfläche des Benutzers, das Venenmuster der Handfläche des Benutzers, die Geometrie von einem oder mehreren Teilen der Hand des Benutzers (z. B. Fingergröße/-form, Handflächengröße/-form usw.) und/oder dergleichen. Das Benutzererkennungssystem kann jede Art von Verarbeitungstechniken verwenden, um die Handflächenmerkmalsdaten zu erzeugen, und kann die in den Bilddaten abgebildete Handfläche des Benutzers unter Verwendung verschiedener Arten von Datenstrukturen, wie beispielsweise Merkmalsvektoren, darstellen. In einigen Beispielen kann das Benutzererkennungssystem ein oder mehrere trainierte Modelle (z B. Maschinenlernmodelle) umfassen, die trainiert wurden, um Bilddaten eines Benutzers als Eingabe zu empfangen und Merkmalsvektoren auszugeben, die eine Handfläche des Benutzers darstellen. Im Allgemeinen kann/können das/die trainierte(n) Modell(e) jede Art von Modellen umfassen, wie z. B. Modelle für Maschinenlernen (z. B. künstliche neuronale Netze, Convolution Neural Networks (CNNs), Klassifikatoren, Random-Forest-Modelle usw.), die trainiert werden können, eine Handfläche eines Benutzers und/oder ein oder mehrere andere Teile des Benutzers (z. B. Gesicht usw.) zu identifizieren.
Beim Erhalten der Merkmalsdaten, die die Handfläche des Benutzers darstellen, kann das Benutzererkennungssystem die Merkmalsdaten in einer Registrierungsdatenbank speichern und die Merkmalsdaten einem Benutzerprofil für diesen bestimmten Benutzer zuordnen. Auf diese Weise können, wenn nachfolgende Bilddaten für einen Benutzer an einer Benutzererkennungsvorrichtung empfangen werden, die in der Registrierungsdatenbank gespeicherten Merkmalsdaten mit den aus den nachfolgenden Bilddaten erzeugten Merkmalsdaten verglichen werden, um ein Benutzerprofil für den in den nachfolgenden Bilddaten und Audiodaten dargestellten Benutzer zu identifizieren.
Auf diese Weise kann der Benutzer für die Verwendung des Benutzererkennungssystems registriert werden, sodass der Benutzer nach Abschluss nachfolgender Einkaufssitzungen zahlen kann, indem er die Handfläche über eine Bildgebungskomponente einer Benutzererkennungsvorrichtung platziert, um dem Benutzererkennungssystem die automatische Erkennung des Benutzers zu ermöglichen. Die Benutzererkennungsvorrichtung kann die Anwesenheit des Benutzers erkennen (z. B. die Handfläche erfassen, ein Gesicht erfassen, die Sprachäußerung erfassen, eine Berührungseingabe über ein Berührungsdisplay erfassen usw.) und mit dem Streamen von Bilddaten und Audiodaten an die Back-End-Vorrichtungen des Benutzererkennungssystems beginnen. Die Back-End-Vorrichtungen des Benutzererkennungssystems können dann das/die trainierte(n) Modell(e) verwenden, um Merkmalsdaten zu extrahieren und diese Merkmalsdaten mit gespeicherten Merkmalsdaten für Benutzerprofile von registrierten Benutzern zu vergleichen. Zusätzlich oder alternativ dazu kann der Benutzer beim Betreten der Einrichtung die Handfläche zur Erkennung scannen und in einigen Fällen die Einrichtung einfach mit den ausgewählten Artikeln verlassen, ohne die Handfläche erneut zu scannen. In diesen Fällen kann der Benutzer beim Betreten identifiziert und vom System geortet werden, wenn sich der Benutzer in der Einrichtung bewegt, sodass der Benutzer ohne weitere Interaktion mit Mitarbeitern oder Vorrichtungen in der Einrichtung „einfach hinausgehen“ kann.
Wie zuvor beschrieben, kann die Benutzererkennungsvorrichtung anfordern, dass der Benutzer die Hand in anderen Positionen, Winkeln und/oder Ausrichtungen bewegt, wenn die Benutzererkennungsvorrichtung die Bilddaten erfasst. In einigen Fällen kann die Benutzererkennungsvorrichtung eine oder mehrere Benutzerschnittstellen bereitstellen, die dabei helfen, den Benutzer anzuweisen, die Hand in die verschiedenen Positionen, Winkel und/oder Ausrichtungen zu bewegen. Beispielsweise kann die Benutzererkennungsvorrichtung eine Benutzerschnittstelle (als „erste Benutzerschnittstelle“ bezeichnet) anzeigen, die Anweisungen zum Platzieren der Hand des Benutzers über der Bildgebungskomponente der Benutzererkennungsvorrichtung enthält. Die erste Benutzerschnittstelle kann ferner ein Schnittstellenelement umfassen, das der Benutzer zum Erstellen eines neuen Benutzerprofils auswählen kann, wenn der Benutzer bislang noch kein Benutzerprofil erstellt hat. Zusätzlich kann die erste Benutzerschnittstelle in einigen Fällen eine Darstellung beinhalten, wie die Hand über der Bildgebungskomponente zu platzieren ist. Die Benutzererkennungsvorrichtung kann diese erste Benutzerschnittstelle anzeigen, wenn sich der Benutzer zum ersten Mal der Benutzererkennungsvorrichtung nähert.
Während die erste Benutzerschnittstelle angezeigt wird, kann die Benutzererkennungsvorrichtung die Hand des Benutzers erfassen, die sich über der Bildgebungskomponente befindet. In einigen Beispielen kann die Benutzererkennungsvorrichtung die Hand unter Verwendung eines Abstandssensors erfassen. In anderen Beispielen kann die Benutzererkennungsvorrichtung die Hand unter Verwendung des einen oder der mehreren Bildsensoren erfassen. In jedem Beispiel kann die Benutzererkennungsvorrichtung basierend auf dem Erfassen der Hand des Benutzers eine Benutzerschnittstelle (als „zweite Benutzerschnittstelle“ bezeichnet) anzeigen, die Anweisungen zum Platzieren der Hand an einer Zielposition über der Bildgebungskomponente bereitstellt.
Wie hierin beschrieben, kann die Zielposition über der Bildgebungskomponente sowohl eine vertikale Zielposition (z. B. z-Richtung) in Bezug auf die Bildgebungskomponente als auch eine horizontale Zielposition (z. B. x-Richtung und y-Richtung) in Bezug auf die Bildgebungskomponente beinhalten. In einigen Beispielen kann die vertikale Zielposition einem vertikalen Abstand über der Bildgebungskomponente zugeordnet sein, wie z. B. acht bis fünf Millimeter über der Bildgebungskomponente. In anderen Beispielen kann die vertikale Zielposition jedoch jedem anderen vertikalen Abstand über der Bildgebungskomponente zugeordnet sein. Darüber hinaus kann in einigen Beispielen die horizontale Zielposition sowohl in der x-Richtung als auch in der y-Richtung der Mitte der Bildgebungskomponente zugeordnet sein. In einigen Fällen können die vertikale Zielposition und/oder die horizontale Zielposition auch einen gewissen Versatz beim Erfassen der biometrischen Daten zulassen. Beispielsweise kann die vertikale Zielposition ermöglichen, dass sich die Hand zwischen fünfundsiebzig Millimeter und fünfundneunzig Millimeter über der Bildgebungskomponente befindet. Darüber hinaus kann die vertikale Zielposition ermöglichen, dass die Hand um zwanzig Millimeter versetzt entweder in der x-Richtung oder in der y-Richtung lokalisiert wird.
Die zweite Benutzerschnittstelle kann ein erstes grafisches Element enthalten, das der Zielposition über der Bildgebungskomponente zugeordnet ist. In einigen Beispielen umfasst das erste grafische Element einen Kreis, der sich in der Nähe der Mitte der zweiten Benutzerschnittstelle befindet.
Der Kreis kann eine durchgezogene Linie, eine gestrichelte Linie und/oder jede andere Art von Linie umfassen. In anderen Beispielen kann das erste grafische Element eine andere Form umfassen. Beispielsweise kann das erste grafische Element ein Quadrat, ein Rechteck, ein Fünfeck, ein Sechseck, eine Form einer Hand und/oder jede andere Form umfassen, ohne darauf beschränkt zu sein. Darüber hinaus kann sich das erste grafische Element in anderen Beispielen an einer beliebigen Lage auf der ersten Benutzerschnittstelle befinden.
Die zweite Benutzerschnittstelle kann ferner ein zweites grafisches Element enthalten, das der Position der Hand des Benutzers über der Bildgebungskomponente zugeordnet ist. Während sich beispielsweise die Hand des Benutzers über der Bildgebungskomponente befindet, kann die Benutzererkennungsvorrichtung einen oder mehrere Sensoren verwenden, um die Position der Hand des Benutzers über der Bildgebungskomponente zu erfassen. Die Position der Hand des Benutzers kann eine vertikale Position in Bezug auf die Bildgebungskomponente und eine horizontale Position in Bezug auf die Bildgebungskomponente einschließen. In einigen Beispielen kann die Benutzererkennungsvorrichtung die Position der Hand des Benutzers in festgelegten Zeitintervallen erfassen. Beispielsweise kann die Benutzererkennungsvorrichtung jede Millisekunde, Sekunde und/oder dergleichen die Position der Hand des Benutzers erfassen. In einigen Beispielen, etwa wenn die Benutzererkennungsvorrichtung den einen oder die mehreren Bildgebungssensoren verwendet, um die Position zu erfassen, kann die Benutzererkennungsvorrichtung die Position der Hand des Benutzers unter Verwendung jedes durch die Bilddaten dargestellten Frames, jedes zweiten durch die Bilddaten dargestellten Frames, jedes fünften durch die Bilddaten dargestellten Frames und/oder dergleichen erfassen.
Die Benutzererkennungsvorrichtung kann dann das zweite grafische Element basierend auf den erfassten Positionen der Hand des Benutzers aktualisieren. Beispielsweise kann die Benutzererkennungsvorrichtung die Größe des zweiten grafischen Elements basierend auf den vertikalen Positionen der Hand des Benutzers aktualisieren. Wenn zum Beispiel die vertikale Position der Hand des Benutzers nahe der vertikalen Zielposition für die Bildgebungskomponente ist (z. B. fünfundachtzig Millimeter über der Bildgebungskomponente), kann die Benutzererkennungsvorrichtung bewirken, dass die Größe des zweiten grafischen Elements der Größe des ersten grafischen Elements angepasst wird. Wenn jedoch die vertikale Position der Hand des Benutzers weiter von der Bildgebungskomponente entfernt ist als die festgelegte vertikale Position (z. B. hundert Millimeter über der Bildgebungskomponente), kann die Benutzererkennungsvorrichtung bewirken, dass das zweite grafische Element größer ist als die ist Größe des ersten grafischen Elements. Dies kann den Benutzer anweisen, die Hand näher an die Bildgebungskomponente zu führen. Befindet sich die vertikale Position der Hand des Benutzers näher an der bildgebenden Komponente als die vertikale Zielposition (z. B. fünfzig Millimeter über der Bildgebungskomponente), kann die Benutzererkennungsvorrichtung dennoch bewirken, dass das zweite grafische Element kleiner ist als das erste grafische Element. Dies kann den Benutzer darauf hinweisen, dass er die Hand weiter über die Bildkomponente heben soll.
Die Benutzererkennungsvorrichtung kann auch die Lage des zweiten grafischen Elements basierend auf den horizontalen Positionen der Hand des Benutzers aktualisieren. Wenn zum Beispiel die horizontale Position der Hand des Benutzers nahe der horizontalen Zielposition für die Bildgebungskomponente ist (z. B. in der Nähe der Mitte der Bildgebungskomponente), kann die Benutzererkennungsvorrichtung bewirken, dass das zweite grafische Element innerhalb des ersten grafischen Elements zentriert wird. Wenn sich jedoch die horizontale Position der Hand des Benutzers links oder rechts von dem Satz horizontaler Positionen für die Bildgebungskomponente befindet (z. B. in x-Richtung versetzt), kann die Benutzererkennungsvorrichtung bewirken, dass das zweite grafische Element von der Mitte des ersten grafischen Elements nach links oder rechts versetzt ist. Dies kann den Benutzer darauf hinweisen, die Hand des Benutzers in Bezug auf die Bildgebungskomponente nach links oder nach rechts zu bewegen. Wenn sich wiederum die horizontale Position der Hand des Benutzers vor oder hinter der horizontalen Zielposition für die Bildgebungskomponente befindet (z. B. in y-Richtung versetzt), kann die Benutzererkennungsvorrichtung bewirken, dass das zweite grafische Element von der Mitte des ersten grafischen Elements nach oben oder unten versetzt ist. Dies kann den Benutzer darauf hinweisen, die Hand des Benutzers in Bezug auf die Bildgebungskomponente nach vom oder nach hinten zu bewegen. Während dies nur einige Beispiele für das Aktualisieren des zweiten grafischen Elements basierend auf den Positionen der Hand des Benutzers sind, kann die Benutzererkennungsvorrichtung in anderen Beispielen das zweite grafische Element unter Verwendung zusätzlicher und/oder alternativer Techniken aktualisieren.
In einigen Fällen kann die zweite Benutzerschnittstelle ferner Anweisungen zum Platzieren der Hand an der Zielposition umfassen. Wenn sich in einem ersten Beispiel die horizontale Position der Hand des Benutzers links von der horizontalen Zielposition für die Bildgebungskomponente befindet, kann die zweite Benutzerschnittstelle eine Anweisung enthalten, die angibt, dass der Benutzer die Hand nach „RECHTS“ bewegen muss. Wenn sich in einem zweiten Beispiel die horizontale Position der Hand des Benutzers rechts von der horizontalen Zielposition für die Bildgebungskomponente befindet, kann die zweite Benutzerschnittstelle eine Anweisung enthalten, die angibt, dass der Benutzer die Hand nach „LINKS“ bewegen muss. Wenn sich in einem dritten Beispiel die horizontale Position der Hand des Benutzers vor der horizontalen Zielposition für die Bildgebungskomponente befindet, kann die zweite Benutzerschnittstelle eine Anweisung enthalten, die angibt, dass der Benutzer die Hand „ZURÜCK“ bewegen muss. Wenn sich in einem vierten Beispiel die horizontale Position der Hand des Benutzers hinter der horizontalen Zielposition für die Bildgebungskomponente befindet, kann die zweite Benutzerschnittstelle eine Anweisung enthalten, die angibt, dass der Benutzer die Hand „VOR“ bewegen muss.
Wenn sich in einem fünften Beispiel die vertikale Position der Hand des Benutzers näher an der Bildgebungskomponente als die vertikale Zielposition befindet, kann die zweite Benutzerschnittstelle eine Anweisung enthalten, die angibt, dass der Benutzer die Hand nach „OBEN“ bewegen muss. Wenn sich wiederum in einem sechsten Beispiel die vertikale Position der Hand des Benutzers weiter weg von der Bildgebungskomponente als die vertikale Zielposition befindet, kann die zweite Benutzerschnittstelle eine Anweisung enthalten, die angibt, dass der Benutzer die Hand nach „UNTEN“ bewegen muss. Wenngleich dies nur einige beispielhafte Anweisungen sind, die die zweite Benutzerschnittstelle dem Benutzer bereitstellen kann, kann die zweite Benutzerschnittstelle in anderen Beispielen zusätzliche und/oder alternative Anweisungen bereitstellen, um dabei zu helfen, den Benutzer anzuweisen, wo er die Hand platzieren soll.
In einigen Fällen kann die Benutzererkennungsvorrichtung das zweite grafische Element unter Verwendung einer oder mehrerer zusätzlicher und/oder alternativer Techniken aktualisieren. Beispielsweise kann die Benutzererkennungsvorrichtung die Größe, Form, Lage und/oder Farbe des zweiten grafischen Elements basierend auf der Position der Hand (z. B. der vertikalen Position oder der horizontalen Position), der Haltung der Hand, der Ausrichtung der Hand, der Neigung der Hand und/oder dergleichen aktualisieren. Darüber hinaus kann die zweite Benutzerschnittstelle Anweisungen bereitstellen, die anzeigen, dass der Benutzer die Haltung der Hand, die Ausrichtung der Hand und/oder die Neigung der Hand ändern muss. Diese Anweisungen können dem Benutzer ferner dabei helfen, die richtige Position, Lage, Ausrichtung und/oder Neigung zum Platzieren der Hand über der Benutzererkennungsvorrichtung zu bestimmen.
Die Benutzererkennungsvorrichtung kann dem Benutzer weiterhin Anweisungen bereitstellen, bis die Benutzererkennungsvorrichtung erkennt, dass sich die Hand des Benutzers in der Nähe der Zielposition befindet. In einigen Beispielen kann die Benutzererkennungsvorrichtung erkennen, dass sich die Hand in der Nähe der Zielposition befindet, indem sie feststellt, dass die vertikale Position der Hand innerhalb (z. B. weniger als) eines Schwellenabstands zur vertikalen Zielposition liegt und die horizontale Position der Hand innerhalb eines Schwellenabstands zur horizontalen Zielposition liegt. Wie hierin beschrieben, kann ein Schwellenabstand zehn Millimeter, zwanzig Millimeter, dreißig Millimeter und/oder jeden anderen Abstand betragen, ohne aber darauf beschränkt zu sein.
In einigen Fällen kann die Benutzererkennungsvorrichtung, nachdem die Benutzererkennungsvorrichtung erkennt, dass sich die Hand des Benutzers in der Nähe der Zielposition befindet, eine Benutzerschnittstelle (als „dritte Benutzerschnittstelle“ bezeichnet) anzeigen, die angibt, dass sich die Hand an der richtigen Position befindet. Darüber hinaus kann das Benutzererkennungssystem in Fällen, in denen sich der Benutzer bereits im Benutzererkennungssystem registriert hat, die hierin beschriebenen Prozesse ausführen, um das Benutzerprofil zu identifizieren, das dem Benutzer zugeordnet ist. In Fällen, in denen sich der Benutzer noch im Benutzererkennungssystem registrieren muss, kann die Benutzererkennungsvorrichtung eine oder mehrere zusätzliche Benutzerschnittstellen zum Empfangen zusätzlicher Informationen zum Registrieren im Benutzererkennungssystem bereitstellen.
Als erstes Beispiel kann die Benutzererkennungsvorrichtung eine Benutzerschnittstelle (als „vierte Benutzerschnittstelle“ bezeichnet) zum Eingeben von Informationen anzeigen, die dem Benutzer zugeordnet sind. Die Informationen können eine Kennung des Benutzers (z. B. Name, Benutzername usw.), eine Kennung für ein mit einem Online-Marktplatz verknüpftes Konto, eine mit dem Benutzer verknüpfte Telefonnummer, eine mit dem Benutzer verknüpfte E-Mail-Adresse und/oder andere Informationen umfassen, ohne aber darauf beschränkt zu sein. Als zweites Beispiel kann die Benutzererkennungsvorrichtung eine Benutzerschnittstelle (als „fünfte Benutzerschnittstelle“ bezeichnet) anzeigen, die den Benutzer anweist, ein Zahlungsinstrument in ein Lesegerät der Benutzererkennungsvorrichtung einzuführen. Beispielsweise kann die fünfte Benutzerschnittstelle den Benutzer anweisen, eine Debit- oder Kreditkarte in einen Kartenleser der Benutzererkennungsvorrichtung einzuführen. In einigen Fällen kann die fünfte Benutzerschnittstelle nach dem Einführen des Zahlungsinstruments in das Lesegerät einen Hinweis darauf anzeigen, dass die Zahlungsinformationen von dem Zahlungsinstrument empfangen worden sind.
Wie zuvor erörtert, kann die Benutzererkennungsvorrichtung einen oder mehrere Sensoren verwenden, um die Positionen der Hand des Benutzers relativ zu der Bildgebungskomponente zu bestimmen. In einigen Beispielen kann die Benutzererkennungsvorrichtung die vertikale Position der Hand des Benutzers unter Verwendung eines oder mehrerer Abstandssensoren bestimmen. Der eine oder die mehreren Abstandssensoren können Infrarotsensoren (IR-Sensoren), LIDAR-Sensoren und/oder jede andere Art von Sensoren beinhalten, die einen Abstand des Benutzers relativ zur Bildgebungskomponente erfassen können, ohne aber darauf beschränkt zu sein. Beispielsweise können der eine oder die mehreren Abstandssensoren innerhalb und/oder in der Nähe der Bildgebungskomponente positioniert und derart angeordnet sein, dass der eine oder die mehreren Abstandssensoren in der vertikalen Richtung (z. B. in der z-Richtung) nach oben gerichtet sind. In einigen Beispielen kann die Benutzererkennungsvorrichtung die vertikale Position der Hand des Benutzers unter Verwendung einer oder mehrerer zusätzlicher und/oder alternativer Arten von Abstandssensoren bestimmen.
Die Benutzererkennungsvorrichtung kann die horizontale Position der Hand des Benutzers unter Verwendung des einen oder der mehreren Bildgebungssensoren bestimmen. Wie zuvor beschrieben, kann die Benutzererkennungsvorrichtung zum Beispiel das eine oder die mehreren trainierten Modelle verwenden, um Merkmalsdaten unter Verwendung der Bilddaten zu erzeugen, die die Hand des Benutzers darstellen. Die Merkmalsdaten können zumindest Attribute angeben, die der Hand zugeordnet sind, wie etwa, ohne darauf beschränkt zu sein, verschiedene Positionen auf der Handfläche, eine Position in der Mitte der Handfläche, Positionen auf den Fingern (z. B. Anfang der Finger, Knöchel an den Fingern, Schnittpunkte zwischen den Fingern usw.), Positionen am Daumen, eine Richtung der Hand, eine Haltung der Hand, eine Ausrichtung der Hand und/oder alle anderen Attribute, die der Hand zugeordnet sind. Unter Verwendung der Merkmalsdaten kann die Benutzererkennungsvorrichtung die horizontale Position der Hand des Benutzers bestimmen. Beispielsweise kann die Benutzererkennungsvorrichtung die Mitte der Handfläche verwenden, um die horizontale Position der Hand des Benutzers in Bezug auf die Bildgebungskomponente zu bestimmen.
In einigen Fällen kann die Benutzererkennungsvorrichtung vor dem Annehmen von Bilddaten, die die Hand darstellen, und/oder vor dem Bestimmen der horizontalen Position der Hand in Bezug auf die Bildgebungskomponente eine oder mehrere zusätzliche Prüfungen unter Verwendung der von dem einen oder den mehreren trainierten Modelle erzeugten Merkmalsdaten durchführen. Als erstes Beispiel kann die Benutzererkennungsvorrichtung bestimmen, dass das Objekt, das von dem einen oder den mehreren Bildgebungssensoren erfasst wird, eine tatsächliche Hand ist und/oder dass sich die Hand innerhalb des Sichtfelds des einen oder der mehreren Bildsensoren befindet. Beispielsweise können das eine oder die mehreren trainierten Modelle Daten ausgeben, die angeben, dass sich die Hand innerhalb des Sichtfelds des einen oder der mehreren Bildgebungssensoren befindet, das Objekt eine Hand ist, das Objekt keine Hand ist oder dass sich die Hand nicht innerhalb des Sichtfelds des einen oder der mehreren Bildsensoren befindet.
Als zweites Beispiel kann die Benutzererkennungsvorrichtung bestimmen, dass die Größe eines Winkels der Hand innerhalb eines Schwellengrads in Bezug auf die Bildgebungskomponente liegt. Die Benutzererkennungsvorrichtung kann die Winkelgrad der Hand unter Verwendung der Attribute bestimmen, wie z. B. der Positionen des einen oder der mehreren Punkte auf der Hand. Der Winkelgrad kann 2 Grad, 5 Grad, 10 Grad und/oder jeden anderen Winkel umfassen, ohne aber darauf beschränkt zu sein. Als drittes Beispiel kann die Benutzererkennungsvorrichtung bestimmen, dass die Haltung der Hand annehmbar ist. In einigen Fällen bestimmt die Benutzererkennungsvorrichtung, dass die Haltung annehmbar ist, wenn die Hand eine planare Form umfasst, die entlang einer Ebene der Bildgebungskomponente angeordnet ist. Darüber hinaus kann die Benutzererkennungsvorrichtung bestimmen, dass die Haltung der Hand nicht annehmbar ist, wenn die Hand die Form einer Schale oder einer Faust einnimmt und/oder die Hand eine Geste ausführt.
Als viertes Beispiel kann die Benutzererkennungsvorrichtung bestimmen, dass eine Neigung der Hand innerhalb einer Schwellenneigung liegt. In einigen Fällen kann die Benutzererkennungsvorrichtung bestimmen, dass die Neigung der Hand innerhalb der Schwellenneigung liegt, wenn die Hand parallel zur Ebene der Bildgebungskomponente und/oder innerhalb des Schwellenwinkels zu einer Parallelen zur Ebene der Bildgebungskomponente liegt. Darüber hinaus kann die Benutzererkennungsvorrichtung bestimmen, dass die Neigung der Hand nicht innerhalb der Schwellenneigung liegt, wenn die Hand nicht innerhalb des Schwellenwinkels zu einer Parallelen zur Ebene der Bildgebungskomponente liegt. Als fünftes Beispiel kann die Benutzererkennungsvorrichtung ferner bestimmen, ob die Hand eine rechte Hand oder eine linke Hand ist.
In einigen Beispielen kann die Benutzererkennungsvorrichtung beim Durchführen der einen oder mehreren zusätzlichen Prüfungen bestimmen, dass zusätzliche Bilddaten erfasst und analysiert werden müssen, wenn mindestens eine der Prüfungen fehlschlägt. Wenn zum Beispiel die Benutzererkennungsvorrichtung bestimmt, dass die Haltung der Hand eine Faust beinhaltet, dann kann die Benutzererkennungsvorrichtung bestimmen, zusätzliche Bilddaten zur Analyse zu erzeugen, um die horizontale Position der Hand zu bestimmen. Wenn als weiteres Beispiel die Benutzererkennungsvorrichtung bestimmt, dass die Größe eines Winkels der Hand einen Schwellenwinkel übersteigt, dann kann die Benutzererkennungsvorrichtung bestimmen, zusätzliche Bilddaten zur Analyse zu erzeugen, um die horizontale Position der Hand zu bestimmen.
In einigen Fällen kann das Benutzererkennungssystem für einen einzelnen Benutzer mehrere Elemente von Bilddaten oder Handflächenmerkmalsdaten speichern, die Bilddaten entsprechen, die zu unterschiedlichen Zeitpunkten erfasst wurden. Wenn sich zum Beispiel ein bestimmter Benutzer zum ersten Mal im Benutzererkennungssystem registriert, kann das System in Verbindung mit dem Konto des Benutzers die Bilddaten der Handfläche des Benutzers und/oder die Handflächenmerkmalsdaten, die basierend auf die Bilddaten generiert wurden, speichern. Wenn der Benutzer zu einer Einrichtung zurückkehrt, die das Benutzererkennungssystem zur Identifizierung verwendet und Bilddaten der Handfläche des Benutzers bereitstellt, können daher die unter Verwendung dieser neuen Bilddaten erzeugten Handflächenmerkmalsdaten mit den gespeicherten Handflächenmerkmalsdaten verglichen werden, um zu bestimmen, wenn der Benutzer in der Einrichtung dem Benutzer entspricht, der dem Profil zugeordnet ist. Es versteht sich, dass diese neuen Handflächenmerkmalsdaten mit Handflächenmerkmalsdaten verglichen werden können, die mehreren unterschiedlichen Benutzerprofilen zugeordnet sind, um den Benutzer zu identifizieren.
Obwohl sich die hierin beschriebenen Techniken hauptsächlich auf das Identifizieren von Benutzern zum Zweck der Identifizierung eines Benutzerkontos zum Berechnen von aus einer Materialhandhabungseinrichtung ausgewählten Artikeln beziehen, sind die Techniken gleichermaßen auf jede Branche anwendbar, in der eine Benutzererkennung hilfreich sein kann. Beispielsweise kann das Benutzererkennungssystem für Sicherheitszwecke implementiert werden, wie zum Beispiel für den Zugang zu gesperrten Orten, den Zugriff auf Benutzerkonten über Computervorrichtungen, den Zugriff auf Bankkonten und so weiter. Während hier bestimmte Arten von Modellen und Algorithmen für Maschinenlernen erörtert werden, können die Techniken ferner unter Verwendung anderer Arten von Technologien eingesetzt werden und sind im Allgemeinen auf verschiedene computerbasierte Implementierungen skalierbar.
Obwohl die zuvor beschriebenen Techniken beinhalten, dass die Benutzererkennungsvorrichtung die Positionen der Hand bestimmt, können in anderen Beispielen die Back-End-Vorrichtungen darüber hinaus die Positionen der Hand bestimmen. Beispielsweise kann die Benutzererkennungsvorrichtung die unter Verwendung des einen oder der mehreren Sensoren erzeugten Sensordaten an die Back-End-Vorrichtungen senden. Die Back-End-Vorrichtungen können dann die hierin beschriebenen Prozesse in Bezug auf die Benutzererkennungsvorrichtung ausführen, um die Positionen der Hand zu bestimmen. Darüber hinaus können die Back-End-Vorrichtungen an die Benutzererkennungsvorrichtung Daten senden, die die Positionen der Hand angeben. Die Benutzererkennungsvorrichtung kann dann die Daten verwenden, um die Benutzerschnittstellen zu aktualisieren, wenn sie dem Benutzer die Anweisungen bereitstellt.
Die folgende Beschreibung beschreibt die Verwendung der Techniken innerhalb einer Materialhandhabungseinrichtung. Die hier beschriebene Einrichtung kann, ohne darauf beschränkt zu sein, Lagerhäuser, Vertriebszentren, Cross-Docking-Einrichtungen, Auftragserfüllungseinrichtungen, Verpackungseinrichtungen, Versandeinrichtungen, Mieteinrichtungen, Bibliotheken, Einzelhandelsgeschäfte, Großhandelsgeschäfte, Museen oder andere Einrichtungen oder Kombinationen von Einrichtungen zur Durchführung einer oder mehrerer Funktionen der Materialhandhabung (Bestandshandhabung) umfassen. In anderen Implementierungen können die hierin beschriebenen Techniken in anderen Einrichtungen oder Situationen implementiert werden.
Bestimmte Implementierungen und Ausführungsformen der Offenbarung werden nun nachstehend unter Bezugnahme auf die beigefügten Figuren ausführlicher beschrieben, in denen verschiedene Aspekte gezeigt sind. Die verschiedenen Aspekte können jedoch in vielen unterschiedlichen Formen implementiert werden und sollten nicht als auf die hierin dargelegten Implementierungen beschränkt angesehen werden. Die Offenbarung sieht Variationen der hierin beschriebenen Ausführungsformen vor. Gleiche Zahlen beziehen sich durchgehend auf gleiche Elemente.
1A-1B veranschaulichen gemeinsam einen beispielhaften Prozess 100 zum Bereitstellen von Anweisungen beim Erfassen biometrischer Daten. Bei 102 kann eine Benutzererkennungsvorrichtung 104 eine Hand 106 erfassen, die sich über einer Vorrichtung befindet. Beispielsweise kann die Benutzererkennungsvorrichtung 104 eine erste Benutzerschnittstelle 108 anzeigen, die Anweisungen zum Platzieren der Hand 106 über der Benutzererkennungsvorrichtung 104 beinhaltet. Im Beispiel der 1A-1B geben die Anweisungen an, dass der Benutzer die Hand über einen Abschnitt (z. B. den Ring) der Benutzererkennungsvorrichtung 104 bewegen soll. In anderen Beispielen können die Anweisungen jedoch beliebige andere Anweisungen beinhalten, die dem Benutzer angeben, die Hand 106 über der Benutzererkennungsvorrichtung 104 zu platzieren. Die Benutzererkennungsvorrichtung 104 kann dann einen oder mehrere Sensoren verwenden, um die Hand 106 zu erfassen. Beispielsweise kann die Benutzererkennungsvorrichtung 104 einen Abstandssensor verwenden, um die Hand 106 zu erfassen, die sich über der Benutzererkennungsvorrichtung 104 befindet. Als weiteres Beispiel kann die Benutzererkennungsvorrichtung 104 einen oder mehrere Bildgebungssensoren verwenden, um Bilddaten zu erzeugen, die die Hand 106 darstellen. Die Benutzererkennungsvorrichtung 104 kann dann die Bilddaten analysieren, um zu bestimmen, dass sich die Hand 106 über der Benutzererkennungsvorrichtung 104 befindet.
Bei 110 kann die Benutzererkennungsvorrichtung 104 ein erstes grafisches Element 112 anzeigen, das eine Zielposition zum Platzieren der Hand 106 angibt. Beispielsweise kann die Benutzererkennungsvorrichtung 104 auf Grundlage des Erfassens der Hand 106 eine zweite Benutzerschnittstelle 114 anzeigen, die das erste grafische Element 112 beinhaltet. Das erste grafische Element 112 kann der Zielposition zum Platzieren der Hand 106 über der Benutzererkennungsvorrichtung 104 zugeordnet sein. In einigen Fällen kann die Zielposition einer vertikalen Zielposition und einer horizontalen Zielposition über der Benutzererkennungsvorrichtung 104 zugeordnet sein.
Bei 116 kann die Benutzererkennungsvorrichtung 104 ein zweites grafisches Element 118 anzeigen, das eine erste Position der Hand 106 angibt. Beispielsweise kann die Benutzererkennungsvorrichtung 104 die erste Position der Hand 106 über der Benutzererkennungsvorrichtung 104 bestimmen. In einigen Fällen bestimmt die Benutzererkennungsvorrichtung 104 die erste Position unter Verwendung des einen oder der mehreren Sensoren. Beispielsweise kann die Benutzererkennungsvorrichtung 104 den einen oder die mehreren Bildgebungssensoren verwenden, um Bilddaten zu erzeugen, die die Hand 106 darstellen. Die Benutzererkennungsvorrichtung 104 kann dann Merkmalsdaten unter Verwendung der Bilddaten erzeugen, wobei die Merkmalsdaten ein oder mehrere Attribute darstellen, die der Hand 106 zugeordnet sind. Das eine oder die mehreren Attribute können enthalten, ohne darauf beschränkt zu sein, verschiedene Positionen auf der Handfläche, eine Position in der Mitte der Handfläche, Positionen auf den Fingern (z. B. Anfang der Finger, Knöchel an den Fingern, die Positionen von Schnittpunkten zwischen den Fingern usw.), Positionen am Daumen, eine Richtung der Hand 106, eine Haltung der Hand 106, eine Ausrichtung der Hand 106 und/oder alle anderen Attribute, die der Hand 106 zugeordnet sind. Unter Verwendung der Merkmalsdaten kann die Benutzererkennungsvorrichtung 104 die horizontale Position der Hand des Benutzers bestimmen.
Darüber hinaus kann die Benutzererkennungsvorrichtung 104 den Abstandssensor verwenden, um die vertikale Position der Hand 106 über der Benutzererkennungsvorrichtung 104 zu bestimmen. Zumindest teilweise basierend auf der horizontalen Position und der vertikalen Position kann die Benutzererkennungsvorrichtung 104 das zweite grafische Element 118 auf der zweiten Benutzerschnittstelle 114 anzeigen, wobei das zweite grafische Element 118 die horizontale Position und die vertikale Position angibt. Beispielsweise und wie in dem Beispiel von 1A-1B gezeigt, befindet sich das zweite grafische Element 118 unterhalb des ersten grafischen Elements 112 auf der zweiten Benutzerschnittstelle 114. Dies kann darauf hinweisen, dass sich die Hand 106 weiter hinter der Benutzererkennungsvorrichtung 104 befindet als die horizontale Zielposition. Darüber hinaus ist das zweite grafische Element 118 kleiner als das erste grafische Element 112. Dies kann darauf hinweisen, dass sich die Hand 106 näher an der Benutzererkennungsvorrichtung 104 befindet als die vertikale Zielposition.
Bei 120 kann die Benutzererkennungsvorrichtung 104 eine zweite Position der Hand 106 über der Vorrichtung bestimmen und bei 122 kann die Benutzererkennungsvorrichtung 104 das zweite grafische Element 118 anzeigen, das die zweite Position der Hand 106 angibt. Beispielsweise kann die Benutzererkennungsvorrichtung 104 eine horizontale Bewegung 124 der Hand 106 über der Benutzererkennungsvorrichtung 104 erfassen. In einigen Fällen erkennt die Benutzererkennungsvorrichtung 104 die horizontale Bewegung 124 durch Erzeugen zusätzlicher Bilddaten unter Verwendung des einen oder der mehreren Bildgebungssensoren. Die Benutzererkennungsvorrichtung 104 kann dann unter Verwendung der zusätzlichen Bilddaten Merkmalsdaten erzeugen. Unter Verwendung der Merkmalsdaten kann die Benutzererkennungsvorrichtung 104 die zweite Position der Hand 106 bestimmen. Die Benutzererkennungsvorrichtung 104 kann dann die Lage des zweiten grafischen Elements 118 auf der zweiten Benutzerschnittstelle 114 aktualisieren, um die neue horizontale Position der Hand 106 anzugeben. Wie gezeigt, ist das zweite grafische Element 118 nun innerhalb des ersten grafischen Elements 112 zentriert. Dies kann angeben, dass sich die Hand 106 in der Nähe der horizontalen Zielposition befindet.
Bei 126 kann die Benutzererkennungsvorrichtung 104 eine dritte Position der Hand 106 über der Vorrichtung bestimmen und bei 128 kann die Benutzererkennungsvorrichtung 104 das zweite grafische Element 118 anzeigen, das die dritte Position der Hand 106 angibt. Beispielsweise kann die Benutzererkennungsvorrichtung 104 eine vertikale Bewegung 130 der Hand 106 über der Benutzererkennungsvorrichtung 104 erfassen. In einigen Fällen erkennt die Benutzererkennungsvorrichtung 104 die vertikale Bewegung 130 unter Verwendung des Abstandssensors. Die Benutzererkennungsvorrichtung 104 kann dann die Größe des zweiten grafischen Elements 118 auf der zweiten Benutzerschnittstelle 114 aktualisieren, um die neue vertikale Position der Hand 106 anzugeben. Wie gezeigt, entspricht die Größe des zweiten grafischen Elements 118 in etwa der Größe des ersten grafischen Elements 112. Dies kann angeben, dass sich die Hand 106 an der vertikalen Zielposition befindet.
Bei 132 kann die Benutzererkennungsvorrichtung 104 bestimmen, dass sich die Hand 106 in der Nähe der Zielposition befindet. Beispielsweise kann die Benutzererkennungsvorrichtung 104 bestimmen, dass sich die horizontale Position der Hand 106 innerhalb eines Schwellenabstands zu der horizontalen Zielposition befindet und dass sich die vertikale Position der Hand 106 innerhalb eines Schwellenabstands zu der vertikalen Zielposition befindet. Somit kann die Benutzererkennungsvorrichtung 104 bestimmen, dass sich die Hand 106 in der Nähe der Zielposition befindet. In einigen Fällen und wie in dem Beispiel von 1A-1B veranschaulicht, kann die Benutzererkennungsvorrichtung 104 dann das erste grafische Element 112 aktualisieren, um anzuzeigen, dass sich die Hand 106 in der Nähe der Zielposition befindet. Beispielsweise kann die Benutzererkennungsvorrichtung 104 die Linie des ersten grafischen Elements 112 so aktualisieren, dass sie eine durchgezogene Linie enthält.
2A-2F veranschaulichen Beispiele der Benutzererkennungsvorrichtung 104, die Anweisungen zum Platzieren einer Hand an einer Zielposition über der Benutzererkennungsvorrichtung 104 bereitstellt. Wie gezeigt, kann die Benutzererkennungsvorrichtung 104 eine Benutzerschnittstelle 202 angeben, die ein erstes grafisches Element 204 beinhaltet. Das erste grafische Element 204 kann die Zielposition zum Platzieren der Hand über der Benutzererkennungsvorrichtung 104 angeben. Beispielsweise kann das erste grafische Element 204 sowohl die vertikale Zielposition als auch die horizontale Zielposition über der Benutzererkennungsvorrichtung 104 angeben. In einigen Fällen und wie in dem Beispiel von Fig. In den 2A-2F gezeigt, umfasst das erste grafische Element 204 einen Kreis mit gestrichelten Linien. In anderen Beispielen kann das erste grafische Element 204 jedoch eine beliebige andere Form mit einer beliebigen anderen Art von Linien beinhalten.
Die Benutzerschnittstelle 202 beinhaltet ferner ein zweites grafisches Element 206, das die Position der Hand über der Benutzererkennungsvorrichtung 104 angibt. Darüber hinaus enthält die Benutzererkennungsvorrichtung 104 Anweisungen 208 zum Platzieren der Hand an der Zielposition. Im Beispiel von 2A befindet sich das zweite grafische Element 206 unter dem ersten grafischen Element 204. Dies kann daran liegen, dass die horizontale Position der Hand in Bezug auf die Bildgebungskomponente der Benutzererkennungsvorrichtung 104 weiter hinten angeordnet ist als die horizontale Zielposition (z. B. in der negativen y-Richtung). Demnach kann eine Anweisung 208(1) angeben, dass der Benutzer die Hand bezüglich der Bildgebungskomponente „nach vorn“ bewegen muss (z. B. in die positive y-Richtung).
Im Beispiel von 2B befindet sich das zweite grafische Element 206 über dem ersten grafischen Element 204. Dies kann daran liegen, dass die horizontale Position der Hand in Bezug auf die Bildgebungskomponente weiter vom angeordnet ist als die horizontale Zielposition (z. B. in der positiven y-Richtung). Demnach kann eine Anweisung 208(2) angeben, dass der Benutzer die Hand bezüglich der Bildgebungskomponente „nach hinten“ bewegen muss (z. B. in die negative y-Richtung).
Im Beispiel von 2C befindet sich das zweite grafische Element 206 links vom ersten grafischen Element 204. Dies kann daran liegen, dass die horizontale Position der Hand in Bezug auf die Bildgebungskomponente weiter links angeordnet ist als die horizontale Zielposition (z. B. in der negativen x-Richtung). Demnach kann eine Anweisung 208(3) angeben, dass der Benutzer die Hand bezüglich der Bildgebungskomponente „nach rechts“ bewegen muss (z. B. in die positive x-Richtung).
Im Beispiel von 2D befindet sich das zweite grafische Element 206 rechts vom ersten grafischen Element 204. Dies kann daran liegen, dass die horizontale Position der Hand in Bezug auf die Bildgebungskomponente weiter rechts angeordnet ist als die horizontale Zielposition (z. B. in der positiven x-Richtung). Demnach kann eine Anweisung 208(4) angeben, dass der Benutzer die Hand bezüglich der Bildgebungskomponente „nach links“ bewegen muss (z. B. in die negative x-Richtung).
Im Beispiel von 2E ist eine Größe des zweiten grafischen Elements 206 kleiner als eine Größe des ersten grafischen Elements 204. Dies kann daran liegen, dass die vertikale Position der Hand in Bezug näher an der Bildgebungskomponente angeordnet ist als die vertikale Zielposition (z. B. in der negativen z-Richtung). Demnach kann eine Anweisung 208(5) angeben, dass der Benutzer die Hand bezüglich der Bildgebungskomponente „nach oben“ bewegen muss (z. B. in die positive z-Richtung).
Im Beispiel von 2F ist eine Größe des zweiten grafischen Elements 206 größer als eine Größe des ersten grafischen Elements 204. Dies kann daran liegen, dass die vertikale Position der Hand in Bezug weiter von der Bildgebungskomponente entfernt angeordnet ist als die vertikale Zielposition (z. B. in der positiven z-Richtung). Demnach kann eine Anweisung 208(6) angeben, dass der Benutzer die Hand bezüglich der Bildgebungskomponente „nach unten“ bewegen muss (z. B. in die negative z-Richtung).
3A-3F veranschaulichen beispielhafte Benutzerschnittstellen, die Anweisungen zum Eingeben zusätzlicher Informationen beim Erfassen biometrischer Daten bereitstellen. Beispielsweise, und wie in dem Beispiel von 3A veranschaulicht, kann die Benutzererkennungsvorrichtung 104 eine Benutzerschnittstelle 302 bereitstellen, die eine Anweisung 304 enthält, die dem Bewegen der Handfläche der Hand über die Benutzererkennungsvorrichtung 104 zum Bezahlen einer Transaktion zugeordnet ist. Die Benutzerschnittstelle 302 enthält ferner ein Bild 306 der Benutzererkennungsvorrichtung 104 und ein grafisches Element 308, das der Benutzer auswählen kann, um sich für ein neues Konto anzumelden. In einigen Fällen kann die Benutzererkennungsvorrichtung 104 die Benutzerschnittstelle 302 anzeigen, wenn sich der Benutzer anfänglich der Benutzererkennungsvorrichtung 104 nähert.
In dem Beispiel von 3B kann die Benutzererkennungsvorrichtung 104 eine Benutzerschnittstelle 310 bereitstellen, die eine Anweisung 312 enthält, die dem Bewegen der Handfläche des Benutzers über die Benutzererkennungsvorrichtung 104 zum Bezahlen einer Transaktion zugeordnet ist. Darüber hinaus beinhaltet die Benutzerschnittstelle 310 ein Bild 314 eines Benutzers, der eine Handfläche über der Benutzererkennungsvorrichtung 104 platziert. Mit anderen Worten stellt das Bild 314 eine Darstellung bereit, wie der Benutzer die Handfläche über der Benutzererkennungsvorrichtung 104 platzieren soll. In einigen Fällen kann die Benutzererkennungsvorrichtung 104 die Benutzerschnittstelle 310 direkt vor dem Erfassen der Handfläche des Benutzers anzeigen.
Im Beispiel von 3C kann die Benutzererkennungsvorrichtung 104 eine Benutzerschnittstelle 316 bereitstellen, die eine Anweisung 318 zum Einführen einer Debit- oder Kreditkarte in die Benutzererkennungsvorrichtung 104 beinhaltet. Die Benutzerschnittstelle 316 beinhaltet ferner ein Bild 320, wie die Debit- oder Kreditkarte in den Kartenleser der Benutzererkennungsvorrichtung 104 eingeführt wird. In einigen Fällen kann die Benutzererkennungsvorrichtung 104 die Benutzerschnittstelle 316 anzeigen, wenn der Benutzer ein neues Konto erstellt und/oder Zahlungsinformationen für ein bestehendes Konto aktualisiert.
Im Beispiel von 3D kann die Benutzererkennungsvorrichtung 104 eine Benutzerschnittstelle 322 bereitstellen, die eine Anweisung 324 enthält, die Debit- oder Kreditkarte zu entnehmen. Die Benutzerschnittstelle 322 beinhaltet ferner ein Bild 326, das veranschaulicht, dass sich die Debit- oder Kreditkarte noch im Kartenleser der Benutzererkennungsvorrichtung 104 befindet. In einigen Fällen zeigt die Benutzererkennungsvorrichtung 104 die Benutzerschnittstelle 322 an, nachdem die Benutzererkennungsvorrichtung 104 die Zahlungsinformationen von der Debit- oder Kreditkarte gelesen hat und die Debit- oder Kreditkarte immer noch in den Kartenleser eingeführt ist.
Im Beispiel von 3E kann die Benutzererkennungsvorrichtung 104 eine Benutzerschnittstelle 328 bereitstellen, die eine Anweisung 330 zum Auswählen eines Kontos enthält. Die Benutzerschnittstelle 328 enthält ferner grafische Elemente 332(1)-(3), die durch den Benutzer auswählbar sind, wobei jedes grafische Element 332(1)-(3) einem möglichen Konto des Benutzers zugeordnet ist. In einigen Fällen kann jedes grafische Element 332(1)-(3) Informationen enthalten, die einem Konto zugeordnet sind. Die Informationen können eine Telefonnummer, eine E-Mail-Adresse, einen Benutzernamen und/oder andere Arten von Informationen enthalten, ohne darauf beschränkt zu sein. Obwohl das Beispiel von 3E drei grafische Elemente 332(1)-(3) umfasst, kann die Benutzerschnittstelle 328 in anderen Beispielen eine beliebige Anzahl von grafischen Elementen umfassen.
Im Beispiel von 3F kann die Benutzererkennungsvorrichtung 104 eine Benutzerschnittstelle 334 bereitstellen, die eine Anweisung 336 zum Eingeben von mit einem Konto verknüpften Informationen enthält. Obwohl das Beispiel von 3F zum Eingeben einer Telefonnummer dient, kann in anderen Beispielen die Benutzerschnittstelle 334 das Eingeben zusätzlicher und/oder alternativer Arten von Informationen ermöglichen. Wie gezeigt, zeigt die Benutzerschnittstelle 334 die Informationen 338 an, während sie in die Benutzererkennungsvorrichtung 104 eingegeben werden. Die Benutzerschnittstelle 334 enthält ferner ein grafisches Element 340, das der Benutzer verwenden kann, um die Informationen einzugeben.
4A-4b veranschaulichen Beispiele von Zielpositionen zum Platzieren einer Hand eines Benutzers, sodass eine Benutzererkennungsvorrichtung biometrische Daten erfassen kann. Beispielsweise, und wie in dem Beispiel von 4A gezeigt, beinhaltet die Benutzererkennungsvorrichtung 104 eine Anzeige 402 (die die hierin beschriebenen Benutzerschnittstellen anzeigen kann), einen Lichtring 404 und eine Bildgebungskomponente 406. Damit die Benutzererkennungsvorrichtung 104 die biometrischen Daten, wie etwa die Bilddaten, erfassen kann, platziert der Benutzer die Hand (z. B. den Mittelpunkt der Handfläche der Hand) über der Bildgebungskomponente 406 an der horizontalen Zielposition. Die horizontale Zielposition kann sowohl einer x-Richtung als auch einer y-Richtung zugeordnet sein. Beispielsweise kann die horizontale Zielposition die Mitte der Bildgebungskomponente 406 umfassen, die durch den Schnittpunkt einer ersten Linie 408 in der x-Richtung und einer zweiten Linie 410 in der y-Richtung veranschaulicht ist.
In einigen Fällen kann die Benutzererkennungsvorrichtung 104 ermöglichen, dass sich die Hand in der Nähe der horizontalen Zielposition befindet, wenn die biometrischen Daten erfasst werden. Zum Beispiel kann die Benutzererkennungsvorrichtung 104 zulassen, dass sich die Hand in einem ersten Schwellenabstand 412 vor der horizontalen Zielposition befindet (z. B. Bewegung von der horizontalen Zielposition aus in positiver y-Richtung), einem zweiten Schwellenabstand 414 hinter der horizontalen Zielposition (z. B. Bewegung von der horizontalen Zielposition aus in negativer y-Richtung), einem dritten Schwellenabstand 416 links von der horizontalen Zielposition (z. B. Bewegung von der horizontalen Zielposition aus in negativer x-Richtung) und/oder einem vierten Schwellenabstand 418 rechts von der horizontalen Zielposition (z. B. Bewegung von der horizontalen Zielposition aus in positiver x-Richtung). In einigen Fällen können der erste Schwellenabstand 412, der zweite Schwellenabstand 414, der dritte Schwellenabstand 416 und der vierte Schwellenabstand 418 denselben Schwellenabstand beinhalten. In einigen Fällen können der erste Schwellenabstand 412, der zweite Schwellenabstand 414, der dritte Schwellenabstand 416 und/oder der vierte Schwellenabstand 418 einen verschiedenen Schwellenabstand beinhalten. Wie hierin beschrieben, kann ein Schwellenabstand fünf Millimeter, zehn Millimeter, zwanzig Millimeter und/oder jeden anderen Abstand betragen, ohne aber darauf beschränkt zu sein.
Darüber hinaus und wie in dem Beispiel von 4B gezeigt, kann die Benutzererkennungsvorrichtung 104 eine vertikale Zielposition enthalten, die sich in einem Abstand 420 über der Bildgebungskomponente 406 (z. B. in der z-Richtung) befindet. In einigen Beispielen beträgt der Abstand 420 fünfundachtzig Millimeter. In anderen Beispielen kann der Abstand 420 jedoch jeden anderen Abstand betragen. In einigen Fällen kann die Benutzererkennungsvorrichtung 104 ermöglichen, dass sich die Hand in der Nähe der vertikalen Zielposition befindet. Beispielsweise kann die Benutzererkennungsvorrichtung 104 zulassen, dass sich die Hand in einem ersten Schwellenabstand 422 über der vertikalen Zielposition und/oder in einem zweiten Schwellenabstand 424 unter der vertikalen Zielposition befindet. In einigen Fällen ist der erste Schwellenabstand 422 derselbe wie der zweite Schwellenabstand 424. In anderen Fällen unterscheidet sich der erste Schwellenabstand 422 von dem zweiten Schwellenabstand 424.
Wie im Beispiel von 4B veranschaulicht, kann die Benutzererkennungsvorrichtung 104 in der Lage sein, die Hand des Benutzers zwischen einem minimalen Abstand 426 über der Bildgebungskomponente 406 und einem maximalen Abstand 428 über der Bildgebungskomponente 406 zu erfassen. Beispielsweise kann der Abstandssensor dazu konfiguriert sein, Objekte, wie etwa Hände, zwischen dem minimalen Abstand 426 und dem maximalen Abstand 428 zu erfassen. In einigen Fällen kann der Mindestabstand 426 fünf Millimeter, zehn Millimeter, zwanzig Millimeter und/oder einen beliebigen anderen Abstand betragen, ohne darauf beschränkt zu sein. Darüber hinaus kann der maximale Abstand 428 einhundert Millimeter, einhundertzwanzig Millimeter, einhundertfünf Millimeter und/oder einen beliebigen anderen Abstand betragen, ohne darauf beschränkt zu sein.
Im Beispiel von 4C kann die Benutzererkennungsvorrichtung 104 eine Zielposition beinhalten, die eine volumetrische Form 430 beinhaltet, wie etwa eine volumetrische Form eines Kegels über der Bildgebungskomponente 406. Beispielsweise kann sich die vertikale Zielposition weiterhin in dem Abstand 420 über der Bildgebungskomponente 406 befinden und den ersten Schwellenabstand 422 und den zweiten Schwellenabstand 424 beinhalten. Die horizontale Zielposition kann sich dann innerhalb der volumetrischen Form 430 und an Positionen befinden, die innerhalb der vertikalen Zielposition liegen. In einigen Fällen muss möglicherweise die Handfläche der Hand innerhalb der Zielposition lokalisiert werden, während in anderen Beispielen möglicherweise die gesamte Hand innerhalb der Zielposition lokalisiert werden muss.
Im Beispiel von 4D kann die Benutzererkennungsvorrichtung 104 eine Zielposition beinhalten, die eine volumetrische Form 432 über der Bildgebungskomponente 406 beinhaltet. Beispielsweise kann sich die vertikale Zielposition weiterhin in dem Abstand 420 über der Bildgebungskomponente 406 befinden und den ersten Schwellenabstand 422 und den zweiten Schwellenabstand 424 beinhalten. Die horizontale Zielposition kann sich dann innerhalb der volumetrischen Form 432 und an Positionen befinden, die innerhalb der vertikalen Zielposition liegen. In einigen Fällen muss möglicherweise die Handfläche der Hand innerhalb der Zielposition lokalisiert werden, während in anderen Beispielen möglicherweise die gesamte Hand innerhalb der Zielposition lokalisiert werden muss.
5 veranschaulicht ein Beispiel zum Analysieren einer Hand 502, um die Mitte einer Handfläche der Hand 502 zu identifizieren. Beispielsweise kann die Benutzererkennungsvorrichtung 104 Bilddaten erzeugen, die ein Bild 504 darstellen, das die Hand 502 zeigt. Die Benutzererkennungsvorrichtung 104 kann dann Merkmalsdaten erzeugen, die den Bilddaten entsprechen, wobei die Merkmalsdaten verschiedene Attribute darstellen, die der Hand 502 zugeordnet sind. Die verschiedenen Attribute können mindestens Punkte 506-518 beinhalten, die sich auf der Hand 502 befinden. Beispielsweise kann die Benutzererkennungsvorrichtung 104 einen Punkt 506, der sich an einem ersten Ende des Handgelenks befindet, und einen Punkt 508, der sich an einem zweiten, gegenüberliegenden Ende des Handgelenks befindet, identifizieren. Die Benutzererkennungsvorrichtung 104 kann ferner einen Punkt 510-518 identifizieren, der sich auf der Unterseite der Finger der Hand 502 befindet. Wie gezeigt, befinden sich die Punkte 512-518 an Schnittpunkten zwischen den Fingern.
Nach dem Identifizieren der Punkte 506-518 kann die Benutzererkennungsvorrichtung 104 einen Begrenzungsrahmen 520 erzeugen, der alle identifizierten Punkte 506-518 enthält. Der Begrenzungsrahmen 520 kann vier zusätzlichen Punkten 522-528 zugeordnet sein, die die Ecken des Begrenzungsrahmens 520 darstellen. Die Benutzererkennungsvorrichtung 104 kann dann den Begrenzungsrahmen 520 verwenden, um einen Mittelpunkt 530 der Handfläche der Hand 502 zu identifizieren. Beispielsweise kann die Benutzererkennungsvorrichtung 104 bestimmen, dass der Mittelpunkt 530 der Handfläche die Mitte des Begrenzungsrahmens 520 beinhaltet. Somit kann in einigen Beispielen der Mittelpunkt 530 der Handfläche der horizontalen Position der Hand 502 entsprechen.
In einigen Fällen und wie hierin beschrieben, kann die Benutzererkennungsvorrichtung 104 unter Verwendung des Bilds 504 ein oder mehrere zusätzliche Attribute identifizieren, die der Hand 502 zugeordnet sind. Da die Hand 502 beispielsweise in der y-Richtung ausgerichtet ist, kann die Benutzererkennungsvorrichtung 104 bestimmen, dass die Ausrichtung der Hand 502 erfüllt ist. Die Benutzererkennungsvorrichtung 104 kann ferner bestimmen, dass die ebene Form der Hand 502 erfüllt ist, da die Hand 502 nicht die Form einer Schale oder einer Faust einnimmt und/oder die Hand 502 keine Geste macht. Vielmehr ist die Hand 502 offen, sodass die Benutzererkennungsvorrichtung 104 das Bild 504 analysieren kann, um die Attribute zu bestimmen. Ferner kann die Benutzererkennungsvorrichtung 104 bestimmen, dass die Hand 502 parallel zu der Bildgebungskomponente der Benutzererkennungsvorrichtung 104 ausgerichtet ist. Dies kann daran liegen, dass, basierend auf der Ausrichtung der Hand 502 in Bezug auf die Bildgebungskomponente, die Handfläche der Hand 502 auf die Bildgebungskomponente gerichtet ist.
Während das Beispiel von 5 das Identifizieren der Punkte 506-518 und dann das Verwenden der Punkte 506-518 zum Bestimmen des Mittelpunkts der Handfläche beschreibt, kann in anderen Beispielen die Benutzererkennungsvorrichtung 104 zusätzliche und/oder alternative Punkte auf der Hand 502 identifizieren und dann die zusätzlichen und/oder alternativen Punkte verwenden, um den Mittelpunkt 530 der Handfläche zu identifizieren.
6 veranschaulicht eine beispielhafte Umgebung 600 einer Materialhandhabungseinrichtung 602, die die Benutzererkennungsvorrichtung 104 enthält, um biometrische Daten von Benutzern zu erfassen. In diesem Beispiel erzeugt die Benutzererkennungsvorrichtung 104 Bilddaten, die eine Handfläche eines Benutzers 606 darstellen, und sendet die Bilddaten an einen oder mehrere Back-End-Server 608, um den Benutzer 606 für die Verwendung des Benutzererkennungssystems zu registrieren. Im Allgemeinen kann das Benutzererkennungssystem die Benutzererkennungsvorrichtung 104 und/oder den/die Server 608 beinhalten.
In einigen Fällen befinden sich einige oder alle Benutzererkennungssysteme entfernt von der Materialhandhabungseinrichtung 602, während sich in anderen Fällen einige oder alle Benutzererkennungssysteme innerhalb oder in der Nähe der Materialhandhabungseinrichtung 602 befinden. Wie 6 zeigt, kann der Benutzer 606 an einer Einkaufssitzung in der Materialhandhabungseinrichtung 602 teilgenommen haben oder dabei sein, daran teilzunehmen. Beispielsweise kann der Benutzer 606 einen Artikel 610 von einer Bestandspositionen 612 (z. B. Regal, Gang usw.) ausgewählt und den Artikel 610 in einen Behälter 614 (z. B. in einen Einkaufswagen) gelegt haben. Die Bestandsposition 612 kann eine oder mehrere unterschiedliche Arten von Artikeln 610 beherbergen und der Benutzer 606 kann einen dieser Artikel 610 aufnehmen (d. h. entnehmen).
Wie veranschaulicht, kann die Materialhandhabungseinrichtung 602 (oder „Einrichtung“) einen oder mehrere Sensoren beinhalten, wie etwa die veranschaulichten Bildgebungssensoren 616 und/oder eine Anordnung anderer Sensoren, die sich an oder in der Nähe der Bestandspositionen(en) 612 befinden. In diesem Beispiel ist/sind der/die Bildgebungssensor(en) 616 dazu konfiguriert, Videodaten innerhalb der Einrichtung 602 zur Verwendung beim Bestimmen von Ergebnissen im Zusammenhang mit Ereignissen, wie etwa das Aufnehmen des Artikels 610 durch den Benutzer 606, zu erfassen. Wenngleich 6 verschiedene beispielhafte Sensoren darstellt, können die Sensoren in der Einrichtung 602 jeden anderen Sensortyp umfassen, wie beispielsweise Gewichtssensoren (z. B. Wägezellen), Mikrofone und/oder dergleichen, wie nachfolgend im Detail beschrieben. Wie detaillierter unter Bezugnahme auf 13 und 14 beschrieben, kann die Einrichtung 602 überwacht und/oder anderweitig einem Bestandsverwaltungssystem zugeordnet sein, das dazu konfiguriert ist, Ereignisse in der Einrichtung 602 zu bestimmen, die dem Benutzer 606 zugeordnet sind, wie z. B. das Mitnehmen von Artikeln 610, die der Benutzer 606 kaufen möchte. Das Bestandsverwaltungssystem kann die vom Benutzer 606 ausgewählten Artikel 610 verfolgen und einen virtuellen Einkaufswagen führen, der alle vom Benutzer 606 mitgenommenen Artikel 610 enthält. Wenn also ein Benutzer 606 die Einrichtung 602 mit den Artikeln 610 verlassen möchte, die er mitgenommen hat, kann das Bestandsverwaltungssystem ein dem Benutzer 606 zugeordnetes Benutzerkonto mit den Kosten der mitgenommenen Artikel 610 belasten.
Wie in 6 gezeigt, kann sich der Benutzer 606 einer Kassenstelle 618 nähern, die der Benutzererkennungsvorrichtung 104 zugeordnet ist. Der Benutzer 606 kann bestimmen, dass er sich für die Nutzung eines Benutzererkennungssystems registrieren möchte, um sich in der Einrichtung 602 abzumelden und für den/die Artikel 610 zu bezahlen. Alternativ oder zusätzlich dazu kann der Benutzer beim Betreten der Einrichtung 602 mit der Benutzererkennungsvorrichtung 104 interagieren. In jedem Fall kann der Benutzer 606 bestimmen, dass er möchte, dass das Benutzererkennungssystem Daten sammelt, die zum Identifizieren des Benutzers 606 verwendbar sind. Diese Daten können vom Benutzererkennungssystem verwendet werden, sodass der Benutzer 606 nach der Registrierung nur die Handfläche scannen muss, um vom Benutzererkennungssystem identifiziert zu werden, um sein Benutzerkonto mit dem Kauf seines Artikels / seiner Artikel 610 zu belasten.
6 veranschaulicht einen beispielhaften Registrierungsprozess 640, der auf hoher Ebene Techniken zum Registrieren des Benutzers 606 zur Verwendung des Benutzererkennungssystems und zum Aktualisieren der Registrierung des Benutzers 606 durch das Benutzererkennungssystem im Laufe der Zeit beschreibt. Die Benutzererkennungsvorrichtung 104 kann Komponenten zum Durchführen mindestens eines Teils der Techniken des Registrierungsprozesses 640 umfassen, ebenso wie die Server. Komponenten des/der Server(s) 608 werden nachstehend unter Bezugnahme auf nachfolgende Figuren ausführlicher beschrieben. Beispielsweise kann die Benutzererkennungsvorrichtung 104 einen oder mehrere Prozessoren 620 umfassen, die dazu konfiguriert sind, Komponenten der Benutzererkennungsvorrichtung 104 mit Strom zu versorgen, und kann ferner einen Speicher 622 enthalten, in dem Komponenten, die zumindest teilweise durch den/die Prozessor(en) 620 ausführbar sind, sowie andere Daten 662 gespeichert sind. Beispielsweise kann der Speicher 622 Folgendes enthalten: eine Anwesenheitserfassungskomponente 630 zum Erfassen der Anwesenheit eines Benutzers 606, eine Front-End-Registrierungskomponente 632, die dazu konfiguriert ist, verschiedene Operationen zum Registrieren des Benutzers 606 zur Verwendung des Benutzererkennungssystems durchzuführen, und eine Benutzerschnittstellenkomponente 634, die dazu konfiguriert ist, Benutzerschnittstellen zu steuern, die dem Benutzer 606 über eine Anzeige 636 bereitgestellt werden.
Bei 642 kann die Front-End-Registrierungskomponente 632 eine Anforderung empfangen, den Benutzer 606 für die Verwendung des Benutzererkennungssystems zu registrieren. Die Anfrage kann verschiedene Arten von Eingaben umfassen, wie etwa eine über eine I/O-Schnittstelle 628 (z. B. Berührungsbildschirm, Maus, Tastatur usw.) vorgenommene Auswahl eines Benutzerschnittstellenelements, das auf der Anzeige 636 zum Starten eines Registrierungsprozesses dargestellt wird. Darüber hinaus kann die Front-End-Registrierungskomponente 632 eine Sprachäußerung des Benutzers 606 erfassen, die eine Anforderung zur Registrierung anzeigt (z. B. „Bitte registrieren Sie mich“, „Ich möchte zahlen“ usw.). Ein weiteres Anforderungsbeispiel kann beinhalten, dass der Benutzer 606 einen Ausweis des Benutzers in eine E/A-Schnittstelle 628 schiebt, wie z. B. eine Kreditkarte, einen Führerschein usw. Jedoch kann eine beliebige Art von Eingabe als Anforderung durch die Front-End-Registrierungskomponente 632 erkannt werden.
In einigen Beispielen kann bei 644 des Registrierungsprozesses 640 die Anwesenheitserfassungskomponente 630 durch den/die Prozessor(en) 620 ausführbar sein, um einen Auslöser zu erfassen, der die Anwesenheit des Benutzers 606 angibt. Der von der Anwesenheitserfassungskomponente 630 erkannte Auslöser kann eine oder mehrere Arten von Eingaben umfassen. Beispielsweise kann die Anwesenheitserfassungskomponente 630 eine Logik beinhalten, um unter Verwendung einer oder mehrerer Bildgebungskomponenten 626 und/oder einer oder mehrerer Abstandskomponenten 638 eine Handfläche des Benutzers 606 über oder in der Nähe der Benutzererkennungsvorrichtung 104 zu erfassen. Andere Beispiele von Auslösern, die von der Anwesenheitserfassungskomponente 630 erkannt werden und die Anwesenheit des Benutzers 606 anzeigen können, können das Empfangen von Berührungseingaben (oder anderen Eingaben, wie z.B. einem Mausklick) über eine oder mehrere E/A-Schnittstellen 628 der Benutzererkennungsvorrichtung 104 beinhalten. Bei 644 kann jedoch eine beliebige Art von Eingabe von der Anwesenheitserfassungskomponente 630 als Auslöser erkannt werden. In einigen Beispielen kann die Auslösererfassung bei 644 nicht durchgeführt werden oder kann in dem Empfangen der Registrierungsanforderung enthalten oder mit diesem identisch sein.
Nach Erhalt der Registrierungsanforderung vom Benutzer 606 kann die Front-End-Registrierungskomponente 632 bei 646 damit beginnen, Bilddaten 658 unter Verwendung einer oder mehrerer Bildgebungskomponente(n) 626 (z. B. Kameras) zu erzeugen. Beispielsweise kann die Front-End-Registrierungskomponente 632 die Bildgebungskomponente(n) 626 verwenden, um Bilddaten 658, wie z. B. ein Bild oder Bild, eine Folge aufeinanderfolgender Bilder und/oder Videodaten zu erhalten. Die Bilddaten 658 können die Handfläche des Benutzers 606 darstellen und können verwendet werden, um Falten in der Handfläche, Venen in der Handfläche, geometrische Informationen bezüglich der Handfläche und andere Teile der Hand oder des Benutzers 606 und/oder dergleichen zu identifizieren. In einigen Fällen kann die Benutzerschnittstellenkomponente 634 beim Erhalten der Bilddaten 658 die Benutzererkennungsvorrichtung 104 veranlassen, Anweisungen dazu bereitzustellen, wie die Hand des Benutzers 606 zu platzieren ist. Sobald die Front-End-Registrierungskomponente 632 die Bilddaten 658 erhalten hat, die die Handfläche oder einen anderen Teil des Benutzers 606 darstellen, kann die Benutzererkennungsvorrichtung 104 die Bilddaten 658 über ein oder mehrere Netzwerke 660 unter Verwendung einer oder mehrerer Kommunikationsschnittstellen 624 an den/die Server 608 senden (z. B. hochladen, streamen usw.).
Das/die Netzwerk(e) 660 kann/können private Netze wie etwa ein institutionelles oder persönliches Intranet, öffentliche Netze wie etwa das Internet oder eine Kombination daraus enthalten. Das/die Netzwerk(e) 660 kann/können drahtgebundene Technologien (z. B. Drähte, Glasfaserkabel usw.), drahtlose Technologien (z. B. Hochfrequenz, Infrarot, akustisch, optisch usw.) oder andere Verbindungstechnologien verwenden. Das/die Netzwerk(e) 660 steht/stehen für jede Art von Kommunikationsnetz, einschließlich eines Datennetzwerks und/oder Sprachnetzwerks. Das/die Netzwerk(e) 660 kann/können unter Verwendung einer drahtgebundenen Infrastruktur (z. B. Kupferkabel, Glasfaserkabel usw.), einer drahtlosen Infrastruktur (z. B. Mobilfunk, Mikrowelle, Satellit usw.) oder anderer Verbindungstechnologien implementiert werden.
Die Kommunikationsschnittstelle(n) 624 kann/können Vorrichtungen beinhalten, die dazu konfiguriert sind, mit Personal Area Networks (PAN), drahtgebundenen und drahtlosen Local Area Networks (LAN), drahtgebundenen und drahtlosen Wide Area Networks (WAN) und dergleichen zu koppeln. Beispielsweise können die Kommunikationsschnittstellen 624 Vorrichtungen umfassen, die mit Ethernet, Wi-Fi™ und dergleichen kompatibel sind. In einigen Beispielen kann/können die Kommunikationsschnittstelle(n) 624 die Bilddaten 658 und/oder andere Daten 662 (z. B. Abstandsdaten von einem Abstandssensor), die von der Benutzererkennungsvorrichtung 104 erzeugt werden, vor dem Senden über das/die Netzwerk(e) 660 je nach Art des verwendeten Protokolls oder Standards kodieren.
Beim Empfangen der Bilddaten 658 können eine oder mehrere Komponenten des/der Back-End-Server(s) 608 unter Verwendung der Bilddaten 658 Merkmalsdaten erzeugen. Diese Merkmalsdaten können in Vektorform vorliegen und Merkmale der Handfläche des Benutzers darstellen, die verwendet werden können, um die Handfläche von anderen Benutzerhandflächen zu unterscheiden. Es versteht sich, dass, während dieser Registrierungsprozess 640 den/die Server 608 beschreibt, die die Merkmalsdaten erzeugen, in anderen Fällen die Benutzererkennungsvorrichtung 104 dazu konfiguriert sein kann, die Merkmalsdaten zu erzeugen und die Merkmalsdaten zusätzlich zu den Bilddaten 658 oder an deren Stelle an die Server zu senden.
Bei 650 speichern eine oder mehrere Komponenten des Servers/der Server 608 die Merkmalsdaten in einer Registrierungsdatenbank in Verbindung mit einem Benutzerprofil des Benutzers 606. Das heißt, diese Handflächenmerkmalsdaten werden so gespeichert, dass sie mit Merkmalsdaten verglichen werden können, die aus nachfolgenden Bilddaten zur späteren Identifizierung des Benutzers 606 in der Einrichtung 602 oder anderen Einrichtungen, die dem Benutzererkennungssystem zugeordnet sind, erzeugt werden.
Beispielsweise empfangen die Bildgebungskomponenten 626 bei 652 zusätzliche Bilddaten 658 der Handfläche des Benutzers 606, beispielsweise wenn der Benutzer 606 zu einem späteren Zeitpunkt in die Einrichtung 602 zurückgekehrt ist. Nachdem der/die Server 608 die zusätzlichen Bilddaten 658 von der Benutzererkennungsvorrichtung 104 empfangen hat/haben, können die Server zusätzliche Merkmalsdaten basierend auf den zusätzlichen Bilddaten erzeugen. An diesem Punkt können eine oder mehrere Komponenten des/der Server(s) 608 die zusätzlichen Merkmalsdaten mit Merkmalsdaten vergleichen, die in jeweiligen Benutzerprofilen gespeichert sind, um den Benutzer 606 zu identifizieren, der den zusätzlichen Bilddaten 658 zugeordnet ist. In diesem Beispiel vergleicht das Benutzererkennungssystem die bei 654 erzeugten zusätzlichen Merkmalsdaten mit den bei 648 erzeugten und in Verbindung mit dem Benutzerprofil des Benutzers 606 gespeicherten Merkmalsdaten und bestimmt somit bei 656, dass das Benutzerprofil identifiziert ist. In einigen Fällen kann das Benutzererkennungssystem zusätzlich zum Identifizieren des Benutzerprofils dann die zusätzlichen Merkmalsdaten in Verbindung mit dem Benutzerprofil des Benutzers 606 in der Registrierungsdatenbank speichern.
7 veranschaulicht eine beispielhafte Umgebung 700 einschließlich eines Blockdiagramms des/der Server(s) 608, die dazu konfiguriert sind, mindestens einen Teil der Funktionalität eines Benutzererkennungssystems sowie einen beispielhaften Datenfluss innerhalb des Systems zum Registrieren eines Benutzers 606 zum Verwenden des Benutzererkennungssystems zu unterstützen.
Wie veranschaulicht, beinhaltet die Umgebung 700 eine Clientseite 702 und eine Serverseite 704. Dies dient jedoch lediglich der Veranschaulichung und einige oder alle Techniken können vollständig auf der Clientseite 702 oder vollständig auf der Serverseite 704 ausgeführt werden. Bei „1“ kann eine Front-End-Registrierungskomponente 632 eine Anforderung empfangen, einen Benutzer 606 für die Verwendung des Benutzererkennungssystems zu registrieren. Beispielsweise kann die Anfrage verschiedene Arten von Eingaben umfassen, wie etwa eine über eine I/O-Schnittstelle 628 (z. B. Berührungsbildschirm, Maus, Tastatur usw.) vorgenommene Auswahl eines Benutzerschnittstellenelements, das auf einer Anzeige zum Starten eines Registrierungsprozesses dargestellt wird. Darüber hinaus kann die Front-End-Registrierungskomponente 632 eine Sprachäußerung des Benutzers 606 erfassen, die eine Anforderung zur Registrierung anzeigt (z. B. „Bitte registrieren Sie mich“, „Ich möchte zahlen“ usw.). Ein weiteres Anforderungsbeispiel kann beinhalten, dass der Benutzer 606 einen Ausweis des Benutzers in eine E/A-Schnittstelle 628 schiebt, wie z. B. eine Kreditkarte, einen Führerschein usw. Jedoch kann eine beliebige Art von Eingabe als Anforderung durch die Front-End-Registrierungskomponente 632 erkannt werden.
Beim Empfangen der Registrierungsanforderung kann die Front-End-Registrierungskomponente 632 die Bildgebungskomponente(n) 626 aktivieren oder anderweitig nutzen, um Bilddaten 658 zu erzeugen, die eine Handfläche des Benutzers 606 darstellen. Bei „2“ erfasst die Benutzererkennungsvorrichtung 104 dann Bilddaten 658 und sendet bei „3“ die Bilddaten 658 an den/die Server 608. Beispielsweise kann die Benutzererkennungsvorrichtung 104 die Bilddaten 658 kodieren und über das/die Netzwerk(e) 660 an den/die Server 608 senden. Ferner können in einigen Fällen einige der Bilder entfernt werden, wenn sie nicht fokussiert sind, keinen Unterscheidbarkeitsschwellenwert der Merkmale der Handfläche des Benutzers haben oder dergleichen. Dieses Entfernen kann auf der Clientseite 702 und/oder der Serverseite 704 erfolgen.
Bei „4“ empfängt der / empfangen die Server 608 die Bilddaten und bei „5“ kann eine Handflächenmerkmalerzeugungskomponente 706 einer Handflächenidentifikationskomponente 708 Handflächenmerkmalsdaten aus den Bilddaten 658 extrahieren. In einigen Beispielen kann die Handflächenmerkmalerzeugungskomponente 706 vor dem Extrahieren der Handflächenmerkmalsdaten verschiedene Operationen zum Verarbeiten der Bilddaten 658 vor dem Extrahieren der Handflächenmerkmalsdaten durchführen. Beispielsweise kann die Handflächenmerkmalerzeugungskomponente 706 anfänglich eine Benutzererfassung durchführen, um zu bestimmen, dass die Bilddaten 658 eine Handfläche eines Benutzers 606 darstellen. Beispielsweise kann die Handflächenmerkmalerzeugungskomponente 706 einen integrierten Sensorprozessor (ISP) verwenden, der hardwarebasierte Benutzererfassungstechniken durchführt. In einigen Beispielen können zusätzlich oder alternativ dazu verschiedene Softwaretechniken durchgeführt werden. In jedem Fall kann ein Begrenzungsrahmen um die erfasste Hand des Benutzers 606 herum für ein Bild ausgegeben werden, das mindestens einen Teil des Benutzers 606 darstellt und durch die Bilddaten 658 dargestellt wird. Ferner kann die Handflächenmerkmalerzeugungskomponente 706 eine Handhaltungsschätzung durchführen, um die Handfläche des Benutzers 606 an einem gemeinsamen Koordinatensystem auszurichten. Nach dem Ausrichten des Bildes der Hand an einem gemeinsamen Koordinatenabschnitt kann der Abschnitt der Bilddaten, der der Handfläche entspricht, identifiziert und zugeschnitten werden. Dieser verbleibende Abschnitt der Bilddaten kann danach verwendet werden, um Merkmale daraus zu extrahieren, indem beispielsweise ein neuronales Netzwerk auf dem zugeschnittenen Abschnitt der Bilddaten ausgeführt wird. In einigen Beispielen kann die Handhaltungsschätzung die Extraktion von Merkmalen verbessern, die die Handfläche des Benutzers 606 darstellen. Sobald die Hand des Benutzers 606 ausgerichtet ist, kann die Handflächenmerkmalerzeugungskomponente 706 Merkmale (z. B. Handflächenmerkmalsdaten) aus den Bilddaten 658 extrahieren. In einigen Beispielen kann/können das/die trainierte(n) Modell(e) eine Triplet-Loss-Funktion verwenden, welche Bilddaten 658 in eine Merkmalseinbettung in einen metrischen Raum umwandelt (z. B. Handflächenmerkmalsdaten), was Vergleiche mit nachfolgenden Merkmalsvektoren ermöglicht, zum Beispiel unter Verwendung von quadratischer Abstandsberechnung.
Bei „6“ kann die Handflächenmerkmalaggregationskomponente 710 Merkmalsdaten (z. B. Handflächenmerkmalsdaten) aus verschiedenen Bilddaten 658 aggregieren. Beispielsweise können die Bilddaten 658 die Hand des Benutzers 606 in unterschiedlichen Winkeln, unter unterschiedlichen Beleuchtungsbedingungen oder mit anderen unterschiedlichen Eigenschaften darstellen. Die Handflächenmerkmalaggregationskomponente 710 kann die Handflächenmerkmalsdaten zusammen aggregieren, wie etwa durch Ausmitteln von Merkmalsvektoren.
Bei „7“ kann die Qualitätsprüfungskomponente 712 eine Qualitätsprüfung an den Handflächenmerkmalsdaten durchführen. Beispielsweise kann die Qualitätsprüfungskomponente 712 trainierte Modelle verwenden, um eine Gesamtmetrik der Qualität der extrahierten Handflächenmerkmalsdaten zu bestimmen. Wenn die Gesamtmetrik ungenügend ist oder unter einem Schwellenqualitätsniveau liegt, kann das Benutzererkennungssystem anfordern, zusätzliche Bilddaten 658 zu erfassen. Zusätzlich oder alternativ dazu kann die Qualitätsprüfungskomponente 712 einen Duplizierungsprozess durchführen, um sicherzustellen, dass der den Handflächenmerkmalsdaten zugeordnete Benutzer sich nicht bereits im System registriert hat. Wenn die Gesamtqualitätsmetrik gut oder akzeptabel ist und wenn der Entduplizierungsprozess nicht offenbart, dass sich der Benutzer bereits zuvor im System registriert hat, kann eine Back-End-Registrierungskomponente 714 die Daten bei „8“ aggregieren.
Beispielsweise kann die Back-End-Registrierungskomponente 714 bei „8“ die Handflächenmerkmalsdaten aggregieren und den Benutzer bei „9“ in einer Registrierungsdatenbank 716 registrieren. Die Back-End-Registrierungskomponente 714 kann Zuordnungen (z. B. Abbildungen) zwischen den Handflächenmerkmalsdaten mit einem Benutzerprofil des Benutzers 606 speichern, der anfordert, für die Verwendung des Benutzererkennungssystems registriert zu werden.
8 veranschaulicht eine beispielhafte Umgebung 800 einschließlich eines Blockdiagramms des/der Server 608, welche dazu konfiguriert sind, mindestens einen Teil der Funktionalität eines Benutzererkennungssystems sowie einen beispielhaften Datenfluss innerhalb des Systems zum Identifizieren eines Benutzers 606 des Benutzererkennungssystems und möglicherweise zum Aktualisieren der Registrierung des Benutzers zu unterstützen. Wie veranschaulicht, beinhaltet die Umgebung 800 eine Clientseite 802 und eine Serverseite 804. Dies dient jedoch lediglich der Veranschaulichung und einige oder alle Techniken können vollständig auf der Clientseite 802 oder vollständig auf der Serverseite 804 ausgeführt werden.
Bei „1“ fordert ein Benutzer an, sich beim Benutzererkennungssystem anzumelden. Beispielsweise kann die Anwesenheitserfassungskomponente 630 durch den/die Prozessor(en) 620 ausführbar sein, um einen Auslöser zu erfassen, der die Anwesenheit des Benutzers 606 angibt. Der von der Anwesenheitserfassungskomponente 630 erkannte Auslöser kann eine oder mehrere Arten von Eingaben umfassen. Beispielsweise kann die Anwesenheitserfassungskomponente 630 eine Logik beinhalten, um unter Verwendung einer oder mehrerer Bildgebungskomponenten 626 einen Teil eines Benutzers 606 (z. B. eine Hand über die Bildgebungskomponente(n) 626 der Benutzererkennungsvorrichtung 104) zu erfassen. Andere Beispiele von Auslösern, die von der Anwesenheitserfassungskomponente 630 erkannt werden und die Anwesenheit des Benutzers 606 anzeigen können, können das Empfangen von Berührungseingaben (oder anderen Eingaben, wie z.B. einem Mausklick) über eine oder mehrere E/A-Schnittstellen 628 der Benutzererkennungsvorrichtung 104 beinhalten. Es kann jedoch eine beliebige Art von Eingabe von der Anwesenheitserfassungskomponente 630 als Auslöser erkannt werden.
Beim Identifizieren der Anmeldungsanforderung des Benutzers können bei „2“ eine oder mehrere Bildgebungskomponenten 626 Bilddaten 658 erzeugen, die eine Handfläche des Benutzers 606 und/oder einen anderen Teil des Benutzers darstellen. Bei „3“ kann die Benutzererkennungsvorrichtung 104 die Bilddaten 658 an den/die Server 608 senden. Beispielsweise kann die Benutzererkennungsvorrichtung 104 die Bilddaten 658 kodieren und über das/die Netzwerk(e) 660 an den/die Server 608 senden. Wiederum können einige der Bilddaten 658 basierend darauf verworfen werden, dass die Bilddaten unscharf sind, eine Unterscheidbarkeit aufweisen, die geringer als der Schwellenwert ist, und/oder dergleichen.
Bei „4“ können die Server die Bilddaten 658 empfangen und bei „5“ kann die Handflächenmerkmalerzeugungskomponente 706 Handflächenmerkmalsdaten aus den Bilddaten 658 extrahieren. In einigen Beispielen kann die Handflächenmerkmalerzeugungskomponente 706 vor dem Extrahieren der Handflächenmerkmalsdaten verschiedene Operationen zum Verarbeiten der Bilddaten 658 vor dem Extrahieren der Handflächenmerkmalsdaten durchführen. Beispielsweise kann die Handflächenmerkmalerzeugungskomponente 706 anfänglich eine Handflächenerfassung durchführen, um zu bestimmen, dass die Bilddaten 658 eine Hand eines Benutzers 606 darstellen. Beispielsweise kann die Handflächenmerkmalerzeugungskomponente 706 einen integrierten Sensorprozessor (ISP) verwenden, der hardwarebasierte Benutzererfassungstechniken durchführt. In einigen Beispielen können zusätzlich oder alternativ dazu verschiedene Softwaretechniken durchgeführt werden. In jedem Fall kann ein Begrenzungsrahmen um die erfasste Hand des Benutzers 606 herum für ein Bild ausgegeben werden, das den Benutzer 606 darstellt und durch die Bilddaten 658 dargestellt wird. Ferner kann die Handflächenmerkmalerzeugungskomponente 706 eine Handhaltungsschätzung durchführen, um das Gesicht des Benutzers 606 an einem gemeinsamen Koordinatensystem auszurichten. In einigen Beispielen kann die Handhaltungsschätzung die Extraktion von Merkmalen verbessern, die die Hand des Benutzers 606 darstellen. Sobald die Hand des Benutzers 606 ausgerichtet ist, kann die Handflächenmerkmalerzeugungskomponente 706 Merkmale (z. B. Handflächenmerkmalsdaten) aus den Bilddaten 658 extrahieren. In einigen Beispielen kann/können das/die trainierte(n) Modell(e) eine Triplet-Loss-Funktion verwenden, welche die Bilddaten 658 in eine Merkmalseinbettung in einen metrischen Raum umwandelt (z. B. Handflächenmerkmalsdaten), was Vergleiche mit nachfolgenden Merkmalsvektoren ermöglicht, zum Beispiel unter Verwendung von quadratischer Abstandsberechnung.
Bei „6“ kann die Handflächenmerkmalaggregationskomponente 710 Merkmalsdaten (z. B. Handflächenmerkmalsdaten) aus verschiedenen Bilddaten 658 aggregieren. Beispielsweise können die Bilddaten 658 die Hand des Benutzers 606 in unterschiedlichen Winkeln, unter unterschiedlichen Beleuchtungsbedingungen oder mit anderen unterschiedlichen Eigenschaften darstellen. Die Handflächenmerkmalaggregationskomponente 710 kann die Handflächenmerkmalsdaten zusammen aggregieren, wie etwa durch Ausmitteln von Merkmalsvektoren.
Bei „7“ kann eine Handflächenmerkmalübereinstimmungskomponente 806 eine oder mehrere Bewertungen erzeugen, die eine Ähnlichkeit zwischen den den Bilddaten 658 zugeordneten aggregierten Merkmalen und jeweiligen Merkmalsdaten angeben, die in Verbindung mit jeweiligen Benutzerprofilen gespeichert sind. In einigen Beispielen können diese Übereinstimmungsbewertungen zumindest teilweise anhand von „Abständen“ zwischen dem Merkmalsvektor, der den Bilddaten zugeordnet ist, und jeweiligen Merkmalsvektoren der jeweiligen Handflächenmerkmalsdaten, die in Verbindung mit Benutzerprofilen in der Registrierungsdatenbank 716 gespeichert sind, bestimmt werden.
Bei „8“ kann eine Identitätsbestimmungskomponente 808 die Identität des Benutzers basierend auf den Übereinstimmungsbewertungen bestimmen. Beispielsweise kann die Identitätsbestimmungskomponente 808 das Benutzerprofil identifizieren, das dem Merkmalsvektor zugeordnet ist, der den geringsten Abstand zu dem Merkmalsvektor aufweist, der den Bilddaten 658 zugeordnet ist, und kann den zugeordneten Benutzer als den Benutzer betrachten, der den Bilddaten 658 zugeordnet ist.
Bei „9“ kann die Registrierungsaktualisierungskomponente 810 in einigen Fällen die kürzlich empfangenen Handflächenmerkmalsdaten verwenden, die den Bilddaten zugeordnet sind, um die Registrierung des identifizierten Benutzers zu aktualisieren. Beispielsweise kann die Registrierungsaktualisierungskomponente 810 das Auftreten eines vordefinierten Ereignisses erfassen, das zur Aktualisierung der Registrierungsdaten führt. Dies kann beinhalten, dass basierend auf einer Eigenschaft der Transaktion, die in der Einrichtung in Verbindung mit den Bilddaten 658 auftritt (z. B. Kosten oder Anzahl von Elementen), basierend auf einem Schwellenbetrag der Änderung zwischen den aktuellen Merkmalsdaten und den vorherigen Merkmalsdaten, die dem Benutzerprofil zugeordnet sind, basierend auf einer expliziten Anfrage von dem Benutzer, der dem Benutzerprofil zugeordnet ist, und/oder dergleichen, eine vordefinierte Zeitspanne vergangen ist, seit die jüngsten oder ältesten Merkmalsdaten dem Profil zugeordnet wurden. In einigen Fällen kann das vordefinierte Ereignis eine Prüfungskomponente umfassen, die feststellt, dass die empfangenen Handflächenmerkmalsdaten dem identifizierten Benutzer mit einem Konfidenzniveau entsprechen, das größer ist als das zuvor erörterte Hochschwellenkonfidenzniveau. Das heißt, während der unter Bezugnahme auf die Schritte „7“-„8“ beschriebene Erkennungsprozess unter Bezugnahme auf Registrierungsdaten durchgeführt werden kann, kann die Prüfungskomponente unter Verwendung sowohl der Registrierungsdaten als auch der früheren Erkennungsversuchen zugeordneten Bild- und/oder Merkmalsdaten ein Konfidenzniveau bestimmen. Wenn die Prüfungskomponente danach ein Konfidenzniveau berechnet, das größer als das relativ hohe Konfidenzniveau ist, dann kann die Registrierungsaktualisierungskomponente 810 bestimmen, die Registrierungsdaten des identifizierten Benutzers zu aktualisieren.
Bei „10“ aktualisiert die Registrierungsaktualisierungskomponente 810 die Registrierungsdaten, die dem entsprechenden Benutzerprofil in der Registrierungsdatenbank 716 zugeordnet sind. Wie zuvor beschrieben, kann dies das Speichern der Merkmalsdaten und/oder Bilddaten zusammen mit bestehenden Merkmalsdaten und/oder Bilddaten, die dem Profil zugeordnet sind, das Mitteln der bestehenden Merkmalsdaten mit den neuen Merkmalsdaten und/oder dergleichen umfassen.
9 veranschaulicht beispielhafte Komponenten der Benutzererkennungsvorrichtung 104, dazu konfiguriert, mindestens einen Teil der Funktionalität eines Benutzererkennungssystems zu unterstützen. In einigen Beispielen kann das hierin beschriebene Benutzererkennungssystem vollständig oder zumindest teilweise durch die Benutzererkennungsvorrichtung 104 in Verbindung mit dem/den Server(n) 608 unterstützt werden. Die Benutzererkennungsvorrichtung 104 kann einen oder mehrere Hardwareprozessoren 620 (Prozessoren) enthalten, die dazu konfiguriert sind, eine oder mehrere gespeicherte Anweisungen auszuführen. Der/die Prozessor(en) 620 kann/können einen oder mehrere Kerne umfassen. Die Benutzererkennungsvorrichtung 104 kann eine oder mehrere Eingabe/Ausgabe(E/A)-Schnittstelle(n) 628 umfassen, um es dem Prozessor 620 oder anderen Teilen der Benutzererkennungsvorrichtung 104 zu ermöglichen, mit anderen Vorrichtungen zu kommunizieren. Die E/A-Schnittstelle(n) 628 kann/können Inter-Integrated Circuit (I2C), Serial Peripheral Interface Bus (SPI), Universal Serial Bus (USB), wie etwa vom USB Implementers Forum veröffentlicht, RS-232 und dergleichen umfassen.
Die Benutzererkennungsvorrichtung 104 kann auch eine oder mehrere Kommunikationsschnittstellen 624 beinhalten. Die Kommunikationsschnittstelle(n) 624 ist/sind dazu konfiguriert, Kommunikationen zwischen der Benutzererkennungsvorrichtung 104 und anderen Vorrichtungen bereitzustellen, wie zum Beispiel dem/den Server(n) 608, den Schnittstellenvorrichtungen, Routern und so weiter. Die Kommunikationsschnittstelle(n) 624 kann/können Vorrichtungen beinhalten, die dazu konfiguriert sind, mit Personal Area Networks (PAN), drahtgebundenen und drahtlosen Local Area Networks (LAN), drahtgebundenen und drahtlosen Wide Area Networks (WAN) und dergleichen zu koppeln. Beispielsweise können die Kommunikationsschnittstellen 308 Vorrichtungen umfassen, die mit Ethernet, Wi-Fi™ und dergleichen kompatibel sind.
Die Benutzererkennungsvorrichtung 104 kann ferner eine oder mehrere Abstandskomponenten 638 beinhalten. Die Abstandskomponente(n) 638 kann/können, ohne darauf beschränkt zu sein, IR-Sensor(en), LIDAR-Sensor(en) und/oder jeden anderen Sensortyp umfassen, der einen Abstand eines Objekts erfassen kann. Darüber hinaus kann die Benutzererkennungsvorrichtung 104 eine oder mehrere Beleuchtungskomponenten 902 beinhalten. In einigen Fällen umfasst/umfassen die Beleuchtungskomponente(n) 902 einen Lichtring, der um eine Bildgebungskomponente herum angeordnet ist (z. B. die Bildgebungskomponente 406). In einigen Fällen verwendet die Benutzererkennungsvorrichtung 104 die Beleuchtungskomponente(n) 902, um dem Benutzer eine Rückmeldung zu geben. Zum Beispiel kann die Benutzererkennungsvorrichtung 104 die Beleuchtungskomponente(n) 902 veranlassen, Licht unter Verwendung eines oder mehrerer Muster zu emittieren, wenn die Benutzererkennungsvorrichtung 104 die Hand des Benutzers erkennt, bestimmt, dass sich die Hand des Benutzers in der Zielposition befindet, ein dem Benutzer zugeordnetes Benutzerprofil identifiziert und/oder dergleichen.
Die Benutzererkennungsvorrichtung 104 kann auch einen oder mehrere Busse oder andere interne Kommunikationshardware oder -software beinhalten, die die Übertragung von Daten zwischen den verschiedenen Modulen und Komponenten der Benutzererkennungsvorrichtung 104 ermöglichen.
Wie in 9 gezeigt, beinhaltet die Benutzererkennungsvorrichtung 104 einen oder mehrere Speicher 622. Der Speicher 622 umfasst ein oder mehrere computerlesbare Speichermedien (computer-readable storage media - CRSM). Das CRSM kann ein elektronisches Speichermedium, ein magnetisches Speichermedium, ein optisches Speichermedium, ein Quantenspeichermedium, ein mechanisches Computerspeichermedium und so weiter sein. Der Speicher 622 stellt eine Speicherung von computerlesbaren Anweisungen, Datenstrukturen, Programmmodulen und anderen Daten für den Betrieb der Benutzererkennungsvorrichtung 104 bereit. Einige beispielhafte Funktionsmodule sind in dem Speicher 622 gespeichert gezeigt, obwohl dieselbe Funktionalität alternativ in Hardware, Firmware oder als ein System auf einem Chip (system on a chip - SOC) implementiert sein kann.
Der Speicher 622 kann mindestens ein Betriebssystem (OS) 904 beinhalten. Das OS 904 ist dazu konfiguriert, Hardware-Ressourcenvorrichtungen wie die E/A-Schnittstelle(n) 628, die Bildgebungskomponente(n) 626, die Anzeige 636, die Abstandskomponente(n) 638 und die Beleuchtungskomponente(n) 902 zu verwalten und verschiedene Dienste für Anwendungen oder Module bereitzustellen, die auf dem/den Prozessor(en) 620 ausgeführt werden. Das OS 904 kann eine Variante des FreeBSD™-Betriebssystems implementieren, wie es vom FreeBSD-Projekt veröffentlicht wird; andere UNIX™- oder UNIX-ähnliche Varianten; eine Variation des Betriebssystems Linux™, wie es von Linus Torvalds verbreitet wird; das Betriebssystem Windows® Server der Microsoft Corporation aus Redmond, Washington, USA; und so weiter.
Eine oder mehrere der folgenden Komponenten können auch im Speicher 622 gespeichert sein. Diese Module können als Vordergrundanwendungen, Hintergrundaufgaben, Daemons usw. ausgeführt werden.
Eine Kommunikationskomponente 906 kann dazu konfiguriert sein, Kommunikationen mit dem/den Server(n) 608 und/oder anderen Vorrichtungen herzustellen. Die Kommunikationen können authentifiziert, verschlüsselt usw. sein.
Eine Registrierungskomponente 908 kann dazu konfiguriert sein, verschiedene Operationen zum Registrieren eines Benutzers für die Verwendung des Benutzererkennungssystems durchzuführen (z. B. ähnlich der Back-End-Registrierungskomponente 714). Beispielsweise kann die Registrierungskomponente 908 verschiedene Operationen durchführen und/oder andere Komponenten veranlassen, verschiedene Operationen durchzuführen, um Benutzer in dem Benutzererkennungssystem zu registrieren. In einigen Fällen kann die Registrierungskomponente 908 zumindest teilweise eine Handflächenidentifikationskomponente 910 steuern, die Operationen zum Analysieren von Bilddaten 658 durchführt, die eine Handfläche oder einen anderen Teil des Benutzers darstellen. In einigen Beispielen kann die Registrierungskomponente 908 die Handflächenidentifikationskomponente 910 veranlassen, die Bilddaten 658 zu analysieren und Merkmale zu extrahieren, die eine Handfläche des Benutzers darstellen, wie etwa Handflächenmerkmalsdaten 912.
Nach dem Erhalten, Bestimmen und/oder Erzeugen der Handflächenmerkmalsdaten 912 kann die Registrierungskomponente 908 den Benutzer in einer Registrierungsdatenbank 914 registrieren, die anzeigt, dass der Benutzer für die Verwendung des Benutzererkennungssystems registriert ist. In einigen Beispielen kann die Registrierungskomponente 908 die verschiedenen Daten einem Benutzerprofil/Konto 916, das dem Benutzer zugeordnet ist, zuordnen oder darauf abbilden. Beispielsweise kann die Registrierungskomponente 908 für jeden registrierten Benutzer die jeweiligen Handflächenmerkmalsdaten 912 den entsprechenden Benutzerprofilen 916 in der Registrierungsdatenbank 914 zuordnen. Somit kann die Registrierungsdatenbank 914 Angaben zu Benutzerprofilen 916 sowie die Daten für Benutzer speichern, die jedem der Benutzerprofile 916 zugeordnet sind. Wenn ein Benutzer für die Verwendung des Benutzererkennungssystems registriert wird, kann die Registrierungskomponente 908 eine Zuordnung zwischen den Handflächenmerkmalsdaten 912 des Benutzers und dem Benutzerprofil 916 für diesen Benutzer abbilden oder speichern.
Ferner kann die Registrierungskomponente 908 eine Trainingskomponente 918 veranlassen, ein oder mehrere trainierte Modelle 920 zu trainieren. Die Trainingskomponente 918 kann die Handflächenmerkmalsdaten 912 verwenden, um das/die trainierte(n) Modell(e) 920 zu trainieren, verschiedene Operationen zum Extrahieren und/oder Erzeugen der Handflächenmerkmalsdaten 912 aus den Bilddaten 658 durchzuführen. Das/die trainierte(n) Modell(e) 920 kann/können jede Art von Modell umfassen, wie z. B. Modelle für Maschinenlernen, einschließlich, ohne darauf beschränkt zu sein, künstliche neuronale Netze, Klassifizierer, Entscheidungsbäume, Support Vector Machines, Bayes'sche Netzwerke und dergleichen.
Als spezifisches Beispiel kann/können das/die trainierte(n) Modell(e) 920 ein oder mehrere Convolution Neural Networks (CNNs), rekursive Neural Networks und/oder beliebige andere künstliche Netzwerke beinhalten oder umfassen, die dazu trainiert sind, als Eingabe empfangene Bilddaten 658 zu analysieren und Handflächenmerkmalsdaten 912, die eine Handfläche des Benutzers darstellen, zu extrahieren, zu bestimmen, zu identifizieren, zu erzeugen usw. Als spezifisches Beispiel können die Handflächenmerkmalsdaten 912 einen 128-dimensionalen Merkmalsvektor umfassen, der die Handfläche des Benutzers darstellt. In Beispielen, in denen das/die trainierte(n) Modell(e) 920 ein oder mehrere CNN enthalten, können verschiedene Funktionen verwendet werden, um die Bilddaten 658 in einen metrischen Raum umzuwandeln, wie etwa eine Triplet-Loss-Funktion. Somit kann die Trainingskomponente 918 die CNN des trainierten Modells / der trainierten Modelle 920 unter Verwendung verschiedener Funktionen, wie etwa einer Triplet-Loss-Funktion, trainieren, um Handflächenmerkmalsdaten 912 aus den eingegebenen Bilddaten 658 zu extrahieren, zu identifizieren oder anderweitig zu bestimmen. Nach Übergang in den metrischen Raum, können extrahierte Merkmalsdaten verglichen oder abgeglichen werden, indem ein Abstand zwischen den extrahierten Merkmalsdaten und den in der Registrierungsdatenbank 914 gespeicherten Merkmalsdaten berechnet wird. Wenn beispielsweise Merkmalsdaten aus den Bilddaten 658 in Handflächenmerkmalsdaten 912 durch das/die trainierte(n) Modell(e) 920 extrahiert werden, können die extrahierten Handflächenmerkmalsdaten 912 dann mit gespeicherten Daten in der Registrierungsdatenbank 914 verglichen werden, um ein Benutzerprofil für den in den Eingabebilddaten 658 dargestellten Benutzer zu identifizieren. Beispielsweise können die extrahierten Handflächenmerkmalsdaten 912 einen Vektor umfassen, der mit gespeicherten Vektoren in der Registrierungsdatenbank 914 verglichen wird, um zu identifizieren, welche gespeicherten Vektoren den kleinsten „Abstand“ zwischen den extrahierten Merkmalsdaten aufweisen. Je kleiner der Abstand ist, desto enger ist die Übereinstimmungsstärke zwischen den extrahierten Merkmalsdaten und den gespeicherten Merkmalsdaten, welche Benutzer darstellen, die für die Verwendung des Benutzererkennungssystems registriert sind. In einigen Beispielen können andere Berechnungen durchgeführt werden, wie etwa das Bestimmen eines Kosinus eines Winkels zwischen zwei Vektoren, abhängig von dem Netzwerk, das von dem/den trainierten Modell(en) 920 verwendet wird. Jedoch kann jede Art von Modellen für das/die trainierte(n) Modell(e) 920 verwendet werden.
Die Handflächenidentifikationskomponente 910 kann verschiedene Unterkomponenten zum Durchführen verschiedener Operationen enthalten. Beispielsweise kann die Handflächenidentifikationskomponente 910 eine Handflächenmerkmalerzeugungskomponente 922 enthalten, um Merkmalsdaten aus den Bilddaten 658 zu extrahieren oder anderweitig zu erzeugen (z. B. ähnlich der Handflächenmerkmalerzeugungskomponente 706). Die Handflächenmerkmalerzeugungskomponente 910 kann das/die trainierte(n) Modell(e) 920 verwenden und/oder Algorithmen enthalten, um eine beliebige Art von Merkmalsextraktionsverfahren oder Einbetten durchzuführen, um die Bilddaten 658 zu analysieren und die Handflächenmerkmalsdaten 912 zu extrahieren. Zum Beispiel kann die Handflächenmerkmalerzeugungskomponente 922 Modelle nach dem Stand der Technik verwenden, wie z. B. Clustering, künstliche neuronale Netze, skaleninvariante Merkmalstransformation, Kantenerfassung oder jede andere Art von Extraktions- oder Einbettungstechnologie, um Handflächenmerkmalsdaten 912 aus den Bilddaten 658 zu extrahieren.
Die Handflächenidentifikationskomponente 910 kann ferner eine Handflächenmerkmalaggregationskomponente 924 enthalten, die dazu konfiguriert ist, Merkmalsdaten für einen Benutzer zu aggregieren (z. B. ähnlich der Handflächenmerkmalaggregationskomponente 710). Beispielsweise kann die Handflächenmerkmalaggregationskomponente 924 Handflächenmerkmalsdaten 912 kombinieren, die aus einer Gruppe von Bildern extrahiert wurden, welche den Benutzer darstellen, wie etwa durch Mitteln der Merkmale in den Handflächenmerkmalsdaten 912.
Sobald ein Benutzer zur Verwendung des Benutzererkennungssystems registriert ist, kann eine Identitätsbestimmungskomponente 926 verwendet werden, um eine Identität eines Benutzers, der mit der Benutzererkennungsvorrichtung 104 interagiert hat, zu bestimmen und/oder zu verifizieren. Beispielsweise kann die Benutzererkennungsvorrichtung 104 die Bilddaten 658 und die Identitätsbestimmungskomponente 926 (die der Identitätsbestimmungskomponente 808 ähnlich sein kann) verwenden, um eine Identität des Benutzers zu bestimmen, wobei die Registrierungsdatenbank 914 die Identität des Benutzers angibt, indem beispielsweise das Benutzerprofil 916 angegeben wird, welches der Identität dieses Benutzers zugeordnet ist.
Die Identitätsbestimmungskomponente 926 kann eine Handflächenmerkmalübereinstimmungskomponente 928 veranlassen, verschiedene Operationen zum Bestimmen oder Identifizieren eines Benutzers durchzuführen, dessen Handfläche in den empfangenen Bilddaten 658 abgebildet ist. Beispielsweise kann die Handflächenmerkmalübereinstimmungskomponente 928 die Handflächenmerkmalsdaten 912 für die empfangenen Bilddaten 658 mit Handflächenmerkmalsdaten 912 vergleichen, die in der Registrierungsdatenbank 914 für verschiedene Benutzerprofile 916 von Benutzern gespeichert sind, die in dem Benutzererkennungssystem registriert sind, um Benutzerprofile 916 für einen oder mehrere Benutzer zu bestimmen, deren jeweilige Handflächenmerkmalsdaten 912 den extrahierten Handflächenmerkmalsdaten 912 entsprechen. In einigen Fällen kann die von der Handflächenmerkmalübereinstimmungskomponente 928 berechnete Bewertung mit einem Schwellenwert verglichen werden und, wenn die Bewertung größer ist als der Schwellenwert, kann dies zur Identifizierung des Benutzers führen. Wenn mehreren Benutzerprofilen Bewertungen zugeordnet sind, die größer sind als der Schwellenwert, kann das dem höchsten zugeordnete Benutzerprofil als den Bilddaten 658 zugeordnet angesehen werden und/oder es können weitere Analysen durchgeführt werden, um den geeigneten Benutzer zu identifizieren. Ferner kann das Benutzererkennungssystem in einigen Fällen Set-Reduction-Techniken verwenden, um basierend auf einem anfänglichen Vergleich eine Gruppe der obersten „N“ Benutzerprofile 916 von Benutzern zu identifizieren, deren jeweilige Handflächenmerkmalsdaten 912 am stärksten mit den extrahierten Handflächenmerkmalsdaten 912 übereinstimmen. In einigen Beispielen kann eine einzelne Benutzeridentität / ein einzelnes Profil 916 als den eingegebenen Handflächenmerkmalsdaten 912 entsprechend bestimmt werden. In einigen Beispielen kann jedoch eine Gruppe der obersten „N“ Kandidaten durch das/die trainierte(n) Modell(e) 920 als entsprechend einem Stärkeschwellenwert (z. B. 50 % Übereinstimmung, 95 % Übereinstimmung usw.) in Bezug auf die extrahierten Handflächenmerkmalsdaten 912 identifiziert werden. Eine zweite Ebene eingehender Analyse kann dann durchgeführt werden, um einen einzelnen Benutzer aus den „N“ Kandidaten zu identifizieren.
Ferner kann im Speicher 622 eine Registrierungsaktualisierungskomponente 930 gespeichert sein, die dazu konfiguriert ist, die in Verbindung mit Benutzerprofilen gespeicherten Handflächenmerkmalsdaten 912 zu aktualisieren, um das Entfernen veralteter Merkmalsdaten und die Verwendung neuerer Merkmalsdaten (z. B. ähnlich wie bei der Registrierungsaktualisierungskomponente 810) zu ermöglichen. Wie zuvor vorgestellt, kann, wenn ein Benutzer Bilddaten der Handfläche des Benutzers im Laufe der Zeit bereitstellt, die Registrierungsaktualisierungskomponente 930 Merkmalsdaten von diesen neuen Bilddaten verwenden, um zusätzliche Merkmalsdaten zu erzeugen und zu speichern, die dem Benutzer zugeordnet sind. Ferner kann die Registrierungsaktualisierungskomponente 930 eine Gewichtung, die älteren Merkmalsdaten zugeordnet ist, entfernen oder verringern.
Darüber hinaus kann im Speicher 622 eine Prüfungskomponente 932 gespeichert sein, die dazu konfiguriert ist, einen oder mehrere Prüfungsvorgänge als Reaktion auf das Auftreten eines oder mehrerer vordefinierter Ereignisse durchzuführen. Beispielsweise kann die Prüfungskomponente 932 einen nächtlichen Prüfprozess durchführen, der einen ausführlichen Vergleich von Handflächenmerkmalsdaten, die jeweiligen Benutzerprofilen zugeordnet sind, umfasst, um alle zuvor vom System gemachten Fehler zu identifizieren. Nach dem Identifizieren eines Fehlers kann das System den Fehler korrigieren und kann auch diese Informationen verwenden, um das/die trainierte(n) Modell(e) 920 unter Verwendung von Techniken, die denen ähnlich sind, die von der Registrierungskomponente 908 durchgeführt werden, weiter zu trainieren.
Darüber hinaus kann der Speicher 622 eine Qualitätsprüfungskomponente 934 speichern, die eine Gesamtmetrik der Qualität der extrahierten Handflächenmerkmalsdaten 912 bestimmt. Beispielsweise kann die Qualitätsprüfungskomponente 934 bestimmen, dass zusätzliche Bilddaten 658 aus verschiedenen Gründen für einen Benutzer erhalten werden müssen.
Im Speicher 622 kann auch eine Positionserfassungskomponente 936 gespeichert sein, die dazu konfiguriert ist, die Position der Hand in Bezug auf die Benutzererkennungsvorrichtung 104 (und/oder die Bildgebungskomponente der Benutzererkennungsvorrichtung 104) zu bestimmen. Beispielsweise und wie hierin beschrieben, kann die Positionserfassungskomponente 936 einen oder mehrere Punkte bestimmen, die sich auf der Hand befinden. Die Positionserfassungskomponente 936 kann dann den einen oder die mehreren Punkte verwenden, um die Mitte der Handfläche der Hand in Bezug auf die Benutzererkennungsvorrichtung 104 zu identifizieren. In einigen Fällen bestimmt die Positionserfassungskomponente 936 die Position der Hand in festen Zeitintervallen. Beispielsweise kann die Positionserfassungskomponente 936 die Position der Hand des Benutzers jede Millisekunde, jede Sekunde und/oder dergleichen bestimmen. In einigen Beispielen bestimmt die Positionserfassungskomponente 936 die Position der Hand des Benutzers unter Verwendung jedes durch die Bilddaten 658 dargestellten Frames, jedes zweiten durch die Bilddaten 658 dargestellten Frames, jedes fünften durch die Bilddaten 658 dargestellten Frames und/oder dergleichen.
Im Speicher 622 kann auch die Benutzerschnittstellenkomponente 634 gespeichert sein, die dazu konfiguriert ist, die hierin beschriebenen Benutzerschnittstellen zu erzeugen und/oder zu aktualisieren. Beispielsweise kann, sobald die Hand erkannt wird, die Benutzerschnittstellenkomponente 634 bewirken, dass die Anzeige 636 eine Benutzerschnittstelle darstellt, welche ein grafisches Element enthält, das die Zielposition zum Platzieren der Hand angibt. Die Benutzerschnittstellenkomponente 634 kann dann die von der Positionserfassungskomponente 936 bestimmten Positionen verwenden, um ein grafisches Element darzustellen und/oder zu aktualisieren, das die aktuelle Position der Hand angibt. Sobald die Positionserfassungskomponente 936 bestimmt, dass sich die Position der Hand in der Nähe der Zielposition befindet, kann die Benutzerschnittstellenkomponente 634 die Benutzerschnittstelle veranlassen, anzuzeigen, dass die Benutzererkennungsvorrichtung 104 die biometrischen Daten erfasst hat.
10A-12 veranschaulichen verschiedene Prozesse zum Bereitstellen von Anweisungen im Zusammenhang mit der Eingabe biometrischer Daten. Die hierin beschriebenen Prozesse sind als Sammlungen von Blöcken in logischen Flussdiagrammen veranschaulicht, die eine Abfolge von Operationen darstellen, von denen einige oder alle in Hardware, Software oder in einer Kombination daraus implementiert sein können. Im Zusammenhang mit Software können die Blöcke computerausführbare Anweisungen darstellen, die auf einem oder mehreren computerlesbaren Medien gespeichert sind, und bei Ausführung durch einen oder mehrere Prozessoren die Prozessoren so programmieren, dass sie die genannten Vorgänge ausführen. Im Allgemeinen umfassen computerausführbare Anweisungen Routinen, Programme, Objekte, Komponenten, Datenstrukturen und dergleichen, die bestimmte Funktionen ausführen oder bestimmte Datentypen implementieren. Die Reihenfolge, in der die Blöcke beschrieben werden, sollte nicht als Einschränkung ausgelegt werden, es sei denn, dies ist ausdrücklich vermerkt. Eine beliebige Anzahl der beschriebenen Blöcke kann in beliebiger Reihenfolge und/oder parallel kombiniert werden, um den Prozess oder alternative Prozesse zu implementieren und es müssen nicht alle Blöcke ausgeführt werden.
10 veranschaulicht ein Flussdiagramm eines beispielhaften Prozesses 1000 zum Bereitstellen von Anweisungen, die dem Platzieren einer Hand an einer Zielposition relativ zu der Benutzererkennungsvorrichtung 104 zugeordnet sind. Bei 1002 kann der Prozess 1000 das Anzeigen einer Anweisung umfassen, die dem Platzieren einer Hand über einer elektronischen Vorrichtung zugeordnet ist. Beispielsweise kann die Benutzererkennungsvorrichtung 104 eine Benutzerschnittstelle anzeigen, die die Anweisung zum Platzieren der Hand über der Benutzererkennungsvorrichtung 104 beinhaltet. In einigen Fällen beinhaltet die Benutzerschnittstelle ferner ein Bild, das veranschaulicht, wie die Hand über der Benutzererkennungsvorrichtung 104 zu platzieren ist. In einigen Fällen zeigt die Benutzererkennungsvorrichtung 104 die Benutzerschnittstelle an, bevor sie den Benutzer erkennt.
Bei 1004 kann der Prozess 1000 das Erfassen der Hand umfassen, die sich über der elektronischen Vorrichtung befindet. Beispielsweise kann die Benutzererkennungsvorrichtung 104 die Hand erfassen, die sich über der Benutzererkennungsvorrichtung 104 befindet. Die Benutzererkennungsvorrichtung 104 kann die Hand erfassen, wenn sich die Hand innerhalb eines Schwellenabstands über einer Bildgebungskomponente der Benutzererkennungsvorrichtung 104 befindet. In einigen Fällen erkennt die Benutzererkennungsvorrichtung 104 die Hand unter Verwendung eines Abstandssensors. In einigen Fällen erkennt die Benutzererkennungsvorrichtung 104 die Hand unter Verwendung eines oder mehrerer Bildgebungssensoren.
Bei 1006 kann der Prozess 1000 das Anzeigen eines ersten grafischen Elements umfassen, das eine erste Position zum Platzieren der Hand über der elektronischen Vorrichtung angibt. Beispielsweise kann die Benutzererkennungsvorrichtung 104 eine Benutzerschnittstelle anzeigen, die das erste grafische Element enthält. Das erste grafische Element kann sowohl einer ersten vertikalen Position als auch einer ersten horizontalen Position über der Bildgebungskomponente zugeordnet sein. In einigen Fällen enthält das erste grafische Element einen Kreis. In anderen Fällen kann das erste grafische Element jedoch eine beliebige andere Form aufweisen.
Bei 1008 kann der Prozess 1000 das Erzeugen erster Sensordaten umfassen, die die Hand darstellen, und bei 1010 kann der Prozess 1000 das Analysieren erster Merkmalsdaten umfassen, die den ersten Sensordaten entsprechen, um ein oder mehrere der Hand zugeordnete erste Attribute zu bestimmen.
Beispielsweise kann die Benutzererkennungsvorrichtung 104 die ersten Sensordaten basierend auf dem Erfassen der Hand erzeugen. Die ersten Sensordaten können mindestens erste Bilddaten umfassen, die die Hand darstellen, und erste Abstandsdaten, die einen ersten Abstand zu der Hand angeben. Die Benutzererkennungsvorrichtung 104 kann dann die ersten Merkmalsdaten erzeugen, die den ersten Sensordaten entsprechen. Beispielsweise können die ersten Merkmalsdaten einen oder mehrere Schlüsselpunkte auf der Hand (z. B. bestimmt unter Verwendung der ersten Bilddaten) und den ersten Abstand zur Hand (z. B. bestimmt unter Verwendung der ersten Abstandsdaten) angeben. Die Benutzererkennungsvorrichtung 104 kann dann das eine oder die mehreren ersten Attribute unter Verwendung der ersten Merkmalsdaten bestimmen. Das eine oder die mehreren ersten Attribute können den einen oder die mehreren Schlüsselpunkte und den ersten Abstand beinhalten.
Bei 1012 kann der Prozess 1000 das Bestimmen einer zweiten Position der Hand, zumindest teilweise basierend auf dem einen oder den mehreren ersten Attributen, enthalten. Beispielsweise kann die Benutzererkennungsvorrichtung 104 das eine oder die mehreren ersten Merkmale analysieren, um einen Mittelpunkt einer Handfläche der Hand und den ersten Abstand zu der Hand zu bestimmen. Die Benutzererkennungsvorrichtung 104 kann dann die zweite Position unter Verwendung der Mitte der Handfläche und des ersten Abstands bestimmen. Beispielsweise kann die Benutzererkennungsvorrichtung 104 eine zweite vertikale Position der Hand unter Verwendung des ersten Abstands und eine zweite horizontale Position der Hand unter Verwendung der Mitte der Handfläche bestimmen.
Bei 1014 kann der Prozess 1000 das Bestimmen umfassen, dass die zweite Position nicht in der Nähe der ersten Position liegt. Beispielsweise kann die Benutzererkennungsvorrichtung 104 bestimmen, dass die zweite Position nicht in der Nähe der ersten Position liegt. In einigen Fällen kann, um die Bestimmung vorzunehmen, die Benutzererkennungsvorrichtung 104 bestimmen, dass die zweite vertikale Position außerhalb eines Schwellenabstands (z. B. darüber hinaus) zu der ersten vertikalen Position (z. B. in der z-Richtung) liegt und/oder die zweite horizontale Position sich außerhalb eines Schwellenabstands zu der ersten horizontalen Position (z. B. in der x-Richtung und/oder der y-Richtung) befindet.
Bei 1016 kann der Prozess 1000 das Anzeigen eines zweiten grafischen Elements umfassen, das die zweite Position der Hand angibt. Beispielsweise kann die Benutzererkennungsvorrichtung 104 unter Verwendung der Benutzerschnittstelle das zweite grafische Element zusammen mit dem ersten grafischen Element anzeigen. In einigen Fällen kann die Größe des zweiten grafischen Elements der zweiten vertikalen Position der Hand entsprechen und die Position des zweiten grafischen Elements kann der zweiten horizontalen Position der Hand entsprechen. In einigen Fällen kann die Benutzererkennungsvorrichtung 104 ferner eine oder mehrere Anweisungen zum Bewegen der Hand zu der ersten Position anzeigen.
Bei 1018 kann der Prozess 1000 das Erzeugen zweiter Sensordaten umfassen, die die Hand darstellen, und bei 1020 kann der Prozess 1000 das Analysieren zweiter Merkmalsdaten umfassen, die den zweiten Sensordaten entsprechen, um ein oder mehrere der Hand zugeordnete zweite Attribute zu bestimmen. Beispielsweise kann die Benutzererkennungsvorrichtung 104 die zweiten Sensordaten erzeugen. Die zweiten Sensordaten können mindestens zweite Bilddaten umfassen, die die Hand darstellen, und zweite Abstandsdaten, die einen zweiten Abstand zu der Hand angeben. Die Benutzererkennungsvorrichtung 104 kann dann die zweiten Merkmalsdaten erzeugen, die den zweiten Sensordaten entsprechen. Beispielsweise können die zweiten Merkmalsdaten einen oder mehrere Schlüsselpunkte auf der Hand (z. B. bestimmt unter Verwendung der zweiten Bilddaten) und den zweiten Abstand zur Hand (z. B. bestimmt unter Verwendung der zweiten Abstandsdaten) angeben. Die Benutzererkennungsvorrichtung 104 kann dann das eine oder die mehreren zweiten Attribute unter Verwendung der zweiten Merkmalsdaten bestimmen. Das eine oder die mehreren zweiten Attribute können den einen oder die mehreren Schlüsselpunkte und den zweiten Abstand beinhalten.
Bei 1022 kann der Prozess 1000 das Bestimmen einer dritten Position der Hand, zumindest teilweise basierend auf dem einen oder den mehreren zweiten Attributen, enthalten. Beispielsweise kann die Benutzererkennungsvorrichtung 104 das eine oder die mehreren zweiten Merkmale analysieren, um einen Mittelpunkt einer Handfläche der Hand und den zweiten Abstand zu der Hand zu bestimmen. Die Benutzererkennungsvorrichtung 104 kann dann die dritte Position unter Verwendung der Mitte der Handfläche und des zweiten Abstands bestimmen. Beispielsweise kann die Benutzererkennungsvorrichtung 104 eine dritte vertikale Position der Hand unter Verwendung des zweiten Abstands und eine dritte horizontale Position der Hand unter Verwendung der Mitte der Handfläche bestimmen.
Bei 1024 kann der Prozess 1000 das Bestimmen umfassen, dass die dritte Position in der Nähe der ersten Position liegt. Beispielsweise kann die Benutzererkennungsvorrichtung 104 bestimmen, dass die dritte Position in der Nähe der ersten Position liegt. In einigen Fällen kann, um die Bestimmung vorzunehmen, die Benutzererkennungsvorrichtung 104 bestimmen, dass die dritte vertikale Position innerhalb des Schwellenabstands zu der ersten vertikalen Position (z. B. in der z-Richtung) liegt und dass die dritte horizontale Position sich innerhalb des Schwellenabstands zu der ersten horizontalen Position (z. B. in der x-Richtung und der y-Richtung) befindet.
Bei 1026 kann der Prozess 1000 das Verarbeiten der zweiten Sensordaten umfassen. Beispielsweise kann die Benutzererkennungsvorrichtung 104 in einigen Beispielen basierend auf der Bestimmung, dass die dritte Position in der Nähe der ersten Position liegt, die zweiten Merkmalsdaten in Bezug auf Merkmalsdaten analysieren, die einem oder mehreren Benutzerprofilen zugeordnet sind. Basierend auf der Analyse kann die Benutzererkennungsvorrichtung 104 bestimmen, dass die zweiten Merkmalsdaten dritten Merkmalsdaten entsprechen, die dem Benutzerprofil zugeordnet sind. Darüber hinaus oder alternativ dazu kann die Benutzererkennungsvorrichtung 104 in einigen Beispielen basierend auf der Bestimmung, dass die dritte Position in der Nähe der ersten Position liegt, die zweiten Sensordaten zur Verarbeitung an den/die Server 608 senden.
11 veranschaulicht ein Flussdiagramm eines beispielhaften Prozesses 1100 zum Bereitstellen von Anweisungen im Zusammenhang mit der Eingabe biometrischer Daten. Bei 1102 kann der Prozess 1100 das Erfassen eines Teils eines Benutzers über eine elektronische Vorrichtung umfassen.
Beispielsweise kann die Benutzererkennungsvorrichtung 104 den Teil des Benutzers erfassen, der sich über der Benutzererkennungsvorrichtung 104 befindet. Die Benutzererkennungsvorrichtung 104 kann den Teil des Benutzers erfassen, wenn sich der Teil des Benutzers innerhalb eines Schwellenabstands über einer Bildgebungskomponente der Benutzererkennungsvorrichtung 104 befindet. In einigen Fällen erkennt die Benutzererkennungsvorrichtung 104 den Teil des Benutzers unter Verwendung eines Abstandssensors. In einigen Fällen erkennt die Benutzererkennungsvorrichtung 104 den Teil des Benutzers unter Verwendung eines einen oder mehrerer Bildgebungssensoren.
Bei 1104 kann der Prozess 1100 das Anzeigen eines ersten grafischen Elements beinhalten, das eine erste Position angibt, die einer elektronischen Vorrichtung zugeordnet ist. Beispielsweise kann die Benutzererkennungsvorrichtung 104 basierend auf dem Erfassen des Teils des Benutzers eine Benutzerschnittstelle anzeigen, die das erste grafische Element enthält. Das erste grafische Element kann sowohl einer ersten vertikalen Position als auch einer ersten horizontalen Position über einer Bildgebungskomponente der Benutzererkennungsvorrichtung 104 zugeordnet sein. In einigen Fällen enthält das erste grafische Element einen Kreis. In anderen Fällen kann das erste grafische Element jedoch eine beliebige andere Form aufweisen.
Bei 1106 kann der Prozess 1100 das Erzeugen von Sensordaten umfassen, die den Teil des Benutzers darstellen, und bei 1108 kann der Prozess 1100 das Analysieren von Merkmalsdaten umfassen, die den Sensordaten entsprechen, um eine zweite Position des Teils des Benutzers zu bestimmen. Beispielsweise kann die Benutzererkennungsvorrichtung 104 die Sensordaten basierend auf dem Erfassen des Teils des Benutzers erzeugen. Die Sensordaten können mindestens Bilddaten umfassen, die den Teil des Benutzers darstellen, sowie Abstandsdaten, die einen Abstand zu dem Teil des Benutzers angeben. Die Benutzererkennungsvorrichtung 104 kann dann die Merkmalsdaten erzeugen, die den Sensordaten entsprechen. Beispielsweise können die Merkmalsdaten einen oder mehrere Schlüsselpunkte auf dem Teil des Benutzers (z. B. bestimmt unter Verwendung der Bilddaten) und den Abstand zu dem Teil des Benutzers (z. B. bestimmt unter Verwendung der Abstandsdaten) angeben. Die Benutzererkennungsvorrichtung 104 kann dann die zweite Position unter Verwendung eines oder mehrerer Schlüsselpunkte und des Abstands bestimmen. Die zweite Position kann einer zweiten vertikalen Position und einer zweiten horizontalen Position zugeordnet sein.
Bei 1110 kann der Prozess 1100 das Bestimmen umfassen, ob die zweite Position in der Nähe der ersten Position liegt. Beispielsweise kann die Benutzererkennungsvorrichtung 104 bestimmen, ob die zweite Position in der Nähe der ersten Position liegt. In einigen Fällen kann die Benutzererkennungsvorrichtung 104 bestimmen, dass die zweite Position nahe zu der ersten Position liegt, auf der Grundlage des Bestimmens, dass die zweite vertikale Position innerhalb eines Schwellenabstands zu der ersten vertikalen Position (z. B. in der z-Richtung) liegt und dass die zweite horizontale Position sich innerhalb eines Schwellenabstands zu der ersten horizontalen Position (z. B. in der x-Richtung und der y-Richtung) befindet.
Wenn bei 1110 bestimmt wird, dass die zweite Position nicht in der Nähe der ersten Position liegt, dann kann der Prozess 1100 bei 1112 das Anzeigen eines zweiten grafischen Elements umfassen, das die zweite Position angibt. Beispielsweise kann die Benutzererkennungsvorrichtung 104 unter Verwendung der Benutzerschnittstelle das zweite grafische Element zusammen mit dem ersten grafischen Element anzeigen. In einigen Fällen kann die Größe des zweiten grafischen Elements der zweiten vertikalen Position des Teils des Benutzers entsprechen und die Position des zweiten grafischen Elements kann der zweiten horizontalen Position des Teils des Benutzers entsprechen. In einigen Fällen kann die Benutzererkennungsvorrichtung 104 ferner eine oder mehrere Anweisungen zum Bewegen des Teils des Benutzers zu der ersten Position anzeigen. In einigen Fällen kann der Prozess 1100 dann die Schritte 1106-1110 wiederholen, bis die Benutzererkennungsvorrichtungen 104 bestimmen, dass die zweite Position in der Nähe der ersten Position liegt.
Wenn jedoch bei 1110 bestimmt wird, dass die zweite Position in der Nähe der ersten Position liegt, dann kann der Prozess 1100 bei 1114 das Ausführen einer den Sensordaten zugeordneten Aktion umfassen. Beispielsweise kann die Benutzererkennungsvorrichtung 104 basierend auf der Bestimmung, dass die zweite Position in der Nähe der ersten Position liegt, die Aktion ausführen. In einigen Fällen kann die Aktion das Erzeugen eines Benutzerprofils unter Verwendung der Sensordaten und/oder der Merkmalsdaten umfassen. In einigen Fällen kann die Aktion das Identifizieren eines Benutzerprofils umfassen, das den Sensordaten und/oder den Merkmalsdaten zugeordnet ist. Dennoch kann die Aktion in einigen Fällen das Senden der Sensordaten und/oder der Merkmalsdaten an den/die Server 608 beinhalten.
12 veranschaulicht ein Flussdiagramm eines beispielhaften Prozesses 1200 zum Bestimmen einer Position eines Teils eines Benutzers in Bezug auf eine elektronische Vorrichtung. Bei 1202 kann der Prozess 1200 das Erzeugen von Bilddaten einschließen, die einen Teil eines Benutzers darstellen, und bei 1204 kann der Prozess 1200 das Erzeugen von Merkmalsdaten umfassen, die den Bilddaten entsprechen. Beispielsweise kann die Benutzererkennungsvorrichtung 104 die Bilddaten erzeugen, die den Teil des Benutzers darstellen, wie etwa die Hand des Benutzers. Die Benutzererkennungsvorrichtung 104 kann dann die Merkmalsdaten erzeugen, die den Bilddaten entsprechen. Die Merkmalsdaten können einen oder mehrere Punkte auf dem Teil des Benutzers angeben.
Bei 1206 kann der Prozess 1200 das Bestimmen eines oder mehrerer Punkte einschließen, die dem Teil des Benutzers zugeordnet sind, zumindest teilweise basierend auf den Merkmalsdaten, und bei 1208 kann der Prozess 1200 das Bestimmen einer horizontalen Position des Teils des Benutzers einschließen, zumindest teilweise basierend auf dem einen oder auf den mehreren Punkten. Beispielsweise kann die Benutzererkennungsvorrichtung 104 den einen oder die mehreren Punkte bestimmen, die durch die Merkmalsdaten dargestellt werden. Die Benutzererkennungsvorrichtung 104 kann dann einen Begrenzungsrahmen bestimmen, der den einen oder die mehreren Punkte enthält. Unter Verwendung des Begrenzungsrahmens kann die Benutzererkennungsvorrichtung 104 den Mittelpunkt des Teils des Benutzers bestimmen. In einigen Fällen kann der Mittelpunkt des Teils des Benutzers die Mitte des Begrenzungsrahmens enthalten. Die Benutzererkennungsvorrichtung 104 kann dann die horizontale Position des Teils des Benutzers unter Verwendung der Mitte des Teils des Benutzers bestimmen.
Bei 1210 kann der Prozess 1200 das Erzeugen von Sensordaten enthalten und bei 1212 kann der Prozess 1200 das Bestimmen einer vertikalen Position des Teils des Benutzers einschließen, zumindest teilweise basierend auf den Sensordaten. Beispielsweise kann die Benutzererkennungsvorrichtung 104 die Sensordaten, wie etwa Abstandsdaten basierend auf dem Teil des Benutzers erzeugen. Die Benutzererkennungsvorrichtung 104 kann dann den vertikalen Abstand zum Teil des Benutzers unter Verwendung der Sensordaten bestimmen. Darüber hinaus kann die Benutzererkennungsvorrichtung 104 die vertikale Position des Teils des Benutzers basierend auf dem vertikalen Abstand bestimmen. In einigen Fällen kann die Benutzererkennungsvorrichtung 104 dann die Position des Teils des Benutzers basierend auf der horizontalen Position und der vertikalen Position bestimmen.
13 und 14 stellen eine beispielhafte Materialhandhabungsumgebung dar, wie etwa die Materialhandhabungseinrichtung 602, in der die hierin beschriebenen Techniken auf Kameras angewendet werden können, die die Umgebungen wie nachfolgend beschrieben überwachen. Die folgende Beschreibung ist jedoch lediglich ein veranschaulichendes Beispiel einer Branche und einer Umgebung, in denen die hierin beschriebenen Techniken verwendet werden können.
Eine Implementierung einer Materialhandhabungseinrichtung 1302 (z. B. Einrichtung 1302), die zum Lagern und Verwalten von Bestandsartikeln konfiguriert ist, ist in 13 veranschaulicht. Eine Materialhandhabungseinrichtung 1302 umfasst eine oder mehrere physische Strukturen oder Bereiche, in denen ein oder mehrere Artikel 1304(1), 1304(2), ..., 1304(Q) (allgemein als 1304 bezeichnet) gelagert werden können. Wie in dieser Offenbarung verwendet, geben Buchstaben in Klammern, wie etwa „(Q)“, ein ganzzahliges Ergebnis an. Die Artikel 1304 umfassen physische Güter, wie etwa Bücher, Arzneimittel, Reparaturteile, elektronische Vorrichtungen, Lebensmittel und so weiter.
Die Einrichtung 1302 kann einen oder mehrere Bereiche umfassen, die für unterschiedliche Funktionen im Hinblick auf die Bestandshandhabung vorgesehen sind. In dieser Darstellung beinhaltet die Einrichtung 1302 einen Empfangsbereich 1306, einen Lagerbereich 1308 und einen Übergangsbereich 1310. Der Empfangsbereich 1306 kann dazu konfiguriert sein, Artikel 1304, wie etwa von Lieferanten, zur Aufnahme in die Einrichtung 1302 anzunehmen. Zum Beispiel kann der Empfangsbereich 1306 eine Laderampe beinhalten, an der Lastwagen oder andere Frachtbeförderungsmittel die Artikel 1304 entladen.
Der Lagerbereich 1308 ist dazu konfiguriert, die Artikel 1304 zu lagern. Der Lagerbereich 1308 kann in verschiedenen physischen Konfigurationen angeordnet sein. In einer Implementierung kann der Lagerbereich 1308 einen oder mehrere Gänge 1312 beinhalten. Der Gang 1312 kann mit Bestandspositionen 1314 auf einer oder beiden Seiten des Gangs 1312 konfiguriert oder durch diese definiert sein. Die Bestandspositionen 1314 können Regale, Gestelle, Kisten, Schränke, Aufnahmebehälter, Bodenstandorte oder anderen geeigneten Lagermechanismen zum Halten oder Lagern der Artikel 1304 beinhalten. Die Bestandspositionen 1314 können am Boden oder einem anderen Teil der Einrichtungsstruktur befestigt sein oder sie können beweglich sein, sodass die Anordnungen der Gänge 1312 neu konfiguriert werden können. In einigen Implementierungen können die Bestandspositionen 1314 dazu konfiguriert sein, sich unabhängig von einem externen Bediener zu bewegen. Beispielsweise können die Bestandspositionen 1314 ein Gestell mit einer Stromquelle und einem Motor umfassen, die von einer Rechenvorrichtung betreibbar sind, um es dem Gestell zu ermöglichen, sich von einer Position innerhalb der Einrichtung 1302 zu einer anderen zu bewegen.
Ein oder mehrere Benutzer 1316(1), 1316(2), ..., 1316(U) (allgemein als 1316 bezeichnet), Behälter 1318(1), 1318(2), ..., 1318(T) (allgemein als 1318 bezeichnet) oder andere Materialhandhabungsgeräte können sich innerhalb der Einrichtung 1302 bewegen. Beispielsweise können sich die Benutzer 1316 innerhalb der Einrichtung 1302 bewegen, um die Artikel 1304 an verschiedenen Bestandspositionen 1314 aufzunehmen oder zu platzieren und sie zur Erleichterung des Transports auf den Behältern 1318 platzieren. Ein einzelner Behälter 1318 ist dazu konfiguriert, einen oder mehrere Artikel 1304 zu tragen oder anderweitig zu transportieren. Beispielsweise kann ein Behälter 1318 einen Korb, einen Einkaufswagen, eine Tasche und so weiter umfassen. In anderen Implementierungen können sich andere Einrichtungen wie Roboter, Gabelstapler, Kräne, Luftdrohnen usw. in der Einrichtung 1302 bewegen, um die Artikel 1304 aufzunehmen, zu platzieren oder anderweitig zu bewegen.
Ein oder mehrere Sensoren 1320 können dazu konfiguriert sein, Informationen in der Einrichtung 1302 zu erfassen. Die Sensoren 1320 in der Einrichtung 1302 können Sensoren umfassen, die in der Umgebung befestigt sind (z. B. an der Decke montierte Kameras) oder anderweitig, wie z. B. Sensoren im Besitz von Benutzern (z. B. Mobiltelefone, Tablets usw.). Die Sensoren 1320 können Kameras 1320(1), Gewichtssensoren, Hochfrequenz(HF)-Empfänger, Temperatursensoren, Feuchtigkeitssensoren, Vibrationssensoren und so weiter umfassen, ohne darauf beschränkt zu sein. Die Sensoren 1320 können relativ zu der Einrichtung 1302 stationär oder mobil sein. Beispielsweise können die Bestandspositionen 1314 Kameras 1320(1) enthalten, die dazu konfiguriert sind, Bilder der Aufnahme oder Platzierung von Artikeln 1304 in Regalen, der Benutzer 1316(1) und 1316(2) in der Einrichtung 1302 und dergleichen zu erfassen. In einem weiteren Beispiel kann der Boden der Einrichtung 1302 Gewichtssensoren enthalten, die dazu konfiguriert sind, ein Gewicht der Benutzer 1316 oder eines anderen Objekts darauf zu bestimmen.
Während des Betriebs der Einrichtung 1302 können die Sensoren 1320 dazu konfiguriert sein, Informationen bereitzustellen, die zum Identifizieren neuer Positionen von Objekten oder anderer Ereignisse innerhalb der Einrichtung 1302 geeignet sind. Beispielsweise kann eine Reihe von Bildern, die von einer Kamera 1320(1) erfasst werden, das Entfernen eines Artikels 1304 von einer bestimmten Bestandsposition 1314 durch einen der Benutzer 1316 und das Platzieren des Artikels 1304 auf oder zumindest teilweise in einem der Behälter 1318 anzeigen.
Während der Lagerbereich 1308 mit einem/einer oder mehreren Gängen 1312, Bestandspositionen 1314 zum Lagern der Artikel 1304, Sensoren 1320 usw. dargestellt ist, versteht es sich, dass der Empfangsbereich 1306, der Übergangsbereich 1310 oder andere Bereiche der Einrichtung 1302 ähnlich ausgestattet sein können. Darüber hinaus ist die Anordnung der verschiedenen Bereiche innerhalb der Einrichtung 1302 eher funktional als schematisch dargestellt. Beispielsweise können mehrere unterschiedliche Empfangsbereiche 1306, Lagerbereiche 1308 und Übergangsbereiche 1310 in der Einrichtung 1302 verteilt sein, anstatt voneinander separat angeordnet zu sein.
Die Einrichtung 1302 kann ein Bestandsverwaltungssystem 1322 beinhalten oder damit gekoppelt sein. Das Bestandsverwaltungssystem 1322 ist dazu konfiguriert, Interaktionen mit und zwischen Benutzern 1316, Vorrichtungen, wie etwa Sensoren 1320, Robotern, Materialhandhabungsausrüstung, Computervorrichtungen usw. in dem Empfangsbereich 1306, dem Lagerbereich 1308 und/oder dem Übergangsbereich 1310 zu identifizieren. Diese Interaktionen können ein oder mehrere Ereignisse 1324 beinhalten. Zum Beispiel können die Ereignisse 1324 den Eintritt des Benutzers 1316 in die Einrichtung 1302, das Lagern von Artikeln 1304 an einer Bestandsposition 1314, das Aufnehmen eines Artikels 1304 von einer Bestandsposition 1314, das Zurückbringen eines Artikels 1304 an eine Bestandsposition 1314, das Platzieren eines Artikels 1304 in einen Behälter 1318, das Bewegen von Benutzern 1316 relativ zueinander, Gesten der Benutzer 1316 und so weiter beinhalten. Andere Ereignisse 1324, an denen Benutzer 1316 beteiligt sind, können einschließen, dass der Benutzer 1316 Authentifizierungsinformationen in der Einrichtung 1302 bereitstellt, eine Computervorrichtung in der Einrichtung 1302 verwendet, um die Identität gegenüber dem Bestandsverwaltungssystem 1322 zu authentifizieren und so weiter. Einige Ereignisse 1324 können ein oder mehrere andere Objekte innerhalb der Einrichtung 1302 betreffen. Beispielsweise kann das Ereignis 1324 die Bewegung einer Bestandsposition 1314 innerhalb der Einrichtung 1302 umfassen, wie z. B. eines auf Rädern befestigten Zählers. Ereignisse 1324 können einen oder mehrere der Sensoren 1320 betreffen. Zum Beispiel kann eine Betriebsänderung eines Sensors 1320, wie etwa ein Sensorausfall, eine Ausrichtungsänderung usw., als ein Ereignis 1324 bezeichnet werden. Um das Beispiel fortzusetzen, kann eine Bewegung einer Kamera 1320(1), die zu einer Änderung der Ausrichtung des Sichtfelds 1328 führt (z. B. wenn jemand oder etwas gegen die Kamera 1320(1) stößt) (z. B. Kamera) als ein Ereignis 1324 bezeichnet werden.
Durch Bestimmen des Auftretens von einem oder mehreren der Ereignisse 1324 kann das Bestandsverwaltungssystem 1322 Ausgabedaten 1326 erzeugen. Die Ausgangsdaten 1326 umfassen Informationen über das Ereignis 1324. Wenn zum Beispiel das Ereignis 1324 umfasst, dass ein Artikel 1304 von einer Bestandsposition 1314 entfernt wird, können die Ausgabedaten 1326 eine Artikelkennung, die den bestimmten Artikel 1304 angibt, der von der Bestandsposition 1314 entfernt wurde, und eine Benutzerkennung eines Benutzers, der den Artikel entfernt hat, umfassen.
Das Bestandsverwaltungssystem 1322 kann ein oder mehrere automatisierte Systeme verwenden, um die Ausgabedaten 1326 zu erzeugen. Zum Beispiel können ein künstliches neuronales Netzwerk, ein oder mehrere Klassifikatoren oder andere automatisierte Maschinenlerntechniken verwendet werden, um die Sensordaten von dem einen oder den mehreren Sensoren 1320 zu verarbeiten, um Ausgabedaten 1326 zu erzeugen. Die automatisierten Systeme können unter Verwendung probabilistischer oder nichtprobabilistischer Techniken arbeiten. Beispielsweise können die automatisierten Systeme ein Bayes'sches Netzwerk verwenden. In einem anderen Beispiel können die automatisierten Systeme Support Vector Machines verwenden, um die Ausgabedaten 1326 oder die vorläufigen Ergebnisse zu erzeugen. Die automatisierten Systeme können Konfidenzniveaudaten erzeugen, die Informationen bereitstellen, die die Genauigkeit oder Konfidenz angeben, dass die Ausgabedaten 1326 oder die vorläufigen Daten der physischen Welt entsprechen.
Die Konfidenzniveaudaten können unter Verwendung einer Vielzahl von Techniken erzeugt werden, die zumindest teilweise auf der Art des verwendeten automatisierten Systems basieren. Beispielsweise kann ein probabilistisches System, das ein Bayes'sches Netzwerk verwendet, eine der Ausgabe zugewiesene Wahrscheinlichkeit als Konfidenzniveau verwenden. Um das Beispiel fortzusetzen, kann das Bayes'sche Netzwerk angeben, dass die Wahrscheinlichkeit, dass der in den Bilddaten dargestellte Artikel einem zuvor im Speicher gespeicherten Element entspricht, 135 % beträgt. Diese Wahrscheinlichkeit kann als Konfidenzniveau für diesen Artikel verwendet werden, wie es in den Bilddaten dargestellt ist.
In einem anderen Beispiel kann die Ausgabe von nichtprobabilistischen Techniken wie etwa Support Vector Machines Konfidenzniveaus aufweisen, die auf einem Abstand in einem mathematischen Raum basieren, innerhalb dessen die Bilddaten des Artikels und die Bilder von zuvor gespeicherten Artikeln klassifiziert wurden. Je größer der Abstand in diesem Raum von einem Referenzpunkt wie dem zuvor gespeicherten Bild zu den während des Geschehens erfassten Bilddaten ist, desto geringer ist das Konfidenzniveau.
In noch einem weiteren Beispiel können die Bilddaten eines Objekts wie etwa eines Artikels 1304, eines Benutzers 1316 usw. mit einem Satz zuvor gespeicherter Bilder verglichen werden. Unterschiede zwischen den Bilddaten und den zuvor gespeicherten Bildern können ausgewertet werden. Wie zum Beispiel Unterschiede in Form, Farbe, relativen Proportionen zwischen Merkmalen in den Bildern und so weiter. Die Unterschiede können als Abstand mit einem mathematischen Raum ausgedrückt werden. Beispielsweise können die Farbe des Objekts, wie es in den Bilddaten dargestellt ist, und die Farbe des Objekts, wie es in den zuvor gespeicherten Bildern dargestellt ist, als Koordinaten innerhalb eines Farbraums dargestellt werden.
Das Konfidenzniveau kann zumindest teilweise basierend auf diesen Unterschieden bestimmt werden. Beispielsweise kann der Benutzer 1316 einen Artikel 1304(1), wie etwa eine Parfümflasche, die im Allgemeinen eine kubische Form hat, aus der Bestandsposition 1314 aufnehmen. Andere Artikel 1304 an nahe gelegenen Bestandspositionen 1314 können überwiegend kugelförmig sein. Basierend auf dem Unterschied in der Form (Würfel vs. Kugel) zu den benachbarten Artikeln und der Entsprechung in der Form mit dem zuvor gespeicherten Bild des Parfümflaschenartikels 1304(1) (kubisch und kubisch), ist das Konfidenzniveau, das der Benutzer 606 den Parfümflaschenartikel 1304 (1) aufgenommen hat, hoch.
In einigen Situationen sind die automatisierten Techniken möglicherweise nicht in der Lage, Ausgabedaten 1326 mit einem Konfidenzniveau über einem Schwellenergebnis zu erzeugen. Zum Beispiel sind die automatisierten Techniken möglicherweise nicht in der Lage zu unterscheiden, welcher Benutzer 1316 in einer Menge von Benutzern 1316 den Artikel 1304 aus der Bestandsposition 1314 aufgenommen hat. In anderen Situationen kann es wünschenswert sein, eine menschliche Bestätigung des Ereignisses 1324 oder der Genauigkeit der Ausgabedaten 1326 bereitzustellen. Beispielsweise können einige Artikel 1304 als altersbeschränkt angesehen werden, sodass sie nur von Benutzern 1316 über einer Mindestaltersschwelle gehandhabt werden sollen.
In Fällen, in denen eine menschliche Bestätigung erwünscht ist, können Sensordaten, die einem Ereignis 1324 zugeordnet sind, verarbeitet werden, um Abfragedaten zu erzeugen. Die Abfragedaten können eine Teilmenge der Sensordaten beinhalten, die dem Ereignis 1324 zugeordnet sind. Die Abfragedaten können auch eines oder mehrere von einem oder mehreren vorläufigen Ergebnissen, die durch die automatisierten Techniken bestimmt werden, oder ergänzende Daten enthalten. Die Teilmenge der Sensordaten kann unter Verwendung von Informationen über den einen oder die mehreren Sensoren 1320 bestimmt werden. Beispielsweise können Kameradaten, wie etwa die Position der Kamera 1320(1) innerhalb der Einrichtung 1302, die Ausrichtung der Kamera 1320(1) und ein Sichtfeld 1328 der Kamera 1320(1) verwendet werden, um zu bestimmen, ob eine bestimmte Position innerhalb der Einrichtung 1302 innerhalb des Sichtfelds 1328 liegt. Die Teilmenge der Sensordaten kann Bilder beinhalten, die die Bestandsposition 1314 oder die Tatsache, dass der Artikel 1304 verstaut wurde, zeigen. Die Teilmenge der Sensordaten kann auch Bilder von anderen Kameras 1320(1) auslassen, die diese Bestandsposition 1314 nicht im Sichtfeld 1328 hatten. Das Sichtfeld 1328 kann einen Teil der Szene in der Einrichtung 1302 umfassen, über den der Sensor 1320 Sensordaten erzeugen kann.
Um das Beispiel fortzusetzen, kann die Teilmenge der Sensordaten einen Videoclip umfassen, der von einer oder mehreren Kameras 1320(1) mit einem Sichtfeld 1328 erfasst wird, das den Artikel 1304 enthält. Die vorläufigen Ergebnisse können die „beste Vermutung“ umfassen, welche Artikel 1304 an dem Ereignis 1324 beteiligt gewesen sein könnten. Beispielsweise können die vorläufigen Ergebnisse Ergebnisse umfassen, die von dem automatisierten System bestimmt wurden und ein Konfidenzniveau über einem Mindestschwellenwert aufweisen.
Die Einrichtung 1302 kann dazu konfiguriert sein, verschiedene Arten von Artikeln 1304 von verschiedenen Lieferanten zu empfangen und sie zu lagern, bis ein Kunde einen oder mehrere der Artikel 1304 bestellt oder entnimmt. Ein allgemeiner Strom von Artikeln 1304 durch die Einrichtung 1302 wird durch die Pfeile von 13 angezeigt. Insbesondere können, wie in diesem Beispiel veranschaulicht, Artikel 1304 von einem oder mehreren Lieferanten, wie etwa Herstellern, Händlern, Großhändlern usw., im Empfangsbereich 1306 empfangen werden. In verschiedenen Implementierungen können die Artikel 1304 Waren, Rohmaterialien, verderbliche Waren oder jede geeignete Art von Artikel 1304 beinhalten, abhängig von der Art des Unternehmens, das die Einrichtung 1302 betreibt. Der Empfang der Artikel 1304 kann ein oder mehrere Ereignisse 1324 umfassen, für die das Bestandsverwaltungssystem 1322 Ausgabedaten 1326 erzeugen kann.
Nach Erhalt von einem Lieferanten im Empfangsbereich 1306 können die Artikel 1304 zur Lagerung vorbereitet werden. Beispielsweise können die Artikel 1304 ausgepackt oder anderweitig neu angeordnet werden. Das Bestandsverwaltungssystem 1322 kann eine oder mehrere Softwareanwendungen umfassen, die auf einem Computersystem ausgeführt werden, um Bestandsverwaltungsfunktionen basierend auf den Ereignissen 1324 bereitzustellen, die dem Auspacken oder Umordnen zugeordnet sind. Diese Bestandsverwaltungsfunktionen können das Aufrechterhalten von Informationen beinhalten, die den Typ, die Menge, den Zustand, die Kosten, die Position, das Gewicht oder andere geeignete Parameter in Bezug auf die Artikel 1304 angeben. Die Artikel 1304 können in Form von zählbaren, einzelnen Einheiten oder Mehrfacheinheiten, wie etwa Paketen, Kartons, Kisten, Paletten oder anderen geeigneten Ansammlungen, gelagert, verwaltet oder ausgegeben werden. Alternativ dazu können einige Artikel 1304, wie z. B. Massenprodukte, Rohmaterialien und dergleichen, in kontinuierlichen oder willkürlich teilbaren Mengen gelagert werden, die möglicherweise nicht inhärent in zählbare Einheiten organisiert sind. Diese Artikel 1304 können in Bezug auf messbare Mengen verwaltet werden, wie etwa Längen-, Flächen-, Volumen-, Gewichts-, Zeit-, Dauer- oder andere dimensionale Eigenschaften, die durch Maßeinheiten gekennzeichnet sind. Allgemein gesagt kann sich eine Menge eines Artikels 1304 entweder auf eine zählbare Anzahl von einzelnen oder aggregierten Einheiten eines Artikels 1304 oder auf eine messbare Menge eines Artikels 1304 beziehen, je nach Bedarf.
Nach dem Eintreffen im Empfangsbereich 1306 können Artikel 1304 im Lagerbereich 1308 gelagert werden. In einigen Implementierungen können ähnliche Artikel 1304 zusammen in den Bestandspositionen 1314 gelagert oder dargeboten werden, wie etwa in Aufnahmebehältern, auf Regalen, an Stecktafeln hängend und so weiter. In dieser Implementierung werden alle Artikel 1304 einer bestimmten Art an einer Bestandsposition 1314 gelagert. In anderen Implementierungen können ähnliche Artikel 1304 an verschiedenen Bestandspositionen 1314 gelagert werden. Um beispielsweise den Abruf bestimmter Artikel 1304 mit häufigem Umschlag innerhalb einer großen physischen Einrichtung 1302 zu optimieren, können diese Artikel 1304 an mehreren verschiedenen Bestandspositionen 1314 gelagert werden, um eine Überlastung zu reduzieren, die an einer einzelnen Bestandsposition 1314 auftreten könnte. Die Aufbewahrung der Artikel 1304 und ihre jeweiligen Bestandspositionen 1314 können ein oder mehrere Ereignisse 1324 umfassen.
Wenn eine Kundenbestellung empfangen wird, die einen oder mehrere Artikel 1304 spezifiziert, oder wenn ein Benutzer 1316 sich durch die Einrichtung 1302 bewegt, können die entsprechenden Artikel 1304 aus den Bestandspositionen 1314, die diese Artikel 1304 enthalten, ausgewählt oder „aufgenommen“ werden. In verschiedenen Implementierungen kann die Artikelaufnahme von manueller bis zu vollständig automatisierter Aufnahme reichen. Zum Beispiel kann ein Benutzer 1316 in einer Implementierung eine Liste von gewünschten Artikeln 1304 haben und kann sich durch die Einrichtung 1302 bewegen, Artikel 1304 von Bestandspositionen 1314 innerhalb des Lagerbereichs 1308 aufnehmen und diese Artikel 1304 in einen Behälter 1318 legen. In anderen Implementierungen können Mitarbeiter der Einrichtung 1302 Artikel 1304 unter Verwendung von schriftlichen oder elektronischen Aufnahmelisten aufnehmen, die von Kundenbestellungen abgeleitet werden. Diese entnommenen Artikel 1304 können in den Behälter 1318 gelegt werden, während der Mitarbeiter sich durch die Einrichtung 1302 bewegt. Das Entnehmen kann ein oder mehrere Ereignisse 1324 umfassen, wie z. B. das Bewegen des Benutzers 1316 zu der Bestandsposition 1314, das Abrufen des Artikels 1304 von der Bestandsposition 1314 und so weiter.
Nachdem die Artikel 1304 aufgenommen wurden, können sie in einem Übergangsbereich 1310 verarbeitet werden. Der Übergangsbereich 1310 kann ein beliebiger ausgewiesener Bereich innerhalb der Einrichtung 1302 sein, wo Artikel 1304 von einer Position zu einer anderen oder von einer Entität zu einer anderen überführt werden. Beispielsweise kann der Übergangsbereich 1310 eine Packstation innerhalb der Einrichtung 1302 sein. Wenn der Artikel 1304 an dem Übergangsbereich 1310 ankommt, können die Artikel 1304 von dem Lagerbereich 1308 zu der Packstation überführt werden. Das Überführen kann ein oder mehrere Ereignisse 1324 umfassen. Informationen über das Überführen können durch das Bestandsverwaltungssystem 1322 unter Verwendung der diesen Ereignissen 1324 zugeordneten Ausgabedaten 1326 verwaltet werden.
In einem anderen Beispiel kann, wenn die Artikel 1304 die Einrichtung 1302 verlassen, eine Liste der Artikel 1304 erhalten und vom Bestandsverwaltungssystem 1322 verwendet werden, um die Verantwortung für oder die Verwahrung der Artikel 1304 von der Einrichtung 1302 auf eine andere Entität zu übertragen. Beispielsweise kann ein Spediteur die Artikel 1304 zum Transport annehmen, wobei dieser Spediteur die Verantwortung für die in der Liste angegebenen Artikel 1304 übernimmt. In einem anderen Beispiel kann ein Kunde die Artikel 1304 kaufen oder mieten und die Artikel 1304 aus der Einrichtung 1302 entfernen. Der Kauf oder die Miete kann ein oder mehrere Ereignisse 1324 umfassen.
Das Bestandsverwaltungssystem 1322 kann auf Sensordaten über die Einrichtung 1302 und die Inhalte darin zugreifen oder diese erzeugen, einschließlich der Artikel 1304, der Benutzer 1316, der Behälter 1318 und so weiter. Die Sensordaten können von einem oder mehreren der Sensoren 1320 erfasst werden, Daten können von anderen Systemen bereitgestellt werden und so weiter. Beispielsweise können die Sensoren 1320 Kameras 1320(1) beinhalten, die dazu konfiguriert sind, Bilddaten von Szenen in der Einrichtung 1302 zu erfassen. Die Bilddaten können Standbilder, Videos oder eine Kombination daraus umfassen. Die Bilddaten können von dem Bestandsverwaltungssystem 1322 verarbeitet werden, um eine Position des Benutzers 1316, des Behälters 1318, die Identität des Benutzers 1316 und so weiter zu bestimmen. Wie hierin verwendet, kann die Identität des Benutzers eine eindeutige Kennung des Benutzers darstellen (z. B. Name, dem Benutzer zugeordnete Nummer, Benutzername usw.), eine Kennung, die den Benutzer von anderen Benutzern unterscheidet, die mit der Umgebung identifiziert werden, und dergleichen.
Das Bestandsverwaltungssystem 1322 oder daran gekoppelte Systeme können dazu konfiguriert sein, den Benutzer 1316 zu identifizieren und andere Benutzerkandidaten zu bestimmen. In einer Implementierung kann diese Bestimmung das Vergleichen von Sensordaten mit zuvor gespeicherten Identitätsdaten umfassen. Beispielsweise kann der Benutzer 1316 identifiziert werden, indem er sein Gesicht einem Gesichtserkennungssystem zeigt, indem er einen Token mit Authentifizierungsnachweisen präsentiert, einen Fingerabdruck bereitstellt, einen Strichcode oder eine andere Art von eindeutiger Kennung beim Betreten der Einrichtung scannt und dergleichen. Die Identität des Benutzers 1316 kann vor, während oder nach dem Betreten der Einrichtung 1302 bestimmt werden. Die Bestimmung der Identität des Benutzers 1316 kann das Vergleichen von Sensordaten, die dem Benutzer 1316 in der Einrichtung 1302 zugeordnet sind, mit zuvor gespeicherten Benutzerdaten umfassen.
In einigen Fällen gruppiert das Bestandsverwaltungssystem Benutzer innerhalb der Einrichtung in jeweilige Sitzungen. Das heißt, das Bestandsverwaltungssystem 1322 kann die Sensordaten verwenden, um Gruppen von Benutzern zu bestimmen, die effektiv „zusammen“ sind (z. B. zusammen einkaufen). In einigen Fällen kann eine bestimmte Sitzung mehrere Benutzer umfassen, die die Einrichtung 1302 gemeinsam betreten haben und möglicherweise gemeinsam durch die Einrichtung navigieren. Wenn beispielsweise eine Familie mit zwei Erwachsenen und zwei Kindern die Einrichtung gemeinsam betritt, kann das Bestandsverwaltungssystem jeden Benutzer einer bestimmten Sitzung zuordnen. Das Auffinden von Sitzungen zusätzlich zu einzelnen Benutzern kann bei der Bestimmung des Ergebnisses einzelner Ereignisse hilfreich sein, da Benutzer innerhalb einer Sitzung nicht nur einzeln Artikel aufnehmen oder zurückgeben oder anderweitig mit ihnen interagieren können, sondern die Artikel auch untereinander hin und her geben können. Zum Beispiel kann ein Kind im obigen Beispiel die Schachtel mit Müsli aufnehmen, bevor es die Schachtel der Mutter übergibt, die sie in ihren Behälter 1318 legen kann. Das Feststellen, dass das Kind und die Mutter zur selben Sitzung gehören, kann die Chancen erhöhen, die Müslischachtel erfolgreich in den virtuellen Einkaufswagen der Mutter zu legen.
Durch Bestimmen des Auftretens eines oder mehrerer Ereignisse 1324 und der diesen zugeordneten Ausgabedaten 1326 ist das Bestandsverwaltungssystem 1322 in der Lage, den Benutzern 1316 der Einrichtung 1302 einen oder mehrere Dienste bereitzustellen. Indem ein oder mehrere menschliche Mitarbeiter verwendet werden, um Abfragedaten zu verarbeiten und Antwortdaten zu erzeugen, die dann verwendet werden können, um Ausgabedaten 1326 zu erzeugen, kann die Gesamtgenauigkeit des Systems verbessert werden. Die verbesserte Genauigkeit kann die Benutzererfahrung des einen oder der mehreren Benutzer 1316 der Einrichtung 1302 verbessern. In einigen Beispielen können die Ausgabedaten 1326 über ein Netzwerk 1330 an einen oder mehrere Server 608 übertragen werden.
14 veranschaulicht ein Blockdiagramm des einen oder der mehreren Server 608. Der/die Server 608 können physisch in der Einrichtung 1402 vorliegen, können über das Netzwerk 1430 zugänglich sein oder eine Kombination aus beidem. Der/die Server 608 erfordern keine Kenntnis des Endbenutzers über die physische Position und die Konfiguration des Systems, das die Dienste bereitstellt. Übliche Ausdrücke, die dem/den Server(n) 608 zugeordnet sind, können „Datenverarbeitung auf Abruf, „Software as a Service (SaaS),“ „Cloud-Dienste“, „Rechenzentren“ und so weiter umfassen. Von dem/den Server(n) 608 bereitgestellte Dienste können über eine oder mehrere physische oder virtuelle Vorrichtungen verteilt werden.
Der/die Server 608 kann/können einen oder mehrere Hardwareprozessoren 1402 (Prozessoren) enthalten, die dazu konfiguriert sind, eine oder mehrere gespeicherte Anweisungen auszuführen. Die Prozessoren 1402 können einen oder mehrere Kerne umfassen. Der/die Server 608 kann/können eine oder mehrere Eingabe/Ausgabe(E/A)-Schnittstelle(n) 1404 umfassen, um es dem Prozessor 1402 oder anderen Teilen des/der Server(s) 608 zu ermöglichen, mit anderen Vorrichtungen zu kommunizieren. Die E/A-Schnittstellen 1404 kann/können Inter-Integrated Circuit (I2C), Serial Peripheral Interface Bus (SPI), Universal Serial Bus (USB), wie etwa vom USB Implementers Forum veröffentlicht, und dergleichen umfassen.
Der/die Server 608 kann/können auch eine oder mehrere Kommunikationsschnittstellen 1406 beinhalten. Die Kommunikationsschnittstellen 1406 sind dazu konfiguriert, Kommunikationen zwischen dem/den Server(n) 608 und anderen Vorrichtungen bereitzustellen, wie zum Beispiel den Sensoren 1420, den Schnittstellenvorrichtungen, Routern und so weiter. Die Kommunikationsschnittstellen 1406 können Vorrichtungen beinhalten, die dazu konfiguriert sind, mit Personal Area Networks (PAN), drahtgebundenen und drahtlosen Local Area Networks (LAN), drahtgebundenen und drahtlosen Wide Area Networks (WAN) und dergleichen zu koppeln. Beispielsweise können die Kommunikationsschnittstellen 1406 Vorrichtungen umfassen, die mit Ethernet, Wi-Fi™ und dergleichen kompatibel sind. Der/die Server 608 kann/können auch einen oder mehrere Busse oder andere interne Kommunikationshardware oder -software beinhalten, die die Übertragung von Daten zwischen den verschiedenen Modulen und Komponenten des/der Server 608 ermöglichen.
Der/die Server 608 kann/können auch eine Stromversorgung 1440 beinhalten. Die Stromversorgung 1440 ist dazu konfiguriert, elektrischen Strom bereitzustellen, der zum Betreiben der Komponenten in dem/den Server(n) 608 geeignet ist.
Wie in 14 gezeigt, beinhalten der/die Server 608 einen oder mehrere Speicher 1410. Der Speicher 1410 umfasst ein oder mehrere computerlesbare Speichermedien (CRSM). Das CRSM kann ein elektronisches Speichermedium, ein magnetisches Speichermedium, ein optisches Speichermedium, ein Quantenspeichermedium, ein mechanisches Computerspeichermedium und so weiter sein. Der Speicher 1410 stellt eine Speicherung von computerlesbaren Anweisungen, Datenstrukturen, Programmmodulen und anderen Daten für den Betrieb des/der Server(s) 608 bereit. Einige beispielhafte Funktionsmodule sind in dem Speicher 1410 gespeichert gezeigt, obwohl dieselbe Funktionalität alternativ in Hardware, Firmware oder als ein System auf einem Chip (SOC) implementiert sein kann.
Der Speicher 1410 kann mindestens eine Betriebssystem(OS)-Komponente 1412 beinhalten. Die OS-Komponente 1412 ist dazu konfiguriert, Hardware-Ressourcenvorrichtungen, wie etwa die E/A-Schnittstelle(n) 1404, die Kommunikationsschnittstelle(n) 1408 zu verwalten und verschiedene Dienste für Anwendungen oder Komponenten bereitzustellen, die auf dem/den Prozessor(en) 1402 ausgeführt werden. Die OS-Komponente 1412 kann eine Variante des FreeBSD™-Betriebssystems implementieren, wie es vom FreeBSD-Projekt veröffentlicht wird; andere UNIX™- oder UNIX-ähnliche Varianten; eine Variation des Betriebssystems Linux™, wie es von Linus Torvalds verbreitet wird; das Betriebssystem Windows® Server der Microsoft Corporation aus Redmond, Washington, USA; und so weiter.
Eine oder mehrere der folgenden Komponenten können auch im Speicher 1410 gespeichert sein. Diese Komponenten können als Vordergrundanwendungen, Hintergrundaufgaben, Daemons usw. ausgeführt werden. Eine Kommunikationskomponente 1414 kann dazu konfiguriert sein, Kommunikationen mit einem oder mehreren der Sensoren 1220, einer oder mehreren Benutzererkennungsvorrichtungen 104, einem oder mehreren der von Mitarbeitern verwendeten Vorrichtungen, (einem) anderen Server(n) 608 oder anderen Vorrichtungen herzustellen. Die Kommunikationen können authentifiziert, verschlüsselt usw. sein.
Im Speicher 1410 kann ein Bestandsverwaltungssystem 1416 gespeichert sein. Das Bestandsverwaltungssystem 1416 ist dazu konfiguriert, die Bestandsfunktionen, wie hierin in Bezug auf das Bestandsverwaltungssystem 1322 beschrieben, bereitzustellen. Beispielsweise kann das Bestandsverwaltungssystem 1416 die Bewegung von Artikeln 1304 in der Einrichtung 1202 bestimmen, Benutzerschnittstellendaten erzeugen und so weiter.
Das Bestandsverwaltungssystem 1416 kann auf Informationen zugreifen, die in einem oder mehreren Datenspeichern 1418 im Speicher 1410 gespeichert sind. Der Datenspeicher 1418 kann eine Flat-File, eine Datenbank, eine verknüpfte Liste, einen Baum, einen ausführbaren Code, ein Skript oder eine andere Datenstruktur verwenden, um die Informationen zu speichern. In einigen Implementierungen kann der Datenspeicher 1418 oder ein Teil des Datenspeichers 1418 über eine oder mehrere andere Vorrichtungen verteilt sein, einschließlich anderer Server 608, an das Netzwerk angeschlossener Speichervorrichtungen und dergleichen.
Der Datenspeicher 1418 kann physische Layoutdaten 1420 beinhalten. Die physischen Layoutdaten 1420 stellen eine Abbildung von physischen Positionen innerhalb des physischen Layouts von Vorrichtungen und Objekten bereit, wie zum Beispiel die Sensoren 1320, Bestandspositionen 1314 und dergleichen. Die physischen Layoutdaten 1420 können die Koordinaten innerhalb der Einrichtung 1302 einer Bestandsposition 1314, Sensoren 1320 in Sichtweite dieser Bestandsposition 1314 usw. angeben. Beispielsweise können die physischen Layoutdaten 1420 Kameradaten umfassen, die eine Position einer Kamera 1320(1) innerhalb der Einrichtung 1302, eine Ausrichtung der Kamera 1320(1) und/oder den Betriebsstatus und dergleichen umfassen. Als weiteres Beispiel können die physischen Layoutdaten 1420 die Koordinaten der Kamera 1320(1), Schwenk- und Neigungsinformationen, die eine Richtung angeben, entlang der das Sichtfeld 1328 ausgerichtet ist, ob die Kamera 1320(1) im Betrieb ist oder nicht funktioniert, und dergleichen angeben.
In einigen Implementierungen kann das Bestandsverwaltungssystem 1416 auf die physischen Layoutdaten 1420 zugreifen, um zu bestimmen, ob eine dem Ereignis 1324 zugeordnete Position innerhalb des Sichtfelds 1328 eines oder mehrerer Sensoren 1320 liegt. In Fortsetzung des obigen Beispiels kann das Bestandsverwaltungssystem 1416 angesichts der Position innerhalb der Einrichtung 1302 des Ereignisses 1324 und der Kameradaten die Kameras 1320(1) bestimmen, die möglicherweise Bilder des Ereignisses 1324 erzeugt haben.
Die Artikeldaten 1422 umfassen Informationen, die den Artikeln 1304 zugeordnet sind. Die Informationen können Informationen umfassen, die auf eine oder mehrere Bestandspositionen 1314 hinweisen, an denen einer oder mehrere der Artikel 1304 gelagert sind. Die Artikeldaten 1422 können ferner Bestelldaten, SKU oder andere Produktidentifikatoren, Preis, verfügbare Menge, Gewicht, Ablaufdatum, Bilder des Artikels 1304, detaillierte Beschreibungsinformationen, Bewertungen, Rankings und so weiter enthalten. Das Bestandsverwaltungssystem 1416 kann Bestandsverwaltungsfunktionen zugeordnete Informationen in den Artikeldaten 1422 speichern.
Der Datenspeicher 1418 kann ferner Sensordaten 1424 beinhalten. Die Sensordaten 1424 umfassen Informationen, die von dem einen oder den mehreren Sensoren 1320 erfasst werden oder darauf basieren. Beispielsweise können die Sensordaten 1424 3D-Informationen über ein Objekt in der Einrichtung 1302 umfassen. Wie zuvor beschrieben, können die Sensoren 1320 eine Kamera 1320(1) umfassen, die dazu konfiguriert ist, ein oder mehrere Bilder zu erfassen. Diese Bilder können als die Bilddaten 1426 gespeichert werden. Die Bilddaten 1426 können Informationen umfassen, die mehrere Bildelemente oder Pixel beschreiben. Nichtbilddaten 1428 können Informationen von anderen Sensoren 1320 umfassen, wie zum Beispiel Eingaben von den Mikrofonen 1320, von Gewichtssensoren 1320 und dergleichen.
Benutzerdaten 1430 können auch im Datenspeicher 1418 gespeichert werden. Die Benutzerdaten 1430 können Identitätsdaten, Informationen, die auf ein Profil hinweisen, Kaufhistorie, Positionsdaten, Bilder des Benutzers 1316, demografische Daten und dergleichen umfassen. Einzelne Benutzer 1316 oder Gruppen von Benutzern 1316 können selektiv Benutzerdaten 1430 zur Verwendung durch das Bestandsverwaltungssystem 1322 bereitstellen. Die einzelnen Benutzer 1316 oder Gruppen von Benutzern 1316 können auch das Sammeln der Benutzerdaten 1430 während der Verwendung der Einrichtung 1302 oder den Zugriff auf Benutzerdaten 1430, die von anderen Systemen erhalten wurden, autorisieren. Beispielsweise kann sich der Benutzer 1316 für die Erfassung der Benutzerdaten 1430 entscheiden, um erweiterte Dienste zu erhalten, während er die Einrichtung 1302 verwendet.
In einigen Implementierungen können die Benutzerdaten 1430 Informationen enthalten, die einen Benutzer 1316 für eine spezielle Behandlung bezeichnen. Beispielsweise können die Benutzerdaten 1430 angeben, dass einem bestimmten Benutzer 1316 eine erhöhte Anzahl von Fehlern in Bezug auf die Ausgabedaten 1326 zugeordnet wurde. Das Bestandsverwaltungssystem 1416 kann dazu konfiguriert sein, diese Informationen zu verwenden, um eine zusätzliche Prüfung auf die Ereignisse 1324 anzuwenden, die diesem Benutzer 1316 zugeordnet sind. Zum Beispiel können Ereignisse 1324, die einen Artikel 1304 beinhalten, dessen Kosten oder Ergebnis über dem Schwellenbetrag liegen, den Mitarbeitern zur Verarbeitung bereitgestellt werden, ungeachtet des bestimmten Konfidenzniveaus der Ausgabedaten 1326, die durch das automatisierte System erzeugt worden sind.
Das Bestandsverwaltungssystem 1416 kann eine Ortungskomponente 1432, eine Identifizierungskomponente 1434, eine Ereignisbestimmungskomponente 1436 und/oder eine Abfragekomponente 1438 beinhalten.
Die Ortungskomponente 1432 dient dazu, Artikel oder Benutzer innerhalb der Umgebung der Einrichtung zu lokalisieren, um es dem Bestandsverwaltungssystem 1416 zu ermöglichen, bestimmte Ereignisse den richtigen Benutzern zuzuordnen. Das heißt, die Ortungskomponente 1432 kann Benutzern eindeutige Kennungen zuweisen, wenn sie die Einrichtung betreten, und kann mit Zustimmung der Benutzer den Standort der Benutzer in der gesamten Einrichtung 1302 über die Zeit orten, in der sie sich in der Einrichtung 1302 aufhalten. Die Ortungskomponente 1432 kann diese Ortung unter Verwendung von Sensordaten 1424, wie etwa den Bilddaten 1426, durchführen. Beispielsweise kann die Ortungskomponente 1432 die Bilddaten 1426 empfangen und kann Gesichtserkennungstechniken verwenden, um Benutzer anhand der Bilder zu identifizieren. Nach dem Identifizieren eines bestimmten Benutzers innerhalb der Einrichtung kann die Ortungskomponente 1432 dann den Benutzer innerhalb der Bilder orten, während sich der Benutzer durch die Einrichtung 1302 bewegt. Sollte die Ortungskomponente 1432 ferner vorübergehend einen bestimmten Benutzer „verlieren“, kann die Ortungskomponente 1432 erneut versuchen, die Benutzer, basierend auf Gesichtserkennung und/oder unter Verwendung anderer Techniken wie Spracherkennung oder dergleichen innerhalb der Einrichtung, zu identifizieren.
Daher kann die Ortungskomponente 1432 nach Erhalt der Angabe der Zeit und der Position des fraglichen Ereignisses den Datenspeicher 1418 abfragen, um zu bestimmen, welcher einer oder welche mehreren Benutzer an dem bestimmten Zeitpunkt des Ereignisses an oder innerhalb eines Schwellenabstands von der Position des Ereignisses waren. Ferner kann die Ortungskomponente 1432 verschiedenen Benutzern verschiedene Konfidenzniveaus zuweisen, wobei die Konfidenzniveaus angeben, wie wahrscheinlich es ist, dass jeder entsprechende Benutzer der Benutzer ist, der tatsächlich dem Ereignis von Interesse zugeordnet ist.
Die Ortungskomponente 1432 kann auf die Sensordaten 1424 zugreifen, um diese Positionsdaten des Benutzers und/oder der Artikel zu bestimmen. Die Positionsdaten stellen Informationen bereit, die eine Position eines Objekts angeben, wie z. B. des Artikels 1304, des Benutzers 1316, des Behälters 1318 und dergleichen. Die Position kann in Bezug auf die Einrichtung 1302 absolut oder relativ zu einem anderen Objekt oder Bezugspunkt sein. Absolute Begriffe können einen Breitengrad, einen Längengrad und eine Höhe in Bezug auf einen geodätischen Referenzpunkt umfassen. Relative Begriffe können eine Position von 25,4 Metern (m) entlang einer x-Achse und 75,2 m entlang einer y-Achse, wie durch einen Grundriss der Einrichtung 1302 bezeichnet, 5,2 m von einer Bestandsposition 1314 entlang einer Richtung von 169 und dergleichen umfassen. Beispielsweise können die Positionsdaten angeben, dass der Benutzer 1316(1) sich 25,2 m entlang des Gangs 1312(1) befindet und vor der Bestandsposition 1314 steht. Im Vergleich dazu kann eine relative Position angeben, dass der Benutzer 1316(1) sich 32 cm von dem Behälter 1318 entfernt in einer Richtung von 73° in Bezug auf den Behälter 1318 befindet. Die Positionsdaten können Ausrichtungsinformationen enthalten, wie z. B. in welche Richtung der Benutzer 1316 blickt. Die Ausrichtung kann durch die relative Richtung bestimmt werden, in die der Körper des Benutzers 1316 zeigt. In einigen Implementierungen kann die Ausrichtung relativ zu der Schnittstellenvorrichtung sein. Um das Beispiel fortzusetzen, können die Positionsdaten angeben, dass der Benutzer 1316(1) mit einer Richtung von 0° ausgerichtet ist oder nach Norden schaut. In einem anderen Beispiel können die Positionsdaten angeben, dass der Benutzer 1316 der Schnittstellenvorrichtung zugewandt ist.
Die Identifizierungskomponente 1434 ist dazu konfiguriert, ein Objekt zu identifizieren. In einer Implementierung kann die Identifizierungskomponente 1434 dazu konfiguriert sein, einen Artikel 1304 zu identifizieren. In einer weiteren Implementierung kann die Identifizierungskomponente 1434 dazu konfiguriert sein, den Benutzer 1316 zu identifizieren. Beispielsweise kann die Identifizierungskomponente 1434 Gesichtserkennungstechniken verwenden, um die Bilddaten 1426 zu verarbeiten und die Identitätsdaten des Benutzers 1316 zu bestimmen, der in den Bildern abgebildet ist, indem die Merkmale in den Bilddaten 1426 mit zuvor gespeicherten Ergebnissen verglichen werden. Die Identifizierungskomponente 1434 kann ferner auf Daten von anderen Sensoren 1320 zugreifen, wie etwa von einem RFID-Lesegerät 1320, einem HF-Empfänger 1320, Fingerabdrucksensoren und dergleichen.
Die Ereignisbestimmungskomponente 1436 ist dazu konfiguriert, die Sensordaten 1424 zu verarbeiten und Ausgabedaten 1326 zu erzeugen. Die Ereignisbestimmungskomponente 1436 kann auf Informationen zugreifen, die im Datenspeicher 1418 gespeichert sind, einschließlich, ohne darauf beschränkt zu sein, Ereignisbeschreibungsdaten 1442, Konfidenzniveaus 1444 oder Schwellenwerte 1446.
Die Ereignisbeschreibungsdaten 1442 umfassen Informationen, die auf ein oder mehrere Ereignisse 1324 hinweisen. Beispielsweise können die Ereignisbeschreibungsdaten 1442 vordefinierte Profile umfassen, die die Bewegung eines Artikels 1304 von einer Bestandsposition 1314 mit dem Ereignis 1324 „Aufnahme“ bezeichnen. Die Ereignisbeschreibungsdaten 1442 können manuell generiert oder automatisch generiert werden. Die Ereignisbeschreibungsdaten 1442 können Daten beinhalten, welche Auslöser angeben, die Ereignissen zugeordnet sind, die in der Einrichtung 1302 auftreten. Es kann festgestellt werden, dass ein Ereignis bei Erfassung des Auslösers auftritt. Beispielsweise können Sensordaten 1424, wie etwa eine Gewichtsänderung von einem Gewichtssensor 1320(6) an einer Bestandsposition 1314, die Erfassung eines Ereignisses auslösen, bei dem ein Artikel 1304 zu der Bestandsposition 1314 hinzugefügt oder daraus entfernt wird. In einem anderen Beispiel kann der Auslöser ein Bild des Benutzers 1316 umfassen, der eine Hand in Richtung der Bestandsposition 1314 streckt. In noch einem weiteren Beispiel kann der Auslöser zwei oder mehr Benutzer 1316 umfassen, die sich bis auf einen Schwellenabstand voneinander annähern.
Die Ereignisbestimmungskomponente 1436 kann die Sensordaten 1424 unter Verwendung einer oder mehrerer Techniken verarbeiten, einschließlich, ohne darauf beschränkt zu sein, künstliche neuronale Netze, Klassifizierer, Entscheidungsbäume, Support Vector Machines, Bayes'sche Netzwerke und dergleichen. Zum Beispiel kann die Ereignisbestimmungskomponente 1436 einen Entscheidungsbaum verwenden, um das Auftreten des „Aufnahme“-Ereignisses 1324 basierend auf Sensordaten 1424 zu bestimmen. Die Ereignisbestimmungskomponente 1436 kann ferner die Sensordaten 1424 verwenden, um ein oder mehrere vorläufige Ergebnisse 1448 zu bestimmen. Das eine oder die mehreren vorläufigen Ergebnisse 1448 umfassen Daten, die dem Ereignis 1324 zugeordnet sind. Wenn beispielsweise das Ereignis 1324 eine Disambiguierung von Benutzern 1316 umfasst, können die vorläufigen Ergebnisse 1448 eine Liste möglicher Benutzeridentitäten umfassen. In einem anderen Beispiel, in dem das Ereignis 1324 eine Begriffsklärung zwischen Artikeln umfasst, können die vorläufigen Ergebnisse 1448 eine Liste möglicher Artikelkennungen umfassen. In einigen Implementierungen kann das vorläufige Ergebnis 1448 die mögliche Aktion anzeigen. Beispielsweise kann die Aktion umfassen, dass der Benutzer 1316 einen Artikel 1304 aufnimmt, platziert, bewegt, einen Artikel 1304 beschädigt, eine gestische Eingabe vornimmt und dergleichen.
In einigen Implementierungen können die vorläufigen Ergebnisse 1448 von anderen Komponenten generiert werden. Beispielsweise können die vorläufigen Ergebnisse 1448, wie etwa eine oder mehrere mögliche Identitäten oder Positionen des an dem Ereignis 1324 beteiligten Benutzers 1316, von der Ortungskomponente 1432 generiert werden. In einem anderen Beispiel können die vorläufigen Ergebnisse 1448, wie etwa mögliche Artikel 1304, die möglicherweise an dem Ereignis 1324 beteiligt waren, von der Identifizierungskomponente 1434 generiert werden.
Die Ereignisbestimmungskomponente 1436 kann dazu konfiguriert sein, ein Konfidenzniveau 1444 bereitzustellen, das der Bestimmung der vorläufigen Ergebnisse 1448 zugeordnet ist. Das Konfidenzniveau 1444 liefert Hinweise auf das erwartete Genauigkeitsniveau des vorläufigen Ergebnisses 1448. Beispielsweise kann ein niedriges Konfidenzniveau 1444 angeben, dass das vorläufige Ergebnis 1448 eine geringe Wahrscheinlichkeit hat, den tatsächlichen Umständen des Ereignisses 1324 zu entsprechen. Im Vergleich dazu kann ein hohes Konfidenzniveau 1444 angeben, dass das vorläufige Ergebnis 1448 mit hoher Wahrscheinlichkeit den tatsächlichen Umständen des Ereignisses 1324 entspricht.
In einigen Implementierungen können die vorläufigen Ergebnisse 1448 mit Konfidenzniveaus 1444, die das Schwellenergebnis 1446 übersteigen, als ausreichend genau angesehen werden und können somit als Ausgabedaten 1326 verwendet werden. Zum Beispiel kann die Ereignisbestimmungskomponente 1436 vorläufige Ergebnisse 1448 bereitstellen, die die drei möglichen Artikel 1304(1), 1304(2) und 1304(3) angeben, welche dem „Aufhahme“-Ereignis 1324 entsprechen. Die den möglichen Artikeln 1304(1), 1304(2) und 1304(3) zugeordneten Konfidenzniveaus 1444 können 25 %, 70 % bzw. 142 % betragen. Um das Beispiel fortzusetzen, kann das Schwellenergebnis so eingestellt werden, dass das Konfidenzniveau 1444 von 140 % als ausreichend genau erachtet wird. Als Ergebnis kann die Ereignisbestimmungskomponente 1436 das „Aufhahme“-Ereignis 1324 als Artikel 1304(3) beinhaltend kennzeichnen.
Die Abfragekomponente 1438 kann dazu konfiguriert sein, zumindest einen Teil der Sensordaten 1424 zu verwenden, die dem Ereignis 1324 zugeordnet sind, um Abfragedaten 1450 zu erzeugen. In einigen Implementierungen können die Abfragedaten 1450 eines oder mehrere der vorläufigen Ergebnisse 1448 oder ergänzenden Daten 1452 beinhalten. Die Abfragekomponente 1438 kann dazu konfiguriert sein, Abfragedaten 1450 einer oder mehreren Vorrichtungen bereitzustellen, die einem oder mehreren menschlichen Mitarbeitern zugeordnet sind.
Auf den jeweiligen Vorrichtungen der Mitarbeiter wird eine entsprechende Benutzerschnittstelle dargestellt. Der Mitarbeiter kann Antwortdaten 1454 erzeugen, indem er ein bestimmtes vorläufiges Ergebnis 1448 auswählt, neue Informationen eingibt, angibt, dass er die Abfrage nicht beantworten kann, und dergleichen.
Die ergänzenden Daten 1452 umfassen Informationen, die dem Ereignis 1224 zugeordnet sind oder die beim Interpretieren der Sensordaten 1424 nützlich sein können. Beispielsweise können die ergänzenden Daten 1452 zuvor gespeicherte Bilder der Artikel 1304 umfassen. In einem anderen Beispiel können die ergänzenden Daten 1452 eine oder mehrere grafische Überlagerungen umfassen. Beispielsweise können die grafischen Überlagerungen grafische Benutzerschnittstellenelemente umfassen, wie etwa Überlagerungen, die Zeichen eines Objekts von Interesse darstellen. Diese Zeichen können Hervorhebungen, Begrenzungsrahmen, Pfeile usw. umfassen, die während der Präsentation für einen Mitarbeiter über die Bilddaten 1426 gelegt oder darauf platziert worden sind.
Die Abfragekomponente 1438 verarbeitet die von dem einen oder den mehreren Mitarbeitern bereitgestellten Antwortdaten 1454. Die Verarbeitung kann das Berechnen von einem oder mehreren statistischen Ergebnissen umfassen, die den Antwortdaten 1454 zugeordnet sind. Zum Beispiel können statistische Ergebnisse eine Zählung der Häufigkeit umfassen, mit der Mitarbeiter ein bestimmtes vorläufiges Ergebnis 1448 ausgewählt haben, eine Bestimmung eines Prozentsatzes der Mitarbeiter, die ein bestimmtes vorläufiges Ergebnis 1448 ausgewählt haben, und dergleichen.
Die Abfragekomponente 1438 ist dazu konfiguriert, die Ausgabedaten 1326 zumindest teilweise auf der Grundlage der Antwortdaten 1454 zu erzeugen. Angenommen, dass beispielsweise eine Mehrheit der Mitarbeiter Antwortdaten 1454 zurückgegeben hat, die angeben, dass der Artikel 1304, der dem „Aufnahme“-Ereignis 1324 zugeordnet ist, Artikel 1304(5) ist, können die Ausgabedaten 1326 angeben, dass der Artikel 1304(5) aufgenommen wurde.
Die Abfragekomponente 1438 kann so konfiguriert sein, dass sie selektiv Abfragen an bestimmte Mitarbeiter verteilt. Beispielsweise sind einige Mitarbeiter möglicherweise besser geeignet, bestimmte Arten von Anfragen zu beantworten. Leistungsdaten, wie etwa statistische Daten über die Leistung der Mitarbeiter, können von der Abfragekomponente 1438 aus den von den Mitarbeitern bereitgestellten Antwortdaten 1454 bestimmt werden. Beispielsweise können Informationen beibehalten werden, die einen Prozentsatz unterschiedlicher Anfragen angeben, bei denen der bestimmte Mitarbeiter Antwortdaten 1454 ausgewählt hat, die mit der Mehrheit der Mitarbeiter nicht übereinstimmen. In einigen Implementierungen können Test- oder Übungsabfragedaten 1450 mit einer zuvor bekannten korrekten Antwort dem Mitarbeiter zu Schulungs- oder Qualitätssicherungszwecken bereitgestellt werden. Die Bestimmung des zu verwendenden Satzes von Mitarbeitern kann zumindest teilweise auf den Leistungsdaten basieren.
Durch die Verwendung der Abfragekomponente 1438 kann die Ereignisbestimmungskomponente 1436 in der Lage sein, Ausgabedaten 1326, die das Ereignis 1324 genau darstellen, mit hoher Zuverlässigkeit bereitzustellen. Die von der Abfragekomponente 1438 aus den Antwortdaten 1454 generierten Ausgabedaten 1326 können auch verwendet werden, um die automatisierten Systeme, die von dem Bestandsverwaltungssystem 1416 verwendet werden, weiter zu trainieren. Beispielsweise können die Sensordaten 1424 und die Ausgabedaten 1326, basierend auf den Antwortdaten 1454 einer oder mehreren der Komponenten des Bestandsverwaltungssystems 1416 zum Training in der Prozessverbesserung bereitgestellt werden. Um das Beispiel fortzusetzen, können diese Informationen einem künstlichen neuronalen Netzwerk, einem Bayes'schen Netzwerk usw. bereitgestellt werden, um diese Systeme weiter zu trainieren, sodass das Konfidenzniveau 1444 und die in Zukunft erzeugten vorläufigen Ergebnisse 1448 für die gleiche oder eine ähnliche Eingabe verbessert werden.
In einigen Fällen kann/können der/die Server 608 ferner eine oder mehrere der in 9 in Bezug auf die Benutzererkennungsvorrichtung 104 veranschaulichte Komponenten enthalten. In diesen Fällen können der/die Server 608 einen oder mehrere der hierin beschriebenen Prozesse in Bezug auf die Benutzererkennungsvorrichtung 104 durchführen. Darüber hinaus kann/können der/die Server 608 Daten (z. B. andere Daten 662), die den durchgeführten Prozessen zugeordnet sind, an die Benutzererkennungsvorrichtung 104 senden. Beispielsweise können die Daten die Positionen der Teile von Benutzern angeben, wenn die Benutzer die Benutzererkennungsvorrichtung 104 verwenden.
Während die vorstehende Erfindung in Bezug auf die spezifischen Beispiele beschrieben worden ist, versteht es sich, dass der Umfang der Erfindung nicht auf diese spezifischen Beispiele beschränkt ist. Da andere Modifikationen und Änderungen, die variiert werden, um bestimmten Betriebsanforderungen und -umgebungen zu entsprechen, für den Fachmann offensichtlich sind, wird die Erfindung nicht als auf das zum Zweck der Offenbarung gewählte Beispiel beschränkt betrachtet und deckt alle Änderungen und Modifikationen ab, die keine Abweichungen vom wahren Geist und Umfang dieser Erfindung darstellen.
Obwohl die Anmeldung Ausführungsformen mit spezifischen strukturellen Merkmalen und/oder methodischen Handlungen beschreibt, versteht es sich, dass die Ansprüche nicht notwendigerweise auf die beschriebenen spezifischen Merkmale oder Handlungen beschränkt sind. Vielmehr sind die spezifischen Merkmale und Handlungen nur beispielhaft für einige Ausführungsformen, die in den Umfang der Ansprüche der Anmeldung fallen.
BEISPIELKLAUSELN
A: Eine elektronische Vorrichtung, umfassend: einen oder mehrere Abstandssensoren; eine oder mehrere Bildgebungsvorrichtungen; eine Anzeige; eine oder mehrere Netzwerkschnittstellen; einen oder mehrere Prozessoren; und ein oder mehrere computerlesbare Medien, auf denen Anweisungen gespeichert sind, die, wenn sie von dem einen oder von den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, Operationen auszuführen, umfassend: Bestimmen, unter Verwendung des einen oder der mehreren Abstandssensoren, einer Hand, die sich über der elektronischen Vorrichtung befindet; Bewirken, dass die Anzeige ein erstes grafisches Element darstellt, welches eine vertikale Zielposition angibt, und einer horizontalen Zielposition zum Positionieren der Hand über der elektronischen Vorrichtung; Erzeugen, zu einem zweiten Zeitpunkt und unter Verwendung des einen oder der mehreren Abstandssensoren, erster Abstandsdaten auf der Grundlage eines ersten Abstands zu der Hand; Bestimmen, zumindest zum Teil basierend auf den ersten Abstandsdaten, einer ersten vertikalen Position der Hand über der elektronischen Vorrichtung; Erzeugen, zu einem dritten Zeitpunkt und unter Verwendung der einen oder der mehreren Bildgebungsvorrichtungen, erster Bilddaten, die die Hand darstellen; Analysieren erster Merkmalsdaten, die den ersten Bilddaten entsprechen, um ein oder mehrere der Hand zugeordnete erste Attribute zu bestimmen; Bestimmen, zumindest zum Teil basierend auf dem einen oder den mehreren ersten Attributen, einer ersten horizontalen Position der Hand über der elektronischen Vorrichtung; Bestimmen, dass die erste vertikale Position um mehr als einen ersten Schwellenabstand von der vertikalen Zielposition entfernt ist und/oder dass die erste horizontale Position um mehr als einen zweiten Schwellenabstand von der horizontalen Zielposition entfernt ist; Bewirken, dass die Anzeige ein zweites grafisches Element darstellt, welches die erste vertikale Position und die erste horizontale Position angibt; Erzeugen, zu einem vierten Zeitpunkt und unter Verwendung des einen oder der mehreren Abstandssensoren, zweiter Abstandsdaten auf der Grundlage eines zweiten Abstands zu der Hand; Bestimmen, zumindest zum Teil basierend auf den zweiten Abstandsdaten, einer zweiten vertikalen Position der Hand über der elektronischen Vorrichtung; Erzeugen, zu einem vierten Zeitpunkt und unter Verwendung der einen oder der mehreren Bildgebungsvorrichtungen, zweiter Bilddaten, die die Hand darstellen; Analysieren zweiter Merkmalsdaten, die den zweiten Bilddaten entsprechen, um ein oder mehrere der Hand zugeordnete zweite Attribute zu bestimmen; Bestimmen, zumindest zum Teil basierend auf einem der zweite Attribute, einer zweite horizontalen Position der Hand über der elektronischen Vorrichtung; Bestimmen, dass die zweite vertikale Position um weniger als den ersten Schwellenabstand von der vertikalen Zielposition entfernt ist; Bestimmen, dass die zweite horizontale Position um weniger als den zweiten Schwellenabstand von der horizontalen Zielposition entfernt ist; und Senden, unter Verwendung der einen oder der mehreren Netzwerkschnittstellen, der zweiten Bilddaten und/oder der zweiten Merkmalsdaten an ein entferntes System.
B: Die elektronische Vorrichtung nach Absatz A, wobei die Operationen ferner Folgendes umfassen: Bestimmen einer Größe des zweiten grafischen Elements, zumindest teilweise basierend auf der ersten vertikalen Position; und Bestimmen einer Lage für das zweite grafische Element auf der Anzeige, zumindest teilweise basierend auf der ersten horizontalen Position, und wobei das Bewirken, dass die Anzeige das zweite grafische Element darstellt, umfasst, dass die Anzeige dazu veranlasst wird, das zweite grafische Element gemäß der Größe und der Lage darzustellen.
C: Die elektronische Vorrichtung, entweder nach Absatz A oder Absatz B, wobei die erste horizontale Position der Hand mindestens Folgendes umfasst: Bestimmen, zumindest zum Teil basierend auf dem einen oder den mehreren ersten Attributen, eines oder mehrerer Punkte auf der Hand; Bestimmen eines Mittelpunkts einer Handfläche, zumindest teilweise basierend auf dem einen oder den mehreren Punkten; und Bestimmen der ersten horizontalen Position unter Einsatz des Mittelpunkts der Handfläche.
D: Ein Verfahren, umfassend: Anzeigen, durch eine elektronische Vorrichtung, eines ersten grafischen Elements; Erzeugen, durch die elektronische Vorrichtung, von ersten Sensordaten, die einen Teil eines Benutzers darstellen; Analysieren erster Merkmalsdaten, die den ersten Sensordaten entsprechen, um eine erste Position des Teils des Benutzers relativ zu der elektronischen Vorrichtung zu bestimmen; Bestimmen, dass die erste Position um mehr als einen Schwellenabstand von einer Zielposition entfernt ist; Bestimmen mindestens einer Größe oder einer Lage für ein zweites grafisches Element mindestens teilweise basierend auf der ersten Position; Anzeigen, durch die elektronische Vorrichtung und gemeinsam mit dem ersten grafischen Element, des zweiten grafischen Elements gemäß der Form oder der Lage; Erzeugen, durch die elektronische Vorrichtung, von zweiten Sensordaten, die den Teil des Benutzers darstellen; Analysieren zweiter Merkmalsdaten, die den zweiten Sensordaten entsprechen, um eine zweite Position des Teils des Benutzers zu bestimmen; Bestimmen, dass die zweite Position um weniger als den Schwellenabstand von der Zielposition entfernt ist; und Senden der zweiten Sensordaten und/oder der zweiten Merkmalsdaten an ein entferntes System.
E: Das Verfahren nach Absatz D, ferner umfassend: Bestimmen einer vertikalen Position, die der ersten Position zugeordnet ist; und wobei das Bestimmen der zumindest einen der Größe oder der Lage des zweiten grafischen Elements das Bestimmen der Größe des zweiten grafischen Elements, zumindest teilweise basierend auf der vertikalen Position umfasst.
E: Das Verfahren entweder nach Absatz D oder Absatz E, ferner umfassend: Bestimmen einer horizontalen Position, die der ersten Position zugeordnet ist; und wobei das Bestimmen der zumindest einen der Größe oder der Lage des zweiten grafischen Elements das Bestimmen der Lage des zweiten grafischen Elements, zumindest teilweise basierend auf der horizontalen Position umfasst.
G: Das Verfahren nach einem der Absätze D-F, ferner umfassend: Bestimmen einer vertikalen Differenz zwischen der ersten Position und der Zielposition; und Bestimmen einer horizontalen Differenz zwischen der ersten Position und der Zielposition, und wobei das Bestimmen, dass die zweite Position um mehr als den Schwellenabstand von der Zielposition entfernt ist, mindestens eines der Folgenden umfasst: Bestimmen, dass die vertikale Differenz größer als der Schwellenabstand ist; oder Bestimmen, dass die horizontale Differenz größer als der Schwellenabstand ist.
H: Das Verfahren nach einem der Absätze D-G, wobei die ersten Sensordaten Bilddaten umfassen, die den Teil des Benutzers darstellen, und wobei das Analysieren der ersten Merkmalsdaten, die den Bilddaten entsprechen, um die ersten Position des Teils des Benutzers relativ zu der elektronischen Vorrichtung zu bestimmen, mindestens Folgendes umfasst: Analysieren der ersten Merkmalsdaten, um einen oder mehrere Punkte zu bestimmen, die sich auf dem Teil des Benutzers befinden; Bestimmen eines Mittelpunkts, der dem Teil des Benutzers zugeordnet ist, zumindest teilweise basierend auf dem einen oder den mehreren Punkten; und Bestimmen der ersten Position, zumindest teilweise basierend auf dem Mittelpunkt.
I: Das Verfahren nach einem der Absätze D-H, wobei die ersten Sensordaten Abstandsdaten umfassen, die einen Abstand zu dem Teil des Benutzers darstellen, und wobei das Analysieren der ersten Merkmalsdaten, die den Abstandsdaten entsprechen, um die erste Position des Teils des Benutzers relativ zu der elektronischen Vorrichtung zu bestimmen, mindestens Folgendes umfasst: Analysieren der ersten Merkmalsdaten, um den Abstand zwischen der elektronischen Vorrichtung und dem Teil des Benutzers zu bestimmen, wobei die erste Position dem Abstand zugeordnet ist.
J: Das Verfahren nach einem der Absätze D-I, ferner umfassend: Erzeugen dritter Sensordaten, die den Teil des Benutzers darstellen; Analysieren dritter Merkmalsdaten, die den dritten Sensordaten entsprechen, um eine dritte Position des Teils des Benutzers relativ zu der elektronischen Vorrichtung zu bestimmen; Bestimmen, dass die dritte Position um mehr als den Schwellenabstand von der Zielposition entfernt ist; Bestimmen mindestens einer zusätzlichen Größe oder einer zusätzlichen Lage für das zweite grafische Element mindestens teilweise basierend auf der dritten Position; und Anzeigen, entlang des ersten grafischen Elements, des zweiten grafischen Elements gemäß der zusätzlichen Größe oder der zusätzlichen Lage.
K: Das Verfahren nach einem der Absätze D-J, wobei: das Bestimmen der Größe und/oder der Lage für das zweite grafische Element mindestens Folgendes umfasst: Bestimmen der Größe für das zweite grafische Element, zumindest teilweise basierend auf einer vertikalen Position, die der ersten Position zugeordnet ist; Bestimmen der Lage für das zweite grafische Element, zumindest teilweise basierend auf einer ersten horizontalen Position, die der ersten Position zugeordnet ist, das Bestimmen der zusätzlichen Größe und/oder der zusätzlichen Lage für das zweite grafische Element mindestens Folgendes umfasst: Bestimmen der zusätzlichen Größe für das zweite grafische Element, zumindest teilweise basierend auf einer zweiten vertikalen Position, die der dritten Position zugeordnet ist; Bestimmen der zusätzlichen Lage für das zweite grafische Element, zumindest teilweise basierend auf einer zweiten horizontalen Position, die der dritten Position zugeordnet ist,
L: Das Verfahren nach einem der Absätze D-K, ferner umfassend: Anzeigen einer Anweisung, die dem Platzieren des Teils des Benutzers über der elektronischen Vorrichtung zugeordnet ist; Erzeugen dritter Sensordaten; und Erfassen, zumindest teilweise basierend auf den dritten Sensordaten, dass sich der Teil des Benutzers über der elektronischen Vorrichtung befindet, und wobei das Anzeigen des ersten grafischen Elements zumindest teilweise nach dem Erfassen des Teils des Benutzers erfolgt.
M: Das Verfahren nach einem der Absätze D-L, ferner umfassend das Anzeigen, zusammen mit dem zweiten grafischen Element, einer Anweisung, die dem Bewegen des Teils des Benutzers hin zu der Zielposition innerhalb der Umgebung zugeordnet ist.
N: Das Verfahren nach einem der Absätze D-FM, ferner umfassend zumindest teilweise basierend auf dem Bestimmen, dass die zweite Position um weniger als den Schwellenabstand von der Zielposition entfernt ist, Senden der zweiten Sensordaten oder der zweiten Merkmalsdaten an ein entferntes System.
O: Das Verfahren nach einem der Absätze D-N, ferner umfassend: Analysieren der zweiten Merkmalsdaten, um wenigstens eines der Folgenden zu bestimmen: eine Haltung des Teils des Benutzers; eine Richtung des Teils des Benutzers; oder eine Ausrichtung des Teils des Benutzers.
P: Eine elektronische Vorrichtung, umfassend: einen oder mehrere Abstandssensoren; eine oder mehrere Bildgebungsvorrichtungen; eine Anzeige; einen oder mehrere Prozessoren; und ein oder mehrere computerlesbare Medien, auf denen Anweisungen gespeichert sind, die, wenn sie von dem einen oder von den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, Operationen auszuführen, umfassend: Bewirken, dass die Anzeige ein erstes grafisches Element darstellt; Bestimmen, unter Verwendung des einen oder der mehreren Abstandssensoren, einer vertikalen Position eines Teils eines Benutzers in Bezug auf die elektronische Vorrichtung; Erzeugen, unter Verwendung der einen oder der mehreren Bildgebungsvorrichtungen, von Bilddaten, die den Teil des Benutzers darstellen; Analysieren von Merkmalsdaten, die den Bilddaten entsprechen, um eine horizontale Position des Teils des Benutzers in Bezug auf die elektronische Vorrichtung zu bestimmen; und Bewirken, dass die Anzeige ein zweites grafisches Element zusammen mit dem ersten grafischen Element darstellt, wobei das zweite grafische Element die vertikale Position und die horizontale Position darstellt.
Q: Die elektronische Vorrichtung nach Absatz P, wobei die Operationen ferner Folgendes umfassen: Bestimmen einer Größe des zweiten grafischen Elements, zumindest teilweise basierend auf der vertikalen Position; und Bestimmen einer Lage für das zweite grafische Element, zumindest teilweise basierend auf der horizontalen Position, und wobei das Bewirken, dass die Anzeige das zweite grafische Element darstellt, zumindest umfasst, dass die Anzeige dazu veranlasst wird, gemeinsam mit dem ersten grafischen Element das zweite grafische Element gemäß der Größe und der Lage darzustellen.
R: Die elektronische Vorrichtung entweder nach Absatz P oder Absatz Q, wobei die Operationen ferner Folgendes umfassen: Bestimmen, unter Verwendung des einen oder der mehreren Abstandssensoren, einer zusätzlichen vertikalen Position des Teils des Benutzers in Bezug auf die elektronische Vorrichtung; Erzeugen, unter Verwendung der einen oder der mehreren Bildgebungsvorrichtungen, von zusätzlichen Bilddaten, die den Teil des Benutzers darstellen; Analysieren von zusätzlichen Merkmalsdaten, die den zusätzlichen Bilddaten entsprechen, um eine zusätzliche horizontale Position des Teils des Benutzers in Bezug auf die elektronische Vorrichtung zu bestimmen; und Bewirken, dass die Anzeige zusammen mit dem ersten grafischen Element das zweite grafische Element darstellt, welches die zusätzliche vertikale Position und die zusätzliche horizontale Position angibt.
S: Die elektronische Vorrichtung nach einem der Absätze P-R, wobei die Operationen ferner Folgendes umfassen: Bestimmen, unter Verwendung des einen oder der mehreren Abstandssensoren, einer zusätzlichen vertikalen Position des Teils des Benutzers in Bezug auf die elektronische Vorrichtung; Erzeugen, unter Verwendung der einen oder der mehreren Bildgebungsvorrichtungen, von zusätzlichen Bilddaten, die den Teil des Benutzers darstellen; Analysieren von zusätzlichen Merkmalsdaten, die den zusätzlichen Bilddaten entsprechen, um eine zusätzliche horizontale Position des Teils des Benutzers in Bezug auf die elektronische Vorrichtung zu bestimmen; Bestimmen, dass die zusätzliche vertikale Position weniger als um einen ersten Schwellenabstand von einer vertikalen Zielposition entfernt ist; Bestimmen, dass die zusätzliche horizontale Position weniger als um einen zweiten Schwellenabstand von einer horizontalen Zielposition entfernt ist; und Bewirken, dass die Anzeige angibt, dass eine Eingabe empfangen worden ist.
T: Die elektronische Vorrichtung nach einem der Absätze P-S, wobei die Operationen ferner Folgendes umfassen: Bestimmen, dass die vertikale Position um mehr als einen ersten Schwellenabstand von einer vertikalen Zielposition entfernt ist und/oder dass die horizontale Position um mehr als einen zweiten Schwellenabstand von einer horizontalen Zielposition entfernt ist, und wobei eine erste Größe des zweiten grafischen Elements von einer zweiten Größe des ersten grafischen Elements verschieden ist, zumindest zum Teil basierend darauf, dass die vertikale Position um mehr als den ersten Schwellenabstand von der vertikalen Zielposition entfernt ist; und/oder wenigstens ein Teil des zweiten grafischen Elements mehr als von dem ersten grafischen Element angeordnet ist, zumindest zum Teil basierend darauf, dass die horizontale Position um mehr als den zweiten Schwellenabstand von der horizontalen Zielposition entfernt angeordnet ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 16/585328 [0001]

Claims

Verfahren, umfassend: Anzeigen, durch eine elektronische Vorrichtung, eines ersten grafischen Elements; Erzeugen, durch die elektronische Vorrichtung, von ersten Sensordaten, die einen Teil eines Benutzers darstellen; Analysieren erster Merkmalsdaten, die den ersten Sensordaten entsprechen, um eine erste Position des Teils des Benutzers relativ zu der elektronischen Vorrichtung zu bestimmen; Bestimmen, dass die erste Position um mehr als einen Schwellenabstand von einer Zielposition entfernt ist, Bestimmen mindestens einer Größe oder einer Lage für ein zweites grafisches Element mindestens teilweise basierend auf der ersten Position; Anzeigen, durch die elektronische Vorrichtung und gemeinsam mit dem ersten grafischen Element, des zweiten grafischen Elements gemäß der Form oder der Lage; Erzeugen, durch die elektronische Vorrichtung, von zweiten Sensordaten, die den Teil des Benutzers darstellen; Analysieren zweiter Merkmalsdaten, die den zweiten Sensordaten entsprechen, um eine zweite Position des Teils des Benutzers zu bestimmen; Bestimmen, dass die zweite Position um weniger als den Schwellenabstand von der Zielposition entfernt ist, und Senden der zweiten Sensordaten und/oder der zweiten Merkmalsdaten an ein entferntes System.
Verfahren nach Anspruch 1, ferner umfassend: Bestimmen einer vertikalen Position, die der ersten Position zugeordnet ist; und wobei das Bestimmen der zumindest einen der Größe oder der Lage des zweiten grafischen Elements das Bestimmen der Größe des zweiten grafischen Elements, zumindest teilweise basierend auf der vertikalen Position umfasst.
Verfahren nach einem der Ansprüche 1 oder 2, ferner umfassend: Bestimmen einer horizontalen Position, die der ersten Position zugeordnet ist; und wobei das Bestimmen der zumindest einen der Größe oder der Lage des zweiten grafischen Elements das Bestimmen der Lage des zweiten grafischen Elements, zumindest teilweise basierend auf der horizontalen Position umfasst.
Verfahren nach einem der Ansprüche 1, 2 oder 3, ferner umfassend: Bestimmen einer vertikalen Differenz zwischen der ersten Position und der Zielposition; und Bestimmen einer horizontalen Differenz zwischen der ersten Position und der Zielposition, und wobei das Bestimmen, dass die zweite Position um mehr als den Schwellenabstand von der Zielposition entfernt ist, mindestens eines der Folgenden umfasst: Bestimmen, dass die vertikale Differenz größer als der Schwellenabstand ist; oder Bestimmen, dass die horizontale Differenz größer als der Schwellenabstand ist.
Verfahren nach einem der Ansprüche 1, 2, 3 oder 4, wobei die ersten Sensordaten Bilddaten umfassen, die den Teil des Benutzers darstellen, und wobei das Analysieren der ersten Merkmalsdaten, die den Bilddaten entsprechen, um die ersten Position des Teils des Benutzers relativ zu der elektronischen Vorrichtung zu bestimmen, mindestens Folgendes umfasst: Analysieren der ersten Merkmalsdaten, um einen oder mehrere Punkte zu bestimmen, die sich auf dem Teil des Benutzers befinden; Bestimmen eines Mittelpunkts, der dem Teil des Benutzers zugeordnet ist, zumindest teilweise basierend auf dem einen oder den mehreren Punkten; und Bestimmen der ersten Position, zumindest teilweise basierend auf dem Mittelpunkt.
Verfahren nach einem der Ansprüche 1, 2, 3, 4 oder 5, wobei die ersten Sensordaten Abstandsdaten enthalten, die einen Abstand zu dem Teil des Benutzers darstellen, und wobei das Analysieren der ersten Merkmalsdaten, die den Abstandsdaten entsprechen, um die erste Position des Teils des Benutzers relativ zu der elektronischen Vorrichtung zu bestimmen, mindestens Folgendes umfasst: Analysieren der ersten Merkmalsdaten, um den Abstand zwischen der elektronischen Vorrichtung und dem Teil des Benutzers zu bestimmen, wobei die erste Position dem Abstand zugeordnet ist.
Verfahren nach einem der Ansprüche 1, 2, 3, 4, 5 oder 6, ferner umfassend: Erzeugen dritter Sensordaten, die den Teil des Benutzers darstellen; Analysieren dritter Merkmalsdaten, die den dritten Sensordaten entsprechen, um eine dritte Position des Teils des Benutzers relativ zu der elektronischen Vorrichtung zu bestimmen; Bestimmen, dass die dritte Position um mehr als den Schwellenabstand von der Zielposition entfernt ist, Bestimmen mindestens einer zusätzlichen Größe oder einer zusätzlichen Lage für das zweite grafische Element mindestens teilweise basierend auf der dritten Position; und Anzeigen, entlang des ersten grafischen Elements, des zweiten grafischen Elements gemäß der zusätzlichen Größe oder der zusätzlichen Lage.
Verfahren nach Anspruch 7, wobei: das Bestimmen der Größe und/oder der Lage für das zweite grafische Element mindestens Folgendes umfasst: Bestimmen der Größe für das zweite grafische Element, zumindest teilweise basierend auf einer vertikalen Position, die der ersten Position zugeordnet ist; Bestimmen der Lage für das zweite grafische Element, zumindest teilweise basierend auf einer ersten horizontalen Position, die der ersten Position zugeordnet ist, das Bestimmen der zusätzlichen Größe und/oder der zusätzlichen Lage für das zweite grafische Element mindestens Folgendes umfasst: Bestimmen der zusätzlichen Größe für das zweite grafische Element, zumindest teilweise basierend auf einer zweiten vertikalen Position, die der dritten Position zugeordnet ist; Bestimmen der zusätzlichen Lage für das zweite grafische Element, zumindest teilweise basierend auf einer zweiten horizontalen Position, die der dritten Position zugeordnet ist,
Verfahren nach einem der Ansprüche 1, 2, 3, 4, 5, 6, 7 oder 8, ferner umfassend: Anzeigen einer Anweisung, die dem Platzieren des Teils des Benutzers über der elektronischen Vorrichtung zugeordnet ist; Erzeugen dritter Sensordaten; und Erfassen, zumindest teilweise basierend auf den dritten Sensordaten, dass sich der Teil des Benutzers über der elektronischen Vorrichtung befindet, und wobei das Anzeigen des ersten grafischen Elements zumindest teilweise nach dem Erfassen des Teils des Benutzers erfolgt.
Verfahren nach einem der Ansprüche 1, 2, 3, 4, 5, 6, 7, 8 oder 9, ferner umfassend das Anzeigen, zusammen mit dem zweiten grafischen Element, einer Anweisung, die dem Bewegen des Teils des Benutzers hin zu der Zielposition innerhalb der Umgebung zugeordnet ist.
Verfahren nach einem der Ansprüche 1, 2, 3, 4, 5, 6, 7, 8, 9 oder 10, ferner umfassend zumindest teilweise basierend auf dem Bestimmen, dass die zweite Position um weniger als den Schwellenabstand von der Zielposition entfernt ist, Senden der zweiten Sensordaten oder der zweiten Merkmalsdaten an ein entferntes System.
Verfahren nach einem der Ansprüche 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 oder 11, ferner umfassend das Analysieren der zweiten Merkmalsdaten, um mindestens eines der Folgenden zu bestimmen: eine Haltung des Teils des Benutzers; eine Richtung des Teils des Benutzers; oder eine Ausrichtung des Teils des Benutzers.
Elektronische Vorrichtung, umfassend: einen oder mehrere Abstandssensoren; eine oder mehrere Bildgebungsvorrichtungen; eine Anzeige; einen oder mehrere Prozessoren; und ein oder mehrere computerlesbare Medien, auf denen Anweisungen gespeichert sind, die, wenn sie von dem einen oder von den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, Operationen auszuführen, umfassend: Bewirken, dass die Anzeige ein erstes grafisches Element darstellt; Bestimmen, unter Verwendung des einen oder der mehreren Abstandssensoren, einer vertikalen Position eines Teils eines Benutzers in Bezug auf die elektronische Vorrichtung; Erzeugen, unter Verwendung der einen oder der mehreren Bildgebungsvorrichtungen, von Bilddaten, die den Teil des Benutzers darstellen; Analysieren von Merkmalsdaten, die den Bilddaten entsprechen, um eine horizontale Position des Teils des Benutzers in Bezug auf die elektronische Vorrichtung zu bestimmen; und Bewirken, dass die Anzeige ein zweites grafisches Element zusammen mit dem ersten grafischen Element darstellt, wobei das zweite grafische Element die vertikale Position und die horizontale Position darstellt.
Elektronische Vorrichtung nach Anspruch 13, wobei die Operationen ferner Folgendes umfassen: Bestimmen einer Größe des zweiten grafischen Elements, zumindest teilweise basierend auf der vertikalen Position; und Bestimmen einer Lage für das zweite grafische Element, zumindest teilweise basierend auf der horizontalen Position, und wobei das Bewirken, dass die Anzeige das zweite grafische Element darstellt, zumindest umfasst, dass die Anzeige dazu veranlasst wird, gemeinsam mit dem ersten grafischen Element das zweite grafische Element gemäß der Größe und der Lage darzustellen.
Elektronische Vorrichtung nach einem der Ansprüche 13 oder 14, wobei die Operationen ferner Folgendes umfassen: Bestimmen, unter Verwendung des einen oder der mehreren Abstandssensoren, einer zusätzlichen vertikalen Position des Teils des Benutzers in Bezug auf die elektronische Vorrichtung; Erzeugen, unter Verwendung der einen oder der mehreren Bildgebungsvorrichtungen, von zusätzlichen Bilddaten, die den Teil des Benutzers darstellen; Analysieren von zusätzlichen Merkmalsdaten, die den zusätzlichen Bilddaten entsprechen, um eine zusätzliche horizontale Position des Teils des Benutzers in Bezug auf die elektronische Vorrichtung zu bestimmen; und Bewirken, dass die Anzeige zusammen mit dem ersten grafischen Element das zweite grafische Element darstellt, welches die zusätzliche vertikale Position und die zusätzliche horizontale Position angibt.