DE102015102679A1

DE102015102679A1 - Effiziente freiraumfingererkennung

Info

Publication number: DE102015102679A1
Application number: DE102015102679.1A
Authority: DE
Inventors: Chih-Fan Hsin; Martin Pettersson
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2014-03-26
Filing date: 2015-02-25
Publication date: 2015-10-01
Also published as: TW201602840A; CN104951064B; US20150279019A1; TWI578190B; KR101794148B1; CN104951064A; KR20150111833A; US9563956B2

Abstract

Vorliegend werden Systeme und Techniken zur effizienten Freiraumfingererkennung beschrieben. Es kann eine Oberfläche in einem Tiefenbild identifiziert werden. Es kann bzw. können ein oder mehrere Blobs in dem Tiefenbild identifiziert werden. Die identifizierten Blobs können analysiert werden, um zu bestimmen, ob ein Blob eine Kante des Tiefenbilds schneidet, und als mögliche Hand klassifiziert werden, falls der Blob die Kante schneidet, oder im anderen Fall als Objekt klassifiziert werden.

Description

TECHNISCHES GEBIET
Vorliegend beschriebene Ausführungsformen betreffen allgemein Perceptual-Computing und insbesondere effiziente Freiraumfingererkennung.
HINTERGRUND
Perceptual-Computing (z. B. Future-Computing) kann PTS(Projected Touch Surface)-Schnittstellen umfassen. PTS kann einen Projektor dazu verwenden, Benutzerschnittstellenelemente auf eine Oberfläche wie einem Schreibtisch oder einem Tisch zu projizieren. Da die Oberfläche selbst keine Eingaben annehmen kann, kann PTS andere Sensoren dazu verwenden, interaktive Verhaltensweisen zu beobachten und diese als Eingaben zu benutzen. Beispielsweise kann PTS einen Tiefensensor zur Identifizierung von Fingern (z. B. Fingerspitzen), die sich auf der oder um die projizierte Benutzerschnittstelle herum bewegen (oder positioniert werden), verwenden, um Interaktionen mit der Schnittstelle zu bestimmen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
In den nicht unbedingt maßstabsgetreu Zeichnungen können gleiche Ziffern ähnliche Komponenten aus verschiedenen Ansichten beschreiben. Gleiche Ziffern mit unterschiedlichen angehängten Buchstaben können unterschiedliche Beispiele ähnlicher Komponenten darstellen. Die Zeichnungen veranschaulichen allgemein beispielsweise, obgleich nicht auf einschränkende Weise, verschiedene Ausführungsformen, die in der vorliegenden Schrift erörtert werden.
1 zeigt ein beispielhaftes PTS-System, umfassend ein Blockdiagramm einer schaltungsimplementierten Einrichtung für effiziente Freiraumfingererkennung gemäß einer Ausführungsform.
2A–2B zeigen ein Beispiel eines Tiefenbildes und einer Maske für effiziente Freiraumfingererkennung gemäß einer Ausführungsform.
3 zeigt ein Beispiel eines Verfahrens zur effizienten Freiraumfingererkennung gemäß einer Ausführungsform.
4 zeigt ein Beispiel eines Verfahrens für effiziente Freiraumfingererkennung gemäß einer Ausführungsform.
5 zeigt ein Blockdiagramm, das ein Beispiel einer Maschine zeigt, auf der eine oder mehrere Ausführungsformen implementiert werden kann bzw. können.
AUSFÜHRLICHE BESCHREIBUNG
Derzeit besteht eine gewöhnliche Weise für PTS-Systeme, eine ein projiziertes Benutzerschnittstellenelement berührende Fingerspitze zu detektieren, aus einer Verwendung eines Tiefenbilds aus dem Tiefensensor. Als nächstes kann aus dem Tiefenbild ein Handblob gefunden werden. Wie vorliegend verwendet, handelt es sich bei einem Blob um ein Gebiet (zum Beispiel eine Sammlung von Pixeln, Subpixeln, Voxeln usw.) eines Digitalbilds, bei dem einige Eigenschaften (zum Beispiel Distanz von einem Punkt, Konnektivität, Farbe, Leuchtdichte usw.) konstant sind oder innerhalb eines vorgeschriebenen Bereichs von Werten schwanken. Nachdem ein Handblob gefunden wurde, kann aus dem Handblob ein Fingerskelett gefunden (zum Beispiel modelliert) werden. Letztlich kann eine dreidimensionale (3D-)Position für eine oder mehrere Fingerspitzen aus dem Handskelett bestimmt werden, um eine Interaktion mit der projizierten Benutzerschnittstelle zu bestimmen. Bei einem Beispiel kann das Handskelett zur Bestimmung von Gesteneingaben von dem Benutzer auf oder über der projizierten Oberfläche verwendet werden.
Bei derzeitigen Implementierungen von PTS-Systemen ergeben sich mindestens zwei Probleme. Erstens ist eine Berechnung eines Handskeletts aus Blobs in einem Tiefenbild ein rechnungsmäßig aufwändiger Prozess, der auf Nicht-Handblobs verschwendet sein kann, wie zum Beispiel Objekte, die nicht zur Eingabe verwendet werden. Ein Beispiel eines derartigen Objekts kann eine auf einem Schreibtisch stehende Tasse sein, die zufällig ins Gesichtsfeld des Tiefensensors fällt. Dieses Problem verschlimmert sich bei Steigerung von Tiefensensorauflösungen.
Zweitens kann zum Beispiel wegen einer Unfähigkeit, mit dem Benutzer Schritt zu halten, fehlender Tiefenauflösung, verrauschten Tiefenbildern usw. die derzeitige Tiefensensorleistung ein nahe am Berührungsbildschirm stattfindendes Benutzererlebnis nicht nachahmen. Bei einigen Beispielen kann ein Linienemitter verwendet werden, um eine Ebene von Licht parallel zu und nahe an der Berührungsoberfläche zu projizieren. Somit wird ein die Oberfläche berührender Finger in die Ebene eindringen und Licht zum Beispiel auf eine Kamera des PTS-Systems reflektieren, was angibt, dass eine Berührung stattfand. In Beispielen, bei denen der Tiefensensor eine Kamera verwendet, die der Wellenlänge des Linienemitters gegenüber empfindlich ist, ist die Kamera jedoch eventuell nicht dazu in der Lage, zwischen einer Berührung und einem nah an der Kamera befindlichen Objekt zu unterscheiden.
Das erste Problem kann durch Klassifizierung von Blobs als eine mögliche Hand oder alternativ auf der Basis davon, ob der Blob auf eine Kante des Tiefenbilds trifft, gelöst werden. Die Klassifizierung von derartigen Blobs basiert auf der Beobachtung, dass Hände wahrscheinlich mit Armen und somit Körpern verbunden sind, die sich in der Regel außerhalb des Sichtvolumens des Tiefensensors befinden. Objekte, wie zum Beispiel Tassen, Telefone, Stifte usw., können sich dagegen gänzlich innerhalb des Sichtvolumens befinden. Durch als Objekte klassifizierte Blobs kann es somit vermieden werden, dass diese einer Handskelettanalyse unterworfen werden, und somit können teure rechnergestützte Operationen eingespart werden. Somit kann eine Einsparung dieser Rechnerressourcen die Effizienz des PTS-Systems erhöhen.
Das zweite Problem kann durch Kombinieren von Tiefendaten mit Identifizierung heller Flecken, die durch einen Finger, der die Ebene des von einem Linienemitter abgegebenen Lichts unterbricht, erzeugt werden, gelöst werden. Hierbei können helle Flecken in einem Bild vor der Tiefenberechnung aufgezeichnet werden. Falls zum Beispiel der Tiefensensor einen Infrarot(IR)-Strahler und eine IR-empfindliche Kamera umfasst, und der Linienemitter IR-Licht abgibt, dann kann ein von der Tiefensensorkamera vor der Tiefenanalyse erfasstes Bild dazu verwendet werden, helle Flecken von IR-Licht zu detektieren. Wie oben erwähnt, können diese hellen Flecken dadurch verursacht werden, dass ein Finger die Ebene von IR-Licht unterbricht und einen Teil davon zur Kamera zurück reflektiert. Die hellen Flecken können auf der Basis des Tiefenbilds identifiziert und daraufhin klassifiziert werden, so dass helle Flecken, die sich nahe der Oberfläche befinden, als Berührungen klassifiziert werden, und helle Flecken, die sich von der Oberfläche entfernt befinden, Nicht-Berührungen sind. Ferner können helle Flecken als mögliche Berührungen auf der Basis anderer Faktoren eliminiert werden. Falls zum Beispiel der helle Fleck nicht mit einem Modell zum Beispiel einer Fingerspitze vereinbar ist (zum Beispiel von der Größe, der Gestalt usw. her), kann der helle Fleck als Nicht-Berührung klassifiziert werden. Bei einem Beispiel kann ein Handskelett aus dem Tiefenbild bestimmt werden. Falls der helle Fleck nicht einem Finger des Handskeletts entspricht, kann er ebenso als Nicht-Berührung klassifiziert werden. Durch Identifizierung heller Flecken einer möglichen Berührung können Gesten in der Luft über der Berührungsoberfläche verwendet werden, ohne fehlerhafte Berührungen der projizierten Benutzerschnittstelle auszulösen. Somit kann eine Kombination aus Tiefensensor und Linienemitter das Benutzererlebnis durch Steigerung der Eingabegenauigkeit für das PTS-System erhöhen.
Die oben erwähnten Lösungen können einzeln oder in vielfältigen Kombination verwendet werden. Beispielsweise kann es eine effiziente Bestimmung von Handskeletten durch Vermeidung von Verarbeitung von Objektblobs eine effiziente Analyse heller Flecken durch Eliminierung von hellen Hecken, die nicht einem möglichen Handblob entsprechen, gestatten. Jedoch werden in allen Fällen rechnermäßige Effizienz und/oder Genauigkeit gesteigert, was zu einer effizienteren Erkennung von Fingern im Freiraum (die zum Beispiel nicht mit einer berührungsempfindlichen Oberfläche interagieren) für PTS-Systeme führt.
1 zeigt ein beispielhaftes PTS-System 100, umfassend ein Blockdiagramm einer schaltungsimplementierten Einrichtung 175 zur effizienten Freiraumfingererkennung. Das PTS-System 100 kann eine Basis 105, ein Vertikalglied 110 (dessen unterer Abschnitt an der Basis 105 befestigt sein kann) und einen Kopf 115 umfassen (der an einem oberen Abschnitt des Vertikalglieds 110 befestigt sein kann). Das PTS-System 100 kann außerdem eine schaltungsimplementierte Einrichtung 175 umfassen, die dazu in der Lage ist, mit der Basis 105 und/oder dem Vertikalglied 110 und/oder dem Kopf 115 kommunikativ verbunden zu sein (zum Beispiel verdrahtet, drahtlos, darin eingebaut).
Der Kopf 115 kann einen Tiefensensor 120 umfassen, der derart ausgebildet ist, dass er ein nach unten gerichtetes Gesichtsfeld aufweist. Wie dargestellt, zeigen die dicken Strichlinien das Gesichtsfeld des Tiefensensors 120 an. Der schattierte Bereich 140 zeigt die Basisebene 140 im Sichtvolumen des Tiefensensors an. Die Basisebene 140 fällt mit der Oberfläche 150 zusammen. In einem Beispiel kann der Kopf 115 auch einen Projektor 125 zur Implementierung der projizierten Benutzerschnittstelle 145 umfassen (veranschaulicht durch den Linienbereich 145). In einem Beispiel kann der Projektor 125 an anderer Stelle angeordnet werden, wie zum Beispiel in einer Decke, einer weiteren Einrichtungen usw. In einem Beispiel umfasst der Tiefensensor 120 eine Kamera und einen Lichtemitter. Tiefenbilder können durch Zeitnahme des Hin- und Rückwegs von Emissionen vom Lichtemitter zur Reflexion an Objekten im Sichtvolumen und Erfassung durch die Kamera erzeugt werden. In einem Beispiel ist die Kamera IR-Licht gegenüber empfindlich, und der Lichtemitter emittiert im IR-Spektrum.
In einem Beispiel kann die Basis 105 einen Linienemitter 155 umfassen. Der Linienemitter 155 kann eine Ebene von Licht 160 (die durch den querschraffierten Bereich 160 angegeben wird) parallel zur Oberfläche 150 emittieren. Wie oben erörtert, kann eine derartige Emission bei Schneidung helle Flecken verursachen, wie zum Beispiel der objektbasierte helle Fleck 170 und der berührungsbasierte helle Fleck 165.
Wie in 1 gezeigt, stellt die Tasse 135 sowohl das tatsächliche Objekt einer Tasse als auch einen Blob in einem Tiefenbild dar. Ähnlich stellen die Hand und das Handgelenk (im Folgenden als die Hand bezeichnet) 130 auch sowohl eine tatsächliche Hand als auch einen Blob in einem Tiefenbild dar.
Bei der schaltungsimplementierten Einrichtung 175 handelt es sich um eine oder mehrere Maschinen, die dazu in der Lage sind, kommunikativ mit der Basis 105 und/oder dem Vertikalglied 110 und/oder dem Kopf 115 gekoppelt zu sein, um die Tiefensensordaten oder Daten über den hellen Fleck zu empfangen. In einem Beispiel ist eine oder sind alle Komponenten der schaltungsimplementierten Einrichtung 175 in der Basis 105 und/oder dem Vertikalglied 110 und/oder dem Kopf 115 untergebracht. Die schaltungsimplementierte Einrichtung 175 kann einen Handdiskriminator 180 und/oder ein Handskelettortungsmittel 185 und/oder ein Oberflächenberührungsortungsmittel 190 umfassen.
Der Handdiskriminator 180 kann zur Identifizierung der Oberfläche 150 in einem von den Tiefensensor 120 erfassten Tiefenbild ausgebildet sein. Oberflächenidentifizierung gestattet, dass Pixel in dem Tiefenbild (zum Beispiel Voxel) als Ausreißerpixel (zum Beispiel Pixel zwischen der Oberfläche 150 und dem Tiefensensor 120 oder nicht auf der Oberfläche 150 befindliche Pixel) klassifiziert werden. Aus den Ausreißerpixeln werden Blobs identifiziert (zum Beispiel Hand 130 und Tasse 135). In einem Beispiel ist der Handdiskriminator 180 zur Identifizierung eines oder mehrerer Blobs (zum Beispiel der Hand 130 oder 135) aus dem Tiefenbild ausgebildet. In einem Beispiel können Blobs ohne vorige Identifizierung der Oberfläche 150 identifiziert werden. In einem Beispiel umfasst ein Blob mehrere zusammenhängende Pixel (zum Beispiel Ausreißerpixel) in dem Tiefenbild. Da Tiefenbilder verrauscht sein können, kann bestimmt werden, ob Pixel zusammenhängen, indem eine Distanz zwischen zwei Pixeln berechnet wird und die Distanz mit einem Schwellenwert verglichen wird. Somit werden, falls die Pixeldistanz unter dem Schwellenwert liegt, die beiden Pixel als zusammenhängend betrachtet. Es ist jedoch zu erwähnen, dass ein beliebiges von verschiedenen bekannten Verfahren verwendet werden kann, um zu bestimmen, welche Pixel einen Blob ausmachen. In einem Beispiel kann eine externe Kontur (zum Beispiel ein Umriss) von Ausreißerpixeln berechnet werden. Pixel innerhalb der externen Kontur sind Teil des Blobs (zum Beispiel bilden sie den Blob).
Der Handdiskriminator 180 kann auch zur Klassifizierung von identifizierten Blobs ausgebildet sein. Beispielsweise kann für jeden identifizierten Blob der Handdiskriminator 180 bestimmen, ob der Blob eine Kante des Tiefenbilds schneidet. Falls der Blob die Kante schneidet, kann der Blob als mögliche Hand klassifiziert werden. Falls der Blob die Kante nicht schneidet, kann er als Objekt klassifiziert werden. In einem Beispiel kann ein nah angeordneter Blob (zum Beispiel innerhalb einer zuvor identifizierten Toleranz oder Distanz auf der Basis der Umgebung) als eine mögliche Hand klassifiziert werden. In diesem Beispiel wird eine Nähe auf der Basis eines oder mehrerer Betriebsparameter des PTS-Systems bestimmt, wie zum Beispiel Tiefenbildverrauschung, Positionierung des Tiefensensors 120, Gesichtsfeld des Tiefensensors usw. In einem Beispiel liegt eine Nähe innerhalb einer vorbestimmten Anzahl von Pixeln von der Tiefenbildkante.
In einem Beispiel kann zur Bestimmen, ob ein Blob eine Kante des Tiefenbilds schneidet, der Handdiskriminator 180 zur Erzeugung einer Maske des Tiefenbilds ausgebildet sein. Blobs innerhalb der Maske können als die Kante schneidend oder einfach als mögliche Hände klassifiziert werden. Außerhalb der Maske liegende Blobs werden als die Kante nicht schneidend oder als Objekte klassifiziert oder einfach ignoriert. In einem Beispiel ist ein Ignorieren eines Blobs mit der Klassifizierung des Blobs als Objekt äquivalent. Zur Erzeugung der Maske kann der Handdiskriminator mit einer Leermaske beginnen, wie zum Beispiel einem Raster, das Pixeln in dem Tiefenbild entspricht, wobei Elemente des Rasters einen Leerwert aufweisen. Der Handdiskriminator kann der Leermaske eine Anzahl von Pixeln von jeder Kante des Tiefenbilds zur Maske hinzu addieren, und somit einen Rand erzeugen. In einem Beispiel kann eine Kante des Rands eine andere Tiefe von Pixeln als andere Kanten des Rands aufweisen. In einem Beispiel ist eine Randkante möglicherweise nicht linear.
Nach Hinzuaddieren der Randpixel zur Maske kann der Handdiskriminator bestimmen, ob ein Blobpixel, oder eine Kontur, die einem Blob entspricht, dem Tiefenbild der Maske entspricht (zum Beispiel umfasst die derzeitige Maske einen Pixel, der die Kontur oder die Blobpixel überlappt). In diesem Fall werden die Pixel des Blobs (zum Beispiel die, die innerhalb der Kontur auf der Kontur selbst liegen) der Maske hinzugefügt. Ein Beispiel dafür ist in 2A und 2B veranschaulicht und wird im Folgenden erörtert.
Das Handskelettortungsmittel 185 kann zur Bestimmen, ob ein Handskelettmodell für einen Blob gefunden werden kann, ausgebildet sein. Das Handskelettortungsmittel 185 kann eine beliebige Anzahl von bekannten Techniken für einen Blob zur Berechnung, zum Finden, zum Finden von Übereinstimmung usw. eines Handskeletts mit dem Blob benutzen. In einem Beispiel sind die Aktivitäten des Handskelettortungsmittels 185 auf Blobs beschränkt, die mögliche Hände sind. Somit kann das Handskelettortungsmittel 185 nur auf Blobs angewendet werden, die als mögliche Hand klassifiziert sind. In einem Beispiel empfängt das Handskelettortungsmittel 185 die Blobs und die Klassifizierungen, die vom Handdiskriminator 180 bestimmt werden, und bestimmt, welche Blobs zu verarbeiten sind. In einem Beispiel empfängt das Handskelettortungsmittel 185 nur Blobs, die als mögliche Hand klassifiziert sind.
Das Oberflächenberührungsortungsmittel 190 kann zur Identifizierung einer oder mehrerer heller Flecken (zum Beispiel helle Flecken 165 und 170) in einem von der Infrarotkamera erfassten Infrarotbild ausgebildet sein. In einem Beispiel können die hellen Flecken mehrere Pixel umfassen, die über einem Schwellenwert liegen, der hell von dunkel abgrenzt. In einem Beispiel weist der Schwellenwert zwei Komponenten, einen hohen Wert und einen niedrigen Wert, auf. Somit können Pixel über dem hohen Wert als hell betrachtet und Pixel unter dem niedrigen Wert als dunkel betrachtet werden, und andere Pixel von unbestimmter Strahlungsdichte sein. In einem Beispiel können unbestimmte Pixel weiterverarbeitet werden, um zu bestimmen, ob sie hell sind oder nicht. In einem Beispiel kann die Weiterverarbeitung selektiv auf der Basis von verfügbaren Rechnerressourcen des PTS-Systems 100 angewandt werden.
Das Oberflächenberührungsortungsmittel 190 kann auch zur Verarbeitung der identifizierten hellen Flecken zu ihrer Klassifizierung als entweder Berührung oder Nichtberührung ausgebildet sein. In einem Beispiel basiert die Klassifizierung auf einem erfassten Tiefenbild. In einem Beispiel kann die Klassifizierung auf die Größe, Gestalt oder andere Eigenschaften des hellen Flecks begrenzt sein und nicht das Tiefenbild einbeziehen. Beispielsweise kann das Oberflächenberührungsortungsmittel 190 ein Modell eines Fingers (oder einer Fingerspitze) oder einen Größen- oder Gestaltparameter eines Fingers aufweisen. Dieses Modell kann mit einem hellen Fleck verglichen werden. Falls der helle Fleck nicht mit den Modellparametern übereinstimmt, kann er als Nichtberührung klassifiziert sein. Zum Beispiel kann der helle Fleck 170 für die Tasse 135 wesentlich breiter als bei einer Fingerspitze erwartet sein. In einem Beispiel können derartige helle Flecken von der Weiterverarbeitung ausgeschlossen werden.
In einem Beispiel kann zur Klassifizierung des hellen Flecks entweder als Berührung oder Nichtberührung das Oberflächenberührungsortungsmittel 190 mittels des Tiefenbilds bestimmen, ob der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche 150 liegt. Falls sich der helle Fleck weiter von der Oberfläche 150 weg als die vorbestimmte Distanz befindet, kann der helle Fleck als Nichtberührung klassifiziert werden. Somit kann eine einfache Beobachtung, dass sich der helle Fleck nicht nahe der Oberfläche befindet, seine Klassifizierung als Nichtberührung erlauben und weitere Verarbeitung vermeiden.
In einem Beispiel kann zur Klassifizierung des hellen Flecks als entweder Berührung oder Nichtberührung das Oberflächenberührungsortungsmittel 190 bestimmen, ob der helle Fleck mit einem Handblob, der aus dem Tiefenbild identifiziert wurde, verbunden ist, und den hellen Fleck als Nichtberührung klassifizieren, falls der helle Fleck nicht mit dem Handblob verbunden ist. Beispielsweise kann der helle Fleck 170 als Nichtberührung klassifiziert werden, da er nicht mit dem Handblob 130 verbunden ist.
Wie oben erörtert, kann das Oberflächenberührungsortungsmittel 190 eine Anzahl von Mechanismen zur Klassifizierung eines hellen Flecks als Nichtberührung verwenden. Diese Mechanismen können in Serie angewendet werden, zum Beispiel um eine Handblobidentifizierung zu vermeiden, falls der helle Fleck nicht einem Fingermodel entspricht. In einem Beispiel wird jeder helle Fleck, der am Ende einer Verarbeitungskette, wie die oben beschriebene, nicht als Nichtberührung klassifiziert wird, als Berührung klassifiziert.
Wie oben beschrieben, können die Effizienzen des Handdiskriminators 180 und des Oberflächenberührungsortungsmittels 190 separat oder in Kombination verwendet werden. Zum Beispiel kann der Handdiskriminator 130 eine effiziente Identifizierung des Handblobs 130 bereitstellen, die das Oberflächenberührungsortungsmittel 190 verwenden kann. Umgekehrt kann das Oberflächenberührungsortungsmittel 190 helle Flecken auf der Basis einer Fingermodelanalyse als Berührung identifizieren (zum Beispiel den hellen Fleck 165), und die Pixel des hellen Flecks zu der Maske hinzufügen, um eine Detektion des Handblobs 130 zu erleichtern. In jedem dieser Szenarios kann die rechnerbezogene Effizienz oder die Genauigkeit des PTS-Systems 100 verbessert werden, was zu einem besseren Benutzererlebnis führt.
2A–2B zeigen ein Beispiel 200 eines Tiefenbilds 205 und einer Maske 220 zur effizienten Freiraumfingererkennung. In 2A umfasst das Tiefenbild 205 einen Objektblob 215 und einen Blob 210 einer möglichen Hand. Der Blob 210 einer möglichen Hand erstreckt sich in der Darstellung über die Kante des Tiefenbilds hinaus, um zu demonstrieren, dass der Blob 210 eine Kante des Tiefenbilds schneidet. Der Umriss beider Blobs 210 und 215 kann als die oben beschriebenen Konturen betrachtet werden. 2B zeigt die Maske 220 als auf das Tiefenbild 205 angewendet. Wie dargestellt, umfasst die Maske 220 einen Rand. Der Abschnitt des Blobs 210 einer möglichen Hand ist auch in der Maske 220 enthalten, da der Rand einen Abschnitt des Blobs 210 einer möglichen Hand bedeckt, wie oben beschrieben. Der Objektblob 215 kann nicht weiterverarbeitet werden (zum Beispiel wird dafür kein Handskelett versucht), da es er nicht durch die Maske 220 abgedeckt ist.
3 zeigt ein Beispiel eines Verfahrens 300 zur effizienten Freiraumfingererkennung gemäß einer Ausführungsform.
Bei Operation 305 kann eine Oberfläche in einem von dem Tiefensensor erfassten Tiefenbild identifiziert werden. Die Oberfläche kann eine Basisebene in einem Sichtvolumen sein, das aus dem Tiefenbild abgeleitet wird.
Bei Operation 310 kann bzw. können ein oder mehrere Blobs in dem Tiefenbild identifiziert werden. Wie oben beschrieben, kann ein Blob in dem einen oder den mehreren Blobs mehrere zusammenhängende Pixel in dem Tiefenbild beinhalten, die näher an dem Tiefensensor als der Oberfläche liegen. In einem Beispiel kann die Identifizierung der Blobs eine Identifizierung von Ausreißerpixeln umfassen. Wie oben beschrieben, können Ausreißerpixel Pixel in dem Tiefenbild zwischen der Oberfläche und dem Tiefensensor sein. In einem Beispiel können die externen Konturen der Ausreißerpixel bestimmt werden. In einem Beispiel kann eine geschlossene Kontur einem Blob entsprechen. Dementsprechend bilden Pixel, die von der geschlossenen Kontur umschlossen sind, und in einem Beispiel die Kontur selbst, einen Blob. In einem Beispiel kann eine Kante des Tiefenbilds Teil einer Kontur sein. Somit ist ein die Kante schneidender Blob durch seine Kontur und die Kante geschlossen.
Bei Operation 315 können auf jeden Blob in dem einen oder den mehreren Blobs, die in Operation 310 identifiziert werden, Operationen 320 und 325 angewendet werden. Wenn keine identifizierten Blobs mehr vorliegen, kann das Verfahren 300 zu Ende gehen oder zum weiteren Verarbeiten voranschreiten (zum Beispiel Identifizierung von Handskeletten in Blobs von möglichen Händen).
Bei Operation 320 kann für einen jeweiligen Blob bestimmt werden, ob der Blob eine Kante des Tiefenbilds schneidet. In einem Beispiel umfasst das Bestimmen, ob ein Blob eine Kante schneidet, ein Erzeugen einer Maske, die dem Tiefenbild entspricht. Ein von der Maske abgedeckter Blob wird als die Kante schneidend betrachtet. In einem Beispiel kann zur Erzeugung der Maske eine vorbestimmte Anzahl von Pixeln von jeder Kante des Tiefenbilds zu der Maske hinzugefügt werden. Daraufhin können Pixel eines Blobs zu der Maske hinzugefügt werden, wenn ein Pixel des Blobs, oder seine Kontur, einem vorliegenden Pixel der Maske entspricht.
Bei Operation 325 kann ein Blob, der die Kante des Tiefenbilds schneidet, als Blob einer möglichen Hand klassifiziert werden. Falls der Blob die Kante nicht schneidet, kann er als Objektblob klassifiziert werden.
In einem Beispiel kann ein Versuch, ein Handskelett zu finden, für einen Blob durchgeführt werden. In einem Beispiel wird ein derartiger Versuch nicht gestartet, falls der Blob als Objekt klassifiziert wird. Somit können teure Handskelettberechnungen mittels des Verfahrens 300 vermieden werden.
4 zeigt ein Beispiel eines Verfahrens 400 für effiziente Freiraumfingererkennung gemäß einer Ausführungsform.
Bei Operation 405 kann bzw. können ein oder mehrere helle Flecken in einem von einer Kamera erfassten Bild identifiziert werden. Die hellen Flecken umfassen mehrere Pixel über einem Leuchtdichtenschwellenwert, wie zum Beispiel der oben mit Bezug auf 1 beschriebene. In einem Beispiel ist das Bild ein IR-Bild und die Kamera ist IR-Licht gegenüber empfindlich (zum Beispiel eine IR-Kamera).
Bei Operation 410 können helle Flecken als entweder Berührung oder Nichtberührung klassifiziert werden. In einem Beispiel basiert eine derartige Klassifizierung auf einem Tiefenbild. In einem Beispiel kann eine derartige Klassifizierung ein Bestimmen, ob der helle Fleck mit einem aus dem Tiefenbild identifizierten Handblob verbunden ist, und Klassifizieren des hellen Flecks als Nichtberührung, falls der helle Fleck nicht mit dem Handblob verbunden ist, umfassen. In einem Beispiel kann eine derartige Klassifizierung ein Bestimmen mittels des Tiefenbilds, ob der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt, und Klassifizieren des hellen Flecks als Nichtberührung, falls der helle Fleck nicht innerhalb der vorbestimmten Distanz liegt, umfassen. In einem Beispiel können für jeden bei Operation 405 identifizierten hellen Fleck Operationen 415, 420, 425 und 430 durchgeführt werden.
Bei Operation 415 kann bestimmt werden, ob die Größe und Gestalt des hellen Flecks mit einem Modell für eine Fingerspitze übereinstimmen.
Bei Operation 420 kann bestimmt werden, ob der helle Fleck mit einem Handblob verbunden ist.
Bei Operation 425 kann bestimmt werden, ob der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt.
Bei Operation 430 kann der helle Fleck, falls jedes der Ergebnisse von Operationen 415, 420 und 425 wahr ist, als Berührung klassifiziert werden. Ansonsten (falls zum Beispiel eine der Operationen 415, 420 und 425 falsch ist) kann der helle Fleck als Nichtberührung klassifiziert werden. In einem Beispiel können die Operationen 415, 420 und 425 in beliebiger Reihenfolge implementiert sein. In einem Beispiel können Operationen 415, 420 und 425 in Serie durchgeführt werden, so dass eine falsche Bestimmung bei einer früheren Operation zu einer Klassifizierung als Nichtberührung führt und somit weitere Operationen ausschließt.
Durch Verwendung des Verfahrens 400 kann die Berührungsgenauigkeit für PTS-Systeme erhöht werden, was zu einem besseren Benutzererlebnis führt. Ferner kann die flexible Natur des Verfahrens 400 auch zu einer rechnerbezogenen Effizienz führen, ohne die Genauigkeit zu reduzieren, indem Nichtberührungshellflecken früh identifiziert werden und zusätzliche Verarbeitung ausschließen.
5 zeigt ein Blockdiagramm einer beispielhaften Maschine 500, auf der eine oder mehrere der vorliegend erörterten Techniken (zum Beispiel Methodologie) ablaufen können. Bei alternativen Ausführungsformen kann die Maschine 500 als alleinstehende Einrichtung betrieben werden oder kann mit anderen Maschinen verbunden sein (zum Beispiel über ein Netzwerk). Bei einer netzwerkbezogenen Ausführung kann die Maschine 500 in der Kapazität einer Server-Maschine, einer Client-Maschine oder beidem in Server-Client-Netzwerkumgebungen betrieben werden. In einem Beispiel kann die Maschine 500 als Peer-Maschine in Peer-to-Peer (P2P) (oder einer anderen verteilten) Netzwerkumgebung wirken. Die Maschine 500 kann ein Personal Computer (PC), ein Tablet-PC, eine Set-Top-Box (STB), ein PDA (Personal Digital Assistant), ein Mobiltelefon, eine Interneteinrichtung, ein/e Netzwerkrouter, -Schalter oder -Brücke oder eine beliebige Maschine, die Anweisungen ausführen kann (sequenziell oder anders), die Handlungen spezifizieren, die von der Maschine ergriffen werden sollen, sein. Ferner soll, obgleich nur eine einzige Maschine dargestellt ist, der Begriff „Maschine” außerdem so aufgefasst werden, dass er eine Sammlung von Maschinen umfasst, die einzeln oder zusammen eine Menge (oder mehrere Mengen) von Anweisungen ausführen, um eine oder mehrere der vorliegend erörterten Methodologien durchzuführen, wie zum Beispiel Cloud-Computer, Software As A Service (SaaS) oder andere Computergruppenkonfigurationen.
Beispiele, wie sie vorliegend beschrieben sind, können Logik oder eine Anzahl von Komponenten, Modulen oder Mechanismen umfassen oder darauf betrieben werden. Module sind greifbare Entitäten (zum Beispiel Hardware), die dazu in der Lage sind, bestimmte Operationen beim Betrieb durchzuführen. Ein Modul beinhaltet Hardware. In einem Beispiel kann die Hardware speziell dazu konfiguriert sein, spezifische Operationen auszuführen (zum Beispiel fest verdrahtet). In einem Beispiel kann die Hardware konfigurierbare Ausführeinheiten (zum Beispiel Transistoren, Schaltkreise usw.) und ein computerlesbares Medium, das Anweisungen enthält, wo die Anweisungen die Ausführeinheiten dazu konfigurieren, eine spezifische Operation beim Betrieb durchzuführen, umfassen. Das Konfigurieren kann unter der Anweisung der Ausführungseinheiten oder einem Lademechanismus erfolgen. Entsprechend sind die Ausführeinheiten kommunikativ mit dem computerlesbaren Medium gekoppelt, wenn die Einrichtung betrieben wird. In diesem Beispiel können die Ausführungseinheiten ein Glied von mehr als einem Modul sein. Beispielsweise können beim Betrieb die Ausführungseinheiten durch eine erste Menge von Anweisungen dazu konfiguriert sein, ein erstes Modul zu einem Zeitpunkt zu implementieren, und durch eine zweite Menge von Anweisungen rekonfiguriert sein, ein zweites Modul zu implementieren.
Die Maschine (zum Beispiel das Computersystem) 500 kann einen Hardware-Prozessor 502 (zum Beispiel eine zentrale Verarbeitungseinheit (CPU), eine Grafik-Verarbeitungseinheit (GPO), einen Hardware-Prozessorkern oder eine Kombination daraus), einen Hauptspeicher 504 und einen statischen Speicher 506 umfassen, die allesamt miteinander über ein Zwischenelement (zum Beispiel einen Bus) 508 kommunizieren können. Die Maschine 500 kann ferner eine Displayeinheit 510, eine Einrichtung 512 für alphanumerische Eingabe (zum Beispiel eine Tastatur) und eine Navigationseinrichtung 514 einer Benutzerschnittstelle (UI) (zum Beispiel eine Maus) enthalten. In einem Beispiel können die Displayeinheit 510, die Eingabeeinrichtung 512 und die UI-Navigationseinrichtung 514 ein Berührungsbildschirm-Display sein. Die Maschine 500 kann zusätzlich eine Speichereinheit (zum Beispiel eine Laufwerkseinheit) 516, eine Signalerzeugungseinrichtung 518 (zum Beispiel einen Lautsprecher), eine Netzwerkschnittstelleneinrichtung 520 und einen oder mehrere Sensoren 521, wie zum Beispiel einen GPS-Sensor, Kompass, Beschleunigungsmesser oder anderen Sensor, enthalten. Die Maschine 500 kann einen Ausgangscontroller 528, wie zum Beispiel eine serielle (zum Beispiel USB), parallele oder andere verdrahtete oder drahtlose (zum Beispiel Infrarot (IR), Nahfeldkommunikation (NFC – Near Field Communication) usw.) Verbindung zur Kommunikation oder Steuerung einer oder mehrerer Peripherieeinrichtungen (zum Beispiel einem Drucker, Kartenleser usw.) enthalten.
Die Ablageeinrichtung 516 kann ein maschinenlesbares Medium 522 enthalten, auf dem ein oder mehrere Sätze von Datenstrukturen und Anweisungen 524 gespeichert sind (z. B. Software), die eine oder mehrere der hierin beschriebenen Techniken oder Funktionen verkörpern oder nutzen. Die Anweisungen 524 können sich auch vollständig oder mindestens teilweise innerhalb des Hauptspeichers 504, des statischen Speichers 506 und/oder innerhalb des Hardware-Prozessors 502 während ihrer Ausführung durch die Maschine 500 befinden. In einem Beispiel können der Hardware-Prozessor 502, der Hauptspeicher 504, der statische Speicher 506 oder die Speichereinrichtung 516 maschinenlesbare Medien darstellen.
Wenngleich das maschinenlesbare Medium 522 als ein einzelnes Medium dargestellt ist, kann der Ausdruck „maschinenlesbares Medium” ein einzelnes Medium oder mehrere Medien beinhalten (z. B. eine zentralisierte oder verteilte Datenbank und/oder assoziierte Caches und Server), die dazu konfiguriert sind, die eine oder die mehreren Anweisungen 524 zu speichern.
Der Ausdruck „maschinenlesbares Medium” kann ein beliebiges Medium beinhalten, das Anweisungen zur Ausführung durch die Maschine 500 speichern, codieren oder führen kann und das bewirkt, dass die Maschine 500 eine oder mehrere der Techniken der vorliegenden Offenbarung durchführt, oder die in der Lage ist, Datenstrukturen zu speichern, zu codieren oder zu führen, die durch solche Anweisungen verwendet oder mit ihnen assoziiert sind. Nichteinschränkende Beispiele für maschinenlesbare Medien können Festkörperspeicher und optische und magnetische Medien beinhalten. Bei einem Beispiel umfasst ein maschinenlesbares Massemedium ein maschinenlesbares Medium mit mehreren Partikeln mit ruhender Masse. Spezielle Beispiele von machinenlesbaren Massemedium beinhalten nichtflüchtigen Speicher, wie z. B. Halbleiterspeicherbauelemente (z. B. einen elektrisch programmierbaren Festwertspeicher (EPROM), einen elektrisch löschbaren programmierbaren Festwertspeicher (EEPROM)) und Flash-Speicherbauelemente; Magnetplatten wie interne Festplatten und entfernbare Platten, magnetooptische Platten und CD-ROM- und DVD-ROM-Disks.
Die Anweisungen 524 können ferner über ein Kommunikationsnetzwerk 526 mittels eines Übertragungsmediums über die Netzwerkschnittstelleneinrichtung 520 unter Verwendung einer Anzahl von Übertragungsprotokollen (zum Beispiel Frame-Relay, Internet Protocol (IP), Transmission Control Protocol (TCP), User Datagram Protocol (UDP), Hypertext Transfer Protokoll (HTTP) usw.) gesendet oder empfangen werden. Beispielhafte Kommunikationsnetzwerke können unter anderem ein lokales Netzwerk (LAN), ein Großraumnetzwerk (WAN), ein Paket-Daten-Netzwerk (zum Beispiel das Internet), Mobiltelefonnetzwerke (zum Beispiel Zellularnetzwerk), analoge Telefonnetzwerke (POTS – Plain Old Telephone) und drahtlose Datennetzwerke (zum Beispiel Institute of Electrical and Electronics Engineers (IEEE) 802.11-Familie von Standards, die als Wi-Fi^® bekannt sind, IEEE 802.16-Familie von Standards, die als WiMax^® bekannt sind), IEEE 802.15.4-Familie von Standards, Peer-To-Peer(P2P)-Netzwerke beinhalten. In einem Beispiel kann die Netzwerkschnittstelleneinrichtung 520 einen oder mehrere greifbare Anschlüsse (zum Beispiel Ethernet, koaxial oder Telefonanschlüsse) oder eine oder mehrere Antennen zur Verbindung mit dem Kommunikationsnetzwerk 526 enthalten. In einem Beispiel kann die Netzwerkschnittstelleneinrichtung 520 mehrere Antennen umfassen, um mittels mindestens einer der folgenden Techniken drahtlos zu kommunizieren: SIMO (Single-Input Multiple-Output), MIMO (Multiple-Input Multiple-Output) oder MISO (Multiple-Input Single-Output). Der Begriff „Übertragungsmedium” soll so aufgefasst werden, dass er jedes ungreifbare Medium. umfasst, das Anweisungen zur Ausführung durch die Maschine 500 speichern, codieren oder führen kann, und beinhaltet digitale und analoge Kommunikationssignale, oder ein anderes ungreifbares Medium zur Erleichterung der Kommunikation derartiger Software.
Zusätzliche Bemerkungen und Beispiele
Beispiel 1. Eine Einrichtung zur effizienten Freiraumfingererkennung, wobei die Einrichtung Folgendes umfasst: eine Basis; ein Vertikalglied, wobei ein unterer Abschnitt des Vertikalglieds an der Basis befestigt ist; einen Kopf, der an einem oberen Abschnitt des Vertikalglieds befestigt ist, wobei der Kopf einen Tiefensensor umfasst, der derart ausgebildet ist, dass er ein nach unten gerichtetes Gesichtsfeld aufweist; und einen hardwareschaltungsimplementierten Handdiskriminator zum: Identifizieren einer Oberfläche in einem von dem Tiefensensor erfassten Tiefenbild, wobei die Oberfläche in einem aus dem Tiefenbild abgeleiteten Sichtvolumen eine Basisebene ist; Identifizieren eines oder mehrerer Blobs in dem Tiefenbild, wobei ein Blob in dem einen oder den mehreren Blobs mehrere zusammenhängende Pixel in dem Tiefenbild umfasst, die näher am Tiefensensor als der Oberfläche sind; und für jeden Blob in dem einen oder den mehreren Blobs: Bestimmen, ob der Blob eine Kante des Tiefenbilds schneidet; und Klassifizieren des Blobs als mögliche Hand, falls er die Kante schneidet, und im anderen Fall Klassifizieren des Blobs als Objekt.
In Beispiel 2 kann der Gegenstand von Beispiel 1 auf Wunsch ein Szenario umfassen, wobei zur Identifizierung des einen oder der mehreren Blobs der Handdiskriminator Folgendes ausführt: Identifizieren von Ausreißerpixeln, wobei Ausreißerpixel Pixel in dem Tiefenbild zwischen Oberfläche und dem Tiefensensor sind; und Bestimmen von externen Konturen der Ausreißerpixel, wobei jede Kontur, die geschlossen ist, einem Blob in dem einen oder den mehreren Blobs entspricht.
In Beispiel 3 kann der Gegenstand von Beispiel 2 auf Wunsch ein Szenario umfassen, wobei zum Bestimmen, ob der Blob die Kante schneidet, der Handdiskriminator eine Maske erzeugt, die dem Tiefenbild entspricht, wobei Folgendes ausgeführt wird: Hinzufügen einer vorbestimmten Anzahl von Pixeln von jeder Kante des Tiefenbilds zur Maske; und Hinzufügen der Pixel eines Blobs zur Maske, wenn ein Pixel der Kontur einem vorliegenden Pixel der Maske entspricht.
In Beispiel 4 kann der Gegenstand eines der Beispiele 1–3 auf Wunsch umfassen, dass ein Handskelettortungsmittel bestimmt, ob ein Handskelettmodell für einen Blob gefunden werden kann.
In Beispiel 5 kann der Gegenstand von Beispiel 4 auf Wunsch ein Szenario umfassen, wobei das Handskelettortungsmittel nur auf Blobs angewendet wird, die als mögliche Hand klassifiziert sind.
In Beispiel 6 kann der Gegenstand eines der Beispiele 1–5 auf Wunsch ein Szenario umfassen, wobei der Tiefensensor einen Infrarotemitter und eine Infrarotkamera umfasst, und wobei die Basis einen Infrarot-Linienemitter zur Abgabe einer Ebene von Infrarotlicht parallel zur Oberfläche innerhalb des Gesichtsfelds umfasst.
In Beispiel 7 kann der Gegenstand von Beispiel 6 auf Wunsch umfassen, dass ein Oberflächenberührungsortungsmittel Folgendes ausführt: Identifizieren eines oder mehrerer heller Flecken in einem von der Infrarotkamera erfassten Infrarotbild, wobei die hellen Flecken mehrere Pixel über einem Schwellenwert umfassen; und für jeden hellen Fleck in dem einen oder den mehreren hellen Flecken Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung auf der Basis des Tiefenbilds.
In Beispiel 8 kann der Gegenstand eines der Beispiele 6–7 auf Wunsch ein Szenario umfassen, wobei zur Klassifizierung des hellen Flecks als entweder Berührung oder Nichtberührung das Oberflächenberührungsortungsmittel bestimmt, ob der helle Fleck mit einem aus dem Tiefenbild identifizierten Handblob verbunden ist, und den hellen Fleck als Nichtberührung klassifiziert, falls der helle Fleck nicht mit dem Handblob verbunden ist.
In Beispiel 9 kann der Gegenstand eines der Beispiele 6–8 auf Wunsch ein Szenario umfassen, wobei zur Klassifizierung des hellen Flecks als entweder Berührung oder Nichtberührung das Oberflächenberührungsortungsmittel mittels des Tiefenbilds bestimmt, ob der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt, und den hellen Fleck als Nichtberührung klassifiziert, falls der helle Fleck nicht innerhalb der vorbestimmten Distanz liegt.
In Beispiel 10 kann der Gegenstand eines der Beispiele 6–9 auf Wunsch ein Szenario umfassen, wobei zur Klassifizierung des hellen Flecks als entweder Berührung oder Nichtberührung das Oberflächenberührungsortungsmittel Folgendes durchführt: Bestimmen, ob die Größe und Gestalt des hellen Flecks einem Modell für eine Fingerspitze entsprechen; Bestimmen, ob der helle Fleck mit einem Handblob verbunden ist; Bestimmen, ob der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt; und falls wahr ist, dass die Größe sowie die Gestalt des hellen Flecks einem Modell für die Fingerspitze entsprechen, der helle Fleck mit dem Handblob verbunden ist, und der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt, Klassifizieren des hellen Flecks als Berührung und im anderen Fall Klassifizieren des hellen Flecks als Nichtberührung.
In Beispiel 11 kann der Gegenstand eines der Beispiele 1–10 den Gegenstand umfassen, oder auf Wunsch mit dem Gegenstand kombiniert werden, umfassend ein Verfahren zur effizienten Freiraumfingererkennung, wobei das Verfahren durch eine schaltungsimplementierte Einrichtung durchgeführt wird, die einen Tiefensensor umfasst, der dazu ausgebildet ist, ein nach unten gerichtetes Gesichtsfeld aufzuweisen, wobei das Verfahren Folgendes umfasst: Identifizieren einer Oberfläche in einem von dem Tiefensensor erfassten Tiefenbild, wobei die Oberfläche in einem aus dem Tiefenbild abgeleiteten Sichtvolumen eine Basisebene ist; Identifizieren eines oder mehrerer Blobs in dem Tiefenbild, wobei ein Blob in dem einen oder den mehreren Blobs mehrere zusammenhängende Pixel in dem Tiefenbild umfasst, die näher am Tiefensensor als der Oberfläche sind; und für jeden Blob in dem einen oder den mehreren Blobs: Bestimmen, ob der Blob eine Kante des Tiefenbilds schneidet; und Klassifizieren des Blobs als mögliche Hand, falls er die Kante schneidet, und im anderen Fall Klassifizieren des Blobs als ein Objekt.
In Beispiel 12 kann der Gegenstand von Beispiel 11 auf Wunsch ein Szenario umfassen, wobei ein Identifizieren des einen oder der mehreren Blobs Folgendes umfasst: Identifizieren von Ausreißerpixeln, wobei Ausreißerpixel Pixel in dem Tiefenbild zwischen der Oberfläche und dem Tiefensensor sind; und Bestimmen von externen Konturen der Ausreißerpixel, wobei jede Kontur, die geschlossen ist, einem Blob in dem einen oder den mehreren Blobs entspricht.
In Beispiel 13 kann der Gegenstand von Beispiel 12 auf Wunsch ein Szenario umfassen, wobei Bestimmen, ob der Blob die Kante schneidet, ein Erzeugen einer Maske, die dem Tiefenbild entspricht, umfasst, durch: Hinzufügen einer vorbestimmten Anzahl von Pixeln von jeder Kante des Tiefenbilds zur Maske; und Hinzufügen der Pixel eines Blobs zur Maske, wenn ein Pixel der Kontur einem vorliegenden Pixel der Maske entspricht.
In Beispiel 14 kann der Gegenstand eines der Beispiele 11–13 auf Wunsch ein Bestimmen, ob ein Handskelettmodell für einen Blob gefunden werden kann, umfassen.
In Beispiel 15 kann der Gegenstand von Beispiel 14 auf Wunsch ein Szenario umfassen, wobei ein Bestimmen, ob ein Handskelettmodell für den Blob gefunden werden kann, auf Blobs beschränkt ist, die als mögliche Hand klassifiziert sind.
In Beispiel 16 kann der Gegenstand eines der Beispiele 11–15 auf Wunsch ein Szenario umfassen, wobei der Tiefensensor einen Infrarotemitter und eine Infrarotkamera umfasst, und wobei eine Basis für die Einrichtung einen Infrarot-Linienemitter zur Abgabe einer Ebene von Infrarotlicht parallel zur Oberfläche umfasst.
In Beispiel 17 kann der Gegenstand von Beispiel 16 Folgendes auf Wunsch umfassen: Identifizieren eines oder mehrerer heller Flecken in einem von der Infrarotkamera erfassten Infrarotbild, wobei die hellen Flecken mehrere Pixel über einem Schwellenwert umfassen; und für jeden hellen Fleck in dem einen oder den mehreren hellen Flecken Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung auf der Basis des Tiefenbilds.
In Beispiel 18 kann der Gegenstand eines der Beispiele 16–17 auf Wunsch ein Szenario umfassen, wobei Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung der Oberflächenberührungsortungsmittel ein Bestimmen umfasst, ob der helle Fleck mit einem aus dem Tiefenbild identifizierten Handblob verbunden ist, und Klassifizieren des hellen Flecks als Nichtberührung, falls der helle Fleck nicht mit dem Handblob verbunden ist.
In Beispiel 19 kann der Gegenstand eines der Beispiele 16–18 auf Wunsch ein Szenario umfassen, wobei Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung das Oberflächenberührungsortungsmittel ein Bestimmen mittels des Tiefenbilds umfasst, ob der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt, und Klassifizieren des hellen Flecks als Nichtberührung, falls der helle Fleck nicht innerhalb der vorbestimmten Distanz liegt.
In Beispiel 20 kann der Gegenstand eines der Beispiele 16–19 auf Wunsch ein Szenario umfassen, wobei Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung Folgendes umfasst: Bestimmen, ob die Größe und Gestalt des hellen Flecks einem Modell für eine Fingerspitze entsprechen; Bestimmen, ob der helle Fleck mit einem Handblob verbunden ist; Bestimmen, ob der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt; und falls wahr ist, dass die Größe sowie die Gestalt des hellen Flecks einem Modell für die Fingerspitze entsprechen, der helle Fleck mit dem Handblob verbunden ist, und der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt, Klassifizieren des hellen Flecks als Berührung und im anderen Fall Klassifizieren des hellen Flecks als Nichtberührung.
In Beispiel 21 kann der Gegenstand von Beispielen 11–20 auf Wunsch ein maschinenlesbares Medium umfassen, das Anweisungen umfasst, die bei Ausführung durch eine Maschine bewirken, dass die Maschine eines oder mehrere der Verfahren von Beispielen 11–20 durchführt.
In Beispiel 22 kann der Gegenstand eines der Beispiele 11–20 auf Wunsch ein System mit Mitteln zur Durchführung eines oder mehrerer der Verfahren von Beispielen 11–20 umfassen.
In Beispiel 23 kann der Gegenstand eines der Beispiele 1–22 auf Wunsch ein System zur effizienten Freiraumfingererkennung umfassen, oder auf Wunsch damit kombiniert werden, wobei das System Folgendes umfasst: ein Tragemittel zur Anhebung eines Projektionskopfs über einer Oberfläche; ein Projektionskopfmittel, das an dem Tragemittel befestigt ist, wobei das Projektionskopfmittel ein Tiefensensormittel zur Messung der Distanz eines Ziels vom Projektionskopfmittel in Richtung der Oberfläche umfasst; und ein Handdiskriminatormittel zum: Identifizieren einer Oberfläche in einem vom Tiefensensor erfassten Tiefenbild, wobei die Oberfläche in einem aus dem Tiefenbild abgeleiteten Sichtvolumen eine Basisebene ist; Identifizieren eines oder mehrerer Blobs in dem Tiefenbild, wobei ein Blob in dem einen oder den mehreren Blobs mehrere zusammenhängende Pixel in dem Tiefenbild umfasst, die näher am Tiefensensor als der Oberfläche sind; und für jeden Blob in dem einen oder den mehreren Blobs: Bestimmen, ob der Blob eine Kante des Tiefenbilds schneidet; und Klassifizieren des Blobs als mögliche Hand, falls er die Kante schneidet, und im anderen Fall Klassifizieren des Blobs als ein Objekt.
In Beispiel 24 kann der Gegenstand von Beispiel 23 auf Wunsch ein Szenario umfassen, wobei Identifizieren des einen oder der mehreren Blobs Folgendes umfasst: Identifizieren von Ausreißerpixeln, wobei Ausreißerpixel Pixel in dem Tiefenbild zwischen der Oberfläche und dem Tiefensensor sind; und Bestimmen von externen Konturen der Ausreißerpixel, wobei jede Kontur, die geschlossen ist, einem Blob in dem einen oder den mehreren Blobs entspricht.
In Beispiel 25 kann der Gegenstand von Beispiel 24 auf Wunsch ein Szenario umfassen, wobei Bestimmen, ob der Blob die Kante schneidet, ein Erzeugen einer Maske entsprechend dem Tiefenbild umfasst, durch: Hinzufügen einer vorbestimmten Anzahl von Pixeln von jeder Kante des Tiefenbilds zur Maske; und Hinzufügen der Pixel eines Blobs zur Maske, wenn ein Pixel der Kontur einem vorliegenden Pixel der Maske entspricht.
In Beispiel 26 kann der Gegenstand eines der Beispiele 23–25 auf Wunsch ein Handskelettortungsmittel zum Bestimmen, ob ein Handskelettmodell für einen Blob gefunden werden kann, umfassen.
In Beispiel 27 kann der Gegenstand des Beispiels 26 auf Wunsch ein Szenario umfassen, wobei das Handskelettortungsmittel nur auf Blobs, die als mögliche Hand klassifiziert sind, angewendet wird.
In Beispiel 28 kann der Gegenstand eines der Beispiele 23–27 auf Wunsch ein Szenario umfassen, wobei das Tiefensensormittel ein Infrarotemittermittel zur Abgabe von Infrarotlicht und ein Infrarotkameramittel zur Erfassung des Infrarotlichts nach Reflexion vom Ziel umfasst, und wobei das Tragemittel ein Infrarot-Linienemittermittel zur Abgabe einer Ebene von Infrarotlicht parallel zur Oberfläche innerhalb der Sicht des Infrarotkameramittels umfasst.
In Beispiel 29 kann der Gegenstand von Beispiel 28 auf Wunsch ein Oberflächenberührungsortungsmittel umfassen zum: Identifizieren eines oder mehrerer heller Flecken in einem von der Infrarotkamera erfassten Infrarotbild, wobei die hellen Flecken mehrere Pixel über einem Schwellenwert umfassen; und für jeden hellen Fleck in dem einen oder den mehreren hellen Flecken Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung auf der Basis des Tiefenbilds.
In Beispiel 30 kann der Gegenstand eines der Beispiele 28–29 auf Wunsch ein Szenario umfassen, wobei Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung ein Bestimmen, ob der helle Fleck mit einem aus dem Tiefenbild identifizierten Handblob verbunden ist, und Klassifizieren des hellen Flecks als Nichtberührung, falls der helle Fleck nicht mit dem Handblob verbunden ist, umfasst.
In Beispiel 31 kann der Gegenstand eines der Beispiele 28–30 auf Wunsch ein Szenario umfassen, wobei Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung ein Bestimmen mittels des Tiefenbilds, ob der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt, und Klassifizieren des hellen Flecks als Nichtberührung, falls der helle Fleck nicht innerhalb der vorbestimmten Distanz liegt, umfasst.
In Beispiel 32 kann der Gegenstand eines der Beispiele 28–31 auf Wunsch ein Szenario umfassen, wobei Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung Folgendes umfasst: Bestimmen, ob die Größe und Gestalt des hellen Flecks einem Modell für eine Fingerspitze entsprechen; Bestimmen, ob der helle Fleck mit einem Handblob verbunden ist; Bestimmen, ob der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt; und falls wahr ist, dass die Größe sowie die Gestalt des hellen Flecks einem Modell für die Fingerspitze entsprechen, der helle Fleck mit dem Handblob verbunden ist, und der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt, Klassifizieren des hellen Flecks als Berührung und im anderen Fall Klassifizieren des hellen Flecks als Nichtberührung.
Die obige ausführliche Beschreibung enthält Bezugnahmen auf die beiliegenden Zeichnungen, die einen Bestandteil der ausführlichen Beschreibung bilden. Die Zeichnungen zeigen zur Veranschaulichung konkrete Ausführungsformen, gemäß denen die Erfindung praktisch umgesetzt werden kann. Diese Ausführungsformen werden hierin auch als „Beispiele” bezeichnet. Solche Beispiele können Elemente zusätzlich zu denjenigen enthalten, die gezeigt oder beschrieben sind. Jedoch ziehen die Erfinder der vorliegenden Erfindung auch Beispiele in Betracht, in denen nur diese gezeigten oder beschriebenen Elemente bereitgestellt sind. Ferner ziehen die Erfinder der vorliegenden Erfindung auch Beispiele in Betracht, für die beliebige Kombinationen oder Abwandlungen dieser gezeigten oder beschriebenen Elemente (oder eines oder mehrerer Aspekte davon) genutzt werden, entweder mit Bezug auf ein bestimmtes Beispiel (oder einen oder mehrere Aspekte davon) oder mit Bezug auf andere Beispiele (oder einen oder mehrere Aspekte davon), die hierin gezeigt oder beschrieben sind.
Alle Veröffentlichungen, Patente und Patentdokumente, auf die in der vorliegenden Schrift Bezug genommen wird, sind hiermit gänzlich durch Bezug aufgenommen, als ob sie einzeln durch Bezug aufgenommen wären. Im Fall nicht konsistenter Verwendungen zwischen dieser Schrift und denen derartig durch Bezug aufgenommenen Dokumente sollte die Verwendung in der bzw. den aufgenommenen Bezügen als die der folgenden Schrift ergänzend betrachtet werden; für Unstimmigkeiten, die nicht miteinander vereinbar sind, ist die Verwendung in der vorliegenden Schrift übergeordnet.
In diesem Dokument werden die Begriffe „ein” oder „eine” genutzt, wie in Patentschriften üblich, und schließen eines oder mehrere von einem ein, unabhängig von jeglichen sonstigen Vorkommnissen oder Nutzungen von „mindestens ein/eine/eines” oder „ein/eine oder mehrere”. In diesem Dokument drückt der Begriff „oder” eine Nichtausschließlichkeit aus oder dass „A oder B”, sofern nicht anders angegeben, „A, aber nicht B”, „B, aber nicht A” und „A und B” einschließt. In diesem Dokument werden die Begriffe „enthalten” und „in dem/der/denen” als allgemeinsprachliche Äquivalente der Begriffe „umfassen” bzw. „wobei” genutzt. Auch sind die Begriffe „enthalten” und „umfassen” in den folgenden Ansprüchen offen, das heißt, Systeme, Bauelemente, Artikel, Zusammensetzungen, Formulierungen oder Prozesse, die Elemente zusätzlich zu denjenigen enthalten, die nach einem solchen Begriff in einem Anspruch aufgeführt sind, werden dennoch als in den Schutzbereich dieses Anspruchs fallend betrachtet. Ferner werden die Begriffe „erster/erste/erstes”, „zweiter/zweite/zweites” und „dritter/dritte/drittes” etc. in den folgenden Ansprüchen lediglich als Bezeichnungen genutzt und sollen keine numerischen Vorgaben für ihre Objekte festlegen.
Die obige Beschreibung soll beispielhaft und nicht einschränkend sein. Zum Beispiel können die oben beschriebenen Beispiele (oder ein oder mehrere Aspekte davon) in Kombination miteinander genutzt werden. Es können noch andere Ausführungsformen genutzt werden, etwa vom Durchschnittsfachmann bei der Auseinandersetzung mit der obigen Beschreibung. Der Zweck der Zusammenfassung ist es, dass der Leser das Wesen der technischen Offenbarung schnell ermitteln kann, und sie wird unter der Voraussetzung vorgelegt, dass sie nicht dazu herangezogen wird, den Schutzbereich oder den Sinngehalt der Ansprüche auszulegen oder zu begrenzen. Auch sind in der obigen ausführlichen Beschreibung verschiedene Merkmale möglicherweise zusammengefasst, um die Offenbarung zu straffen. Dies sollte nicht dahingehend ausgelegt werden, dass ein nicht beanspruchtes offenbartes Merkmal für irgendeinen Anspruch wesentlich ist. Vielmehr kann der Erfindungsgegenstand in weniger als allen Merkmalen einer bestimmten offenbarten Ausführungsform begründet liegen. Mithin werden die folgenden Ansprüche hiermit in die ausführliche Beschreibung einbezogen, wobei jeder Anspruch als getrennte Ausführungsform für sich allein steht. Der Schutzbereich der Ausführungsformen soll in Bezug auf die beigefügten Ansprüche samt dem vollständigen Schutzbereich von Äquivalenten, der diesen Ansprüchen zukommt, bestimmt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

(IEEE) 802.11-Familie von Standards [0053]
IEEE 802.16-Familie von Standards [0053]
IEEE 802.15.4-Familie von Standards [0053]

Claims

Einrichtung zur effizienten Freiraumfingererkennung, wobei die Einrichtung Folgendes umfasst: eine Basis; ein Vertikalglied, wobei ein unterer Abschnitt des Vertikalglieds an der Basis befestigt ist; einen Kopf, der an einem oberen Abschnitt des Vertikalglieds befestigt ist, wobei der Kopf einen Tiefensensor umfasst, der derart ausgebildet ist, dass er ein nach unten gerichtetes Gesichtsfeld aufweist; und einen hardwareschaltungsimplementierten Handdiskriminator zum: Identifizieren einer Oberfläche in einem von dem Tiefensensor erfassten Tiefenbild, wobei die Oberfläche in einem aus dem Tiefenbild abgeleiteten Sichtvolumen eine Basisebene ist; Identifizieren eines oder mehrerer Blobs in dem Tiefenbild, wobei ein Blob in dem einen oder den mehreren Blobs mehrere zusammenhängende Pixel in dem Tiefenbild umfasst, die näher am Tiefensensor als der Oberfläche sind; und für jeden Blob in dem einen oder den mehreren Blobs: Bestimmen, ob der Blob eine Kante des Tiefenbilds schneidet; und Klassifizieren des Blobs als mögliche Hand, falls er die Kante schneidet, und im anderen Fall Klassifizieren des Blobs als Objekt.
Einrichtung nach Anspruch 1, wobei zur Identifizierung des einen oder der mehreren Blobs der Handdiskriminator Folgendes ausführt: Identifizieren von Ausreißerpixeln, wobei Ausreißerpixel Pixel in dem Tiefenbild zwischen Oberfläche und dem Tiefensensor sind; und Bestimmen von externen Konturen der Ausreißerpixel, wobei jede Kontur, die geschlossen ist, einem Blob in dem einen oder den mehreren Blobs entspricht.
Einrichtung nach Anspruch 2, wobei zum Bestimmen, ob der Blob die Kante schneidet, der Handdiskriminator eine Maske erzeugt, die dem Tiefenbild entspricht, durch: Hinzufügen einer vorbestimmten Anzahl von Pixeln von jeder Kante des Tiefenbilds zur Maske; und Hinzufügen der Pixel eines Blobs zur Maske, wenn ein Pixel der Kontur einem vorliegenden Pixel der Maske entspricht.
Einrichtung nach Anspruch 1, umfassend, dass ein Handskelettortungsmittel bestimmt, ob ein Handskelettmodell für einen Blob gefunden werden kann.
Einrichtung nach Anspruch 4, wobei das Handskelettortungsmittel nur auf Blobs angewendet wird, die als mögliche Hand klassifiziert sind.
Einrichtung nach einem der Ansprüche 1–5, wobei der Tiefensensor einen Infrarotemitter und eine Infrarotkamera umfasst, und wobei die Basis einen Infrarot-Linienemitter zur Abgabe einer Ebene von Infrarotlicht parallel zur Oberfläche innerhalb des Gesichtsfelds umfasst.
Einrichtung nach Anspruch 6, umfassend ein Oberflächenberührungsortungsmittel zum: Identifizieren eines oder mehrerer heller Flecken in einem von der Infrarotkamera erfassten Infrarotbild, wobei die hellen Flecken mehrere Pixel über einem Schwellenwert umfassen; und für jeden hellen Fleck in dem einen oder den mehreren hellen Flecken Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung auf der Basis des Tiefenbilds.
Einrichtung nach Anspruch 6, wobei zur Klassifizierung des hellen Flecks als entweder Berührung oder Nichtberührung das Oberflächenberührungsortungsmittel bestimmt, ob der helle Fleck mit einem aus dem Tiefenbild identifizierten Handblob verbunden ist, und den hellen Fleck als Nichtberührung klassifiziert, falls der helle Fleck nicht mit dem Handblob verbunden ist.
Einrichtung nach Anspruch 6, wobei zur Klassifizierung des hellen Flecks als entweder Berührung oder Nichtberührung das Oberflächenberührungsortungsmittel mittels des Tiefenbilds bestimmt, ob der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt, und den hellen Fleck als Nichtberührung klassifiziert, falls der helle Fleck nicht innerhalb der vorbestimmten Distanz liegt.
Einrichtung nach Anspruch 6, wobei zur Klassifizierung des hellen Flecks als entweder Berührung oder Nichtberührung das Oberflächenberührungsortungsmittel Folgendes durchführt: Bestimmen, ob die Größe und Gestalt des hellen Flecks einem Modell für eine Fingerspitze entsprechen; Bestimmen, ob der helle Fleck mit einem Handblob verbunden ist; Bestimmen, ob der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt; und falls wahr ist, dass die Größe sowie die Gestalt des hellen Flecks einem Modell für die Fingerspitze entsprechen, der helle Fleck mit dem Handblob verbunden ist, und der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt, Klassifizieren des hellen Flecks als Berührung und im anderen Fall Klassifizieren des hellen Flecks als Nichtberührung.
Verfahren zur effizienten Freiraumfingererkennung, wobei das Verfahren durch eine schaltungsimplementierte Einrichtung durchgeführt wird, die einen Tiefensensor umfasst, der dazu ausgebildet ist, ein nach unten gerichtetes Gesichtsfeld aufzuweisen, wobei das Verfahren Folgendes umfasst: Identifizieren einer Oberfläche in einem von dem Tiefensensor erfassten Tiefenbild, wobei die Oberfläche in einem aus dem Tiefenbild abgeleiteten Sichtvolumen eine Basisebene ist; Identifizieren eines oder mehrerer Blobs in dem Tiefenbild, wobei ein Blob in dem einen oder den mehreren Blobs mehrere zusammenhängende Pixel in dem Tiefenbild umfasst, die näher am Tiefensensor als der Oberfläche sind; und für jeden Blob in dem einen oder den mehreren Blobs: Bestimmen, ob der Blob eine Kante des Tiefenbilds schneidet; und Klassifizieren des Blobs als mögliche Hand, falls er die Kante schneidet, und im anderen Fall Klassifizieren des Blobs als ein Objekt.
Verfahren nach Anspruch 11, wobei ein Identifizieren des einen oder der mehreren Blobs Folgendes umfasst: Identifizieren von Ausreißerpixeln, wobei Ausreißerpixel Pixel in dem Tiefenbild zwischen der Oberfläche und dem Tiefensensor sind; und Bestimmen von externen Konturen der Ausreißerpixel, wobei jede Kontur, die geschlossen ist, einem Blob in dem einen oder den mehreren Blobs entspricht.
Verfahren nach Anspruch 12, wobei Bestimmen, ob der Blob die Kante schneidet, ein Erzeugen einer Maske, die dem Tiefenbild entspricht, umfasst, durch: Hinzufügen einer vorbestimmten Anzahl von Pixeln von jeder Kante des Tiefenbilds zur Maske; und Hinzufügen der Pixel eines Blobs zur Maske, wenn ein Pixel der Kontur einem vorliegenden Pixel der Maske entspricht.
Verfahren nach Anspruch 11, umfassend Bestimmen, ob ein Handskelettmodell für einen Blob gefunden werden kann,.
Verfahren nach Anspruch 14, wobei ein Bestimmen, ob ein Handskelettmodell für den Blob gefunden werden kann, auf Blobs beschränkt ist, die als mögliche Hand klassifiziert sind.
Verfahren nach Anspruch 1, wobei der Tiefensensor einen Infrarotemitter und eine Infrarotkamera umfasst, und wobei eine Basis für die Einrichtung einen Infrarot-Linienemitter zur Abgabe einer Ebene von Infrarotlicht parallel zur Oberfläche umfasst.
Verfahren nach Anspruch 16, umfassend: Identifizieren eines oder mehrerer heller Flecken in einem von der Infrarotkamera erfassten Infrarotbild, wobei die hellen Flecken mehrere Pixel über einem Schwellenwert umfassen; und für jeden hellen Fleck in dem einen oder den mehreren hellen Flecken Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung auf der Basis des Tiefenbilds.
Verfahren nach Anspruch 16, wobei Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung ein Bestimmen umfasst, ob der helle Fleck mit einem aus dem Tiefenbild identifizierten Handblob verbunden ist, und Klassifizieren des hellen Flecks als Nichtberührung, falls der helle Fleck nicht mit dem Handblob verbunden ist.
Verfahren nach Anspruch 16, wobei Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung ein Bestimmen mittels des Tiefenbilds umfasst, ob der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt, und Klassifizieren des hellen Flecks als Nichtberührung, falls der helle Fleck nicht innerhalb der vorbestimmten Distanz liegt.
Verfahren nach Anspruch 16, wobei Klassifizieren des hellen Flecks als entweder Berührung oder Nichtberührung Folgendes umfasst: Bestimmen, ob die Größe und Gestalt des hellen Flecks einem Modell für eine Fingerspitze entsprechen; Bestimmen, ob der helle Fleck mit einem Handblob verbunden ist; Bestimmen, ob der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt; und falls wahr ist, dass die Größe sowie die Gestalt des hellen Flecks einem Modell für die Fingerspitze entsprechen, der helle Fleck mit dem Handblob verbunden ist, und der helle Fleck innerhalb einer vorbestimmten Distanz von der Oberfläche liegt, Klassifizieren des hellen Flecks als Berührung und im anderen Fall Klassifizieren des hellen Flecks als Nichtberührung.
Maschinenlesbares Medium, das Anweisungen umfasst, die bei Ausführung durch eine Maschine bewirken, dass die Maschine eines oder mehrere der Verfahren von Ansprüchen 11–20 durchführt.
System mit Mitteln zur Durchführung eines oder mehrerer der Verfahren nach Ansprüchen 11–20.