CN106662919A - 安全可佩戴计算机接口 - Google Patents

安全可佩戴计算机接口 Download PDF

Info

Publication number
CN106662919A
CN106662919A CN201580036903.8A CN201580036903A CN106662919A CN 106662919 A CN106662919 A CN 106662919A CN 201580036903 A CN201580036903 A CN 201580036903A CN 106662919 A CN106662919 A CN 106662919A
Authority
CN
China
Prior art keywords
user
interface
picture
image
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580036903.8A
Other languages
English (en)
Other versions
CN106662919B (zh
Inventor
A·内维特
G·叶海弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106662919A publication Critical patent/CN106662919A/zh
Application granted granted Critical
Publication of CN106662919B publication Critical patent/CN106662919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30—Security of mobile devices; Security of mobile applications
    • H04W12/33—Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G06F21/35—User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08—Access security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一种可佩戴计算机接口包括对用户成像的三维(3D)范围相机系统和图片相机，以及控制器，所述控制器处理图像以标识用户并且确定用户是否被授权使用所述接口来访问由该接口所对接的计算机所提供的功能。

Description

安全可佩戴计算机接口
技术领域
本发明的各实施例涉及可佩戴计算机接口。
背景
移动通信和计算设备(诸如移动电话、平板、电子阅读器、膝上型计算机、以及个人数字助理)以让人眼花缭乱的速度激增并渗透入人类文明。如今，几乎所有的文化(跨越从技术不成熟的社会到处于当今科学和技术的前沿的社会的整个范围)都通晓移动通信/计算设备。单单在2013年，约18亿台移动电话(其中10亿台移动电话是智能电话)被制造商交付给消费者——地球上的每一个男性、女性和儿童有令人惊讶的约2台移动电话。在同一年，还卖出了另外的5亿台平板电脑和膝上型计算机。并且，通信/计算设备(此后被一般地称为计算机)正快速地变形成大量不同形式，这使得它们更易于使用和携带，并且甚至成为日常生活的更密切的一部分。计算机正被配置作为可佩戴附件，诸如眼镜、手表和手环，并且被集成到衣物中。
各种新的和不同形式的计算机以及它们相关联的附件和移动应用(“App”)的无所不在、以及世界人口以及所导致的密度的增加已将个人和公共隐私破坏到一定程度，使得维护和保护一点点的安静、隐私和机密性都变成烦扰、头条的担忧。例如，将膝上型、平板、手腕或手中的计算机屏幕无意地视觉泄露给地铁、公交车、飞机或购物中心中的繁杂的旁人常常是对一个人的个人隐私区域的频繁侵犯，而这如果可能的话可能需要相当灵巧的不停地动才能避免。
概述
本发明的实施例的一个方面涉及提供一种用于提供和保护用户的隐私区域的可佩戴计算机接口。在一个实施例中，计算机接口用于确定用户是否正面向该接口，并且如果是的话，确定用户的身份。如果所确定的身份是被授权访问该接口对接的计算机所提供的功能的用户，则接口使得该用户能够访问该功能。可选地，接口基本上仅在用户面向并看着该接口时维持访问，这样的接口此后被称为“Watch-It接口”(注视接口)或简称为“Watch-It”。
在本发明的一个实施例中，“Watch-It”包括三维(3D)相机系统，该3D相机系统可被控制来获取相机系统的视场(FOV)中的场景的3D范围图像，并且可选地获取对比度图像，此后也被称为场景的“图片图像”或“图片”。3D范围图像提供场景的各特征的3D空间坐标。图片图像提供可被用于标识特征和特征的特性的图片。可选地，Watch-It和3D相机系统通常被关闭，并且Watch-It反复地开启(周期性地或间歇性地)以使用3D相机系统来对其环境成像并且处理3D相机系统所获取的图像来确定用户是否在FOV中并且是否正面对Watch-It。可选地，Watch-It包括加速度计并且响应于加速度计生成的指示将该Watch-It变为面对用户的运动的信号来开启以对其环境成像。如果Watch-It确定它正被用户“注视”，则Watch-It处理3D相机系统所提供的用户图像以确定用户的身份。如果该身份是被授权访问Watch-It对接的计算机的功能的用户，则Watch-It使得该用户能够访问所述功能。
可选地，Watch-It包括视频屏幕并且可在屏幕上基本仅显示屏保或者保持屏幕空白，直到Watch-It确定它正被授权用户注视着。在作出这一判断之际，Watch-It可在屏幕上生成交互式显示以供用户使用。Watch-It 3D相机系统的FOV的立体角和FOV的景深定义了Watch-It提供给用户的隐私区域。在一个实施例中，立体角和/或景深是可调整的以使FOV以及由此的隐私区域适配于授权用户的偏好和/或需求。在一个实施例中，Watch-It包括隐私过滤器，该隐私过滤器用于遮蔽Watch-It屏幕上显示的图像免于被视觉窥探。
在本发明的一个实施例中，Watch-It被配置成获取用户发出的语音的声纹并且处理由3D相机系统提供的图像以标识声纹中期望用户发出的诸如口令或口令短语之类的单词以获得对功能的访问和/或与计算机交互。在本发明的一个实施例中，3D相机系统在用户发出声纹中的语音的同时对用户的脸部成像，并且处理该图像以读取用户的唇语以协助标识单词。
在本发明的一个实施例中，Watch-It接口被包括在佩戴在手臂或手腕上的设备中，该设备具有类似于腕表形状的外形。可选地，Watch-It被佩戴在腿上以使得用户能够在坐下时使用该接口。计算机可以是Watch-It可与之通信以与用户对接的各种计算设备和/或处理器中的任意一种。作为示例，计算机可包括智能电话、膝上型计算机、笔记本计算机、PC、个人数字助理(PDA)、芯片组、以及专用集成电路(ASIC)中的任意一个、或组合、或不止一个。可选地，Watch-It和该接口与用户对接的计算机被集成在同一个可佩戴设备中。
在讨论中，除非另行说明，修改本发明的实施例的一个或多个特征的条件或关系特性的诸如“基本上”和“大约”的副词应被理解为该条件或特性被定义为针对该实施例所意图的应用在该实施例的操作可接受的容差范围以内。除非另外指示，本说明书和/或权利要求书中的单词“或”被认为是包含性“或”而不是排他性或，并且指示其结合的各项目中的至少一者或其组合。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图说明
下面将参考在此所附的在此段落之后列出的附图来描述本发明的实施例的非限制性示例。在多于一幅附图中出现的相同的特征通常在其出现的所有附图中都以相同的数字来标记。标记表示附图中的本发明的实施例的一个给定特征的图标或其他图形指示的标记可被用于参考该给定的特征。附图中所示的组件的尺寸和特征是为了方便和清楚呈现而选择的，并且不一定按比例显示。
图1A示意性地示出了根据本发明的实施例的正佩戴着具有类似于腕表的形状的Watch-It的用户；
图1B示意性地大幅放大地示出根据本发明的实施例的图1A中所示的Watch-It以方便查看Watch-It的细节；
图1C示出根据本发明的实施例的Watch-It的各组件的框图；
图2A示意性地示出根据本发明的实施例的图1A中示出的用户正将Watch-It拿到他的面前使得Watch-It能够标识该用户；
图2B示意性地示出根据本发明的实施例的图2A中示出的Watch-It的FOV和用户的脸部的放大视图，以及用于确定用户的头部朝向以及用户是否正看着Watch-It的参数；以及
图3A、3B以及3C示意性地解说根据本发明的实施例的Watch-It的3D相机系统所获取的图像中用户眼睛的图像可如何被用于确定用户的凝视方向以及用户是否正看着Watch-It。
详细描述
图1A示意性地示出了根据本发明的实施例的正佩戴着具有腕表形状的Watch-It20的用户10。图1B示意性地示出根据本发明的实施例的图1A中所示的Watch-It 20的放大图像，而图1C示出Watch-It 20可包括的各组件的框图50。在图1A中，佩戴着Watch-It的用户的手腕11沿用户身体旁下垂，且用户并未看着Watch-It。
Watch-It 20可选地包括用于与用户10交互的显示屏幕22以及框图60(图1C)中示出的3D相机系统30，图1A和1B中仅示出了3D相机系统30在Watch-It的一个面24上的光学孔径32。显示屏幕22可被合适的衍射或散射隐私屏幕(未示出)覆盖以限制屏幕22的可视锥并保护Watch-It 20不被视觉窥探。如框图60中示意性示出的3D相机系统30包括3D范围相机34和图片相机36。3D相机系统30具有视场(FOV)，在图1A和1B中由虚线38示意性地概示出，并且在以下可被称为FOV 38。3D范围相机34获取FOV 38中的场景的范围图像，而图片相机36获取FOV中的场景的对比度图像、图片。3D范围相机34所获取的范围图像提供场景中的各特征的3D空间坐标。图片相机36所获取的场景的图片提供特征的图片，该图片可被用于标识该特征。控制器40(图1C)控制Watch-It 20和3D相机系统30的操作并且处理由3D相机系统中的3D范围相机34和/或图片相机36所提供的图像以标识可能被成像在各图像中的用户，如以下所描述的。
3D范围相机34可以是任何适合的3D范围相机，并且可例如包括飞行时间(TOF)3D相机或立体三角测量3D相机。TOF-3D相机可确定光脉冲从TOF-3D相机到相机所成像的场景中的特征并返回到相机的往返程所耗费的“往返时间”以确定到该特征的距离。立体三角测量3D相机获取场景中的特征的立体图像，该立体图像包括来自两个不同视角的特征图像并从特征的图像在各图像中的位置的差异中确定到特征的距离。
作为示例，Watch-It 20中包括的3D范围相机34被假设为TOF 3D范围相机。Watch-It 20包括IR(红外)光源35，控制器40控制该IR光源35来发射相对短的IR光脉冲以照亮3D相机系统30的FOV 38中的场景。对于每一个发射的光脉冲，响应于IR光脉冲的发射时间控制器40快门式地开关3D范围相机34达对应的短曝光时间段以对特征从光脉冲反射回3D范围相机34的光成像。控制器40响应于所成像的光来确定往返时间和到特征的距离。图片相机36可选地响应于环境IR光和/或由场景中的特征反射的来自光源35生成的IR光脉冲的IR光来获取场景的图像。可选地，图片相机36响应于可见光来获取场景的图像。
尽管图1C中的Watch-It的框图60指示3D相机系统30包括与图片相机分开的3D范围相机，但是在一个实施例中，Watch-It 20可包括同一个多用途相机，该多用途相机由控制器40控制以用作TOF-3D范围相机和图片相机。控制器40可通过控制光源35发射短IR光脉冲来照亮场景并快门式开关该多用途相机以恰当地确定对应曝光时间段的时长来操作该多用途相机作为TOF-3D范围相机来确定到场景中的特征的距离。控制器40可通过在相对长的曝光时间段期间对场景成像来对来自光源35发射的多个IR光脉冲、环境IR光、或可见光的光成像来操作该多用途相机作为图片相机。
在一个实施例中，该多用途相机可包括第一和第二光传感器并且通过对场景中的特征所反射的(可选地)分别来自第一和第二光传感器上的相同的光脉冲的光成像来基本同时地获取场景的范围图像和图片图像。第一和第二光传感器可共享相同的光学器件，该光学器件收集场景的特征所反射的来自光源35所发射的光脉冲，并且将反射自每一个光脉冲的光的第一和第二部分分别引导向第一和第二光传感器。控制器40可快门式地开关第一光传感器以提供针对每一个IR光的对应的短曝光时间段以对来自第一光传感器上的光脉冲的光的第一部分成像以获取该光脉冲的往返时间。控制器可快门式地开关第二光传感器达相对长的曝光时间段以对第二光传感器上的多个光脉冲的第二部分成像以获取场景的图片图像。
在一个实施例中，控制器40将Watch-It 20维护在默认的休眠状态，在该休眠状态下，Watch-It的操作的特征是相对小的能量消耗并且3D相机系统30关闭。在该默认休眠状态下，控制器40可在屏幕22上生成屏保显示或者维持屏幕空白。控制器40可周期性地或间歇性地将Watch-It 20开启到激活状态以使用3D相机系统30来对Watch-It的环境成像并处理3D相机系统所获取的图像以确定用户是否处于FOV 38中并且正面向Watch-It 20。
可选地，Watch-It 20包括加速度计42，并且当加速度计42响应于用户10的手腕11的移动而生成的信号指示用户将Watch-It 20带至面对他或她的脸部时，控制器40将Watch-It 20开启至激活状态。在本发明的实施例中，Watch-It 20包括用于实现分类器(未示出)的指令集，该分类器可包括例如支持向量机、回归机、贝叶斯引擎、和/或神经网络，用于确定加速度计42所提供的信号是否指示用户已将Watch-It 20带至面对用户的脸部。为了作出该判断，分类器可被教示以将加速度计所提供的指示手腕11的将Watch-It 20带至面向用户的脸部的移动的信号与指示手的其它移动(诸如指示可伴随步行的正常的摇摆运动的移动)的信号区分开来。
在被例如图2A中示意性地示出的响应于用户10将Watch-It 20带至面向他或她的脸部而被开启至激活状态之际，控制器40操作3D相机系统30来获取位于3D相机系统的FOV38中的场景的3D范围图像和图片图像。控制器40处理场景的图像以确定场景是否包括用户的图像，并且如果是的话，处理该图像以确定用户的身份并且确定该用户是否正看着Watch-It 20。
在本发明的实施例中，控制器40可被控制以将FOV 38的维度配置成期望或有利的维度以确定FOV中用户的存在和/或以将用户与Watch-It对接或经由Watch-It对接用户。例如，3D相机系统30对其对象进行成像的FOV 38的景深(DOF)或最大成像范围可被变得更小或更大以适应用户10认为与Watch-It 20交互是舒适的距离。FOV 38可被调整以在用户10与Watch-It 20交互时限制用户10周围的无关特征被成像。FOV 38的立体角可类似地被变得更大或更小以适应用户。立体角可变得更大以适应较大的脸，或者变得更小以限制对无关对象成像。FOV的方向也可被调整。例如，尽管相机系统的FOV一般关于相机系统的光学轴对称，如以下讨论的图2B中示意性地示出的，但是在本发明的一个实施例中，FOV 38可被调整使其不关于3D相机系统30的光学轴的方向对称，而是歪斜远离光学轴的方向。将FOV歪斜以适应用户 10在与Watch-It 20交互时看Watch-It 20的偏好方向可能是期望的。对于佩戴在手腕的Watch-It 20，用户可能倾向于从与光学轴成角度的舒适的视角来看Watch-It。控制器40可配置FOV 38的维度使其具有相对小的体积以为Watch-It 20和用户10提供具有对于视角窥探的增加的免疫性的特征的隐私区域。例如，FOV 38可具有在FOV 38的最大成像范围处的刚好足够包含用户的脸部的截面。
对于包括TOF-3D范围相机的3D相机系统30，FOV 38的DOF或最大成像范围可选地通过相对于光源35所发射的IR脉冲的发射时间和脉冲宽度调整曝光周期的定时和/或持续时间来调整。FOV 38的立体角可通过合适的缩放透镜系统或通过裁剪3D相机系统30所获取的图像来调整。裁剪可通过对3D相机系统30所获取的图像进行图像处理和/或控制对于光传感器中包括的像素(这些像素上的由3D相机系统收集的光被成像)的光的灵敏度来执行。
控制器40可通过响应于根据各种图案识别算法中的任意一种或这些图案识别算法中不止一种的任意组合来对图像进行处理来确定图像是否包括人脸图像来确定用户(诸如用户 10)在所成像的场景的图像中的存在。控制器40可例如包括用于执行被配置成确定图像是否包括人脸的“基于形状”和/或“基于纹理”的算法的可执行指令集。
基于形状的检测算法可包括至少一个分类器，该分类器通过训练检测系统辨别一组3D范围和图片训练图像(训练图像中的一些包含人脸图像而其它则不包含)中的人脸形状而被训练成识别人脸的形状。可选地，基于形状的检测算法是一种被训练成在3D范围和图片图像中整体地检测人脸形状的全局的基于形状的检测系统。可选地，基于形状的检测算法是一种基于组成部分的基于形状的检测算法。基于组成部分的检测系统通过提供由组成部分分类器所提供的针对人脸的各组成部分(诸如眼睛、耳朵、鼻子以及嘴)是否在图像中存在的评估来确定人脸的图像在3D范围和图片图像中的存在。评估随后被整体分类器组合以提供对于图像是否能证明人脸的整体评估。组成部分和整体分类器可用合适的训练集来训练。
基于纹理的分类器响应于3D相机系统所提供的图片图像的密度的空间变化和/或3D范围图像中到场景中的各特征的距离的空间变化来确定人脸在图像中的存在。就像基于形状的分类器的情形一样，基于纹理的分类器可用图片和3D范围图像的合适的训练集来训练。
在本发明的实施例中，在确定脸在FOV 38中存在之际，控制器40处理图片和3D范围图像以确定用户 10的头部的朝向以及该朝向是否与用户看向Watch-It 20相一致。在本发明的实施例中，头部朝向被用于确定用户的凝视方向并且确定该凝视方向是否指示用户正看着Watch-It 20。可选地，朝向与3D相机系统30的光学轴比照并且可响应于在3D相机系统30所提供的图像中被成像的用户的头部和脸部的基准点特征的3D空间坐标来确定。基准点特征是其图像和3D空间坐标有利于指示头部的朝向的特征，并且可包括诸如前额、眼睛、鼻子、嘴唇和下巴、以及耳朵之类的特征。
图2B示意性地示出图1A和2A中所示的用户10的头部和脸部的基准点特征，这些基准点特征可被Watch-It 20用于确定用户的头部朝向以及用户是否正面向3D相机系统30和Watch-It 20。在图2B中，Watch-It的3D相机系统30由标记为“30”的圆(从该图的视角看该圆看上去像是椭圆)来表示，并且该图示出了3D相机系统的FOV 38的光学轴37。用户10的头部和脸部位于FOV 38中。用户10的头部的朝向可通过由关于分别围绕光学轴37、以及与该光学轴垂直的X和Y正交轴的旋转的方位角ω、倾斜角θ、以及偏斜角φ来定义。标记为ω、θ、和φ的弯曲的块箭头分别指示围绕光学轴37、X轴、以及Y轴的旋转的方位角、倾斜角、以及偏斜角。用户10的脸部和头部的3D范围图像和/或图片图像所提供的用户10的两个或更多个基准点特征(诸如分别是右耳和左耳14和15、右眼和左眼12和13、前额16、以及下巴17)的组合的3D空间坐标可被用于确定ω、θ、和φ，以及确定用户是否正面向3D相机系统30。
作为一个简单示例，假设用户10已将他的头部仅围绕Y轴转动。右耳和左耳14和15和/或右眼和左眼12和13的3D空间坐标可被用于确定旋转角度φ。如果用户的头部仅沿X轴位移，则根据3D空间坐标确定的位移的量和φ一般可足以确定用户10是否正面向Watch-It20。如果头部的位移也沿Y轴，则角度θ也可有利于确定用户10是否正面向Watch-It 20。类似的，倾斜角θ可响应于前额16和下巴17的3D空间坐标来确定。
尽管根据本发明的实施例，头部朝向可被用于指示用户 10是否正面向Watch-It20，但是用户可能面向Watch-It 20但是却将他或她的凝视指向别处。在本发明的实施例中，Watch-It控制器40处理由3D相机系统30获取的图像以确定3D相机系统30所成像的用户的凝视方向并且确定该凝视方向是否被指向Watch-It 20以确定用户是否正尝试使用Watch-It 20。
在本发明的实施例中，为了确定凝视方向，控制器40处理图像以定位和确定可被用来确定眼睛的凝视方向的来自眼睛的不同结构的一个或多个表面的反射的相对位置。来自眼睛的结构的表面的反射被通常称为“普尔基涅反射”。第一、第二、第三、和第四普尔基涅反射分别指来自角膜的前表面、角膜的后表面、晶状体的前表面以及晶状体的后表面的反射。
对于给定的静态光源，来自角膜的前表面的反射(即第一普尔基涅反射)是最强的，且按照惯例被称为“闪烁(glint)”。闪烁的图像在相机获取的眼睛图像中的位置相对独立于中等眼睛转动(眼睛转动多达约±15°)的眼睛凝视方向以及头部和相机的固定位置。闪烁的图像的位置可被用于参照眼睛的特征或其它普尔基涅反射的图像的运动来确定人的凝视方向。可选地，控制器40响应于3D相机系统30所获取的用户的图像中用户的头部朝向和眼睛的瞳孔的图像相对于来自眼睛的闪烁的图像的位置来确定用户(诸如图1A和图2A中的用户10)的眼睛的凝视方向。可选地，如以上所描述的，头部朝向由控制器40确定。
图3A、3B和3C示意性地解说了对于一些非常简单的情形下闪烁相对于眼睛的瞳孔的位置可如何指示眼睛的凝视方向。这些附图中的每一幅图示出用户10的右眼14和眼睛的闪烁101、瞳孔102、虹膜103、以及巩膜104的示意性图像。在这些附图中的每一幅图中，眼睛14被定向关于通过眼睛中心的水平轴160成一个不同角度。在图3B中，眼睛12笔直地沿着3D相机系统30(图2B)的光学轴37看，并且眼睛的光学轴(未示出)与光学轴37对准。作为结果，闪烁101位于眼睛的瞳孔102的图像的中心。在图3A中，用户10正“向上”看，并且沿圆形箭头161所指示的方向旋转眼睛14达角度α。作为结果，闪烁101相对于瞳孔102向下移位。在图3C中，用户10正“向下”看，并且沿圆形箭头162所指示的方向旋转眼睛14达角度α，该方向与图3A中的圆形箭头161所指示的旋转相反。作为结果，闪烁101相对于瞳孔102向上移位。闪烁101和瞳孔102之间的距离可被用于确定角度α的幅值。
响应于确定用户10的头部朝向指示用户10正面向Watch-It 20和/或响应于确定用户10的凝视方向指示用户正看着Watch-It，控制器40可在屏幕22(图1B、2A)上生成一个指示来提醒用户10用户存在已被识别。该指示当然可以是任何适合的图形显示，诸如举例而言眼睛、脸、或忙碌图标的显示。可选地，Watch-It 20包括扬声器并且通过生成音频提醒来通知用户10他的存在已被注意到。在识别用户存在并可选地为该用户生成视觉和或听觉响应之后，控制器可进一步确定用户10的身份以及用户10是否被授权访问Watch-It 20所提供的功能和/或可经由Watch-It访问的设备。例如，Watch-It 20可包括机密信息数据库和/或APP(应用)库，和/或支持Watch-It 20仅在用户10是授权用户的情况下变得可用的通信服务。并且/或者，Watch-It 20可仅在用户10是授权用户的情况下允许对提供一个或多个功能(诸如以上提到的示例功能中的一个或多个)的另一设备(诸如移动电话、平板、或膝上型计算机)的使用。
Watch-It 20可通过将3D相机系统30所获取的用户的图形中包括的数据与包括在Watch-It 20中的参考数据库(未示出)或Watch-It能够访问的参考数据库中包括的数据作比较来确定用户 10的身份。可选地，数据库包括与至少一个授权用户的3D范围和图片“参考图像”相关联的数据。在本发明的实施例中，参考图像可包括可选地由3D相机系统30所获取的该至少一个授权用户的标准姿势的3D范围和图片图像。用户标准姿势可例如是完整的正面姿势，其中用户的头部朝向角度ω、θ、和φ都基本等于零，并且在3D相机系统成像时，用户的脸基本位于3D相机系统30(图2B)的FOV 38的中心。为了将3D相机系统30所获取的用户10的3D范围和图片图像中的数据与参考图像中的数据作比较，控制器40可选地确定一个变换(例如仿射变换)，该变换将用户10的图像变换为以标准姿势朝向的图像。该变换可选地响应于3D相机系统30所获取的用户10的图像所提供的3D空间坐标来确定。控制器40将用户10的图像变换为标准姿势，并且将经变换的图像与参考图像作比较以确定用户10是否是授权用户。
在本发明的实施例中，Watch-It 20要求用户10说出包括口令或口令短语的语音，同时3D相机系统30对用户10成像以标识和授权该用户。Watch-It 20可包括话筒(未示出)并且可选地使用该话筒来记录用户语音的声纹。可选地，控制器40处理该声纹以确定该口令或口令短语是否在声纹中存在。在本发明的实施例中，控制器40使用3D相机系统30在用户说出记录在声纹中的语音时所获取的3D范围图像和图片图像中包括的用户嘴唇、牙齿和舌头的图像来读取用户的唇语。控制器40将唇语读取与声纹相关以协助标识音素以及由此标识可能被说出并记录在声纹中的口令或口令短语。
一旦被授权，Watch-It 20可不仅使用话筒还可使用由控制器40响应于对3D相机系统30提供的3D范围图像和/或图片图像进行图像处理来执行的唇语读取来通过语音将用户10对接到Watch-It 20或Watch-It 20对接的设备。在本发明的实施例中，为了促进对用户10的唇语读取，控制器40可可选地使用以上所讨论的方法来调整FOV 38的DOF或最大成像范围以约束用户10将其嘴巴定位在相对于Watch-It 20的有利位置，使得用户的嘴唇、牙齿和舌头被3D相机系统有利地成像以供唇语读取。例如，控制器40可控制FOV 38来约束用户10以将他或她的嘴巴保持在一距离范围内，可选地从约5cm到约50cm，对于该距离范围，3D相机系统30能够获取具有有利分辨率的用户的嘴巴的图像。在一个实施例中，控制器40可提示用户10将其头部定向到相对于光学轴37(图2B)有利地朝向以促进唇语读取。例如，控制器40可分别确定用户10的头部的偏斜角φ和倾斜角θ(可选地如以上所讨论的)，并且提示用户调整他的头部朝向以偏斜和倾斜有利于唇语读取的角度。提示用户10可通过在屏幕22上显示合适的图标以指示方法或有利地指示偏斜角和倾斜角来实现。类似的，控制器40可响应于3D相机系统30所获取的范围图像来确定用户10的嘴巴与Watch-It 20的距离，并且提示用户10放置其头部以将嘴巴定位到有利于唇语读取的距离处。
因此，根据本发明的实施例，提供了一种被配置成由用户佩戴并且将用户与计算机对接的计算机接口，所述接口包括：三维(3D)相机系统，所述3D相机系统具有光学轴和视场(FOV)，所述3D相机系统包括：3D范围相机，所述3D范围相机可被控制以获取所述FOV中的场景的范围图像，所述范围图像提供特征在所述场景中的3D空间坐标；以及图片相机，所述图片相机可被控制以获取所述场景的图片图像；以及控制器，所述控制器处理所述图像中的一者或两者以确定用户是否被成像在所述FOV中并且正看着所述接口，并且如果是的话，确定所述用户的身份，并且如果所述身份是被授权使用所述接口的用户的身份，则所述控制器使得所述用户能够访问由所述计算机所提供的功能。
可选地，所述控制器将所述接口维持在其中所述3D相机系统被关闭的默认状态。可选地，所述控制器周期性地或间歇性地开启所述3D相机系统以获取所述3D范围图像和图片图像。附加地或替代地，所述接口可包括加速度计，所述加速度计响应于所述接口的运动来生成信号，所述控制器处理所述信号以确定所述用户是否移动了所述接口以将所述用户定位在所述FOV中。如果所述控制器确定所述用户已移动了所述接口以将所述用户定位在所述FOV中，所述控制器可开启所述3D相机系统以获取所述3D范围图像和图片图像。
在本发明的实施例中，为了确定所述用户是否正看着所述接口，所述控制器处理所述3D范围图像和图片图像中的至少一者或两者以确定所述用户的头部是否在FOV中。
在本发明的实施例中，为了确定所述用户是否正看着所述接口，所述控制器处理所述3D范围图像和图片图像中的至少一者或两者以确定所述用户的头部的朝向。根据本发明的实施例，为了确定所述用户是否正看着所述接口，所述控制器处理所述3D范围图像和图片图像中的至少一者或两者以标识所述用户的眼睛的图像并且响应于所述图像标识所述眼睛的凝视方向。
在本发明的实施例中，所述接口包括或能够访问具有与至少一个授权用户的参考图像相关联的数据的数据库，并且所述控制器将与所述参考图像相关联的数据同与所述3D范围图像和图片图像中的至少一者或两者相关联的数据作比较以确定所述用户的身份并且确定所确定的身份是否是授权用户的身份。可选地，授权用户的参考图像是授权用户处于标准姿势下的图像。可选地，所述标准姿势是完整正面姿势，其中用户基本笔直地沿着获取参考图像的相机的光学轴看。控制器可对3D范围图像和图片图像中的至少一者应用变换以将图像变换为标准姿势以确定用户的身份。控制器可响应于3D范围图像来确定变换。
在本发明的实施例中，所述接口包括话筒，并且所述控制器控制所述话筒来获取所述用户说出的语音的声纹，同时控制所述3D相机系统获取所述用户的嘴说出所述语音时的3D范围和图片图像。可选地，所述控制器处理所述用户的嘴的图像以读取所述用户的唇语并且将所述唇语读取与所述声纹相关以标识所述声纹中的单词。
所述控制器可处理所述3D相机系统所提供的图像以作出对于所述用户的嘴距所述接口的距离、所述用户的头部相对于所述光学轴的倾斜角、歪斜角以及方位角中的至少一个或不止一个的任意组合的确定，并且可使用所述确定来提示所述用户将嘴定位在所述FOV中的有利于唇语读取的位置。
在本发明的实施例中，所述控制器控制所述FOV的立体角、景深、以及最大成像范围中的至少一个或两个或更多个的组合来提供期望的FOV的大小。
在本发明的实施例中，所述控制器控制所述FOV相对于所述光学轴的方向以提供所述3D相机系统的期望的成像方向。
所述接口可以是腕带式接口。所述接口可被佩戴在所述用户的腿上。
在本申请的说明书和权利要求书中，动词“包括”、“包含”和“具有”及其组合中的每一个是用来指示该动词的一个或多个宾语不一定是该动词的一个或多个主语的组件、元素、或部分的完整列表。
在本申请中作为示例提供了对本发明的各实施例的描述，而不旨在限制本发明的范围。所描述的实施例包括不同的特征，对于本发明的所有实施例来说并不是所有的特征都是必需的。一些实施例只利用部分特征或特征的可能组合。本领域的技术人员会想到所描述的本发明的各实施例的变型以及本发明的各实施例包括在所描述的各实施例中注明的特征的不同组合。本发明的范围仅受权利要求书的限定。

Claims (10)

1.一种被配置成由用户佩戴并且将用户与计算机对接的计算机接口，所述接口包括：
三维(3D)相机系统，所述3D相机系统具有光学轴和视场(FOV)，所述3D相机系统包括：
3D范围相机，所述3D范围相机可被控制以获取所述FOV中的场景的范围图像，所述范围图像提供特征在所述场景中的3D空间坐标；以及
图片相机，所述图片相机可被控制以获取所述场景的图片图像；以及
控制器，所述控制器处理所述图像中的一者或两者以确定用户是否被成像在所述FOV中并且正看着所述接口，并且如果是的话，确定所述用户的身份，并且如果所述身份是被授权使用所述接口的用户的身份，则所述控制器使得所述用户能够访问由所述计算机所提供的功能。
2.如权利要求1所述的计算机接口，其特征在于，所述控制器将所述接口维持在其中所述3D相机系统被关闭的默认状态，并且周期性地或间歇性地开启所述3D相机系统以获取所述3D范围图像和图片图像。
3.如权利要求2所述的计算机接口，其特征在于，所述接口包括加速度计，所述加速度计响应于所述接口的运动来生成信号，所述控制器处理所述信号以确定所述用户是否移动了所述接口以将所述用户定位在所述FOV中，并且如果是的话，所述控制器开启所述3D相机系统以获取所述3D范围图像和图片图像。
4.如权利要求1－3中任意一项所述的计算机接口，其特征在于，为了确定所述用户是否正看着所述接口，所述控制器处理所述3D范围图像和图片图像中的至少一者或两者以确定所述用户的头部的朝向。
5.如权利要求1－4中任意一项所述的计算机接口，其特征在于，为了确定所述用户是否正看着所述接口，所述控制器处理所述3D范围图像和图片图像中的至少一者或两者以标识所述用户的眼睛的图像并且响应于所述图像标识所述眼睛的凝视方向。
6.如权利要求1－5中任意一项所述的计算机接口，其特征在于，所述接口包括或能够访问具有与至少一个授权用户的参考图像相关联的数据的数据库，并且所述控制器将与所述参考图像相关联的数据同与所述3D范围图像和图片图像中的至少一者或两者相关联的数据作比较以确定所述用户的身份并且确定所确定的身份是否是授权用户的身份。
7.如权利要求1－6中任意一项所述的计算机接口，其特征在于，所述接口包括话筒，并且所述控制器控制所述话筒来获取所述用户说出的语音的声纹，同时控制所述3D相机系统获取所述用户的嘴说出所述语音时的3D范围和图片图像。
8.如权利要求7所述的计算机接口，其特征在于，所述控制器处理所述用户的嘴的图像以读取所述用户的唇语并且将所述唇语读取与所述声纹相关以标识所述声纹中的单词。
9.如权利要求8所述的计算机接口，其特征在于，所述控制器处理所述3D相机系统所提供的图像以作出对于所述用户的嘴距所述接口的距离、所述用户的头部相对于所述光学轴的倾斜角、歪斜角以及方位角中的至少一个或不止一个的任意组合的确定，并且使用所述确定来提示所述用户将嘴定位在所述FOV中的有利于唇语读取的位置。
10.如前述权利要求中任意一项所述的计算机接口，其特征在于，所述接口是腕带式接口。
CN201580036903.8A 2014-07-03 2015-07-02 安全可佩戴计算机接口 Active CN106662919B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/322,927 US9794542B2 (en) 2014-07-03 2014-07-03 Secure wearable computer interface
US14/322,927 2014-07-03
PCT/US2015/038924 WO2016004267A1 (en) 2014-07-03 2015-07-02 Secure wearable computer interface

Publications (2)

Publication Number Publication Date
CN106662919A true CN106662919A (zh) 2017-05-10
CN106662919B CN106662919B (zh) 2019-10-11

Family

ID=53776937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580036903.8A Active CN106662919B (zh) 2014-07-03 2015-07-02 安全可佩戴计算机接口

Country Status (5)

Country Link
US (1) US9794542B2 (zh)
EP (1) EP3164788B1 (zh)
KR (1) KR102483503B1 (zh)
CN (1) CN106662919B (zh)
WO (1) WO2016004267A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109177922A (zh) * 2018-08-31 2019-01-11 北京七鑫易维信息技术有限公司 车辆启动方法、装置、设备及存储介质
CN109214820A (zh) * 2018-07-06 2019-01-15 厦门快商通信息技术有限公司 一种基于音视频结合的商户收款系统及方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10559312B2 (en) * 2016-08-25 2020-02-11 International Business Machines Corporation User authentication using audiovisual synchrony detection
US11410330B2 (en) * 2017-05-30 2022-08-09 Edx Technologies, Inc. Methods, devices, and systems for determining field of view and producing augmented reality
US10462129B2 (en) * 2017-07-10 2019-10-29 Leigh M. Rothschild System and method for gaining access of devices based on user's identity
US10540489B2 (en) * 2017-07-19 2020-01-21 Sony Corporation Authentication using multiple images of user from different angles
CN107734170B (zh) * 2017-10-18 2020-04-07 维沃移动通信有限公司 一种通知消息处理方法、移动终端及穿戴设备
CN108597512A (zh) * 2018-04-27 2018-09-28 努比亚技术有限公司 移动终端控制方法、移动终端及计算机可读存储介质
EP3651057B1 (fr) * 2018-11-09 2023-06-14 Tissot S.A. Procede d'authentification faciale d'un porteur d'une montre
US11146565B2 (en) * 2018-11-28 2021-10-12 Motorola Mobility Llc Mobile electronic communications device having multiple device paths
US11063955B2 (en) * 2019-10-17 2021-07-13 Leigh Rothschild System and method for gaining access of devices based on user's identity
US11106328B1 (en) 2020-07-28 2021-08-31 Qualcomm Incorporated Private control interfaces for extended reality
US20220269333A1 (en) * 2021-02-19 2022-08-25 Apple Inc. User interfaces and device settings based on user identification

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999025152A2 (en) * 1997-11-07 1999-05-20 Via, Inc. Interactive devices and methods
US6421453B1 (en) * 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
US20080002866A1 (en) * 2006-06-29 2008-01-03 Konica Minolta Holdings, Inc. Face authentication system and face authentication method
US20080170776A1 (en) * 2007-01-12 2008-07-17 Albertson Jacob C Controlling resource access based on user gesturing in a 3d captured image stream of the user
US20080298571A1 (en) * 2007-05-31 2008-12-04 Kurtz Andrew F Residential video communication system
US20100169792A1 (en) * 2008-12-29 2010-07-01 Seif Ascar Web and visual content interaction analytics
WO2013111537A1 (en) * 2012-01-27 2013-08-01 Canon Kabushiki Kaisha Communication apparatus, communication apparatus control method, and program
CN103870738A (zh) * 2014-04-10 2014-06-18 宫雅卓 基于虹膜识别的可穿戴式身份认证装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2411898A1 (en) * 2002-11-15 2004-05-15 Idelix Software Inc. A method and system for controlling access to detail-in-context presentations
JP2005334402A (ja) * 2004-05-28 2005-12-08 Sanyo Electric Co Ltd 認証方法および認証装置
WO2006002320A2 (en) * 2004-06-23 2006-01-05 Strider Labs, Inc. System and method for 3d object recognition using range and intensity
KR100682898B1 (ko) * 2004-11-09 2007-02-15 삼성전자주식회사 적외선을 이용한 영상 장치 및 그의 영상 식별 방법
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
US8798311B2 (en) 2009-01-23 2014-08-05 Eldon Technology Limited Scrolling display of electronic program guide utilizing images of user lip movements
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US8888287B2 (en) 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
US9196055B2 (en) 2010-12-31 2015-11-24 Nokia Technologies Oy Method and apparatus for providing a mechanism for gesture recognition
WO2012103902A1 (en) * 2011-02-04 2012-08-09 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangements for mtc communication
KR20130119759A (ko) 2012-04-24 2013-11-01 삼성전자주식회사 3차원 물체 인식 방법 및 장치
US9210413B2 (en) 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
KR101374049B1 (ko) * 2012-08-20 2014-03-12 주식회사 이리언스 개선된 홍채 인증 시스템 및 홍채 인증 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999025152A2 (en) * 1997-11-07 1999-05-20 Via, Inc. Interactive devices and methods
US6421453B1 (en) * 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
US20080002866A1 (en) * 2006-06-29 2008-01-03 Konica Minolta Holdings, Inc. Face authentication system and face authentication method
US20080170776A1 (en) * 2007-01-12 2008-07-17 Albertson Jacob C Controlling resource access based on user gesturing in a 3d captured image stream of the user
US20080298571A1 (en) * 2007-05-31 2008-12-04 Kurtz Andrew F Residential video communication system
US20100169792A1 (en) * 2008-12-29 2010-07-01 Seif Ascar Web and visual content interaction analytics
WO2013111537A1 (en) * 2012-01-27 2013-08-01 Canon Kabushiki Kaisha Communication apparatus, communication apparatus control method, and program
CN103870738A (zh) * 2014-04-10 2014-06-18 宫雅卓 基于虹膜识别的可穿戴式身份认证装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214820A (zh) * 2018-07-06 2019-01-15 厦门快商通信息技术有限公司 一种基于音视频结合的商户收款系统及方法
CN109214820B (zh) * 2018-07-06 2021-12-21 厦门快商通信息技术有限公司 一种基于音视频结合的商户收款系统及方法
CN109177922A (zh) * 2018-08-31 2019-01-11 北京七鑫易维信息技术有限公司 车辆启动方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20160007007A1 (en) 2016-01-07
US9794542B2 (en) 2017-10-17
EP3164788B1 (en) 2019-09-11
EP3164788A1 (en) 2017-05-10
CN106662919B (zh) 2019-10-11
WO2016004267A1 (en) 2016-01-07
KR20170028942A (ko) 2017-03-14
KR102483503B1 (ko) 2022-12-30

Similar Documents

Publication Publication Date Title
CN106662919B (zh) 安全可佩戴计算机接口
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
US9728010B2 (en) Virtual representations of real-world objects
CN106575039B (zh) 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器
US9552060B2 (en) Radial selection by vestibulo-ocular reflex fixation
JP6095763B2 (ja) ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法
CN108153424B (zh) 头显设备的眼动和头动交互方法
US9201578B2 (en) Gaze swipe selection
KR20140059213A (ko) 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
AU2021290132C1 (en) Presenting avatars in three-dimensional environments
JP2014064248A (ja) 画像投影装置及び画像投影方法
CN117337426A (zh) 音频加强的增强现实
US20210406542A1 (en) Augmented reality eyewear with mood sharing
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
CN110998673A (zh) 信息处理装置、信息处理方法和计算机程序
US11181973B2 (en) Techniques related to configuring a display device
WO2023237023A1 (zh) 图像处理方法、装置、存储介质及头显设备
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
Vora et al. Gaze-contingent Screen Adjustment
JP2018205647A (ja) 頭部装着型表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant