CN104919396A - 在头戴式显示器中利用身体握手 - Google Patents

在头戴式显示器中利用身体握手 Download PDF

Info

Publication number
CN104919396A
CN104919396A CN201480004378.7A CN201480004378A CN104919396A CN 104919396 A CN104919396 A CN 104919396A CN 201480004378 A CN201480004378 A CN 201480004378A CN 104919396 A CN104919396 A CN 104919396A
Authority
CN
China
Prior art keywords
people
user
person
action
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480004378.7A
Other languages
English (en)
Other versions
CN104919396B (zh
Inventor
B·福鲁坦普尔
S·巴拉苏布拉马尼亚姆
V·R·卡瓦略
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104919396A publication Critical patent/CN104919396A/zh
Application granted granted Critical
Publication of CN104919396B publication Critical patent/CN104919396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

提供了用于管理用于接口设备的信息的系统、方法和计算机程序产品。该系统检测接口设备的用户和一个人之间的当前身体接触以及该用户和一个人之间的非身体接触中的一种。该系统确定检测到的当前身体接触是初次接触还是后续接触，以及在当前身体接触是初次接触时，将与这个人相关联的内容添加到先前接触的人的数据库中。在当前身体接触是后续接触，或者检测到当前非身体接触时，该系统确定该用户是否认识这个人，以及当该用户不认识这个人时，向接口设备呈现与这个人相对应的信息。

Description

在头戴式显示器中利用身体握手
技术领域
概括地说，本公开内容涉及使用具有头戴式显示器(Head MountedDisplay，HMD)(例如，增强现实(AR))眼镜)接口设备，而更具体地说，本公开内容涉及通过这样的设备呈现的信息的管理。
背景技术
用于实现增强现实的系统和方法已变得非常流行和普遍。通常，AR系统包括头戴式显式器，该头戴式显式器使得用户能够观察他的周围环境并与其进行交互，同时与诸如电子邮件和媒体播放器之类的应用进行交互。尽管很多AR应用可以运行在智能电话和平板型计算机上，但用于实现AR系统的最自然形式的要素是光学设备，例如具有AR眼镜的形式的头戴式显示器。
用户可能期望的一种AR系统特征是记住并回忆该用户先前遇见或者接触的人的面部的能力。当前，一些AR系统使用前置摄像头(其还被称为场景摄像头)来发现视野中的面部。该系统使用面部识别软件来识别熟悉的面部，并在该AR系统的显示器上标记每一个识别的面部。其缺点是AR系统可以潜在地标记视野中的每一个面部，由此显示使显示器显得杂乱的大量不相关的信息。信息可能是不相关的，这是因为用户可能已经认出特定的人，因而不需要AR系统来识别这个人。
发明内容
提供了用于管理用于接口设备的信息的系统、方法和计算机程序产品。该系统检测接口设备的用户和一个人之间的当前身体接触以及该用户和一个人之间的非身体接触中的一种。该系统确定检测到的当前身体接触是初次接触还是后续接触，以及在当前身体接触是初次接触时，将与这个人相关联的内容添加到先前接触的人的数据库中。在当前身体接触是后续接触，或者检测到当前非身体接触时，该系统确定该用户是否认识这个人。如果该用户不认识这个人，则该系统向接口设备呈现与这个人相对应的信息。
附图说明
图1是描绘AR系统的图，该AR系统包括具有一副AR眼镜的形式的用户接口设备和具有腕带的形式的身体接触检测设备。
图2是管理信息以在用户接口设备上显示的方法的流程图。
图3是描绘EMG传感器的输出的改变的图，其对应于用户握着并轻轻地挤压物体。
图4是描绘与一种动作(例如，握手)相对应的加速计输出的改变的图。
图5是描绘示例性AR系统中的不同模块/单元/组件的操作的概念性流图。
图6是描绘采用处理系统的AR系统的硬件实施方式的例子的图。
具体实施方式
下面结合附图阐述的详细描述旨在作为对各种配置的描述，而不是要表示可以实践本文描述的构思的唯一配置。详细描述包括具体细节，以提供对各种构思的透彻理解。然而，对本领域技术人员而言，将显而易见的是，没有这些具体细节也可以实践这些构思。在一些实例中，以框图形式示出公知的结构和组件，以避免使这样的构思不清楚。
现在将参照各种装置和方法来介绍AR系统的若干方面。将通过各种方框、模块、组件、电路、步骤、过程、算法等(统称为“元素”)，在以下详细描述中描述并且在附图中描绘这些装置和方法。这些元素可以使用电子硬件、计算机软件或其任意组合来实现。这样的元素是被实现为硬件还是软件取决于具体应用和施加在整个系统上的设计约束。
通过举例的方式，可以利用包括一个或多个处理器的“处理系统”来实现元素或元素的任意部分或元素的任意组合。处理器的例子包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑单元、分立的硬件电路以及被配置为执行贯穿本公开内容描述的各种功能的其它适当的硬件。处理系统中的一个或多个处理器可以执行软件。无论是被称为软件、固件、中间件、微代码、硬件描述语言还是其它术语，软件都应当被广义地解释为意指指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行文件、执行线程、过程、功能等。
因此，在一个或多个示例性实施例中，可以使用硬件、软件、固件或其任意组合来实现描述的功能。如果使用软件实现，则可以将这些功能作为一个或多个指令或代码存储在计算机可读介质上。计算机可读介质包括计算机存储介质。存储介质可以是计算机能够存取的任何可用介质。通过举例而非限制的方式，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。上面的组合也应当被包括在计算机可读介质的范围之内。
图1是描绘包括用户接口设备102和身体接触检测设备104的AR系统100的图。所描绘的用户接口设备102是被配置为使用本领域已知的方法，通过其透镜投射内容的一副AR眼镜。例如，AR眼镜102可以被配置为通过其透镜投射应用内容，例如，电子邮件、文档、网页或者诸如视频游戏、电影或电子书之类的媒体内容。其它类型的用户接口设备102可以包括智能电话、平板型计算机、膝上型计算机等。
AR眼镜102包括用于与身体接触检测设备104通信的通信设备106。例如，通信设备106可以是蓝牙设备。AR眼镜102还包括处理器108，其用于响应于从身体接触检测设备104接收的通信/信号，对信息进行处理和管理以进行显示。
接触检测设备104被配置为与身体部分相关联，并且可以是有助于提供这样的关联的任何形式。例如，如果该身体部分是手或者手指，则身体接触检测设备可以被配置为如图1中所描绘的腕带104。在一种配置中，身体接触检测设备104包括：提供EMG感测能力的一对电极110、112，运动传感器114和用于与用户接口设备102通信的通信设备116。接触检测设备104还包括用于对各种传感器所提供的信号进行处理的处理器118。如下面进一步解释的，传感器110、112、114结合处理器118提供身体接触检测能力。
电极110、112优选地位于腕带上，从而当用户穿戴该腕带104时，定位这些电极，以便对例如指示与握手紧密关联的动作(例如，抓紧)的源自于手腕的肌肉运动的电活动进行感测。电极110、112结合处理器118的EMG感测单元充当EMG传感器，其提供指示特定的动作的信号。EMG感测能力基于公知的技术。
运动传感器114可以位于腕带上的任何地方，并且提供用于指示与握手紧密关联的另外的动作(例如，上下手臂运动)的信号。运动传感器114可以是加速计、陀螺仪、磁力计或者其它这样的设备。
AR系统100管理与用户的与其它人的交互有关的信息。为此，该系统将用户刚刚遇见的人的属性(例如，面部)和信息(例如，名字)编入目录中，以便以后当用户接触他先前遇见过，但记不起来的人时进行检索。该系统的编目录方面是一个持续的过程，总的来说，涉及检测用于指示与该用户刚刚遇见的人的接触的接触。当系统检测到由用户执行的握手时，发生这样的检测，前提是假定用户与他第一次遇见的人握手。例如，AR系统100的身体接触检测设备104可以监测升高的EMG信号，其与对应于握手的EMG信号的特性相匹配。当这种检测发生时，身体接触检测设备104可以检查加速计数据，以观察该数据是否还示出用户不只是在空中移动他的手，而是进行与握手相对应的重复动作，例如，向上和向下挤压和移动物体，其中手的方向类似于握着枪。
如果上面的两个条件都成立，即，感测的EMG信号指示可能的握手以及加速计数据确认握手，则身体接触检测设备104向用户接口设备102传送：在该用户和一个人之间的身体接触已经发生。然后，用户接口设备102使用其场景摄像头进行拍照，以捕捉该用户接触的这个人的图像。然后，用户接口设备104检查面部数据库，该数据库包括该用户先前已经接触的人的图像。如果在面部数据库中没有发现该面部，则将其添加到该数据库中。添加面部可以包括：存储这个人的图像连同与这个人的初次接触的音频和/或视频记录，以及存储该图像连同这个人的名字的音频记录。
该系统的检索方面涉及：全天跟踪该AR眼镜的视野中的面部。如果视野中的面部的图像大于该视野的百分之x，其中，越大的百分比对应于越大的图像，转而其对应于该面部越靠近该用户，则用户接口设备102使用场景摄像头对该面部进行拍照(捕捉其图像)，并确定该面部是否已经在该面部数据库中，例如通过图像比较。如果该面部已经在数据库中，则用户接口设备102执行查找，即，确定用户是否已经将该面部标记为认识的面部。如果该面部不是认识的面部，则用户接口设备102检索并显示与该面部一起存储的内容，例如，名字、用户何时遇见这个人、那次接触的缩略图、那次接触的视频。
图2是详细地说明了管理用于用户接口设备的信息的上面方法的流程图。如上面所提及的，该过程针对于检测用户和一个人之间的接触，并对关于这个人的信息(如果有的话)的呈现进行智能的挑选。该过程可以由图1的AR系统来执行。为此，在步骤202处，身体接触检测设备104检测用户接口设备102的用户与一个人之间的当前身体接触，同时用户接口设备102的组件检测该用户与一个人之间的非身体接触。
关于当前身体接触的检测，身体接触检测设备104基于所感测的用户身体的电活动和用户身体的运动中的一个或多个，来检测这样的接触。在一种配置中，身体接触检测设备104首先检查肌肉电活动，该活动指示通常与该用户和一个人之间的身体触碰相对应的第一动作。一旦检测到该第一动作，身体接触检测设备104就检查运动活动，该活动指示通常与该用户和这个人之间的身体交互相对应的第二动作。例如，第一动作可以是用户抓紧物体，而第二动作可以是晃动该物体。共同地，第一动作和第二动作可以被视为与用户和一个人之间的握手交互相对应，其中，第一动作是用户抓紧这个人的手，而第二动作是用户摇晃这个人的手。这仅仅是第一动作和第二动作以及相应的交互的一个例子。
如上面所提及的，可以使用上面所描述的EMG传感器来完成第一动作的检测。图3是描绘当用户抓紧另一个人的手时，随时间变化的EMG信号幅度的图300。该波形示出：与在放松状态下相比，用户的手部肌肉做更多的工作。高度波动的波形302表示用户的特定动作。在这种情况下，该动作对应于用户轻轻地握着并挤压物体。可以将该动作解释为用户与一个人之间的潜在握手。相对平坦的波形304表示本底噪声。基于实验的EMG信号数据，可以建立指示特定的第一动作的标准。例如，在该动作期间测量的EMG信号的峰-峰电压、动态范围或频率可以用作可以与稍后获得的EMG信号的测量值进行比较的标准。就这一点而言，身体接触检测设备104可以通过在用户轻轻地握着并挤压另一个人的手同时，记录若干EMG信号，并根据那些采样值生成模板，来针对个别用户进行操练。身体接触检测设备104的处理器118将所获得的信号的测量值与实验数据定义的门限进行比较。如果满足该门限或者当满足该门限时，处理器118推断第一动作发生了。如果不满足该门限或者当不满足该门限时，处理器118推断第一动作没有发生。
如上面所提及的，可以使用上面所描述的运动传感器来完成第二动作的检测。图4是描绘随时间变化的运动传感器(例如，加速计)的图400，其中，这些信号对应于用户的特定动作，在这种情况下，用户按照与握手相对应的运动使他的手向上和向下移动。在x轴和z轴信道二者上存在较强的和相关的频率分量，沿着y轴具有最小的频率分量，其中y轴是与手臂长度平行的轴。这仅仅是可以通过实验获得的很多信号形式或者动作模板中的一种。
处理器118包括这些动作模板的库，并将获得的运动传感器信号与动作模板的库进行比较。如果所获得的运动信号的形式与这些动作模板中的一个动作模板紧密匹配，则处理器118推断动作发生了。所获得的运动信号与动作模板之间的接近的程度定义上面所描述的标准。例如，获得的运动信号和动作模板的逐点电压比较或者波形区域比较可以产生波形之间的百分比匹配。在这种情况下，该标准可以是百分比，例如90％，并且处于或者高于该标准的产生的百分比可以视为造成了动作检测。
关于当前非身体接触的检测，用户接口设备102的组件基于一个人的属性，检测用户接口设备的用户和这个人之间的接近。在一种配置中，用户接口设备102(例如，AR眼镜)确定该眼镜的视野中的人的图像是否满足与用户和这个人之间的紧密空间关系相对应的标准。例如，用户接口设备102的场景摄像头组件可以捕捉视野中的人的图像。AR眼镜的处理器108可以识别该图像的面部部分；相对于AR眼镜的透镜的大小来确定该面部部分的大小；以及当该大小满足门限标准时，推断在用户和这个人之间存在紧密的空间关系。例如，可以将该门限设置为30％，在该情况下，如果图像的面部部分占据显示器的至少30％，则认为满足该门限。
在另一种配置中，用户接口设备102的麦克风组件可以捕捉这个人的声音，例如这个人的语音；确定该声音的电平(以分贝为单位)；以及如果或者当该声音电平满足门限标准时，推断在用户和这个人之间存在紧密的空间关系。例如，可以将该门限设置为50dB，在该情况下，如果或者当这个人的声音电平是至少50dB时，则认为满足该门限。
在又一种配置中，用户接口设备102基于图像和声音二者来检测该接口设备和一个人之间的紧密接近。在这种情况下，将用户接口设备102的图像捕捉组件(例如，摄像头)维持在低功耗模式或者断电模式，而将该用户接口设备的较低功耗的声音捕捉组件(例如，麦克风)保持在加电模式。在捕捉到声音处于超过某个门限的电平(例如，用户的正常语音的电平)时，摄像头打开并捕捉图片。用户接口设备102的处理器108如上所述地继续分析该图像大小。
在步骤204处，如果或者当没有检测到当前身体接触时，即，检测到非身体接触，该过程进行至步骤212，其中，用户接口设备102的处理器108确定该用户是否认识这个人。下面将进一步描述该步骤的细节。然而，如果在步骤204处检测到当前身体接触，则身体接触检测设备104向用户接口设备102发送用于指示这样的检测的信号，并且该过程进行至步骤206，其中，用户接口设备102确定当前身体接触是初次接触还是后续接触。例如，用户接口设备102可以捕捉处于其视野中的人的图像。处理器108将所捕捉的图像与用户先前接触的人的图像的数据库中的图像进行比较。如果或者当视野中的人的图像与数据库中的图像不匹配时，处理器108推断当前身体接触是初次接触。另一方面，如果或者当这个人的图像与数据库中的图像匹配时，处理器108推断当前身体接触是后续接触。
在步骤208处，如果或者在当前身体接触是初次接触时，该过程进行至步骤210，其中，将与这个人相关联的内容添加到先前接触的人的数据库中。这样的内容可以是在初次接触期间捕捉的这个人的图像、在初次接触期间用户和这个人之间的会话的声音记录或者初次接触的视频。内容是使用公知的技术来收集的，并作为现有联系人的目录存储在数据库中。随后，用户可以向该目录中的条目增加信息，所述信息进一步标识这个人或者这次接触的本质和环境。该信息可以具有文本或者音频记录的形式。用户还可以将某些人标记为该用户认识的。该过程的步骤206、208和210共同地提供用户所接触的人的库的编目录以及生成，并作为用户认识的人的子集。
在步骤208处，如果或者在当前身体接触不是初次接触时，换言之，当前身体接触是后续接触，则该过程进行至步骤212，其中，该系统确定用户是否认识这个人。如上面所提及的，当在步骤204处检测到非身体接触时，也执行步骤212。如果还没有捕捉到，则用户接口设备102捕捉这个人的图像。然后，处理器108扫描数据库，以获得匹配的图像。一旦定位，处理器108就确定这个人是否被标记为用户认识的。
在步骤214处，如果或者当用户不认识这个人时，该过程进行至步骤216，其中，处理器108向接口设备呈现与这个人相对应的信息。通过用户接口设备102来呈现信息涉及：扫描数据库，以获得数据库中与这个人的图像匹配的图像相关联的信息。该信息可以包括以下各项中的至少一项：这个人的标识(例如，人名、职业、工作单位、住址等)、以及用户和这个人之间的先前接触的概要(例如，先前接触的日期和位置)。可以通过用户接口设备102的显示器(例如，透镜)或者扬声器，以文本、图片、视频或声音的形式来呈现该信息。
图5是描绘示例性系统500中的不同模块/单元/组件、以及该系统的各个装置中的模块/单元/组件的操作的概念性流图。系统500包括身体接触检测模块502和用户接口设备504。接触检测模块502和用户接口504可以使用公共通信协议(例如，蓝牙)，通过有线连接或者无线通信来进行通信。用户接口设备504包括初次/后续接触检测模块506、非身体接触检测模块508、内容添加模块510、认识的人检测模块512、信息呈现模块514和数据库516。
身体接触检测模块502检测接口设备的用户和一个人之间的当前身体接触。在一种配置中，该模块502包括上面参照图1的身体接触检测设备104所描述的组件中的一个或多个组件，例如运动传感器、EMG传感器、处理器。非身体接触检测模块508检测该用户和一个人之间的非身体接触。在一种配置中，该模块508包括上面参照图1的用户接口设备102所描述的组件、摄像头、麦克风、处理器、数据库中的一个或多个。
初次/后续接触检测模块506确定检测到的当前身体接触是初次接触还是后续接触。在当前身体接触是初次接触时，内容添加模块510将与这个人相关联的内容添加到先前接触的人的数据库中。在当前身体接触是后续接触，或者检测到当前非身体接触时，认识的人检测模块512确定用户是否认识这个人。当这个人不是用户认识的时，信息呈现模块514向接口设备呈现与这个人相对应的信息。数据库516存储与用户已经接触的人相对应的信息。所存储的信息可以包括用户已经接触的所有人的信息，无论是否认识，或者只存储用户接触但不认识的人。
系统500和其装置502、504可以包括执行图2的上述流程图中的算法的每一个步骤的另外的模块。因此，图2的上述流程图中的每一个步骤可以由模块来执行，并且装置502、504可以包括那些模块中的一个或多个模块。这些模块可以是被特别地配置为执行所声明的过程/算法的、由被配置为执行所声明的过程/算法的处理器实现的、被存储在计算机可读介质内以便由处理器实现的一个或多个硬件组件或它们的一些组合。
图6是描绘系统600的硬件实施方式的例子的图，系统600具有采用第一处理系统602的第一装置502'和采用第二处理系统610的第二装置504'。关于第一装置502'，可以利用通常由总线608表示的总线架构来实现处理系统602。取决于处理系统602的具体应用和总设计约束，总线608可以包括任意数量的互连总线和桥路。总线608将包括一个或多个处理器和/或硬件模块的各种电路(由处理器604、模块504和计算机可读介质606表示)链接在一起。总线608还可以链接各种其它电路，例如定时源、外围设备、稳压器和功率管理电路，这些是本领域所熟知的，因此不再进一步描述。
第一处理系统602包括耦合到计算机可读介质606的处理器604。处理器604负责一般处理，包括存储在计算机可读介质606上的软件的执行。软件当被第一处理器604执行时，使得第一处理系统602执行上文针对身体接触检测装置所描述的各种功能。计算机可读介质606还可以用于存储处理器604执行软件时所操纵的数据。第一处理系统602还包括模块504。这些模块可以是在处理器604中运行的、位于或存储在计算机可读介质606中的软件模块，耦合到处理器604的一个或多个硬件模块，或它们的一些组合。
在一种配置中，装置502/502'包括：用于检测用户和一个人之间的非身体接触的单元。这样的单元可以包括用户接口设备102的一个或多个组件，例如摄像头、麦克风和处理器，它们被共同地配置为：确定一个人的属性是否满足与用户和这个人之间的紧密空间关系相对应的标准。上述单元可以是装置502的上述模块中的一个或多个模块和/或被配置为执行依据上述单元所记载的功能的装置502'的处理系统602。
关于第二装置504'，可以利用通常由总线612表示的总线架构来实现处理系统610。取决于处理系统610的具体应用和总设计约束，总线612可以包括任意数量的互连总线和桥路。总线612将包括一个或多个处理器和/或硬件模块的各种电路(由处理器614、模块504、506、508、510、512和计算机可读介质616表示)链接在一起。总线612还可以链接各种其它电路，例如定时源、外围设备、稳压器和功率管理电路，这些是本领域所熟知的，因此不再进一步描述。
处理系统610包括耦合到计算机可读介质616的处理器614。处理器614负责一般处理，包括存储在计算机可读介质616上的软件的执行。软件当被处理器614执行时，使得处理系统610执行上文针对用户接口设备装置所描述的各种功能。计算机可读介质616还可以用于存储处理器614执行软件时所操纵的数据。处理系统还包括模块506、508、510、512、514。这些模块可以是在处理器614中运行的、位于或存储在计算机可读介质616中的软件模块，耦合到处理器614的一个或多个硬件模块，或它们的一些组合。
在一种配置中，第二装置504/504'包括：用于检测接口设备的用户和一个人之间的当前身体接触中的一个的单元。装置504/504'还包括：用于确定检测到的当前身体接触是初次接触还是后续接触的单元；用于在当前身体接触是初次接触时，将与这个人相关联的内容添加到先前接触的人的数据库中的单元；以及用于在当前身体接触是后续接触，或者检测到当前非身体接触时，确定用户是否认识这个人单元。装置504/504'还包括：用于在用户不认识这个人时，向接口设备呈现与这个人相对应的信息的单元。第二装置504/504'还可以包括：用于从第一装置502/502'接收指示已经检测到身体接触的信号的单元。该用于接收的单元可以是被配置为与第一装置502/502'的通信设备通信的通信设备。例如，该接收单元可以是与第一装置502/502'的蓝牙设备配对的蓝牙设备。上述单元可以是装置504的上述模块中的一个或多个模块和/或被配置为执行依据上述单元所记载的功能的装置504'的处理系统610。
基于前述的图2、图5和图6的单元和特征的另外的方法、装置和计算机程序产品可以包括用于管理信息的装置，例如用户接口设备。一种示例性装置包括用于执行以下操作的模块/单元/组件：接收接口设备的用户和一个人之间的当前身体接触的检测的指示；确定当前身体接触是初次接触还是后续接触；以及在当前身体接触是初次接触时，将与这个人相关联的内容添加到先前接触的人的数据库中。
基于前述的图2、图5和图6的单元和特征的另外的方法、装置和计算机程序产品可以包括用于对检测设备的用户和另一个人之间的身体交互进行检测的装置，例如腕带。一种示例性装置包括用于执行以下操作的模块/单元/组件：确定从用户的身体部分感测的电活动是否指示该用户与身体交互相关联的第一动作；以及确定从用户的身体部分感测的运动活动是否指示该用户与身体交互相关联的第二动作。
应当理解，在公开的过程中的步骤的具体顺序或层级是示例性方法的一个说明。应当理解，基于设计偏好，可以重新排列这些过程中的步骤的具体顺序或层级。此外，可以组合或省略一些步骤。所附的方法权利要求以样本顺序介绍了各步骤的元素，但并不意味着受限于所介绍的具体顺序或层级。
提供先前的描述以使本领域任何技术人员能够实践本文描述的各个方面。对于本领域技术人员而言，对这些方面的各种修改将是显而易见的，并且本文定义的一般性原理也可以应用于其它方面。因而，权利要求并不旨在受限于本文示出的方面，而是与符合权利要求的语言的全部范围相一致，其中，除非特别声明，否则以单数形式引用某元素并不旨在意味着“一个且仅一个”，而是“一个或多个”。除非特别声明，否则术语“一些”指一个或多个。贯穿本公开内容描述的各个方面的元素的全部结构和功能等同物以引用的方式明确地并入本文中，并且旨在被权利要求所涵盖。此外，本文没有任何公开内容是想要奉献给公众的，无论这样的公开内容是否明确记载在权利要求中。不应将任何权利要求元素解释为单元加功能，除非明确地使用“用于……的单元”的措施来记载该元素。

Claims (44)

1.一种管理用于接口设备的信息的方法，所述方法包括：
检测所述接口设备的用户和一个人之间的当前身体接触以及所述用户和一个人之间的非身体接触中的一种；
如果检测到当前身体接触，则确定所述当前身体接触是初次接触还是后续接触；
如果所述当前身体接触是初次接触时，则将与这个人相关联的内容添加到先前接触的人的数据库中；
如果所述当前身体接触是后续接触，或者如果检测到当前非身体接触，则确定所述用户是否认识这个人；以及
如果所述用户不认识这个人，则向所述接口设备呈现与这个人相对应的信息。
2.根据权利要求1所述的方法，其中，检测当前身体接触包括以下各项中的一项或两项：
确定从所述用户的身体部分感测的电活动是否指示所述用户的第一动作；以及
确定从所述用户的身体部分感测的运动活动是否指示所述用户的第二动作。
3.根据权利要求2所述的方法，其中，确定感测的电活动是否指示第一动作包括：
将所感测的电活动与和所述第一动作相对应的电活动的标准进行比较；以及
当满足所述标准时，推断所述第一动作发生。
4.根据权利要求2所述的方法，其中，确定感测的运动活动是否指示第二动作包括：
将所感测的运动活动与和所述第二动作相对应的运动活动的标准进行比较；以及
当满足所述标准时，推断所述第二动作已经发生。
5.根据权利要求2所述的方法，其中，所述第一动作包括抓紧，而所述第二动作包括上下移动。
6.根据权利要求1所述的方法，其中，检测当前非身体接触包括：
确定一个人的属性是否满足与所述用户和这个人之间的紧密空间关系相对应的标准。
7.根据权利要求1所述的方法，其中，所述属性包括这个人的图像或者这个人的声音中的一个或多个。
8.根据权利要求1所述的方法，其中，确定所述当前身体接触是初次接触还是后续接触包括：
将这个人的图像与所述用户先前接触的人的图像的数据库中的图像进行比较；
如果这个人的所述图像与所述数据库中的图像不匹配，则推断所述当前身体接触是初次接触；以及
如果这个人的所述图像与所述数据库中的图像匹配，则推断所述当前身体接触是后续接触。
9.根据权利要求1所述的方法，其中，确定所述用户是否认识这个人包括：
获得这个人的当前属性；以及
扫描认识的人的数据库，以获得与所述数据库中与这个人的所述属性相匹配的属性相关联的标签，其中，所述标签指示所述用户认识这个人。
10.根据权利要求9所述的方法，其中，所述当前属性包括这个人的图像和这个人的声音中的至少一个。
11.根据权利要求1所述的方法，其中，向所述接口设备呈现信息包括：
扫描数据库，以获得与所述数据库中与这个人的属性相匹配的属性相关联的信息，其中，所述信息包括以下各项中的至少一项：这个人的标识以及所述用户和这个人之间的先前接触的概要。
12.根据权利要求11所述的方法，其中，所述信息被呈现为图像、音频或视频中的一种或多种。
13.一种用于管理用于接口设备的信息的系统，所述系统包括：
用于检测所述接口设备的用户和一个人之间的当前身体接触中的一个的单元；
用于检测所述用户和一个人之间的非身体接触的单元；
用于确定检测到的当前身体接触是初次接触还是后续接触的单元；
用于当所述当前身体接触是初次接触时，将与这个人相关联的内容添加到先前接触的人的数据库中的单元；
用于当所述当前身体接触是后续接触，或者检测到当前非身体接触时，确定所述用户是否认识这个人单元；以及
用于当所述用户不认识这个人时，向所述接口设备呈现与这个人相对应的信息的单元。
14.根据权利要求13所述的系统，其中，所述用于检测当前身体接触的单元包括以下各项中的一项或两项：
用于确定从所述用户的身体部分感测的电活动是否指示所述用户的第一动作的单元；以及
用于确定从所述用户的身体部分感测的运动活动是否指示所述用户的第二动作的单元。
15.根据权利要求14所述的系统，其中，所述用于确定感测的电活动是否指示第一动作的单元被配置为：
将所感测的电活动与和所述第一动作相对应的电活动的标准进行比较；以及
当满足所述标准时，推断所述第一动作发生。
16.根据权利要求14所述的系统，其中，所述用于确定感测的运动活动是否指示第二动作的单元被配置为：
将所感测的运动活动与和所述第二动作相对应的运动活动的标准进行比较；以及
当满足所述标准时，推断所述第二动作已经发生。
17.根据权利要求13所述的系统，其中，所述用于检测当前非身体接触的单元被配置为：
确定一个人的属性是否满足与所述用户和这个人之间的紧密空间关系相对应的标准。
18.根据权利要求13所述的系统，其中，所述用于确定所述当前身体接触是初次接触还是后续接触的单元被配置为：
将这个人的图像与所述用户先前接触的人的图像的数据库中的图像进行比较；
如果这个人的所述图像与所述数据库中的图像不匹配，则推断所述当前身体接触是初次接触；以及
如果这个人的所述图像与所述数据库中的图像匹配，则推断所述当前身体接触是后续接触。
19.根据权利要求13所述的系统，其中，所述用于确定所述用户是否认识这个人单元被配置为：
获得这个人的当前属性；以及
扫描认识的人的数据库，以获得与所述数据库中与这个人的所述属性相匹配的属性相关联的标签，其中，所述标签指示所述用户认识这个人。
20.根据权利要求13所述的系统，其中，所述用于向所述接口设备呈现信息的单元被配置为：
扫描数据库，以获得与所述数据库中与这个人的属性相匹配的属性相关联的信息，其中，所述信息包括以下各项中的至少一项：这个人的标识以及所述用户和这个人之间的先前接触的概要。
21.一种用于管理用于接口设备的信息的系统，所述系统包括：
一个或多个处理系统，其被配置为：
检测所述接口设备的用户和一个人之间的当前身体接触；
检测所述用户和一个人之间的非身体接触；
确定检测到的当前身体接触是初次接触还是后续接触；
当所述当前身体接触是初次接触时，将与这个人相关联的内容添加到先前接触的人的数据库中；
当所述当前身体接触是后续接触，或者检测到当前非身体接触时，确定所述用户是否认识这个人；以及
当所述用户不认识这个人时，向所述接口设备呈现与这个人相对应的信息。
22.一种用于管理用于接口设备的信息的计算机程序产品，所述产品包括：
一个或多个计算机可读介质，其包括用于执行以下操作的代码：
检测所述接口设备的用户和一个人之间的当前身体接触；
检测所述用户和一个人之间的非身体接触；
确定检测到的当前身体接触是初次接触还是后续接触；
当所述当前身体接触是初次接触时，将与这个人相关联的内容添加到先前接触的人的数据库中；
当所述当前身体接触是后续接触，或者检测到当前非身体接触时，确定所述用户是否认识这个人；以及
当所述用户不认识这个人时，向所述接口设备呈现与这个人相对应的信息。
23.一种管理用于接口设备的信息的方法，所述方法包括：
接收对所述接口设备的用户和一个人之间的当前身体接触的检测的指示；
确定所述当前身体接触是初次接触还是后续接触；以及
当所述当前身体接触是初次接触时，将与这个人相关联的内容添加到先前接触的人的数据库中。
24.根据权利要求23所述的方法，其中，确定所述当前身体接触是初次接触还是后续接触包括：
将这个人的图像与所述用户先前接触的人的图像的数据库中的图像进行比较；
如果这个人的图像与所述数据库中的图像不匹配，则推断所述当前身体接触是初次接触；以及
如果这个人的图像与所述数据库中的图像匹配，则推断所述当前身体接触是后续接触。
25.根据权利要求23所述的方法，还包括：
当所述当前身体接触是后续接触时，确定所述用户是否认识这个人；以及
当所述用户不认识这个人时，向所述接口设备呈现与这个人相对应的信息。
26.根据权利要求25所述的方法，其中，确定所述用户是否认识这个人包括：
获得这个人的当前属性；以及
扫描认识的人的数据库，以获得与所述数据库中与这个人的所述属性相匹配的属性相关联的标签，其中，所述标签指示所述用户认识这个人。
27.根据权利要求25所述的方法，其中，向所述接口设备呈现信息包括：
扫描数据库，以获得与所述数据库中与这个人的属性相匹配的属性相关联的信息，其中，所述信息包括以下各项中的至少一项：这个人的标识以及所述用户和这个人之间的先前接触的概要。
28.一种用于管理用于接口设备的信息的装置，所述装置包括：
用于接收对所述接口设备的用户和一个人之间的当前身体接触的检测的指示的单元；
用于确定所述当前身体接触是初次接触还是后续接触的单元；以及
用于当所述当前身体接触是初次接触时，将与这个人相关联的内容添加到先前接触的人的数据库中的单元。
29.根据权利要求28所述的装置，其中，所述用于确定所述当前身体接触是初次接触还是后续接触的单元被配置为：
将这个人的图像与所述用户先前接触的人的图像的数据库中的图像进行比较；
如果这个人的图像与所述数据库中的图像不匹配，则推断所述当前身体接触是初次接触；以及
如果这个人的图像与所述数据库中的图像匹配，则推断所述当前身体接触是后续接触。
30.根据权利要求28所述的装置，还包括：
用于当所述当前身体接触是后续接触时，确定所述用户是否认识这个人单元；以及
用于当所述用户不认识这个人时，向所述接口设备呈现与这个人相对应的信息的单元。
31.根据权利要求30所述的装置，其中，所述用于确定所述用户是否认识这个人单元被配置为：
获得这个人的当前属性；以及
扫描认识的人的数据库，以获得与所述数据库中与这个人的所述属性相匹配的属性相关联的标签，其中，所述标签指示所述用户认识这个人。
32.根据权利要求30所述的装置，其中，所述用于向所述接口设备呈现信息的单元被配置为：
扫描数据库，以获得与所述数据库中与这个人的属性相匹配的属性相关联的信息，其中，所述信息包括以下各项中的至少一项：这个人的标识以及所述用户和这个人之间的先前接触的概要。
33.一种用于管理用于接口设备的信息的装置，所述装置包括：
处理系统，其被配置为：
接收对所述接口设备的用户和一个人之间的当前身体接触的检测的指示；
确定所述当前身体接触是初次接触还是后续接触；以及
当所述当前身体接触是初次接触时，将与这个人相关联的内容添加到先前接触的人的数据库中。
34.一种用于管理用于接口设备的信息的计算机程序产品，所述产品包括：
一个或多个计算机可读介质，其包括用于执行以下操作的代码：
接收对所述接口设备的用户和一个人之间的当前身体接触的检测的指示；
确定所述当前身体接触是初次接触还是后续接触；以及
当所述当前身体接触是初次接触时，将与这个人相关联的内容添加到先前接触的人的数据库中。
35.一种对检测设备的用户和另一个人之间的身体交互进行检测的方法，所述方法包括：
确定从所述用户的身体部分感测的电活动是否指示所述用户与所述身体交互相关联的第一动作；以及
确定从所述用户的身体部分感测的运动活动是否指示所述用户与所述身体交互相关联的第二动作。
36.根据权利要求35所述的方法，其中，确定感测的电活动是否指示第一动作包括：
将所感测的电活动与和所述第一动作相对应的电活动的标准进行比较；以及
当满足所述标准时，推断所述第一动作发生。
37.根据权利要求35所述的方法，其中，确定感测的运动活动是否指示第二动作包括：
将所感测的运动活动与和所述第二动作相对应的运动活动的标准进行比较；以及
当满足所述标准时，推断所述第二动作发生。
38.根据权利要求35所述的方法，其中，所述第一动作包括手抓紧，而所述第二动作包括上下手臂移动。
39.一种用于对检测设备的用户和另一个人之间的身体交互进行检测的装置，所述装置包括：
用于确定从所述用户的身体部分感测的电活动是否指示所述用户与所述身体交互相关联的第一动作的单元；以及
用于确定从所述用户的身体部分感测的运动活动是否指示所述用户与所述身体交互相关联的第二动作的单元。
40.根据权利要求39所述的装置，其中，所述用于确定感测的电活动是否指示第一动作的单元被配置为：
将所感测的电活动与和所述第一动作相对应的电活动的标准进行比较；以及
当满足所述标准时，推断所述第一动作发生。
41.根据权利要求39所述的装置，其中，所述用于确定感测的运动活动是否指示第二动作的单元被配置为：
将所感测的运动活动与和所述第二动作相对应的运动活动的标准进行比较；以及
当满足所述标准时，推断所述第二动作发生。
42.根据权利要求39所述的装置，其中，所述第一动作包括手抓紧，而所述第二动作包括上下手臂移动。
43.一种用于对检测设备的用户和另一个人之间的身体交互进行检测的装置，所述装置包括：
处理系统，其被配置为：
确定从所述用户的身体部分感测的电活动是否指示所述用户与所述身体交互相关联的第一动作；以及
确定从所述用户的身体部分感测的运动活动是否指示所述用户与所述身体交互相关联的第二动作。
44.一种用于对检测设备的用户和另一个人之间的身体交互进行检测的计算机程序产品，所述产品包括：
计算机可读介质，其包括用于执行以下操作的代码：
确定从所述用户的身体部分感测的电活动是否指示所述用户与所述身体交互相关联的第一动作；以及
确定从所述用户的身体部分感测的运动活动是否指示所述用户与所述身体交互相关联的第二动作。
CN201480004378.7A 2013-01-14 2014-01-13 在头戴式显示器中利用身体握手 Active CN104919396B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/740,432 2013-01-14
US13/740,432 US9134792B2 (en) 2013-01-14 2013-01-14 Leveraging physical handshaking in head mounted displays
PCT/US2014/011280 WO2014110500A1 (en) 2013-01-14 2014-01-13 Leveraging physical handshaking in head mounted displays

Publications (2)

Publication Number Publication Date
CN104919396A true CN104919396A (zh) 2015-09-16
CN104919396B CN104919396B (zh) 2017-09-15

Family

ID=50070677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480004378.7A Active CN104919396B (zh) 2013-01-14 2014-01-13 在头戴式显示器中利用身体握手

Country Status (7)

Country Link
US (1) US9134792B2 (zh)
EP (1) EP2943854B1 (zh)
JP (1) JP6407889B2 (zh)
KR (1) KR102243977B1 (zh)
CN (1) CN104919396B (zh)
ES (1) ES2813611T3 (zh)
WO (1) WO2014110500A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106094989A (zh) * 2016-06-10 2016-11-09 北京行云时空科技有限公司 一种增强现实图像定位显示方法、装置和系统
CN108292417A (zh) * 2016-03-09 2018-07-17 麦克赛尔株式会社 便携式信息终端及其使用的信息处理方法
CN111971643A (zh) * 2018-02-14 2020-11-20 皇家飞利浦有限公司 对个人护理设备的定位

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102158209B1 (ko) * 2013-07-26 2020-09-22 엘지전자 주식회사 전자기기
US9646084B2 (en) * 2014-01-31 2017-05-09 Here Global B.V. Causation of storage of handshake greeting audio information
US9456070B2 (en) 2014-09-11 2016-09-27 Ebay Inc. Methods and systems for recalling second party interactions with mobile devices
EP3210096B1 (en) * 2014-10-21 2019-05-15 Robert Bosch GmbH Method and system for automation of response selection and composition in dialog systems
US9635167B2 (en) 2015-09-29 2017-04-25 Paypal, Inc. Conversation assistance system
US10152545B2 (en) * 2015-10-20 2018-12-11 Adobe Systems Incorporated Personalized recommendations using localized regularization
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
JP6669342B2 (ja) * 2018-03-31 2020-03-18 Ｎｌ技研株式会社 認知支援システム、認知支援装置、および認知支援サーバ
US20230122450A1 (en) * 2021-10-20 2023-04-20 Google Llc Anchored messages for augmented reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038333A (en) * 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system
WO2002099614A1 (en) * 2001-06-01 2002-12-12 Sony Corporation User input apparatus
CN101427262A (zh) * 2005-12-20 2009-05-06 通用仪表公司 用于基于面部识别提供用户简档的方法和装置
WO2012077909A2 (ko) * 2010-12-10 2012-06-14 숭실대학교산학협력단 근전도 센서와 자이로 센서를 이용한 지화 인식 방법 및 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5023663B2 (ja) * 2006-11-07 2012-09-12 ソニー株式会社 撮像装置、撮像方法
US7751597B2 (en) 2006-11-14 2010-07-06 Lctank Llc Apparatus and method for identifying a name corresponding to a face or voice using a database
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
JP4988016B2 (ja) 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
KR101672215B1 (ko) * 2010-04-26 2016-11-04 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
WO2012003844A1 (en) 2010-07-05 2012-01-12 Sony Ericsson Mobile Communications Ab Method for displaying augmentation information in an augmented reality system
US20120019557A1 (en) 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
US8818025B2 (en) * 2010-08-23 2014-08-26 Nokia Corporation Method and apparatus for recognizing objects in media content
KR101761314B1 (ko) 2010-12-03 2017-07-26 삼성전자주식회사 생체 신호 측정 로봇 및 그 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038333A (en) * 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system
WO2002099614A1 (en) * 2001-06-01 2002-12-12 Sony Corporation User input apparatus
CN101427262A (zh) * 2005-12-20 2009-05-06 通用仪表公司 用于基于面部识别提供用户简档的方法和装置
WO2012077909A2 (ko) * 2010-12-10 2012-06-14 숭실대학교산학협력단 근전도 센서와 자이로 센서를 이용한 지화 인식 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A.AUGIMERI，ET AL: "A Cooperative Approach for Handshake Detection", 《2010 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS，MAN AND CYBERNETICS（SMC）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292417A (zh) * 2016-03-09 2018-07-17 麦克赛尔株式会社 便携式信息终端及其使用的信息处理方法
CN106094989A (zh) * 2016-06-10 2016-11-09 北京行云时空科技有限公司 一种增强现实图像定位显示方法、装置和系统
CN111971643A (zh) * 2018-02-14 2020-11-20 皇家飞利浦有限公司 对个人护理设备的定位

Also Published As

Publication number Publication date
JP2016507099A (ja) 2016-03-07
JP6407889B2 (ja) 2018-10-17
EP2943854B1 (en) 2020-06-24
KR102243977B1 (ko) 2021-04-22
WO2014110500A1 (en) 2014-07-17
EP2943854A1 (en) 2015-11-18
ES2813611T3 (es) 2021-03-24
KR20150106425A (ko) 2015-09-21
CN104919396B (zh) 2017-09-15
US9134792B2 (en) 2015-09-15
US20140198956A1 (en) 2014-07-17

Similar Documents

Publication Publication Date Title
CN104919396A (zh) 在头戴式显示器中利用身体握手
CN104995581B (zh) 电子设备的手势检测管理
WO2019137167A1 (zh) 相册管理方法、装置、存储介质及电子设备
CN104919397A (zh) 针对表面上的姿势识别的emg的使用
CN105393191A (zh) 自适应事件识别
WO2017213861A1 (en) Communicating information via a computer-implemented agent
KR101978299B1 (ko) 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치
US9013591B2 (en) Method and system of determing user engagement and sentiment with learned models and user-facing camera images
CN110298212B (zh) 模型训练方法、情绪识别方法、表情显示方法及相关设备
CN112329740A (zh) 图像处理方法、装置、存储介质和电子设备
KR102546510B1 (ko) 복수의 입력 간에 매핑된 정보 제공 방법 및 이를 지원하는 전자 장치
CN109756626B (zh) 一种提醒方法和移动终端
CN103793527B (zh) 一种基于手势追踪的手语翻译方法及系统
CN113392180A (zh) 文本处理方法、装置、设备及存储介质
Roy et al. CovidAlert-a wristwatch-based system to alert users from face touching
CN107195163B (zh) 一种报警方法、装置和可穿戴设备
CN112287070A (zh) 词语的上下位关系确定方法、装置、计算机设备及介质
Bashir et al. A smart sensor-based gesture recognition system for media player control
US11574553B2 (en) Feeling experience correlation
CN110213446A (zh) 一种通话方法及移动终端
US20240061530A1 (en) Spurious hand signal rejection during stylus use
Wang EGOFALLS: A visual-audio dataset and benchmark for fall detection using egocentric cameras
US20230133579A1 (en) Visual attention tracking using gaze and visual content analysis
Rahman Robust Modeling of Epistemic Mental States and Their Applications in Assistive Technology
Gustafsson Eye Movement Analysis for Activity Recognition in Everyday Situations

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant