CN106570441A - 用于姿态识别的系统 - Google Patents

用于姿态识别的系统 Download PDF

Info

Publication number
CN106570441A
CN106570441A CN201510649556.8A CN201510649556A CN106570441A CN 106570441 A CN106570441 A CN 106570441A CN 201510649556 A CN201510649556 A CN 201510649556A CN 106570441 A CN106570441 A CN 106570441A
Authority
CN
China
Prior art keywords
filter layer
light
equipment
camera
film
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510649556.8A
Other languages
English (en)
Inventor
芮勇
李志伟
蔡锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN201510649556.8A priority Critical patent/CN106570441A/zh
Priority to PCT/US2016/054567 priority patent/WO2017062263A1/en
Publication of CN106570441A publication Critical patent/CN106570441A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G02B5/285—Interference filters comprising deposited thin solid films
    • G02B5/286—Interference filters comprising deposited thin solid films having four or fewer layers, e.g. for achieving a colour effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1341—Sensing with light passing through the finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Toxicology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Position Input By Displaying (AREA)

Abstract

在本公开中，提供一种用于姿态识别的辅助设备。该设备可以与主设备上的相机结合使用，主设备例如是多功能便携式电子设备。该辅助设备至少部分地包括第一滤光层和第二滤光层。第一滤光层将环境光中的可见光过滤掉，以获得不可见光。不可见光继而到达第二滤光层，在此不可见光的光谱被迁移到可见光谱的范围内。随后，经过迁移的不可见光由相机接收以用于姿态识别。也即，相机处的成像基于形式上为可见光但是包含不可见光谱信息的光。通过基于这样的图像识别姿态，可以显著降低或者消除背景噪。

Description

用于姿态识别的系统
背景技术
姿态识别允许设备识别姿态，这些姿态源自身体的运动或者状态，例如来自用户的脸或手。以此方式，设备的人机接口(HMI)允许用户与设备自然地通信和加护，而无需机械设备。例如，当用户利用他/她的手指做出一个手势时，设备识别该手势并且相应地动作。作为示例，响应于用户的挥动手势，光标或者其他对象可以在设备的显示屏上移动。
一般而言，姿态识别是借助于计算机视觉和图像处理的技术完成的。在姿态识别中，通常需要将手指等前景从背景中分离出来。这个基本过程对于某些相机而言是具有挑战性的，例如移动电话上的RGB相机，特别是当背景包含复杂的纹理时。
发明内容
根据本文所描述主题的实现，提供用于姿态识别的辅助设备。该设备可以与主设备上的相机结合使用，主设备例如是多功能便携式电子设备。该辅助设备至少部分地包括第一滤光层和第二滤光层。第一滤光层将环境光中的可见光过滤掉，以获得不可见光。不可见光继而到达第二滤光层，在此不可见光的光谱被迁移到可见光谱的范围内。随后，经过迁移的不可见光由相机接收以用于姿态识别。也即，相机处的成像基于形式上为可见光但是包含不可见光谱信息的光。通过基于这样的图像识别姿态，可以显著降低或者消除背景噪声。
提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。
附图说明
图1示出了本文所描述主题的实现可实现于其中的环境的框图；
图2A、图2B和图2C示出了根据本文所描述主题的实现的辅助设备的示意图；
图3示出了根据本文所描述主题的实现的辅助设备的滤光部分的框图；
图4示出了根据本文所描述主题的实现的基于辅助设备所过滤的光而获得的用户手部的示例图像；
图5示出了根据本文所描述主题的实现的与辅助设备结合而是用的设备的框图；
图6示出了根据本文所描述主题的实现的集成头盔的框图；以及
图7示出了用于使用根据本文所描述主题的实现的辅助设备的方法的流程图。
在所有附图中，相同或者相似的参考标号指代相同或者相似的元素。
具体实施方式
现在将参照若干示例实现来描述本文所描述的主题。应当理解，论述了这些实现仅是用于使得本领域普通技术人员能够更好地理解且因此实现本文所描述的主题，而不是暗示对本主题的范围的任何限制。
如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“或者”要被解读为“和/或”，除非上下文明确另外指示。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”、“第三”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
根据本文所描述主题的实现，提供用于姿态识别的辅助设备。该设备可以与主设备上的相机结合使用，主设备例如是多功能便携式电子设备。该辅助设备至少部分地包括第一滤光层和第二滤光层。第一滤光层将环境光中的可见光过滤掉，以获得不可见光。不可见光继而到达第二滤光层，在此不可见光的光谱被迁移到可见光谱的范围内。随后，经过迁移的不可见光由相机接收以用于姿态识别。也即，相机处的成像基于形式上为可见光但是包含不可见光谱信息的光。通过基于这样的图像识别姿态，可以显著降低或者消除背景噪声。
图1示出了本文所描述主题的实现可以实现于其中的环境。如图所示，辅助设备100可以与主设备110结合使用。在此示例中，主设备至少部分地被包含在辅助设备100中。在备选实现中，辅助设备100和主设备110可以以其他适当的方式结合工作。辅助设备100包括滤光部分102，并且主设备110包括相机112。根据本文所描述主题的实现，滤光部分102以这样的方式布置，是的环境光经由滤光部分102到达主设备110的相机112。也即，滤光部分位于通往相机112的光路上。以此方式，当用户执行一个姿态时，光将首先被辅助设备100的滤光部分102接收到。经过滤光部分102滤波的光被相机112感测以便进行成像和姿态识别，这将在下文描述。
在某些实现中，辅助设备100是一个容器，其可以容纳主设备110的至少一部分。图2A-2C示出了辅助设备100的示例实现的示意图。在此示例中，辅助设备100是一个盒子形的容器，并且主设备是一个智能电话，其被容纳在辅助设备100中。例如，主设备110的显示器的屏幕区域被划分为两个或者更多屏幕部分。在所示的示例中，有两个屏幕部分114和116。辅助设备100包括一个或更多观看孔。在所示的示例中，有两个观看孔124和126，其分别允许用户看到被呈现在屏幕部分114和116上的内容。通过分别在屏幕部分114和116上呈现用于右眼和左眼的虚拟显示(VR)内容，辅助设备100可以被用户作为一个VR头盔穿戴和使用。
如图2C所示，辅助设备100还包括相机孔128，主设备110的相机112可以经由相机孔128接收到光。在相机112和显示器位于主设备110的不同侧的实施例中，当辅助设备100封闭主设备110时，相机孔128和观看孔124和126位于辅助设备100的不同侧。相机孔128和观看孔124和126的其他相对位置同样可能。将会理解，在某些实现中，主设备110可以包括不至一个相机112。由此，辅助设备100可以具有不至一个相机孔128。
在某些实现中，滤光部分102的形式是一个或多个膜。在这样的实现中，薄膜可以被布置在辅助设备100上以覆盖相机孔128。以此方式，光在到达相机112之前要先通过膜。其他布置同样是可行的。将会理解，滤光部分102并非一定要实现为膜。例如，一个或多个光学滤波器可以充当滤光部分102。示例实现将在下文详述。
图3示出了根据本文所描述主题的实现的辅助设备100的滤光部分102的框图。一般地，滤光部分102包括两个滤光层310和320。环境光首先到达第一滤光层310，而后到达第二滤光层320。第一滤光层是可见光过滤层，其被泳衣将可见光从接收到的环境光中过滤掉。由此，到达第二滤光层320的光仅仅包含不可见光，诸如红外光。第二滤光层320用来将不可见光的光谱迁移到可见光谱的范围内。在一个实现中，不可见光的波长例如可以被修改为380到760纳米。用于光谱迁移的各种技术均可在此使用，不论是目前已知的还是将来开发的，这将在下文描述。
在某些实现中，第一滤光层310和第二滤光层320可以被实现为一个或多个膜，如上所述。在一个实现中，滤光层310和320被实现为两个独立的膜，分别用于过滤可见光和迁移不可见光的光谱。这两个膜彼此贴合在一起。在另一实现中，取代双膜配置，第一滤光膜310和第二滤光膜320可以被一体化形成为单个膜，其不仅过滤可见光，还迁移剩余的不可见光的光谱。取代薄膜或者除此之外，在其他实现中，第一滤光层310和/或第二滤光层320可以被实现为光学滤波器、镜头和/或其他适当的光学器件。
第一滤光层310和/或第二滤光层320可以用任何适当的材料制备，该材料能够过滤掉特定波长的可见光和/或迁移不可见光谱。例如，在某些实现中，第一滤光层310和/或第二滤光层320可以被实现为吸收滤光器，其添加有有机或者无机组分。这些组分被用来吸收特定波长的可见光，而允许不可见光通过。组分的示例包括有机物。在一个实现中，组分被添加在玻璃的衬底上。备选地，组分也可以被添加在塑料(通常是聚碳酸酯或者丙烯酸)上以产生胶体滤光器，它比基于玻璃的滤光器更轻、更便宜。在又一实现中，可以使用树脂来形成第一滤光层310和/或第二滤光层320。
备选地或者附加地，第一滤光层310和/或第二滤光层320可以被制成干涉滤光器。具有不同折射率的光学涂层可以被形成在例如由玻璃或者树脂构成的衬底上。不同折射率的不同涂层之间的接口产生了相位反射，从而能够选择性地增强不可见光并且与可见光发生干涉。可以向涂层添加真空沉积。通过控制涂层的厚度和数目，滤光层的通频带(passband)的波长可以根据需要被调节和调整宽窄。任何其他适当的实现也是可能的。
通过如上所述利用滤光部分102来过滤和处理光线，主设备110的相机112可以感测和捕获的光在形式上在可见光谱的范围内，但是携带的是不可将光的信息。以此方式，现成的相机也可以与辅助设备100结合使用。已知的是，传统相机通常包括将红外光过滤掉的内部滤光器。通过将诸如红外光的不可将光迁移到可见光谱的范围内，相机可以直接感测和处理所接收到的在可见光谱范围内的光，从而正确地成像。
同时，通过基于实质上的不可见光信息来成像，可以显著地降低甚至消除环境光中的噪声。图4示出了用户的手部的示例图像400，其由主设备110的相机112基于辅助设备100的滤光部分102所过滤的光而生成。图像400可以被视作一种红外图。可以看到，该红外图包含的噪声非常少。主设备110可以向图像400应用姿态识别过程，以识别用户的姿态并且相应地动作。将会理解，与直接基于环境光而获得的常规图像相比，使用图像400能够更加准确、有效地分离前景和背景，这将改进姿态识别的精度和效率。
图5示出了可以与根据本文所描述主题的实现的辅助设备100结合使用的主设备110的框图。主设备110的示例包括但不限于诸如移动电话或者平板式计算机的多功能便携式设备、桌面型个人计算机(PC)，等等。应当理解，由于各种实现可以在多样的通用或专用计算环境中实现，所以设备110并不意图暗示对本文所描述的主题的使用或功能的范围进行任何限制。
如图所示，主设备110包括至少一个处理单元(或称处理器)510、存储器520、存储设备530、一个或多个输入设备540、一个或多个输出设备550以及一个或多个通信连接560。特别地，输入设备540包括相机112。相机112被配置为接收由辅助设备100的滤光部分102过滤的光并且声称一个或多个图像，诸如红外图像。处理单元510执行计算机可执行指令并且可以使真实的或者虚拟的处理器。处理单元510可以基于生成的一个或多个图像来识别用户的姿态。继而，处理单元510可以控制主设备110根据识别出的姿态进行动作。
一个或多个输出设备550可以包括显示器552，诸如触敏屏幕显示器，用于向用户呈现内容。在某些实现中，显示器552的屏幕可以被划分为至少两个部分，以便分别向用户的左眼和右眼呈现VR内容。主设备110可以被放置在辅助设备100中，辅助设备100可被制造为如图2A-2C所示的容器。用户可以将辅助设备100当作头盔穿戴，并且通过辅助设备100上的至少一个观看孔(诸如观看孔124和126)来观看VR内容。相机112与相机孔128对准，相机孔128由滤光部分102覆盖。以此方式，用户可以使用其手指来执行手势，以便操作主设备110。例如，用户可以操纵显示器552上呈现的VR内容。
储存设备530可以是可移动的或不可移动的，并且可以包括计算机可读储存媒体，诸如快闪驱动器、磁盘或者可以用来存储信息并且在主设备110内可以被访问的任何其他媒体。通信连接560使得在通信媒体上能够实现至另一计算实体的通信。另外，主设备110的部件的功能可以实现在能够在通信连接上进行通信的单个计算机器或多个计算机器中。
在上文描述的示例中，辅助设备100和主设备110彼此分离。在备选实现中，辅助设备100和主设备110可以被集成在单个设备中。也即，本文所描述主题可以被实现为分离的设备；也可以被实现为诸如头盔的集成设备或系统，其具有内置于其中的所有所需元件。图6示出了根据本文所描述主题的实现的头盔的框图。
如图所示，头盔600不仅包括相机112，还包括滤光部分102。用户可以直接佩戴头盔600，无需如图1和图2A-2C那样装配主设备和辅助设备。在某些实现中，滤光部分102的滤光层310和320可以可拆卸地附接到相机112的镜头。还可以直接将滤光层310和320集成到相机112的镜头中。此外，头盔600可以包括显示器610以用于呈现VR内容之类的内容；处理单元(未示出)以用于控制头盔600的诸元件；以及任何其他所需元件。在此示例中，显示器610和相机112位于头盔610的不同侧。根据头盔600的形状，其他布置也是可能的。将会理解，上文参考图1到图5描述的所有特征均适用于图6。
图7示出了根据本文所描述主题的实现的用于使用辅助设备的方法700的流程图。如图所示，在步骤710，从环境光中过滤掉可见光以获得不可将光。接下来，在步骤720，将所述不可将光的光谱迁移到可见光谱范围。如上所述，经过迁移的不可见光被相机用于生成低噪声图像以用于识别姿态。以此方式，提高了姿态识别的精度。将会理解，上文参考图1到图7描述的所有特征均适用于图7中所示的方法700。
可以至少部分地由一个或多个硬件逻辑部件来执行本文所描述的功能。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本文所描述的主题的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开内容的上下文中，机器可读媒体可以是有形的媒体，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读媒体可以是机器可读信号媒体或机器可读储存媒体。机器可读媒体可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储媒体的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现谢姐，但是这些不应当被解释为对本文所描述的主题的范围的限制。在单独的实现的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
本文中所描述的主题的一些示例实现在下面列出。
在某些实现中，提供一种系统。该系统包括滤光部分，该滤光部分包括：第一滤光层，用于从环境光中过滤掉可见光以获得不可将光，以及第二滤光层，用于将所述不可将光的光谱迁移到可见光谱范围。该系统还包括：相机，被配置为基于所述可将光谱范围内的经过迁移的不可将光生成图像；显示器，被配置为向用户绘制内容；以及处理器，被配置为基于生成的所述图像来识别所述用户执行的姿态，并且基于识别的所述姿态来控制呈现的所述内容。
在某些实现中，所述第一滤光层和第二滤光层被一体化形成为单个膜。在某些实现中，所述第一滤光层是第一膜，并且其中所述第二滤光层是不同于所述第一膜的第二膜。所述第一膜和第二膜彼此贴合。在某些实现中，所述第一滤光层和第二滤光层中的至少一个由玻璃、树脂或者胶体制成。在某些实现中，所述第一滤光层和第二滤光层中的至少一个包括具有不同折射率的光学涂层，以用于增强所述不可将光并且与所述可见光发生干涉。在某些实现中，所述第一滤光层和第二滤光层中的至少一个包括用于吸收所述可见光并且传播所述不可见光的组分。
在某些实现中，所述显示器和所述相机位于设备的相对侧。在某些实现中，呈现在所述显示器上的所述内容包括虚拟现实VR内容。在某些实现中，所述显示器的屏幕区域被划分为多个部分以用于呈现所述VR内容。
在某些实现中，提供一种与相机结合使用的设备。该设备包括：第一滤光层，用于从环境光中过滤掉可见光以获得不可将光；以及第二滤光层，用于将所述不可将光的光谱迁移到可见光谱范围。经过迁移的不可见光被所述相机用于生成低噪声图像以用于识别姿。态。
在某些实现中，所述第一滤光层和第二滤光层中的至少一个包括膜。在某些实现中，所述第一滤光层和第二滤光层被一体化形成为膜。在某些实现中，所述第一滤光层是第一膜，并且其中所述第二滤光层是不同于所述第一膜的第二膜，所述第一膜和第二膜彼此贴合。在某些实现中，所述第一滤光层和第二滤光层中的至少一个由玻璃、树脂或者胶体制成。在某些实现中，所述第一滤光层和第二滤光层中的至少一个包括具有不同折射率的光学涂层，以用于增强所述不可将光并且与所述可见光发生干涉。在某些实现中，所述第一滤光层和第二滤光层中的至少一个包括用于吸收所述可见光并且传播所述不可见光的组分。
在某些实现中，所述设备包括容器，用于容纳包括所述相机的多功能便携式设备，所述容器具有相机孔，所述相机经由所述相机孔接收经过迁移的不可见光，所述第一滤光层和所述第二滤光层覆盖所述相机孔。在某些实现中，所述设备是一个可穿戴头盔，其允许用户通过所述姿态来控制所述多功能便携式设备。在某些实现中，所述设备还包括至少一个观看孔，其允许用户观看所述多功能便携式设备的显示器上所呈现的内容。
在某些实现中，提供一种方法。该方法包括：从环境光中过滤掉可见光以获得不可将光；以及将所述不可将光的光谱迁移到可见光谱范围，经过迁移的不可见光被所述相机用于生成低噪声图像以用于识别姿态。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种系统，包括：
滤光部分，包括：
第一滤光层，用于从环境光中过滤掉可见光以获得不可将光，以及
第二滤光层，用于将所述不可将光的光谱迁移到可见光谱范围；
相机，被配置为基于所述可将光谱范围内的经过迁移的不可将光生成图像；
显示器，被配置为向用户绘制内容；以及
处理器，被配置为基于生成的所述图像来识别所述用户执行的姿态，并且基于识别的所述姿态来控制呈现的所述内容。
2.根据权利要求1所述的系统，其中所述第一滤光层和第二滤光层被一体化形成为单个膜。
3.根据权利要求1所述的系统，其中所述第一滤光层是第一膜，并且其中所述第二滤光层是不同于所述第一膜的第二膜，所述第一膜和第二膜彼此贴合。
4.根据权利要求1所述的系统，其中所述第一滤光层和第二滤光层中的至少一个由玻璃、树脂或者胶体制成。
5.根据权利要求1所述的系统，其中所述第一滤光层和第二滤光层中的至少一个包括具有不同折射率的光学涂层，以用于增强所述不可将光并且与所述可见光发生干涉。
6.根据权利要求1所述的系统，其中所述第一滤光层和第二滤光层中的至少一个包括用于吸收所述可见光并且传播所述不可见光的组分。
7.根据权利要求1所述的系统，其中所述显示器和所述相机位于设备的相对侧。
8.根据权利要求1所述的系统，其中呈现在所述显示器上的所述内容包括虚拟现实VR内容。
9.根据权利要求8所述的系统，其中所述显示器的屏幕区域被划分为多个部分以用于呈现所述VR内容。
10.一种与相机结合使用的设备，包括：
第一滤光层，用于从环境光中过滤掉可见光以获得不可将光；以及
第二滤光层，用于将所述不可将光的光谱迁移到可见光谱范围，经过迁移的不可见光被所述相机用于生成低噪声图像以用于识别姿态。
11.根据权利要求10所述的设备，其中所述第一滤光层和第二滤光层中的至少一个包括膜。
12.根据权利要求10所述的设备，其中所述第一滤光层和第二滤光层被一体化形成为膜。
13.根据权利要求10所述的设备，其中所述第一滤光层是第一膜，并且其中所述第二滤光层是不同于所述第一膜的第二膜，所述第一膜和第二膜彼此贴合。
14.根据权利要求10所述的设备，其中所述第一滤光层和第二滤光层中的至少一个由玻璃、树脂或者胶体制成。
15.根据权利要求10所述的设备，其中所述第一滤光层和第二滤光层中的至少一个包括具有不同折射率的光学涂层，以用于增强所述不可将光并且与所述可见光发生干涉。
16.根据权利要求10所述的设备，其中所述第一滤光层和第二滤光层中的至少一个包括用于吸收所述可见光并且传播所述不可见光的组分。
17.根据权利要求10所述的设备，其中所述设备包括容器，用于容纳包括所述相机的多功能便携式设备，所述容器具有相机孔，所述相机经由所述相机孔接收经过迁移的不可见光，所述第一滤光层和所述第二滤光层覆盖所述相机孔。
18.根据权利要求17所述的设备，其中所述设备是一个可穿戴头盔，其允许用户通过所述姿态来控制所述多功能便携式设备。
19.根据权利要求17所述的设备，其中所述设备还包括至少一个观看孔，其允许用户观看所述多功能便携式设备的显示器上所呈现的内容。
20.一种方法，包括：
从环境光中过滤掉可见光以获得不可将光；以及
将所述不可将光的光谱迁移到可见光谱范围，经过迁移的不可见光被所述相机用于生成低噪声图像以用于识别姿态。
CN201510649556.8A 2015-10-09 2015-10-09 用于姿态识别的系统 Pending CN106570441A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510649556.8A CN106570441A (zh) 2015-10-09 2015-10-09 用于姿态识别的系统
PCT/US2016/054567 WO2017062263A1 (en) 2015-10-09 2016-09-30 System for gesture recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510649556.8A CN106570441A (zh) 2015-10-09 2015-10-09 用于姿态识别的系统

Publications (1)

Publication Number Publication Date
CN106570441A true CN106570441A (zh) 2017-04-19

Family

ID=57145035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510649556.8A Pending CN106570441A (zh) 2015-10-09 2015-10-09 用于姿态识别的系统

Country Status (2)

Country Link
CN (1) CN106570441A (zh)
WO (1) WO2017062263A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107172338A (zh) * 2017-06-30 2017-09-15 联想(北京)有限公司 一种摄像头及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7312434B1 (en) * 2006-12-26 2007-12-25 Eaton Corporation Method of filtering spectral energy
US20080048936A1 (en) * 2006-08-10 2008-02-28 Karlton Powell Display and display screen configured for wavelength conversion
CN101184161A (zh) * 2007-12-10 2008-05-21 深圳市通宝莱科技有限公司 适宜全天候使用的摄录机
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN103631018A (zh) * 2012-08-21 2014-03-12 鸿富锦精密工业（深圳）有限公司 显示系统及头戴式显示装置
CN103814343A (zh) * 2011-07-20 2014-05-21 谷歌公司 在可穿戴计算系统上操纵和显示图像
WO2015003721A1 (en) * 2013-07-09 2015-01-15 Danmarks Tekniske Universitet Multi-channel up-conversion infrared spectrometer and method of detecting a spectral distribution of light
CN104301633A (zh) * 2014-11-03 2015-01-21 倪蔚民 移动终端可见光和生物识别组合光电成像系统及方法
CN104737531A (zh) * 2012-10-11 2015-06-24 耐克创新有限合伙公司 操纵照相机光谱用于物品样品的假色渲染的方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080048936A1 (en) * 2006-08-10 2008-02-28 Karlton Powell Display and display screen configured for wavelength conversion
US7312434B1 (en) * 2006-12-26 2007-12-25 Eaton Corporation Method of filtering spectral energy
CN101184161A (zh) * 2007-12-10 2008-05-21 深圳市通宝莱科技有限公司 适宜全天候使用的摄录机
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN103814343A (zh) * 2011-07-20 2014-05-21 谷歌公司 在可穿戴计算系统上操纵和显示图像
CN103631018A (zh) * 2012-08-21 2014-03-12 鸿富锦精密工业（深圳）有限公司 显示系统及头戴式显示装置
CN104737531A (zh) * 2012-10-11 2015-06-24 耐克创新有限合伙公司 操纵照相机光谱用于物品样品的假色渲染的方法和系统
WO2015003721A1 (en) * 2013-07-09 2015-01-15 Danmarks Tekniske Universitet Multi-channel up-conversion infrared spectrometer and method of detecting a spectral distribution of light
CN104301633A (zh) * 2014-11-03 2015-01-21 倪蔚民 移动终端可见光和生物识别组合光电成像系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107172338A (zh) * 2017-06-30 2017-09-15 联想(北京)有限公司 一种摄像头及电子设备

Also Published As

Publication number Publication date
WO2017062263A1 (en) 2017-04-13

Similar Documents

Publication Publication Date Title
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US10437347B2 (en) Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10001845B2 (en) 3D silhouette sensing system
KR102258047B1 (ko) 증강 현실 아이덴티티 검증
JP6090140B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20130050069A1 (en) Method and system for use in providing three dimensional user interface
CN108475120A (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
US20180143693A1 (en) Virtual object manipulation
CN107710132A (zh) 用于施加用于表面约束控制的自由空间输入的方法和装置
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
JP6776578B2 (ja) 入力装置、入力方法、コンピュータープログラム
US9971490B2 (en) Device control
WO2022169604A1 (en) Intention image analysis for determining user focus
CN106570441A (zh) 用于姿态识别的系统
WO2023230291A2 (en) Devices, methods, and graphical user interfaces for user authentication and device management
CN109857244A (zh) 一种手势识别方法、装置、终端设备、存储介质及vr眼镜
Bhowmik 35‐1: Invited Paper: Real‐Time 3D‐Sensing Technologies and Applications in Interactive and Immersive Devices
US20240070243A1 (en) Authenticating a selective collaborative object
US20240069643A1 (en) Physical gesture interaction with objects based on intuitive design
US20240071020A1 (en) Real-world responsiveness of a collaborative object
US20240070302A1 (en) Collaborative object associated with a geographical location
US20240069642A1 (en) Scissor hand gesture for a collaborative object
US20240070300A1 (en) Selective collaborative object access based on timestamp
US12013985B1 (en) Single-handed gestures for reviewing virtual content
US20240070299A1 (en) Revealing collaborative object using countdown timer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170419