CN108885482B - 用于包括映像的视场中的增强现实的方法、设备、系统、装置和介质 - Google Patents

用于包括映像的视场中的增强现实的方法、设备、系统、装置和介质 Download PDF

Info

Publication number
CN108885482B
CN108885482B CN201780022001.8A CN201780022001A CN108885482B CN 108885482 B CN108885482 B CN 108885482B CN 201780022001 A CN201780022001 A CN 201780022001A CN 108885482 B CN108885482 B CN 108885482B
Authority
CN
China
Prior art keywords
user
image
data
augmented reality
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780022001.8A
Other languages
English (en)
Other versions
CN108885482A (zh
Inventor
R·费伦斯
B·赫维茨
C·道林
G·卡米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN108885482A publication Critical patent/CN108885482A/zh
Application granted granted Critical
Publication of CN108885482B publication Critical patent/CN108885482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

用于增强现实的系统、装置和/或方法。对象标识器可标识用户的视场中的对象，该对象包括来自反射表面的用户的映像，该反射表面诸如传统的镜子的表面。另外，现实增强器可基于该对象的标识来生成增强现实对象。在一个示例中，包括相对透明的显示屏的眼镜可与用户身上的图像捕捉设备耦合，并且当用户佩戴眼镜时，可由该用户在透明显示屏上观察到增强现实对象。定位器可在透明的显示屏上相对于用户的映像来定位增强现实对象，该用户的映像在由用户对该映像的自然视觉感知期间通过该透明的显示屏。

Description

用于包括映像的视场中的增强现实的方法、设备、系统、装置和介质
相关申请的交叉引用
本申请要求2016年3月31日提交的美国非临时专利申请号15/087,478的优先权权益。
技术领域
实施例总体上涉及增强现实。更具体地，实施例涉及包括映像的视场中的增强现实。
背景技术
提供智能镜功能的系统可包括具有传感器的相对复杂的显示技术。例如，触摸屏智能镜可包括三维(3D)相机、多光谱相机、面部识别组件、气体传感器等等。在一个系统中，包括相对高反射率的透明的有机发光二极管(OLED)显示器可提供虚拟试衣间功能。其他系统可改善用户的外观，可基于对面部的长时间分析来提供健康报告，等等。然而，由于增强的镜或显示技术，此类系统的成本可能比传统的镜高出多个数量级。因此，为现实增强提供智能镜功能存在相当大的改善的空间。
附图说明
通过阅读以下说明书和所附权利要求并通过参考以下附图，实施例的各种优点对于本领域技术人员将变得显而易见，其中：
图1A-图1B是根据实施例的用于使用眼镜和传统的镜子来增强现实的方法的示例的图示；
图2是根据实施例的用于增强现实的装置的示例的图示；
图3是根据实施例的用于增强现实的方法的示例的图示；以及
图4是根据实施例的处理器的示例的框图。
具体实施方式
现在转向图1A-图1B，示出了根据实施例用于增强现实的方法10。如在图1A中所图示，用户12站在传统的镜子16的反射表面14的前面，并且做出包括抬起手臂18的姿势，手臂18由衣服20的袖子覆盖并且与可穿戴设备22耦合。衣服20包括缺少(例如，编织的、印刷的、缝合等的)图案的毛衣，并且可穿戴设备22包括智能手表，该智能手表提供用户12、可穿戴设备22和/或环境24(例如，房间等)的传感器数据。例如，可穿戴设备22可提供用户12的气体传感器数据、用户12的脉搏传感器数据、用户12的血压数据、用户12和/或可穿戴设备22的加速度数据、用户12和/或可穿戴设备22的取向数据、用户12和/或环境24的温度数据、用户12、可穿戴设备22和/或环境24的位置数据，等等。
用户12佩戴包括透明显示屏28(28a-28b)的眼镜26，在由用户12对于对象的自然视觉感知期间，这些对象的图像通过该透明显示屏28(28a-28b)传递到用户12的眼睛。透明显示屏28可包括例如具有相对低反射率的透明的有机发光二极管(OLED)显示屏。眼镜26进一步包括图像捕捉设备32，其可包括二维(2D)相机、三维(3D)相机、多光谱相机、热相机，等等。在所图示的示例中，图像捕捉设备32包括测距相机(例如，RGB-D相机等)，以生成针对图像捕捉设备32的视场中的对象的图像数据(例如，RGB数据等)和/或深度数据(例如，像素深度数据等)。图像数据和/或深度数据可基于例如立体三角测量、片光三角测量、结构化的光、飞行时间、干涉测量、编码孔径等等来生成。
在所图示的示例中，镜子16也包括面向用户12的图像捕捉设备34，以生成针对图像捕捉设备34的视场中的对象的图像数据和/或深度数据。值得注意的是，图像捕捉设备34可跟踪图像捕捉设备32的视场之内或之外的对象，以提供用于跟踪姿势和/或用于补充自我中心的视点的扩大的视场。此外，当用户12移动时由图像捕捉设备32、34生成的数据之间的同步可提供数据之间的对应关系，以使涉及来自延迟的可用性的问题最小化和/或使增强现实功能的准确性最大化。例如，图像捕捉设备34可转发消息(例如，通知姿势、图像数据、深度数据的元数据等)，以指示已经观察到可被利用来验证由图像捕捉设备32观察到的姿势的姿势，以补充图像捕捉设备32响应于姿势而生成的数据，等等。
可标识用户12的视场中和/或图像捕捉设备32、34的视场中的对象。例如，可标识对应于用户12的视场中的映像30的虚拟对象。在一个实施例中，可基于来自映像30的特征数据(例如，腕带、形状因子等)来标识用户12上的设备。还可基于来自映像30的特征数据(例如，眼睛、鼻子、嘴巴等)来标识用户12的面部。此外，可基于来自映像30的骨架数据(例如，“跟踪的”骨架数据、“仅位置”骨架数据等)来标识用户12的身体位置。映像30还可用于基于特征数据、骨架数据、姿势数据(例如，手指/手部等)等等来标识由用户12作出的姿势。
类似地，可标识用户12的视场中和/或图像捕捉设备32的视场中的现实对象，诸如，镜子16。此外，可标识图像捕捉设备34的视场中的现实对象，诸如，用户12和/或可穿戴设备22。另外，可基于传感器数据来标识对象。例如，可基于可从特定对象得到的某种类型的传感器数据、针对特定对象的加速度数据等等来标识对象。还可基于诸如设备名称、设备标志、设备地址(例如，介质访问控制地址等)等等之类的标识数据来标识对象。
在所图示的示例中，可利用增强现实(AR)对象36、38来增强用户12的视场中的对象。在一个示例中，基于来自映像30的衣服被标识为毛衣，可利用AR对象36(例如，印刷的图案、颜色改变等)来增强映像30。例如，可利用AR对象36来增强映像30中的衣服20，以使得当眼镜26由用户12佩戴时，用户12观察到增强的毛衣(例如，具有印刷的图案的毛衣等)。此外，用户12的手臂18和/或身体位置的标识可允许AR对象36在用户12移动时被适当地定位。在这方面，图像捕捉设备32、34之间的同步可促进对象识别、AR对象定位等。
在另一示例中，可由AR对象38(例如，菜单的GUI、诸如用户体重、所采取的步骤之类的2D表示等)来增强用户12的视场中的现实对象。例如，可实现同步定位与地图构建(SLAM)过程，以利用AR对象38来增强用户12的视场中的镜子16。例如，可从由图像捕捉设备32生成的图像数据(例如，视频帧等)生成场景40的地图。可从图像数据提取场景40中诸如镜子16的左上角之类的特征，并且当用户12移动时，可确定该特征的位移(例如，dx/dy等)。可基于特征的位移来确定诸如映像30的位置之类的用户12在场景40中的位置，并且当用户12移动时，可与用户12的位移成比例地移动AR对象38的位置，以将AR对象38定位在场景40中的同一位置处。
如图1B中所图示，图像捕捉设备32的3D感知可能不会被镜子16的表面14的2D性质所损害。例如，图像捕捉设备32的两个传感器以略微不同的视角42(42a-42b)捕捉场景40，其允许深度提取过程以确定场景40的实际深度。可通过镜子16的位置将表面14设置为图像表面，并且当用户12站在镜子16的前面以由图像捕捉设备32以两个不同的视角42a、42b捕捉时，对应于映像30的虚拟对象将出现。因此，图像捕捉设备32即使在单独使用时也基于映像30来提供3D功能。
此外，映像30和/或现实对象在场景40中的图像通过透明的显示屏28可使对复杂显示技术的需求最小化和/或可以使用于增强现实的计算要求最小化。可以例如相对于映像30来定位AR要素36、38，和/或相对于通过透明的显示屏28的显示对象的图像来定位AR要素36、38，以使显示计算和/或像素使用最小化。
尽管示例已经为了说明的目的提供了方法10的各种功能，但应当理解，方法10的一个或多个功能可驻留在相同和/或不同的物理和/或虚拟计算平台位置中，能以任何顺序组合、省略、绕过、重新布置和/或利用。眼镜26可例如提供方法10的一个或多个AR功能。另外，方法10的功能可分别在各种计算平台之间，以提供分布式AR功能。此外，可自动地实现方法10的任何或所有功能(例如，无需人为干预等)。例如，当获取到来自图像捕捉设备的数据时，可自动地标识视场中的对象。
图2示出根据实施例的用于增强现实的装置44。装置44可包括计算平台，诸如例如，膝上型计算机、个人数字助理(PDA)、媒体内容播放器、成像设备、移动互联网设备(MID)、任何智能设备，该智能设备诸如无线智能电话、智能平板、智能电视、智能手表、眼镜、计算机服务器、游戏平台等。装置44还可包括被配置成用于实现包括例如以上所讨论的方法10(图1A-图1B)的本文中所提到的技术中的任何一者的逻辑(例如，逻辑指令、可配置逻辑、固定功能逻辑硬件等)。例如，控制器46可接收对应于来自传统的镜子的用户的映像的数据，并利用增强现实(AR)对象来增强视场中的对象。
控制器46包括数据存储库接口48，该数据存储库接口48可与存储器(例如，高速缓存、随机存取存储器等)接合，与硬驱动器(例如，平台上存储、可移除存储等)接合，等等。控制器46还包括通信接口50，该通信接口50可与通信功能接合以用于各种各样目的，诸如例如，蜂窝电话(例如，宽带码分多址/W-CDMA(通用移动通信系统/UMTS)、CDMA2000(IS-856/IS-2000)等)、WiFi(无线保真，例如，电气和电子工程师协会/IEEE 802.11-2007、无线局域网/LAN介质访问控制(MAC)和物理层(PHY)规范)、LiFi(光保真，例如，电气和电子工程师协会/IEEE 802.15-7、无线局域网/LAN介质访问控制(MAC)和物理层(PHY)规范)、4G LTE(第四代长期演进)、蓝牙(例如，电气和电子工程师协会/IEEE 802.15.1-2005、无线个域网)、WiMax(例如，IEEE 802.16-2004、LAN/MAN宽带无线LANS)、全球定位系统(GPS)、扩展频谱(例如，900MHz)、NFC(近场通信，ECMA-340、ISO/IEC 18092)以及其他射频(RF)目的。因此，控制器46可利用数据存储库接口48来存储图像数据、深度数据、对象标识数据、AR对象数据等等，和/或可利用通信接口50来转发图像数据、深度数据、对象标识数据、AR对象数据等等。
控制器46进一步包括图像数据标识器52，以标识图像数据。例如，图像数据标识器52可标识来自RGB-D相机的对应于用户的映像的RGB数据。图像数据标识器52还可标识来自RGB-D相机的对应于(例如，用户等的)视场中的现实对象的图像的RGB数据。控制器46进一步包括深度数据标识器54，以标识深度数据。例如，深度数据标识器54可标识来自RGB-D相机的对应于用户的映像的像素深度数据。深度数据标识器54还可标识由RGB-D相机生成的对应于视场中的现实对象的图像的深度像素数据。
控制器46进一步包括同步器56，以使来自面向用户的图像捕捉设备的数据与来自用户身上的背对该用户的图像捕捉设备的数据同步。例如，同步器56可使来自位于面向用户的镜子上的RGB-D相机的数据与来自由用户所佩戴的眼镜上的RGB-D相机的数据同步。经同步的图像数据和/或深度数据可促进对象标识以用于若干目的，诸如，对象识别、姿势识别、特征提取、AR对象定位等等。
控制器46进一步包括对象标识器58，以标识用户的视场中的对象，标识提供对象的自我中心的视点的用户身上的图像捕捉设备的视场中的对象，和/或标识面向用户并且提供扩大的视场以跟踪姿势和/或补充自我中心的视点的图像捕捉设备的视场中的对象。例如，用户身上的图像捕捉设备可提供用户映像的自我中心的视点以由对象标识器58用于标识虚拟对象，可提供镜子的自我中心的视点以由对象标识器58用于标识现实对象，等等。对象标识器58还可标识面向用户的图像捕捉设备的视场中的现实对象，以利用面向用户的视点来补充自我中心的视点。
在所图示的示例中，对象标识器58包括设备标识器60以标识用户身上的设备。例如，设备标识器60可标识用户正穿戴的设备(例如，智能手表等)。对象标识器58进一步包括骨架标识器62，以标识用户的身体位置。例如，骨架标识器62可标识用户身体的关节位置(例如，“所跟踪的”位置等)。此外，对象标识器58包括面部标识器64，以标识用户的面部。例如，面部标识器64可标识用户的鼻子、用户的嘴唇、用户的头发等等。对象标识器58进一步包括姿势标识器66，以标识用户的姿势。例如，姿势标识器66可标识由用户作出的面部姿势移动(例如，微笑等)、由用户作出的手部或手指姿势移动(例如，竖起大拇指等)、由用户作出的手臂手势移动(例如，放弃等)，等等。
控制器46进一步包括现实增强器68，以基于例如在视场中对于对象的标识来生成AR对象。现实增强器68可例如基于对来自映像的用户的面部的标识来针对该映像生成增强的面部外观(例如，面部毛发删除、眼睛颜色改变等)。现实增强器68可例如基于对来自映像的用户的服装的标识来针对该映像生成增强的穿着外观(例如，不同的裤子等)。现实增强器68可进一步例如基于从墙壁的图像标识出墙壁来为该墙壁的图像生成增强的墙壁外观(例如，GUI、来自可穿戴设备的数据、针对环境的数据等)。
控制器46进一步包括定位器70，以确定将要被渲染在显示屏上的AR对象的位置。定位器70可相对于映像和/或相对于用户的视场中的现实对象的图像来定位AR对象，该映像和/或该现实对象的图像在对该映像和/或图像的自然视觉感知期间通过透明的显示屏到达用户的眼睛。定位器70可基于来自RGB-D相机的、与在对象识别过程期间从映像标识出的对象相关联的图像数据和/或深度数据在用户的映像上定位AR对象。定位器70可进一步基于来自RGB-D相机的、与在对象识别过程期间从现实对象的图像标识出的对象相关联的图像数据和/或深度数据在现实对象(例如，墙壁、另一个人等)的图像上定位AR对象。
定位器70还可基于来自RGB-D相机的、与在SLAM期间从图像提取出的特征相关联的图像数据和/或深度数据在对象的图像上定位AR对象。在所图示的示例中，控制器44包括用于从场景的图像数据生成地图的地图生成器72以及用于从场景的图像数据提取特征的特征提取器74。定位器70可随后基于地图中特征的位移在该地图中定位用户，并且基于用户的位置在地图中定位AR对象。因此，AR对象可与用户的位移成比例地移位，以在用户移动时将AR对象定位在场景中的同一位置。
尽管示例已经为了说明的目的提供了装置44的各种组件，但应当理解，装置44的一个或多个组件可驻留在相同和/或不同的物理和/或虚拟计算平台位置中，能以任何顺序组合、省略、绕过、重新布置和/或使用。在一个示例中，控制器46的一个或多个组件可物理地驻留在同一计算平台上。在另一示例中，控制器46的一个或多个组件可分布在各种计算平台之间，以提供分布式现实增强功能。此外，可自动地实现装置44的任何或所有组件(例如，无需人为干预等)例如，当获取到来自图像捕捉设备的数据时，可自动地实现对象标识器58。
现在转向图3，示出了根据实施例用于增强现实的方法76。方法76可被实现为一组逻辑指令中的模块或相关组件，这组逻辑指令存储在诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、固件、闪存等的非瞬态机器或计算机可读存储介质中，存储在诸如例如可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)的可配置逻辑中，存储在使用诸如例如专用集成电路(ASIC)、互补式金属氧化物半导体(CMOS)之类的电路技术或晶体管-晶体管逻辑(TTL)技术的固定功能硬件逻辑中，或存储在上述各项的任何组合中。例如，可以用一种或多种编程语言的任意组合来编写用于实施在方法76中所示的操作的计算机程序代码，这些编程语言包括诸如JAVA、SMALLTALK、C++等的面向对象的编程语言以及诸如“C”编程语言或类似编程语言的常规的过程编程语言。
所图示的框78提供：标识图像数据和/或深度数据。框78可例如标识来自RGB-D相机的、对应于用户的映像的、对应于(例如，该用户等的)视场中的现实对象的图像等的RGB数据。框78可进一步例如标识来自RGB-D相机的、对应于用户的映像的、对应于(例如，该用户等的)视场中的现实对象的图像等的深度像素数据。
所图示的框80提供：同步数据。控制器80可例如使来自面向用户的图像捕捉设备的数据与来自用户身上的背对该用户的图像捕捉设备的数据同步。所图示的处理框82提供：标识视场中的对象。框82可例如标识用户的视场中的对象，标识提供对象的自我中心的视点的用户身上的图像捕捉设备的视场中的对象，和/或标识面向用户以提供扩大的视场来跟踪姿势和/或补充自我中心的视点的图像捕捉设备的视场中的对象。在一个示例中，框82可标识用户身上的设备，标识用户的身体位置，标识用户的面部，标识用户的姿势，等等。
所图示的处理框84提供：生成增强现实(AR)对象。框84可例如基于视场中的对象的标识来生成AR对象。在一个示例中，框84可基于例如对来自映像的用户的面部的标识来针对该映像生成增强的虚拟对象外观。在另一示例中，框84可基于例如从墙壁的图像标识出墙壁的来针对用户的视场中的现实对象的图像生成增强的现实对象外观。
所图示的框86提供：确定要渲染在显示屏上的AR对象的位置，该显示屏可包括透明的OLED显示屏。框86可例如相对于映像和/或相对于用户的视场中的现实对象的图像来定位AR对象，该映像和/或该现实对象的图像在对该映像和/或图像的自然视觉感知期间通过OLED显示屏而至用户的眼睛。框86可基于与在对象识别过程期间和/或在SLAM过程期间所标识的对象(例如，现实对象、诸如映像之类的虚拟对象等)相关联的图像数据和/或深度数据来定位AR对象。在这方面，框86可从场景的图像数据生成地图，从场景的图像数据提取特征，基于地图中的特征的位移在地图中定位用户，并且基于该用户的位置在地图中定位增强现实对象。
框86可例如基于对应于用户的映像的图像数据和/或深度数据在OLED显示屏上将AR对象定位成与用户的映像配准(register)。在一个示例中，AR对象可以是对用户的衣服的增强，并且框86可将增强该衣服的AR要素定位成与跨越OLED显示屏的衣服的映像配准。框86可进一步例如基于对应于现实对象的图像的图像数据和/或深度数据在OLED显示屏上将AR对象定位成与现实对象的图像配准。在一个示例中，AR对象可以是对用户位于其中的环境的镜子、墙壁等的增强，并且框86可以将增强该镜子等的AR要素定位成与跨越OLED显示屏的镜子等的图像配准。
尽管已经为了说明的目的示出了独立的框和/或特定的顺序，但是应当理解，方法76的框中的一个或多个可被组合、省略、绕过、重新布置和/或以任何顺序流动。此外，可自动地实现方法76的框中的任何一个或全部(例如，无需人为干预等)。例如，当获取到来自图像捕捉设备的数据时，框82可自动地标识视场中的对象。
图4示出了根据一个实施例的处理器核200。处理器核200可以是用于任何类型的处理器的核，这些处理器诸如微处理器、嵌入式处理器、数字信号处理器(DSP)、网络处理器、或用于执行代码的其他设备。虽然图4中仅图示了一个处理器核200，但处理元件可替代地包括多于一个图4中所例示的处理器核200。处理器核200可以是单线程核，或对于至少一个实施例，处理器核200可以是多线程的，这体现在该处理器核200针对每个核可包括多于一个硬件线程上下文(或“逻辑处理器”)。
图4还图示出耦合到处理器核200的存储器270。存储器270可以是本领域技术人员已知的或以其他方式对本领域技术人员可用的各种各样的存储器(包括存储器层次结构的各个层)中的任何一种。存储器270可包括要由处理器核200执行的一条或多条代码213指令，其中，代码213可实现已讨论的方法10(图1)、装置44(图2)和/或方法76(图3)。处理器核200遵循由代码213指示的指令的程序序列。每条指令可进入前端部分210，并由一个或多个解码器220处理。解码器220可生成微操作(诸如，按预定义格式的固定宽度的微操作)作为其输出，或者可生成反映原始代码指令的其他指令、微指令或控制信号。所图示的前端部分210还包括寄存器重命名逻辑225和调度逻辑230，这些逻辑一般分配资源并将与转换指令相对应的操作进行排队以供执行。
处理器核200被示为包括具有一组执行单元255-1至255-N的执行逻辑250。一些实施例可以包括专用于特定功能或功能集合的数个执行单元。其他实施例可包括仅一个执行单元或可执行特定的功能的仅一个执行单元。所图示的执行逻辑250执行由代码指令指定的操作。
在完成执行由代码指令指定的操作之后，后端逻辑260对代码213的指令进行引退。在一个实施例中，处理器核200允许乱序执行，但是要求指令的有序引退。引退逻辑265可采取如本领域技术人员已知的各种形式(例如，重排序缓冲器等等)。以此方式，至少根据由解码器生成的输出、由寄存器重命名逻辑225利用的硬件寄存器和表、以及由执行逻辑250修改的任何寄存器(未示出)，处理器核200在代码213的执行期间被转换。
虽然未在图4中图示，但处理元件可包括与处理器核200一起在芯片上的其他元件。例如，处理元件可包括与处理器核200一起的存储器控制逻辑。处理元件可包括I/O控制逻辑和/或可包括与存储器控制逻辑集成的I/O控制逻辑。处理元件还可包括一个或多个高速缓存。
附加注解与示例：
示例1可包括用于增强现实的系统，该系统包括：眼镜，包括透明显示屏，该眼镜用于与用户身上的图像捕捉设备耦合；以及现实增强器，用于基于对用户的视场中的对象的标识来自动地生成增强现实对象，该用户的视场中的对象包括来自反射表面的用户的映像，其中，当用户佩戴该眼镜时，增强现实对象将能够由该用户在透明显示屏上观察到。
示例2可包括如示例1所述的系统，进一步包括：图像捕捉设备，用于面向用户；以及同步器，用于使来自用于面向用户的图像捕捉设备的数据与来自用户身上的图像捕捉设备的数据同步。
示例3可包括如示例1至2中任一项所述的系统，进一步包括：定位器，该定位器用于在透明的显示屏上相对于用户的映像来定位增强现实对象，该用户的映像将通过该透明的显示屏。
示例4可包括用于增强现实的装置，该装置包括：对象标识器，用于自动地对用户的视场中的对象作出标识，该用户的视场中的对象包括来自反射表面的用户的映像；以及现实增强器，用于基于用户的标识来自动地生成增强现实对象。
示例5可包括如示例4所述的装置，进一步包括：用于捕捉用户的映像的用户身上的图像捕捉设备。
示例6可包括如示例4至5中任一项所述的装置，进一步包括：图像数据标识器，用于标识针对用户的映像的图像数据；以及深度数据标识器，用于标识针对用户的映射的深度数据。
示例7可包括如示例4至6中任一项所述的装置，进一步包括：设备标识器，用户标识用户身上的设备；骨架标识器，用于标识用户的身体位置；面部标识器，用于标识用户的面部；以及姿势标识器，用于标识由用户作出的姿势。
示例8可包括如示例4至7中任一项所述的装置，进一步包括：地图生成器，用于从场景的图像数据生成地图；特征提取器，用于从场景的数据提取特征；以及定位器，用于基于该特征在地图中的位移在地图中定位用户，并且基于该用户的位置在地图中定位增强现实对象。
示例9可包括如示例4至8中任一项所述的装置，进一步包括：同步器，该同步器用于使来自用于面向用户的图像捕捉设备的数据与来自用户身上的图像捕捉设备的数据同步。
示例10可包括如示例4至9中任一项所述的装置，进一步包括：定位器，该定位器用于在透明的显示屏上相对于用户的映像来定位增强现实对象，该用户的映像将通过该透明的显示屏。
示例11可包括至少一种计算机可读存储介质，包括一组指令，该组指令在由处理器执行时使得该处理器：自动地对用户的视场中的对象作出标识，该用户的视场中的对象包括来自反射表面的用户的映像；以及基于对象的标识来自动地生成增强现实对象。
示例12可包括如示例11所述的至少一种计算机可读存储介质，其中，指令在被执行时使得处理器捕捉用户的映像。
示例13可包括如示例11至12中任一项所述的至少一种计算机可读存储介质，其中，指令在被执行时使得处理器：标识针对用户的映像的图像数据；以及标识针对用户的映像的深度数据。
示例14可包括如示例11至13中任一项所述的至少一种计算机可读存储介质，其中，指令在被执行时使得处理器：标识用户身上的设备；标识用户的身体位置，标识用户的面部；以及标识由用户作出的姿势。
示例15可包括如示例11至14中任一项所述的至少一种计算机可读存储介质，其中，指令在被执行时使得处理器：从场景的图像数据生成地图；从场景的数据提取特征；基于该特征在地图中的位移在地图中定位用户；以及基于该用户的位置在地图中定位增强现实对象。
示例16可包括如权利要求11至15中任一项所述的至少一种计算机可读存储介质，其中，指令在被执行时使得处理器使来自用于面向用户的图像捕捉设备的数据与来自用户身上的图像捕捉设备的数据同步。
示例17可包括如示例11至16中任一项所述的至少一种计算机可读存储介质，其中，指令在被执行时使得处理器在透明的显示屏上相对于用户的影响来定位增强现实对象，该用户的映像将通过该透明的显示屏。
示例18可包括用于增强现实的方法，该方法包括：自动地对用户的视场中的对象作出标识，该用户的视场中的对象包括来自反射表面的用户的映像；以及基于对象的标识来自动地生成增强现实对象。
示例19可包括如示例18所述的方法，进一步包括：捕捉用户的映像。
示例20可包括如示例18至19中任一项所述的方法，进一步包括：标识针对用户的映像的图像数据；以及标识针对用户的映像的深度数据。
示例21可包括如示例18至20中任一项所述的方法，进一步包括：标识用户身上的设备；标识用户的身体位置；标识用户的面部；以及标识由用户作出的姿势。
示例22可包括如示例18至21中任一项所述的方法，进一步包括：从场景的图像数据生成地图；从场景的数据提取特征；基于该特征在地图中的位移在地图中定位用户；以及基于该用户的位置在地图中定位增强现实对象。
示例23可包括如示例18至22中任一项所述的方法，进一步包括：使来自用于面向用户的图像捕捉设备的数据与来自用户身上的图像捕捉设备的数据同步。
示例24可包括如示例18至23中任一项所述的方法，进一步包括：在透明的显示屏上相对于用户的映像来定位增强现实对象，该用户的映像将通过该透明的显示屏。
示例25可包括一种用于增强现实的设备，该设备包括用于执行如示例18至24中任一项所述的方法的装置。
因此，本文中所描述的技术在利用传统镜子和3D增强的AR眼镜的同时提供了智能镜功能。例如，在用户面向传统镜子时，用户可佩戴AR眼镜来体验增强现实。该AR眼镜可以不束缚于相对昂贵的常规的智能镜技术，并且可以与提供映像的任何反射表面一起使用。此外，反射表面可不要求嵌入式传感器，因为自然相关的内容可通过透明的AR眼镜关于例如用户的映像被渲染到用户的视图。另外，由于可使用反射表面(例如，传统的镜子)，可以不需要相对复杂的显示技术。可使用用户的映像来监视和/或分析用户的面部、骨架和/或姿势。
在其中佩戴AR眼镜的用户站在镜子前面的一个示例中，该用户可看到穿着不同衣服的他的/她的映像，并且在该用户移动时，能以逼真的方式呈现增强，因为可跟踪该用户，并且可基于3D增强的对象识别和/或SLAM过程来增强虚拟图像(例如，该映像)。在佩戴3D增强的AR眼镜的用户在镜子前面移动时，可经由对镜像的图像的RGB-D分析来跟踪镜像的图像，并且可经由2D和/或3D数据(例如，日期，温度，情绪，健康状况等)来提供基于使用(例如，应用等)的增强。
面向用户的RGB-D相机还可用于跟踪精确细化的姿势和/或用于增强镜像的图像，其中，可使来自面向用户的RGB-D相机的数据与来自用户身上的RGB-D相机的数据同步。实施例还促进了利用3D深度计算的多模式感知计算技术的使用，包括面部识别、骨骼跟踪、姿势跟踪等。
实施例适用于与所有类型的半导体集成电路(“IC”)芯片一起使用。这些IC芯片的示例包括但不限于处理器、控制器、芯片组组件、可编程逻辑阵列(PLA)、存储器芯片、网络芯片、芯片上系统(SoC)、SSD/NAND控制器ASIC等等。另外，在一些附图中，信号导线是用线表示的。一些线可以是不同的，以指示更具构成性的信号路径；具有数字标号以指示构成性信号路径的数目；和/或在一端或多端具有箭头以指示主要信息流向。然而，这不应以限制性方式来解释。相反，此类增加的细节可与一个或多个示例性实施例结合使用以促进更容易地理解电路。任何所表示的信号线，不管是否具有附加信息，实际上都可包括一个或多个信号，这一个或多个信号可在多个方向上行进，并且可用任何适合类型的信号方案来实现，例如利用差分对来实现的数字或模拟线路、光纤线路，和/或单端线路。
示例尺寸/模型/值/范围可能已经被给出，但是各实施例不限于此。随着制造技术(例如，光刻法)随时间变得成熟，预料到能制造出更小尺寸的设备。另外，为了说明和讨论的简单，到IC芯片和其他组件的公知的功率/接地连接可在附图内示出也可不示出，并且这样做也是为了不使所述实施例的某些方面模糊。进一步地，能以框图形式示出布置以避免使实施例模糊，还鉴于相对于此类框图布置的实现的细节高度依赖于将在其内实现实施例的计算系统这一事实，即，此类细节应当很好地在本领域技术人员的见识范围之内。在阐述了具体细节(例如，电路)以描述示例实施例的情况下，对本领域技术人员应当显而易见的是，实施例可以在没有这些具体细节的情况下或者利用这些具体细节的变型来实施。说明书因此被视为是说明性的而不是限制性的。
术语“耦合的”可在本文中用来指所考虑的组件之间的任何类型的直接的或间接的关系，并可应用于电气连接、机械连接、流体连接、光连接、电磁连接、机电连接或其他连接。另外，除非以其他方式指示，否则术语“第一”、“第二”等在本文中可仅用于便于讨论，并且不承载任何特定的时域或按时间的意义。
如在本申请中和权利要求书中所使用，由术语“一个或多个”或“至少一个”联接的项列表可意指所列举的项的任何组合。例如，短语“A、B或C中的一个或多个”可意指A；B；C；A和B；A和C；B和C；或A、B和C。另外，由术语“等等”或“等”联接的项列表可意指所列举的项的任何组合以及与其他项的任何组合。
本领域技术人员从前面的描述将领会，实施例的广泛技术可以以各种形式来实现。因此，尽管已结合其特定示例描述了实施例，但实施例的真实范围不应当限于此，因为在研究附图、说明书和所附权利要求书之后，其他修改对于本领域技术人员将变得显而易见。

Claims (19)

1.一种用于增强现实的系统，包括：
眼镜，包括透明的显示屏；
用户身上与所述眼镜耦合的测距相机，用于捕捉所述用户的视场中的虚拟对象的图像数据和深度数据，所述虚拟对象被包括在来自反射表面的所述用户的映像中，其中所述深度数据基于所述用户的视场中设置为图像表面的所述反射表面的位置以及所述图像表面与所述虚拟对象同多条透视线的交点之间的中心线的距离，所述多条透视线从所述图像表面延伸至所述虚拟对象；以及
现实增强器，用于基于对所述虚拟对象的标识来自动地生成增强现实对象，其中，当所述用户佩戴所述眼镜时，所述增强现实对象将能够由所述用户在所述透明的显示屏上观察到。
2.如权利要求1所述的系统，进一步包括：
图像捕捉设备，用于面向所述用户；以及
同步器，用于使来自用于面向所述用户的图像捕捉设备的数据与来自所述用户身上的图像捕捉设备的数据同步。
3.如权利要求1至2中任一项所述的系统，进一步包括定位器，所述定位器用于在所述透明的显示屏上相对于所述用户的映像来定位所述增强现实对象，所述用户的所述映像将通过所述透明的显示屏。
4.一种用于增强现实的装置，包括：
对象标识器，用于自动地对用户的视场中的虚拟对象作出标识，所述用户的视场中的所述虚拟对象包括来自反射表面的所述用户的映像；
图像数据标识器，用于自动地从用户上的测距相机标识所述虚拟对象的图像数据；
深度数据标识器，用于自动地从所述测距相机标识所述虚拟对象的深度数据，其中所述深度数据基于所述用户的视场中设置为图像表面的所述反射表面的位置以及所述图像表面与所述虚拟对象同多条透视线的交点之间的中心线的距离，所述多条透视线从所述图像表面延伸至所述虚拟对象；以及
现实增强器，用于基于所述对象的标识来自动地生成增强现实对象。
5.如权利要求4所述的装置，进一步包括所述用户身上的图像捕捉设备，用于捕捉所述用户的所述映像。
6.如权利要求4所述的装置，进一步包括：
图像数据标识器，用于标识针对所述用户的所述映像的图像数据；以及
深度数据标识器，用于标识针对所述用户的所述映像的深度数据。
7.如权利要求4所述的装置，进一步包括：
设备标识器，用于标识所述用户身上的设备；
骨架标识器，用于标识所述用户的身体位置；
面部标识器，用于标识所述用户的面部；以及
姿势标识器，用于标识由所述用户作出的姿势。
8.如权利要求4所述的装置，进一步包括：
地图生成器，用于从场景的图像数据生成地图；
特征提取器，用于从所述场景的所述图像数据提取特征；以及
定位器，用于：
基于所述特征在所述地图中的位移在所述地图中定位所述用户；以及
基于所述用户的位置在所述地图中定位所述增强现实对象。
9.如权利要求4所述的装置，进一步包括同步器，所述同步器用于使来自用于面向所述用户的图像捕捉设备的数据与来自所述用户身上的图像捕捉设备的数据同步。
10.如权利要求4至9中任一项所述的装置，进一步包括定位器，所述定位器用于在透明的显示屏上相对于所述用户的所述映像来定位所述增强现实对象，所述用户的所述映像将通过所述透明的显示屏。
11.一种用于增强现实的方法，包括：
自动地对用户的视场中的虚拟对象作出标识，所述用户的视场中的所述虚拟对象包括来自反射表面的所述用户的映像；
自动地从用户上的测距相机标识所述虚拟对象的图像数据；
自动地从所述测距相机标识所述虚拟对象的深度数据，其中所述深度数据基于所述用户的视场中设置为图像表面的所述反射表面的位置以及所述图像表面与所述虚拟对象同多条透视线的交点之间的中心线的距离，所述多条透视线从所述图像表面延伸至所述虚拟对象；以及
基于所述对象的标识来自动地生成增强现实对象。
12.如权利要求11所述的方法，进一步包括：捕捉所述用户的所述映像。
13.如权利要求11所述的方法，进一步包括：
标识针对所述用户的所述映像的图像数据；以及
标识针对所述用户的所述映像的深度数据。
14.如权利要求11所述的方法，进一步包括：
标识所述用户身上的设备；
标识所述用户的身体位置；
标识所述用户的面部；以及
标识由所述用户作出的姿势。
15.如权利要求11所述的方法，进一步包括：
从场景的图像数据生成地图；
从所述场景的所述图像数据提取特征；
基于所述特征在所述地图中的位移在所述地图中定位所述用户；以及
基于所述用户的位置在所述地图中定位所述增强现实对象。
16.如权利要求11所述的方法，进一步包括：使来自面向所述用户的图像捕捉设备的数据与来自所述用户身上的图像捕捉设备的数据同步。
17.如权利要求11至16中任一项所述的方法，进一步包括：在透明的显示屏上相对于所述用户的所述映像来定位所述增强现实对象，所述用户的所述映像将通过所述透明的显示屏。
18.一种用于增强现实的设备，包括用于执行如权利要求11至17中任一项所述的方法的装置。
19.一种其上存储有指令的计算机可读介质，所述指令当由计算机处理器执行时使所述处理器执行如权利要求11至17中任一项所述的方法。
CN201780022001.8A 2016-03-31 2017-03-01 用于包括映像的视场中的增强现实的方法、设备、系统、装置和介质 Active CN108885482B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/087,478 2016-03-31
US15/087,478 US9933855B2 (en) 2016-03-31 2016-03-31 Augmented reality in a field of view including a reflection
PCT/US2017/020197 WO2017172211A1 (en) 2016-03-31 2017-03-01 Augmented reality in a field of view including a reflection

Publications (2)

Publication Number Publication Date
CN108885482A CN108885482A (zh) 2018-11-23
CN108885482B true CN108885482B (zh) 2023-04-28

Family

ID=59959341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780022001.8A Active CN108885482B (zh) 2016-03-31 2017-03-01 用于包括映像的视场中的增强现实的方法、设备、系统、装置和介质

Country Status (5)

Country Link
US (1) US9933855B2 (zh)
KR (1) KR102541812B1 (zh)
CN (1) CN108885482B (zh)
DE (1) DE112017001718T5 (zh)
WO (1) WO2017172211A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093081A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image display method performed by device including switchable mirror and the device
EP3113106A1 (en) * 2015-07-02 2017-01-04 Nokia Technologies Oy Determination of environmental augmentation allocation data
CN105184584A (zh) * 2015-09-17 2015-12-23 北京京东方多媒体科技有限公司 虚拟试衣系统及方法
CN109564705B (zh) * 2016-07-29 2023-10-20 索尼公司 图像处理装置及图像处理方法
US20180096505A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US11120074B2 (en) * 2016-12-06 2021-09-14 International Business Machines Corporation Streamlining citations and references
US10776861B1 (en) 2017-04-27 2020-09-15 Amazon Technologies, Inc. Displaying garments on 3D models of customers
US10142592B1 (en) * 2017-05-23 2018-11-27 James Van Ness Smart minor
KR102064653B1 (ko) * 2017-12-13 2020-02-11 부산대학교 산학협력단 증강현실 의류 쇼핑을 위한 웨어러블 글래스 및 증강현실 의류 쇼핑 방법
WO2019147237A1 (en) * 2018-01-24 2019-08-01 Hewlett-Packard Development Company, L.P. Augmented reality display
WO2019220208A1 (en) * 2018-05-16 2019-11-21 Matthewman Richard John Systems and methods for providing a style recommendation
KR102537784B1 (ko) * 2018-08-17 2023-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법
TWI719343B (zh) 2018-08-28 2021-02-21 財團法人工業技術研究院 資訊顯示方法及其顯示系統
CN109274955B (zh) * 2018-09-11 2020-09-11 曜科智能科技（上海）有限公司 光场视频及深度图的压缩与同步方法、系统、及电子设备
KR102199292B1 (ko) * 2018-11-23 2021-01-06 에스케이텔레콤 주식회사 동영상 저작 장치 및 이를 이용한 동영상 저작 방법
CN109782946A (zh) * 2018-12-24 2019-05-21 武汉西山艺创文化有限公司 一种基于透明液晶显示屏的窗户显示器及其交互方法
CN109858524B (zh) * 2019-01-04 2020-10-16 北京达佳互联信息技术有限公司 手势识别方法、装置、电子设备及存储介质
US11055920B1 (en) * 2019-06-27 2021-07-06 Facebook Technologies, Llc Performing operations using a mirror in an artificial reality environment
US11036987B1 (en) 2019-06-27 2021-06-15 Facebook Technologies, Llc Presenting artificial reality content using a mirror
US11145126B1 (en) 2019-06-27 2021-10-12 Facebook Technologies, Llc Movement instruction using a mirror in an artificial reality environment
CN110413122B (zh) * 2019-07-30 2022-06-10 厦门大学嘉庚学院 一种具有工作场景识别的ar眼镜应用方法及系统
US11462000B2 (en) * 2019-08-26 2022-10-04 Apple Inc. Image-based detection of surfaces that provide specular reflections and reflection modification
US11158028B1 (en) 2019-10-28 2021-10-26 Snap Inc. Mirrored selfie
CN110968000B (zh) * 2019-11-28 2020-10-09 中国科学院微电子研究所 基于OpenVPX架构的测控系统同步控制系统
US11195341B1 (en) * 2020-06-29 2021-12-07 Snap Inc. Augmented reality eyewear with 3D costumes
US11353708B1 (en) 2020-12-07 2022-06-07 Thirdeye Gen, Inc. Custom mixed reality smart glasses and software for vision impaired use
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11908243B2 (en) * 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
CN117957513A (zh) * 2021-09-20 2024-04-30 苹果公司 基于镜子检测和上下文感知的交互
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses
US11893847B1 (en) 2022-09-23 2024-02-06 Amazon Technologies, Inc. Delivering items to evaluation rooms while maintaining customer privacy
KR20240061215A (ko) * 2022-10-31 2024-05-08 삼성전자주식회사 깊이 맵을 생성하기 위한 방법 및 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN102681811A (zh) * 2011-03-10 2012-09-19 微软公司 照片表示视图的基于主题的增强
CN102930447A (zh) * 2012-10-22 2013-02-13 广州新节奏数码科技有限公司 一种虚拟穿戴的实现方法及设备
CN102955255A (zh) * 2011-09-26 2013-03-06 微软公司 集成眼睛追踪和显示系统
CN102999160A (zh) * 2011-10-14 2013-03-27 微软公司 混合现实显示器中用户控制的现实对象的消失
CN103105927A (zh) * 2011-11-09 2013-05-15 索尼公司 信息处理装置、显示控制方法和程序
CN103294185A (zh) * 2011-09-30 2013-09-11 微软公司 个人音频/视频系统的运动应用
CN103472909A (zh) * 2012-04-10 2013-12-25 微软公司 用于头戴式、增强现实显示器的逼真遮挡
US8824749B2 (en) * 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6546309B1 (en) * 2000-06-29 2003-04-08 Kinney & Lange, P.A. Virtual fitting room
US8976160B2 (en) * 2005-03-01 2015-03-10 Eyesmatch Ltd User interface and authentication for a virtual mirror
US8982109B2 (en) * 2005-03-01 2015-03-17 Eyesmatch Ltd Devices, systems and methods of capturing and displaying appearances
US20110298897A1 (en) * 2010-06-08 2011-12-08 Iva Sareen System and method for 3d virtual try-on of apparel on an avatar
US20120050144A1 (en) 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
WO2013093906A1 (en) 2011-09-19 2013-06-27 Eyesight Mobile Technologies Ltd. Touch free interface for augmented reality systems
CN103871106A (zh) * 2012-12-14 2014-06-18 韩国电子通信研究院 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统
KR20150097903A (ko) 2014-02-18 2015-08-27 경북대학교 산학협력단 3d 아바타를 이용한 가상 피팅룸 시스템 및 방법
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US9977572B2 (en) * 2014-04-01 2018-05-22 Hallmark Cards, Incorporated Augmented reality appearance enhancement
US9665984B2 (en) 2014-07-31 2017-05-30 Ulsee Inc. 2D image-based 3D glasses virtual try-on system
US20160063327A1 (en) 2014-08-29 2016-03-03 Datangle, Inc. Wearable Device To Display Augmented Reality Information

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN102681811A (zh) * 2011-03-10 2012-09-19 微软公司 照片表示视图的基于主题的增强
US8824749B2 (en) * 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
CN102955255A (zh) * 2011-09-26 2013-03-06 微软公司 集成眼睛追踪和显示系统
CN103294185A (zh) * 2011-09-30 2013-09-11 微软公司 个人音频/视频系统的运动应用
CN102999160A (zh) * 2011-10-14 2013-03-27 微软公司 混合现实显示器中用户控制的现实对象的消失
CN103105927A (zh) * 2011-11-09 2013-05-15 索尼公司 信息处理装置、显示控制方法和程序
CN103472909A (zh) * 2012-04-10 2013-12-25 微软公司 用于头戴式、增强现实显示器的逼真遮挡
CN102930447A (zh) * 2012-10-22 2013-02-13 广州新节奏数码科技有限公司 一种虚拟穿戴的实现方法及设备

Also Published As

Publication number Publication date
CN108885482A (zh) 2018-11-23
US20170285345A1 (en) 2017-10-05
KR20190039663A (ko) 2019-04-15
US9933855B2 (en) 2018-04-03
KR102541812B1 (ko) 2023-06-08
WO2017172211A1 (en) 2017-10-05
DE112017001718T5 (de) 2018-12-13

Similar Documents

Publication Publication Date Title
CN108885482B (zh) 用于包括映像的视场中的增强现实的方法、设备、系统、装置和介质
US11693242B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
Xu et al. Mo 2 cap 2: Real-time mobile 3d motion capture with a cap-mounted fisheye camera
CN110908503B (zh) 跟踪设备的位置的方法
KR101687017B1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
US11747915B2 (en) Smart ring for manipulating virtual objects displayed by a wearable device
US9857589B2 (en) Gesture registration device, gesture registration program, and gesture registration method
EP3413013A1 (en) Information processing device, information processing method, and recording medium
US20180288387A1 (en) Real-time capturing, processing, and rendering of data for enhanced viewing experiences
WO2012011044A1 (en) Interactive reality augmentation for natural interaction
US20220100265A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
KR102012405B1 (ko) 애니메이션 생성 방법 및 애니메이션 생성 장치
CN112771856B (zh) 可分离失真视差确定
CN111095364A (zh) 信息处理装置、信息处理方法和程序
US11915453B2 (en) Collaborative augmented reality eyewear with ego motion alignment
US11195341B1 (en) Augmented reality eyewear with 3D costumes
KR20210087075A (ko) 패스 스루 시각화
EP3038061A1 (en) Apparatus and method to display augmented reality data
JP6999822B2 (ja) 端末装置および端末装置の制御方法
US20240168565A1 (en) Single-handed gestures for reviewing virtual content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant