CN107409196B - 投影远程对象的虚拟副本 - Google Patents

投影远程对象的虚拟副本 Download PDF

Info

Publication number
CN107409196B
CN107409196B CN201680014420.2A CN201680014420A CN107409196B CN 107409196 B CN107409196 B CN 107409196B CN 201680014420 A CN201680014420 A CN 201680014420A CN 107409196 B CN107409196 B CN 107409196B
Authority
CN
China
Prior art keywords
remote
virtual copy
local environment
local
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680014420.2A
Other languages
English (en)
Other versions
CN107409196A (zh
Inventor
T·皮杰萨
A·威尔逊
H·本科
E·奥菲克
J·坎托尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107409196A publication Critical patent/CN107409196A/zh
Application granted granted Critical
Publication of CN107409196B publication Critical patent/CN107409196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

在此描述了用于投影远程对象的各种系统和方法。在一个示例中，一种方法包括采集对应于系统被定位在其中的本地环境的环境数据，并且检测对应于远程环境中的远程用户的远程对象。该方法还可以包括检测本地环境中的本地用户的视点，并且基于本地用户的视点，将对应于远程用户的远程对象投影在本地环境中，远程对象的虚拟副本通过考虑本地环境中的本地对象的几何形状而被定位在本地环境中。

Description

投影远程对象的虚拟副本
背景技术
随着计算设备之间的网络连接增加，用户正在使用各种技术进行通信。例如，许多用户与使得远程用户能够经由音频和视频数据交互的视频会议软件进行通信。然而，视频会议软件将远程用户显示在二维空间中，并且远程用户不能执行联合空间坐落的活动。因此，不能使用视频会议软件来完成促进分离位置中的远程用户之间的共同存在的交互。
发明内容
以下呈现简化的概要以便提供在此所描述的一些方面的基本理解。该概要不是要求保护的主题的广泛概述。该概要既不旨在标识要求保护的主题的关键或重要元素，也不描绘要求保护的主题的范围。该概要的唯一目的是以简化形式将要求保护的主题的一些概念呈现为稍后呈现的更详细描述的前序。
实施例提供一种用于投影远程对象的方法。该方法可以包括采集对应于系统被定位在其中的本地环境的环境数据，并且检测对应于远程环境中的远程用户的远程对象。该方法还可以包括检测本地环境中的本地用户的视点，并且基于本地用户的视点来将对应于远程用户的远程对象的虚拟副本投影在本地环境中。
另一实施例提供一种或多种计算机可读存储介质，其用于投影远程对象。计算机可读存储介质能够包括多个指令，其当由处理器执行时使得处理器采集对应于系统被定位在其中的本地环境的环境数据。指令还可以使得处理器检测对应于远程环境中的远程用户的远程对象，并且检测本地环境中的本地用户的视点。此外，指令可以使得处理器基于本地用户的视点和远程对象能够被投影在其上的本地环境中的所标识的位置，来将对应于远程用户的远程对象投影在本地环境中。
另一实施例提供一种用于投影远程对象的系统。该系统可以包括用于校准系统的第一模块，该校准包括采集对应于系统被定位在其中的本地环境的环境数据。系统还可以包括用于检测对应于远程环境中的远程用户的远程对象的第二模块。此外，系统可以包括用于检测本地环境中的本地用户的视点的第三模块。另外，系统可以包括基于本地用户的视点将远程对象的虚拟副本投影在本地环境中的第四模块。
附图说明
可以通过参考包含所公开的主题的许多特征的特定示例的附图来更好地理解以下详细描述。
图1是能够投影远程对象的计算系统的示例的块图；
图2是用于投影远程对象的示例方法的过程流程图；
图3是将远程对象投影在远程环境和本地环境中的示图；
图4A是远程对象的虚拟副本的示例投影的示图；
图4B是具有应用效果的远程对象的示例虚拟副本的示图；
图4C是具有阴影的远程对象的示例虚拟副本的示图；以及
图5是能够投影远程对象的示例计算机可读存储介质的块图。
具体实施方式
在此描述了用于投影远程对象的虚拟副本的技术。如在此所提到的虚拟副本可以包括用户或任何其他适合的有生命或无生命的对象的表示。例如，虚拟副本可以包括人、动物或任何适合的固定对象的图像。在一些示例中，虚拟副本可以包括远程用户的真人大小图像。在一些实施例中，基于本地环境中的用户的定向，能够投影远程对象的虚拟副本。如在此所提到的环境可以包括用于投影远程对象的计算设备被定位在其中的空间的布局和配置。例如，环境可以指示空间中的家具的位置、空间中的个体的位置、以及空间中的固定表面(诸如墙和地板等)的位置。在此所描述的技术可以通过基于本地环境中的本地用户的定向或视点将远程对象的虚拟副本投影在本地环境中来增强多个环境之间的用户交互。
作为初步事项，附图中的一些附图描述一个或多个结构组件(被称为功能、模块、特征、元素等)的上下文中的概念。可以以任何方式(例如，通过软件、硬件(例如，分离逻辑组件等)、固件等等或这些实现的任何组合)实现附图中所示的各种组件。在一个实施例中，各种组件可以反映实际实现中的对应组件的使用。在其他情况下，可以通过若干实际部件实现附图中所图示的任何单个部件。附图中的任何两个或两个以上分离的部件的描绘可以反映由单个实际部件所执行的不同的功能。下面所讨论的图1提供关于可以被用于实现附图中所图示的功能的一个系统的细节。
其他附图以流程图形式描述了概念。在该形式中，某些操作被描述为构成以特定顺序执行的不同的块。这样的实现是示例性而非限制性的。可以在单个操作中一起分组并且执行本文所描述的某些块，可以将某些块分解为多个部件块，并且可以以与本文所图示的顺序不同的顺序执行某些块(包括执行块的并行方式)。可以通过软件、硬件、固件、人工处理等或这些实现的任何组合来实现流程图中所示的块。如在此所使用的，硬件可以包括计算机系统、分离逻辑组件(诸如专用集成电路(ASIC)等)以及其任何组合。
关于术语，短语“被配置为”涵盖任何种类的结构组件可以被构建为执行所标识的操作的任何方式。结构组件可以被配置为使用软件、硬件、固件等或其任何组合来执行操作。
术语“逻辑”涵盖用于执行任务的任何功能。例如，流程图中所图示的每个操作对应于用于执行该操作的逻辑。可以使用软件、硬件、固件等或其任何组合来执行操作。
如本文所利用的，术语“组件”、“系统”、“客户端”等旨在指代计算机相关实体、或者硬件、软件(例如，在执行时)、固件或者其组合。例如，部件可以是在处理器上运行的过程、对象、可执行的、程序、函数、库、子例程、计算机或软件和硬件的组合。通过图示，在服务器上运行的应用和服务器二者可以是部件。一个或多个部件可以驻留在过程内，并且部件可以被定位在一个计算机上和/或在两个或两个以上计算机之间被分布。
此外，要求保护的主题可以被实现为使用标准编程和/或工程技术产生软件、固件、硬件或其任何组合以控制计算机来实现所公开的主题的方法、装置或制品。如本文所使用的术语“制品”旨在涵盖从任何有形计算机可读设备或介质可访问的计算机程序。
计算机可读存储介质可以包括但不限于磁性存储设备(例如，硬盘、软盘和磁条等)、光盘(例如，压缩磁盘(CD)和数字多用光盘(DVD)等)、智能卡和闪速存储器设备(例如，卡、棒和键驱动等)。相反，计算机可读介质(即，非存储介质)可以包括通信介质(诸如用于无线信号等的传输介质)。
图1是能够投影远程对象的计算系统的示例的块图。计算系统100可以是例如移动电话、膝上型计算机、台式计算机或平板计算机等。计算系统100可以包括：处理器102，其适于执行所存储的指令；以及存储器设备104，其存储由处理器102可执行的指令。处理器102可以是单核处理器、多核处理器、计算集群、或任何数目的其他配置。存储器设备104可以包括随机存取存储器(例如，SRAM、DRAM、零电容RAM、SONOS、eDRAM、EDO RAM、DDR RAM、RRAM、PRAM等)、只读存储器(例如，掩模型ROM、PROM、EPROM、EEPROM等)、闪速存储器或任何其他适合的存储器系统。由处理器102执行的指令可以被用于投影远程对象。
处理器102可以通过系统总线106(例如，PCI、ISA、PCI-Express、NuBus等)连接到输入/输出(I/O)设备接口108，其适于将计算系统100连接到一个或多个I/O设备110。I/O设备110可以包括例如键盘、手势识别输入设备、语音识别设备和指点设备，其中指点设备可以包括触摸板或触摸屏等。I/O设备110可以是计算系统100的内置组件或者可以是外部连接到计算系统100的设备。
处理器102还可以通过系统总线106链接到显示设备接口112，其适于将计算系统100连接到显示设备114。显示设备114可以包括显示屏，其是计算系统100的内置组件。显示设备114还可以包括计算机监视器、电视、投影仪等，其外部连接到计算系统100。网络接口卡(NIC)116还可以适于通过系统总线106将计算系统100连接到网络(未描绘)。
存储装置118可以包括硬盘驱动器、光驱动器、USB闪盘驱动器、驱动器阵列或其任何组合。存储装置118可以包括校准模块120、检测模块122、环境模块124和投影模块126。在一些实施例中，校准模块120可以通过采集环境数据对系统(诸如计算系统100)进行校准。例如，校准模块120可以检测关于周围环境或空间中的对象的深度数据、颜色数据和骨骼数据。深度数据、骨骼数据和颜色数据可以组合以检测系统的环境中的对象。在一些实施例中，基于颜色数据和三维数据，可以检测对象。三维数据可以包括深度数据和/或骨骼数据。如在此所提到的骨骼数据可以包括指示用户的大小和形状的数据，而深度数据可以包括指示环境中的用户的位置的数据。颜色数据可以指示与环境中所采集的任何数目的点或像素相关联的颜色。校准模块可以采集可以包括用户、家具和固定表面等的对象的颜色数据、骨骼数据和深度数据。存储装置118还可以包括检测模块122，其可以检测将被投影在本地环境中的、远程环境中的远程对象。在一些示例中，检测模块122通过扫描远程环境中的预定位置、分析来自远程环境的环境数据或检测远程位置中的移动对象(诸如用户)等来检测远程对象。
存储装置118还可以包括环境模块124，其可以检测本地环境中的本地用户的视点。在一些示例中，用户的视点可以指示本地用户查看的注视或方向。此外，存储装置118可以包括投影模块126，其可以基于本地用户的视点，将对应于远程用户的远程对象的虚拟副本投影在本地环境中。
将理解到，图1的块图不旨在指示计算系统100将包括图1中所示的所有部件。相反，计算系统100可以包括未图示在图1中的更少或附加的部件(例如，附加应用、附加模块、附加存储器设备、附加网络接口等)。此外，校准模块120、检测模块122、环境模块124和投影模块126的功能中的任一个可以部分或者完全实现在硬件和/或处理器102中。例如，可以利用专用集成电路、在被实现在处理器中的逻辑中或在任何其他设备中实现功能。
图2是用于投影远程对象的示例方法的过程流程图。可以利用任何适合的计算设备(诸如图1的计算设备100)实现方法200。
在块202处，校准模块120可以校准系统，该校准包括采集对应于系统被定位在其中的本地环境的环境数据。环境数据可以包括与系统或计算设备被定位在其中的空间内的物理对象和个体有关的数据。例如，环境数据可以指示无生命的对象(诸如椅子、家具或空间中的其他对象)的位置。环境数据还可以指示空间内的固定表面(诸如墙、地板和天花板)。此外，环境数据可以指示关于空间中的无生命的对象的用户或个体的位置。环境数据还可以包括与本地环境中所标识的任何个体有关的骨骼数据、颜色数据和深度数据。
在一些实施例中，环境数据可以指示与定位或渲染虚拟对象有关的任何适合的信息。例如，环境数据可以包括与可以不适于虚拟对象的投影的环境中的照明区域有关的信息、可以不适于虚拟对象的投影的光学透视式眼镜、与可以不适于虚拟对象的投影的环境中的忙碌区域有关的信息、与环境中的深色区域有关的信息、或与不容易地由用户可见的环境中的区域有关的信息等。
在一些示例中，环境数据还可以指示个体可以在会议期间被定位在其中的位置。例如，环境数据可以指示个体可以在会议期间就座在其中的椅子或者个体可以在会议期间站立在其中的区域。在一些实施例中，本地环境可以包括围绕计算设备或系统的区域，其中区域是预定大小。例如，本地环境可以被预定为包括与系统任何适合的方向上的空间量。在一些示例中，本地环境可以可配置或者可适于包括系统周围的空间量，其包括房间的任何数目的固定表面或墙。
在块204处，检测模块122可以接收对应于远程环境中的远程用户的远程对象的虚拟副本。如在此所使用的，远程环境包括远程计算设备周围的空间，其中远程环境是与本地环境分离或不相交的。例如，远程环境可以包括与本地环境被定位在其中的房间分离的房间中的空间。在一些实施例中，远程对象可以包括任何适合的有生命的对象或无生命的对象(诸如个体、游戏块或动物等)。远程对象表示将被投影到本地环境中的、来自远程环境的对象。在一些实施例中，远程对象还可以包括远程环境中先前地记录的对象。例如，远程对象可以包括可以被投影到本地环境中的远程用户的记录。在一些实施例中，还可以使用色度键合成技术来采集或记录远程对象。在一些实施例中，当深度照相机不可用时，使用色度键合成在本地环境中显示远程对象。在一些示例中，可以以支持将远程对象的虚拟副本投影为化身的计算机生成的图像格式来存储远程对象。
在一些实施例中，检测模块122可以使用各种技术(诸如生成将远程环境中的远程对象标记为用户的用户索引)根据来自远程环境的接收到的数据来检测远程对象。例如，检测模块122可以基于用户运动，在配置时间段期间从远程环境接收到的数据中标识用户。备选地，检测模块122可以通过采集和比较远程环境的两个图像来检测已经在远程环境中移动的远程对象。例如，检测模块122可以通过检测远程对象不存在于远程环境的先前地所采集的图像中来检测固定表面上的远程对象(诸如家具)。
在块206处，环境模块124可以检测本地环境中的本地用户的视点。在一些实施例中，环境模块124可以基于环境数据检测本地环境中的用户。例如，环境模块124可以分析环境数据，以基于本地环境中的运动来标识用户。在一些示例中，环境模块124能够分析环境数据，以基于对应于用户的骨骼数据、深度数据或颜色数据来检测本地环境中的用户的视点或注视。例如，环境模块124可以指示用户相对于其他用户可以在会议期间坐落或定位在其中的本地环境中的位置的定向。在一些示例中，用户的视点可以指示用户将看向另一用户可以在会议期间被定位在其中的椅子或空间。
在一些示例中，环境模块124还可以标识本地环境中的、远程对象可以基于表面属性而被投影在其上的位置。如在此所提到的，表面属性可以指示固定表面是否是半透明的或反射性的等。在一些实施例中，远程对象可以没有被投影在半透明或反射性的表面上。环境模块124还可以基于表面的属性(诸如颜色、纹理、本地用户的定向、本地用户的可见性、投射在表面上的光量、和语义上下文等)生成针对每个表面的得分。在一些示例中，远程对象的虚拟副本可以未被投影在具有小于阈值的得分的表面上。
在块208处，投影模块126可以基于本地用户的视点，将对应于远程用户的远程对象的虚拟副本投影在本地环境中。在一些实施例中，投影模块126可以基于本地环境中的用户的视点将预定位置中的远程对象投影在本地环境中。例如，取决于本地环境中的用户的视点，投影模块126可以将远程对象投影在预定家具上或固定表面上。在一些实施例中，投影模块126可以通过考虑本地环境中的本地对象的几何形状将远程对象的虚拟副本定位在本地环境中。例如，投影模块126可以检测与本地环境中的本地对象的几何形状有关的三维数据，并且基于本地对象的几何形状对虚拟副本的投影进行定位。本地对象可以包括家具、墙、天花板或虚拟副本可以被投影在其上的任何其他适合的表面。在一些示例中，投影模块126可以通过利用将虚拟副本投影到其上的适当的表面检测本地对象，对待被投影在本地对象上的虚拟副本进行定位。在一些示例中，定位虚拟副本可以基于本地环境中的预定位置。
在一些实施例中，投影模块126可以基于本地用户的视点，对远程对象进行旋转。例如，投影模块126可以检测本地用户已经旋转或转动其头部，并且投影模块126可以通过旋转远程对象的投影以匹配本地用户的旋转来做出反应。基于本地用户的视点旋转远程对象的虚拟副本可以实现本地用户和远程用户的虚拟脸对脸定向。在一些实施例中，投影模块126可以基于本地用户的视场，对远程对象的虚拟副本进行旋转。例如，投影模块126可以对远程对象的虚拟副本进行旋转，使得远程对象的视场和本地用户的视场对齐，好像本地用户和远程对象彼此面对。除了旋转远程对象的虚拟副本之外，投影模块126还可以将任何适合的梯形校正技术应用到虚拟副本以便以虚拟副本倾斜以看起来垂直于本地用户。
在一些实施例中，投影模块126可以通过生成远程对象的网格数据、检测表面以将远程对象的虚拟副本投影在本地环境中并且基于环境数据修改网格数据，来投影远程对象的虚拟副本。如在此所提到的，网格数据包括指示远程对象的三维表示的数据点。在一些实施例中，投影模块126可以检测到用于投影远程对象的虚拟副本的本地环境中的位置包括一套家具。投影模块126可以修改远程对象的网格数据，使得远程对象的虚拟副本以符合本地环境中的家具的大小的格式而被投影。例如，投影模块126可以修改针对远程对象的深度数据、颜色数据和/或骨骼数据。在一些示例中，投影模块126还可以修改远程对象的网格数据，使得远程对象的虚拟副本被投影在容纳远程对象的站立投影的固定表面的适合的大小处。投影模块126还可以修改网格数据，以通过生成合成信息以填充变形等重定向远程对象的虚拟副本或校正网格数据中的变形。
在一些实施例中，投影模块126可以使用图形处理单元(GPU)顶点和像素着色器的组合，其将用于远程对象的三维环境数据转换为三角网格。投影模块126还可以利用颜色数据渲染三角网格，并且根据针对本地环境(诸如家具和固定表面等)的环境数据转换或扭曲经纹理化的三角网格。
图2的过程流程图不旨在指示方法200的步骤将以任何特定次序执行或方法200的所有步骤将被包括在每个情况中。此外，取决于特定应用，任何数目的附加步骤可以被包括在方法200内。例如，投影模块126还可以将本地用户投影为远程环境中的分离的远程对象。此外，投影模块126可以检测与本地环境中的、远程对象的虚拟副本被投影在其中的位置的冲突，并且将本地环境中的远程对象的投影的位置移动到本地环境中的重定向位置。例如，冲突可以指示本地用户已经移动到远程对象被投影在其中的空间中，投影可见性已经由于已经进入远程对象将被投影在其中的空间的光而减小，或者另一对象可以已经移动到远程对象被投影在其中的空间或位置。作为响应，投影模块126可以检测投影远程对象的本地环境中的重定向位置。重定向位置可以包括投影远程对象的第二预定位置或基于环境数据的动态地确定的第二位置等。
投影模块126还可以检测到在投影对应于远程用户的远程对象之前远程用户处于静态位置。例如，投影模块126可以等待远程用户在投影对应于远程用户的远程对象的虚拟副本之前进入固定静态状态。固定静态状态可以指示用户处于预定位置(诸如就坐位置或站立位置等)。在一些示例中，固定静态状态可以允许由预定位置内的远程用户造成的预定移动量。在一些实施例中，投影模块126可以基于远程用户的移动，对远程用户的远程对象进行投影。
图3是在远程环境和本地环境中投影远程对象的示图。在一些实施例中，远程环境302和本地环境304各自包括可以传送数据的客户端设备。例如，远程环境302可以包括远程客户端设备306，并且本地环境304可以包括本地客户端设备308。在一些示例中，远程客户端设备306和本地客户端设备308可以是任何适合的计算设备(图1的计算设备100)。在一些示例中，远程客户端设备306和本地客户端设备308可以被连接到投影服务器(还被称为投影仪服务器)，诸如相应地投影服务器310和312。投影服务器310和312可以采集周围环境中的环境数据并且将环境数据传送到远程客户端设备306和本地客户端设备308。可以经由网络套接字和任何适合的压缩技术使用任何适合的数据协议(诸如传输控制协议/因特网协议(TCP/IP)或用户数据报协议(UDP))来传送数据。如上文所讨论的，环境数据可以包括骨骼数据和三维数据(诸如深度数据和颜色数据)。在一些实施例中，环境数据指示远程环境302和/或本地环境中的用户或个体的存在。例如，投影服务器310和312可以检测类似用户或个体的远程对象。投影服务器310和312可以然后基于环境数据来检测用户的定向。例如，定向可以指示远程对象或用户处于就坐位置、站立位置或位于任何其他适合的位置。环境数据还可以指示可供性(诸如椅子或站立位置、光源的位置)或语义信息(诸如门、白板等的位置)。在一些实施例中，可以随时间在环境中检测环境数据或者可以预定环境数据。
本地客户端设备308和远程客户端设备306可以从投影服务器310或312接收远程对象的定向。本地客户端设备308和远程客户端设备306还可以从投影服务器310和312接收环境数据。在一些示例中，本地客户端设备308可以从远程环境302中的投影服务器310接收环境数据，并且远程客户端设备306可以从本地环境中的投影服务器312接收环境数据。
在一些实施例中，本地客户端设备308和远程客户端设备306可以确定待被投影在分离的环境中的远程对象的定向。例如，定向可以指示远程对象的位置或姿势(诸如远程对象是否是就坐用户、站立用户或任何其他位置的用户)。此外，本地客户端设备308和远程客户端设备306可以检测用于投影远程对象的就坐布置或可用位置，并且将指令传送到对应的投影服务器310或312以基于环境中的用户的视点投影远程对象的虚拟副本。
图4A是远程对象的虚拟副本的示例投影的示图。在图4A的示例中，远程对象的虚拟副本402是物理地被定位在远程环境中的用户，而不是被投影在本地环境中。虚拟副本402被投影在本地环境中的、对应于就坐位置中的用户的位置内的就坐位置中。例如，虚拟副本402可以被投影在任何适合的椅子或便于就坐用户的其他家具。
图4B是具有应用效果的远程对象的示例虚拟副本的示图。在一些实施例中，投影模块126可以基于投影虚拟副本的系统的状态来生成针对虚拟副本402的效果。例如，投影模块126可以向虚拟副本402应用效果，其中效果包括饱和虚拟副本402并且添加蓝色色调、应用虚拟副本402的边缘光照、以及将扫描线添加到虚拟副本402等。在一些实施例中，效果可以包括任何适合的非真实感效果。在图4B中，虚拟副本402包括边缘光照效果，其照亮虚拟副本402的轮廓。在一些实施例中，虚拟副本402还可以包括将深度和形状线索添加到虚拟副本402的扫描线。在其中投影模块126比颜色数据更频繁地刷新深度数据的实施例中，扫描线还可以将时间平滑添加到虚拟副本402。
图4C是具有着色器效果的远程对象的示例虚拟副本的示图。着色器效果可以包括沿着远程对象的虚拟副本的水平线的亮度的变化。着色器效果还可以调制虚拟副本402的骨骼数据或三维几何形状，而不是仅调制用于渲染虚拟副本402使用的颜色数据。在一些实施例中，投影模块126可以基于系统的状态渲染针对虚拟副本402的视觉效果(在此还被称为着色器效果)，其中状态包括延时数据或重定向数据。例如，具有着色器效果的虚拟副本402的投影能够向本地查看者指示虚拟副本402的清晰可能由于网络问题或重定向而被降低。如在此所提到的，重定向包括将远程对象的投影从本地环境中的第一位置过渡到本地环境中的第二位置。例如，投影模块126可以检测查看者或任何其他适合的障碍当前阻止本地环境中的第一位置中的虚拟副本402的正确投影。投影模块126可以检测用于将虚拟副本402投影在本地环境中的第二位置并且将虚拟副本402的投影从第一位置过渡到第二位置。在一些实施例中，第二位置基于本地环境中的本地用户的视点。第二位置还可以基于任何适合的约束(诸如投影表面的接近度、第二位置的定向与本地用户的关系等)。
图5是示出能够投影远程对象的有形计算机可读存储介质的块图。可以通过计算机总线504由处理器502来访问有形计算机可读存储介质500。此外，有形计算机可读存储介质500可以包括引导处理器502执行当前方法的步骤的代码。
在此所讨论的各种软件组件可以被存储在有形计算机可读存储介质500上，如在图5中所指示的。例如，有形计算机可读存储介质500可以包括校准模块506，其可以通过采集环境数据对系统进行校准。例如，校准模块506可以检测关于周围环境或空间中的对象的深度数据、颜色数据和骨骼数据。对象可以包括用户、家具和固定表面等。有形计算机可读存储介质500还可以包括检测模块508，其可以检测将被投影在本地环境中的远程环境中的远程对象。在一些示例中，检测模块508可以通过扫描远程环境中的预定位置或检测远程位置中的运动对象等来检测远程对象。
有形计算机可读存储介质500还可以包括环境模块510，其可以检测本地环境中的本地用户的视点。在一些示例中，用户的视点可以指示本地用户查看的注视或方向。此外，计算机可读存储介质500可以包括投影模块512，其可以基于本地用户的视点，将对应于远程用户的远程对象投影在本地环境中。
应理解到，取决于特定应用，未示出在图5中的任何数目的附加软件组件可以被包括在有形计算机可读存储介质500内。虽然已经以特定于结构特征和/或方法的语言描述了主题，但是应理解到，所附的权利要求中定义的主题不必限于上文所描述的特定结构特征或方法。相反，上文所描述的特定特征和方法被公开为实现权利要求的示例形式。
示例1
在一个实施例中，一种用于投影远程对象的虚拟副本的方法，包括采集对应于系统被定位在其中的本地环境的环境数据，并且接收对应于远程环境中的远程用户的远程对象的虚拟副本。方法还可以包括检测本地环境中的本地用户的视点，并且基于本地用户的视点来将对应于远程用户的远程对象的虚拟副本投影在本地环境中，远程对象的虚拟副本通过考虑本地环境中的本地对象的几何形状而被定位在本地环境中。
备选地或者附加地，方法可以包括标识本地环境中的、远程对象可以被投影在其上的位置。在一些实施例中，位置基于表面属性。备选地或者附加地，方法可以包括向虚拟副本应用效果，效果包括饱和虚拟副本并且添加蓝色色调、应用虚拟副本的边缘光照、以及将扫描线添加到虚拟副本。备选地或者附加地，方法可以包括基于本地用户的视点，对虚拟副本进行旋转。备选地或者附加地，方法可以包括检测与本地环境中的、远程对象的虚拟副本被投影在其中的位置的冲突，并且将本地环境中的远程对象的虚拟副本的投影的位置移动到本地环境中的重定向位置。
示例2
另一实施例提供一种或多种计算机可读存储介质，其用于投影远程对象的虚拟副本，其包括多个指令，指令当由处理器执行时使得处理器采集对应于系统被定位在其中的本地环境的环境数据。指令还可以使得处理器接收对应于远程环境中的远程用户的远程对象的虚拟副本并且检测本地环境中的本地用户的视点。此外，指令可以使得处理器基于本地用户的视点和远程对象可以被投影在其上的本地环境中的所标识的位置来将对应于远程用户的远程对象投影在本地环境中，远程对象的虚拟副本通过考虑本地环境中的本地对象的几何形状而被定位在本地环境中。
备选地或者附加地，指令可以使得处理器标识本地环境中的、远程对象可以被投影在其上的位置。在一些实施例中，位置基于表面属性。备选地或者附加地，指令可以使得处理器向虚拟副本应用效果，效果包括饱和虚拟副本并且添加蓝色色调、应用虚拟副本的边缘光照、以及将扫描线添加到虚拟副本。备选地或者附加地，指令可以使得处理器基于本地用户的视点对虚拟副本进行旋转。备选地或者附加地，指令可以使得处理器检测与本地环境中的、远程对象的虚拟副本被投影在其中的位置的冲突，并且将本地环境中的远程对象的虚拟副本的投影的位置移动到本地环境中的重定向位置。
示例3
另一实施例提供一种用于投影远程对象的虚拟副本的系统，其包括用于校准系统的第一模块，该校准包括采集对应于系统被定位在其中的本地环境的环境数据。系统还可以包括用于接收对应于远程环境中的远程用户的远程对象的虚拟副本的第二模块。此外，系统可以包括用于检测本地环境中的本地用户的视点的第三模块。而且，所述系统可以包括第四模块，其基于本地用户的视点来将远程对象的虚拟副本投影在本地环境中，远程对象的虚拟副本通过考虑本地环境中的本地对象的几何形状而被定位在本地环境中。
备选地或者附加地，系统可以包括标识本地环境中的、远程对象的虚拟副本可以被投影在其上的位置的模块。在一些实施例中，位置基于表面属性。备选地或者附加地，系统可以包括向虚拟副本应用效果的模块，效果包括饱和虚拟副本并且添加蓝色色调、应用虚拟副本的边缘光照、以及将扫描线添加到虚拟副本。备选地或者附加地，系统可以包括基于本地用户的视点旋转虚拟副本的模块，并且虚拟副本包括远程用户的真人大小图像。备选地或者附加地，系统可以包括检测与本地环境中的、远程对象的虚拟副本被投影在其中的位置的冲突并且将本地环境中的远程对象的虚拟副本的投影的位置移动到本地环境中的重定向位置的模块。
备选地或者附加地，第三模块可以标识本地环境中的、远程对象能够被投影在其上的位置。备选地或者附加地，第二模块可以检测到远程用户处于静态位置。在一些实施例中，远程对象可以包括对应于远程用户的深度、颜色和三维数据。备选地或者附加地，第五模块可以将本地用户发送为用于远程环境中的投影的分离的虚拟副本。备选地或者附加地，系统可以包括可以向虚拟副本应用效果的模块，效果包括饱和虚拟副本并且添加蓝色色调、应用虚拟副本的边缘光照、以及将扫描线添加到虚拟副本。备选地或者附加地，第四模块可以基于本地用户的视点对虚拟副本进行旋转和定位。备选地或者附加地，第四模块可以生成远程对象的网格数据、检测表面以将远程对象的虚拟副本投影在本地环境中、以及基于环境数据修改网格数据。在一些实施例中，系统的状态包括延时数据或重定向数据。

Claims (22)

1.一种用于投影远程对象的虚拟副本的系统，包括：
处理器，其用于：
校准所述系统，所述校准包括采集对应于所述系统被定位在其中的本地环境的环境数据；
接收对应于远程环境中的远程用户的远程对象的所述虚拟副本；
检测所述本地环境中的本地用户的视点；以及
基于所述本地用户的所述视点来将所述远程对象的所述虚拟副本投影在所述本地环境中，所述远程对象的所述虚拟副本通过考虑所述本地环境中的本地对象的几何形状而被定位在所述本地环境中，其中所述远程对象的所述虚拟副本要被投影到所述本地环境中的固定表面，其中所述远程对象的所述虚拟副本包括基于所述远程用户的定向的修改的网格数据。
2.根据权利要求1所述的系统，其中所述处理器用于标识所述本地环境中的、所述远程对象的所述虚拟副本能够被投影在其上的位置。
3.根据权利要求2所述的系统，其中所述处理器基于表面属性来标识所述位置。
4.根据权利要求1所述的系统，其中所述处理器检测到所述远程用户处于静态位置。
5.根据权利要求1所述的系统，其中所述处理器基于所述本地用户的所述视点来旋转并且定位所述虚拟副本，并且其中所述虚拟副本包括所述远程用户的真人大小图像。
6.根据权利要求1所述的系统，其中所述处理器用于将所述本地用户发送为用于所述远程环境中的投影的分离的虚拟副本。
7.根据权利要求1所述的系统，所述远程对象包括对应于所述远程用户的深度数据、颜色数据以及三维数据。
8.根据权利要求1所述的系统，其中所述处理器用于：
检测表面以将所述远程对象的所述虚拟副本投影在所述本地环境中；以及
基于所述环境数据来修改所述网格数据。
9.根据权利要求8所述的系统，其中所述系统的状态包括延时数据或重定向数据。
10.根据权利要求1所述的系统，其中所述处理器用于：
检测与所述本地环境中的、所述虚拟副本被投影在其中的位置的冲突；以及
将所述本地环境中的所述远程对象的所述虚拟副本的所述投影的所述位置移动到所述本地环境中的重定向位置。
11.根据权利要求1所述的系统，其中所述处理器用于向所述虚拟副本应用效果，所述效果包括非真实感效果。
12.根据权利要求1所述的系统，其中所述处理器将使用色度键合成技术来记录所述远程对象。
13.一种用于投影远程对象的虚拟副本的方法，包括：
采集对应于系统被定位在其中的本地环境的环境数据；
检测对应于远程环境中的远程用户的远程对象；
检测所述本地环境中的本地用户的视点；以及
基于所述本地用户的所述视点来将对应于所述远程用户的所述远程对象的虚拟副本投影在所述本地环境中，所述远程对象的所述虚拟副本通过考虑所述本地环境中的本地对象的几何形状而被定位在所述本地环境中，其中所述远程对象的所述虚拟副本要被投影在所述本地环境中的预定家具上，并且其中所述远程对象的所述虚拟副本包括基于所述远程用户的定向的修改的网格数据。
14.根据权利要求13所述的方法，包括标识所述本地环境中的、所述远程对象能够被投影在其上的位置。
15.根据权利要求14所述的方法，其中所述位置基于表面属性。
16.根据权利要求13所述的方法，包括向所述虚拟副本应用效果，所述效果包括：使所述虚拟副本饱和并且添加蓝色色调、应用所述虚拟副本的边缘光照、以及向所述虚拟副本添加扫描线。
17.根据权利要求13所述的方法，包括：基于所述本地用户的所述视点来旋转述虚拟副本。
18.根据权利要求13所述的方法，包括：
检测与所述本地环境中的、所述远程对象的所述虚拟副本被投影在其中的位置的冲突；以及
将所述本地环境中的所述远程对象的所述虚拟副本的所述投影的所述位置移动到所述本地环境中的重定向位置。
19.根据权利要求13所述的方法，其中所述远程对象的所述虚拟副本要被部分投影在所述本地环境中的固定表面上并且被部分投影在所述预定家具上，其中所述固定表面包括所述本地环境的至少一面墙、地板或天花板。
20.一种或多种计算机可读存储介质，其用于投影远程对象的虚拟副本，所述计算机可读存储介质包括多个指令，所述指令当由处理器执行时，使得所述处理器用以：
采集对应于系统被定位在其中的本地环境的环境数据；
检测对应于远程环境中的远程用户的远程对象；
检测所述本地环境中的本地用户的视点；以及
基于所述本地用户的所述视点来将对应于所述远程用户的所述远程对象投影在所述本地环境中，所述远程对象的所述虚拟副本通过考虑所述本地环境中的本地对象的几何形状而被定位在所述本地环境中，其中所述远程对象的所述虚拟副本要被投影在所述本地环境中的预定家具上或者被投影到所述本地环境中的固定表面，其中所述远程对象的所述虚拟副本包括基于所述远程用户的定向的修改的网格数据。
21.根据权利要求20所述的一种或多种计算机可读存储介质，其中所述多个指令当由所述处理器执行时使得所述处理器向所述虚拟副本应用效果，所述效果包括：使所述虚拟副本饱和并且添加蓝色色调、应用所述虚拟副本的边缘光照、以及向所述虚拟副本添加扫描线。
22.根据权利要求20所述的一种或多种计算机可读存储介质，其中所述多个指令当由所述处理器执行时使得所述处理器：
检测与所述本地环境中的、所述虚拟副本被投影在其中的位置的冲突；以及
将所述本地环境中的所述虚拟副本的所述投影的所述位置移动到所述本地环境中的重定向位置。
CN201680014420.2A 2015-03-12 2016-02-25 投影远程对象的虚拟副本 Active CN107409196B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/656,160 2015-03-12
US14/656,160 US10216982B2 (en) 2015-03-12 2015-03-12 Projecting a virtual copy of a remote object
PCT/US2016/019442 WO2016144553A1 (en) 2015-03-12 2016-02-25 Projecting a virtual copy of a remote object

Publications (2)

Publication Number Publication Date
CN107409196A CN107409196A (zh) 2017-11-28
CN107409196B true CN107409196B (zh) 2020-06-02

Family

ID=55642830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680014420.2A Active CN107409196B (zh) 2015-03-12 2016-02-25 投影远程对象的虚拟副本

Country Status (4)

Country Link
US (1) US10216982B2 (zh)
EP (1) EP3268936A1 (zh)
CN (1) CN107409196B (zh)
WO (1) WO2016144553A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180096505A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1378741A (zh) * 1999-08-10 2002-11-06 彼得·麦克达菲·怀特 通信系统
CN102693005A (zh) * 2011-02-17 2012-09-26 微软公司 使用3d深度相机和3d投影仪来提供交互式体验
CN103076875A (zh) * 2011-09-30 2013-05-01 微软公司 具有全息对象的个人音频/视频系统

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7209160B2 (en) 1995-09-20 2007-04-24 Mcnelley Steve H Versatile teleconferencing eye contact terminal
US7116324B2 (en) * 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
US7495694B2 (en) * 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7119829B2 (en) 2003-07-31 2006-10-10 Dreamworks Animation Llc Virtual conference room
US8208007B2 (en) 2004-04-21 2012-06-26 Telepresence Technologies, Llc 3-D displays and telepresence systems and methods therefore
JP4242318B2 (ja) * 2004-04-26 2009-03-25 任天堂株式会社 ３次元画像生成装置および３次元画像生成プログラム
US7310712B1 (en) * 2004-06-10 2007-12-18 Sun Microsystems, Inc. Virtual copy system and method
US7737965B2 (en) * 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
CA2631412A1 (en) * 2005-11-28 2007-05-31 L-3 Communications Corporation Distributed physics based training system and methods
US20070248261A1 (en) * 2005-12-31 2007-10-25 Bracco Imaging, S.P.A. Systems and methods for collaborative interactive visualization of 3D data sets over a network ("DextroNet")
US8223186B2 (en) 2006-05-31 2012-07-17 Hewlett-Packard Development Company, L.P. User interface for a video teleconference
NO333026B1 (no) 2008-09-17 2013-02-18 Cisco Systems Int Sarl Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale.
US9538167B2 (en) 2009-03-06 2017-01-03 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
RU2518218C2 (ru) 2009-05-12 2014-06-10 Хуавэй Дивайс Ко., Лтд. Система дистанционного присутствия, способ дистанционного присутствия и устройство сбора видеоданных
US8860729B2 (en) * 2009-07-22 2014-10-14 Imagemovers Digital Llc Gaze intent estimation for retargeting of characters
US8487977B2 (en) 2010-01-26 2013-07-16 Polycom, Inc. Method and apparatus to virtualize people with 3D effect into a remote room on a telepresence call for true in person experience
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
WO2012007795A1 (en) * 2010-07-16 2012-01-19 Sony Ericsson Mobile Communications Ab Three dimensional face modeling and sharing based on two dimensional images
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
KR101818024B1 (ko) * 2011-03-29 2018-01-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
US8928735B2 (en) 2011-06-14 2015-01-06 Microsoft Corporation Combined lighting, projection, and image capture without video feedback
US9560314B2 (en) 2011-06-14 2017-01-31 Microsoft Technology Licensing, Llc Interactive and shared surfaces
US9153195B2 (en) * 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US9679215B2 (en) * 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
US9767720B2 (en) * 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9325943B2 (en) 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US10139623B2 (en) * 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9841821B2 (en) * 2013-11-06 2017-12-12 Zspace, Inc. Methods for automatically assessing user handedness in computer systems and the utilization of such information
US20160069643A1 (en) * 2014-09-06 2016-03-10 Philip Lyren Weapon Targeting System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1378741A (zh) * 1999-08-10 2002-11-06 彼得·麦克达菲·怀特 通信系统
CN102693005A (zh) * 2011-02-17 2012-09-26 微软公司 使用3d深度相机和3d投影仪来提供交互式体验
CN103076875A (zh) * 2011-09-30 2013-05-01 微软公司 具有全息对象的个人音频/视频系统

Also Published As

Publication number Publication date
US20160267642A1 (en) 2016-09-15
WO2016144553A1 (en) 2016-09-15
CN107409196A (zh) 2017-11-28
EP3268936A1 (en) 2018-01-17
US10216982B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
US10580202B2 (en) Inverse rendering of visual material properties
Siltanen Diminished reality for augmented reality interior design
US10504274B2 (en) Fusing, texturing, and rendering views of dynamic three-dimensional models
Siegl et al. Real-time pixel luminance optimization for dynamic multi-projection mapping
US10049490B2 (en) Generating virtual shadows for displayable elements
CA2971280A1 (en) System and method for interactive projection
US20170213396A1 (en) Virtual changes to a real object
Cosco et al. Augmented touch without visual obtrusion
US10600255B2 (en) Technologies for composing a virtual reality setting in a mobile computing environment
JP2019527355A (ja) デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法
Queguiner et al. Towards mobile diminished reality
CN107409196B (zh) 投影远程对象的虚拟副本
US9978178B1 (en) Hand-based interaction in virtually shared workspaces
KR102197504B1 (ko) 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법
Sánchez Salazar Chavarría et al. Interactive 3D touch and gesture capable holographic light field display with automatic registration between user and content
US11636578B1 (en) Partial image completion
TW201719425A (zh) 控制方法、電腦可讀取媒體及控制器
US10290146B2 (en) Displaying depth effects in digital artwork based on movement of a display
Kolivand et al. Livephantom: Retrieving virtual world light data to real environments
Plopski et al. Reflectance and light source estimation for indoor AR Applications
US12002165B1 (en) Light probe placement for displaying objects in 3D environments on electronic devices
JP7419908B2 (ja) 画像処理システム、画像処理方法、及びプログラム
US20240015263A1 (en) Methods and apparatus to provide remote telepresence communication
US11146777B2 (en) Efficient image population from captured scene
State et al. The A-Desk: A Unified Workspace of the Future

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant