CN107004296A - 用于对虚拟现实环境的遮挡面部进行重构的方法和系统 - Google Patents

用于对虚拟现实环境的遮挡面部进行重构的方法和系统 Download PDF

Info

Publication number
CN107004296A
CN107004296A CN201580053863.8A CN201580053863A CN107004296A CN 107004296 A CN107004296 A CN 107004296A CN 201580053863 A CN201580053863 A CN 201580053863A CN 107004296 A CN107004296 A CN 107004296A
Authority
CN
China
Prior art keywords
face
data
facial
blocked
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580053863.8A
Other languages
English (en)
Other versions
CN107004296B (zh
Inventor
纳道维·格罗辛格
埃米尔·阿隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Publication of CN107004296A publication Critical patent/CN107004296A/zh
Application granted granted Critical
Publication of CN107004296B publication Critical patent/CN107004296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B45/00—ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biophysics (AREA)
  • Biotechnology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本文提供一种用于对遮挡的面部进行重构的方法和系统。该方法可包括以下步骤：获得离线3D数据，该离线3D数据是未佩戴面部遮挡物体的人的头部的3D数据，该面部遮挡物体是遮挡人的面孔的一部分的物体；实时获得实时3D数据，该实时3D数据是该头部的3D数据，其中，该人佩戴该面部遮挡物体；基于实时3D数据，将3D变换应用至离线3D数据的至少一部分，以产生重构的实时3D数据，该重构的实时3D数据是与被遮挡的面部相关的实时3D数据；以及将重构的实时3D数据融合至实时3D数据中。该系统可通过计算机处理器实现上述步骤。

Description

用于对虚拟现实环境的遮挡面部进行重构的方法和系统
技术领域
本发明总体涉及虚拟现实环境，并且更具体地，涉及这种集成虚拟现实环境参与者的真实图像的环境。
背景技术
在阐述本发明的背景之前，阐述将在下文中使用的某些术语的定义可能是有帮助的。
如本文使用的术语“虚拟现实”(VR)被限定为可模拟真实世界或想象世界中的地点的物理存在的计算机模拟环境。虚拟现实可重塑感官体验，包括虚拟味觉、视觉、嗅觉、听觉、触觉等。
如本文使用的术语“虚拟现实头盔(headset)”被定义为头戴式显示器(HMD)，通过该头戴式显示器，3D计算机模拟环境被立体投射至用户的眼睛，其中，每只眼睛接收到计算机模拟环境的略微不同的视点。本领域已知的一个这种虚拟现实头盔是Oculus RiftTM。虚拟现实头盔可实现为任意类型的立体眼罩(visor)并且可被保持在头盔型(helmet-type)结构内。
如本文使用的术语“3D模型”被定义为3D建模的产物，该3D建模是开发对象(无生命或有生命)的任意三维表面的数学表示的过程。模型也可被物理创建，例如，使用3D打印设备或甚至手动创建。3D模型可表示使用由各种几何实体(诸如，三角形、线、曲面等)连接的3D空间中的点的集合的3D对象。作为数据(点和其他信息)的集合。
如本文使用的术语“3D数据”被定义为源自3D对象的任意形式和种类的任意数据结构。3D数据可包括例如，3D模型、3D图像，但是也包括较少的结构化数据类型。
如今，3D虚拟现实的一个挑战是以无缝方式将用户(例如，虚拟现实环境参与者)的实际图像或数据例如结合在其他用户中的每一个的视点中。因为目前可用的一些虚拟现实系统需要某些形式的虚拟现实头盔(在该虚拟现实头盔内，集成有近眼显示器)，所以面部的至少一部分被头盔遮挡。
在一些3D虚拟现实应用中，期望实时捕获用户的图像并且将该图像融合至其他用户中的每一个的视野中。在这种应用中，诸如虚拟现实头盔的头盔或用作近眼显示器的面部遮挡物体可引起数据的损失，例如用户面部的一部分的损失，其破坏了整体用户体验。
图1示出根据现有技术的虚拟现实环境100，其中，两个人(用户)106和108分别都佩戴有近眼显示单元102和104，该近眼显示单元恰好遮挡他们面部的至少一部分。他们各自的视图(他们通过显示器看到的东西)110和112本质上通常为3D，并且因此，每个观察图像包括两个视点(为了简单，未示出)。经由用户各自的近眼显示器呈现给他们的视图110和112包括计算机模拟环境而未示出真实物体103和105。计算机模拟环境的视图110和112响应于用户的移动而被实时调整。视图110和112呈现他们的佩戴近眼显示器102A和104A(在视图112和110中，该近眼显示器遮挡了他们的大部分面部)的对面参与者106A和108A的图像。面部遮挡是不期望的结果，并且破坏整体用户体验。
发明内容
本发明的一些实施方式通过提供针对虚拟现实环境的遮挡面部进行重构的方法和系统，来克服现有技术的上述缺点。该方法可包括以下步骤：获得离线3D数据，该离线3D数据是未佩戴面部遮挡物体的人的头部的3D数据，该面部遮挡物体是遮挡人的面部的一部分的物体；实时获得实时3D数据，该实时3D数据是所述头部的3D数据，其中，所述人佩戴所述面部遮挡物体；基于实时3D数据，将3D变换应用至离线3D数据的至少一部分，以产生重构的实时3D数据，该重构的实时3D数据是与遮挡面部部分相关的实时3D数据；以及将重构的实时3D数据融合至实时3D数据中。该系统可通过计算机处理器实现上述步骤。
本发明的实施方式的这些附加和/或其他方面和/或优势在随后的详细说明中阐述；其可能从详细说明中推断；和/或可通过本发明的实施方式习得。
附图说明
为了更好地理解本发明的实施方式，并示出本发明的实施方式可如何实现，现在将完全通过实例来参考附图，在附图中，相同标号始终表示对应元件或部分。在附图中：
图1是示出根据现有技术的虚拟现实环境的示意性框图；
图2是示出根据本发明的实施方式的虚拟现实环境的示意性框图；
图3是示出根据本发明的实施方式的虚拟现实环境的示意图；
图4是示出根据本发明的实施方式的系统的示意图；
图5是示出根据本发明的实施方式的系统的示意性框图；
图6是示出根据本发明的实施方式所采取的一系列动作的示意图；
图7是示出根据本发明的实施方式的系统的方面的示意性框图；以及
图8是示出根据本发明的一些实施方式的方法的流程图。
具体实施方式
现在详细地具体参考附图，强调示出的细节是通过举例的方式，并且仅为了本技术的优选实施方式的说明性讨论的目的，并且是由于提供了被认为最有用并且容易理解本技术的原理和概念方面的描述而被呈现。在这点上，没有试图以比基本理解本技术所必需的情况更详细地示出本技术的结构细节，利用附图进行的描述是使得本领域的技术人员明白可以如何在实践中实施本发明的若干形式。
在详细说明本技术的至少一种实施方式之前，应理解，本发明不限于将其应用于以下描述中所阐述的或在附图中示出的部件的构造及布置的细节。本技术可适用于其他实施方式或者以各种方式被实践或实施。同样，应理解，本文采用的措辞和术语是为了描述的目的且不应被认为是限制性的。
本发明的一些实施方式解决了在面部的一部分被遮挡(通常被诸如Oculus RiftTM头盔或Google GlassTM的3D虚拟现实头盔遮挡)的情况下，重构虚拟现实参与者的面部的挑战。为了以对于其他观众参与者无缝的方式，重构实时3D数据(诸如虚拟现实参与者的面部的3D图像)，在3D虚拟现实域中操作使得解决方案特别具有挑战性。
图2是示出根据本发明的实施方式的虚拟现实环境的示意性框图。描绘了虚拟现实系统中的场景200，其中，两个人(参与者)206和208都分别佩戴恰好遮挡他们的面部的近眼显示器或VR头盔202和204。然而，与图1相反，经由他们的近眼显示器202和204呈现的他们各自的视图210和212示出他们的对面参与者未佩戴近眼显示器(因为真实世界的背景由计算机模拟环境替代，所以真实物体203和205也未被示出)。如以下将详细说明的，这是通过基于参与者的实际移动和/或表情和/或姿态，利用实时更新的补充或修改的面部图像替代图像的包括遮挡物体的部分而实现的。
图3是示出根据本发明的一些实施方式的虚拟现实环境的示意性框图。本文中，第三参与者(未示出)正在观看也包括真实物体303和305的真实世界300中佩戴诸如VR头盔304A和302A的头盔的两个其他参与者308A和306A。在呈现给第三用户的虚拟现实视图300B中，两个其他参与者308B和306B被呈现为没有头盔，因为这些头盔被重构的面部图像无缝替代。
图4是示出根据本发明的一些实施方式的方面的示意图。诸如VR头盔的用户头盔404示出为沿着其内侧具有多个传感器402(可附接至用户面部)。传感器被配置为感测用户姿态，诸如眼睛(例如，眼睛的瞳孔以及眼睑移动)，并且计算机处理器被配置为基于正在进行的姿态修改面部的基础图像并且实时(或者可能具有较少延迟)呈现它们。通过说明的方式，传感器402可感测面部皮肤的表明用户大笑或微笑的移动。作为响应，他或她面部的基础图像将经历应用大笑或微笑的效果的图像处理过程，诸如，拉伸各部分。该过程被实时更新。因此，其他观看者将被呈现用户的经修改的微笑面部图像，该修改的图像(而不是面部的遮挡部分)将被无缝插入用户的图像中。
图5是示出根据本发明的实施方式的系统500的示意性框图。系统500可包括：3D数据捕获设备510，该3D数据捕获设备被配置为捕获包含佩戴面部遮挡物体的至少一个人的场景的3D数据(例如，图像)512，其中，从指定用户的视点进行捕获。系统500可进一步包括计算机处理器520，该计算机处理器被配置为：获得表明例如由面部遮挡物体遮挡的面部的数据550，该数据有可能来自面部捕获模块530(其转而从传感器532至534或诸如联网数据库的其他来源接收该数据)。针对用户面部的2D图像的可能来源可以是诸如add FacebookTM或LinkedlnTM的可存储用户的资料图像的社交网络。这些2D图像可用于生成用户的头部或面部的3D数据。
计算机处理器520可被进一步配置为基于所获得的数据重构被遮挡的面部的3D数据(例如，图像)。计算机处理器520可被进一步配置为将重构的面部图像融合至捕获的场景的图像处的相应位置中。系统500可进一步包括近眼显示器570，该近眼显示器被配置为将融合的图像呈现给指定用户，其中，融合的图像被放置至基于指定用户的视点可调整的计算机模拟环境中。
根据本发明的一些实施方式，面部遮挡物体包括位于所述面部遮挡物体的内侧的一个或多个传感器，其中，传感器被配置为执行获得表明由面部遮挡物体遮挡的面部的数据。
根据本发明的一些实施方式，传感器的感测可以是图像捕获的形式，并且其中，所获得的数据是遮挡面部的一部分的图像。
根据本发明的一些实施方式，传感器可被配置为感测面部姿态，并且其中，通过对感测的姿态进行建模来执行面部图像的重构以相对于先前捕获的遮挡面部的基础图像改变面部。
根据本发明的一些实施方式，计算机处理器520可被配置为获得表明由面部遮挡物体遮挡的面部的数据，包括获得已被先前捕获的遮挡面部的基础图像。
根据本发明的一些实施方式，经由在联网数据库上搜索来执行由处理器获得遮挡面部的基础图像。
根据本发明的一些实施方式，遮挡面部的面部图像的重构可基于获得的数据，通过监测如下至少一个：佩戴面部遮挡物体的至少一个人的位置、方位、轮廓以及生命体征(例如，心跳速率、呼吸系统指标等)由处理器执行数据的获得，并且将所获得的数据应用到至少一个人的面部的三维模型以产生修改的面部图像。
根据本发明的一些实施方式，面部遮挡物体包括近眼显示器。
根据本发明的一些实施方式，近眼显示器被结合在头盔内。
根据本发明的一些实施方式，计算机模拟环境可以是对于指定用户以及佩戴面部遮挡物体的至少一个人共同的三维场景。
图6是示出根据本发明的实施方式所采取的一系列动作的示意图600。在第一步骤中，可能地但不排他地，基于人的多个2D图像612、614和616获得该人的头部的离线3D数据610(例如，以3D模型的形式)。人的2D图像612、614和616可在佩戴头盔之前在离线会话中捕获，或者可从诸如联网数据库的第三方来源获得。
替代地，在佩戴虚拟现实头盔之前，可使用结构光技术获得离线3D数据。具体地，通过使用诸如在WIPO PCT申请公开第WO2013088442(通过引证将其全部结合于此)中公开的结构光，可生成用户的头部或面部的景深图(depth map)，可从该景深图中检索离线3D数据。
随后，在第二步骤中，在人佩戴面部遮挡物体622(例如，虚拟现实头盔)、实时图像被不断更新的同时，获得用户的实时3D数据620(例如，模型)。在第三步骤中，3D变换可在重构模块640中应用至离线3D数据610或其一部分618(其与遮挡部分634的边界相对应，该边界可从3D模型632中分割出来)。3D变换可基于实时3D数据(模型)620，并且更具体地，3D变换可基于实时参数644，从该实时参数可估计遮挡部分634的外观。
实时参数644可包括例如：用户的面部的位置和方位或表情，但是也包括该人有多累，以及实时经历的情绪是什么类型。这些实时参数644都被使用以估计和重构被虚拟现实头盔遮挡的面部。
重构模块(或步骤)的产物是重构实时数据(或模型)650，该重构实时数据包括受到未遮挡部分的影响的区域的子部分652，通常内脸颊受到外脸颊的姿态变化的影响。可基于与非遮挡部分相关的实时参数644来估计该区域的外观。另一区域是未受到非遮挡部分的影响的区域(例如，眼睛)654。假定在虚拟现实环境中，人与另一人(其位置也已知)交互，可基于另一模型并且使用来自实时2D数据622外部的来源的元数据642(诸如，人正在看哪个方向)来估计眼睛的外观。最终，重构的实时3D数据(或模型)650可被融合至可能遮挡部分被割掉的实时3D数据(或模型)632中，以产生人的头部的重构实时3D数据(或模型)，其中遮挡部分被重构。然后，模型660可生成为呈现给参与在虚拟现实环境中的其他人(或多个其他人)的3D图像中。
图7是示出根据本发明的实施方式的系统的方面的示意性框图。具体地，此处呈现了说明遮挡面部可如何被重构的示意图。系统700可包括网络710，该网络可以是用作用于参与者的面部图像的来源的互联网。如以上表示的，这些基础图像720通常是可从诸如FacebookTM的社交网络网站收获的原始图像。
同时，由软件实现的建模器730可生成需要被重构的面部的3D模型732。模型可基于其面部图像需要被重构的人的头部的若干2D视图。随后，从第三方来源检索的面部的基础图像720以及3D模型732都与实时参数750一起被馈送至处理它们的计算机处理器740，该实时参数750与其面部图像需要被重构的参与者的头部的实际位置和方位以及可能地面部姿态相关。计算机处理器740的输出是重构的面部图像760，其中，参与者的实际位置、附近环境和方位被使用以调整基础图像并应用在模型上，使得重构的面部图像将尽可能自然地呈现在虚拟现实视图中。实时参数的实例可以是参与者的观看的方向、可影响他们的眼睛位置以及他们面部的整体外观等的他或她的身体状况(诸如，他或她有多累)、他们的当前心情(例如，高兴/生气/伤心等)、他们的附近环境(例如，在家里或在炎热天气时在外面沙滩上)。该外观影响数据可被建模器使用以通过本领域已知的方法(例如，纹理化和数字动画)重构并修改基础图像。
在一些其他实施方式中，面部表情可由虚拟现实环境的背景推断，诸如在虚拟世界中(例如，在游戏中)用户发生了什么，并且因此重构的面部图像可基于虚拟世界活动而被动态调整。
图8是示出根据本发明的一些实施方式的方法800的高级流程图。应理解，方法800可通过与上述系统500的架构不同的架构实现。方法800可包括：810，获得离线3D数据，该离线3D数据是未佩戴面部遮挡物体的人的头部的3D数据，该面部遮挡物体是遮挡人的面部的一部分的物体；820，实时获得实时3D数据，该实时3D数据是所述头部的3D数据，其中，所述人佩戴所述面部遮挡物体；830，基于实时3D数据，将3D变换应用至离线3D数据的至少一部分，以产生重构的实时3D数据，该重构的实时3D数据是与遮挡面部相关的实时3D数据；以及840，将重构的实时3D数据融合至实时3D数据中。
根据本发明的一些实施方式，离线3D数据可以是离线3D模型，并且实时3D数据可以是实时3D模型。模型可以是表明空间表征的任意数学或真实结构。
根据本发明的一些实施方式，方法可进一步包括如下步骤：由融合的重构实时3D数据和实时3D数据生成融合的实时3D图像。
根据本发明的一些实施方式，实时3D数据可在虚拟现实(VR)环境上叠加。
根据本发明的一些实施方式，可通过监测如下至少一个获得实时3D数据：佩戴面部遮挡物体的人的位置、方位、轮廓以及生命体征。
根据本发明的一些实施方式，方法可进一步包括如下步骤：将所获得的实时3D数据应用至所述人的面部的3D模型以产生修改的面部图像。
根据本发明的一些实施方式，3D变换可进一步包括：使用从人的未遮挡面部获得的数据，以用于估计受到未遮挡面部的变化的影响的遮挡面部。具体地，该估计可基于来自实时3D数据的感测面部表情来执行。
根据本发明的一些实施方式，3D变换可进一步包括：估计未受到未遮挡面部(例如，眼睛)的变化的影响的遮挡部分的外观，并且在3D变换中使用该估计。具体地，该估计可基于与所述人相关的元数据来执行。
根据本发明的一些实施方式，可基于VR环境中发生的事情来至少部分重构至少一个人的遮挡部分。应理解，该特征还可实现为面部的未遮挡部分。
根据本发明的一些实施方式，离线3D数据的获得可经由外部数据库执行，该外部数据库可存储从计算机网络接收的2D图像。可替换地，可在开始VR环境的会话之前，经由3D传感器执行离线3D数据的获得。
在以上描述中，实施方式是本发明的实例或实现方式。“一种实施方式”、“一个实施方式”或“一些实施方式”的各种出现不必都指代相同的实施方式。
尽管本发明的各种特征可在单个实施方式的背景下描述，但是特征也可单独提供或以任意合适组合提供。相反，尽管本文中为了清楚，本发明可在单独实施方式的背景下进行描述，但是本发明还可实现为单个实施方式。
在说明书中，对“一些实施方式”、“一个实施方式”、“一种实施方式”或“其他实施方式”的参考意味着结合实施方式描述的特定特征、结构或特性被包括在至少一些实施方式中，而不必是本发明的所有实施方式。
应理解，本文采用的措辞和术语不应解释为限制性的，并且仅用于描述性目的。
可参考所附描述、附图和实例更好地理解本发明的教导的原理和用途。
应理解，本文阐述的细节不解释为对本发明的应用的限制。
此外，应理解，本发明可以各种方式执行或实践，并且本发明可实现为除了以上描述中概述的实施方式以外的实施方式。
应理解，术语“包括”、“包含”、“组成”及其语法变体不排除一个或多个部件、特征、步骤或整数或其组的添加，并且术语应被解释为指定部件、特征、步骤或整数。
如果说明书或权利要求书提到“附加”元件，则不排除存在不止一个的附加元件。
应理解，在权利要求书或说明书提到“一”或“一个”元件的情况下，这种参考不应解释为仅存在一个该元件。
应理解，在说明书阐述部件、特征、结构或特征“可”、“可能”、“能够”或“可以”被包括的情况下，具体部件、特征、结构或特性不需要被包括。
在可应用的情况下，尽管状态图、流程图或两者可用于描述实施方式，但是本发明不限于那些示图或对应描述。例如，流程不需要行进通过每个所示的框或状态，或者以与所示和所述的完全相同的顺序行进。
本发明的方法可通过手动、自动或其组合执行或完成选择的步骤或任务来实现。
权利要求书和说明书中呈现的描述、实例、方法和材料不应被解释为限制性，而是仅说明性的。
除非另外限定，否则本文使用的技术和科学术语的含义通常由本发明所属的本领域的普通技术人员理解。本发明可在测试或实践中实现，其中，方法和材料等同或相似于本文描述的那些。
尽管针对有限数量的实施方式描述了本发明，但这些实施方式不应被理解为对本发明的范围的限制，而是相反作为一些优选实施方式的范例。其他可行的变化、变形和应用也存在于本发明范围内。因此，本发明的范围不应被至此所描述的内容所限定，而是受所附权利要求及其法律等同物来限定。

Claims (26)

1.一种方法，包括：
捕获包括佩戴面部遮挡物体的至少一个人的场景的图像；
获得表明被所述面部遮挡物体遮挡的面部的数据；
基于所获得的数据重构被遮挡的所述面部的3D面孔图像；以及
将所重构的3D面孔图像融合至所捕获的所述场景中的人的相应的3D图像中。
2.根据权利要求1所述的方法，进一步包括：经由显示器将所融合的图像呈现给指定用户。
3.根据权利要求2所述的方法，其中，所述显示器是近眼显示器。
4.根据权利要求1所述的方法，其中，所述获得表明由所述面部遮挡物体遮挡的面部的数据是通过从所述面部遮挡物体的内侧感测被遮挡的所述面部来执行的。
5.根据权利要求4所述的方法，其中，所述感测包括图像捕获，并且其中，所获得的数据是被遮挡的所述面部的一部分的图像。
6.根据权利要求4所述的方法，其中，所述感测是面部姿态的感测，并且其中，通过建模所感测的姿态来执行重构面孔3D图像，以相对于先前捕获的被遮挡的所述面部的基础图像来改变面孔。
7.根据权利要求1所述的方法，其中，所述获得表明由所述面部遮挡物体遮挡的面部的数据是通过推断影响眼睛的表情来执行的。
8.根据权利要求1所述的方法，其中，所述获得表明由所述面部遮挡物体遮挡的面部的数据是通过推断与另一人通信的人的背景来执行的。
9.根据权利要求1所述的方法，其中，所述获得表明由所述面部遮挡物体遮挡的面部的数据包括：获得先前已捕获的被遮挡的所述面部的基础图像。
10.根据权利要求9所述的方法，其中，被遮挡的所述面部的基础图像的获得是经由外部数据库执行的。
11.根据权利要求10所述的方法，其中，所述外部数据库是联网数据库。
12.根据权利要求9所述的方法，其中，被遮挡的所述面部的3D面孔图像的重构是基于所获得的数据，通过监测位置、方位以及轮廓中的至少一者来执行数据的获得；并且将所获得的数据应用至所述至少一个人的面孔的三维模型以产生修改的面孔图像。
13.根据权利要求9所述的方法，其中，被遮挡的所述面部的3D面孔图像的重构是基于所获得的数据，通过监测佩戴所述面部遮挡物体的所述至少一个人的生命体征来执行数据的获得，并且将所获得的数据应用至所述至少一个人的面孔的三维模型以产生修改的面孔图像。
14.一种系统，包括：
图像捕获设备，被配置为捕获包括佩戴面部遮挡物体的至少一个人的场景的图像；以及
计算机处理器，被配置为：
获得表明被所述面部遮挡物体遮挡的面部的数据；
基于所获得的数据重构被遮挡的所述面部的3D面孔图像；以及
将所重构的3D面孔图像融合至所捕获的所述场景中的人的相应的3D图像中。
15.根据权利要求14所述的系统，进一步包括显示器，所述显示器被配置为呈现所融合的图像。
16.根据权利要求15所述的系统，其中，所述显示器是近眼显示器。
17.根据权利要求14所述的系统，其中，所述获得表明由所述面部遮挡物体遮挡的面部的数据是由被配置为从所述面部遮挡物体的内侧感测被遮挡的所述面部的传感器来执行的。
18.根据权利要求17所述的系统，其中，所述感测包括图像捕获，并且其中，所获得的数据是被遮挡的所述面部的一部分的图像。
19.根据权利要求17所述的系统，其中，所述感测是面部姿态的感测，并且其中，通过建模所感测的姿态来执行重构面孔3D图像，以相对于先前捕获的被遮挡的所述面部的基础图像来改变面孔。
20.根据权利要求14所述的系统，所述获得表明由所述面部遮挡物体遮挡的面部的数据是通过推断影响眼睛的表情来执行的。
21.根据权利要求14所述的系统，其中，所述获得表明由所述面部遮挡物体遮挡的面部的数据是通过推断与另一人通信的人的背景来执行的。
22.根据权利要求14所述的系统，其中，所述获得表明由所述面部遮挡物体遮挡的面部的数据包括：获得先前已捕获的被遮挡的所述面部的基础图像。
23.根据权利要求22所述的系统，其中，被遮挡的所述面部的基础图像的获得是经由外部数据库执行的。
24.根据权利要求23所述的系统，其中，所述外部数据库是联网数据库。
25.根据权利要求14所述的系统，其中，被遮挡的所述面部的3D面孔图像的重构是基于所获得的数据，通过监测位置、方位以及轮廓中的至少一者来执行数据的获得；并且将所获得的数据应用至所述至少一个人的面孔的三维模型以产生修改的面孔图像。
26.根据权利要求14所述的系统，其中，被遮挡的所述面部的3D面孔图像的重构是基于所获得的数据，通过监测佩戴所述面部遮挡物体的所述至少一个人的生命体征来执行数据的获得，并且将所获得的数据应用至所述至少一个人的面孔的三维模型以产生修改的面孔图像。
CN201580053863.8A 2014-08-04 2015-08-04 用于对虚拟现实环境的遮挡面部进行重构的方法和系统 Active CN107004296B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462032678P 2014-08-04 2014-08-04
US62/032,678 2014-08-04
PCT/IL2015/050801 WO2016020921A1 (en) 2014-08-04 2015-08-04 Method and system for reconstructing obstructed face portions for virtual reality environment

Publications (2)

Publication Number Publication Date
CN107004296A true CN107004296A (zh) 2017-08-01
CN107004296B CN107004296B (zh) 2020-12-29

Family

ID=55263254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580053863.8A Active CN107004296B (zh) 2014-08-04 2015-08-04 用于对虚拟现实环境的遮挡面部进行重构的方法和系统

Country Status (11)

Country Link
US (3) US10445863B2 (zh)
EP (1) EP3178066A4 (zh)
JP (1) JP6654625B2 (zh)
KR (1) KR102422469B1 (zh)
CN (1) CN107004296B (zh)
AU (1) AU2015300725A1 (zh)
BR (1) BR112017002426A2 (zh)
CA (1) CA2956508C (zh)
IL (1) IL250299B (zh)
MX (1) MX2017001646A (zh)
WO (1) WO2016020921A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590859A (zh) * 2017-09-01 2018-01-16 广州励丰文化科技股份有限公司 一种混合现实画面处理方法及服务设备
CN107680069A (zh) * 2017-08-30 2018-02-09 歌尔股份有限公司 一种图像处理方法、装置和终端设备
CN109427083A (zh) * 2017-08-17 2019-03-05 腾讯科技（深圳）有限公司 三维虚拟形象的显示方法、装置、终端及存储介质
CN109785369A (zh) * 2017-11-10 2019-05-21 中国移动通信有限公司研究院 一种虚拟现实人像采集方法及装置
CN109901705A (zh) * 2017-12-11 2019-06-18 富士施乐株式会社 信息处理装置以及存储程序的计算机可读介质
CN110266959A (zh) * 2019-07-18 2019-09-20 珠海格力电器股份有限公司 一种移动终端拍照的方法及移动终端
CN114516166A (zh) * 2021-12-27 2022-05-20 中铭谷智能机器人(广东)有限公司 一种头盔眼罩专用的透明黑加工工艺
CN115174985A (zh) * 2022-08-05 2022-10-11 北京字跳网络技术有限公司 特效展示方法、装置、设备及存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9910275B2 (en) 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
CN107305621A (zh) * 2016-04-17 2017-10-31 张翔宇 一种虚拟现实眼镜的图像捕获设备及图像合成系统
WO2018002533A1 (fr) * 2016-06-30 2018-01-04 Fittingbox Procédé d'occultation d'un objet dans une image ou une vidéo et procédé de réalité augmentée associé
FR3053509B1 (fr) * 2016-06-30 2019-08-16 Fittingbox Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe
US10726792B2 (en) 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
US11145124B2 (en) 2017-08-30 2021-10-12 Ronald H. Winston System and method for rendering virtual reality interactions
JP7020115B2 (ja) * 2017-12-28 2022-02-16 凸版印刷株式会社 Ｖｒ空間における自撮り装置、方法、およびプログラム
WO2019178276A1 (en) 2018-03-13 2019-09-19 Ronald Winston Virtual reality system and method
US11055887B2 (en) * 2018-11-29 2021-07-06 Adobe Inc. Modifying digital content with digital effects using facial skin mask
CN111353943B (zh) * 2018-12-20 2023-12-26 杭州海康威视数字技术股份有限公司 一种人脸图像恢复方法、装置及可读存储介质
US11315298B2 (en) * 2019-03-25 2022-04-26 Disney Enterprises, Inc. Personalized stylized avatars
KR102647730B1 (ko) * 2021-07-26 2024-03-14 서울대학교병원 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법
KR102547630B1 (ko) * 2021-07-29 2023-06-26 이광희 신경망 모델을 이용한 마스크 착용 얼굴 이미지 복원 방법
WO2023008811A2 (ko) * 2021-07-29 2023-02-02 이광희 신경망 모델을 이용한 마스크 착용 얼굴 이미지 복원 방법
DE102022208822A1 (de) * 2021-08-30 2023-03-02 Apple Inc. Anzeigen von bilddaten basierend auf umgebungslicht
WO2023223377A1 (ja) * 2022-05-16 2023-11-23 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266685A (zh) * 2007-03-14 2008-09-17 中国科学院自动化研究所 一种基于多幅照片去除无关图像的方法
CN102034079A (zh) * 2009-09-24 2011-04-27 汉王科技股份有限公司 眼镜遮挡下的人脸识别方法和系统
CN102306304A (zh) * 2011-03-25 2012-01-04 杜利利 人脸遮挡物识别方法及其装置
US20120327196A1 (en) * 2010-05-24 2012-12-27 Sony Computer Entertainment Inc. Image Processing Apparatus, Image Processing Method, and Image Communication System
US20130083403A1 (en) * 2011-10-03 2013-04-04 Seiko Epson Corporation Virtual image display device and method of manufacturing the same
US20130208234A1 (en) * 2005-10-07 2013-08-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
CN103472909A (zh) * 2012-04-10 2013-12-25 微软公司 用于头戴式、增强现实显示器的逼真遮挡

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886735A (en) * 1997-01-14 1999-03-23 Bullister; Edward T Video telephone headset
US6121953A (en) 1997-02-06 2000-09-19 Modern Cartoons, Ltd. Virtual reality system for sensing facial movements
JP3464754B2 (ja) * 1997-09-19 2003-11-10 日本電信電話株式会社 ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置
US7139767B1 (en) * 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP2000307973A (ja) 2000-01-01 2000-11-02 Atr Media Integration & Communications Res Lab ヘッドマウンテッドディスプレイ
US6774869B2 (en) * 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US7653221B2 (en) * 2006-01-31 2010-01-26 Fujifilm Corporation Method and apparatus for automatic eyeglasses detection and removal
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
WO2009002567A1 (en) * 2007-06-27 2008-12-31 The University Of Hawaii Virtual reality overlay
JP5208810B2 (ja) 2009-02-27 2013-06-12 株式会社東芝 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
US8573866B2 (en) * 2011-02-03 2013-11-05 Jason R. Bond Head-mounted face image capturing devices and systems
WO2013088442A1 (en) 2011-12-15 2013-06-20 Pebbles Ltd. Controllable optical sensing
RU2488882C1 (ru) 2012-01-19 2013-07-27 Общество с ограниченной ответственностью "Вокорд СофтЛаб" Способ идентификации личности человека
JP2013175929A (ja) * 2012-02-24 2013-09-05 Nikon Corp 情報出力装置、及び情報出力方法
TWI486631B (zh) * 2014-01-24 2015-06-01 Quanta Comp Inc 頭戴式顯示裝置及其控制方法
US9672416B2 (en) * 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
GB2534580B (en) * 2015-01-28 2020-06-17 Sony Interactive Entertainment Europe Ltd Image processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208234A1 (en) * 2005-10-07 2013-08-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
CN101266685A (zh) * 2007-03-14 2008-09-17 中国科学院自动化研究所 一种基于多幅照片去除无关图像的方法
CN102034079A (zh) * 2009-09-24 2011-04-27 汉王科技股份有限公司 眼镜遮挡下的人脸识别方法和系统
US20120327196A1 (en) * 2010-05-24 2012-12-27 Sony Computer Entertainment Inc. Image Processing Apparatus, Image Processing Method, and Image Communication System
CN102306304A (zh) * 2011-03-25 2012-01-04 杜利利 人脸遮挡物识别方法及其装置
US20130083403A1 (en) * 2011-10-03 2013-04-04 Seiko Epson Corporation Virtual image display device and method of manufacturing the same
CN103472909A (zh) * 2012-04-10 2013-12-25 微软公司 用于头戴式、增强现实显示器的逼真遮挡

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M.TAKEMURA 等: "Diminishing head-mounted display for shared mixed reality", 《PROCEEDINGS. INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427083A (zh) * 2017-08-17 2019-03-05 腾讯科技（深圳）有限公司 三维虚拟形象的显示方法、装置、终端及存储介质
CN109427083B (zh) * 2017-08-17 2022-02-01 腾讯科技（深圳）有限公司 三维虚拟形象的显示方法、装置、终端及存储介质
US11295550B2 (en) 2017-08-30 2022-04-05 Goertek Inc. Image processing method and apparatus, and terminal device
CN107680069B (zh) * 2017-08-30 2020-09-11 歌尔股份有限公司 一种图像处理方法、装置和终端设备
CN107680069A (zh) * 2017-08-30 2018-02-09 歌尔股份有限公司 一种图像处理方法、装置和终端设备
CN107590859A (zh) * 2017-09-01 2018-01-16 广州励丰文化科技股份有限公司 一种混合现实画面处理方法及服务设备
CN109785369A (zh) * 2017-11-10 2019-05-21 中国移动通信有限公司研究院 一种虚拟现实人像采集方法及装置
CN109901705A (zh) * 2017-12-11 2019-06-18 富士施乐株式会社 信息处理装置以及存储程序的计算机可读介质
CN110266959A (zh) * 2019-07-18 2019-09-20 珠海格力电器股份有限公司 一种移动终端拍照的方法及移动终端
CN110266959B (zh) * 2019-07-18 2021-03-26 珠海格力电器股份有限公司 一种移动终端拍照的方法及移动终端
CN114516166A (zh) * 2021-12-27 2022-05-20 中铭谷智能机器人(广东)有限公司 一种头盔眼罩专用的透明黑加工工艺
CN114516166B (zh) * 2021-12-27 2024-03-29 中铭谷智能机器人(广东)有限公司 一种头盔眼罩专用的透明黑加工工艺
CN115174985A (zh) * 2022-08-05 2022-10-11 北京字跳网络技术有限公司 特效展示方法、装置、设备及存储介质
CN115174985B (zh) * 2022-08-05 2024-01-30 北京字跳网络技术有限公司 特效展示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
IL250299B (en) 2020-04-30
BR112017002426A2 (pt) 2021-10-05
CN107004296B (zh) 2020-12-29
IL250299A0 (en) 2017-03-30
US20200175655A1 (en) 2020-06-04
US10593025B2 (en) 2020-03-17
US11238568B2 (en) 2022-02-01
US20170243334A1 (en) 2017-08-24
WO2016020921A1 (en) 2016-02-11
CA2956508C (en) 2020-04-21
US10445863B2 (en) 2019-10-15
EP3178066A4 (en) 2018-01-17
US20190392559A1 (en) 2019-12-26
AU2015300725A1 (en) 2017-03-02
CA2956508A1 (en) 2016-02-11
EP3178066A1 (en) 2017-06-14
MX2017001646A (es) 2017-10-31
JP2017534096A (ja) 2017-11-16
KR20170085477A (ko) 2017-07-24
JP6654625B2 (ja) 2020-02-26
KR102422469B1 (ko) 2022-07-20

Similar Documents

Publication Publication Date Title
CN107004296A (zh) 用于对虚拟现实环境的遮挡面部进行重构的方法和系统
Tome et al. Selfpose: 3d egocentric pose estimation from a headset mounted camera
CN107315470B (zh) 图形处理方法、处理器和虚拟现实系统
US20210256776A1 (en) Method and system for generating a 3d reconstruction of a human
KR20140108128A (ko) 증강 현실 제공 장치 및 방법
CN102647606B (zh) 立体影像处理器、立体影像互动系统及立体影像显示方法
CN106095094B (zh) 增强现实投影与现实交互的方法和装置
US11645823B2 (en) Neutral avatars
CA3016337A1 (en) Wide baseline stereo for low-latency rendering
JP2020513704A (ja) ビデオデータ処理方法、装置および機器
CN105955483A (zh) 虚拟现实终端及其视觉虚拟方法和装置
CN108983974B (zh) Ar场景处理方法、装置、设备和计算机可读存储介质
JP6695997B2 (ja) 情報処理装置
CN106127846A (zh) 虚拟现实终端及其视觉虚拟方法和装置
Zong et al. An exploratory study of integrative approach between 3D body scanning technology and motion capture systems in the apparel industry
JP6775669B2 (ja) 情報処理装置
US20210327121A1 (en) Display based mixed-reality device
CN106504063B (zh) 一种虚拟头发试戴视频展示系统
CN116530078A (zh) 用于显示从多个视角采集的经立体渲染的图像数据的3d视频会议系统和方法
Richardt et al. Stereo coherence in watercolour rendering
US11972526B1 (en) Rendering of enrolled user's face for external display
JP6739539B2 (ja) 情報処理装置
Frueh Enabling Social Virtual Reality Experiences Using Pass-Through Video
CN116612234A (zh) 基于增强或虚拟现实应用程序内立体视觉的高效动态遮挡
Banchi et al. Effects of binocular parallax in 360-degree VR images on viewing behavior

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190327

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: California, USA

Applicant before: Facebook, Inc.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC