CN111183405A - 调整头部区域的数字表示 - Google Patents

调整头部区域的数字表示 Download PDF

Info

Publication number
CN111183405A
CN111183405A CN201880064948.XA CN201880064948A CN111183405A CN 111183405 A CN111183405 A CN 111183405A CN 201880064948 A CN201880064948 A CN 201880064948A CN 111183405 A CN111183405 A CN 111183405A
Authority
CN
China
Prior art keywords
digital representation
head region
machine learning
reference data
learning algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880064948.XA
Other languages
English (en)
Inventor
E·萨默雷德
A·尼奥菲图
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RealD Inc
Original Assignee
RealD Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=65271511&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN111183405(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by RealD Inc filed Critical RealD Inc
Publication of CN111183405A publication Critical patent/CN111183405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了用于生成用于调整头部区域的数字表示的参考数据的方法和设备，以及用于调整头部区域的所述数字表示的方法和设备。在一些布置结构中，训练数据被接收。第一机器学习算法使用所述训练数据来生成第一参考数据。第二机器学习算法使用相同的训练数据和由所述第一机器学习算法生成的所述第一参考数据来生成第二参考数据。

Description

调整头部区域的数字表示
技术领域
本申请涉及调整头部区域，具体地面部和/或颈部区域的数字表示，诸如图像或三维几何表示。本申请具体涉及调整头部区域的数字表示的目标特征，例如以校正所感知的眼睛的注视方向，或修改特征诸如鼻子、嘴、下巴或颈部的纹理和/或形状。
背景技术
在许多系统中，可以在一个设备中捕获头部图像并且在一个不同设备上显示头部图像以供观察者观看，这些头部图像可以包括不同时间的单个图像、或者多对立体图像或其他多视角图像。一个非限制性示例是用于在两个电信设备之间执行远程会议的系统。在该情况下，每个设备可以捕获该设备的观察者的图像，并且通过电信网络将图像传输到另一个设备以供显示并由另一个设备的观察者观看。也可以例如使用深度测量(例如，使用飞行时间相机)来捕获除图像之外和/或与图像互补的数字表示。
当捕获并显示头部的图像或其他数字表示时，头部的注视可能未指向观察者。例如，这可能是由于头部的注视未指向用于捕获数字表示(例如，图像)的感测系统(例如，相机系统)而引起的，例如因为其头部被成像的用户正在观察与相机系统相同的设备中的显示器，并且相机系统偏移到该显示器上方(或下方)。在该情况下，所显示的图像中的注视将被感知为向下(或向上)。人类视觉系统已经进化到在社交互动期间对注视的高度敏感性(使用从其他观察者的虹膜与白色巩膜的相对位置获取的提示)。感知注视中的误差是令人不安的。例如，在用于执行远程会议的系统中，感知注视中的误差可能在用户之间产生不自然的互动。
本公开涉及用于调整头部区域的数字表示(例如，图像)以校正感知注视和/或改善头部区域的计算机生成显示的其他方面的处理技术(例如，图像处理技术)。本公开具体地涉及以对计算机硬件和/或功率的最小需求来实现此类处理技术，使得所述技术以输入数据帧速率或用户反馈要求或接近输入数据帧速率或用户反馈要求来提供结果。
发明内容
根据本公开的第一方面，提供了一种生成用于调整头部区域的数字表示的参考数据的方法，该方法包括：接收包括以下各项的训练数据：一组输入补片，每个输入补片包括在头部区域的数字表示的调整之前的头部区域的数字表示的目标特征，其中针对每个输入补片，目标特征都是相同的；以及与输入补片一一对应的一组输出补片，每个输出补片包括在头部区域的数字表示的调整之后的头部区域的数字表示的目标特征；使用第一机器学习算法以使用所述训练数据来生成第一参考数据，所述第一参考数据包括用于针对所述头部区域的一系列可能数字表示来调整所述头部区域的所述数字表示的编辑指令；以及使用第二机器学习算法以使用与第一机器学习算法相同的训练数据以及由第一机器学习算法生成的第一参考数据来生成第二参考数据，第二参考数据包括用于针对头部区域的一系列可能数字表示来调整头部区域的数字表示的编辑指令。
所描述的两种机器学习算法的使用允许在调整过程的准确性和执行速度之间实现改善的平衡。第一机器学习算法可以被配置为提供高度详细的第一参考数据，从而提供高准确性。由于高度的细节，直接在处理技术(例如，图像处理技术)中使用该第一参考数据来调整头部区域的数字表示(例如，图像或三维几何表示)在计算资源方面将会相对昂贵。通过代替地安排将第一参考数据提供给第二机器学习算法(该第二机器学习算法基于第一参考数据和原始训练数据提供要用于对头部区域的数字表示的调整的参考数据(第二参考数据))，可以在一定程度上受益于第一机器学习算法的高准确性，同时还提供不太详细并且因此在执行对头部区域的数字表示的调整时更容易有效地进行处理的参考数据。与仅向第二机器学习算法提供训练数据时相比，发现在向第二机器学习算法提供第一参考数据和训练数据两者时，由第二机器学习算法提供的参考数据的质量显著改善。
在一个实施方案中，通过以压缩表示在第二参考数据中提供编辑指令(例如，图像编辑指令)来进一步改善效率。压缩表示的使用减小了在使用编辑指令以执行对头部区域的数字表示的调整期间的数据存储和带宽要求。
根据本公开的第二方面，提供了一种被配置为执行与本发明的第一方面类似的方法的设备。
根据本公开的第三方面，提供了一种调整头部区域的数字表示的方法，该方法包括：在头部区域的数字表示中识别目标补片，目标补片包括头部区域的数字表示的目标特征；从所述目标补片的多个局部描述符导出特征向量；使用所述特征向量以从参考数据选择编辑指令，所述参考数据包括针对所述特征向量的一系列可能值的编辑指令；以及将所选择的编辑指令应用于目标补片以调整头部区域的数字表示，其中，参考数据中的编辑指令以压缩表示来提供。
根据本公开的第四方面，提供了一种被配置为执行本发明的第三方面的类似方法的设备。
压缩表示的使用减小了数据存储和带宽要求。
根据本公开的第五方面，提供了一种训练机器学习算法以调整头部区域的数字表示的方法，包括：接收包括以下各项的训练数据：一组输入补片，每个输入补片包括在头部区域的数字表示的调整之前的头部区域的数字表示的目标特征，其中针对每个输入补片，目标特征都是相同的；以及由预训练的第一机器学习算法生成的第一参考数据，第一参考数据包括与输入补片一一对应的一组编辑指令，每个编辑指令用于调整头部区域的数字表示；更新被训练以生成第二参考数据的预训练的第二机器学习算法，其中用于所述更新的所述输入包括所述训练数据和所述已生成的第一参考数据，所述第二参考数据包括用于调整所述头部区域的所述数字表示的编辑指令。
根据本公开的第六方面，提供了一种训练机器学习算法以调整头部区域的数字表示的方法，该方法包括：接收训练数据，该训练数据包括头部区域的一组输入数字表示；使用所述训练数据来训练第一机器学习算法以执行对头部区域的数字表示的调整；使用所述已训练的第一机器学习算法来生成第一参考数据，所述第一参考数据包括针对所述输入数字表示的至少一个子集中的每一个输入数字表示的所述头部区域的已调整数字表示，通过执行所述第一机器学习算法被训练以执行的所述调整来获得每个已调整数字表示；以及使用用于训练第一机器学习算法的训练数据的至少一个子集和第一参考数据来训练第二机器学习算法，以执行与第一机器学习算法相同的对头部区域的数字表示的调整。
附图说明
非限制性实施方案通过示例的方式在附图中示出，其中类似的参考标号表示类似的部件，并且其中：
图1是捕获图像的立体对的设备的示意性透视图；
图2是显示图像的立体对的设备的示意性透视图；
图3是调整图像的立体对的方法的流程图；
图4是示出图3的方法中的图像的立体对的处理的图示；
图5是提取图像补片的步骤的流程图；
图6和图7是调整图像的步骤的两个替代方案的流程图；
图8是生成参考数据的方法的流程图；
图9示意性地描绘了生成参考数据的示例性方法中的数据流；
图10描绘了用于生成参考数据的设备；
图11是调整头部区域的图像的方法的流程图；
图12示意性地描绘了在调整头部区域的图像的方法的示例中的数据流；
图13是可实现方法的电信系统的图示；
图14示意性地描绘了生成用于将头部区域的二维数字表示转换为头部区域的三维数字表示的参考数据的示例性方法中的数据流；以及
图15示意性地描绘了调整头部区域的数字表示的方法的示例中的数据流，在该方法中在线更新第二机器学习算法。
具体实施方式
图1和图2示出了如何在图1所示的设备10(其将被称为源设备10)捕获到头部的图像的立体对时感知不正确注视，并且在图2所示的不同设备20(其将被称为目标设备20)上显示该不正确注视。图像的立体对的捕获被示为示例。在捕获单眼图像时以及在捕获头部的多于两个视图时，可能发生类似的效果。在使用替代或附加的感测技术来构建头部的数字表示时(例如，其中使用深度传感器(诸如飞行时间相机)来获得有关头部表面上的位置的三维几何信息)，也可能发生类似的效果。
在所示的实施方案中，捕获设备10包括显示器11和相机系统12。在该特定示例中，相机系统包括两个相机13以便捕获源观察者14的头部的图像的立体对。在单眼实施方式中，可以提供单个相机而不是两个相机13。在其他实施方式中，替代地或另外地提供深度传感器。源观察者14沿线15观看显示器11。相机系统12的相机13(任选地包括一个或多个深度传感器)从显示器11偏移，在这种情况下偏移到显示器11上方。因此，相机13沿着线16有效地俯视源观察者14。
显示设备20包括显示器21，在该示例中，该显示器可以是任何已知类型的立体显示器，例如任何已知类型的自动立体显示器。显示器21显示由捕获设备10捕获的图像的立体对。目标观察者24观看显示器21。如果目标观察者24位于垂直于显示器21中心的正常观看位置(如由目标观察者24的硬轮廓所示)，则源观察者14的注视被目标观察者24感知为向下，而不是看向目标观察者24，因为源设备10的相机13俯视源观察者14。
尽管在该示例中相机13在显示器11上方，但相机13通常可以在与显示器11相邻的任何位置，并且由目标观察者24感知的源观察者14的注视将对应地为不正确的。
如果目标观察者24位于偏移的观看位置(如由目标观察者24的虚线轮廓所示)以使得目标观察者24沿线26观看显示器21，则目标观察者24的偏移在由目标观察者24感知的源观察者14的注视中产生附加误差。如果目标观察者24沿着线25位于正常观看位置，但所显示的图像(或在此示例中为图像的立体对)在从显示器25的中心偏移的位置处显示在显示器25上，则在源观察者14的感知注视中会发生类似附加误差。
图像的立体对是多视角图像的示例，其中存在两个图像。尽管图1示出了其中相机系统12包括捕获图像的立体对的两个相机13的示例，但替代地，相机系统可以包括捕获多于两个多视角图像的多于两个相机13，在这种情况下，显示器上存在不正确的感知注视的类似问题。相机系统可以替代地仅包括一个相机和/或一个或多个深度传感器。
图3示出了调整多视角图像以校正感知注视中的此类误差的方法。图3的方法是在数字表示包括头部区域的图像并且图像包括头部区域的一个或多个多视角图像的情况下调整头部区域的数字表示的方法的特定示例。为了简单起见，将相对于对包括图像的立体对的多视角图像的调整来描述该方法。方法可以简单地通过对较大量图像执行类似处理而被概括为包括多于两个图像的多视角图像。方法还可以被概括为使用头部区域的单视角(单眼)图像的情况，以及来自其他感测模态的信息(诸如深度测量值)被包括在头部区域的数字表示内的情况。
方法可以在图像处理器30(或其他处理器)中执行。图像处理器30可由执行合适计算机程序的处理器实施，或由专用硬件实施，或由软件与硬件的某种组合实施。在使用计算机程序的情况下，计算机程序可以包括任何合适语言的指令并且可以存储在计算机可读存储介质上，该计算机可读存储介质可以是任何类型，例如：可插入计算系统的驱动器中并且可能以磁、光或光磁方式存储信息的记录介质；计算机系统的固定记录介质，诸如硬盘驱动器；或计算机存储器。
图像处理器30(或其他处理器)可以设置在源设备10、目标设备10、或任何其他设备(例如，电信网络中的服务器)中，这在源设备10和目标设备10通过这种电信网络进行通信的情况下可能是合适的。
在该示例中，相机系统12捕获图像31的立体对。尽管相机系统12在图1中被示为包括两个相机13，但这不是限制性的，并且更一般地相机系统13可以具有以下特性。
相机系统包括一组一个或多个相机13，在处理多视角图像的情况下存在至少两个相机13。在提供两个相机的情况下，相机通常间隔开比人类平均瞳孔内距离更小的距离。在将方法应用于多于两个多视角图像的替代方案中，则存在多于两个相机13，即每个图像有一个相机13。在一些实施方案中，任选地除一个或多个其他相机(例如，光学相机)之外，提供深度传感器以用于获得有关头部区域的表面的三维几何信息。深度传感器可以包括飞行时间相机。
在提供多个相机13的情况下，相机13可以在空间上彼此相关并与显示器11相关。相机13自身之间以及相机13与显示器11之间的空间关系是预先已知的。可以应用用于找到空间关系的已知方法，例如使用参考图像或规范先验的校准方法。
一个或多个相机13面向与显示器11相同的方向。因此，当源观察者14观看显示器11时，则一个或多个相机13面向源观察者14，并且捕获信息诸如深度信息、一个或多个图像(例如，图像的立体对)是源观察者14的头部的数字表示(例如，图像和/或三维几何表示)。相机系统中的不同相机可以具有不同的视野。
相机系统12可以包括具有不同感测模态(包括但不限于可见光、红外和飞行时间(深度))的相机13。
在一些实施方案中，相机系统13的主要输出是图像31，其通常是以视频速率输出的视频图像。相机系统13的输出还可以包括表示以下的数据：相机13与显示器11之间的空间关系、可用于角度定位的相机13的感测模态和内部参数(例如，焦距、光轴)的性质、以及(例如，来自深度测量的)三维几何信息。
对于眼睛区域调整的情况，对包括图像31的立体对的头部区域的数字表示执行的方法的示例如下。为了示出该示例性方法，还参考图4，其示出了在该方法的各个阶段的图像31的立体对的示例。
在步骤S1中，分析图像31的立体对以在图像31的立体对内检测头部的位置并且具体地源观察者14的眼睛的位置。这通过检测头部的存在、跟踪头部、以及定位头部的眼睛来执行。可以使用本领域中已知的各种技术来执行步骤S1。
用于检测头部的存在的一种可能技术是使用Haar特征级联，例如在Viola和Jones的“Rapid Object Detection using a Boosted Cascade of Simple Features”,CVPR2001,pp 1-9(“使用简单特征的增强级联进行快速对象检测”，计算机视觉与模式识别，2001年，第1-9页)中所公开的那样，该文献全文以引用方式并入本文。
用于跟踪头部的一种可能技术是使用主动外观模型的方法来提供受试者头部的位置以及眼睛的位置，例如在Cootes等人的“Active shape models-their training andapplication”,Computer Vision and Image Understanding,61(1):38-59,Jan.1995(“主动形状模型-它们的训练和应用”，计算机视觉与图像理解，第61卷，第1期，第38-59页，1995年1月)，以及Cootes等人的“Active appearance models”,IEEE Trans.Pattern Analysisand Machine Intelligence,23(6):681-685,2001(“主动外观模型”，IEEE会刊，模式分析与机器智能，第23卷，第6期，第681-685页，2001年)中公开的那样，该两个文献全文以引用方式并入本文。
在步骤S1中，通常将一组单独点(“界标”)设置为脸部区域(通常是眼睛，例如眼角、上眼睑位置和下眼睑位置等)，由此定位眼睛。
在步骤S2中，在立体对中的每个图像31中识别表示头部区域的数字表示的部分的补片，在该示例中，这些补片可以被称为图像补片，分别包含头部的左眼和右眼。图4示出了在每个图像31中的右眼的已识别图像补片32(为清楚起见，在图4中省略了左眼的图像补片)。
步骤S2可以如图5所示的那样执行，如下所示。
在步骤S2-1中，在立体对中的每个图像31中识别包含头部的左眼和右眼的图像补片32。这通过识别每个图像31中的围绕与眼睛特征相对应的识别点(“界标”)定位的图像补片39来完成，例如如图4所示。
在步骤S2-2中，将在步骤S2-1中识别的图像补片32变换到归一化坐标系中，该归一化坐标系为下面进一步描述的机器学习处理中使用的相同归一化坐标系。选择该变换以将在步骤S1中识别的图像补片内的眼睛的点(“界标”)与归一化坐标系中的预定位置对准。变换可以包括适当程度的平移、旋转和缩放以实现该对准。步骤S2-2的输出是例如在图4中示出的归一化坐标系中的每个图像中的右眼的已识别图像补片33。
可以(a)关于立体对中的每个图像31中的包含头部左眼的图像补片，以及(b)关于立体对中的每个图像31中的包含头部右眼的图像补片(在该示例中)单独地执行以下步骤。为了简洁起见，以下描述将仅针对图像补片和眼睛，而不指定左眼或右眼，但应当注意对左眼和右眼都执行相同的步骤。
在步骤S3中，从立体对中(在此示例中)的至少一个图像31中的图像补片33的多个局部描述符(表示有关补片中的局部区域的信息)导出特征向量34，该多个局部描述符在本示例中可以称为局部图像描述符。取决于方法并且如下文进一步描述，这可以是立体对中的单个图像31中的图像补片或者可以是立体对中的两个图像31。因此，局部图像描述符是在归一化坐标系中导出的局部图像描述符。
特征向量34是适用于查找将用于调整图像补片的参考数据35的图像补片33的表示。参考数据35可以包括表示图像补片的变换的参考位移向量字段、或图像补片的变换的其他表示，包括如下所述的压缩表示，并且这些参考位移向量字段与特征向量的可能值相关联。
使用机器学习技术来预先获得和分析参考数据35。机器学习技术可以导出特征向量34的形式，并且将变换诸如参考位移向量字段与特征向量的可能值相关联。在返回到图3的方法之前，现在将描述在期望使用头部区域的包括头部区域图像的数字表示来校正注视的情况下应用的机器学习技术的特定示例。
机器学习技术的训练输入是两组图像(或图像补片)，其可以是图像的立体对或单视场图像，如下文进一步讨论。每组可以包括同一组个人的头部的图像，但这些图像是从相对于注视的不同位置处的相机捕获的，使得感知注视在图像之间有所不同(在要校正注视的情况下)。
第一组是输入图像，其是具有不正确注视的每个个人的图像，其中误差是先天已知的。具体地，第一组中的图像可以由已知相机位置处的至少一个相机捕获，在该已知相机位置中个人的注视在不同的已知方向上。例如，在图1的源设备的情况下，相机位置可以是相机13的位置，并且同时被成像的个人的注视朝向显示器11的中心。
第二组是输出图像，其是相对于要在其中显示图像的显示位置的预定观察者位置的具有正确注视的每个个人的图像。在最简单的情况下，观察者位置是垂直于显示位置中心的正常观看位置，例如在图2的目标设备20的情况下，如目标观察者24的硬轮廓所示。
对于两组中的每个图像，使用如上述步骤S1中使用的相同技术来分析图像以检测头部并具体地眼睛的位置，并且然后使用如上述步骤S2中使用的相同技术来识别分别包含头部的左眼和右眼的图像补片。然后可以(a)关于每个图像中的包含头部左眼的图像补片，以及(b)关于每个图像中的包含头部右眼的图像补片单独地执行以下步骤。为了简洁起见，以下描述将仅针对图像补片和眼睛，而不指定左眼或右眼，但应当注意在该实施方案中对左眼和右眼都执行相同的步骤。
将每个图像补片变换到上述步骤S2中使用的相同归一化坐标系中。如上所述，选择变换以将眼睛的点(“界标”)与归一化坐标系中的预定位置对准。变换可以包括例如适当程度的平移、旋转和/或缩放以实现该对准。
因此，每个个人的图像补片输入和输出图像在归一化坐标系中对准。
根据每个个人的输入和输出图像导出位移向量字段，该位移向量字段表示获得输出图像的图像补片所需的输入图像中的图像补片的变换，例如如下。通过(x,y)限定图像补片中的位置，位移向量字段F由下式给出
F＝{u(x,y),v(x,y)}
其中u和v限定向量在每个位置(x,y)处的水平分量和垂直分量。
选择位移向量字段F，使得从输入图像I(x,y)的图像补片导出输出图像O(x,y)的图像补片，如下所示：
O(x,y)＝I(x+u(x,y),y+v(x,y))
对于来自多于一个相机的图像数据，系统递送来自每个相机的输入图像的位移向量字段。
可以使用其中修改试验特征向量F'＝{u',v'}以最小化误差的过程来导出个人的输入和输出图像的位移向量字段F，任选地在迭代过程中，例如根据：
∑|O(x,y)-I(x+u′(x,y),y+v′(x,y))|＝min！
过非限制性示例，可以导出位移向量字段F，如在Kononenko等人的“Learning ToLook Up:Realtime Monocular Gaze Correction Using Machine Learning”,ComputerVision and Pattern Recognition,2015,pp.4667-4675(“学习查找：使用机器学习进行实时单眼注视校正”，计算机视觉和模式识别，2015年，第4667-4675页)中公开的那样，该文献全文以引用方式并入本文，其中位移向量字段F被称为“流字段”。
由滤波器字段L＝{k(P,x,y)}给出了编辑指令的另一个示例，这些编辑指令在头部区域的数字表示由图像组成的情况下可以称为图像编辑指令，其可以在本文公开的任何布置结构中作为位移向量字段的补充或代替使用，该滤波器字段为给定位置(x,y)限定滤波器内核。选择该滤波器字段L，使得输出图像O(x,y)的图像补片从输入图像I(x,y)的图像补片导出为O(x,y)＝k(P(I,x,y)),x,y))，其中P(I,x,y)是图像I中的点(x,y)周围的局部区域，并且k(P,x,y)对补片P进行运算，其中系数取决于位置(x,y)。例如，它可以是补片与高斯滤波器的卷积的输出，其中宽度取决于图像中的位置x，或者局部像素的亮度增加取决于垂直位置y。
由构成已编辑图像区域的一组典型图像分量(例如，示出胡须硬茬的纹理)给出了编辑指令的另一个示例(例如，图像编辑指令)，其可以在本文公开的任何布置结构中作为位移向量字段的补充和代替使用。然后将这些与取决于图像坐标和局部图像内容的因子混合(即，纹理混合字段)。可以使用其他变换字段，诸如亮度调整字段。
使用机器学习技术来获得从每个个人的位移向量字段F(或其他编辑指令，诸如图像编辑指令)到从输入图像的目标补片的多个局部(例如，图像)描述符导出的相应特征向量的映射。
局部描述符(例如，局部图像描述符)捕获头部区域的输入数字表示(例如，输入图像)的补片(例如，图像补片)的局部部分的相关信息，并且局部描述符的集合通常形成连续向量输出。
输入到机器学习过程中的局部描述符具有预期提供不同个人之间的区别的类型，但特定图像描述符由机器学习过程本身选择和优化。通常，局部描述符可以具有任何合适的类型，可能以任何组合应用的一些非限制性示例如下。
局部描述符可以包括单独像素或其线性组合的值。例如，这种线性组合可以是在两个点处的像素之间的差异、在任意位置处的掩模内导出的内核、或在不同位置处的两个内核之间的差异。
局部描述符可以包括像素位置与眼点(“界标”)位置相距的距离。
局部描述符可以包括SIFT特征(尺度不变特征变换特征)，例如在Lowe的“Distinctive Image Features from Scale-Invariant Keypoints”,InternationalJournal of Computer Vision 60(2),pp 91–110(“尺度不变的关键点的独特图像特征”，国际计算机视觉杂志，第60卷，第2期，第91–110页)中公开的那样，该文献全文以引用方式并入本文。
局部描述符可以包括HOG特征(定向梯度直方图特征)，例如在Dalal等人的“Histograms of Oriented Gradients for Human Detection”,Computer Vision andPattern Recognition,2005,pp.886-893(“用于人类检测的定向梯度直方图”，计算机视觉和模式识别，2005年，第886-893页)中公开的那样，该文献全文以引用方式并入本文。
局部描述符可以包括来自深度学习神经网络中的预分类阶段的“低级表示”，例如在Yang和Ramanan的“Multi-scale recognition with DAG-CNNs”,ICCV 2015(“使用DAG-CNN进行多尺度识别”，国际计算机视觉大会，2015年)中公开的那样，该文献全文以引用方式并入本文。在将多个层应用于输入数字表示(例如，图像)的分类深度学习神经网络中，例如，可以从网络的最终分类层之前的层获取此类低级特征。
特征向量从多个局部描述符的导出取决于所应用的机器学习的类型。
在第一类型的机器学习技术中，特征向量可以包括作为从离散空间中的局部描述符(例如，局部图像描述符)导出的值的特征，这些值是二进制值或离散化为多于两个可能值的值。在这种情况下，机器学习技术将从训练输入导出的参考位移向量字段F与离散空间中的特征向量的每个可能值相关联，使得参考数据35可以提供与查找表类似的功能，其中机器学习生成可用于生成对应编辑指令的机器学习参数集。如下所述，这允许基于在步骤S3中导出的特征向量34从参考数据35简单地选择参考位移向量字段F。
在特征向量包括作为从局部描述符导出的二进制值的特征的情况下，特征向量具有二进制表示。此类二进制值可能以各种方式从描述符的值导出，例如，通过将描述符的值与阈值进行比较，比较两个描述符的值，或通过比较像素位置与眼点(“界标”)位置相距的距离。
另选地，特征向量可以包括作为局部描述符的离散化值的特征。在这种情况下，每个特征的多于两个离散值是有可能的。
可以应用任何合适的机器学习技术，例如使用决策树、决策森林、决策蕨或者其整体或组合、或神经网络。
以举例的方式，在Ozuysal等人的“Fast Keypoint Recognition in Ten Linesof Code”,Computer Vision and Pattern Recognition,2007,pp.1-8(“十行代码中的快速关键点识别”，计算机视觉和模式识别，2007年，第1-8页)中公开了使用特征向量的合适机器学习技术，该特征向量包括作为通过将一组单独像素或其线性组合与阈值进行比较而导出的二进制值的特征，该文献全文以引用方式并入本文。
作为进一步的示例，在Kononenko等人的“Learning To Look Up:RealtimeMonocular Gaze Correction Using Machine Learning”,Computer Vision and PatternRecognition,2015,pp.4667-4675(“学习查找：使用机器学习进行实时单眼注视校正”，计算机视觉和模式识别，2015年，第4667-4675页)中公开了使用像素位置与眼睛界标位置相距的距离的合适机器学习技术，该文献全文以引用方式并入本文。
作为进一步的示例，在Ho的“Random Decision Forests”,Proceedings of the3rd International Conference on Document Analysis and Recognition,Montreal,QC,14–16August 1995,pp.278-282(“随机决策森林”，第三届文档分析和识别国际会议议程，魁北克省，蒙特利尔，1995年8月14日至16日，第278-282页)中公开了使用随机决策森林的合适机器学习技术，该文献全文以引用方式并入本文。
在第二类型的机器学习技术中，特征向量可以包括作为连续空间中的局部描述符(例如，局部图像描述符)的离散值的特征。在这种情况下，机器学习技术将从训练输入导出的参考位移向量字段F(在此示例中，但可以使用其他编辑指令)与连续空间中的特征向量的可能离散值相关联。这允许通过基于步骤S3中导出的特征向量34以及与参考位移向量字段相关联的特征向量的值之间的关系从参考位移向量字段进行内插而从参考数据35导出位移向量字段F。
可以应用任何合适的机器学习技术，例如使用支持向量回归。
以举例的方式，在Drucker等人的“Support Vector Regression Machines”,Advances in Neural Information Processing Systems 9,NIPS 1996,155–161(“支持向量回归机”，神经信息处理系统进展第九版，神经信息处理系统大会，1996年，第155-161页)中公开了使用支持向量回归的合适机器学习技术，该文献全文以引用方式并入本文。技术的输出是形成参考数据35的部分并且在内插中使用的一组连续变化的内插方向。
无论其类型如何，机器学习技术都会固有地还导出用于导出参考位移向量字段F(或其他图像编辑指令)的特征向量34的形式。这是在步骤S3中导出的特征向量34的形式。
现在，描述回到图3的方法。
在步骤S4中，通过使用步骤S3中导出的特征向量34来查找参考数据35，导出表示图像补片的变换的至少一个位移向量字段37。由于从参考数据35导出位移向量字段37，因此所表示的变换由此校正在显示图像31的立体对时将被感知的注视。
在特征向量34包括作为离散空间中的值的特征，并且参考数据35的参考位移向量字段包括与离散空间中的特征向量的每个可能值相关联的参考位移向量字段的情况下，通过选择与导出特征向量34的实际值关联的参考位移字段来导出图像补片的位移向量字段。
在特征向量34包括作为连续空间中的局部描述符的离散值的特征的情况下，通过基于导出特征向量34的实际值以及与参考位移向量字段相关联的特征向量的值之间的关系从参考位移向量字段内插位移向量字段来导出图像补片的位移向量字段。在机器学习技术是支持向量回归的情况下，这可以使用形成参考数据35的部分的内插方向来完成。
在步骤S5中，通过根据导出的位移向量字段37对包含头部的左眼和右眼的图像补片进行变换来调整立体对中的每个图像31。这产生了如图4所示的图像38的已调整的立体对，其中注视已经被校正。具体地，可以如下使用两种替代方法来执行调整。
用于执行步骤S5的第一方法在图6中示出并且如下执行。
在步骤S5-1中，根据关于相同图像的对应位移向量字段37在归一化坐标系中变换图像补片，由此校正注视。如上所述，对于位移向量字段F，输入图像I(x,y)的图像补片的变换根据下式提供输出图像O(x,y)：
O(x,y)＝I(x+u(x,y),y+v(x,y))
在步骤S5-2中，将从步骤S5-1输出的已变换图像补片变换出归一化坐标系，返回到对应图像31的原始坐标系中。这使用步骤S2-2中应用的变换的逆变换来完成。
在步骤S5-3中，将从步骤S5-2输出的已变换图像补片叠加在对应图像31上。这可以通过在与眼睛本身相对应的眼睛区域内的完全替换以及围绕眼睛区域的边界区域上的已变换图像补片与原始图像31之间的平滑过渡来完成。边界区域的宽度可以是固定大小或原始图像31中的图像补片大小的一定百分比。
用于执行步骤S5的第二方法在图7中示出并且如下执行。
在该第二替代方法中，根据已变换的位移向量字段F，在图像补片的变换之前发生变换回对应图像31的坐标系。
在步骤S5-4中，将位移向量字段F变换出归一化坐标系，返回到对应图像31的原始坐标系中。这使用步骤S2-2中应用的变换的逆变换来完成。
在步骤S5-5中，根据在步骤S5-4中已经变换到相同坐标系中的位移向量字段F来变换图像31的坐标系中的图像补片32。如上所述，对于位移向量字段F，输入图像I(x,y)的图像补片的变换根据下式提供输出图像O(x,y)：
O(x,y)＝I(x+u(x,y),y+v(x,y))
但这现在是在原始图像31的坐标系中执行的。
步骤S5-6与S5-3相同。因此，在步骤S5-6，将从步骤S5-5输出的已变换图像补片叠加在对应图像31上。这可以通过在与眼睛本身相对应的眼睛区域内的完全替换以及围绕眼睛区域的边界区域上的已变换图像补片与原始图像31之间的平滑过渡来完成。边界区域的宽度可以是固定大小或原始图像31中的图像补片大小的一定百分比。
图8描绘了生成用于调整头部区域的数字表示的参考数据(包括在上述具体示例中描述的类型的参考数据37)的方法。在一些实施方案中，头部区域的数字表示包括头部区域的图像或由其组成。在一些实施方案中，头部区域的数字表示包括三维数字表示(表示例如三维几何信息)或由其组成。可以从深度测量(使用例如飞行时间相机)获得三维数字表示。在一个实施方案中，头部区域的数字表示可用于提供头部区域的计算机生成的显示。在一个实施方案中，数字表示的调整包括将头部区域的二维数字表示转换为头部区域的三维数字表示。
在头部区域的数字表示(调整前、调整后、或这两者)包括三维数字表示的情况下，这可能以各种已知方式中的任何一种来提供。例如，三维数字表示可以包括点云、粒子系统、或网格表示。网格表示可以包括以下中的一者或多者：多边形表面、多分辨率表面、细分表面。数字表示可以包括三维数字表示以及与三维数字表示相关联的纹理信息，例如经由纹理映射。数字表示可以包括三维几何表示以及与三维几何表示对准的颜色信息(例如，从光学相机获得)。也可以使用其他体积表示(诸如粒子系统)或隐式定义(诸如带符号的距离函数)。
方法包括接收训练数据100的步骤S100。可以例如经由连接到数据处理单元120的通信接口112(例如，连接到外部数据连接或存储设备)来提供训练数据100，该数据处理单元用于执行该方法(如图10中示意性描绘的)。训练数据100包括一组输入补片。补片由头部区域的数字表示的目标部分组成。在数字表示包括图像的情况下，补片可以被称为图像补片。在对头部区域的数字表示进行调整(例如，对要显示的图像进行调整)之前，每个输入补片(例如，输入图像补片)包括头部区域的数字表示(例如，图像)的目标特征。针对每个输入补片，目标特征都是相同的。目标特征可以包括以下中的一者或多者：包括眼睛的至少一部分的眼睛区域(例如，如以上参考图4讨论的具体示例中)、包括鼻子的至少一部分的鼻子区域、包括嘴的至少一部分的嘴区域、包括下巴的至少一部分的下巴区域、以及包括颈部的至少一部分的颈部区域。在一个实施方案中，每个输入图像补片包括与目标特征对应的头部区域(诸如上述的眼睛区域、鼻子区域、嘴区域、下巴区域、或颈部区域)的图像的一部分。
在一个实施方案中，目标特征包括含有眼睛的至少一部分的眼睛区域，并且对头部区域的数字表示(例如，图像)的调整包括调整注视方向。
在一个实施方案中，目标特征包括含有鼻子的至少一部分的鼻子区域，并且对头部区域的数字表示(例如，图像)的调整包括调整鼻子的形状和/或纹理(例如，提供固定比例使鼻子看起来更小和/或更苗条，类似于“长焦距镜头”的效果)。
在一个实施方案中，目标特征包括含有下巴的至少一部分的下巴区域，并且对头部区域的数字表示(例如，图像)的调整包括调整下巴的形状和/或纹理(例如，以减小或移除双下巴外观)。
在一个实施方案中，目标特征包括含有颈部的至少一部分的颈部区域，并且对头部区域的数字表示(例如，图像)的调整包括调整颈部的形状和/或纹理(例如，以减小或移除皱纹)。
在一个实施方案中，目标特征包括含有头发的头发区域，并且对头部区域的数字表示(例如，图像)的调整包括调整头发的颜色(例如，通过固定色调)。
在目标特征包括眼睛区域的情况下，可以使用上面参考步骤S2-1和S2-2描述的方法来获得输入补片，不同之处在于不一定需要图像的立体对。因此，可以通过以下方式来获得输入补片：使用与眼睛特征对应的识别点(“界标”)来定位头部区域的数字表示(例如，图像)的相关区域(例如，围绕眼睛)，和/或将输入补片变换到归一化坐标系中，包括使用平移、旋转和/或缩放将界标与归一化坐标系中的预定位置对准。
在一些实施方案中，训练数据100还包括一组输出补片。如上所述，每个补片由头部区域的数字表示的目标部分组成。在数字表示包括图像的情况下，补片可以被称为图像补片。输出补片(例如，输出图像补片)与输入补片一一对应。在头部区域的数字表示的调整(例如，要显示的图像的调整)之后，每个输出补片包括头部区域的数字表示(例如，图像)的目标特征。因此，在要调整头部区域的图像以校正注视方向的情况下，每个输出补片包括已经被调整以使得注视看起来在期望方向上(例如，直接朝向目标观察者24)的眼睛区域。
方法还包括步骤S101，该步骤包括使用第一机器学习算法以使用训练数据100来生成第一参考数据101。第一参考数据101包括编辑指令(例如，图像编辑指令)，其用于针对头部区域的一系列可能数字表示(例如，表示头部的不同状态(诸如不同的位置和/或取向)的数字表示，任选地表示为不同图像)调整头部区域的数字表示(例如，图像)。
方法还包括步骤S102，该步骤包括使用第二机器学习算法以生成第二参考数据102。第二机器学习算法使用与步骤S101中的第一机器学习算法相同的训练数据100。第二机器学习算法还使用由步骤S101中的第一机器学习算法输出的第一参考数据101。第二参考数据102包括编辑指令(例如，图像编辑指令)，其用于针对头部区域的一系列可能数字表示(例如，不同的位置和/或取向，任选地表示为不同图像)调整头部区域的数字表示(例如，图像)。
在一个实施方案中，第一参考数据101包括：针对目标特征的一系列可能配置(例如，在目标特征包括眼睛区域的情况下为不同的注视方向和/或眼睛形态)的第一编辑指令(例如，第一图像编辑指令)，以及用于基于输入补片的目标特征的配置(例如，该输入补片的特定注视方向和/或特定眼睛形态)(从第一编辑指令)为特定输入补片(例如，输入图像补片)选择编辑指令的第一选择指令。
在一个实施方案中，第二参考数据包括：针对目标特征的一系列可能配置的第二编辑指令(例如，第二图像编辑指令)和用于基于输入补片的目标特征的配置(从第二编辑指令)为特定输入补片(例如，输入图像补片)选择编辑指令的第二选择指令。
每个输入补片的目标特征的配置可以由从输入补片的多个局部描述符(例如，局部图像描述符)导出的特征向量表示，如以上参考图3的步骤S3针对处理包含眼睛区域的图像的立体对的特定情况描述(但该方法可比该特定情况更普遍地适用)。如上所述，特征向量可以采取各种形式，但通常能够适于查找用于执行对头部区域的数字表示(例如，图像)的调整的编辑指令。在本实施方案中，第一和第二选择指令限定如何使用特征向量来为输入补片选择编辑指令。在一个实施方案中，编辑指令包括限定要如何变换输入补片以执行所述调整的位移向量字段。位移向量字段可以采用以上讨论的任何形式。然而，编辑指令不限于位移向量字段。其他编辑操作可以另选地或替代地与特征向量相关联以执行对头部区域的数字表示(例如，图像)的其他期望调整，例如包括对像素颜色或强度的调整、或对基础几何形状的改变(例如，经由滤波器字段、亮度调整字段、或纹理混合字段)。
在一个实施方案中，第一机器学习算法使用第一编辑算法(例如，第一图像编辑算法)来限定如何将第一编辑指令应用于输入补片以导出输出补片。第二机器学习算法使用第二编辑算法(例如，第二图像编辑算法)来限定如何将第二编辑指令应用于输入补片以导出输出补片。第一编辑算法和第二编辑算法可以包括以上针对图3的已实现步骤S5描述的任何方法，参考图6和图7进行描述。
在一个实施方案中，第二参考数据中的第二编辑指令以压缩表示来提供。压缩表示可以包括例如主分量分析表示或小波表示。在这种情况下，第一编辑算法和第二编辑算法可以适于限定在这种背景下如何有效地操作。
在一个实施方案中，第二编辑指令是第一编辑指令的主分量分析的主分量分析分量。在这种情况下，第二编辑算法通过逆主分量分析变换将第二编辑指令变换成第一编辑指令。
在替代方法中，第二编辑指令是第一编辑指令的小波分量。在这种情况下，第二编辑算法通过逆小波变换将第二编辑指令变换成第一编辑指令。
在一个实施方案中，与针对第二参考数据的第二选择指令相比，针对第一参考数据的第一选择指令能够在更大数量的另选的编辑指令(例如，图像编辑指令)之间进行选择。因此，可以将第一机器学习算法描述为具有比第二机器学习算法更多的输入参数。第一机器学习算法与第二机器学习算法相比可以提供更高的准确性，但通常将相当缓慢地进行操作。另选地，与第二选择指令(其中选择指令可以类似于计算上简单的查找表、查找表和树结构的组合、或类似物)相比，第一选择指令可能显著地更加复杂(例如，涉及线性代数或其他相对计算机密集型操作)。
在一个特定实施方案中，第一机器学习算法包括神经网络(已知提供相对较高的准确性，但以相对较高的计算需求为代价)。在这种实施方案和其他实施方案中，第二机器学习算法可以包括回归森林(已知提供较高的计算效率，但以减小的准确性为代价)。发明人已经发现，两种不同的机器学习算法的组合提供可在调整方法中使用的具有高效率并同时仍实现高调整准确性的参考数据。第一机器学习算法可以替代地包括支持向量机或生成式对抗网络(GAN)。第二机器学习算法可以替代地包括回归蕨、聚类中心、查找表、或可分离滤波器组。在一个实施方案中，第一机器学习算法包括第一神经网络并且第二机器学习算法包括第二神经网络，其中第二神经网络与第一神经网络相比包括更少的层和/或更小的卷积字段。
图9示意性地描绘了图8的生成参考数据的方法的详细示例中的数据流。第一机器学习算法和第二机器学习算法分别标记为MLA1和MLA2。第一机器学习算法MLA1接收训练数据(标记为TD)以及任选地接收第一编辑算法EA1和相似性度量SM。相似性度量SM提供用于测量已调整图像与期望图像之间的相似性的数值，并且可以用于控制第一机器学习算法MLA1和第二机器学习算法MLA2以根据差异的性质改变差异被罚的程度。例如，相似性度量SM可以被配置为对期望维持的图像的部分(例如，在调整眼睛区域的情况下为巩膜)的减小进行惩罚，或者对已调整特征与已知形式的偏差(例如，虹膜形状与椭圆形式的偏差)或与训练数据中观察到的形式的偏差进行惩罚。替代地或另选地，训练数据可以包括已调整图像与目标之间的平均绝对差或平方差，或者已调整图像与目标的低级表示(诸如来自深度学习网络(如上所述)的低级特征)之间的平均绝对差或平方差。在所示的示例中，第一编辑算法EA1接收辅助数据AuxD，其限定用于提供图像编辑指令的压缩表示的基础集。第一机器学习算法MLA1输出第一选择指令LA1和第一编辑指令ED1。第二机器学习算法MLA2接收相同的训练数据TD以及任选地接收第二编辑算法EA2和相似性度量SM。第二机器学习算法MLA2另选地接收第一编辑指令ED1。第二机器学习算法输出第二选择指令LA2和第二编辑指令ED2。
第二机器学习算法MLA2因此获得用于匹配或近似的编辑指令，并且不必根据已匹配输入图像将这些指令推断为MLA1。
图10描绘了用于生成参考数据的设备110。设备110包括数据处理单元120，该数据处理单元被配置为执行根据任何公开实施方案的生成参考数据的方法。数据处理单元110可由执行合适计算机程序的处理器实施，或由专用硬件实施，或由软件与硬件的某种组合实施。可以经由通信接口112来提供数据输入/输出。在使用计算机程序的情况下，计算机程序可以包括任何合适语言的指令并且可以存储在计算机可读存储介质上，该计算机可读存储介质可以是任何类型，例如：可插入计算系统的驱动器中并且可能以磁、光或光磁方式存储信息的记录介质；计算机系统的固定记录介质，诸如硬盘驱动器；或计算机存储器。
图11描绘了调整头部区域的数字表示的方法。在所示的示例中，数字表示包括头部区域的图像，但方法可以适于使用以上讨论的任何数字表示(例如，另选地或替代地处理三维数字表示)。方法可以使用利用本文公开的生成参考数据的任何方法来生成的参考数据，或者可以使用利用其他方法来生成的参考数据。
方法包括步骤S200，其中在要调整的头部区域的图像200中识别目标补片(在这种情况下为图像补片)。目标补片包括头部区域的目标特征。目标特征可以采用以上讨论的任何形式。步骤S200可以任选地包括检测头部和/或眼睛位置，如以上参考图3的步骤S1描述。步骤S200可以任选地还包括使用以上参考图5的步骤S2-1和S2-2描述的方法来识别图像补片，不同之处在于图像补片不必被识别为立体对(尽管如果需要，它们可以被识别为立体对)。
在步骤S201中，从目标(例如，图像)补片的多个局部描述符(例如，局部图像描述符)导出特征向量。可以使用以上参考图3的步骤S3描述的方法来导出特征向量。特征向量可以采用以上讨论的任何形式。
在步骤S202中，使用特征向量以从参考数据102中选择编辑指令(例如，图像编辑指令)。参考数据102包括针对特征向量的一系列可能值(例如，在目标特征包括眼睛区域的情况下，表示不同的注视方向和/或眼睛形态)的编辑指令。
在步骤S203中，将选定编辑指令应用于目标补片以调整头部区域的图像(例如，以校正注视方向)。
在一个实施方案中，以压缩表示提供编辑指令(例如，图像编辑指令)，包括例如以下中的一者或多者：主分量分析表示；小波表示；傅立叶和/或离散余弦变换分量；聚类中心。压缩表示的使用减小了在使用图像编辑指令以执行对头部区域的数字表示(例如，图像)的调整期间的数据存储和带宽要求。替代地或另选地，可以使用本文公开的任何实施方案来生成包含编辑指令的参考数据。参考数据可以包括例如以上讨论的第二参考数据。
本文中对编辑指令的引用应当被理解为包含可用于限定应当如何调整头部区域的数字表示(例如，图像)以实现期望目标(例如，注视校正或从二维数字表示到三维数字表示的转换或两者)的任何数据。编辑指令可以包括可直接用于修改数字表示(例如，图像)的数据(诸如向量字段)，或可用于生成可直接用于修改数字表示(例如，图像)的数据的中间数据,诸如机器学习参数集。
图12示意性地描绘了在数字表示包括图像的情况下，使用根据图9的详细示例生成的参考数据来调整头部区域的数字表示的方法的详细示例中的数据流。从传感器系统SS(例如，包括一个或多个相机)提供输入数据ID。将输入数据ID输入到第二选择指令LA2以从第二编辑指令ED2中选择适合于输入数据ID的编辑指令。在该示例中从已压缩的第二编辑指令ED2以压缩表示(例如，主分量分析分量或小波分量)来提供的选定编辑指令随后由第二编辑算法EA2结合提供压缩表示的基础集的辅助数据AuxD使用，以提供输出数据OD。输出数据OD包括头部区域的已调整图像并且经由显示器DS显示。
如上所述，可以在设置在各种不同设备中的图像处理器30中实现调整头部区域的数字表示(例如，头部区域的图像)的方法。通过非限制性示例，现在将描述在图13中示出并且如下布置的电信系统中的特定实施方式。
在该实施方式中，源设备10和目标设备10通过此类电信网络50进行通信。为了通过电信网络50进行通信，源设备10包括电信接口17并且目标设备20包括电信接口27。
在该实施方式中，图像处理器30设置在源设备10中，并且直接从相机系统12向其提供头部区域的图像(在该示例中，图像的立体对)。电信接口17被布置为通过电信网络50将已调整图像38传输到目标设备20以用于在其上显示。
目标设备20包括控制显示器26的图像显示模块28。已调整图像38通过电信接口27接收在目标设备20中并且提供给图像显示模块28，该图像显示模块致使这些已调整图像显示在显示器26上。
在方法校正除了垂直于显示位置中心的正常观看位置之外的观察者位置中的目标观察者24的注视的情况下，任选地包括目标设备20的以下元件。在这种情况下，目标设备20包括相机系统23和观察者位置模块29。相机系统23捕获目标观察者24的图像。观察者位置模块29导出位置数据40。观察者位置模块29包括头部跟踪模块，其使用相机系统23的输出来检测目标观察者24的位置。在相对观察者位置也考虑在显示器21上显示的图像的位置的情况下，观察者位置模块29从图像显示模块28获得在显示器21上显示的图像的位置。电信接口17被布置为通过电信网络50将位置数据40传输到源设备10以供其使用。
尽管以上描述涉及应用于从源设备10提供给目标设备20的图像的方法，但方法同样可以应用于在从目标设备20到源设备10的相反方向上提供的图像，在这种情况下，目标设备20有效地变为“源设备”并且源设备10有效地变为“目标设备”。在双向地提供图像的情况下，标签“源”和“目标”可应用于这两个设备，具体取决于需考虑的通信方向。
图14描绘了使用图8中描绘的类型的框架来生成用于调整头部区域的数字表示的参考数据的方法的另外的实施方案。在该实施方案中，在步骤S100(图8)中接收的训练数据100包括头部区域的一组输入数字表示(例如，各自由头部区域的二维数字表示的目标部分组成的输入补片，诸如捕获图像)。
在步骤S101中，使用训练数据100来训练第一机器学习算法MLA1，训练致使第一机器学习算法MLA1变为能够执行对头部区域的数字表示的调整。在一个实施方案中，数字表示的调整包括从二维数字表示转换为三维数字表示(例如，从头部区域的一部分的2D图像转换为头部区域的一部分的3D网格)。然后，使用已训练的第一机器学习算法MLA1来生成第一参考数据101。第一参考数据101包括针对训练数据100中的输入数字表示的至少一个子集中的每一个输入数字表示的头部区域的已调整数字表示。通过执行第一机器学习算法MLA1被训练以执行的调整来获得每个已调整数字表示。
在步骤S102中，使用用于训练第一机器学习算法MLA2的训练数据100的至少一个子集和第一参考数据101来训练第二机器学习算法MLA2。训练致使第二机器学习算法MLA2变为能够执行与第一机器学习算法MLA1相同的对头部区域的数字表示的调整。
在图14的特定实施方案中，第一机器学习算法MLA1包括第一编码器306A和第一预测器308A。训练数据100被输入到第一编码器306A。在该实施方案中，第一编码器306A包括特征提取器算法。特征提取器算法从训练数据100导出信息值和非冗余值(即，从训练数据100提取有意义的特征)。特征提取器算法的示例包括卷积神经网络、主分量分析、SIFT(尺度不变特征变换)。来自第一编码器306A的输出被输入到第一预测器308A。第一预测器308A基于第一编码器306A的输出(例如，由第一编码器306A提取的特征)来生成训练数据100中的每个输入数字表示的已调整版本。在该实施方案中，每个输入数字表示包括二维数字表示(例如，二维图像)，并且每个输入数字表示的已调整版本包括三维数字表示(例如，网格)。每个三维数字表示被输入到渲染器310。渲染器310合成与每个输入三维数字表示对应的一个或多个二维数字表示(例如，由三维数字表示限定的头部区域的一个或多个真实感图像)。然后，来自渲染器310的输出被输入到第二编码器306B。第二编码器306B可以与第一编码器306A相同。来自第二编码器306B的输出被输入到第二预测器308B。第二预测器308B可以与第一预测器308A相同。提供了第一正则化器314，其将来自第一编码器306A的输出与来自第二编码器306B的输出进行比较并且施加一个或多个预定的第一约束。提供了第二正则化器316，其将来自第一预测器308A的输出与来自第二预测器308B的输出进行比较并且施加一个或多个预定的第二约束。第一正则化器314和第二正则化器316可以使用一组语义上有意义的约束(第一约束和第二约束的示例)或附加信息来帮助实现期望的解决方案并防止过度拟合。约束可以例如通过要求高水平的自然平滑度来帮助确保所生成的三维数字表示是自然的。使用这种架构，第一机器学习算法MLA1迭代地更新第一预测器308A和第二预测器308B的特性(例如，通过调整限定预测器的操作的参数，诸如权重)，以便使承受第一约束的来自第一编码器和第二编码器的输出之间的匹配(由第一正则化器314测量)最大化，并且以便使承受第二约束的来自第一预测器和第二预测器的输出之间的匹配(由第二正则化器316测量)最大化。在其他实施方案中，也可以迭代地更新第一编码器306A和第二编码器306B。因此，第一机器学习算法MLA1的训练包括迭代地使用渲染过程以根据由第一机器学习算法MLA1生成的三维数字表示来生成二维数字表示，以及将所生成的数字表示与训练数据中的对应数字表示进行比较。一旦已经实现匹配或已经执行预定数量的迭代，第一机器学习算法MLA1就被视为已训练，并且来自第二预测器308B的所得输出可以用于提供第一参考数据101(在该实施方案中，其包括与训练数据100中的输入二维表示相对应的三维数字表示)。
作为扩展，可以通过将编辑指令应用于二维数字表示(其由已训练的第一机器学习算法MLA1转换为三维数字表示)或由已训练的第一机器学习算法MLA1输出的三维数字表示来生成新的二维和/或三维数字表示。在这种情况下，第一参考数据101可以包括在通过编辑指令进行修改之后的二维数字表示和/或三维表示。
作为第一参考数据101输出的一组此类生成的三维数字表示和对应的二维数字表示(例如，如图14所示的直接来自训练数据100)用于训练第二机器学习算法MLA2(在框304处输入)。在该实施方案中，第二机器学习算法MLA2还包括编码器306C和预测器308C，其可以如以上针对第一机器学习算法MLA1所述的那样进行配置。可以基于输入训练数据100和第一参考数据101使用正则化器318来迭代地更新(训练)预测器308C(以及任选地，编码器308C)。因此，第二机器学习算法MLA2学习基于在第一机器学习算法MLA1中使用渲染器310导出的二维数字表示与三维数字表示之间的映射而在二维数字表示和三维数字表示之间进行转换。如果由第一机器学习算法MLA1导出的映射是可靠的，则第二机器学习算法MLA2将能够使用更简单的已训练机器学习模型来提供二维数字表示与三维数字表示之间的准确转换(其可以使用与第一机器学习算法MLA1相比更少的计算资源来进行存储和操作)。
图15描述了其中以输入数据帧速率或接近输入数据帧速率(即在线)更新(即进一步训练)预训练的第二机器学习算法MLA2的实施方案的示例性实施方式中的数据流。在这种类型的实施方案中，头部区域的多个数字表示(例如，图像)可以被接收作为输入数据ID(例如，如上所述来自传感器系统SS)并且进行调整(例如，如以上参考图11、图12和14描述的)以提供输出数据OD，该输出数据OD随后经由显示器DS显示(如以上参考图12描述)。输入数据ID可以包括一组输入补片，每个输入补片包括在头部区域的数字表示的调整之前的头部区域的数字表示的目标特征，其中针对每个输入补片，目标特征都是相同的。可以使用第二机器学习算法MLA2的预训练版本(任选地与几何模型结合)来执行调整。输入数据ID可以包括在不同时间点捕获的数字表示，诸如在视频捕获模式下由传感器系统SS获得的图像序列中的不同帧。在一个实施方案中，方法包括使用第一参考数据(例如，编辑指令)来更新预训练的第二机器学习算法MLA2，该第一参考数据由第一机器学习算法MLA1使用一个或多个接收的数字表示(根据输入数据ID)来生成。第一参考数据可以包括与输入补片一一对应的一组编辑指令，每个编辑指令用于调整头部区域的数字表示。在图15所描绘的示例中，在后台进程中生成用于更新的第一参考数据，并且以输入数据帧速率或接近输入数据帧速率(即，在线)更新第二机器学习算法MLA2。
因此，所述更新使用第一机器学习算法MLA1的预训练版本(如上所述，其被配置为相对于第二机器学习算法MLA2以更高的计算需求为代价来提供更高度详细的参考数据)来生成用于更新第二机器学习算法MLA2的第一参考数据。在第一机器学习算法MLA1比第二机器学习算法MLA2更慢的情况下(这将通常是第一种机器学习算法MLA1被配置为与第二种机器学习算法MLA2相比提供更详细参考数据的情况)，仅输入数据ID(包括已接收和调整的数字表示)的子集用于更新第二机器学习算法MLA2，由此允许更新进程以跟上通过第二机器学习算法MLA2对输入数据ID的调整以便提供输出数据OD。可以使用各种已知技术中的任何一种来执行第二机器学习算法MLA2的更新。例如，可以执行在线更新，如在Amir Saffari、Christian Leistner、Jakob Santner、Martin Godec和Horst Bischof的“On-line RandomForests,”in 3rd IEEE ICCV Workshop on On-line Computer Vision,2009(“在线随机森林”，第三届在线计算机视觉IEEE ICCV研讨会，2009年)中描述的，该文献全文以引用方式并入本文，或者如在Online Deep Learning:Learning Deep Neural Networks on theFly,Doyen Sahoo,Quang Pham,Jing Lu,Steven C.H.,Hoi School of InformationSystems,Singapore Management University(https://arxiv.org/pdf/1711.03705.pdf)(在线深度学习：动态学习深度神经网络，Doyen Sahoo，Quan Pham，Jing Lu，StevenC.H.Hoi，新加坡管理大学信息系统学院)中描述的，该文献全文以引用方式并入本文。由于系统遇到并处理更多的输入数据ID，因此可以在使用过程中逐渐改善第二机器学习算法MLA2。
在以下编号的条款中描述了本公开的附加实施方案。
1.一种生成用于调整头部区域的图像的参考数据的方法，该方法包括：
接收包括以下各项的训练数据：
一组输入图像补片，每个输入图像补片包括在头部区域的图像的调整之前的头部区域的图像的目标特征，其中针对每个输入图像补片，目标特征都是相同的；和
与输入图像补片一一对应的一组输出图像补片，每个输出图像补片包括在头部区域的图像的调整之后的头部区域的图像的目标特征；
使用第一机器学习算法以使用训练数据来生成第一参考数据，该第一参考数据包括用于针对头部区域的一系列可能图像来调整头部区域的图像的图像编辑指令；以及
使用第二机器学习算法以使用与第一机器学习算法相同的训练数据以及由第一机器学习算法生成的第一参考数据来生成第二参考数据，该第二参考数据包括用于针对头部区域的一系列可能图像来调整头部区域的图像的图像编辑指令。
2.根据条款1所述的方法，其中：
第一参考数据包括针对目标特征的一系列可能配置的第一图像编辑指令和用于基于输入图像补片的目标特征的配置从第一图像编辑指令选择针对特定输入图像补片的图像编辑指令的第一选择指令；并且
第二参考数据包括针对目标特征的一系列可能配置的第二图像编辑指令和用于基于输入图像补片的目标特征的配置从第二图像编辑指令选择针对特定输入图像补片的图像编辑指令的第二选择指令。
3.根据条款2所述的方法，其中每个输入图像补片的目标特征的配置由从输入图像补片的多个局部图像描述符导出的特征向量表示，并且第一选择指令和第二选择指令限定如何使用特征向量来选择针对输入图像补片的图像编辑指令。
4.根据条款2或3所述的方法，其中图像编辑指令包括限定要如何变换输入图像补片的位移向量字段。
5.根据条款2或3所述的方法，其中图像编辑指令包括滤波器字段、亮度调整字段、或纹理混合字段。
6.根据条款2至5中任一项所述的方法，其中：
第一机器学习算法使用第一图像编辑算法来限定如何将第一图像编辑指令应用于输入图像补片以导出输出图像补片；并且
第二机器学习算法使用第二图像编辑算法来限定如何将第二图像编辑指令应用于输入图像补片以导出输出图像补片。
7.根据条款6所述的方法，其中：
第二图像编辑指令是第一图像编辑指令的主分量分析的主分量分析分量；并且
第二图像编辑算法被配置为通过逆主分量分析变换将第二图像编辑指令变换成第一图像编辑指令。
8.根据条款6所述的方法，其中：
第二图像编辑指令是第一图像编辑指令的小波分量；并且
第二图像编辑算法被配置为通过逆小波变换将第二图像编辑指令变换成第一图像编辑指令。
9.根据条款2至8中任一项所述的方法，其中与针对第二参考数据的第二选择指令相比，针对第一参考数据的第一选择指令能够在更大数量的另选的图像编辑指令之间进行选择。
10.根据任一前述条款所述的方法，其中第一机器学习算法具有与第二机器学习算法不同的机器学习算法类型。
11.根据任一前述条款所述的方法，其中第一机器学习算法包括以下中的一者或多者：神经网络；支持向量机；生成式对抗网络GAN。
12.根据任一前述条款所述的方法，其中第二机器学习算法包括以下中的一者或多者：回归森林、回归蕨、聚类中心、查找表、可分离滤波器组。
13.根据条款1至10中任一项所述的方法，其中第一机器学习算法包括第一神经网络并且第二机器学习算法包括第二神经网络，其中第二神经网络与第一神经网络相比包括更少的层和/或更小的卷积字段。
14.根据任一前述条款所述的方法，其中目标特征包括以下中的一者或多者：包括眼睛的至少一部分的眼睛区域、包括鼻子的至少一部分的鼻子区域、包括嘴的至少一部分的嘴区域、包括下巴的至少一部分的下巴区域、包括颈部的至少一部分的颈部区域、以及包括头发的头发区域。
15.根据条款1至13中任一项所述的方法，其中：
目标特征包括含有眼睛的至少一部分的眼睛区域，并且对头部区域的图像的调整包括调整注视方向；
目标特征包括含有鼻子的至少一部分的鼻子区域，并且对头部区域的图像的调整包括调整鼻子的形状和/或纹理；
目标特征包括含有下巴的至少一部分的下巴区域，并且对头部区域的图像的调整包括调整下巴的形状和/或纹理；
目标特征包括含有颈部的至少一部分的颈部区域，并且对头部区域的图像的调整包括调整颈部的形状和/或纹理；和/或
目标特征包括含有头发的头发区域，并且对头部区域的图像的调整包括调整头发的颜色。
16.根据任一前述条款所述的方法，其中第二图像参考数据中的第二编辑指令以压缩表示来提供。
17.根据条款16所述的方法，其中压缩表示包括以下中的一者或多者：主分量分析表示；小波表示；傅立叶和/或离散余弦变换分量；聚类中心。
18.一种调整头部区域的图像的方法，该方法包括：
在头部区域的图像中识别图像补片，该图像补片包括头部区域的图像的目标特征；
从图像补片的多个局部图像描述符导出特征向量；
使用特征向量以从参考数据选择图像编辑指令，参考数据包括针对特征向量的一系列可能值的图像编辑指令；并且
将所选择的图像编辑指令应用于图像补片以调整头部区域的图像，其中：
参考数据包括通过条款1至17中任一项所述的方法生成的第二参考数据。
19.一种调整头部区域的图像的方法，该方法包括：
在头部区域的图像中识别图像补片，该图像补片包括头部区域的图像的目标特征；
从图像补片的多个局部图像描述符导出特征向量；
使用特征向量以从参考数据选择图像编辑指令，参考数据包括针对特征向量的一系列可能值的图像编辑指令；以及
将所选择的图像编辑指令应用于图像补片以调整头部区域的图像，其中：
参考数据中的图像编辑指令以压缩表示来提供。
20.根据条款19所述的方法，其中压缩表示包括以下中的一者或多者：主分量分析表示；小波表示；傅立叶和/或离散余弦变换分量；聚类中心。
21.一种能够由处理器执行并被布置为在执行时致使处理器执行根据前述条款中的任一项所述的方法的计算机程序。
22.一种存储根据条款21所述的计算机程序的计算机可读存储介质。
23.一种用于生成用于调整头部区域的图像的参考数据的设备，该设备包括数据处理单元，该数据处理单元被布置为：
接收包括以下各项的训练数据：
一组输入图像补片，每个输入图像补片包括有关在头部区域的图像的调整之前的头部区域的图像的目标特征的信息，其中针对每个输入图像补片，目标特征都是相同的；和
与输入图像补片一一对应的一组输出图像补片，每个输出图像补片包括在头部区域的图像的调整之后的头部区域的图像的目标部分；
使用第一机器学习算法以使用训练数据来生成第一参考数据；以及
使用第二机器学习算法以使用与第一机器学习算法相同的训练数据和由第一机器学习算法输出的第一参考数据来生成第二参考数据。
24.一种用于调整头部区域的图像的设备，该设备包括图像处理器，该图像处理器被布置为通过以下方式来处理头部区域的图像：
在头部区域的图像中识别图像补片，该图像补片包括有关头部区域的图像的目标特征的信息；
从图像补片的多个局部图像描述符导出特征向量；
使用特征向量以从参考数据选择图像编辑指令，参考数据包括针对特征向量的一系列可能值的图像编辑指令；以及
将所选择的图像编辑指令应用于图像补片以调整头部区域的图像，其中：
参考数据中的图像编辑指令以压缩表示来提供。
25.根据条款24所述的设备，还包括电信接口，该电信接口被布置为通过电信网络将已调整图像传输到目标设备以用于在目标设备上显示所述已调整图像。
虽然上文描述了根据本文所公开的原理的各种实施方案，但应理解，这些实施方案仅以举例的方式示出，而并非进行限制。因此，本公开的广度和范围不应受到上述任何示例性实施方案的限制，而应该仅根据本公开发布的任何权利要求及其等同物来限定。另外，所描述的实施方案中提供了上述优点和特征结构，但不应将发布的这些权利要求的应用限于实现任何或全部上述优点的方法和结构。
除此之外，本文章节标题是为符合37 CFR 1.77的建议而提供，或者用于提供组织线索。这些标题不应限制或表征可产生于本公开的任何权利要求中所列出的一个或多个实施方案。具体来说并且以举例的方式，虽然标题是指“技术领域”，但权利要求书不应受到在该标题下选择用于描述所谓的领域的语言的限制。另外，“背景技术”中对技术的描述不应被理解为承认某些技术对本公开中的任何一个或多个实施方案而言是现有技术。“发明内容”也并非要被视为是对发布的权利要求书中所述的一个或多个实施方案的表征。此外，本公开中对单数形式的“发明”的任何引用不应被用于辩称在本公开中仅有一个新颖点。可根据产生于本公开的多项权利要求的限制来阐述多个实施方案，并且此类权利要求因此限定由其保护的一个或多个实施方案及其等同物。在所有情况下，应根据本公开基于所述权利要求书本身的特点来考虑其范围，而不应受本文给出的标题的约束。

Claims (36)

1.一种生成用于调整头部区域的数字表示的参考数据的方法，所述方法包括：
接收包括以下各项的训练数据：
一组输入补片，每个输入补片包括在头部区域的数字表示的调整之前的所述头部区域的所述数字表示的目标特征，其中针对每个输入补片，所述目标特征是相同的；和
与所述输入补片一一对应的一组输出补片，每个输出补片包括在所述头部区域的所述数字表示的调整之后的所述头部区域的所述数字表示的所述目标特征；
使用第一机器学习算法以使用所述训练数据来生成第一参考数据，所述第一参考数据包括用于针对所述头部区域的一系列可能数字表示来调整所述头部区域的所述数字表示的编辑指令；以及
使用第二机器学习算法以使用与所述第一机器学习算法相同的训练数据和由所述第一机器学习算法生成的所述第一参考数据来生成第二参考数据，所述第二参考数据包括用于针对所述头部区域的一系列可能数字表示来调整所述头部区域的所述数字表示的编辑指令。
2.根据权利要求1所述的方法，其中：
所述第一参考数据包括针对所述目标特征的一系列可能配置的第一编辑指令和用于基于所述输入补片的所述目标特征的所述配置从所述第一编辑指令选择针对特定输入补片的编辑指令的第一选择指令；并且
所述第二参考数据包括针对所述目标特征的一系列可能配置的第二编辑指令和用于基于所述输入补片的所述目标特征的所述配置从所述第二图像编辑指令选择针对特定输入补片的编辑指令的第二选择指令。
3.根据权利要求2所述的方法，其中每个输入补片的所述目标特征的所述配置由从所述输入补片的多个局部描述符导出的特征向量表示，并且所述第一选择指令和所述第二选择指令限定如何使用所述特征向量来为所述输入补片选择编辑指令。
4.根据权利要求2或3所述的方法，其中所述编辑指令包括限定要如何变换所述输入补片的位移向量字段。
5.根据权利要求2或3所述的方法，其中所述编辑指令包括滤波器字段、亮度调整字段、或纹理混合字段。
6.根据权利要求2至5中任一项所述的方法，其中：
所述第一机器学习算法使用第一编辑算法来限定如何将所述第一编辑指令应用于输入补片以导出输出补片；并且
所述第二机器学习算法使用第二编辑算法来限定如何将所述第二编辑指令应用于输入补片以导出输出补片。
7.根据权利要求6所述的方法，其中：
所述第二编辑指令是所述第一编辑指令的主分量分析的主分量分析分量；并且
所述第二图像编辑算法被配置为通过逆主分量分析变换来将所述第二编辑指令变换成所述第一编辑指令。
8.根据权利要求6所述的方法，其中：
所述第二编辑指令是所述第一编辑指令的小波分量；并且
所述第二编辑算法被配置为通过逆小波变换来将所述第二编辑指令变换成所述第一编辑指令。
9.根据权利要求2至8中任一项所述的方法，其中与针对所述第二参考数据的所述第二选择指令相比，针对所述第一参考数据的所述第一选择指令能够在更大数量的另选的编辑指令之间进行选择。
10.根据任一前述权利要求所述的方法，其中所述第一机器学习算法具有与所述第二机器学习算法不同的机器学习算法类型。
11.根据任一前述权利要求所述的方法，其中所述第一机器学习算法包括以下中的一者或多者：神经网络；支持向量机；生成式对抗网络GAN。
12.根据任一前述权利要求所述的方法，其中所述第二机器学习算法包括以下中的一者或多者：回归森林、回归蕨、聚类中心、查找表、可分离滤波器组。
13.根据权利要求1至10中任一项所述的方法，其中所述第一机器学习算法包括第一神经网络并且所述第二机器学习算法包括第二神经网络，其中所述第二神经网络与所述第一神经网络相比包括更少的层和/或更小的卷积字段。
14.根据任一前述权利要求所述的方法，其中所述目标特征包括以下中的一者或多者：包括眼睛的至少一部分的眼睛区域、包括鼻子的至少一部分的鼻子区域、包括嘴的至少一部分的嘴区域、包括下巴的至少一部分的下巴区域、包括颈部的至少一部分的颈部区域、以及包括头发的头发区域。
15.根据权利要求1至13中任一项所述的方法，其中：
所述目标特征包括含有眼睛的至少一部分的眼睛区域，并且对所述头部区域的所述数字表示的所述调整包括调整注视方向；
所述目标特征包括含有鼻子的至少一部分的鼻子区域，并且对所述头部区域的所述数字表示的所述调整包括调整所述鼻子的形状和/或纹理；
所述目标特征包括含有下巴的至少一部分的下巴区域，并且对所述头部区域的所述数字表示的所述调整包括调整所述下巴的形状和/或纹理；
所述目标特征包括含有颈部的至少一部分的颈部区域，并且对所述头部区域的所述数字表示的所述调整包括调整所述颈部的形状和/或纹理；和/或
所述目标特征包括含有头发的头发区域并且对所述头部区域的所述数字表示的所述调整包括调整所述头发的颜色。
16.根据任一前述权利要求所述的方法，其中所述第二参考数据中的所述第二编辑指令是以压缩表示来提供的。
17.根据权利要求16所述的方法，其中所述压缩表示包括以下中的一者或多者：主分量分析表示；小波表示；傅立叶和/或离散余弦变换分量；聚类中心。
18.一种调整头部区域的数字表示的方法，所述方法包括
接收头部区域的数字表示；以及
使用包括编辑指令的参考数据来调整所述头部区域的所述数字表示，其中所述参考数据包括通过权利要求1至17中任一项所述的方法生成的所述第二参考数据。
19.一种调整头部区域的数字表示的方法，所述方法包括：
在所述头部区域的所述数字表示中识别目标补片，所述目标补片包括所述头部区域的所述数字表示的目标特征；
从所述目标补片的多个局部描述符导出特征向量；
使用所述特征向量以从参考数据选择编辑指令，所述参考数据包括针对所述特征向量的一系列可能值的编辑指令；以及
将所选择的编辑指令应用于所述目标补片以调整所述头部区域的所述数字表示，其中：
所述参考数据包括通过权利要求1至17中任一项所述的方法生成的所述第二参考数据。
20.一种调整头部区域的数字表示的方法，所述方法包括：
在所述头部区域的所述数字表示中识别目标补片，所述目标补片包括所述头部区域的所述数字表示的目标特征；
从所述目标补片的多个局部描述符导出特征向量；
使用所述特征向量以从参考数据选择编辑指令，所述参考数据包括针对所述特征向量的一系列可能值的编辑指令；以及
将所选择的编辑指令应用于所述目标补片以调整所述头部区域的所述数字表示，其中：
所述参考数据中的所述编辑指令以压缩表示来提供。
21.根据权利要求20所述的方法，其中所述压缩表示包括以下中的一者或多者：主分量分析表示；小波表示；傅立叶和/或离散余弦变换分量；聚类中心。
22.根据权利要求18至21中任一项所述的方法，其中所述头部区域的多个数字表示被接收和调整，每个数字表示在不同时间点从所述头部区域被捕获，并且所述方法还包括使用编辑指令来更新所述第二机器学习算法，所述编辑指令是由所述第一机器学习算法使用所接收和调整的数字表示中的一者或多者来生成的。
23.根据权利要求22所述的方法，其中所述第二机器学习算法的所述更新是以输入数据帧速率或接近输入数据帧速率执行的。
24.根据权利要求23所述的方法，其中仅所接收和调整的数字表示的子集用于更新所述第二机器学习算法。
25.一种训练机器学习算法以调整头部区域的数字表示的方法，包括：
接收包括以下各项的训练数据：
一组输入补片，每个输入补片包括在头部区域的数字表示的调整之前的所述头部区域的所述数字表示的目标特征，其中针对每个输入补片，所述目标特征是相同的；和
由预训练的第一机器学习算法生成的第一参考数据，所述第一参考数据包括与所述输入补片一一对应的一组编辑指令，每个编辑指令用于调整所述头部区域的所述数字表示；
更新被训练以生成第二参考数据的预训练的第二机器学习算法，其中用于所述更新的所述输入包括所述训练数据和所述已生成的第一参考数据，所述第二参考数据包括用于调整所述头部区域的所述数字表示的编辑指令。
26.根据权利要求25所述的方法，其中所述第二机器学习算法的所述更新以输入数据帧速率或接近输入数据帧速率执行。
27.一种训练机器学习算法以调整头部区域的数字表示的方法，所述方法包括：
接收训练数据，所述训练数据包括头部区域的一组输入数字表示；
使用所述训练数据来训练第一机器学习算法以执行对头部区域的数字表示的调整；
使用所述已训练的第一机器学习算法来生成第一参考数据，所述第一参考数据包括针对所述输入数字表示的至少一个子集中的每一个输入数字表示的所述头部区域的已调整数字表示，通过执行所述第一机器学习算法被训练以执行的所述调整来获得每个已调整数字表示；以及
使用用于训练所述第一机器学习算法的所述训练数据的至少一个子集和所述第一参考数据来训练第二机器学习算法，以执行与所述第一机器学习算法相同的对头部区域的数字表示的调整。
28.根据权利要求27所述的方法，其中对所述数字表示的所述调整包括从二维数字表示转换为三维数字表示。
29.根据权利要求28所述的方法，其中所述第一机器学习算法的所述训练包括迭代地使用渲染过程以根据由所述第一机器学习算法生成的三维数字表示来生成二维数字表示，以及将所生成的数字表示与所述训练数据中的对应数字表示进行比较。
30.根据权利要求25至29中任一项所述的方法，还包括接收所述头部区域的另一数字表示，以及使用所更新或训练的第二机器学习算法来调整所述另一数字表示。
31.一种能够由处理器执行并被布置为在执行时使所述处理器执行根据前述权利要求中任一项所述的方法的计算机程序。
32.一种存储根据权利要求31所述的计算机程序的计算机可读存储介质。
33.一种用于生成用于调整头部区域的数字表示的参考数据的设备，所述设备包括数据处理单元，所述数据处理单元被布置为：
接收包括以下各项的训练数据：
一组输入补片，每个输入补片包括有关在所述头部区域的所述数字表示的调整之前的所述头部区域的数字表示的目标特征的信息，其中针对每个输入补片，所述目标特征是相同的；和
与所述输入补片一一对应的一组输出补片，每个输出补片包括在所述头部区域的所述数字表示的调整之后的所述头部区域的所述数字表示的所述目标部分；
使用第一机器学习算法以使用训练数据来生成第一参考数据；以及
使用第二机器学习算法以使用与第一机器学习算法相同的训练数据和由第一机器学习算法输出的第一参考数据来生成第二参考数据。
34.根据权利要求33所述的设备，其中：
所述第一参考数据包括用于针对所述头部区域的一系列可能数字表示来调整所述头部区域的所述数字表示的编辑指令；
所述第二参考数据包括用于针对所述头部区域的一系列可能数字表示来调整所述头部区域的所述数字表示的编辑指令；
所述第二参考数据中的所述第二编辑指令是以压缩表示来提供的。
35.一种用于调整头部区域的数字表示的设备，所述设备包括数据处理单元，所述数据处理单元被布置为通过以下方式来处理所述头部区域的所述数字表示：
在所述头部区域的所述数字表示中识别目标补片，所述目标补片包括有关所述头部区域的所述数字表示的目标特征的信息；
从所述目标补片的多个局部描述符导出特征向量；
使用所述特征向量以从参考数据选择编辑指令，所述参考数据包括针对所述特征向量的一系列可能值的编辑指令；并且
将所选择的编辑指令应用于所述目标补片以调整所述头部区域的所述数字表示，其中：
所述参考数据中的所述编辑指令以压缩表示来提供。
36.根据权利要求33至35中任一项所述的设备，还包括电信接口，所述电信接口被布置为通过电信网络将所调整的数字表示传输到目标设备以允许在所述目标设备上显示所述头部区域。
CN201880064948.XA 2017-08-08 2018-08-07 调整头部区域的数字表示 Pending CN111183405A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762542661P 2017-08-08 2017-08-08
US62/542,661 2017-08-08
US201762543587P 2017-08-10 2017-08-10
US62/543,587 2017-08-10
PCT/US2018/045648 WO2019032604A1 (en) 2017-08-08 2018-08-07 ADJUSTING A DIGITAL REPRESENTATION OF A HEADQUARTERS

Publications (1)

Publication Number Publication Date
CN111183405A true CN111183405A (zh) 2020-05-19

Family

ID=65271511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880064948.XA Pending CN111183405A (zh) 2017-08-08 2018-08-07 调整头部区域的数字表示

Country Status (4)

Country Link
US (3) US10740985B2 (zh)
EP (2) EP4293574A3 (zh)
CN (1) CN111183405A (zh)
WO (1) WO2019032604A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713785B2 (en) * 2017-02-13 2020-07-14 Siemens Healthcare Gmbh Image quality assessment system and method
US11803615B2 (en) * 2019-03-04 2023-10-31 Nec Corporation Generating 3D training data from 2D images
BR112021017530A2 (pt) * 2019-03-06 2021-11-09 Electronics And Telecommunications Res Institute Sistema de correção de imagem e método de correção de imagem do mesmo
CN109871828B (zh) * 2019-03-15 2022-12-02 京东方科技集团股份有限公司 视频识别方法和识别装置、存储介质
EP3742346A3 (en) 2019-05-23 2021-06-16 HTC Corporation Method for training generative adversarial network (gan), method for generating images by using gan, and computer readable storage medium
US11347308B2 (en) * 2019-07-26 2022-05-31 Samsung Electronics Co., Ltd. Method and apparatus with gaze tracking
US11475608B2 (en) 2019-09-26 2022-10-18 Apple Inc. Face image generation with pose and expression control
US11145074B2 (en) * 2019-10-17 2021-10-12 Toyota Research Institute, Inc. Systems and methods for depth estimation using monocular images
WO2021093956A1 (en) * 2019-11-14 2021-05-20 Huawei Technologies Co., Ltd. A device and method for image processing
WO2021112517A1 (en) * 2019-12-06 2021-06-10 Samsung Electronics Co., Ltd. Method and electronic device for description parameter based modification of images
CN111414997B (zh) * 2020-03-27 2023-06-06 中国人民解放军空军工程大学 一种基于人工智能的用于战场目标识别的方法
US11844380B2 (en) * 2021-05-07 2023-12-19 Cranial Technologies, Inc. Pediatric head covering for use with three-dimensional imaging
US20230326136A1 (en) * 2022-04-06 2023-10-12 Qualcomm Incorporated Apparatus and methods for image reconstruction using machine learning processes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120319928A1 (en) * 2011-06-20 2012-12-20 Google Inc. Systems and Methods for Adaptive Transmission of Data
US20140002586A1 (en) * 2012-07-02 2014-01-02 Bby Solutions, Inc. Gaze direction adjustment for video calls and meetings
CN104951808A (zh) * 2015-07-10 2015-09-30 电子科技大学 一种用于机器人交互对象检测的3d视线方向估计方法
WO2016132148A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Machine learning for visual processing
US20170195662A1 (en) * 2016-01-05 2017-07-06 Reald Spark, Llc Gaze correction of multi-view images

Family Cites Families (452)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1128979A (en) 1912-06-01 1915-02-16 Walter Hess Stereoscopic picture.
US1970311A (en) 1931-02-14 1934-08-14 Bell Telephone Labor Inc Projection of images for viewing in stereoscopic relief
US2133121A (en) 1936-04-02 1938-10-11 Richard I Stearns Stereoscopic screen and method stereoscopic vision
US2247969A (en) 1937-12-31 1941-07-01 Adlake Co Edge glow lighting system
US2480178A (en) 1946-05-08 1949-08-30 Ivan H Zinberg Light conductor
US2810905A (en) 1949-08-23 1957-10-22 Sperry Rand Corp High frequency directive beam apparatus
US3409351A (en) 1966-02-07 1968-11-05 Douglas F. Winnek Composite stereography
DE2011417A1 (de) 1970-03-11 1971-09-23 Agfa Gevaert Ag Projektionsschirm für Projektion mit dreidimensionalem Eindruck
US3992841A (en) 1974-08-30 1976-11-23 Ward Jr Robertson Panel construction and projection screen constructed from such panels
US4528617A (en) 1982-02-08 1985-07-09 Sheltered Workshop For The Disabled, Inc. Light distribution apparatus
US4542958A (en) 1983-01-13 1985-09-24 Vasco, Ltd. Variable aspect display
JPS6134583A (ja) 1984-07-26 1986-02-18 シャープ株式会社 照明装置
US4829365A (en) 1986-03-07 1989-05-09 Dimension Technologies, Inc. Autostereoscopic display with illuminating lines, light valve and mask
US4804253A (en) 1986-05-15 1989-02-14 General Electric Company Lenticular filter for display devices
US4807978A (en) 1987-09-10 1989-02-28 Hughes Aircraft Company Color display device and method using holographic lenses
US5050946A (en) 1990-09-27 1991-09-24 Compaq Computer Corporation Faceted light pipe
DE4102895C1 (zh) 1991-01-31 1992-01-30 Siemens Ag, 8000 Muenchen, De
US6392689B1 (en) 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
JP2566087B2 (ja) 1992-01-27 1996-12-25 株式会社東芝 有色マイクロレンズアレイ及びその製造方法
JP2746790B2 (ja) 1992-03-02 1998-05-06 富士写真フイルム株式会社 立体画像記録方法および立体画像記録装置
US6002829A (en) 1992-03-23 1999-12-14 Minnesota Mining And Manufacturing Company Luminaire device
US5528720A (en) 1992-03-23 1996-06-18 Minnesota Mining And Manufacturing Co. Tapered multilayer luminaire devices
JPH05289208A (ja) 1992-04-15 1993-11-05 Fuji Photo Film Co Ltd 立体画像記録方法および立体画像記録装置
US5459592A (en) 1992-04-24 1995-10-17 Sharp Kabushiki Kaisha Projection display system including a collimating tapered waveguide or lens with the normal to optical axis angle increasing toward the lens center
US5278608A (en) 1992-05-19 1994-01-11 Eastman Kodak Company Electronically printed depth photography system with improved viewing range
US5903388A (en) 1992-06-11 1999-05-11 Sedlmayr Steven R High efficiency electromagnetic beam projector and systems and method for implementation thereof
US5347644A (en) 1992-06-11 1994-09-13 Sedlmayr Steven R Three-dimensional image display device and systems and methods for implementation thereof
WO1994006249A1 (en) 1992-09-09 1994-03-17 Eichenlaub Jesse B Stroboscopic illumination system for video displays
US5896225A (en) 1993-05-24 1999-04-20 Deutsche Thomson Brandt Gmbh Device for stereoscopic image observation within an increased observation area
US5796451A (en) 1993-10-23 1998-08-18 Samsung Display Devices Co., Ltd. Liquid crystal cell with an external color filter
GB2284068A (en) 1993-11-12 1995-05-24 Sharp Kk Three-dimensional projection display apparatus
US5581402A (en) 1993-11-22 1996-12-03 Eastman Kodak Company Method for producing an improved stereoscopic picture and stereoscopic picture obtained according to this method
GB2294350A (en) 1994-10-21 1996-04-24 Sharp Kk Light source and display
DE69432283T2 (de) 1993-12-01 2004-01-22 Sharp K.K. Display für dreidimensionale Bilder
MY121195A (en) 1993-12-21 2006-01-28 Minnesota Mining & Mfg Reflective polarizer with brightness enhancement
WO1995020811A1 (en) 1994-01-31 1995-08-03 Sdl, Inc. Laser illuminated display system
US5510831A (en) 1994-02-10 1996-04-23 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using suit scanning of parallax images
US5588526A (en) 1994-04-01 1996-12-31 Insight, Inc. Flat box system with multiple view optics
EP0760962B1 (en) 1994-04-11 2002-10-02 Minnesota Mining And Manufacturing Company Tapered multilayer luminaire device
US5933276A (en) 1994-04-13 1999-08-03 Board Of Trustees, University Of Arkansas, N.A. Aberration-free directional image window sheet
US5575549A (en) 1994-08-12 1996-11-19 Enplas Corporation Surface light source device
US6184969B1 (en) 1994-10-25 2001-02-06 James L. Fergason Optical display system and method, active and passive dithering using birefringence, color image superpositioning and display enhancement
GB2296617A (en) 1994-12-29 1996-07-03 Sharp Kk Observer tracking autosteroscopic display
GB2297876A (en) 1995-02-09 1996-08-14 Sharp Kk Observer tracking autostereoscopic display
JP3459721B2 (ja) 1995-05-22 2003-10-27 キヤノン株式会社 立体画像表示方法及びそれを用いた立体画像表示装置
JPH0915532A (ja) 1995-06-29 1997-01-17 Canon Inc 立体画像表示方法及びそれを用いた立体画像表示装置
US6023315A (en) 1995-07-04 2000-02-08 Sharp Kabushiki Kaisha Spatial light modulator and directional display
GB9513658D0 (en) 1995-07-05 1995-09-06 Philips Electronics Uk Ltd Autostereoscopic display apparatus
JP3286138B2 (ja) 1995-08-03 2002-05-27 日東電工株式会社 導光板、面光源装置、偏光光源装置及び液晶表示装置
US6061179A (en) 1996-01-23 2000-05-09 Canon Kabushiki Kaisha Stereoscopic image display apparatus with two-/three-dimensional image display switching function
DE69735736T2 (de) 1996-01-31 2006-11-02 Canon K.K. Stereoskopische Bilddarstellungsvorrichtung mit verbreitertem Beobachtungsfeld
US6064424A (en) 1996-02-23 2000-05-16 U.S. Philips Corporation Autostereoscopic display apparatus
TW413993B (en) 1996-03-15 2000-12-01 Sharp Kk Image display device
IT1285368B1 (it) 1996-05-27 1998-06-03 Fiat Ricerche Dispositivo a microfiltri e microchopper per la selezione dinamica di colori ed immagini.
JP2865618B2 (ja) 1996-05-31 1999-03-08 嶋田プレシジョン株式会社 導光板および導光板アセンブリ
GB2320156A (en) 1996-12-07 1998-06-10 Sharp Kk Directional display and method of making a mask for a directional display
GB9618593D0 (en) 1996-09-06 1996-10-16 Central Research Lab Ltd Apparatus for displaying an image
GB2321815A (en) 1997-02-04 1998-08-05 Sharp Kk Autostereoscopic display with viewer position indicator
GB2317291A (en) 1996-09-12 1998-03-18 Sharp Kk Observer tracking directional display
DE19638081A1 (de) 1996-09-19 1998-03-26 Hella Kg Hueck & Co Leuchte für Fahrzeuge
GB2317710A (en) 1996-09-27 1998-04-01 Sharp Kk Spatial light modulator and directional display
GB2317771A (en) 1996-09-27 1998-04-01 Sharp Kk Observer tracking directional display
JP3397602B2 (ja) 1996-11-11 2003-04-21 富士通株式会社 画像表示装置及び方法
GB9623682D0 (en) 1996-11-14 1997-01-08 Philips Electronics Nv Autostereoscopic display apparatus
US5771066A (en) 1997-01-03 1998-06-23 Barnea; Daniel I. Three dimensional display device
JP3441911B2 (ja) 1997-02-20 2003-09-02 キヤノン株式会社 情報処理装置及び方法
US6283858B1 (en) * 1997-02-25 2001-09-04 Bgk International Incorporated Method for manipulating images
CA2284915C (en) 1997-03-27 2005-08-23 Litton Systems, Inc. Autostereoscopic projection system
GB2324428A (en) 1997-04-17 1998-10-21 Sharp Kk Image tracking; observer tracking stereoscopic display
TWI272557B (en) 1997-06-12 2007-02-01 Sharp Kk Liquid crystal display device
GB9715397D0 (en) 1997-07-23 1997-09-24 Philips Electronics Nv Lenticular screen adaptor
DE19737449A1 (de) 1997-08-22 1999-02-25 Hertz Inst Heinrich Vorrichtung zum Nachführen eines autostereoskopischen Flachbildschirms
JP3199313B2 (ja) 1997-11-10 2001-08-20 キヤノン株式会社 反射型液晶表示装置及びそれを用いた投射型液晶表示装置
US6295109B1 (en) 1997-12-26 2001-09-25 Sharp Kabushiki Kaisha LCD with plurality of pixels having reflective and transmissive regions
US7239293B2 (en) 1998-01-21 2007-07-03 New York University Autostereoscopic display
JP3642381B2 (ja) 1998-02-26 2005-04-27 日東電工株式会社 導光板、面光源装置及び反射型液晶表示装置
JPH11259007A (ja) 1998-03-10 1999-09-24 Sony Corp 反射型表示装置
US20040108971A1 (en) 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
KR100530812B1 (ko) 1998-04-13 2005-11-28 네브엔지니어링 인코포레이티드 아바타 애니메이션을 위한 웨이브렛-기반 얼굴 움직임 캡쳐
US7116323B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
DE19827590C2 (de) 1998-06-20 2001-05-03 Christoph Grosmann Verfahren und Vorrichtung zur Autostereoskopie
JP3862422B2 (ja) 1998-07-10 2006-12-27 キヤノン株式会社 画像読取装置
US6456340B1 (en) 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
US6476850B1 (en) 1998-10-09 2002-11-05 Kenneth Erbey Apparatus for the generation of a stereoscopic display
US6816158B1 (en) 1998-10-30 2004-11-09 Lemelson Jerome H Three-dimensional display system
US6642984B1 (en) 1998-12-08 2003-11-04 Fujitsu Display Technologies Corporation Liquid crystal display apparatus having wide transparent electrode and stripe electrodes
GB9828287D0 (en) 1998-12-23 1999-02-17 Secr Defence Brit Image display system
US6256447B1 (en) 1998-12-31 2001-07-03 Physical Optics Corporation Backlight for correcting diagonal line distortion
US7088333B1 (en) 1999-03-12 2006-08-08 Matsushita Electric Industrial Co., Ltd. Surface lighting device and portable terminal using the same
DE69934478T2 (de) 1999-03-19 2007-09-27 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen
US6464365B1 (en) 1999-07-23 2002-10-15 Bae Systems Information And Electronic Systems Integration Inc. Light collimator for liquid crystal displays
US6305813B1 (en) 1999-08-11 2001-10-23 North American Lighting, Inc. Display device using a light guide for exterior automotive lighting
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
US6859240B1 (en) 2000-01-27 2005-02-22 Mems Optical Inc. Autostereoscopic display
AU7356600A (en) 1999-10-08 2001-04-23 3M Innovative Properties Company Display illumination device and method of enhancing brightness in a display illumination device
JP3457591B2 (ja) 1999-10-08 2003-10-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 液晶表示装置
KR100307854B1 (ko) 1999-11-10 2001-11-02 전병우 단일카메라를 이용한 시선 맞춤 보정 방법 및 그 장치
US6975755B1 (en) 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
GB0003311D0 (en) 2000-02-15 2000-04-05 Koninkl Philips Electronics Nv Autostereoscopic display driver
US6347874B1 (en) 2000-02-16 2002-02-19 3M Innovative Properties Company Wedge light extractor with risers
HU0000752D0 (en) 2000-02-21 2000-04-28 Pixel element for three-dimensional screen
US7051189B2 (en) * 2000-03-15 2006-05-23 Arc International Method and apparatus for processor code optimization using code compression
JP4994556B2 (ja) 2000-03-17 2012-08-08 ストラテジック パテント アクイジションズ エルエルシー 高明瞭度レンズシステム
US6806898B1 (en) 2000-03-20 2004-10-19 Microsoft Corp. System and method for automatically adjusting gaze and head orientation for video conferencing
JP3968742B2 (ja) 2000-03-30 2007-08-29 株式会社エンプラス 導光板、面光源装置及び表示装置
US6975455B1 (en) 2000-04-18 2005-12-13 3M Innovative Properties Company Transflective layer for displays
JP4412441B2 (ja) 2000-07-11 2010-02-10 日本電気株式会社 液晶表示装置
US6373637B1 (en) 2000-09-13 2002-04-16 Eastman Kodak Company Diagonal lenticular image system
US6422713B1 (en) 2000-10-17 2002-07-23 Ford Global Technologies, Inc. Thin-sheet collimation optics for diode laser illumination systems for use in night vision and exterior lighting applications
GB0029340D0 (en) 2000-11-30 2001-01-17 Cambridge 3D Display Ltd Flat panel camera
AU2002217579A1 (en) 2000-12-18 2002-07-01 Byoungho Lee Relfecting three-dimensional display system
GB0108838D0 (en) 2001-04-07 2001-05-30 Cambridge 3D Display Ltd Far field display
US7001058B2 (en) 2001-05-16 2006-02-21 Ben-Zion Inditsky Ultra-thin backlight
WO2002097324A1 (en) 2001-06-01 2002-12-05 Lumileds Lighting U.S., Llc Compact illumination system and display device
US6825985B2 (en) 2001-07-13 2004-11-30 Mems Optical, Inc. Autostereoscopic display with rotated microlens and method of displaying multidimensional images, especially color images
GB0118866D0 (en) 2001-08-02 2001-09-26 Cambridge 3D Display Ltd Shaped taper flat panel display
GB0119176D0 (en) 2001-08-06 2001-09-26 Ocuity Ltd Optical switching apparatus
US7091931B2 (en) 2001-08-17 2006-08-15 Geo-Rae Co., Ltd. Method and system of stereoscopic image display for guiding a viewer's eye motion using a three-dimensional mouse
EP1430351B1 (en) 2001-09-25 2006-11-29 Cambridge Flat Projection Displays Limited Flat-panel projection display
KR100403599B1 (ko) 2001-11-06 2003-10-30 삼성전자주식회사 조명계 및 이를 채용한 프로젝션 시스템
US7365908B2 (en) 2001-11-08 2008-04-29 Eugene Dolgoff Tiling of panels for multiple-image displays
TW594119B (en) 2001-12-21 2004-06-21 Au Optronics Corp Backlight module for thin film transistor liquid crystal display
JP2003207743A (ja) 2002-01-16 2003-07-25 Olympus Optical Co Ltd 立体観察装置
JP3980890B2 (ja) 2002-01-23 2007-09-26 シャープ株式会社 導光板並びにそれを備えた光源装置及び表示装置
US7153017B2 (en) 2002-01-31 2006-12-26 Mitsubishi Rayon Co., Ltd. Light deflection element and light source apparatus using the same
JP2003262734A (ja) 2002-03-08 2003-09-19 Citizen Electronics Co Ltd 導光板
ES2675880T3 (es) 2002-03-13 2018-07-13 Dolby Laboratories Licensing Corporation Compensación de falla de elemento emisor de luz en un monitor
JP3867597B2 (ja) 2002-03-19 2007-01-10 セイコーエプソン株式会社 電気光学装置並びに電子機器及び投射型表示装置
WO2003083530A1 (en) 2002-03-28 2003-10-09 Koninklijke Philips Electronics N.V. Compact lighting system and display device
US6771303B2 (en) 2002-04-23 2004-08-03 Microsoft Corporation Video-teleconferencing system with eye-gaze correction
US7515173B2 (en) 2002-05-23 2009-04-07 Microsoft Corporation Head pose tracking system
US20040046709A1 (en) 2002-09-05 2004-03-11 Kazutora Yoshino 3 Dimensional image projector and holodeck
KR100513718B1 (ko) 2002-06-20 2005-09-07 삼성전자주식회사 평판표시소자용 조명장치
US9955551B2 (en) 2002-07-12 2018-04-24 Yechezkal Evan Spero Detector controlled illuminating system
US6919892B1 (en) 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
JP3969252B2 (ja) 2002-08-27 2007-09-05 日本電気株式会社 立体画像平面画像切換表示装置及び携帯端末装置
JP2004095390A (ja) 2002-08-30 2004-03-25 Fujitsu Display Technologies Corp 照明装置及び表示装置
GB2393344A (en) 2002-09-17 2004-03-24 Sharp Kk Autostereoscopic display
US7210836B2 (en) 2002-09-19 2007-05-01 Mitsubishi Denki Kabushiki Kaisha Display unit and electronic apparatus with display unit
JP4398141B2 (ja) 2002-10-31 2010-01-13 パイオニア株式会社 表示装置及び方法
KR100499133B1 (ko) 2002-11-04 2005-07-04 삼성전자주식회사 백라이트 유닛
US20040263969A1 (en) 2002-11-25 2004-12-30 Lenny Lipton Lenticular antireflection display
US6811274B2 (en) 2002-12-04 2004-11-02 General Electric Company Polarization sensitive optical substrate
US7125131B2 (en) 2002-12-06 2006-10-24 General Electric Company Brightness enhancement film with improved view angle
US7688509B2 (en) 2003-02-21 2010-03-30 Koninklijke Philips Electronics N.V. Autostereoscopic display
JP4143444B2 (ja) 2003-03-07 2008-09-03 キヤノン株式会社 照明光学系
JP3961973B2 (ja) 2003-03-14 2007-08-22 富士通株式会社 Ｏｔｄｒによる測定方法及び端局装置
KR20070092330A (ko) 2003-04-16 2007-09-12 업스트림 엔지니어링 오와이 2ｄ/3ｄ 데이터 프로젝터
IL155525A0 (en) 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
US7245430B2 (en) 2003-04-21 2007-07-17 Ricoh Company, Ltd. Method and apparatus for displaying three-dimensional stereo image using light deflector
US7976169B2 (en) 2003-05-14 2011-07-12 Sun Innovations, Inc. Waveguide display
GB0313044D0 (en) 2003-06-06 2003-07-09 Cambridge Flat Projection Flat panel scanning illuminator
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
GB2403814A (en) 2003-07-10 2005-01-12 Ocuity Ltd Directional display apparatus with birefringent lens structure
GB2403815A (en) 2003-07-10 2005-01-12 Ocuity Ltd Birefringent lens array structure
CN100390631C (zh) 2003-07-23 2008-05-28 夏普株式会社 液晶显示装置
GB2405542A (en) 2003-08-30 2005-03-02 Sharp Kk Multiple view directional display having display layer and parallax optic sandwiched between substrates.
MXPA06003202A (es) 2003-09-22 2006-06-23 Gene Dolgoff Visualizadores de imagen lenticulares onmidireccionales y de rejilla de barrera, y metodos para realizarlos.
GB2406730A (en) 2003-09-30 2005-04-06 Ocuity Ltd Directional display.
IL165376A0 (en) 2003-12-02 2006-01-15 Electro Optics Ind Ltd Vehicle display system
US7052168B2 (en) 2003-12-17 2006-05-30 3M Innovative Properties Company Illumination device
DE10359403B4 (de) 2003-12-18 2005-12-15 Seereal Technologies Gmbh Autostereoskopisches Multi-User-Display
JP4408368B2 (ja) 2003-12-24 2010-02-03 株式会社 日立ディスプレイズ 表示装置および表示方法およびこれらを用いる機器
CN1910399B (zh) 2004-01-15 2013-05-15 日立化成株式会社 反射器以及背光装置
GB2410116A (en) 2004-01-17 2005-07-20 Sharp Kk Illumination system and display device
WO2005071474A2 (en) 2004-01-20 2005-08-04 Sharp Kabushiki Kaisha Directional backlight and multiple view display device
EP1710746A1 (en) * 2004-01-30 2006-10-11 Digital Fashion Ltd. Makeup simulation program, makeup simulation device, and makeup simulation method
WO2005078514A1 (ja) 2004-02-13 2005-08-25 Mitsubishi Denki Kabushiki Kaisha 液晶表示装置及び情報機器
US7826668B1 (en) * 2004-02-17 2010-11-02 Corel Corporation Adaptive region editing tool
US8094927B2 (en) 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
US6962415B2 (en) 2004-02-27 2005-11-08 Honeywell International Inc. Electro-optical dimming system
US7375886B2 (en) 2004-04-19 2008-05-20 Stereographics Corporation Method and apparatus for optimizing the viewing distance of a lenticular stereogram
JP4616577B2 (ja) 2004-04-22 2011-01-19 株式会社日立製作所 映像表示装置
JP2005321693A (ja) 2004-05-11 2005-11-17 Hitachi Displays Ltd 液晶表示装置
GB2414127A (en) 2004-05-12 2005-11-16 Sharp Kk Time sequential colour projection
US7463775B1 (en) * 2004-05-18 2008-12-09 Adobe Systems Incorporated Estimating compressed storage size of digital data
TWI254166B (en) 2004-05-25 2006-05-01 Au Optronics Corp 3D display system and method
JP4367258B2 (ja) 2004-06-18 2009-11-18 日本電気株式会社 入出力装置及び端末装置
JP4610614B2 (ja) 2004-06-21 2011-01-12 グーグル インク． 単一画像に基づくマルチ生体認証システムおよび方法
JP3908241B2 (ja) 2004-06-24 2007-04-25 オリンパス株式会社 映像表示装置
US7204631B2 (en) 2004-06-30 2007-04-17 3M Innovative Properties Company Phosphor based illumination system having a plurality of light guides and an interference reflector
US7088488B2 (en) 2004-07-13 2006-08-08 Imation Corp. Spatial light modulator device with diffusive element
US7215391B2 (en) 2004-07-16 2007-05-08 United Microelectronics Corp. Liquid crystal on silicon display with micro color filters positioned on the top surface of the transparent substrate
WO2006031545A1 (en) 2004-09-09 2006-03-23 Fusion Optix, Inc. Enhanced lcd backlight
US20080128728A1 (en) 2004-09-10 2008-06-05 Luminus Devices, Inc. Polarized light-emitting devices and methods
US7227567B1 (en) 2004-09-14 2007-06-05 Avaya Technology Corp. Customizable background for video communications
WO2006030745A1 (ja) 2004-09-17 2006-03-23 Sharp Kabushiki Kaisha 表示装置および視野角制御装置、電子機器
CA2579903C (en) 2004-09-17 2012-03-13 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
GB2418315A (en) 2004-09-21 2006-03-22 Sharp Kk Multiple view display
JP4186918B2 (ja) 2004-12-01 2008-11-26 セイコーエプソン株式会社 画像表示装置
DE102004059729B3 (de) 2004-12-11 2006-04-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autostereoskopischen Erzeugung von dreidimensionalen Bildinformationen aus gerasterten Subpixelauszügen und Anordnung zur Verfahrensdurchführung
US20060139447A1 (en) 2004-12-23 2006-06-29 Unkrich Mark A Eye detection system and method for control of a three-dimensional display
DE102004063838A1 (de) 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
GB0502453D0 (en) 2005-02-05 2005-03-16 Cambridge Flat Projection Flat panel lens
US7355800B2 (en) 2005-02-07 2008-04-08 Coherent, Inc. Apparatus for projecting a line of light from a diode-laser array
CN100584043C (zh) 2005-03-17 2010-01-20 皇家飞利浦电子股份有限公司 自动立体显示设备及其滤色器
JP4600317B2 (ja) 2005-03-31 2010-12-15 カシオ計算機株式会社 指向性を持った少なくとも２つの照明光を出射する照明装置及びそれを用いた表示装置
US20070115551A1 (en) 2005-04-01 2007-05-24 Alexis Spilman Space-variant waveplate for polarization conversion, methods and applications
JP5090337B2 (ja) 2005-04-08 2012-12-05 リアルディー インコーポレイテッド 平面パススルーを有する自動立体ディスプレイ
WO2006118784A2 (en) 2005-04-20 2006-11-09 Wavefront Technology, Inc. Elliptical diffusers used in displays
US8675125B2 (en) 2005-04-27 2014-03-18 Parellel Consulting Limited Liability Company Minimized-thickness angular scanner of electromagnetic radiation
US7188953B2 (en) 2005-05-03 2007-03-13 Eastman Kodak Company Display apparatus using LCD panel
BRPI0612417A2 (pt) 2005-05-06 2010-11-09 Seereal Technologies Gmbh dispositivo para a reconstrução de cenas tridimensionais com hologramas de vìdeo
GB2426351A (en) 2005-05-19 2006-11-22 Sharp Kk A dual view display
KR100650191B1 (ko) 2005-05-31 2006-11-27 삼성전기주식회사 정전기 방전 충격에 대한 보호 기능이 내장된 고휘도 발광다이오드
TW200641416A (en) 2005-05-31 2006-12-01 Bright View Electronics Co Ltd A lighting device providing longitudinal illumination
US7404645B2 (en) 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
JP4741887B2 (ja) 2005-06-24 2011-08-10 Ｎｅｃ液晶テクノロジー株式会社 光源装置、表示装置及び端末装置
KR100813977B1 (ko) 2005-07-08 2008-03-14 삼성전자주식회사 2차원/3차원 영상 호환용 고해상도 입체 영상 디스플레이장치
GB2428345A (en) 2005-07-13 2007-01-24 Sharp Kk A display having multiple view and single view modes
CN100376970C (zh) 2005-07-20 2008-03-26 清华大学 导光板与背光模组
WO2007014371A2 (en) 2005-07-28 2007-02-01 Light Prescriptions Innovators, Llc Etendue-conserving illumination-optics for backlights and frontlights
KR101128519B1 (ko) 2005-08-04 2012-03-27 삼성전자주식회사 고해상도 오토스테레오스코픽 디스플레이
CN1908753A (zh) 2005-08-05 2007-02-07 鸿富锦精密工业（深圳）有限公司 偏振光转换器、其制造方法及背光模组
JP3872810B1 (ja) 2005-08-12 2007-01-24 シャープ株式会社 光源制御装置、照明装置及び液晶表示装置
US20070115552A1 (en) 2005-09-02 2007-05-24 Colorlink, Inc. Polarization beam splitter and combiner
JP4626467B2 (ja) 2005-09-29 2011-02-09 カシオ計算機株式会社 液晶表示装置
US7663712B2 (en) 2005-10-10 2010-02-16 Skc Haas Display Films Co., Ltd. Backlight unit with linearly reduced divergence having the width of an output aperture vary over the length of a light divergence reduction structure
US7378686B2 (en) 2005-10-18 2008-05-27 Goldeneye, Inc. Light emitting diode and side emitting lens
KR20080070854A (ko) 2005-11-14 2008-07-31 리얼 디 통합된 상호맞물림화를 갖춘 모니터
JP5291469B2 (ja) 2005-12-21 2013-09-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ バックライト構造
KR20070071293A (ko) 2005-12-29 2007-07-04 엘지.필립스 엘시디 주식회사 액정표시소자 및 그 제조방법
JP4215058B2 (ja) 2006-01-19 2009-01-28 エプソンイメージングデバイス株式会社 画像表示装置及び電子機器
US7528906B2 (en) 2006-01-23 2009-05-05 Real D Achromatic polarization switches
WO2007086456A1 (ja) 2006-01-27 2007-08-02 Enplas Corporation 面光源装置及び表示装置
US7593615B2 (en) 2006-02-10 2009-09-22 Rpc Photonics, Inc. Optical devices for guiding illumination
KR100813975B1 (ko) 2006-02-27 2008-03-14 삼성전자주식회사 2차원/3차원 영상 호환용 고해상도 입체 영상 표시 장치
US20070223252A1 (en) 2006-03-24 2007-09-27 Junwon Lee Illumination apparatus and film
KR100765075B1 (ko) 2006-03-26 2007-10-09 엘지이노텍 주식회사 질화물 반도체 발광 소자 및 그 제조방법
JP4385031B2 (ja) 2006-03-31 2009-12-16 日本ライツ株式会社 導光板および平面照明装置
JP2007279474A (ja) 2006-04-10 2007-10-25 Hitachi Displays Ltd 液晶表示装置
US7751960B2 (en) * 2006-04-13 2010-07-06 Gm Global Technology Operations, Inc. Driver workload-based vehicle stability enhancement control
US7524053B2 (en) 2006-05-12 2009-04-28 Real D 3-D eyewear
US7646453B2 (en) 2006-06-05 2010-01-12 Skc Haas Display Films Co., Ltd. Reflective polarizer with polarization splitting microstructure
US7876489B2 (en) 2006-06-05 2011-01-25 Pixtronix, Inc. Display apparatus with optical cavities
EP2045516A4 (en) 2006-07-21 2011-04-13 Fujifilm Corp UNITARY LIGHT GUIDE PLATE, LIGHT GUIDE PLATE UNIT, PLAN LIGHTING DEVICE, AND LIQUID CRYSTAL DISPLAY DEVICE
KR100823274B1 (ko) 2006-07-26 2008-04-17 삼성전자주식회사 조명장치 및 이를 채용한 디스플레이 장치
US7529416B2 (en) 2006-08-18 2009-05-05 Terayon Communication Systems, Inc. Method and apparatus for transferring digital data between circuits
US8040458B2 (en) 2006-09-26 2011-10-18 Panasonic Corporation Planar illumination device and liquid crystal display device using the same
GB0619366D0 (en) 2006-10-02 2006-11-08 Cambridge Flat Projection Distortionless wedge projection
JP4197716B2 (ja) 2006-10-03 2008-12-17 株式会社東芝 立体映像表示装置
JP5243439B2 (ja) 2006-10-06 2013-07-24 スリーエム イノベイティブ プロパティズ カンパニー 自動立体３ｄディスプレイ装置用のバックライトモジュール及びｌｃｄデバイス用の走査式バックライト
GB0620014D0 (en) 2006-10-10 2006-11-22 Cambridge Flat Projection Prismatic film backlight
CN102269831B (zh) 2006-10-27 2013-09-18 东丽株式会社 光反射板用白色聚酯膜
KR20090104077A (ko) 2006-12-29 2009-10-05 오와이 모디네스 리미티드 조명 애플리케이션들을 위한 인커플링 구조물
US8199152B2 (en) 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
WO2008090643A1 (ja) 2007-01-22 2008-07-31 Sharp Kabushiki Kaisha 光源モジュール及びバックライト光源
JP4974703B2 (ja) 2007-02-21 2012-07-11 富士フイルム株式会社 面状照明装置
GB0704803D0 (en) 2007-03-13 2007-04-18 Cambridge Flat Projection Structured colour illumination of lcd's
JP4967731B2 (ja) 2007-03-15 2012-07-04 セイコーエプソン株式会社 画像表示装置及びそのための光学部材
US7798698B2 (en) 2007-03-23 2010-09-21 Victor Company Of Japan, Limited Lighting device and display device
US7806579B2 (en) 2007-03-30 2010-10-05 Honeywell International Inc. Luminaire having a two-way waveguide
RU2377623C2 (ru) 2007-04-20 2009-12-27 Василий Александрович ЕЖОВ Способ наблюдения стереоизображений с полным разрешением для каждого ракурса и устройство для его реализации
DE102008021721A1 (de) 2007-05-08 2008-11-27 Citizen Electronics Co., Ltd., Fujiyoshida-shi Optisches Bauteil, Hintergrundbeleuchtungseinheit und Anzeigevorrichtung
US7528893B2 (en) 2007-05-18 2009-05-05 3M Innovative Properties Company Backlight for liquid crystal display
US8482685B2 (en) 2007-06-05 2013-07-09 Samsung Display Co., Ltd. Liquid crystal display panel
JP4902431B2 (ja) 2007-06-07 2012-03-21 富士フイルム株式会社 面状照明装置
US20080316303A1 (en) 2007-06-08 2008-12-25 Joseph Chiu Display Device
US7618178B2 (en) 2007-06-11 2009-11-17 SKC Haas Display Films Co., Lt.d Backlight containing formed birefringence reflective polarizer
KR20090009436A (ko) 2007-07-20 2009-01-23 엘지이노텍 주식회사 엘이디 백라이트
US8331615B2 (en) 2007-08-01 2012-12-11 The Board Of Trustees Of The University Of Illinois Match, expand, and filter technique for multi-view stereopsis
JP5248062B2 (ja) 2007-08-24 2013-07-31 株式会社東芝 指向性バックライト、表示装置及び立体画像表示装置
KR100932304B1 (ko) 2007-10-30 2009-12-16 제일모직주식회사 배면에 비대칭 프리즘을 구비하는 백라이트 유닛용 도광판및 이를 이용한 액정표시장치
US8087793B2 (en) 2007-10-30 2012-01-03 Edward Pakhchyan Back-light assembly
US7791683B2 (en) 2007-11-19 2010-09-07 Honeywell International Inc. Backlight systems for liquid crystal displays
US8144153B1 (en) 2007-11-20 2012-03-27 Lucasfilm Entertainment Company Ltd. Model production for animation libraries
JP4996433B2 (ja) 2007-11-27 2012-08-08 ミネベア株式会社 面状照明装置
JP5320574B2 (ja) 2007-12-20 2013-10-23 リアルディー インコーポレイテッド 画素内照明システムおよび方法
US20090168459A1 (en) 2007-12-27 2009-07-02 Qualcomm Incorporated Light guide including conjugate film
KR101421626B1 (ko) 2008-01-09 2014-07-22 삼성디스플레이 주식회사 광원 유닛, 이를 구비하는 백라이트 유닛 및 액정 표시장치
CN101743433B (zh) 2008-01-23 2013-01-16 松下电器产业株式会社 波长分离装置、使用该波长分离装置的面状照明装置以及液晶显示装置
JP4902566B2 (ja) 2008-02-15 2012-03-21 シャープ株式会社 面状照明装置および表示装置
US9058765B1 (en) 2008-03-17 2015-06-16 Taaz, Inc. System and method for creating and sharing personalized virtual makeovers
US7750982B2 (en) 2008-03-19 2010-07-06 3M Innovative Properties Company Autostereoscopic display with fresnel lens element and double sided prism film adjacent a backlight having a light transmission surface with left and right eye light sources at opposing ends modulated at a rate of at least 90 hz
CA2659698C (en) * 2008-03-21 2020-06-16 Dressbot Inc. System and method for collaborative shopping, business and entertainment
US8106910B2 (en) 2008-03-28 2012-01-31 Vldimir Pugach Method for correct reproduction of moving spatial images on a flat screen
WO2009123114A1 (ja) 2008-04-03 2009-10-08 住友化学株式会社 液晶表示装置
US8684588B2 (en) 2008-06-04 2014-04-01 Sharp Kabushiki Kaisha Light guide elements for display device
US8068187B2 (en) 2008-06-18 2011-11-29 3M Innovative Properties Company Stereoscopic 3D liquid crystal display apparatus having a double sided prism film comprising cylindrical lenses and non-contiguous prisms
US9253416B2 (en) 2008-06-19 2016-02-02 Motorola Solutions, Inc. Modulation of background substitution based on camera attitude and motion
JP4525808B2 (ja) 2008-07-28 2010-08-18 ソニー株式会社 立体画像表示装置およびその製造方法
WO2010019922A1 (en) 2008-08-15 2010-02-18 Real D Enhanced ghost compensation for stereoscopic imagery
US8223296B2 (en) 2008-08-25 2012-07-17 Lg Display Co. Ltd. Backlight unit and liquid crystal display device having the same
KR101450146B1 (ko) 2008-09-02 2014-10-14 삼성디스플레이 주식회사 백라이트 어셈블리 및 이를 포함하는 표시 장치
US7660047B1 (en) 2008-09-03 2010-02-09 Microsoft Corporation Flat panel lens
WO2010040146A1 (en) 2008-10-03 2010-04-08 Real D Optimal depth mapping
EP2345256B1 (en) 2008-10-07 2018-03-14 Euclid Discoveries, LLC Feature-based video compression
BRPI0914459A2 (pt) 2008-10-21 2015-10-27 Koninkl Philips Electronics Nv "método para processar um sinal de vídeo de entrada tridimensional compreendendo múltiplas visualizações, produto de programa de computador e sistema para processar um sinal de vídeo de entrada tridimensional compreendendo múltiplas visualizações"
WO2010048632A1 (en) 2008-10-24 2010-04-29 Real D Stereoscopic image format with depth information
EP2343878B1 (en) 2008-10-27 2016-05-25 Nippon Telegraph And Telephone Corporation Pixel prediction value generation procedure automatic generation method, image encoding method, image decoding method, devices using these methods, programs for these methods, and recording medium on which these programs are recorded
US7798699B2 (en) 2008-11-10 2010-09-21 Nokia Corporation Layered light guide with diffractive structures
TWI396873B (zh) 2008-12-31 2013-05-21 Nat Univ Tsing Hua 一種微結構偏極化之導光裝置
US8152349B2 (en) 2009-01-15 2012-04-10 Microsoft Corporation End reflector for a flat panel lens
JP2010164914A (ja) 2009-01-19 2010-07-29 Hitachi Displays Ltd 液晶表示装置
US8026997B2 (en) 2009-01-28 2011-09-27 Sharp Laboratories Of America, Inc. Area active backlight with steerable light source
KR20100092152A (ko) 2009-02-12 2010-08-20 엘지이노텍 주식회사 백라이트 유닛
KR101333439B1 (ko) 2009-02-17 2013-12-02 샤프 가부시키가이샤 도광체, 면 광원 장치 및 액정 표시 장치
DE102009010538B4 (de) 2009-02-25 2022-02-03 tooz technologies GmbH Multifunktionsglas mit einer optisch wirksamen Fläche, die zumindest teilweise eine Fresnel-Struktur mit mehreren Fresnel-Segmenten aufweist, sowie Verfahren zur Herstellung eines solchen optischen Multifunktionsglases
US20100214135A1 (en) 2009-02-26 2010-08-26 Microsoft Corporation Dynamic rear-projected user interface
JP5143770B2 (ja) 2009-03-02 2013-02-13 株式会社ジャパンディスプレイイースト 液晶表示装置
US20100231498A1 (en) 2009-03-13 2010-09-16 Microsoft Corporation Image display via multiple light guide sections
ES2880475T3 (es) 2009-04-01 2021-11-24 Tobii Ab Sistema de representación visual con iluminadores para el seguimiento de la mirada
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US9256007B2 (en) 2009-04-21 2016-02-09 Svv Technology Innovations, Inc. Light collection and illumination systems employing planar waveguide
US8639072B2 (en) 2011-10-19 2014-01-28 Milan Momcilo Popovich Compact wearable display
WO2010127285A2 (en) 2009-04-30 2010-11-04 Tetracam, Inc. Method and apparatus for providing a 3d image via media device
US8783898B2 (en) 2009-05-01 2014-07-22 Abl Ip Holding Llc Light emitting devices and applications thereof
DE102009003069A1 (de) 2009-05-13 2010-11-25 Seereal Technologies S.A. 3D-Anzeigedisplay mit steuerbarer Vorrichtung zum Nachführen von Sichtbarkeitsbereichen
US8509309B2 (en) * 2009-05-14 2013-08-13 Massachusetts Institute Of Technology Selecting transforms for compressing visual data
US8203595B2 (en) 2009-05-21 2012-06-19 Alcatel Lucent Method and apparatus for enabling improved eye contact in video teleconferencing applications
US20120062991A1 (en) 2009-05-28 2012-03-15 Koninklijke Philips Electronics N.V. Autostereoscopic display device
US8216405B2 (en) 2009-05-28 2012-07-10 Microsoft Corporation Making an optic with a cladding
GB2470752B (en) 2009-06-03 2015-01-07 Au Optronics Corp Autostereoscopic Display Apparatus
JP5563250B2 (ja) 2009-06-30 2014-07-30 株式会社ジャパンディスプレイ 立体画像表示装置
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
KR20110006773A (ko) 2009-07-15 2011-01-21 삼성전자주식회사 디스플레이장치 및 텔레비전
EP2282231A3 (en) 2009-08-07 2011-05-04 JDS Uniphase Corporation Multi-segment optical retarder for creating 3d images
JP5375424B2 (ja) 2009-08-10 2013-12-25 東芝ライテック株式会社 発光装置及びその製造方法、灯具、並びに灯具システム
FR2949264B1 (fr) 2009-08-18 2012-02-24 Screen Res Procede de fabrication d'un ecran de projection et ecran correspondant
US20110044056A1 (en) 2009-08-21 2011-02-24 Microsoft Corporation Light collector for an illumination optic
US20110242298A1 (en) 2009-08-21 2011-10-06 Microsoft Corporation Private video presentation
US20110044582A1 (en) 2009-08-21 2011-02-24 Microsoft Corporation Efficient collimation of light with optical wedge
US8354806B2 (en) 2009-08-21 2013-01-15 Microsoft Corporation Scanning collimation of light via flat panel lamp
JP5333050B2 (ja) 2009-08-25 2013-11-06 ソニー株式会社 立体映像表示装置および立体映像表示装置の製造方法
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
KR101684478B1 (ko) 2010-01-20 2016-12-09 삼성디스플레이 주식회사 복수의 도광판을 갖는 백라이트 어셈블리
US20110188120A1 (en) 2010-01-29 2011-08-04 Beam Engineering For Advanced Measurement Co. Broadband optics for manipulating light beams and images
KR101680771B1 (ko) 2010-02-04 2016-11-30 삼성전자주식회사 입체 영상 디스플레이 장치 및 방법
JP2013080562A (ja) 2010-02-10 2013-05-02 Sharp Corp バックライト装置および液晶表示装置並びにテレビジョン受像機
US8384774B2 (en) 2010-02-15 2013-02-26 Eastman Kodak Company Glasses for viewing stereo images
KR20110097690A (ko) 2010-02-23 2011-08-31 삼성전자주식회사 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치
US20110216266A1 (en) 2010-03-02 2011-09-08 Microsoft Corporation Wedge backlight with diffraction grating
US8922480B1 (en) 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
JP5055398B2 (ja) 2010-03-12 2012-10-24 株式会社ジャパンディスプレイイースト 照明装置および液晶表示装置
JP5462672B2 (ja) 2010-03-16 2014-04-02 株式会社ジャパンディスプレイ 表示装置及び電子機器
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
KR20110109565A (ko) 2010-03-31 2011-10-06 삼성전자주식회사 백라이트 유닛, 이를 구비한 3ｄ 디스플레이 및 3ｄ 영상 형성 방법
CN103038567A (zh) 2010-04-16 2013-04-10 弗莱克斯照明第二有限责任公司 包括膜基光导的照明装置
US8564740B2 (en) 2010-05-24 2013-10-22 3M Innovative Properties Company Directional backlight with reduced crosstalk
EP2577963A1 (en) 2010-05-26 2013-04-10 Ramot at Tel Aviv University, Ltd. Method and system for correcting gaze offset
US8477261B2 (en) 2010-05-26 2013-07-02 Microsoft Corporation Shadow elimination in the backlight for a 3-D display
US8311337B2 (en) * 2010-06-15 2012-11-13 Cyberlink Corp. Systems and methods for organizing and accessing feature vectors in digital images
US10089937B2 (en) 2010-06-21 2018-10-02 Microsoft Technology Licensing, Llc Spatial and temporal multiplexing display
KR101680770B1 (ko) 2010-07-09 2016-11-29 삼성전자주식회사 백라이트 유닛 및 이를 구비하는 디스플레이장치
US20120013720A1 (en) 2010-07-14 2012-01-19 Shinichi Kadowaki Display device
US8908008B2 (en) 2010-07-16 2014-12-09 Hewlett-Packard Development Company, L.P. Methods and systems for establishing eye contact and accurate gaze in remote collaboration
KR101729556B1 (ko) 2010-08-09 2017-04-24 엘지전자 주식회사 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법, 그리고 위치 추적 장치
WO2012021967A1 (en) 2010-08-16 2012-02-23 Tandemlaunch Technologies Inc. System and method for analyzing three-dimensional (3d) media content
US9024997B2 (en) 2010-09-03 2015-05-05 At&T Intellectual Property L.L.P. Virtual presence via mobile
US8534901B2 (en) 2010-09-13 2013-09-17 Teledyne Reynolds, Inc. Collimating waveguide apparatus and method
JP5364666B2 (ja) 2010-09-13 2013-12-11 株式会社東芝 立体画像表示装置、方法およびプログラム
EP2431786A1 (de) 2010-09-17 2012-03-21 Bayer MaterialScience AG Autostereoskopisches 3D-Display
US8651725B2 (en) 2010-09-30 2014-02-18 Global Lighting Technology Inc. Backlight module
US8848040B2 (en) 2010-10-08 2014-09-30 3Dv Co., Ltd. 3D display system with active shutter plate
US9294717B2 (en) 2010-10-13 2016-03-22 At&T Intellectual Property I, L.P. System and method to enable layered video messaging
KR20120045098A (ko) 2010-10-29 2012-05-09 삼성전자주식회사 백라이트 어셈블리 및 이를 갖는 액정 표시 장치
KR101670927B1 (ko) 2010-11-05 2016-11-01 삼성전자주식회사 디스플레이 장치 및 방법
US8494237B2 (en) 2010-11-08 2013-07-23 Cranial Technologies, Inc Method and apparatus for processing digital image representations of a head shape
US8651726B2 (en) 2010-11-19 2014-02-18 Reald Inc. Efficient polarized directional backlight
CA2817044C (en) 2010-11-19 2017-10-17 Reald Inc. Directional flat illuminators
US20130328866A1 (en) 2010-11-19 2013-12-12 Reald Inc. Spatially multiplexed imaging directional backlight displays
US20140041205A1 (en) 2010-11-19 2014-02-13 Reald Inc. Method of manufacturing directional backlight apparatus and directional structured optical film
US9250448B2 (en) 2010-11-19 2016-02-02 Reald Inc. Segmented directional backlight and related methods of backlight illumination
CN102012742A (zh) 2010-11-24 2011-04-13 广东威创视讯科技股份有限公司 一种眼睛鼠标的校正方法及其装置
US8988336B2 (en) 2010-12-16 2015-03-24 3M Innovative Properties Company Dual-orientation autostereoscopic backlight and display
KR20120074825A (ko) 2010-12-28 2012-07-06 엘지전자 주식회사 디스플레이 장치
US8823769B2 (en) 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
US9338449B2 (en) 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
US20120236133A1 (en) 2011-03-18 2012-09-20 Andrew Charles Gallagher Producing enhanced images from anaglyph images
JP2012204370A (ja) 2011-03-23 2012-10-22 Sony Corp 光源回路ユニットおよび照明装置、並びに表示装置
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
JP5751922B2 (ja) 2011-05-09 2015-07-22 キヤノン株式会社 発光装置および表示装置
US8676937B2 (en) 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
WO2012158574A1 (en) 2011-05-13 2012-11-22 Reald Inc. Efficient polarized directional backlight
JP2012244396A (ja) 2011-05-19 2012-12-10 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US9153031B2 (en) 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
JP5649526B2 (ja) 2011-07-01 2015-01-07 株式会社ジャパンディスプレイ 表示装置
US8760762B1 (en) 2011-08-12 2014-06-24 Google Inc. Image waveguide utilizing two mirrored or polarized surfaces
JP6242569B2 (ja) 2011-08-25 2017-12-06 東芝メディカルシステムズ株式会社 医用画像表示装置及びｘ線診断装置
US9538133B2 (en) * 2011-09-23 2017-01-03 Jie Diao Conveying gaze information in virtual conference
US9097826B2 (en) 2011-10-08 2015-08-04 Svv Technology Innovations, Inc. Collimating illumination systems employing a waveguide
US20130107340A1 (en) 2011-10-31 2013-05-02 Yoon Kean Wong Autostereoscopic Steering Light-Guide Three-Dimensional Displays
US20130127861A1 (en) 2011-11-18 2013-05-23 Jacques Gollier Display apparatuses and methods for simulating an autostereoscopic display device
US20130135588A1 (en) 2011-11-29 2013-05-30 Milan Momcilo Popovich 3D display apparatus
WO2013079607A1 (en) 2011-11-30 2013-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. View rendering for the provision of virtual eye contact using special geometric constraints in combination with eye-tracking
US8942434B1 (en) 2011-12-20 2015-01-27 Amazon Technologies, Inc. Conflict resolution for pupil detection
US8593452B2 (en) * 2011-12-20 2013-11-26 Apple Inc. Face feature vector construction
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
WO2013116460A1 (en) 2012-01-31 2013-08-08 Alphamicron Incorporated Electronically dimmable optical device
EP3429195A1 (en) 2012-02-27 2019-01-16 Perceptiko AG Method and system for image processing in video conferencing for gaze correction
KR101977638B1 (ko) 2012-02-29 2019-05-14 삼성전자주식회사 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
US8950883B2 (en) 2012-03-09 2015-02-10 Corning Incorporated Bezel-free display device using directional backlighting
US9378574B2 (en) * 2012-04-26 2016-06-28 Electronics And Telecommunications Research Institute Apparatus and method for producing makeup avatar
JP2015525432A (ja) 2012-05-18 2015-09-03 リアルディー インコーポレイテッド 結像指向性バックライトのための光源調整
WO2013173695A1 (en) 2012-05-18 2013-11-21 Reald Inc. Controlling light sources of a directional backlight
US9678267B2 (en) 2012-05-18 2017-06-13 Reald Spark, Llc Wide angle imaging directional backlights
JP6458950B2 (ja) 2012-05-18 2019-01-30 リアルディー スパーク エルエルシー 指向性ディスプレイ装置
US9350980B2 (en) 2012-05-18 2016-05-24 Reald Inc. Crosstalk suppression in a directional backlight
EP3779538B1 (en) 2012-05-18 2023-06-28 RealD Spark, LLC Directionally illuminated waveguide arrangement
US9188731B2 (en) 2012-05-18 2015-11-17 Reald Inc. Directional backlight
US9104908B1 (en) 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
US9224248B2 (en) * 2012-07-12 2015-12-29 Ulsee Inc. Method of virtual makeup achieved by facial tracking
US9285532B2 (en) 2012-07-13 2016-03-15 Blackberry Limited Backlight module having a prisim reflector
KR101979669B1 (ko) 2012-07-13 2019-05-17 삼성전자주식회사 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
WO2014018269A1 (en) 2012-07-23 2014-01-30 Reald Inc. Observer tracking autostereoscopic display
US9081195B2 (en) 2012-08-13 2015-07-14 Innolux Corporation Three-dimensional image display apparatus and three-dimensional image processing method
CN103807664A (zh) 2012-11-07 2014-05-21 纬创资通股份有限公司 光源模块和制作光源模块的方法
WO2014083949A1 (ja) 2012-11-29 2014-06-05 シャープ株式会社 立体画像処理装置、立体画像処理方法、及びプログラム
US20140153832A1 (en) * 2012-12-04 2014-06-05 Vivek Kwatra Facial expression editing in images based on collections of images
US9552668B2 (en) * 2012-12-12 2017-01-24 Microsoft Technology Licensing, Llc Generation of a three-dimensional representation of a user
US10321747B2 (en) 2013-02-01 2019-06-18 Panasonic Intellectual Property Management Co., Ltd. Makeup assistance device, makeup assistance system, makeup assistance method, and makeup assistance program
JP6132232B2 (ja) * 2013-02-01 2017-05-24 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
US9262648B2 (en) 2013-02-22 2016-02-16 Fujitsu Limited Display device with automatic viewing angle control
EP2959213A4 (en) 2013-02-22 2016-11-16 Reald Inc DIRECTIONAL BACKLIGHT
US9407868B2 (en) 2013-06-17 2016-08-02 Reald Inc. Controlling light sources of a directional backlight
EP3036701A4 (en) 2013-08-22 2017-01-18 Bespoke, Inc. Method and system to create custom products
KR101856568B1 (ko) 2013-09-16 2018-06-19 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법
US9224060B1 (en) 2013-09-17 2015-12-29 Amazon Technologies, Inc. Object tracking using depth information
JP6364627B2 (ja) 2013-11-01 2018-08-01 パナソニックＩｐマネジメント株式会社 視線方向検出装置および視線方向検出方法
WO2015073438A1 (en) 2013-11-15 2015-05-21 Reald Inc. Directional backlights with light emitting element packages
US20150243035A1 (en) 2014-02-21 2015-08-27 Metaio Gmbh Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
AU2015231198B2 (en) 2014-03-21 2019-11-28 Reald Spark, Llc Directional backlight
US9407896B2 (en) 2014-03-24 2016-08-02 Hong Kong Applied Science and Technology Research Institute Company, Limited Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions
US9489739B2 (en) 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
US9325939B2 (en) 2014-08-14 2016-04-26 Verizon Patent And Licensing Inc. Method and system for providing gaze-directed correction during a video conferencing session
US9760762B2 (en) * 2014-11-03 2017-09-12 Anastasia Soare Facial structural shaping
US9626564B2 (en) 2014-11-17 2017-04-18 Intel Corporation System for enabling eye contact in electronic images
EP3234737B1 (en) 2014-12-16 2019-04-10 Koninklijke Philips N.V. Gaze tracking system with calibration improvement, accuracy compensation, and gaze localization smoothing
WO2016105541A1 (en) * 2014-12-24 2016-06-30 Reald Inc. Adjustment of perceived roundness in stereoscopic image of a head
US9740282B1 (en) 2015-01-05 2017-08-22 Amazon Technologies, Inc. Gaze direction tracking
US9704038B2 (en) 2015-01-07 2017-07-11 Microsoft Technology Licensing, Llc Eye tracking
KR102306538B1 (ko) * 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
CN104574321B (zh) 2015-01-29 2018-10-23 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
US9300916B1 (en) 2015-02-10 2016-03-29 International Business Machines Corporation Natural gazes during online video conversations
EP3268883A4 (en) 2015-02-27 2019-01-02 Valorisation-Recherche, Limited Partnership Method of and system for processing signals sensed from a user
GB201507210D0 (en) 2015-04-28 2015-06-10 Microsoft Technology Licensing Llc Eye gaze correction
KR102317021B1 (ko) 2015-06-26 2021-10-25 삼성전자주식회사 디스플레이 장치 및 이의 영상 보정 방법
EP3335195A2 (en) 2015-08-14 2018-06-20 Metail Limited Methods of generating personalized 3d head models or 3d body models
KR102174258B1 (ko) 2015-11-06 2020-11-04 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
US20170132528A1 (en) 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Joint model training
US9538130B1 (en) 2015-12-10 2017-01-03 Dell Software, Inc. Dynamic gaze correction for video conferencing
US10664949B2 (en) 2016-04-22 2020-05-26 Intel Corporation Eye contact correction in real time using machine learning
US10423830B2 (en) 2016-04-22 2019-09-24 Intel Corporation Eye contact correction in real time using neural network based machine learning
WO2017213218A1 (ja) 2016-06-10 2017-12-14 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム
US10043088B2 (en) 2016-06-23 2018-08-07 Siemens Healthcare Gmbh Image quality score using a deep generative machine-learning model
US10062198B2 (en) 2016-06-23 2018-08-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US20180158246A1 (en) 2016-12-07 2018-06-07 Intel IP Corporation Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays
US11026634B2 (en) 2017-04-05 2021-06-08 doc.ai incorporated Image-based system and method for predicting physiological parameters
US10777018B2 (en) 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120319928A1 (en) * 2011-06-20 2012-12-20 Google Inc. Systems and Methods for Adaptive Transmission of Data
US20140002586A1 (en) * 2012-07-02 2014-01-02 Bby Solutions, Inc. Gaze direction adjustment for video calls and meetings
WO2016132148A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Machine learning for visual processing
CN104951808A (zh) * 2015-07-10 2015-09-30 电子科技大学 一种用于机器人交互对象检测的3d视线方向估计方法
US20170195662A1 (en) * 2016-01-05 2017-07-06 Reald Spark, Llc Gaze correction of multi-view images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAROSLAV GANIN 等: "DeepWarp: Photorealistic Image Resynthesis for Gaze Manipulation", pages 3, Retrieved from the Internet <URL:https://arxiv.org./pdf/1607.07215.pdf> *
黄小天: "DeepWarp：一款可以玩转所有人眼球的机器学习Demo", pages 1, Retrieved from the Internet <URL:https://www.jiqizhixin.com/articles/2017-03-12-2> *

Also Published As

Publication number Publication date
US20210012575A1 (en) 2021-01-14
EP3665553B1 (en) 2023-12-13
EP4293574A3 (en) 2024-04-03
US11232647B2 (en) 2022-01-25
US20220207847A1 (en) 2022-06-30
US11836880B2 (en) 2023-12-05
EP4293574A2 (en) 2023-12-20
EP3665553A1 (en) 2020-06-17
US20190051057A1 (en) 2019-02-14
WO2019032604A1 (en) 2019-02-14
EP3665553A4 (en) 2021-09-01
US10740985B2 (en) 2020-08-11

Similar Documents

Publication Publication Date Title
US11836880B2 (en) Adjusting a digital representation of a head region
US11854243B2 (en) Gaze correction of multi-view images
CN113301259B (zh) 引导用户捕获数字图像的计算机可读介质、系统和方法
US11703949B2 (en) Directional assistance for centering a face in a camera field of view
CN108876879B (zh) 人脸动画实现的方法、装置、计算机设备及存储介质
CN110096925A (zh) 人脸表情图像的增强方法、获取方法和装置
JP2023545190A (ja) 画像の視線補正方法、装置、電子機器、及びコンピュータプログラム
CN110531853B (zh) 一种基于人眼注视点检测的电子书阅读器控制方法及系统
EP3506149A1 (en) Method, system and computer program product for eye gaze direction estimation
CN108305321B (zh) 一种基于双目彩色成像系统的立体人手3d骨架模型实时重建方法和装置
CN116997933A (zh) 用于构造面部位置图的方法和系统
Yu et al. A video-based facial motion tracking and expression recognition system
EP4268198A1 (en) Methods and systems for extracting color from facial image
CN114270417A (zh) 能够更新注册人脸模板的人脸识别系统及方法
US20230080639A1 (en) Techniques for re-aging faces in images and video frames
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
Zuffi et al. Puppet flow
Zhao 3D Human Face Reconstruction and 2D Appearance Synthesis
CN117333914A (zh) 一种基于单图像的人脸关键点提取方法及电子设备
Ariz Galilea Contributions to Head Pose Estimation methods
Galilea Contributions to head pose estimation methods
CN116959076A (zh) 面部数据采集方法、系统及存储介质
Weon et al. Individualized 3D Face Model Reconstruction using Two Orthogonal Face Images
Mbouna 3-D face modeling from a 2-D image with shape and head pose estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination