CN114863544A - 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法 - Google Patents

使用机器学习对眼睛图像进行校正的方法以及机器学习的方法 Download PDF

Info

Publication number
CN114863544A
CN114863544A CN202210276561.9A CN202210276561A CN114863544A CN 114863544 A CN114863544 A CN 114863544A CN 202210276561 A CN202210276561 A CN 202210276561A CN 114863544 A CN114863544 A CN 114863544A
Authority
CN
China
Prior art keywords
image
predictor
gaze
learning
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210276561.9A
Other languages
English (en)
Inventor
D·S·柯诺南科
V·S·兰皮特斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Skolkovo Institute of Science and Technology
Original Assignee
Skolkovo Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Skolkovo Institute of Science and Technology filed Critical Skolkovo Institute of Science and Technology
Publication of CN114863544A publication Critical patent/CN114863544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及使用机器学习对眼睛图像进行校正的方法以及机器学习的方法。本发明涉及自动化和计算技术，即，涉及处理图像和视频数据的领域，即，涉及以目光重定向为目的对视频聊天、视频会议中的对话者的眼睛图像进行校正。一种校正眼睛图像的方法，其中该方法对人的脸至少获得一帧，于是确定这个人的眼睛在图像中的位置，并且形成紧密地包围眼睛的两个矩形区域，并且最后将眼睛区域中的每个像素的颜色分量取代成根据机器学习预测器的预测移位的像素的颜色分量。本发明的技术效果是以目光重定向为目的的眼睛图像的校正精度提高，其中处理视频图像的过程所需的资源减少。

Description

使用机器学习对眼睛图像进行校正的方法以及机器学习的 方法
本申请是2016年03月03日递交的PCT国际申请PCT/RU2016/000118于2017年11月17日进入中国国家阶段的中国专利申请号为201680028919.9、发明名称为“使用机器学习对眼睛图像进行校正的方法以及机器学习的方法”的发明专利申请的分案申请。
技术领域
本组发明涉及自动化和计算技术，一般地涉及处理图像和视频数据的领域，即，涉及校正视频聊天、视频会议的过程中的对话者的眼睛的图像。
背景技术
目前，商业伙伴之间的视频会议以及在国外给亲戚打视频电话变为日常发生的事。特定软件和硬件的选择被与各方之间缺少视觉接触有关的复杂性所阻碍。该问题长时间吸引了研究者和工程师，并且它是由捕捉视频图像的摄像头的位置和脸在屏幕上的图像之间的不可避免的差异引起的。
最成功的目前已知的解决方案需要额外的设备，除了网络摄像头之外，比如：半透明镜/屏幕、立体摄像头或RGB-D摄像头。
在现有技术中已知申请人Ramot At Tel-Aviv University Ltd.的于2011年12月1日公布的专利申请WO2011148366“用于校正目光偏移的方法和系统(Method and systemfor correcting gaze offset)”。该方法包括以下步骤：对图像进行处理以便提取至少一个眼睛在该图像上的位置；对该图像进行处理以用取代数据取代与每个眼睛的每个位置相关联的影像数据；并且将所述校正后的图像发送到显示装置。该给定方法的缺点是，首先，在视频会议开始之前必需对视频会议的每个参与者预先记录朝向摄像头的目光的一组影像数据，第二，在视频会议期间目光方向的不自然固定。
从现有技术还已知作者D.Giger、J.C.Bazin、a C.Kuster、T.Popa、M.Gross发表于Proceedings of IEEE ICME 2014(中国，成都，2014年7月14-18日)中的文章“用单个网络摄像头进行目光校正(Gaze Correction with a Single Webcam)”。该指定方法包括：确定脸部特征点并且根据确定的脸部特征来匹配人头的几何模型，将图像投影到调整后的模型的纹理，将模型旋转到某个角度并且将转动的模型投影在图像中，匹配模型图像和源图像。该给定方法的限制是：整体脸比例变形，必需预先记录头部的被屏蔽部分(例如，下巴)的纹理，并且需要图形加速器来实现实时系统操作所必需的生产率。
发明内容
给定的一组发明的目的是在视频会议期间使用仅包括一个视频记录工具(视频摄像头)的装置来校正对话者的眼睛的图像。
给定发明的技术效果是，眼睛图像的校正精度提高，同时减少了处理视频帧的过程所需的资源。
该技术效果是由于(用于校正图像中的目光方位的)预测器的机器学习方法而实现的，其中该方法首先获得多个图像对，在每对中包含同一个人的图像，但是多个图像对的不同之处仅在于目光方向，然后确定眼睛在每个图像对中的位置，接着学习预测器，生成调整位移矢量场，以使得对于每个图像对，将该对中的第一图像的每个像素中的颜色分量取代成该对中的第一图像的根据预测器的预测移位的另一像素的颜色分量，得到尽可能地类似于该对中的第二图像的图像，以及将预测器作为结果保存。
本发明提供了一种用于校正图像中的目光方位的预测器的机器学习方法，其特征在于：
·获得多个图像对，在每对中包含同一个人的图像，所述多个图像对的不同之处仅在于目光方向；
·确定眼睛在每个图像对中的位置；
·学习所述预测器，生成调整位移矢量场，以使得对于每个图像对，将所述对中的第一图像的每个像素中的颜色分量取代成所述对中的所述第一图像的根据所述预测器的预测移位的另一像素的颜色分量，得到尽可能地类似于所述对中的第二图像的图像；
·保存所述预测器。
位移场的预测器可以采取以下形式：
-单层或多层神经网络。
-至少一个决策树或决策树集合。
-生成仅取决于涉及眼睛的特征点的像素位置的固定位移矢量的预测器。
-机器学习中已知的任何其他形式的预测器。
使图像对中的眼睛区域为预设像素尺度。
预测器被存储在信息介质中，所述信息介质包括硬盘或固态驱动器、或闪存、或光学盘、或混合驱动器、或随机存取存储器(RAM)、或远程计算机系统、或远程数据存储。
此外，指定的技术效果是用用于校正眼睛在眼睛图像中的位置的方法来实现的，其中该方法首先加载预测器，然后对人的脸至少获得一个帧，然后确定这个人的眼睛在图像中的位置并且形成紧密包围眼睛的两个矩形区域，并且结果将眼睛区域中的每个像素的颜色分量取代成根据预测器的预测移位的像素的颜色分量。
本发明提供了一种用于校正眼睛图像的方法，其特征在于：
·加载预测器；
·对人的脸至少获得一个帧；
·确定所述人的眼睛在所述图像中的位置，并且形成紧密包围所述眼睛的两个矩形区域；
·将所述眼睛区域中的每个像素的颜色分量取代成根据所述预测器的基于机器学习的预测移位的像素的颜色分量。
预测器是根据上述标准训练的(以对于每个训练对中的第二图像最小化实际图像和获得的图像之间的差异)。
预测器从信息介质被加载，所述信息介质可以包括硬盘或固态驱动器、或闪存、或光学盘、或混合驱动器、或随机存取存储器(RAM)、或远程计算机系统、或远程数据存储。
预测器是单层或多层神经网络。
预测器是至少一个决策树或决策树集合。
预测器生成仅取决于涉及眼睛的特性点的像素位置的固定位移矢量。
在训练应用于眼睛区域中的每个像素的预测器之后，应满足以下要求：
a.当被应用于像素时，预测器应生成调整位移矢量，该调整位移矢量用于用由该给定位移矢量确定的另一像素的颜色分量取代给定像素的颜色分量；
b.预测器在多个图像对上被训练，其中一对中的一个图像包含人脸在眼睛被调整之前的初始图像，并且另一图像包含眼睛凝视不同方向的人的图像。
应用于所述眼睛区域中的每个像素的预测器满足以下要求：
a.被应用于像素，预测器应生成调整位移矢量，所述调整位移矢量用于用由所述给定位移矢量确定的取代像素的颜色分量取代所述给定像素的颜色分量；
b.所述预测器在多个图像对上被训练，其中一对中的一个图像包含所述人脸在所述眼睛的位置被调整之前的初始图像，并且另一图像包含具有期望眼睛位置的人的图像。
预测器预测的位移矢量根据调整后的图像中的眼睛的大小与训练图像的比率而被缩放。
附图说明
图1示出对话者的眼睛图像的实时校正。左侧是目光朝向摄像头下面十度的输入帧。中间是目光朝向比左侧帧中高出十度的输入帧(在这种情况下，目光朝向摄像头)。右侧帧是本发明的效果的实例，在该实例中，图像中的对话者的目光方向被相对于输入图像(在左侧示出)向上调整十度。
图2示出预测器是决策树的情况下的像素处理。
图3示出用于校正眼睛图像的预测器的机器学习方法的框图。
图4示出用于校正眼睛图像的方法的框图。
具体实施方式
下面将描述本发明的详细公开所需的概念和定义。
预测器是用于与给定的某些对象(例如，类别标签、标量或矢量值)的样本进行比较的程序或硬件实现，该程序或硬件实现取决于借助于针对训练组的机器学习过程而被训练的相当多的参数。决策树、神经网络、决策树集合可以被作为预测器架构的实施例给出。根据预测器，参数可以包括例如神经网络的权重、决策树中的阈值等。
预测器的内部状态是预测器的影响其预测的所有参数值的集合。
决策树是以分层连续结构的表示规则的方法，其中唯一节点(树叶)针对每个对象给予解决方案。
颜色分量是定义用于描述颜色表示的颜色模型的数字元组中的三个或四个值。
存在许多各种类型的颜色模型，但是计算机图形作为规则使用以下颜色空间：CMY、CMYK、CMYK256、RGB、HSB、HLS、L*a*b、YIQ、Grayscale(灰色程度)。
例如，在最知名的颜色模型RGB中，元组包含三个颜色分量。例如，(255,64,23)是包含强红色分量、较小量的绿色以及甚至更小量的蓝色的颜色。
给定发明可以在系统形式的计算机上实现，或者在包含用于执行前述方法的指令的机器可读介质上实现。
用于校正图像中的目光方位的预测器的机器学习方法包括以下步骤：
得到多个图像对，在每对中包含同一个人的图像，这些图像对的不同之处仅在于目光方向；
多个图像对302(图3)来自于视频摄像头301(图3)。为了提供机器学习的可能性，需要满足以下要求的预定图像对集合(Ij,Oj)：每个图像对表示同一个人的头部位置相同并且可视化条件相等的脸，不同之处仅在于这个人的目光方向(图1)。目光方向的差异在所有学习对中都是相等的。为所述方法的正确操作，目光方向的给定差异应为5度至20度。
针对每个图像对限定眼睛的位置；
受控梯度下降算法(其描述可以在参考文章[1]中找到)例如可以被用来确定眼睛的位置。基于决策树的连续应用的方法也可以被使用。实现指定方法的各种替换方案在文章[2]和[3]中被描述。
此外，使图像为相等大小。对于与右眼匹配的每个图像对，聚焦于与图像Ij中的这个眼睛匹配的点(f1,g1)、(f2,g2)…(fN,gN)上。在文章[1]中，点数N为6个。显见的是，它不是固定参数。此外，确定每个眼睛的轴对齐矩形B’边界点，并且将特性半径Δ定义为
Figure BDA0003556228270000051
此外，考虑具有在与B’相同位置上的中心的矩形B，还有与Δ成比例的宽度W和高度H(即，对于一些常数α和β，W＝α*Δ，H＝β*Δ)。常数α和β是在1至20的范围内任意选择的。在进行的实验中，值α和β相应地为2.0和1.6。由此，矩形B对于尺度和眼睛位置是共变的，并且具有边长比α:β。根据矩形B修剪图像Ij和Oj，并且将这些图像缩放R/Δ倍，以使得图像中的眼睛的特性半径变为常数。在相对于垂直轴规则反射之后，类似地对左眼图像进行处理。结果，获得多个被修剪和缩放的图像对303(图3)。
学习预测器，生成调整位移矢量，以使得对于每个图像对，将该对中的第一图像的每个像素中的颜色分量取代成该对中的第一图像的根据预测器的预测移位的另一像素的颜色分量得到尽可能地类似于该对中的第二图像的图像；
在每个像素(x,y)中，值Oj(x,y)借助于运算O(x,y)＝I(x+u(x,y),y+v(x,y))而被值Ij(x,y)取代。由此，边界矩形B内的每个像素(x,y)指定元组S＝[(x,y),I,[fi,gi],O(x,y)]的学习，该元组包括(x,y)像素位置、输入图像I、眼睛轮廓上的点[fi,gi]以及输出图像中的像素的颜色O(x,y)。然后，基于教育元组(学习样本)来学习决策树。
每个学习样本不包括位移矢量(u(x,y),v(x,y))，而是仅包括所需颜色O(x,y)，而相同的颜色分量可以借助于各种偏移来获得。
眼睛图像通过在眼睛区域中的每个像素中应用机器训练的预测器304(图3)来调整，并且预测器P通过以下两个性质来确定：
(1)在预测器P对像素进行处理时，预测位移矢量，该位移矢量根据校正过程被用来用移位后的像素的强度(颜色分量)取代该像素的强度(颜色分量)。
(2)在训练期间，对于所述多个图像对(im1,im2)，应用P应导致im1转换为im2，其中im1包含输入图像，im2包含所需图像。
保存预测器；
根据预测器的类型(决策树、决策树集合、神经网络)，给定预测器的参数被存储在信息介质305(图3)中，信息介质305是硬盘或固态驱动器、或光学驱动器、或闪存。此外，预测器可以被保存在随机存取存储器(RAM)中。
例如，如果决策树被用作预测器，则参数可以是：测试的特性、阈值τ、节点之间的连接、叶数、树的深度、节点的值、树的整个拓扑。
校正眼睛图像的方法包括：
加载预测器；
根据预测器404的类型(决策树、决策树集合、神经网络)，给定预测器的参数从信息介质403(图4)被加载，信息介质403可以是硬盘或固态驱动器、或光学驱动器、或闪存。此外，预测器可以从随机存取存储器(RAM)被加载。
例如，如果决策树被用作预测器，则参数可以是：测试的特性、阈值τ、节点之间的连接、叶数、树的深度、节点的值、树的整个拓扑。
获得人的脸的至少一个帧；
图像可以以实时地来自视频数据源401(图4)、或来自储存器、来自本地视频服务器或中央服务器的流视频的形式被发送。为了发送流视频，标准协议RTSP(RealTimeStreamingProtocol)、RTMP(RealTimeMessagingProtocol)、HLS(HTTPLiveStreaming)和DASH(DynamicAdaptiveStreamingover HTTP)可以被使用。由此，发送的视频数据的速度和质量可以自动地适应装置通信信道。
视频数据可以以压缩形式被发送，例如，借助于编码器H.264、VP8、MJPEG、JPEG、JPEG2000。
视频数据可以以单独的文件的形式被发送。由此，标准容器(例如，WebM、OGV、MKV、MP4、TS、JPG及其他)可以被使用。
视频数据可以在无线网上被发送，比如GSM(全球移动通信系统)、CDMA(码分多址)、LTE(长期演进)、Wi-Fi(无线保真)。在本发明的一些实现中，获得和/或发送数据是使用上述几种技术或接收/发送技术来执行的。
限定图像中的人眼的位置以及紧密地包围眼睛的两个矩形区域；
每个眼睛聚焦于眼睛轮廓上分配的匹配该眼睛的点(f1,g1)、(f2,g2)…(fN,gN)上。此外，确定每个眼睛的轴对齐矩形边界B’点，并且将特性半径Δ定义为
Figure BDA0003556228270000071
此外，考虑具有在与B’相同位置上的中心的矩形B，还有与Δ成比例的宽度W和高度H(即，对于一些常数α和β，W＝α*Δ，H＝β*Δ)。由此，矩形B对于尺度和眼睛位置是共变的，并且具有边长比α:β。
用根据预测器的预测移位的像素的颜色分量取代眼睛区域中的每个像素的颜色分量；
在确定围绕眼睛的边界矩形405(图4)之后，改变像素的颜色分量以用于重定向目光。该方法的给定步骤是借助于通过使用预测器404(图4)的机器学习来实现的。作为匹配输入图像和学习集合中的图像的矩形中的像素的结果，在(x,y)像素坐标处获得二维(2-D)位移矢量(u(x,y),v(x,y))。通过公式O(x,y)＝I(x+u(x,y),y+v(x,y))来计算输出图像中的像素O(x,y)的最终值。由此，对于围绕眼睛的边界矩形405(图4)的每个像素获得一组二维偏移矢量406(图4)。
更详细地说(图2)，预测器(在这种情况下是决策树)将每个像素(x,y)与学习数据进行匹配，由此确定偏移。当像素被传递通过给定树时，它顺序地经过两种类型的测试。在随机化决策树的每个非叶节点中，确定应用于像素的测试的类型。第一类型的测试(外观测试)是由通道{R；G；B}中的一个中的偏移(dx,dy)以及阈值τ确定的，并且在该测试的帧内，该颜色通道中的像素的两个值的差值被如下与阈值进行比较。
Figure BDA0003556228270000072
第二类型的测试(用于像素相对于特征点的位置的测试)是由特征点的数量i∈{1,...N}和阈值τ确定的，并且在该测试的帧内，x-fi或y-gi被如下与阈值τ进行比较：
Figure BDA0003556228270000081
或
Figure BDA0003556228270000082
每个叶子包含未规一化的偏移误差分布，该分布被作为相容性图引用。在相容性卡片的每个像素中，总结了输出图像中的像素的真实颜色分量和输入图像中的就(u,v)移位的像素的颜色分量之间的差值。如果该差值足够小，则可以用输入图像中的就(u,v)移位后的像素来接近输出图像中的像素。
所应用的测试的总数取决于决策树的深度，并且当前应用的测试的类型取决于我们此刻所在的节点类型。
为了提高校正精度，可以应用一组几个独立被学习的决策树。对于给定像素，每个树预测相容性图(其被记录在树的对应叶子中)。然后将来自不同树的相容性图加在一起，这使得可以更精确地估计对于给定类型的像素典型的相容性图。对于聚合的相容性图，选择对于给定类型的像素最相容的移位(作为图上的最小值的位置)。该值(u,v)被用来进行恢复O(x,y)＝I(x+u(x,y),y+v(x,y))时的运算。
本详述说明书是通过呈现没有限制性和穷举性特征的各种实施方案来撰写的。同时，对于本领域技术人员，显见的是，在本发明的范围内，这里所公开的(还有部分地公开地)任何实施方案的各种取代、修改或组合可以被再现。由此，意图是且清楚的是，本发明的目前的说明书包括实施方案的其本质在这里未以明确表达的形式陈述的另外的替换方案。参照这里给出的并且没有限制性特征的实施方案，这样的实施方案可以在例如任何动作、部件、装置、性质、方面、性能、约束等的组合、修改或转换的结果中被获得。
参考文献
1.X.Xiong和F.De la Torre.Supervised descent method and itsapplications to face alignment(受监控下降方法及其对人脸对其的应用).ComputerVision and Pattern Recognition(CVPR),2013IEEE Conference，第532-539页，2013年IEEE。
2.B.A.Smith、Q.Yin、S.K.Feiner和S.K.Nayar.Gaze locking:passive eyecontact detection for human-object interaction(目光锁定：针对人类对象交互的被动眼睛接触检测).Proceeding of the 26th annual ACM symposium on User interfacesoftware and technology,第271-280页，2013年ACM。
3.S.Ren、X.Cao、Y.Wei和J.S.0001.Face alignment at 3000fps viaregressing local binary feature(经由回归本地二进制特征的在3000fps的人脸对齐).CVPR,第1685-1692页，2014年。

Claims (20)

1.一种用于计算装置上的图像增强的方法，所述方法包括：
接收描绘人脸的数字输入图像；
经由目光调整机器学习模型通过改变所述人脸上眼睛的目光方向从所述数字输入图像生成经目光调整的图像，其中所述目光调整机器学习模型包括基于多个学习图像对的预测器，所述多个学习图像对不同之处在于目光方向；以及
输出所述经目光调整的图像。
2.如权利要求1所述的方法，其中所述预测器是单层或多层神经网络。
3.如权利要求1所述的方法，其中所述预测器是至少一个决策树或决策树集合。
4.如权利要求1所述的方法，其中所述学习图像对之间的目光方向相差在5至20度的范围内的角度。
5.如权利要求1所述的方法，其中所述预测器生成取决于涉及眼睛的多个特性点的像素位置的固定位移矢量。
6.如权利要求1所述的方法，其中所述预测器基于包含同一人的视图的多个学习图像对。
7.如权利要求1所述的方法，其中对于所有的学习图像对，学习对中的每个图像中的目光方向的差异是相同的。
8.如权利要求1所述的方法，其中所述方法还包括从存储所述预测器的信息介质加载所述预测器，所述信息介质包括下列中的一者：硬盘、固态驱动器、闪存、光学盘、混合驱动器、随机存取存储器(RAM)、远程计算机系统和远程数据存储。
9.如权利要求1所述的方法，其中生成经目光调整的图像的步骤包含识别所述数字输入图像中的多个界标。
10.如权利要求9所述的方法，其中所述生成经目光调整的图像的步骤还包含基于所述多个界标生成二维位移矢量场，所述二维位移矢量场针对所述数字输入图像中的一个或更多个像素中的每个像素指示所述像素的位移矢量，以及根据所述二维位移矢量场，通过使所述数字输入图像中的所述一个或更多个像素移位来生成所述经目光调整的图像。
11.如权利要求1所述的方法，其中所述预测器通过下列步骤获得：
获得多个学习图像对，所述多个学习图像对在每个图像对中包含同一人的视图，所述学习图像对不同之处在于目光方向，并且其中对于所述学习图像对，学习对中的每个图像中的目光方向的差异是相同的；
确定所述学习图像对中的每个中的眼睛的位置；以及
根据所述预测器的预测，通过将对中的第一图像的每个像素的颜色分量取代成所述对中的所述第一图像的另一像素的颜色分量来确定用于对每个学习图像对产生调整位移矢量场的预测器，从而得到类似于所述对中的第二图像的图像。
12.如权利要求1所述的方法，其中所述数字输入图像是包含多个帧的视频流中的一个帧。
13.一种计算装置，所述计算装置包括：
逻辑机器；以及
存储机器，所述存储机器保存可由所述逻辑机器执行的指令，以便：
接收描绘人眼的数字输入图像；
经由目光调整机器学习模型通过改变所述人眼的表观目光方向从所述数字输入图像生成经目光调整的图像，其中所述目光调整机器学习模型包括基于多个学习图像对的预测器，所述多个学习图像对不同之处在于目光方向；以及
输出所述经目光调整的图像。
14.如权利要求13所述的计算装置，其中生成经目光调整的图像的步骤包含基于所述数字输入图像中识别的多个界标生成二维位移矢量场，所述二维位移矢量场针对所述数字输入图像中的一个或更多个像素中的每个像素指示所述像素的位移矢量，以及根据所述二维位移矢量场，通过使所述数字输入图像中的所述一个或更多个像素移位来生成所述经目光调整的图像。
15.一种用于计算装置上的图像增强的方法，所述方法包括：
加载预测器，所述预测器基于包含同一人的视图的多个学习图像对；
接收具有人的脸至少一个帧；
确定所述人的眼睛在所述图像中的位置，并且形成紧密包围所述眼睛的两个矩形眼睛区域；以及
将所述矩形眼睛区域中的每个像素的颜色分量取代成根据所述预测器的基于机器学习的预测的像素的颜色分量。
16.如权利要求15所述的方法，其中对于所有的学习图像对，学习对中的每个图像中的目光方向的差异是相同的。
17.如权利要求15所述的方法，其中对于所有的学习图像对，学习对中的每个图像中的目光方向的差异在5至20度的范围内。
18.如权利要求15所述的方法，其中所述预测器是单层或多层神经网络。
19.如权利要求15所述的方法，其中所述预测器是至少一个决策树或决策树集合。
20.如权利要求15所述的方法，其中所述至少一个帧来自包含多个帧的视频流。
CN202210276561.9A 2015-03-20 2016-03-03 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法 Pending CN114863544A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
RU2015109868 2015-03-20
RU2015109868/14A RU2596062C1 (ru) 2015-03-20 2015-03-20 Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
CN201680028919.9A CN107646112B (zh) 2015-03-20 2016-03-03 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法
PCT/RU2016/000118 WO2016153389A1 (en) 2015-03-20 2016-03-03 Method for correction of the eyes image using machine learning and method for machine learning

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680028919.9A Division CN107646112B (zh) 2015-03-20 2016-03-03 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法

Publications (1)

Publication Number Publication Date
CN114863544A true CN114863544A (zh) 2022-08-05

Family

ID=56101778

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680028919.9A Active CN107646112B (zh) 2015-03-20 2016-03-03 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法
CN202210276561.9A Pending CN114863544A (zh) 2015-03-20 2016-03-03 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680028919.9A Active CN107646112B (zh) 2015-03-20 2016-03-03 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法

Country Status (5)

Country Link
US (2) US10891478B2 (zh)
EP (1) EP3271866A1 (zh)
CN (2) CN107646112B (zh)
RU (1) RU2596062C1 (zh)
WO (1) WO2016153389A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10388002B2 (en) * 2017-12-27 2019-08-20 Facebook, Inc. Automatic image correction using machine learning
US11347308B2 (en) * 2019-07-26 2022-05-31 Samsung Electronics Co., Ltd. Method and apparatus with gaze tracking
CN111339928B (zh) * 2020-02-25 2022-06-28 苏州科达科技股份有限公司 眼神调节方法、装置及存储介质
US20240164640A1 (en) * 2020-05-21 2024-05-23 Baruch SCHLER Methods for remote visual identification of heart conditions
CN112677981B (zh) * 2021-01-08 2022-06-07 浙江三一装备有限公司 用于作业机械安全驾驶的智能辅助方法及装置
CN112733794B (zh) * 2021-01-22 2021-10-15 腾讯科技（深圳）有限公司 人脸图像的视线矫正方法、装置、设备及存储介质
CN112733797B (zh) * 2021-01-22 2021-10-08 腾讯科技（深圳）有限公司 人脸图像的视线矫正方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930543A (zh) * 2010-08-27 2010-12-29 南京大学 一种自拍视频中眼睛图像的调正方法
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US20130070046A1 (en) * 2010-05-26 2013-03-21 Ramot At Tel-Aviv University Ltd. Method and system for correcting gaze offset
CN103310186A (zh) * 2012-02-29 2013-09-18 三星电子株式会社 校正图像中用户的注视方向的方法和便携式终端
US20140016871A1 (en) * 2012-07-13 2014-01-16 Postech Academy-Industry Method for correcting user's gaze direction in image, machine-readable storage medium and communication terminal
CN104063709A (zh) * 2013-03-22 2014-09-24 佳能株式会社 视线检测装置及方法、图像捕获装置及其控制方法
US20180035886A1 (en) * 2015-02-27 2018-02-08 Valorisation-Recherche, Limited Partnership Method of and system for processing signals sensed from a user

Family Cites Families (442)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1128979A (en) 1912-06-01 1915-02-16 Walter Hess Stereoscopic picture.
US1970311A (en) 1931-02-14 1934-08-14 Bell Telephone Labor Inc Projection of images for viewing in stereoscopic relief
US2133121A (en) 1936-04-02 1938-10-11 Richard I Stearns Stereoscopic screen and method stereoscopic vision
US2247969A (en) 1937-12-31 1941-07-01 Adlake Co Edge glow lighting system
US2480178A (en) 1946-05-08 1949-08-30 Ivan H Zinberg Light conductor
US2810905A (en) 1949-08-23 1957-10-22 Sperry Rand Corp High frequency directive beam apparatus
US3409351A (en) 1966-02-07 1968-11-05 Douglas F. Winnek Composite stereography
DE2011417A1 (de) 1970-03-11 1971-09-23 Agfa Gevaert Ag Projektionsschirm für Projektion mit dreidimensionalem Eindruck
US3992841A (en) 1974-08-30 1976-11-23 Ward Jr Robertson Panel construction and projection screen constructed from such panels
US4528617A (en) 1982-02-08 1985-07-09 Sheltered Workshop For The Disabled, Inc. Light distribution apparatus
US4542958A (en) 1983-01-13 1985-09-24 Vasco, Ltd. Variable aspect display
JPS6134583A (ja) 1984-07-26 1986-02-18 シャープ株式会社 照明装置
US4829365A (en) 1986-03-07 1989-05-09 Dimension Technologies, Inc. Autostereoscopic display with illuminating lines, light valve and mask
US4804253A (en) 1986-05-15 1989-02-14 General Electric Company Lenticular filter for display devices
US4807978A (en) 1987-09-10 1989-02-28 Hughes Aircraft Company Color display device and method using holographic lenses
US5050946A (en) 1990-09-27 1991-09-24 Compaq Computer Corporation Faceted light pipe
DE4102895C1 (zh) * 1991-01-31 1992-01-30 Siemens Ag, 8000 Muenchen, De
US6392689B1 (en) 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
JP2566087B2 (ja) 1992-01-27 1996-12-25 株式会社東芝 有色マイクロレンズアレイ及びその製造方法
JP2746790B2 (ja) 1992-03-02 1998-05-06 富士写真フイルム株式会社 立体画像記録方法および立体画像記録装置
US6002829A (en) 1992-03-23 1999-12-14 Minnesota Mining And Manufacturing Company Luminaire device
US5528720A (en) 1992-03-23 1996-06-18 Minnesota Mining And Manufacturing Co. Tapered multilayer luminaire devices
JPH05289208A (ja) 1992-04-15 1993-11-05 Fuji Photo Film Co Ltd 立体画像記録方法および立体画像記録装置
US5459592A (en) 1992-04-24 1995-10-17 Sharp Kabushiki Kaisha Projection display system including a collimating tapered waveguide or lens with the normal to optical axis angle increasing toward the lens center
US5278608A (en) 1992-05-19 1994-01-11 Eastman Kodak Company Electronically printed depth photography system with improved viewing range
US5903388A (en) 1992-06-11 1999-05-11 Sedlmayr Steven R High efficiency electromagnetic beam projector and systems and method for implementation thereof
US5347644A (en) 1992-06-11 1994-09-13 Sedlmayr Steven R Three-dimensional image display device and systems and methods for implementation thereof
DE69328371D1 (de) 1992-09-09 2000-05-18 Jesse B Eichenlaub Stroboskopisches beleuchtungssystem für videoanzeigen
US5896225A (en) 1993-05-24 1999-04-20 Deutsche Thomson Brandt Gmbh Device for stereoscopic image observation within an increased observation area
US5796451A (en) 1993-10-23 1998-08-18 Samsung Display Devices Co., Ltd. Liquid crystal cell with an external color filter
GB2284068A (en) 1993-11-12 1995-05-24 Sharp Kk Three-dimensional projection display apparatus
US5581402A (en) 1993-11-22 1996-12-03 Eastman Kodak Company Method for producing an improved stereoscopic picture and stereoscopic picture obtained according to this method
GB2294350A (en) 1994-10-21 1996-04-24 Sharp Kk Light source and display
EP0656555B1 (en) 1993-12-01 2003-03-19 Sharp Kabushiki Kaisha Display for 3D images
WO1995017692A1 (en) 1993-12-21 1995-06-29 Minnesota Mining And Manufacturing Company Reflective polarizer with brightness enhancement
JPH09508476A (ja) 1994-01-31 1997-08-26 エス・ディー・エル・インコーポレイテッド レーザ照明ディスプレイシステム
US5510831A (en) 1994-02-10 1996-04-23 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using suit scanning of parallax images
US5588526A (en) 1994-04-01 1996-12-31 Insight, Inc. Flat box system with multiple view optics
EP0760962B1 (en) 1994-04-11 2002-10-02 Minnesota Mining And Manufacturing Company Tapered multilayer luminaire device
US5933276A (en) 1994-04-13 1999-08-03 Board Of Trustees, University Of Arkansas, N.A. Aberration-free directional image window sheet
US5575549A (en) 1994-08-12 1996-11-19 Enplas Corporation Surface light source device
US6184969B1 (en) 1994-10-25 2001-02-06 James L. Fergason Optical display system and method, active and passive dithering using birefringence, color image superpositioning and display enhancement
GB2296617A (en) 1994-12-29 1996-07-03 Sharp Kk Observer tracking autosteroscopic display
GB2297876A (en) 1995-02-09 1996-08-14 Sharp Kk Observer tracking autostereoscopic display
JP3459721B2 (ja) 1995-05-22 2003-10-27 キヤノン株式会社 立体画像表示方法及びそれを用いた立体画像表示装置
JPH0915532A (ja) 1995-06-29 1997-01-17 Canon Inc 立体画像表示方法及びそれを用いた立体画像表示装置
US6023315A (en) 1995-07-04 2000-02-08 Sharp Kabushiki Kaisha Spatial light modulator and directional display
GB9513658D0 (en) 1995-07-05 1995-09-06 Philips Electronics Uk Ltd Autostereoscopic display apparatus
JP3286138B2 (ja) 1995-08-03 2002-05-27 日東電工株式会社 導光板、面光源装置、偏光光源装置及び液晶表示装置
US6061179A (en) 1996-01-23 2000-05-09 Canon Kabushiki Kaisha Stereoscopic image display apparatus with two-/three-dimensional image display switching function
DE69735736T2 (de) 1996-01-31 2006-11-02 Canon K.K. Stereoskopische Bilddarstellungsvorrichtung mit verbreitertem Beobachtungsfeld
US6064424A (en) 1996-02-23 2000-05-16 U.S. Philips Corporation Autostereoscopic display apparatus
US5956001A (en) 1996-03-15 1999-09-21 Sharp Kabushiki Kaisha Image display device
IT1285368B1 (it) 1996-05-27 1998-06-03 Fiat Ricerche Dispositivo a microfiltri e microchopper per la selezione dinamica di colori ed immagini.
JP2865618B2 (ja) 1996-05-31 1999-03-08 嶋田プレシジョン株式会社 導光板および導光板アセンブリ
GB2320156A (en) 1996-12-07 1998-06-10 Sharp Kk Directional display and method of making a mask for a directional display
GB9618593D0 (en) 1996-09-06 1996-10-16 Central Research Lab Ltd Apparatus for displaying an image
GB2321815A (en) 1997-02-04 1998-08-05 Sharp Kk Autostereoscopic display with viewer position indicator
GB2317291A (en) 1996-09-12 1998-03-18 Sharp Kk Observer tracking directional display
DE19638081A1 (de) 1996-09-19 1998-03-26 Hella Kg Hueck & Co Leuchte für Fahrzeuge
GB2317710A (en) 1996-09-27 1998-04-01 Sharp Kk Spatial light modulator and directional display
GB2317771A (en) 1996-09-27 1998-04-01 Sharp Kk Observer tracking directional display
JP3397602B2 (ja) 1996-11-11 2003-04-21 富士通株式会社 画像表示装置及び方法
GB9623682D0 (en) 1996-11-14 1997-01-08 Philips Electronics Nv Autostereoscopic display apparatus
US5771066A (en) 1997-01-03 1998-06-23 Barnea; Daniel I. Three dimensional display device
JP3441911B2 (ja) 1997-02-20 2003-09-02 キヤノン株式会社 情報処理装置及び方法
US6283858B1 (en) 1997-02-25 2001-09-04 Bgk International Incorporated Method for manipulating images
CA2284915C (en) 1997-03-27 2005-08-23 Litton Systems, Inc. Autostereoscopic projection system
GB2324428A (en) 1997-04-17 1998-10-21 Sharp Kk Image tracking; observer tracking stereoscopic display
TWI269250B (en) 1997-06-12 2006-12-21 Sharp Kk Liquid crystal display device
GB9715397D0 (en) 1997-07-23 1997-09-24 Philips Electronics Nv Lenticular screen adaptor
DE19737449A1 (de) 1997-08-22 1999-02-25 Hertz Inst Heinrich Vorrichtung zum Nachführen eines autostereoskopischen Flachbildschirms
JP3199313B2 (ja) 1997-11-10 2001-08-20 キヤノン株式会社 反射型液晶表示装置及びそれを用いた投射型液晶表示装置
US6295109B1 (en) 1997-12-26 2001-09-25 Sharp Kabushiki Kaisha LCD with plurality of pixels having reflective and transmissive regions
US7239293B2 (en) 1998-01-21 2007-07-03 New York University Autostereoscopic display
JP3642381B2 (ja) 1998-02-26 2005-04-27 日東電工株式会社 導光板、面光源装置及び反射型液晶表示装置
JPH11259007A (ja) 1998-03-10 1999-09-24 Sony Corp 反射型表示装置
US20040108971A1 (en) 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
BR9909611B1 (pt) 1998-04-13 2012-08-07 mÉtodo e aparelho para detectar caracterÍsticas faciais em uma sequÊncia de quadros de imagem compreendendo uma imagem de um rosto.
US7116323B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
DE19827590C2 (de) 1998-06-20 2001-05-03 Christoph Grosmann Verfahren und Vorrichtung zur Autostereoskopie
JP3862422B2 (ja) 1998-07-10 2006-12-27 キヤノン株式会社 画像読取装置
US6456340B1 (en) 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
US6476850B1 (en) 1998-10-09 2002-11-05 Kenneth Erbey Apparatus for the generation of a stereoscopic display
US6816158B1 (en) 1998-10-30 2004-11-09 Lemelson Jerome H Three-dimensional display system
US6642984B1 (en) 1998-12-08 2003-11-04 Fujitsu Display Technologies Corporation Liquid crystal display apparatus having wide transparent electrode and stripe electrodes
GB9828287D0 (en) 1998-12-23 1999-02-17 Secr Defence Brit Image display system
US6256447B1 (en) 1998-12-31 2001-07-03 Physical Optics Corporation Backlight for correcting diagonal line distortion
US7088333B1 (en) 1999-03-12 2006-08-08 Matsushita Electric Industrial Co., Ltd. Surface lighting device and portable terminal using the same
DE69934478T2 (de) 1999-03-19 2007-09-27 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen
US6464365B1 (en) 1999-07-23 2002-10-15 Bae Systems Information And Electronic Systems Integration Inc. Light collimator for liquid crystal displays
US6305813B1 (en) 1999-08-11 2001-10-23 North American Lighting, Inc. Display device using a light guide for exterior automotive lighting
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
US6859240B1 (en) 2000-01-27 2005-02-22 Mems Optical Inc. Autostereoscopic display
CA2384825C (en) 1999-10-08 2006-05-30 3M Innovative Properties Company Display illumination device and method of enhancing brightness in a display illumination device
JP3457591B2 (ja) 1999-10-08 2003-10-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 液晶表示装置
KR100307854B1 (ko) 1999-11-10 2001-11-02 전병우 단일카메라를 이용한 시선 맞춤 보정 방법 및 그 장치
US6975755B1 (en) 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
GB0003311D0 (en) 2000-02-15 2000-04-05 Koninkl Philips Electronics Nv Autostereoscopic display driver
US6347874B1 (en) 2000-02-16 2002-02-19 3M Innovative Properties Company Wedge light extractor with risers
HU0000752D0 (en) 2000-02-21 2000-04-28 Pixel element for three-dimensional screen
US7657083B2 (en) 2000-03-08 2010-02-02 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US7051189B2 (en) 2000-03-15 2006-05-23 Arc International Method and apparatus for processor code optimization using code compression
EP1272873A2 (en) 2000-03-17 2003-01-08 Zograph, LLC High acuity lens system
US6806898B1 (en) 2000-03-20 2004-10-19 Microsoft Corp. System and method for automatically adjusting gaze and head orientation for video conferencing
JP3968742B2 (ja) 2000-03-30 2007-08-29 株式会社エンプラス 導光板、面光源装置及び表示装置
US6975455B1 (en) 2000-04-18 2005-12-13 3M Innovative Properties Company Transflective layer for displays
JP4412441B2 (ja) 2000-07-11 2010-02-10 日本電気株式会社 液晶表示装置
US6373637B1 (en) 2000-09-13 2002-04-16 Eastman Kodak Company Diagonal lenticular image system
US6422713B1 (en) 2000-10-17 2002-07-23 Ford Global Technologies, Inc. Thin-sheet collimation optics for diode laser illumination systems for use in night vision and exterior lighting applications
GB0029340D0 (en) 2000-11-30 2001-01-17 Cambridge 3D Display Ltd Flat panel camera
JP3845060B2 (ja) 2000-12-18 2006-11-15 ビョンホ リ 反射型立体ディスプレイシステム
GB0108838D0 (en) 2001-04-07 2001-05-30 Cambridge 3D Display Ltd Far field display
US7001058B2 (en) 2001-05-16 2006-02-21 Ben-Zion Inditsky Ultra-thin backlight
CN1276298C (zh) 2001-06-01 2006-09-20 皇家菲利浦电子有限公司 小型照明系统及显示装置
AU2002354681A1 (en) 2001-07-13 2003-01-29 Mems Optical, Inc. Autosteroscopic display with rotated microlens-array and method of displaying multidimensional images, especially color images
GB0118866D0 (en) 2001-08-02 2001-09-26 Cambridge 3D Display Ltd Shaped taper flat panel display
GB0119176D0 (en) 2001-08-06 2001-09-26 Ocuity Ltd Optical switching apparatus
US20030112508A1 (en) 2001-08-17 2003-06-19 Byoungyi Yoon Method and system for controlling space magnification for stereoscopic images
DE60124961T2 (de) 2001-09-25 2007-07-26 Cambridge Flat Projection Displays Ltd., Fenstanton Flachtafel-Projektionsanzeige
KR100403599B1 (ko) 2001-11-06 2003-10-30 삼성전자주식회사 조명계 및 이를 채용한 프로젝션 시스템
US7365908B2 (en) 2001-11-08 2008-04-29 Eugene Dolgoff Tiling of panels for multiple-image displays
TW594119B (en) 2001-12-21 2004-06-21 Au Optronics Corp Backlight module for thin film transistor liquid crystal display
JP2003207743A (ja) 2002-01-16 2003-07-25 Olympus Optical Co Ltd 立体観察装置
JP3980890B2 (ja) 2002-01-23 2007-09-26 シャープ株式会社 導光板並びにそれを備えた光源装置及び表示装置
WO2003065083A1 (fr) 2002-01-31 2003-08-07 Mitsubishi Rayon Co., Ltd. Element de deflexion de rayonnement lumineux et appareil de source lumineuse l'utilisant
JP2003262734A (ja) 2002-03-08 2003-09-19 Citizen Electronics Co Ltd 導光板
JP4348457B2 (ja) 2002-03-13 2009-10-21 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジのディスプレイ、ディスプレイコントローラ及び画像表示方法
JP3867597B2 (ja) 2002-03-19 2007-01-10 セイコーエプソン株式会社 電気光学装置並びに電子機器及び投射型表示装置
CN1306295C (zh) 2002-03-28 2007-03-21 皇家飞利浦电子股份有限公司 紧凑型照明系统及显示器件
US6771303B2 (en) 2002-04-23 2004-08-03 Microsoft Corporation Video-teleconferencing system with eye-gaze correction
US7515173B2 (en) 2002-05-23 2009-04-07 Microsoft Corporation Head pose tracking system
US20040046709A1 (en) 2002-09-05 2004-03-11 Kazutora Yoshino 3 Dimensional image projector and holodeck
KR100513718B1 (ko) 2002-06-20 2005-09-07 삼성전자주식회사 평판표시소자용 조명장치
US9955551B2 (en) 2002-07-12 2018-04-24 Yechezkal Evan Spero Detector controlled illuminating system
US6919892B1 (en) 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
JP3969252B2 (ja) 2002-08-27 2007-09-05 日本電気株式会社 立体画像平面画像切換表示装置及び携帯端末装置
JP2004095390A (ja) 2002-08-30 2004-03-25 Fujitsu Display Technologies Corp 照明装置及び表示装置
GB2393344A (en) 2002-09-17 2004-03-24 Sharp Kk Autostereoscopic display
CN100376924C (zh) 2002-09-19 2008-03-26 三菱电机株式会社 显示装置和具有该显示装置的电子设备
CN1219397C (zh) * 2002-10-22 2005-09-14 张晓林 仿生型自动视觉和视线控制系统及方法
JP4398141B2 (ja) 2002-10-31 2010-01-13 パイオニア株式会社 表示装置及び方法
KR100499133B1 (ko) 2002-11-04 2005-07-04 삼성전자주식회사 백라이트 유닛
US20040263969A1 (en) 2002-11-25 2004-12-30 Lenny Lipton Lenticular antireflection display
US6811274B2 (en) 2002-12-04 2004-11-02 General Electric Company Polarization sensitive optical substrate
US7125131B2 (en) 2002-12-06 2006-10-24 General Electric Company Brightness enhancement film with improved view angle
KR20050102119A (ko) 2003-02-21 2005-10-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 자동입체 디스플레이
JP4143444B2 (ja) 2003-03-07 2008-09-03 キヤノン株式会社 照明光学系
JP3961973B2 (ja) 2003-03-14 2007-08-22 富士通株式会社 Ｏｔｄｒによる測定方法及び端局装置
EP1614299A1 (en) 2003-04-16 2006-01-11 Upstream Engineering Oy 2d/3d data projector
IL155525A0 (en) 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
US7245430B2 (en) 2003-04-21 2007-07-17 Ricoh Company, Ltd. Method and apparatus for displaying three-dimensional stereo image using light deflector
US7976169B2 (en) 2003-05-14 2011-07-12 Sun Innovations, Inc. Waveguide display
GB0313044D0 (en) 2003-06-06 2003-07-09 Cambridge Flat Projection Flat panel scanning illuminator
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
GB2403815A (en) 2003-07-10 2005-01-12 Ocuity Ltd Birefringent lens array structure
GB2403814A (en) 2003-07-10 2005-01-12 Ocuity Ltd Directional display apparatus with birefringent lens structure
CN1228625C (zh) * 2003-07-11 2005-11-23 华东理工大学 一种基于模块化组合神经网络的机器嗅觉气味识别方法
WO2005008322A1 (ja) 2003-07-23 2005-01-27 Sharp Kabushiki Kaisha 液晶表示装置
GB2405542A (en) 2003-08-30 2005-03-02 Sharp Kk Multiple view directional display having display layer and parallax optic sandwiched between substrates.
KR20060065731A (ko) 2003-09-22 2006-06-14 진 돌고프 전방향 렌티큘라와 배리어-그리드 영상 디스플레이 및 그제조방법
GB2406730A (en) 2003-09-30 2005-04-06 Ocuity Ltd Directional display.
IL165376A0 (en) 2003-12-02 2006-01-15 Electro Optics Ind Ltd Vehicle display system
US7052168B2 (en) 2003-12-17 2006-05-30 3M Innovative Properties Company Illumination device
DE10359403B4 (de) 2003-12-18 2005-12-15 Seereal Technologies Gmbh Autostereoskopisches Multi-User-Display
JP4408368B2 (ja) 2003-12-24 2010-02-03 株式会社 日立ディスプレイズ 表示装置および表示方法およびこれらを用いる機器
EP1736702A4 (en) 2004-01-15 2007-03-07 Hitachi Chemical Co Ltd REFLECTOR AND DEVICE FOR LIGHT PANEL
GB2410116A (en) 2004-01-17 2005-07-20 Sharp Kk Illumination system and display device
JP4845893B2 (ja) 2004-01-20 2011-12-28 シャープ株式会社 方向性バックライトおよびマルチビューディスプレイデバイス
EP1710746A1 (en) 2004-01-30 2006-10-11 Digital Fashion Ltd. Makeup simulation program, makeup simulation device, and makeup simulation method
WO2005078514A1 (ja) 2004-02-13 2005-08-25 Mitsubishi Denki Kabushiki Kaisha 液晶表示装置及び情報機器
US7826668B1 (en) 2004-02-17 2010-11-02 Corel Corporation Adaptive region editing tool
US8094927B2 (en) 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
US6962415B2 (en) 2004-02-27 2005-11-08 Honeywell International Inc. Electro-optical dimming system
US7375886B2 (en) 2004-04-19 2008-05-20 Stereographics Corporation Method and apparatus for optimizing the viewing distance of a lenticular stereogram
JP4616577B2 (ja) 2004-04-22 2011-01-19 株式会社日立製作所 映像表示装置
JP2005321693A (ja) 2004-05-11 2005-11-17 Hitachi Displays Ltd 液晶表示装置
GB2414127A (en) 2004-05-12 2005-11-16 Sharp Kk Time sequential colour projection
US7463775B1 (en) 2004-05-18 2008-12-09 Adobe Systems Incorporated Estimating compressed storage size of digital data
TWI254166B (en) 2004-05-25 2006-05-01 Au Optronics Corp 3D display system and method
JP4367258B2 (ja) 2004-06-18 2009-11-18 日本電気株式会社 入出力装置及び端末装置
WO2006023046A1 (en) 2004-06-21 2006-03-02 Nevengineering, Inc. Single image based multi-biometric system and method
JP3908241B2 (ja) 2004-06-24 2007-04-25 オリンパス株式会社 映像表示装置
US7204631B2 (en) 2004-06-30 2007-04-17 3M Innovative Properties Company Phosphor based illumination system having a plurality of light guides and an interference reflector
US7088488B2 (en) 2004-07-13 2006-08-08 Imation Corp. Spatial light modulator device with diffusive element
US7215391B2 (en) 2004-07-16 2007-05-08 United Microelectronics Corp. Liquid crystal on silicon display with micro color filters positioned on the top surface of the transparent substrate
WO2006031545A1 (en) 2004-09-09 2006-03-23 Fusion Optix, Inc. Enhanced lcd backlight
US20080128728A1 (en) 2004-09-10 2008-06-05 Luminus Devices, Inc. Polarized light-emitting devices and methods
US7227567B1 (en) 2004-09-14 2007-06-05 Avaya Technology Corp. Customizable background for video communications
JP4290734B2 (ja) 2004-09-17 2009-07-08 シャープ株式会社 表示装置および視野角制御装置、電子機器
GB2418315A (en) 2004-09-21 2006-03-22 Sharp Kk Multiple view display
JP4186918B2 (ja) 2004-12-01 2008-11-26 セイコーエプソン株式会社 画像表示装置
DE102004059729B3 (de) 2004-12-11 2006-04-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autostereoskopischen Erzeugung von dreidimensionalen Bildinformationen aus gerasterten Subpixelauszügen und Anordnung zur Verfahrensdurchführung
US20060139447A1 (en) 2004-12-23 2006-06-29 Unkrich Mark A Eye detection system and method for control of a three-dimensional display
DE102004063838A1 (de) 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
GB0502453D0 (en) 2005-02-05 2005-03-16 Cambridge Flat Projection Flat panel lens
US7355800B2 (en) 2005-02-07 2008-04-08 Coherent, Inc. Apparatus for projecting a line of light from a diode-laser array
JP5058967B2 (ja) 2005-03-17 2012-10-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 裸眼立体視ディスプレイ装置およびそのためのカラー・フィルタ
JP4600317B2 (ja) 2005-03-31 2010-12-15 カシオ計算機株式会社 指向性を持った少なくとも２つの照明光を出射する照明装置及びそれを用いた表示装置
US20070115551A1 (en) 2005-04-01 2007-05-24 Alexis Spilman Space-variant waveplate for polarization conversion, methods and applications
JP5090337B2 (ja) 2005-04-08 2012-12-05 リアルディー インコーポレイテッド 平面パススルーを有する自動立体ディスプレイ
WO2006118784A2 (en) 2005-04-20 2006-11-09 Wavefront Technology, Inc. Elliptical diffusers used in displays
US8675125B2 (en) 2005-04-27 2014-03-18 Parellel Consulting Limited Liability Company Minimized-thickness angular scanner of electromagnetic radiation
US7188953B2 (en) 2005-05-03 2007-03-13 Eastman Kodak Company Display apparatus using LCD panel
TWI351588B (en) 2005-05-06 2011-11-01 Seereal Technologies Gmbh Device for holographic reconstructions of three-di
GB2426351A (en) 2005-05-19 2006-11-22 Sharp Kk A dual view display
TW200641416A (en) 2005-05-31 2006-12-01 Bright View Electronics Co Ltd A lighting device providing longitudinal illumination
KR100650191B1 (ko) 2005-05-31 2006-11-27 삼성전기주식회사 정전기 방전 충격에 대한 보호 기능이 내장된 고휘도 발광다이오드
US7404645B2 (en) 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
JP4741887B2 (ja) 2005-06-24 2011-08-10 Ｎｅｃ液晶テクノロジー株式会社 光源装置、表示装置及び端末装置
KR100813977B1 (ko) 2005-07-08 2008-03-14 삼성전자주식회사 2차원/3차원 영상 호환용 고해상도 입체 영상 디스플레이장치
GB2428345A (en) 2005-07-13 2007-01-24 Sharp Kk A display having multiple view and single view modes
CN100376970C (zh) 2005-07-20 2008-03-26 清华大学 导光板与背光模组
CN101228391B (zh) 2005-07-28 2010-09-29 光处方革新有限公司 用于背光源和前灯的聚光本领-保持的照明光学器件
KR101128519B1 (ko) 2005-08-04 2012-03-27 삼성전자주식회사 고해상도 오토스테레오스코픽 디스플레이
CN1908753A (zh) 2005-08-05 2007-02-07 鸿富锦精密工业（深圳）有限公司 偏振光转换器、其制造方法及背光模组
JP3872810B1 (ja) 2005-08-12 2007-01-24 シャープ株式会社 光源制御装置、照明装置及び液晶表示装置
JP2009507256A (ja) 2005-09-02 2009-02-19 カラーリンク・インコーポレイテッド 偏光ビームスプリッタ及びコンバイナ
JP4626467B2 (ja) 2005-09-29 2011-02-09 カシオ計算機株式会社 液晶表示装置
US7663712B2 (en) 2005-10-10 2010-02-16 Skc Haas Display Films Co., Ltd. Backlight unit with linearly reduced divergence having the width of an output aperture vary over the length of a light divergence reduction structure
US7378686B2 (en) 2005-10-18 2008-05-27 Goldeneye, Inc. Light emitting diode and side emitting lens
EP1949341A4 (en) 2005-11-14 2011-09-28 Real D INTEGRATED INTERDIGITATION MONITOR
JP5291469B2 (ja) 2005-12-21 2013-09-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ バックライト構造
KR20070071293A (ko) 2005-12-29 2007-07-04 엘지.필립스 엘시디 주식회사 액정표시소자 및 그 제조방법
JP4215058B2 (ja) 2006-01-19 2009-01-28 エプソンイメージングデバイス株式会社 画像表示装置及び電子機器
US7528906B2 (en) 2006-01-23 2009-05-05 Real D Achromatic polarization switches
US20100271838A1 (en) 2006-01-27 2010-10-28 Masao Yamaguchi Surface Light Source Device and Display
US7593615B2 (en) 2006-02-10 2009-09-22 Rpc Photonics, Inc. Optical devices for guiding illumination
KR100813975B1 (ko) 2006-02-27 2008-03-14 삼성전자주식회사 2차원/3차원 영상 호환용 고해상도 입체 영상 표시 장치
US20070223252A1 (en) 2006-03-24 2007-09-27 Junwon Lee Illumination apparatus and film
KR100765075B1 (ko) 2006-03-26 2007-10-09 엘지이노텍 주식회사 질화물 반도체 발광 소자 및 그 제조방법
JP4385031B2 (ja) 2006-03-31 2009-12-16 日本ライツ株式会社 導光板および平面照明装置
JP2007279474A (ja) 2006-04-10 2007-10-25 Hitachi Displays Ltd 液晶表示装置
US7751960B2 (en) 2006-04-13 2010-07-06 Gm Global Technology Operations, Inc. Driver workload-based vehicle stability enhancement control
US7524053B2 (en) 2006-05-12 2009-04-28 Real D 3-D eyewear
US7646453B2 (en) 2006-06-05 2010-01-12 Skc Haas Display Films Co., Ltd. Reflective polarizer with polarization splitting microstructure
US7876489B2 (en) 2006-06-05 2011-01-25 Pixtronix, Inc. Display apparatus with optical cavities
EP2439565A3 (en) 2006-07-21 2013-04-10 Fujifilm Corporation Unitary light guide plate, light guide plate unit, planar lighting device and liquid crystal display device
KR100823274B1 (ko) 2006-07-26 2008-04-17 삼성전자주식회사 조명장치 및 이를 채용한 디스플레이 장치
US8040458B2 (en) 2006-09-26 2011-10-18 Panasonic Corporation Planar illumination device and liquid crystal display device using the same
GB0619366D0 (en) 2006-10-02 2006-11-08 Cambridge Flat Projection Distortionless wedge projection
JP4197716B2 (ja) 2006-10-03 2008-12-17 株式会社東芝 立体映像表示装置
WO2008045681A1 (en) 2006-10-06 2008-04-17 3M Innovative Properties Company Backlight modules for autostereoscopic 3d display devices and scanning backlights for lcd devices
GB0620014D0 (en) 2006-10-10 2006-11-22 Cambridge Flat Projection Prismatic film backlight
CN102269831B (zh) 2006-10-27 2013-09-18 东丽株式会社 光反射板用白色聚酯膜
WO2008080996A1 (en) 2006-12-29 2008-07-10 Oy Modines Ltd Incoupling structure for lighting applications
US8199152B2 (en) 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
WO2008090643A1 (ja) 2007-01-22 2008-07-31 Sharp Kabushiki Kaisha 光源モジュール及びバックライト光源
JP4974703B2 (ja) 2007-02-21 2012-07-11 富士フイルム株式会社 面状照明装置
GB0704803D0 (en) 2007-03-13 2007-04-18 Cambridge Flat Projection Structured colour illumination of lcd's
JP4967731B2 (ja) 2007-03-15 2012-07-04 セイコーエプソン株式会社 画像表示装置及びそのための光学部材
US7798698B2 (en) 2007-03-23 2010-09-21 Victor Company Of Japan, Limited Lighting device and display device
US7806579B2 (en) 2007-03-30 2010-10-05 Honeywell International Inc. Luminaire having a two-way waveguide
RU2377623C2 (ru) 2007-04-20 2009-12-27 Василий Александрович ЕЖОВ Способ наблюдения стереоизображений с полным разрешением для каждого ракурса и устройство для его реализации
DE102008021721A1 (de) 2007-05-08 2008-11-27 Citizen Electronics Co., Ltd., Fujiyoshida-shi Optisches Bauteil, Hintergrundbeleuchtungseinheit und Anzeigevorrichtung
US7528893B2 (en) 2007-05-18 2009-05-05 3M Innovative Properties Company Backlight for liquid crystal display
US8482685B2 (en) 2007-06-05 2013-07-09 Samsung Display Co., Ltd. Liquid crystal display panel
JP4902431B2 (ja) 2007-06-07 2012-03-21 富士フイルム株式会社 面状照明装置
US20080316303A1 (en) 2007-06-08 2008-12-25 Joseph Chiu Display Device
US7618178B2 (en) 2007-06-11 2009-11-17 SKC Haas Display Films Co., Lt.d Backlight containing formed birefringence reflective polarizer
KR20090009436A (ko) 2007-07-20 2009-01-23 엘지이노텍 주식회사 엘이디 백라이트
US8331615B2 (en) 2007-08-01 2012-12-11 The Board Of Trustees Of The University Of Illinois Match, expand, and filter technique for multi-view stereopsis
JP5248062B2 (ja) 2007-08-24 2013-07-31 株式会社東芝 指向性バックライト、表示装置及び立体画像表示装置
US8087793B2 (en) 2007-10-30 2012-01-03 Edward Pakhchyan Back-light assembly
US7791683B2 (en) 2007-11-19 2010-09-07 Honeywell International Inc. Backlight systems for liquid crystal displays
US8144153B1 (en) 2007-11-20 2012-03-27 Lucasfilm Entertainment Company Ltd. Model production for animation libraries
JP4996433B2 (ja) 2007-11-27 2012-08-08 ミネベア株式会社 面状照明装置
EP2232470A4 (en) 2007-12-20 2012-04-11 Real Inc INTRA PIXEL LIGHTING SYSTEM AND METHOD
US20090168459A1 (en) 2007-12-27 2009-07-02 Qualcomm Incorporated Light guide including conjugate film
KR101421626B1 (ko) 2008-01-09 2014-07-22 삼성디스플레이 주식회사 광원 유닛, 이를 구비하는 백라이트 유닛 및 액정 표시장치
EP2233823B1 (en) 2008-01-23 2018-11-21 Panasonic Intellectual Property Management Co., Ltd. Wavelength separator, planar illumination device and liquid crystal display device using the wavelength separator
JP4902566B2 (ja) 2008-02-15 2012-03-21 シャープ株式会社 面状照明装置および表示装置
US20090231356A1 (en) 2008-03-17 2009-09-17 Photometria, Inc. Graphical user interface for selection of options from option groups and methods relating to same
US7750982B2 (en) 2008-03-19 2010-07-06 3M Innovative Properties Company Autostereoscopic display with fresnel lens element and double sided prism film adjacent a backlight having a light transmission surface with left and right eye light sources at opposing ends modulated at a rate of at least 90 hz
US8106910B2 (en) 2008-03-28 2012-01-31 Vldimir Pugach Method for correct reproduction of moving spatial images on a flat screen
CN101983352A (zh) 2008-04-03 2011-03-02 住友化学株式会社 液晶显示装置
US8684588B2 (en) 2008-06-04 2014-04-01 Sharp Kabushiki Kaisha Light guide elements for display device
US8068187B2 (en) 2008-06-18 2011-11-29 3M Innovative Properties Company Stereoscopic 3D liquid crystal display apparatus having a double sided prism film comprising cylindrical lenses and non-contiguous prisms
US9253416B2 (en) 2008-06-19 2016-02-02 Motorola Solutions, Inc. Modulation of background substitution based on camera attitude and motion
JP4525808B2 (ja) 2008-07-28 2010-08-18 ソニー株式会社 立体画像表示装置およびその製造方法
US8625881B2 (en) 2008-08-15 2014-01-07 Reald Inc. Enhanced ghost compensation for stereoscopic imagery
US8223296B2 (en) 2008-08-25 2012-07-17 Lg Display Co. Ltd. Backlight unit and liquid crystal display device having the same
KR101450146B1 (ko) 2008-09-02 2014-10-14 삼성디스플레이 주식회사 백라이트 어셈블리 및 이를 포함하는 표시 장치
US7660047B1 (en) 2008-09-03 2010-02-09 Microsoft Corporation Flat panel lens
EP2675175A3 (en) 2008-10-03 2014-07-23 Real D Inc. Optimal depth mapping
EP2351377A1 (en) 2008-10-21 2011-08-03 Koninklijke Philips Electronics N.V. Method and system for processing an input three dimensional video signal
US8482654B2 (en) 2008-10-24 2013-07-09 Reald Inc. Stereoscopic image format with depth information
RU2492586C2 (ru) * 2008-10-27 2013-09-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ автоматического формирования процедуры генерации прогнозируемого значения пикселя, способ кодирования изображений, способ декодирования изображений, соответствующее устройство, соответствующие программы и носители информации, которые хранят программы
US7798699B2 (en) 2008-11-10 2010-09-21 Nokia Corporation Layered light guide with diffractive structures
TWI396873B (zh) 2008-12-31 2013-05-21 Nat Univ Tsing Hua 一種微結構偏極化之導光裝置
US8152349B2 (en) 2009-01-15 2012-04-10 Microsoft Corporation End reflector for a flat panel lens
JP2010164914A (ja) 2009-01-19 2010-07-29 Hitachi Displays Ltd 液晶表示装置
US8026997B2 (en) 2009-01-28 2011-09-27 Sharp Laboratories Of America, Inc. Area active backlight with steerable light source
KR20100092152A (ko) 2009-02-12 2010-08-20 엘지이노텍 주식회사 백라이트 유닛
KR101333439B1 (ko) 2009-02-17 2013-12-02 샤프 가부시키가이샤 도광체, 면 광원 장치 및 액정 표시 장치
DE102009010538B4 (de) 2009-02-25 2022-02-03 tooz technologies GmbH Multifunktionsglas mit einer optisch wirksamen Fläche, die zumindest teilweise eine Fresnel-Struktur mit mehreren Fresnel-Segmenten aufweist, sowie Verfahren zur Herstellung eines solchen optischen Multifunktionsglases
US20100214135A1 (en) 2009-02-26 2010-08-26 Microsoft Corporation Dynamic rear-projected user interface
JP5143770B2 (ja) 2009-03-02 2013-02-13 株式会社ジャパンディスプレイイースト 液晶表示装置
US20100231498A1 (en) 2009-03-13 2010-09-16 Microsoft Corporation Image display via multiple light guide sections
EP2236074B1 (en) 2009-04-01 2021-05-26 Tobii AB Visual display with illuminators for gaze tracking
US9256007B2 (en) 2009-04-21 2016-02-09 Svv Technology Innovations, Inc. Light collection and illumination systems employing planar waveguide
US8639072B2 (en) 2011-10-19 2014-01-28 Milan Momcilo Popovich Compact wearable display
US20100277575A1 (en) 2009-04-30 2010-11-04 Tetracam, Inc. Method and apparatus for providing a 3d image via a media device
US8794812B2 (en) 2009-05-01 2014-08-05 Abl Ip Holding Llc Light emitting devices and applications thereof
DE102009003069A1 (de) 2009-05-13 2010-11-25 Seereal Technologies S.A. 3D-Anzeigedisplay mit steuerbarer Vorrichtung zum Nachführen von Sichtbarkeitsbereichen
US8509309B2 (en) 2009-05-14 2013-08-13 Massachusetts Institute Of Technology Selecting transforms for compressing visual data
US8203595B2 (en) 2009-05-21 2012-06-19 Alcatel Lucent Method and apparatus for enabling improved eye contact in video teleconferencing applications
US8216405B2 (en) 2009-05-28 2012-07-10 Microsoft Corporation Making an optic with a cladding
CN102450026B (zh) 2009-05-28 2015-01-14 皇家飞利浦电子股份有限公司 自动立体显示设备
GB2470752B (en) 2009-06-03 2015-01-07 Au Optronics Corp Autostereoscopic Display Apparatus
JP5563250B2 (ja) 2009-06-30 2014-07-30 株式会社ジャパンディスプレイ 立体画像表示装置
KR20110006773A (ko) 2009-07-15 2011-01-21 삼성전자주식회사 디스플레이장치 및 텔레비전
EP2282231A3 (en) 2009-08-07 2011-05-04 JDS Uniphase Corporation Multi-segment optical retarder for creating 3d images
JP5375424B2 (ja) 2009-08-10 2013-12-25 東芝ライテック株式会社 発光装置及びその製造方法、灯具、並びに灯具システム
FR2949264B1 (fr) 2009-08-18 2012-02-24 Screen Res Procede de fabrication d'un ecran de projection et ecran correspondant
US20110044056A1 (en) 2009-08-21 2011-02-24 Microsoft Corporation Light collector for an illumination optic
US8354806B2 (en) 2009-08-21 2013-01-15 Microsoft Corporation Scanning collimation of light via flat panel lamp
US20110044582A1 (en) 2009-08-21 2011-02-24 Microsoft Corporation Efficient collimation of light with optical wedge
US20110242298A1 (en) 2009-08-21 2011-10-06 Microsoft Corporation Private video presentation
JP5333050B2 (ja) 2009-08-25 2013-11-06 ソニー株式会社 立体映像表示装置および立体映像表示装置の製造方法
KR101684478B1 (ko) 2010-01-20 2016-12-09 삼성디스플레이 주식회사 복수의 도광판을 갖는 백라이트 어셈블리
US20110188120A1 (en) 2010-01-29 2011-08-04 Beam Engineering For Advanced Measurement Co. Broadband optics for manipulating light beams and images
KR101680771B1 (ko) 2010-02-04 2016-11-30 삼성전자주식회사 입체 영상 디스플레이 장치 및 방법
JP2013080562A (ja) 2010-02-10 2013-05-02 Sharp Corp バックライト装置および液晶表示装置並びにテレビジョン受像機
US8384774B2 (en) 2010-02-15 2013-02-26 Eastman Kodak Company Glasses for viewing stereo images
US20110216266A1 (en) 2010-03-02 2011-09-08 Microsoft Corporation Wedge backlight with diffraction grating
US8922480B1 (en) 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
JP5055398B2 (ja) 2010-03-12 2012-10-24 株式会社ジャパンディスプレイイースト 照明装置および液晶表示装置
JP5462672B2 (ja) 2010-03-16 2014-04-02 株式会社ジャパンディスプレイ 表示装置及び電子機器
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
KR20110109565A (ko) 2010-03-31 2011-10-06 삼성전자주식회사 백라이트 유닛, 이를 구비한 3ｄ 디스플레이 및 3ｄ 영상 형성 방법
CA2796519A1 (en) 2010-04-16 2011-10-20 Flex Lighting Ii, Llc Illumination device comprising a film-based lightguide
US8564740B2 (en) 2010-05-24 2013-10-22 3M Innovative Properties Company Directional backlight with reduced crosstalk
US8477261B2 (en) 2010-05-26 2013-07-02 Microsoft Corporation Shadow elimination in the backlight for a 3-D display
US8311337B2 (en) 2010-06-15 2012-11-13 Cyberlink Corp. Systems and methods for organizing and accessing feature vectors in digital images
US10089937B2 (en) 2010-06-21 2018-10-02 Microsoft Technology Licensing, Llc Spatial and temporal multiplexing display
KR101680770B1 (ko) 2010-07-09 2016-11-29 삼성전자주식회사 백라이트 유닛 및 이를 구비하는 디스플레이장치
CN102483521B (zh) 2010-07-14 2015-01-28 松下电器产业株式会社 显示装置
WO2012008972A1 (en) 2010-07-16 2012-01-19 Hewlett-Packard Development Company, L.P. Methods and systems for establishing eye contact and accurate gaze in remote collaboration
KR101729556B1 (ko) 2010-08-09 2017-04-24 엘지전자 주식회사 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법, 그리고 위치 추적 장치
WO2012021967A1 (en) 2010-08-16 2012-02-23 Tandemlaunch Technologies Inc. System and method for analyzing three-dimensional (3d) media content
US9024997B2 (en) 2010-09-03 2015-05-05 At&T Intellectual Property L.L.P. Virtual presence via mobile
US8534901B2 (en) 2010-09-13 2013-09-17 Teledyne Reynolds, Inc. Collimating waveguide apparatus and method
JP5364666B2 (ja) 2010-09-13 2013-12-11 株式会社東芝 立体画像表示装置、方法およびプログラム
EP2431786A1 (de) 2010-09-17 2012-03-21 Bayer MaterialScience AG Autostereoskopisches 3D-Display
US8651725B2 (en) 2010-09-30 2014-02-18 Global Lighting Technology Inc. Backlight module
US8848040B2 (en) 2010-10-08 2014-09-30 3Dv Co., Ltd. 3D display system with active shutter plate
US9294717B2 (en) 2010-10-13 2016-03-22 At&T Intellectual Property I, L.P. System and method to enable layered video messaging
KR20120045098A (ko) 2010-10-29 2012-05-09 삼성전자주식회사 백라이트 어셈블리 및 이를 갖는 액정 표시 장치
KR101670927B1 (ko) 2010-11-05 2016-11-01 삼성전자주식회사 디스플레이 장치 및 방법
US8494237B2 (en) 2010-11-08 2013-07-23 Cranial Technologies, Inc Method and apparatus for processing digital image representations of a head shape
KR101775068B1 (ko) 2010-11-19 2017-09-06 리얼디 스파크, 엘엘씨 방향성 평판 조명기
US8651726B2 (en) 2010-11-19 2014-02-18 Reald Inc. Efficient polarized directional backlight
US20130328866A1 (en) 2010-11-19 2013-12-12 Reald Inc. Spatially multiplexed imaging directional backlight displays
US9250448B2 (en) 2010-11-19 2016-02-02 Reald Inc. Segmented directional backlight and related methods of backlight illumination
US20140041205A1 (en) 2010-11-19 2014-02-13 Reald Inc. Method of manufacturing directional backlight apparatus and directional structured optical film
CN102012742A (zh) 2010-11-24 2011-04-13 广东威创视讯科技股份有限公司 一种眼睛鼠标的校正方法及其装置
US8988336B2 (en) 2010-12-16 2015-03-24 3M Innovative Properties Company Dual-orientation autostereoscopic backlight and display
KR20120074825A (ko) 2010-12-28 2012-07-06 엘지전자 주식회사 디스플레이 장치
US8823769B2 (en) 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
JP2012181688A (ja) 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
US20120236133A1 (en) 2011-03-18 2012-09-20 Andrew Charles Gallagher Producing enhanced images from anaglyph images
JP2012204370A (ja) 2011-03-23 2012-10-22 Sony Corp 光源回路ユニットおよび照明装置、並びに表示装置
CN102156992B (zh) * 2011-04-14 2017-07-28 中国人民解放军海军航空工程学院 两站多目标无源定位与跟踪的智能仿生方法
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
JP5751922B2 (ja) 2011-05-09 2015-07-22 キヤノン株式会社 発光装置および表示装置
US8676937B2 (en) 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
WO2012158574A1 (en) 2011-05-13 2012-11-22 Reald Inc. Efficient polarized directional backlight
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
US9153031B2 (en) 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
JP5649526B2 (ja) 2011-07-01 2015-01-07 株式会社ジャパンディスプレイ 表示装置
US8760762B1 (en) 2011-08-12 2014-06-24 Google Inc. Image waveguide utilizing two mirrored or polarized surfaces
JP6242569B2 (ja) 2011-08-25 2017-12-06 東芝メディカルシステムズ株式会社 医用画像表示装置及びｘ線診断装置
US9538133B2 (en) 2011-09-23 2017-01-03 Jie Diao Conveying gaze information in virtual conference
US9097826B2 (en) 2011-10-08 2015-08-04 Svv Technology Innovations, Inc. Collimating illumination systems employing a waveguide
US20130107340A1 (en) 2011-10-31 2013-05-02 Yoon Kean Wong Autostereoscopic Steering Light-Guide Three-Dimensional Displays
US20130127861A1 (en) 2011-11-18 2013-05-23 Jacques Gollier Display apparatuses and methods for simulating an autostereoscopic display device
US20130135588A1 (en) 2011-11-29 2013-05-30 Milan Momcilo Popovich 3D display apparatus
WO2013079607A1 (en) 2011-11-30 2013-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. View rendering for the provision of virtual eye contact using special geometric constraints in combination with eye-tracking
US8593452B2 (en) 2011-12-20 2013-11-26 Apple Inc. Face feature vector construction
US8942434B1 (en) 2011-12-20 2015-01-27 Amazon Technologies, Inc. Conflict resolution for pupil detection
US8824779B1 (en) 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
WO2013116460A1 (en) 2012-01-31 2013-08-08 Alphamicron Incorporated Electronically dimmable optical device
EP3429195A1 (en) 2012-02-27 2019-01-16 Perceptiko AG Method and system for image processing in video conferencing for gaze correction
US8950883B2 (en) 2012-03-09 2015-02-10 Corning Incorporated Bezel-free display device using directional backlighting
US9378574B2 (en) 2012-04-26 2016-06-28 Electronics And Telecommunications Research Institute Apparatus and method for producing makeup avatar
JP6308630B2 (ja) 2012-05-18 2018-04-11 リアルディー スパーク エルエルシー 指向性照明導波路配置
US9678267B2 (en) 2012-05-18 2017-06-13 Reald Spark, Llc Wide angle imaging directional backlights
US9350980B2 (en) 2012-05-18 2016-05-24 Reald Inc. Crosstalk suppression in a directional backlight
US20130335821A1 (en) 2012-05-18 2013-12-19 Reald Inc. Source conditioning for imaging directional backlights
US9188731B2 (en) 2012-05-18 2015-11-17 Reald Inc. Directional backlight
JP6458950B2 (ja) 2012-05-18 2019-01-30 リアルディー スパーク エルエルシー 指向性ディスプレイ装置
WO2013173695A1 (en) 2012-05-18 2013-11-21 Reald Inc. Controlling light sources of a directional backlight
US9104908B1 (en) 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
US8957943B2 (en) 2012-07-02 2015-02-17 Bby Solutions, Inc. Gaze direction adjustment for video calls and meetings
US9224248B2 (en) 2012-07-12 2015-12-29 Ulsee Inc. Method of virtual makeup achieved by facial tracking
US9285532B2 (en) 2012-07-13 2016-03-15 Blackberry Limited Backlight module having a prisim reflector
US8917441B2 (en) 2012-07-23 2014-12-23 Reald Inc. Observe tracking autostereoscopic display
US9081195B2 (en) 2012-08-13 2015-07-14 Innolux Corporation Three-dimensional image display apparatus and three-dimensional image processing method
CN103807664A (zh) 2012-11-07 2014-05-21 纬创资通股份有限公司 光源模块和制作光源模块的方法
JP6147275B2 (ja) 2012-11-29 2017-06-14 シャープ株式会社 立体画像処理装置、立体画像処理方法、及びプログラム
US20140153832A1 (en) 2012-12-04 2014-06-05 Vivek Kwatra Facial expression editing in images based on collections of images
US9552668B2 (en) 2012-12-12 2017-01-24 Microsoft Technology Licensing, Llc Generation of a three-dimensional representation of a user
WO2014118842A1 (ja) 2013-02-01 2014-08-07 パナソニック株式会社 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
JP6132232B2 (ja) 2013-02-01 2017-05-24 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
US9262648B2 (en) 2013-02-22 2016-02-16 Fujitsu Limited Display device with automatic viewing angle control
KR102617760B1 (ko) 2013-02-22 2023-12-27 리얼디 스파크, 엘엘씨 지향성 백라이트
CN103338379B (zh) * 2013-06-05 2015-04-29 宁波大学 一种基于机器学习的立体视频客观质量评价方法
WO2014204950A1 (en) 2013-06-17 2014-12-24 Reald Inc. Controlling light sources of a directional backlight
CN108537628B (zh) 2013-08-22 2022-02-01 贝斯普客公司 用于创造定制产品的方法和系统
KR101856568B1 (ko) 2013-09-16 2018-06-19 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법
US9224060B1 (en) 2013-09-17 2015-12-29 Amazon Technologies, Inc. Object tracking using depth information
WO2015064080A1 (ja) 2013-11-01 2015-05-07 パナソニックＩｐマネジメント株式会社 視線方向検出装置および視線方向検出方法
EP3069074A4 (en) 2013-11-15 2017-08-02 RealD Spark, LLC Directional backlights with light emitting element packages
US20150243035A1 (en) 2014-02-21 2015-08-27 Metaio Gmbh Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest
EP3120187B1 (en) 2014-03-21 2021-10-20 RealD Spark, LLC Directional backlight
US9407896B2 (en) 2014-03-24 2016-08-02 Hong Kong Applied Science and Technology Research Institute Company, Limited Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions
US9684827B2 (en) * 2014-03-26 2017-06-20 Microsoft Technology Licensing, Llc Eye gaze tracking based upon adaptive homography mapping
CN103984413B (zh) * 2014-05-19 2017-12-08 北京智谷睿拓技术服务有限公司 信息交互方法及信息交互装置
US9489739B2 (en) 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
US9325939B2 (en) 2014-08-14 2016-04-26 Verizon Patent And Licensing Inc. Method and system for providing gaze-directed correction during a video conferencing session
US9760762B2 (en) 2014-11-03 2017-09-12 Anastasia Soare Facial structural shaping
US9626564B2 (en) 2014-11-17 2017-04-18 Intel Corporation System for enabling eye contact in electronic images
WO2016097919A1 (en) * 2014-12-16 2016-06-23 Koninklijke Philips N.V. Gaze tracking system with calibration improvement, accuracy compensation, and gaze localization smoothing
US10356383B2 (en) 2014-12-24 2019-07-16 Reald Spark, Llc Adjustment of perceived roundness in stereoscopic image of a head
US9740282B1 (en) 2015-01-05 2017-08-22 Amazon Technologies, Inc. Gaze direction tracking
US9704038B2 (en) * 2015-01-07 2017-07-11 Microsoft Technology Licensing, Llc Eye tracking
KR102306538B1 (ko) 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
CN104574321B (zh) 2015-01-29 2018-10-23 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
US9300916B1 (en) 2015-02-10 2016-03-29 International Business Machines Corporation Natural gazes during online video conversations
WO2016132145A1 (en) 2015-02-19 2016-08-25 Magic Pony Technology Limited Online training of hierarchical algorithms
GB201507210D0 (en) 2015-04-28 2015-06-10 Microsoft Technology Licensing Llc Eye gaze correction
KR102317021B1 (ko) 2015-06-26 2021-10-25 삼성전자주식회사 디스플레이 장치 및 이의 영상 보정 방법
US10796480B2 (en) 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
KR102174258B1 (ko) 2015-11-06 2020-11-04 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
US9538130B1 (en) 2015-12-10 2017-01-03 Dell Software, Inc. Dynamic gaze correction for video conferencing
CN114143495A (zh) 2016-01-05 2022-03-04 瑞尔D斯帕克有限责任公司 多视角图像的注视校正
US10423830B2 (en) 2016-04-22 2019-09-24 Intel Corporation Eye contact correction in real time using neural network based machine learning
US10062198B2 (en) 2016-06-23 2018-08-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US11026634B2 (en) 2017-04-05 2021-06-08 doc.ai incorporated Image-based system and method for predicting physiological parameters
US10777018B2 (en) 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US20130070046A1 (en) * 2010-05-26 2013-03-21 Ramot At Tel-Aviv University Ltd. Method and system for correcting gaze offset
CN101930543A (zh) * 2010-08-27 2010-12-29 南京大学 一种自拍视频中眼睛图像的调正方法
CN103310186A (zh) * 2012-02-29 2013-09-18 三星电子株式会社 校正图像中用户的注视方向的方法和便携式终端
US20140016871A1 (en) * 2012-07-13 2014-01-16 Postech Academy-Industry Method for correcting user's gaze direction in image, machine-readable storage medium and communication terminal
CN104063709A (zh) * 2013-03-22 2014-09-24 佳能株式会社 视线检测装置及方法、图像捕获装置及其控制方法
US20180035886A1 (en) * 2015-02-27 2018-02-08 Valorisation-Recherche, Limited Partnership Method of and system for processing signals sensed from a user

Also Published As

Publication number Publication date
US11908241B2 (en) 2024-02-20
US20180137334A1 (en) 2018-05-17
EP3271866A1 (en) 2018-01-24
CN107646112B (zh) 2022-04-12
US20210209330A1 (en) 2021-07-08
CN107646112A (zh) 2018-01-30
WO2016153389A1 (en) 2016-09-29
US10891478B2 (en) 2021-01-12
RU2596062C1 (ru) 2016-08-27

Similar Documents

Publication Publication Date Title
CN107646112B (zh) 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法
US10853925B2 (en) Methods, systems, and media for image processing
US10579908B2 (en) Machine-learning based technique for fast image enhancement
JP7289435B2 (ja) 一連のカラー画像フレームにおける複数のニューラルネットワークベースのオブジェクトセグメンテーション
WO2018082185A1 (zh) 图像处理方法和装置
CN110751649B (zh) 视频质量评估方法、装置、电子设备及存储介质
CN109102462A (zh) 一种基于深度学习的视频超分辨率重建方法
US8903130B1 (en) Virtual camera operator
KR102342526B1 (ko) 비디오 컬러화 방법 및 장치
CN112132836A (zh) 视频图像裁剪方法、装置、电子设备及存储介质
US12112528B2 (en) Method and apparatus for processing images, device and storage medium
CN111079864A (zh) 一种基于优化视频关键帧提取的短视频分类方法及系统
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN112383824A (zh) 视频广告过滤方法、设备及存储介质
US20240223790A1 (en) Encoding and Decoding Method, and Apparatus
CN106303527B (zh) 时分复用神经网络处理器的视频分级码流编码方法和系统
CN112215761A (zh) 图像处理方法、装置及设备
US11908036B2 (en) Refining image acquisition data through domain adaptation
Moniruzzaman et al. Structure‐Aware Image Translation‐Based Long Future Prediction for Enhancement of Ground Robotic Vehicle Teleoperation
CN113111770A (zh) 一种视频处理方法、装置、终端及存储介质
KR20210116748A (ko) 심층 신경망을 이용한 동영상의 움직임 기반 프레임 응축 장치 및 방법
Korkmaz et al. Two-stage domain adapted training for better generalization in real-world image restoration and super-resolution
Zhang et al. Gtm: Gray temporal model for video recognition
US20240276024A1 (en) Transmitting Image Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination