CN108090942B - 针对用户的眼睛的三维渲染方法和设备 - Google Patents

针对用户的眼睛的三维渲染方法和设备 Download PDF

Info

Publication number
CN108090942B
CN108090942B CN201711059588.8A CN201711059588A CN108090942B CN 108090942 B CN108090942 B CN 108090942B CN 201711059588 A CN201711059588 A CN 201711059588A CN 108090942 B CN108090942 B CN 108090942B
Authority
CN
China
Prior art keywords
eye
pixel
eye coordinates
parameter
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711059588.8A
Other languages
English (en)
Other versions
CN108090942A (zh
Inventor
姜柄敏
南东暻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108090942A publication Critical patent/CN108090942A/zh
Application granted granted Critical
Publication of CN108090942B publication Critical patent/CN108090942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/312—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being placed behind the display panel, e.g. between backlight and spatial light modulator [SLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/315—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being time-variant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供一种针对用户的眼睛的三维(3D)渲染方法和设备，所述3D渲染方法和设备从用户的图像检测用户的眼睛的位置的眼睛坐标；将眼睛坐标调节为对应于减少由光的折射引起的串扰的虚拟眼睛位置；基于调节的眼睛坐标，执行眼睛的3D渲染。

Description

针对用户的眼睛的三维渲染方法和设备
本申请要求于2016年11月22日提交到韩国知识产权局的第10-2016-0155756号韩国专利申请的优先权，所述韩国专利申请的公开通过引用完整包含于此。
技术领域
与示例性实施例一致的方法和设备涉及一种渲染方法和设备，更具体地讲，涉及一种针对用户的眼睛的三维(3D)渲染方法和设备。
背景技术
现有技术的商业三维(3D)显示设备使用通过向用户的双眼显示不同的图像来提供立体效果或深度的原理。典型地，可向左眼显示针对左眼的左图像，并可向右眼显示针对右眼的右图像。然而，出于包括但不限于光通过显示面板的折射的各种原因，可能发生串扰，使得针对右眼的右图像出现在左眼中，针对左眼的左图像出现在右眼中。由于串扰，显示设备的图像质量可被劣化。通常，当通过应用斯涅耳定律(Snell’s law)来执行3D渲染时，可解决发生在显示器中的串扰。然而，因为计算的量由于斯涅耳定律中使用的复杂三角函数而增加，所以可能难以在具有低性能的设备中实时实施3D渲染。
发明内容
示例性实施例可解决至少以上问题和/或缺点以及上面未描述的其他缺点。此外，不要求示例性实施例克服上述的缺点，并且示例实施例可不克服上述问题中的任何一个。
根据示例性实施例，提供一种三维(3D)渲染方法，包括：从用户的图像检测用户的眼睛的位置的眼睛坐标；将眼睛坐标调节为对应于降低由光的折射引起的串扰的虚拟眼睛位置；基于调节的眼睛坐标，执行眼睛的3D渲染。
调节眼睛坐标的步骤可包括：在与针对眼睛的位置的误差的允许范围对应的瞳孔间距(IPD)内调节眼睛坐标。
调节眼睛坐标的步骤可包括：将斯涅尔定律公式应用到第一像素，其中，第一像素是单个帧中的与眼睛坐标对应的部分像素；基于将斯涅尔定律公式应用到第一像素的结果，调节眼睛坐标。
基于应用的结果调节眼睛坐标的步骤可包括：通过将斯涅尔定律公式应用到第一像素，计算第一结果值；通过将旁轴近似应用到第一像素，计算第二结果值；基于第一结果值与第二结果值之间的差，调节眼睛坐标。
基于第一结果值与第二结果值之间的差调节眼睛坐标的步骤可包括：基于第一结果值与第二结果值之间的差，确定评价函数；计算使评价函数最小化的虚拟眼睛位置；基于虚拟眼睛位置，调节眼睛坐标。
第一像素包括位于3D显示器边沿的像素。
调节眼睛坐标的步骤可包括：基于预先定义为调节眼睛坐标之中的X坐标的第一函数、预先定义为调节眼睛坐标之中的Z坐标的第二函数和预先存储与眼睛坐标对应的调节的眼睛坐标的查找表中的至少一个，调节眼睛坐标。
第一函数可被配置为基于第一参数和第二参数调节X坐标，其中，第一参数基于Z坐标而改变，第二参数基于3D显示器的图像传感器与屏幕的中心部分之间的距离。
第一参数可具有小于或等于1的值，并且当眼睛与3D显示器的屏幕之间的距离减小时，第一参数可减小；当眼睛与屏幕之间的距离增大时，第一参数可增大。
第二函数可被配置为基于第三参数和第四参数调节Z坐标，其中，第三参数和第四参数基于X坐标而改变，并且当眼睛向3D显示器的屏幕的边沿移动时，第三参数可减小；当眼睛向屏幕的中心部分移动时，第三参数可增大；当眼睛向屏幕的中心部分移动时，第三参数可具有接近1的值；当眼睛向3D显示器的屏幕的边沿移动时，第四参数可增大；当眼睛向屏幕的中心部分移动时，第四参数可减小；当眼睛向屏幕的中心部分移动时，第四参数可具有接近0的值。
检测眼睛坐标的步骤包括：使用移动设备的图像传感器获取用户的脸部图像；通过跟踪脸部图像的视点，检测基于图像传感器的眼睛坐标。
根据示例性实施例，提供一种存储程序的非暂时性计算机可读存储介质，所述程序用于使处理器执行包括以下步骤的：从用户的图像检测用户的眼睛的位置的眼睛坐标；将眼睛坐标调节为对应于减少由光的折射引起的串扰的虚拟眼睛位置；基于调节的眼睛坐标，执行眼睛的3D渲染。
根据示例性实施例，提供一种三维(3D)渲染设备，包括：图像传感器，被配置为从用户的图像检测用户的眼睛的位置的眼睛坐标；处理器，被配置为：将眼睛坐标调节为对应于减少由光的折射引起的串扰的虚拟眼睛位置；基于调节的眼睛坐标，执行眼睛的3D渲染。
处理器还可被配置为在与针对眼睛的位置的误差的允许范围对应的瞳孔间距(IPD)内调节眼睛坐标。
处理器还可被配置为：将斯涅尔定律公式应用到第一像素，其中，第一像素是单个帧中的与眼睛坐标对应的部分像素；基于将斯涅尔定律公式应用到第一像素的结果，调节眼睛坐标。
处理器还可被配置为：通过将斯涅尔定律公式应用到第一像素，计算第一结果值；通过将旁轴近似应用到第一像素，计算第二结果值；基于第一结果值与第二结果值之间的差，调节眼睛坐标。
处理器还可被配置为：基于第一结果值与第二结果值之间的差，确定评价函数；计算使评价函数最小化的虚拟眼睛位置；基于虚拟眼睛位置，调节眼睛坐标。
第一像素可包括位于3D显示器边沿的像素。
处理器还可被配置为：基于预先定义为调节眼睛坐标之中的X坐标的第一函数、预先定义为调节眼睛坐标之中的Z坐标的第二函数和预先存储与眼睛坐标对应的调节的眼睛坐标的查找表中的至少一个，调节眼睛坐标。
第一函数可被配置为基于第一参数和第二参数调节X坐标，其中，第一参数基于Z坐标而改变，第二参数基于3D显示器的图像传感器与屏幕的中心部分之间的距离。
第一参数可具有小于或等于1的值，并且当眼睛与3D显示器的屏幕之间的距离减小时，第一参数可减小；当眼睛与屏幕之间的距离增大时，第一参数可增大。
第二函数可被配置为基于第三参数和第四参数调节Z坐标，其中，第三参数和第四参数基于X坐标而改变，并且当眼睛向3D显示器的屏幕的边沿移动时，第三参数可减小；当眼睛向屏幕的中心部分移动时，第三参数可增大；当眼睛向屏幕的中心部分移动时，第三参数可具有接近1的值；当眼睛向3D显示器的屏幕的边沿移动时，第四参数可增大；当眼睛向屏幕的中心部分移动时，第四参数可减小；当眼睛向屏幕的中心部分移动时，第四参数可具有接近0的值。
图像传感器可被配置为获取用户的脸部图像，处理器还可被配置为通过跟踪脸部图像的视点来检测基于图像传感器的眼睛坐标。
所述3D渲染设备可以是移动设备。
根据示例性实施例，提供一种三维(3D)渲染方法，包括：从用户的图像接收用户的眼睛的位置的眼睛坐标；基于从背光单元穿过面板的光的折射，产生调节的眼睛坐标；基于调节的眼睛坐标，执行眼睛的3D渲染。
产生调节的眼睛坐标的步骤可包括：将斯涅尔定律公式应用到第一像素，其中，第一像素是单个帧中的与眼睛坐标对应的部分像素；通过基于将斯涅尔定律公式应用到第一像素的结果调节眼睛坐标，来产生调节的眼睛坐标。
通过基于将斯涅尔定律公式应用到第一像素的结果调节眼睛坐标，来产生调节的眼睛坐标的步骤可包括：通过将斯涅尔定律公式应用到第一像素，计算第一结果值；通过将旁轴近似应用到第一像素，计算第二结果值。基于第一结果值与第二结果值之间的差，调节眼睛坐标。
根据示例性实施例，提供一种三维(3D)渲染设备，包括：处理器，被配置为：从用户的图像接收用户的眼睛的位置的眼睛坐标；基于从背光单元穿过面板的光的折射，产生调节的眼睛坐标；基于调节的眼睛坐标，执行眼睛的3D渲染。
处理器还可被配置为：将斯涅尔定律公式应用到第一像素，其中，第一像素是单个帧中的与眼睛坐标对应的部分像素；通过基于将斯涅尔定律公式应用到第一像素的结果调节眼睛坐标，来产生调节的眼睛坐标。
处理器还可被配置为：通过将斯涅尔定律公式应用到第一像素，计算第一结果值；通过将旁轴近似应用到第一像素，计算第二结果值。基于第一结果值与第二结果值之间的差，调节眼睛坐标。
附图说明
通过结合附图对下面的特定示例性实施例的详细描述，示例性实施例的以上和其他方面将变得清楚和更容易理解，其中：
图1是示出根据示例性实施例的三维(3D)渲染设备的操作的示图；
图2A和图2B示出根据示例性实施例的从3D渲染设备的屏幕的边沿观看到的图像和具有校正的眼睛坐标的图像；
图3A和图3B是示出根据示例性实施例的在眼睛坐标的校正之前和之后与左眼对应的图像的光线变化；
图4是示出根据示例性实施例的3D渲染方法的流程图；
图5是示出图4的3D渲染方法中的校正眼睛坐标的操作的示例的流程图；
图6是示出根据示例性实施例的3D渲染设备的3D显示器的结构的示图；
图7和图8是示出根据示例性实施例的使用数学模型校正用户的眼睛坐标的方法的示图；
图9、图10和图11是示出根据示例性实施例的使用启发式方法(heuristicmethod)校正用户的眼睛坐标的方法的流程图；
图12是示出根据示例性实施例的计算用户的眼睛坐标的方法的流程图；
图13是示出根据示例性实施例的3D渲染设备的框图；
图14A和图14B是示出根据示例性实施例的作为3D渲染设备的移动设备的示图。
具体实施方式
现在将详细描述示例性实施例，示例性实施例的示例在附图中示出，其中，相同的参考标记始终表示相同的元件。下面对示例性实施例进行描述，以通过参照附图解释本公开。
在下文中，将参照附图对示例性实施例进行详细描述，相同的参考标记始终表示相同的元件。在下面的描述中，示例性实施例可被用于针对光场显示方案的渲染中。光场显示方案可被用于呈现三维(3D)图像，并可应用到例如3D电视(TV)、3D监视器、3D数字信息显示器(DID)或3D移动装置。
图1是示出根据示例性实施例的3D渲染设备100的操作的示图。图1示出3D渲染设备100的配置。
3D渲染设备100可没有改变地表示从预定空间中的点沿不同的方向输出的光线。3D渲染设备100可使用通过实际对象从单个点沿不同方向产生或反射光线的原理。“渲染”可以是产生将被显示在面板101上的图像以在3D空间中产生光场的操作，或者基于眼睛位置和3D光学装置重建输入图像的操作。例如，“渲染”可包括确定包括在面板101中的像素或子像素的值以在3D空间中产生光场的操作。例如，3D渲染设备100可以是光场渲染设备。
光层103可包括光滤波器，例如，柱状透镜、视差屏障、透镜阵列和微透镜阵列。此外，光层103可包括定向背光单元(BLU)。光层103不限于以上光滤波器，并可包括例如可位于3D显示器的前侧或后侧的所有类型的光层。
从包括在面板101中的子像素输出的光线的方向可由光层103确定。从每个子像素输出的光线可在穿过光层103的同时沿预定方向被发出。通过以上处理，3D渲染设备100可表示立体图像或多视点图像。3D渲染设备100的光学特性可包括与从面板101中的子像素输出的光线的方向相关联的特性。
光层103可包括多个光学元件，例如，光学元件104和105。每个光学元件可被称为“3D像素”。单个3D像素可沿不同方向输出包括不同类型的信息的光线。例如，包括在光层103中的单个3D像素可沿“15×4”个方向输出光线110。3D渲染设备100可使用多个3D像素表示3D空间中的点。
面板101中的子像素的位置和/大小可根据子像素的结构而变化，并且相应地，从每个子像素输出的光线的方向也可根据子像素的结构而变化。
图2A和图2B示出根据示例性实施例的从3D渲染设备的屏幕的边沿观看到的图像和具有校正的眼睛的位置的眼睛坐标的图像。图2A示出响应于发生在3D渲染设备的屏幕的边沿的串扰的眼睛位置和图像。在下面的描述中，符号
Figure BDA0001454458250000061
指示实际眼睛位置，具有×标记的圆圈
Figure BDA0001454458250000062
指示被校正为减少由于光的折射的串扰的虚拟眼睛位置的眼睛位置。此外，眼睛位置的坐标可被称为“眼睛坐标”。根据另一示例性实施例，具有×标记的圆圈
Figure BDA0001454458250000063
可指示被调节为减少由于光的折射的串扰的虚拟眼睛位置的眼睛位置。
例如，当用户或观看者在3D渲染设备的前面观看屏幕时，该侧的光线可被极大程度地折射。在这个示例中，渲染可通过应用基于光折变特性的斯涅耳定律(Snell’s law)或者通过应用旁轴近似(paraxial approximation)来执行。与具有大量计算的基于斯涅耳定律的渲染相比，基于旁轴近似的渲染可由于少的计算量而降低功耗。
在基于旁轴近似的渲染的示例中，在观看屏幕期间，光线可在大于或等于至少40英寸的相对大的屏幕的边沿被极大程度地折射，这可能引起串扰。在另一示例中，即使基于旁轴近似的渲染被应用到相对小的屏幕(例如，移动设备的小于或等于10英寸的屏幕)，但是因为光线可由于相对小的屏幕而在屏幕的边沿被轻微地折射，所以串扰也可能不会发生。
如上所述，串扰可指示在设定的眼睛中出现除设定的图像之外的图像。例如，如图2A所示，在3D显示器中，左图像(例如，垂直条纹)需要出现在左眼中，然而，在3D显示器的预定位置(例如，边沿)中，右图像(例如，水平条纹)可出现在左眼中，这可指示串扰发生。在下面的描述中，“左图像”可被理解为在不发生串扰的正常情况下需要出现在左眼中的图像，“右眼”可被理解为在正常情况下需要出现在右眼中的图像。
然而，如在图2A中所示，当用户在屏幕的边沿而不是在屏幕的中心部分中观看移动设备的屏幕时(例如，当用户通过手持平板来倾斜地观看平板的屏幕时)，串扰可发生在屏幕的边沿中。
当用户如图2A所示地在小屏幕的边沿中观看小屏幕时，相对边沿中的光线可被极大程度地折射，这可引起串扰。在观看小屏幕的期间，串扰可发生在显示器的一个边沿中，这可不同于在观看大屏幕的期间发生的串扰。
在图2B中，眼睛坐标被校正或调节，以去除发生在3D渲染设备的屏幕的边沿中的串扰。
通常，3D显示器可被设计为允许预定程度的检测的眼睛坐标的误差，并可执行渲染。可在允许预定程度的误差的范围内改变眼睛坐标。例如，该范围可以是瞳孔间距(IPD)。
参照图2B，因为屏幕的中心部分的光线具有相对低的折射率，所以左图像可出现在左眼中。然而，因为屏幕的边沿的光线具有相对高的折射率，所以右图像可出现在左眼中。因此，串扰可发生在屏幕的单个边缘中。
相比于图2A，图2B所示的与左图像对应的屏幕的中心部分的光线可向右轻微地转动。然而，相比于图2A，图2B所示的与左图像对应的屏幕的边沿的光线可极大程度地向右转动。
串扰可通过将在观看屏幕的边沿期间检测的实际眼睛坐标改变为校正的眼睛坐标而被去除，因此，屏幕的中心部分和边沿中的光线可基于校正的眼睛坐标被输出。
图3A和图3B示出根据示例性实施例的在眼睛坐标的校正之前和之后与左眼对应的图像的光线变化。图3A示出屏幕的中心部分中的与左图像对应的光线，图3B示出屏幕的边沿中的与左图像对应的光线。
在图3A和图3B中，实线指示在眼睛坐标被改变前进入眼睛的光线，虚线指示在眼睛坐标被改变后进入眼睛的光线。例如，当在允许眼睛位置的误差的范围(例如，IPD)内改变眼睛坐标时，可产生与左图像对应的光线出现在中心部分和边沿二者中的区间。左眼可位于该区间中，并因此可防止串扰发生在屏幕的边沿中。
眼睛坐标可通过应用根据基于例如跟踪眼睛位置的图像传感器或相机的眼睛位置而变化的值(例如，坐标值)来确定。
图4是示出根据示例性实施例的3D渲染方法的流程图。参照图4，在操作410中，根据示例性实施例的3D渲染设备从用户的图像检测用户的眼睛的位置的眼睛坐标。
3D渲染设备可重建输入图像，以使用3D显示器将左图像和右图像分别输出到用户的左眼和右眼。为此，3D渲染设备可基于视点跟踪从3D显示器验证眼睛的位置。例如，3D渲染设备可使用位于3D显示器的顶部中的相机获取用户的脸部图像，并可基于相机检测眼睛坐标。
当3D渲染设备是移动设备时，3D渲染设备可使用移动设备的图像传感器获取用户的脸部图像，可跟踪脸部图像的视点，并可检测基于图像传感器的用户的眼睛的位置的眼睛坐标。将参照图12对在3D渲染设备中检测用户的眼睛坐标的方法的示例进行描述。
在操作420中，3D渲染设备校正眼睛坐标。例如，3D渲染设备可在允许眼睛的位置的误差的IPD内校正眼睛坐标。3D渲染设备可使用例如数学模型或启发式方法来校正或调节眼睛坐标。3D渲染设备可使用数学模型或启发式方法(heuristic method)来改变或校正眼睛坐标，以防止串扰发生。
将参照图5、图6、图7和图8对在3D渲染设备中使用数学模型校正眼睛坐标的方法的示例性实施例进行描述。将参照图9、图10和图11对在3D渲染设备中使用启发式方法校正眼睛坐标的方法的示例性实施例进行描述。
例如，3D渲染设备可基于使用例如预定义的校正函数或预定义的查找表的启发式方法来校正眼睛坐标。例如，校正函数可包括：预先定义为校正眼睛坐标之中的X坐标的第一校正函数、预先定义为校正眼睛坐标之中的Z坐标的第二校正函数以及预先定义为校正眼睛坐标之中的X坐标和Z坐标的第三校正函数。将分别参照图9、图10和图11对在3D渲染设备中基于第一校正函数校正眼睛坐标的方法、基于第二校正函数校正眼睛坐标的方法以及基于第三校正函数校正眼睛坐标的方法进行描述。
查找表可预先存储与眼睛坐标对应的校正坐标。例如，与眼睛坐标对应的校正坐标可以是通过数学模型计算的坐标。
在操作430中，3D渲染设备基于在操作420中校正的眼睛坐标执行眼睛的3D渲染。可通过例如旁轴近似执行3D渲染，以减少计算量。
图5是示出图4的操作420的示例的流程图。参照图5，在操作510中，根据示例性实施例的3D渲染设备通过将斯涅尔定律公式应用到第一像素来计算第一结果值。第一像素可以是单个帧中的与眼睛坐标对应的部分像素。例如，第一像素可包括位于3D显示器的边沿或在3D显示器的边缘的像素。
在操作520中，3D渲染设备通过将旁轴近似应用到第一像素来计算第二结果值。旁轴近似可被理解为斯涅尔定律公式中使用的正弦值到基于泰勒规则的线性表达式的近似。当旁轴近似被应用时，近似值可以是靠近光轴并平行于光轴而入射的光线。将根据示例性实施例参照图7对在3D渲染设备中计算第一结果值和第二结果值的方法进行进一步描述。
3D渲染设备可根据基于第一结果值与第二结果值之间的差的评价函数来校正或调节眼睛坐标。
在操作530中，3D渲染设备计算用于使基于第一结果值与第二结果值之间的差的评价函数最小化的虚拟眼睛位置。
在操作540中，3D渲染设备基于在操作530中计算的虚拟眼睛位置校正或调节眼睛坐标。将根据示例性实施例参照图8对在3D渲染设备中基于评价函数校正眼睛坐标的方法进行进一步描述。
根据示例性实施例，通过仅将斯涅尔定律应用到单个帧中的部分像素，而不是应用到该帧中的全部像素，来计算第一结果值。换言之，根据示例性实施例，因为第一像素可对应于部分像素，而不是对应于单个帧中的全部像素，所以提高了计算机资源的利用。根据示例性实施例，第一结果值被用于使用基于第一结果值与第二结果值之间的差的评价函数来校正眼睛坐标，而不是被直接或单独使用。
图6是示出根据示例性实施例的3D渲染设备的3D显示器600的结构的示图。参照图6，光线①和②可穿过3D显示器600的像素630。例如，3D显示器600可以是裸眼3D显示器。
3D显示器600可包括：屏障面601、像素面603和表平面605。
如上所述，屏障面601可对应于从像素输出的光线所穿过的光层。例如，屏障面601可包括光滤波器，例如柱状透镜、视差光栅、透镜阵列和微透镜阵列。此外，屏障面601可包括定向BLU。例如，除上述光滤波器之外，屏障面601还可包括可位于3D显示器600的前侧或后侧的所有类型的光层。
像素面603可对应于包括像素的面板。从包括在像素面603中的像素输出的光线的方向可由屏障面601确定。从每个像素输出的光线可沿预定方向发出，并可表示立体图像或多视点图像。3D渲染设备的光学特性可具有与像素的光线的方向相关联的特性。
3D渲染设备可将与视点区域对应的内容确定为对应于用户的一个眼睛，其中，视点区域是与从屏障面601中的一个像素输出的光线的方向对应的穿过像素630的光线(例如，光线①)的方向所属的区域。例如，用户的眼睛(例如，右眼)的位置可被表示为eR(xR，yR，zR)。
3D显示器600可包括相机(或图像传感器)610。相机610可位于3D显示器600的顶部或边沿。相机610的位置可被表示为c(xc，yc，zc)。包括在像素面603中的像素的位置可被表示为
Figure BDA0001454458250000101
由3D显示器600产生的光线①可基于斯涅尔定律而对应于实际眼睛位置eR(xR，yR，zR)，光线②可以是通过旁轴近似校正的光线。可能出现光线①与②之间的误差。串扰可能由于该误差而发生，从而劣化3D显示器600的图像质量。光线①可以是基于斯涅尔定律的实际光线。
将参照图7对计算光线①和光线②之间的误差的方法进行描述。
图7和图8示出根据示例性实施例的使用数学模型校正眼睛坐标的方法。
参照图7，3D渲染设备可通过将斯涅尔定律公式应用到第一像素来计算第一结果值，并通过将旁轴近似应用到第一像素来计算第二结果值。
基于斯涅尔定律，可确定在光线穿过具有不同光学属性的两种透明材料之间的边界时将被折射的光的光线方向。
例如，在屏障面l 601的位置xl输出的光线可被假设为通过像素面p 603的位置xp和表平面s 605的位置xs被输出。此外，当以入射角θi入射的光线通过介质n1而穿过介质n2(例如，空气)时，基于斯涅尔定律的光线的折射角可被假设为θo，基于旁轴近似的光线的折射角可被假设为θ′o。
屏障面601与像素面603之间的距离可由g表示，屏障面601与表平面605之间的距离可由t表示。此外，与通过将斯涅尔定律公式应用到从像素630输出的光线而获得的结果值对应的眼睛位置可由
Figure BDA0001454458250000111
650表示，与通过应用旁轴近似获得的结果值对应的眼睛位置可由
Figure BDA0001454458250000112
655表示。
入射角θi可被表示为如下面的等式1所示。
[等式1]
Figure BDA0001454458250000113
此外，折射角θo可使用下面所示的等式2来获得。此外，折射角θ′o可使用下面所示的等式3来获得。
[等式2]
Figure BDA0001454458250000114
[等式3]
Figure BDA0001454458250000115
3D渲染设备可通过针对包括在单个帧中的大多数像素的旁轴近似，而不是通过将斯涅尔定律公式应用到全部像素来执行计算，来提高计算的速度，并且3D渲染设备可基于通过针对单个帧中的部分像素的斯涅尔定律公式的计算而获得的结果校正由旁轴近似引起的误差。
参照图8，3D渲染设备可基于眼睛位置
Figure BDA0001454458250000116
和
Figure BDA0001454458250000117
校正或调节眼睛坐标。
例如，当斯涅尔定律公式被应用到穿过作为3D显示器的表面的表平面s605的位置xs的光线时，眼睛位置可被假设为
Figure BDA0001454458250000118
当旁轴近似被应用时，眼睛位置可被假设为
Figure BDA0001454458250000119
此外，实际眼睛位置可被假设为
Figure BDA00014544582500001110
在这个示例中，当从实际眼睛位置e(xe，ze)到眼睛位置
Figure BDA00014544582500001111
的距离由ds表示并且当从实际眼睛位置e(xe，ze)到眼睛位置
Figure BDA00014544582500001112
的距离由dp表示时，可如下面等式4中所示地获得针对每个像素的距离之间的差Diff。
[等式4]
diff＝|ds-dp|
3D渲染设备可根据基于使用等式4获得的差Diff的评价函数校正眼睛坐标。
评价函数可被表示为如下面的等式5所示。
[等式5]
Figure BDA0001454458250000121
3D渲染设备可计算用于使针对单个帧的全部像素的等式5的评价函数最小化的虚拟眼睛位置，并且3D渲染设备可基于虚拟眼睛位置校正眼睛坐标。
当等式5的评价函数被应用到位于单个帧的边沿的部分像素(边沿像素(sidepixel))时，评价函数可被表示为如下面的等式6所示。
[等式6]
Figure BDA0001454458250000122
在现有技术中，需要针对全部像素进行斯涅尔定律计算，需要与像素的总数量相同的数量的操作。相比之下，在本公开中，由于运算通过旁轴近似被执行，并且眼睛位置被校正，所以可显著降低计算量。此外，根据示例性实施例，在通过斯涅尔定律执行部分像素的评价以校正眼睛坐标时，指示眼睛坐标A通过仅执行一次评价而已经被校正为B的信息被提取(即，为了校准)，并且如果眼睛坐标A在提取之后被输入，则眼睛坐标A可仅被直接校正为B。换言之，根据示例性实施例，可不需要每次都执行斯涅尔定律。
根据本公开的示例性实施例，可通过针对单个帧中的大多数像素的旁轴近似，而不是通过将斯涅尔定律应用到全部像素来执行计算，来提高计算的速度。此外，根据本公开的示例性实施例，可通过减少由于在斯涅尔定律中使用复杂三角函数的计算的量来降低功耗，其中，通过基于针对单个帧中的部分像素的斯涅尔定律的计算结果校正由旁轴近似引起的误差来降低上述计算量。因此，存在在具有低性能的设备中实时防止串扰的发生的优点。
图9、图10和图11示出根据示例性实施例的使用启发式方法校正眼睛坐标的方法。根据示例性实施例的3D渲染设备可使用基于第一校正函数、第二校正函数和查找表中的至少一个的启发式方法来校正眼睛坐标。第一校正函数和第二校正函数可被预先定义。查找表可预先存储与眼睛坐标对应的校正坐标。
图9示出通过使用第一校正函数f(x)＝ax+b校正眼睛坐标之中的X坐标而获得的结果。
在描述第一校正函数的每个参数之前，相机(或图像传感器)可被用作眼睛坐标系统的原点，并且眼睛位置可由沿水平方向的X坐标、沿垂直方向的Y坐标和沿相机的前面的方向的Z坐标来表示。
在第一校正函数f(x)＝ax+b中，x表示未被校正的眼睛坐标之中的X坐标，f(x)表示校正的眼睛坐标之中的X’坐标。
第一参数a可具有小于或等于“1”的值，并可受眼睛坐标之中的Z坐标影响。第一参数a可基于Z坐标改变。在一个示例中，当眼睛与屏幕(或相机)之间的距离减小时，第一参数a可减小；当眼睛与屏幕之间的距离增大时，第一参数a可增大。当眼睛与屏幕之间的距离增大时，第一参数a可具有接近“1”的值。第二参数b可以是3D显示器的屏幕的中心部分与相机(或图像传感器)之间的距离。
在图9中，曲线图910示出通过将第一校正函数应用到短距离而获得结果，曲线图930示出通过将第一校正函数应用到长距离而获得结果。
从曲线图910可发现，当眼睛与屏幕之间的距离减小时，第一参数的值减小。此外，从曲线图930可发现，当眼睛与屏幕之间的距离增大时，第一参数的值增大为接近“1”。
虚线框950可指示从实际眼睛坐标到基于第一校正函数校正的眼睛坐标的变化。
图10示出通过使用第二校正函数f(z)＝cz+d校正眼睛坐标之中的Z坐标而获得的结果1000。
在第二校正函数f(z)＝cz+d中，z表示未被校正的眼睛坐标之中的Z坐标，f(z)表示校正的眼睛坐标之中的Z’坐标。
第三参数c可基于眼睛坐标之中的X坐标而改变。第三参数c可具有小于“1”的值，并可受X坐标影响。例如，当眼睛向屏幕的边沿移动时，第三参数c可减小；当眼睛向屏幕的中心部分移动时，第三参数c可增大。此外，当眼睛向屏幕的中心部分移动时，第三参数c可具有接近“1”的值。
第四参数d可同样受X坐标影响。第四参数d可具有大于“0”的值。例如，当眼睛向屏幕的边沿移动时，第四参数d可增大；当眼睛向屏幕的中心部分移动时，第四参数d可减小。此外，当眼睛向屏幕的中心部分移动时，第四参数d可具有接近“0”的值。
图11示出通过使用第一校正函数f(x)＝ax+b和第二校正函数f(z)＝cz+d二者校正眼睛坐标之中的X坐标和Z坐标二者而获得的结果1100。
图12是示出根据示例性实施例的计算用户的眼睛坐标的方法的流程图。可通过3D渲染设备或者包括至少一个处理器和相机或图像传感器的单独的眼睛跟踪器来执行图12的方法。
参照图12，在操作1210中，3D渲染设备使用相机或图像传感器获取用户的图像。
在操作1220中，3D渲染设备从在操作1210中获取的图像检测脸部区域。例如，图像可以是2D图像。例如，3D渲染设备可基于通过训练脸部图像而获取的数据来确定图像中是否包括脸部区域，并且3D渲染设备可检测脸部区域。
在操作1230中，3D渲染设备从在操作1220中检测到的脸部区域检测特征点。3D渲染设备可检测与脸部中的眼睛、鼻子或嘴唇的边界部分对应的特征点。例如，3D渲染设备可基于通过训练脸部区域的特征点而预先获取的数据来从脸部区域检测特征点。
在操作1240中，3D渲染设备基于在操作1230中检测到的特征点确定(或检测)瞳孔中心的特征点。例如，当预训练的数据包括针对瞳孔中心定义的特征点时，3D渲染设备可确定在操作1230中检测到的特征点之中的与瞳孔对应的至少一个特征点。当缺少预训练的数据时，3D渲染设备可基于眼睛周围的特征点的平均值确定瞳孔中心的特征点。
在操作1250中，3D渲染设备基于在操作1240中确定的特征点计算眼睛坐标。3D渲染设备可基于相机的位置计算3D眼睛坐标(X,Y,Z)。在操作1240中确定的特征点可由图像中的2D坐标表示。例如，3D渲染设备可基于IPD和在图像中的基于相机的用户的脸部方向来将2D坐标转换为3D坐标。脸部方向可通过图像处理来计算，IPD可被设置为作为人的平均IPD的65毫米(mm)。
根据示例性实施例，通过启发式方法获取的眼睛坐标校正等式或查找表可被认为是在使用斯涅尔定律的评价之后通过对眼睛坐标的校正的结果进行近似而获得的。根据示例性实施例，通过改变输入的眼睛坐标，可确定或找到使在本公开的示例性实施例中描述的评价函数最小化的眼睛坐标。根据示例性实施例，可从左到右、从上到下和从前到后顺序设置输入的眼睛坐标，并基于每个输入的眼睛坐标计算和存储使评价函数最小化的新的眼睛坐标。根据示例性实施例，计算的新的眼睛坐标可被存储在查找表中。根据示例性实施例，为了防止存储器使用的过度增长，可仅评价一些特定的眼睛位置，并对其余的眼睛位置执行插值。根据示例性实施例，查找表的结果可由线性等式表示，并且该结果可与上述启发式方法中提到的线性等式类似。
如本公开所述，可使用基于查找表的启发式方法校正或调节眼睛坐标，其中，查找表预先存储与眼睛坐标对应的校正坐标。根据示例性实施例，不必使校正的眼睛坐标固定存储在查找表中，并且可在执行校正眼睛坐标的处理之前动态改变存储在查找表中的校正的眼睛坐标。根据示例性实施例，通过使用查找表，可在没有复杂计算的情况下从查找表找到校正坐标，因而降低复杂计算所需的功耗。
图13是示出根据示例性实施例的3D渲染设备1300的框图。参照图13，3D渲染设备1300包括图像传感器1310、处理器1320和存储器1330。图像传感器1310、处理器1320和存储器1330可通过总线1305彼此通信。
图像传感器1310可从用户的图像检测用户的眼睛的位置的眼睛坐标。图像传感器1310可获取用户的脸部图像。处理器1320可跟踪脸部图像的视点，并可检测基于图像传感器1310的眼睛坐标。
处理器1320可校正眼睛坐标，并可基于校正的眼睛坐标执行眼睛的3D渲染。处理器1320可在允许眼睛的位置的误差的IPD内改变眼睛坐标。处理器1320可将斯涅尔定律公式应用到第一像素，并可基于应用的结果校正眼睛坐标，其中，第一像素是单个帧中的与检测的眼睛坐标对应的部分像素。第一像素可包括位于3D显示器的边沿的像素。
处理器1320可通过将斯涅尔定律公式应用到第一像素来计算第一结果值，可通过将旁轴近似应用到第一像素来计算第二结果值，并可根据基于第一结果值与第二结果值之间的差的评价函数来校正眼睛坐标。此外，处理器1320可计算用于使评价函数最小化的虚拟眼睛位置，并可基于虚拟眼睛坐标校正眼睛坐标。
此外，处理器1320可执行与上面参照图4至图12描述的至少一个方法对应的算法。处理器1320可执行程序，并可控制3D渲染设备1300。由处理器1320执行的程序代码可被存储在存储器1330中。3D渲染设备1300可通过输入/输出装置(未示出)连接到外部装置(例如，个人计算机(PC)或网络)，并可与外部装置交换数据。3D渲染设备1300可包括各种电子系统，例如，TV、智能TV或智能电话。
存储器1330可存储针对眼睛的3D渲染结果和校正的眼睛坐标。例如，存储器1330可包括易失性存储器或非易失性存储器。
3D渲染设备1300还可包括通信接口1340。通信接口1340可发送3D渲染结果。例如，3D渲染结果可被发送到3D显示器。例如，虽然未在附图中示出3D显示器，但是3D渲染设备1300还可包括3D显示器。在这个示例中，3D渲染结果可被直接显示在3D显示器上，而不使用通信接口1340。
图14A和14B示出根据示例性实施例的作为3D渲染设备的移动设备1400。上述3D渲染方法可由于在渲染期间的小的计算量而可应用到具有低功耗的移动设备，例如，平板或智能电话。
移动设备1400包括：电源装置1410、光学装置1420、成像装置1430、操作装置1440和面板1450。图14A和图14B分别示出移动设备1400的顶面和前面。
电源装置1410可以是被配置为将电力供应给移动设备1400的装置。电源装置1410可包括各种电池。
光学装置1420可以是被配置为沿预定方向分离光线的装置。例如，光学装置1420可包括视差光栅或柱状透镜。例如，当光学装置1420包括柱状透镜时，柱状透镜可位于面板1450的前面。
成像装置1430可检测眼睛位置。成像装置1430可包括图像传感器，例如，互补金属氧化物半导体(CMOS)图像传感器(CIS)或电荷耦合器件(CCD)。在图14A和14B中，b表示成像装置1430(例如，相机)的中心部分与用户的眼睛所在屏幕的中心部分之间的差。
操作装置1440可执行根据示例性实施例的3D渲染方法。操作装置1440可通过应用上述第一校正函数、上述第二校正函数或第一校正函数和第二校正函数的组合来改变从相机获取的眼睛坐标，并可基于旁轴近似执行渲染。例如，操作装置1440可通过软件执行基于视点跟踪的3D渲染。操作装置1440可包括处理器(例如，应用处理器)。处理器可操作包括在操作装置1440中的操作系统(OS)，并可执行全部操作。
面板1450可以是被配置为呈现RGB图像的装置，例如，液晶显示器(LCD)。
可使用硬件组件、软件组件或它们的组合来实现这里描述的示例性实施例。可使用一个或多个通用或专用计算机(诸如，处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限定的方式响应并执行指令的任何其他装置)来实现处理装置。处理装置可运行操作系统(OS)以及在OS上运行的一个或多个软件应用。处理装置也可响应于软件的执行来访问、存储、操控、处理和创建数据。为了简单起见，使用单数来描述处理装置。然而，本领域的技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器，或处理器和控制器。此外，不同的处理配置是可行的，诸如，并行处理器。
软件可包括计算机程序、代码段、指令或它们的某些组合，以独立地或共同地指示或配置处理装置如期望地进行操作。可以以任意类型的机器、组件、物理或虚拟设备、计算机存储介质或装置，或者以能够将指令或数据提供给处理装置或被处理装置解释的传播信号波，来永久地或暂时地实现软件和数据。软件也可被分布在联网的计算机系统上，从而以分布方式存储和执行软件。可通过一个或多个非暂时性计算机可读记录介质来存储软件和数据。
根据上述示例实施例的方法可被记录在包括程序指令的非暂时性计算机可读介质中，以实现可由计算机执行的各种操作。介质还可单独包括程序指令、数据文件、数据结构等，或与程序指令相结合地包括程序指令、数据文件、数据结构等。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计和构造的程序指令，或者他们可以是计算机软件领域的技术人员公知和可用的程序指令。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)、光学介质(诸如，CD ROM盘和DVD)、磁光介质(诸如，光盘)和专门配置为存储并执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括机器代码(诸如由编译器生成的代码)和包含可由计算机使用解释器执行的更高级代码的文件二者。为了执行上述示例实施例的操作，上述硬件装置可被配置为用作一个或多个软件模块，反之亦然。
虽然本公开包括示例性实施例，但是本领域普通技术人员将清楚的是：在不脱离权利要求和它们的等同物的精神和范围的情况下，可在这些示例实施例中进行形式上和细节上的各种改变。在此描述的示例实施例将仅认为是描述性意义，而非为了限制的目的。在每个示例中的特征或方面的描述将被认为可被应用于在其它示例中的相似特征或方面。如果以不同顺序执行描述的技术，和/或如果以不同方式组合在描述的系统、架构、装置或电路中的组件和/或由其它组件或其等同物来替代或补充描述的系统、架构、装置或电路中的组件，则可实现适当的结果。因此，本公开的范围并非由具体实施方式限定而是由权利要求和它们的等同物所限定，并且在权利要求和它们的等同物的范围内的所有变化将被解释为包括在本公开中。

Claims (30)

1.一种三维渲染方法，包括：
从用户的图像检测用户的眼睛的位置的眼睛坐标；
将眼睛坐标调节为对应于减少由光的折射引起的串扰的虚拟眼睛位置；
基于调节的眼睛坐标，执行眼睛的三维渲染，
其中，调节眼睛坐标的步骤包括：
将斯涅尔定律公式应用到单个帧中的第一像素而不将斯涅尔定律公式应用到所述单个帧中的除了第一像素之外的其他像素，其中，第一像素是所述单个帧中的与眼睛坐标对应的部分像素；
基于将斯涅尔定律公式应用到第一像素的结果，调节眼睛坐标。
2.如权利要求1所述的三维渲染方法，其中，调节眼睛坐标的步骤包括：在与针对眼睛的位置的误差的允许范围对应的瞳孔间距内调节眼睛坐标。
3.如权利要求1所述的三维渲染方法，其中，基于应用的结果调节眼睛坐标的步骤包括：
通过将斯涅尔定律公式应用到第一像素，计算第一结果值；
通过将旁轴近似应用到第一像素，计算第二结果值；
基于第一结果值与第二结果值之间的差，调节眼睛坐标。
4.如权利要求3所述的三维渲染方法，其中，基于第一结果值与第二结果值之间的差调节眼睛坐标的步骤包括：
基于第一结果值与第二结果值之间的差，确定评价函数；
计算使评价函数最小化的虚拟眼睛位置；
基于虚拟眼睛位置，调节眼睛坐标。
5.如权利要求1所述的三维渲染方法，其中，第一像素包括位于三维显示器边沿的像素。
6.如权利要求1所述的三维渲染方法，其中，调节眼睛坐标的步骤包括：基于预先定义为调节眼睛坐标之中的X坐标的第一函数、预先定义为调节眼睛坐标之中的Z坐标的第二函数和预先存储与眼睛坐标对应的调节的眼睛坐标的查找表中的至少一个，调节眼睛坐标。
7.如权利要求6所述的三维渲染方法，其中，第一函数被配置为基于第一参数和第二参数调节X坐标，其中，第一参数基于Z坐标而改变，第二参数基于三维显示器的图像传感器与屏幕的中心部分之间的距离。
8.如权利要求7所述的三维渲染方法，其中，第一参数具有小于或等于1的值，
其中，当眼睛与三维显示器的屏幕之间的距离减小时，第一参数减小；当眼睛与屏幕之间的距离增大时，第一参数增大。
9.如权利要求6所述的三维渲染方法，其中，第二函数被配置为基于第三参数和第四参数调节Z坐标，其中，第三参数和第四参数基于X坐标而改变。
10.如权利要求9所述的三维渲染方法，其中，
当眼睛向三维显示器的屏幕的边沿移动时，第三参数减小；
当眼睛向屏幕的中心部分移动时，第三参数增大；
当眼睛向屏幕的中心部分移动时，第三参数具有接近1的值。
11.如权利要求9所述的三维渲染方法，其中，
当眼睛向三维显示器的屏幕的边沿移动时，第四参数增大；
当眼睛向屏幕的中心部分移动时，第四参数减小；
当眼睛向屏幕的中心部分移动时，第四参数具有接近0的值。
12.如权利要求1所述的三维渲染方法，其中，检测眼睛坐标的步骤包括：
使用移动设备的图像传感器获取用户的脸部图像；
通过跟踪脸部图像的视点，检测基于图像传感器的眼睛坐标。
13.一种存储程序的非暂时性计算机可读存储介质，所述程序用于使处理器执行包括以下步骤的方法：
从用户的图像检测用户的眼睛的位置的眼睛坐标；
将眼睛坐标调节为对应于减少由光的折射引起的串扰的虚拟眼睛位置；
基于调节的眼睛坐标，执行眼睛的三维渲染，
其中，调节眼睛坐标的步骤包括：
将斯涅尔定律公式应用到单个帧中的第一像素而不将斯涅尔定律公式应用到所述单个帧中的除了第一像素之外的其他像素，其中，第一像素是所述单个帧中的与眼睛坐标对应的部分像素；
基于将斯涅尔定律公式应用到第一像素的结果，调节眼睛坐标。
14.一种三维渲染设备，包括：
图像传感器，被配置为从用户的图像检测用户的眼睛的位置的眼睛坐标；
处理器，被配置为：
将眼睛坐标调节为对应于减少由光的折射引起的串扰的虚拟眼睛位置；
基于调节的眼睛坐标，执行眼睛的三维渲染，
其中，处理器被配置为：
将斯涅尔定律公式应用到单个帧中的第一像素而不将斯涅尔定律公式应用到所述单个帧中的除了第一像素之外的其他像素，其中，第一像素是所述单个帧中的与眼睛坐标对应的部分像素；
基于将斯涅尔定律公式应用到第一像素的结果，调节眼睛坐标。
15.如权利要求14所述的三维渲染设备，其中，处理器还被配置为在与针对眼睛的位置的误差的允许范围对应的瞳孔间距内调节眼睛坐标。
16.如权利要求14所述的三维渲染设备，其中，处理器还被配置为：
通过将斯涅尔定律公式应用到第一像素，计算第一结果值；
通过将旁轴近似应用到第一像素，计算第二结果值；
基于第一结果值与第二结果值之间的差，调节眼睛坐标。
17.如权利要求16所述的三维渲染设备，其中，处理器还被配置为：
基于第一结果值与第二结果值之间的差，确定评价函数；
计算使评价函数最小化的虚拟眼睛位置；
基于虚拟眼睛位置，调节眼睛坐标。
18.如权利要求14所述的三维渲染设备，其中，第一像素包括位于三维显示器边沿的像素。
19.如权利要求14所述的三维渲染设备，其中，处理器还被配置为：
基于预先定义为调节眼睛坐标之中的X坐标的第一函数、预先定义为调节眼睛坐标之中的Z坐标的第二函数和预先存储与眼睛坐标对应的调节的眼睛坐标的查找表中的至少一个，调节眼睛坐标。
20.如权利要求19所述的三维渲染设备，其中，第一函数被配置为基于第一参数和第二参数调节X坐标，其中，第一参数基于Z坐标而改变，第二参数基于三维显示器的图像传感器与屏幕的中心部分之间的距离。
21.如权利要求20所述的三维渲染设备，其中，第一参数具有小于或等于1的值，
其中，当眼睛与三维显示器的屏幕之间的距离减小时，第一参数减小；当眼睛与屏幕之间的距离增大时，第一参数增大。
22.如权利要求19所述的三维渲染设备，其中，第二函数被配置为基于第三参数和第四参数调节Z坐标，其中，第三参数和第四参数基于X坐标而改变。
23.如权利要求22所述的三维渲染设备，其中，
当眼睛向三维显示器的屏幕的边沿移动时，第三参数减小；
当眼睛向屏幕的中心部分移动时，第三参数增大；
当眼睛向屏幕的中心部分移动时，第三参数具有接近1的值。
24.如权利要求22所述的三维渲染设备，其中，
当眼睛向三维显示器的屏幕的边沿移动时，第四参数增大；
当眼睛向屏幕的中心部分移动时，第四参数减小；
当眼睛向屏幕的中心部分移动时，第四参数具有接近0的值。
25.如权利要求14所述的三维渲染设备，其中，
图像传感器被配置为获取用户的脸部图像；
处理器还被配置为通过跟踪脸部图像的视点来检测基于图像传感器的眼睛坐标。
26.如权利要求14所述的三维渲染设备，其中，所述三维渲染设备是移动设备。
27.一种三维渲染方法，包括：
从用户的图像接收用户的眼睛的位置的眼睛坐标；
基于从背光单元穿过面板的光的折射，产生调节的眼睛坐标；
基于调节的眼睛坐标，执行眼睛的三维渲染，
其中，产生调节的眼睛坐标的步骤包括：
将斯涅尔定律公式应用到单个帧中的第一像素而不将斯涅尔定律公式应用到所述单个帧中的除了第一像素之外的其他像素，其中，第一像素是所述单个帧中的与眼睛坐标对应的部分像素；
通过基于将斯涅尔定律公式应用到第一像素的结果调节眼睛坐标，来产生调节的眼睛坐标。
28.如权利要求27所述的三维渲染方法，通过基于将斯涅尔定律公式应用到第一像素的结果调节眼睛坐标，来产生调节的眼睛坐标的步骤包括：
通过将斯涅尔定律公式应用到第一像素，计算第一结果值；
通过将旁轴近似应用到第一像素，计算第二结果值；
基于第一结果值与第二结果值之间的差，调节眼睛坐标。
29.一种三维渲染设备，包括：
处理器，被配置为：
从用户的图像接收用户的眼睛的位置的眼睛坐标；
基于从背光单元穿过面板的光的折射，产生调节的眼睛坐标；
基于调节的眼睛坐标，执行眼睛的三维渲染，
其中，处理器被配置为：
将斯涅尔定律公式应用到单个帧中的第一像素而不将斯涅尔定律公式应用到所述单个帧中的除了第一像素之外的其他像素，其中，第一像素是所述单个帧中的与眼睛坐标对应的部分像素；
通过基于将斯涅尔定律公式应用到第一像素的结果调节眼睛坐标，来产生调节的眼睛坐标。
30.如权利要求29所述的三维渲染设备，其中，处理器还被配置为：
通过将斯涅尔定律公式应用到第一像素，计算第一结果值；
通过将旁轴近似应用到第一像素，计算第二结果值；
基于第一结果值与第二结果值之间的差，调节眼睛坐标。
CN201711059588.8A 2016-11-22 2017-11-01 针对用户的眼睛的三维渲染方法和设备 Active CN108090942B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160155756A KR102564479B1 (ko) 2016-11-22 2016-11-22 사용자의 눈을 위한 3d 렌더링 방법 및 장치
KR10-2016-0155756 2016-11-22

Publications (2)

Publication Number Publication Date
CN108090942A CN108090942A (zh) 2018-05-29
CN108090942B true CN108090942B (zh) 2023-04-14

Family

ID=60331467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711059588.8A Active CN108090942B (zh) 2016-11-22 2017-11-01 针对用户的眼睛的三维渲染方法和设备

Country Status (5)

Country Link
US (2) US10671158B2 (zh)
EP (1) EP3324619B1 (zh)
JP (1) JP7097685B2 (zh)
KR (1) KR102564479B1 (zh)
CN (1) CN108090942B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817055B2 (en) * 2018-05-24 2020-10-27 Innolux Corporation Auto-stereoscopic display device
CN112929643B (zh) * 2019-12-05 2022-06-28 北京芯海视界三维科技有限公司 3d显示设备、方法及终端
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
KR20220146902A (ko) 2021-04-26 2022-11-02 삼성전자주식회사 홀로그래픽 디스플레이 장치, 헤드업 디스플레이 장치 및 영상 제공 방법
CN113887311B (zh) * 2021-09-03 2023-05-02 中山大学中山眼科中心 一种保护眼科患者隐私的方法、装置及存储介质
TWI796856B (zh) * 2021-12-02 2023-03-21 宏碁股份有限公司 減緩3d串擾的方法及3d顯示器
KR102586828B1 (ko) * 2022-12-16 2023-10-10 한국전자기술연구원 안면, 안구 형상, hmd 착용 위치 기반 고도 영상 출력 방법
CN116993929B (zh) * 2023-09-27 2024-01-16 北京大学深圳研究生院 基于人眼动态变化的三维人脸重建方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733118A (zh) * 2011-08-11 2014-04-16 富士通株式会社 立体图像显示装置
WO2016152217A1 (ja) * 2015-03-23 2016-09-29 ソニー株式会社 表示装置、表示装置の駆動方法、及び、電子機器

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016282A (en) 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
DE69706611T2 (de) * 1996-06-27 2002-07-04 Kabushiki Kaisha Toshiba, Kawasaki Stereoskopisches Display-System und -Verfahren
US7028899B2 (en) 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
KR100372933B1 (ko) 2000-05-27 2003-03-04 김재한 응시점의 삼차원 좌표값 산출 장치 및 방법
WO2002009590A1 (fr) 2000-07-27 2002-02-07 Jms Co., Ltd. Dispositif supportant un tissu pour traitement medical
US6697761B2 (en) 2000-09-19 2004-02-24 Olympus Optical Co., Ltd. Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system
JP4560368B2 (ja) * 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
JP3992045B2 (ja) 2005-02-18 2007-10-17 松下電工株式会社 映像信号処理装置及び該方法並びに仮想現実感生成装置
US7521033B2 (en) 2005-12-22 2009-04-21 Basf Catalysts Llc Exhaust inlet metallic foam trap coupled to a downstream monolithic precious metal catalyst
DE102006031799B3 (de) * 2006-07-06 2008-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autostereoskopischen Darstellung von Bildinformationen mit einer Anpassung an Änderungen der Kopfposition des Betrachters
KR101407639B1 (ko) 2007-10-22 2014-06-16 삼성전자주식회사 3차원 그래픽 렌더링 장치 및 방법
JP2011064894A (ja) 2009-09-16 2011-03-31 Fujifilm Corp 立体画像表示装置
JP5796700B2 (ja) * 2010-12-28 2015-10-21 ソニー株式会社 立体表示装置
JP5874197B2 (ja) * 2011-05-26 2016-03-02 ソニー株式会社 表示装置および方法、並びにプログラム
KR101953686B1 (ko) 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
KR101348723B1 (ko) 2012-01-11 2014-01-09 엘지전자 주식회사 다중 3차원 영상 생성 방법 및 그 장치
KR101306245B1 (ko) * 2012-01-17 2013-09-09 한국과학기술연구원 시간 분할 방식의 무안경식 3차원 영상표시장치
KR101960897B1 (ko) 2013-02-06 2019-07-16 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 표시 방법
KR20150122666A (ko) * 2013-02-27 2015-11-02 톰슨 라이센싱 교정-프리 응시 추정을 위한 방법 및 디바이스
KR20150059686A (ko) * 2013-11-22 2015-06-02 삼성전자주식회사 영상 처리 방법 및 장치
KR102250821B1 (ko) * 2014-08-20 2021-05-11 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치 동작 방법
JP6459421B2 (ja) * 2014-11-17 2019-01-30 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US9690104B2 (en) * 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
DE102015001874A1 (de) * 2015-02-13 2016-08-18 Rodenstock Gmbh Vorrichtung und Verfahren zur Abstandsbestimmung und/oder Zentrierung unter Verwendung von Hornhautreflexionen
US10354136B2 (en) * 2015-03-03 2019-07-16 Apple Inc. Head mounted eye tracking device and method for providing drift free eye tracking through a lens system
US9628154B2 (en) 2015-03-03 2017-04-18 Samsung Electronics Co., Ltd. Apparatus for and method of channel quality prediction through computation of multi-layer channel quality metric
KR102463169B1 (ko) 2015-09-07 2022-11-04 삼성전자주식회사 시점 추적 방법 및 장치
US10025060B2 (en) * 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733118A (zh) * 2011-08-11 2014-04-16 富士通株式会社 立体图像显示装置
WO2016152217A1 (ja) * 2015-03-23 2016-09-29 ソニー株式会社 表示装置、表示装置の駆動方法、及び、電子機器

Also Published As

Publication number Publication date
EP3324619A2 (en) 2018-05-23
US20180143683A1 (en) 2018-05-24
US11256328B2 (en) 2022-02-22
US20200257361A1 (en) 2020-08-13
EP3324619B1 (en) 2023-07-19
US10671158B2 (en) 2020-06-02
KR20180057294A (ko) 2018-05-30
CN108090942A (zh) 2018-05-29
JP7097685B2 (ja) 2022-07-08
EP3324619A3 (en) 2018-08-08
KR102564479B1 (ko) 2023-08-07
JP2018085724A (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
CN108090942B (zh) 针对用户的眼睛的三维渲染方法和设备
US10540576B1 (en) Panoramic camera systems
CN103595986B (zh) 立体图像显示装置、图像处理装置及图像处理方法
CN106454307B (zh) 针对多个用户的光场渲染的方法和设备
US9389586B2 (en) Displaying method, apparatus and system for providing holographic images to a plurality of viewers simultaneously
US20200296348A1 (en) Virtual Reality Parallax Correction
US11457194B2 (en) Three-dimensional (3D) image rendering method and apparatus
US10237539B2 (en) 3D display apparatus and control method thereof
US20130050186A1 (en) Virtual image display device
CN108989785B (zh) 基于人眼跟踪的裸眼3d显示方法、装置、终端和介质
CN108881893A (zh) 基于人眼跟踪的裸眼3d显示方法、装置、设备和介质
US12052406B2 (en) Display apparatus and operating method of the same
US20160358522A1 (en) Display control methods and apparatuses
US20140071237A1 (en) Image processing device and method thereof, and program
US20160357494A1 (en) Display control methods and apparatuses
US20180139437A1 (en) Method and apparatus for correcting distortion
CN110381305A (zh) 裸眼3d的去串扰方法、系统、存储介质及电子设备
WO2012176526A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
CN111683238B (zh) 基于观察跟踪的3d图像融合方法及装置
TW202225783A (zh) 裸視立體顯示器及其控制方法
US20230308624A1 (en) Stereoscopic display system and method
KR101953315B1 (ko) 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
CN115220240A (zh) 适应眼睛位置的立体影像数据的产生方法与显示系统
WO2018233387A1 (zh) 裸眼3d显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant