CN106454307A - 针对多个用户的光场渲染的方法和设备 - Google Patents

针对多个用户的光场渲染的方法和设备 Download PDF

Info

Publication number
CN106454307A
CN106454307A CN201610305593.1A CN201610305593A CN106454307A CN 106454307 A CN106454307 A CN 106454307A CN 201610305593 A CN201610305593 A CN 201610305593A CN 106454307 A CN106454307 A CN 106454307A
Authority
CN
China
Prior art keywords
user
mapping
image
eyes
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610305593.1A
Other languages
English (en)
Other versions
CN106454307B (zh
Inventor
朴柱容
南东暻
李硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106454307A publication Critical patent/CN106454307A/zh
Application granted granted Critical
Publication of CN106454307B publication Critical patent/CN106454307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Abstract

提供一种针对多个用户的光场渲染的方法和设备。一种针对多个用户的渲染方法包括：将第一用户的双眼的位置和第二用户的双眼的位置映射到视点区，其中，视点区与像素对应。所述方法包括：基于映射的第一用户的双眼的位置和映射的第二用户的双眼的位置，确定所述像素的值。

Description

针对多个用户的光场渲染的方法和设备
本申请要求于2015年8月7日提交到韩国知识产权局的第10-2015-0111746号韩国专利申请的权益，该韩国专利申请的全部内容通过引用其整体合并于此。
技术领域
至少一个示例实施例涉及一种渲染方法和/或设备，更具体地说，涉及一种针对多个用户的渲染方法和/或设备。
背景技术
目前许多商业化三维(3D)显示装置通过对用户的双眼显示不同的图像来提供深度感知(depth perception)。在此情况下，在双眼视差信息被传送给用户的同时，单眼深度识别因素(例如，焦点调整和运动视差)未被传送给用户。因此，3D图像可能被不自然地显示，这会引起眼疲劳。
用于显示光线的空间-角度分布(即，视场)的3D显示技术被应用于显示无眼疲劳并且自然的3D图像。这里，光场表示基于从对象输出的光线的位置或方向的光线分布。当在表面上光学地显示光场时，位于表面后面的用户体验到就好像实际的对象被呈现的光线分布，并且观看到对象的自然3D图像。
发明内容
至少一个示例实施例涉及一种针对多个用户的渲染方法。
在至少一个示例实施例中，所述方法可包括：将第一用户的双眼的位置和第二用户的双眼的位置映射到与像素对应的视点区；基于映射的第一用户的双眼的位置和第二用户的双眼的位置，确定所述像素的值。
视点区可包括与包括在面板中的所述像素以及包括在光学层中的光学元件的配对对应的视锥。
将第一用户的双眼的位置和第二用户的双眼的位置映射到观看区的步骤可包括：通过所述像素与包括在光学层中的光学元件之间的相对位置，基于迭代特性，将第一用户的双眼的位置和第二用户的双眼的位置映射到观看区。
确定所述像素的值的步骤可包括：响应于所述像素的光线方向与第一用户对应，将所述像素的值确定为在第一用户的双眼的位置显示立体图像；响应于所述像素的光线方向与第二用户对应，将所述像素的值确定为在第二用户的双眼中的至少一个眼睛的位置显示所述立体图像的左图像或右图像。
所述光线方向可包括传播经过所述像素和包括在光学层中的光学元件的光线方向。
确定所述像素的值的步骤可包括：响应于所述像素的光线方向与第一用户的左眼的位置对应，基于立体图像的左图像来确定所述像素的值；响应于所述光线方向与第一用户的右眼的位置对应，基于所述立体图像的右图像来确定所述像素的值。
确定所述像素的值的步骤可包括：响应于所述像素的光线方向与第二用户的左眼的位置对应，并且第二用户的左眼的位置与第一用户的左眼的位置对应，基于针对第一用户的立体图像的左图像来确定所述像素的值；响应于所述像素的光线方向与第二用户的左眼的位置对应，并且第二用户的左眼的位置与第一用户的右眼的位置对应，基于所述立体图像的右图像来确定所述像素的值。
确定所述像素的值的步骤可包括：响应于所述像素的光线方向与第二用户的左眼的位置对应，并且第二用户的右眼的位置与第一用户的左眼的位置对应，基于针对第一用户的立体图像的左图像或比所述左图像更左边的视图的图像来确定所述像素的值；响应于所述像素的光线方向与第二用户的左眼的位置对应，并且第二用户的右眼的位置与第一用户的右眼的位置对应，基于所述立体图像的左图像或右图像来确定所述像素的值。
确定所述像素的值的步骤可包括：响应于所述像素的光线方向与第二用户的右眼的位置对应，并且第二用户的右眼的位置与第一用户的左眼的位置对应，基于针对第一用户的立体图像的左图像来确定所述像素的值；响应于所述像素的光线方向与第二用户的右眼的位置对应，并且第二用户的右眼的位置与第一用户的右眼的位置对应，基于所述立体图像的右图像来确定所述像素的值。
确定所述像素的值的步骤可包括：响应于所述像素的光线方向与第二用户的右眼的位置对应，并且第二用户的左眼的位置与第一用户的左眼的位置对应，基于针对第一用户的立体图像的左图像或所述立体图像的右图像来确定所述像素的值；响应于所述像素的光线方向与第二用户的右眼的位置对应，并且第二用户的左眼的位置与第一用户的右眼的位置对应，基于所述右图像或比所述右图像更右边的视图的图像来确定所述像素的值。
确定所述像素的值的步骤可基于以下项中的至少一项来确定所述像素的值：基于在视点区内布置第一用户的双眼的位置和第二用户的双眼的位置的顺序以及第一用户的双眼的位置与第二用户的双眼的位置之间的距离。
确定所述像素的值的步骤可包括：基于第一用户的双眼的位置和第二用户的双眼的位置，将视点区划分为多个子视点区；基于与所述像素的光线方向对应的子视点区的内容来确定所述像素的值。
确定所述像素的值的步骤可包括：在所述多个子视点区之确定针对第一用户的第一子视点区的内容；基于第一子视点区的内容，在所述多个子视点区之中确定针对第二用户的第二子视点区的内容。
至少一个示例实施例涉及一种针对多个用户的渲染方法。
在至少一个示例实施例中，所述渲染方法可包括：将第一像素的值确定为在第一用户的双眼的位置显示立体图像；基于第一用户的双眼的位置与第二用户的双眼的位置之间的相关度，将除了第一像素之外的第二像素的值确定为在第二用户的双眼的位置显示与所述立体图像相关联的图像。
与所述立体图像相关联的图像可包括以下图像中的至少一个图像：所述立体图像、所述立体图像的左图像、所述立体图像的右图像、比所述立体图像更左边的视图的立体图像以及比所述立体图像更右边的视图的立体图像。
确定第二像素的值的步骤可包括：将第二像素的值确定为在第二用户的双眼中的一个或更多个位置显示所述立体图像的左图像或右图像。
响应于第一用户的双眼的位置和第二用户的双眼的位置被映射到预定义的视点区，所述相关度可包括以下项中的至少一项：在视点区内布置第一用户的双眼的位置和第二用户的双眼的位置的顺序以及第一用户的双眼的位置与第二用户的双眼的位置之间的距离。
至少一个示例实施例涉及一种针对多个用户的渲染设备。
在至少一个示例实施例中，所述渲染设备可包括：传感器，被配置为拍摄第一用户和第二用户；以及处理器，被配置为：将第一用户的双眼的位置和第二用户的双眼的位置映射到与像素对应的视点区；并基于映射的第一用户的双眼的位置和第二用户的双眼的位置，确定所述像素的值。
处理器还可被配置为：响应于所述像素的光线方向与第一用户的左眼的位置对应，基于立体图像的左图像来确定所述像素的值；响应于所述像素的光线方向与第一用户的右眼的位置对应，基于所述立体图像的右图像来确定所述像素的值。
处理器还可被配置为：响应于所述像素的光线方向与第二用户的左眼的位置对应，并且第二用户的左眼的位置与第一用户的左眼的位置对应，基于针对第一用户的立体图像的左图像来确定所述像素的值；响应于所述像素的光线方向与第二用户的左眼的位置对应，并且第二用户的左眼的位置与第一用户的右眼的位置对应，基于所述立体图像的右图像来确定所述像素的值。
处理器还可被配置为：响应于所述像素的光线方向与第二用户的左眼的位置对应，并且第二用户的右眼的位置与第一用户的左眼的位置对应，基于针对第一用户的立体图像的左图像或比所述左图像更左边的视图的图像来确定所述像素的值；响应于所述像素的光线方向与第二用户的左眼的位置对应，并且第二用户的右眼的位置与第一用户的右眼的位置对应，基于所述立体图像的左图像或右图像来确定所述像素的值。
处理器还可被配置为：响应于所述像素的光线方向与第二用户的右眼的位置对应，并且第二用户的右眼的位置与第一用户的左眼的位置对应，基于针对第一用户的立体图像的左图像来确定所述像素的值；响应于所述像素的光线方向与第二用户的右眼的位置对应，并且第二用户的右眼的位置与第一用户的右眼的位置对应，基于所述立体图像的右图像来确定所述像素的值。
处理器还可被配置为：响应于所述像素的光线方向与第二用户的右眼的位置对应，并且第二用户的左眼的位置与第一用户的左眼的位置对应，基于针对第一用户的立体图像的左图像或所述立体图像的右图像来确定所述像素的值；响应于所述像素的光线方向与第二用户的右眼的位置对应，并且第二用户的左眼的位置与第一用户的右眼的位置对应，基于所述右图像或比所述右图像更右边的视图的图像来确定所述像素的值。
处理器还可被配置为基于以下项中的至少一项来确定所述像素的值：在视点区内布置第一用户的双眼的位置和第二用户的双眼的位置的顺序以及第一用户的双眼的位置与第二用户的双眼的位置之间的距离。
处理器还可被配置为：基于第一用户的双眼的位置和第二用户的双眼的位置，将视点区划分为多个子视点区；基于与所述像素的光线方向对应的子视点区的内容来确定所述像素的值。
处理器还可被配置为：在所述多个子视点区之中确定针对第一用户的第一子视点区的内容；基于第一子视点区的内容，在所述多个子视点区之中确定针对第二用户的第二子视点区的内容。
根据至少一个示例实施例，一种设备包括：处理器和存储器。所述存储器包括计算机可读指令，其中，所述计算机可读指令在被处理器执行时使得处理器确定第一观看区，其中，第一观看区与显示器的向第一用户显示图像的区域相关联。所述计算机可读指令在被处理器执行时使得处理器将第二用户的眼睛的位置从第二观看区转换到第一观看区，并且基于转换后的第二用户的眼睛的位置以及第一用户的眼睛的实际位置，确定所述区域的值。
所述计算机可读指令在被处理器执行时使得处理器进行以下操作：渲染图像，使得所述区域具有所确定的值从而显示图像的对应部分。
所述图像是包括多个视点图像的立体图像，并且所述计算机可读指令在被处理器执行时使得处理器基于以下项来所述确定所述区域的值：i)所述多个视点图像中的一个或更多个视点图像、ii)转换后的第二用户的眼睛的位置与第一用户的眼睛的实际位置之间的关系以及iii)所述区域的光线方向，其中，所述光线方向可以是光从所述区域穿过与显示器相关联的光学元件的中心的方向。
所述区域可以是像素，第一观看区可以是所述像素的第一视锥。第二观看区可以是所述像素的第二视锥。
所述区域可以是像素的子像素，第一观看区是所述子像素的第一视锥。第二观看区可以是所述子像素的第二视锥。
根据至少一个示例实施例，一种方法包括：确定第一观看区，其中，第一观看区与显示器的向第一用户显示图像的区域相关联。所述方法包括：将第二用户的眼睛的位置从第二观看区转换到第一观看区；并基于转换后的第二用户的眼睛的位置以及第一用户的眼睛的实际位置来确定所述区域的值。
所述方法包括：渲染图像，使得所述区域具有所确定的值从而显示图像的对应部分。
所述图像可以是包括多个视点图像的立体图像，并且确定值的步骤基于以下项来所述所述值：i)所述多个视点图像中的一个或更多个视点图像、ii)转换后的第二用户的眼睛的位置与第一用户的眼睛的实际位置之间的关系以及iii)所述区域的光线方向。所述光线方向可以是光从所述区域穿过与显示器相关联的光学元件的中心的方向。
所述区域可以是像素，第一观看区可以是所述像素的第一视锥。第二观看区可以是所述像素的第二视锥。
所述区域可以是像素的子像素，第一观看区是所述子像素的第一视锥。第二观看区可以是所述子像素的第二视锥。
示例实施例的另外的方面将在下面的描述中被部分阐述，部分从该描述将是清楚的，或者可以通过本公开的实践而获知。
附图说明
从以下结合附图对示例实施例进行的描述，这些和/或其它方面将变得清楚和更容易理解，其中：
图1示出根据至少一个示例实施例的光场渲染设备的操作；
图2示出根据至少一个示例实施例的光场渲染设备的包括多个观看者的观看区的示例；
图3示出根据至少一个示例实施例的光场渲染处理；
图4是示出根据至少一个示例实施例的光场渲染方法的示例的流程图；
图5示出根据至少一个示例实施例的光场渲染设备的检测用户的眼睛的位置的处理；
图6示出根据至少一个示例实施例的光场渲染设备的映射用户的视点的处理；
图7A和图7B示出根据至少一个示例实施例的确定视锥(view cone)的大小的处理；
图8至图10示出根据至少一个示例实施例的光场渲染设备的确定光线方向范围的处理；
图11示出根据至少一个示例实施例的光场渲染设备的确定每个子视点区的内容的处理；
图12A至图12C示出根据至少一个示例实施例的光场渲染设备的确定每个子视点区的内容的处理；
图13A至图13G示出渲染设备在与图12A相同的情况下基于用户的眼睛的位置确定图像的各种示例；
图14A至图14M示出渲染设备在与图12B相同的情况下基于用户的眼睛的位置确定图像的各种示例；
图15A至图15K示出渲染设备在与图12B相同的情况下基于用户的眼睛的位置确定图像的各种示例；
图16A至图16J示出渲染设备在与图12B相同的情况下基于用户的眼睛的位置确定图像的各种示例；
图17A至图17I示出渲染设备在与图12C相同的情况下基于用户的眼睛的位置确定图像的各种示例；
图18示出根据至少一个示例实施例的光场渲染设备的确定子像素的值的处理；
图19是示出根据至少一个示例实施例的光场渲染方法的另一示例的流程图；
图20是示出根据至少一个示例实施例的光场渲染方法的另一示例的流程图；
图21示出根据至少一个示例实施例的包括两个光学层的光场渲染设备的处理；
图22是示出根据至少一个示例实施例的光场渲染设备的框图。
具体实施方式
现在将参照示出示例实施例的附图更加全面地描述发明构思。提供这些示例实施例从而本公开将是彻底和完整的，并且将本公开的发明构思完全地传达给本领域的技术人员。可以以具有各种变化的许多不同形式来实现发明构思，并且将在附图中示出并详细地解释一些实施例。然而，这不应被解释为限于在此阐述的示例实施例，相反，应理解，在不脱离发明构思的原理和精神的情况下可在这些示例实施例中进行改变，发明构思的范围被定义在权利要求和它们的等同物中。相同的参考标号始终表示相同的元件。在附图中，为了清楚可夸大层和区域的厚度。
将理解，尽管在此可使用术语第一、第二等来描述各种元件，但是这些元件不应被这些术语所限制。这些术语仅用于区分一个元件与另一元件。例如，在不脱离示例实施例的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。如在此使用，术语“和/或”包括一个或更多个相关列出的项的任意或全部组合。
应理解，当元件被称作“连接”或“耦合”到另一元件时，该元件可能直接地连接或耦合到所述另一元件，或者可存在中间元件。相反，当元件被称作“直接连接”或“直接耦合”到另一元件时，不存在中间元件。应该以类似的方式解释用于描述元件之间的关系的其它词语(例如，“在…之间”与“直接在…之间”、“相邻”与“直接相邻”等)。
除非另外特别说明，或从讨论是清楚的，否则诸如“处理”或“计算”或“运算”或“确定”或“显示”等的术语表示计算机系统或类似电子计算装置的动作或处理，其中，所述计算机系统或类似电子计算装置对计算机系统的寄存器或存储器内的表示为物理量、电子量的数据进行操控并将其变换为计算机系统存储器或寄存器或其它这样的信息存储、传输或显示装置内的被类似地表示为物理量的其它数据。
在以下描述中提供具体细节，以提供对示例实施例的整体理解。然而，本领域普通技术人员将理解：示例实施例可在没有这些具体细节的情况下被实施。例如，系统可被示出在框图中，从而不以不必要的细节使示例实施例模糊。在其它示例中，公知的处理、结构和技术可在无需不必要的细节的情况下被示出，从而避免模糊示例实施例。
在以下的描述中，将参照操作的动作和符号表示(例如，以流程图、流程框图、数据流图、结构图、框图等的形式)来描述示意性实施例，其中，所述操作可被实现为包括执行具体任务或实现具体抽象数据类型的例程、程序、对象、组件、数据结构等的程序模块或功能性处理，并且可使用现有电子系统(例如，电子成像系统、图像处理系统、数字傻瓜相机、个人数字助手(PDA)、智能手机、平板个人计算机(PC)、膝上型计算机等)中的现有硬件来实现操作。这样的现有硬件可包括：一个或多个中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程逻辑门阵列(FPGA)计算机等。
尽管流程图可按照顺序过程来描述操作，但是许多操作可以被并行地、共同地或同时地执行。此外，操作的顺序可被重排。当处理的操作完成时该处理可被终止，但是还可具有未包括在附图中的额外的步骤。处理可对应于方法、函数、进程、子例程、子程序等。当处理对应于函数时，处理的终止可对应于将该函数返回到调用函数或主函数。
如在此公开的，术语“存储介质”、“计算机可读存储介质”或“非暂时性计算机可读存储介质”可表示用于存储数据的一个或更多个装置，包括只读存储器(ROM)、随机存取存储器(RAM)、磁RAM、核存储器、磁盘存储介质、光学存储介质、闪存装置和/或其它用于存储信息的有形的或非暂时性机器可读介质。术语“计算机可读介质”可包括(但不限于)能够存储、包含或承载指令和/或数据的便携式存储装置或固定式存储装置、光学存储装置和各种其它有形的或非暂时性介质。
此外，可通过硬件、软件、固件、中间件、微码、硬件描述语言或它们的任意组合来实现示例实施例。当在软件、固件、中间件或微码中实施时，用于执行必要的任务的程序代码或代码段可被存储在机器或计算机可读介质(诸如，计算机可读存储介质)中。当在软件中实施时，一个处理器或多个处理器可被编程以执行必要的任务，因此被变换为专用处理器或计算机。
在此使用的术语仅用于描述特定实施例，而不是为了限制。如在此使用的，除非上下文另有清楚的指示，否则在此使用的单数形式也意图包括复数形式。还将理解，当在本说明中使用术语“包括”、“包括...的”、“包含”和/或“包含...的”时，其表示存在叙述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或更多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。
除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与发明构思所属领域的普通技术人员通常理解的含义相同的含义。还将理解，除非在此明确定义，否则术语(诸如在常用词典中定义的术语)应被解释为具有与它们在相关领域的上下文中的含义一致的含义，而不将被解释为理想化或过于形式化的意义。
如在此所使用的，术语“和/或”包括一个或多个相关所列项的任意和所有组合。当诸如“...中的至少一个”的表述在一列元素之后时，所述表述修饰整列元素，而不是修饰列的单个元素。
在附图中，相同的参考标号始终表示相同的元件。此外，将被描述的示例实施例将用于光场显示方法的渲染操作。光场显示方法是指呈现3维(3D)图像的自由立体方法。例如，光场显示方法可应用于3D电视(TV)、3D监视器、3D数字信息显示(DID)和3D移动装置。
图1示出根据至少一个示例实施例的光场渲染设备的操作。图1示出光场渲染设备100的配置。
光场渲染设备100可表现从呈现在空间上的点多方位地输出的光。光场渲染设备100采用实际对象在单个点多方位地生成或反射光的原理。术语“渲染”可表示生成将在面板101上显示的图像以在3D空间生成光场的操作。例如，“渲染”可以是确定包括在面板101中的像素或子像素的值以在3D空间生成光场的操作。
光场渲染设备100可包括包含像素的面板101和发射从像素输出的光的光学层103。构成面板101的像素的子像素的结构可进行各种改变。例如，面板101可以是子像素以条纹图案排列的红绿蓝(RGB)面板或者是子像素以菱形图案排列的波形瓦面板(pan tilepanel)。
光场渲染设备100可基于例如波形瓦面板来配置不同方向的光线。一般的RGB面板具有单个像素包括均具有相同大小的R子像素、G子像素和B子像素的子像素结构。相反，包括在波形瓦面板中的R子像素、G子像素和B子像素可以具有不同的大小。可在单个像素中对角地设置G子像素和R子像素。此外，可在单个像素中对角地设置G像素和B像素。单个像素内的子像素的布置可被各种改变。此外，R子像素、G子像素和B子像素中的每个子像素的大小和形式可被各种改变。
光学层103可包括光学滤波器，例如，柱状透镜、视差屏障、透镜阵列和微透镜阵列。光学层103可包括定向背光单元。在一些示例实施例中，除了前面提及的光学滤波器之外，光学层103还可包括可在显示器的前表面或后表面布置的任何类型的光学层。
通过光学层103可确定从包括在面板101中的子像素输出的光线方向。从每个子像素输出的光可在穿过光学层103的同时沿特定方向照射。通过该处理，光场渲染设备100可显示有立体感的图像(立体图像)或多视点图像。光场渲染设备100的光学特性可包括与在面板101中包括的子像素的光线方向相关联的特性。
光学层103可包括多个光学元件104和光学元件105。光学元件104和光学元件105中的每个光学元件可被称为3D像素。单个3D像素可沿多个方向输出包括不同信息的光线。例如，可从包括在光学层103中的单个3D像素输出15×4个方向的光线110。光场渲染设备100可使用多个3D像素呈现3D空间上的点。
面板101内的子像素的位置和/或大小可基于面板101的子像素结构而改变。因此，从面板101内的每个子像素输出的光线方向可基于面板101的子像素结构而改变。参照图22来讨论光场渲染设备100的其它细节。
图2示出根据至少一个示例实施例的光场渲染设备的包括多个观看者的观看区的示例。在下文中，为了清楚，将基于根据子像素单元来执行渲染的一些示例实施例进行描述。然而，根据一些示例实施例的光场渲染设备可被修改，从而可基于像素单元来执行渲染。在此情况下，包括在同一像素中的子像素可以是相关的，诸如具有实质上相同的光前进方向。
图2示出包括在面板101中的每个子像素的光线方向是光线穿过光学层103中的光学元件中的一个光学元件的中心的方向并且沿子像素的光线方向传播的光到达多个观看者210和观看者230的双眼的示例。
在描述与观看者210和观看者230相关联的情况之前，当单个观看者出现在光场渲染设备的观看区内时，可如以下来确定与该观看者的双眼对应的图像。例如，当确定沿子像素的光线方向传播的光到达比观看者的右眼更接近于观看者的左眼时，可确定该子像素对应于左图像。此外，当确定沿子像素的光线方向传播的光相比于观看者的左眼更接近于观看者的右眼时，可确定该子像素对应于右图像。
在下文中，将描述多个观看者210和观看者230出现在光场渲染设备的观看区中并且独立地确定观看位置的示例。
相对大量的视点或光线用于在视角内按照每个观看者的双眼之间的距离呈现(即，显示)宽视角和不同的图像，从而呈现包括多个观看者210和230的观看区。如果在单子个像素中使用的视点的数量或光线的数量增加，则由光场渲染设备显示的单个视点图像的分辨率可能降低。
此外，如果在单个子像素中使用的视点的数量或光线的数量增加，则由于相对大量的视点或光线之间的干扰而可能在观看者210和观看者230中的每个观看者的视角中发生串扰。
图3示出根据至少一个示例实施例的光场渲染处理。图3示出多个观看者310和观看者330出现在根据一些示例实施例的光场渲染设备(在下文中，渲染设备)的观看区中并且多个观看者310和观看者330出现在不同的视点区(例如，第一视点区315和第二视点区335)中而不是出现在单个视点区中的示例。渲染设备可使用软件模块、硬件模块或者是软件模块和硬件模块的各种组合来配置。例如，渲染设备可包括来自图1和图22的元件的组合。在另一示例中，可通过图22中的处理器2010(即，专用处理器)来实现渲染设备。
渲染设备可使用透镜来配置不同方向的光线。这里，面板101可包括用于显示图像的子像素。光学层103是用于将从每个子像素输出的光限制在特定方向的光学元件的集合。
渲染设备可确定每个观看者的优先级并且可显示针对具有相对高(或最高)优先级的观看者的图像。渲染设备可确定每个观看者的优先级，并且可为具有相对高优先级的观看者显示图像。渲染设备可通过基于来自各个子像素的光线之间的关系以及朝向观看者的眼睛的光线方向来确定哪些内容将被显示在哪个观看者的哪只眼睛上，从而实现针对多个观看者的光场渲染。在下文中，在多个观看者之中，具有最高优先级的观看者被称为第一用户，具有下一个高优先级的观看者被称为第二用户。
可使用各种方法来确定观看者的优先级。例如，可通过接收来自观看者中的一个观看者的输入来确定优先级。为此目的，可提供各种输入接口，例如，通过外部输入装置(诸如，遥控和智能电话)的输入、通过运动或手势识别的输入以及通过语音识别的输入。可选地，可使用脸部识别方法来自动地确定优先级。例如，可使用视觉传感器来识别观看者的脸部，并且可基于识别出的观看者和预先注册的主要用户的列表来确定优先级。前面提及的方法是示例，因此确定观看者的优先级的方法可被各种改变。
参照图3，当存在多个用户时，渲染设备可基于第一用户310的左眼来定义与视点区的宽度对应的区域，并且可显示定义的区域内的所有用户的眼睛方向。当第二用户330的眼睛出现在与第一视点区315相邻的第二视点区335中时，渲染设备可移动(或转换)第二用户330的眼睛的位置，并且沿与第一视点区315对应的方向显示第二用户330的眼睛。该处理在此被称为眼睛映射处理(或眼睛转换处理)，并且参照图6进一步地描述该处理。
渲染设备可基于在单个视点区中映射的双眼的方向来确定针对双眼的图像将被显示的光线方向范围。该处理在此被称为光线方向范围确定处理。将参照图8至图10来描述光线方向范围确定处理。
渲染设备可基于方向范围的大小和关于在单个视点区中映射的双眼的布置顺序，确定将被显示在双眼上的图像或内容。例如，渲染设备可基于双眼的方向来确定将被映射到在光线方向范围中入射的光线的视点图像或内容。该处理被称为内容确定处理。将参照图11至图17I来描述内容确定处理。
在内容确定处理期间，当相邻的光线方向范围的中心方向在特定大小内彼此接近时，渲染设备可确定将在相邻光线方向范围中显示相同的图像或内容。如果在相邻的光线方向范围的中心方向在特定大小内彼此接近的示例中显示不同的图像，则可能发生串扰。在该示例中，渲染设备可通过使第一用户一直观看指定的3D图像(例如，2号图像和3号图像这一对3D图像)来保持针对第一用户310的图像。此外，渲染设备可定义第一用户310观看指定的3D图像所需的最小光线方向范围，并且在小于最小光线方向范围的方向范围中可不确定图像。
当第一用户310能够通过上面提及的处理一直观看指定的3D图像时，渲染设备可使用除了用于显示针对第一用户310的图像或内容的最小像素资源之外的其余的像素资源，以显示针对包括第二用户330的其它用户的图像或内容。
渲染设备可确定用于将沿光线方向范围显示的图像或内容的子像素的值，其中，所述光线方向范围包括来自基于光学层103与包括在面板101中的子像素之间的位置关系而确定的子像素的光线方向。将参照图18来描述确定子像素的值的处理。
根据一些示例实施例，可使用从面板的每个子像素提供的视点区重复的特性来实现高分辨率。此外，根据一些示例实施例，可通过在第一用户310的一只眼和第二用户330的一只眼上显示相同的图像来降低(或可选地，防止)由每个用户(例如，第一用户310和第二用户320)的视角内的相对大量的视点或光线之间的干扰而引起的串扰的发生。
图4是示出根据至少一个示例实施例的光场渲染方法的示例的流程图。
参照图4，在操作410中，渲染设备将第一用户的双眼的位置和第二用户的双眼的位置映射到与显示器的区域(例如，像素)对应的视点区。这里，视点区(或观看区)可包括与包括在面板中的像素和包括在光学层中的光学元件的配对对应的视锥。例如，渲染设备可通过像素与包括在光学层中的光学元件之间的相对位置基于迭代特性，将第一用户的双眼的位置和第二用户的双眼的位置映射到视点区。
在操作420中，渲染设备基于映射的第一用户的双眼的位置和第二用户的双眼的位置来确定显示器的区域(例如，像素)的值。例如，当像素的光线方向对应于第一用户时，渲染设备可将所述像素的值确定为在第一用户的双眼的位置显示立体图像。当所述光线方向对应于第二用户时，渲染设备可将所述像素的值确定为在第二用户的双眼中的至少一个的位置显示立体图像的左图像或右图像。在该示例中，所述光线方向可包括传播经过像素和包括在光学层中的光学元件的光线方向。
如上所述，渲染设备可基于子像素单元来执行渲染。在该示例中，在操作410和操作420中所使用的术语“像素”可理解为子像素。渲染设备可基于操作410中的映射子像素的光线方向的用户的眼睛的位置，如表1所表示来确定子像素的值。
在下文中，在表1中，为了清楚，第一用户的左眼表示为“1L”，第一用户的右眼表示为“1R”，第二用户的左眼表示为“2L”，第二用户的右眼表示为“1R”。此外，表1中所使用的符号“≈”可指示位于符号的左边和右边的用户的眼睛的位置彼此对应。该符号可指示第一用户的眼睛的位置和第二用户的眼睛的位置在用于图像分离和显示的最小距离中是彼此相邻的。例如，‘2L≈1L’可指示2L与1L之间的距离在以下距离中最小的示例：i)2L与1L之间的距离、ii)2L与1R之间的距离、iii)2R与1L之间的距离以及iv)2R与1R之间的距离。
[表1]
参照表1，当子像素的光线方向对应于映射的第一用户的左眼的位置(光线方向：1L)时，渲染设备可基于立体图像的左图像(第二视图)来确定子像素的值。此外，当子像素的光线方向对应于映射的第一用户的右眼的位置(光线方向：1R)时，渲染设备可基于立体图像的右图像(第三视图)来确定子像素的值。
当子像素的光线方向对应于映射的第二用户的左眼的位置(光线方向：2L)时，渲染设备可基于用户的眼睛之间的位置关系来确定子像素的值。例如，当第二用户的左眼的位置对应于第一用户的左眼的位置(2L≈1L)时，渲染设备可基于针对第一用户的立体图像的左图像(第二视图)来确定子像素的值。在该示例中，由于在第一用户的左眼上显示第二视图的操作将被保证，因此可基于第二视图来确定针对第二用户的左眼的子像素的值。此外，当第二用户的左眼的位置对应于第一用户的右眼的位置(2L≈1R)时，渲染设备可基于针对第一用户的立体图像的右图像来确定子像素的值。在该示例中，由于在第一用户的右眼上显示第三视图的操作将被保证，因此可基于第三视图来确定针对第二用户的左眼的子像素的值。
此外，当映射的第二用户的右眼的位置对应于第一用户的左眼的位置(2R≈1L)时，渲染设备可基于针对第一用户的立体图像的左图像或比左图像更左边的视图的图像来确定子像素的值。由于在第一用户的左眼上显示第二视图的操作将被保证，因此第二视图将被显示在第二用户的右眼上。在该示例中，可基于第一视图或第二视图来确定针对第二用户的左眼的子像素的值。
例如，当可基于用户之间的相对位置关系将立体图像提供给第二用户时，可基于第一视图来确定针对第二用户的左眼的子像素的值。在该示例中，由于第二视图被显示在第二用户的右眼上并且第一视图被显示在第二用户的左眼上，因此第二用户可观看到立体图像。作为另一示例，当不可基于用户之间的相对位置关系将立体图像提供给第二用户时，可基于第二视图来确定针对第二用户的左眼的子像素的值。在该示例中，由于第二视图被显示在第二用户的双眼(即，右眼和左眼)上，因此第二用户可观看单视点图像。
此外，当第二用户的右眼的位置对应于第一用户的右眼的位置(2R≈1R)时，渲染设备可基于立体图像的左图像或右图像来确定子像素的值。这里，由于在第一用户的右眼上显示第三视图的操作将被保证，因此第三视图将被显示在第二用户的右眼上。在该示例中，可基于第二视图(即，立体图像)或第三视图(即，单视点图像)来确定针对第二用户的左眼的子像素的值。
当子像素的光线方向对应于第二用户的右眼的位置(光线方向：2R)时，渲染设备可基于用户之间的位置关系来确定子像素的值。例如，当第二用户的右眼的位置对应于第一用户的左眼的位置(2R≈1L)时，渲染设备可基于针对第一用户的立体图像的左图像(第二视图)来确定子像素的值。此外，当第二用户的右眼的位置对应于第一用户的右眼的位置(2R≈1R)时，渲染设备可基于所述立体图像的右图像(第三视图)来确定子像素的值。此外，当第二用户的左眼的位置对应于第一用户的左眼的位置(2L≈1L)时，渲染设备可基于针对第一用户的立体图像的左图像(第二视图)或所述立体图像的右图像(第三视图)来确定子像素的值。此外，当第二用户的左眼的位置对应于第一用户的右眼的位置(2L≈1R)时，渲染设备可基于所述右图像(第三视图)或比所述右图像更右边的视图的图像(第四视图)来确定子像素的值。
根据一些示例实施例，除了用户的数量是两个的示例之外，确定子像素的值的方法可类似地应用于用户的数量是三个或更多个的示例。在该示例中，可以以与用户的数量是两个的情况相同的方式来确定用于三个或更多用户的子像素的值。
根据以上和以下描述，应理解：渲染设备可基于以下项来确定区域(例如，像素或子像素)的值：i)来自立体图像的多个视点图像中的一个或更多个视点图像、ii)转换后的第二用户(例如，用户630)的眼睛的位置与第一用户(例如，用户510)的眼睛的实际位置之间的关系以及iii)所述区域的光线方向，其中，所述光线方向是光从所述区域穿过与显示器相关联的光学元件(例如，光学层103)的中心的方向。将参照图13A至图17I来描述可基于将沿光线方向映射的每个用户的眼睛的位置以及用户的眼睛之间的关系而出现的各种情况。在下文中，将描述在将每个用户的双眼的位置映射到与子像素对应的视点区之前检测用户的眼睛的位置的方法。
图5示出根据至少一个示例实施例的渲染设备的检测用户的眼睛的位置的处理。图5示出来自包括在渲染设备的面板101中的子像素102的光朝向第一用户510的方向穿过包括在光学层103中的光学元件104的区域以及朝向第二用户530的方向穿过光学元件105的区域的示例。
子像素102可多方位地输出光。光从子像素102输出的方向还可被称为光线方向。从子像素102输出的光可以以下述形式来输出：该形式使得在光穿过光学层103的同时，光线方向被量化。例如，从子像素102输出的光线方向可被量化为光线分别穿过包括在光学层103中的光学元件104和光学元件105的中心的方向。
这里，从子像素102朝向第一用户510的左眼1L 513的方向501以及从子像素102朝向第一用户510的右眼1R 516的方向502被假设为穿过光学元件104的区域。此外，从子像素102朝向第二用户530的左眼2L 533的方向503以及从子像素102朝向第二用户530的右眼2R536的方向504被假设为穿过光学元件105的区域。
渲染设备可接收包括第一用户510的双眼(例如，左眼1L和右眼1R)的位置的第一信息以及包括第二用户530的双眼(例如，左眼2L和右眼2R)的位置的第二信息。渲染设备可从跟踪每个用户的双眼的位置的传感器接收包括关于用户的双眼的位置的信息的信号。此外，渲染设备可基于每个用户的眼睛的位置来确定从像素102朝向每个用户的双眼的方向。
渲染设备可基于朝向每个用户的双眼的方向，在每个用户的左眼与右眼之间确定对应于像素102的眼睛。
渲染设备可计算子像素102的光线方向。例如，从子像素102输出的光线可沿光线穿过包括在光学层103中的光学元件104和光学元件105的中心的方向来传播。渲染设备可基于以下项中的至少一项来计算子像素102的光线方向：面板101与光学层103之间的距离、面板101中的子像素102的位置、光学层103中包括的元件之中的被从子像素102输出的光线穿过的光学元件104或光学元件105的位置。在下文中，从子像素输出的光可包括从自发光的子像素(诸如，发光二极管(LED))输出的光以及从发射背光的光的子像素(诸如，液晶显示器(LCD))输出的光。
沿子像素102的光线方向传播的光可对应于第一用户510或第二用户530的视点。渲染设备可选择与沿子像素102的光线方向传播的光所到达的位置对应的用户的视点。
尽管以上描述了渲染设备的基于子像素的光线方向确定与子像素对应的视点以及与子像素对应的区域的操作方法，但是示例实施例可被修改为渲染设备的从表(例如，查找表(LUT))获取与子像素对应的视点以及与子像素对应的区域的操作方法。
例如，当用于拍摄多视点图像的条件(例如，用于拍摄多视点图像的距离、用于拍摄多视点图像的视角、用于拍摄多视点图像的方向以及用于多视点图像的相机参数)被标准化时，与子像素对应的视点以及与子像素对应的区域可被确定。表可基于子像素结构来存储与对应于包括在面板101中的子像素的视点和区域相关联的信息。在此情况下，渲染设备可通过参照表来确定与子像素对应的视点以及与子像素对应的区域。
图6示出根据至少一个示例实施例的渲染设备的映射用户的视点的处理。
图6示出将从子像素朝向每个用户的双眼的方向映射到与单个视锥对应的方向的结果。
参照图6，以单个光学元件(例如，光学元件104)的宽度而与方向501穿过光学层103的第一位置601隔开的第二位置602可被定义。这里，与面板101的子像素102以及包括在光学层103中的光学元件104对应的方向范围可被定义为观看区(例如，视点锥或视锥)650。也就是说，基于子像素102穿过第一位置601的方向501与基于子像素102穿过第二位置602的方向605之间的方向范围可被定义为视锥650。
渲染设备可基于例如光学层103的图案周期以及光学层102与包括子像素102的面板101之间的距离来确定视锥大小。将参照图7来描述通过渲染设备确定视锥大小的方法。
渲染设备计算从子像素102朝向每个用户的眼睛的光线方向，并且将朝向每个用户的眼睛的方向映射到与单个视锥对应的方向。
渲染设备可计算从每个子像素朝向每个用户的每个眼睛的光线方向。这里，渲染设备可基于具有最高优先级的用户的眼睛方向(例如，第一用户510的左眼1L 513的方向)，确定与单个视锥650对应的方向范围。渲染设备可将与视锥650对应的方向范围外部的用户(例如，第二用户530)的眼睛方向映射到视锥650的方向范围内。换言之，渲染设备可将第二用户的眼睛的位置从一个观看区(例如，参见图3中的视锥335)转换到另一观看区(例如，视锥650)。然后，渲染设备可基于转换后的第二用户的眼睛的位置633和636以及第一用户的眼睛的实际位置513和516来确定子像素102的值(例如，参见图18)。
如以上参照图5所描述的，朝向第二用户530的左眼2L 533和右眼2R536传播的光已经穿过光学元件105的区域，因此可被认为是不在视锥650内。在该示例中，当提供给第二用户530的双眼的光被转换为穿过光学元件104的区域而不是穿过光学元件105的区域时，第二用户530可被转换到第二用户630所示的位置。此外，左眼2L 533的位置可被转换到新的位置(即，左眼2L'633)，并且右眼2R 536可被转换到新的位置(即，右眼2R'636)。此外，方向503可被转换到新的方向(即，方向603)，并且方向504可被转换到新的方向(即，方向604)。
由于从子像素102穿过光学元件105的光线与方向503和方向504之间的关系和从子像素102穿过光学元件104的光线与方向603和方向604之间的关系相同，因此可执行以上的转换。
渲染设备通过将朝向第一用户510和第二用户530的双眼的方向501、方向502、方向503和方向504映射到视锥650内来获得方向501、方向502、方向603和方向604。
渲染设备可基于单个视锥来映射每个用户的眼睛方向，并且可基于映射的眼睛方向来确定图像将被显示在双眼上的光线方向范围。例如，光线方向范围可被确定为与期望的(或可选地，预定的)方向差的宽度对应的范围。将参照图8至图10来描述确定光线方向范围的方法。在下文中，将基于映射到视锥650内的第二用户630的位置来描述渲染设备的操作。
图7A和图7B示出根据至少一个示例实施例的确定视锥(或观看区)的大小的处理；
图7A和图7B示出第一用户的双眼(例如，左眼1L 701和右眼1R 702)以及第二用户的双眼(例如，左眼2L 703或705和右眼2R 704或706)。
第一用户的双眼在左眼1L 701和右眼1R 702之间具有1瞳孔间距(IPD)。这里，IPD表示双眼的瞳孔中心之间的距离。当第二用户的双眼在第一用户的双眼外部时，可要求基于第一用户的任一眼睛的最小可分开距离，例如，0.5IPD或更大。最小可分开距离可被定义为为了降低(或可选地，防止)在不同内容之间发生的串扰所期望的最小距离。
参照图7A，当第二用户的一只眼睛(例如，左眼2L 703)位于第一用户的左眼1L701与右眼1R 702之间的中心时，第二用户的左眼2L 703显示与针对第一用户的双眼(例如，左眼1L 701和右眼1R 702)中的任一眼睛的图像相同的图像。
在第二用户的左眼2L 703被假设为显示与针对第一用户的右眼1R 702的图像相同的图像的示例中，最小可分开距离(例如，0.85IPD)可被设置以降低(或可选地，防止)串扰的发生，而不管将图像分配给显示不同图像的第一用户的左眼1L 701和第二用户的左眼2L 703。
将参照图7B来描述第二用户的双眼(例如，左眼2L 703和右眼2R 704)连同第一用户的双眼(例如，左眼1L 701和右眼1R 702)一起将位于视锥710内的示例。
当第二用户的左眼2L 703位于比第一用户的右眼1R 702更右0.5IPD或更多时，或者当第二用户的右眼2R 706位于比第一用户的左眼1L 701更左时，针对每个用户的双眼的内容可被有效地分开。当视锥710在最优观看距离中具有3IPD或更大的大小时，渲染设备可有效地分开针对两个用户各自的内容。渲染设备可将针对两个用户的视锥710确定为在最优观看距离内具有3IPD或更大的大小。
图8示出根据至少一个示例实施例的渲染设备的确定光线方向范围的处理的示例。在下文中，将参照图8来描述由渲染设备通过使用朝向各个眼睛的方向之间的中间值作为边界来确定光线方向范围的方法。
渲染设备可将与各个方向501、502、603、604和605之间的中间值对应的方向801、802、803和804确定为与各个眼睛对应的光线方向范围的边界。方向501、502、603、604和605对应于光朝向各个眼睛从子像素102穿过光学元件104的方向。
例如，渲染设备可将方向501与方向801之间的区域以及方向804与方向605之间的区域确定为针对第一用户510的左眼1L 513的光线方向范围，并可将方向801与方向802之间的区域确定为针对第一用户510的右眼1L 516的光线方向范围。此外，渲染设备可将方向802与方向803之间的区域确定为针对第二用户630的左眼2L 633的光线方向范围，并且可将方向803与方向804之间的区域确定为针对第二用户630的右眼2R 636的光线方向范围。
在下文中，由在与子像素102对应的期望(或可选地，预定)视点区(或观看区，例如，视锥650)中的针对每个用户的眼睛的光线方向范围的边界确定的区域的一部分将被称为子视点区(或子观看区)。例如，方向501与方向801之间的区域、方向804与方向605之间的区域、方向801与方向802之间的区域、方向802与方向803之间的区域以及方向803与方向804之间的区域可以是子视点区。
图9示出根据至少一个示例实施例的渲染设备的确定光线方向范围的处理的另一示例。
在下文中，将参照图9来描述由渲染设备基于朝向每只眼睛的方向通过使用具有特定大小的区域将光线方向范围确定为边界的方法。
渲染设备可基于朝向第一用户510的左眼1L 513的方向501来确定进一步向右分开特定距离的方向901，并且可基于等同于方向501的方向605来确定进一步向左分开特定距离的方向902。
这里，当来自子像素102的光线方向对应于方向501与方向901之间的区域以及方向902与方向605之间的区域时，子像素102可呈现第一用户510的左眼1L 513所观看的图像，并且方向501与方向901之间的区域以及方向902与方向605之间的区域可被视为针对第一用户510的左眼1L 513的光线方向范围。
类似地地，渲染设备可基于朝向第一用户510的右眼1R 516的方向502来确定进一步向左分开特定距离的方向903，并且可基于方向502来确定进一步向右分开特定距离的方向904。
可从图9中验证：方向903与方向502之间的距离不同于方向502与方向904之间的距离。这是因为：与方向502向右进一步分开方向903与方向502之间的距离的方向比与朝向第一用户510的右眼1R 516的方向502与朝向第二用户的左眼2L 633的方向603之间的中间对应的方向的位置更右。
当两个眼睛之间的距离未保证期望的(或可选地，预定的)大小时，渲染设备可将朝向双眼的方向之间的中间方向确定为边界。因此，方向904可被称为方向502与方向603之间的中间方向。
类似地，渲染设备可基于朝向第二用户630的左眼2L 633的方向603，将方向904和方向905分别确定为针对左边和右边的光线方向范围的边界。渲染设备可基于朝向第二用户630的右眼2R 636的方向604，将方向906和方向907分别确定为针对左边和右边的光线方向范围的边界。
如果在图9中基于朝向每个用户的眼睛的方向确定的光线范围不够大，则来自子像素102的光线方向可能未被包括在针对用户的眼睛的任意光线方向范围中。在此情况下，来自子像素102的光线可不用于呈现针对任意用户的眼睛的图像。
图10示出根据至少一个示例实施例的渲染设备的确定光线方向范围的处理的又一示例。图10示出渲染设备修改确定的光线方向范围的示例。
尽管光线方向范围已被确定，但是可根据对第一用户510的观看环境给予的优先级，对确定的光线方向范围进行修改。
渲染设备可基于第一用户510的左眼1L 513，将方向501与方向1001之间的区域以及方向1002与方向605之间的区域设置为最小显示区域。这里，最小显示区域可被定义为可允许的最小可分开距离内的区域。可允许的最小可分开距离是指发生可允许范围的串扰的最小距离，并且指示在基于两个位置之间的中心将不同图像显示在两侧时在两个位置发生期望的(或可选地，预定义的)或更小等级的串扰的最小距离。总之，无串扰的最小距离可被设置。
这里，最小显示区域(例如，方向1002与方向605之间的区域)被包括在例如与方向501和方向801之间的区域对应的光线方向范围以及图8中设置的方向804与方向605之间的区域中。因此，渲染设备可不修改光线方向范围。
以与上面相同的方式，渲染设备可基于第一用户510的右眼1R 516将方向1003与方向1004之间的区域设置为最小显示区域。在该示例中，由于最小显示区域的一部分(例如，方向1003与方向1004之间的区域)偏离了图8中设置的光线方向范围，因此渲染设备可修改光线方向范围。这里，针对第一用户510的右眼1R 516以及第二用户630的左眼2L 633的光线方向范围可被修改。
针对第一用户510的右眼1R 516的光线方向范围可从方向801与方向802之间的区域扩展到方向801与方向1004之间的区域。针对第二用户630的左眼2L 633的光线方向范围可从方向802与方向803之间的区域减小到方向1004与方向803之间的区域。
图11示出根据至少一个示例实施例的渲染设备的确定每个子视点区的内容的处理的示例。
渲染设备可基于通过光线方向范围确定处理确定的光线方向范围信息，确定将在每个光线方向范围中显示的图像。例如，渲染设备可确定将在针对第一用户510的左眼1L513和右眼1R 516的光线方向范围中显示的期望的(或可选地，预定义的)立体图像。渲染设备可使用除了第一用户510所需的子像素之外的其余资源来呈现针对第二用户630的图像。
渲染设备可确定将在第一用户510的双眼(例如，左眼1L 513和右眼1R 516)上显示的图像，并且可确定将在针对第二用户630的左眼2L 633和右眼2R 636的光线方向范围中所显示的图像。为了更加有效地利用资源，渲染设备使得与第一用户510的一只眼睛观看的内容相同的内容能够被第二用户630的左眼2L 633和右眼2R 636中的一只眼或两只眼观看。
渲染设备可基于例如每个光线方向范围与从子像素102朝向双眼的方向之间的关系，确定将在针对第二用户630的左眼2L 633和右眼2R 636的光线方向范围中所显示的图像。将参照图12至图15来描述由渲染设备确定将在每个用户的双眼上显示的图像的方法。
图12A、图12B和图12C示出根据至少一个示例实施例的渲染设备的确定每个子视点区的内容的处理的另一示例。
图12A、图12B和图12C示出在视锥内基于两个用户的双眼之间的位置关系针对各个子视点区所显示的图像(例如，内容)。
这里，单个输入图像1210包括四个视点图像，例如，1号图像、2号图像、3号图像和4号图像。这里，所述四个视点图像以1IPD的间隔彼此分开。当用户在左眼和右眼观看具有相邻标号的图像时，用户可感知与当前整个立体图像对应的深度的等级。
根据一些示例实施例，可基于第一用户的针对每个子像素的视锥来对第二用户的方向以及双眼的方向区域进行分类。此外，2号图像和3号图像这一对图像(图像对2和3)可一直被提供给第一用户，与下面的每个情况对应的图像可被提供给第二用户。
在图12A、图12B和图12C的视锥中，包括来自单个子像素的光线方向的区域的图像可被表示为该子像素的值。
在下文中，将描述在视锥内基于第一用户的左眼1L和右眼1R与第二用户的左眼2L和右眼2R之间的位置关系而将在每个用户的眼睛上显示的图像。
图12A示出第二用户观看3号图像和4号图像的示例，图12B示出第二用户观看2号图像和3号图像的示例，图12C示出第二用户观看1号图像和2号的图像的示例。
参照图12A，在第二用户的左眼2L和第一用户的右眼1R彼此靠近，或者眼睛以第一用户的左眼1L、第一用户的右眼1R、第二用户的左眼2L和第二用户的右眼2R的顺序排列，并且第一用户的右眼1R与第二用户的左眼2L之间的距离小于第二用户的右眼2R与第一用户的左眼1L之间的距离的示例中，渲染设备可在第一用户的左眼1L上显示2号图像，可在第一用户的右眼1R和第二用户的左眼2L上显示3号图像，并且可在第二用户的右眼2R上显示4号图像。这里，在视锥的右端由虚线所指示的“1L”可被视为位于与位于视锥的左端的第一用户的左眼1L的位置相同的位置。
参照图12B，在第一用户的左眼1L和第二用户的左眼2L在与2号图像对应的子视点区内靠近，并且第一用户的右眼1R和第二用户的右眼2R在与3号图像对应的子视点区内靠近的示例中，渲染设备可将2号图像显示为在第一用户的左眼1L和第二用户的左眼2L被观看，并且可将3号图像显示为在第一用户的右眼1R和第二用户的右眼2R被观看。这里，每个用户可观看立体图像对2和3。
参照图12C，在第一用户的左眼1L和第二用户的右眼2R在与2号图像对应的子视点区内靠近，或者眼睛以第一用户的左眼1L、第一用户的右眼1R、第二用户的左眼2L和第二用户的右眼2R的顺序排列的示例中，渲染设备可在第一用户的左眼1L和第二用户的右眼2R上显示2号图像，可在第一用户的右眼1R上显示3号图像，并且可在第二用户的左眼2L上显示1号图像。
在下文中，将参照图13A至图17I来描述在如图12A、12B和12C所示的情况下基于每个用户的眼睛的位置，观看距离相似或不相似的各种示例。
参照图13A至图17I，视锥的区域用矩形的宽度来表现，并且水平方向的位置被表示为视锥内的单一方向。此外，在视锥内与用户的眼睛对应的方向被表示为水平方向的位置。渲染设备可在位于视锥内的每个用户的双眼之间的中心点绘制边界，并且可确定适合于边界之间的区域的视点。
在图13A至图17I中，使用虚线表示的距离小于使用实线表示的距离，并且使用交替的长短线表示的距离可指示最小可分开距离。
根据用于确定内容或图像的策略，由于2号图像和3号图像将一直被显示在第一用户的双眼上，因此渲染设备可将2号图像确定为针对第一用户的左眼1L，并且可将3号图像确定为针对第一用户的右眼1R。此外，渲染设备可确定每个子视点区的图像，从而第二用户也可观看3D图像。
图13A至图13G示出根据至少一个示例实施例的渲染设备的确定用于每个子视点区的图像的处理的示例。
图13A至图13G示出渲染设备在与图12A相同的情况下基于用户的眼睛的位置确定图像的各种示例。
在下文中，将描述观看距离相似的情况。
图13A和图13B示出第一用户和第二用户的观看距离相似并且在视锥内第一用户和第二用户的双眼方向之间的距离相似的示例。
参照图13A，基于视锥区域的迭代特性，视锥的右端可被视为与位于视锥的左端的第一用户的左眼1L的位置相同。
渲染设备可基于例如第一用户的左眼1L和第二用户的右眼2R之间的距离与第一用户的右眼1R和第二用户的左眼2L之间的距离之中的相对近的距离，选择或确定子视点区的图像。
参照图13A，由于第一用户的右眼1R与第二用户的左眼2L之间的距离小于第一用户的左眼1L与第二用户右眼2R之间的距离，因此渲染设备可将3号图像确定为针对第二用户的左眼2L并将4号图像确定为针对第二用户的右眼2R。第二用户可观看3D图像对3和4。
图13B示出第二用户的左眼2L已经移动到第一用户的双眼之间，并且位于相对靠近于第一用户的右眼1R的位置的示例。在该示例中，类似于图13A，渲染设备可将3号图像确定为针对第二用户的左眼2L并将4号图像确定为针对第二用户的右眼2R。第二用户可观看3D图像对3和4。
在下文中，将描述观看距离不相似的情况。
与上面提及的观看距离相似的情况不相似，不保证两个用户一直以相似的观看距离来观看图像。因此，需要在观看距离不相似时通过渲染设备选择或确定图像的方法。将描述在两个用户的观看距离不相似的各种情况下通过渲染设备确定针对第二用户的图像的方法。
图13C和13D示出第二用户的左眼2L位于第一用户的双眼之间，并且与第一用户的左眼1L相比，第二用户的左眼2L更靠近于第一用户的右眼1R的示例。这里，图13C示出第二用户的右眼2R位于比第一用户的右眼1R更右的位置，并且第二用户的右眼2R与第一用户的右眼1R之间的距离大于使用交替长短线所表示的最小可分开距离的示例，图13D示出第二用户的右眼2R与第一用户的左眼1L之间的距离也大于最小可分开距离的示例。
在图13C和图13D中，渲染设备可将3号图像确定为针对第二用户的左眼2L，并将4号图像确定为针对第二用户的右眼2R。第二用户可观看3D图像对3和4。
图13E示出第二用户的左眼2L位于比第一用户的右眼1R更右的位置，并且第二用户的左眼2L与第一用户的右眼1R之间的距离小于最小可分开距离的示例。图13F示出第二用户的右眼2R位于比第二用户的左眼2L更右的位置，并且第一用户的左眼1L与第二用户的右眼2R之间的距离大于最小可分开距离的示例。在图13E和图13F中，渲染设备可在第二用户的左眼2L上显示3号图像，并且在第二用户的右眼2R上显示4号图像。当在图13F中第二用户的右眼2R与第一用户的左眼1L之间的距离在最小可分开距离内时，渲染设备保证第一用户的观看环境，因此在第二用户的右眼2R上可能发生串扰。
图13G示出第二用户的左眼2L位于比第一用户的右眼1R更右的位置，并且第二用户的左眼2L与第一用户的右眼1R之间的距离大于最小可分开距离的示例。这里，假设第二用户的右眼2R与第二用户的左眼2L之间的距离大于最小可分开距离，并且第一用户的右眼1R与第二用户的右眼2R之间的距离小于第二用户的右眼2R与第一用户的左眼1L之间的距离。
在该示例中，渲染设备可将与针对第一用户的右眼1R的3号图像相同的3号图像确定为针对第二用户的左眼2L，并且可将4号图像确定为针对第二用户的右眼2R，从而第二用户可观看3D图像。第二用户可观看3D图像对3和4。
图14A至图16J示出根据至少一个示例实施例的渲染设备的确定针对每个子视点区的图像的处理的示例。
图14A至图16J示出渲染设备在与图12B相同的情况下基于用户的眼睛的位置确定图像的各种示例。
在下文中，将描述观看距离相似的情况。
图14A示出第二用户的左眼2L位于第一用户的左眼1L与右眼1R之间，并且与第一用户的右眼1R相比，第二用户的左眼2L更靠近于第一用户的左眼1L的示例。在该示例中，由于第二用户的左眼2L与第一用户的左眼1L相邻，因此渲染设备可将与针对第一用户的左眼1L的2号图像相同的2号图像确定为针对第二用户的左眼2L。此外，渲染设备可将3号图像确定为针对第二用户的右眼2R，从而第二用户可顺利地观看3D图像。在该示例中，第一用户和第二用户全部可观看2号图像和3号图像。
图14B示出第二用户的右眼2R位于第一用户的双眼之间，并且与第一用户的左眼1L相比，第二用户的右眼2R位于更靠近于第一用户的右眼1R的位置的示例。在该示例中，由于第二用户的右眼2R与第一用户的右眼1R相邻，因此渲染设备可将与针对第一用户的右眼1R的3号图像相同的3号图像确定为针对第二用户的右眼2R。渲染设备可将与针对第一用户的左眼1L的2号图像相同的2号图像确定为针对第二用户的左眼2L。
在下文中，将描述观看距离不相似的情况。
图14C至图14H示出当第二用户的左眼2L与第一用户的左眼1L之间的距离在用于图像分离和显示的最小距离内时，渲染设备的确定第二用户的右眼2R的位置的图像的处理的示例。
图14C示出第二用户的右眼2R位于第二用户的左眼2L与第一用户的左眼1L之间的示例。渲染设备可在存在于可以进行分离和显示的最小距离中的用户的眼上显示相同的图像。渲染设备可将相同的2号图像确定为针对第二用户的左眼2L和右眼2R的全部。第二用户可以以2D形式观看2号图像。
图14D示出第二用户的右眼2R位于第一用户的左眼1L与右眼1R之间，并且与第一用户的右眼1R相比，第二用户的右眼2R更靠近于第一用户的左眼1L的示例。在该示例中，由于第二用户的双眼(即，左眼2L和右眼2R)靠近于第一用户的左眼1L，因此渲染设备可将2号图像确定为针对第二用户的左眼2L和右眼2R的全部。
图14E示出第二用户的右眼2R位于第一用户的左眼1L与右眼1R之间，并且与第一用户的左眼1L相比，第二用户的右眼2R更靠近于第一用户的右眼1R的示例。在该示例中，第二用户的左眼2L更靠近于第一用户的左眼1L，并且第二用户的右眼2R更靠近于第一用户的右眼1R。因此渲染设备可将2号图像确定为针对第二用户的左眼2L，并将3号图像确定为针对第二用户的右眼2R。第二用户可观看3D图像对2和3。
图14F示出第二用户的右眼2R位于第一用户的右眼1R与第二用户的左眼2L之间，并且与第二用户的左眼2L相比，第二用户的右眼2R更靠近于第一用户的右眼1R的示例。在该示例中，渲染设备可将2号图像确定为针对第二用户的左眼2L并将3号图像确定为针对第二用户的右眼2R。第二用户可观看与第一用户所观看到的3D图像对2和3相同的3D图像对2和3。
图14G示出第二用户的右眼2R位于第一用户的右眼1R与第二用户的左眼2L之间的示例。这里，尽管与第一用户的右眼1R相比，第二用户的右眼2R更靠近于第二用户的左眼2L，但是第二用户的右眼2R与左眼2L之间的距离大于用于图像分离和显示的最小距离。在该示例中，由于针对第二用户的双眼(左眼2L和右眼2R)进行分离和显示是可能的，因此渲染设备可将2号图像确定为针对第二用户的左眼2L，并且可将3号图像确定为针对第二用户的右眼2R。第二用户可观看与第一用户所观看到的3D图像对2和3相同的3D图像对2和3。
图14H示出第二用户的右眼2R位于第一用户的右眼1R与第二用户的左眼2L之间，并且与第一用户的右眼1R相比，第二用户的右眼2R更靠近于第二用户的左眼2L，并且第二用户的左眼2L与右眼2R之间的距离小于用于分离和显示的最小距离的示例。在该示例中，由于针对第二用户的双眼(左眼2L和右眼2R)进行分离和显示是不可能的，因此渲染设备可通过为第二用户的双眼确定相同的图像来显示伪影被最小化的图像。渲染设备可将2号图像确定为针对第二用户的左眼2L和右眼2R的全部。第二用户可以以2D形式观看2号图像。
图14I至图14M示出当第二用户的左眼2L位于第一用户的左眼1L与右眼1R之间，并且与第一用户的右眼1R相比，第二用户的左眼2L更靠近于第一用户的左眼1L时渲染设备基于第二用户的右眼2R的位置确定图像的示例。
图14I示出第二用户的右眼2R位于第二用户的左眼2L与第一用户的右眼1R之间，并且与第一用户的右眼1R相比，第二用户的右眼2R更靠近于第二用户的左眼2L的示例。在该示例中，由于第二用户的左眼2L更靠近于第一用户的左眼1L，因此渲染设备可将2号图像确定为针对第二用户的左眼2L。此外，由于第二用户的右眼2R更靠近于第二用户的左眼2L，因此渲染设备可将2号图像确定为针对第二用户的右眼2R。
这里，当在图14I中第二用户的右眼2R与第一用户的右眼1R之间的距离小于最小可分开距离时，渲染设备在针对第一用户的右眼1R的视锥内确定显示范围。因此，2号图像与3号图像之间的边界倾向于第一用户的右眼1R与第二用户的右眼2R之间的一边，而不是位于它们之间的中间。这里，从指示视锥的大小的条突出的矩形的宽度指示：将保证从第一用户的右眼1R的中心向左边的最小范围。
图14J示出第二用户的右眼2R位于第二用户的左眼2L与第一用户的右眼1R之间，并且与第二用户的左眼2L相比，第二用户的右眼2R更靠近于第一用户的右眼1R的示例。在该示例中，渲染设备使得第二用户能够观看与第一用户所观看的3D图像对2和3相同的3D图像对2和3。当第二用户的左眼2L与右眼2R之间的距离小于最小可分开距离时，第二用户可观看包括特定量的串扰的3D图像。
图14K示出第二用户的右眼2R位于比第一用户的右眼1R更右的位置，并且第二用户的右眼2R与第一用户的左眼1L之间的距离大于最小可分开距离的示例。在该示例中，渲染设备使得第二用户能够观看与第一用户所观看的3D图像对2和3相同的3D图像对2和3。
图14L示出第二用户的右眼2R位于比第一用户的右眼1R更右的位置，并且第二用户的右眼2R与第一用户的左眼1L之间的距离小于最小可分开距离的示例。在该示例中，渲染设备可将2号图像确定为针对第二用户的双眼(左眼2L和右眼2R)。
图14M示出第二用户的右眼2R位于第一用户的左眼1L与第二用户的左眼2L之间的示例。在该示例中，渲染设备可将2号图像确定为针对第二用户的双眼(左眼2L和右眼2R)。
将参照图15A至图15D来描述当第二用户的左眼2L位于第一用户的左眼1L与右眼1R之间，并且与第一用户的左眼1L相比，第二用户的左眼2L更靠近于第一用户的右眼1R时，渲染设备的基于第二用户的右眼2R的位置确定图像的处理。
图15A示出第二用户的右眼2R位于第一用户的左眼1L与右眼1R之间，并且与第一用户的左眼1L相比，第二用户的右眼2R更靠近于第一用户的右眼1R的示例。在该示例中，渲染设备可将3号图像确定为针对第二用户的双眼(左眼2L和右眼2R)。
图15B示出第二用户的右眼2R位于比第一用户的右眼1R更右的位置，并且第二用户的右眼2R与第一用户的右眼1R之间的距离小于最小可分开距离的示例。在该示例中，渲染设备可将3号图像确定为针对第二用户的双眼(左眼2L和右眼2R)。
图15C示出第二用户的右眼2R位于比第一用户的右眼1R更右的位置并且第二用户的右眼2R与第一用户的左眼1L之间的距离小于最小可分开距离的示例。在该示例中，与针对第一用户的左眼1L的2号图像相同的2号图像将被显示在第二用户的右眼2R上。渲染设备可将2号图像确定为针对第二用户的左眼2L，从而可在第二用户的双眼观看2D图像。这里，当第二用户的左眼2L与第一用户的右眼1R之间的距离小于最小可分开距离时，由于渲染设备期望保证针对第一用户的右眼1R的观看环境，因此可能在第二用户的左眼2L上发生串扰。
图15D示出第二用户的右眼2R位于第一用户的左眼1L与第二用户的左眼2L之间的示例。在该示例中，渲染设备可确定图像从而可在第二用户的双眼观看2号图像。这里，类似于图15C，当第二用户的左眼2L与第一用户的右眼1R之间的距离小于最小可分开距离时，可能在第二用户的左眼2L上发生串扰。
在下文中，将参照图15E至图15H来描述当第二用户的左眼2L位于比第一用户的右眼1R更右的位置并且第一用户的右眼1R与第二用户的左眼2L之间的距离小于最小可分开距离时，渲染设备的基于第二用户的右眼2R的位置确定图像的处理。
图15E示出第二用户的右眼2R位于比第二用户的左眼2L更右的位置并且第二用户的右眼2R与左眼2L之间的距离小于最小可分开距离的示例。在该示例中，渲染设备可将3号图像确定为针对第二用户的双眼(左眼2L和右眼2R)。第二用户可以以2D形式观看3号图像。
图15F和图15G示出第二用户的右眼2R位于第一用户的左眼1L与右眼1R之间的示例。在该示例中，渲染设备可将相同的3号图像确定为针对第二用户的左眼2L和第一用户的右眼1R，并且可不将2号图像确定为针对第二用户的右眼2R，因此可将3号图像确定为针对第二用户的右眼2R。这里，渲染设备期望保证第一用户的观看环境。因此，当在图15F中第一用户的左眼1L与第二用户的右眼2R之间的距离小于最小可分开距离时，可能在第二用户的右眼2R上发生串扰。
图15H示出第二用户的右眼2R位于第一用户的右眼1R与第二用户的左眼2L之间的示例。在该示例中，渲染设备可将相同的3号图像确定为针对第二用户的左眼2L和右眼2R。第二用户可以以2D形式观看3号图像。
在下文中，将参照图15I至图15K来描述当第二用户的左眼2L位于比第一用户的右眼1R更右的位置，并且第一用户的右眼1R与第二用户的左眼2L之间的距离大于最小可分开距离时，渲染设备的基于第二用户的右眼2R的位置确定图像的处理
图15I示出第二用户的右眼2R与左眼2L之间的距离小于最小可分开距离的示例。在该示例中，渲染设备可将第二用户的左眼2L和第一用户的左眼1L之间的距离与第一用户的右眼1R和第二用户的右眼2R之间的距离进行比较，并且可将与相对短距离对应的图像确定为针对第二用户的右眼2R。这里，第一用户的右眼1R和第二用户的右眼2R之间的距离小于第二用户的左眼2L和第一用户的左眼1L之间的距离。因此，渲染设备可将针对第一用户的右眼1R确定的3号图像确定为针对第二用户的双眼。第二用户可以以2D形式观看3号图像。
图15J示出第二用户的右眼2R位于第一用户的左眼1L与右眼1R之间，并且第二用户的右眼2R与第一用户的左眼1L之间的距离大于第二用户的右眼2R与第一用户的右眼1R之间的距离的示例。在该示例中，为了3D显示，渲染设备可将与第一用户的右眼1R对应的3号图像确定为针对第二用户的右眼2R，并且可将2号图像确定为针对第二用户的左眼2L。第二用户可观看与第一用户所观看的3D图像对2和3相同的3D图像对2和3。
图15K示出第二用户的右眼2R位于第一用户的右眼1R与第二用户的左眼2L之间的示例。这里，由于第一用户的右眼1R与第二用户的右眼2R之间的距离小于第二用户的右眼2R与第一用户的左眼1L之间的距离，因此渲染设备可将与针对第一用户的右眼1R的3号图像相同的3号图像确定为针对第二用户的右眼2R。当第二用户的右眼2R与左眼2L之间的距离大于最小可分开距离时，为了3D显示，渲染设备可将2号图像确定为针对第二用户的左眼2L。
在图15K中，由于第二用户的右眼2R与左眼2L之间的距离小于最小可分开距离，因此渲染设备可将3号图像确定为针对第二用户的左眼2L。第二用户可以以2D形式观看3号图像。
在下文中，将参照图16A至图16D来描述当第二用户的左眼2L位于比第一用户的右眼1R更右的位置，第二用户的左眼2L与第一用户的左眼1L之间的距离小于第二用户的左眼2L与第一用户的右眼1R之间的距离，并且第二用户的左眼2L与第一用户的左眼1L之间的距离大于最小可分开距离时，渲染设备的基于第二用户的右眼2R的位置确定图像的处理。
图16A示出第二用户的右眼2R位于第二用户的左眼2L与第一用户的左眼1L之间，并且第二用户的左眼2L与右眼2R之间的距离小于最小可分开距离的示例。
在该示例中，由于第二用户的左眼2L更靠近于第一用户的左眼1L，因此渲染设备可将与针对第一用户的左眼1L的2号图像相同的2号图像确定为针对第二用户的左眼2L。此外，渲染设备可将所述相同的2号图像确定为针对第二用户右眼2R，其中，第二用户的右眼2R距第二用户的左眼2L的距离小于最小可分开距离。第二用户可以以2D形式观看2号图像。
图16B示出第二用户的右眼2R位于第一用户的左眼1L与第一用户的右眼1R之间，并且第二用户的右眼2R与第一用户的左眼1L之间的距离大于第二用户的右眼2R与第一用户的右眼1R之间的距离的示例。在该示例中，渲染设备可将与针对第一用户的右眼1R的3号图像相同的3号图像确定为针对第二用户的右眼2R，并且可将2号图像确定为针对第二用户的左眼2L。第二用户可观看3D图像对2和3。
图16C示出第二用户的右眼2R位于第一用户的右眼1R与第二用户的左眼2L之间，并且第二用户的右眼2R与第一用户的右眼1R之间的距离小于第二用户的右眼2R与左眼2L之间的距离的示例。在该示例中，渲染设备可将与针对第一用户的右眼1R的3号图像相同的3号图像确定为针对第二用户的右眼2R，并且可将2号图像确定为针对第二用户的左眼2L。第二用户可观看3D图像对2和3。
图16D示出第二用户的右眼2R位于第一用户的右眼1R与第二用户的左眼2L之间，并且第二用户的右眼2R与左眼2L之间的距离小于最小可分开距离的示例。在该示例中，渲染设备可将2号图像确定为针对第二用户的双眼(左眼2L和右眼2R)。第二用户可以以2D形式观看2号图像。
在下文中，将参照图16E至图16J来描述当第二用户的左眼2L位于比第一用户的右眼1R更右的位置，并且第一用户的左眼1L与第二用户的左眼2L之间的距离小于最小可分开距离时，渲染设备的基于第二用户的右眼2R的位置确定图像的处理。
图16E示出第二用户的右眼2R位于第二用户的左眼2L与第一用户的左眼1L之间的示例。在该示例中，渲染设备可将2号图像确定为针对第二用户的双眼(左眼2L和右眼2R)。第二用户可以以2D形式观看2号图像。
图16F示出第二用户的右眼2R位于第一用户的左眼1L与右眼1R之间，并且第二用户的右眼2R与第一用户的左眼1L之间的距离小于第二用户的右眼2R与第一用户的右眼1R之间的距离的示例。在该示例中，由于与第一用户的右眼1R相比，第二用户的双眼更靠近于第一用户的左眼1L，因此渲染设备可将2号图像确定为针对第二用户的双眼(左眼2L和右眼2R)。第二用户可以以2D形式观看2号图像。
图16G示出第二用户的右眼2R位于第一用户的左眼1L与右眼1R之间，并且第二用户的右眼2R与第一用户的左眼1L之间的距离大于第二用户的右眼2R与第一用户的右眼1R之间的距离的示例。在该示例中，由于第二用户的右眼2R更靠近于第一用户的右眼1R，因此渲染设备可将3号图像确定为针对第二用户的右眼2R。此外，由于第二用户的左眼2L更靠近于第一用户的左眼1L，因此渲染设备可将2号图像确定为针对第二用户的左眼2L。第二用户可观看与第一用户所观看的3D图像对2和3相同的3D图像对2和3。
图16H示出第二用户的右眼2R位于第一用户的右眼1R与第二用户的左眼2L之间，并且第二用户的右眼2R与第一用户的右眼1R之间的距离小于第二用户的右眼2R与第二用户的左眼2L之间的距离的示例。在该示例中，渲染设备可将与针对第一用户的右眼1R的3号图像相同的3号图像确定为针对第二用户的右眼2R，并且可将与针对第一用户的左眼1L的2号图像相同的2号图像确定为针对第二用户的左眼2L。第二用户可观看与第一用户所观看的3D图像对2和3相同的3D图像对2和3。
图16I示出第二用户的右眼2R位于第一用户的右眼1R与第二用户的左眼2L之间，并且第二用户的右眼2R与第二用户的左眼2L之间的距离小于第二用户的右眼2R与第一用户的右眼1R之间的距离且大于最小可分开距离的示例。在该示例中，渲染设备可将与针对第一用户的右眼1R的3号图像相同的3号图像确定为针对第二用户的右眼2R，并且可将与针对第一用户的左眼1L的2号图像相同的2号图像确定为针对第二用户的左眼2L。第二用户可观看与第一用户所观看的3D图像对2和3相同的3D图像对2和3。
图16J示出第二用户的右眼2R位于第一用户的右眼1R与第二用户的左眼2L之间，并且第二用户的右眼2R与左眼2L之间的距离小于最小可分开距离的示例。在该示例中，渲染设备可将与针对第一用户的左眼1L的2号图像相同的2号图像确定为针对第二用户的双眼(左眼2L和右眼2R)。第二用户可以以2D形式观看2号图像。
图17A至图17I示出根据至少一些示例实施例的渲染设备的确定每个子视点区的图像的处理的示例。
图17A至图17I示出渲染设备在与图12C相同的情况下基于用户的眼睛的位置确定图像的各种示例。
在下文中，将参照图17A和图17B来描述当第一用户和第二用户的观看距离相似并且两个用户的双眼方向之间的距离在视锥内相似时可能发生的情况。
首先，将描述观看距离相似的情况。
图17A示出第二用户的右眼2R位于视锥的右端，并且被视为是在与位于视锥的左端的第一用户的左眼1L的位置相同的位置的示例。在该示例中，渲染设备可确定将在第一用户的双眼观看2号图像和3号图像。渲染设备可将与针对第一用户的左眼1L的2号图像相同的2号图像确定为针对第二用户的右眼2R。
渲染设备将确定针对第二用户的左眼2L所显示的图像。这里，当渲染设备将1号图像确定为针对第二用户的左眼2L时，第二用户可观看3D图像对1和2。当渲染设备将2号图像确定为针对第二用户的左眼2时，第二用户可以以2D形式观看2号图像。
图17B示出第二用户的右眼2R与第一用户的左眼1L之间的距离小于第一用户的右眼1R与第二用户的左眼2L之间的距离的示例。渲染设备可将2号图像确定为针对第二用户的右眼2R，并可将1号图像确定为针对第二用户的左眼2L。
图17C示出第二用户的右眼2R位于第一用户的左眼1L与右眼1R之间，并且与第一用户的右眼1R相比，第二用户的右眼2R更靠近于第一用户的左眼1L的示例。在该示例中，渲染设备可将与针对第一用户的左眼1L的2号图像相同的2号图像确定为针对第二用户的右眼2R。渲染设备可将1号图像确定为针对第二用户的左眼2L。第二用户可观看3D图像对1和2。
在下文中，将描述观看距离不相似的情况。
在下文中，将参照图17D和图17E来描述当第二用户的左眼2L位于比第一用户的右眼1R更右的位置，并且第一用户的右眼1R与第二用户的左眼2L之间的距离小于最小可分开距离时，渲染设备的基于第二用户的右眼2R的位置确定图像的处理。
图17D示出第二用户的右眼2R位于比第一用户的左眼1L更左的位置，并且第二用户的右眼2R与第一用户的左眼1L之间的距离小于最小可分开距离且小于第二用户的左眼2L与第一用户的右眼1R之间的距离的示例。在该示例中，由于将在第二用户的右眼2R上显示与针对第一用户的左眼1L的2号图像相同的2号图像，因此渲染设备可将1号图像确定为针对第二用户的左眼2L。由于第一用户的观看环境将被保证，因此可能在第二用户的左眼2L上发生串扰。
图17E示出第二用户的右眼2R位于比第一用户的左眼1L更右的位置，并且第二用户的右眼2R与第一用户的左眼1L之间的距离小于第一用户的右眼1R与第二用户的左眼2L之间的距离的示例。在该示例中，渲染设备可将第二用户的左眼2L和第一用户的右眼1R之间的距离与第二用户的右眼2R和第一用户的左眼1L之间的距离进行比较，并且可确定针对第二用户的右眼2R的图像。
当第二用户的右眼2R与第一用户的左眼1L之间的距离小于第一用户的右眼1R与第二用户的左眼2L之间的距离时，渲染设备可将2号图像确定为针对第二用户的右眼2R。为了3D显示，渲染设备可将1号图像确定为针对第二用户的左眼2L。为了保证第一用户的观看环境，可能在第二用户的左眼2L上发生串扰。
在下文中，将参照图17F和图17G来描述当第二用户的左眼2L位于比第一用户的右眼1R更右的位置，并且第一用户的右眼1R与第二用户的左眼2L之间的距离大于最小可分开距离时，渲染设备的基于第二用户的右眼2R的位置确定图像的处理。
图17F示出第一用户的右眼1R与第二用户的左眼2L之间的距离大于第二用户的右眼2R与第一用户的左眼1L之间的距离的示例。在该示例中，渲染设备可将与针对第一用户的左眼1L的2号图像相同的2号图像确定为针对第二用户的右眼2R，并且为了3D显示，可将1号图像确定为针对第二用户的左眼2L。第二用户可观看3D图像对1和2。
图17G示出第二用户的右眼2R位于第一用户的左眼1L与右眼1R之间，并且第二用户的右眼2R与第一用户的左眼1L之间的距离小于第二用户的右眼2R与第一用户的右眼1R之间距离的示例。在该示例中，渲染设备可将与第一用户的左眼1L对应的2号图像确定为针对第二用户的右眼2R，并且为了3D显示，可将1号图像确定为针对第二用户的左眼2L。第二用户可观看3D图像对1和2。
在下文中，将参照图17H和图17I来描述当第二用户的左眼2L位于比第一用户的右眼1R更右的位置，第二用户的左眼2L与第一用户的左眼1L与之间的距离小于第二用户的左眼2L与第一用户的右眼1R之间的距离，并且第二用户的左眼2L与第一用户的左眼1L之间的距离大于最小可分开距离时，渲染设备的基于第二用户的右眼2R的位置确定图像的处理。
图17H示出第二用户的右眼2R位于第二用户的左眼2L与第一用户的左眼1L之间，并且第二用户的右眼2R与左眼2L之间的距离大于最小可分开距离的示例。在该示例中，由于可在第二用户的左眼2L和右眼2R上显示分开的图像，因此渲染设备可将与针对第一用户的左眼1L的2号图像相同的2号图像确定为针对第二用户的右眼2R，并且可将1号图像确定为针对第二用户的左眼2L。第二用户可观看3D图像对1和2。
图17I示出第二用户的右眼2R位于第一用户的左眼1L与右眼1R之间，并且第二用户的右眼2R与第一用户的左眼1L之间的距离小于第二用户的右眼2R与第一用户的右眼1R之间距离的示例。在该示例中，渲染设备可将与针对第一用户的左眼1L的2号图像相同的2号图像确定为针对第二用户的右眼2R，并且可将1号图像确定为针对第二用户的左眼2L。第二用户可观看3D图像对1和2。
图18示出根据至少一个示例实施例的渲染设备的确定子像素的值的处理。图18示出来自子像素102的光线方向1610。
渲染设备可将量化的来自子像素102的光线方向之中的与构成多视点图像的视点对应的光线方向确定为子像素102的光线方向。渲染设备可基于与子像素102的光线方向对应的子视点区的内容，确定子像素102的值。
渲染设备可在与子像素102的光线方向范围对应的子视点区之中确定与光线方向1610所属的子视点区对应的内容。
例如，参照图18，朝向第二用户630的左眼2L 633的方向603相对靠近于与光线方向范围的边界对应的方向1004。因此，当在第一用户510的右眼1R 516上显示的图像与在第二用户630的左眼2L 633上显示的图像不同时，在第二用户630的左眼2L 633上很可能发生串扰。
如果可为第一用户510的右眼1R 516和第二用户630的左眼2L 633提供相同的图像，并且同时为第二用户630的左眼2L 633和右眼2R 636提供合适的图像，则渲染设备可为第二用户630提供存在相对小的伪影的图像。因此，渲染设备可设置内容，从而可在第一用户510的右眼1R 516和第二用户630的左眼2L 633观看到相同的图像。
当针对用户的双眼的光线方向范围以及将在双眼上显示的内容被确定时，渲染设备可确定通过与来自子像素102的光线方向1610对应的光为眼睛呈现的图像。
渲染设备可通过在确定的光线方向范围之中选择包括光线方向1610的子视点区来确定图像。参照图18，由于光线方向1610属于针对第二用户630的右眼2R 636的光线方向范围，因此子像素102可被确定为显示将在第二用户630的右眼2R 636观看的图像。
当通过以上的处理确定了来自子像素102的光线方向时，渲染设备可在内容确定处理期间确定仅针对用户的属于光线方向的眼睛的内容。
渲染设备可对包括在面板101中的全部子像素执行以上的处理，并且可将3D图像提供给第一用户510，并还可将3D图像尽可能顺利地提供给第二用户630。
图19是示出根据至少一个示例实施例的光场渲染方法的另一示例的流程图。参照图19，在操作1710中，渲染设备将第一用户的双眼的位置以及第二用户的双眼的位置映射到与像素对应的视点区。这里，将双眼的位置映射到与像素对应的视点区的操作可被理解为基于将被处理的单个像素将用户的双眼的位置映射到与单个视锥对应的视点区的含义。此外，当基于子像素单元来执行渲染时，图19中所使用的术语“像素”可被理解为子像素。
在操作1720中，渲染设备可基于第一用户的双眼的位置以及第二用户的双眼的位置将视点区划分为多个子视点区。在操作1730中，渲染设备可在多个子视点区之中确定针对第一用户的第一子视点区的内容。
在操作1740中，渲染设备可基于第一子视点区的内容，在多个子视点区之中确定针对第二用户的第二子视点区的内容。在操作1750中，渲染设备可基于与像素的光线方向对应的子视点区的内容来确定像素的值。
图20是示出根据至少一个示例实施例的光场渲染方法的又一示例的流程图。参照图20，在操作1810中，渲染设备可基于第一用户的双眼的位置来确定第一像素的值，从而第一用户可观看立体图像。
在操作1820中，渲染设备可基于第一用户的双眼的位置与第二用户的双眼的位置之间的相关度，确定除了第一像素之外的第二像素的值，从而第二用户可观看与立体图像相关联的图像。这里，当第一用户的双眼的位置和第二用户的双眼的位置被映射到期望的(或可选地，预定义的)视点区时，相关度可包括例如布置映射的位置的顺序以及映射的位置之间的距离。
例如，与立体图像相关联的图像可以是立体图像。在该示例中，第二用户可观看与第一用户正在观看的立体图像相同的立体图像。作为另一示例，与立体图像相关联的图像可以是该立体图像的左图像。在该示例中，第二用户可观看与第一用户正在观看的立体图像的左图像对应的单视点图像。作为另一示例，与立体图像相关联的图像可以是该立体图像的右图像。在该示例中，第二用户可观看与该立体图像的右图像对应的单视点图像。
作为另一示例，与立体图像相关联的图像可以是比该立体图像更左边的视图的立体图像。在该示例中，可在第二用户的右眼上显示第一用户正在观看的立体图像的左图像，并且可在第二用户的左眼显示上比第一用户正在观看的立体图像的左图像更左边的视图的图像。作为另一示例，与立体图像相关联的图像可以是比该立体图像的更右边的视图的立体图像。在该示例中，可在第二用户的左眼上显示第一用户正在观看的立体图像的右图像，并且可在第二用户的右眼上显示比第一用户正在观看的立体图像的右图像的更右边的视图的图像。
在操作1820中，渲染设备可确定第二像素的值，以在第二用户的双眼的一个或更多个位置显示立体图像的左图像或右图像。一些示例实施例基于用户的双眼的位置，在渲染设备提供用于显示图像的渲染算法。
当基于子像素单元来执行渲染时，图20中的术语“像素”可被理解为子像素。
图21示出根据至少一个示例实施例的渲染设备的光学层被布置在显示器的背面的示例。
图21示出包括与在透射型面板1930的背面的光学层对应的视差光栅1910的渲染设备。类似于关于图1的面板101的光学层103，在透射型面板1930的背面的视差光栅1910可基于光学层的单元位置1911与子像素1931的位置之间的关系，限制来自子像素1931的光的方向。
在该示例中，渲染设备可确定与包括穿过透射型面板1930的子像素1931的光线方向1950的子视点区对应的内容，从而该内容可对应于用户的双眼中的一只眼，其中，所述光线方向1950与包括在视差光栅1910中的单元位置1911的光线方向对应。
图22是示出根据至少一个示例实施例的光场渲染设备的框图。
参照图22，渲染设备2000包括处理器2010和传感器2020。处理器2010和传感器2020可通过总线2040彼此通信。
传感器2020拍摄第一用户和第二用户。传感器2020可以是例如图像传感器。处理器2010将第一用户的双眼的位置与第二用户的双眼的位置映射到与子像素对应的视点区，并且可基于映射的第一用户的双眼的位置和第二用户的双眼的位置来确定子像素的值。
根据至少一个示例实施例，处理器2010被配置为：确定第一观看区，其中，第一观看区与显示器的向第一用户显示图像的区域相关联。处理器2010被配置为将第二用户的眼睛的位置从第二观看区转换到第一观看区。处理器2010被配置为基于转换后的第二用户的眼睛的位置以及第一用户的眼睛的实际位置，确定所述区域的值。
处理器2010被配置为渲染图像，使得所述区域具有所确定的值从而显示图像的对应部分。
根据至少一个示例实施例，图像是包括多个视点图像的立体图像，并且处理器2010被配置为基于以下项来确定所述区域的值：i)多个视点图像中的一个或更多个视点图像、ii)所述转换后的位置与所述实际位置之间的关系以及iii)所述区域的光线方向，其中，所述光线方向是光从所述区域穿过与显示器相关联的光学元件的中心的方向。
所述区域可以是像素，第一观看区可以是该像素的第一视锥。第二观看区可以是该像素的第二视锥。
可选地，所述区域可以是像素的子像素，第一观看区可以是该子像素的第一视锥。第二观看区可以是该子像素的第二视锥。
处理器2010可执行参照图1至图21所描述的一个或更多个方法或者与其对应的算法。渲染设备2000还可包括存储器2030。存储器2030可存储由处理器2010确定的子像素的值。存储器2030可以是例如易失性存储器或非易失性存储器。
处理器2010可执行程序并且可控制电子系统。可在存储器2030中存储对应于以上描述的操作/算法并且由处理器2010执行的程序代码(或计算机可读指令)。也就是说，处理器2010可以是专用处理器。处理器2010可通过输入/输出(I/O)设备(未示出)而被连接到外部设备(例如，个人计算机或网络)并可交换数据。渲染设备2000可包括各种电子系统，例如，TV或智能TV。
尽管处理器2010被示出为与传感器2020和存储器2030在同一设备内，但是示例实施例不限于此。例如，处理器2010可被实现为例如具有用于通过总线2040与包括传感器2020和存储器2030的外部装置进行接口连接的合适数据接口(通用串行总线接口、高清晰度多媒体接口等)的加密狗(dongle)中的单独装置。此外，处理器2010和存储器2030可被实现在加密狗内，而传感器2020是外部装置。
可使用硬件组件和软件组件来实现在此描述的示例实施例。例如，硬件组件可包括：麦克风、放大器、带通滤波器、音频数字转换器和处理装置。可使用被配置为通过执行算术、逻辑和输入/输出操作实现和/或执行程序代码的一个或更多个硬件装置来实现处理装置。处理装置可包括处理器(例如，专用处理器)、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限定方式响应并执行指令的任何其它装置。处理装置可运行操作系统(OS)和在OS上运行的一个或更多个软件应用。处理装置还可响应于软件的执行而访问、存储、操控、处理和创建数据。为了简化的目的，处理装置的描述被用作为单数，但是本领域的技术人员将理解：处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或者包括处理器和控制器。此外，不同的处理配置是可行的，诸如，并行处理器。
软件可包括计算机程序、代码段、指令或者它们的某些组合，以独立地或共同地指示和/或配置处理装置如期望地进行操作，从而将处理装置变换为专用处理器。可以以任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置，或者以能够提供指令或数据或被处理装置解释的传播信号波，来永久地或暂时地实现软件和数据。软件还可分布于联网的计算机系统，从而以分布式存储和执行软件。可通过一个或更多个非暂时性计算机可读记录介质来存储软件和数据。
根据以上描述的示例实施例的方法可被记录在包括程序指令的非暂时性计算机可读介质中，以实现以上描述的示例实施例的各种操作。介质还可单独包括程序指令、数据文件、数据结构等，或者可与程序指令相结合地包括数据文件、数据结构等。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计和构造的程序指令，或者它们可以是对计算机软件领域的技术人员公知且可用的类型。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)、光学介质(诸如，CD-ROM盘、DVD和/或蓝光盘)、磁光介质(诸如，光盘)以及专门配置为存储和执行软件指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动、存储卡、记忆棒等))等。程序指令的示例包括：机器代码(诸如，由编译器所产生的)和包含可由计算机使用解释器执行的更高级代码的文件两者。为了执行以上描述的示例实施例的操作，以上描述的装置可被构造为用作一个或多个软件模块，反之亦然。
上面已经描述了一些示例实施例。然而，应理解，可对这些示例实施例进行各种修改。例如，如果以不同的顺序执行所描述的技术并且/或者如果所描述的系统、构架、装置或电路中的组件以不同的方式来组合和/或由其它组件或它们的等同物来替换或补充，则可获得合适的结果。因此，其它实施方式在权利要求的范围内。

Claims (29)

1.一种针对多个用户的渲染方法，所述渲染方法包括：
将第一用户的双眼的位置和第二用户的双眼的位置映射到观看区，其中，观看区与像素对应；
基于映射的第一用户的双眼的位置和映射的第二用户的双眼的位置，确定所述像素的值。
2.如权利要求1所述的渲染方法，其中，观看区包括视锥，其中，视锥与包括所述像素和包括在光学层中的光学元件的配对相对应。
3.如权利要求1所述的渲染方法，其中，将第一用户的双眼的位置和第二用户的双眼的位置映射到观看区的步骤包括：基于所述像素与包括在光学层中的光学元件之间的相对位置，将第一用户的双眼的位置和第二用户的双眼的位置映射到观看区。
4.如权利要求1所述的渲染方法，其中，确定所述像素的值的步骤包括：
如果所述像素的光线方向与第一用户对应，则将所述像素的值确定为在映射的第一用户的双眼的位置显示立体图像；
如果所述像素的光线方向与第二用户对应，则将所述像素的值确定为在映射的第二用户的双眼中的至少一个眼睛的位置显示所述立体图像的左图像或右图像。
5.如权利要求4所述的渲染方法，其中，所述光线方向包括传播经过所述像素和包括在光学层中的光学元件的光线方向。
6.如权利要求1所述的渲染方法，其中，确定所述像素的值的步骤包括：
如果所述像素的光线方向与映射的第一用户的左眼的位置对应，则基于立体图像的左图像来确定所述像素的值；
如果所述像素的光线方向与映射的第一用户的右眼的位置对应，则基于所述立体图像的右图像来确定所述像素的值。
7.如权利要求1所述的渲染方法，其中，确定所述像素的值的步骤包括：
如果所述像素的光线方向与映射的第二用户的左眼的位置对应，并且映射的第二用户的左眼的位置与映射的第一用户的左眼的位置对应，则基于针对第一用户的立体图像的左图像来确定所述像素的值；
如果所述像素的光线方向与映射的第二用户的左眼的位置对应，并且映射的第二用户的左眼的位置与映射的第一用户的右眼的位置对应，则基于所述立体图像的右图像来确定所述像素的值。
8.如权利要求1所述的渲染方法，其中，确定所述像素的值的步骤包括：
如果所述像素的光线方向与映射的第二用户的左眼的位置对应，并且映射的第二用户的右眼的位置与映射的第一用户的左眼的位置对应，则基于针对第一用户的立体图像的左图像或比所述左图像更左边的视图的图像来确定所述像素的值；
如果所述像素的光线方向与映射的第二用户的左眼的位置对应，并且映射的第二用户的右眼的位置与映射的第一用户的右眼的位置对应，则基于所述立体图像的左图像或右图像来确定所述像素的值。
9.如权利要求1所述的渲染方法，其中，确定所述像素的值的步骤包括：
如果所述像素的光线方向与映射的第二用户的右眼的位置对应，并且映射的第二用户的右眼的位置与映射的第一用户的左眼的位置对应，则基于针对第一用户的立体图像的左图像来确定所述像素的值；
如果所述像素的光线方向与映射的第二用户的右眼的位置对应，并且映射的第二用户的右眼的位置与映射的第一用户的右眼的位置对应，则基于所述立体图像的右图像来确定所述像素的值。
10.如权利要求1所述的渲染方法，其中，确定所述像素的值的步骤包括：
如果所述像素的光线方向与映射的第二用户的右眼的位置对应，并且映射的第二用户的左眼的位置与映射的第一用户的左眼的位置对应，则基于针对第一用户的立体图像的左图像或所述立体图像的右图像来确定所述像素的值；
如果所述像素的光线方向与映射的第二用户的右眼的位置对应，并且映射的第二用户的左眼的位置与映射的第一用户的右眼的位置对应，则基于所述右图像或比所述右图像更右边的视图的图像来确定所述像素的值。
11.如权利要求1所述的渲染方法，其中，确定所述像素的值的步骤包括基于以下项中的至少一项来确定所述像素的值：在观看区内布置映射的第一用户的双眼的位置和映射的第二用户的双眼的位置的顺序以及映射的第一用户的双眼的位置与映射的第二用户的双眼的位置之间的距离。
12.如权利要求1所述的渲染方法，其中，确定所述像素的值的步骤包括：
基于映射的第一用户的双眼的位置和映射的第二用户的双眼的位置，将观看区划分为多个子观看区；
基于与所述像素的光线方向对应的子观看区的内容来确定所述像素的值。
13.如权利要求12所述的渲染方法，其中，确定所述像素的值的步骤包括：
在所述多个子观看区之中确定针对第一用户的第一子观看区的内容；
基于第一子观看区的内容，在所述多个子观看区之中确定针对第二用户的第二子观看区的内容。
14.一种针对多个用户的渲染方法，所述渲染方法包括：
将第一像素的值确定为在第一用户的双眼的位置显示立体图像；
基于第一用户的双眼的位置与第二用户的双眼的位置之间的相关度，将第二像素的值确定为在第二用户的双眼的位置显示与所述立体图像相关联的图像。
15.如权利要求14所述的渲染方法，其中，与所述立体图像相关联的图像包括以下图像中的至少一个图像：所述立体图像、所述立体图像的左图像、所述立体图像的右图像、比所述立体图像更左边的视图的立体图像以及比所述立体图像更右边的视图的立体图像。
16.如权利要求14所述的渲染方法，其中，确定第二像素的值的步骤包括：
将第二像素的值确定为在第二用户的双眼的一个或更多个位置显示所述立体图像的左图像或右图像。
17.如权利要求14所述的渲染方法，其中，如果第一用户的双眼的位置和第二用户的双眼的位置被映射到观看区，则所述相关度包括以下项中的至少一项：在观看区内布置映射的第一用户的双眼的位置和映射的第二用户的双眼的位置的顺序以及映射的第一用户的双眼的位置与映射的第二用户的双眼的位置之间的距离。
18.一种针对多个用户的渲染设备，包括：
传感器，被配置为捕获第一用户和第二用户；
处理器，被配置为：
将第一用户的双眼的位置和第二用户的双眼的位置映射到观看区，其中，观看区与像素对应，
基于映射的第一用户的双眼的位置和映射的第二用户的双眼的位置，确定所述像素的值。
19.如权利要求18所述的渲染设备，其中，处理器被配置为：
如果所述像素的光线方向与映射的第一用户的左眼的位置对应，则基于立体图像的左图像来确定所述像素的值，
如果所述像素的光线方向与映射的第一用户的右眼的位置对应，则基于所述立体图像的右图像来确定所述像素的值。
20.如权利要求18所述的渲染设备，其中，处理器被配置为：
如果所述像素的光线方向与映射的第二用户的左眼的位置对应，并且映射的第二用户的左眼的位置与映射的第一用户的左眼的位置对应，则基于针对第一用户的立体图像的左图像来确定所述像素的值，
如果所述像素的光线方向与映射的第二用户的左眼的位置对应，并且映射的第二用户的左眼的位置与映射的第一用户的右眼的位置对应，则基于所述立体图像的右图像来确定所述像素的值。
21.如权利要求18所述的渲染设备，其中，处理器被配置为：
如果所述像素的光线方向与映射的第二用户的左眼的位置对应，并且映射的第二用户的右眼的位置与映射的第一用户的左眼的位置对应，则基于针对第一用户的立体图像的左图像或比所述左图像更左边的视图的图像来确定所述像素的值，
如果所述像素的光线方向与映射的第二用户的左眼的位置对应，并且映射的第二用户的右眼的位置与映射的第一用户的右眼的位置对应，则基于所述立体图像的左图像或右图像来确定所述像素的值。
22.如权利要求18所述的渲染设备，其中，处理器被配置为：
如果所述像素的光线方向与映射的第二用户的右眼的位置对应，并且映射的第二用户的右眼的位置与映射的第一用户的左眼的位置对应，则基于针对第一用户的立体图像的左图像来确定所述像素的值，
如果所述像素的光线方向与映射的第二用户的右眼的位置对应，并且映射的第二用户的右眼的位置与映射的第一用户的右眼的位置对应，则基于所述立体图像的右图像来确定所述像素的值。
23.如权利要求18所述的渲染设备，其中，处理器被配置为：
如果所述像素的光线方向与映射的第二用户的右眼的位置对应，并且映射的第二用户的左眼的位置与映射的第一用户的左眼的位置对应，则基于针对第一用户的立体图像的左图像或所述立体图像的右图像来确定所述像素的值，
如果所述像素的光线方向与映射的第二用户的右眼的位置对应，并且映射的第二用户的左眼的位置与映射的第一用户的右眼的位置对应，则基于所述右图像或比所述右图像更右边的视图的图像来确定所述像素的值。
24.如权利要求18所述的渲染设备，其中，处理器被配置为基于以下项中的至少一项来确定所述像素的值：在观看区内布置映射的第一用户的双眼的位置和映射的第二用户的双眼的位置的顺序以及映射的第一用户的双眼的位置与映射的第二用户的双眼的位置之间的距离。
25.如权利要求18所述的渲染设备，其中，处理器被配置为：
基于映射的第一用户的双眼的位置和映射的第二用户的双眼的位置，将观看区划分为多个子观看区；
基于与所述像素的光线方向对应的子观看区的内容来确定所述像素的值。
26.如权利要求25所述的渲染设备，其中，处理器被配置为：
在所述多个子观看区之中确定针对第一用户的第一子观看区的内容，
基于第一子观看区的内容，在所述多个子观看区之中确定针对第二用户的第二子观看区的内容。
27.一种设备，包括：
处理器；
存储器，包括计算机可读指令，其中，所述计算机可读指令在被处理器执行时使得处理器进行以下操作：
确定第一观看区，其中，第一观看区与显示器的向第一用户显示图像的区域相关联，
将第二用户的眼睛的位置从第二观看区转换到第一观看区，
基于转换后的第二用户的眼睛的位置以及第一用户的眼睛的实际位置，确定所述区域的值。
28.如权利要求27所述的设备，其中，所述计算机可读指令在被处理器执行时使得处理器进行以下操作：渲染图像，使得所述区域具有所确定的值从而显示图像的对应部分。
29.如权利要求27所述的设备，其中，所述图像是包括多个视点图像的立体图像，并且所述计算机可读指令在被处理器执行时使得处理器基于以下项来确定所述区域的值：i)所述多个视点图像中的一个或更多个视点图像、ii)转换后的第二用户的眼睛的位置与第一用户的眼睛的实际位置之间的关系以及iii)所述区域的光线方向，其中，所述光线方向是光从所述区域穿过与显示器相关联的光学元件的中心的方向。
CN201610305593.1A 2015-08-07 2016-05-10 针对多个用户的光场渲染的方法和设备 Active CN106454307B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150111746A KR102415502B1 (ko) 2015-08-07 2015-08-07 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
KR10-2015-0111746 2015-08-07

Publications (2)

Publication Number Publication Date
CN106454307A true CN106454307A (zh) 2017-02-22
CN106454307B CN106454307B (zh) 2020-12-08

Family

ID=55967014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610305593.1A Active CN106454307B (zh) 2015-08-07 2016-05-10 针对多个用户的光场渲染的方法和设备

Country Status (5)

Country Link
US (1) US10397541B2 (zh)
EP (1) EP3128752B1 (zh)
JP (1) JP6886253B2 (zh)
KR (1) KR102415502B1 (zh)
CN (1) CN106454307B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111386565A (zh) * 2018-10-30 2020-07-07 京东方科技集团股份有限公司 光场显示方法、装置、设备和记录介质
WO2021110036A1 (zh) * 2019-12-05 2021-06-10 北京芯海视界三维科技有限公司 多视点3d显示屏、多视点3d显示设备
WO2021110038A1 (zh) * 2019-12-05 2021-06-10 北京芯海视界三维科技有限公司 3d显示设备、3d图像显示方法
CN113093402A (zh) * 2021-04-16 2021-07-09 业成科技（成都）有限公司 立体显示器及其制造方法与立体显示系统
CN113138734A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 用于显示的方法、装置和产品
CN111386565B (zh) * 2018-10-30 2024-05-17 京东方科技集团股份有限公司 光场显示方法、装置、设备和记录介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101594839B1 (ko) * 2014-09-12 2016-02-17 고려대학교 산학협력단 전두엽 활성 게임 제공 방법 및 장치
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
CN109076148B (zh) 2016-04-12 2021-02-05 奎蒂安特有限公司 日常场景重建引擎
CN110546601B (zh) * 2017-04-03 2023-09-26 索尼公司 信息处理装置、信息处理方法和程序
JP2018185437A (ja) * 2017-04-26 2018-11-22 京セラ株式会社 ３次元表示装置、３次元表示システム、ヘッドアップディスプレイシステム、および移動体
US20190124313A1 (en) * 2017-10-19 2019-04-25 Intel Corporation Three dimensional glasses free light field display using eye location
US10298921B1 (en) 2018-02-27 2019-05-21 Looking Glass Factory, Inc. Superstereoscopic display with enhanced off-angle separation
CA3097202A1 (en) 2018-05-02 2019-11-07 Quidient, Llc A codec for processing scenes of almost unlimited detail
CN108848359B (zh) * 2018-06-19 2021-09-10 明基智能科技（上海）有限公司 影像显示系统及影像显示方法
WO2020004275A1 (ja) * 2018-06-26 2020-01-02 京セラ株式会社 ３次元表示装置、制御コントローラ、３次元表示方法、３次元表示システム、および移動体
WO2021237065A1 (en) * 2020-05-21 2021-11-25 Looking Glass Factory, Inc. System and method for holographic image display
CN111624784B (zh) * 2020-06-23 2022-10-18 京东方科技集团股份有限公司 一种光场显示装置
US11415935B2 (en) 2020-06-23 2022-08-16 Looking Glass Factory, Inc. System and method for holographic communication
US11388388B2 (en) 2020-12-01 2022-07-12 Looking Glass Factory, Inc. System and method for processing three dimensional images
CN112801921B (zh) * 2021-03-30 2022-05-03 深圳市立体通科技有限公司 3d图像处理优化方法、装置、存储介质和电子设备
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
WO2023199765A1 (ja) * 2022-04-12 2023-10-19 公立大学法人大阪 立体表示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110216171A1 (en) * 2010-03-03 2011-09-08 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Screen and method for representing picture information
CN102449534A (zh) * 2010-04-21 2012-05-09 松下电器产业株式会社 立体影像显示装置、立体影像显示方法
US20130307948A1 (en) * 2012-05-16 2013-11-21 Samsung Display Co., Ltd. 3-dimensional image display device and display method thereof
CN104010179A (zh) * 2014-06-12 2014-08-27 山东大学 基于立体多画的多用户聚类与视点计算系统及方法
CN104185987A (zh) * 2012-03-27 2014-12-03 皇家飞利浦有限公司 具有位置追踪的多用户自动立体显示
CN104317120A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种供多人观看的自由视点真三维显示系统及方法
US20150062007A1 (en) * 2012-06-04 2015-03-05 Pfu Limited Priority control for directional display device

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01317091A (ja) * 1988-06-17 1989-12-21 Nippon Hoso Kyokai <Nhk> 多方向立体映像装置
JPH0389794A (ja) * 1989-09-01 1991-04-15 Nippon Telegr & Teleph Corp <Ntt> 多人数用三次元表示方式
JPH0583746A (ja) * 1991-09-19 1993-04-02 Nippon Telegr & Teleph Corp <Ntt> ３次元表示装置
US5973700A (en) * 1992-09-16 1999-10-26 Eastman Kodak Company Method and apparatus for optimizing the resolution of images which have an apparent depth
JPH06148763A (ja) 1992-11-12 1994-05-27 Hitachi Ltd 多人数観測用レンチキュラ立体表示方式
DE4312918A1 (de) 1993-04-14 1994-10-20 Hertz Inst Heinrich Wiedergabeeinrichtung
GB2296617A (en) 1994-12-29 1996-07-03 Sharp Kk Observer tracking autosteroscopic display
FI974321A0 (fi) * 1997-11-25 1997-11-25 Jenny Ja Antti Wihurin Rahasto Multipel heparinglykosaminoglykan och en proteoglykan innehaollande dessa
JP2001145129A (ja) * 1999-11-17 2001-05-25 Mixed Reality Systems Laboratory Inc 立体画像表示装置
KR20040026693A (ko) * 2001-07-27 2004-03-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 관찰자 추적 시스템을 구비한 오토스테레오스코픽 이미지디스플레이
DE10359403B4 (de) * 2003-12-18 2005-12-15 Seereal Technologies Gmbh Autostereoskopisches Multi-User-Display
WO2006015562A1 (de) * 2004-08-10 2006-02-16 Seereal Technologies Gmbh Sweet-spot-bildtrenneinrichtung für autostereoskopische multi-user-displays
JP5006587B2 (ja) * 2006-07-05 2012-08-22 株式会社エヌ・ティ・ティ・ドコモ 画像提示装置および画像提示方法
DE102007055026B4 (de) * 2007-11-15 2011-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum autostereoskopischen Darstellen von Bildinformationen
US20090282429A1 (en) 2008-05-07 2009-11-12 Sony Ericsson Mobile Communications Ab Viewer tracking for displaying three dimensional views
KR101502603B1 (ko) * 2008-09-22 2015-03-13 삼성전자주식회사 입체 영상 표시 장치 및 그 방법
TWI387316B (zh) * 2008-11-18 2013-02-21 Ind Tech Res Inst 立體影像顯示裝置與立體影像顯示方法
KR101615111B1 (ko) * 2009-06-16 2016-04-25 삼성전자주식회사 다시점 영상 표시 장치 및 방법
EP2497274B1 (en) * 2009-11-03 2019-10-23 Koninklijke Philips N.V. Autostereoscopic display device
KR101629479B1 (ko) 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
KR101669498B1 (ko) 2009-11-30 2016-10-27 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 이미지 정보를 표시하는 방법 및 자동입체이미지 스크린
US8358335B2 (en) * 2009-11-30 2013-01-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method for displaying image information and autostereoscopic screen
US8704877B2 (en) * 2010-02-01 2014-04-22 Eldon Technology Limited Systems and methods for presenting three-dimensional content using apertures
US8633972B2 (en) * 2010-03-03 2014-01-21 Fraunhofer-Geselschaft zur Foerderung der angewandten Forschung e.V. Method for displaying image information and autostereoscopic screen
JP5462672B2 (ja) * 2010-03-16 2014-04-02 株式会社ジャパンディスプレイ 表示装置及び電子機器
US9319663B2 (en) * 2010-05-21 2016-04-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Image display using matrix screen and periodic grating having a fixed period
US20110310003A1 (en) * 2010-05-21 2011-12-22 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Image display device and method of displaying images
JP5494284B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
JP5494283B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
JP5364666B2 (ja) * 2010-09-13 2013-12-11 株式会社東芝 立体画像表示装置、方法およびプログラム
KR101292513B1 (ko) * 2010-11-22 2013-08-01 가부시끼가이샤 도시바 입체 화상 표시 장치, 입체 화상 표시 방법 및 입체 화상 결정 장치
KR101876944B1 (ko) * 2010-12-22 2018-08-09 시리얼 테크놀로지즈 에스.에이. 관찰자 트래킹을 위한 조합된 광변조 장치
JP5732888B2 (ja) * 2011-02-14 2015-06-10 ソニー株式会社 表示装置及び表示方法
JP2012222386A (ja) * 2011-04-04 2012-11-12 Sony Corp 表示制御装置および方法、並びにプログラム
JP2012222549A (ja) * 2011-04-07 2012-11-12 Panasonic Corp 映像表示装置および映像表示方法
JP2013005135A (ja) * 2011-06-15 2013-01-07 Sony Corp 画像処理装置および方法、並びにプログラム
JP5032694B1 (ja) * 2011-08-31 2012-09-26 株式会社東芝 映像処理装置および映像処理方法
JP5127967B1 (ja) * 2011-08-31 2013-01-23 株式会社東芝 映像処理装置および映像処理方法
JP5050120B1 (ja) * 2011-08-31 2012-10-17 株式会社東芝 立体画像表示装置
JP5134714B1 (ja) * 2011-08-31 2013-01-30 株式会社東芝 映像処理装置
JP5100875B1 (ja) 2011-08-31 2012-12-19 株式会社東芝 視域調整装置、映像処理装置および視域調整方法
JP5132804B1 (ja) * 2011-08-31 2013-01-30 株式会社東芝 映像処理装置および映像処理方法
EP2587814A1 (en) * 2011-10-25 2013-05-01 Telefonaktiebolaget L M Ericsson AB (Publ) Depth adaptation for multi-view system
KR101953686B1 (ko) 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
JP5809293B2 (ja) * 2011-12-19 2015-11-10 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示装置
KR101322910B1 (ko) 2011-12-23 2013-10-29 한국과학기술연구원 다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법
JP2013138272A (ja) * 2011-12-27 2013-07-11 Toshiba Corp 表示装置及び制御方法
JP5422684B2 (ja) 2012-02-10 2014-02-19 株式会社東芝 立体画像決定装置、立体画像決定方法、および立体画像表示装置
GB2499426A (en) * 2012-02-16 2013-08-21 Dimenco B V Autostereoscopic display device with viewer tracking system
US20150028168A1 (en) * 2012-03-15 2015-01-29 Cjs Production Technologies Inc. Multi-Conduit Coiled Tubing Assembly
KR101911250B1 (ko) * 2012-03-19 2018-10-24 엘지전자 주식회사 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법
KR101924058B1 (ko) * 2012-04-03 2018-11-30 엘지전자 주식회사 영상표시장치 및 그 동작방법
EP2885598B1 (en) * 2012-08-14 2017-03-22 Aselsan Elektronik Sanayi ve Ticaret Anonim Sirketi A sighting device
JP2013055665A (ja) 2012-09-18 2013-03-21 Toshiba Corp 視域調整装置、映像処理装置および視域調整方法
EP2720464B1 (en) * 2012-10-11 2018-01-10 Sony Mobile Communications Inc. Generating image information
US9674510B2 (en) * 2012-11-21 2017-06-06 Elwha Llc Pulsed projection system for 3D video
WO2014122553A1 (en) * 2013-02-06 2014-08-14 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view stereoscopic display device
WO2014136144A1 (ja) * 2013-03-07 2014-09-12 パナソニック株式会社 映像表示装置および映像表示方法
JP6238532B2 (ja) * 2013-03-11 2017-11-29 キヤノン株式会社 画像表示装置及び画像表示方法
JP2015037282A (ja) * 2013-08-15 2015-02-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2015046695A (ja) * 2013-08-27 2015-03-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2015046694A (ja) * 2013-08-27 2015-03-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2015046693A (ja) * 2013-08-27 2015-03-12 キヤノン株式会社 画像処理装置、制御方法及びプログラム
JP6443654B2 (ja) * 2013-09-26 2018-12-26 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体画像表示装置、端末装置、立体画像表示方法、及びそのプログラム
KR102140080B1 (ko) * 2013-09-27 2020-07-31 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법
KR20150057064A (ko) * 2013-11-18 2015-05-28 엘지전자 주식회사 전자 다바이스 및 그 제어방법
US20150145977A1 (en) * 2013-11-22 2015-05-28 Samsung Display Co., Ltd. Compensation technique for viewer position in autostereoscopic displays
WO2015152776A1 (en) * 2014-04-02 2015-10-08 Telefonaktiebolaget L M Ericsson (Publ) Multi-view display control
TWI556624B (zh) * 2014-07-18 2016-11-01 友達光電股份有限公司 影像顯示方法以及影像顯示裝置
CN104155824B (zh) * 2014-08-08 2018-03-30 京东方科技集团股份有限公司 一种主动式光栅、裸眼3d显示装置及显示方法
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110216171A1 (en) * 2010-03-03 2011-09-08 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Screen and method for representing picture information
CN102449534A (zh) * 2010-04-21 2012-05-09 松下电器产业株式会社 立体影像显示装置、立体影像显示方法
CN104185987A (zh) * 2012-03-27 2014-12-03 皇家飞利浦有限公司 具有位置追踪的多用户自动立体显示
US20130307948A1 (en) * 2012-05-16 2013-11-21 Samsung Display Co., Ltd. 3-dimensional image display device and display method thereof
US20150062007A1 (en) * 2012-06-04 2015-03-05 Pfu Limited Priority control for directional display device
CN104010179A (zh) * 2014-06-12 2014-08-27 山东大学 基于立体多画的多用户聚类与视点计算系统及方法
CN104317120A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种供多人观看的自由视点真三维显示系统及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111386565A (zh) * 2018-10-30 2020-07-07 京东方科技集团股份有限公司 光场显示方法、装置、设备和记录介质
CN111386565B (zh) * 2018-10-30 2024-05-17 京东方科技集团股份有限公司 光场显示方法、装置、设备和记录介质
WO2021110036A1 (zh) * 2019-12-05 2021-06-10 北京芯海视界三维科技有限公司 多视点3d显示屏、多视点3d显示设备
WO2021110038A1 (zh) * 2019-12-05 2021-06-10 北京芯海视界三维科技有限公司 3d显示设备、3d图像显示方法
TWI772997B (zh) * 2019-12-05 2022-08-01 新加坡商視覺技術創投私人有限公司 多視點3d顯示屏、多視點3d顯示設備
TWI788739B (zh) * 2019-12-05 2023-01-01 新加坡商視覺技術創投私人有限公司 3d顯示設備、3d圖像顯示方法
CN113138734A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 用于显示的方法、装置和产品
WO2021147756A1 (zh) * 2020-01-20 2021-07-29 北京芯海视界三维科技有限公司 用于显示的方法、装置和产品
CN113093402A (zh) * 2021-04-16 2021-07-09 业成科技（成都）有限公司 立体显示器及其制造方法与立体显示系统
CN113093402B (zh) * 2021-04-16 2022-12-02 业成科技（成都）有限公司 立体显示器及其制造方法与立体显示系统

Also Published As

Publication number Publication date
KR20170017587A (ko) 2017-02-15
US20170041596A1 (en) 2017-02-09
EP3128752A1 (en) 2017-02-08
US10397541B2 (en) 2019-08-27
EP3128752B1 (en) 2019-06-12
KR102415502B1 (ko) 2022-07-01
JP6886253B2 (ja) 2021-06-16
JP2017038367A (ja) 2017-02-16
CN106454307B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN106454307A (zh) 针对多个用户的光场渲染的方法和设备
US9554126B2 (en) Non-linear navigation of a three dimensional stereoscopic display
US9524700B2 (en) Method and system for displaying images of various formats on a single display
CN105376545B (zh) 图像处理方法和设备
CN103988504B (zh) 用于子像素渲染的图像处理设备和方法
US9848184B2 (en) Stereoscopic display system using light field type data
Balram et al. Light‐field imaging and display systems
CN105374325B (zh) 可弯曲立体3d显示装置
CN109495734A (zh) 用于自动立体三维显示器的图像处理方法和设备
EP1742491A1 (en) Stereoscopic image display device
WO2016127630A1 (zh) 裸眼3d的显示处理方法、装置及显示设备
KR102174258B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
WO2010036128A2 (en) Improvements in and relating to electronic visual displays
US20160021363A1 (en) Enhancing the Coupled Zone of a Stereoscopic Display
KR20170044953A (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
EP3182702B1 (en) Multiview image display device and control method therefor
CN108090941A (zh) 三维（3d）图像渲染方法和设备
CN104519345A (zh) 显示设备和方法
JP2015070618A (ja) ユーザの目の位置に基づくレイヤードディスプレイ方式のための映像生成装置及びディスプレイ装置
KR102208308B1 (ko) 디스플레이 장치 및 이의 제어 방법
US10939092B2 (en) Multiview image display apparatus and multiview image display method thereof
US11228752B2 (en) Device and method for displaying three-dimensional (3D) image
KR102143463B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
CN106507089A (zh) 用于生成图像的方法和设备
WO2023000997A1 (zh) 显示面板的显示方法及其显示控制装置、显示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant