CN105376545B - 图像处理方法和设备 - Google Patents

图像处理方法和设备 Download PDF

Info

Publication number
CN105376545B
CN105376545B CN201510400637.4A CN201510400637A CN105376545B CN 105376545 B CN105376545 B CN 105376545B CN 201510400637 A CN201510400637 A CN 201510400637A CN 105376545 B CN105376545 B CN 105376545B
Authority
CN
China
Prior art keywords
sub
pixel
panel
selection
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510400637.4A
Other languages
English (en)
Other versions
CN105376545A (zh
Inventor
朴柱容
南东暻
李硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105376545A publication Critical patent/CN105376545A/zh
Application granted granted Critical
Publication of CN105376545B publication Critical patent/CN105376545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/33—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving directional light or back-light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)

Abstract

公开了一种图像处理方法和设备。提供了一种用于三维(3D)显示装置的图像处理方法和设备，可基于3D显示装置处理用于第一面板的图像数据以生成用于第二面板的图像。

Description

图像处理方法和设备
本申请要求于2014年8月18日提交到韩国知识产权局的第10-2014-0107172号韩国专利申请的优先权权益，所述韩国专利申请的全部内容通过引用完整地包含于此。
技术领域
示例实施例涉及一种图像处理方法和设备，诸如用于三维(3D)显示装置的图像处理方法和设备。
背景技术
许多目前商业化的3D显示装置采用了通过显示不同的图像给用户的双眼来提供深度效应的原理。然而，在这种方法中，仅可将双眼视差信息提供给用户，而不可传递单眼深度感知因素(例如，焦点调整和运动视差)。因此，3D图像会不自然且引起眼睛疲劳。
可利用显示自然的3D图像而不引起疲劳的技术和显示光线的空间角度分布(例如，光场)的3D显示技术。这里，光场可指来自对象的光线的关于位置或方向的分布。当这种光场光学地显示在平面上时，位于平面后面的用户可体验与提供实际对象的情况相似的光线分布，因此可观看到自然的对象的3D图像。
发明内容
至少一些示例实施例涉及一种图像处理方法。
在至少一些示例实施例中，所述图像处理方法包括：接收用于第一面板的图像数据；基于第二面板的光学特性和第二面板中的多个子像素的子像素结构来处理图像数据，其中，第二面板被配置为3D显示装置。第一面板可以是红、绿、蓝(RGB)条纹面板，第二面板可与RGB条纹面板不同。
光学特性包括与第二面板中的子像素的光线方向相关联的特性。光学特性基于以下特性中的至少一个：第二面板与光学层之间距离；第二面板中的所述多个子像素中的至少一个子像素的位置；在光学层中的光学元件中由所述至少一个子像素输出的光所穿过的光学元件的位置。
第二面板的子像素结构包括以下项中的至少一个：第二面板中的子像素的颜色，每个子像素与一种颜色相关联；第二面板中的子像素基于颜色的排列；第二面板中的每种颜色的子像素的尺寸；第二面板中的每种颜色的子像素的数量。
如果图像数据包括用于第一面板的多视图图像，则处理的步骤包括：基于光学特性获取与第二面板中的多个像素的选择的子像素对应的视点；基于光学特性从视点获取图像内的与选择的子像素对应的区域，所述区域包括选择的子像素周围的邻近子像素；基于多视图图像提取选择的子像素和邻近子像素的第一面板子像素值；通过基于第二面板的子像素结构对提取的第一面板子像素值进行过滤来生成选择的子像素的第二面板子像素值。
获取视点的步骤从表格获取视点，获取区域的步骤从表格获取区域。
获取视点的步骤包括：基于选择的子像素的光线方向选择多视图图像中的多个视点中的一个视点；基于用于多视图图像的相机参数从选择的视点确定与选择的子像素对应的位置。
相机参数包括以下参数中的至少一个：针对多个视点中的每个视点的相机的视角；针对多个视点中的每个视点的相机的拍摄方向；针对多个视点中的每个视点的对象与相机之间的距离。
提取的第一面板子像素值包括具有与选择的子像素相同颜色的邻近子像素的子像素值。
如果子像素与多个视点对应，则获取视点的步骤确定与选择的子像素对应的多个视点，获取区域的步骤在多个视点确定与选择的子像素对应的多个区域，所述多个区域中的每个区域包括选择的子像素周围的相邻子像素。
提取的步骤包括：在所述多个区域中的每个区域中提取具有与选择的子像素相同的颜色的邻近子像素的第一面板子像素值；在所述多个区域之间插入第一面板子像素值。
生成的步骤包括：基于子像素结构获取用于提取的第一面板子像素值的权重；通过使用权重对提取的第一面板子像素值执行加权求和来计算选择的子像素的第二面板子像素值。
所述图像处理方法还包括：获取用户双眼的位置；基于用户双眼的位置确定选择的子像素是与左眼对应还是与右眼对应。确定区域的步骤包括：基于与选择的子像素对应的眼睛的位置选择多视图图像中的多个视点中的一个视点；基于用于多视图图像的相机参数从选择的视点确定与选择的子像素对应的位置。
如果图像数据包括3D模型，则处理的步骤包括：基于光学特性获取与第二面板中的选择的子像素对应的视点；基于光学特性从所述视点获取图像内的与选择的子像素对应的区域，所述区域包括选择的子像素周围的邻近子像素；基于3D模型生成选择的子像素和邻近子像素的第一面板子像素值；通过基于第二面板的子像素结构对生成的第一面板子像素值进行过滤来生成选择的子像素的第二面板子像素值。
获取视点的步骤从表格获取视点，获取区域的步骤从表格获取区域。
获取视点的步骤包括：基于选择的子像素的光线方向确定视点，其中，从所述光线方向观看3D模型；基于沿所述光线方向传播的光入射到用于确定的视点的虚拟相机的位置，从确定的视点确定与选择的子像素对应的位置。
生成的第一面板子像素值包括具有与选择的子像素相同的颜色的邻近子像素的子像素值。
生成的步骤包括：基于子像素结构获取用于提取的第一面板子像素值的权重；通过使用权重对生成的第一面板子像素值执行加权求和来计算子像素的第二面板值。
如果图像数据包括用于第一面板的立体图像，则所述方法还包括：接收用户双眼的位置，并且处理的步骤包括：基于双眼的位置确定第二面板中的选择的子像素是与左图像还是与右图像对应；从与选择的子像素对应的左图像或右图像提取在与选择的子像素对应的区域中的第一面板子像素值；通过基于第二面板的子像素结构对提取的第一面板子像素值进行过滤来生成选择的子像素的第二面板子像素值。
当沿子像素的光线方向传播的光到达与用户的右眼相比更靠近于用户的左眼的位置时，选择的子像素与左图像对应，当所述光到达与用户的左眼相比更靠近于用户的右眼的位置时，选择的子像素与右图像对应。
提取的第一面板子像素值包括具有与选择的子像素相同的颜色的邻近子像素的子像素值。
生成的步骤包括：基于子像素结构获取用于提取的第一面板子像素值的权重；通过使用权重对提取的第一面板子像素值执行加权求和来计算选择的子像素的第二面板子像素值。
至少其他示例实施例涉及一种图像处理设备。
在至少一些示例实施例中，一种图像处理设备包括：接收器，被配置为接收用于第一面板的图像数据；处理器，被配置为基于第二面板的光学特性和第二面板中的多个子像素的子像素结构来处理图像数据，其中，第二面板被配置为3D显示装置。
至少一个示例实施例公开了一种生成第一面板中的选择的子像素的子像素值的方法，第一面板具有第一子像素结构。所述方法包括：获取与第二面板相关联的图像数据，第二面板具有第二子像素结构；通过基于与选择的子像素对应的视点将图像数据的至少一部分转换为选择的子像素的子像素值来处理图像数据，第一子像素结构与第二子像素结构不同。
在示例实施例中，处理的步骤包括：基于图像数据确定与选择的子像素对应的视点，所述视点与图像相关联；确定图像中与选择的子像素对应的区域，所述子像素值基于所述区域。
在示例实施例中，处理的步骤包括：基于所述区域确定第二面板的子像素值；基于第二面板子像素的子像素值确定选择的子像素的子像素值。
在示例实施例中，第二面板子像素围绕选择的子像素。
在示例实施例中，第一面板被配置为三维(3D)显示装置。
示例实施例的其他方面将在接下来的描述中部分地阐述，部分将通过描述将是明显的，或者可通过本公开的实施来了解。
附图说明
从以下结合附图对示例实施例进行的描述，这些和/或其它方面将变得明显和更容易理解，在附图中：
图1至图7示出根据至少一些示例实施例的图像处理设备；
图8和图9示出根据至少一些示例实施例的视点选择操作；
图10至图13示出根据至少一些示例实施例的位置确定操作；
图14和图15示出示例根据至少一些实施例的区域确定操作；
图16至图23示出根据至少一些示例实施例的过滤操作；
图24示出根据至少一些示例实施例的光场渲染方法；
图25至图28示出根据至少一些示例实施例的插值操作；
图29至图32示出根据至少一些示例实施例的光场渲染设备和方法；
图33至图36示出根据至少一些示例实施例的光场渲染设备和方法；
图37至图40示出根据至少一些示例实施例的光场渲染设备和方法。
具体实施方式
在下文中，将参照附图详细描述一些示例实施例。关于在附图中分配给元件的标号，应注意的是，即使相同元件在不同的附图中示出，但是只要有可能，相同元件也可由相同的标号指定。此外，在实施例的描述中，当认为对公知的相关结构或功能的详细描述会导致本公开不清楚时，将省略这样的描述。
然而，应理解的是，不意图使本公开局限在公开的特定示例实施例。相反，示例实施例意图覆盖落入示例实施例的范围内的所有修改、等同物和替代物。整个附图的描述中，相同的标号表示相同的元件。
此外，诸如第一、第二、A、B、(a)、(b)等的术语在这里可用于描述组件。这些术语中的每个术语不用于限定相应组件的本质、次序或顺序，而仅用于对相应组件与其它组件进行区分。应注意的是，如果在说明书中描述为一个组件“连接”、“结合”或“接合”到另一组件，则虽然第一组件可直接连接、结合或接合到第二组件，但是第三组件可“连接”、“结合”和“接合”到第一组件与第二组件之间。
这里使用的术语仅用于描述特定实施例的目的，而不旨在进行限制。如这里所使用的那样，除非上下文另外明确指示，否则单数形式也意图包括复数形式。还要理解的是，当这里所使用术语“包括”和/或“包含”时，指明存在阐述的特征、整体、步骤、操作、元件和/或组件，但是不排除存在或添加一个或更多个其它特征、整体、步骤、操作、元件、组件或者它们的组。
还应注意的是，在一些可选择的实施方式中，指出的功能/行为可不按附图中指出的顺序发生。例如，根据所涉及的功能/行为，连续示出的两个图事实上可基本同时被执行或者有时可以以相反的顺序被执行。
现在将参照示出至少一些示例实施例的附图，更全面地对各种示例实施例进行描述。在附图中，为了清楚起见，可夸大层和区域的厚度。
除非另外明确阐述，或者经讨论变得清楚，否则诸如“处理”或“运算”或“计算”或“确定”或“显示”等术语是指计算机系统或类似的电子计算装置的操作和处理，所述计算机系统或类似的电子计算装置将在计算机系统的寄存器和存储器内表示为物理、电子量的数据操纵并转换为在计算机系统的存储器或寄存器或其他这种信息存储、传输或显示装置内类似地表示为物理、电子量的其他数据。
在以下的描述中提供具体的细节以提供对示例实施例的彻底的理解。然而，本领域普通技术人员将会理解，可在没有这些具体细节的情况下实施示例实施例。例如，在框图中示出系统以免示例实施例在不必要的细节上变得不清楚。在其他情况下，可在没有不必要的细节的情况下示出公知的处理、结构和技术以避免使示例实施例不清楚。
在以下描述中，将参照可被实现为包含历程程序、对象、组件、数据结构等的程序模块或功能性流程的操作的行为和符号表征(例如，以流程图、流程图表、数据流图、结构图、框图等)对说明性实施例进行描述，所述历程、程序、对象、组件、数据结构等执行特定的任务或执行特定的抽象数据类型且可使用在现有的电子系统中存在的硬件(例如，非易失性存储器、通用闪存、通用闪存控制器、非易失性存储器和存储器控制器、数字傻瓜相机、个人数字助理(PDA)、智能电话、平板个人计算机(PC)、膝上型计算机等)来实现。可使用硬件组件和执行软件组件的硬件组件来执行这里所描述的单元和/或模块。这种现有的硬件可包括可被称为处理装置的一个或更多个中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)计算机等。
可使用一个或更多个硬件装置来实施处理装置，所述一个或更多个硬件装置被配置为通过执行算术、逻辑和输入/输出操作来实施和/或执行程序代码。处理装置可运行操作系统(OS)，并可运行在OS下运行的一个或更多个软件应用。处理装置还可响应于软件的执行访问、存储、操纵、处理并创建数据。例如，处理装置可包括多个处理器、或者一个处理器和一个控制器。此外，不同的处理配置是可行的，诸如并行处理器。
虽然流程图可按顺序处理描述操作，但许多操作可被并行执行、并发执行或同时执行。此外，操作的顺序可被重新排列。一次处理可在操作完成时终止，但还可具有不包括在附图中的其他步骤。一次处理可与方法、函数、程序、子程序、子程序等对应。当一次处理与一个函数对应时，该处理的终止可对应于该函数返回到调用函数或者主函数。
如这里所公开的，术语“存储介质”、“计算机可读存储介质”、“非暂时性计算机可读介质”或“非暂时性计算机可读存储介质”可代表用于存储数据的一个或更多个装置，包括只读存储器(ROM)、随机存取存储器(RAM)、电阻式RAM、忆阻器、磁性RAM、核心内存、磁盘存储媒介、光学存储介质、闪存装置和/或用于存储信息的其他有形机器可读介质。术语“计算机可读介质”可包括，但不限于便携式存储装置或固定式存储装置、光学存储装置、以及能够存储、包含或实施指令和/或数据的各种其他介质。
此外，示例实施例可通过硬件、软件、固件、中间件、微码、硬件描述语言或它们的任意组合来实现。当在软件、固件、中间件或微码中实施时，用于执行必要任务的程序代码或代码段可被存储于机器或者诸如计算机可读存储介质的计算机可读介质中。当在软件中实施时，一个处理器或多个处理器可被编程为执行必要的任务，从而被转换为专用处理器或计算机。
软件可包括计算机程序、一段代码(代码段)、指令或者它们的一些组合，以独立地或者共同地指示或者配置处理装置根据需要运行，从而将处理装置转换为专用处理器。可以在任何类型的机器、组件、物理或者虚拟装备、计算机存储介质或者装置中，或以能够将指令或者数据提供给处理装置或者能够被处理装置解释的传输信号波永久或者暂时地实现软件和数据。软件还可以分布在联网的计算机系统上，从而以分布式的方式存储和执行软件。可以通过一个或者更多个非暂时性计算机可读记录介质来存储软件和数据。
代码段可代表过程、函数、子程序、程序、历程、子历程、模块、软件包、类、或者指令、数据结构或程序语句的任意组合。代码段可通过传递和/或接收信息、数据、自变量、参数或者存储内容与另一个代码段或硬件电路结合。信息、自变量、参数、数据等可通过包括内存共享、消息传递、令牌传递、网络传输等任何适合的方式被传递、转发或者发送。
以下描述的示例实施例可用于关于光场显示技术的渲染。光场显示技术是指显示三维(3D)图像的自动立体技术，并可应用于例如3D电视、3D监视器、3D数字信息显示器(DID)和3D移动装置。
图1至图7示出根据至少一些示例实施例的图像处理设备。图像处理设备是指使用光场显示技术处理图像的设备，并可包括例如光场渲染设备。以下，为了易于描述，图像处理设备还将被称为光场渲染设备。
参照图1，根据示例实施例的光场渲染设备110可包括接收器111和处理器112。接收器111可接收用于第一面板的图像数据120。在示例中，用于第一面板的图像数据120可包括用于第一面板的多视图图像。
处理器112可处理用于第一面板的图像数据120以生成用于基于第二面板的3D显示装置130的图像。基于第二面板的3D显示装置130是指利用光场显示技术显示3D图像的设备，并可包括例如基于第二面板的光场显示装置。以下，为了易于描述，基于第二面板的3D显示装置130还将被称为基于第二面板的光场显示装置。
处理器112可通过基于第二面板的3D显示装置130的光学特性和第二面板的子像素结构处理用于第一面板的图像数据120来生产用于基于第二面板的光场显示装置130的图像。第二面板的子像素结构可不同于第一面板的子像素结构。基于第二面板的3D显示装置130的光学特性可包括与包括在第二面板中的子像素的光线方向相关联的特性。
详细地，光场渲染设备110使用用于第一面板的多视图图像来生成包括在基于第二面板的光场显示设备130中的第二面板的子像素值。光场渲染设备110可使用被配置为渲染光场的各种模块被配置，并且构成光场渲染设备110的各种模块可被实现为硬件模块、执行软件模块的硬件或者它们的组合。执行软件模块的硬件可由至少一个处理器。
第一面板的子像素结构可不同于第二面板的子像素结构。预定的和/或期望的面板的子像素结构可包括：包括在该面板中的子像素的颜色；每个颜色的子像素被布置在该面板中的形式；包括在该面板中每个颜色的子像素的尺寸；包括在该面板中的每个颜色的子像素的数量。
例如，第一面板可以是一般的红、绿、蓝(RGB)面板，第二面板可以是PenTileTM面板。一般的RGB面板的子像素结构可不同于PenTileTM面板的子像素结构。详细地，一般的RGB面板可具有如下的子像素结构：在单个像素中包括具有相同尺寸的红色(R)子像素、绿色(G)子像素和蓝色(B)子像素。例如，一般的RGB面板可以以RGB条纹结构实现。
PenTileTM面板可不具有如下的子像素结构：在单个像素中包括具有相同尺寸的R子像素、G子像素和B子像素。PenTileTM面板可以以各种形式实现。在示例中，PenTileTM面板可具有如图2所示的子像素结构。图2的子像素结构可被称为菱形PenTileTM结构。图2示出具有菱形PenTileTM子像素结构的多个像素2001-200n。参照图2，单个像素(例如，像素2001)可包括两个子像素。每个像素可不包括所有的R子像素、G子像素和B子像素。每个像素可包括R子像素和G子像素，或者包括B子像素和G子像素。G子像素的尺寸可以小于R子像素的尺寸和B子像素的尺寸。在单个像素中，G子像素和R子像素可以被布置于对角线方向上。此外，在单个像素中，G子像素和B子像素可被布置于对角线方向上。单个像素中的子像素的布置可被多样地改变。此外，R子像素、G子像素和B子像素的各自的尺寸和形态可被多样地改变。
在另一个示例中，PenTileTM面板可具有如图3所示的子像素结构。图3示出具有另一个PenTileTM子像素结构的多个像素3001-300n。参照图3，单个像素(例如，像素3001)可包括两个子像素。每个像素可不包括所有的R子像素、G子像素和B子像素。每个像素可包括R子像素和G子像素，或者包括B子像素和G子像素。R子像素、G子像素和B子像素可具有不同的尺寸。在单个像素中，G子像素和R子像素可被布置于垂直方向上。此外，在单个像素中，G子像素和B子像素可被布置于垂直方向上。单个像素中的子像素的布置可被多样地改变。此外，R子像素、G子像素和B子像素的各自的尺寸和形态可被多样地改变。
在另一个示例中，PenTileTM面板可具有如图4所示的子像素结构。图4示出具有另一个PenTileTM子像素结构的多个像素4001-400n。参照图4，除了R子像素、G子像素和B子像素之外，PenTileTM面板还可包括白色(W)子像素。每个像素可不包括所有的R子像素、G子像素、B子像素和W子像素。每个像素可包括R子像素和G子像素，或者包括B子像素和W子像素。在单个像素中，G子像素和R子像素可被布置于水平方向上。此外，在单个像素中，B子像素和W子像素可被布置于水平方向上。单个像素中的子像素的布置可被多样地改变。此外，R子像素、G子像素、B子像素和W子像素的各自的尺寸和形态可被多样地改变。
虽然为了易于描述以上对第二面板与PenTileTM面板对应的情况进行了描述，但第二面板可以是具有与一般的RGB面板不同的结构的面板，并不限于PenTileTM面板。
光场渲染设备110可通过使用用于第一面板的多视图图像生成包括在基于第二面板的光场显示装置130中的第二面板的子像素值来渲染光场。例如，参照图5，基于第二面板的光场显示装置130可体现从存在于预定的和/或选择的空间中的点沿不同的方向输出的光。基于第二面板的光场显示装置130可利用实际对象在单个点沿不同的方向生成光或反射光的原理。
基于第二面板的光场显示装置130可包括包含子像素的第二面板501和从子像素输出的光所穿过的光学层(optical layer)502。光学层502可包括滤光器，例如，柱状透镜、视差光栅、透镜阵列和微透镜阵列。此外，光学层502可包括方向性背光单元。在下文中，为了易于描述，将对光学层502与透镜阵列对应的情况进行描述。然而，示例实施例不限于上述的滤光器。可使用可布置在显示器的前表面或者后表面上的各种类型的光学层。
从包括在第二面板501中的子像素输出的光的方向可通过光学层502被确定。从每个子像素输出的光可穿过光学层502并沿预定的和/或期望的方向照射。通过这种过程，基于第二面板的光场显示装置130可显示立体图像或者多视图图像。
光学层502可包括多个元件。每个元件可以被称为3D像素。单个3D像素可沿各种方向输出包含不同的多条信息的光线。例如，包括在光学层502中的单个3D像素可沿15×4个方向输出光线503。基于第二面板的光场显示装置130可使用多个3D像素体现3D空间中的点。
在这个示例中，第二面板501中的子像素的位置和/或尺寸可基于第二面板501的子像素结构而改变。因此，从第二面板501中的每个像素输出的光线的方向可基于第二面板501的子像素结构而改变。因此，当用于第一面板的多视图图像的子像素值被确定为第二面板501的子像素值时，多视图图像不会被适当地显示。例如，当基于一般的RGB面板的子像素结构执行光场渲染的面板图像被简单地转换为适合于PenTileTM面板的子像素结构时，基于PenTileTM面板的子像素结构而改变子像素的光线方向的点会被忽略，因此预期的图像不会被适当地显示。
光场渲染设备110可使用具有不同子像素结构的第二面板来提供用于光场显示装置的渲染技术。例如，光场渲染设备110可基于第二面板的子像素结构从用于第一面板的多视图图像生成第二面板的子像素的值。将在稍后详细描述光场渲染设备110的操作。
因此，至少一些示例实施例可提供使用各种面板实现光场显示装置的技术。如在稍后将要详细描述的，光场渲染设备110可提供仅针对在基于第二面板的光场显示装置130中实际使用的子像素执行子像素结构转换的算法，以最小化将子像素结构转换为适合于第二面板的子像素结构的运算量。
参照图6，光场渲染设备110可包括接收器610、确定器620、提取器630和生成器640。接收器610可接收用于第一面板的多视图图像的图像数据。接收器610可与图1的接收器111对应。确定器620可基于多视图图像确定与包括在第二面板中的子像素对应的视点，并从该视点确定与子像素对应的区域。提取器630可从多视图图像提取与确定的视点和确定的区域对应的子像素值。生成器640可通过基于第二面板的子像素结构对提取的子像素的值进行过滤来生成子像素的值。确定器620、提取器630和生成器640可与图1的处理器112对应。
确定器620、提取器630和生成器640可以是硬件、固件、执行软件的硬件或者它们的任意组合。当确定器620、提取器630和生成器640中的至少一个为硬件时，这样存在的硬件可包括被配置为用于执行确定器620、提取器630和生成器640中的至少一个的功能的专用机器的一个或更多个中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)计算机等。如上所述，CPU、DSP、ASIC和FPGA通常可被称为处理装置。
在确定器620、提取器630和生成器640中的至少一个为执行软件的处理器的情况下，处理器112可被配置为用于执行存储在存储介质113中的软件以执行确定器620、提取器630和生成器640中的至少一个的功能的专用机器。
确定器620可基于子像素的光线方向确定与子像素对应的视点和与子像素对应的区域。参照图7，确定器620可计算子像素711的光线方向以渲染子像素711的值。例如，从子像素711输出的光可沿穿过光学层720内的元件721的中心的方向传播。确定器620可基于第二面板710与光学层720之间的距离、第二面板710内的子像素711的位置和在光学层720内的元件中从子像素711输出的光所穿过的元件721的位置来计算子像素711的光线方向。在下文中，从子像素输出的光可包括从与发光二极管(LED)相似的独立发射光的子像素输出的光和从与液晶显示器(LCD)相似的透射背光的光的子像素输出的光。
沿子像素711的光线方向传播的光可与多视图图像的视点730中的一个对应。多视图图像可包括与多个视点对应的视图图像。确定器620可选择与沿子像素711的光线方向传播的光到达的位置对应的视点731。将参照图8和图9对视点选择操作进行详细描述。
确定器620可基于用于多视图图像的相机参数来确定从选择的视点731获取的图像740内的与子像素对应的位置741。相机参数是指用于拍摄多视图图像的多视图相机的参数，并且可包括例如针对每个视点的相机的视角、针对每个视点的相机的拍摄方向以及对象和针对每个视点的相机之间的距离。相机参数可被包括在多视图图像中，确定器620可从多视图图像获取相机参数。将参照图10至图13对位置确定操作进行详细描述。
确定器620可将包括从选择的视点731获取的图像740内的位置741的区域742确定为与子像素711对应的区域。区域742可以是图像740内包括处于区域742的中心的位置741的预定的和/或选择的尺寸的区域。将参照图14至图15对区域确定操作进行详细描述。
在上述操作中，确定器620可基于子像素的光线方向确定与子像素对应的视点和与子像素对应的区域。然而，在其他示例实施例中，确定器620可从预先提供的表格获取与子像素对应的视点和与子像素对应的区域。例如，当拍摄多视图图像的条件(例如，多视图图像的拍摄距离、多视图图像的视图的拍摄视角、多视图图像的拍摄方向和用于多视图图像的相机参数)被标准化时，与预定的和/或子像素对应的视点和与预定的和/或选择的子像素对应的区域可被预先确定和/或选择。
预先提供的表格可基于第二像素的子像素结构存储关于与包括在第二面板中的子像素对应的视点和区域的信息。在示例中，确定器620可通过参考预先提供的表格确定与子像素对应的视点和与子像素对应的区域。
表格可被配置为针对所有的子像素存储将被过滤以获取子像素的值的RGB面板的预先计算的区域信息和由子像素体现的视点。当多视图图像被输入时，存储在表格中的视点信息可以是指示视点的视点值。当3D模型数据被使用时，存储在表格中的视点信息可以是被指定为渲染3D模型数据的虚拟相机的中心的位置、相机的视角方向和相机的视场。
此外，基于与视图图像对应的分辨率的将被过滤以获取PentileTM面板的子像素的值的视图图像内的区域信息也可被存储在表格中。表格中的存储空间的数量可与子像素的数量对应。视点信息或虚拟相机信息、用于过滤的视图图像中的位置和范围信息可被存储在每个存储空间中。存储的信息可被检索并用于计算PentileTM面板的子像素的值。
当输入的图像具有相同的格式时，用于过滤的视点信息和区域信息可不必每次都基于子像素的方向和位置来计算。因此，这些信息可被计算一次，存储并同样地应用于将被连续输入的后续信息。
虚拟相机是指具有关于用于3D模型的2D渲染的相机的位置、方向和视场的信息的非真实的相机。
只要相机信息指示相机的投影中心可位于延伸由子像素体现的光的方向的线上，并且由子像素体现的光的方向包括在视场中，相机信息就可以以不同的形式变化。然而，为了方便，可预先设置如下限制：对应的虚拟相机的向上矢量与显示器的垂直方向相同并且面向上侧，或者虚拟相机的视场中心的方向(即，投影方向)垂直于显示器的平面。
虚拟相机可被设置为捕获与从对应的子像素发射的光匹配的方向的光线信息。
返回参照图7，提取器630可从多视图图像提取与视点731和区域742对应的子像素值。例如，提取器630可在构成多视图图像的多个视图图像中检测与视点731对应的视图图像。提取器630可从检测的视图图像提取包括在区域742中的子像素的值。
在这个示例中，提取器630可在包括在区域742中的子像素中选择性地提取颜色与子像素711的颜色相同的子像素的值。例如，子像素711可以是R子像素，区域742可包括R子像素、G子像素和B子像素。提取器630可在区域742内的R子像素、G子像素和B子像素中选择性地提取R子像素的值。
生成器640可基于区域742生成子像素711的值。生成器640可通过对从区域742提取的子像素值进行过滤来生成子像素711的值。例如，生成器640可基于第二面板710的子像素结构来确定权重。生成器640可通过使用确定的权重对从区域742提取的子像素值执行加权求和来计算子像素711的值。计算的值可以被施加于子像素711。将参照图16至图23对过滤操作进行详细描述。
图8和图9示出根据至少一些示例实施例的视点选择操作。
参照图8，子像素810可沿各种方向输出光，并且输出的光可穿过光学层820并以光线方向被量化的形式被体现。例如，从子像素810输出的光的方向可被量化为穿过包括在光学层820中的元件的各自的中心的方向。
确定器620可在量化的光线方向中将与构成多视图图像的视点对应的光线方向确定为子像素810的光线方向。例如，第一光线方向841可与构成多视图图像的视点中的视点830对应，第二光线方向842可不对应于构成多视图图像的任何视点。第一光线方向841可以是从子像素810输出的光穿过元件821的中心的方向，第二光线方向842可以是从子像素810输出的光穿过元件822的中心的方向。在这个示例中，确定器620可将第一光线方向841确定为子像素810的光线方向。
在一些情况下，多个光线方向可与构成多视图图像的视点对应。在这个示例中，确定器620可将与最接近多视图图像的中心位置的视点对应的光线方向确定为相应子像素的光线方向。多视图图像的中心位置可以是与构成多视图图像的多个视点分布的区域的中心对应的位置。
参照图9，第二面板910的每个子像素的光线方向可通过确定器620被确定为穿过光学层920内的一个元件的中心的方向。每个光线方向可与构成多视图图像的多个视点930中的一个视点对应。
图10至图13示出根据至少一些示例实施例的位置确定操作。
参照图10，从第二面板的子像素1010输出的光可通过光学层的元件1020输出，并与视点1030对应。确定器620可基于用于多视图图像的相机参数来确定从视点1030获取的图像1040内的与子像素1010对应的位置。
例如，确定器620可基于相机参数设置用于视点1030的虚拟相机1050，并计算沿光线方向1025传播的光入射到用于视点1030的虚拟相机1050的拍摄空间的位置。这里，用于视点1030的虚拟相机1050的拍摄空间可与从视点1030获取的图像1040对应，并且沿光线方向1025传播的光可入射到图像1040内的位置1041。确定器620可将位置1041确定为与子像素1010对应的位置。
参照图11，确定器620可基于相机参数设置用于视点1030的虚拟相机1060，该虚拟相机1060与图10的虚拟相机1050不同。在这个示例中，沿光线方向1025传播的光可入射到从视点1030获取的图像1040内的另一个位置。例如，沿光线方向1025传播的光可入射到从视点1030获取的图像1040内的位置1042。确定器620可将位置1042确定为子像素1010对应的位置。
如图10至图11所示，相机1050的投影方向被设置为垂直于显示器的平面，相机1060的投影方向被设置为与从子像素发射的光线的方向匹配。
如上所述，当相机参数通过确定器620被确定时，相机的位置、投影方向和视场可如图10和图11中所示通过确定器620被确定。因此，相机在空间中捕获光的唯一配置可被确定。然后，当相机在这个状态下捕获显示器的平面时，通过相机拍摄的图像中的特定子像素的位置可通过确定器620被确定。
在图10的情况下，从子像素1010发射的光对角地进入相机1050，并且在通过相机1050拍摄的图像1040中的位置1041被捕获。在图11的情况下，相机1060的投影方向面向子像素1010。因此，子像素1010在与通过相机1060拍摄的图像1040的中心对应的位置1042被捕获。
参照图12，从子像素1020输出的光可通过光学层的元件1220被输出，并与视点1030对应。这里，沿光线方向1225传播的光可以不精确地入射到用于视点1030的虚拟相机1050的中心1031，并且可入射到另一个位置1032。在这个示例中，确定器620可使用元件1220与虚拟相机1050的中心1030之间的虚拟光线来确定与子像素1210对应的位置。
例如，参照图13，确定器620可设置从元件1220的中心到虚拟相机1050的中心1031的光线方向1226。确定器可计算沿光线方向1226传播的光入射到从视点1030获取的图像1040的位置1043。确定器可将位置1043确定为与子像素1210对应的位置。
图14和图15示出示例根据至少一些实施例的区域确定操作。
参照图14，用于第一面板的图像1400可包括多个像素。包括在用于第一面板的图像1400中的每个像素可包括体现相应像素的颜色的R子像素值、G子像素值和B子像素值。用于第一面板的图像1400可以是于构成多视图图像的多个视点中的一个视点对应的图像。
确定器620可确定包括在用于第一面板的图像1400内确定的位置的区域1410。确定的位置可与包括在用于第一面板的图像1400中的多个像素中的一个像素(例如，像素1411)对应。区域1410可以是包括像素1411及其外围像素的3×3像素组。
区域1410的尺寸不限于3×3像素组。例如，参照图15，确定器620可将区域1510确定为包括像素1411及其外围像素的5×5像素组。包括像素1411的区域可被设置为其他各种形式，例如，圆形。在下文中，为了易于描述，将在假设与子像素对应的区域为3×3像素组的情况下描述过滤操作。然而，示例实施例也可适用于各种尺寸和/或各种形式的区域。
图16至图23示出根据至少一些示例实施例的过滤操作。
参照图16，生成器640可基于第二面板的子像素结构确定权重以生成子像素的值。例如，生成器640可确定用于子像素1610及其外围像素的权重以生成子像素1610的值。子像素1610可以是R子像素。R子像素可以不被布置在子像素1610的上、下、左和右方向上。R子像素可被布置在子像素1610的对角方向上。
生成器640可基于子像素结构确定权重图(weight map)1620。权重图1620可以是3×3矩阵，并具有与在视图图像内确定且与子像素对应的区域的尺寸相等的尺寸。图16的权重图1620仅作为示例提供。可由生成器640通过反映第二面板的子像素结构的各种方案来不同地确定在权重图1620中设置的权重。
如上所述，提取器630可从在视图图像内确定的区域提取与和子像素1610的颜色相同的颜色对应的子像素值1630。生成器640可通过基于权重图1620对从在视图图像内确定的区域提取且与子像素1610对应的子像素值1630执行加权求和来生成子像素1610的值。例如，可通过生成器640如表达式1640所表示来计算子像素1610的值。
参照图17，子像素1710可以是G子像素，G子像素可被布置在子像素1710的上、下、左、右和对角线方向上。生成器640可基于子像素结构确定权重图1720。生成器640可通过基于权重图1720对通过提取器630从在视图图像内确定的区域提取且与子像素1710对应的子像素值1730执行加权求和来生成子像素1710的值。例如，可通过生成器640如表达式1740所表示来计算子像素1710的值。由于在子像素结构中G子像素被包括在第二面板的所有像素中，因此G子像素实际上可以不被过滤。
参照图18，子像素1810可以是B子像素。B子像素可布被布置在子像素1810的上、下、左和右方向上。B子像素可被布置在子像素1810的对角方向上。生成器640可基于子像素结构确定权重图1820。生成器640可通过基于权重图1820对通过提取器630从与子像素1810对应的区域提取的子像素值1830执行加权求和来生成子像素1810的值。例如，可通过生成器640如表达式1840所表示来计算子像素1810的值。
参照图19，生成器640可生成用于RGBWPenTileTM面板的W子像素。例如，生成器640可从与RGB图像对应的第一子像素值1910生成第二子像素值1920的W子像素值。例如，预定的和/或选择的像素的W子像素值可被确定为在对应像素的R子像素值、G子像素值和B子像素值中的最小值。第一子像素值1910可以是从在视图图像内确定的区域(与子像素对应的区域)提取的R子像素值、G子像素值和B子像素值。第二子像素值1920可用于生成RGBWPenTileTM面板的W子像素的值。例如，生成器可从与RGB图像对应的第一子像素值1910生成第二子像素值1920的R子像素值、G子像素值、B子像素值和W子像素值。例如，预定的和/或选择的像素的R子像素值、G子像素值、B子像素值和W子像素值可被确定为对应的RGB像素的R子像素值、G子像素值和B子像素值的函数。
参考图20，生成器640可确定用于子像素2010及其外围子像素的权重以生成子像素2010的值。子像素2010可以是R子像素。R子像素可不被布置在子像素2010的上、下、左和右方向上。R子像素可被布置在子像素2010的对角方向上。生成器640可基于子像素结构确定权重图2020。生成器640可通过基于权重图2020对从在视图图像内确定的区域提取且与子像素2010对应的子像素值2030执行加权求和来生成子像素2010的值。例如，可通过生成器640如表达式2040所表示来计算子像素2010的值。
参考图21，子像素2110可以是G子像素。G子像素可不被布置在子像素2110的上、下、左和右方向上。G子像素可被布置在子像素2110的对角方向上。生成器640可基于子像素结构确定权重图2120。生成器640可通过基于权重图2120对从与子像素2110对应的区域提取的子像素值2130执行加权求和来生成子像素2110的值。例如，可通过生成器640如表达式2140所表示来计算子像素2110的值。
参考图22，子像素2210可以是B子像素。B子像素可不被布置在子像素2210的上、下、左和右方向上。B子像素可被布置在子像素2210的对角方向上。生成器640可基于子像素结构确定权重图2220。生成器640可通过基于权重图2220对从在视图图像内确定的区域提取且与子像素2210对应的子像素值2230执行加权求和来生成子像素2210的值。例如，可通过生成器640如表达式2240所表示来计算子像素2210的值。
参考图23，子像素2310可以是W子像素。W子像素可不被布置在子像素2310的上、下、左和右方向上。W子像素可被布置在子像素2310的对角方向上。生成器640可基于子像素结构确定权重图2320。生成器640可通过基于权重图2320对如参考图19所描述生成的子像素值2330执行加权求和来生成子像素2310的值。例如，可通过生成器640如表达式2340所表示来计算子像素2310的值。
图24示出根据至少一些示例实施例的光场渲染方法。
参照图24，光场渲染方法可包括如下操作：操作2410，由接收器接收用于第一面板的多视图图像；操作2420，由确定器确定与包括在第二面板中的子像素对应的视点；操作2430，由确定器确定在从确定的视点获取的图像内与子像素对应的区域；操作2440，由提取器从多视图图像提取与确定的视点和确定的区域对应的子像素值；操作2450，由生成器通过基于第二面板的子像素结构对提取的子像素值进行过滤来生成子像素的值。参照图1至图23提供的描述可适用于图24的每个操作，因此为了简洁将省略重复的描述。
图25至图28示出根据至少一些示例实施例的插值操作。
参照图25，从第二面板的子像素2510输出的光可沿穿过光学层的元件2520的光线方向2530传播。在这个示例中，沿光线方向2530传播的光可不精确地对应于单个视点。例如，沿光线方向2530中传播的光可入射到用于第一视点2540的虚拟相机的位置2541与用于第二视点2550的虚拟相机的位置2551之间。在这个示例中，可表现出子像素2510与多个视点(例如，第一视点2540和第二视点2550)对应。
参照图26，为了生成子像素2510的值，可设置与沿光线方向2530传播的光对应的虚拟相机2610。由于多视图图像不包括由虚拟相机2610拍摄的图像，因此可通过插值技术来生成由虚拟相机2610拍摄的图像。例如，参照图27，确定器620可在多个视点确定与的子像素2510对应的区域。确定器620可基于从元件2520向用于第一视点2540的虚拟相机的位置2541传播光的光线方向2710，在从第一视点2540获取的图像2730内确定与子像素2510对应的第一区域2731。此外，确定器620可基从元件2520向用于第二视点2550的虚拟相机的位置2551传播光的光线方向2720，在从第二视点2550获取的图像2740内确定与子像素2510对应的第二区域2741。
参照图28，提取器630可从多视图图像提取第一区域2731的子像素值和第二区域2741的子像素值。提取器630可在第一区域2731与第二区域2741之间插入彼此对应的子像素的值。例如，提取器630可通过插入位于第一区域2731的中心的子像素2732的值和位于第二区域2741的中心的子像素2742的值来生成位于第三区域2810的中心的子像素2811的值。第三区域2810可以是在由图26的虚拟相机2610拍摄的图像内与子像素2510对应的区域。生成器640可通过对第三区域2810的子像素值进行过滤来生成子像素2510的值。
以上描述了使用两个视点的插值技术。然而，示例实施例可扩展至使用至少三个视点的插值技术。在这个示例中，可基于子像素2510的光线方向来确定至少三个视点，并且可在从各个视点获取的图像内确定与子像素2510对应的区域。
图29至图32示出根据至少一些示例实施例的光场渲染设备和方法。
参照图29，光场渲染设备2910可基于表示3D模型的3D模型数据2920生成包括在基于第二面板的光场显示装置2930中的第二面板的子像素值。第二面板可以是与一般的RGB面板不同的面板(例如，PenTileTM面板)。光场渲染设备2910可通过使用3D模型数据2920生成包括在基于第二面板的光场显示装置2930中的第二面板的子像素值来渲染光场。
参照图30，光场渲染设备2910可包括接收器3010、确定器3020、第一生成器3030和第二生成器3040。接收器3010可接收表示3D模型的数据(例如，3D模型数据2920)。接收器3010可与图1的接收器111对应。确定器3020可确定与包括在第二面板中的子像素对应的视点以及从视点获取的图像内与子像素对应的区域。第二面板可以是PenTileTM面板。确定器3020、第一生成器3030和第二生成器3040可与图1的处理器112对应。
确定器3020、第一生成器3030和第二生成器3040可以是硬件、固件、执行软件的硬件或者它们的任意组合。当确定器3020、第一生成器3030和第二生成器3040中的至少一个为硬件时，这样存在的硬件可包括被配置为用于执行确定器3020、第一生成器3030和第二生成器3040中的至少一个的功能的专用机器的一个或更多个中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)计算机等。
在确定器3020、第一生成器3030和第二生成器3040中的至少一个为执行软件的处理器的情况下，处理器112被配置为用于执行存储在存储介质113中的软件以执行确定器3020、第一生成器3030和第二生成器3040中的至少一个的功能的专用机器。
第一生成器3030可基于3D模型生成与确定的视点和确定的区域对应的子像素值。第二生成器3040可通过基于第二面板的子像素结构对生成的子像素值进行过滤来生成子像素的值。由第一生成器3030生成的子像素值可以是一般的RGB面板的值，第二生成器3040生成的子像素的值可以是PenTileTM面板的值。
确定器3020可基于子像素的光线方向确定与子像素对应的视点和与子像素对应的区域。参照图31，确定器3020可计算子像素3110的光线方向以渲染子像素3110的值。例如，从子像素3110输出的光可沿穿过光学层内的元件3120的中心的方向传播。确定器3020可基于第二面板与光学层之间的距离、第二面板内的子像素3110的位置以及在光学层内的元件中从子像素3110输出的光所穿过的元件3120的位置来计算子像素3110的光线方向3125。
确定器3020可确定沿光线方向3125观看3D模型3105的视点。确定器3020可基于沿光线方向3125传播的光入射到用于确定的视点的虚拟相机3130的位置来确定与子像素3110对应的位置。确定器3020可确定包含确定的位置的区域3140。
以上描述了确定器3020基于子像素的光线方向确定与子像素对应的视点和与子像素对应的区域的操作方法。然而，示例实施例可被修改为确定器3020从预先提供的表格获取与子像素对应的视点和与子像素对应的区域的操作方法。例如，当关于显示器的信息(例如，显示器的像素尺寸、分辨率、光学层的参数和光学层的位置)被确定时，用于与每个子像素对应的视点的虚拟相机的位置、拍摄方向和视角可被预先确定和/或选择，并且拍摄的图像内与每个子像素对应的区域可相应地被预先确定和/或选择。预先提供的表格可存储与用于与包括在第二面板中的子像素对应的视点的虚拟相机的位置、拍摄方向和视角以及视图图像内与子像素对应的区域相关联的信息。在这个示例中，确定器3020可通过参考预先提供的表格来确定关于与子像素对应的视点的虚拟相机信息和与子像素对应的区域。
第一生成器3030可基于3D模型3105生成与区域3140对应的子像素值。例如，第一生成器3030可基于3D模型3105渲染包括在区域3140中的RGB子像素值。在这个示例中，第一生成器3030可在包括在区域3140中的子像素中选择性地生成颜色与子像素3110的颜色相同的子像素的值。在示例中，子像素3110可以是R子像素，并且区域3140可包括R子像素、G子像素和B子像素。第一生成器3030可在区域3140内的R子像素、G子像素和B子像素中选择性地生成R子像素的值。
第二生成器3040可通过基于第二面板的子像素结构对区域3140内的子像素值进行过滤来生成子像素3110的值。例如，第二生成器3040可基于子像素结构确定用于区域3140内的子像素值的权重或者读出确定的权重，并通过对区域3140内的子像素值执行加权求和来计算子像素3110的值。
参照图32，根据至少一些示例实施例的光场渲染方法可包括如下操作：操作3210，由接收器接收包括3D模型的数据；操作3220，由确定器确定与包括在第二面板中的子像素对应的视点；操作3230，由确定器在从视点获取的图像内确定与子像素对应的区域；操作3240，由第一生成器基于3D模型生成与确定的视点和确定的区域对应的子像素值；操作3250，由第二生成器通过基于第二面板的子像素结构对子像素值进行过滤来生成包括在第二面板中的子像素的值。参照图29至图31提供的描述可适用于图32的每个操作，因此为了简洁将省略重复的描述。
图33至图36示出根据至少一些示例实施例的光场渲染设备和方法。
参照图33，光场渲染设备3310可基于用于第一面板的立体图像3320和用户双眼的位置3330生成包括在基于第二面板的光场显示装置3340中的第二面板的子像素值。第一面板可以是一般的RGB面板，第二面板可以是与第一面板不同的面板(例如，PenTileTM面板)。光场渲染设备3310可通过基于用于第一面板的立体图像3320和用户双眼的位置3330生成包括在基于第二面板的光场显示装置3340中的第二面板的子像素值来渲染光场。
参照图34，光场渲染设备3400可包括第一接收器3410、第二接收器3420、确定器3430、提取器3440和生成器3450。第一接收器3410可接收用于第一面板的立体图像。用于第一面板的立体图像可包括用于左眼的左图像和用于右眼的右图像。第二接收器3420可接收用户双眼的位置。例如，第二接收器3420可从被配置为追踪用户双眼的位置的传感器接收包含关于用户双眼的位置的信息。第一接收器3410和第二接收器3420可与图1的接收器111对应。
确定器3430可基于用户双眼的位置确定包括在第二面板中的子像素是与左图像对应还是与右图像对应。例如，参照图35，当沿子像素的光线方向传播的光被确定为到达与用户的右眼相比更靠近于用户的左眼的位置时，对应的子像素可被确定为与左图像对应。相反地，当沿子像素的光线方向传播的光被确定为到达与用户的左眼相比更靠近于用户的右眼的位置时，对应的子像素可被确定与右图像对应。
确定器3430可在与子像素对应的图像内确定与子像素对应的区域。例如，确定器3430可检测子像素在第二面板内的位置。确定器3430可将子像素在第二面板内的位置确定为在与子像素对应的图像内与子像素对应的位置，并将确定的位置的外围区域为确定为与子像素对应的区域。
提取器3440可从与子像素对应的图像提取包括在与子像素对应的区域中的子像素值。在这个示例中，提取器3440可选择性地提取颜色与子像素的颜色相同的子像素的值。
生成器3450可通过基于第二面板的子像素结构对从与子像素对应的区域提取的子像素值进行过滤来生成子像素的值。例如，生成器3450可基于子像素结构确定用于子像素值的权重或者读出确定的权重，并通过使用权重对子像素值执行加权求和来计算子像素的值。
确定器3430、提取器3440和生成器3450可与图1的处理器112对应。
确定器3430、提取器3440和生成器3450可以是硬件、固件、执行软件的硬件或者它们的任意组合。当确定器3430、提取器3440和生成器3450中的至少一个为硬件时，这样存在的硬件可包括被配置为用于执行确定器3430、提取器3440和生成器3450中的至少一个的功能的专用机器的一个或更多个中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)计算机等。
在确定器3430、提取器3440和生成器3450中的至少一个为执行软件的处理器的情况下，处理器112被配置为用于执行存储在存储介质113中的软件以执行确定器3430、提取器3440和生成器3450中的至少一个的功能的专用机器。
参照图36，根据至少一些示例实施例的光场渲染方法可包括如下操作：操作3610，由第一接收器接收用于第一面板的立体图像；操作3620，由第二接收器接收用户双眼的位置；操作3630，由确定器基于双眼的位置来确定包括在第二面板中的子像素是与左图像对应还是与右图像对应；操作3640，由提取器从与子像素对应的图像提取包括在与子像素对应的区域中的子像素值；操作3650，由生成器通过基于第二面板的子像素结构对提取的子像素值进行过滤来生成子像素的值。参照图33至图35提供的描述可适用于图36的每个操作，因此为了简洁将省略重复的描述。
图37至图40示出根据示例实施例的光场渲染设备和方法。
参照图37，光场渲染设备3710可基于用于第一面板的多视图图像3720和用户双眼的位置3730生成包括在基于第二面板的光场显示装置3740中的第二面板的子像素值。第一面板可以是一般的RGB面板，第二面板可以是与第一面板不同的面板(例如，PenTileTM面板)。光场渲染设备3710可通过基于用于第一面板的多视图图像3720和用户双眼的位置3730生成包括在基于第二面板的光场显示装置3740中的第二面板的子像素值来渲染光场。
参照图38，光场渲染设备3800可包括接收器3810、确定器3820、提取器3830、生成器3840、第二接收器3850和第二确定器3860。接收器3810可接收用于第一面板的多视图图像。用于第一面板的多视图图像可包括多个视点。第二接收器3850可接收用户双眼的位置。例如，第二接收器3850可从被配置为追踪用户双眼的位置的传感器接收包含关于用户双眼的位置的信息的信号。接收器3810和第二接收器3850可与图1的接收器111对应。
第二确定器3860可基于用户双眼的位置确定包括在第二面板中的子像素是与左眼对应还是与右眼对应。例如，参照图39，当沿子像素3911的光线方向3931传播的光被确定为到达与用户的右眼相比更靠近于用户的左眼的位置时，子像素3911可被确定为与左图像对应。相反地，当沿子像素3912的光线方向3932传播的光被确定为到达与用户的左眼相比更靠近于用户的右眼的位置时，子像素3912可被确定与右图像对应。
确定器3820可基于与子像素对应的眼睛的位置选择包括在多视图图像中的多个视点中的一个。例如，参照图39，从子像素3911输出的光可穿过光学层的元件3921，并与用户的左眼对应。确定器3820可基于从元件3921到用户的左眼的方向3941从包括在多视图图像中的多个视点中选择视点3952，而不是视点3951。此外，从子像素3912输出的光可穿过光学层的元件3922，并与用户的右眼对应。确定器3820可基于从元件3922到用户的左眼的方向3942从包括在多视图图像中的多个视点中选择视点3953，而不是视点3954。
确定器3820可在从选择的视点获取的图像中确定与子像素对应的区域。例如，确定器3820可基于相机参数在从选择的视点获取的图像内确定与子像素对应的位置，并将包含确定的位置的预定的和/或选择的尺寸的区域确定为与子像素对应的区域。
提取器3830可从自选择的视点获取的图像提取包括在与子像素对应的区域中的子像素值。在这个示例中，提取器3830可选择性地提取颜色与子像素的颜色相同的子像素的值。
生成器3840可通过基于第二面板的子像素结构对从自选择的视点获取的图像提取的像素值进行过滤来生成子像素的值。例如，生成器3840可基于子像素结构确定用于子像素值的权重或者读出确定的权重，并通过使用权重对子像素值执行加权求和来计算子像素的值。
确定器3820、提取器3830、生成器3840和第二确定器3860可与图1的处理器112对应。
参照图40，根据至少一些示例实施例的光场渲染方法可包括如下操作：操作4010，由接收器接收用于第一面板的多视图图像；操作4020，由第二接收器接收用户双眼的位置；操作4030，由第二确定器基于双眼的位置确定包括在第二面板中的子像素是与左眼对应还是与右眼对应；操作4040，由确定器基于与子像素对应的眼睛的位置选择包括在多视图图像中的多个视点中的一个视点；操作4050，由提取器在从选择的视点获取的图像内确定与子像素对应的区域；操作4060，从多视图图像提取与确定的区域对应的子像素值；操作4070，由生成器通过基于第二面板的子像素结构对提取的子像素值进行过滤来生成子像素的值。参照图37至图39提供的描述可适用于图40的每个操作，因此为了简洁将省略重复的描述。
在图1至图40中，应该理解的是，光场渲染设备的功能可被组合或分离。例如，接收器3810和第二接收器3850可以是一个接收器。
示例实施例可提供基于平面显示器(FPD)的光场显示技术。示例实施例可基于具有与一般的RGB面板不同的子像素结构的PenTileTM面板来提供光场显示技术。
示例实施例可提供如下的技术：使构成光场显示器的FPD的种类多样化，并且在针对新的子像素结构执行光场渲染时，最小化子像素结构转换操作。因此，示例实施例可提供高效地渲染光场的技术。此外，示例实施例可提供在基于FPD的光显示装置中显示适合于用户双眼的位置的图像的渲染算法。
以上描述了多个示例实施例。然而，应该理解的是，可以对这些示例实施例进行各种修改。例如，如果以不同的顺序执行所执行的技术和/或如果所描述的系统、体系结构、装置或电路中的组件以不同的方式组合和/或由其他组件或其等同物替换或补充，则可以实现合适的结果。因此，其他实施方式在权利要求的范围内。

Claims (27)

1.一种图像处理方法，包括：
接收用于第一面板的图像数据；
基于第二面板的光学特性和第二面板中的多个子像素的子像素结构来处理图像数据，其中，第二面板被配置为3D显示装置，其中，光学特性包括与第二面板中的子像素的光线方向相关联的特性，
其中，处理的步骤包括：
基于光学特性从图像数据获取与第二面板中的选择的子像素对应的视点；
基于光学特性从所述视点获取图像内与选择的子像素对应的区域，所述区域包括选择的子像素周围的邻近子像素；
基于图像数据获得选择的子像素和邻近子像素的第一面板子像素值；
通过基于第二面板的子像素结构对获得的第一面板子像素值进行过滤来生成选择的子像素的第二面板子像素值。
2.如权利要求1所述的图像处理方法，其中，光学特性基于以下特性中的至少一个：
第二面板与光学层之间距离；
第二面板中的多个子像素中的至少一个子像素的位置；
在光学层中的光学元件中由所述至少一个子像素输出的光所穿过的光学元件的位置。
3.如权利要求1所述的图像处理方法，其中，第二面板的子像素结构包括以下项中的至少一个：
第二面板中的子像素的颜色，每个子像素与一种颜色相关联；
第二面板中的子像素基于颜色的排列；
第二面板中的每种颜色的子像素的尺寸；
第二面板中的每种颜色的子像素的数量。
4.如权利要求1所述的图像处理方法，其中，第一面板是红、绿和蓝RGB条纹面板，第二面板与RGB条纹面板不同。
5.如权利要求1所述的图像处理方法，其中，如果图像数据包括用于第一面板的多视图图像，则获得第一面板子像素值的步骤包括：
基于多视图图像提取选择的子像素和邻近子像素的第一面板子像素值。
6.如权利要求5所述的图像处理方法，其中，获取视点的步骤从表格获取视点，获取区域的步骤从表格获取区域。
7.如权利要求5所述的图像处理方法，其中，获取视点的步骤包括：
基于选择的子像素的光线方向选择多视图图像中的多个视点中的一个视点；
基于用于多视图图像的相机参数从选择的视点确定与选择的子像素对应的位置。
8.如权利要求7所述的图像处理方法，其中，相机参数包括以下参数中的至少一个：
针对多个视点中的每个视点的相机的视角；
针对多个视点中的每个视点的相机的拍摄方向；
针对多个视点中的每个视点的对象与相机之间的距离。
9.如权利要求5所述的图像处理方法，其中，提取的第一面板子像素值包括具有与选择的子像素相同颜色的邻近子像素的子像素值。
10.如权利要求5所述的图像处理方法，其中，
如果子像素与多个视点对应，则获取视点的步骤确定与选择的子像素对应的多个视点，
获取区域的步骤在多个视点确定与选择的子像素对应的多个区域，所述多个区域中的每个区域包括选择的子像素周围的邻近子像素。
11.如权利要求10所述的图像处理方法，其中，提取的步骤包括：
在所述多个区域中的每个区域中提取具有与选择的子像素相同的颜色的邻近子像素的第一面板子像素值，
在所述多个区域之间插入第一面板子像素值。
12.如权利要求5所述的图像处理方法，其中，生成的步骤包括：
基于子像素结构获取用于提取的第一面板子像素值的权重；
通过使用权重对提取的第一面板子像素值执行加权求和来计算选择的子像素的第二面板子像素值。
13.如权利要求10所述的图像处理方法，还包括：
获取用户双眼的位置；
基于用户双眼的位置确定选择的子像素是与左眼对应还是与右眼对应，
其中，确定区域的步骤包括：
基于与选择的子像素对应的眼睛的位置选择多视图图像中的多个视点中的一个视点；
基于用于多视图图像的相机参数从选择的视点确定与选择的子像素对应的位置。
14.如权利要求1所述的图像处理方法，其中，如果图像数据包括3D模型，则获得第一面板子像素值的步骤包括：
基于3D模型生成选择的子像素和邻近子像素的第一面板子像素值。
15.如权利要求14所述的图像处理方法，其中，获取视点的步骤从表格获取视点，获取区域的步骤从表格获取区域。
16.如权利要求14所述的图像处理方法，其中，获取视点的步骤包括：
基于选择的子像素的光线方向确定视点，其中，从所述光线方向观看3D模型；
基于沿光线方向传播的光入射到用于确定的视点的虚拟相机的位置从确定的视点确定与选择的子像素对应的位置。
17.如权利要求14所述的图像处理方法，其中，生成的第一面板子像素值包括具有与选择的子像素相同的颜色的邻近子像素的子像素值。
18.如权利要求14所述的图像处理方法，其中，生成的步骤包括：
基于子像素结构获取用于生成的第一面板子像素值的权重；
通过使用权重对生成的第一面板子像素值执行加权求和来计算子像素的第二面板子像素值。
19.一种图像处理方法，包括：
接收用于第一面板的图像数据，其中，图像数据包括用于第一面板的立体图像；
接收用户双眼的位置，并且
基于第二面板的光学特性和第二面板中的多个子像素的子像素结构来处理图像数据，其中，第二面板被配置为3D显示装置，其中，光学特性包括与第二面板中的子像素的光线方向相关联的特性，
其中，处理的步骤包括：
基于用户双眼的位置确定第二面板中的选择的子像素是与左图像对应还是与右图像对应；
从与选择的子像素对应的左图像或右图像提取在与选择的子像素对应的区域中的第一面板子像素值；
通过基于第二面板的子像素结构对提取的第一面板子像素值进行过滤来生成选择的子像素的第二面板子像素值。
20.如权利要求19所述的图像处理方法，其中，
当沿子像素的光线方向传播的光到达与用户的右眼相比更靠近于用户的左眼的位置时，选择的子像素与左图像对应，
当所述光到达与用户的左眼相比更靠近于用户的右眼的位置时，选择的子像素与右图像对应。
21.如权利要求19所述的图像处理方法，其中，提取的第一面板子像素值包括具有与选择的子像素相同的颜色的邻近子像素的子像素值。
22.如权利要求19所述的图像处理方法，其中，生成的步骤包括：
基于子像素结构获取用于提取的第一面板子像素值的权重；
通过使用权重对提取的第一面板子像素值执行加权求和来计算选择的子像素的第二面板子像素值。
23.一种非暂时性计算机可读介质，包含当由处理器执行时执行根据权利要求1所述的图像处理方法的功能的程序代码。
24.一种图像处理设备，包括：
接收器，被配置为接收用于第一面板的图像数据；
处理器，被配置为基于第二面板的光学特性和第二面板中的多个子像素的子像素结构来处理图像数据，其中，第二面板被配置为3D显示装置，其中，光学特性包括与第二面板中的子像素的光线方向相关联的特性，
其中，所述处理器还被配置为：
基于光学特性从图像数据获取与第二面板中的选择的子像素对应的视点；
基于光学特性从所述视点获取图像内与选择的子像素对应的区域，所述区域包括选择的子像素周围的邻近子像素；
基于图像数据获得选择的子像素和邻近子像素的第一面板子像素值；
通过基于第二面板的子像素结构对获得的第一面板子像素值进行过滤来生成选择的子像素的第二面板子像素值。
25.一种生成第一面板中的选择的子像素的子像素值的方法，第一面板具有第一子像素结构，所述方法包括：
接收用于第二面板的图像数据，第二面板具有第二子像素结构；
通过基于与选择的子像素对应的视点将图像数据的至少一部分转换为选择的子像素的子像素值来处理图像数据，第一子像素结构与第二子像素结构不同，
处理的步骤包括：
基于图像数据确定与选择的子像素对应的视点，所述视点与图像相关联；
确定图像中与选择的子像素对应的区域，所述子像素值基于所述区域；
基于所述区域确定第二面板子像素的子像素值；
基于第二面板子像素的子像素值确定选择的子像素的子像素值。
26.如权利要求25所述的生成第一面板中的选择的子像素的子像素值的方法，其中，第二面板子像素围绕选择的子像素。
27.如权利要求25所述的生成第一面板中的选择的子像素的子像素值的方法，其中，第一面板被配置为3D显示装置。
CN201510400637.4A 2014-08-18 2015-07-09 图像处理方法和设备 Active CN105376545B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140107172A KR102240568B1 (ko) 2014-08-18 2014-08-18 영상 처리 방법 및 장치
KR10-2014-0107172 2014-08-18

Publications (2)

Publication Number Publication Date
CN105376545A CN105376545A (zh) 2016-03-02
CN105376545B true CN105376545B (zh) 2019-04-05

Family

ID=53793978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510400637.4A Active CN105376545B (zh) 2014-08-18 2015-07-09 图像处理方法和设备

Country Status (5)

Country Link
US (1) US9936192B2 (zh)
EP (1) EP2988497B1 (zh)
JP (1) JP6681675B2 (zh)
KR (1) KR102240568B1 (zh)
CN (1) CN105376545B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160381274A1 (en) * 2015-06-25 2016-12-29 Novatek Microelectronics Corp. Image Sensing Module
EP3420535B1 (en) * 2016-02-26 2022-09-07 University Of Southern California Optimized volumetric imaging with selective volume illumination and light field detection
EP3264761A1 (en) * 2016-06-23 2018-01-03 Thomson Licensing A method and apparatus for creating a pair of stereoscopic images using least one lightfield camera
US10565780B2 (en) * 2016-11-28 2020-02-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
DE102017106033A1 (de) * 2017-03-21 2018-09-27 Osram Opto Semiconductors Gmbh Anzeigevorrichtung
JP6308323B1 (ja) * 2017-08-08 2018-04-11 大日本印刷株式会社 表示装置
WO2018199252A1 (ja) * 2017-04-28 2018-11-01 大日本印刷株式会社 表示装置
JP6972642B2 (ja) * 2017-04-28 2021-11-24 大日本印刷株式会社 表示装置
JP6264493B1 (ja) * 2017-05-19 2018-01-24 大日本印刷株式会社 表示装置
DE102017117540A1 (de) * 2017-08-02 2019-02-07 Osram Opto Semiconductors Gmbh Lichtemittierender Halbleiterchip und Anzeigevorrichtung
DE102017123402A1 (de) * 2017-10-09 2019-04-11 Osram Opto Semiconductors Gmbh Optoelektronisches Modul und Anzeigeelement
DE102018107628B4 (de) 2018-03-29 2022-09-29 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Strahlungsemittierende vorrichtung
JP7188981B2 (ja) * 2018-11-05 2022-12-13 京セラ株式会社 ３次元表示装置、３次元表示システム、ヘッドアップディスプレイ、及び移動体
KR102154263B1 (ko) * 2018-12-28 2020-09-09 세종대학교산학협력단 시분할 라이트 필드 기술을 이용한 3 차원 증강 현실 디바이스의 해상도 및 주사율 향상 방법
KR20220067950A (ko) 2020-11-18 2022-05-25 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7274383B1 (en) 2000-07-28 2007-09-25 Clairvoyante, Inc Arrangement of color pixels for full color imaging devices with simplified addressing
US7123277B2 (en) 2001-05-09 2006-10-17 Clairvoyante, Inc. Conversion of a sub-pixel format data to another sub-pixel data format
US7825921B2 (en) 2004-04-09 2010-11-02 Samsung Electronics Co., Ltd. System and method for improving sub-pixel rendering of image data in non-striped display systems
JP2007081562A (ja) * 2005-09-12 2007-03-29 Toshiba Corp 立体画像表示装置、立体画像表示プログラムおよび立体画像表示方法
GB0716776D0 (en) 2007-08-29 2007-10-10 Setred As Rendering improvement for 3D display
KR101587606B1 (ko) 2009-09-07 2016-01-25 삼성디스플레이 주식회사 데이터 처리 장치, 이를 갖는 표시 시스템 및 데이터 처리 방법
JP4478992B1 (ja) 2009-09-18 2010-06-09 健治 吉田 映像変換装置、映像出力装置、映像変換システム、映像、記録媒体、映像変換方法
KR101629479B1 (ko) * 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
JP5306275B2 (ja) * 2010-03-31 2013-10-02 株式会社東芝 表示装置及び立体画像の表示方法
KR101675961B1 (ko) * 2010-12-29 2016-11-14 삼성전자주식회사 적응적 부화소 렌더링 장치 및 방법
KR101953686B1 (ko) 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
KR20130070303A (ko) 2011-12-19 2013-06-27 한국전자통신연구원 다시점 무안경 입체영상 렌더링 방법 및 그 장치
JP5752638B2 (ja) * 2012-04-26 2015-07-22 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
KR101944911B1 (ko) 2012-10-31 2019-02-07 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US9118890B2 (en) * 2012-11-09 2015-08-25 Samsung Display Co., Ltd. 3D display
KR20130014459A (ko) 2012-12-15 2013-02-07 최수영 썸스터드 폴딩 시리얼버스 메모리

Also Published As

Publication number Publication date
CN105376545A (zh) 2016-03-02
KR20160021968A (ko) 2016-02-29
KR102240568B1 (ko) 2021-04-16
US9936192B2 (en) 2018-04-03
EP2988497A1 (en) 2016-02-24
EP2988497B1 (en) 2022-01-12
US20160050409A1 (en) 2016-02-18
JP6681675B2 (ja) 2020-04-15
JP2016042689A (ja) 2016-03-31

Similar Documents

Publication Publication Date Title
CN105376545B (zh) 图像处理方法和设备
CN106454307B (zh) 针对多个用户的光场渲染的方法和设备
CN103988504B (zh) 用于子像素渲染的图像处理设备和方法
Balram et al. Light‐field imaging and display systems
US20180063513A1 (en) Stitching frames into a panoramic frame
KR101606797B1 (ko) 입체 영상 표시 장치 및 영상 표시 방법
CN104601979B (zh) 多视点图像显示设备及其控制方法
CN103562963A (zh) 用于角切片真3d显示器的对准、校准和渲染的系统和方法
KR20120075829A (ko) 적응적 부화소 렌더링 장치 및 방법
CN102236245A (zh) 单透镜2d/3d数字照相机
KR20170044953A (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
TW201342881A (zh) 影像處理裝置、裸眼可視立體影像顯示裝置、影像處理方法及電腦程式產品
CN106797462B (zh) 多视图图像显示设备及其控制方法
CN110662012A (zh) 一种裸眼3d显示效果优化的排图方法、系统及电子设备
CN109782452B (zh) 立体影像产生方法、成像方法与系统
JP2015070618A (ja) ユーザの目の位置に基づくレイヤードディスプレイ方式のための映像生成装置及びディスプレイ装置
JP6717576B2 (ja) 映像レンダリング装置及び方法
KR102208308B1 (ko) 디스플레이 장치 및 이의 제어 방법
US10602120B2 (en) Method and apparatus for transmitting image data, and method and apparatus for generating 3D image
WO2013073007A1 (ja) 立体画像表示装置、画像処理装置および画像処理方法
US11228752B2 (en) Device and method for displaying three-dimensional (3D) image
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
CN104584075B (zh) 用于描述对象空间的对象点以及用于其执行的连接方法
CN106507089A (zh) 用于生成图像的方法和设备
WO2014119555A1 (ja) 画像処理装置、表示装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant