CN105323574B - 用于渲染图像的设备和方法 - Google Patents

用于渲染图像的设备和方法 Download PDF

Info

Publication number
CN105323574B
CN105323574B CN201510170809.3A CN201510170809A CN105323574B CN 105323574 B CN105323574 B CN 105323574B CN 201510170809 A CN201510170809 A CN 201510170809A CN 105323574 B CN105323574 B CN 105323574B
Authority
CN
China
Prior art keywords
pixel
image
display
model
radiation direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510170809.3A
Other languages
English (en)
Other versions
CN105323574A (zh
Inventor
郑英珠
赵良镐
南东暻
朴斗植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105323574A publication Critical patent/CN105323574A/zh
Application granted granted Critical
Publication of CN105323574B publication Critical patent/CN105323574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics

Abstract

提供一种用于渲染图像的设备和方法。图像渲染设备可估计包括在输入图像中的图像像素的视差。基于视差，图像渲染设备可确定图像像素的视点方向。图像渲染设备可通过将图像像素的像素值分配给具有与图像像素的视点方向相应的视点方向的显示像素来渲染立体图像，而不用产生多视点图像。

Description

用于渲染图像的设备和方法
本申请要求于2014年7月29日在韩国知识产权局提交的第10-2014-0096251号韩国专利申请的优先权益，该公开全部合并于此以资参考。
技术领域
示例实施例涉及一种用于渲染立体图像的图像处理技术。
背景技术
在三维(3D)显示设备中显示3D图像可包括需要3D眼镜的眼镜型方案或实现立体图像的裸眼型方案。在眼镜型方案中，可使用偏振光划分、时间划分、用于区分主要颜色的波长和其它波长的波长划分等来执行对期望的图像的过滤。在裸眼型方案中，每个图像可通过视差屏障、柱状透镜等被显示为从预定和/或期望的视点被看见。在裸眼型方案中，从预定和/或期望的空间中的点按照不同方向输出的光线可在不经改变的情况下通过显示器被呈现。可在不同位置和不同角度获得可用图像，可使用获得的图像来渲染适合于当前视点的图像。通常，在呈现光场的方案中为了产生将被显示的多个图像，可基于至少两个输入图像产生N个中间图像，并可基于产生的N个中间图像确定将从3D显示设备的像素输出的3D图像信息。
发明内容
至少一个示例实施例涉及一种用于渲染将由包括多个显示像素的显示设备显示的立体图像的图像渲染方法。
根据至少一个示例实施例，一种用于渲染将由包括多个显示像素的显示设备显示的立体图像的图像渲染方法包括：估计包括在输入图像中的被选择的图像像素的视差；将被选择的图像像素的像素值分配给所述多个显示像素中的一显示像素，其中，被分配的显示像素具有与被选择的图像像素的视点方向相应的视点方向。
至少一个示例实施例规定，被选择的图像像素的视点方向可基于被选择的图像像素的视差。
至少一个示例实施例规定，分配步骤可包括：获得与所述多个显示像素的多个视点方向相关联的第一模型，被分配的显示像素的视点方向是所述多个显示像素的多个视点方向之一，基于被选择的图像像素的视差获得与被选择的图像像素的视点方向相关联的第二模型，其中，分配步骤基于获得的第一模型和获得的第二模型。
至少一个示例实施例规定，第一模型可基于所述多个显示像素中的每个显示像素的视点方向与所述多个显示像素的相应位置之间的关系。
至少一个示例实施例规定，获得第二模型的获得步骤通过基于输入图像中被选择的图像像素的位置对将从被选择的图像像素输出的光线的方向进行建模来获得第二模型。
至少一个示例实施例规定，分配步骤可包括：基于获得的第一模型和获得的第二模型之间的关系，识别所述多个显示像素中具有与被选择的图像像素的视点方向相同的视点方向的一个显示像素，并且分配步骤将被选择的图像像素的像素值分配给识别的显示像素。
至少一个示例实施例规定，确定步骤可包括：使用第一模型以及与多个图像像素相关联的多个第二模型，确定将被分配所述多个图像像素中的每个图像像素的像素值的显示像素，所述多个图像像素的位置可彼此邻近。
至少一个示例实施例规定，分配步骤可包括：对所述多个图像像素的像素值进行插值，并将插值得到的多个像素值之一分配给被分配的显示像素。
至少一个示例实施例规定，所述多个显示像素中的每个显示像素具有多个不同的视点方向中的一个视点方向。
至少一个示例实施例涉及一种显示设备。
根据至少一个示例实施例，一种显示设备包括：显示器，被配置为使用多个显示像素来显示立体图像，其中，所述多个显示像素中的每个显示像素具有相应的视点方向；图像渲染器，被配置为通过基于输入图像中的图像像素的视点方向将被选择的图像像素的像素值分配给所述多个显示像素中的一显示像素。
至少一个示例实施例规定，图像渲染器可被配置为：使用与所述多个显示像素的多个视点方向分别关联的第一模型以及与被选择的图像像素的视点方向相关联的第二模型来确定被分配的显示像素。
至少一个示例实施例规定，被选择的图像像素是多个图像像素之一，与被选择的图像像素的视点方向相关联的第二模型是与所述多个图像像素相关联的多个第二模型之一，图像渲染器可被配置为使用第一模型和所述多个第二模型来确定被分配的显示像素，
至少一个示例实施例涉及一种图像渲染设备。
根据至少一个示例实施例，一种图像渲染设备包括：视差估计器，被配置为估计包括在输入图像中的被选择的图像像素的视差；图像渲染器，被配置为通过将被选择的图像像素的像素值分配给显示像素来渲染立体图像，其中，被分配的显示像素具有与被选择的图像像素的视点方向相应的视点方向。
至少一个示例实施例规定，被选择的图像像素的视点方向可基于图像像素的视差，图像像素可具有预定和/或期望的视点方向。
至少一个示例实施例规定，图像渲染器可被配置为：基于被选择的图像像素的视点方向和多个显示像素中的每个显示像素的视点方向，在所述多个显示像素中搜索将被分配所述被选择的图像像素的像素值的显示像素。
至少一个示例实施例公开一种显示设备，包括：显示器，包括多个显示像素；处理器，被配置为获得与所述多个显示像素的位置和视点方向相关联的第一模型，接收相应的多个图像像素的图像数据，获得与所述多个图像像素中的至少一个图像像素的视差相关联的第二模型，并基于第一模型和第二模型将显示值应用于所述多个显示像素中的至少一个显示像素。
在至少一个示例实施例中，处理器被配置为基于显示值产生3D显示。
在至少一个示例实施例中，第二模型是奇异线性函数，处理器被配置为将奇异线性函数应用于第一模型，确定第一模型和第二模型的至少一个交叉点，并基于所述至少一个交叉点应用显示值。
在至少一个示例实施例中，所述至少一个交叉点与所述多个显示像素之一相关联。
在至少一个示例实施例中，所述多个显示像素与多个视点方向相关联，第一模型包括多个中间函数，每个中间函数与所述多个视点方向之一相关联。
在至少一个示例实施例中，处理器被配置为在不产生多视点图像的情况下分配显示值。
将在下面的具体实施方式中部分地阐述示例实施例的另外的方面，部分地通过具体实施方式将是清楚的，或者可通过本公开的实践而得知。
附图说明
通过以下结合附图对示例实施例的描述，这些和/或其它方面将会变得清楚和更容易理解，其中：
图1示出根据至少一个示例实施例的显示设备；
图2示出根据至少一个示例实施例的图像渲染设备；
图3示出根据至少一个示例实施例的显示像素的视点方向；
图4和图5示出根据至少一个示例实施例的第一模型；
图6示出根据至少一个示例实施例的第二模型；
图7示出根据至少一个示例实施例的基于第一模型和第二模型来渲染立体图像的处理的示例；
图8示出根据至少一个示例实施例的基于第一模型和第二模型来渲染立体图像的另一示例；
图9示出根据至少一个示例实施例的图像渲染方法。
具体实施方式
现在将详细参照实施例，实施例的示例在附图中示出，其中，相同的标号始终表示相同的元件。以下通过参照附图描述示例实施例以解释本公开。
在附图中，为了清楚，层和区域的厚度被夸大。附图中的相同标号表示相同元件。
在本文中公开了详细的示意实施例。然而，在本文中公开的特定结构和功能细节仅是代表性的用于描述示例实施例的目的。示例实施例可按照多种可替代形式实施而不应被理解为仅限于本文中阐述的示例实施例。
然而，应理解，不意图将本公开限制于公开的特定示例实施例。相反，示例实施例将覆盖落入示例实施例的范围内的所有修改、等同和可选替换。相同的标号在附图的说明中始终表示相同元件。
应理解，尽管在本文中可使用术语第一、第二等来描述各种元件，但是这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一元件区分。例如，在不脱离本公开的范围的情况下，第一元件可被叫做第二元件，类似地，第二元件可被叫做第一元件。如在本文中使用的，术语“和/或”包括相关列出项中的一个或更多个项的任意和全部组合。
应理解，当元件被称为与另一元件“连接”或“结合”时，该元件可与所述另一元件直接连接或结合，或者可存在中间元件。相反，当元件被称为与另一元件“直接连接”或“直接结合”时，不存在中间元件。用于描述元件之间的关系的其它词语应按照相同的方式被解释(例如，“在…之间”和“直接在…之间”、“与…相邻”和“直接与…相邻”等)。
本文中使用的术语是仅用于描述特定实施例的目的而不是意图限制。如本文中使用的，单数形式意图还包括复数形式，除非向下文明确另外指示。还应理解，当术语“包括”、“包括有…”、“包含”和/或“包含有…”在本文中使用时，说明提到的特征、整体、步骤、操作、元件和/或组件的存在，但是不排除存在或增加一个或更多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。
还应注意，在某些可选实施方式中，提到的功能/行为可不按照附图中提到的顺序发生。例如，根据涉及的功能/行为，连续示出的两幅图可实际上被基本同时执行，或者在某些时候可按照相反顺序被执行。
现在将参照附图更充分地描述各种示例实施例，其中，在附图中示出了某些示例实施例。在附图中，为了清楚，层和区域的厚度被夸大。
图1示出根据至少一个示例实施例的显示设备110。
显示设备110可接收输入图像，并可显示立体图像或三维(3D)图像。显示设备110可使用表现与期望的立体图像相应的光线分布或光场的方案来显示立体图像。例如，显示设备110可针对光线的每个位置和每个方向在显示器表面上表现光线的分布，并可实现立体图像。
显示设备110可以是例如3D电视(TV)、3D智能手机、3D平板或3D数字信息显示器(DID)。
显示设备110可使用例如柱状透镜的光学元件来实现立体图像。例如，显示设备110可通过穿过柱状透镜的光的折射来将不同的图像输出到用户的左眼和右眼，用户可基于左眼看到的图像和右眼看到的图像之间的视点差感知到立体效果。
在一示例中，显示设备110可接收作为输入图像的彩色图像，并一起接收与彩色图像相应的深度图像。深度图像可包括指示目标和图像被捕捉的位置之间的距离的深度信息。在另一示例中，显示设备110可接收作为输入图像的彩色图像，并一起接收从不同于彩色图像的视点的视点捕捉的参考图像。参考图像可指的是从不同于输入图像的视点的视点捕捉的图像，并且可包括至少一个图像。
为了显示立体图像，显示设备110可直接渲染立体图像而不是产生多视点图像。显示设备110可基于每个显示像素的视点信息和图像像素的视差信息，直接将输入图像中的图像像素的像素值分配给每个显示像素。视点信息可包括例如每个显示像素的位置信息和视点方向信息。显示设备110可直接将立体图像的像素值与显示像素匹配，而不是产生作为中间图像的多视点图像，因此，可降低渲染立体图像所需的复杂度和资源量。
参照图1，显示设备110可包括显示器120和图像渲染器130。
图像渲染器130可以是硬件、固件、执行软件的硬件或它们的组合。当图像渲染器130是硬件时，这样的现有硬件可包括一个或更多个中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)计算器等被配置为用于执行图像渲染器130的功能的专用机器。CPU、DSP、ASIC和FPGA可被通称为处理器和/或微处理器。
在图像渲染器130是执行软件的处理器时，该处理器被配置为用于执行存储在存储介质中的软件以执行图像渲染器130的功能的专用机器。在这样的实施例中，处理器可包括一个或更多个中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)计算器。
显示器120可包括多个显示像素。每个显示像素可包括例如红色(R)、绿色(G)和蓝色(B)子像素。另外，显示器120可包括用于实现立体图像的柱状透镜。柱状透镜可位于显示像素之上。从显示像素发射的光线可被柱状透镜折射，或者可穿过柱状透镜。
显示器120中的每个显示像素可具有预定和/或期望的视点方向。显示器120可使用显示像素的视点方向来显示立体图像。每个显示像素的视点方向基于柱状透镜。由于柱状透镜的结构特性，视点方向对于每组显示像素可以是周期性的和/或重复的。从显示像素发射的每条光线的行进路径可基于柱状透镜的结构特性。
例如，光线的行进路径可基于柱状透镜和相应于所述光线的显示像素之间的距离、柱状透镜的倾斜度和间距、光线被其折射的微透镜的特性等。从相应显示像素发射的光线可被柱状透镜折射或者可穿过柱状透镜，并且可朝向3D空间中的预定和/或期望的位置行进。光线行进的方向可与显示像素的视点方向相应。
可在设计显示设备110时预先确定和/或选定每个显示像素的视点方向。显示像素可具有预定和/或期望数量的不同视点方向中的一个视点方向。例如，显示设备110可表现第一视点方向到第N视点方向，显示设备110中的每个显示像素可具有第一视点方向到第N视点方向中的一个视点方向。在该示例中，N可以是大于“1”的自然数。
图像渲染器130可从输入图像渲染将被显示器120显示的立体图像。输入图像可包括多个图像像素。可基于每个图像像素的视差来确定每个图像像素的视点方向。视差可指的是包括左图像和右图像的立体图像中的相应图像像素之间的距离或视点差。例如，输入图像可与左图像相应，可基于左图像和相应于左图像的右图像之间的相应关系来确定左图像中的每个图像像素的视差。
图像渲染器130可估计输入图像中的每个图像像素的视差。可基于估计的视差确定每个图像像素的视点方向。可针对每个图像像素确定与从图像像素输出的光线相关联的视差函数。视差函数可表示由图像像素和图像像素的视差表达的光场表达式。
在示例中，显示设备110可接收左图像和右图像分别作为输入图像和参考图像。显示设备110可接收包括左图像和右图像的立体图像，图像渲染器130可基于立体图像渲染立体图像。参考图像可指的是通过从不同于输入图像的视点的视点捕捉与输入图像的目标相同的目标而获得的图像。图像渲染器130可基于输入图像和参考图像之间的视点差来估计图像像素的视差。例如，图像渲染器130可通过左图像和右图像之间的立体匹配来估计深度信息，并且可从深度信息估计输入图像中的每个图像像素的视差。立体匹配可指的是基于立体图像中的相应图像像素之间的距离或视点差来获得深度信息的方案。
在另一示例中，显示设备110可接收彩色图像和深度信息分别作为输入图像和视差图像。图像渲染器130可从深度图像识别彩色图像中的预定和/或选定的图像像素的深度信息，并可基于识别的深度信息估计所述预定和/或选定的图像像素的视差。
图像渲染器130可将输入图像中的图像像素的像素值(或颜色值)分配给一个或更多个显示像素(或者立体图像中的位置)，并且可渲染立体图像。可基于图像像素的视点方向确定分配的一个或更多个像素。当估计图像像素的视差时，图像渲染器130可确定与每个显示像素的视点方向相关联的第一模型以及与图像像素的视点方向相关联的第二模型。
第一模型可将与从显示像素输出的每条光线的视点方向或视点位置相关联的函数表示为由显示设备110表示的光场函数。关于每个显示像素的视点方向的视点信息可被预先存储在存储器存储装置中，图像渲染器130可基于视点信息确定第一模型。例如，可由渲染器130基于显示器120的显示像素中的包括在垂直线或水平线中的每个显示像素的视点方向来确定第一模型。
第二模型可将与从图像像素输出的光线的视点方向或视点位置相关联的函数表示为由图像像素表示的光场函数。可由图像渲染器130基于图像像素的视差确定视点方向或视点位置。可由图像渲染器130针对每个图像像素确定第二模型。
图像渲染器130可基于第一模型和第二模型确定将被分配图像像素的像素值的显示像素。例如，图像渲染器130可基于第一模型和第二模型之间的相应关系确定将被分配图像像素的像素值的显示像素，可将针对第二模型的预定和/或选定的图像像素的像素值分配给确定的显示像素，并且可渲染立体图像。因此，为了显示立体图像，图像渲染器130可直接产生立体图像，而不使用多视点图像。
图像渲染器130可基于位于预定和/或选定线中的每个显示像素的位置信息和视点方向信息来确定第一模型。图像渲染器130可设置表示显示像素的位置和视点方向(或视点位置)之间的相应关系的多个参考点，可确定穿过设置的参考点的中间函数，并可确定第一模型。例如，图像渲染器130可将穿过参考点并具有相同斜率的一组线性函数确定为中间函数。
可针对显示设备110包括的所有显示像素中位于垂直线或水平线的每个显示像素来设置参考点。例如，可针对显示设备110的所有显示像素中位于行或列的每个显示像素来设置参考点。
图像渲染器130可基于图像像素的视差来确定第二模型。图像渲染器130可确定与从图像像素输出的光线的视点方向相关联的视差函数，并可确定第二模型。可针对每个图像像素确定视差函数。
图像渲染器130可确定中间函数和视差函数之间的交叉点，并可基于交叉点确定将被分配图像像素的像素值的一个或更多个显示像素。例如，图像渲染器130可确定中间函数所包括的参考点中位置最接近于交叉点的参考点，并可将图像像素的像素值分配给与确定的参考点相应的显示像素。
例如，当参考点R的位置最接近于图像像素P的中间函数和视差函数Q之间的交叉点时，图像渲染器130可将图像像素P的像素值分配给与参考点R相应的显示像素K。当显示立体图像时，可通过显示像素K输出图像像素P的像素值。
另外，图像渲染器130可使用多个第二模型来渲染立体图像。图像渲染器130可基于多个图像像素中的每一个图像像素的视差函数来确定将被分配每个图像像素的像素值的显示像素。图像渲染器130可设置表示显示像素的位置和视点方向之间的相应关系的多个参考点，并可确定穿过参考点的中间函数。图像渲染器130可确定位置彼此邻近的多个图像像素中的每个图像像素的视差函数。图像渲染器130可识别在多个视差函数之间的区域中所包括的中间函数的参考点，可对图像像素的像素值进行插值，并可将通过对像素值进行插值而获得的像素值分配给与识别的参考点相应的显示像素。
例如，图像渲染器130可确定与图像像素A相关联的视差函数B、与图像像素C相关联的视差函数D，并可识别在视差函数B和D之间的区域中所包括的中间函数的参考点。图像渲染器130可对图像像素A的像素值和图像像素C的像素值进行插值，并可将通过对像素值进行插值而获得的像素值分配给与识别的参考点相应的显示像素。
可基于显示器120的所有显示像素中位于水平线或垂直线中的显示像素来定义第一模型。可针对与显示像素所在的线相应的位置的多个图像像素之一来定义第二模型。例如，当针对显示器120的显示像素中位于第i行的显示像素确定第一模型时，可针对与第i行相应的位置的每个图像像素确定第二模型。
图像渲染器130可对位于另一行的图像像素和显示像素重复执行以上处理，相应地可产生将由显示器120显示的立体图像。
图2示出根据至少一个示例实施例的图像渲染设备210。图像渲染设备210可以是图像渲染器130。
图像渲染设备210可渲染立体图像。为了渲染立体图像，图像渲染设备210可通过直接将图像像素的像素值分配给显示像素而不是产生多视点图像来产生立体图像。图像渲染设备210可在例如3D电视(TV)、3D智能手机、3D平板、3D数字信息显示器(DID)等的3D渲染设备中进行操作。
参照图2，图像渲染设备210可包括视差估计器220和图像渲染器230。
视差估计器220和图像渲染器230可以是硬件、软件、执行软件的硬件或它们的任意组合。当视差估计器220和图像渲染器230中的至少一个是硬件时，这样的现有硬件可包括一个或更多个中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)计算器等被配置为用于执行视差估计器220和图像渲染器230中的至少一个的功能的专用机器。CPU、DSP、ASIC和FPGA可被通称为处理器和/或微处理器。
在视差估计器220和图像渲染器230中的至少一个是执行软件的处理器的情况下，该处理器被配置为用于执行存储在存储介质中的软件来执行视差估计器220和图像渲染器230中的至少一个的功能的专用机器。在这样的实施例中，处理器可包括一个或更多个中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)计算器。
视差估计器220可估计包括在输入图像中的图像像素的视差。基于视差，图像渲染器230可确定图像像素的视点方向。在一示例中，视差估计器220可基于从不同视点捕捉的参考图像和输入图像之间的视点差来估计图像像素的视差。在该示例中，视差估计器220可在输入图像所包括的所有图像像素中搜索与参考图像相应的图像像素，可计算输入图像和参考图像的相应图像像素之间的距离，并可获得包括所有图像像素之间的距离和/或视差值的图像。在另一示例中，视差估计器220可基于包括在深度图像中的深度信息来估计图像像素的视差。可按照深度图或视差图的形式来表达估计的视差。
图像渲染器230可将图像像素的像素值分配给一个或更多个显示像素，并可渲染立体图像。每个显示像素可具有与图像像素的视点方向相应的视点方向。显示像素可均具有预定和/或期望的视点方向，或者可具有预定数量的不同视点方向之一。每个显示像素的视点方向可基于用于显示立体图像的显示设备中所包括的柱状透镜的结构特性。从显示像素发射的每条光线的行进路径可基于柱状透镜的结构特性。
图像渲染器230可基于图像像素和显示像素中的每一个的视点方向，搜索多个显示像素中将被分配图像像素的像素值的显示像素。图像渲染器230可基于与每个显示像素的视点方向相关联的第一模型以及与图像像素的视点方向相关联的第二模型来直接渲染立体图像，而不用使用多视点图像。
图像渲染器230可确定第一模型。在一示例中，图像渲染器230可基于每个显示像素的位置和视点方向之间的相应关系来确定第一模型。在另一示例中，图像渲染器230可基于在显示面板中排列的每个显示像素的位置和分配给每个显示像素的视点方向之间的相应关系来确定第一模型。在另一示例中，图像渲染器230可设置表示显示像素的位置和视点方向之间的相应关系的多个参考点，可确定穿过设置的参考点的中间函数，并可确定第一模型。
图像渲染器230可基于由视差估计器220估计的视差来确定第二模型。图像渲染器230可执行基于输入图像的图像像素的位置对将从图像像素输出的光线的方向的建模，并可确定第二模型。图像渲染器230可将与从图像像素输出的光线的视点方向相关联的视差函数确定为第二模型。可针对每个图像像素确定视差函数。
图像渲染器230可基于第一模型和第二模型，确定将被分配图像像素的像素值的一个或更多个显示像素。例如，图像渲染器230可基于第一模型和第二模型之间的相应关系，确定将被分配图像像素的像素值的显示像素，可将针对第二模型的预定和/或选定的图像像素的像素值分配给确定的显示像素，并可渲染立体图像。
图像渲染器230可确定中间函数和视差函数之间的交叉点，并可基于交叉点确定将被分配图像像素的像素值的一个或更多个显示像素。在一示例中，图像渲染器230可确定中间函数所包括的参考点中位置最接近交叉点的参考点，并可将图像像素的像素值分配给与确定的参考点相应的显示像素。在另一示例中，图像渲染器230可识别基于图像像素的视差确定的像素区域中所包括的参考点，并可将图像像素的像素值分配给与识别的参考点相应的显示像素。
另外，图像渲染器230可基于与图像像素相关联的第一模型和第二模型，确定将被分配多个图像像素中的每一个图像像素的像素值的一个或更多个显示像素。图像像素的位置可彼此邻近。图像渲染器230可基于每个图像像素的视差函数确定将被分配像素值的显示像素。图像渲染器230可设置表示显示像素的位置和视点方向之间的相应关系的多个参考点，并可确定穿过参考点的中间函数。图像渲染器230可确定每个图像像素的视差函数。图像渲染器230可识别在多个视差函数之间的区域中所包括的中间函数的参考点，可对图像像素的像素值进行插值，并可将通过对像素值进行插值而获得的像素值分配给与识别的参考点相应的显示像素。例如，当识别了多个参考点时，图像渲染器230可对图像像素的像素值进行插值，并可将通过对像素值进行插值而获得的像素值分配给与识别的参考点相应的显示像素。
图3示出根据至少一个示例实施例的显示像素的视点方向。
参照图3，用于显示立体图像的显示设备的显示面板310可包括多个显示像素，例如，显示像素332、334、336、338和340。像素332、334、336、338和340内的数字1-5表示相应的观看方向。显示像素332、334、336、338和340中的每个像素可包括例如子像素R、G和B。为了实现立体图像，除了显示面板310之外，显示设备还可包括柱状透镜320。柱状透镜320可位于显示面板310之上。
柱状透镜320可包括多个柱状透镜，并可沿对角线方向倾斜。从显示像素332至340输出的光线可被柱状透镜320折射，或者可穿过柱状透镜320，并且可行进到3D空间中的预定和/或期望的位置。可基于柱状透镜320的结构特性确定每条光线的行进路径，相应地，显示像素332、334、336、338和340中的每个像素可具有预定和/或期望的视点方向。
对于显示像素332、334、336、338和340中的每个像素，指示视点方向的像素信息可基于柱状透镜320。例如，显示像素332、334、336、338和340分别输出第一视点方向的像素信息、第二视点方向的像素信息、第三视点方向的像素信息、第四视点方向的像素信息和第五视点方向的像素信息。
从显示像素332输出的光线可穿过柱状透镜320沿第一视点方向行进，从显示像素334输出的光线可穿过柱状透镜320沿第二视点方向行进。类似地，从显示像素336输出的光线可穿过柱状透镜320沿第三视点方向行进，从显示像素338出的光线可穿过柱状透镜320沿第四视点方向行进，从显示像素340输出的光线可穿过柱状透镜320沿第五视点方向行进。
由于柱状透镜320的结构特性，每个显示像素的视点方向可具有周期性或重复性。例如，如图3所示，位于显示面板310的一列中的显示像素可具有第一视点方向到第五视点方向连续重复的模式。
可在设计显示设备期间预先确定显示面板310中的每个显示像素的视点方向，可将关于视点方向的信息存储在存储器存储装置中。图像渲染设备(例如210)可基于关于显示像素的信息确定第一模型。例如，关于显示像素的信息可包括关于显示面板310的每个显示像素的位置的信息、每个显示像素的视点方向信息。
此外，如图3所示，图像处理电路345接收输入图像，并将输入图像的图像像素的像素值分配给显示像素332、334、336、338和340。图像处理电路345随后利用处理器350、门驱动器355、信号驱动器360和存储器365将分配的像素值提供给显示像素332、334、336、338和340。图像处理电路345被配置为执行图像渲染器130和图像渲染设备210的功能。
例如，处理器被配置为通过执行存储在存储器365中的指令来执行图像渲染器130和图像渲染设备210的功能。处理器350随后将选择像素332、334、336、338和340的时序和分配的像素值提供给门驱动器355和信号驱动器360。
图4和图5示出根据至少一个示例实施例的第一模型。
可基于每个显示像素的位置和视点方向之间的相应关系，由图像渲染设备来确定与显示设备的光场函数相应的第一模型。图4示出表示显示像素的位置和视点方向之间的相应关系的坐标平面。在图4的坐标平面中，x轴表示显示像素的位置，y轴表示显示像素的视点方向。为了方便说明，显示像素的视点方向的总数可假设为“五个”。然而，示例实施例不限于此。在坐标平面中，与显示像素的位置和视点方向相应的点可被定义为参考点。
可基于在预定和/或选定的线中排列的显示像素来确定第一模型。在图4中，十个参考点可表示在一行中排列的十个显示像素中的每个像素的位置和视点方向之间的相应关系。参考点可指示可由显示设备表现的光线。由于显示设备难以表现所有光场(即，真实世界中的所有光线)，因此显示设备可使用具有预定和/或期望的结构的光场来输出光线。
图5示出用于使用柱状透镜来实现立体图像的显示设备的光场。在图5中，与参考点510相应的符号“×”指示光场。光场可基于显示设备中包括的显示像素的位置以及从显示像素输出的光线的视点位置。另外，在图5中，x轴表示位于显示设备的垂直线或水平线的每个显示像素的位置，y轴表示每个显示像素的视点方向。
由于显示设备使用子像素而不使用无限显示像素，因此，可通过如图5的符号“×”所指示被采样的参考点510来表示显示设备的光场。参考点510基于显示设备中的显示像素的视点方向。图像渲染设备可产生与参考点510相应的显示像素的光场，并可产生立体图像。
显示设备可如以下等式1所示表示连续光场的函数fLF(x)。
[等式1]
在等式1中，x是变量，该变量表示用于标识显示设备所包括的显示像素中位于垂直线或水平线的显示像素的位置。另外，f表示柱状透镜的焦距，D表示距显示设备的观看距离。此外，vn(x)表示光线从位于位置x的显示像素起行进穿过第n微透镜所到达的视点位置。
例如，可如以下等式2所示来表示参考点510。
[等式2]
在等式2中，fLF(i,s)表示具有采样值的显示设备的光场函数。采样值可与参考点510相应。可通过基于观看区域V和柱状透镜的特性重新定义等式1来获得等式2。使用柱状透镜的显示设备的光场函数可具有如等式2所示的离散形式。观看区域V可指的是左眼的观看位置VL和右眼的观看位置VR之间的区域，f表示柱状透镜的焦距。另外，D表示距显示设备的观看距离，mod(a,b)表示用于输出通过将“a”除以“b”而获得的余数的函数。
此外，i表示变量，该变量用于标识3D显示设备中包括的显示像素中被包括在垂直线或水平线中的显示像素的位置，并且i可具有自然数“1”到“n”的值。另外，s表示具有“i×3”的维度的变量，并且可具有自然数“1”到“m”的值，x(s)表示基于s的显示像素的位置值。vs(i)表示光线从显示像素i起穿过柱状透镜的第s微透镜行进到的视点位置。例如，当柱状透镜沿对角线方向倾斜时，微透镜的起始点v1(s＝1)可基于i而改变，相应地，可通过i的函数来表示vs(i)。
可基于位置索引和视点索引来按照预定和/或期望的样式来表示每个显示像素的视点方向。位置索引可用于标识显示设备中的显示像素，视点索引可用于标识显示像素的视点方向。基于位置索引和视点索引表示每个显示像素的视点方向的样式可被定义为交错样式。交错样式可表示显示设备中位于垂直线或水平线的每个显示像素的视点方向或视点位置。交错样式可具有用于表示显示像素的位置和视点方向之间的相应关系的多个参考点(例如，参考点510)。基于根据柱状透镜的结构特性的周期性，可按照如图5中所示的样式来表示每个显示像素的视点方向。
图像渲染设备可基于表示针对每个显示像素的视点方向的参考点510来确定中间函数520。中间函数520可被表示为穿过参考点510的函数。与显示像素相关联的第一模型可被确定为穿过参考点510的多个中间函数520。例如，图像渲染设备可基于以下示出的等式3确定中间函数。基于等式3，中间函数可被定义为穿过参考点的多个线性函数。
[等式3]
fWP(s,p,i)＝aWP(s-app)+bWP(i)
在等式3中，p表示用于将交错样式分组为多个线性函数的变量，并且可具有自然数“1”到“q”的值。fWP(s,p,i)表示基于变量s、p和i中的每个变量的值确定的中间函数。aWP表示中间函数fWP(s,p,i)的斜率，并且可如以下的等式4所示定义。
[等式4]
在等式4中，fLF(i,c+nWP)与等式2的光场函数fLF(i,s)相应。c表示一般常数，并且可具有自然数“1”到“w”的值。nWP表示同一中间函数所包括的参考点中位置彼此邻近且沿着一方向彼此分开的参考点之间的距离。
bWP(i)表示基于i的中间函数fWP(s,p,i)的y截距，并且可如以下的等式(5)所示定义。
[等式5]
bWP(i)＝fLF(i,1)-aWP
在等式5中，fLF(i,1)与等式2的光场函数fLF(i,s)相应。aWP表示基于等式4的变量s、p、i中的每个变量的值确定的中间函数fWP(s,p,i)的斜率。
在等式3中，ap指的是被表示为中间函数fWP(s,p,i)的中间函数520中彼此邻近的中间函数之间的距离。可如以下的等式6所示定义距离ap。
[等式6]
在等式6中，fLF(i,c+nmr)与等式2的光场函数fLF(i,s)相应，aWP表示基于等式4的变量s、p、i中的每个变量的值确定的中间函数fWP(s,p,i)的斜率。nmr表示基于等式3的中间函数fWP(s,p,i)的变量p的中间函数的起始点之间的距离。例如，当假设变量p被设为“1”的中间函数的起始点是“a”时，变量p被设为“2”的中间函数的起始点可以是“a+nmr”。
图6示出根据至少一个示例实施例的第二模型。
通过捕捉来自3D空间的预定和/或期望的视点的光线而获得的相机图像可作为输入图像被输入到图像渲染设备。可按照各种方案来表达输入图像的光场。图像渲染设备可基于输入图像中的图像像素的位置和从图像像素输出的光线的视点方向来确定光场。可基于图像像素的视差来确定光线的视点方向。
当假设左视点和右视点之间的距离为观看区域V时，可将输入图像中具有颜色值和视差的图像像素的光场建模为视差函数，即，具有“V/视差”的斜率并穿过图像的原始位置的直线等式。在图6的坐标平面中，视差函数630可具有“V/视差”的斜率，并被显示为穿过图像的原始位置(a,VL)的直线等式。在图6中，VL表示观看区域中的左眼的视点位置620，VR表示观看区域中的右眼的视点位置610。
图像渲染设备可基于视差确定由图像像素和图像像素的视差表达的视差函数630。可基于视差函数630确定图像像素的第二模型。
例如，图像渲染设备可基于如下所示的等式7来确定位于位置(i,j)处的图像像素的视差函数。
[等式7]
例如，当假设左视点VL和右视点VR之间的距离是观看区域V时，并且当左图像作为输入图像被输入时，图像渲染设备可将具有区域V的在x方向上的视差之间的梯度并且穿过图像像素的原始位置(3j,VL)的直线等式确定为视差函数。在图6中，a等于3j。等式7表示输入图像中位于位置(i,j)处的图像像素的视差函数。在等式7中，i表示用于标识输入图像中的图像像素的行位置的变量，j表示用于标识输入图像中的图像像素的列位置的变量。另外，s表示用于在基于三个子像素(例如，子像素R、G、B)设置显示像素的位置时匹配显示设备的光场函数的维度的变量，并且可具有“j×3”的维度。d表示位于位置(i,j)处的图像像素的视差。
图7示出根据至少一个示例实施例的基于第一模型和第二模型渲染立体图像的处理的示例。
图像渲染设备可基于与显示像素相关联的第一模型以及与图像像素相关联的第二模型来渲染立体图像。可基于表示显示像素的位置和视点方向之间的相应关系的参考点来确定第一模型。可基于与图像像素的视差相关联的视差函数来确定第二模型。图像渲染设备可将图像像素的像素值分配给具有与图像像素的视点方向相应的视点方向的一个或更多个显示像素。
可以按照线为单位来渲染将通过显示面板中包括的显示像素输出的立体图像710。参照图7，在立体图像710中，可确定与对应于线720的位置的显示像素相关联的第一模型。图像渲染设备可基于位于线720中的每个显示像素的位置和视点方向来确定第一模型。可通过基于等式3到等式6确定的中间函数520来确定第一模型，中间函数520可指的是用于连接多个参考点510的函数。
图像渲染设备可基于位于与线720相应的位置处的图像像素之一的视差函数630来确定第二模型。可基于等式7来确定第二模型。
图像渲染设备可确定每个中间函数520和视差函数630之间的交叉点。图像渲染设备可确定与交叉点相应的显示像素，并可将与视差函数630相应的图像像素的像素值分配给确定的显示像素。
在一示例中，图像渲染设备可确定位置最接近于交叉点的参考点，并可将针对视差函数630的图像像素的像素值分配给与确定的参考点相应的显示像素。图像渲染设备可对中间函数520和视差函数630之间的所有交叉点重复执行以上处理。由于参考点510因柱状透镜的结构特性而具有周期性，因此两个交叉点之差可用于确定其它交叉点。
在另一示例中，视差函数630可被表达为区域，图像渲染设备可识别由视差函数630所表达的区域中所包括的参考点，并可将针对视差函数630的图像像素的像素值分配给与每个识别的参考点相应的显示像素。
参照图7，六个参考点可与中间函数520和视差函数630之间的交叉点相应。针对视差函数630的图像像素的像素值可被分配给分别与所述六个参考点相应的显示像素732、734、736、738、740和742。
例如，针对视差函数630的图像像素“A”的像素值可被分配给显示像素732、734、736、738、740和742。在该示例中，可确定与位于线720所对应的位置处的图像像素中除了图像像素“A”之外的图像像素“B”相关联的第二模型，并可基于第一模型和第二模型确定将被分配图像像素“B”的像素值的显示像素。可基于图像像素“B”的估计视差来确定第二模型。
当对位于与线720相应的位置处的图像像素执行以上处理时，图像渲染设备可确定与位于线720的下一条线中的显示像素相关联的第一模型，并可继续对位于与所述下一条线相应的位置处的图像像素再次执行以上处理。因此，图像渲染设备可在无需产生多视点图像的情况下，通过直接将输入图像的每个图像像素的像素值映射到显示像素来直接渲染立体图像。另外，可显著减少渲染立体图像所需的资源量和计算量。
图8示出根据至少一个示例实施例的基于第一模型和第二模型渲染立体图像的处理的另一示例。
图像渲染设备可基于与多个图像像素相关联的多个第二模型来渲染立体图像。图像渲染设备可基于第二模型确定将被分配每个图像像素的像素值的显示像素。在图8的示例中，可使用与彼此邻近的图像像素相应的多个视差函数，例如，视差函数830和840。视差函数830可与一个图像像素相应，视差函数840可对应于与该图像像素邻近的图像像素。图像渲染设备可基于视差函数830和840之间的区域来确定将被分配每个图像像素的像素值的显示像素。
图像渲染设备可基于表示显示像素的位置和视点方向之间的相应关系的参考点810来确定中间函数820，并可基于中间函数820以及视差函数830和840确定将被分配每个图像像素的像素值的显示像素。图像渲染设备可对图像像素的像素值进行插值，并可将通过对像素值进行插值而获得的像素值分配给确定的显示像素。
例如，可基于等式3确定包括参考点810的中间函数820，并可基于等式7确定视差函数830和840。图像渲染设备可确定在视差函数830和804之间的区域中所包括的中间函数820的参考点860。图像渲染设备可对与视差函数830和840相应的图像像素的像素值进行插值，并可将通过对像素值进行插值而获得的像素值分配给与参考点860相应的显示像素。当图像像素“A”和“B”分别与视差函数830和840相应时，可对图像像素“A”的像素值和图像像素“B”的像素值进行插值，并可将通过对像素值进行插值而获得的像素值分配给与参考点860相应的显示像素。图像渲染设备可对其它显示像素和其它图像像素执行以上处理。
图9示出根据至少一个示例实施例的图像渲染方法。
参照图9，在操作910，图像渲染设备可估计包括在输入图像中的图像像素的视差。基于视差，可确定图像像素的视点方向。在一示例中，图像渲染设备可基于从不同视点捕捉的输入图像和参考图像之间的视点差来估计视差。图像渲染设备可在输入图像包括的所有图像像素中搜索与参考图像相应的图像像素，可计算输入图像和参考图像中的相应图像像素之间的距离，并可估计视差。在另一示例中，图像渲染设备可基于包括在深度图像中的深度信息来估计视差。
在操作920，图像渲染设备可将图像像素的像素值分配给一个或更多个显示像素，并可渲染立体图像。每个显示像素可具有与图像像素的视点方向相应的视点方向。显示像素可均具有预定和/或期望的视点方向，或者可具有预定数量的不同视点方向之一。可基于包括在用于显示立体图像的显示设备中的柱状透镜的结构特性来确定每个显示像素的视点方向。
图像渲染设备可基于图像像素和显示像素中的每一个的视点方向，在多个显示像素中搜索将被分配图像像素的像素值的显示像素。图像渲染设备可基于与每个显示像素的视点方向相关联的第一模型和与图像像素的视点方向相关联的第二模型(而不是使用多视点图像)来直接渲染立体图像。
图像渲染设备可基于显示面板中排列的每个显示像素的位置和分配给每个显示像素的视点方向之间的相应关系来确定第一模型。另外，图像渲染设备可设置表示显示像素的位置和视点方向之间的相应关系的多个参考点，可确定穿过设置的参考点的中间函数，并可确定第一模型。
图像渲染设备可基于图像像素的视差来确定第二模型。图像渲染设备可基于输入图像中的图像像素的位置来执行对于将从图像像素输出的光线的方向的建模，并可确定第二模型。图像渲染设备可将与从图像像素输出的光线的视点方向相关联的视差函数确定为第二模型。
图像渲染设备可基于第一模型和第二模型来确定将被分配图像像素的像素值的一个或更多个显示像素。例如，图像渲染设备可基于第一模型和第二模型之间的相应关系来确定将被分配图像像素的像素值的显示像素，可将针对第二模型的预定和/或选定的图像像素的像素值分配给确定的显示像素，并可渲染立体图像。
在一示例中，图像渲染设备可基于第一模型以及与单个图像像素相关联的第二模型来确定将被分配图像像素的像素值的一个或更多个显示像素。图像渲染设备可确定中间函数和视差函数之间的交叉点，并可基于交叉点确定将被分配像素值的一个或更多个显示像素。在该示例中，图像渲染设备可确定中间函数所包括的参考点中位置最接近于交叉点的参考点，并可将像素值分配给与确定的参考点相应的显示像素。可选择地，图像渲染设备可识别基于图像像素的视差确定的像素区域中包括的参考点，并可将像素值分配给与识别的参考点相应的显示像素。
在另一示例中，图像渲染设备可基于第一模型以及与图像像素相关联的第二模型来确定将被分配多个图像像素中的每个图像像素的像素值的一个或更多个显示像素。图像像素的位置可彼此邻近。图像渲染设备可基于每个图像像素的视差函数来确定将被分配像素值的显示像素。图像渲染设备可基于每个图像像素的视差函数来确定将被分配像素值的显示像素。图像渲染设备可设置表示显示像素的位置和视点方向之间的相应关系的多个参考点，并可确定穿过参考点的中间函数。图像渲染设备可确定每个图像像素的视差函数。图像渲染设备可识别在多个视差函数之间的区域中所包括的中间函数的参考点，可对图像像素的像素值进行插值，并将通过对像素值进行插值获得的像素值分配给与识别的参考点相应的显示像素。
可使用硬件组件、软件组件或它们的组合来实现在本文中描述的单元和/或模块。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频到数字转换器和处理装置。可使用被配置为通过执行算术、逻辑和输入/输出操作实现和/或执行程序代码的一个或更多个硬件装置来实现处理装置。处理装置可包括处理器、控制器和算术逻辑单元、数字信号处理器、微计算器、现场可编程阵列、可编程逻辑单元、微处理器或能够按照定义的方式对指令进行响应并执行指令的任何其它装置。处理装置可运行操作系统(OS)和在OS上运行的一个或更多个软件应用。处理装置还可响应于软件的运行来访问、存储、操作、处理和创建数据。为了简明的目的，处理装置的描述被用作单数，然而，本领域的技术人员应理解，处理装置可包括复数个处理元件和复数类型的处理元件。例如，处理装置可包括复数个处理器或者包括处理器和控制器。另外，不同的处理配置也是可能的，诸如并行处理器。
软件可包括计算机程序、一段代码、指令或它们的某些组合以独立地或总体地指示和/或配置处理装置如期望地进行操作，从而将处理装置转变为专用处理器。软件和数据可在任何类型的机器、组件、实体或虚拟设备、计算机存储介质或装置中永久地或暂时地实施，或者在能够将指令或数据提供给处理装置或能够被处理装置解释的传输信号波中实施。软件还可分布于联网的计算机系统，从而按照分布式存储和执行软件。可通过一个或更多个非暂时性计算机可读记录介质来存储软件和数据。
可在包括用于实现上述示例实施例的各种操作的程序指令的非暂时性计算机可读介质中记录根据上述示例实施例的方法。介质还可单独地包括数据文件、数据结构等，或者可与程序指令相结合地包括数据文件、数据结构等。记录在介质中的程序指令可以是被专门设计并构造用于示例实施例的目的的程序指令，或者可以是对于计算机软件领域的技术人员公知且可以获得的类型。非暂时性计算机可读介质的示例包括磁性介质(诸如硬盘、软盘和磁带)、光学介质(诸如CD-ROM盘、DVD和/或蓝光盘)、磁光介质(诸如光盘)以及被专门配置为存储和执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器(例如，USB闪存驱动器、存储卡、存储棒等))等。程序指令的示例包括诸如由编译器生成的机器码和包含可由计算机使用解释器执行的更高级代码的文件两者。上述装置可被配置为用作一个或更多个软件模块以便执行上述示例实施例的操作，反之亦然。
以上已经描述了多个示例。然而，应理解可进行各种修改。例如，如果描述的技术按照不同顺序执行上述技术，并且/或者如果描述的系统、架构、装置或电路中的组件按照不同方式组合和/或被其它组件或它们的等同物替代或补充，则可实现合适的结果。因此，其它实现方式在权利要求的范围之内。

Claims (29)

1.一种用于渲染将由包括多个显示像素的显示设备显示的输出图像的图像渲染方法，所述图像渲染方法包括：
估计输入图像中的被选择的图像像素的视差；
基于所述被选择的图像像素的光线方向与估计的视差之间的关系，确定所述被选择的图像像素的光线方向；
将所述被选择的图像像素的像素值分配给所述多个显示像素中的一显示像素来渲染输出图像，其中，被分配的显示像素具有与所述被选择的图像像素的光线方向相应的显示光线方向，
其中，输入图像为与一个视点方向相应的图像，
其中，分配步骤包括：
识别具有与所述被选择的图像像素的光线方向相应的显示光线方向的至少一个显示像素；
将所述被选择的图像像素的像素值分配给输出图像中的与识别的所述至少一个显示像素的位置相应的位置。
2.如权利要求1所述的图像渲染方法，其中，分配步骤包括：
获得与所述多个显示像素的多个显示光线方向相关联的第一模型，其中，所述被分配的显示像素的显示光线方向是所述多个显示像素的多个显示光线方向之一；
基于所述被选择的图像像素的视差获得与所述被选择的图像像素的光线方向相关联的第二模型，其中，分配步骤基于获得的第一模型和获得的第二模型。
3.如权利要求2所述的图像渲染方法，其中，第一模型基于所述多个显示像素中的每个显示像素的显示光线方向与所述多个显示像素的相应位置之间的关系。
4.如权利要求2所述的图像渲染方法，其中，获得第二模型的获得步骤通过基于所述被选择的图像像素在输入图像中的位置对将从所述被选择的图像像素输出的光线的方向进行建模来获得第二模型。
5.如权利要求2所述的图像渲染方法，其中，分配步骤包括：
基于获得的第一模型和获得的第二模型之间的关系，识别所述多个显示像素中具有与所述被选择的图像像素的光线方向相同的显示光线方向的一个显示像素，并且分配步骤将所述被选择的图像像素的像素值分配给识别的显示像素。
6.如权利要求1所述的图像渲染方法，其中，所述被选择的图像像素是多个图像像素之一，并且，分配步骤包括：
获得与所述多个显示像素的多个显示光线方向相关联的第一模型；
获得分别与所述多个图像像素的光线方向相关联的第二模型，
分配步骤基于获得的第一模型和获得的第二模型。
7.如权利要求6所述的图像渲染方法，其中，分配步骤包括：
对所述多个图像像素的像素值进行插值，并将插值得到的多个像素值之一分配给所述被分配的显示像素。
8.如权利要求1所述的图像渲染方法，其中，所述多个显示像素中的每个显示像素具有多个不同的显示光线方向中的一个显示光线方向。
9.如权利要求1所述的图像渲染方法，其中，所述多个显示像素中的每个显示像素的显示光线方向基于显示设备中的柱状透镜的结构特性。
10.如权利要求1所述的图像渲染方法，其中，估计步骤包括：
基于与输入图像相关联的深度图像中所包括的深度信息来估计所述被选择的图像像素的视差。
11.如权利要求1所述的图像渲染方法，其中，估计步骤包括：基于输入图像和输入图像的参考图像之间的差来估计所述被选择的图像像素的视差。
12.如权利要求1所述的方法，其中，分配步骤不产生多视点图像。
13.如权利要求1所述的方法，其中，分配步骤直接将所述被选择的图像像素的像素值分配给所述被分配的显示像素。
14.一种显示设备，包括：
显示器，被配置为使用多个显示像素来显示输出图像，其中，所述多个显示像素中的每个显示像素具有相应的显示光线方向；
图像渲染器，被配置为通过以下处理来渲染输出图像：估计包括在输入图像中的被选择的图像像素的视差，基于所述被选择的图像像素的光线方向与估计的视差之间的关系确定所述被选择的图像像素的光线方向，并将所述被选择的图像像素的像素值分配给所述多个显示像素中的一显示像素，
其中，输入图像为与一个视点方向相应的图像，
其中，图像渲染器还被配置为：
识别具有与所述被选择的图像像素的光线方向相应的显示光线方向的至少一个显示像素；
将所述被选择的图像像素的像素值分配给输出图像中的与识别的所述至少一个显示像素的位置相应的位置。
15.如权利要求14所述的显示设备，其中，图像渲染器被配置为：使用与所述多个显示像素的多个显示光线方向分别相关联的第一模型以及与所述被选择的图像像素的光线方向相关联的第二模型，确定被分配的显示像素。
16.如权利要求15所述的显示设备，其中，所述被选择的图像像素是多个图像像素之一，与所述被选择的图像像素的光线方向相关联的第二模型是与所述多个图像像素相关联的多个第二模型之一，图像渲染器被配置为使用第一模型和所述多个第二模型来确定所述被分配的显示像素，
所述多个图像像素彼此邻近。
17.如权利要求14所述的显示设备，其中
图像渲染器被配置为基于输入图像和参考图像之间的差来估计所述被选择的图像像素的视差，
其中，所述被选择的图像像素的光线方向基于估计的视差。
18.如权利要求14所述的显示设备，其中
图像渲染器被配置为基于与输入图像相关联的深度图像中所包括的深度信息来估计所述被选择的图像像素的视差，
所述被选择的图像像素的光线方向基于估计的视差。
19.如权利要求14所述的显示设备，其中
显示器包括位于所述多个显示像素之上的柱状透镜，
所述多个显示像素中的每个显示像素的显示光线方向基于柱状透镜。
20.一种图像渲染设备，包括：
视差估计器，被配置为估计包括在输入图像中的被选择的图像像素的视差，其中，所述被选择的图像像素的光线方向基于所述被选择的图像像素的光线方向与估计的视差之间的关系来确定；
图像渲染器，被配置为通过将所述被选择的图像像素的像素值分配给显示像素来渲染输出图像，其中，被分配的显示像素具有与所述被选择的图像像素的光线方向相应的显示光线方向，
其中，输入图像为与一个视点方向相应的图像，
其中，图像渲染器还被配置为：
识别具有与所述被选择的图像像素的光线方向相应的显示光线方向的至少一个显示像素；
将所述被选择的图像像素的像素值分配给输出图像中的与识别的所述至少一个显示像素的位置相应的位置。
21.如权利要求20所述的图像渲染设备，其中，图像渲染器被配置为：基于所述被选择的图像像素的光线方向和多个显示像素中的每个显示像素的显示光线方向，在所述多个显示像素中搜索将被分配所述被选择的图像像素的像素值的多个显示像素，其中，被分配的显示像素是搜索到的多个显示像素之一。
22.如权利要求20所述的图像渲染设备，其中，图像渲染器不被配置为产生多视点图像。
23.如权利要求20所述的图像渲染设备，其中，图像渲染器被配置为直接将所述被选择的图像像素的像素值分配给所述被分配的显示像素。
24.一种显示设备，包括：
显示器，包括多个显示像素；
处理器，被配置为获得与所述多个显示像素的位置和显示光线方向相关联的第一模型，接收相应的多个图像像素的图像数据，获得与所述多个图像像素中的至少一个图像像素的光线方向相关联的第二模型，并基于第一模型和第二模型将至少一个图像像素的像素值应用于所述多个显示像素中的至少一个显示像素来渲染输出图像，其中，所述至少一个图像像素的光线方向基于所述至少一个图像像素的视差，
其中，输入图像为与一个视点方向相应的图像。
25.如权利要求24所述的显示设备，其中，处理器被配置为基于显示值产生3D显示。
26.如权利要求24所述的显示设备，其中
第二模型是奇异线性函数；
处理器被配置为将奇异线性函数应用于第一模型，确定第一模型和第二模型的至少一个交叉点，并基于所述至少一个交叉点来应用显示值。
27.如权利要求26所述的显示设备，其中，所述至少一个交叉点与所述多个显示像素之一相关联。
28.如权利要求24所述的显示设备，其中，所述多个显示像素与多个显示光线方向相关联，第一模型包括多个中间函数，每个中间函数与所述多个显示光线方向之一相关联。
29.如权利要求24所述的显示设备，其中，处理器被配置为在不产生多视点图像的情况下分配显示值。
CN201510170809.3A 2014-07-29 2015-04-10 用于渲染图像的设备和方法 Active CN105323574B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0096251 2014-07-29
KR1020140096251A KR102240564B1 (ko) 2014-07-29 2014-07-29 영상 렌더링 장치 및 방법

Publications (2)

Publication Number Publication Date
CN105323574A CN105323574A (zh) 2016-02-10
CN105323574B true CN105323574B (zh) 2019-05-10

Family

ID=52573610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510170809.3A Active CN105323574B (zh) 2014-07-29 2015-04-10 用于渲染图像的设备和方法

Country Status (5)

Country Link
US (1) US10721460B2 (zh)
EP (1) EP2981080B1 (zh)
JP (1) JP6717576B2 (zh)
KR (1) KR102240564B1 (zh)
CN (1) CN105323574B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102647351B1 (ko) * 2017-01-26 2024-03-13 삼성전자주식회사 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
EP4014484A4 (en) * 2019-12-27 2022-10-12 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND ITS CONTROL METHOD
WO2021146978A1 (zh) * 2020-01-22 2021-07-29 华为技术有限公司 显示系统、图形处理器gpu、显示控制器以及显示方法
CN111839681A (zh) * 2020-07-08 2020-10-30 胡飞青 利用内容解析的压迫区域识别平台及方法
CN115022612B (zh) * 2022-05-31 2024-01-09 北京京东方技术开发有限公司 一种显示装置的驱动方法、装置及显示设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044880A (ja) * 2001-07-31 2003-02-14 Canon Inc 立体画像形成装置、立体画像形成方法、プログラム、及び記憶媒体
US7113634B2 (en) * 2001-07-31 2006-09-26 Canon Kabushiki Kaisha Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program
JP3966830B2 (ja) * 2003-03-28 2007-08-29 株式会社東芝 立体表示装置
US7746377B2 (en) 2003-11-28 2010-06-29 Topcon Corporation Three-dimensional image display apparatus and method
CA2511040A1 (en) * 2004-09-23 2006-03-23 The Governors Of The University Of Alberta Method and system for real time image rendering
JP4212564B2 (ja) * 2005-02-28 2009-01-21 ザイオソフト株式会社 画像処理方法および画像処理プログラム
JP4755565B2 (ja) 2006-10-17 2011-08-24 シャープ株式会社 立体画像処理装置
GB0716776D0 (en) * 2007-08-29 2007-10-10 Setred As Rendering improvement for 3D display
JP4703635B2 (ja) 2007-12-12 2011-06-15 株式会社日立製作所 立体視画像生成方法、その装置、及び立体視画像表示装置
KR100950046B1 (ko) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
KR101105244B1 (ko) 2010-03-11 2012-01-13 중앙대학교 산학협력단 3차원 격자구조에서의 교점을 이용한 곡면 모델링 장치 및 방법
JP5660361B2 (ja) 2010-03-26 2015-01-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN102835116B (zh) 2010-04-01 2015-03-25 诺基亚公司 用于选择立体成像视点对的方法和装置
US8582865B2 (en) 2010-04-28 2013-11-12 General Electric Company Ultrasound imaging with ray casting and software-based image reconstruction
JP5594067B2 (ja) 2010-11-02 2014-09-24 ソニー株式会社 画像処理装置および画像処理方法
JP5002702B2 (ja) * 2010-12-03 2012-08-15 株式会社東芝 視差画像生成装置、立体映像表示装置及び視差画像生成方法
JP2015505972A (ja) * 2011-11-09 2015-02-26 コーニンクレッカ フィリップス エヌ ヴェ 表示装置及び方法
JP6019568B2 (ja) 2011-11-28 2016-11-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
CN103425806A (zh) 2012-05-17 2013-12-04 鸿富锦精密工业（深圳）有限公司 三次元编程产品模拟系统及方法
KR101402185B1 (ko) 2012-06-01 2014-06-19 광운대학교 산학협력단 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법
KR101944911B1 (ko) * 2012-10-31 2019-02-07 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치

Also Published As

Publication number Publication date
KR20160014260A (ko) 2016-02-11
EP2981080B1 (en) 2019-04-17
EP2981080A1 (en) 2016-02-03
US10721460B2 (en) 2020-07-21
KR102240564B1 (ko) 2021-04-15
CN105323574A (zh) 2016-02-10
JP2016032298A (ja) 2016-03-07
JP6717576B2 (ja) 2020-07-01
US20160037153A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
CN105323574B (zh) 用于渲染图像的设备和方法
JP6886253B2 (ja) 複数のユーザのためのレンダリング方法及び装置
KR102370062B1 (ko) 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
CN103795998B (zh) 图像处理方法和图像处理设备
JP6681675B2 (ja) 映像処理方法及び装置
CN109361913A (zh) 用于对于头戴式显示器提供三维图像的方法和装置
US9933626B2 (en) Stereoscopic image
US9154762B2 (en) Stereoscopic image system utilizing pixel shifting and interpolation
CN102789058A (zh) 立体图像生成装置和立体图像生成方法
CN105359518A (zh) 图像处理装置、图像处理方法、图像处理用计算机程序以及存储有图像处理用计算机程序的信息记录媒介
GB2534504A (en) Analysis of stereoscopic images
TW201225635A (en) Image processing device and method, and stereoscopic image display device
KR20130036198A (ko) 자동입체 디스플레이 및 그 제조방법
CN104065941A (zh) 三维图像显示装置和显示三维图像的方法
CN105263011B (zh) 多视点图像显示设备及其多视点图像显示方法
CN110958442B (zh) 用于处理全息图像数据的方法和装置
JP2020535472A (ja) ２つのビューポイントのオートステレオスコピックイメージをｎビューポイントのオートステレオスコピックディスプレイスクリーンに表示するためのシステム及び方法並びにそのようなディスプレイスクリーン上の表示を制御する方法
CN102307310B (zh) 影像深度估计方法及其装置
CN102780900A (zh) 一种多人多视角立体显示器影像显示方法
KR101912242B1 (ko) 3d 디스플레이 장치 및 그 영상 처리 방법
KR101893769B1 (ko) 시청자의 시점 정보에 기초하여 3차원 객체 영상 모델을 생성하는 장치 및 방법
US20200359052A1 (en) Stereoscopic image data compression
JP2009210486A (ja) 奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム
KR101547281B1 (ko) 다시점 3차원 영상신호 생성 방법 및 장치
KR20120072892A (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant