CN109495734B - 用于自动立体三维显示器的图像处理方法和设备 - Google Patents

Abstract

公开一种用于自动立体三维显示器的图像处理方法和设备。所述三维(3D)图像提供方法包括：检测观看者的眼睛位置并基于检测的眼睛位置提供3D图像，其中，提供3D图像的步骤包括：确定与显示面板的显示像素对应的图像像素值；基于从显示像素输出的射线的射线方向以及检测的眼睛位置，确定与显示像素对应的亮度权重；将所述亮度权重应用于与显示像素对应的图像像素值；通过显示像素输出应用了所述亮度权重的图像像素值。

Description

用于自动立体三维显示器的图像处理方法和设备

本申请要求于2017年9月12日提交到韩国知识产权局的第10-2017-0116735号韩国专利申请的优先权，所述申请的公开通过引用被全部包含于此。

技术领域

与示例实施例一致的方法和设备涉及用于自动立体三维(3D)显示器的图像处理技术。

背景技术

为了有效地表示提供立体观感的三维(3D)图像，可需要分别向观看者(也称为用户)的双眼提供不同视点的图像。例如，向用户的双眼显示不同图像的方法可包括：用于通过使用基于极化的分割、时间分割或改变原色的波长的波长分割进行滤波来获取期望图像的眼镜型或立体的方法、用于使用3D光学装置(诸如，例如，视差屏障、柱状透镜和定向背光单元)在空间中的每个视点显示图像的裸眼型或自动立体的方法。

发明内容

一个或多个示例实施例可至少解决上面的问题和/或缺点以及上面未描述的其他缺点。此外，这些示例实施例不需要克服上述缺点，并且一个示例实施例可不克服上述任何问题。

一个或多个示例实施例提供一种三维(3D)图像提供方法，包括：检测观看者的眼睛位置并基于检测的眼睛位置提供3D图像。提供3D图像的步骤可包括：确定与显示面板的显示像素对应的图像像素值；基于从显示像素输出的射线的射线方向以及检测的眼睛位置，确定与显示像素对应的亮度权重；将确定的亮度权重应用于与显示像素对应的图像像素值；通过显示像素输出应用了所述亮度权重的图像像素值。

确定亮度权重的步骤可包括：基于第一参考值或第二参考值中的至少一个确定所述亮度权重，其中，第一参考值指示所述射线方向与观看者的左眼的位置之间的接近度，第二参考值指示所述射线方向与观看者的右眼的位置之间的接近度。

确定亮度权重的步骤可包括：基于第一参考值或第二参考值中的至少一个，将预先定义的不同的亮度权重中的一个确定为与显示像素对应的亮度权重。

响应于第一参考值被包括在基于左眼的位置的第一参考值范围中或第二参考值被包括在基于右眼的位置的第二参考值范围中，确定亮度权重的步骤可包括：将第一亮度权重确定为与显示像素对应的亮度权重。

响应于第一参考值未包括在第一参考值范围中并且第二参考值未包括在第二参考值范围中，确定亮度权重的步骤可包括：将第二亮度权重确定为与显示像素对应的亮度权重。第一亮度权重可大于第二亮度权重。

可通过将应用于所述图像像素值的亮度权重来调节将通过显示像素输出的图像像素值的亮度。

确定图像像素值的步骤可包括：基于预先定义的亮度缩放值，调节左观看图像的多个图像像素的亮度范围和右观看图像的多个图像像素的亮度范围，并基于预先定义的串扰校正值，调节具有调节的亮度范围的左观看图像的所述多个图像像素中的每个的亮度值以及具有调节的亮度范围的右观看图像的所述多个图像像素中的每个的亮度值。

确定图像像素值的步骤还可包括：响应于所述射线方向比起右眼的位置更接近左眼的位置，将具有调节的亮度值的左观看图像的图像像素值分配给显示像素，并响应于所述射线方向比起左眼的位置更接近右眼的位置，将具有调节的亮度值的右观看图像的图像像素值分配给显示像素。

一个或多个示例实施例提供一种3D图像提供设备，包括：眼睛位置检测器，被配置为检测观看者的眼睛位置；处理器，被配置为基于检测的眼睛位置产生面板图像；显示面板，被配置为基于产生的面板图像输出3D图像。处理器还可基于从显示面板的显示像素输出的射线的射线方向以及检测的眼睛位置，确定与显示像素对应的亮度权重，将确定的亮度权重应用于与显示像素对应的图像像素值，并基于应用了所述亮度权重的图像像素值产生面板图像。

处理器还可被配置为：基于第一参考值或第二参考值中的至少一个确定所述亮度权重，其中，第一参考值指示所述射线方向与观看者的左眼的位置之间的接近度，第二参考值指示所述射线方向与观看者的右眼的位置之间的接近度。

附图说明

通过下面结合附图对示例实施例进行的描述，上述和/或其他方面将更清楚和更容易被理解，其中：

图1是示出根据示例实施例的三维(3D)图像提供设备的示图；

图2是示出根据示例实施例的用于产生3D图像的转换处理的示图；

图3至图5是示出根据示例实施例的3D图像提供方法的流程图；

图6A和图6B是示出根据示例实施例的如何基于显示像素的射线方向和眼睛位置来确定第一参考值和第二参考值的示例的示图；

图7是示出根据示例实施例的在跟踪型自动立体3D显示器装置中如何合并视点信息的示例的示图；

图8A和图8B以及图9A和图9B是示出根据示例实施例的如何基于观看者的眼睛位置来确定亮度权重的示例的示图；

图10是示出根据示例实施例的3D图像渲染设备的示图；

图11是示出根据示例实施例的3D图像提供设备的配置的示图。

具体实施方式

现在将对示例实施例做出详细参考，它们的示例被示出在附图中，其中，相同的参考标号始终指示相同的元件。下面通过参考附图描述示例实施例，以解释本公开。

下面的结构或功能的描述是示例性的，仅用于描述示例实施例，示例实施例的范围不限于本公开中提供的描述。可由本领域普通技术人员对它们做出各种改变和修改。

虽然术语“第一”或“第二”用于解释各种组件，但是这些组件不被这些术语限制。这些术语应仅用于将一个组件与另一组件区分开来。例如，在根据本公开的构思的权利范围内，“第一”组件可被称为“第二”组件，或类似地，“第二”组件可被称为“第一”组件。

将理解，当组件被称为“连接到”另一组件时，该组件可直接连接或者结合到所述另一组件，或者可存在中间组件。

如在这里使用的，除非上下文明确地另有指示，否则单数形式也意图包括复数形式。还将理解，当在本说明书中使用术语“包括”和/或“包含”时，指定存在陈述的特征、整体、步骤、操作、元件、组件或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。

除非在这里另外限定，否则这里使用的包括技术术语或科学术语的所有术语具有与本领域普通技术人员通常理解的含义相同的含义。除非在这里另外限定，否则在通用字典中定义的术语应被解释为具有与它们在相关领域的语境含义一致的含义，而不将被解释为理想的或过于形式的含义。

图1是示出根据示例实施例的三维(3D)图像提供设备的示图。

参照图1，3D图像提供设备110可向观看者120提供3D图像。3D图像提供设备110是指被配置为将输入图像转换为作为立体图像的3D图像，并输出该3D图像的设备，并且可以是可使用3D光学装置(诸如，例如，视差屏障和柱状透镜)体现这样的立体图像的自动立体3D显示器装置。3D图像提供设备110可执行3D渲染以产生用于发送到显示面板的面板图像，并通过3D光学装置将产生的面板图像转换成立体图像并输出立体图像。显示面板可包括显示器模块(例如，液晶显示器(LCD)、发光二极管(LED)、有机LED(OLED)等)。3D图像提供设备110可通过允许观看者120分别使用观看者120的左眼和右眼观看不同图像来向观看者120提供立体观感。3D图像提供设备110可以是可自动立体地或在没有眼镜的情况下输出3D图像的各种类型的显示器装置中的任何一种显示器装置。例如，3D图像提供设备110可以是包括3D电视(TV)、眼镜型可穿戴装置、3D头戴式显示器(HUD)、监视器、平板计算机、智能电话、移动装置以及智能家电中的任何类型。

图2是示出根据示例实施例的用于产生3D图像的转换处理的示图。

参照图2，3D图像提供设备可通过3D光学装置220将从显示面板210的显示像素215中的每个输出的光或光射线沿多个观看方向输出到3D空间。从显示像素215输出的射线可形成光场。这里使用的显示像素是指显示面板210的组成单元，它可输出图像像素的像素值或图像像素值。这里使用的图像像素是指面板图像的组成单元，它可具有将通过与图像像素对应的显示像素被输出的图像像素值。显示像素可以以硬件的形式提供，图像像素可以以数据的形式提供。将从显示像素215中的每个输出的光射线可通过3D光学装置220沿特定方向被发送。

例如，3D光学装置220可包括在图2中示出的柱状透镜或视差屏障(未示出)。柱状透镜或视差屏障可被设计为斜向穿过包括在显示面板210中的显示像素215的阵列。自动立体3D显示器(诸如，3D图像提供设备)可向观看者的双眼(例如，左眼51和右眼52)发射不同视点的图像，使得观看者感受到立体观感或体验到3D效果。例如，3D图像提供设备可允许观看者使用左眼51观看第一视点图像并使用右眼52观看第二视点图像，因此，向观看者提供立体3D图像。这里，立体观感可由双目视差产生。

当3D图像提供设备提供3D图像时，3D图像提供设备可使用相机等跟踪观看者的视点或眼睛位置，并基于跟踪的视点实时渲染3D图像。因此，3D图像提供设备可起到视点跟踪自动立体3D显示器的作用。这样的视点跟踪自动立体3D显示器可基于观看者的观看位置实时渲染3D图像，并向观看位置输出包括左观看图像和右观看图像的两个视点图像。

3D图像提供设备可基于观看者的观看位置实时渲染3D图像，并因此实现实时处理。包括在面板图像中的图像像素的阵列可以以左观看图像的像素值和右观看图像的像素值的组合的形式提供。两个视点图像——左观看图像和右观看图像——可形成光场，并通过3D光学装置被输出到观看区域。沿多个方向输出的左观看图像所合并成的图像可由观看者的左眼观看，沿多个方向输出的右观看图像所合并成的图像可由观看者的右眼观看。

可应用将在下文中描述的示例以增强将通过视点跟踪自动立体3D显示器输出的3D图像的质量。例如，可由观看者的双眼观看到的3D图像的串扰可被减小。串扰指示将由观看者的左眼观看的图像实际由观看者的右眼观看到或者将由右眼观看的图像实际由左眼观看到，并且可由将由左眼观看的图像与将由右眼观看的图像之间的不完全分离而造成。通常，发生在自动立体3D显示器中的这样的串扰有两个主要原因。一是通过可在光通过3D光学装置、胶或显示像素结构从显示器发送时产生的衍射或散射引起的偏移串扰。偏移串扰可趋向于不管观看者的位置而遍及显示面板均匀地发生。二是可由于在设计或制造3D光学装置中出现的误差而产生的3D像素串扰。3D像素串扰可由于例如视差屏障的狭缝尺寸和柱状透镜的倾斜角度或透镜象差的误差而发生。

串扰可极大地影响3D图像的质量，因此期望减小串扰。视点跟踪自动立体3D显示器可通过将在下文中描述的图像处理来减小串扰。根据示例实施例，视点跟踪自动立体3D显示器可接收亮度缩放值和串扰校正值作为参数，并基于该参数执行3D渲染以减小偏移串扰的影响并实现实时处理。此外，在针对每个图像像素的实时3D渲染中，视点跟踪自动立体3D显示器可按期望地调节亮度分量以减小3D像素串扰的影响。根据另一示例实施例，在3D渲染中，视点跟踪自动立体3D显示器可通过针对每个图像像素进行并行处理来降低图像处理的复杂度并实现高速处理。在下文中，将参照下面的附图更详细地描述将由3D图像提供设备执行的3D图像提供方法。

图3至图5是示出根据示例实施例的3D图像提供方法的流程图。

参照图3，在操作310中，3D图像提供设备检测观看者的眼睛位置。3D图像提供设备通过使用相机捕获3D图像提供设备前方的图像并分析捕获的图像来确定观看者的眼睛位置。例如，3D图像提供设备可在由相机捕获的图像中检测与眼睛区域关联的特征点，并基于检测的特征点的位置来确定观看者的眼睛位置。再例如，3D图像提供设备可使用被训练为从输入图像输出眼睛位置的基于神经网络的检测器来确定眼睛位置。3D图像提供设备可使用未在上面作为示例描述的其他方法来检测眼睛位置。

在操作320中，3D图像提供设备基于检测的眼睛位置向观看者提供3D图像。如上所述，3D图像提供设备可起到视点跟踪自动立体3D显示器的作用，并因此可基于观看者的眼睛位置渲染3D图像。虽然将被输出的是相同内容，但是将通过显示面板输出的面板图像的构造可基于观看者的眼睛位置而改变。也就是说，基于观看者的眼睛位置，可确定被分配给当前显示像素的是左观看图像的图像像素值还是右观看图像的图像像素值。可基于观看者的左眼的位置和观看者的右眼的位置以及基于从每个显示像素输出的射线的射线方向，针对每个显示像素分别执行3D图像的渲染。在下文中，将参照图4更详细地描述如何由3D图像提供设备提供3D图像。

图4是示出根据示例实施例的由3D图像提供设备提供3D图像的方法的流程图。

参照图4，在操作410中，3D图像提供设备确定与显示面板的显示像素对应的图像像素值。3D图像提供设备基于检测的眼睛位置使得每个显示像素被分配左观看图像和右观看图像之一的图像像素值。例如，当从显示像素输出的射线的射线方向(或显示像素的射线方向)与观看者的右眼的位置相比更接近观看者的左眼的位置时，3D图像提供设备可将左观看图像的图像像素值分配给该显示像素。相反，当显示像素的射线方向与左眼的位置相比更接近右眼的位置时，3D图像提供设备可将右观看图像的图像像素值分配给该显示像素。

根据示例，为了进一步减小来自3D图像的串扰分量，可首先执行一系列图像预处理过程。例如，3D图像提供设备可调节作为输入图像的左观看图像和右观看图像的图像像素值的亮度范围，并校正串扰以减小偏移串扰分量。将参照图5更详细地描述这样的处理。

在操作420中，3D图像提供设备基于显示像素的射线方向和在操作310中检测的眼睛位置，确定与显示像素对应的亮度权重。例如，当显示像素的射线方向更接近左眼或右眼的位置时，3D图像提供设备可将相对大的亮度权重分配给显示像素。相反，当显示像素的射线方向远离左眼的位置和右眼的位置，或者显示像素的射线方向更接近左眼与右眼之间的中间位置时，3D图像提供设备可将相对低的亮度权重分配给显示像素。

根据示例实施例，3D图像提供设备可基于第一参考值和第二参考值中的至少一个来确定亮度权重，其中，第一参考值指示显示像素的射线方向与左眼的位置之间的接近度，第二参考值指示显示像素的射线方向与右眼的位置之间的接近度。这里使用的第一参考值指示显示像素的射线方向与从显示像素向观看者的左眼的方向之间的差，这里使用的第二参考值指示显示像素的射线方向与从显示像素向观看者的右眼的方向之间的差。例如，可基于显示像素的射线方向与从显示像素向左眼的位置的线的方向之间的角度或者射线方向与左眼的位置之间的距离，确定第一参考值。可基于显示像素的射线方向与从显示像素向右眼的位置的线的方向之间的角度或者射线方向与右眼的位置之间的距离，确定第二参考值。随着显示像素的射线方向与左眼的位置之间的距离减小，第一参考值可减小。随着显示像素的射线方向与右眼的位置之间的距离减小，第二参考值可减小。

根据示例实施例，3D图像提供设备可基于第一参考值和第二参考值中的至少一个在预先定义的不同亮度权重之中确定与显示像素对应的亮度权重。例如，当第一参考值被包括在基于左眼的位置的第一参考值范围(例如，以左眼的位置为中心的范围)中或第二参考值被包括在基于右眼的位置的第二参考值范围(例如，以右眼的位置为中心的范围)中时，3D图像提供设备可将第一亮度权重确定为与显示像素对应的亮度权重。相反，当第一参考值未包括在第一参考值范围中并且第二参考值未包括在第二参考值范围中时，3D图像提供设备可将第二亮度权重确定为与显示像素对应的亮度权重。这里，第一参考值范围的大小可等于第二参考值范围的大小，第一亮度权重可大于第二亮度权重。在一个优选实施例中，第一参考值范围与第二参考值范围不重叠。此外，第一参考值被包括在第一参考值范围中或第二参考值被包括在第二参考值范围中可指示显示像素的射线方向更接近左眼或右眼。在这样的情况下，可将较大的亮度权重分配给显示像素。例如，当分配100％的亮度权重时，可在不减小图像像素值的亮度的情况下，由对应的显示像素输出具有原始亮度的图像像素值。

此外，第一参考值未包括在第一参考值范围中或第二参考值未包括在第二参考值范围中可指示显示像素的射线方向远离左眼和右眼。在这样的情况下，可将较小的亮度权重分配给显示像素。例如，当分配50％的亮度权重时，可通过将图像像素值的亮度减小至50％来由对应的显示像素输出该图像像素值的亮度。在显示像素的射线方向接近左眼与右眼之间的中间位置的情况下，也可分配较小的亮度权重。这里，可基于第一参考值或第二参考值的大小来确定亮度权重。例如，亮度权重可被确定为预先定义的值(例如，50％、60％、……、90％以及100％)中的一个，或者基于预先定义的函数来确定。通过这样的处理，串扰可通过防止右观看图像被左眼观看到或左观看图像被右眼观看到而被减小。

在操作430中，3D图像提供设备将在操作420中确定的亮度权重应用到与显示像素对应的图像像素值。可基于应用到图像像素值的亮度权重来调节将通过显示像素输出的图像像素值的亮度。例如，在100％的亮度权重的情况下，可输出具有原始亮度的图像像素值。在亮度权重小于100％的情况下，可输出具有小于原始亮度的亮度的图像像素值。

在操作440中，3D图像提供设备通过显示像素输出应用了亮度权重的图像像素值。如上所述，3D图像提供设备可确定与每个显示像素对应的亮度权重并通过对应的显示像素输出应用了确定的亮度权重的图像像素值，以输出具有减小的串扰分量的3D图像。

图5是示出根据示例实施例的确定将分配给显示像素的图像像素值的方法的流程图。如下文所述，3D图像提供设备可接收亮度缩放值和串扰校正值作为参数，并使用这些参数来校正偏移串扰。

参照图5，在操作510中，3D图像提供设备基于预先定义的亮度缩放值调节左观看图像的图像像素的亮度范围和右观看图像的图像像素的亮度范围。根据示例实施例，亮度缩放值可包括与图像像素的最小亮度值和最大亮度值中的至少一个关联的信息。3D图像提供设备可基于亮度缩放值中的最小亮度值和/或最大亮度值来缩放图像像素的亮度范围。例如，3D图像提供设备可将图像像素中的小于最小亮度值的图像像素的亮度值调节为最小亮度值，并将图像像素中的大于最大亮度值的图像像素的亮度值调节为最大亮度值。然而，这仅为示例性的，本公开不限于此。

例如，当图像像素的亮度范围为0至255时，3D图像提供设备可基于亮度缩放值将图像像素的亮度范围缩放为20至230。在执行缩放之后，图像像素的最小亮度值可被调节为大于或等于20，图像像素的最大亮度值可被调节为小于或等于230。可执行这样的缩放以保证在调节图像像素值的后续处理中的图像像素值的裕度。

在操作520中，3D图像提供设备基于预先定义的串扰校正值，调节具有在操作510中调节的亮度范围的左观看图像和右观看图像的图像像素中的每个的亮度值。3D图像提供设备可通过经由伽马(gamma)解码将红绿蓝(RGB)颜色空间中的图像像素中的每个的图像像素值转换到亮度空间来提取亮度值，并通过将串扰校正值应用到亮度值来从亮度值中减去串扰分量。例如，当预先定义的串扰校正值为3％时，可通过将串扰校正值应用到亮度值来从亮度值减去与原始亮度值的3％对应的亮度值。然后，3D图像提供设备可通过伽马编码将应用了串扰校正值的图像像素值从亮度空间再次转换到RGB颜色空间。通过操作510和520，左观看图像和右观看图像的图像像素的亮度范围可被缩放，并且亮度值可被调节以校正串扰。

在操作530中，3D图像提供设备确定观看者的右眼的位置和观看者的左眼的位置之中的哪个更接近显示像素的射线方向。在操作540中，响应于显示像素的射线方向与右眼的位置相比更接近左眼的位置，3D图像提供设备将具有在操作520中调节的亮度值的左观看图像的图像像素值分配给显示像素。在操作550中，响应于显示像素的射线方向与左眼的位置相比更接近右眼的位置，3D图像提供设备将具有在操作520中调节的亮度值的右观看图像的图像像素值分配给显示像素。3D图像提供设备可向全部显示像素中的每个分配图像像素值，并产生面板图像作为分配的结果。

图6A和图6B是示出根据示例实施例的如何基于显示像素的射线方向和眼睛位置来确定第一参考值和第二参考值的示例的示图。

参照图6A，从包括在显示面板610中的显示像素615输出的射线由3D光学装置沿射线方向617行进。显示像素615的射线方向617可由3D光学装置的结构特性来定义。当确定观看者的左眼620的位置和观看者的右眼625的位置时，3D图像提供设备确定指示显示像素615的射线方向617与左眼620的位置之间的接近度的第一参考值，以及指示显示像素615的射线方向617与右眼625的位置之间的接近度的第二参考值。

例如，3D图像提供设备在穿过左眼620的位置(例如，中心)和右眼625的位置(例如，中心)的平面630上确定射线方向617所通过的穿过点。3D图像提供设备将穿过点的位置与左眼620的位置之间的距离640确定为第一参考值，并将穿过点的位置与右眼625的位置之间的距离645确定为第二参考值。3D图像提供设备将距离640与距离645进行比较并确定左眼620和右眼625之中更接近显示像素615的射线方向617的一个。如图6A中所示，距离640小于距离645，因此，3D图像提供设备确定射线方向617更接近左眼620。

参照图6B，可基于角度差来确定第一参考值和第二参考值中的每个。如图所示，在从显示像素615向左眼620的位置行进的线650的方向与从显示像素615输出的射线的射线方向617之间形成的角度660被确定为第一参考值。此外，在从显示像素615向右眼625的位置行进的线655的方向与从显示像素615输出的射线的射线方向617之间形成的角度665被确定为第二参考值。3D图像提供设备将角度660与角度665进行比较，并确定左眼620和右眼625之中更接近显示像素615的射线方向617的一个。如图6B中所示，角度660小于角度665，因此，3D图像提供设备确定射线方向617更接近左眼620。

图7是示出根据示例实施例的在视点跟踪自动立体3D显示器装置中如何合并视点信息的示例的示图。

图7示出针对每个观看方向指示的基于观看方向的亮度廓线(profile)705，以及观看方向的亮度廓线被合并成左视点的亮度廓线和右视点的亮度廓线的亮度廓线717。在亮度廓线705中，虚线710指示输出左观看图像的观看方向中的每个的亮度分布特性，实线715指示输出右观看图像的观看方向中的每个的亮度分布特性。亮度廓线717通过基于左视点和右视点合并在亮度廓线705中指示的亮度分布特性而得到。在亮度廓线717中，“A”指示观看者的左眼的位置，“B”指示观看者的右眼的位置。通过基于左眼的位置和右眼的位置合并视点信息，串扰可被减小。然而，参照亮度廓线717，除了向各个观看方向输出的左观看图像的亮度分量720以外，右观看图像的亮度分量725也可到达左眼。这里，到达左眼的位置的右观看图像的亮度分量730可对应于串扰分量。此外，当左观看图像的亮度分量720到达右眼时，到达右眼的位置的左观看图像的亮度分量735也可对应于串扰分量。这样的串扰分量可使用这里描述的亮度权重来减小。

图8A和图8B以及图9A和图9B是示出根据示例实施例的如何基于观看者的眼睛位置来确定亮度权重的示例的示图。

参照图8A，从显示面板810输出的3D图像到达观看者的左眼820和右眼825。3D图像提供设备基于从显示面板810的显示像素中的每个输出的射线的射线方向和左眼820的位置与右眼825的位置，将左观看图像的图像像素值或右观看图像的图像像素值分配给显示像素。图8A还示出在左眼820的位置处合并的左观看图像的亮度廓线830以及在右眼825的位置处合并的右观看图像的亮度廓线835。如参照图7所述，意料外的视点图像可被发送到左眼820的位置和右眼825的位置中的每个，因此可发生串扰。

参照图8B，3D图像提供设备可通过将亮度权重应用于将被分配给包括在显示面板810中的显示像素中的每个的图像像素值，来减小这样的串扰。3D图像提供设备可基于显示像素中的每个的射线方向以及左眼820和右眼825的位置，确定与显示像素中的每个对应的亮度权重的大小。当将图像像素值映射到显示像素时，3D图像提供设备可将显示像素的射线方向与左眼820和右眼825的位置进行比较，并确定将应用于图像像素值的亮度权重的大小。例如，当射线方向更接近左眼820或右眼825的位置时，3D图像提供设备可将亮度权重的大小确定为100％，使得图像像素值的原始亮度值将被保持。相反，当射线方向远离左眼820或右眼825的位置时，3D图像提供设备可通过应用相对低的亮度权重来减小图像像素值的亮度值。

根据示例实施例，3D图像提供设备可基于显示像素的射线方向以及左眼820和右眼825的位置中的每个来确定第一参考值和第二参考值。当第一参考值被包括在基于左眼820的位置的第一参考值范围中，或第二参考值被包括在基于右眼825的位置的第二参考值范围中时，100％的亮度权重可被应用于将被分配给显示像素的图像像素值。然而，当第一参考值未包括在第一参考值范围中并且第二参考值未包括在第二参考值范围中时，小于100％(例如，50％)的亮度权重可被应用于图像像素值，因此，可输出具有小于原始亮度值的亮度值的图像像素值。因此，3D图像提供设备可基于显示像素中的每个的射线方向以及左眼820和右眼825的位置来确定与显示像素中的每个对应的亮度权重。然后，3D图像提供设备可将确定的亮度权重应用于将通过显示像素中的每个被输出的图像像素值，使得不直接将图像投射到左眼820和右眼825的显示像素的影响可被减小，并且串扰分量也可被减小。图8B还示出应用于显示像素中的每个的亮度权重850，以及在左眼820的位置处合并的左观看图像的亮度廓线840和在右眼825的位置处合并的右观看图像的亮度廓线845。通过将在图8B中示出的亮度廓线840和亮度廓线845与在图8A中示出的亮度廓线830和亮度廓线835进行比较，表明通过应用亮度权重850，串扰分量在左眼820和右眼825的位置中的每个位置处被减小。

图9A示出在不应用亮度权重的情况下，针对由自动立体3D显示器装置的观看者的右眼观看到的观看方向中的每个的图像的相对亮度大小。参照图9A，估计出右眼靠近观看方向33。这里使用的观看方向可通过将基于自动立体3D显示器装置的位置的观看区域分成观看者可观看从自动立体3D显示器装置输出的3D图像的多个观看方向。与比起左眼更接近右眼的观看方向23至45对应的显示像素可输出右观看图像的图像像素值。与比起右眼更接近左眼的观看方向1至22对应的显示像素可输出左观看图像的图像像素值。除了右观看图像的亮度分量910之外，左观看图像的亮度分量920的部分也可由右眼观看到。由右眼观看到的左观看图像的亮度分量920可导致串扰。这样的串扰可使用这里描述的亮度权重被减小。

图9B示出将针对观看方向中的每个而应用的亮度权重的大小，以及当应用亮度权重时针对在右眼的位置处观看的观看方向中的每个的右观看图像的亮度分量的大小和左观看图像的亮度分量的大小。图9B还示出指示将基于射线方向被应用于显示像素的亮度权重的连续大小的曲线930。图9B还示出当应用亮度权重时沿右眼的位置处观看的每个观看方向的右观看图像的亮度分量915和沿右眼的位置处观看到的每个观看方向的左观看图像的亮度分量925。当显示像素的射线方向接近左眼或右眼时，可应用100％的亮度权重。当射线方向在左眼与右眼之间的中间位置或观看方向22周围时，可应用具有大小较小(例如，50％)的亮度权重。为显示位于射线方向接近左眼或右眼处的位置与左眼和右眼之间的中间位置之间的像素，可应用线性减小的亮度权重。此外，具有较小大小的亮度权重还可被应用于具有远离左眼和右眼的位置的射线方向的显示像素。通过应用这样的亮度权重，由右眼观看到的左观看图像的亮度分量920可被减小，因此，串扰也可被减小。

图10是示出根据示例实施例的3D图像渲染设备的示图。

参照图10，3D图像渲染设备1000可基于输入信息产生将被发送到显示面板的面板图像。例如，输入信息可包括：由眼睛位置检测器检测的眼睛位置值、亮度缩放值、左观看图像的图像像素值和右观看图像的图像像素值、以及串扰校正值。亮度缩放值和串扰校正值可在观看者正在观看结果图像时被调节其大小。3D图像渲染设备100可通过基于显示像素的射线方向和观看者的双眼的位置将亮度权重应用于图像像素值，来产生具有减小的串扰分量的面板图像。3D图像渲染设备1000可对面板图像的图像像素中的每个执行这样的图像处理，并且可并行地对图像像素执行图像处理。

如图10所示，3D图像渲染设备1000包括亮度缩放器1010、伽马解码器1020、串扰校正器1030、伽马编码器1040、渲染器1050和亮度权重应用器1060。3D图像渲染设备1000可包括在这里描述的3D图像提供设备中。

亮度缩放器1010可基于预先定义的亮度缩放值调节左观看图像的图像像素值的亮度范围和右观看图像的图像像素值的亮度范围。根据示例实施例，亮度缩放器1010可基于在亮度缩放值中定义的最小亮度值和最大亮度值来线性地转换亮度范围。通过前面描述的这样的处理，图像像素的亮度范围可被减小。

伽马解码器1020可执行伽马解码，以将RGB颜色空间中的具有调节的亮度范围的图像像素值转换到亮度空间。由于串扰分量基于显示像素的亮度值而不是图像像素值被添加到观看者的双眼，因此伽马解码可被执行。

串扰校正器1030可校正串扰，以基于串扰校正值调节左观看图像和右观看图像的图像像素中的每个的亮度值，其中，串扰校正值是期望减小的串扰的大小的信息。串扰校正器1030可从图像像素中的每个的亮度值减去与串扰校正值对应的亮度值。例如，当串扰校正值为3％时，串扰校正器1030可从所有图像像素中的每个的亮度值减去3％。因此，可能导致串扰的偏移串扰分量可被减小。

伽马编码器1040可通过伽马编码将执行了串扰校正的图像像素值从亮度空间转换到RGB颜色空间。因此，可获得应用了串扰校正值的颜色值的图像像素值。根据示例，当对每个图像像素执行伽马解码和伽马编码时，可使用各个RGB颜色的伽马曲线或可使用单个伽马曲线，以减小颜色失真。

渲染器1050可基于观看者的双眼的各自的眼睛位置值将执行了串扰校正的图像像素值分配给每个显示像素。渲染器1050可基于每个显示像素的射线方向和左眼与右眼的位置，确定将在3D渲染处理中由每个显示像素显示的图像像素值是属于左观看图像还是右观看图像。当显示像素的射线方向比起右眼更接近左眼时，渲染器1050可将左观看图像的图像像素值分配给显示像素。相反，当射线方向比起左眼更接近右眼时，渲染器1050可将右观看图像的图像像素值分配给显示像素。为估计显示像素的射线方向与左眼的位置的接近度，渲染器1050可将显示像素的射线方向和从显示像素向左眼的方向之间的差与显示像素的射线方向和从显示像素向右眼的方向之间的差进行比较。

亮度权重应用器1060可基于每个显示像素的射线方向和眼睛位置值确定与每个显示像素对应的亮度权重，并将确定的亮度权重应用于与每个显示像素对应的图像像素值。根据示例实施例，当射线方向接近眼睛之一时，亮度权重可增大，当射线方向远离双眼或接近眼睛之间的中间位置时，亮度权重可减小。例如，当显示像素的射线方向接近左眼或右眼的位置时，亮度权重应用器1060可将亮度权重分配给显示像素，以保持对应的图像像素值的原始亮度值。当显示像素的射线方向远离左眼和右眼的位置或接近左眼与右眼之间的中间位置时，亮度权重应用器1060可将亮度权重分配给显示像素，以减小对应的图像像素值的亮度值。

显示像素的射线方向和从显示像素向左眼的方向之间的差与射线方向和从显示像素向右眼的方向之间的差彼此相似可指示显示像素的射线方向不接近双眼中的任何一个。此外，将由显示像素输出的图像像素值可对将被观看者观看的3D图像的亮度分量做出较少贡献，该图像像素值很可能被指示为串扰分量。因此，这样的串扰分量可通过应用相对低的亮度权重来减小该图像像素值的亮度值而被减小。相反，显示像素的射线方向和从显示像素向左眼的方向之间的差与射线方向和从显示像素向右眼的方向之间的差彼此不相似可指示显示像素的射线方向接近双眼中的一个。此外，将由显示像素输出的图像像素值很可能对将被观看者观看的3D图像的亮度分量做出较大贡献。在这样的情况下，基于相对高的亮度权重，图像像素值的亮度值可等于或相似于原始亮度值。

因此，亮度权重应用器1060可通过将分配给每个显示像素的亮度权重应用于与每个显示像素对应的图像像素值来产生具有减小的串扰分量的面板图像。

图11是示出根据示例实施例的3D图像提供设备的配置的示图。

参照图11，3D图像提供设备1100包括眼睛位置检测器1110、处理器1120、存储器1130和显示面板1140。

眼睛位置检测器1110可检测观看者的眼睛位置。眼睛位置检测器1110可包括相机，相机包括在3D图像提供设备1100中并被配置为实时跟踪观看者的视点。根据示例实施例，眼睛位置检测器1110可从由相机捕获的图像检测与观看者的眼睛对应的特征点，并基于检测的特征点的位置确定观看者的眼睛的位置。例如，眼睛位置检测器1110可将与观看者的左眼的瞳孔对应的特征点的中心位置确定为左眼的位置，并将与观看者的右眼的瞳孔对应的特征点的中心位置确定为右眼的位置。再例如，眼睛位置检测器1110可使用神经网络来确定左眼的位置和右眼的位置，其中，神经网络被训练为从包括观看者的面部区域的图像输出左眼的位置和右眼的位置中的每个。然而，对眼睛位置的检测不限于前面描述的示例，眼睛位置检测器1110可使用其他各种方法检测观看者的眼睛位置。

处理器1120可控制3D图像提供设备1100，并执行参照图1至图10所述的操作。例如，处理器1120可执行参照图3至图5所述的操作。处理器1120可基于检测的眼睛位置产生面板图像。处理器1120可基于不同视点的图像配置面板图像，使得不同视点的图像可分别由观看者的左眼和右眼观看。这里，处理器1120可基于从每个显示像素输出的射线的射线方向以及观看者的双眼的位置确定将分配给每个显示像素的亮度权重，并通过将确定的亮度权重应用于图像像素值来产生具有减小的串扰分量的面板图像。

此外，处理器1120可执行参照图10描述的3D图像渲染设备1000的组件的功能。处理器1120可以以单处理器、多处理器、硬件加速器(HWA)、图形处理器(GPU)或者它们的组合被不同地实现。

存储器1130可存储视点图像(例如，左观看图像和右观看图像的立体图像)、面板图像、用于处理器1120的操作的指令、以及数据(诸如，各种功能、公式和操作结果)。此外，存储器1130可将相关数据发送到处理器1120，并将存储在存储器1130中的其他数据发送到处理器1120。

显示面板1140可将由处理器1120产生的面板图像转换成3D图像，并输出3D图像。显示面板1140可包括用于将二维(2D)形式的面板图像转换成3D图像的3D光学装置(例如，视差屏障和柱状透镜)。

可使用硬件组件和软件组件来实现这里描述的设备和单元。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频数字转换器、非暂时性计算机存储器和处理装置。可使用一个或多个通用或专用计算机(诸如，例如，处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微型处理器)或能够以限定的方式响应并执行指令的任何其他装置来实现处理装置。处理装置可运行操作系统(OS)以及运行在OS上的一个或多个软件应用。处理装置还可响应于软件的执行来访问、存储、操控、处理和创建数据。为了简单起见，使用单数来描述处理装置；然而，本领域技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或一个处理器和一个控制器。此外，不同的处理配置是可行的(诸如，并行处理器)。

软件可包括用于独立地或共同地指示或配置处理装置按期望的那样进行操作的计算机程序、一段代码、指令或它们的一些组合。软件和数据可在任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置中、或者在能够将指令或数据提供给处理装置或由处理装置解释的传播信号波中被永久地或临时地实现。软件还可被分布在联网的计算机系统上，使得软件以分布的方式被存储并被执行。软件和数据可由一个或多个非暂时性计算机可读记录介质进行存储。非暂时性计算机可读记录介质可包括能够存储之后可被计算机系统或处理装置读取的数据的任何数据存储装置。非暂时性计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置。此外，实现这里公开的示例的功能程序、代码和代码段可被示例所属领域技术程序员基于和使用这里提供的附图的流程图和框图以及它们的对应描述容易地解释。

虽然本公开包括具体示例，但是本领域普通技术人员将清楚的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以在这些示例中进行形式和细节上的各种改变。这里描述的示例将被认为只是描述性的，而不用于限制的目的。每个示例中的特征或方面的描述将被认为可适用于其他示例中的类似特征或方面。如果描述的技术以不同的顺序被执行和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合和/或由其他组件及其等同物替换或补充，则可得到合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求及其等同物限定，并且权利要求及其等同物的范围内的所有变化将被解释为包括在本公开中。

Claims (17)

1.一种三维图像提供方法，包括：

检测观看者的眼睛位置；

基于检测的眼睛位置提供三维图像，

其中，提供三维图像的步骤包括：

确定与显示面板的显示像素对应的图像像素值；

基于从显示像素输出的射线的射线方向以及检测的眼睛位置，确定与显示像素对应的亮度权重；

将确定的亮度权重应用于与显示像素对应的图像像素值；

通过显示像素输出应用了所述亮度权重的图像像素值，

其中，确定亮度权重的步骤包括：

基于第一参考值和第二参考值中的至少一个确定所述亮度权重，其中，第一参考值指示所述射线方向与观看者的左眼的位置之间的接近度，第二参考值指示所述射线方向与观看者的右眼的位置之间的接近度。

2.如权利要求1所述的三维图像提供方法，其中，确定亮度权重的步骤包括：

基于第一参考值和第二参考值中的至少一个，将预先定义的不同的亮度权重中的一个确定为与显示像素对应的亮度权重。

3.如权利要求1所述的三维图像提供方法，其中，确定亮度权重的步骤包括：

响应于第一参考值被包括在基于左眼的位置的第一参考值范围中或第二参考值被包括在基于右眼的位置的第二参考值范围中，将第一亮度权重确定为与显示像素对应的亮度权重。

4.如权利要求3所述的三维图像提供方法，其中，确定亮度权重的步骤包括：

响应于第一参考值未包括在第一参考值范围中并且第二参考值未包括在第二参考值范围中，将第二亮度权重确定为与显示像素对应的亮度权重，

其中，第一亮度权重大于第二亮度权重。

5.如权利要求3所述的三维图像提供方法，其中，第一参考值范围的大小等于第二参考值范围的大小。

6.如权利要求1所述的三维图像提供方法，其中，第一参考值指示所述射线方向与从显示像素向左眼的位置的线的方向之间的差，

第二参考值指示所述射线方向与从显示像素向右眼的位置的线的方向之间的差。

7.如权利要求6所述的三维图像提供方法，其中，基于所述射线方向与从显示像素向左眼的位置的线的方向之间的角度或所述射线方向与左眼的位置之间的距离确定第一参考值，

基于所述射线方向与从显示像素向右眼的位置的线的方向之间的角度或所述射线方向与右眼的位置之间的距离，确定第二参考值。

8.如权利要求1所述的三维图像提供方法，其中，将确定的亮度权重应用于与显示像素对应的图像像素值的步骤包括：通过将应用于所述图像像素值的亮度权重，来调节将通过显示像素输出的图像像素值的亮度。

9.如权利要求1所述的三维图像提供方法，其中，确定图像像素值的步骤包括：

基于检测的眼睛位置，向显示像素分配左观看图像和右观看图像中的一个的图像像素值。

10.如权利要求9所述的三维图像提供方法，其中，确定图像像素值的步骤包括：

基于预先定义的亮度缩放值，调节左观看图像的图像像素的亮度范围和右观看图像的图像像素的亮度范围；

基于预先定义的串扰校正值，调节具有调节的亮度范围的左观看图像的每个图像像素的亮度值以及具有调节的亮度范围的右观看图像的每个图像像素的亮度值；

基于检测的眼睛位置，向显示像素分配左观看图像和右观看图像中的一个的具有调节的亮度值的图像像素值。

11.如权利要求10所述的三维图像提供方法，其中，向显示像素分配左观看图像和右观看图像中的一个的具有调节的亮度值的图像像素值的步骤包括：

响应于所述射线方向比起观看者的右眼的位置更接近观看者的左眼的位置，将具有调节的亮度值的左观看图像的图像像素值分配给显示像素；

响应于所述射线方向比起左眼的位置更接近右眼的位置，将具有调节的亮度值的右观看图像的图像像素值分配给显示像素。

12.一种存储指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，使处理器执行权利要求1所述的三维图像提供方法。

13.一种三维图像提供设备，包括：

眼睛位置检测器，被配置为检测观看者的眼睛位置；

处理器，被配置为基于检测的眼睛位置产生面板图像；

显示面板，被配置为基于产生的面板图像输出三维图像，

其中，处理器还被配置为：

基于从显示面板的显示像素输出的射线的射线方向以及检测的眼睛位置，确定与显示像素对应的亮度权重；

将确定的亮度权重应用于与显示像素对应的图像像素值；

基于应用了所述亮度权重的图像像素值产生面板图像，

其中，处理器还被配置为：基于第一参考值和第二参考值中的至少一个确定所述亮度权重，其中，第一参考值指示所述射线方向与观看者的左眼的位置之间的接近度，第二参考值指示所述射线方向与观看者的右眼的位置之间的接近度。

14.如权利要求13所述的三维图像提供设备，其中，处理器还被配置为：基于第一参考值和第二参考值中的至少一个，将预先定义的不同的亮度权重中的一个确定为与显示像素对应的亮度权重。

15.如权利要求13所述的三维图像提供设备，其中，处理器还被配置为：基于预先定义的亮度缩放值，调节左观看图像的图像像素的亮度范围和右观看图像的图像像素的亮度范围，

基于预先定义的串扰校正值，调节具有调节的亮度范围的左观看图像的每个图像像素的亮度值以及具有调节的亮度范围的右观看图像的每个图像像素的亮度值。

16.如权利要求15所述的三维图像提供设备，其中，处理器还被配置为：响应于所述射线方向比起观看者的右眼的位置更接近观看者的左眼的位置，将具有调节的亮度值的左观看图像的图像像素值分配给显示像素，

响应于所述射线方向比起左眼的位置更接近右眼的位置，将具有调节的亮度值的右观看图像的图像像素值分配给显示像素。

17.如权利要求13所述的三维图像提供设备，其中，显示面板包括用于实现三维图像的立体观感的视差屏障或柱状透镜。

Images