CN103795998B

CN103795998B - 图像处理方法和图像处理设备

Info

Publication number: CN103795998B
Application number: CN201310524977.9A
Authority: CN
Inventors: 朴柱容; 南东暻
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2012-10-31
Filing date: 2013-10-30
Publication date: 2018-05-25
Anticipated expiration: 2033-10-30
Also published as: US9544580B2; JP2014093779A; KR101944911B1; US20140118512A1; EP2728888A2; KR20140056748A; CN103795998A; EP2728888B1; JP6734620B2; EP2728888A3

Abstract

公开了一种图像处理方法和图像处理设备。提供一种用于使用多视图图像和像素信息来处理图像的图像处理设备和图像处理方法。所述图像处理方法包括：使用从显示像素发射的光线和视图图像的视图来确定与所述光线相应的视图图像；使用显示像素的位置在视图图像中确定与显示像素相应的至少一个视图图像像素；基于所述至少一个视图图像像素的像素值来确定显示像素的像素值。

Description

图像处理方法和图像处理设备

本申请要求于2012年10月31日在韩国知识产权局提交的第10-2012-0122346号韩国专利申请的优先权权益，所述专利申请的公开通过引用合并于此。

技术领域

以下描述的一个或多个示例实施例涉及一种用于转换多视图图像以适合于光场显示器的实现方法的图像处理方法和设备。

背景技术

为了有效地实现提供立体感觉的三维（3D）图像，不同视图的图像将分别被显示给人的左眼和右眼。为了在不使用滤波器（诸如眼镜）的情况下实现3D图像，需要根据视图在空间上划分3D图像。使用上述方法的显示器被称为自动立体显示器。自动立体显示器通常使用光学单元以通过在空间上划分图像来实现图像。典型地，柱状透镜或视差屏障被用作光学单元。柱状透镜表现仅在特定方向上的每个像素图像，而视差屏障通过狭缝仅显示特定方向上的特定像素。

自动立体显示器包括利用光场原理的光场显示器。光场表示如下的场，所述场指示沿所有方向在3D空间上的所有点处的光的强度。因此，光场适合于表现空间中的实际对象。光场显示器可通过在实际空间中实现光场来实现与实际对象相似的3D图像。

光场显示方法包括实现一般光场的整体成像方法。根据整体成像方法，在预定空间中呈现的点利用实际对象从一点沿多个方向产生或反射光的原理来实现沿多个方向发射的光。

当使用光场时，表现沿多个方向从多个点发射的光。因此，当输入多视图图像时，显示像素和视图图像像素通常可能无法一一对应，这是因为实现特定视图的图像的像素的位置与从像素发射的光的方向未被明确定义。因此，为了利用光场原理使用在一般显示器中输入的多视图图像实现3D图像，多视图图像需要被转换以通过光场显示器被实现。

发明内容

通过提供一种图像处理方法来实现上述和/或其他方面，所述图像处理方法包括：使用从显示像素发射的光线和视图图像的视图来确定与所述光线相应的视图图像；使用显示像素的位置在视图图像中确定与显示像素相应的至少一个视图图像像素；基于所述至少一个视图图像像素的像素值来确定显示像素的像素值。

确定视图图像的步骤可包括：对多个视图图像中的具有与所述光线接近的视图的多个视图图像进行插值；将通过插值产生的视图图像确定为与所述光线相应的视图图像。

通过提供一种图像处理方法来实现上述和/或其他方面，所述图像处理方法包括：基于用户眼睛的位置识别将应用像素值的显示像素；使用从显示像素发射的光线和视图图像的视图来确定与所述光线相应的视图图像；使用显示像素的位置在视图图像中确定与显示像素相应的至少一个视图图像像素；基于所述至少一个视图图像像素的像素值来确定显示像素的像素值。

通过提供一种图像处理设备来实现上述和/或其他方面，所述图像处理设备包括：视图图像确定单元，使用从显示像素发射的光线和视图图像的视图来确定与所述光线相应的视图图像；视图图像像素确定单元，使用显示像素的位置在视图图像中确定与显示像素相应的至少一个视图图像像素；像素值确定单元，基于所述至少一个视图图像像素的像素值来确定显示像素的像素值。

视图图像确定单元可包括：视图图像插值单元，对多个视图图像中的具有与所述光线接近的视图的多个视图图像进行插值。

像素值确定单元可包括：像素值插值单元，对确定的视图图像像素的像素值进行插值。

所述图像处理设备还可包括：显示像素识别单元，基于用户眼睛的位置识别将应用像素值的显示像素。

示例实施例的另外方面、特征和/或优点将在下面的描述中部分地阐述，并且部分将从描述中是显然的，或者可通过本公开的实施而得知。

附图说明

从下面结合附图对示例实施例进行的描述，这些和/或其他方面和优点将变得清楚和更易于理解，其中：

图1示出根据示例实施例的图像处理设备的整体操作；

图2示出根据其他示例实施例的与传感器相关联地处理图像的图像处理设备的整体操作；

图3示出根据示例实施例的包括三维（3D）像素的光场显示器；

图4示出根据示例实施例的图像处理设备的详细结构；

图5示出根据其他示例实施例的图像处理设备的详细结构；

图6示出根据示例实施例的确定视图图像的操作；

图7示出根据示例实施例的确定显示像素的像素值的操作；

图8示出根据示例实施例的在包括光学单元的光场显示器中确定显示像素的像素值的操作；

图9示出根据示例实施例的在使用多个投影仪的光场显示器中的图像处理操作；

图10示出根据示例实施例的当具有水平视差的多视图图像被输入到使用多个投影仪的光场显示器中时的图像处理操作；

图11示出描述根据示例实施例的图像处理方法的详细步骤的流程图；

图12示出描述根据其他示例实施例的图像处理方法的详细步骤的流程图。

具体实施方式

现在将详细参照示例实施例，在附图中示出了示例实施例的示例，其中，相同的标号始终表示相同的元件。根据示例实施例的图像处理方法可由根据示例实施例的图像处理设备执行。

图1是示出根据示例实施例的图像处理设备的整体操作的示图。

参照图1，光场显示系统可包括图像处理设备110和光场显示器120。

光场显示器120表示利用光场原理输出对象的显示器。光场显示器120可表现由三维（3D）空间中的对象产生或反射的光的强度和方向。例如，光场显示器120可使用沿特定方向输出光线的像素组，或者使用屏幕和多个投影仪。另外，光场显示器120可采用诸如柱状透镜或视差屏障的光学单元。光场显示器120可包括多视图3D显示器或应用整体成像方法的显示器。

图像处理设备110可使用光场显示器120的像素信息转换多视图图像，使得多视图图像适合于光场显示器120的实现方法。所述像素信息可包括关于光场显示器120中包括的显示像素的位置和从显示像素发射的光线的信息。

多视图图像表示在相同时间以不同视图拍摄同一对象的图像。例如，多视图图像可由包括布置的多个相机的相机阵列拍摄。根据相机阵列中的各个相机的位置，可获得各个不同视图的视图图像。

当输入了多视图图像时，图像处理设备110可确定与光场显示器120的各个显示像素相应的视图图像。图像处理设备110可在多个视图图像中确定基于各个显示像素的像素信息的视图图像。可选择地，图像处理设备110可通过对多个视图图像进行插值来产生新视图的视图图像，并将产生的视图图像确定为与显示像素相应的视图图像。

当确定了与显示像素相应的视图图像时，图像处理设备110可基于与显示像素相应的视图图像像素的像素值来确定显示像素的像素值。可选择地，图像处理设备110可通过对多个视图图像像素的像素值进行插值来确定显示像素的像素值。通过上述处理，图像处理设备110可将多视图图像转换为适合于光场显示器120的图像。

另外，图像处理设备110可通过实现与在3D对象中产生的实际光场相似的光场来向用户提供3D对象的真实感觉。此外，虽然用户移动，但是图像处理设备110可提供犹如光场显示器120中的3D对象被固定一样的真实感觉。

图2示出根据其他示例实施例的与传感器相关联地处理图像的图像处理设备的整体操作。

参照图2，光场显示系统包括传感器210、图像处理设备220和光场显示器230。

传感器210可检测凝视光场显示器230的用户眼睛的位置。传感器210可以是拍摄用户眼睛从而产生3D空间坐标的相机。这里，相机可被嵌入在光场显示器230中，或者被安装在外部并与光场显示器230连接。例如，相机可包括从至少一个可见光波段相机、至少一个红外（IR）相机和至少一个深度相机中选择的至少一个。

在示例实施例中，图像处理设备220可使用由相机拍摄的2D图像以及包括深度信息的深度图像来计算用户眼睛的位置。图像处理设备220可基于2D图像中的相机的位置和方向来获得关于3D空间坐标的两个轴的位置信息，并从深度图像获得关于剩余的一个轴的位置信息。图像处理设备220可通过组合获得的位置信息来计算用户眼睛的位置。

图像处理设备220可基于用户眼睛的位置识别用于图像处理的显示像素。详细地讲，图像处理设备220可基于从显示像素发射的光线与用户眼睛的位置之间的距离来识别在预定距离内呈现的显示像素。图像处理设备220可通过对光场显示器230中包括的显示像素选择性地执行图像处理来减小计算量。

也就是说，图像处理设备220可仅针对识别的与视图图像相应的显示像素来确定视图图像，并确定相应显示像素的像素值。由图像处理设备220确定视图图像和确定显示像素的像素值的操作可参考关于图1的描述。

图像处理设备220可使用用户眼睛的位置来提供根据用户眼睛的位置的不同内容。此外，图像处理设备220可使用用户眼睛的位置将不同内容同时提供给不同用户。

图3示出根据示例实施例的包括多个3D像素320的光场显示器310。

根据图3，光场显示器310可包括多个3D像素320。3D像素320可包括用于输出均具有预定方向的光线340的显示像素330。可选择地，3D像素320可使用光学滤波器（诸如柱状透镜、视差屏障或微透镜阵列）沿各个方向发射光线340。从而，显示像素330被积聚，因此3D空间上的点可通过光场显示器310被显示。

在3D像素320中，显示像素330的位置和关于从显示像素330发射的光线340的信息可被预先存储在光场显示器310或图像处理设备中。显示像素330的位置和关于从显示像素330发射的光线340的信息可根据光场显示器310的设计条件和使用的光学滤波器而变化。

从显示像素330发射的光线340的方向可包括水平方向和垂直方向之一或者水平方向和垂直方向两者。例如，当从显示像素330发射的光线340具有沿水平方向的特定方向，但是沿垂直方向上的所有方向前进时，光场显示器310可形成水平光场。相反，当从显示像素330发射的光线340具有沿垂直方向的特定方向，但是沿水平方向上的所有方向前进时，光场显示器310可形成垂直光场。另外，当光线340沿水平方向和垂直方向两者上的特定方向前进时，光场显示器310可形成关于所有方向的光场。

图4示出根据示例实施例的图像处理设备410的详细结构。

根据图4，图像处理设备410可包括视图图像确定单元420、视图图像像素确定单元440和像素值确定单元450。视图图像确定单元420可包括视图图像插值单元430。像素值确定单元450可包括像素值插值单元460。

视图图像确定单元420可使用分别从显示像素发射的光线和组成多视图图像的视图图像的视图来确定与分别从显示像素发射的光线相应的视图图像。

显示像素可输出均具有预定前进方向的光线。关于从显示像素发射的光线的信息可被预先存储在光场显示器或图像处理设备410中。视图图像的视图表示视图图像被拍摄的位置。例如，视图可指示相机拍摄对象的位置。视图图像的视图可从诸如对象与相机之间的距离、拍摄角度等信息而获得。

视图图像确定单元420可使用从显示像素发射的光线和视图图像的视图的位置来确定与从显示像素发射的光线相应的视图图像。详细地讲，视图图像确定单元420可将多个视图图像中的分别具有与光线最接近的视图的视图图像确定为与光线相应的视图图像。

根据示例实施例，视图图像确定单元420可计算组成多视图的视图图像与从显示像素发射的光线之间的距离。视图图像确定单元420可将具有计算的距离中的最短距离的视图的视图图像确定为与光线相应的视图图像。

可选择地，视图图像确定单元420可包括：视图图像插值单元430，对多个视图图像中的具有与光线接近的视图的多个视图图像进行插值。视图图像插值单元430可通过对多个视图图像进行插值来产生具有新视图的视图图像。通过上述处理，视图图像插值单元430可产生具有位于光线的方向上的视图的视图图像。

根据示例实施例，当从显示像素发射的光线与视图图像的视图之间的距离包括在预定阈值范围内时，视图图像插值单元430可基于视图图像执行插值。视图图像插值单元430可通过对与待插值的视图图像相应的位置处的像素值求平均或者通过使用各种预定插值公式来对视图图像进行插值。视图图像确定单元420可将通过插值产生的新的视图图像确定为与显示像素或光线相应的视图图像。

视图图像像素确定单元440可使用显示像素的位置在由视图图像确定单元420确定的视图图像中确定与显示像素相应的至少一个视图图像像素。

视图图像像素确定单元440可识别在光场显示器中显示视图图像的显示区域。接着，视图图像像素确定单元440可识别显示区域中的与显示像素的位置相应的坐标。视图图像像素确定单元440可使用视图图像的显示区域中的与显示像素的位置相应的坐标来确定视图图像像素。

详细地讲，视图图像像素确定单元440可识别视图图像像素中的与所述坐标相应的像素。根据示例实施例，视图图像像素确定单元440可将最接近于与所述坐标相应的视图图像的位置的视图图像像素确定为与显示像素相应的视图图像像素。

可选择地，视图图像像素确定单元440可将接近于与所述坐标相应的视图图像的位置的视图图像像素确定为与显示像素相应的视图图像像素。视图图像像素确定单元440可将多个视图图像像素确定为与每个显示像素相应的视图图像像素。例如，视图图像像素确定单元440可基于视图图像像素之间的距离和与所述坐标相应的视图图像的位置来确定包括在预定阈值范围内的视图图像像素。

像素值确定单元450可基于由视图图像像素确定单元440确定的视图图像像素的像素值来确定显示像素的像素值。像素值确定单元450可将视图图像像素的像素值确定为相应显示像素的像素值。也就是说，像素值确定单元450可将与显示像素相应的视图图像像素的像素值应用于相应显示像素。

当视图图像像素确定单元440确定了与所述坐标接近的多个视图图像时，像素值插值单元460可对确定的视图图像像素的像素值进行插值。像素值插值单元460可通过对视图图像像素的像素值求平均或者通过应用预定插值公式来对像素值进行插值。像素值确定单元450可将插值后的像素值确定为显示像素的像素值。

通过上述处理，针对光场显示器的每个显示像素确定视图图像，并且基于相应视图图像的像素值将大多数合适的像素值应用于显示像素。图像处理设备410可基于多视图图像执行图像转换，使得图像适合于光场显示器的实现方法。

虽然包括在多视图图像中的视图图像的多个视图不对应于由光场显示器的显示像素表现的光线的多个方向，但是图像处理设备410可将多视图转换为适合于由光场显示器实现的图像。另外，不管包括在光场显示器中的光学滤波器的类型如何，图像处理设备410可使用关于从显示像素发射的光线的信息来执行图像处理。图像处理设备410可对确定了实现光线的方法的光场显示器应用上述图像处理过程。

图5示出根据其他示例实施例的图像处理设备520的详细结构。

根据图5，图像处理设备520可包括显示像素识别单元530、视图图像确定单元540、视图图像像素确定单元560和像素值确定单元570。视图图像确定单元540可包括视图图像插值单元550。像素值确定单元570可包括像素值插值单元580。

显示像素识别单元530可基于用户眼睛的位置识别将应用像素值的显示像素。用户眼睛的位置可以使用传感器510来获得。例如，传感器510可以是拍摄用户眼睛从而产生3D空间坐标的相机。这里，相机可被嵌入在光场显示器中，或者被安装在外部并与光场显示器连接。显示像素识别单元530可使用用户眼睛的2D图像或用户眼睛的深度图像来获得用户眼睛的位置。

详细地讲，显示像素识别单元530可识别满足从显示像素发射的光线与用户眼睛之间的距离不大于预定阈值的至少一个显示像素。例如，可依据从显示像素发射的光线是否包括在可见光区域内来设置所述预定阈值。可见光区域可被预先确定为从显示像素发射光线并且光线对用户眼睛可见的区域。也就是说，虽然从显示像素发射的光线不直接到达用户眼睛的瞳孔，但是光线的预定光量可到达用户眼睛并对用户眼睛可见。

通过上述处理，显示像素识别单元530可识别作为图像处理的对象的显示像素。因此，图像处理设备520可减小图像处理所需的计算量，并快速地执行图像转换。

视图图像确定单元540可使用分别从由显示像素识别单元530识别的显示像素发射的光线和视图图像的视图来确定与光线相应的视图图像。详细地讲，视图图像确定单元540可将多个视图图像中的具有与光线最接近的视图的视图图像确定为与光线相应的视图图像。

根据示例实施例，视图图像确定单元540可计算组成多视图的视图图像与从显示像素发射的光线之间的距离。视图图像确定单元540可将具有计算的距离中的最短距离的视图的视图图像确定为与光线相应的视图图像。

可选择地，视图图像确定单元540可包括：视图图像插值单元550，对多个视图图像中的具有与光线接近的视图的多个视图图像进行插值。视图图像插值单元550可通过对多个视图图像进行插值来产生具有新视图的视图图像。通过上述处理，视图图像插值单元550可产生具有位于光线的方向上的视图的视图图像。

根据示例实施例，当从显示像素发射的光线与视图图像的视图之间的距离包括在预定阈值范围内时，视图图像插值单元550可基于视图图像执行插值。视图图像插值单元550可将通过插值新产生的视图图像确定为与显示像素或光线相应的视图图像。

视图图像像素确定单元560可使用显示像素的位置在由视图图像确定单元540确定的视图图像中确定与显示像素相应的至少一个视图图像。

视图图像像素确定单元560可识别在光场显示器中显示视图图像的显示区域。接着，视图图像像素确定单元560可识别显示区域中的与显示像素的位置相应的坐标。视图图像像素确定单元560可使用视图图像的显示区域中的与显示像素的位置相应的坐标来确定视图图像像素。

详细地讲，视图图像像素确定单元560可识别视图图像像素中的与所述坐标相应的像素。根据示例实施例，视图图像像素确定单元560可将最接近于与所述坐标相应的视图图像的位置的视图图像像素确定为与显示像素相应的视图图像像素。

可选择地，视图图像像素确定单元560可将接近于与所述坐标相应的视图图像的位置的视图图像像素确定为与显示像素相应的视图图像像素。视图图像像素确定单元560可将多个视图图像像素确定为与每个显示像素相应的视图图像像素。例如，视图图像像素确定单元560可基于视图图像像素之间的距离和与所述坐标相应的视图图像的位置来确定包括在预定阈值范围内的视图图像像素。

像素值确定单元570可基于由视图图像像素确定单元560确定的视图图像像素的像素值来确定显示像素的像素值。像素值确定单元570可将视图图像像素的像素值确定为相应显示像素的像素值。也就是说，像素值确定单元570可将与显示像素相应的视图图像像素的像素值应用于相应显示像素。

当视图图像像素确定单元560确定与所述坐标接近的多个视图图像时，像素值插值单元580可对确定的视图图像像素的像素值进行插值。像素值插值单元580可通过对视图图像像素的像素值求平均或者通过应用预定插值公式来对像素值进行插值。像素值确定单元570可将插值后的像素值确定为显示像素的像素值。

图6示出根据示例实施例的确定视图图像的操作。

根据图6，从光场显示器620的一个显示像素610发射光线660。另外，针对光场显示器620的位置示出多个视图图像630。视图图像630可均具有不同视图。例如，视图图像630的视图可与拍摄对象的相机的位置相应。

在图6中，由具有平面结构的相机阵列拍摄的视图图像630被示出为示例。例如，图像处理设备可参考光线660与相机阵列的平面相遇的点640来计算光线660与视图图像的视图之间的距离。图像处理设备可确定具有光线660与视图图像的视图之间的距离中的最小值的视图图像650。例如，图像处理设备可确定具有与光线660最接近的视图的视图图像650。

可选择地，图像处理设备可使用与点640接近的多个视图图像来产生具有新视图的视图图像。详细地讲，图像处理设备可通过对与点640接近的多个视图图像进行插值来产生新的视图图像，并将产生的视图图像确定为与显示像素610的光线660相应的视图图像。通过上述处理，图像处理设备可产生具有位于光线660的方向上的视图的视图图像。

在此情况下，图像处理设备可从视图图像630识别光线660与视图图像的视图之间的距离在预定阈值范围内的视图图像。此外，图像处理设备可通过对识别的视图图像进行插值来产生具有新视图的视图图像。

当图像处理设备通过对多个接近的视图图像进行插值来产生新视图图像时，可通过基于光线660与相应视图图像之间的距离设置权重来执行插值。例如，当光线660与相应视图图像之间的距离较小时，图像处理设备可设置较大的权重。当权重较大时，较大的权重可在插值期间被分配给相应视图图像的像素值。

图7示出根据示例实施例的确定显示像素610的像素值的操作。

根据图7，当显示像素610或者与从显示像素610发射的光线660相应的视图图像650被确定时，图像处理设备可从视图图像650确定与从显示像素610发射的光线660相应的至少一个视图图像像素。

图像处理设备可在光场显示器620上识别视图图像650的显示区域710。显示区域710可表示当视图图像650被显示时显示视图图像650的内容的区域。

图像处理设备可从显示区域710识别与显示像素610的位置相应的坐标720。图像处理设备可使用显示区域710中的坐标720在视图图像650中确定与显示像素610相应的视图图像像素。在此情况下，图像处理设备可确定最接近于与显示像素610的位置相应的坐标720的视图图像像素，并将该视图图像像素的像素值应用于显示像素610。

可选择地，图像处理设备可确定接近于与显示像素610的位置相应的坐标720的视图图像。图像处理设备可对接近于坐标720的视图图像的像素值进行插值，从而确定相应显示像素610的像素值。在此情况下，图像处理设备可基于坐标720与每个视图图像像素之间的距离来对视图图像像素的像素值设置权重，并基于所述权重执行插值。

图8示出根据示例实施例的在包括光学单元的光场显示器820中确定显示像素的像素值的操作。

根据图8，光场显示器820可使用诸如柱状透镜或视差屏障的光学滤波器。例如，在图8的实施例中，从显示像素810发射的光线870在沿垂直方向上的所有方向前进的同时由于光学滤波器而具有水平方向上的特定方向。在此情况下，仅在水平方向上发生视差，并且图像处理设备可仅使用从显示像素810发射的光线870的水平分量。

图像处理设备可基于从显示像素810发射的光线870与视图图像830的视图之间的距离来确定与显示像素810或光线870相应的视图图像840。图像处理设备可将具有与光线870最接近的视图的视图图像确定为与显示像素810或光线870相应的视图图像840。可选择地，图像处理设备可通过对接近于光线870的多个视图图像进行插值来产生具有位于光线870的前进方向上的视图的视图图像。

当视图图像840被确定时，图像处理设备可基于视图图像840的显示区域850中的与显示像素810的位置相应的坐标860来确定显示像素810的像素值。详细地讲，图像处理设备可将最接近于与显示区域850中的坐标860相应的位置的视图图像像素的像素值确定为显示像素810的像素值。

可选择地，图像处理设备可对接近于与显示区域850中的坐标860相应的位置的视图图像的像素值进行插值，从而确定相应显示像素810的像素值。

图9示出根据示例实施例的在使用多个投影仪的光场显示器中的图像处理操作。

根据图9，光场显示器可包括多个投影仪910和920以及屏幕930。这里，假定输入到图像处理设备的所有视图图像980是与屏幕930相应的区域的图像。也就是说，视图图像980的显示区域等同于屏幕930的区域。

作为示例将描述第一投影仪910。从第一投影仪910的一个显示像素发射的光线970到达屏幕930上的位置950。图像处理设备可使用光线970和视图图像980的视图来确定与该显示像素相应的视图图像。

图9的实施例假定具有与光线970最接近的视图的视图图像990被确定为与显示像素相应的视图图像。以另一方式，图像处理设备可通过对多个视图图像进行插值来产生具有位于光线970上的视图的新视图图像，并将所述新视图图像确定为与显示像素相应的视图图像。

当视图图像990被确定时，图像处理设备可基于显示区域960中的与屏幕930上的位置950相应的坐标940来确定与光线970相关的显示像素的像素值。详细地讲，图像处理设备可将最接近于与显示区域960中的坐标940相应的位置的视图图像像素的像素值确定为显示像素的像素值。

可选择地，图像处理设备可对接近于与显示区域960中的坐标940相应的位置的视图图像像素的像素值进行插值，从而确定显示像素的像素值。

图像处理设备可对第一投影仪910和第二投影仪920的所有显示像素执行上述处理。因此，图像处理设备可将多视图图像转换为在光场显示器上自然显示的图像。虽然第一投影仪910和第二投影仪920被示出在图9的实施例中，但是组成光场显示器的多个投影仪不受限制。

图10示出根据示例实施例的当具有水平视差的多视图图像被输入到使用多个投影仪的光场显示器中时的图像处理操作。

与图9不同，图10示出输入了仅具有水平视差的视图图像1010的情况。在此情况下，图像处理设备可仅使用从投影仪910和920发射的光线的水平分量。用于确定投影仪910和920的显示像素的像素值的结构与参照图9描述的相同。图像处理设备可确定与显示像素或从显示像素发射的光线970相应的视图图像1020。接着，图像处理设备可识别与从显示像素发射的光线970所到达的屏幕930上的位置950相应的坐标940。图像处理设备可基于坐标940确定与光线970相关的显示像素的像素值。图像处理设备可对第一投影仪910和第二投影仪920的所有显示像素执行上述处理。

图11示出描述根据示例实施例的图像处理方法的详细步骤的流程图。

在操作1110，图像处理设备可使用分别从显示像素发射的光线和组成多视图图像的视图图像的视图来确定与所述光线相应的视图图像。详细地讲，图像处理设备可将多个视图图像中的具有与所述光线最接近的视图的视图图像确定为与所述光线相应的视图图像。

可选择地，图像处理设备可通过对多个视图图像中的具有与所述光线接近的视图的多个视图图像进行插值来产生具有新视图的视图图像。当从显示像素发射的光线与视图图像的视图之间的距离包括在预定阈值范围内时，图像处理设备可基于视图图像执行插值。图像处理设备可将通过插值新产生的视图图像确定为与显示像素或光线相应的视图图像。

在操作1120，图像处理设备可使用显示像素的位置在视图图像中确定与显示像素相应的至少一个视图图像像素。

图像处理设备可在显示区域中识别与显示像素的位置相应的坐标。接着，图像处理设备可使用视图图像的显示区域中的与显示像素的位置相应的坐标来确定视图图像像素。

详细地讲，图像处理设备可识别视图图像像素中的与所述坐标相应的像素。根据示例实施例，图像处理设备可将最接近于与所述坐标相应的视图图像的位置的视图图像像素确定为与显示像素相应的视图图像像素。

可选择地，图像处理设备可将接近于与所述坐标相应的视图图像的位置的视图图像像素确定为与显示像素相应的视图图像像素。在此情况下，图像处理设备可基于视图图像像素之间的距离和与所述坐标相应的视图图像的位置来确定包括在预定阈值范围内的视图图像像素。

在操作1130，图像处理设备可基于由图像处理设备确定的视图图像像素的像素值来确定显示像素的像素值。图像处理设备可将视图图像像素的像素值确定为相应显示像素的像素值。

当图像处理设备确定与所述坐标接近的多个视图图像像素时，图像处理设备可对视图图像像素的像素值进行插值。这里，图像处理设备可通过对视图图像的像素值求平均或者应用预定插值公式来执行插值。图像处理设备可将插值后的像素值确定为显示像素的像素值。

通过上述处理，针对光场显示器的显示像素确定视图图像，并且基于相应视图图像的像素值将大多数合适的像素值应用于显示像素。

在操作1210，图像处理设备可基于用户眼睛的位置来识别将应用像素值的显示像素。用户眼睛的位置可使用传感器来获得。例如，传感器510可以是拍摄用户眼睛从而产生3D空间坐标的相机。图像处理设备可使用用户眼睛的2D图像或用户眼睛的深度图像来获得用户眼睛的位置。

详细地讲，图像处理设备可识别满足从显示像素发射的光线与用户眼睛之间的距离不大于预定阈值的至少一个显示像素。这里，可依据从显示像素发射的光线是否包括在对用户眼睛可见的区域中来设置所述预定阈值。图像处理设备可通过上述处理识别用于图像处理的显示像素。

在操作1220，图像处理设备可使用分别从显示像素发射的光线和组成多视图的视图图像的视图来确定与所述光线相应的视图图像。详细地讲，视图图像处理设备可将多个视图图像中的具有与所述光线最接近的视图的视图图像确定为与所述光线相应的视图图像。

在操作1230，图像处理设备可使用显示像素的位置在视图图像中确定与显示像素相应的至少一个视图图像像素。

在操作1240，图像处理设备可基于由图像处理设备确定的视图图像像素的像素值来确定显示像素的像素值。图像处理设备可将视图图像像素的像素值确定为相应显示像素的像素值。

通过上述处理，图像处理设备可对光场显示器的显示像素选择性地执行图像处理。通过仅对显示像素的部分执行图像处理，图像处理设备可减小计算量，并因此提高图像处理速度。

根据上述示例实施例的方法可被记录在非暂时性计算机可读介质中，所述介质包括用于实现由计算机实施的各种操作的程序指令。所述介质还可单独地或与程序指令结合地包括数据文件、数据结构等。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计和构造的程序指令，或者它们可以是对计算机软件领域的技术人员公知和可用的程序指令。非暂时性计算机可读介质的示例包括：磁介质，诸如硬盘、软盘和磁带；光学介质，诸如CD ROM盘和DVD；磁光介质，诸如光盘；以及专门被构造为存储和执行程序指令的硬件装置，诸如只读存储器（ROM）、随机存取存储器（RAM）、闪存等。所述介质可以是用于传输指定程序命令和数据构造的信号的传输介质，诸如光线、金属线或包括载波的波导。程序指令的示例包括诸如由编译器产生的机器代码和包含可由计算机使用注释器执行的更高级代码的文件两者。所描述的硬件装置可被构造为用作一个或多个软件模块，以执行上述示例实施例的操作，反之亦然。

虽然已经示出和描述了示例实施例，但是本领域的技术人员将理解的是，在不脱离本公开的原理和精神的情况下，可在这些示例实施例中进行改变，本公开的范围在权利要求及其等同物中限定。

Claims

1.一种图像处理方法，包括：

使用从显示像素发射的光线和视图图像的视图来确定与所述光线相应的视图图像；

使用显示像素的位置在视图图像中确定与显示像素相应的至少一个视图图像像素；

基于所述至少一个视图图像像素的像素值来确定显示像素的像素值；

将多个视图图像中的具有与所述光线最接近的视图的视图图像确定为与所述光线相应的视图图像。

2.如权利要求1所述的图像处理方法，其中，确定至少一个视图图像像素的步骤包括：

将视图图像中的最接近于与相应于显示像素的位置的坐标相应的位置的视图图像像素确定为与显示像素相应的所述至少一个视图图像像素。

3.一种图像处理方法，包括：

对多个视图图像中的具有与所述光线接近的视图的多个视图图像进行插值；

将通过插值产生的视图图像确定为与所述光线相应的视图图像。

4.如权利要求3所述的图像处理方法，其中，确定至少一个视图图像像素的步骤包括：

将视图图像中的接近于与相应于显示像素的位置的坐标相应的位置的视图图像像素确定为与显示像素相应的所述至少一个视图图像像素。

5.如权利要求4所述的图像处理方法，其中，确定显示像素的像素值的步骤包括：

对与所述坐标的位置接近的视图图像像素的像素值进行插值，并将插值后的值确定为显示像素的像素值。

6.一种图像处理方法，包括：

基于用户眼睛的位置识别将应用像素值的显示像素；

基于所述至少一个视图图像像素的像素值来确定显示像素的像素值，其中，确定视图图像的步骤包括：

7.如权利要求6所述的图像处理方法，其中，确定至少一个视图图像像素的步骤包括：

8.如权利要求6所述的图像处理方法，其中，识别显示像素的步骤包括：

识别满足从显示像素发射的光线与用户眼睛的位置之间的距离小于或等于预定阈值的至少一个显示像素。

9.如权利要求6所述的图像处理方法，其中，使用用户眼睛的二维2D图像或用户眼睛的深度图像来获得用户眼睛的位置。

10.一种图像处理方法，包括：

基于用户眼睛的位置识别将应用像素值的显示像素；

11.如权利要求10所述的图像处理方法，其中，确定至少一个视图图像像素的步骤包括：

12.如权利要求11所述的图像处理方法，其中，确定显示像素的像素值的步骤包括：

13.如权利要求10所述的图像处理方法，其中，使用用户眼睛的二维2D图像或用户眼睛的深度图像来获得用户眼睛的位置。

14.一种图像处理设备，包括：

视图图像确定单元，使用从显示像素发射的光线和视图图像的视图来确定与所述光线相应的视图图像；

视图图像像素确定单元，使用显示像素的位置在视图图像中确定与显示像素相应的至少一个视图图像像素；

像素值确定单元，基于所述至少一个视图图像像素的像素值来确定显示像素的像素值，

其中，视图图像确定单元包括：视图图像插值单元，对多个视图图像中的具有与所述光线接近的视图的多个视图图像进行插值来产生具有位于光线的方向上的视图的视图图像，其中，视图图像确定单元将具有位于光线的方向上的视图的视图图像确定为与所述光线相应的视图图像。

15.如权利要求14所述的图像处理设备，其中，像素值确定单元包括：像素值插值单元，对确定的视图图像像素的像素值进行插值，其中，像素值确定单元将插值后的像素值确定为显示像素的像素值。

16.如权利要求14所述的图像处理设备，还包括：显示像素识别单元，基于用户眼睛的位置识别将应用像素值的显示像素。