CN116095297A - 图像处理方法、装置、显示设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法、装置、显示设备及存储介质，涉及图像处理技术领域。该图像处理方法包括：获取针对目标对象的待处理图像；获取待处理图像中的目标对象的当前眼部位置信息，基于当前眼部位置信息确定并调整可调光栅的开口信息；开口信息用于控制液晶偏转形成调整后的可调光栅；将待显示图像合成多视点合成图像；基于调整后的可调光栅以及多视点合成图像，生成三维显示图像。本申请实施例能够结合眼球追踪技术，调节可调光栅的开口信息，在多个观看位置都可以形成三维显示效果。

Description

图像处理方法、装置、显示设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，本申请涉及一种图像处理方法、装置、显示设备及存储介质。

背景技术

目前，现有的裸眼3D显示技术主要是基于视点的立体显示方式，通过显示屏幕上的光栅的分光作用，使具有视差的左右眼立体图像分别被人眼接收，从而使观看者产生立体感。现在常用的光屏障式液晶光栅，主要是固定式光栅和可调式光栅两种，其中可调式光栅在液晶显示面板上方/下方再增加一LCD(Liquid Crystal Display，液晶显示器)面板，通过液晶电极通电形成狭缝光栅，从而使图像实现左右分离，形成三维显示效果。

但是，由于狭缝光栅的电极固定，使得光栅的透光区域的大小难以调节，因此，仅能在固定观看位置形成三维显示效果，其他位置也无法形成三维显示效果。

发明内容

本申请针对现有方式的缺点，提出一种图像处理方法、装置、显示设备及存储介质，用以解决现有技术存在显示设备的光栅的透光区域的大小难以调节，而带来的无法形成三维显示效果的技术问题。

第一方面，本申请实施例提供一种图像处理方法，包括：

获取针对目标对象的待处理图像；

获取待处理图像中的目标对象的当前眼部位置信息，基于当前眼部位置信息确定并调整可调光栅的开口信息；开口信息用于控制液晶偏转形成调整后的可调光栅；

将待显示图像合成多视点合成图像；

基于调整后的可调光栅以及多视点合成图像，生成三维显示图像。

在一个可能的实现方式中，基于当前眼部位置信息确定并调整可调光栅的开口信息，包括：

基于当前眼部位置信息，生成与开口信息对应的黑白图像；开口信息包括以下至少一项：开口位置、开口宽度，黑白图像用于提供控制信号以控制液晶偏转形成开口位置和/或开口宽度的可调光栅；

基于黑白图像，调整可调光栅的开口信息。

在一个可能的实现方式中，基于当前眼部位置信息确定并调整可调光栅的开口信息，包括：

针对图像显示装置的每个像素，基于当前眼部位置信息和像素的两端的端点位置信息，确定眼部与像素的两端的连线与光栅装置的交点的交点坐标信息；

基于眼部位置信息与光栅开口位置信息的对应关系以及交点坐标信息，确定与当前眼部位置信息对应的光栅开口位置信息；

基于光栅开口位置信息，确定并调整可调光栅的开口信息。

在一个可能的实现方式中，基于当前眼部位置信息，生成与开口信息对应的黑白图像，包括：

基于眼部位置信息与光栅开口位置信息的对应关系，确定与当前眼部位置信息对应的光栅开口位置信息；

基于每个可调光栅的位置信息，将每个可调光栅与光栅开口位置信息进行匹配，确定位于光栅开口位置信息内的可调光栅；

基于所确定的位于光栅开口位置信息内的可调光栅，生成可调光栅的开口信息；

基于开口信息，确定与开口信息对应的黑白图像。

在一个可能的实现方式中，将待显示图像合成多视点合成图像，包括：

基于待处理图像，确定当前显示方向；

基于当前显示方向，将待显示图像合成多视点合成图像。

在一个可能的实现方式中，基于当前显示方向，将待显示图像合成多视点合成图像，包括：

若当前显示方向为第一显示方向，则对待显示图像按照第一显示方向的分辨率的一半进行分辨率的降采样，得到左眼视点图像和右眼视点图像；

若当前显示方向为第二显示方向，则对待显示图像进行分辨率的降采样，得到设定分辨率的预处理图像，对预处理图像按照第一显示方向的分辨率的一半进行分辨率的降采样，得到左眼视点图像和右眼视点图像；

基于左眼视点图像和右眼视点图像，合成多视点合成图像；

其中，第一显示方向为常规显示方向，第二显示方向为常规显示方向旋转设定角度后的显示方向。

在一个可能的实现方式中，获取待处理图像中的目标对象的当前眼部位置信息，包括：

若当前显示方向为第二显示方向，则将待处理图像旋转设定角度至当前显示方向为第一显示方向，确定旋转后的待处理图像中的目标对象的当前眼部位置信息。

在一个可能的实现方式中，调整可调光栅的开口信息，包括：

将开口信息发送至光栅装置，使得光栅装置基于开口信息控制液晶偏转形成调整后的可调光栅；

基于调整后的可调光栅以及多视点合成图像，生成三维显示图像，包括：

将多视点合成图像发送至图像显示装置，使得图像显示装置显示多视点合成图像。

第二方面，本申请实施例提供一种图像处理装置，包括：

获取模块，用于获取针对目标对象的待处理图像；

确定模块，用于获取待处理图像中的目标对象的当前眼部位置信息，基于当前眼部位置信息确定并调整可调光栅的开口信息；开口信息用于控制液晶形成调整后的可调光栅；

合成模块，用于将待显示图像合成多视点合成图像；

生成模块，用于基于调整后的可调光栅以及多视点合成图像，生成三维显示图像。

第三方面，本申请实施例提供一种显示设备，包括：

眼球追踪装置，用于获取针对目标对象的待处理图像，确定待处理图像中的目标对象的当前眼部位置信息；

信号处理传输装置，与眼球追踪装置通信连接，用于将待显示图像合成多视点合成图像并向图像显示装置发送，获取待处理图像中的目标对象的当前眼部位置信息，基于当前眼部位置信息确定可调光栅的开口信息并向光栅装置发送；开口信息用于控制液晶偏转形成调整后的可调光栅；

图像显示装置，与信号处理传输装置通信连接，用于显示多视点合成图像；

光栅装置，与信号处理传输装置通信连接，用于基于开口信息，调整可调光栅的开口信息，形成调整后的可调光栅；

背光模组，用于提供背光使得各像素发光，以生成三维显示图像。

在一个可能的实现方式中，光栅装置位于背光模组和图像显示装置之间，光栅装置位于背光模组的发光的一侧。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现第一方面的方法的步骤。

本申请实施例提供的技术方案带来的有益技术效果包括：

本申请实施例可以获取待处理图像中的目标对象的当前眼部位置信息并基于当前眼部位置信息确定并调整可调光栅的开口信息，同时可以将待显示图像生成多视点合成图像，最后基于调整后的可调光栅以及多视点合成图像，生成三维显示图像，使得本申请实施例能够结合眼球追踪技术，调节可调光栅的开口信息，使用户在最佳观看视点的前、后、左、右任意位置均能观看到3D显示效果。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种图像处理方法的流程图；

图2为本申请实施例提供的基于当前眼部位置信息，生成与开口信息对应的黑白图像的原理示意图；

图3和图4分别为本申请实施例提供的横屏显示和竖屏显示的显示设备的结构示意图；

图5和图6分别为本申请实施例提供的横屏显示和竖屏显示的显示设备的坐标轴的示意图；

图7为本申请实施例提供的图像处理装置的结构的框架示意图；

图8为本申请实施例提供的显示设备的结构的框架示意图；

图9为本申请实施例提供的一种电子设备的结构的框架示意图。

具体实施方式

下面详细描述本申请，本申请的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。

本申请实施例提供一种图像处理方法，参见图1所示，该图像处理方法包括：步骤S101至步骤S104。

S101、获取针对目标对象的待处理图像。

可选地，待处理图像可以是显示设备的摄像装置拍摄，目标对象为使用显示设备的使用者，使用者在使用显示设备时，摄像装置可以拍摄到针对目标对象的待处理图像，即包括目标对象的人脸图像。

S102、获取待处理图像中的目标对象的当前眼部位置信息，基于当前眼部位置信息确定并调整可调光栅的开口信息；开口信息用于控制液晶偏转形成调整后的可调光栅。

可选地，待处理图像包括目标对象的人脸图像，对待处理图像运行眼球追踪算法，可以计算当前人眼在相机坐标系下的位置，从而获得当前眼部位置信息。当前眼部位置信息包括左眼位置信息和右眼位置信息。

S103、将待显示图像合成多视点合成图像。

可选地，将待显示图像合成多视点合成图像，包括：基于待显示图像生成多个视点的待合成图像，基于多个视点的待合成图像生成一个多视点合成图像。

S104、基于调整后的可调光栅以及多视点合成图像，生成三维显示图像。

可选地，基于开口信息控制液晶偏转形成调整后的可调光栅，使得图像显示装置显示的多视点合成图像，并由于可调光栅的打开和关闭，形成三维显示图像。

本申请实施例可以获取待处理图像中的目标对象的当前眼部位置信息并基于当前眼部位置信息确定并调整可调光栅的开口信息，同时可以将待显示图像生成多视点合成图像，最后基于调整后的可调光栅以及多视点合成图像，生成三维显示图像，使得本申请实施例能够结合眼球追踪技术，调节可调光栅的开口信息，使用户在最佳观看视点的前、后、左、右任意位置均能观看到3D显示效果。

在一些实施例中，步骤S102中，基于当前眼部位置信息确定并调整可调光栅的开口信息，包括：基于当前眼部位置信息，生成与开口信息对应的黑白图像；开口信息包括以下至少一项：开口位置、开口宽度，黑白图像用于提供控制信号以控制液晶偏转形成开口位置和/或开口宽度的可调光栅；基于黑白图像，调整可调光栅的开口信息。

可选地，黑白图像为黑色条纹和白色条纹组成的黑白图像，白色条纹对应的光栅打开，黑色条纹对应的光栅关闭，基于黑白图像可以获取到控制信号，从而控制液晶偏转使得部分光栅打开，部分光栅关闭，从而形成与开口信息对应的开口位置和/或开口宽度的可调光栅。

在一些实施例中，步骤S102中，基于当前眼部位置信息确定并调整可调光栅的开口信息，包括：

针对图像显示装置的每个像素，基于当前眼部位置信息和像素的两端的端点位置信息，确定眼部与像素的两端的连线与光栅装置的交点的交点坐标信息；

基于眼部位置信息与光栅开口位置信息的对应关系以及交点坐标信息，确定与当前眼部位置信息对应的光栅开口位置信息；

基于光栅开口位置信息，确定并调整可调光栅的开口信息。

可选地，眼部位置信息与光栅开口位置信息的对应关系是基于3D显示效果预存的对应关系。光栅开口位置信息用于指示需要打开的光栅，使得光栅开口位置信息的开口位置对应的像素是打开的，光栅开口位置信息的开口位置外对应的像素是关闭的。可调光栅的开口信息用于表示打开的可调光栅的信息，其余可调光栅是关闭状态，光栅开口位置信息对应的开口位置可以包括连续几个需要打开的可调光栅，从而可以基于光栅开口位置信息确定需要打开的可调光栅的开口信息。

在一些实施例中，基于当前眼部位置信息，生成与开口信息对应的黑白图像，包括：

基于眼部位置信息与光栅开口位置信息的对应关系，确定与当前眼部位置信息对应的光栅开口位置信息；

基于每个可调光栅的位置信息，将每个可调光栅与光栅开口位置信息进行匹配，确定位于光栅开口位置信息内的可调光栅；

基于所确定的位于光栅开口位置信息内的可调光栅，生成可调光栅的开口信息；

基于开口信息，确定与开口信息对应的黑白图像。

具体地，每个像素的两端的端点位置信息是已知的，像素位于图像显示装置上，眼部位置信息包括左眼位置信息和右眼位置信息，每只眼与像素的两端的端点的连线延长在光栅装置上会有两个交点，基于眼部位置信息与光栅开口位置信息的对应关系可以知道需要哪个像素左眼看见，右眼看不见，从而可以基于各交点坐标信息确定光栅开口位置信息，使得一只眼可以看到某个像素，另一只眼看不到该像素。

可选地，基于眼部位置信息与光栅开口位置信息的对应关系，确定与当前眼部位置信息对应的光栅开口位置信息，包括：针对图像显示装置的每个像素，基于当前眼部位置信息和像素的两端的端点位置信息，确定眼部与像素的两端的连线与光栅装置的交点的交点坐标信息；基于眼部位置信息与光栅开口位置信息的对应关系以及交点坐标信息，确定与当前眼部位置信息对应的光栅开口位置信息。

在一些实施例中，基于光栅开口位置信息，确定并调整可调光栅的开口信息，包括：基于每个可调光栅的位置信息，将每个可调光栅与光栅开口位置信息进行匹配，确定位于光栅开口位置信息内的可调光栅；基于所确定的位于光栅开口位置信息内的可调光栅，生成可调光栅的开口信息。

具体地，本申请实施例中的光栅均为可调光栅，位于光栅开口位置信息内的可调光栅打开，位于光栅开口位置信息外的可调光栅关闭，因此只需要确定需要打开的可调光栅，由于每个可调光栅的位置信息和宽度信息已知，基于所有需要打开的可调光栅就可以确定可调光栅的开口信息，从而形成黑白条纹的黑白图像，白色条纹对应的可调光栅打开，黑色条纹对应的可调光栅关闭，基于黑白图像可以获取光栅黑白图像信号作为控制信号，进而由source或gate信号控制相应位置的液晶偏转形成调整后的可调光栅。

作为一种示例，参见图2所示，示出了基于当前眼部位置信息，生成与开口信息对应的黑白图像的原理示意图。如图2所示，a和b为像素A1的两个端点，b和c为像素A2的两个端点，c和d为像素A3的两个端点，2D对应图像显示装置，3D对应光栅装置，e、f、g为光栅装置的交点，黑色表示左像素，灰色表示右像素。计算每个2D左、右像素对应的光栅开口位置信息的左右端点物理坐标，例如计算b和c的坐标信息，基于眼部位置信息与光栅开口位置信息的对应关系，本实施例中b和c对应的像素A2需要是左眼看见，右眼看不见。

然后，计算人眼坐标信息与b和c的连线与3D panel平面交点的e、f、g的物理坐标，确定f、g两个交点对应的区域为光栅开口位置信息，将每个光栅与光栅开口位置信息进行匹配，在f、g端点对应光栅开口位置信息对应的坐标内的3D panel的可调光栅为打开状态，其它可调光栅为关闭状态，即光栅开口位置信息对应的像素应为开口状态，其它为关闭状态。当计算得到所有的需要打开的可调光栅的位置信息和宽度信息，生成一张对应的黑白图像。

在一些实施例中，步骤S103中，将待显示图像合成多视点合成图像，包括：基于待处理图像，确定当前显示方向；基于当前显示方向，将待显示图像合成多视点合成图像。

可选地，基于显示设备的摄像装置拍摄到的待处理图像中目标对象的人脸图像，可以获取当前显示方向，例如显示设备是横屏显示或竖屏显示。

本申请实施例基于针对目标对象的待处理图像确定当前显示方向，然后基于当前显示方向，将待显示图像生成多视点合成图像，使得本申请实施例能够适配不同的显示方向，可以根据当前显示方向实现三维显示效果。

在一些实施例中基于当前显示方向，将待显示图像合成多视点合成图像，包括：

若当前显示方向为第一显示方向，则对待显示图像按照第一显示方向的分辨率的一半进行分辨率的降采样，得到左眼视点图像和右眼视点图像；

若当前显示方向为第二显示方向，则对待显示图像进行分辨率的降采样，得到设定分辨率的预处理图像，对预处理图像按照第一显示方向的分辨率的一半进行分辨率的降采样，得到左眼视点图像和右眼视点图像；

基于左眼视点图像和右眼视点图像，合成多视点合成图像；

其中，第一显示方向为常规显示方向，第二显示方向为常规显示方向旋转设定角度后的显示方向。

具体地，第一显示方向可以为常规显示方向，为显示设备默认的显示方向，例如：横屏显示。设定角度可以是90°，第二显示方向可以为常规显示方向进行顺时针或逆时针90°的方向，例如：竖屏显示。显示设备包括信号处理传输装置，信号处理传输装置可以基于当前显示方向，将待显示图像生成多视点合成图像。

其中，待显示图像的分辨率为W*H，H为高度，W为宽度，例如：分辨率为1280*720；设定分辨率的预处理图像可以是分辨率为H*(H*H/W)的预处理图像。

作为一种示例，在生成多视点合成图像时，需要获取当前显示方向，以平板电脑为例，默认最佳显示方式为横屏显示。若当前系统显示为横屏显示，3D显示模式为左右两视点立体显示，则信号处理传输装置按照横向屏幕分辨率的1/2对待显示图像进行横向分辨率的降采样，获得左眼视点图像和右眼视点图像分辨率均为(W/2)*H，完成双视点图像的合成，传输给显示设备的图像显示装置。若当前系统显示从横屏显示切换为竖屏显示，则将待显示图像W*H进行降采样获得分辨率为H*(H*H/W)的预处理图像，再对预处理图像进行横向分辨率的1/2降采样，获得左眼视点图像和右眼视点图像两个左右视差图，然后完成双视点图像的合成。

以平板电脑为例，默认最佳显示方式为横屏显示。在横屏显示状态下，屏幕显示左右(W/2)*H分辨率的图像合成的W*H分辨率图像，若从横屏显示切换为竖屏显示，则屏幕显示左右(H/2)*(H*H/W)分辨率图像合成的H*(H*H/W)分辨率图像，按长边居中显示。

在一些实施例中，获取待处理图像中的目标对象的当前眼部位置信息，包括：若当前显示方向为第二显示方向，则将待处理图像旋转设定角度至当前显示方向为第一显示方向，确定旋转后的待处理图像中的目标对象的当前眼部位置信息。

可选地，旋转设定角度可以为顺时针或逆时针旋转90°。

作为一种示例，参见图3和图4所示，分别示出了横屏显示和竖屏显示的显示设备的结构示意图。以平板电脑为例，若横向屏幕是较为常用的横屏显示的显示模式，摄像装置可以是如图3所示的形式，位于屏幕中轴线上，当3D显示设备横屏使用时，摄像装置获取正常方向的待处理图像；当3D显示设备竖屏使用时，摄像装置获取的图像需经过顺时针或逆时针90°旋转。以手机为例，若纵向屏幕是较为常用的显示模式，摄像装置可以是如图3所示的形式，同样位于屏幕中轴线上，当3D显示设备竖屏使用时，摄像装置获取正常方向的待处理图像；当3D显示设备横屏使用时，摄像装置获取的待处理图像需经过顺时针或逆时针90°旋转。

作为一种示例，参见图5和图6所示，分别示出了横屏显示和竖屏显示的显示设备的坐标轴的示意图。本申请实施例以平板电脑为例，默认最佳显示方式为横屏显示，在不同的显示方向上，坐标系会对应发生变化。。如图5所示，若当前系统显示为横屏显示，则相机位置在屏幕中心，通常人的观看位置均分在相机两侧，此时适宜以屏幕窄边中轴线及其垂线(垂直于屏幕向外)分别为y、x轴。如图6所示，若从横屏显示切换为竖屏显示，则人的观看位置在相机的一侧，此时适宜以屏幕中轴线及其垂线(垂直于屏幕向外)分别为x、y轴。

在一些实施例中，调整可调光栅的开口信息，包括：将开口信息发送至光栅装置，使得光栅装置基于开口信息控制液晶偏转形成调整后的可调光栅；

基于调整后的可调光栅以及多视点合成图像，生成三维显示图像，包括：将多视点合成图像发送至图像显示装置，使得图像显示装置显示多视点合成图像。

本申请实施例根据当前显示设备的显示方向，在裸眼式立体显示系统的光栅装置(3D panel)上显示相应的条状光栅的图像，从而实现图像显示装置(2Dpanel)图像的左右视图分光显示，形成3D显示效果。而且，本申请实施例的图像处理方法是基于图形显示原理的液晶光栅控制方法，能够结合眼球追踪技术，调节条状光栅的位置及宽度，使用户在最佳观看视点的前、后、左、右任意位置均能观看到3D显示。

基于同一发明构思，本申请实施例提供一种图像处理装置，参见图7所示，该图像处理装置70包括：获取模块710、确定模块720、合成模块730和生成模块740。

获取模块710用于获取针对目标对象的待处理图像；

确定模块720用于获取待处理图像中的目标对象的当前眼部位置信息，基于当前眼部位置信息确定并调整可调光栅的开口信息；开口信息用于控制液晶形成调整后的可调光栅；

合成模块730用于将待显示图像合成多视点合成图像；

生成模块740用于基于调整后的可调光栅以及多视点合成图像，生成三维显示图像。

可选地，确定模块720用于基于当前眼部位置信息，生成与开口信息对应的黑白图像；开口信息包括以下至少一项：开口位置、开口宽度，黑白图像用于提供控制信号以控制液晶偏转形成开口位置和/或开口宽度的可调光栅；基于黑白图像，调整可调光栅的开口信息。

可选地，确定模块720用于针对图像显示装置的每个像素，基于当前眼部位置信息和像素的两端的端点位置信息，确定眼部与像素的两端的连线与光栅装置的交点的交点坐标信息；基于眼部位置信息与光栅开口位置信息的对应关系以及交点坐标信息，确定与当前眼部位置信息对应的光栅开口位置信息；基于光栅开口位置信息，确定并调整可调光栅的开口信息。

可选地，确定模块720用于基于眼部位置信息与光栅开口位置信息的对应关系，确定与当前眼部位置信息对应的光栅开口位置信息；基于每个可调光栅的位置信息，将每个可调光栅与光栅开口位置信息进行匹配，确定位于光栅开口位置信息内的可调光栅；基于所确定的位于光栅开口位置信息内的可调光栅，生成可调光栅的开口信息；基于开口信息，确定与开口信息对应的黑白图像。

可选地，合成模块730用于基于待处理图像，确定当前显示方向；基于当前显示方向，将待显示图像合成多视点合成图像。

可选地，合成模块730用于若当前显示方向为第一显示方向，则对待显示图像按照第一显示方向的分辨率的一半进行分辨率的降采样，得到左眼视点图像和右眼视点图像；若当前显示方向为第二显示方向，则对待显示图像进行分辨率的降采样，得到设定分辨率的预处理图像，对预处理图像按照第一显示方向的分辨率的一半进行分辨率的降采样，得到左眼视点图像和右眼视点图像；基于左眼视点图像和右眼视点图像，合成多视点合成图像；其中，第一显示方向为常规显示方向，第二显示方向为常规显示方向旋转设定角度后的显示方向。

可选地，确定模块720用于若当前显示方向为第二显示方向，则将待处理图像旋转设定角度至当前显示方向为第一显示方向，确定旋转后的待处理图像中的目标对象的当前眼部位置信息。

可选地，确定模块720用于将开口信息发送至光栅装置，使得光栅装置基于开口信息控制液晶偏转形成调整后的可调光栅。

可选地，生成模块740用于将多视点合成图像发送至图像显示装置，使得图像显示装置显示多视点合成图像。

本申请实施例提供的图像处理装置，与前面所述的各实施例具有相同的发明构思及相同的有益效果，该图像处理装置中未详细示出的内容可参照前面所述的各实施例，在此不再赘述。

基于同一发明构思，本申请实施例提供一种显示设备，参见图8所示该显示设备包括：眼球追踪装置、信号处理传输装置、图像显示装置、光栅装置和背光模组(图中未示出)。

眼球追踪装置用于获取针对目标对象的待处理图像，确定待处理图像中的目标对象的当前眼部位置信息。

信号处理传输装置与眼球追踪装置通信连接，信号处理传输装置用于将待显示图像合成多视点合成图像并向图像显示装置发送，获取待处理图像中的目标对象的当前眼部位置信息，基于当前眼部位置信息确定可调光栅的开口信息并向光栅装置发送；开口信息用于控制液晶偏转形成调整后的可调光栅。

图像显示装置与信号处理传输装置通信连接，图像显示装置用于显示多视点合成图像。

光栅装置与信号处理传输装置通信连接，光栅装置用于基于开口信息，调整可调光栅的开口信息，形成调整后的可调光栅。

背光模组用于提供背光使得各像素发光，以生成三维显示图像。

可选地，图像显示装置即2D panel、光栅装置即3D panel。其中，眼球追踪装置用于获取当前眼部位置信息。信号处理传输装置获取当前眼部位置信息，计算可调光栅的开口信息，生成黑白图像并传输给光栅装置，同时生成多视点合成图像并传输给图像显示装置。图像显示装置用于显示信号处理传输装置合成的多视点合成图像。光栅装置用于获取信号处理传输装置计算所得的开口信息，控制液晶偏转形成光栅。本申请实施例的显示设备是基于图像显示和眼球追踪的液晶光栅控制方法，可以实现用户在最佳观看视点的前、后、左、右任意位置均能观看到3D显示效果的光栅裸眼3D显示系统。

可选地，眼球追踪装置包含至少一个摄像装置和至少一个数据计算模块，摄像装置用于获取包括人脸图像的待处理图像，数据计算模块可以获取摄像装置传出的待处理图像，(可以对待处理图像进行旋转后)运行眼球追踪算法，计算当前人眼在相机坐标系下的当前眼部位置信息。

可选地，信号处理传输装置包含至少一个数据处理模块、至少两个数据传输通路。数据处理模块，一方面将多视点图像合成一幅图像用于2Dpanel显示，一方面对眼球追踪的结果进行处理，将当前眼睛对应所需的光栅位置处理为一幅图像用于3D panel显示形成光栅。

可选地，光栅装置位于背光模组和图像显示装置之间，光栅装置位于背光模组的发光的一侧。即，3D panel位于2D panel和背光之间，显示设备以3D panel的液晶反转控制光栅的打开或关闭。对眼球追踪结果的处理即建立眼部位置信息与光栅开口位置信息的对应关系，当瞳孔坐标改变，光栅开口位置信息随之改变，计算每个光栅应当是开还是关时，需考虑拍摄装置的具体位置对眼睛与屏幕相对位置关系的影响，以确认坐标系的选取。坐标系的选取参见图5和图6所示实施例的内容，再此不再赘述。

可选地，图像显示装置，即2D panel，可以根据当前显示方向，显示多视点合成图像。光栅装置，即3D panel，用于获取信号处理传输装置计算所得的黑白图像，进而由source或gate信号控制相应位置的液晶偏转形成光栅。

本申请实施例提供的显示设备，与前面所述的各实施例具有相同的发明构思及相同的有益效果，该显示设备中未详细示出的内容可参照前面所述的各实施例，在此不再赘述。

作为一种示例，本申请实施例提供了一种电子设备，该电子设备，包括：存储器和处理器。存储器与处理器通信连接。至少一个计算机程序，存储于存储器中，用于被处理器执行时，实现本申请实施例提供的任一实施例的图像处理方法的各种可选实施方式。

本技术领域技术人员可以理解，本申请实施例提供的电子设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中。

可选地，电子设备可以为智能手机、平板电脑、笔记本电脑等带有显示功能的终端设备。

本申请在一个可选实施例中提供了一种电子设备，如图9所示，图9所示的电子设备2000包括：处理器2001和存储器2003。其中，处理器2001和存储器2003相通信连接，如通过总线2002相连。

处理器2001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器2003可以是ROM(Read-Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

可选地，电子设备2000还可以包括收发器2004。收发器2004可用于信号的接收和发送。收发器2004可以允许电子设备2000与其他设备进行无线或有线通信以交换数据。需要说明的是，实际应用中收发器2004不限于一个。

可选地，电子设备2000还可以包括输入单元2005。输入单元2005可用于接收输入的数字、字符、图像和/或声音信息，或者产生与电子设备2000的用户设置以及功能控制有关的键信号输入。输入单元2005可以包括但不限于触摸屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、拍摄装置、拾音器等中的一种或多种。

可选地，电子设备2000还可以包括输出单元2006。输出单元2006可用于输出或展示经过处理器2001处理的信息。输出单元2006可以包括但不限于显示装置、扬声器、振动装置等中的一种或多种。

虽然图9示出了具有各种装置的电子设备2000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

可选的，存储器2003用于存储执行本申请方案的应用程序代码，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码，以实现本申请实施例提供的任一种图像处理方法。

基于同一发明构思，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请任一实施例的方法的步骤。

该计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM、RAM、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本申请实施例提供了一种计算机可读存储介质适用于上述任一图像处理方法，在此不再赘述。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

在本申请的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

在本说明书的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取针对目标对象的待处理图像；

获取所述待处理图像中的目标对象的当前眼部位置信息，基于所述当前眼部位置信息确定并调整可调光栅的开口信息；所述开口信息用于控制液晶偏转形成调整后的所述可调光栅；

将待显示图像合成多视点合成图像；

基于调整后的所述可调光栅以及所述多视点合成图像，生成三维显示图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述当前眼部位置信息确定并调整可调光栅的开口信息，包括：

基于所述当前眼部位置信息，生成与所述开口信息对应的黑白图像；所述开口信息包括以下至少一项：开口位置、开口宽度，黑白图像用于提供控制信号以控制液晶偏转形成所述开口位置和/或所述开口宽度的可调光栅；

基于所述黑白图像，调整所述可调光栅的开口信息。

3.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述当前眼部位置信息确定并调整可调光栅的开口信息，包括：

针对图像显示装置的每个像素，基于当前眼部位置信息和所述像素的两端的端点位置信息，确定眼部与所述像素的两端的连线与光栅装置的交点的交点坐标信息；

基于眼部位置信息与光栅开口位置信息的对应关系以及所述交点坐标信息，确定与所述当前眼部位置信息对应的光栅开口位置信息；

基于所述光栅开口位置信息，确定并调整可调光栅的开口信息。

4.根据权利要求2所述的图像处理方法，其特征在于，所述基于所述当前眼部位置信息，生成与所述开口信息对应的黑白图像，包括：

基于眼部位置信息与光栅开口位置信息的对应关系，确定与所述当前眼部位置信息对应的光栅开口位置信息；

基于每个可调光栅的位置信息，将每个所述可调光栅与所述光栅开口位置信息进行匹配，确定位于所述光栅开口位置信息内的可调光栅；

基于所确定的位于所述光栅开口位置信息内的可调光栅，生成可调光栅的开口信息；

基于所述开口信息，确定与所述开口信息对应的黑白图像。

5.根据权利要求1所述的图像处理方法，其特征在于，所述将待显示图像合成多视点合成图像，包括：

基于所述待处理图像，确定当前显示方向；

基于所述当前显示方向，将待显示图像合成多视点合成图像。

6.根据权利要求5所述的图像处理方法，其特征在于，所述基于所述当前显示方向，将待显示图像合成多视点合成图像，包括：

若所述当前显示方向为第一显示方向，则对待显示图像按照第一显示方向的分辨率的一半进行分辨率的降采样，得到左眼视点图像和右眼视点图像；

若所述当前显示方向为第二显示方向，则对待显示图像进行分辨率的降采样，得到设定分辨率的预处理图像，对所述预处理图像按照第一显示方向的分辨率的一半进行分辨率的降采样，得到左眼视点图像和右眼视点图像；

基于所述左眼视点图像和所述右眼视点图像，合成多视点合成图像；

其中，所述第一显示方向为常规显示方向，所述第二显示方向为所述常规显示方向旋转设定角度后的显示方向。

7.根据权利要求6所述的图像处理方法，其特征在于，所述获取所述待处理图像中的目标对象的当前眼部位置信息，包括：

若所述当前显示方向为第二显示方向，则将所述待处理图像旋转设定角度至所述当前显示方向为第一显示方向，确定旋转后的待处理图像中的目标对象的当前眼部位置信息。

8.根据权利要求1所述的图像处理方法，其特征在于，所述调整可调光栅的开口信息，包括：

将所述开口信息发送至光栅装置，使得所述光栅装置基于所述开口信息控制液晶偏转形成调整后的所述可调光栅；

所述基于调整后的所述可调光栅以及所述多视点合成图像，生成三维显示图像，包括：

将所述多视点合成图像发送至图像显示装置，使得所述图像显示装置显示所述多视点合成图像。

9.一种图像处理装置，其特征在于，包括：

获取模块，用于获取针对目标对象的待处理图像；

确定模块，用于获取所述待处理图像中的目标对象的当前眼部位置信息，基于所述当前眼部位置信息确定并调整可调光栅的开口信息；所述开口信息用于控制液晶形成调整后的所述可调光栅；

合成模块，用于将待显示图像合成多视点合成图像；

生成模块，用于基于调整后的所述可调光栅以及所述多视点合成图像，生成三维显示图像。

10.一种显示设备，其特征在于，包括：

眼球追踪装置，用于获取针对目标对象的待处理图像，确定所述待处理图像中的目标对象的当前眼部位置信息；

信号处理传输装置，与所述眼球追踪装置通信连接，用于将待显示图像合成多视点合成图像并向图像显示装置发送，获取所述待处理图像中的目标对象的当前眼部位置信息，基于所述当前眼部位置信息确定可调光栅的开口信息并向光栅装置发送；所述开口信息用于控制液晶偏转形成调整后的所述可调光栅；

图像显示装置，与所述信号处理传输装置通信连接，用于显示所述多视点合成图像；

光栅装置，与所述信号处理传输装置通信连接，用于基于所述开口信息，调整可调光栅的开口信息，形成调整后的所述可调光栅；

背光模组，用于提供背光使得各像素发光，以生成三维显示图像。

11.根据权利要求10所述的显示设备，其特征在于，所述光栅装置位于所述背光模组和所述图像显示装置之间，所述光栅装置位于所述背光模组的发光的一侧。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述方法的步骤。

Images