CN114268780B - 基于柱透镜的自由立体图像处理方法、装置、设备及系统 - Google Patents

Abstract

本申请实施例提供了一种基于柱透镜的自由立体图像处理方法、装置、设备及系统。该基于柱透镜的自由立体图像处理方法，包括：获取与人眼位置对应的空间视区信息；空间视区信息包括主瓣视区和依次远离主瓣的至少一级旁瓣视区；构建与空间视区信息对应的虚拟图像信息；根据空间视区信息，确定至少部分虚拟图像信息对应的背光驱动亮度值；背光驱动亮度值沿最远离主瓣视区的旁瓣视区靠近主瓣视区的方向减小；将虚拟图像信息和背光驱动亮度值对应融合，得到并输出融合图像信息。本申请实施例为各空间视区信息对应的虚拟图像信息匹配对应的背光驱动亮度值，从而降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性。

Description

基于柱透镜的自由立体图像处理方法、装置、设备及系统

技术领域

本申请涉及显示技术领域，具体而言，本申请涉及一种基于柱透镜的自由立体图像处理方法、装置、设备及系统。

背景技术

自由立体显示技术，即裸眼3D(Dimensionality，维度)显示技术，是指观察者无需借助任何辅助观察设备，就可以在较大角度内的多个位置用裸眼自由清晰地观看到屏幕上的立体图像。

目前技术比较成熟的自由立体显示技术是基于柱透镜的自由立体显示技术，其利用柱透镜单元的折射作用，引导光线进入特定的视区，产生左右眼的立体图像对，最终在大脑合成作用下产生立体视觉。

但是现有的自由立体显示技术普遍存在视区内不同位置之间具有较大的亮度差异，严重影响观察者的视觉体验。

发明内容

本申请针对现有方式的缺点，提出一种基于柱透镜的自由立体图像处理方法、装置、设备及存储介质，用以解决现有技术存在自由立体显示的视区内不同位置之间具有较大的亮度差异的技术问题。

第一个方面，本申请实施例提供了一种基于柱透镜的自由立体图像处理方法，包括：

获取与人眼位置对应的空间视区信息；空间视区信息包括主瓣视区和依次远离主瓣的至少一级旁瓣视区；

构建与空间视区信息对应的虚拟图像信息；

根据空间视区信息，确定至少部分虚拟图像信息对应的背光驱动亮度值；背光驱动亮度值沿最远离主瓣视区的旁瓣视区靠近主瓣视区的方向减小；

将虚拟图像信息和背光驱动亮度值对应融合，得到并输出融合图像信息。

在一个实施例中，根据空间视区信息，确定至少部分虚拟图像信息对应的背光驱动亮度值，包括：

在虚拟图像信息中提取成对的左眼图像信息和右眼图像信息；

分别确定左眼图像信息和右眼图像信息对应的背光驱动亮度值。

在一个实施例中，分别对左眼图像信息和右眼图像信息确定对应的背光驱动亮度值，包括：

分别确定与左眼图像信息对应的左眼背光驱动亮度值、和与右眼图像信息对应的右眼背光驱动亮度值；

确定左眼背光驱动亮度值和右眼背光驱动亮度值的加权平均数作为成对的左眼图像信息和右眼图像信息分别对应的背光驱动亮度值。

在一个实施例中，根据空间视区信息，确定至少部分虚拟图像信息对应的背光驱动亮度值，包括：

在虚拟图像信息中提取成对的左眼图像信息和右眼图像信息、以及与成对的左眼图像信息和右眼图像信息相关联的双眼中位图像信息；

确定双眼中位图像信息对应的背光驱动亮度值，分别作为左眼图像信息和右眼图像信息对应的背光驱动亮度值。

在一个实施例中，将虚拟图像信息和背光驱动亮度值对应融合，得到并输出融合图像信息，包括：

在虚拟图像信息中增加信息行，将对应的背光驱动亮度值写入信息行；或，为虚拟图像信息和对应的背光驱动亮度值分别赋予相同或相应的时序标签。

在一个实施例中，构建与空间视区信息对应的虚拟图像信息，包括：

渲染立体虚拟场景；

在立体虚拟场景中构建与空间视区信息对应的视角相机进行场景拍摄，得到位于主瓣视区的虚拟图像信息、和位于至少一级旁瓣视区的虚拟图像信息。

在一个实施例中，在得到位于主瓣视区的虚拟图像信息、和位于至少一级旁瓣视区的虚拟图像信息之后，还包括：

将所有虚拟图像信息拼接成一张总的虚拟图像信息。

在一个实施例中，背光驱动亮度值包括：

至少一个主瓣背光驱动子亮度值，对应于主瓣视区；主瓣背光驱动子亮度值沿靠近主瓣视区的中心的方向减小；

至少一个旁瓣子背光驱动子亮度值，对应于旁瓣视区；旁瓣子背光驱动子亮度值沿靠近主瓣视区的方向减小。

第二个方面，本申请实施例提供了一种自由立体图像处理装置，包括：

视区获取模块，用于获取与人眼位置对应的空间视区信息；空间视区信息包括主瓣视区和依次远离主瓣的至少一级旁瓣视区；

场景构建模块，用于构建与空间视区信息对应的虚拟图像信息；

图像处理模块，用于根据空间视区信息，确定至少部分虚拟图像信息对应的背光驱动亮度值；背光驱动亮度值沿最远离主瓣视区的旁瓣视区靠近主瓣视区的方向减小；

图像输出模块，用于将虚拟图像信息和背光驱动亮度值对应融合，得到并输出融合图像信息。

第三个方面，本申请实施例提供了一种自由立体图像处理设备，包括：

第一处理器；

存储器，与第一处理器电连接，配置用于存储机器可读指令，指令在由第一处理器执行时，实现如第一个方面提供的基于柱透镜的自由立体图像处理方法。

第四个方面，本申请实施例提供一种自由立体图像显示系统，包括：

如第三个方面提供的自由立体图像处理设备；

人眼跟踪设备，与自由立体图像处理设备中的第一处理器信号连接，用于采集人眼位置、以及确定与人眼位置对应的空间视区信息；

图像展示设备，与自由立体图像处理设备中的第一处理器信号连接，用于根据第一处理器输出的融合图像信息，展示自由立体图像。

在一个实施例中，人眼跟踪设备包括：摄像头和第二处理器；第二处理器分别与摄像头和第一处理器信号连接；

和/或，图像展示设备包括：基于柱透镜的显示面板；显示面板与第一处理器信号连接。

第五个方面，本申请实施例提供一种计算机可读存储介质，其特征在于，计算机存储介质用于存储计算机指令，当计算机指令在计算机上运行时，实现如第一个方面提供的基于柱透镜的自由立体图像处理方法。

本申请实施例提供的技术方案带来的有益技术效果包括：针对与人眼位置对应的空间视区信息，为各空间视区信息对应的虚拟图像信息匹配对应的背光驱动亮度值，具体是背光驱动亮度值沿最远离主瓣视区的旁瓣视区靠近主瓣视区的方向减小，从而降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性，也有利于实现对比度的大幅度提升，提高观察者的视觉体验。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种自由立体图像处理设备的结构框架示意图；

图2为本申请实施例提供的一种基于柱透镜的自由立体图像处理方法的流程示意图；

图3为本申请实施例提供的一种自由立体图像处理装置的结构框架示意图；

图4为本申请实施例提供的一种自由立体图像显示系统的结构框架示意图；

图5为本申请实施例提供的一种图像展示设备展示自由立体图像的状态示意图。

图中：

100-自由立体图像显示系统；

110-自由立体图像处理设备；111-第一处理器；112-存储器；113-总线；114-收发器；115-输入单元；116-输出单元；

120-人眼跟踪设备；121-摄像头；122-第二处理器；

130-图像展示设备；131-背光源；132-柱透镜；

200-自由立体图像处理装置；210-视区获取模块；220-场景构建模块；230-图像处理模块；240-图像输出模块。

具体实施方式

下面详细描述本申请，本申请的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本申请的发明人进行研究发现，目前技术比较成熟的自由立体显示技术是基于柱透镜的自由立体显示技术，其利用柱透镜单元的折射作用，引导光线进入特定的视区，产生左右眼的立体图像对，最终在大脑合成作用下产生立体视觉。

理论上，视点数越多，立体效果越明显且画面过渡连续流畅。为了增大视角，提升显示清晰度，降低渲染压力等，可以采用基于柱透镜的自由立体显示技术与眼球跟踪技术相结合的显示方式。

但是现有的整机背光通常是固定的，即整机各处背光亮度一致，受柱透镜的光学物理特性影响，显示整机物理主瓣区的显示亮度最高，并且在主瓣区内亮度也是由中心向两端依次降低，靠近主瓣区的旁瓣区的亮度小于主瓣区的亮度，远离主瓣区的旁瓣区的亮度又小于靠近主瓣区的旁瓣区的亮度，这就导致人眼在视区内的多个瓣区之间来回移动时，会感受到较为明显的亮度差异，严重影响观察者的视觉体验。

本申请提供的基于柱透镜的自由立体图像处理方法、装置、设备及系统，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。

本申请实施例提供了一种自由立体图像处理设备110，该自由立体图像处理设备110的结构示意图如图1所示，包括：第一处理器111和存储器112。

存储器112与第一处理器111电连接，配置用于存储机器可读指令，指令在由第一处理器111执行时，实现本申请实施例提供的基于柱透镜的自由立体图像处理方法。

在本实施例中，自由立体图像处理设备110可以通过第一处理器111执行基于柱透镜的自由立体图像处理方法，以实现针对与人眼位置对应的空间视区信息，为各空间视区信息对应的虚拟图像信息匹配对应的背光驱动亮度值，具体是背光驱动亮度值沿最远离主瓣视区的旁瓣视区靠近主瓣视区的方向减小，从而降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性，也有利于实现对比度的大幅度提升，提高观察者的视觉体验。

需要说明的是，该基于柱透镜的自由立体图像处理方法将在下文详细说明，在此不赘述。

本申请在一个可选实施例中提供了一种自由立体图像处理设备110，如图1所示，图1所示的自由立体图像处理设备110包括：第一处理器111和存储器112。其中，第一处理器111和存储器112相电连接，如通过总线113相连。

第一处理器111可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。第一处理器111也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线113可包括一通路，在上述组件之间传送信息。总线113可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线113可以分为地址总线、数据总线、控制总线等。为便于表示，图1中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器112可以是ROM(Read-Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

可选地，自由立体图像处理设备110还可以包括收发器114。收发器114可用于信号的接收和发送。收发器114可以允许自由立体图像处理设备110与其他设备进行无线或有线通信以交换数据。需要说明的是，实际应用中收发器114不限于一个。

可选地，自由立体图像处理设备110还可以包括输入单元115。输入单元115可用于接收输入的数字、字符、图像和/或声音信息，或者产生与自由立体图像处理设备110的用户设置以及功能控制有关的键信号输入。输入单元115可以包括但不限于触摸屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、拍摄装置、拾音器等中的一种或多种。

可选地，自由立体图像处理设备110还可以包括输出单元116。输出单元116可用于输出或展示经过第一处理器111处理的信息。输出单元116可以包括但不限于显示装置、扬声器、振动装置等中的一种或多种。

虽然图1示出了具有各种装置的自由立体图像处理设备110，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

可选的，存储器112用于存储执行本申请方案的应用程序代码，并由第一处理器111来控制执行。第一处理器111用于执行存储器112中存储的应用程序代码，以实现本申请实施例提供的任一种基于柱透镜的自由立体图像处理方法。

本技术领域技术人员可以理解，本申请实施例提供的自由立体图像处理设备110可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中。

基于同一发明构思，本申请实施例提供了一种基于柱透镜的自由立体图像处理方法，该方法的流程示意图如图2所示，该方法包括步骤S101-S104：

S101：获取与人眼位置对应的空间视区信息；空间视区信息包括主瓣视区和依次远离主瓣的至少一级旁瓣视区。

在本步骤S101中，可以采用本申请前述实施例提供的自由立体图像处理设备110中的第一处理器111获取与人眼位置对应的空间视区信息。主瓣视区和旁瓣视区是基于柱透镜成像原理的人眼位置所在区域。

其中，与人眼位置对应的空间视区信息可以由本申请提供的自由立体图像显示系统100中的人眼跟踪设备120确定得到。该人眼跟踪设备120及其工作原理将在下文详细说明，在此不赘述。

S102：构建与空间视区信息对应的虚拟图像信息。

在本步骤S102中，可以采用本申请前述实施例提供的自由立体图像处理设备110中的第一处理器111构建与空间视区信息对应的虚拟图像信息，从而实现结合人眼跟踪技术构建虚拟图像信息。

在一些可能的实施方式中，步骤S102中构建与空间视区信息对应的虚拟图像信息，可以包括以下步骤：

渲染立体虚拟场景。

在立体虚拟场景中构建与空间视区信息对应的视角相机进行场景拍摄，得到位于主瓣视区的虚拟图像信息、和位于至少一级旁瓣视区的虚拟图像信息。

在本实施例提供的步骤S102中，可以采用本申请前述实施例提供的自由立体图像处理设备110中的第一处理器111渲染立体虚拟场景，然后在立体虚拟场景中构建与空间视区信息对应的视角相机进行场景拍摄。

需要说明的是，自由立体图像处理设备110中的第一处理器111构建的视角相机是一种虚拟装置，视角相机在拍摄时所处的虚拟机位用于模拟或匹配人眼位置。

视角相机进行场景拍摄，即以模拟或匹配人眼位置对立体虚拟场景进行截取，得到位于主瓣视区的虚拟图像信息、和位于至少一级旁瓣视区的虚拟图像信息。

在另一些可能的实施方式中，步骤S102中构建与空间视区信息对应的虚拟图像信息，可以包括以下步骤：

渲染立体虚拟场景。

在立体虚拟场景中构建与空间视区信息对应的视角相机进行场景拍摄，得到位于主瓣视区的虚拟图像信息、和位于至少一级旁瓣视区的虚拟图像信息。

将所有虚拟图像信息拼接成一张总的虚拟图像信息。

本实施例提供的步骤S102与前一实施例的原理基本相同，区别在于：经视角相机对立体虚拟场景进行拍摄，得到位于主瓣视区的虚拟图像信息、和位于至少一级旁瓣视区的虚拟图像信息后，采用本申请前述实施例提供的自由立体图像处理设备110中的第一处理器111将所有虚拟图像信息拼接成一张总的虚拟图像信息。这样有利于提高各虚拟图像信息的统一传输，降低信息丢失的风险，进而提高自由立体显示质量，提高观察者的视觉体验。

S103：根据空间视区信息，确定至少部分虚拟图像信息对应的背光驱动亮度值；背光驱动亮度值沿最远离主瓣视区的旁瓣视区靠近主瓣视区的方向减小。

在本步骤S103中，可以采用本申请前述实施例提供的自由立体图像处理设备110中的第一处理器111根据空间视区信息，确定至少部分虚拟图像信息对应的背光驱动亮度值，从而实现为各空间视区信息对应的虚拟图像信息匹配对应的背光驱动亮度值，具体是背光驱动亮度值沿最远离主瓣视区的旁瓣视区靠近主瓣视区的方向减小，从而降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性，也有利于实现对比度的大幅度提升，提高观察者的视觉体验。

在一些可能的实施方式中，步骤S103中根据空间视区信息，确定至少部分虚拟图像信息对应的背光驱动亮度值，包括：

在虚拟图像信息中提取成对的左眼图像信息和右眼图像信息。

分别确定左眼图像信息和右眼图像信息对应的背光驱动亮度值。

在本实施例提供的步骤S103中，可以采用本申请前述实施例提供的自由立体图像处理设备110中的第一处理器111在虚拟图像信息中提取成对的左眼图像信息和右眼图像信息，其中，左眼图像信息和右眼图像信息分别对应各个视点处观察者左眼观察到的图像和右眼观察到的图像。

然后第一处理器111分别确定左眼图像信息和右眼图像信息对应的背光驱动亮度值，以降低自由立体显示的视区内不同位置之间观察者左眼观察的图像与右眼观察的图像的亮度差异，提高空间各视点在人眼中亮度的均一性，也有利于实现对比度的大幅度提升，提高观察者的视觉体验。

本申请的发明人考虑到，由于自由立体图像显示系统100一般只有一个屏幕，左、右眼看到的图像是基于柱透镜按照一定规律穿插在屏幕上的，所以分别单独驱动屏幕的与左、右眼图像对应的像素区的背光亮度，势必造成布线过于复杂，设计以及使用成本过高。为此，本申请基于前述实施例提出：

分别对左眼图像信息和右眼图像信息确定对应的背光驱动亮度值，可以包括：

分别确定与左眼图像信息对应的左眼背光驱动亮度值、和与右眼图像信息对应的右眼背光驱动亮度值。

确定左眼背光驱动亮度值和右眼背光驱动亮度值的加权平均数作为成对的左眼图像信息和右眼图像信息分别对应的背光驱动亮度值。

在本实施例中，将分别根据对应的图像信息确定的左眼背光驱动亮度值与右眼背光驱动亮度值进行加权平均，得出的加权平均数作为最终驱动展示成对的左眼图像信息和右眼图像信息的背光驱动亮度值。这样有利于实现降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性的前提下，简化控制信号种类，进而简化硬件布线结构，降低设计以及使用成本，利于产品推广。

在另一些可能的实施方式中，步骤S103中根据空间视区信息，确定至少部分虚拟图像信息对应的背光驱动亮度值，包括：

在虚拟图像信息中提取成对的左眼图像信息和右眼图像信息、以及与成对的左眼图像信息和右眼图像信息相关联的双眼中位图像信息。

确定双眼中位图像信息对应的背光驱动亮度值，分别作为左眼图像信息和右眼图像信息对应的背光驱动亮度值。

在本实施例提供的步骤S103中，可以采用本申请前述实施例提供的自由立体图像处理设备110中的第一处理器111在虚拟图像信息中提取成对的左眼图像信息和右眼图像信息、以及与成对的左眼图像信息和右眼图像信息相关联的双眼中位图像信息。

其中，左眼图像信息和右眼图像信息分别对应各个视点处观察者左眼观察到的图像和右眼观察到的图像。而双眼中位图像信息可以是一个虚拟位置信息，以表征或对应观察者左右眼中间位置，双眼中位图像信息可以不对应具体的图像。

然后第一处理器111确定双眼中位图像信息对应的背光驱动亮度值，分别作为左眼图像信息和右眼图像信息对应的背光驱动亮度值。这样也能够有利于实现降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性的前提下，简化控制信号种类，进而简化硬件布线结构，降低设计以及使用成本，利于产品推广。

基于前述任意一种可能的实施方式，步骤S103中背光驱动亮度值包括：

至少一个主瓣背光驱动子亮度值，对应于主瓣视区；主瓣背光驱动子亮度值沿靠近主瓣视区的中心的方向减小。

至少一个旁瓣子背光驱动子亮度值，对应于旁瓣视区；旁瓣子背光驱动子亮度值沿靠近主瓣视区的方向减小。

在本实施例中，对应于主瓣视区的各主瓣背光驱动子亮度值沿靠近主瓣视区的中心的方向减小，有利于为主瓣视区内各空间视区子信息对应的虚拟子图像信息匹配对应的主瓣背光驱动子亮度值，具体是主瓣背光驱动子亮度值沿靠近主瓣视区的中心的方向减小，从而降低自由立体显示的主瓣视区内不同位置之间的亮度差异，提高主瓣视区内各视点在人眼中亮度的均一性。

同样的，对应于旁瓣视区的各旁瓣子背光驱动子亮度值沿靠近旁瓣视区的方向减小，有利于为旁瓣视区内各空间视区子信息对应的虚拟子图像信息匹配对应的旁瓣背光驱动子亮度值，具体是旁瓣背光驱动子亮度值沿靠近主瓣视区的方向减小，从而降低自由立体显示的旁瓣视区内不同位置之间的亮度差异，提高旁瓣视区内各视点在人眼中亮度的均一性。

S104：将虚拟图像信息和背光驱动亮度值对应融合，得到并输出融合图像信息。

在本步骤S104中，可以采用本申请前述实施例提供的自由立体图像处理设备110中的第一处理器111将虚拟图像信息和背光驱动亮度值对应融合，即将虚拟图像信息和背光驱动亮度值对应关联，以便于发送至显示执行设备。

该显示执行设备可采用本申请提供的自由立体图像显示系统100中的图像展示设备130，该图像展示设备130及其工作原理将在下文详细说明，在此不赘述。

在一些可能的实施方式中，步骤S104中将虚拟图像信息和背光驱动亮度值对应融合，得到并输出融合图像信息，包括：在虚拟图像信息中增加信息行，将对应的背光驱动亮度值写入信息行。

在本实施例的步骤S104中，可以采用本申请前述实施例提供的自由立体图像处理设备110中的第一处理器111在虚拟图像信息中增加信息行，将对应的背光驱动亮度值写入信息行。

在另一些可能的实施方式中，步骤S104中将虚拟图像信息和背光驱动亮度值对应融合，得到并输出融合图像信息，包括：为虚拟图像信息和对应的背光驱动亮度值分别赋予相同或相应的时序标签。

在本实施例的步骤S104中，可以采用本申请前述实施例提供的自由立体图像处理设备110中的第一处理器111为虚拟图像信息和对应的背光驱动亮度值分别赋予相同或相应的时序标签。

基于上述步骤S101-S104，可以实现：针对与人眼位置对应的空间视区信息，为各空间视区信息对应的虚拟图像信息匹配对应的背光驱动亮度值，具体是背光驱动亮度值沿最远离主瓣视区的旁瓣视区靠近主瓣视区的方向减小，从而降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性，也有利于实现对比度的大幅度提升，提高观察者的视觉体验。

需要说明的是，以上步骤S101-S104均可以由本申请前述实施例提供的自由立体图像处理设备110中的第一处理器111执行。

基于同一发明构思，本申请实施例提供的一种自由立体图像处理装置200，该装置的结构框架示意图如图3所示，包括：视区获取模块210、场景构建模块220、图像处理模块230和图像输出模块240。

视区获取模块210用于获取与人眼位置对应的空间视区信息；空间视区信息包括主瓣视区和依次远离主瓣的至少一级旁瓣视区。

场景构建模块220用于构建与空间视区信息对应的虚拟图像信息。

图像处理模块230用于根据空间视区信息，确定至少部分虚拟图像信息对应的背光驱动亮度值；背光驱动亮度值沿最远离主瓣视区的旁瓣视区靠近主瓣视区的方向减小。

图像输出模块240用于将虚拟图像信息和背光驱动亮度值对应融合，得到并输出融合图像信息。

在本实施例中，自由立体图像处理装置200可以实现针对与人眼位置对应的空间视区信息，为各空间视区信息对应的虚拟图像信息匹配对应的背光驱动亮度值，具体是背光驱动亮度值沿最远离主瓣视区的旁瓣视区靠近主瓣视区的方向减小，从而降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性，也有利于实现对比度的大幅度提升，提高观察者的视觉体验。

在一些可能的实施方式中，场景构建模块220用于构建与空间视区信息对应的虚拟图像信息的过程中，具体用于：渲染立体虚拟场景；在立体虚拟场景中构建与空间视区信息对应的视角相机进行场景拍摄，得到位于主瓣视区的虚拟图像信息、和位于至少一级旁瓣视区的虚拟图像信息。

在一些可能的实施方式中，场景构建模块220用于得到位于主瓣视区的虚拟图像信息、和位于至少一级旁瓣视区的虚拟图像信息之后，还用于：将所有虚拟图像信息拼接成一张总的虚拟图像信息。

在一些可能的实施方式中，图像处理模块230用于根据空间视区信息，确定至少部分虚拟图像信息对应的背光驱动亮度值的过程中，具体用于：在虚拟图像信息中提取成对的左眼图像信息和右眼图像信息；分别确定左眼图像信息和右眼图像信息对应的背光驱动亮度值。

在一些可能的实施方式中，图像处理模块230用于分别对左眼图像信息和右眼图像信息确定对应的背光驱动亮度值的过程中，具体用于：分别确定与左眼图像信息对应的左眼背光驱动亮度值、和与右眼图像信息对应的右眼背光驱动亮度值；确定左眼背光驱动亮度值和右眼背光驱动亮度值的加权平均数作为成对的左眼图像信息和右眼图像信息分别对应的背光驱动亮度值。

在一些可能的实施方式中，图像处理模块230用于根据空间视区信息，确定至少部分虚拟图像信息对应的背光驱动亮度值的过程中，具体用于：在虚拟图像信息中提取成对的左眼图像信息和右眼图像信息、以及与成对的左眼图像信息和右眼图像信息相关联的双眼中位图像信息；确定双眼中位图像信息对应的背光驱动亮度值，分别作为左眼图像信息和右眼图像信息对应的背光驱动亮度值。

在一些可能的实施方式中，图像输出模块240用于将虚拟图像信息和背光驱动亮度值对应融合，得到并输出融合图像信息的过程中，具体用于：在虚拟图像信息中增加信息行，将对应的背光驱动亮度值写入信息行；或，为虚拟图像信息和对应的背光驱动亮度值分别赋予相同或相应的时序标签。

基于同一的发明构思，本申请实施例提供了一种计算机可读存储介质，该计算机存储介质用于存储计算机指令，当该计算机指令在计算机上运行时，实现如前述实施例提供的任一种基于柱透镜的自由立体图像处理方法。

本申请实施例提供了一种计算机可读存储介质适用于上述任一种基于柱透镜的自由立体图像处理方法的各种可选实施方式，在此不再赘述。

基于同一发明构思，本申请实施例提供了一种自由立体图像显示系统100，该系统的结构框架示意图如图4所示，包括：如前述实施例提供的任一种自由立体图像处理设备110，人眼跟踪设备120和图像展示设备130。

人眼跟踪设备120与自由立体图像处理设备110中的第一处理器111信号连接，用于采集人眼位置、以及确定与人眼位置对应的空间视区信息。

图像展示设备130与自由立体图像处理设备110中的第一处理器111信号连接，用于根据第一处理器111输出的融合图像信息，展示自由立体图像。

在本实施例中，自由立体图像显示系统100中的人眼跟踪设备120用于监测人眼位置，并分析处理得到与人眼位置对应的空间视区信息，该空间视区信息包括主瓣视区和依次远离主瓣的至少一级旁瓣视区。

由立体图像显示系统中的自由立体图像处理设备110用于接收人眼跟踪设备120处理得到的空间视区信息，并基于前述实施例提供的基于柱透镜的自由立体图像处理方法输出包括虚拟图像信息和背光驱动亮度值的融合图像信息。

自由立体图像显示系统100中的图像展示设备130用于接收自由立体图像处理设备110中第一处理器111发送的融合图像信息，并根据该融合图像信息，基于柱透镜展示自由立体图像，以对应的背光驱动亮度值展示各空间视区信息对应的虚拟图像信息，从而降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性，也有利于实现对比度的大幅度提升，提高观察者的视觉体验。

在一些可能的实施方式中，人眼跟踪设备120包括：摄像头121和第二处理器122；第二处理器122分别与摄像头121和第一处理器111信号连接。

在本实施例中，摄像头121用于拍摄人眼或人面的画面，第二处理器122根据该画面分析人眼位置，继续基于柱透镜的成像原理分析处理得到与人眼位置对应的空间视区信息。

可选地，第二处理器122在分析人眼位置的过程中，除了参考摄像头121拍摄的人眼或人面的画面以外，还可以参考摄像头121的与人眼或人面的相对位置(如距离、角度等)，以及参考图像展示设备130与人眼或人面的相对位置，以提高分析精度。

在一些可能的实施方式中，图像展示设备130包括：基于柱透镜的显示面板；显示面板与第一处理器111信号连接。

在本实施例中，显示面板根据该融合图像信息展示自由立体图像，以对应的背光驱动亮度值展示各空间视区信息对应的虚拟图像信息。

可选地，显示面板可以根据各背光驱动亮度值，驱动对应的像素发出不同的绝对亮度值，以提高空间各视点在人眼中亮度的均一性。

可选地，显示面板可以根据各背光驱动亮度值，驱动对应的像素以不同的发光持续时间发光，以提高空间各视点在人眼中亮度的均一性。

在一个具体实施例中，自由立体图像显示系统100中图像展示设备130展示自由立体图像的状态，如图5所示。一般来说，显示面板的背光源亮度通常是一致的，但是基于柱透镜后主瓣视区的亮度更高，清晰度更好，各级旁瓣视区的光线因柱透镜折射损失而相对主瓣视区的亮度更低，而且各级旁瓣视区的亮度随与主瓣视区的距离的加大而降低。这就导致了观察者在主瓣视区和各级旁瓣视区观察到的画面的亮度差异极大，容易让人感受到明显的亮度变化。

本申请各实施例提供的基于柱透镜的自由立体图像处理方法、装置、设备及系统，为各空间视区信息对应的虚拟图像信息匹配对应的背光驱动亮度值，具体是如图5中第一级旁瓣视区对应的背光驱动亮度值高于主瓣视区的背光驱动亮度值，第二级旁瓣视区对应的背光驱动亮度值高于第一级旁瓣视区的背光驱动亮度值，以此类推，从而降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性，也有利于实现对比度的大幅度提升，提高观察者的视觉体验。

应用本申请实施例，至少能够实现如下有益效果：

1、针对与人眼位置对应的空间视区信息，为各空间视区信息对应的虚拟图像信息匹配对应的背光驱动亮度值，具体是背光驱动亮度值沿最远离主瓣视区的旁瓣视区靠近主瓣视区的方向减小，从而降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性，也有利于实现对比度的大幅度提升，提高观察者的视觉体验。

2、在确定至少部分虚拟图像信息对应的背光驱动亮度值的过程中，从虚拟图像信息中提取成对的左眼图像信息和右眼图像信息，分别确定左眼图像信息和右眼图像信息对应的背光驱动亮度值，以降低自由立体显示的视区内不同位置之间观察者左眼观察的图像与右眼观察的图像的亮度差异。

3、将分别根据对应的图像信息确定的左眼背光驱动亮度值与右眼背光驱动亮度值进行加权平均，得出的加权平均数作为最终驱动展示成对的左眼图像信息和右眼图像信息的背光驱动亮度值。这样有利于实现降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性的前提下，简化控制信号种类，进而简化硬件布线结构，降低设计以及使用成本，利于产品推广。

4、在确定至少部分虚拟图像信息对应的背光驱动亮度值的过程中，从虚拟图像信息中提取成对的左眼图像信息和右眼图像信息、以及与成对的左眼图像信息和右眼图像信息相关联的双眼中位图像信息，确定双眼中位图像信息对应的背光驱动亮度值，分别作为左眼图像信息和右眼图像信息对应的背光驱动亮度值。这样也能够有利于实现降低自由立体显示的视区内不同位置之间的亮度差异，提高空间各视点在人眼中亮度的均一性的前提下，简化控制信号种类，进而简化硬件布线结构，降低设计以及使用成本，利于产品推广。

5、对应于主瓣视区的各主瓣背光驱动子亮度值沿靠近主瓣视区的中心的方向减小，有利于为主瓣视区内各空间视区子信息对应的虚拟子图像信息匹配对应的主瓣背光驱动子亮度值，具体是主瓣背光驱动子亮度值沿靠近主瓣视区的中心的方向减小，从而降低自由立体显示的主瓣视区内不同位置之间的亮度差异，提高主瓣视区内各视点在人眼中亮度的均一性。

6、对应于旁瓣视区的各旁瓣子背光驱动子亮度值沿靠近旁瓣视区的方向减小，有利于为旁瓣视区内各空间视区子信息对应的虚拟子图像信息匹配对应的旁瓣背光驱动子亮度值，具体是旁瓣背光驱动子亮度值沿靠近主瓣视区的方向减小，从而降低自由立体显示的旁瓣视区内不同位置之间的亮度差异，提高旁瓣视区内各视点在人眼中亮度的均一性。

7、将虚拟图像信息和背光驱动亮度值对应融合，即将虚拟图像信息和背光驱动亮度值对应关联，以便于发送至显示执行设备。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

在本申请的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

在本说明书的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种基于柱透镜的自由立体图像处理方法，其特征在于，包括：

获取与人眼位置对应的空间视区信息；所述空间视区信息包括主瓣视区和依次远离所述主瓣的至少一级旁瓣视区；

构建与所述空间视区信息对应的虚拟图像信息；

根据所述空间视区信息，确定至少部分所述虚拟图像信息对应的背光驱动亮度值；所述背光驱动亮度值沿最远离所述主瓣视区的所述旁瓣视区靠近主瓣视区的方向减小；

将所述虚拟图像信息和所述背光驱动亮度值对应融合，得到并输出融合图像信息。

2.根据权利要求1所述的自由立体图像处理方法，其特征在于，所述根据所述空间视区信息，确定至少部分所述虚拟图像信息对应的背光驱动亮度值，包括：

在所述虚拟图像信息中提取成对的左眼图像信息和右眼图像信息；

分别确定所述左眼图像信息和所述右眼图像信息对应的背光驱动亮度值。

3.根据权利要求2所述的自由立体图像处理方法，其特征在于，所述分别对所述左眼图像信息和所述右眼图像信息确定对应的背光驱动亮度值，包括：

分别确定与所述左眼图像信息对应的左眼背光驱动亮度值、和与所述右眼图像信息对应的右眼背光驱动亮度值；

确定所述左眼背光驱动亮度值和所述右眼背光驱动亮度值的加权平均数作为成对的所述左眼图像信息和所述右眼图像信息分别对应的背光驱动亮度值。

4.根据权利要求1所述的自由立体图像处理方法，其特征在于，所述根据所述空间视区信息，确定至少部分所述虚拟图像信息对应的背光驱动亮度值，包括：

在所述虚拟图像信息中提取成对的左眼图像信息和右眼图像信息、以及与所述成对的左眼图像信息和右眼图像信息相关联的双眼中位图像信息；

确定所述双眼中位图像信息对应的背光驱动亮度值，分别作为所述左眼图像信息和所述右眼图像信息对应的背光驱动亮度值。

5.根据权利要求1所述的自由立体图像处理方法，其特征在于，所述将所述虚拟图像信息和所述背光驱动亮度值对应融合，得到并输出融合图像信息，包括：

在所述虚拟图像信息中增加信息行，将对应的所述背光驱动亮度值写入所述信息行；或，为所述虚拟图像信息和对应的所述背光驱动亮度值分别赋予相同或相应的时序标签。

6.根据权利要求1所述的自由立体图像处理方法，其特征在于，所述构建与所述空间视区信息对应的虚拟图像信息，包括：

渲染立体虚拟场景；

在所述立体虚拟场景中构建与所述空间视区信息对应的视角相机进行场景拍摄，得到位于主瓣视区的所述虚拟图像信息、和位于至少一级旁瓣视区的所述虚拟图像信息。

7.根据权利要求6所述的自由立体图像处理方法，其特征在于，在所述得到位于主瓣视区的所述虚拟图像信息、和位于至少一级旁瓣视区的所述虚拟图像信息之后，还包括：

将所有所述虚拟图像信息拼接成一张总的虚拟图像信息。

8.根据权利要求1-7中任一项所述的自由立体图像处理方法，其特征在于，所述背光驱动亮度值包括：

至少一个主瓣背光驱动子亮度值，对应于所述主瓣视区；所述主瓣背光驱动子亮度值沿靠近主瓣视区的中心的方向减小；

至少一个旁瓣子背光驱动子亮度值，对应于所述旁瓣视区；所述旁瓣子背光驱动子亮度值沿靠近主瓣视区的方向减小。

9.一种自由立体图像处理装置，其特征在于，包括：

视区获取模块，用于获取与人眼位置对应的空间视区信息；所述空间视区信息包括主瓣视区和依次远离所述主瓣的至少一级旁瓣视区；

场景构建模块，用于构建与所述空间视区信息对应的虚拟图像信息；

图像处理模块，用于根据所述空间视区信息，确定至少部分所述虚拟图像信息对应的背光驱动亮度值；所述背光驱动亮度值沿最远离所述主瓣视区的所述旁瓣视区靠近主瓣视区的方向减小；

图像输出模块，用于将所述虚拟图像信息和所述背光驱动亮度值对应融合，得到并输出融合图像信息。

10.一种自由立体图像处理设备，其特征在于，包括：

第一处理器；

存储器，与所述第一处理器电连接，配置用于存储机器可读指令，所述指令在由所述第一处理器执行时，实现如上述权利要求1-8中任一项所述基于柱透镜的自由立体图像处理方法。

11.一种自由立体图像显示系统，其特征在于，包括：

如上述权利要求10所述的自由立体图像处理设备；

人眼跟踪设备，与所述自由立体图像处理设备中的第一处理器信号连接，用于采集人眼位置、以及确定与所述人眼位置对应的空间视区信息；

图像展示设备，与所述自由立体图像处理设备中的第一处理器信号连接，用于根据所述第一处理器输出的融合图像信息，展示自由立体图像。

12.根据权利要求11所述的自由立体图像显示系统，其特征在于，所述人眼跟踪设备包括：摄像头和第二处理器；所述第二处理器分别与所述摄像头和所述第一处理器信号连接；

和/或，所述图像展示设备包括：基于柱透镜的显示面板；所述显示面板与所述第一处理器信号连接。

13.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机指令，当所述计算机指令在计算机上运行时，实现如上述权利要求1-8中任一项所述基于柱透镜的自由立体图像处理方法。