CN114446262B - 色偏矫正方法和头戴显示装置 - Google Patents

Abstract

本申请实施例提供了一种色偏矫正方法和头戴显示装置，通过头戴显示装置中的眼动跟踪装置获取用户的当前瞳孔位置，进一步确定当前瞳孔位置下光学系统的色偏信息，由此，通过该色偏信息对待显示图像进行色偏矫正，以显示矫正后的图像，使得用户观测到无色偏的图像，提高用户虚实交互的沉浸式体验。

Description

色偏矫正方法和头戴显示装置

技术领域

本申请涉及虚拟现实技术领域，尤其涉及一种色偏矫正方法和头戴显示装置。

背景技术

虚拟现实技术是一种仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术、等多种技术的集合，其利用计算机为用户创建一个可以体验虚拟世界的模拟环境。用户通过佩戴头戴显示装置，可以获得一个在虚拟空间中浸入式的交互环境。

在虚拟现实场景中，由光学系统及电子系统组成的显示系统为用户提供虚拟世界的视觉信息，高质量的图像会给用户带来逼真的体验。但在现有设计中，在头戴显示装置中，使用光学系统将显示屏中的画面放大成像，但因为光学系统中透镜、反射镜、偏振片等的类型、材质，还有各光学器件之间的应力等关系，使显示的图像画面产生色偏。由于色偏问题的存在，用户观测到的图像颜色与实际图像颜色不同。眼睛对色彩极为敏感，色偏问题将大大降低用户虚实交互的真实体验。

发明内容

本申请实施例提供了一种色偏矫正方法和头戴显示装置，可实现用户眼睛瞳孔处于不同位置，都可以观测到无色偏的图像。这样，可以提高用户在佩戴头戴显示装置时的真实体验。

第一方面，本申请实施例提供了一种色偏矫正方法，应用于头戴显示装置，所述头戴显示装置包括光学系统、眼动跟踪装置和显示屏，所述方法包括：通过眼动跟踪装置获取当前瞳孔位置；确定所述当前瞳孔位置对应的目标色偏信息，所述目标色偏信息用于指示在所述当前瞳孔位置观测所述显示屏时由所述光学系统所引起的色偏；所述目标色偏信息包括所述显示屏中每个显示单元对应的色偏值；根据所述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像；显示所述矫正图像。

实施第一方面提供的方法，头戴显示装置通过眼动跟踪装置获取当前瞳孔位置，进一步确定当前瞳孔位置下光学系统的色偏信息，由此，通过该色偏信息对待显示图像进行色偏矫正，以显示矫正后的图像，使得用户观测到的无色偏的图像，提高了用户体验。

结合第一方面，在一些实施例中，所述确定所述当前瞳孔位置对应的目标色偏信息，包括：确定数据库中所述当前眼瞳孔位置对应的色偏信息为所述目标色偏信息，所述数据库包括多个瞳孔位置和所述多个瞳孔位置分别对应的色偏信息。

结合第一方面，在一些实施例中，所述确定所述当前瞳孔位置对应的目标色偏信息，包括：将当前瞳孔位置输入到色偏计算模型，得到目标色偏信息，所述色偏计算模型用于根据输入的瞳孔位置计算所述光学系统的色偏信息。

结合第一方面，在一些实施例中，一个所述显示单元为所述显示屏中的一个像素点，所述目标色偏信息包括所述显示屏中每个像素点对应的色偏值，所述待显示图像分辨率和所述显示屏的分辨率均为M*N，M、N为正整数，所述根据所述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像，包括：根据所述目标色偏信息对所述待显示图像中的每一个像素点进行颜色补偿，得到所述矫正图像；所述矫正图像中的第i行第j列的像素点的色度值为所述待显示图像中的第i行第j列的像素点的色度值与所述显示屏中的第i行第j列的像素点对应的色偏值之和，i为不大于M的正整数，j为不大于N的正整数。

结合第一方面，在一些实施例中，所述显示屏被划分出多个显示单元，一个所述显示单元为所述显示屏中的包括多个像素点的显示区域，所述待显示图像分辨率和所述显示屏的分辨率相同，均为M*N，M、N为正整数，所述根据所述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像，包括：根据所述目标色偏信息对所述待显示图像中的每一个像素点进行颜色补偿，得到所述矫正图像；所述矫正图像中的第i行第j列的像素点的色度值为所述待显示图像中的第i行第j列的像素点的色度值与所述显示屏中的第i行第j列的像素点所在的显示单元对应的色偏值之和，i为不大于M的正整数，j为不大于N的正整数。

结合第一方面，在一些实施例中，所述根据所述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像，包括：根据所述当前瞳孔位置确定所述待显示图像中的待矫正区域，所述待矫正区域为所述当前瞳孔位置所确定的视线区域；根据所述目标色偏信息对所述待显示图像中的所述待矫正区域进行颜色补偿，得到矫正图像。

结合第一方面，在一些实施例中，所述眼动跟踪装置包括至少一个摄像头，所述通过眼动跟踪装置获取当前瞳孔位置，包括：通过所述至少一个摄像头采集用户眼睛区域的图像；识别所述图像中的瞳孔；根据识别到的瞳孔在所述图像中的位置和所述摄像头在头戴显示装置中的位置，确定当前瞳孔位置。

第二方面，本申请实施例提供了一种头戴显示装置，包括处理器、存储器、光学系统、显示屏、眼动跟踪装置，其中，所述处理器通过总线分别耦合所述眼动跟踪装置、所述光学系统、所述显示屏、所述一个或多个存储器；所述光学系统设置于所述显示屏面对用户的一侧，用于放大所述显示屏显示的图像；所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；所述处理器用于调用所述计算机指令执行以下操作：通过眼动跟踪装置获取当前瞳孔位置；确定所述当前瞳孔位置对应的目标色偏信息，所述目标色偏信息用于指示在所述当前瞳孔位置观测所述显示屏时由所述光学系统所引起的色偏；所述目标色偏信息包括所述显示屏中每个显示单元对应的色偏值；根据所述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像；通过所述显示屏显示所述矫正图像。

结合第二方面，在一些实施例中，所述处理器具体用于调用所述计算机指令执行以下操作：确定数据库中所述当前眼瞳孔位置对应的色偏信息为所述目标色偏信息，所述数据库包括多个瞳孔位置和所述多个瞳孔位置分别对应的色偏信息。

结合第二方面，在一些实施例中，所述处理器具体用于调用所述计算机指令执行以下操作：将当前瞳孔位置输入到色偏计算模型，得到目标色偏信息，所述色偏计算模型用于根据输入的瞳孔位置计算所述光学系统的色偏信息。

结合第二方面，在一些实施例中，一个所述显示单元为所述显示屏中的一个像素点，所述目标色偏信息包括所述显示屏中每个像素点对应的色偏值，所述待显示图像分辨率和所述显示屏的分辨率均为M*N，M、N为正整数；所述处理器具体用于调用所述计算机指令执行以下操作：根据所述目标色偏信息对所述待显示图像中的每一个像素点进行颜色补偿，得到所述矫正图像；所述矫正图像中的第i行第j列的像素点的色度值为所述待显示图像中的第i行第j列的像素点的色度值与所述显示屏中的第i行第j列的像素点对应的色偏值之和，i为不大于M的正整数，j为不大于N的正整数。

结合第二方面，在一些实施例中，所述显示屏被划分出多个显示单元，一个所述显示单元为所述显示屏中的包括多个像素点的显示区域，所述待显示图像分辨率和所述显示屏的分辨率相同；所述处理器还用于调用所述计算机指令执行以下操作：根据所述目标色偏信息对所述待显示图像中的每一个像素点进行颜色补偿，得到所述矫正图像；所述矫正图像中的第i行第j列的像素点的色度值为所述待显示图像中的第i行第j列的像素点的色度值与所述显示屏中的第i行第j列的像素点所在的显示单元对应的色偏值之和，i为不大于M的正整数，j为不大于N的正整数。

结合第二方面，在一些实施例中，所述处理器还用于调用所述计算机指令执行以下操作：根据所述当前瞳孔位置确定所述待显示图像中的待矫正区域，所述待矫正区域为所述当前瞳孔位置所确定的视线区域；根据所述目标色偏信息对所述待显示图像中的所述待矫正区域进行颜色补偿，得到矫正图像。

结合第二方面，在一些实施例中，所述处理器还用于调用所述计算机指令执行以下操作：通过使用至少一个摄像头采集用户眼睛区域的图像；识别所述图像中的瞳孔；根据识别到的瞳孔在所述图像中的位置和摄像头在头戴显示装置中的位置，确定当前瞳孔位置。

第三方面，本申请实施例提供一种计算机可读存储介质，包括计算机指令，当所述计算机指令在头戴显示装置上运行时，使得所述头戴显示装置执行如第一方面以及第一方面中任一可能的实现方式描述的色偏矫正方法。

可以理解地，上述提供的第二方面提供的头戴显示装置和第三方面提供的计算机存储介质均用于执行本申请实施例所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

附图说明

图1A是本申请实施例提供的一种头戴显示装置的结构示意图；

图1B是本申请实施例提供的一种眼动跟踪装置的位置的侧视图示意图；

图1C是本申请实施例提供的另一种眼动跟踪装置的位置的侧视图示意图；

图2是本申请实施例提供的一种单镜片组成的光学系统的成像原理示意图；

图3是本申请实施例提供的一种折叠光学系统的原理示意图；

图4是本申请实施例提供的一种色偏矫正方法的流程示意图；

图5是本申请实施例提供的一种基于目标色偏信息对待显示图像进行色偏矫正的实现方式的流程示意图；

图6是本申请实施例提供的一个待矫正区域的示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有实施例，都属于本发明保护的范围。

下面对本申请实施例的涉及的虚拟现实(virtual reality，VR)进行描述。

虚拟现实(virtual reality，VR)技术已经广泛应用到各个领域中，影视、游戏、教育、医疗、旅游、企业培训等等。例如，在教育中，利用虚拟现实技术可以帮助学生打造生动、逼真的学习环境，使学生通过真实感受来增强记忆，利用虚拟现实技术来进行自主学习更容易让学生接受，这种方式更容易激发学生的学习兴趣；在医疗中，主刀医生们在手术前，可以建立一个病人身体的虚拟模型，在虚拟空间中先进行一次手术预演，这样能够大大提高手术的成功率，让更多的病人得以痊愈。

VR通过隔绝式的音视频内容带来沉浸感体验，对显示画质要求较高。在VR场景中，通常采用光学镜片组放大显示屏显示的图像内容，从而获得模拟人的双眼视觉的效果，让用户获得了沉浸感。显示转至的显示的画面是根据传感器获取的眼睛所处位置进行图像生成获得，与真实世界中眼睛所看到的画面相似，因此实现了虚拟世界的展现。由于光学系统中各种光学镜片类型、材质、其之间应力等的关系，会导致在整个光学系统在成像时色偏问题的产生。为了减小VR眼镜体积大、重量大的问题，可采用折叠光路的方式来降低VR眼镜整体的光学尺寸。这是由于折叠光路通过偏振反射片、半反半透膜实现了光在多个镜片中进行多次折返，在维持光路总长度不变的情况下，大大缩短了光学镜筒的总长。若需要降低整机的体积，可采用小尺寸的显示屏，但小尺寸的显示屏因其较大的发光角引起色偏。通常在VR场景中，眼睛发生转动或移动时，显示屏的发光角是不同的，距离光轴越远，使用到的发光角越大，色偏就越严重。

本申请实施例提供一种色偏矫正的方法和头戴显示装置，通过眼动跟踪装置获取当前瞳孔位置，进一步确定当前瞳孔位置下光学系统的色偏信息，由此，通过该色偏信息对待显示图像进行色偏矫正，以显示矫正后的图像，使得用户观测到无色偏的图像。

下面对本申请实施例涉及的头戴显示装置进行描述。

请参阅图1A，图1A是本申请实施例提供的一种头戴显示装置的结构示意图，如图所示，该装置包括处理器110、内部存储器120、外部存储器接口121、眼动跟踪装置130、光学系统140、显示屏150、传感器160、通信模块170等，其中，传感器160可以包括摄像头161、加速度传感器162和陀螺仪传感163器等。本申请实施例中的头戴显示装置可以为VR眼镜、AR眼镜等人机交互装置，用于计算处理和显示。

可以理解的是，本申请实施例示意的结构并不构成对头戴显示装置的具体限定。在本申请另一些实施例中，头戴显示装置可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。其中，各部分的详细描述如下。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图像处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是头戴显示装置的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

内部存储器120可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器120的指令，从而执行头戴显示装置100的各种功能应用以及数据处理。内部存储器120可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储头戴显示装置100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

外部存储器接口121可以用于连接外部存储卡，例如Micro SD卡，实现扩展头戴显示装置100的存储能力。外部存储卡通过外部存储器接口121与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

眼动跟踪装置130，可以包括至少一个摄像头，摄像头可以是红外摄像头。该眼动跟踪装置130还可以包括图像分析模块，该图像分析模块可以对摄像头采集到的图像进行处理，以识别该图像中的瞳孔和眼睛，进一步地，可以基于眼睛在图像中的位置确定眼睛的位置以及根据识别到的瞳孔在眼睛中的位置，确定瞳孔位置。

在一种实施方式中，眼动跟踪装置130中，可以增设红外光源，该红外光源能够均匀发射红外光，如安装有匀光系统的红外激光器，或者均匀排布的LED红外发光板。可选地，可以在摄像头前放置至少一个滤光装置，该滤光装置可以滤掉除红外光源发出的光源波长之外的光，以通过摄像头获取到高质量的图像。

在一些实施例中，头戴显示装置100还可以不包括眼动跟踪装置130，由摄像头161和处理器110的结合来实现眼睛的位置/瞳孔位置的获取。

光学系统140可以包括沿光学系统的光轴排列的透镜、反射镜、半反半透镜、偏振片、波片、抗反射膜等，光学系统140设置于显示屏150面对用户的一侧，用于放大显示屏150显示的图像。透镜可以是凸透镜，将显示屏上的图像内容放大成像；反射镜可以是镀上反射膜的平面反射镜、球面反射镜、非球面反射镜；半反半透镜可以是一种在光学玻璃上镀制半反射膜，改变入射光束原来的透射和反射的比例的种光学元件；偏振片可以是用人工方法制成的薄膜，它允许透过某一电矢量振动方向的光(此方向称为偏振化方向)，而吸收与其垂直振动的光；波片是能使互相垂直的两光振动间产生附加光程差(或相位差)的光学器件，其中1/4波片在光路中常用来使线偏振光变为圆偏振光或椭圆偏振光，或者相反；抗反射膜可以是一层或多层的膜，能够使得经由各个界面反射回来的光波与光波之间产生破坏性的干涉，增加玻璃透过率，减少反射率，从而减少图像失真。

头戴显示装置通过GPU，显示屏150，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏150和应用处理器。GPU用于执行数学和几何计算，用于图形渲染与图像处理。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏150用于显示图像，视频等，例如待显示图像进行色偏矫正后的图像，即矫正图像。显示屏150包括显示面板。显示面板可以采用液晶显示屏(liquid crystaldisplay，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，头戴显示装置100可以包括1个或N个显示屏150，N为大于1的正整数。例如，头戴显示装置中可以由两个显示屏显示待显示图像，分别对应于用户的左眼和右眼。

摄像头161用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，头戴显示装置100可以包括1个或N个摄像头161，N为大于1的正整数。

加速度传感器162可检测头戴显示装置100在各个方向上(一般为三轴)加速度的大小。当头戴显示装置100静止时可检测出重力的大小及方向。还可以用于识别头戴显示装置姿态，应用于获取用户姿态信息，和该装置中计步器等应用。

陀螺仪传感器163可以用于确定头戴显示装置100的运动姿态。在一些实施例中，可以通过陀螺仪传感器163确定头戴显示装置100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器163可以用于获取用户头部姿态变化。示例性的，当用户头部转动或抖动时，陀螺仪传感器163检测头戴显示装置100抖动的角度。陀螺仪传感器163还可以用于导航，体感游戏场景。

通信模块170可以包括调制解调处理器、至少一个天线、滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等，可以实现2G/3G/4G/5G移动通信，无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near fieldcommunication，NFC)，红外技术(infrared，IR)等近距离无线通信。

通信总线可包括一个通路，在上述组件之间传送信息，该总线可以是PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线标识，但并不表示仅有一根总线或者一种类型的总线。

下面对眼动跟踪装置进行描述。

如图1B所示为一种眼动跟踪装置的位置的侧视图，眼动跟踪装置可以包括至少一个摄像头10，摄像头10可以位于光学系统11的边缘，光学系统11可以包括沿光轴11a排列的第一透镜11b和第二透镜11c，光学系统11位于显示屏12与用户的眼睛13之间，摄像头10位于第一透镜11b的边缘，摄像头10的镜头面对用户。

如图1C所示为另一种眼动跟踪装置的位置的侧视图，眼动跟踪装置可以包括至少一个摄像头10，摄像头10可以位于光学系统11的边缘，光学系统11可以包括沿光轴11a排列的第一透镜11b和第二透镜11c，光学系统11位于显示屏12与用户的眼睛13之间，摄像头10位于显示屏12的边缘，摄像头10的镜头面对用户。

可以理解的是，不限于上述图1B和图1C所示的摄像头的位置，摄像头的位置还可以设置于头戴显示装置的其他位置，这里不作限定。

下面对光学系统实施例进行描述。

本申请实施例中的光学系统可以包括一个或多个透镜、一个或多个反射镜等。其中，光学系统中的透镜可以将显示屏中显示的图像内容放大，反射镜可以实现光路的反射或折叠等，上述光学系统可以为用户提供一个沉浸式体验的虚拟环境。

如图2所示为单镜片组成的光学系统的成像原理示意图。如图2所示，该光学成像系统至少包括一个凸透镜201。该凸透镜201位于用户202与显示屏203之间。显示屏用于显示图像内容，显示屏发射的光穿过凸透镜201射入到用户202的眼睛，在显示屏203远离凸透镜201的一侧成一个正立的、放大的虚像204。

可选的，凸透镜201可以使用菲涅尔镜片、光场镜片等。

如图3所示的折叠光学系统的原理示意图，该光学系统可以包括：第一透镜301、第二透镜302。第一透镜301面向第二透镜302的表面包括半反半透膜312，第二透镜302面向显示屏304的表面包括偏振反射膜322。

具体的，当显示屏304显示图像内容，显示屏304发出的光线经过第二透镜302射向第一透镜301，经过半反半透膜312的反射后，再经过第二透镜302的偏振反射膜322反射回第一透镜301，光线穿过第一透镜301到达用户303。

可见，折叠光学系统通过偏振反射膜322、半反半透膜312实现光在多个透镜中的多次折返，在维持光路总长度不变的情况下，缩短光学镜筒的总长。

折叠光学系统中的可以有至少一个偏振反射膜322，可根据不同光路设计放置在不同位置。折叠光学系统可以包括一个或多个透镜，各透镜的表面可以是凹面、凸面或曲面。可以根据功能需要对透镜表面进行镀膜形成各种功能膜，如半反半透膜、反射膜、偏振膜、抗反射膜等膜中的一种或多种。需要说明的是，上述图2所示的光学系统和图3所示的折叠光学系统仅为本申请中光学系统的示例性说明，其中，附图中的透镜只为示例，不代表实际的透镜形状、尺寸。

以下通过图4至图6所示的实施例对图像色偏矫正方法进行详细描述。

请参阅图4，图4是本申请实施例提供的一种色偏矫正方法的流程示意图，该方法可以由上述图1A所示的头戴显示装置来执行，也可以由上述图1A所示的处理器来执行，此处以头戴显示装置为例进行描述，该方法包括但不限于如下部分或全部步骤：

S1：头戴显示装置通过眼动跟踪装置获取当前瞳孔位置。

瞳孔位置为用户佩戴头戴显示装置时，瞳孔相对头戴显示装置的位置。其中，眼动跟踪装置可以包括摄像头，具体可以参见上述图1A中眼动跟踪装置相关描述，这里不再赘述。

通过眼动跟踪装置获取当前位置的一种实现可以是：通过设置于眼动跟踪装置中的摄像头获取图像，识别该图像中的瞳孔，进一步地，可以基于瞳孔在图像中的位置和摄像头在头戴显示装置中的位置，进而得到瞳孔位置。

S2：头戴显示装置确定当前瞳孔位置对应的目标色偏信息。

头戴显示装置将当前瞳孔位置对应的色偏信息作为目标色偏信息，该目标色偏信息用于指示在当前瞳孔位置观测所述显示屏时由上述光学系统所引起的色偏，该目标色偏信息包括显示屏中每个显示单元对应的色偏值。其中，显示单元是将显示屏划分成若干个等分的区域。一个显示单元可以是一个像素点，也可以是包括多个像素点的显示区域。

应理解，色偏是指用户在观测显示屏时，观测到的图像与显示屏上显示的图像之前的色偏，色偏信息包括显示屏中每个显示单元对应的色偏值。

在本申请实施例中，S2可以包括但不限于如下两种实现方式，即，实现方式(1)，通过在数据库中查找目标色偏信息，实现方式(2)，利用色偏计算模型根据当前瞳孔位置计算目标色偏信息。下面对实现方式(1)和实现方式(2)：

实现方式(1)：

头戴显示装置可以在数据库中存储多个瞳孔位置和该多个瞳孔位置分别对应的色偏信息，进而，在应用过程中，头戴显示装置根据当前瞳孔位置，确定数据库中当前瞳孔位置对应的色偏信息为目标色偏信息。

其中，数据库可以是如表1所示的形式，表1是每个瞳孔位置和其对应于显示屏中每个显示单元的色偏值的关系表，通过瞳孔位置就可以查找到其对应的显示屏中每个显示单元的色偏信息。

表1

实现方式(2)：

头戴显示装置可以存储色偏计算模型，该色偏计算模型用于根据输入的瞳孔位置计算头戴显示装置中光学系统的色偏信息。在应用过程中，头戴显示装置将当前瞳孔位置输入到色偏计算模型，得到目标色偏信息。

在一些实施例中，可以基于表1所示的数据库来训练或者构建色偏计算模型。

在另一些实施例中，色偏计算模型是基于光学系统的属性理论计算得到的。

应理解，光学系统的色偏信息与两个因素有关：(1)、光学系统本身的属性，例如光学系统中透镜、反射镜、偏振片等的类型、材质、应力等；(2)、用户的眼睛的位置，眼睛处于不同位置或眼睛转动引起显示屏的发光角变化，因而会产生色偏。

还应理解，在一个头戴显示装置中，其中，光学系统的结构(透镜的个数、位置、焦距)和参数(如、透镜的折射率、形状等)固定不变，基于固定不变光学系统，可以构建该光学系统对应的色偏计算模型，以计算该在不同位置通过光学系统观测显示屏产生的色偏信息。

本申请实施例中，可以通过下述方式建立上述数据库。

一种建立数据库的方式可以是模拟仿真，在一个光学系统下，可根据系统各部分参数、眼睛位置进行模拟仿真，获取不同瞳孔位置分别对应的色偏信息。在该光学系统下，各透镜材质、形状、类型及各光学器件之间关系一定，显示屏参数也一定，此时色偏信息由眼睛瞳孔位置唯一确定。在仿真软件中设置该光学系统的结构与参数等信息，输入一个眼睛瞳孔位置，获得其对应显示屏中多个显示单元的色偏信息；按照该方法将所有的眼睛瞳孔位置在仿真软件中模拟仿真，从而获得多个眼睛瞳孔位置分别对应显示屏中多个显示单元的色偏信息。将显示屏平均分为M*N个显示单元，有Q个眼睛瞳孔位置，那么就有Q*M*N个色偏信息，由这些数据建立预设数据库，M、N、Q均为大于1的正整数。

另一种建立数据库的方式可以是实验测量，可根据某一特定光学系统下的实际测得多个眼睛瞳孔位置分别对应显示装置中多个显示单元的色偏信息，将显示屏平均分为M*N个显示单元，有Q个眼睛瞳孔位置，在每一个眼睛瞳孔位置测得其对应显示屏中多个显示单元的色偏值，以此方法测量每个眼睛瞳孔位置对应显示屏中每个显示单元的色偏值，获得Q*M*N个色偏信息，由这些数据建立上述数据库。

需要说明的，对于该数据库，不限于以上建立方法，本申请实施例不作限定。

S3：头戴显示装置根据上述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像；

在具体的实施方式中，S3可以包括但不限于以下三种实现方式：

实现方式A：

显示屏可以被均分成多个显示单元，一个显示单元为显示屏中的一个像素点，目标色偏信息包括显示屏中每个像素点对应的色偏值，其中，待显示图像分辨率和显示屏的分辨率均为M*N，M、N为正整数。

头戴显示装置获得当前瞳孔位置对应的目标色偏信息，即此处对应的显示屏中每个像素的色偏值。根据上述目标色偏信息对上述待显示图像中每一个像素点进行颜色补偿，颜色补偿的方法是将待显示图像中的第i行第j列的像素点的色度值与显示屏中的第i行第j列的像素点对应的色偏值相加，得到矫正图像中的第i行第j列的像素点的色度值，其中，i为不大于M的正整数，j为不大于N的正整数。

例如，待显示图像中第i行第j列的像素点的颜色补偿就是将该像素点的色度值a与显示屏中的第i行第j列的像素点对应的色偏值b相加，得到矫正图像中的第i行第j列的像素点的色度值a’，其中，i为不大于M的正整数，j为不大于N的正整数。以此方式，将待显示图像中的每一个像素点进行色度值的计算得到矫正图像中每一个像素点的色度值。

实现方式B：

显示屏可以均分成多个显示单元，一个显示单元为显示屏中的包括多个像素点的显示区域，每个显示单元中的多个像素点具有相同的色偏值。目标色偏信息包括显示屏中每个显示单元对应的色偏值，其中，待显示图像分辨率和显示屏的分辨率均为M*N，M、N为正整数。

应理解，每个显示单元中包括的多个像素点的色偏值均相同，均为该显示单元对应的色偏值。

头戴显示装置获得当前瞳孔位置对应的目标色偏信息，即当前瞳孔位置对应的显示屏中每个显示单元的色偏值。根据该目标色偏信息对待显示图像中每一个像素点进行颜色补偿，显示屏中每个像素点的色偏值为其所在显示单元对应的色偏值。颜色补偿的方法是将待显示图像中的第i行第j列的像素点的色度值与显示屏中的第i行第j列的像素点对应的色偏值相加，得到矫正图像中的第i行第j列的像素点的色度值，其中，i为不大于M的正整数，j为不大于N的正整数。

例如，显示屏中第i行第j列的像素点所在的显示单元的色偏值为b，则该像素点的色偏值也为b，则待显示图像中第i行第j列的像素点的颜色补偿就是将该点的色度值a与显示屏中的第i行第j列的像素点对应的色偏值b相加，得到矫正图像中的第i行第j列的像素点的色度值a’，其中，i为不大于M的正整数，j为不大于N的正整数。以此方式，将待显示图像中的每一个像素点进行色度值的计算得到矫正图像中每一个像素点的色度值。

实现方式C：

头戴显示装置根据当前瞳孔位置确定待显示图像中的待矫正区域，再根据所述目标色偏信息对所述待显示图像中的待矫正区域进行颜色补偿，得到矫正图像。其中，待矫正区域为根据当前瞳孔位置所确定的视线区域，可以根据眼睛聚焦范围、瞳孔位置与显示屏的距离确定。

具体地，请参阅图5所示的一种基于目标色偏信息对待显示图像进行色偏矫正的实现方式的流程示意图，该实现方式可以包括但不限于如下步骤：

S301：根据当前瞳孔位置确定待显示图像中的待矫正区域。

通过获取的瞳孔位置确定待显示图像中待矫正区域的范围。确定待矫正区域的过程是：根据上述步骤S1中确定的瞳孔位置可以确定视线落在显示屏上的位置，再根据瞳孔位置与显示屏的距离和眼睛聚焦的范围，确定在显示屏中的视线区域。其中，眼睛聚焦的范围包括眼睛在垂直方向与水平方向上的敏感视角范围，人眼能够看清楚在敏感视角范围内的物体。如图6所示，图中1为待显示图像，图中2为用户眼睛的视线落在显示屏上的位置，图中阴影区域3为以视线落在显示屏上的位置为中心所确定的视线区域，也是待显示图像中的待矫正区域。

S302：确定待矫正区域的目标色偏信息。

通过上述步骤S2中实现方式(1)或实现方式(2)确定待矫正区域的目标色偏信息，此处不再赘述。

S303：根据确定的目标色偏信息对待显示图像中的待显示区域进行色偏矫正，得到矫正图像。

根据该确定的目标色偏信息对上述待显示图像中的上述待矫正区域进行颜色补偿，可以根据上述S3中实现方式A或实现方式B所述的方法对待矫正区域进行颜色补偿，此处不再赘述。

应理解，在虚拟现实场景中，显示屏中的视频内容通常含有大量的静止或活动的数字图形、文字，头戴显示装置中的图像处理部分需要对待显示的每一帧图像进行处理再显示，对芯片的计算力有很高要求。如果对待显示的每一帧图像的所有内容都进行处理再显示，有可能会降低视频帧率，影响流畅度，芯片计算力很大。人类视力的敏锐度随着偏离视网膜中心的距离增大而急剧下降。在用户佩戴头戴显示装置时，通过该装置观察虚拟场景，用户在同一时刻不可能对显示屏上所有区域都保持高敏锐度，眼睛只对视线落在显示屏上的位置周围一定范围内的部分比较敏感。因此，将待显示的图像根据重要性划分区域，只对眼睛敏感区域的内容进行处理，为该部分内容分配较多的编码资源，为不重要区域的内容分配较少的编码资源，这样不仅能够为用户提供高质量、逼真的图像，而且能够大大降低芯片的计算压力。

需要说明的，待显示图像的分辨率与显示屏分辨率相同。不限于以上用户的视线落在显示屏上的视点位置的确定方法，也可根据眼动规律进行视点位置预测，即根据当前用户在佩戴头戴显示装置过程中的眼睛和瞳孔位置数据，使用数学模型进行预测视点位置，进而确定待矫正区域。

S4：头戴显示装置显示矫正图像。

将矫正图像数据通过通信总线传输到显示屏，其中，矫正图像至少为一帧图像数据。

在具体的实施方式中，根据眼动跟踪装置实时连续获取的用户眼睛瞳孔位置，当检测到眼睛位置变化时，立即启动上述所有步骤，对待显示的图像进行色偏矫正之后再通过显示屏显示，为用户提供一个连续的视频内容。

上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (11)

1.一种色偏矫正方法，其特征在于，应用于头戴显示装置，所述头戴显示装置包括光学系统、眼动跟踪装置和显示屏，所述方法包括：

通过眼动跟踪装置获取当前瞳孔位置；所述当前瞳孔位置为瞳孔相对头戴显示装置的位置；

确定所述当前瞳孔位置对应的目标色偏信息，所述目标色偏信息用于指示在所述当前瞳孔位置观测所述显示屏时由所述光学系统所引起的色偏；所述目标色偏信息包括所述显示屏中每个显示单元对应的色偏值；

根据所述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像；

显示所述矫正图像；所述确定所述当前瞳孔位置对应的目标色偏信息，包括：

确定数据库中所述当前瞳孔位置对应的色偏信息为所述目标色偏信息，所述数据库包括多个瞳孔位置和所述多个瞳孔位置分别对应的色偏信息；或，包括：

将当前瞳孔位置输入到色偏计算模型，得到目标色偏信息，所述色偏计算模型用于根据输入的瞳孔位置计算所述光学系统的色偏信息。

2.根据权利要求1所述的方法，其特征在于，一个所述显示单元为所述显示屏中的一个像素点，所述目标色偏信息包括所述显示屏中每个像素点对应的色偏值，所述待显示图像分辨率和所述显示屏的分辨率均为M*N，M、N为正整数，所述根据所述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像，包括：

根据所述目标色偏信息对所述待显示图像中的每一个像素点进行颜色补偿，得到所述矫正图像；所述矫正图像中的第i行第j列的像素点的色度值为所述待显示图像中的第i行第j列的像素点的色度值与所述显示屏中的第i行第j列的像素点对应的色偏值之和，i为不大于M的正整数，j为不大于N的正整数。

3.根据权利要求1所述的方法，其特征在于，所述显示屏被划分出多个显示单元，一个所述显示单元为所述显示屏中的包括多个像素点的显示区域，所述待显示图像分辨率和所述显示屏的分辨率相同，均为M*N，M、N为正整数，所述根据所述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像，包括：

根据所述目标色偏信息对所述待显示图像中的每一个像素点进行颜色补偿，得到所述矫正图像；

所述矫正图像中的第i行第j列的像素点的色度值为所述待显示图像中的第i行第j列的像素点的色度值与所述显示屏中的第i行第j列的像素点所在的显示单元对应的色偏值之和，i为不大于M的正整数，j为不大于N的正整数。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像，包括：

根据所述当前瞳孔位置确定所述待显示图像中的待矫正区域，所述待矫正区域为所述当前瞳孔位置所确定的视线区域；

根据所述目标色偏信息对所述待显示图像中的所述待矫正区域进行颜色补偿，得到矫正图像。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述眼动跟踪装置包括至少一个摄像头，所述通过眼动跟踪装置获取当前瞳孔位置，包括：

通过所述至少一个摄像头采集用户眼睛区域的图像；

识别所述图像中的瞳孔；

根据识别到的瞳孔在所述图像中的位置和所述至少一个摄像头在头戴显示装置中的位置，确定当前瞳孔位置。

6.一种头戴显示装置，其特征在于，包括处理器、存储器、光学系统、显示屏、眼动跟踪装置，其中，所述处理器通过总线分别耦合所述眼动跟踪装置、所述显示屏、所述存储器；所述光学系统设置于所述显示屏面对用户的一侧，用于放大所述显示屏显示的图像；

所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；所述处理器用于调用所述计算机指令执行以下操作：

通过眼动跟踪装置获取当前瞳孔位置；所述当前瞳孔位置为瞳孔相对头戴显示装置的位置；

确定所述当前瞳孔位置对应的目标色偏信息，所述目标色偏信息用于指示在所述当前瞳孔位置观测所述显示屏时由所述光学系统所引起的色偏；所述目标色偏信息包括所述显示屏中每个显示单元对应的色偏值；

根据所述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像；

通过所述显示屏显示所述矫正图像；

所述处理器执行所述确定所述当前瞳孔位置对应的目标色偏信息，包括执行：

确定数据库中所述当前瞳孔位置对应的色偏信息为所述目标色偏信息，所述数据库包括多个瞳孔位置和所述多个瞳孔位置分别对应的色偏信息；或，包括执行：

将当前瞳孔位置输入到色偏计算模型，得到目标色偏信息，所述色偏计算模型用于根据输入的瞳孔位置计算所述光学系统的色偏信息。

7.根据权利要求6所述的头戴显示装置，其特征在于，一个所述显示单元为所述显示屏中的一个像素点，所述目标色偏信息包括所述显示屏中每个像素点对应的色偏值，所述待显示图像分辨率和所述显示屏的分辨率均为M*N，M、N为正整数；

所述处理器执行所述根据所述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像，包括执行：

根据所述目标色偏信息对所述待显示图像中的每一个像素点进行颜色补偿，得到所述矫正图像；所述矫正图像中的第i行第j列的像素点的色度值为所述待显示图像中的第i行第j列的像素点的色度值与所述显示屏中的第i行第j列的像素点对应的色偏值之和，i为不大于M的正整数，j为不大于N的正整数。

8.根据权利要求6所述的头戴显示装置，其特征在于，所述显示屏被划分出多个显示单元，一个所述显示单元为所述显示屏中的包括多个像素点的显示区域，所述待显示图像分辨率和所述显示屏的分辨率相同，均为M*N，M、N为正整数；

所述处理器执行所述根据所述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像，包括执行：

根据所述目标色偏信息对所述待显示图像中的每一个像素点进行颜色补偿，得到所述矫正图像；

所述矫正图像中的第i行第j列的像素点的色度值为所述待显示图像中的第i行第j列的像素点的色度值与所述显示屏中的第i行第j列的像素点所在的显示单元对应的色偏值之和，i为不大于M的正整数，j为不大于N的正整数。

9.根据权利要求6所述的头戴显示装置，其特征在于，所述处理器执行所述根据所述目标色偏信息对待显示图像进行色偏矫正，得到矫正图像，包括执行：

根据所述当前瞳孔位置确定所述待显示图像中的待矫正区域，所述待矫正区域为所述当前瞳孔位置所确定的视线区域；

根据所述目标色偏信息对所述待显示图像中的所述待矫正区域进行颜色补偿，得到矫正图像。

10.根据权利要求6-9任一项所述的头戴显示装置，其特征在于，所述眼动跟踪装置包括至少一个摄像头，所述处理器执行所述通过眼动跟踪装置获取当前瞳孔位置，包括：

通过所述至少一个摄像头采集用户眼睛区域的图像；

识别所述图像中的瞳孔；

根据识别到的瞳孔在所述图像中的位置和所述摄像头在头戴显示装置中的位置，确定当前瞳孔位置。

11.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在头戴显示装置上运行时，使得所述头戴显示装置执行如权利要求1-5任一项所述的色偏矫正方法。