CN109256042A - 显示面板、电子设备及人眼追踪方法 - Google Patents

Abstract

本发明是关于一种显示面板、电子设备及人眼追踪方法，涉及电子设备技术领域。主要采用的技术方案为：显示面板，其包括：基板，所述基板设置有多个呈矩阵排布的像素单元；多个红外发光组件，多个所述红外发光组件均布在所述基板上；多个光电传感器，多个所述光电传感器均布在所述基板上，且所述光电传感器的数量大于等于所述红外发光组件的数量；其中，所述光电传感器用于接收所述红外发光组件发出的红外光线的反射光线，根据所述反射光线所包含的信息获得第一信号，并将所述第一信号传输给处理器，处理得到包含有用户眼睛关注的显示面板区域信息的第二信号。本发明提供的显示面板在追踪用户眼睛所关注的显示面板区域时，可节省处理器的计算资源。

Description

显示面板、电子设备及人眼追踪方法

技术领域

本发明涉及电子设备技术领域，特别是涉及一种显示面板、电子设备及人眼追踪方法。

背景技术

为了使电子设备的显示屏幕能够根据人眼所关注的区域来调整显示效果，在电子设备的上增加了人眼追踪的功能。

然而，现有的人眼追踪方法都是借助与摄像装置获取正在观看电子设备显示屏幕的人眼图像，通过图像处理获取人眼在电子设备显示屏幕上的注视区域，这种方法需要获取高清的原始图像，即需要设置高清的摄像装置，另外在需要以更高的频率获取人眼的关注区域时，就需要耗费更多的电子设备的计算资源和计算速度来进行图片处理，占用大量的电子设备的计算资源，严重的会影响电子设备的处理速度和显示效果。

因此，上述技术问题急需解决。

发明内容

本发明的主要目的在于，提供一种新型结构的显示面板、电子设备及人眼追踪方法，所要解决的技术问题是使其能够高灵敏的追踪用户眼睛所关注的显示面板的区域，并节省处理器的计算资源。

本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种显示面板，其包括：

基板，所述基板设置有多个呈矩阵排布的像素单元；

多个红外发光组件，多个所述红外发光组件均布在所述基板上；

多个光电传感器，多个所述光电传感器均布在所述基板上，且所述光电传感器的数量大于等于所述红外发光组件的数量；

其中，所述光电传感器用于接收所述红外发光组件发出的红外光线的反射光线，根据所述反射光线所包含的信息获得第一信号，并将所述第一信号传输给处理器，处理得到包含有用户眼睛关注的显示面板区域信息的第二信号。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

优选的，前述的显示面板，其中所述红外发光组件与所述光电传感器的数量相同，且相邻的设置在所述基板上。

优选的，前述的显示面板，其中所述红外发光组件的数量和所述光电传感器的数量均与所述像素单元的数量相同；

其中，每个所述像素单元附近对应的设置1个所述红外发光组件和1个所述光电传感器。

优选的，前述的显示面板，其中所述红外发光组件的数量和所述光电传感器的数量均与所述像素单元的数量相同；

其中，每个所述像素单元附近对应的设置1个所述红外发光组件和1个所述光电传感器。

优选的，前述的显示面板，其中所述基板由多个呈矩阵排布的子设置区域构成；

其中，每个所述子设置区域中至少设置1个红外发光组件和1个光电传感器。

优选的，前述的显示面板，其中所述子设置区域的数量为9个。

另外，本发明的目的及解决其技术问题还采用以下技术方案来实现。依据本发明提出的一种电子设备，其包括：显示面板；

所述显示面板包括：基板，所述基板设置有多个呈矩阵排布的像素单元；

多个红外发光组件，多个所述红外发光组件均布在所述基板上；

多个光电传感器，多个所述光电传感器均布在所述基板上，且所述光电传感器的数量大于等于所述红外发光组件的数量；

其中，所述光电传感器用于接收所述红外发光组件发出的红外光线的反射光线，根据所述反射光线所包含的信息获得第一信号，并将所述第一信号传输给处理器，处理得到包含有用户眼睛关注的显示面板区域信息的第二信号。

另外，本发明的目的及解决其技术问题还采用以下技术方案来实现。依据本发明提出的一种人眼追踪方法，其包括：

控制红外发光组件发出红外光线，并通过光电传感器采集红外光线的反射光线，处理得到第一信号；

将所述第一信号传输给处理器，处理得到包含有用户眼睛关注的显示面板区域信息的第二信号；

获取多组所述第一信号和第二信号，将多组所述第一信号和第二信号作为神经网络的输入信号，并输入预设模型的神经网络中进行训练，得到训练好的神经网络；

再次控制红外发光组件发出红外光线，并通过光电传感器采集红外光线的反射光线，处理得到第一信号；

将再次获得的所述第一信号输入训练好的所述神经网络中，预测得到用户眼睛关注的显示面板区域；

根据预测得到的用户眼睛关注的显示面板区域，调整显示面板的显示画面。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

优选的，前述的人眼追踪方法中，所述控制红外发光组件发出红外光线的方法，还包括：

控制所述红外发光组件按照预设发光频率发射红外光线。

优选的，前述的人眼追踪方法中，所述获取多组第一信号和第二信号，将多组第一信号和第二信号作为神经网络的输入信号，并输入预设模型的神经网络中进行训练，得到训练好的神经网络的方法，还包括：

所述神经网络的训练误差为99％-99.9％；

所述神经网络的训练次数大于等于50000次。

优选的，前述的人眼追踪方法中，所述根据预测得到的用户眼睛关注的显示面板区域，调整显示面板的显示画面的方法，还包括：

将显示面板分成多个矩阵排列的显示区域，获得与用户眼睛关注的显示面板区域相对应的所述显示区域，并调整所述显示区域的显示画面。

借由上述技术方案，本发明显示面板、电子设备及人眼追踪方法至少具有下列优点：

本发明技术方案中，显示面板的基板上不仅以矩阵排布的方式设置有多个像素单元，还设置有多个红外发光组件和多个光电传感器，其中红外发光组件发出的红外光线能够照射在观看显示面板的用户的脸上和眼睛上，并且一部分红外光线能够通过用户的脸和眼睛进行反射，然后由光电传感器接收，这样光电传感器通过对这些反射的红外光线处理可以得到第一信号，在将此第一信号发送给处理器之后，处理器能够处理得到用户此时所关注的显示面板区域，进而实现对人眼的追踪，即得知对应时刻用户人眼所关注的显示面板的区域。相比与现有技术中需要使用摄像机获取观看显示屏幕的人眼图像，然后通过对图像处理才能够得到人眼在显示屏幕上的注视区域，此种人眼追踪方式存在对摄像机的性能要求高，以及需要占用处理器大量的计算资源的缺点。本发明实施例提供的显示面板，其通过发射红外线以及接收反射的红外线的检测追踪方式追踪人眼的关注区域，无需进行图像的处理和计算，有效的节省处理器的计算资源，还能够有效的提高人眼追踪的灵敏度，减少响应时间。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是本发明的实施例一提供的一种显示面板的结构示意图；

图2是本发明的实施例三提供的一种人眼追踪方法的流程示意图；

图3是本发明的实施例三提供的一种神经网络模型。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的显示面板、电子设备及人眼追踪方法，其具体实施方式、结构、特征及其功效，详细说明如后。在下述说明中，不同的“一实施例”或“实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

实施例一

如图1，本发明的实施例一提出的一种显示面板，其包括：基板1、多个红外发光组件2以及多个光电传感器3；所述基板1设置有多个呈矩阵排布的像素单元11；多个所述红外发光组件2均布在所述基板1上；多个所述光电传感器3均布在所述基板1上，且所述光电传感器3的数量大于等于所述红外发光组件2的数量；其中，所述光电传感器3用于接收所述红外发光组件2发出的红外光线的反射光线，根据所述反射光线所包含的信息获得第一信号，并将所述第一信号传输给处理器，处理得到包含有用户眼睛关注的显示面板区域信息的第二信号。

具体的，本发明实施例提供的显示面板的类型可不做具体的限定，例如可以是LED显示面板、OLED显示面板或者LCD显示面板，即只要能够用于显示画面即可，其可以是一个单的显示器上的显示面板，也可以是设置在移动终端或者固定式的电子设备上的显示面板；基板1是显示面板的基础，用于集成发光组件、控制开关、数据线材以及各个功能膜层的结构，是显示面板技术中的基础，此处不再赘述。红外发光组件2即红外光源，其可以是能够发出红外光线的红外光灯；光电传感器3是采用光电元件作为检测元件的传感器，它能够把检测到的变化的光信号转化成对应的电信号，即转化成第一信号，并传输给处理器，但是需要注意的本发明实施例中提供的光电传感器3，需要为仅能够接收红外光线的光电传感器3；红外发光组件2和光电传感器3需要与像素单元11一样设置在基板1的同一侧，即在显示面板显示画面的一侧，这样在显示面板显示画面的同时，红外发光组件2可以发出红外光线，并将红外光线照射在正在观看显示面板画面的用户的脸上以及眼睛上，当红外光线从用户的脸上以及眼睛上反射回来时可以被光电传感器3接收到；由于光电传感器3是接收红外光线的反射光线，所以光电传感器3的数量可以不与红外发光组件2的数量相对应，但是必须保证能够充分的接收用户的脸上以及眼睛上反射回来的红外光线，所以最好光电传感器3的数量大于等于红外发光组件2的数量，且为了使显示面板的每个区域就能够进行红外光线的发射和接收，最好将多个红外发光组件2和光电传感器3均布在基板1上的每个区域。处理器可以是设置在显示面板自身的，也可以是显示面板所应用的电子设备的处理器。

此外，由于光电传感器3接收用户脸上以及眼睛反射回来的红外线，而用户在观看显示面板上显示的图像时是经常变化动作的，例如面部动、头部动、眼睛动，或者变化观看距离、变换观看用户等，同时经常变化关注区域，所以用户脸上以及眼睛上反射回来的红外光线的强弱以及反射角度等参数是变化的，所以光电传感器3可以根据这些反射回来的变化的红外光线得到第一信号，而处理器可以根据光电传感器3传输的第一信号处理得到用户眼睛所关注的显示面板区域，并使用第二信号表示；其中，处理器处理第一信号得到用户眼睛关注的显示面板区域的技术，是已经较成熟的技术，本发明实施例中不再赘述。

本发明技术方案中，显示面板的基板上不仅以矩阵排布的方式设置有多个像素单元，还设置有多个红外发光组件和多个光电传感器，其中红外发光组件发出的红外光线能够照射在观看显示面板的用户的脸上和眼睛上，并且一部分红外光线能够通过用户的脸和眼睛进行反射，然后由光电传感器接收，这样光电传感器通过对这些反射的红外光线处理可以得到第一信号，在将此第一信号发送给处理器之后，处理器能够处理得到用户此时所关注的显示面板区域，进而实现对人眼的追踪，即得知对应时刻用户人眼所关注的显示面板的区域。相比与现有技术中需要使用摄像机获取观看显示屏幕的人眼图像，然后通过对图像处理才能够得到人眼在显示屏幕上的注视区域，此种人眼追踪方式存在对摄像机的性能要求高，以及需要占用处理器大量的计算资源的缺点。本发明实施例提供的显示面板，其通过发射红外线以及接收反射的红外线的检测追踪方式追踪人眼的关注区域，无需进行图像的处理和计算，有效的节省处理器的计算资源，还能够有效的提高人眼追踪的灵敏度，减少响应时间。

在具体实施中，其中所述红外发光组件2与所述光电传感器3的数量相同，且相邻的设置在所述基板1上。

具体的，将红外发光组件2和光电传感器3的数量设置的相同，并相邻的设置，可以在保证光电传感器3有效接收反射的红外光线的前提下，使用较少的光电传感器3，进而节省成本。

进一步的，所述红外发光组件2的数量和所述光电传感器3的数量均与所述像素单元11的数量相同；其中，每个所述像素单元11附近对应的设置1个所述红外发光组件2和1个所述光电传感器3。

具体的，设置红外发光组件2以及光电传感器3的目的就是检测用户人眼关注的显示面板区域，而像素单元11均布在显示面板的每个区域，且像素单元11是实现显示面板显示图像的组件，可以理解的用户所关注的显示面板上的图像就是关注对应的像素单元11，即用户人眼关注的显示面板区域就是关注对应区域的像素单元11，所以将红外发光组件2和光电传感器3与像素单元11对应设置，能够更加精准的检测用户所关注的显示面板区域。

在具体实施中，其中所述基板1由多个呈矩阵排布的子设置区域构成；其中，每个所述子设置区域中至少设置1个红外发光组件2和1个光电传感器3。

具体的，由于用户在观看显示面板中显示的图像时，通常是观看显示面板的一个区域中显示的图像，所以可以将显示面板分成多个显示区域，然后检测用户人眼所关注的是哪个区域，而较佳的一种实施方式，就是在基板1上设置多个呈矩阵排布的子设置区域，例如阵列方式分割成9个子设置区域、16个子设置区域、25个子设置区域等，这样在每个子设置区域中分别设置1个或1个以上的红外发光组件2和光电传感器3，能够有效的检测用户眼睛所关注的显示面板区域。

实施例二

本发明的实施例二提出的一种电子设备，其包括：显示面板；如图1所示，所述显示面板包括：基板1、多个红外发光组件2以及多个光电传感器3；所述基板1设置有多个呈矩阵排布的像素单元11；多个所述红外发光组件2均布在所述基板1上；多个所述光电传感器3均布在所述基板1上，且所述光电传感器3的数量大于等于所述红外发光组件2的数量；其中，所述光电传感器3用于接收所述红外发光组件2发出的红外光线的反射光线，根据所述反射光线所包含的信息获得第一信号，并将所述第一信号传输给处理器，处理得到包含有用户眼睛关注的显示面板区域信息的第二信号。

具体的，本实施例二中所述的显示面板可直接使用上述实施例一提供的显示面板，具体的实现结构可参见上述实施例一中描述的相关内容，此处不再赘述。

本发明技术方案中，电子设备所使用的显示面板，其基板上不仅以矩阵排布的方式设置有多个像素单元，还设置有多个红外发光组件和多个光电传感器，其中红外发光组件发出的红外光线能够照射在观看显示面板的用户的脸上和眼睛上，并且一部分红外光线能够通过用户的脸和眼睛进行反射，然后由光电传感器接收，这样光电传感器通过对这些反射的红外光线处理可以得到第一信号，在将此第一信号发送给处理器之后，处理器能够处理得到用户此时所关注的显示面板区域，进而实现对人眼的追踪，即得知对应时刻用户人眼所关注的显示面板的区域。相比与现有技术中需要使用摄像机获取观看显示屏幕的人眼图像，然后通过对图像处理才能够得到人眼在显示屏幕上的注视区域，此种人眼追踪方式存在对摄像机的性能要求高，以及需要占用处理器大量的计算资源的缺点。本发明实施例提供的显示面板，其通过发射红外线以及接收反射的红外线的检测追踪方式追踪人眼的关注区域，无需进行图像的处理和计算，有效的节省处理器的计算资源，还能够有效的提高人眼追踪的灵敏度，减少响应时间。

实施例三

如图2所示，本发明的实施例三提出的一种人眼追踪方法，其通过上述实施例一提供的显示面板以及实施例二提供的电子设备实现，其包括：

101、控制红外发光组件发出红外光线，并通过光电传感器采集红外光线的反射光线，处理得到第一信号。

具体的，控制红外发光组件发光包括控制红外发光组件何时发光、以何种周期或者频率发光，例如在显示面板显示图像并检测到有用户观看时发光，发光的方式可以是持续的发光也可以是按照预设频率发光，该发光频率可以根据所需采集数据的密集程度进行设置，本申请不做具体限定；其中，红外发光组件发光的控制可由处理器实现，也可以独立的设置一个控制部件进行红外发光组件的控制；红外光线的反射光线是红外发光组件发出的全部光线中的一部分的反射光线，是通过观看显示面板的用户的脸部和眼睛反射的，其用作检测用户所关注的显示面板区域；第一信号为光电传感器接收反射的红外光线处理获得的电信号，以便可以由处理器直接接收和进一步处理。

102、将所述第一信号传输给处理器，处理得到包含有用户眼睛关注的显示面板区域信息的第二信号。

具体的，由于用户在观看显示面板的图像时是动态的，例如面部动、头部动、眼睛动，或者变化观看距离、变换观看用户等，同时经常变化关注区域，所以用户脸上以及眼睛上反射回来的红外光线的强弱以及反射角度等参数是变化的，因此反射回来的红外光线可以用来检测用户眼睛关注的显示面板区域，即第一信号是变化的并可以检测用户眼睛关注的显示面板区域；将第一信号传输给处理器后，处理器就可以根据第一信号所具有的特点处理得到此时刻用户所关注的显示面板区域，并得到用于代表用户眼睛关注的显示面板区域信息的第二信号。

综上，第一信号和第二信号可以对应的代表用户眼睛关注位置的检测信号和关注显示面板区域的结果信号。

103、获取多组所述第一信号和第二信号，将多组所述第一信号和第二信号作为神经网络的输入信号，并输入预设模型的神经网络中进行训练，得到训练好的神经网络。

具体的，由于用户在观看显示面板时存在多种形态，如面部动、头部动、眼睛动，或者变化观看距离、变换观看用户等，所以为了保证检测的精准性，最好在用户的不同形态下均获取第一信号和第二信号，并针对每种形态获取多组第一信号和第二信号，之后将这些组信号输入预设的神经网络中进行训练，其中具体的训练方式是成熟的技术，本发明实施例中不做赘述。

另外，对于神经网络的模型可以根据具体需要进行选择，例如选择三层神经网络，将第一信号使用X＝{X₁,X₂,X₃,……X_n}表示，对应的第二信号用Y表示，则如图3所示，W⁽¹⁾ _ik表示神经网络第i个输入层神经元与第k个隐含层神经元之间的权值和阈值大小；W⁽²⁾ _kj表示神经网络第k个隐含层神经元与第j个输出层神经元之间的权值和阈值大小，其中i、j、k均为正整数。它们的大小会随着神经网络的训练自主调整，直到神经网络的预测结果与实际值之间的误差达到精度要求

进一步的，为了使神经网络训练的预测结果与实际值之间的误差满足后续的使用要求，神经网络的训练误差可以设置为99％-99.9％，神经网络的训练次数最好大于等于50000次。

104、再次控制红外发光组件发出红外光线，并通过光电传感器采集红外光线的反射光线，处理得到第一信号。

105、将再次获得的所述第一信号输入训练好的所述神经网络中，预测得到用户眼睛关注的显示面板区域。

具体的，通过步骤101-103可以训练出用于检测用户眼睛关注位置的神经网络，且检测的精准度很高，此时再次重复步骤101，可以通过红外线检测的方式获得第一信号，该第一信号就可以直接输入训练好的神经网络中，能够快速的获得用户眼睛关注的显示面板区域，该过程无需经过繁杂的计算，能够有效的加快对人眼的追踪。

106、根据预测得到的用户眼睛关注的显示面板区域，调整显示面板的显示画面。

具体的，通过上述步骤确定了用户眼睛关注的显示面板区域后，可以通过处理器调整显示面板的画面。其具体的调整显示画面的方式可以是：提高用户眼睛关注的显示面板区域的清晰度、提高该区域的刷新频率、提高该区域的亮度，同时还可以弱化其余显示面板的显示区域，进而达到跟踪人眼，以及降低显示面板能耗的效果。

在具体实施中，其中控制红外发光组件发出红外光线的方法，还包括：控制所述红外发光组件按照预设发光频率发射红外光线。

具体的，由于发出的红外光线是用于检测用户的眼睛的，以及检测用户关注显示面板区域的，而用户的人眼关注显示面板区域的更换频率不会太高，所以可以对应的将红外发光组件的发光方式设置成预设发光频率的形式发光，无需长时间连续发光，节省电能的消耗，其中预设频率可以根据实际应用中的需要进行设定，本发明实施例不做具体限定。

在具体实施中，为了更进一步的节省运算资源，可以将显示面板分成多个矩阵排列的显示区域，获得与用户眼睛关注的显示面板区域相对应的所述显示区域，并调整所述显示区域的显示画面。

具体的，由于用户关注显示面板区域，通常为显示面板显示的画面中较重要的显示区域，通常不会太小，所以可将显示面板的显示区域按照矩阵排列的方式分割，例如分割的数量可以是9个、16个、25个，然后通过步骤105获得了用户关注的显示面板区域后，就可以对应的调整该区域，可以进一步的加快调整显示面板画面的速度，即缩短显示画面调整的响应时间，给用户更好的体验。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种显示面板，其特征在于，其包括：

基板，所述基板设置有多个呈矩阵排布的像素单元；

多个红外发光组件，多个所述红外发光组件均布在所述基板上；

多个光电传感器，多个所述光电传感器均布在所述基板上，且所述光电传感器的数量大于等于所述红外发光组件的数量；

其中，所述光电传感器用于接收所述红外发光组件发出的红外光线的反射光线，根据所述反射光线所包含的信息获得第一信号，并将所述第一信号传输给处理器，处理得到包含有用户眼睛关注的显示面板区域信息的第二信号。

2.根据权利要求1所述的显示面板，其特征在于，

所述红外发光组件与所述光电传感器的数量相同，且相邻的设置在所述基板上。

3.根据权利要求2所述的显示面板，其特征在于，

所述红外发光组件的数量和所述光电传感器的数量均与所述像素单元的数量相同；

其中，每个所述像素单元附近对应的设置1个所述红外发光组件和1个所述光电传感器。

4.根据权利要求1所述的显示面板，其特征在于，

所述基板由多个呈矩阵排布的子设置区域构成；

其中，每个所述子设置区域中至少设置1个红外发光组件和1个光电传感器。

5.根据权利要求4所述的显示面板，其特征在于，

所述子设置区域的数量为9个。

6.一种电子设备，其特征在于，其包括：

如权利要求1-5中任一所述显示面板。

7.一种人眼追踪方法，其特征在于，其包括：

控制红外发光组件发出红外光线，并通过光电传感器采集红外光线的反射光线，处理得到第一信号；

将所述第一信号传输给处理器，处理得到包含有用户眼睛关注的显示面板区域信息的第二信号；

获取多组所述第一信号和第二信号，将多组所述第一信号和第二信号作为神经网络的输入信号，并输入预设模型的神经网络中进行训练，得到训练好的神经网络；

再次控制红外发光组件发出红外光线，并通过光电传感器采集红外光线的反射光线，处理得到第一信号；

将再次获得的所述第一信号输入训练好的所述神经网络中，预测得到用户眼睛关注的显示面板区域；

根据预测得到的用户眼睛关注的显示面板区域，调整显示面板的显示画面。

8.根据权利要求7所述的人眼追踪方法，其特征在于，所述控制红外发光组件发出红外光线的方法，还包括：

控制所述红外发光组件按照预设发光频率发射红外光线。

9.根据权利要求7所述的人眼追踪方法，其特征在于，所述获取多组第一信号和第二信号，将多组第一信号和第二信号作为神经网络的输入信号，并输入预设模型的神经网络中进行训练，得到训练好的神经网络的方法，还包括：

所述神经网络的训练误差为99％-99.9％；

所述神经网络的训练次数大于等于50000次。

10.根据权利要求7所述的人眼追踪方法，其特征在于，所述根据预测得到的用户眼睛关注的显示面板区域，调整显示面板的显示画面的方法，还包括：

将显示面板分成多个矩阵排列的显示区域，获得与用户眼睛关注的显示面板区域相对应的所述显示区域，并调整所述显示区域的显示画面。