CN112929638A - 眼部定位方法、装置及多视点裸眼3d显示方法、设备 - Google Patents

Abstract

本申请涉及裸眼式3D显示技术领域，公开一种眼部定位方法，包括：获取用户的脸部图像，基于脸部图像对用户进行眼部检测；当用户双眼之一被遮挡时，根据未被遮挡眼部的空间位置和脸部图像获取被遮挡眼部的空间位置，将未被遮挡眼部的空间位置和被遮挡眼部的空间位置作为用户双眼的空间位置。该方法能实现眼部遮挡时，获取被遮挡眼部的空间位置。本申请还公开一种多视点裸眼3D显示方法、眼部定位装置、多视点裸眼3D显示设备。

Description

眼部定位方法、装置及多视点裸眼3D显示方法、设备

技术领域

本申请涉及裸眼式3D显示技术，例如涉及眼部定位方法、装置及多视点裸眼3D显示方法、设备。

背景技术

目前，裸眼3D显示技术利用显示面板的多个像素来投射空间的多个视点。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：传统的检测视点通过检测设备抓拍用户的面部图像进行图像处理获取眼部的空间位置，但是由于用户在某一时刻或者某段时间所处在的空间位置或者用的佩戴物或者头发遮挡，使得检测设备拍摄到的图像中不能显示或者不能正常显示出眼部，造成眼部空间位置生成失败，从而不能给用户呈现出正常的3D的显示效果。

本背景技术仅为了便于了解本领域的相关技术，并不视作对现有技术的承认。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。该概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种眼部定位方法、装置及多视点裸眼3D显示方法、设备，以解决现有技术中由于眼部被遮挡，不能获取被遮挡眼部空间位置的问题。

在一些实施例中，提供了一种眼部定位方法，包括：获取用户的脸部图像，基于脸部图像对用户进行眼部检测；当用户双眼之一被遮挡时，根据未被遮挡眼部的空间位置和脸部图像获取被遮挡眼部的空间位置，将未被遮挡眼部的空间位置和被遮挡眼部的空间位置作为用户双眼的空间位置。

在一些实施例中，当用户双眼之一被遮挡时，根据未被遮挡眼部的空间位置和脸部图像获取被遮挡眼部的空间位置包括：获取用户的瞳距信息；根据瞳距信息和未被遮挡眼部的空间位置获取被遮挡眼部的空间位置。

在一些实施例中，获取用户的瞳距信息包括：将用户的脸部图像输入脸部图像库中进行识别，以获取与脸部图像对应的瞳距信息。

在一些实施例中，眼部定位方法还包括：当用户双眼未被遮挡时，获取用户的脸部图像和与脸部图像对应的瞳距信息；将脸部图像和与脸部图像对应的瞳距信息存储到脸部图像库。

在一些实施例中，眼部定位方法还包括：当用户双眼未被遮挡时，根据脸部图像获取用户双眼的空间位置。

在一些实施例中，提供了一种多视点裸眼3D显示方法，包括：根据如上所述的眼部定位方法获取用户双眼的空间位置；根据用户双眼的空间位置生成视点；基于3D信号渲染多视点裸眼3D显示屏的复合子像素中的与视点对应的子像素。

在一些实施例中，多视点裸眼3D显示方法还包括：检测至少两个用户以获取至少两个用户的眼部遮挡状态；基于至少两个用户的眼部遮挡状态确定优先用户；根据优先用户双眼所在视点，基于3D信号渲染多视点裸眼3D显示屏的复合子像素中的与优先用户双眼所在视点对应的子像素。

在一些实施例中，基于至少两个用户的眼部遮挡状态确定优先用户包括：将双眼未被遮挡的用户设为优先用户；或当至少双眼之一被遮挡的用户被双眼未被遮挡的用户遮挡时，将双眼未被遮挡的用户相对于至少双眼之一被遮挡的用户设为优先用户。

在一些实施例中，基于3D信号渲染多视点裸眼3D显示屏的复合子像素中的与优先用户所在视点对应的子像素：响应于优先用户与其它用户的眼部所在视点的冲突，基于3D信号渲染多视点裸眼3D显示屏中的复合子像素中与优先用户的双眼所在的视点对应的子像素。

在一些实施例中，提供了一种眼部定位装置，包括：眼部检测装置，被配置为获取用户的脸部图像，并基于脸部图像对用户进行眼部检测；眼部追踪图像处理装置，被配置为当用户双眼之一被遮挡时，根据未被遮挡眼部的空间位置和脸部图像获取被遮挡眼部的空间位置，将未被遮挡眼部的空间位置和被遮挡眼部的空间位置作为用户双眼的空间位置。

在一些实施例中，眼部检测装置还被配置为获取用户的瞳距信息；眼部追踪图像处理装置还被配置为根据瞳距信息和未被遮挡眼部的空间位置获取被遮挡眼部的空间位置。

在一些实施例中，眼部追踪图像处理装置还被配置为将用户的脸部图像输入脸部图像库中进行识别，以获取与脸部图像对应的瞳距信息。

在一些实施例中，眼部检测装置还被配置为当用户双眼未被遮挡时，获取用户的脸部图像和与脸部图像对应的瞳距信息；眼部追踪图像处理装置还被配置为将脸部图像和与脸部图像对应的瞳距信息存储到脸部图像库。

在一些实施例中，眼部追踪图像处理装置还被配置为当用户双眼未被遮挡时，根据脸部图像获取用户双眼的空间位置。

在一些实施例中，眼部定位装置还包括眼部采集装置，包括：第一摄像头，被配置为拍摄第一图像；和第二摄像头，被配置为拍摄第二图像：眼部追踪图像处理装置还被配置为基于第一图像和第二图像中至少一幅识别未被遮挡眼部的存在且基于第一图像和第二图像中未被遮挡眼部所在位置确定未被遮挡眼部的空间位置。

在一些实施例中，眼部定位装置还包括眼部采集装置，包括：摄像头，被配置为拍摄图像；和深度获取装置，被配置为获取用户的眼部深度信息；眼部追踪图像处理装置还被配置为基于图像识别未被遮挡眼部的存在且基于识别到的未被遮挡眼部的位置和眼部深度信息确定未被遮挡眼部的空间位置。

在一些实施例中，提供了一种多视点裸眼3D显示设备，包括：多视点裸眼3D显示屏，包括多个复合像素，多个复合像素中的每个复合像素包括多个复合子像素，多个复合子像素中的每个复合子像素包括对应于多视点裸眼3D显示设备的多个视点的多个子像素；如上所述的的眼部定位装置；3D处理装置，被配置为根据眼部定位装置获取的用户双眼的空间位置生成视点，并基于3D信号渲染多视点裸眼3D显示屏的多个复合子像素中的与视点对应的子像素。

在一些实施例中，多视点裸眼3D显示设备包括，眼部检测装置，被配置为检测至少两个用户以获取至少两个用户的眼部遮挡状态；优先级逻辑电路，被配置为基于至少两个用户的眼部遮挡状态确定优先用户；3D处理装置被配置为根据优先用户双眼所在视点，基于3D信号渲染多视点裸眼3D显示屏的复合子像素中的与优先用户双眼所在视点对应的子像素。

在一些实施例中，优先级逻辑电路被配置为将双眼未被遮挡的用户设为优先用户；或优先级逻辑电路被配置为当至少双眼之一被遮挡的用户被双眼未被遮挡的用户遮挡时，将双眼未被遮挡的用户相对于至少双眼之一被遮挡的用户设为优先用户。

在一些实施例中，3D处理装置被配置为响应于优先用户与其它用户的眼部所在视点的冲突，基于3D信号渲染多视点裸眼3D显示屏中的复合子像素中与优先用户的双眼所在的视点对应的子像素。

在一些实施例中，提供了一种多视点裸眼3D显示设备，包括：处理器；以及存储有程序指令的存储器；其中，处理器被配置为在执行程序指令时，执行如上所述的眼部定位方法或者如上所述的多视点裸眼3D显示方法。

本公开实施例提供的眼部定位方法、装置及多视点裸眼3D显示方法、设备，可以实现以下技术效果：

通过眼部追踪装置获取眼部追踪数据，能够检测被遮挡眼部的空间位置，并能够根据观看情况及时调整多视点的投射，实现灵活度高的裸眼3D显示。此外，以复合像素的方式定义多视点裸眼3D显示屏的显示分辨率，在传输和显示时均以由复合像素定义的显示分辨率为考量因素，在确保高清晰度显示效果的情况下减少了传输和渲染的计算量，实现高质量的裸眼式3D显示。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1A至图1C是根据本公开实施例的多视点裸眼3D显示设备的示意图；

图2是根据本公开实施例的3D视频信号的图像；

图3A至图3C是根据本公开实施例的眼部定位方法的流程示意图；

图4A至图4C是根据本公开实施例的多视点裸眼3D显示方法流程示意图；

图5A至图5D是根据本公开实施例的多个用户眼睛所处视点位置冲突情况下的子像素渲染的示意图；

图6A和图6B是根据本公开的实施例的眼部跟踪装置结构示意图；

图7是根据本公开的实施例的眼部追踪方法和装置获取眼部位置的示意图；

图8是根据本公开的实施例的多视点裸眼3D显示设备的结构示意图；

图9是根据本公开的实施例的多视点裸眼3D显示设备的结构示意图。

附图标记：

100：多视点裸眼3D显示设备；110：多视点裸眼3D显示屏；120：处理器；121：寄存器；130：3D处理装置；131：缓存器；140：视频信号接口；150：眼部追踪装置；160：眼部追踪数据接口；170：眼部检测装置；180：优先级逻辑电路；300：多视点裸眼3D显示设备；310：存储器；320：处理器；330：总线；340：通信接口；400：复合像素；410：红色复合子像素；420：绿色复合子像素；430：蓝色复合子像素；601：3D视频信号的图像之一；602：3D视频信号的图像之一；600：眼部定位装置；610：眼部检测装置；620：眼部追踪图像处理装置；630：眼部采集装置；151a：第一黑白摄像头；151b：第二黑白摄像头；401a：第一黑白摄像头151a的焦平面；401b：第二黑白摄像头151b的焦平面；f：焦距；Oa：第一黑白摄像头151a的镜头中心；Ob：第二黑白摄像头151b的镜头中心；Za：第一黑白摄像头151a的光轴；Zb：第二黑白摄像头151b的光轴；R：用户的右眼；L：用户的左眼；P：用户的瞳距；α：用户脸部与多视点裸眼3D显示屏的倾斜角度；XRa：用户右眼R在第一黑白摄像头151a的焦平面401a内成像的X轴坐标；XRb：用户右眼R在第二黑白摄像头151b的焦平面401b内成像的X轴坐标；XLa：用户左眼L在第一黑白摄像头151a的焦平面401a内成像的X轴坐标；XLb：用户左眼L在第二黑白摄像头151b的焦平面401b内成像的X轴坐标；DR：用户的右眼R与多视点裸眼3D显示屏的间距；DL：用户的左眼L与多视点裸眼3D显示屏的间距。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。

在本文中，“裸眼三维(3D)显示”涉及用户无需佩戴3D显示用的眼镜而能在平面显示器上观察到3D的显示图像的技术，包括但不限于“视差屏障”、“柱状透镜”、“指向式背光”技术。

在本文中，“多视点”具有本领域的常规含义，意指在空间中不同位置(视点)处能观看到显示屏的不同像素或子像素显示的不同图像。在本文中，多视点将意味着至少3个视点。

在本文中，“光栅”具有本领域中广义的解释，包括但不限于“视差屏障”光栅和“透镜”光栅、如“柱状透镜”光栅。

在本文中，“透镜”或“透镜光栅”具有本领域的常规含义，例如包括柱状透镜和球面透镜。

常规的“像素”意指2D显示器或者作为2D显示器显示时就其分辨率而言的最小显示单位。

然而，在本文的一些实施例中，当应用于裸眼3D显示领域的多视点技术时所称的“复合像素”指裸眼3D显示器提供多视点显示时的最小显示单位，但不排除用于多视点技术的单个复合像素可包括或呈现为多个2D显示的像素。在本文中，除非具体说明为“3D显示”或“多视点”应用的复合像素或3D像素，像素将指2D显示时的最小显示单位。同样，当描述为多视点的裸眼3D显示“复合子像素”时，将指裸眼3D显示器提供多视点显示时的复合像素中呈现的单个颜色的复合子像素。在本文中，“复合子像素”中的子像素将指单个颜色的最小显示单位，其往往是与视点相对应的。

根据本公开的实施例提供了一种多视点裸眼3D显示设备，包括多视点裸眼3D显示屏，包括m×n个复合像素，各复合像素包括多个复合子像素，各复合子像素由对应于i个视点的i个子像素构成，其中i≥3；配置为接收3D视频信号的图像的视频信号接口；3D处理装置；以及配置为获取眼部追踪数据的眼部追踪装置，眼部追踪数据包括用户相对于多视点裸眼3D显示屏的间距；其中，3D处理装置配置为响应于用户相对于多视点裸眼3D显示屏的间距的变化，基于3D信号动态渲染各复合子像素中的子像素。

在一些实施例中，每个复合子像素由对应于i个视点的i个同色子像素构成。

在一些实施例中，眼部追踪装置实时获取眼部追踪数据。

在一些实施例中，3D信号是3D视频信号的图像。

在一些实施例中，眼部追踪数据包括用户的双眼相对于多视点裸眼3D显示屏的间距。

图1A示出了根据本公开实施例的多视点裸眼3D显示设备100。如图1A所示，多视点裸眼3D显示设备100包括多视点裸眼3D显示屏110、3D处理装置130、接收3D内容如3D视频信号的图像的3D信号接口(如视频信号接口140)和处理器120。

多视点裸眼3D显示屏110可包括m列n行(m×n)个复合像素400并因此限定出m×n的显示分辨率。在一些实施例中，m×n的显示分辨率可以为全高清(FHD)以上的分辨率，包括但不限于：1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。

图1A示意性地示出了m×n个复合像素中的一个复合像素400，包括由i＝6个红色子像素R构成的红色复合子像素410、由i＝6个绿色子像素G构成的绿色复合子像素420和由i＝6个蓝色子像素B构成的蓝色复合子像素430。多视点裸眼3D显示设备100相应具有i＝6个视点(V1-V6)。在其他实施例中可以想到i为大于或小于6的其他值。

在一些实施例中，每个复合像素成正方形。每个复合像素中的所有复合子像素可以彼此平行布置。每个复合子像素中的i个子像素可以成行布置。

在一些实施例中，3D处理装置为FPGA或ASIC芯片或FPGA或ASIC芯片组。如图1A所示的实施例，3D处理装置130还可以选择性地包括缓存器131，以便缓存所接收到的3D视频信号的图像。

多视点裸眼3D显示设备100还可包括通过视频信号接口140通信连接至3D处理装置130的处理器120。在一些实施例中，处理器120被包括在计算机或智能终端、如移动终端中或作为处理器装置。

在一些实施例中，视频信号接口140为连接处理器120与3D处理装置130的内部接口。这样的多视点裸眼3D显示设备100例如可以是移动终端，视频信号接口140可以为MIPI、mini-MIPI接口、LVDS接口、min-LVDS接口或Display Port接口。

在一些实施例中，如图1A所示，多视点裸眼3D显示设备100的处理器120还可包括寄存器121。寄存器121可配置为暂存指令、数据和地址。

在一些实施例中，多视点裸眼3D显示设备还包括配置为获取实时眼部追踪数据的眼部追踪装置或眼部追踪数据接口。例如图1B所示的实施例中，多视点裸眼3D显示设备100包括通信连接至3D处理装置130的眼部追踪装置150，由此3D处理装置130可以直接接收眼部追踪数据。在图1C所示的实施例中，眼部追踪装置(未示出)例如可以直接连接处理器120，而3D处理装置130经由眼部追踪数据接口160从处理器120获得眼部追踪数据。在另一些实施例中，眼部追踪装置可同时连接处理器和3D处理装置，使得一方面3D处理装置130可以直接从眼部追踪装置获取眼部追踪数据，另一方面眼部追踪装置获取的其他信息可以被处理装置处理。

在一些实施例中，眼部追踪数据包括用户的眼部相对于多视点裸眼3D显示屏的空间位置信息，例如用户双眼相对于多视点裸眼3D显示屏的间距、用户双眼所在的视点位置等，还包括眼部是否被遮挡的信息。

眼部追踪装置例如可以包括两个摄像头(例如黑白摄像头)、眼部追踪图像信号处理器和眼部追踪数据接口。通过两个黑白摄像头能够高速并实时地检测用户双眼各自所在的实际空间位置。通过眼部追踪图像信号处理器能够据此计算出用户双眼各自所在的视点位置以及距离多视点裸眼3D显示屏的间距。

下面参见图2来描述根据本公开的实施例的多视点裸眼3D显示设备100内的3D视频信号的图像的传输和显示。如上所述，多视点裸眼3D显示设备100可以具有多个视点。用户的眼部在对应于各取向的视点(空间位置)处可看到多视点裸眼3D显示屏110中各复合像素400的复合子像素中相应的子像素的显示。用户的双眼在不同的视点看到的两个不同画面形成视差，在大脑中合成3D的画面。

在本公开的一些实施例中，3D处理装置130通过例如作为内部接口的视频信号接口140从处理器120接收例如为解压缩的3D视频信号的图像。各图像可以是两幅图像或者是复合图像，或者由其构成。

在一些实施例中，两幅图像或复合图像可以是不同类型的图像以及可以呈各种排布形式。

如图2所示，3D视频信号的图像为并列的两幅图像601、602或由其构成。在一些实施例中，两幅图像可以分别为左眼视差图像和右眼视差图像。在一些实施例中，两幅图像可以分别为渲染色彩图像和景深图像。

在一些实施例中，3D视频信号的图像为交织的复合图像。在一些实施例中，复合图像可以为交织的左眼和右眼视差复合图像、交织的渲染色彩和景深复合图像。

在一些实施例中，至少一个3D视频处理装置130在接收到3D视频信号的两幅图像601、602后，基于两幅图像之一渲染各复合子像素中至少一个子像素并基于两幅图像中的另一幅渲染各复合子像素中至少另一个子像素。

在另一些实施例中，至少一个3D视频处理装置在接收到复合图像后，基于复合图像渲染各复合子像素中至少两个子像素。例如，根据复合图像中的第一图像(部分)渲染至少一个子像素，根据第二图像(部分)渲染至少另一个子像素。

3D处理装置能够基于眼部追踪数据动态渲染多视点裸眼3D显示屏中各复合子像素中的相关子像素，以适应观看情况的变化。在本公开的实施例中，动态渲染各复合子像素中的相关子像素涵盖渲染基本整个显示屏中的所有复合子像素中的相关子像素，或者涵盖各复合子像素的子像素与视点存在工艺误差的情况，或者涵盖这两者。

3D处理装置的动态渲染渲染过程需要基于用户双眼所在的视点进行，而视点信息的获取，需要眼部追踪装置对用户双眼进行检测，获取双眼的空间位置，根据双眼的空间位置、空间位置与视点之间的关系获取视点信息，实现动态渲染。

而在实际应用过程中，检测用户的眼部位置所获取到图像并非是高质量的，过程中较大概率出现用户眼部会被遮挡，从而获取眼部空间位置的目的不能实现，从而不能针对用户正常显示3D图像。由于眼部追踪装置安装位置的限定，只能按照检测的方向上检测眼部，如果用户的眼部正好在检测方向被遮挡，而实际上，用户可以观看到裸眼3D显示屏的部分，如果完全不能正常显示，则会造成用户观看困难的问题。

本公开针对此问题提供一种眼部定位的技术方案。

图3A示意性示出了眼部定位方法的一个实施例，包括如下步骤S100、获取用户的脸部图像，基于脸部图像对用户进行眼部检测。在一些实施例中，眼部定位装置获取用户的脸部图像，对用户双眼进行眼部检测，获取眼部检测状态，检测出的状态可能有双眼被完全遮挡、双眼之一被遮挡、左眼被遮挡、右眼被遮挡、双眼未被遮挡等状态，具体可设置标志位代表各个状态，生成标志位的过程，具体的检测过程可以通过对脸部图像做模式识别进行眼部检测；在眼部追踪装置获取到图像中包括多个人脸时，可以先进行人脸定位获取到人脸矩形，然后在人脸矩形中进行模式识别，判断眼部检测状态。

本公开实施例中，遮挡用户眼部的遮挡物可能是用户自身上的物品，如帽子、用户头发等，也有可能是外部的遮挡物，如被另外一个用户遮挡，或者被另外一个用户手持的物品遮挡。在一些场合，遮挡眼部的原因并非是实际的物品，可能是强光反射造成检测失败，特别是用户佩戴有眼镜时，眼镜镜片出现反光，造成检测时，不能检测到眼部。本公开实施例对此不做限定。

S200、当用户双眼之一被遮挡时，根据未被遮挡眼部的空间位置和脸部图像获取被遮挡眼部的空间位置，将未被遮挡眼部的空间位置和被遮挡眼部的空间位置作为用户双眼的空间位置。本实施例中，在用户双眼之一被遮挡，即有一只眼未被遮挡，一只眼被遮挡时，可以先获取出未被遮挡眼部的空间位置，然后将其和用户的面部图像特征进行结合获取被遮挡眼部空间位置。需要说明的是，本申请中的空间位置可以是相对的位置，也可以是绝对的位置，例如，空间位置，可以是定义在多视点裸眼3D显示屏上建立的坐标系中的位置。本申请中，可以预先设置神经网络，通过被遮挡的面部图像作为输入，未被遮挡的图像作为输出，进行训练，实际运用中，将用户的面部图像特征输入到神经网络中，即可获取为被遮挡的面部图像作为修正图像，然后根据修正图像提取出双眼之间的位置关系(包括距离和姿态)和未被遮挡的眼部的空间位置，进行向量计算即可获得被遮挡眼部的空间位置。

获取未被遮挡眼部的空间位置，可以通过深度摄像头利用图像识别算法获取，也可以基于第一黑白摄像头拍摄的第一黑白图像和第二黑白摄像头拍摄的第二黑白图像进行提取，在判断第一黑白图像和第二黑白图像中至少一幅识别眼部的存在且基于第一黑白图像和第二黑白图像中未被遮挡眼部的所在位置确定眼部的空间位置。还可以基于黑白摄像头拍摄的黑白图像识别未被遮挡的眼部的存在且基于黑白图像和深度获取装置获取的深度信息确定未被遮挡的眼部的空间位置。

本公开实施例中，可以根据预知瞳距信息和未被遮挡的眼部的空间位置获取被遮挡眼部的空间位置。如图3B所示，用户的双眼为E1和E2，E1未被遮挡，E2被遮挡，通过拍摄到图像获取E1的空间坐标为(x1，y1，z1)，预知瞳距信息为E1到E2的瞳距向量P(xp，yp，zp)，则E2的空间位置为(x1+xp，y1+yp，z1+zp)。

预知的瞳距信息可以采用常规值，通过一段时间的识别结果进行统计获取均值，也可实时采用上一帧未被遮挡的图像中提取出预知瞳距信息。

多视点裸眼3D显示屏可以同时满足多个用户观看3D显示效果。在获取预知瞳距信息时，为了更加精确，可将用户的面部图像输入到脸部图像库中进行识别，获取到对应的预知瞳距信息。具体地，将用户脸部图像输入脸部图像库或带脸部图像库的神经网络模型中进行识别获取预知瞳距信息。

在一些实施例中，眼部定位方法还可以包括S300、当用户双眼未被遮挡时，根据脸部图像获取用户双眼的空间位置。获取双眼的空间位置，可以通过深度摄像头利用图像识别算法获取，也可以基于第一黑白摄像头拍摄的第一黑白图像和第二黑白摄像头拍摄的第二黑白图像进行提取，在判断第一黑白图像和第二黑白图像中至少一幅识别眼部的存在且基于第一黑白图像和第二黑白图像中眼部的所在位置确定眼部的空间位置。还可以基于黑白摄像头拍摄的黑白图像识别未被眼部的存在且基于黑白图像和深度获取装置获取的深度信息确定未被遮挡的眼部的空间位置。

本申请的另外一个实施例，为了获取预知瞳距信息，步骤S300中，还包括如下步骤：

判断或者响应于用户双眼未被遮挡时，获取与用户的脸部图像对应的瞳距信息，如瞳距向量；预知瞳距信息包括与用户脸部图像对应的瞳距信息。

本申请的另外一个实施例中，为了便于长期的眼部追踪定位，在识别结果较好时，将识别出来的瞳距信息和面部特征进行存储，以便后续追踪过程中出现被遮挡或者未识别成功时，利用面部特征与历史库中的面部特征进行匹配，然后获取瞳距信息。具体地，还可包括步骤S400，确定或者响应于用户双眼未被遮挡时，获取与多视点裸眼3D显示屏对应的用户的的脸部图像和瞳距信息；将用户的的脸部图像和瞳距信息相关联。

之后的追踪过程中，如果眼部有缺失，或者被遮挡，则将面部特征与历史库中面部特征进行匹配，超过一定阈值，则可以认定为匹配成功；或者匹配时，将面部特征进行拆分匹配，如，右眼被遮挡时，可将左半脸与历史库中脸进行匹配，匹配时，历史库中的面部特征也是左半脸的面部特征，保证了匹配的成功率，也可采用其他部分脸对应匹配。匹配成功后，获取关联的瞳距信息作为上述的预知瞳距信息。

本公开的另一些实施例中，步骤S200中获取被遮挡的眼部的空间位置，还可采用其他面部特征辅助获取。具体地，根据未被遮挡的眼部的空间位置和脸部图像获取被遮挡眼部的空间位置的步骤包括：

当用户脸部图像中用户双耳至少之一未被遮挡时，根据脸部图像中人耳的空间位置和未被遮挡的眼部的空间位置获取被遮挡眼部的空间位置。一般地，双眼和左右耳成对称关系，如图3C所示，示意出用户的双耳e1，e2，左耳e1与左眼E1之间的空间相对关系与右耳2和右眼E2之间的空间关系对称，假如左耳e1、右耳e2、左眼E1未被遮挡，右眼E2被遮挡，这时，通过左耳e1与右耳e2之间的空间向量和左耳e1与左眼E1之间的空间向量，可以求出右眼的空间位置。

具体地，当用户脸部图像中用户双耳未被遮挡时，根据用户脸部图像获取双耳位置；根据双耳位置、未被遮挡的眼部的空间位置，获取被遮挡眼部的空间位置。

如果其中一只耳也被遮挡时，则可以利用神经网络模型进行识别，或者将面部图像与历史库进行匹配，如上所述，还可部分面部图像进行匹配，获取到预存的或者预知的双耳位置，本申请实施例中的双耳位置可以根据参考系进行设定，为了简便计算，可将双耳位置相对眼部进行定义，通过预存的空间位置关系，获取眼部的空间位置。

具体地，当用户脸部图像中用户双耳之一被遮挡时，根据预设双耳位置、未被遮挡的眼部的空间位置，获取被遮挡眼部的空间位置。通过图像匹配获取预设的双耳位置。

在一些实施情况下，还可通过预先训练的较好的神经网络模型，实现将部分人脸输入到模型中，能够识别出完整人脸从而获取双耳的位置。

具体地，当用户脸部图像中用户双耳之一被遮挡时，通过将用户图像输入到预先训练的神经网络模型中获取双耳位置；

根据双耳位置、未被遮挡的眼部的空间位置，获取被遮挡眼部的空间位置。

本公开实施例中，为了简便计算，在直接获取双耳位置较为困难时，可采用经验值，当用户脸部图像中用户双耳未被遮挡时，根据用户户脸部图像获取与多视点裸眼3D显示屏对应的用户双耳位置；

根据多个与多视点裸眼3D显示屏对应的用户双耳位置，生成双耳位置平均值，预设双耳位置包括双耳位置平均值。

本公开实施例中针对眼部检测时其中一只眼缺失的情况，提供了通过准确检测到未被遮挡眼部的空间位置和面部图像获取被遮挡的眼部的空间位置，为多视点裸眼3D显示提供可靠基础，使得用户能够正常观看3D图像。

本公开的另一个实施例还提供了一种多视点裸眼3D显示方法，参照图4A所示，用于多视点裸眼3D显示屏，多视点裸眼3D显示屏包括对应多个视点的多个子像素；多视点裸眼3D显示方法包括：

SS100根据眼部定位方法获取多视点裸眼3D显示屏的用户双眼的空间位置。本步骤中的步骤包括上述的实施例中步骤，可以全部或者部分采用上述的技术方案以获取用户的双眼的空间位置。

SS200、根据用户双眼的空间位置生成视点。本公开中可以设置有空间位置与视点信息对照表，多视点裸眼3D显示屏在实际使用之前通过视点测量将空间中位置和视点对应关系进行记录，在裸眼3D显示过程中，获取了空间位置之后，通过茶轴对照表获取相应的视点信息。本公开中还可以采用通过实时计算的方式根据空间位置获取视点。

SS300、基于3D信号渲染多视点裸眼3D显示屏的复合子像素中与视点对应的子像素。获取到动态的视点后，根据视点动态渲染多视点裸眼3D显示屏上与视点对应的子像素。

本公开中，多视点裸眼3D显示屏上可以允许有多视点进行裸眼3D显示，但是基于有限的设置空间和有限的数据处理能力，视点信息总是有限的，在用户数量较多，需要超出可承受范围外的视点数量时，势必会造成，某些用户不能正常显示的情况，由此本公开针对用户设置了优先顺序，将视点资源优先满足优级高的用户的需要。

本公开的一些实施例中，通过用户的眼部的遮挡状态来设置用户的优先级。当优先级高的用户的视点信息与优先级低的用户的视点信息冲突时，优先保证优先级高的用户的视点信息，从而使得优先级高的用户能够可靠观看到裸眼3D图像，继而调整有视点冲突的优先级较低的用户的观看视点，一般地为了保证能够观看到图像，可以将此优先级较低的用户的双眼对应的视点信息设置相同，从而使得此优先级较低的用户观看到的是2D图像。

在本公开的一些实施例中，多视点裸眼3D显示方法还包括：检测至少两个用户以获取至少两个用户的眼部遮挡状态；基于至少两个用户的眼部遮挡状态确定优先用户或对至少两个用户的优先级进行排序。

例如，将双眼未被遮挡的用户设为优先用户，或者将双眼未被遮挡的用户户的优先级设为高于双眼之一被遮挡的用户的优先级，保证了未被遮挡的用户的观看优先性。如图4B所示，第一用户v1双眼未被遮挡，第二用户v2的左眼被遮挡，此时，第一用户v1为优先用户，或者第一用户v1的优先级高于第二用户v2。

还例如，将双眼未被遮挡的用户设为优先用户；当双眼之一被遮挡的用户是被双眼未被遮挡的用户遮挡时，将双眼未被遮挡的用户设为高于双眼之一被遮挡的用户的优先级。如图4C所示，第一用户v1双眼未被遮挡，第二用户v2的左眼被第一用户v1遮挡，此时，第一用户v1为优先用户，或者第一用户v1的优先级高于第二用户v2。

本公开的一些实施例中，基于获得的3D信号渲染与视点信息对应的子像素的步骤包括：响应于优先用户或优先级高的用户与其它用户的眼部所在视点位置的冲突，基于3D信号渲染多视点裸眼3D显示屏中的复合子像素中与优先用户或优先级高的用户的眼部所在的视点位置对应的子像素。

图5A示意性示出了基于确定的优先用户或优先级高的用户渲染子像素的一个实施例，其中以红色复合子像素中的子像素R的渲染作为示例，对其它复合子像素中的子像素的渲染以此类推。人脸检测装置检测到用户a的双眼未被遮挡，用户b的双眼之一被遮挡，将用户a确定为优先用户，或者将用户a排在高优先级。实时检测用户a和用户b各自双眼所在的视点位置。用户a的右眼所在视点位置与用户b的左眼所在视点位置存在冲突，即视点信息相同。3D处理装置基于3D视频信号的图像生成用户a的双眼所对应的视点的图像，并渲染红色复合子像素中与用户a的双眼所在视点位置对应的红色子像素R2、R4，向用户a播放3D效果。3D处理装置还可以基于用户b的左眼所对应的视点的图像(与用户a的右眼所对应的视点的图像相同)渲染红色复合子像素中与用户b的右眼所在视点位置对应的红色子像素R6。用户b的双眼看到的是相同图像，3D处理装置向用户b播放2D效果。

图5B示意性示出了3D处理装置基于确定的优先用户或优先级高的用户渲染子像素的另一个实施例，其中以红色复合子像素中的子像素R的渲染作为示例，对其它复合子像素中的子像素的渲染以此类推。人脸检测装置检测到用户a的双眼未被遮挡，用户b的双眼之一被遮挡，将用户a确定为优先用户，或者将用户a排在高优先级。眼部追踪装置实时检测用户a和用户b各自双眼所在的视点位置。用户a的左眼所在视点位置与用户b的左眼所在视点位置存在冲突。3D处理装置基于3D视频信号的图像生成用户a的双眼所对应的视点的图像，并渲染红色复合子像素中与用户a的双眼所在视点位置对应的红色子像素R2、R4，向用户a播放3D效果。3D处理装置还可以基于3D视频信号的图像生成用户b的右眼所对应的视点的图像(与用户a的右眼所对应的视点的图像相同)，并渲染红色复合子像素中与用户b的右眼所在视点位置对应的红色子像素R6。用户b双眼看到的是不同图像，3D处理装置向用户b播放3D效果。

图5C示意性示出了3D处理装置基于确定的优先用户或优先级高的用户渲染子像素的又一个实施例，其中以红色复合子像素中的子像素R的渲染作为示例，对其它复合子像素中的子像素的渲染以此类推。人脸检测装置检测到用户a的双眼未被遮挡，用户b的双眼之一被遮挡，将用户a确定为优先用户，或者将用户a排在高优先级。眼部追踪装置实时检测用户a和用户b各自双眼所在的视点位置。用户a的左眼所在视点位置与用户b的左眼所在视点位置存在冲突，且用户a的右眼所在视点位置与用户b的右眼所在的视点位置冲突。3D处理装置基于3D视频信号的图像生成用户a的双眼所对应的视点的图像，并渲染红色复合子像素中与用户a的双眼所在视点位置对应的红色子像素R2、R4，向用户a播放3D效果。用户b同时可以看到相同的3D效果。

图5D示意性示出了基于确定的优先用户或优先级高的用户渲染子像素的一个实施例，其中以红色复合子像素中的子像素R的渲染作为示例，对其它复合子像素中的子像素的渲染以此类推。人脸检测装置检测到用户a的双眼未被遮挡，用户b的双眼之一被遮挡且被用户a遮挡，将用户a确定为优先用户，或者将用户a排在高优先级。实时检测用户a和用户b各自双眼所在的视点位置。用户a的右眼所在视点位置与用户b的左眼所在视点位置存在冲突，即视点信息相同。3D处理装置基于3D视频信号的图像生成用户a的双眼所对应的视点的图像，并渲染红色复合子像素中与用户a的双眼所在视点位置对应的红色子像素R2、R4，向用户a播放3D效果。3D处理装置还可以基于用户b的左眼所对应的视点的图像(与用户a的右眼所对应的视点的图像相同)渲染红色复合子像素中与用户b的右眼所在视点位置对应的红色子像素R6。用户b的双眼看到的是相同图像，3D处理装置向用户b播放2D效果。

本公开实施例中根据是否被遮挡进行优先级设定，从而控制3D效果显示的优先级，针对被遮挡的用户由于需要从3D降为2D显示，即使被遮挡也需要获取被遮挡眼部所在的位置，从而便于确定是否冲突，改善显示效果。本公开实施例中通过针对被遮挡的眼部进行眼部追踪能够有效满足此需求，保证了显示的可靠性。

如图6A，本公开另一些实施例还提供了一种眼部定位装置600，包括：

眼部检测装置610，被配置为获取用户脸部图像，对用户双眼进行眼部检测；

眼部追踪图像处理装置620，被配置为：

当用户双眼之一被遮挡时，根据未被遮挡的眼部的空间位置和脸部图像获取被遮挡眼部的空间位置，将未被遮挡眼部的空间位置和被遮挡眼部的空间位置作为用户双眼的空间位置；

当用户双眼未被遮挡时，根据脸部图像获取用户双眼的空间位置。

本公开实施例中的眼部定位装置600能够获取用户眼部的空间位置，即时其中一个眼部被遮挡，通过未被遮挡的眼部的空间位置和面部图像特征求出另一只被遮挡的眼部的空间位置，保证了眼部位置检测的可靠性。

眼部定位装置600能够根据预知的瞳距信息获取和未被遮挡的眼部的空间位置获取被遮挡的眼部的空间位置，具体地，眼部追踪图像处理装置620还被配置为：

根据预知瞳距信息和未被遮挡的眼部的空间位置获取被遮挡眼部的空间位置。

预知瞳距信息可以利用上一帧未被遮挡的图像中提取出来，例如提取瞳距向量作为预知瞳距信息。在脸部图像数据库中存入历史运行所获取的脸部图像和相应的识别出的或者录入的瞳距信息，眼部追踪图像处理装置620可将脸部图像输入到脸部图像数据库中进行识别匹配，当与输入的脸部图像匹配时，输出相应的瞳距信息返回给给眼部追踪图像信息处理装置620。具体的其他的获取被遮挡的眼部的方法可参见本公开中眼部追踪方法实施例中提供的方案。

本公开实施例中的，脸部图像的采集可以采用常规的彩色摄像头，也可采用的黑白摄像头，本公开实施例中进行眼部检测时，为了快速处理图像，采用黑白图像进行处理，本公开较优的选用的黑白摄像头进行拍摄直接获取黑白图像，当然，也可采用彩色摄像头，获取图像后进行二值化处理。

本公开实施例中的定位装置600，可以外接摄像头，也可将摄像头集成为一体设备，具体地，如图6B，定位装置600还包括眼部采集装置630，包括被配置为拍摄第一黑白图像的第一黑白摄像头和被配置为拍摄第二黑白图像的第二黑白摄像头：

眼部追踪图像处理装置620还被配置为基于第一黑白图像和第二黑白图像中至少一幅识别眼部的存在且基于第一黑白图像和第二黑白图像中未被遮挡眼部的所在位置确定未被遮挡眼部的空间位置。

本公开实施例中获取眼部空间位置的方式，除了上述采用双黑白摄像头的方案，还可将单个黑白摄像头与深度获取装置进行组合，例如采用黑白摄像头与kinect相机组合进行采集，具体的，如图6B，定位装置600还包括眼部采集装置630，包括被配置为拍摄黑白图像的黑白摄像头和被配置为获取深度信息的深度获取装置；

眼部追踪图像处理装置620基于黑白图像识别未被遮挡的眼部的存在且基于黑白图像和深度信息确定未被遮挡的眼部的空间位置。

上述的黑白摄像头也可以替换为彩色摄像头，并采集彩色图像。

图7示意性地示出了利用两个黑白摄像头确定眼部的空间位置的几何关系模型的俯视图。在图7所示实施例中，第一黑白摄像头和第二黑白摄像头是相同的黑白摄像头，因此具有相同的焦距f；第一黑白摄像头151a的光轴Za与第二黑白摄像头151b的光轴Zb平行，第一黑白摄像头151a的焦平面401a和第二黑白摄像头151b的焦平面401b处于同一平面内并且垂直于两个黑白摄像头的光轴。基于上述设置，两个黑白摄像头的镜头中心Oa和Ob的连线平行于两个黑白摄像头的焦平面。在图7所示实施例中，以两个黑白摄像头的镜头中心Oa到Ob的连线方向作为X轴方向并且以两个黑白摄像头的光轴方向为Z轴方向示出XZ平面的几何关系模型的俯视图。

在图7所示实施例中，以第一黑白摄像头151a的镜头中心Oa为其原点，以第二黑白摄像头151b的镜头中心Ob为其原点。R和L分别表示用户的右眼和左眼，XRa和XRb分别为用户右眼R在两个黑白摄像头的焦平面401a和401b内成像的X轴坐标，XLa和XLb分别为用户左眼L在两个黑白摄像头的焦平面401a和401b内成像的X轴坐标。此外，两个黑白摄像头的间距T以及它们的焦距f也是已知的。根据相似三角形的几何关系可得出右眼R和左眼L与如上设置的两个黑白摄像头所在平面的间距DR和DL分别为：

并且可得出观察者双眼连线与如上设置的两个黑白摄像头所在平面的倾斜角度α以及观察者双眼间距或瞳距P分别为：

在图7所示实施例中，观察者双眼连线、亦即观察者脸部与如上设置的两个黑白摄像头所在平面相互倾斜并且倾斜角度为α；当观察者脸部与如上设置的两个黑白摄像头所在平面相互平行时、亦即当观察者平视两个黑白摄像头时，倾斜角度α为零。

如图8所示，本公开另一些实施例还提供了一种多视点裸眼3D显示设备100

包括：

多视点裸眼3D显示屏110，多视点裸眼3D显示屏110包括对应多个视点的多个子像素；

至少一个3D处理装置130，被配置为基于3D信号渲染与视点对应的子像素；其中，视点由用户的眼部的空间位置确定；

以及上述实施例中的用户眼部定位装置600，眼部定位装置600获取用户的双眼空间位置，输出给3D处理装置，3D处理装置根据双眼空间位置确定视点。

本公开实施例中的多视点裸眼3D显示设备100通过眼部跟踪装置600可靠检测眼部的空间位置，即时在单眼被遮挡时，也能检测出眼部空间位置，保证了可靠性，3D处理装置130根据空间位置获取出视点信息，根据视点信息控制多视点裸眼3D显示屏110根据视点信息渲染对应的子像素，或者渲染复合像素中的与视点信息对应的子像素。实现可靠的多视点3D裸眼显示。

本公开实施例中的多视点裸眼3D显示设备100针对视点资源的限制，为了保证了视点资源能够得到有效利用，针对用户进行优先级设定，本公开实施例中通过用户是否被遮挡进行设定，一般地，可将眼部被遮挡的用户的优先级设为小于眼部未被遮挡的用户的优先级，具体地，多视点裸眼3D显示设备100还包括，

眼部检测装置170，被配置为检测至少两个用户以获取至少两个用户的眼部遮挡状态；眼部检测装置170可采用模式识别或者图像识别的方式检测眼部的是否被遮挡。

优先级逻辑电路180，被配置为基于至少两个用户的眼部遮挡状态确定优先用户或对至少两个用户的优先级进行排序。

本公开实施例中，还可针对，被遮挡眼部的用户的与未被遮挡的眼部的用户之间的关系来设定优先级，优先级逻辑电路180被配置为将双眼未被遮挡的用户设为优先用户；判断双眼之一被遮挡的用户是被双眼未被遮挡的用户遮挡时，将双眼未被遮挡的用户设为高于双眼之一被遮挡的用户的优先级。

本公开实施例中，至少一个3D处理装置130被配置为响应于优先用户或优先级高的用户与其它用户的眼部所在视点位置的冲突，基于3D信号渲染多视点裸眼3D显示屏中的复合子像素中与优先用户或优先级高的用户的眼部所在的视点位置对应的子像素。本公开实施例中的3D处理装置130处理冲突的步骤，可参考关于图5A～5D描述的方法步骤。通过眼部定位装置600获取到缺失眼部的空间位置，保证了冲突解决的完整性。

在一些实施例中，多视点裸眼3D显示设备还可以包括人脸检测装置。人脸检测装置可具有视觉识别功能，例如人脸识别功能，并可以检测用户的人脸信息，例如检测多视点裸眼3D显示屏前面所有用户的人脸信息。人脸检测装置可以连接至眼部追踪装置，也可以连接至3D处理装置，以传输检测到的人脸信息。人脸检测装置可以作为独立装置设置，或者可以与眼部追踪装置集成在一起，或者可以集成在多视点裸眼3D显示设备的处理器内，例如与眼部追踪装置一起集成在处理器内，或者可以集成在多视点裸眼3D显示设备中具有类似功能的其他部件或装置内。

眼部追踪装置可以实时检测至少两个用户各自双眼所在的视点位置，3D处理装置响应于优先用户或至少两个用户中优先级高的用户与其他用户的眼睛所在视点位置的冲突，基于3D视频信号的图像渲染各复合子像素中与优先用户或至少两个用户中优先级高的用户的双眼所在的视点位置对应的子像素。

在一些实施例中，响应于优先用户或优先级高的用户与其它用户的眼睛所在视点位置的冲突，基于3D视频信号的图像渲染各复合子像素中与优先用户或优先级高的用户的双眼所在的视点位置对应的子像素。

当优先用户或优先级高的用户的双眼之一所在视点位置与其他用户的双眼之一所在视点位置产生冲突，且优先用户或优先级高的用户的冲突眼与其他用户的冲突眼相反时，例如优先用户或优先级高的用户的左眼所在视点位置与其他用户的右眼所在视点位置产生冲突，或者优先用户或优先级高的用户的右眼所在视点位置与其他用户的左眼所在视点位置产生冲突，基于3D视频信号的图像生成优先用户或优先级高的用户的双眼所对应的视点的图像，并渲染各复合子像素中与优先用户或优先级高的用户的双眼所在的视点位置对应的子像素，向优先用户或优先级高的用户播放3D效果。还可以基于其他用户的冲突眼所对应的视点的图像渲染各复合子像素中与其他用户的非冲突眼所在视点位置对应的子像素。其他用户的冲突眼和非冲突眼看到相同的图像，其他用户看到的是2D效果。

当优先用户或优先级高的用户的双眼之一所在视点位置与其他用户的双眼之一所在视点位置产生冲突，且优先用户或优先级高的用户与其他用户的冲突眼不相反时，例如优先用户或优先级高的用户的左眼所在视点位置与其他用户的左眼所在视点位置产生冲突，或者优先用户或优先级高的用户的右眼所在视点位置与其他用户的右眼所在视点位置产生冲突，基于3D视频信号的图像生成优先用户或优先级高的用户的双眼所对应的视点的图像，并渲染各复合子像素中与优先用户或优先级高的用户的双眼所在的视点位置对应的子像素，向优先用户或优先级高的用户播放3D效果。还可以基于3D视频信号的图像生成其他用户的非冲突眼所对应的视点的图像，并渲染各复合子像素中与其他用户的非冲突眼所在视点位置对应的子像素。其他用户的非冲突眼所对应的视点的图像与冲突眼所对应的视点的图像不同，其他用户看到3D效果。

当优先用户或优先级高的用户的双眼所在视点位置与其它用户的双眼所在视点位置产生冲突时，基于3D视频信号的图像生成优先用户或优先级高的用户双眼所对应的视点的图像，并渲染各复合子像素中与优先用户或优先级高的用户的双眼所在的视点位置对应的子像素，向优先用户或优先级高的用户与其他有双眼视点位置冲突的用户共同播放3D效果。

本公开实施例提供了一种多视点裸眼3D显示设备300，参考图9，多视点裸眼3D显示设备300包括处理器320和存储器310。在一些实施例中，多视点裸眼3D显示设备300还可以包括通信接口340和总线330。其中，处理器320、通信接口340和存储器310通过总线330完成相互间的通信。通信接口340可配置为传输信息。处理器320可以调用存储器310中的逻辑指令，以执行上述实施例的多视点裸眼3D显示方法或者眼部定位方法。

此外，上述的存储器310中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器310作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器320通过运行存储在存储器310中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中的3D图像显示方法。

存储器310可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器310可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例提供了一种产品、例如智能电视、智能蜂窝电话、平板电脑、个人计算机或可穿戴设备，其构造为或包含上述的3D显示设备。

本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令设置为执行上述眼部定位方法和/或3D显示方法。

本公开实施例提供了一种计算机程序产品，包括存储在计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使上述计算机执行上述眼部定位方法和/或3D显示方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例的方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置或设备实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上描述和附图充分地示出了本公开的实施例，以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。当用于本申请中时，术语“包括”等指陈述的特征中至少一项的存在，但不排除其它特征的存在。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。本领域技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。作为分离部件说明的单元可以是或不是物理上分开的，作为单元显示的部件可以是不是物理单元。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (21)

1.一种眼部定位方法，其特征在于，包括：

获取用户的脸部图像，基于所述脸部图像对所述用户进行眼部检测；

当所述用户双眼之一被遮挡时，根据未被遮挡眼部的空间位置和所述脸部图像获取被遮挡眼部的空间位置，将所述未被遮挡眼部的空间位置和所述被遮挡眼部的空间位置作为所述用户双眼的空间位置。

2.根据权利要求1所述的眼部定位方法，其特征在于，当所述用户双眼之一被遮挡时，根据未被遮挡眼部的空间位置和所述脸部图像获取被遮挡眼部的空间位置包括：

获取所述用户的瞳距信息；

根据所述瞳距信息和所述未被遮挡眼部的空间位置获取所述被遮挡眼部的空间位置。

3.根据权利要求2所述的眼部定位方法，其特征在于，获取所述用户的瞳距信息包括：将所述用户的所述脸部图像输入脸部图像库中进行识别，以获取与所述脸部图像对应的所述瞳距信息。

4.根据权利要求3所述的眼部定位方法，其特征在于，还包括：

当所述用户双眼未被遮挡时，获取所述用户的脸部图像和与所述脸部图像对应的瞳距信息；

将所述脸部图像和与所述脸部图像对应的瞳距信息存储到所述脸部图像库。

5.根据权利要求1至4任一项所述的眼部定位方法，其特征在于，还包括：

当所述用户双眼未被遮挡时，根据所述脸部图像获取所述用户双眼的空间位置。

6.一种多视点裸眼3D显示方法，其特征在于，包括：

根据权利要求1至5任一所述的眼部定位方法获取所述用户双眼的空间位置；

根据所述用户双眼的空间位置生成视点；

基于3D信号渲染多视点裸眼3D显示屏的复合子像素中的与所述视点对应的子像素。

7.根据权利要求6所述的多视点裸眼3D显示方法，其特征在于，还包括：

检测至少两个用户以获取所述至少两个用户的眼部遮挡状态；

基于所述至少两个用户的眼部遮挡状态确定优先用户；

根据所述优先用户双眼所在视点，基于3D信号渲染所述多视点裸眼3D显示屏的复合子像素中的与所述优先用户双眼所在视点对应的子像素。

8.根据权利要求7所述的多视点裸眼3D显示方法，其特征在于，基于所述至少两个用户的眼部遮挡状态确定优先用户包括：

将双眼未被遮挡的用户设为优先用户；或

当至少双眼之一被遮挡的用户被双眼未被遮挡的用户遮挡时，将所述双眼未被遮挡的用户相对于所述至少双眼之一被遮挡的用户设为优先用户。

9.根据权利要求7或8所述的多视点裸眼3D显示方法，其特征在于，基于3D信号渲染所述多视点裸眼3D显示屏的复合子像素中的与所述优先用户所在视点对应的子像素：

响应于所述优先用户与其它用户的眼部所在视点的冲突，基于所述3D信号渲染所述多视点裸眼3D显示屏中的复合子像素中与所述优先用户的双眼所在的视点对应的子像素。

10.一种眼部定位装置，其特征在于，包括：

眼部检测装置，被配置为获取用户的脸部图像，并基于所述脸部图像对所述用户进行眼部检测；

眼部追踪图像处理装置，被配置为当所述用户双眼之一被遮挡时，根据未被遮挡眼部的空间位置和所述脸部图像获取被遮挡眼部的空间位置，将所述未被遮挡眼部的空间位置和所述被遮挡眼部的空间位置作为所述用户双眼的空间位置。

11.根据权利要求10所述的眼部定位装置，其特征在于，所述眼部检测装置还被配置为获取所述用户的瞳距信息；

所述眼部追踪图像处理装置还被配置为根据所述瞳距信息和所述未被遮挡眼部的空间位置获取所述被遮挡眼部的空间位置。

12.根据权利要求11所述的眼部定位装置，其特征在于，所述眼部追踪图像处理装置还被配置为将所述用户的所述脸部图像输入脸部图像库中进行识别，以获取与所述脸部图像对应的所述瞳距信息。

13.根据权利要求12所述的眼部定位装置，其特征在于，所述眼部检测装置还被配置为当所述用户双眼未被遮挡时，获取所述用户的脸部图像和与所述脸部图像对应的瞳距信息；

所述眼部追踪图像处理装置还被配置为将所述脸部图像和与所述脸部图像对应的瞳距信息存储到所述脸部图像库。

14.根据权利要求10至13任一项所述的眼部定位装置，其特征在于，所述眼部追踪图像处理装置还被配置为当所述用户双眼未被遮挡时，根据所述脸部图像获取所述用户双眼的空间位置。

15.根据权利要求10至13任一项所述的眼部定位装置，其特征在于，还包括眼部采集装置，包括：

第一摄像头，被配置为拍摄第一图像；和

第二摄像头，被配置为拍摄第二图像：

所述眼部追踪图像处理装置还被配置为基于所述第一图像和所述第二图像中至少一幅识别所述未被遮挡眼部的存在且基于所述第一图像和所述第二图像中所述未被遮挡眼部所在位置确定所述未被遮挡眼部的空间位置。

16.根据权利要求10至13任一项所述的眼部定位装置，其特征在于，还包括眼部采集装置，包括：

摄像头，被配置为拍摄图像；和

深度获取装置，被配置为获取用户的眼部深度信息；

所述眼部追踪图像处理装置还被配置为基于所述图像识别所述未被遮挡眼部的存在且基于识别到的所述未被遮挡眼部的位置和所述眼部深度信息确定所述未被遮挡眼部的空间位置。

17.一种多视点裸眼3D显示设备，其特征在于，包括：

多视点裸眼3D显示屏，包括多个复合像素，所述多个复合像素中的每个复合像素包括多个复合子像素，所述多个复合子像素中的每个复合子像素包括对应于所述多视点裸眼3D显示设备的多个视点的多个子像素；

根据权利要求10至16任一项所述的眼部定位装置；

3D处理装置，被配置为根据所述眼部定位装置获取的用户双眼的空间位置生成视点，并基于3D信号渲染所述多视点裸眼3D显示屏的所述多个复合子像素中的与所述视点对应的子像素。

18.根据权利要求17所述的多视点裸眼3D显示设备，其特征在于，包括，

眼部检测装置，被配置为检测至少两个用户以获取所述至少两个用户的眼部遮挡状态；

优先级逻辑电路，被配置为基于所述至少两个用户的眼部遮挡状态确定优先用户；

所述3D处理装置被配置为根据所述优先用户双眼所在视点，基于3D信号渲染所述多视点裸眼3D显示屏的复合子像素中的与所述优先用户双眼所在视点对应的子像素。

19.根据权利要求18所述的多视点裸眼3D显示设备，其特征在于，所述优先级逻辑电路被配置为将双眼未被遮挡的用户设为优先用户；或

所述优先级逻辑电路被配置为当至少双眼之一被遮挡的用户被双眼未被遮挡的用户遮挡时，将所述双眼未被遮挡的用户相对于所述至少双眼之一被遮挡的用户设为优先用户。

20.根据权利要求18或19所述的多视点裸眼3D显示设备，其特征在于，所述3D处理装置被配置为响应于所述优先用户与其它用户的眼部所在视点的冲突，基于所述3D信号渲染所述多视点裸眼3D显示屏中的复合子像素中与所述优先用户的双眼所在的视点对应的子像素。

21.一种多视点裸眼3D显示设备，其特征在于，包括：

处理器；以及

存储有程序指令的存储器；

其中，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至5任一项所述的眼部定位方法或者如权利要求6至9任一项所述的多视点裸眼3D显示方法。

Images