CN106856567A - 三维显示装置及其控制方法 - Google Patents

Abstract

本发明涉及三维显示装置及其控制方法。该装置包括：显示器，包括显示信息的显示面板和与显示面板的前面重叠的屏障面板；摄像机，被配置为获取用户的图像；图形处理器，被配置为控制屏障面板的屏障；和控制器，被配置为：使用由摄像机获取的用户的图像来识别用户的视线或用户的面部，在由摄像机识别到的用户的视线或面部中设定摄像机的固定焦点，在设定固定焦点后，确定在由摄像机进行的用户的视线或面部的识别中是否发生错误，并且，基于在用户的视线或面部的识别中是否发生错误来控制图形处理器，从而控制屏障。

Description

三维显示装置及其控制方法

技术领域

本发明总体涉及一种三维(3D)显示装置，且更具体地，涉及如下一种3D显示装置及其控制方法，在其中，在3D显示装置中发生驾驶者的视线或面部的识别错误的情况下，根据错误形式来控制3D面板的屏障(barrier)的对准。

背景技术

近来，已经开发出能够用于在无需佩戴3D眼镜的情况下观看立体图像的自由立体三维(3D)技术。典型的自由立体3D显示方案的示例是视差屏障方案。视差屏障方案涉及在画面前设置钻有多个孔的屏障。在屏障中形成的孔被设置为可交替地观察到孔后方的像素，使得在未佩戴眼镜的情况下，不同的图像分别抵达观看者双眼，由此能够体验3D效果。

此外，在车辆上已经应用实现自由立体3D技术的立体仪表板(cluster)。然而，立体仪表板具有狭窄的视角，以至于即使用户(例如，驾驶者)的视线轻微地移动，用户的视线也将超出视角。为了解决在传统实施方式中的立体仪表板的视角的这一问题，可以使用摄像机识别驾驶者的视线或面部，可以追踪驾驶者视线或面部的移动以便在对应的驾驶者的视线或面部上聚焦，并且可以根据追踪到的驾驶者的视线或面部的移动来控制3D面板的屏障。此处，3D面板的屏障是关于一个驾驶者进行对准的。

然而，在上述传统实施方式中，如果多个视线或面部位于摄像机的拍摄区域(识别区域)内，或者驾驶者向左或向右转头，从而引起面部识别失败，则将不能正常地控制3D面板的屏障，并将产生串扰。

发明内容

本发明致力于解决在现有技术中出现的上述问题，同时将由现有技术实现的优点保持完整。

本发明的一个方面是提供一种三维(3D)显示装置及其控制方法，其中，该3D显示装置在当在3D显示装置中识别驾驶者的视线或面部时发生错误的情况下，根据错误形式来控制3D面板的屏障。

根据本发明的实施例，一种三维(3D)显示装置包括：显示器，包括显示信息的显示面板和与所述显示面板的前面重叠的屏障面板；摄像机，被配置为获取用户的图像；图形处理器，被配置为控制所述屏障面板的屏障；和控制器，被配置为：使用由所述摄像机获取的用户的图像来识别用户的视线或用户的面部，在由所述摄像机识别到的用户的视线或面部中设定所述摄像机的固定焦点，在设定固定焦点后，确定在由所述摄像机进行的用户的视线或面部的识别中是否发生错误，并且，基于在用户的视线或面部的识别中是否发生错误来控制所述图形处理器，从而控制屏障。

所述控制器还可以被配置为：在由所述摄像机识别到的用户的视线或面部上设定焦点，并且当所设定的焦点保持预定时间以上时，固定对应的焦点。

当识别到一个或多个其他用户的视线或面部，使得在用户的视线或面部的识别中发生错误时，所述控制器还可以被配置为基于与所述固定焦点对应的用户的视线或面部的移动来控制屏障。

当未识别到一个或多个其他用户的视线或面部时，所述控制器还可以被配置为将在识别失败前刚识别到的用户的视线或面部上的焦点设定成所述固定焦点。

所述控制器还可以被配置为基于所设定的焦点来控制屏障。

当正常地识别到用户的视线或面部时，所述控制器还可以被配置为基于识别到的用户的视线或面部的移动来控制屏障。

此外，根据本发明的实施例，一种控制3D显示装置的方法包括以下步骤：当车辆启动时，通过摄像机识别用户的视线或用户的面部；在由所述摄像机识别到的用户的视线或面部中设定所述摄像机的固定焦点；在设定所述固定焦点后，确定在通过所述摄像机进行的用户的视线或面部的识别中是否发生错误；以及基于在用户的视线或面部的识别中是否发生错误来控制屏障。所述屏障是与显示信息的显示面板的前面重叠的屏障面板的部件。

该方法还可以包括以下步骤：在识别到的用户的视线或面部上设定焦点；以及当所设定的焦点保持预定时间以上时，固定所设定的焦点。

确定是否发生错误的步骤可以包括：当在用户的视线或面部的识别中发生错误时，确定是否识别到一个或多个其他用户的视线或面部；以及当识别到一个或多个其他用户的视线或面部时，基于与所述固定焦点对应的用户的视线或面部的移动来控制屏障。

确定是否发生错误的步骤还可以包括：当未识别到一个或多个其他用户的视线或面部时，将在识别失败前刚识别到的用户的视线或面部上的焦点设定为固定焦点；以及基于所述固定焦点来控制屏障。

该方法还可以包括：追踪识别到的用户的视线或面部的移动；以及当在用户的视线或面部的识别中未发生错误时，基于追踪的结果控制屏障。

此外，根据本发明的实施例，一种非暂时性计算机可读介质包括用于控制3D显示装置的程序指令：当车辆启动时，通过摄像机识别用户的视线或用户的面部；在由摄像机识别到的用户的视线或面部中设定摄像机的固定焦点；在设定固定焦点后，确定在通过摄像机进行的用户的视线或面部的识别中是否发生错误；以及基于在用户的视线或面部的识别中是否发生错误来控制屏障。屏障是与显示信息的显示面板的前面重叠的屏障面板的部件。

附图说明

从下文结合附图进行的详细描述中，本发明的上述及其他目的、特征和优势将变得更加明显。

图1是示出根据本发明的示例性实施例的三维(3D)显示装置的框图；

图2是用于描述根据本发明的实施例的屏障面板(barrier panel)的控制的视图；

图3是示出根据本发明的实施例的用于控制3D显示装置的方法的流程图；

图4A是示出根据本发明在摄像机的识别区域中识别到两个或更多个视线或者面部的情况下，屏障的控制的示意图；

图4B是示出根据本发明在摄像机的识别区域之外的用户的视线或面部的识别失败的情况下，屏障控制的示意图。

110：摄像机

121：显示面板

123：屏障面板

131：显示控制器

133：屏障控制器

140：控制器

150：通信模块

160：存储器

170：用户输入

S110：启动车辆

S120：识别用户的视线或面部

S130：在识别到的用户的视线或面部中设定焦点

S140：焦点保持预定时间以上？

S150：将对应的焦点设定为固定焦点

S160：用户的视线或面部被正常识别？

S170：根据识别到的用户的视线或面部的移动控制屏障

S180：识别到一个或多个其他用户的视线或面部？

S190：根据与固定焦点对应的用户的视线或面部的移动控制屏障

S200：将在识别失败前刚识别到的用户的视线或面部中设定的焦点设定为固定焦点。

S210：根据焦点控制屏障

具体实施方式

在下文中，将参考附图详细描述本发明的实施例。如本领域的技术人员将意识到的，在所述实施例均不违背本发明的精神或范围的情况下，所述实施例可以各种不同的方式进行修改。此外，贯穿说明书，相同的附图标记指代相同的元件。

本文所使用的专有名词仅是为了说明特定实施例的目的，而非意在限制本发明。如本文所使用的，除非上下文另外清楚表明，单数形式“一个”、“一种”和“该”意在也包括复数形式。还将理解的是，当在本说明书中使用时，词语“包括”和/或“包含”规定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或其集合的存在或添加。如本文所使用的，词语“和/或”包括一个或多个相关列出项目的任何或全部组合。

应当理解的是，本文所使用的术语“车辆”或“车辆的”或者其他相似术语包括一般的机动车辆，例如包括运动型多用途车(SUV)、公交车、卡车、各式商用车辆在内的载客车辆，包括各种艇和船在内的水运工具，以及航空器等等，并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆以及其他代用燃料车辆(例如，从石油以外的资源取得的燃料)。如本文所述，混合动力车辆是同时具有两种或多种动力源的车辆，例如，同时汽油驱动和电驱动的车辆。

此外，应当理解的是，下述方法中的一者或者多者，或者其方面，都可通过至少一个控制器进行执行。词语“控制器”可指代包括存储器和处理器的硬件设备。存储器配置成存储程序指令，并且处理器配置成被特定地编程来执行上述程序指令从而执行下文将进一步描述的一个或多个过程。此外，应当理解的是，如本领域的技术人员将理解的，通过包括结合一个或者多个其他组件的控制器的装置可执行下文所述方法。

此外，本发明的控制器可实施为包含由处理器、控制器等执行的可执行程序指令的非暂时性计算机可读介质。计算机可读介质的示例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存盘、智能卡和光学数据存储设备。计算机可读记录介质也可分布在遍及计算机网络，以便以分布方式，例如通过远程信息处理服务器或控制器局域网络(CAN)，存储和执行计算机程序指令。

在下文中，将参考附图详细描述本发明的实施例。

参考所公开的实施例，本发明涉及一种能够显示二维(2D)图像和/或3D图像的三维(3D)显示装置。作为使用3D面板的自由立体3D显示装置的上述3D显示装置可以是诸如立体仪表板、AVN(音频-视频-导航)、后方监视器等显示手段中的任何一种。

在本发明中，在本发明不限于此的情况下，为了帮助理解说明，将以示例的方式描述通过车辆的仪表板实现3D显示装置的情况。

图1是示出根据本发明的实施例的3D显示装置的框图。

如图1所示，3D显示装置被配置为包括摄像机110、显示器120、图形处理器130、控制器140、通信模块150、存储器160和用户输入170。

摄像机110在车辆中安装成指向用户(例如，驾驶者、乘客等)，并且获取用户的图像。通过摄像机110获取的图像用于识别用户的视线或面部。

摄像机110可以用任意一种图像传感器实现，例如，电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器、电荷引发器件(CPD)图像传感器、电荷注入器件(CID)图像传感器等。

显示器120显示2D图像和/或3D图像。显示器120包括显示面板121和屏障面板123。

显示面板121可以被划分为显示不同种类信息的两个或更多个显示区域。例如，在将显示面板121的整个显示区域划分为三个显示区域的情况下，在第一显示区显示测速计表(即，发动机转速表)，在第二显示区显示速度表，并且在第三显示区中显示燃油表和冷却剂温度。

显示面板121在每个显示区域中显示3D图像或2D图像。此处，3D图像包括左眼图像和右眼图像。即，显示面板121交替地布置并显示左眼图像和右眼图像。例如，显示面板121在奇数(1,3,5,…)像素中显示左眼图像，并在偶数(2,4,6,…)像素中显示右眼图像。显示面板121以液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-LCD)、有机发光二极管(OLED)等中的任意一者实施。

屏障面板123被设置成与显示面板121的前面重叠，并且以多个屏障像素(barrierpixels)进行配置。例如，在显示面板121的分辨率为1920×720的情况下，屏障像素的数量为与1920(其为显示面板121的水平分辨率)的一半对应的960。

图形处理器130将数字信号转换成图像信号，并将转换的图像信号传输至显示器120，并且控制屏障面板123使其输出2D和/或3D图像。图形处理器130包括显示控制器131和屏障控制器133。

显示控制器131将从控制器140输入的数字图像数据转换成模拟图像信号，并且向显示面板121输出该模拟图像信号。

屏障控制器133控制构成屏障面板123的屏障像素的开启或关闭。就此而言，屏障控制器133开启所有屏障像素来形成屏障，并且关闭所有的屏障像素来释放屏障。此处，屏障用于阻挡一侧信息，使得在双眼中可以看到不同的图像。

尽管在本发明中已经描述了构成屏障面板123的所有屏障像素同时开启或关闭的情况，但是各个屏障像素也可以实施成被单独控制。

控制器140向显示控制器131输出各种信息，例如车辆信息、行驶信息、道路引导信息等。当设置了显示模式时，控制器140向图形处理器130传输对应的设置信息。图形处理器130的显示控制器131基于从控制器140输出的设置信息，将输入图像生成为3D图像，或者将输入图像生成为2D图像。此外，屏障控制器133基于设置信息控制屏障像素的开启或关闭。

当车辆启动时，控制器140通过摄像机110识别用户的视线或面部。控制器140在识别到的视线或面部中设定焦点。例如，控制器140在识别到的面部的左眼和右眼的中间设定焦点。

当设定的焦点保持预定时间以上时，控制器将固定上述在识别到的视线或面部中设定的焦点。换句话说，当设定的焦点保持基准时间以上时，控制器140将该设定焦点设定成固定焦点。随后，控制器140基于该固定焦点通过摄像机110持续地识别用户的视线或面部。

在正常识别到用户视线或面部的情况下，控制器140追踪识别到的用户的视线或面部的移动。此外，控制器140基于追踪到的用户的视线或面部的移动来控制屏障面板123，由此对准(align)屏障。在未正常识别到用户的视线或面部的情况下，控制器140也确定错误形式(即，是否发生错误)。具体地，错误形式可以是用户的视线或面部超出摄像机110的识别区域，使得用户的视线或面部识别失败的情况，或者可以是在摄像机110的识别区域中额外地识别到一个或多个其他用户视线或面部的情况。

在识别到一个或多个其他用户视线或面部的情况下，控制器140进一步追踪与固定焦点对应的用户视线或面部的移动，并且根据追踪到的用户视线或面部的移动控制屏障的对准。在因用户的动作，例如，转头、移动头部等造成用户的视线或面部超出摄像机110的识别区域，使得用户的视线或面部的识别失败的情况下，控制器140也将在用户的视线或面部识别失败前刚识别到的用户的视线或面部中设定的焦点设定为固定焦点。控制器140根据设定的固定焦点来控制屏障面板123，从而对准屏障。

此外，在用户的视线或面部超出摄像机110的识别区域的情况下，控制器140确定用户的视线或面部是正常地还是异常地超出摄像机110的识别区域。控制器140基于通过通信模块150获取的车辆信息来确定用户的视线或面部是否是正常地超出摄像机110的识别区域。例如，当转向灯开启或者诸如盲点检测(BSD)系统、车道保持辅助系统(LKAS)、车道偏离警告系统(LDWS)等警告系统运行时，控制器140可以确定用户的视线或面部正常地超出摄像机110的识别区域。在这种情况下，控制器140保持在用户的视线或面部的识别前一刻的屏障的对准。

另一方面，当用户的视线或面部异常地超出摄像机110的识别区域时，控制器140考虑到用户视线或面部移动的所有各种情况，设置焦点可最迅速移动至的屏障中心值。尽管在本实施例中已经以示例的方式描述了将在用户的视线或面部的识别失败前刚识别到的用户视线或面部中设定的焦点设定为固定焦点的情况，但本发明不限于此，而是可以实施为将在车辆启动后首先识别到的用户的视线或面部中设定的焦点设定为固定焦点。

通信模块150通过车辆网络与安装在车辆中的电子控制单元(ECU)以及各种传感器进行数据通信。控制器140通过通信模块150收集车辆信息(例如，车辆速度、剩余燃油量、发动机速度、转向灯开/关等)。以示例的方式，可以使用控制器局域网络(CAN)、媒体导向系统传输(MOST)网络、局域互联网络(LIN)以及Flexray中的任何一者作为车辆网络。

存储器160可以将用于控制器140的操作的程序储存于其中，并且将输入/输出数据暂时性地储存于其中。

以示例的方式，存储器160可以包括闪存型存储介质、硬盘型存储介质、多媒体卡微型存储介质、卡型存储器(例如，SD或XD存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)，可编程只读存储器(PROM)、磁存储器、磁盘和光盘中的至少一者。

用户输入170根据用户的操作生成数据。用户输入170可以通过按钮、按键、键盘、触摸板、触摸屏等进行实施。

图2是用于描述根据本发明的实施例的屏障面板的控制的视图。

如图2所示，显示面板121和屏障面板123布置成彼此重叠。构成屏障面板123的所有屏障像素同时开启或关闭。

在以3D显示模式操作显示器120的情况下，屏障控制器133开启与显示面板121的所有显示区域对应的屏障像素从而形成屏障。此外，在以2D显示模式操作显示器120的情况下，屏障控制器133关闭与显示面板121的全部显示区域对应的区域内的屏障像素，从而释放屏障。

此外，屏障控制器133根据基于用户的视线或面部的识别设定的焦点来控制屏障像素的开启或关闭，从而对准屏障。

图3是示出根据本发明的示例性实施例的用于控制3D显示装置的方法的流程图，图4A是示出根据本发明，在摄像机的识别区域中识别到两个或更多个视线或面部的情况下的屏障控制的示意图，并且图4B是示出根据本发明，在摄像机的识别区域之外的用户的视线或面部的识别失败的情况下的屏障控制的示意图。

当车辆启动时，控制器140通过摄像机110识别用户的视线(即，视线矢量)或面部(S110和S120)。

控制器140在识别到的用户的视线或面部中设定焦点(S130)。例如，控制器140在用户的左眼和右眼的中间设定焦点。

当设定的焦点保持预定时间以上时，控制器140将对应的焦点设定成固定焦点(S140和S150)。控制器140固定在识别到的用户的视线或面部中设定的焦点。

在设定了固定焦点之后，控制器140确定通过摄像机110是否正常识别用户的视线或面部(S160)。控制器140通过摄像机110执行用户的视线或面部的识别，并且确认在识别中是否发生错误(即，失败情况)。

当正常地识别到用户的视线或面部时，控制器140根据识别到的用户的视线或面部的移动来控制屏障的对准(S170)。控制器140追踪识别到的用户的视线或面部的移动，并且基于追踪到的用户的视线或面部的移动来控制屏障面板123，从而对准屏障。

另一方面，当在S160中未正常地识别到用户的视线或面部时，控制器140确定是否额外地识别到一个或多个其他用户的视线或面部(S180)。

当识别到一个或多个其他用户的视线或面部时，控制器140基于与固定焦点对应的用户的视线或面部的移动来控制屏障(S190)。当除了与固定焦点对应的用户的视线或面部外，还识别到另一用户的视线或面部时，控制器140将忽略另一用户的视线或面部的识别，并仅追踪与固定焦点对应的用户的视线或面部的移动。例如，如图4A所示，当除了该用户外的用户位于摄像机110的识别区域内时，控制器140仅追踪与固定焦点f_fix对应的用户的视线或面部的移动，并根据追踪到的移动来控制屏障的对准。

在未识别到一个或多个其他用户的视线或面部，且用户的视线或面部的识别失败的情况下，控制器140将在用户的视线或面部的识别失败前刚识别到的用户的视线或面部中设定的焦点设定为固定焦点(S200)。例如，如图4B所示，在用户转头，使得用户的视线或面部识别失败的情况下，将在最近已被正常识别的用户的视线或面部中设定的焦点f设定成固定焦点f_fix。

尽管在本实施例中已经以示例的方式描述将在用户的视线或面部的识别失败之前刚识别到的用户的视线或面部中设定的焦点设定为固定焦点的情况，但是本发明不限于此，本发明可以也实施为将在车辆启动后首先识别到的用户的视线或面部中设定的焦点设定为固定焦点。

控制器140根据设定的固定焦点来控制屏障面板123从而控制屏障的对准(S210)。

如上所述，根据本发明的实施例，在3D显示装置中的用户的视线或面部的识别中发生错误的情况下，根据错误形式控制3D面板的屏障，由此能够实现3D显示。此外，根据本发明的实施例，能够防止因用户的视线或面部的识别失败导致的例如串扰的现象的发生，由此能够进行自然的3D显示。

在上文中，尽管已经参考实施例和附图描述了本发明，但是本发明不限于此，而是在不违背所附权利要求所主张的本发明的精神和范围的情况下，由本发明所属领域的技术人员做出各种修改和变化。

Claims (11)

1.一种三维(3D)显示装置，包括：

显示器，包括显示信息的显示面板和与所述显示面板的前面重叠的屏障面板；

摄像机，被配置为获取用户的图像；

图形处理器，被配置为控制所述屏障面板的屏障；和

控制器，被配置为：使用由所述摄像机获取的用户的图像来识别用户的视线或用户的面部，在由所述摄像机识别到的用户的视线或面部中设定所述摄像机的固定焦点，在设定固定焦点后，确定在由所述摄像机进行的用户的视线或面部的识别中是否发生错误，并且，基于在用户的视线或面部的识别中是否发生错误来控制所述图形处理器，从而控制屏障。

2.根据权利要求1所述的3D显示装置，其中，所述控制器还被配置为：在由所述摄像机识别到的用户的视线或面部上设定焦点，并且当所设定的焦点保持预定时间以上时，固定对应的焦点。

3.根据权利要求1所述的3D装置，其中，当识别到一个或多个其他用户的视线或面部，使得在用户的视线或面部的识别中发生错误时，所述控制器还被配置为基于与所述固定焦点对应的用户的视线或面部的移动来控制屏障。

4.根据权利要求1所述的3D显示装置，其中，当未识别到一个或多个其他用户的视线或面部时，所述控制器还被配置为将在识别失败前刚识别到的用户的视线或面部上的焦点设定成所述固定焦点。

5.根据权利要求4所述的3D显示装置，其中，所述控制器还被配置为基于所设定的焦点来控制屏障。

6.根据权利要求1所述的3D显示装置，其中，当正常地识别到用户的视线或面部时，所述控制器还被配置为基于识别到的用户的视线或面部的移动来控制屏障。

7.一种控制3D显示装置的方法，所述方法包括以下步骤：

当车辆启动时，通过摄像机识别用户的视线或用户的面部；

在由所述摄像机识别到的用户的视线或面部中设定所述摄像机的固定焦点；

在设定所述固定焦点后，确定在通过所述摄像机进行的用户的视线或面部的识别中是否发生错误；以及

基于在用户的视线或面部的识别中是否发生错误来控制屏障，

其中，所述屏障是与显示信息的显示面板的前面重叠的屏障面板的部件。

8.根据权利要求7所述的控制3D显示装置的方法，所述方法还包括以下步骤：

在识别到的用户的视线或面部上设定焦点；以及

当所设定的焦点保持预定时间以上时，固定所设定的焦点。

9.根据权利要求7所述的控制3D显示装置的方法，其中，确定是否发生错误的步骤包括：

当在用户的视线或面部的识别中发生错误时，确定是否识别到一个或多个其他用户的视线或面部；以及

当识别到一个或多个其他用户的视线或面部时，基于与所述固定焦点对应的用户的视线或面部的移动来控制屏障。

10.根据权利要求9所述的控制3D显示装置的方法，其中，确定是否发生错误的步骤还包括：

当未识别到一个或多个其他用户的视线或面部时，将在识别失败前刚识别到的用户的视线或面部上的焦点设定为固定焦点；以及

基于所述固定焦点来控制屏障。

11.根据权利要求7所述的控制3D显示装置的方法，所述方法还包括：

追踪识别到的用户的视线或面部的移动；以及

当在用户的视线或面部的识别中未发生错误时，基于追踪的结果控制屏障。