CN106331688A - 基于视觉追踪技术的三维显示系统及方法 - Google Patents

Abstract

本发明提供了一种基于视觉追踪技术的三维显示系统及方法。该基于视觉追踪技术的三维显示系统包括显示屏、摄像装置和图像处理器。所述摄像装置和显示屏均与所述图像处理器电连接。通过摄像装置获取观众的色彩图像和深度信息，图像处理器分析摄像装置获取的色彩图像和深度信息，以获得观众的眼部位置以及眼部与显示屏的位置关系，从而计算出显示屏朝向观众眼睛的方向应该显示的投影信息，然后在显示屏上显示该投影信息。显示屏上显示的投影信息会随着观众眼部位置的变化而变化，使得在二维的显示屏上能够让观众体验到三维的场景，观众的观影感受和体验感更强。

Description

基于视觉追踪技术的三维显示系统及方法

技术领域

本发明涉及图像显示领域，具体而言，涉及一种基于视觉追踪技术的三维显示系统及方法。

背景技术

传统的显示系统采用平面的显示装置向用户展现二维平面的图像，由于显示图像为平面图形，用户从任何角度观看屏幕所看到的图像都是相同的，在三维体验和交互感上存在明显的缺陷。而目前的三维显示技术采用全息投影技术，其只有四个面的信息，三维显示效果不连续，且成本高，占用面积大，对于外界环境的光线敏感，亮度和色彩上具有明显缺陷。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于视觉追踪技术的三维显示系统及方法，通过实时追踪用户眼部的相对于显示屏的位置，在平面显示屏上显示三维物体朝向用户眼部方向的投影信息。

为了达到上述的目的，本发明实施例采用的技术方案如下所述：

第一方面，本发明实施例提供了一种基于视觉追踪技术的三维显示系统，该系统包括显示屏、摄像装置和图像处理器，所述摄像装置和显示屏均与所述图像处理器电连接，所述摄像装置用于获取拍摄对象的色彩图像和深度信息，并将获取的色彩图像和深度信息传送至所述图像处理器；所述图像处理器用于根据接收到的深度信息和色彩图像按照预设的特征匹配算法提取出拍摄对象的眼部位置，并计算拍摄对象的眼部位置与所述显示屏的偏移位置，依据所述偏移位置按照预设的算法计算出显示屏显示的三维物体相对于拍摄对象眼部方向的投影信息，控制显示屏显示所述投影信息。

优选地，所述摄像装置包括深度相机，所述深度相机用于获取拍摄对象的深度信息并将获取的深度信息发送至所述图像处理器。

优选地，所述摄像装置还包括RGB相机，所述RGB相机用于获取拍摄对象的色彩图像并将所述色彩图像发送至所述图像处理器。

优选地，所述显示屏为平面显示器。

优选地，所述图像处理器计算拍摄对象的眼部位置与所述显示屏的中心位置的偏移位置。

第二方面，本发明实施例提供了一种基于视觉追踪技术的三维显示方法，该方法包括：

获取拍摄对象的深度信息和色彩图像；

对所述深度信息和色彩图像按照预设的特征匹配算法提取出拍摄对象的眼部位置；

计算拍摄对象的眼部位置与一显示屏的偏移位置；

依据所述偏移位置按照预设的算法计算出显示屏显示的三维物体相对于拍摄对象眼部方向的投影信息；

显示所述投影信息。

优选地，所述获取拍摄对象的深度信息和色彩图像的步骤之前还包括：

判断所述显示屏前是否有拍摄对象的步骤，如果是，则执行获取拍摄对象的深度信息和色彩图像的步骤。

优选地，所述方法还包括：

跟踪所述拍摄对象的眼部位置，实时计算拍摄对象的眼部位置与一显示屏的偏移位置。

优选地，所述方法还包括：

判断所述拍摄对象是否产生移动，如果是，则重新获取拍摄对象的深度信息和色彩图像。

优选地，所述计算拍摄对象的眼部位置与一显示屏的偏移位置的步骤包括：计算拍摄对象的眼部位置与一显示屏的中心位置的偏移位置。

本发明提供的基于视觉追踪技术的三维显示系统及方法，通过摄像装置获取观众的色彩图像和深度信息，图像处理器分析摄像装置获取的色彩图像和深度信息，以获得观众的眼部位置以及眼部与显示屏的位置关系，从而计算出显示屏朝向观众眼睛的方向应该显示的投影信息，然后在显示屏上显示该投影信息。显示屏上显示的投影信息会随着观众眼部位置的变化而变化，使得在二维的显示屏上能够让观众体验到三维的场景，观众的观影感受和体验感更强。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例提供的基于视觉追踪技术的三维显示系统100的组成示意图。

图2是本发明实施例提供的基于视觉追踪技术的三维显示方法的流程图。

图3-图5是本发明实施例提供的基于视觉追踪技术的三维显示方法的实际应用示意图。

主要元件符号说明：

显示屏110、深度相机120、RGB相机130、图像处理器140。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参照图1，是本发明实施例提供的一种基于视觉追踪技术的三维显示系统100的组成示意图。该系统包括显示屏110、摄像装置和图像处理器140，其中，摄像装置包括深度相机120和RGB(Red Green Blue)相机130。深度相机120、RGB相机130以及显示屏110均与所述图像处理器140电连接。该显示屏110为平面显示屏。

深度相机120用于获取显示屏110前方拍摄对象(观众)的深度信息。深度相机120获取观众的深度信息可以采用TOF(Time of Flight，飞行时间)技术、结构光、双目视觉多角成像等技术获得。其中，结构光的技术原理为，加载一个激光投射器，在激光投射器外面放一个刻有特定图样的光栅，激光通过光栅进行投射成像时会发生折射，从而使得激光最终在物体表面上的落点产生位移。当物体距离激光投射器比较近的时候，折射而产生的位移就较小；当物体距离较远时，折射而产生的位移也就会相应的变大。这时使用一个摄像头来检测采集投射到物体表面上的图样，通过图样的位移变化，就能用算法计算出物体的位置和深度信息。

TOF技术的原理为，加载一个发光元件，发光元件发出的光子在碰到物体表面后会反射回来。使用一个特别的CMOS图像传感器来捕捉这些由发光元件发出、又从物体表面反射回来的光子，就能得到光子的飞行时间。根据光子飞行时间进而可以推算出光子飞行的距离，也就得到了物体的深度信息。

对于双目视觉原理的多角成像的基本原理，是使用两个或者两个以上的摄像头同时摄取图像，通过比对这些不同摄像头在同一时刻获得的图像的差别，使用算法来计算深度信息。

深度相机120获取观众的深度信息之后，将获取到的深度信息发送至图像处理器。

RGB相机130用于获取拍摄对象的色彩图像并将所述色彩图像发送至所述图像处理器140。

图像处理器140在接收到深度相机120发送的深度信息后，对该深度信息进行分析，识别出观众的头部位置，再结合RGB相机130发送的色彩图像，通过特征匹配算法提取出观众的眼部的位置。图像处理器140提取到观众的眼部后，计算观众眼部与显示屏110的偏移位置，优选地，该偏移位置为观众眼部与显示屏110中心位置的距离。

得到偏移位置后，图像处理器140依据该偏移位置按照预设的算法计算出显示屏显示的三维物体相对于拍摄对象眼部方向的投影信息并控制显示屏110显示所述投影信息。由于对于立体的物体，从不同的角度观看，看到的该物体的图像均不相同，对于传统的显示屏，观众不管从什么角度观影，显示屏显示的图像均为一个物体的一个面，一个视角图像，没有三维的效果。在本发明实施例中，图像处理器140根据观众的眼部与显示屏110的位置关系，计算出观众眼部在该位置观看到显示的物体应该显示的图像，得到该图像的投影信息，将该图像信息通过显示屏110进行显示，则观众能够从平面的显示屏得到三维显示的体验。应该说明的是，本发明实施例提供的基于视觉追踪技术的三围显示系统主要用于单个客户的观影。

请参照图2，是本发明实施例提供的基于视觉追踪技术的三维显示方法的流程图。在本实施例中，该方法应用于上述的基于视觉追踪技术的三维显示系统100。本实施例提供的基于视觉追踪技术的三维显示方法包括以下步骤：

步骤S201：判断显示屏前是否有拍摄对象。

在本实施例中，步骤S201可以通过摄像装置和图像处理器140共同执行。在获取深度信息和色彩信息之前，需要先确定显示屏前是否有观众，如果有，则执行步骤S202。

步骤S202：获取拍摄对象的深度信息和色彩图像。

在本实施例中，步骤S202通过摄像装置执行，具体的，通过深度相机120获取观众的深度信息，通过RGB相机130获取观众的色彩图像。

步骤S203：对所述深度信息和色彩图像按照预设的特征匹配算法提取出拍摄对象的眼部位置。

在本实施例中，步骤S203通过图像处理器140执行。

步骤S204：计算拍摄对象的眼部位置与一显示屏的偏移位置。

在本实施例中，步骤S204通过图像处理器140执行。该偏移位置为观众眼部与显示屏110中心位置的距离。

步骤S205：跟踪所述拍摄对象的眼部位置，实时计算拍摄对象的眼部位置与显示屏的偏移位置。

在本实施例中，通过摄像装置和图像处理器140实时拍摄和计算，以得到拍摄对象的眼部位置与显示屏110的偏移位置。

步骤S206：依据所述偏移位置按照预设的算法计算出显示屏显示的三维物体相对于拍摄对象眼部方向的投影信息。

本实施例中，步骤S206通过图像处理器140执行。得到偏移位置后，图像处理器140依据该偏移位置按照预设的算法计算出显示屏显示的三维物体相对于拍摄对象眼部方向的投影信息并控制显示屏110显示所述投影信息。由于对于立体的物体，从不同的角度观看，看到的该物体的图像均不相同，对于传统的显示屏，观众不管从什么角度观影，显示屏显示的图像均为一个物体的一个面，一个视角图像，没有三维的效果。

步骤S207：判断所述拍摄对象是否产生移动。

本实施例中，步骤S207可以通过图像处理器140执行。当判断出观众没有产生移动，则执行步骤S208，如果观众产生移动，则重新执行步骤S202。

步骤S208：显示所述投影信息。

当观众没有移动，则将计算得到的投影信息通过显示屏110显示。在本发明实施例中，图像处理器140根据观众的眼部与显示屏110的位置关系，计算出观众眼部在该位置观看到显示的物体应该显示的图像，得到该图像的投影信息，将该图像信息通过显示屏110显示，则观众能够从平面的显示屏得到三维显示的体验。

为了便于理解，请参照图3-图5，其中，图3是观众位于显示屏中间位置时，显示屏显示的画面情况。图4是观众位于显示屏左侧位置时，显示屏显示的另一角度的画面情况。图5是观众位于显示屏右侧时，显示屏显示的另一角度的画面情况。可以理解，在其他情况下，观众位于显示屏前其他的位置时，显示屏显示的信息随用户眼部的位置变化。

需要说明的是，本发明实施例提供的基于视觉追踪技术的三维显示方法所示的流程或步骤，两个连续的步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。

综上所述，本发明实施例提供了一种基于视觉追踪技术的三维显示系统及方法。该基于视觉追踪技术的三维显示系统包括显示屏、摄像装置和图像处理器。通过摄像装置获取观众的色彩图像和深度信息，图像处理器分析摄像装置获取的色彩图像和深度信息，以获得观众的眼部位置以及眼部与显示屏的位置关系，从而计算出显示屏朝向观众眼睛的方向应该显示的投影信息，然后在显示屏上显示该投影信息。显示屏上显示的投影信息会随着观众眼部位置的变化而变化，使得在二维的显示屏上能够让观众体验到三维的场景，观众的观影感受和体验感更强。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种基于视觉追踪技术的三维显示系统，其特征在于，所述系统包括显示屏、摄像装置和图像处理器，所述摄像装置和显示屏均与所述图像处理器电连接，所述摄像装置用于获取拍摄对象的色彩图像和深度信息，并将获取的色彩图像和深度信息传送至所述图像处理器；所述图像处理器用于根据接收到的深度信息和色彩图像按照预设的特征匹配算法提取出拍摄对象的眼部位置，并计算拍摄对象的眼部位置与所述显示屏的偏移位置，依据所述偏移位置按照预设的算法计算出显示屏显示的三维物体相对于拍摄对象眼部方向的投影信息，控制显示屏显示所述投影信息。

2.根据权利要求1所述的基于视觉追踪技术的三维显示系统，其特征在于，所述摄像装置包括深度相机，所述深度相机用于获取拍摄对象的深度信息并将获取的深度信息发送至所述图像处理器。

3.根据权利要求2所述的基于视觉追踪技术的三维显示系统，其特征在于，所述摄像装置还包括RGB相机，所述RGB相机用于获取拍摄对象的色彩图像并将所述色彩图像发送至所述图像处理器。

4.根据权利要求1所述的基于视觉追踪技术的三维显示系统，其特征在于，所述显示屏为平面显示器。

5.根据权利要求1所述的基于视觉追踪技术的三维显示系统，其特征在于，所述图像处理器计算拍摄对象的眼部位置与所述显示屏的中心位置的偏移位置。

6.一种基于视觉追踪技术的三维显示方法，其特征在于，所述方法包括：

获取拍摄对象的深度信息和色彩图像；

对所述深度信息和色彩图像按照预设的特征匹配算法提取出拍摄对象的眼部位置；

计算拍摄对象的眼部位置与一显示屏的偏移位置；

依据所述偏移位置按照预设的算法计算出显示屏显示的三维物体相对于拍摄对象眼部方向的投影信息；

显示所述投影信息。

7.根据权利要求6所述的方法，其特征在于，所述获取拍摄对象的深度信息和色彩图像的步骤之前还包括：

判断所述显示屏前是否有拍摄对象的步骤，如果是，则执行获取拍摄对象的深度信息和色彩图像的步骤。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

跟踪所述拍摄对象的眼部位置，实时计算拍摄对象的眼部位置与一显示屏的偏移位置。

9.根据权利要求6所述的方法，其特征在于，所述方法还包括：

判断所述拍摄对象是否产生移动，如果是，则重新获取拍摄对象的深度信息和色彩图像。

10.根据权利要求6所述的方法，其特征在于，所述计算拍摄对象的眼部位置与一显示屏的偏移位置的步骤包括：计算拍摄对象的眼部位置与一显示屏的中心位置的偏移位置。