CN108833891A - 3d显示设备及3d显示方法 - Google Patents

Abstract

本发明实施例提供了一种3d显示设备及3d显示方法，涉及裸眼3d显示领域。3d显示设备包括：图像采集模块、图像合成模块、3d显示屏和追踪模块，图像合成模块分别与图像采集模块、3d显示屏和追踪模块连接。图像采集模块用于采集目标物的两路影像信息并将两路影像信息发送给图像合成模块。追踪模块，用于基于获取到的用户在当前位置点的面部信息，获得眼部位置信息并将眼部位置信息发送给图像合成模块。图像合成模块，用于对两路影像信息进行合成，获得3d图像并将3d图像渲染在3d显示屏上。图像合成模块，用于基于所述眼部位置信息，更改3d图像的渲染参数，以使用户在当前位置点看到3d图像。可视范围大，左右视图串扰小，裸眼3d显示效果极佳。

Description

3d显示设备及3d显示方法

技术领域

本发明涉及裸眼3d显示设备领域，具体而言，涉及一种3d显示设备及3d显示方法。

背景技术

随着显示3d显示器的广泛应用，3d显示技术具有其逼真的景深及立体感，极大程度的提高了观众在观看体验时的视觉冲击力和沉浸感。裸眼3d 显示的原理一般是通过光栅或透镜将显示器显示的图像进行分光，从而使人眼接收到不同的图像，这样便实现3d显示。狭缝光栅显示器通过在显示面板前方放置一个参数合适的狭缝，对显示的内容进行遮挡，在经过一定距离后，到达人眼的光线便可被分开，双眼接收到两幅含有视差的图像。左右视图串扰大，极大程度的影响了3d显示的效果。

发明内容

本发明的目的在于提供一种3d显示设备及3d显示方法，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：

第一方面，本发明实施例提供了一种3d显示设备，包括：图像采集模块、图像合成模块、3d显示屏和追踪模块。所述图像合成模块分别与所述图像采集模块、所述3d显示屏和所述追踪模块连接。

所述图像采集模块用于采集目标物的两路影像信息并将所述两路影像信息发送给所述图像合成模块。

所述追踪模块，用于基于获取到的用户在当前位置点的面部信息，获得眼部位置信息并将所述眼部位置信息发送给所述图像合成模块。

所述图像合成模块，用于对所述两路影像信息进行合成，获得左右视差的3d图像，并将所述3d图像渲染在所述3d显示屏上。

所述图像合成模块，用于基于所述眼部位置信息，更改所述3d 图像的渲染参数，以使用户在所述当前位置点看到所述3d图像。

可选地，上述追踪模块用于基于获取到的摄像头采集的用户的实时图像及应用人脸检测算法，获得用户在当前位置点的面部信息。

所述追踪模块用于基于所述面部信息，提取用户的左右眼的位置信息。

所述追踪模块用于对用户的左右眼的位置信息进行归一化处理，获得左右眼的相对位置信息并将所述相对位置信息发送给所述图像合成模块。

可选的，所述追踪模块包括摄像头和处理器，所述摄像头与所述处理器连接。所述处理器与所述图像合成模块连接，所述摄像头安装于所述3d显示屏上。所述摄像头采集人面部信息，并发送给所述处理器，所述处理器基于收到的所述面部信息获取人眼信息。

可选地，上述图像合成模块包括图像合成板卡和转换器。所述图像合成板卡分别与所述3d显示屏和所述追踪模块连接，转换器分别与所述图像合成板卡和所述图像采集模块连接。

所述转换器，用于将接收到的所述两路影像信息合成为一路3d 视频流，并将所述一路3d视频流输出给所述图像合成板卡。

所述图像合成板卡，用于基于图像处理方法、双目视觉原理以及所述一路3d视频流，合成左右视差的3d图像并将所述左右视差的 3d图像输出至所述3d显示屏。

可选地，所述追踪模块和所述图像合成板卡通过网口通信，通信协议为tcp/ip协议。

可选地，上述图像采集模块包括第一视频采集器和第二视频采集器。所述第一视频采集器和所述第二视频采集器均与所述图像合成模块连接。所述第一视屏采集器用于采集目标物的第一路影像信息并将所述第一路影像信息发送给所述图像合成模块。同时，第二视频采集器用于同步采集所述目标物的第二路影像信息并将所述第二路影像信息发送给所述图像合成模块。

可选的，所述第一视频采集器和所述第二视频采集器均为内窥镜。

第二方面，本发明实施例提供了一种3d显示方法，应用于上述的3d显示设备，所述方法包括：所述图像采集模块同步采集目标物的两路影像信息并将所述两路影像信息发送给所述图像合成模块。

所述追踪模块基于获取到的用户在当前位置点的面部信息，获得眼部位置信息并将所述眼部位置信息发送给所述图像合成模块。

所述图像合成模块对所述两路影像信息进行合成，获得3d图像并所述3d图像渲染在所述3d显示屏上。

所述图像合成模块基于所述眼部位置信息，更改所述3d图像的渲染参数，以使用户在所述当前位置点看到所述3d图像。

可选地，所述追踪模块基于获取到的用户在当前位置点的面部信息，获得眼部位置信息并将所述眼部位置信息发送给所述图像合成模块。包括：

所述追踪模块基于获取到的摄像头采集的用户的实时图像及人脸检测算法，获得用户在当前位置点的面部信息。

所述追踪模块基于所述面部信息，提取用户的左右眼的位置信息。

所述追踪模块对用户的左右眼的位置信息进行归一化处理，获得左右眼的相对位置信息并将所述相对位置信息发送所述图像合成模块。

可选地，所述图像合成模块包括图像合成板卡和转换器，所述图像合成板卡分别与所述3d显示屏和所述追踪模块连接。转换器分别与所述图像合成板卡和所述图像采集模块连接；所述图像合成模块对所述两路影像信息进行合成。获得3d图像并所述3d图像渲染在所述 3d显示屏上。包括：

所述转换器将接收到的所述两路影像信息合成为一路3d视频流并将所述一路3d视频流输出给所述图像合成板卡。

所述图像合成板卡基于图像处理方法、双目视觉原理以及所述一路3d视频流，获得左右视差的3d图像并将所述左右视差的3d图像输出至所述3d显示屏。

本发明实施例提供了一种3d显示设备及3d显示方法。包括：图像采集模块、图像合成模块、3d显示屏和追踪模块，所述图像合成模块分别与所述图像采集模块、所述3d显示屏和所述追踪模块连接。所述图像采集模块用于采集目标物的两路影像信息并将所述两路影像信息发送给所述图像合成模块。所述追踪模块，用于基于获取到的用户在当前位置点的面部信息，获得眼部位置信息并将所述眼部位置信息发送给所述图像合成模块。所述图像合成模块，用于对所述两路影像信息进行合成，获得3d图像并将所述3d图像渲染在所述3d显示屏上。所述图像合成模块，用于基于所述眼部位置信息，更改所述 3d图像的渲染参数，以使用户在所述当前位置点看到所述3d图像。可视范围大，左右视图串扰小，裸眼3d显示效果极佳。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的3d显示设备结构框图；

图2为本发明实施例提供的3d显示设备的图像合成模块结构框图；

图3为本发明实施例提供的又一种3d显示设备的结构图；

图4为本发明实施例提供的3d显示方法的流程图。

附图标记：

10－3d显示设备；100－图像合成模块；120－图像合成板卡；140－转换器；200－3d显示屏；300－图像采集模块；400－追踪模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，本发明实施例提供了一种3d显示设备10。包括：图像采集模块300、图像合成模块100、3d显示屏200和追踪模块400。所述图像合成模块100分别与所述图像采集模块300、所述3d显示屏200和所述追踪模块400连接。

进一步的，所述图像采集模块300用于采集目标物的两路影像信息并将所述两路影像信息发送给所述图像合成模块100。

进一步的，所述追踪模块400，用于基于获取到的用户在当前位置点的面部信息，获得眼部位置信息并将所述眼部位置信息发送给所述图像合成模块100。

进一步的，所述图像合成模块100，用于对所述两路影像信息进行合成，获得左右有视差的3d图像，并将所述3d图像渲染在所述 3d显示屏200上。

进一步的，所述图像合成模块100，用于基于所述眼部位置信息，更改所述3d图像的渲染参数，以使用户在所述当前位置点看到所述 3d图像。

可选的，在本发明实施例中，上述追踪模块400用于基于获取到的摄像头采集的用户的实时图像及人脸检测算法，获得用户在当前位置点的面部信息。

所述追踪模块400用于基于所述面部信息，提取用户的左右眼的位置信息。

所述追踪模块400用于对用户的左右眼的位置信息进行归一化处理，获得左右眼的相对位置信息并将所述相对位置信息发送给所述图像合成模块100。

可选的，所述追踪模块400包括摄像头和处理器，所述摄像头与所述处理器连接，所述处理器与所述图像合成模块连接，所述摄像头安装于所述3d显示屏200上。所述摄像头采集人面部信息，并发送给所述处理器，所述处理器基于收到的所述面部信息获取人眼信息。

可选的，所述摄像头安装于所述3d显示屏200上的位置并不限定，但是优选的安装在所述3d显示屏200的上方，但是也可以根据实际的情况安装于所述3d显示屏200的下方或者侧边。

请参阅图2，在本发明实施例中。所述图像合成模块100包括图像合成板卡120和转换器140。所述图像合成板卡120分别与所述3d 显示屏200和所述追踪模块400连接，转换器140分别与所述图像合成板卡和所述图像采集模块300连接。

所述转换器140，用于将接收到的所述两路影像信息合成为一路 3d视频流，并将所述一路3d视频流输出给所述图像合成板卡。

所述图像合成板卡120，用于基于图像处理方法、双目视觉原理以及所述一路3d视频流，获得左右视差的3d图像并将所述左右视差的3d图像输出至所述3d显示屏200。

可选地，所述追踪模块400和所述图像合成板卡120通过网口通信，通信协议为tcp/ip协议。

可选地，上述图像采集模块300包括第一视频采集器和第二视频采集器。所述第一视频采集器和所述第二视频采集器均与所述图像合成模块100连接。所述第一视屏采集器用于采集目标物的第一路影像信息并将所述第一路影像信息发送给所述图像合成模块100。同时，第二视频采集器用于同步采集所述目标物的第二路影像信息并将所述第二路影像信息发送给所述图像合成模块100。

请参阅图3，为本发明的具体实施例。在本实施例中，所述第一视频采集器和所述第二视频采集器均为内窥镜。同时采集两路同步影像信息，这是所说的两路同步影像信息为同一目标物的不同角度的影像信息。将采集的两路同步影像信息通过图像转换器140将两路影像信息合并成一路3d视屏流。并且通过hdmi接口输出，输出的视频流格式为yuv或者rgb。其中3d视频流可分为上下视图或者左右视图，其分辨率可达到1080p。

进一步的，人眼追踪模块400自带的摄像头获取用户的实时图像，并通过人脸检测算法获取用户的面部特征点。从中提取左右眼的位置信息并通过归一化的处理获取人眼的相对位置。

进一步的，所述图像合成板卡120接收到所述3d视频流和所述人眼位置信息，所述图像合成板卡120基于将获取的3d视频流通过图像处理方法和双目视觉远离得到左右视差的3d视频图像，最后通过hdmi out输出至裸眼3d屏实现立体影像信息的实时体验。同时，图像合成板卡120基于获取得到的人眼位置信息，改变输出时的渲染参数，可以使用户在任何角落都能有很好的观看效果。

本发明实施例提供的一种3d显示设备的工作原理如下：

所述图像采集模块采集物体的双路同步实时影像信息；将采集的双路同步实时影像信息发送给所述图像合成模块。所述图像合成模块对采集的双路影像信息进行合成，合成之后为一路3d视屏流。所述图像合成模块基于3d视频流获得有视差的3d视频图像传送给3d显示屏显示。所述追踪采集模块采集人眼部的位置信息并发送给所述图像合成模块。所述图像合成模块基于收到的所述人眼部的位置信息控制传输到3d显示屏上面的所述3d图像的渲染参数。

本发明实施例提供了一种3d显示设备。包括：图像采集模块、图像合成模块、3d显示屏和追踪模块，所述图像合成模块分别与所述图像采集模块、所述3d显示屏和所述追踪模块连接。

所述图像采集模块用于采集目标物的两路影像信息并将所述两路影像信息发送给所述图像合成模块。

所述追踪模块，用于基于获取到的用户在当前位置点的面部信息，获得眼部位置信息并将所述眼部位置信息发送给所述图像合成模块。

所述图像合成模块，用于对所述两路影像信息进行合成，获得 3d图像并将所述3d图像渲染在所述3d显示屏上。

所述图像合成模块，用于基于所述眼部位置信息，更改所述3d 图像的渲染参数，以使用户在所述当前位置点看到所述3d图像。可视范围大，左右视图串扰小，3d显示效果极佳。

请参阅图4，本发明实施例提供了3d显示方法，应用于上述的 3d显示设备10，所述方法包括步骤S100、S200、S300。

S100：采集目标的两路影像信息并将所述两路影像信息发送给所述图像合成模块。

S200：追踪用户在当前位置点的面部信息，获得眼部信息，并将所述眼部信息发送给所述图像合成模块。

S300：将两路图像信息进行合成，获得3d图像，并将所述3d 图像渲染在所述显示屏上，并根据获取的眼部信息，更改所述3d图像的渲染参数。

可选的，步骤S100包括：可以通过双路视频采集器同时获取目标物的双路的实时同步影像信息。

可选的，步骤S200包括：所述追踪模块基于获取到的摄像头采集的用户的实时图像及人脸检测算法，获得用户在当前位置点的面部信息。

所述追踪模块基于所述面部信息，提取用户的左右眼的位置信息。

所述追踪模块对用户的左右眼的位置信息进行归一化处理，获得左右眼的相对位置信息并将所述相对位置信息发送所述图像合成模块。

可选的，步骤S300包括：所述图像合成模块包括图像合成板卡和转换器，所述图像合成板卡分别与所述3d显示屏和所述追踪模块连接。转换器分别与所述图像合成板卡和所述图像采集模块连接；所述图像合成模块对所述两路影像信息进行合成。获得3d图像并所述 3d图像渲染在所述显示屏上。包括：

所述转换器将接收到的所述两路影像信息合成为一路3d视频流并将所述一路3d视频流输出给所述图像合成板卡。

所述图像合成板卡基于图像处理方法、双目视觉原理以及所述一路3d视频流，合成左右视差的3d图像并将所述左右视差的3d图像输出至所述3d显示屏。

本发明实施例提供了一种3d显示方法，应用于上述的3d显示设备，所述方法包括：所述图像采集模块同步采集目标物的两路影像信息并将所述两路影像信息发送给所述图像合成模块。

所述追踪模块基于获取到的用户在当前位置点的面部信息，获得眼部位置信息并将所述眼部位置信息发送给所述图像合成模块。

所述图像合成模块对所述两路影像信息进行合成，获得3d图像并所述3d图像渲染在所述3d显示屏上。

所述图像合成模块基于所述眼部位置信息，更改所述3d图像的渲染参数，以使用户在所述当前位置点看到所述3d图像。可视范围大，左右视图串扰小，3d显示效果极佳。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种3d显示设备，其特征在于，包括：图像采集模块、图像合成模块、3d显示屏和追踪模块，所述图像合成模块分别与所述图像采集模块、所述3d显示屏和所述追踪模块连接；

所述图像采集模块用于采集目标物的两路影像信息并将所述两路影像信息发送给所述图像合成模块；

所述追踪模块，用于基于获取到的用户在当前位置点的面部信息，获得眼部位置信息并将所述眼部位置信息发送给所述图像合成模块；

所述图像合成模块，用于对所述两路影像信息进行合成，获得左右视差的3d图像，并将所述3d图像渲染在所述3d显示屏上；

所述图像合成模块，用于基于所述眼部位置信息，更改所述3d图像的渲染参数，以使用户在所述当前位置点看到所述3d图像。

2.根据权利要求1所述的3d显示设备，其特征在于，所述追踪模块用于基于获取到的摄像头采集的用户的实时图像及人脸检测算法，获得用户在当前位置点的面部信息；

所述追踪模块用于基于所述面部信息，提取用户的左右眼的位置信息；

所述追踪模块用于对用户的左右眼的位置信息进行归一化处理，获得左右眼的相对位置信息并将所述相对位置信息发送给所述图像合成模块。

3.根据权利要求2所述的3d显示设备，其特征在于，所述追踪模块包括摄像头和处理器，所述摄像头与所述处理器连接，所述处理器与所述图像合成模块连接，所述摄像头安装于所述3d显示屏上，所述摄像头采集人面部信息，并发送给所述处理器，所述处理器基于收到的所述人面部信息获取人眼部信息。

4.根据权利要求1所述的3d显示设备，其特征在于，所述图像合成模块包括图像合成板卡和转换器，所述图像合成板卡分别与所述显示屏和所述追踪模块连接，转换器分别与所述图像合成板卡和所述图像采集模块连接；

所述转换器，用于将接收到的所述两路影像信息合成为一路3d视频流，并将所述一路3d视频流输出给所述图像合成板卡；

所述图像合成板卡，用于基于图像处理方法、双目视觉原理以及所述一路3d视频流，获得左右视差的3d图像并将所述左右视差的3d图像输出至所述显示屏。

5.根据权利要求4所述的3d显示设备，其特征在于，所述追踪模块和所述图像合成板卡通过网口通信，通信协议为tcp/ip协议。

6.根据权利要求1所述的3d显示设备，其特征在于，所述图像采集模块包括第一视频采集器和第二视频采集器，所述第一视频采集器和所述第二视频采集器均与所述图像合成模块连接，所述第一视屏采集器用于采集目标物的第一路影像信息并将所述第一路影像信息发送给所述图像合成模块，同时，第二视频采集器用于同步采集所述目标物的第二路影像信息并将所述第二路影像信息发送给所述图像合成模块。

7.根据权利要求6所述的3d显示设备，其特征在于，所述第一视频采集器和所述第二视频采集器均为内窥镜。

8.一种3d显示方法，其特征在于，应用于如权利要求1-7任一项所述的3d显示设备，所述方法包括：

所述图像采集模块同步采集目标物的两路影像信息并将所述两路影像信息发送给所述图像合成模块；

所述追踪模块基于获取到的用户在当前位置点的面部信息，获得眼部位置信息并将所述眼部位置信息发送给所述图像合成模块；

所述图像合成模块对所述两路影像信息进行合成，获得3d图像并所述3d图像渲染在所述3d显示屏上；

所述图像合成模块基于所述眼部位置信息，更改所述3d图像的渲染参数，以使用户在所述当前位置点看到所述3d图像。

9.根据权利要求8所述的3d显示方法，其特征在于，所述追踪模块基于获取到的用户在当前位置点的面部信息，获得眼部位置信息并将所述眼部位置信息发送给所述图像合成模块，包括：

所述追踪模块基于获取到的摄像头采集的用户的实时图像及人脸检测算法，获得用户在当前位置点的面部信息；

所述追踪模块基于所述面部信息，提取用户的左右眼的位置信息；

所述追踪模块对用户的左右眼的位置信息进行归一化处理，获得左右眼的相对位置信息并将所述相对位置信息发送所述图像合成模块。

10.根据权利要求8所述的3d显示方法，其特征在于，所述图像合成模块包括图像合成板卡和转换器，所述图像合成板卡分别与所述显示屏和所述追踪模块连接，转换器分别与所述图像合成板卡和所述图像采集模块连接；所述图像合成模块对所述两路影像信息进行合成，获得3d图像并所述3d图像渲染在所述3d显示屏上，包括：

所述转换器将接收到的所述两路影像信息合成为一路3d视频流，并将所述一路3d视频流输出给所述图像合成板卡；

所述图像合成板卡基于图像处理方法、双目视觉原理以及所述一路3d视频流，合成左右视差的3d图像并将所述左右视差的3d图像输出至所述3d显示屏。