CN103018915B - 一种基于人眼追踪的3d集成成像显示方法及集成成像3d显示器 - Google Patents

Abstract

本发明适用于集成成像3D显示器领域，提供了一种基于人眼追踪的3D集成成像显示方法及集成成像3D显示器，所述方法包括下述步骤：载入需要播放的3D集成图像；实时拍摄观察者的图像，识别并追踪人眼所在的位置；根据人眼所在的位置判断人的左眼和右眼是否位于同一可视区，当人的左眼和右眼位于不同可视区时，调整3D集成图像使人的左眼和右眼位于同一可视区。本发明通过提供一种基于人眼追踪的3D集成成像显示方法及集成成像3D显示器，解决了现有集成显示的3D显示可视角度小，人眼处于不用可视区会产生图像分裂和重影，影响3D显示效果。

Description

一种基于人眼追踪的3D集成成像显示方法及集成成像3D显示器

技术领域

本发明属于集成成像3D显示器领域，尤其涉及一种基于人眼追踪的3D集成成像显示方法及集成成像3D显示器。

背景技术

基于集成成像的三维显示技术是一种裸眼真三维显示技术。它无需佩戴眼睛，可提供全视差、色彩逼真、连续视点的真三维图像，并且可以避免多视点自由立体显示中视差图突变所导致的视觉疲劳现象，是一种裸眼3D显示的有效方案。集成成像技术是一种利用微透镜阵列来记录和再现3D场景的显示技术。集成成像3D显示器一般由显示屏和微透镜阵列组成。显示屏用于显示一幅2D的3D集成图像，放置在显示屏前的微透镜阵列用于将3D集成图像中的不同像素投射到空间中的不同方向，使之具有不同的方向波失，从而光线在空间中会聚成一个3D物体，让观察者在一定角度内能看到逼真的三维物体。虽然集成显示的3D显示效果较为自然逼真，但是它的可视角非常小。集成成像3D显示器的可视角度受限制于每个微透镜的直径、微透镜阵列到显示屏的距离、显示屏显示的像素的总数以及显示屏显示的像素的尺寸。因此，一般的集成成像3D显示器很难做到大视角显示。在可视角内，人眼能看到自然逼真的三维显示效果，这个区域称为一个视区，并且人眼处于的视区还被分割成为多个不同的可视区。若双眼处于不同的可视区，或者任一眼睛处于两个相邻可视区分界线的时候，观看者都会看到图像分裂、重影。因为可视角过小，整个视区本来据不大，再加上整个视区又被分割为多个不同的可视区，使得人稍稍晃动，可视区和可视区之间的变换在空间中频繁发生，就会看到图像分裂和重影，这严重影响了显示效果。

发明内容

本发明的目的在于提供一种基于人眼追踪的3D集成成像显示方法及集成成像3D显示器，解决了现有集成显示的3D显示可视角度小，人眼处于不用可视区会产生图像分裂和重影，影响3D显示效果。

本发明是这样实现的，一种基于人眼追踪的3D集成成像显示方法，所述方法包括下述步骤：

载入需要播放的3D集成图像；

实时拍摄观察者的图像，识别并追踪人眼所在的位置；

根据人眼所在的位置判断人的左眼和右眼是否位于同一可视区，当人的左眼和右眼位于不同可视区时，调整3D集成图像使人的左眼和右眼位于同一可视区。

一种集成成像3D显示器，所述集成成像3D显示器包括：

载入单元，用于载入需要播放的3D集成图像；

摄像头，实时拍摄观察者的图像，识别并追踪人眼所在的位置；

判断调整单元，根据人眼所在的位置判断人的左眼和右眼是否位于同一可视区，当人眼的左眼和右眼位于不同可视区时，调整3D集成图像使人的左眼和右眼位于同一可视区。

本发明通过提供一种基于人眼追踪的3D集成成像显示方法及集成成像3D显示器，解决了现有集成显示的3D显示可视角度小，人眼处于不用可视区会产生图像分裂和重影，影响3D显示效果，通过本发明提供的方法和集成成像3D显示器使得可视角度大大增加，人眼即使处于不同的可视区也不会产生图像分裂和重影。

附图说明

图1是本发明实施例一提供的一种基于人眼追踪的3D集成成像显示方法的实现流程图；

图2是本发明实施例二提供的一种集成成像3D显示器的结构图；

图3是本发明实施例三提供的一种基于人眼追踪的3D集成成像显示方法的实现流程图；

图4是本发明实施例三提供的人眼相对于集成成像3D显示器之间的可视角关系示意图；

图5是本发明实施例三提供的每个视区在摄像头捕获的图像的示意图；

图6是本发明实施例三提供的3D集成图像和人眼相对与视区中心的偏移像素示意图；以及

图7是本发明实施例四提供的一种集成成像3D显示器的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例一：

本发明提供一种基于人眼追踪的3D集成成像显示方法，该方法如图1所示，包括下述步骤：

S101,载入需要播放的3D集成图像。

载入需要播放的3D集成图像，用于用户观看3D图像。

S102,实时拍摄观察者的图像，识别并追踪人眼所在的位置。

实时通过摄像头拍摄观察者的图像，根据拍摄的图像得到人眼所在的位置。

S103,根据人眼所在的位置判断人的左眼和右眼是否位于同一可视区，当人的左眼和右眼位于不同可视区时，调整3D集成图像使人的左眼和右眼位于同一可视区。

根据人眼所在的位置来判断人的左眼和右眼是否位于同一可视区，从而判断是否需要调整图像，当人的左眼和右眼位于同一可视区，不需要进行图像的调整，当人的左眼和右眼位于不同可视区，对图像进行调整，调整3D集成图像使人的左眼和右眼位于同一可视区，使得用户所观看的3D集成图像不会产生图像分裂和重影。

本发明提供的方法通过实时拍摄观察者的图像，通过拍摄到的图像识别并追踪人眼所在的位置，判断人的左眼和右眼所在的位置的可视区，其中人眼的位置分别取人左眼和右眼的眼睛的中心点为人左眼和右眼的位置，根据人眼的左眼和右眼所在的可视区，判断人眼的左眼和右眼是否位于同一可视区，若不在，调整3D集成图像，使得人的左眼和右眼位于同一可视区内，这样观看到的3D集成图像不会由于人眼不在同一可视区内造成看到的图像分裂和重影。

其中可选的，在步骤S101载入需要播放的3D集成图像步骤之前还包括：

调校摄像头与集成成像3D显示器的夹角，使摄像头前定标物体位于摄像头拍摄画面的正中心位置。

其中定标物体为：

位于集成成像3D显示器的某一个视区的正中心位置，且与集成成像3D显示器距离固定。

通过调校摄像头与集成成像3D显示器之间的夹角，使得定标物体处于摄像头拍摄画面的中心位置。

可选的，步骤S103根据人眼所在的位置判断人的左眼和右眼是否位于同一可视区，并根据判断结果调整3D集成图像使左眼和右眼位于同一可视区的具体步骤包括：

S1031根据摄像头捕获的图像分别得到左眼中心点的位置和右眼中心点的位置，并通过左眼和右眼中心点的位置得到两眼中心位置；

S1032根据两眼中心位置计算两眼中心位置所处的可视区；

由于集成成像3D显示器的整个视区是被划分为多个可视区的，每一个可视区的范围与集成成像3D显示器的微透镜的阵列相关，一般集成成像3D显示器中微透镜的阵列为正方并排排布，所以整个视区被分割为多个正方并排排布的可视区。由于整个视区被划分为多个可视区，因此需要判断人的左眼和右眼是否位于同一可视区，从而确定是否需要调整3D集成图像，使得人的左眼和右眼位于同一可视区。

S1033根据两眼中心位置所处的可视区的边界区域计算获得3D集成图像的偏移像素，使左眼和右眼位于同一可视区。

步骤S1033也可为根据两眼中心位置所处的可视区的中心点计算获得3D集成图像的偏移像素，使两眼中心映射位置位于两眼中心位置所处的可视区的中心。

将两眼中心位置和两眼中心位置所在可视区的中心位置的偏移像素映射到集成成像3D显示器上，得到3D集成图像的偏移像素。

同样使得左眼和右眼位于同一可视区，可以采用调整3D集成图像的偏移像素后使得两眼中心位置刚好位于某一个可视区的中心，这样人的左眼和右眼也就自然位于同一可视区。

S1034，根据偏移像素调整3D集成图像，使左眼和右眼位于同一可视区。

通过步骤S1033得到的3D集成图像的偏移像素的最小量将3D集成图像进行偏移，使得人无论处于什么观看位置两眼都处于同一视区。

实施例二：

图2示出了本发明第二实施例提供的一种集成成像3D显示器，该集成成像3D显示器如图2所示，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

载入单元201，用于载入需要播放的3D集成图像。

载入需要播放的3D集成图像，用于用户观看3D图像。

摄像头202，实时拍摄观察者的图像，识别并追踪人眼所在的位置。

实时通过摄像头拍摄观察者的图像，根据拍摄的图像得到人眼所在的位置。

判断调整单元203，用于根据人眼所在的位置判断人的左眼和右眼是否位于同一可视区，当人眼的左眼和右眼位于不同可视区时，调整3D集成图像使人的左眼和右眼位于同一可视区。

本发明提供的集成成像3D显示器通过摄像头判断人眼的位置，再根据判断调整单元203判断人的左眼和右眼是否位于同一可视区，根据判断结果来确定是否需要调整3D集成图像,使得人眼的左眼和右眼所位于的视区为同一视区，使得观看到的3D集成图像不会发生分裂和重影。

实施例三：

图3示出了本发明第三实施例提供的基于人眼追踪的3D集成成像显示方法的实现流程图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

S301设置定标物体,调校摄像头的方向，使摄像头前定标物体位于摄像头拍摄画面的正中心位置。

由于集成成像3D显示器与摄像头之间的角度会直接影响计算摄像头所拍摄的观察者的位置，即会影响获取的人眼所在的位置。因此需要对于摄像头角度做一个调校，使得调校后的摄像头所对准的位置方便计算。当然摄像头对准位置只要处于整个视区方向，都可以得到人眼的位置，但在后续计算过程中需对人眼位置做修正。

具体的步骤S301设置定标物体,调校摄像头的方向，使摄像头前定标物体位于摄像头拍摄画面的正中心位置。包括如下步骤：

S3011两眼位于屏幕正中心的前方，并处于集成成像3D显示器前方一固定距离z；该距离z可为最佳观看距离。

S3012观看者向左移动，标注出现图像分裂时左眼的水平位置x1；观看者向右移动，标注出现图像分裂时左眼的水平位置x2；观看者向上移动，标注出现图像分裂时左眼的垂直位置y1；观看者向下移动，标注出现图像分裂时左眼的垂直位置y2。当然以上步骤S3012也可统一使用右眼判断；

S3013在距离集成成像3D显示器距离为z的位置上放置一定标物体，定标物体所位于集成成像3D显示器前的位置上；

S3014调整摄像头方向，使定标物体处于摄像头拍摄画面的正中心位置，摄像头拍摄的画面可通过集成成像3D显示器或其他2D显示器显示，只需保证摄像头拍摄到的定标物体位于拍摄画面的正中心位置即可。一般情况下，若显示器或者摄像头被搬动后，都要再进行一次矫正。若摄像头为显示器的内置摄像头，则一次矫正即可。

S302，载入需要播放的3D集成图像。

将需要播放的图像载入。

S303，实时拍摄观察者的图像，识别并追踪人眼所在的位置。

具体包括：S3031实时拍摄观察者的图像，实时识别人的左眼和右眼相对于集成成像3D显示器的位置；

S3032得到两眼中心位置相对于集成成像3D显示器的位置。

根据摄像头拍摄到的图像得到左眼和右眼中心点的位置，并通过左眼和右眼中心点的位置得到两眼的中心位置。

上述得到左眼、右眼位置和两眼的中心位置的具体步骤为：

识别人的左眼和右眼相对于集成成像3D显示器的位置，通过摄像头摄像识别，根据关系得到。这里可以使用OpenCV公开的人眼追踪算法完成，在此不再细述。得到左眼坐标（x_l，y_l），右眼坐标（x_r，y_r)。通过计算得到两眼的中心位置坐标(xoe,yoe)为

虽然集成显示的3D显示效果较为自然逼真，但是它的可视角非常小。集成成像3D显示器之间的可视角关系示意图如图4所示，可视角可写成：

$\tan \left(\frac{\mathrm{\Ω}}{2}\right)=\frac{P_0}{2g}$

其中P₀为每个微透镜的直径，g为微透镜阵列到显示屏的距离。在显示屏显示的像素总数和尺寸一定的情况下，P₀过大或者g过小都会减小3D图像的分辨率。

S304，根据人眼所在的位置确定两眼中心位置所在的可视区。

具体为：假设两眼中心位置位于的可视区（i，j），中心视区的中心在摄像头捕获的图像里位于像素位置，其中XX，YY分别为摄像头捕获图像的水平和竖直方向上的像素总数。集成成像3D显示器中微透镜一般为正方并排排布，所以每个视区为一个四棱锥，在xy面上的截面为并排排布的正方形，如图5所示，每个视区在摄像头捕获的图像里也近似于并排排布的正方形，正方形边长a为：

$a=\frac{\mathrm{\Ω}\·\mathrm{XX}}{\mathrm{\θ}}$

其中Ω为式所确定的传统集成显示的可视角，θ为摄像头的水平视角。根据两眼的中心位置坐标(xoe,yoe)，即得到当满足条件

$\left\{\begin{array}{c}(i-\frac{1}{2})a<\mathrm{xoe}\&le;(i+\frac{1}{2})a\\ (j-\frac{1}{2})a<\mathrm{yoe}\&le;(j+\frac{1}{2})a\end{array}\right.$

时，可找到整数(i，j)，从而确定两眼中心位置位于整个视区中的可视区（i，j）。特别的，（0，0）视区为正中心视区。

S305，判断人的左眼和右眼是否与两眼中心位置位于同一可视区，若是，执行S307,若否，执行S306。

具体判断公式为：

$\left\{\begin{array}{c}(i-\frac{1}{2})a<x_l\&le;(i+\frac{1}{2})a\\ (j-\frac{1}{2})a<y_l\&le;(j+\frac{1}{2})a\end{array}\right.$ 和 $\left\{\begin{array}{c}(i-\frac{1}{2})a<x_r\&le;(i+\frac{1}{2})a\\ (j-\frac{1}{2})a<y_r\&le;(j+\frac{1}{2})a\end{array}\right.$

判断人眼的左眼和右眼是否位于同一可视区，当以上公式同时成立，人眼的左眼和右眼位于同一可视区，无须调整3D集成图像偏移像素，若任一公式不成立，则需要调整3D集成图像偏移像素(δx,δy)。

根据两眼中心位置所在的可视区，判断人眼的左眼和右眼是否与两眼中心位置位于同一可视区，以确定是否需要调整3D集成图像的偏移像素。

S306，根据两眼中心位置，和两眼中心位置所在可视区的中心位置，得到3D集成图像的偏移像素。进而调整3D集成图像。

通过两眼中心位置映射在集成成像3D显示器上的位置，计算得到3D集成图像的偏移像素，进而调整3D集成图像。

具体计算公式为：

两眼中心位置距离可视区中心位置的偏移像素可表示为：

$\left\{\begin{array}{c}\mathrm{\&Delta;x}=\mathrm{xoe}-\mathrm{ia}\\ \mathrm{\&Delta;y}=\mathrm{yoe}-\mathrm{ia}\end{array}\right.$

3D集成图像的偏移像素为： $\left\{\begin{array}{c}\mathrm{\&delta;x}=-\frac{g\&CenterDot;\mathrm{\&theta;}\&CenterDot;\mathrm{\&Delta;x}}{\mathrm{XX}\&CenterDot;\mathrm{Pd}}\\ \mathrm{\&delta;y}=-\frac{g\&CenterDot;\mathrm{\&theta;}\&CenterDot;\mathrm{\&Delta;y}}{\mathrm{XX}\&CenterDot;\mathrm{Pd}}\end{array}\right.,$

其中Pd为集成成像3D显示器中显示屏的像素大小，g为微透镜阵列到显示屏的距离，xx，YY分别为摄像头捕获图像的水平和竖直方向上的像素总数，θ为摄像头的水平视角。需要说明的是，此计算方法为将人眼的左眼和右眼偏移至某一个可视区的中心，在实际中偏移的像素可以小于这个便宜像素就可以实现人眼的左眼和右眼位于同一可视区。3D集成图像和人眼相对与视区中心的偏移像素如图6所示。

S307，播放3D集成图像。

当确定人眼的左眼和右眼所在的可视区都在同一可视区内，播放3D集成图像，

S308，判断是否播放结束，若是，执行S309，若否，执行S303。

由于播放3D集成图像过程中，观察者的位置并不是固定的，可能会发生变动，即需要继续追踪人眼所在的位置，继续进行判断及调整图像以使人眼处于同一可视区中。

S309，结束播放。

本发明提供的方法通过拍摄到的图像识别并追踪人眼所在的位置，判断人的左眼和右眼所在的位置的可视区，根据人眼的左眼和右眼所在的可视区，判断人眼的左眼和右眼是否位于同一可视区，若不在，调整3D集成图像，使得人的左眼和右眼位于同一可视区内，这样观看到的3D集成图像不会由于人眼不在同一可视区内造成看到的图像分裂和重影。

实施例四：

图7示出了本发明第四实施例提供的一种集成成像3D显示器的结构图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

摄像头调校单元701，用于调校摄像头与集成成像3D显示器的方向，使摄像头前定标物体位于摄像头拍摄画面的正中心位置。

通过摄像头调校单元调校摄像头，使得摄像头所对准的定标物体的位置位于摄像头所捕获的图像的正中心位置。

载入单元702，用于载入需要播放的3D集成图像。

摄像头703，用于实时拍摄观察者的图像，识别并追踪人眼所在的位置。

捕获单元704，用于根据摄像头捕获的图像分别得到左眼中心点的位置和右眼中心点的位置，并通过左眼和右眼中心点的位置得到两眼中心位置。

捕获单元具体识别人的左眼和右眼相对于集成成像3D显示器的位置，并得到两眼中心位置相对于集成成像3D显示器的位置，其中优选使用OpenCV公开的人眼追踪算法完成，得到人眼的位置，根据人的左眼和右眼所在的位置获取到两眼中心位置所在的位置，由于人眼为两只，选取两眼中心位置来进行判断，通过两眼中心位置来具体计算相对简便。

可视区计算单元705，用于根据两眼中心位置计算两眼中心位置所处的可视区。

可视区计算单元，根据两眼中心的位置判断人眼所在的空间位置，根据空间位置得到两眼中心位置所处的可视区。

偏移像素计算单元706，用于根据两眼中心位置所处的可视区边界区域计算获得3D集成图像的偏移像素，使左眼和右眼位于同一可视区。

根据集成成像3D显示器上两眼中心位置相对于人眼所处视区中心位置的偏移像素，计算映射在集成成像3D显示器上的集成图像像素偏移像素。

调整单元707，用于根据偏移像素调整3D集成图像，使左眼和右眼位于同一可视区。

偏移像素的计算首先根据偏移像素的角度确定，再根据角度得到需要偏移的像素的偏移像素位，从而调整像素位，使得人的左眼和右眼位于同一可视区内。

本发明提供的集成成像3D显示器通过拍摄到的图像识别并追踪人眼所在的位置，判断人的左眼和右眼所在的位置的可视区，根据人眼的左眼和右眼所在的可视区，判断人眼的左眼和右眼是否位于同一可视区，若不在同一可视区通过调整3D集成图像，使得人的左眼和右眼位于同一可视区内，这样观看到的3D集成图像不会由于人眼不在同一可视区内造成看到的图像分裂和重影，使得用户观看电视的可视角度大大增加。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于人眼追踪的3D集成成像显示方法，其特征在于，所述方法包括下述步骤：

载入需要播放的3D集成图像；

实时拍摄观察者的图像，识别并追踪人眼所在的位置；

根据人眼所在的位置判断人的左眼和右眼是否位于同一可视区，当人的左眼和右眼位于不同可视区时，调整3D集成图像使人的左眼和右眼位于同一可视区；所述可视区由人眼能看到自然逼真的三维显示效果的区域分割得到；每一个可视区的范围与集成成像3D显示器的微透镜的阵列相关。

2.如权利要求1所述的方法，其特征在于，所述方法在载入需要播放的3D集成图像步骤之前还包括：

调校摄像头与集成成像3D显示器的夹角，使摄像头前定标物体位于摄像头拍摄画面的正中心位置。

3.如权利要求2所述的方法，其特征在于，所述定标物体为：

位于集成成像3D显示器的某一个视区的正中心位置，且与集成成像3D显示器距离固定。

4.如权利要求1所述的方法，其特征在于，所述根据人眼所在的位置判断人的左眼和右眼是否位于同一可视区，当人的左眼和右眼位于不同可视区时，调整3D集成图像使人眼的左眼和右眼位于同一可视区的具体步骤包括：

根据摄像头捕获的图像分别得到左眼中心点的位置和右眼中心点的位置，并通过左眼和右眼中心点的位置得到两眼中心位置；

根据两眼中心位置计算两眼中心位置所处的可视区；

根据两眼中心位置所处的可视区的边界区域计算获得3D集成图像的偏移像素；

根据偏移像素调整3D集成图像，使左眼和右眼位于同一可视区。

5.如权利要求1所述的方法，其特征在于，所述根据人眼所在的位置判断人的左眼和右眼是否位于同一可视区，当人的左眼和右眼位于不同可视区时，调整3D集成图像使人眼的左眼和右眼位于同一可视区的具体步骤包括：

根据摄像头捕获的图像分别得到左眼中心点的位置和右眼中心点的位置，并通过左眼和右眼中心点的位置得到两眼中心位置；

根据两眼中心位置计算两眼中心位置所处的可视区；

根据两眼中心位置所处的可视区的中心点计算获得3D集成图像的偏移像素，使两眼中心映射位置位于两眼中心位置所处的可视区的中心；

根据偏移像素调整3D集成图像，使左眼和右眼位于同一可视区。

6.一种集成成像3D显示器，其特征在于，所述集成成像3D显示器包括：

载入单元，用于载入需要播放的3D集成图像；

摄像头，实时拍摄观察者的图像，识别并追踪人眼所在的位置；

判断调整单元，根据人眼所在的位置判断人的左眼和右眼是否位于同一可视区，当人眼的左眼和右眼位于不同可视区时，调整3D集成图像使人的左眼和右眼位于同一可视区；所述可视区由人眼能看到自然逼真的三维显示效果的区域分割得到；每一个可视区的范围与集成成像3D显示器的微透镜的阵列相关。

7.如权利要求6所述的集成成像3D显示器，其特征在于，所述集成成像3D显示器还包括：

摄像头调校单元，用于调校摄像头与集成成像3D显示器的夹角，使摄像头前定标物体位于摄像头拍摄画面的正中心位置。

8.如权利要求6所述的集成成像3D显示器，其特征在于，所述集成成像3D显示器还包括：

捕获单元，用于根据摄像头捕获的图像分别得到左眼中心点的位置和右眼中心点的位置，并通过左眼和右眼中心点的位置得到两眼中心位置；

可视区计算单元，用于根据两眼中心位置计算两眼中心位置所处的可视区；

偏移像素计算单元，用于根据两眼中心位置所处的可视区的边界区域计算获得3D集成图像的偏移像素，使左眼和右眼位于同一可视区；

调整单元，用于根据偏移像素调整3D集成图像，使左眼和右眼位于同一可视区。