CN102045577B - 用于三维立体显示的观察者跟踪系统及三维立体显示系统 - Google Patents

Abstract

本发明公开了用于三维立体显示的观察者跟踪系统及三维立体显示系统。观察者跟踪系统包括快门眼镜、图像捕获装置及图像处理装置。快门眼镜包括左镜片及右镜片，左镜片及右镜片交替地开启和关闭。图像捕获装置包括摄像头，摄像头在连续的两种时刻分别采集快门眼镜的第一图像和第二图像，连续的两种时刻包括左镜片开启且右镜片关闭的第一种时刻及右镜片开启且左镜片关闭的第二种时刻。图像处理装置根据第一图像与第二图像计算得到左、右镜片的像位置，并计算获得左、右镜片的三维空间位置，并根据眼睛相对于快门眼镜的三维位置关系进一步计算获得眼睛的三维空间位置。从而能够实时自动跟踪眼睛的三维空间位置，消除图像观察失真变形的问题。

Description

用于三维立体显示的观察者跟踪系统及三维立体显示系统

技术领域

本发明涉及三维(3D)立体显示技术领域，尤其涉及一种用于三维立体显示的观察者跟踪系统及三维立体显示系统。

背景技术

众所周知，现实世界是三维立体世界，它为人的双眼提供了两幅具有位差的图像，映入双眼后即形成立体视觉所需的视差，然后经视神经中枢的融合反射，以及视觉心理反应便产生了三维立体感觉。

近年来，随着高清电视技术的发展，人们对于更加真实显示图像技术的追求也越来越高。利用这个三维立体成像的原理，通过显示器将两幅具有位差的左图像和右图像分别呈现给左眼和右眼，即可以获得3D的感觉。

然而，由于目前三维立体显示技术的局限性，观察者并不是在所有的位置都能观看到正确的三维立体图像，为解决前述观察者观看位置局限性的问题，三维立体显示系统需要对观察者的三维空间位置，通常是观察者眼睛的三维空间位置进行较为准确的跟踪与定位，以便更准确地向观察者发送与其眼睛所在位置相对应的图像。目前，在三维立体显示技术中对观察者眼睛进行跟踪与定位的技术主要有：模板匹配法、边缘提取法、灰度分布、眨眼检测法、人脸结构特征法以及神经网络法等技术，但是应用这些技术一般需要对图像进行缩放、旋转等复杂的归一化处理，运算量大，而且对像素精度也要求较高。

因此，迫切需要提供改进以克服现有技术中存在的以上问题。

发明内容

本发明要解决的主要技术问题是提供一种用于三维立体显示的观察者跟踪系统及三维立体显示系统，能够实时自动跟踪观察者眼睛的三维空间位置，消除图像观察失真变形的问题，而且图像处理较为简单，无需复杂的计算过程。

为解决上述技术问题，本发明提供了如下技术方案：

本发明的一方面提供了一种用于三维立体显示的观察者跟踪系统，其包括：

快门眼镜，其包括左镜片及右镜片，所述左镜片及所述右镜片交替地开启和关闭；

图像捕获装置，其包括摄像头，所述摄像头在连续的两个时刻分别采集所述快门眼镜的第一图像和第二图像，所述连续的两种时刻包括所述左镜片开启且所述右镜片关闭的第一种时刻及所述右镜片开启且所述左镜片关闭的第二种时刻；

图像处理装置，其根据所述第一图像与所述第二图像计算得到所述左镜片及所述右镜片的像位置，从而获得观察者的三维空间位置。

另一方面，所述图像处理装置进一步根据计算获得的所述左镜片及所述右镜片的三维空间位置，并结合佩戴所述快门眼镜时观察者的眼睛相对于所述快门眼镜的三维位置关系进一步计算获得所述观察者的眼睛的三维空间位置。

本发明的用于三维立体显示的观察者跟踪系统能够实时地自动跟踪和定位观察者的眼睛的位置信息，实时获取观察者的眼睛的三维空间位置，从而能够保证观察者实时观看到不失真的三维立体图像，消除因眼睛位置移动而发生图像观察失真变形的问题。而且，本发明的用于三维立体显示的观察者跟踪系统对于图像的处理较为简单，无需复杂的计算过程。

本发明的另一方面提供了一种三维立体显示系统，其包括控制装置、显示装置以及如上所述的观察者跟踪系统，所述控制装置根据所述观察者跟踪系统获得的所述观察者的眼睛的三维空间位置，控制由所述显示装置显示对应的图像。

本发明的三维立体显示系统能够根据实时获取的眼睛的三维空间位置，来实时地调整和控制由显示装置显示对应的图像，从而能够保证观察者实时观看到不失真的三维立体图像，消除因眼睛位置移动而发生图像观察失真变形的问题。而且，本发明的三维立体显示系统对于图像的处理较为简单，无需复杂的计算过程。

通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。

附图说明

下面将结合附图，对本发明的具体实施方式进行详细的说明，其中：

图1为本发明一种实施方式的三维立体显示系统的结构示意图。

图2为图1所示的图像处理装置中图像减法单元的工作原理示意图。

图3为图1所示的图像处理装置中眼睛定位单元的三角测距原理示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

图1为本发明一种实施方式的三维立体显示系统的结构示意图。如图1所示，本发明的三维立体显示系统包括用于三维立体显示的观察者跟踪系统、控制装置40以及用于显示图像的显示装置50。其中用于三维立体显示的观察者跟踪系统包括快门眼镜(ShutterGlasses)10、图像捕获装置20以及图像处理装置30。

快门眼镜10由观察者佩戴于其左、右眼的正前方，其包括左镜片及右镜片。其中快门眼镜10中的左、右镜片可以是利用液晶材料制成的。左镜片及右镜片可以交替地开启和关闭，优选地，快门眼镜10以不小于120赫兹(Hz)的第一频率进行左、右镜片的开启和关闭的动作切换，即在第一种时刻T1，快门眼镜10的状态为左镜片开启而右镜片关闭，而在与第一种时刻连续的第二种时刻T2，快门眼镜10的状态为右镜片开启而左镜片关闭。所谓左/右镜片的开启为左/右镜片透明，使得光线能够穿透过左/右镜片，进而光线能够进入到观察者的左/右眼；而所谓左/右镜片的关闭为左/右镜片不透明，使得光线不能穿透过左/右镜片，进而光线不能进入到观察者的左/右眼。

图像捕获装置20与图像处理装置30电性连接。图像捕获装置20捕获观察者佩戴的快门眼镜10的图像，然后将该图像传递给图像处理装置30；图像处理装置30将该图像经过相应的处理，得到观察者眼睛的三维空间位置。

图像捕获装置20与图像处理装置30既可以分别由单独的芯片来完成，也可以均集成在同一芯片上。如果是将图像捕获装置20与图像处理装置30集成于同一芯片，优选地，其可以是个人计算机配以图像采集卡，并且使用应用软件来完成；或者，优选地，其也可以采用专用集成电路(ASIC：Application Specific IntegratedCircuit)、数字信号处理(DSP：Digital Signal Processing)、ARM(Advanced RISC Machines)微处理器、以及现场可编程门阵列(FPGA：Field-Programmable Gate Array)等，进行基于嵌入式硬件平台来实现。

图像捕获装置20包括第一摄像头21、第二摄像头22以及照明装置(未图示)。照明装置向快门眼镜10发射照明光线，照明光线能够穿透开启的左镜片或右镜片，但却被关闭的右镜片或左镜片反射，被反射的照明光线分别被第一摄像头21和第二摄像头22采集。优选地，照明装置从靠近第一摄像头21和第二摄像头22的光学中心的位置发射红外照明光线。更优选地，照明装置发射红外LED照明光线。第一摄像头21和第二摄像头22可以是数字的或者是模拟的。第一摄像头21和第二摄像头22彼此相互间隔，并且主光轴相互平行且分别从不同位置同时采集快门眼镜的图像。图像捕获装置20能够接收快门眼镜10的左/右镜片的切换触发信号，从而触发第一摄像头21和第二摄像头22进行图像采集。第一摄像头21和第二摄像头22按照第二频率采集图像，并且第一摄像头21和第二摄像头22采集图像的速度为快门眼镜10的左/右镜片开启/关闭切换速度的整数倍，即第一频率是第二频率的整数倍。第一摄像头21和第二摄像头22从各自所在位置分别采集一路视频数据，每路视频数据包括第一种时刻T1采集的第一图像和第二种时刻T2采集的第二图像。

图像捕获装置20具有图像存储能力，从而在连续的第一种时刻T1和第二种时刻T2采集图像时，能够储存前一时刻采集的图像。

图像处理装置30包括图像减法单元31以及与图像减法单元31耦接的眼镜定位单位32。

图2为图像减法单元31的工作原理示意图，其中图2仅示出了针对第一摄像头21采集的第一路视频数据进行处理的工作原理。结合参考图2所示，第一摄像头21采集的第一路视频数据包括在第一种时刻T1采集的第一图像211和在第二种时刻T2采集的第二图像212。在T1时刻，快门眼镜10的左镜片开启而右镜片关闭，采集的第一图像211为左镜片区域暗而右镜片区域亮的图像；在T2时刻，快门眼镜10的左/右镜片进行切换，此时，右镜片开启而左镜片关闭，采集的第二图像212为右镜片区域暗而左镜片区域亮的图像。第一摄像头21在T1时刻采集的第一图像211和在T2时刻采集的第二图像212分别传送给图像处理装置30中的图像减法单元31。图像减法单元31将T1时刻采集的第一图像211与T2时刻采集的第二图像212进行图像相减的运算，则依据公知的相关图像处理理论，第一图像211与第二图像212相减之后将唯一得到左、右镜片为前景，而黑色为背景的图像，并将像素值不为黑色的区域确定为左镜片及右镜片所在的像位置。经过图像减法单元31的图像相减运算，可以获得第一路视频数据所对应的左镜片及右镜片的像位置(X_gl1，Y_gl1)、(X_gr1，Y_gr1)。

同样地，图像减法单元31针对第二摄像头22的由在第一种时刻T1采集的第一图像和在第二种时刻T2采集的第二图像构成的第二路视频数据进行类似的图像相减运算，从而可以获得第二路视频数据所对应的左镜片及右镜片的像位置(X_gl2，Y_gl2)、(X_gr2，Y_gr2)。

由于第一路视频数据从第一摄像头21位置采集，第二路视频数据从第二摄像头22位置采集，因此，第一路视频数据对应第一摄像头21位置，第二路视频数据对应第二摄像头22位置。图像处理装置30根据第一路、第二路视频数据对应的位置以及计算获得的第一路视频数据对应的左、右镜片的像位置(X_gl1，Y_gl1)、(X_gr1，Y_gr1)和第二路视频数据对应的左、右镜片的像位置(X_gl2，Y_gl2)、(X_gr2，Y_gr2)，结合立体视觉三角测距理论，计算左镜片及右镜片的三维空间位置。图3为图像处理装置30中眼睛定位单元32的三角测距原理示意图，其中图3仅示出了根据立体视觉三角测距理论计算出左镜片的三维空间位置的原理示意。以下将结合参照图3详细说明眼睛定位单元32通过左镜片的像位置计算左镜片的三维空间位置的原理。依据公知的立体视觉三角测距理论，首先要建立摄像头坐标系(X，Y)和世界坐标系(x，y，z)，并且依据公知的理论知识对摄像头坐标系与世界坐标系(也称之为绝对坐标系)进行标定，从而建立起摄像头坐标系与世界坐标系之间的联系。在图3中，摄像头坐标系(X，Y)中的X轴方向是与观察者的左、右眼(或者其所佩戴的快门眼镜的左、右镜片)连线平行的方向，Y轴方向是在像平面上与X轴垂直的方向，世界坐标系(x，y，z)中的x轴方向是与摄像头坐标系中的X轴方向相关联，世界坐标系中的y轴方向是与摄像头坐标系中的Y轴方向相关联，世界坐标系中的z轴方向是镜片的深度方向。

由于快门眼镜10以120Hz的频率快速切换T1时刻和T2时刻，因此，在T1时刻和T2时刻切换时，可以近似观察者的头部是没有运动的，即眼睛或者说是快门眼镜10的左/右镜片的位置是没有移动的。

如图3所示，假设在T1和T2时刻，观察者的左镜片具有三维空间位置物点P(x，y，z)。左镜片在第一摄像头21中的像位置为像点G₁(X_gl1，Y_gl1)，左镜片在第二摄像头22中的像位置为像点G₂(X_gl2，Y_gl2)。则由物点P(x，y，z)、像点G₁(X_gl1，Y_gl1)与像点G₂(X_gl2，Y_gl2)三者之间构筑一个三角形。左镜片在第一摄像头21中的像点G₁所在平面为第一像平面S1，左镜片在第二摄像头22中的像点G₂所在平面为第二像平面S2。在第一像平面S1和第二像平面S2之间建立摄像头坐标系。已知第一摄像头21的主光轴210和第二摄像头22的主光轴220分别与第一像平面S1和第二像平面S2的交点为E1和E2，E1和E2也分别称之为第一摄像头21的主点和第二摄像头22的主点，第一摄像头21和第二摄像头22的焦点分别为F1和F2，焦点F1和F2分别在第一摄像头的光轴210和第二摄像头的光轴220上，其焦距分别为f1和f2，由于第一摄像头和第二摄像头相同，因此，f1＝f2＝f，f为已知的常数。已知第一摄像头21和第二摄像头22分别在第一像平面S 1和第二像平面S2中的投影中心位于其光轴上，则第一、第二摄像头21、22的投影中心的连线距离为基线距离B。由于像点G₁(X_gl1，Y_gl1)和像点G₂(X_gl2，Y_gl2)在同一平面上，因此，像点G₁与像点G₂在Y轴上的坐标相同，即，Y_gl1＝Y_gl2＝Y，Y为已知的常数。则由三角几何关系可以得到，

$\left\{\begin{array}{c}{X}_{\mathrm{gl}1}=f\·\frac{x}{z}\\ X_{\mathrm{gl}2}=f\·\frac{(x-B)}{z}\\ Y_{\mathrm{gl}1}=Y_{\mathrm{gl}2}=Y=f\·\frac{y}{z}\end{array}\right.$

则视差D(Disparity)＝X_gl1-X_gl2。由于左镜片在摄像头坐标系中的坐标值(X_gl1，Y_gl1)及(X_gl2，Y_gl2)已经获得，因此，由上述公式可以计算出左镜片在世界坐标系中的三维空间位置坐标：

$\left\{\begin{array}{c}x=\frac{B\·X_{\mathrm{gl}1}}{D}\\ y=\frac{B\·Y}{D}\\ z=\frac{B\·f}{D}.\end{array}\right.$

综上，结合立体视觉三角测距理论，根据第一路和第二路视频数据所对应的左镜片的像位置(X_gl1，Y_gl1)和(X_gl2，Y_gl2)，能够很容易地计算出左镜片的三维空间位置。

同样地，眼睛定位单元32结合立体视觉三角测距理论，根据第一路和第二路视频数据所对应的右镜片的像位置(X_gr1，Y_gr1)、(X_gr2，Y_gr2)可以计算出右镜片的三维空间位置，其计算方法类似，故，此处不再作赘述。

考虑到眼睛定位单元32根据立体视觉三角测距理论计算出左、右镜片的三维空间位置的精确度问题，本发明的图像捕获装置20可以包括三个、四个、......、或者甚至更多个摄像头，只要满足摄像头的主光轴彼此相互平行即可，从而可以构筑多个三角形，其中每两个摄像头的像点和物点之间可以构筑一个三角形，例如，对于图像捕获装置20包括三个摄像头的情况，则可以构筑成三个三角形，然后针对每一个三角形按照以上计算过程分别进行处理，从而计算获得多个左/右镜片的三维空间位置，并对其求平均值，从而获得更为精确的左/右镜片的三维空间位置，提高了整个观察者跟踪系统的精准度，降低其误判率。

另外，本发明的图像捕获装置20也并不限于包括两个或多个摄像头的情况，如果摄像头的拍摄频率足够快，则可以采用一个摄像头进行移动拍摄，同样可以获得从至少两个位置采集快门眼镜的图像的目的，而不脱离本发明的实质。因此，但凡能够实现从至少两个位置采集快门眼镜的图像的摄像装置均在本发明的保护范围之内。

图像处理装置30中的眼睛定位单元32可以根据计算获得的左镜片及右镜片的三维空间位置，进一步根据佩戴快门眼镜10时观察者的眼睛相对于快门眼镜10的三维位置关系，进而计算获得观察者的眼睛的三维空间位置。在一种实施方式中，由于观察者的左、右眼基本位于其所佩戴的快门眼镜10的正后方，所以，考虑到简化图像处理装置30的计算，可以将快门眼镜10的左、右镜片的中心区域近似认为是观察者的左、右眼所在的区域。并且，由于观察者的左、右眼距离快门眼镜10的机构的制约，所以，眼睛相对于快门眼镜10在深度方向的相对位置通常是固定的，可以将快门眼镜10在深度方向的位置近似认为是观察者的眼睛在深度方向的位置，从而由快门眼镜10的左镜片及右镜片的三维空间位置，图像处理装置30计算得出观察者的眼睛的三维空间位置。

控制装置40根据观察者跟踪系统获得的观察者的眼睛的三维空间位置，来控制由显示模块50显示对应的图像。控制装置40用于控制快门眼镜10的左/右镜片的切换触发信号与显示装置50的刷新频率，即在左镜片开启而右镜片关闭的第一种时刻T1，根据左眼当前时刻的三维空间位置，控制装置40控制显示装置50显示对应的左眼图像，此时，由于快门眼镜10的左镜片开启而右镜片关闭，因此，仅能由观察者的左眼看到对应的左眼图像，而观察者的右眼由于右镜片关闭看不到任何图像。在右镜片开启而左镜片关闭的第二种时刻T2，根据右眼当前时刻的三维空间位置，控制装置40控制显示装置50显示对应的右眼图像，此时，由于快门眼镜10的右镜片开启而左镜片关闭，因此，仅能由观察者的右眼看到对应的右眼图像，而观察者的左眼由于左镜片关闭看不到任何图像。因为左眼图像和右眼图像是具有视差的图像，由于眼睛具有视觉暂留效应，则在T1和T2时刻，暂留于人脑中的左眼图像和右眼图像经过人脑的进一步的融合作用，则对于观察者来讲，形成了具有立体效应的一幅完整的图像。

若观察者的头部发生移动，即观察者的左、右眼的三维空间位置发生变化，则观察者跟踪系统会实时地自动跟踪和定位观察者的眼睛的位置信息，实时获取观察者的眼睛的三维空间位置，控制装置40能够根据观察者跟踪系统实时提供的眼睛的三维空间位置，来实时地调整和控制由显示装置50显示对应的图像，从而能够保证观察者实时观看到不失真的三维立体图像，消除因眼睛位置移动而发生图像观察失真变形的问题。而且，本发明的观察者跟踪系统对于图像的处理较为简单，无需复杂的计算过程。

本发明虽然以较佳实施方式公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所限定的范围为准。

Claims (12)

1.用于三维立体显示的观察者跟踪系统，其特征在于，其包括：

快门眼镜，其包括左镜片及右镜片，所述左镜片及所述右镜片交替地开启和关闭；

图像捕获装置，其包括摄像头，所述摄像头在连续的两种时刻分别采集所述快门眼镜的第一图像和第二图像，所述连续的两种时刻包括所述左镜片开启且所述右镜片关闭的第一种时刻及所述右镜片开启且所述左镜片关闭的第二种时刻；

图像处理装置，其将所述第一图像和第二图像相减后，得到所述左镜片及所述右镜片为前景，黑色为背景的图像，并将像素值不为黑色的区域确定为左镜片及右镜片所在的像位置，计算获得所述左镜片及所述右镜片的三维空间位置，从而获得观察者的三维空间位置。

2.如权利要求1所述的观察者跟踪系统，其中，所述图像处理装置进一步根据计算获得的所述左镜片及所述右镜片的三维空间位置，并结合佩戴所述快门眼镜时观察者的眼睛相对于所述快门眼镜的三维位置关系进一步计算获得所述观察者的眼睛的三维空间位置。

3.如权利要求2所述的观察者跟踪系统，其中，所述图像捕获装置包括照明装置，所述照明装置向所述快门眼镜发射照明光线，所述照明光线穿透开启的所述左镜片或所述右镜片但被关闭的所述右镜片或所述左镜片反射，被反射的照明光线被所述摄像头采集。

4.如权利要求3所述的观察者跟踪系统，其中，所述照明装置从靠近所述摄像头光学中心的位置发射红外照明光线。

5.如权利要求2所述的观察者跟踪系统，其中，所述快门眼镜按照第一频率切换所述第一种时刻及所述第二种时刻，所述摄像头按照第二频率采集图像，所述第一频率是所述第二频率的整数倍。

6.如权利要求5所述的观察者跟踪系统，其中，所述第一频率不小于120Hz。

7.如权利要求2所述的观察者跟踪系统，其中，所述摄像头从至少两个位置采集所述快门眼镜的图像。

8.如权利要求7所述的观察者跟踪系统，其中，所述图像捕获装置包括至少两个摄像头，所述至少两个摄像头的主光轴彼此相互平行且分别从不同位置同时采集所述快门眼镜的图像，每个摄像头分别从其所在位置采集一路视频数据，每路视频数据包括所述第一种时刻采集的第一图像和所述第二种时刻采集的第二图像。

9.如权利要求2所述的观察者跟踪系统，其中，图像捕获装置具有图像存储能力。

10.如权利要求2所述的观察者跟踪系统，其中，所述图像处理装置将左、右镜片的中心区域视为观察者的左、右眼所在的区域，并且将快门眼镜在深度方向的位置视为观察者的眼睛在深度方向的位置，从而获得观察者的眼睛的三维空间位置。

11.一种三维立体显示系统，其特征在于：其包括控制装置、显示装置以及如权利要求2至10中任一项所述的观察者跟踪系统，所述控制装置根据所述观察者跟踪系统获得的所述观察者的眼睛的三维空间位置，控制由所述显示装置显示对应的图像。

12.如权利要求11所述的三维立体显示系统，其中，在所述第一种时刻，所述控制装置根据左眼当前时刻的三维空间位置，控制所述显示装置显示对应的左眼图像；在所述第二种时刻，所述控制装置根据右眼当前时刻的三维空间位置，控制所述显示装置显示对应的右眼图像。

Images