CN105791800A

CN105791800A - 立体显示系统及立体显示方法

Info

Publication number: CN105791800A
Application number: CN201510991868.7A
Authority: CN
Inventors: 包瑞; 李统福; 周峰
Original assignee: Shenzhen Super Perfect Optics Ltd
Current assignee: Shenzhen Super Technology Co Ltd
Priority date: 2014-12-29
Filing date: 2015-12-25
Publication date: 2016-07-20
Anticipated expiration: 2035-12-25
Also published as: CN105791800B; CN205610834U

Abstract

本发明属于立体显示技术领域，提供一种立体显示系统及立体显示方法，其系统包括显示单元、跟踪设备及分光单元。其中，该跟踪设备用于获取第一目标对象的位置信息，该分光单元位于该显示单元的显示侧，用于将该显示单元显示的图像空间上分成左视图和右视图。其中，该立体显示系统还包括图像播放处理单元，分别与该跟踪设备和该显示单元连接，该图像播放处理单元依据该第一目标对象的位置信息、该分光单元的光栅参数及该显示单元的显示参数实时处理待播放的立体图像，处理后发送该显示单元显示。上述立体显示系统实现实时显示立体图像，提升了用户体验。

Description

立体显示系统及立体显示方法

技术领域

本发明涉及立体显示技术领域，特别涉及一种立体显示系统及立体显示方法。

背景技术

近几年，立体显示技术发展迅速，成为人们研究的热点。立体显示技术已经越来越广泛应用于医疗、广告、军事、展览、游戏及车载显示等各个领域。立体显示技术包括佩戴眼镜式立体显示技术和无需眼镜的裸眼立体显示技术。其中，佩戴眼镜式立体显示技术发展很早，目前已经技术比较成熟，在很多领域中仍在使用；而裸眼立体显示技术起步较晚，其技术难度比佩戴眼镜式的难度要高，目前虽在相关领域有运用，但显示效果还不能满足人们的需求。尤其是目前裸眼立体显示技术应用到如球赛实况转播、医疗手术现场等实时播放的领域时，其实时播放的效果较差，无法满足观看的需要。因此，在这些领域，目前多数采用佩戴眼镜式的立体显示技术，还没有裸眼立体显示技术的应用。

此外，在目前的裸眼立体显示系统中，通常采用摄像头等人眼跟踪设备捕捉人眼的位置，然后依据人的左右眼的位置自适应的调节分光单元或对显示面板的像素进行排列，使得人在一定范围内自由移动，同时还不会影响到观看立体图像的显示效果。然而，现有的摄像头等人眼跟踪设备需要对拍摄到的含有人眼位置的二维图像进行特征分析，以获取人眼位置信息。采用这种方式，很难保证其稳定性和准确性。若没有获取到准确的人眼位置信息，这将严重影响立体显示效果，带来较差的用户体验。尤其是在需要实时播放立体显示图像的领域，比如在医疗领域，医生依据实时显示的立体显示图像进行手术时，医生需要不时且观看实时的立体显示图像，如果跟踪的人眼位置信息不准确，将影响到医生的操作，严重者，甚至会影响到手术的成功。又如在球赛实况转播时，对于实时性要求较高，图像在传输和处理中出现延迟情况，不能实时实现转播，则用户体验非常差。

因此，如何实现裸眼立体显示设备的实时显示成为亟待解决的问题。

发明内容

本发明的目的是提供一种立体显示系统及立体显示方法，旨在解决由现有技术的局限和缺点引起的上述一个或多个技术问题。

在一方面，本发明提出一种立体显示系统，包括显示单元、分光单元及跟踪设备，所述跟踪设备用于获取第一目标对象的位置信息，所述分光单元位于所述显示单元的显示侧，用于将所述显示单元显示的图像空间上分成左视图和右视图，所述立体显示系统还包括图像播放处理单元，分别与所述跟踪设备和所述显示单元连接，所述图像播放处理单元依据所述第一目标对象的位置信息、所述分光单元的光栅参数及所述显示单元的显示参数实时处理待播放的图像，处理后发送所述显示单元显示。

在另一方面，本发明还提出一种立体显示方法，所述立体显示方法包括以下步骤：S1获取第一目标对象的位置信息；S2获取立体显示装置的分光单元的光栅参数和所述立体显示装置的显示单元的显示参数；S3依据所述位置信息和所述光栅参数及所述显示参数实时处理待播放的图像；S4显示所述待播放的图像。

相对于现有技术，本发明的有益效果是：本发明的系统及方法可以及时获取到第一目标对象的位置信息、光栅参数及显示参数，并据此进行图像处理，省去了现有技术中需要经过中央处理器的处理过程，因而图像播放的速度相比于现有技术大大提高，能满足实时立体显示的要求。

附图说明

图1示出了本发明实施方式一的立体显示系统的结构示意图；

图2示出了图1中的图像播放处理单元的结构示意图；

图3是本发明实施方式一的立体显示系统中分光单元与显示单元贴合的结构示意图；

图4示出了本发明实施方式一的立体显示系统中跟踪设备的较佳实施例结构示意图；

图5示出了图4中的获取单元的具体结构示意图；

图6示出了图4中的重新构建单元第一变形例的具体结构示意图；

图7示出了图4中的重新构建单元第二变形例的具体结构示意图；

图8示出了图4中的重新构建单元第三变形例的具体结构示意图；

图9示出了图4的跟踪设备中对应第一目标对象设置标记点的定位支架的结构示意图；

图10是本发明实施方式二的立体显示方法的流程示意图；

图11是图10中S1的具体流程示意图；

图12是图11中S12的具体流程示意图；

图13是图10中S13的第一变形例的具体流程示意图；

图14是图10中S13的第二变形例的具体流程示意图；

图15是图10中S13的第三变形例的具体流程示意图；

图16是图10中的S3的具体流程示意图；

图17为本发明图像播放处理单元的一种结构示意图；

图18为本发明图像播放处理单元的另一种结构示意图；

图19为本发明图像获取单元的一种结构示意图；

图20为本发明图像获取单元的另一种结构示意图；

图21为本发明跟踪设备的一种结构示意图；

图22为本发明跟踪设备的另一种结构示意图。

具体实施方式

有关本发明的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实施例详细说明中将可清楚的呈现。通过具体实施方式的说明，当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本发明加以限制。

实施方式一

请参见图1，图1为本发明立体显示系统的结构示意图。如图1所示，本发明的立体显示系统包括：跟踪设备30、分光单元50及显示单元40，该跟踪设备30用于获取第一目标对象的位置信息，该分光单元50位于所述显示单元40的显示侧，用于将该显示单元40显示的图像空间上分成左视图和右视图。该立体显示系统还包括图像播放处理单元20，分别与该跟踪设备30和该显示单元40连接，该图像播放处理单元20依据该第一目标对象的位置信息、该分光单元50的光栅参数及显示单元40的显示参数实时处理待播放的图像，处理后发送该显示单元40进行显示。

由于跟踪设备30和显示单元40直接连接到图像播放处理单元20，图像播放处理单元20及时获取到第一目标对象的位置信息、光栅参数及显示参数，并据此进行图像处理，省去了现有技术中需要经过中央处理器的处理过程，因而图像播放的速度相比于现有技术大大提高，能满足实时立体显示的要求。上述光栅参数主要包括光栅的栅距(pitch)和光栅相对显示面板的倾斜角度、光栅相对显示面板的放置距离等参数。这些光栅参数可以是直接存储在图像播放处理单元内的存储器中，也可是其它检测设备实时检测并获取分光单元的光栅参数，将光栅参数值发送给图像播放处理单元20。上述显示单元参数包括显示单元的尺寸、显示单元的屏幕分辨率、显示单元的像素单元中子像素的排列顺序及排列结构等参数。子像素排列顺序即子像素是按照RGB排列或者RBG排列，还是成BGR排列，还是成其他顺序排列；子像素排列结构即子像素为竖直排列的还是横向排列的，如自上而下是按照RGB的方式循环排列，或者从左至右依次是按照RGB的方式循环排列等。

上述跟踪设备30可以是摄像头和/或者红外传感器，主要用于追踪第一目标对象的位置，例如人的双眼或者人的头部或者人的脸部的位置或者人的上半身的位置。摄像头或红外传感器的数量不限制，可以是一个，也可以是多个。摄像头或者红外传感器可以安装在显示单元的边框上，或者单独放置在易于追踪到第一目标对象的位置。此外，如果采用红外传感器作为跟踪设备，还可在对应第一目标对象的位置设置红外发射器，通过接收到红外发射器发送的红外定位信号，利用红外发送器与第一目标对象的相对位置关系，计算出第一目标对象的位置信息。

上述分光单元50设于显示单元40的出光侧，将显示单元40显示的具有视差的左视图和右视图分别发送到人的左眼和右眼，依据人的左眼和右眼合成立体图像，使人观看到立体显示的效果。较佳地，上述分光单元可以是视差屏障或透镜光栅。该视差屏障可以是液晶狭缝或固体狭缝光栅片或者电致变色狭缝光栅片等，该透镜光栅可以是液晶透镜、树脂透镜或固体液晶透镜光栅。树脂透镜、固体液晶透镜光栅主要是通过紫外光将树脂或液晶固化到薄片上，形成固态透镜，对光线进行分光后出射到人的左眼和右眼。较佳地，将上述显示单元40和分光单元50作为一个集成的显示设备60，该显示设备60是整个立体显示系统的显示部分，可以与前述图像播放处理单元及跟踪设备组装在一起，也可以是一个独立部分单独存在。例如，可以依据观看需要，单独将显示设备60放置在便于观看的位置，而图像播放处理单元20和跟踪设备30可以是各自具有独立功能的设备，使用时将这些设备组装起来实现本发明的实时立体显示功能即可。例如，该图像播放处理单元20可以是VMR3D播放设备，其本身具有3D播放处理功能，使用时将其组装到本发明的立体显示系统中，与其它设备建立连接。

上述图像播放处理单元20，依据跟踪设备30跟踪到的该第一目标对象的位置信息、该分光单元50的光栅参数及显示单的显示参数实时处理待播放的图像。请参见图2，图像播放处理单元20进一步包括：

立体图像获取模块204，获取所述图像获取单元10拍摄的所述立体图像的信息。

排图参数确定模块201，依据获取到的所述第一目标对象的位置信息和所述分光单元的光栅参数及显示单的显示参数计算出在显示单元上的排图参数；

视差图像排列模块202，用于依据所述排图参数排列显示单元上的视差图像；该视差图像是通过在空间上划分左眼图像以及右眼图像来生成的。

视差图像播放模块203，播放所述视差图像。在接收到排列后的视差图像后，进行播放，观看者在显示单元实时看到显示的立体图像。

实施例1

图像播放处理单元20可以通过软件处理的方式对待播放图像进行处理，除此之外，图像播放处理单元20也可以采用硬件处理的方式对待播放图像进行处理。

所述硬件处理方式是指图像播放处理单元20可以包括硬件处理模块，而不单单是软件功能模块，例如硬件处理模块可以是FPGA(Field-ProgrammableGateArray，现场可编程门阵列)模块，或者也可以是ASIC(ApplicationSpecificIntergratedCircuits，专用集成电路)模块，请参见图17和图18，图17中的图像播放处理单元20包括FPGA模块205，图18中的图像播放处理单元20包括ASIC模块206。而硬件处理模块具有更加强大的并行处理能力，相比于软件的处理方式，硬件处理的方式可以加快处理速度，降低信号延迟。

可以理解的是，前述图2中的立体图像获取模块204、排图参数确定模块201、视差图像排列模块202及视差图像播放模块203所实现的全部或部分功能，可以由硬件处理模块完成，而藉于硬件处理模块所具备的并行处理能力，可以更快地对图像信息进行处理，进而大大提高排图的效率，提高立体成像的实时性。

实施例2

在本发明实施例2中，要得到较佳的实时立体显示效果，需要依据分光单元的光栅参数和显示单元的显示参数对分光单元与显示单元进行光学设计，该光学设计依据以下公式：

(1) - - - \frac{n * I P D}{m * t} = \frac{L}{F}

(2) - - - \frac{l - p i t c h}{p - p i t c h} = \frac{L}{L + F}

(3)m*t＝p-pitch

上述公式中，F为分光单元与显示单元之间的距离(即上述光栅参数中的光栅相对显示面板的放置距离)，L为观看者与显示单元的距离，IPD为匹配瞳距，通常的人双瞳之间的距离，例如，一般取值为62.5mm，l-pitch为分光单元的节距(pitch)，p-pitch为显示单元上的像素的排图节距，n为立体视图数量，m为分光单元所覆盖的像素数量，p为显示单元的点距，这里的点距主要是指一个像素单元的尺寸(属于显示参数的一种)，该像素单元通常包括R、G、B三个子像素。为了消除摩尔纹，分光单元在贴合的时候一般会旋转一定的角度(即分光单元相较于显示单元有一定的倾斜角度)，因此，实际上的分光单元的节距由以下公式给出：

(4)W_lens＝l-pitch*sinθ

其中，Wlens为分光单元的实际节距，θ为分光单元相对显示面板的倾斜角度(即上述光栅参数之一)。

如上所述，对于分光单元与显示单元之间的距离F，当显示单元与分光单元之间的介质是空气时，F就等于分光单元与显示单元之间的实际距离；当显示单元与分光单元之间的介质是折射率为n(n大于1)的透明介质时，F等于分光单元与显示单元之间的实际距离除以该折射率n；当显示单元与分光单元之间存在不同的介质时，且介质的折射率分别为n1、n2、n3···(折射率均大于或等于1)，F＝s1/n1+s2/n2+s3/n3···，其中s1、s2、s3···为相应介质的厚度。

通过上述光学计算公式，对分光单元和显示单元进行设置，可以减小摩尔纹，提高实时观看的立体显示效果。

此外，在一个变形实施例中，在分光单元与显示单元之间设置贴合单元，请参见图3，图3是本发明实施方式一的立体显示系统中分光单元与显示单元的贴合结构示意图。如图3所示，在分光单元50和显示单元40之间设有贴合单元，三者类似于“三明治结构”，贴合单元包括第一基板42和第二基板43，以及位于第一基板42与第二基板43之间的空气层41。该空气层41在第一基板42与第二基板43之间处于密封状态，防止空气逸出。第一基板42与显示面板贴合，可以是透明玻璃材料构成，也可以是透明树脂材料等构成。第二基板43与第一基板42相对设置，其背离第一基板42的一侧用于贴合分光单元50。由于在分光单元50和显示单元40之间设置贴合单元，且贴合单元采用上述结构，对于大屏幕的立体显示装置，既保证了光栅贴合的平整度，又减轻了整个立体显示装置的重量，防止采用纯玻璃时因过重而导致屏幕坠裂的风险。但是，需指明的是，在使用不同尺寸显示屏及不同观看距离情况下，根据不同贴合工艺，第一基板42，第二基板43，空气层41三部分也可以整合成一整块基板，其背离显示单元40的一侧用于贴合分光单元50，其靠近显示单元40的一侧与显示单元40贴合，也即是说，贴合单元也可以是由一整块透明的材料构成，所述透明的材料可以是玻璃或者树脂等。

实施例3

请继续参见图1，在前述实施方式和实施例的基础上，该立体显示系统进一步包括图像获取单元10，该图像获取单元10用于拍摄第二目标对象，并实时将拍摄到的该第二目标对象的图像发送给该图像播放单元20。这里的第二目标对象主要是指由摄像机拍摄记录的各种场景，如拍摄球赛的现场，手术的现场，病人的体内影像等等。通过图像获取单元10实时地拍摄立体图像，并将拍摄到的立体图像实时显示在显示单元上，及时并真实地显示拍摄到的各种场景，满足了用户对实时显示的需求，提高了用户体验。图像获取单元10可以包括单目摄像机、双目摄像机或者多目摄像机中的至少一种。

当该图像获取单元10包括单目摄像机时，依据该单目摄像机拍摄并获取第二目标对象的立体图像。较佳地，该单目摄像机可以采用液晶透镜成像装置或者液晶微透镜阵列成像装置。在一个具体实施例中，该单目摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。

当该图像获取单元10包括双目摄像机时，包括两个摄像机或者是一个摄像机有两个摄像头，通过双目摄像机对第二目标对象进行拍摄并形成立体图像。具体地，双目摄像机主要是基于视差原理并由多幅图像获取物体三维几何信息。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物(第二目标对象)的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。

当该图像获取单元10包括多目摄像机时，即三个以上(包括三个)的摄像机，这些摄像机呈矩阵排列，用于获取立体图像。由上述三个以上的摄像机从不同角度同时获取第二目标对象的多幅数字图像，基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。

该图像获取单元10还包括采集单元，该采集单元用于采集该第二目标对象的立体图像，并从该立体图像中提取出左视图信息和右视图信息。该采集单元一端与上述单目摄像机、双目摄像机或者上述多目摄像机连接，另一端连接到图像播放处理单元20上。通过采集单元在边拍摄立体图像时边提取立体图像的左视图信息和右视图信息，提高了图像处理的速度，保证了实时进行立体显示的显示效果。

相对应地，该图像播放处理单元20所包括的立体图像获取模块204，获取所述图像获取单元10拍摄的立体图像信息，即立体图像的左视图和右视图信息。立体图像包括左视图和右视图，因此，对待播放的立体图像，需要先获得左视图和右视图的图像信息，才能进行排图处理。

实施例4

图像获取单元10可以通过软件处理的方式对拍摄到的左、右视图图像进行处理。例如，可以通过图像采集卡将拍摄到的两幅左视图和右视图分开的立体图像导入系统，通过软件的方法来合成单幅画面包含左、右视图的立体图像，再通过显卡来输出该合成后的立体图像。合成后的立体图像中左、右视图内容的排列方式可以是左、右格式，上、下交错格式，上、下格式等。

除此之外，图像获取单元10也可以通过硬件处理方式对所述第二目标对象的立体图像进行合成处理。具体来说，图像获取单元10采集到的左、右视图独立的两路视频信号可以通过硬件模块如FPGA模块或ASIC模块将两路视频信号合成成一路含有左、右视图信息的视频信号。而硬件处理的方式具有更加强大的并行处理能力，相比于软件的处理方式，硬件处理的方式可以加快处理速度，提高信号处理速度，降低信号延迟。

请参见图19和图20。图19所绘示的图像获取单元10包括FPGA模块103。图20所绘示的图像获取单元10包括ASIC模块104。图19中的FPGA模块103和图20中的ASIC模块104都是用于利用其本身的硬件处理能力对立体图像进行合成处理。

实施例5

在本实施例5中，该跟踪设备30包括摄像机，该摄像机拍摄该第一目标对象。摄像机的数量可以是一个或多个，可以设置在显示单元上，也可以单独设置。还有，摄像机可以是单目摄像机、双目摄像机或者多目摄像机。

另外，该跟踪设备30还可以是包括红外接收器，相应地，对应第一目标对象设置有红外发射器，该红外发射器可设置在第一目标对象的相应位置，也可以设置在其它与第一目标对象位置相对固定的物体上，该红外接收器接收来自对应第一目标对象所设置的红外发射器发送的红外信号。通过常见的红外定位方法实现对第一目标对象的定位。

此外，上述跟踪设备30还可以采用GPS定位模块，由GPS定位模块发送定位信息至图像播放处理单元20。

实施例6

请参见图4，图4示出了本发明实施方式一的立体显示系统中跟踪设备的较佳实施例结构示意图。如图4所示，本发明实施例还提出另一种跟踪设备30，该跟踪设备30包括：

标记点设置单元1，用于对应第一目标对象的空间位置设置标记点；这里的标记点可以设置第一目标对象上，也可以不设置于第一目标对象上，而是设置在与第一目标对象有相对位置关系，与第一目标对象同步移动的物体上也可。例如，第一目标对象是人眼，则可以在人眼的眼眶周围设置标记点；或者在人眼周围配置眼镜，将标记点设在眼镜的镜框上，又或者将标记点设在与人眼位置关系相对固定的人的耳朵上。该标记点可以是发送信号的红外发射传感器，LED灯，GPS传感器，激光定位传感器等各种部件，也可以是其它能够被摄像机捕捉的物理标识，例如是具有形状特征和/或颜色特征的物体。较佳地，为避免外界杂光的干扰，提高标记点追踪的鲁棒性，优选使用频谱较为狭窄的红外LED灯作为标记点，并使用只能通过红外LED所使用频谱的相应的红外摄像机对标记点进行捕捉。考虑到外界杂光多为不规则的形状且亮度分布不均匀，可以将标记点设置成可以发出规则形状的光斑，发光强度较高，亮度均匀。另外还可以设置多个标记点，每个标记点对应一个光斑，各个标记点组成规则的几何形状，如三角形，四边形等，从而易于跟踪到标记点，获得标记点的空间位置信息，并提高光斑提取的准确性。

获取单元2，用于获取该标记点的位置信息；这可以是通过接收标记点发出的信号，来确定标记点的位置信息，也可以是采用摄像机来拍摄含有标记点的图像，对图像中的标记点进行提取。通过图像处理算法来获得标记点的位置信息。

重新构建单元3，用于依据该标记点的位置信息，重新构建该第一目标对象的空间位置。当获得到该标记点的位置信息后，重新构建出标记点的空间位置，然后依据标记点与第一目标对象的相对位置关系，将标记点的空间位置转换到第一目标对象的空间位置(例如人的左右两眼的空间位置)。

本发明实施例的跟踪设备30通过获取对应第一目标对象的标记点的位置信息，并依据该位置信息，重新构建出第一目标对象的空间位置。与现有技术中使用摄像机作为人眼捕捉设备需要对二维图像进行特征分析从而获取人眼位置或者使用其他利用人眼虹膜反射效果的人眼捕捉设备获取人眼位置相比较，具有稳定性好，准确度高、成本低廉且对跟踪设备与第一目标对象之间的距离远近没有要求的优点。

请参见图5，图5示出了图4中的获取单元的具体结构示意图。前述获取单元进一步包括：

预设模块21，用于预设一标准图像，所述标准图像中设有参考标记点，并获取所述参考标记点的空间坐标和平面坐标；标准图像例如可以是通过图像采集设备采集的一个标准图像，获取参考标记点的图像坐标，并使用其他精确的立体测量设备如激光扫描仪，结构光扫描仪(如Kinect等)等设备获取标准图像中参考标记点的空间坐标及平面坐标。

获取模块22，用于获取包含所述第一目标对象及所述标记点的当前图像，及所述标记点在所述当前图像的平面坐标；

匹配模块23，用于将所述当前图像中的标记点与所述标准图像的所述参考标记点进行匹配。这里要先将标记点在所述当前图像的平面坐标与参考标记点在标准图像的平面坐标之间建立对应关系，然后将标记点与参考标记点进行匹配。

通过设置标准图像及参考标记点是便于在获取当前图像的空间位置时能有一个参照物，这进一步保证了本发明实施方式的目标跟踪装置的稳定性和准确性。

进一步地，该跟踪设备30还包括：

采集单元，用于采集所述标记点；

筛选单元，从所述标记点中筛选目标标记点。

具体来说，当标记点的数量为多个时，采用摄像机采集对应第一目标对象的所有标记点，从所有标记点中选取与第一目标对象最相关的标记点，然后使用相应的图像处理算法对图像上的标记点进行提取，该提取需要根据标记点的特征来进行。总的来讲，对该标记点的特征进行提取的方法是对图像I使用特征提取函数H，获取图像中每个点的特征分数，并筛选出特征值足够高的标记点。这里可以用下述公式归纳表示：

S(x，y)＝H(I(x，y))

F＝{arg_(x，y)(S(x，y)＞s0)}

上述式中，H是特征提取函数，I(x,y)是每一个像素(x,y)所对应的图像值，可以是灰度值或三通道的颜色能量值等，S(x,y)是每一个像素(x,y)经过特征提取后的特征分数，s0是一个特征分数阈值，大于s0的S(x,y)可以被认为是标记点，F是标记点集合。较佳地，本发明实施例使用红外标记点以及红外摄像机所成图像的能量特征较为明显。由于使用窄带LED红外灯，以及相应的红外摄像机，摄像机所成图像的大多数像素能量很低，仅有标记点对应的像素具有高能量。因此相应的函数H(x,y)可以是对使用阈值分割算子后的图像B(x,y)进行区域增长获取若干子图像，并对获得到的子图像进行重心提取。同时，根据环境光中能在红外摄像机中成像的杂光，我们可在红外标记点提取过程中添加诸如标记点所成光斑面积，标记点在二维图像中的位置关系等约束条件对提取出的标记点进行筛选。

当摄像机数目大于1时，需要对不同摄像机在同一时刻或接近同一时刻获取的图像进行标记点匹配，从而为后续的标记点三维重建提供条件。标记点匹配的方法需要根据特征提取函数H而定。我们可以使用一些经典的基于图像灰度梯度图的特征点提取算子和与之相配的匹配方法如Harris，SIFT，FAST等方法获取并匹配标记点。也可以使用极限约束，标记点的先验条件等方式进行标记点匹配。这里使用极限约束进行匹配筛选的方法是：根据同一个点在两个不同摄像机图像上的投影都处于同一平面这个原理，

对于某一个摄像机c0中的某一个标记点p0，我们都可以在其他摄像机c1中计算一条极线方程，标记点p0对应于该其它摄像机c1上的标记点p1符合下述关系：

[p1；1]^TF[p0；1]＝0

上述式中，F是摄像机c0到摄像机c1的基础矩阵。通过使用上述关系，我们可以大大缩少标记点p1的候选个数，提高匹配准确度。

此外，我们可以使用标记点的先验条件是标记点的空间顺序，标记点的尺寸等。比如根据两个摄像机的相互位置关系使其所拍摄的图像上的每一对对应同一空间点的两个像素在某一个维度比如y轴上相等，这个过程也被称为图像校准(rectification)。则此时标记点的匹配也就可以根据标记点的x轴顺序执行，即最小x对应最小x，依次类推，最大的x对应最大的x。

以下依据用于跟踪的摄像机数目的多少，来详细介绍本发明的目标跟踪装置。

请参见图6，图6示出了图4中的重新构建单元的具体结构示意图。如图6所示，在本实施例中，该跟踪设备30跟踪的第一目标对象对应的标记点不超过四个，且采用单目摄像机来获取标记点的位置信息时，重新构建单元进一步包括：

第一计算模块31，用于依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标以及所述第一目标对象所在场景的假定条件计算所述当前图像与所述标准图像之间的单应变换关系；将当前图像的标记点与标准图像中的参考标记点进行匹配，并根据二者各自的平面坐标计算当前图像与标准图像之间的单应变换关系。所谓单应变换是对应几何中的单应性，是计算机视觉领域中常应用的一种变换方法。

第一重构模块32，用于根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点在当前时刻的空间位置计算所述第一目标对象当前的空间位置。

具体来讲，对于场景的假定条件，我们可以假定场景中的标记点的刚性变换时的某一维度的数值不变，比如三维空间场景中，空间坐标为x、y、z，x和y分别与摄像头的图像坐标(平面坐标)中x轴和y轴平行，z轴是垂直于摄像头的图像，假定条件可以是标记点在z轴上的坐标不变，也可以是标记点在x轴和/或y轴上的坐标不变。不同的场景假设条件，所使用的推测方法也不尽相同。又例如，在另一种假定条件下，假设第一目标对象的朝向与摄像头朝向之间的旋转角度在使用过程中始终保持不变，则可根据当前图像中的标记点互相之间的距离与标准图像上的标记点互相之间的距离之间的比例推测第一目标对象当前的空间位置。

通过以上的计算方法，可以实现单目摄像机对标记点的数量不超过四个时重新构建所述第一目标对象的空间位置，其操作简单，且跟踪结果也较准确，由于采用单目，降低了第一目标对象跟踪的成本。

上述使用单个摄像机采集图像来恢复物体三维坐标的方法中，由于获取的图像信息较少，因此需要增加标记点的数目来提供更多的图像信息从而计算物体的三维坐标。根据机器视觉理论，要从单幅图像推算出场景的立体信息，需要至少确定图像中的五个标定点。因此，单目方案增加了标记点数量，也增加了设计的复杂性，但同时，只需要一个摄像机从而降低了图像采集的复杂性，降低了成本。

请参见图7，图7示出了图4中的重新构建单元的第二变形实施例的具体结构示意图。如图7所示，在本实施例中，当所述标记点的数量为五个以上，且采用单目摄像机获取所述标记点的位置信息时，所述重新构建单元进一步包括：

第二计算模块33，用于依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标，计算所述当前图像与所述标准图像之间的单应变换关系。

第二重构模块34，用于根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。

首先采集一幅标准图像，使用精确的深度摄像机或激光扫描仪等器件测量出参考标记点的空间位置，并获取此时的参考标记点的二维图像坐标(即平面坐标)。

在使用过程中，摄像机不断捕捉含有第一目标对象的当前图像中的所有标记点的二维图像坐标，并根据此时二维图像坐标与标准图像参考标记点的二维坐标计算出当前状态下的标记点与拍摄标准图像时的标记点之间的刚性变换，在假设标记点之间相对位置不变的情况下，进而计算出出此时标记点相对于标准图像时的空间位置变换，从而计算出当前标记点的空间位置。

这里，使用五个点以上的点可以计算出当前标记点与拍摄标准图像时标记点的空间位置刚性变换[R|T]，优选的，该五个以上的点不在一个平面上，且摄像头的投影矩阵P被事先标定好。计算[R|T]的具体方式如下：

每一个标记点在标准图像和当前图像的齐次坐标分别为X0，Xi。二者满足极限约束，即X0P-1[R|T]P＝Xi。所有标记点组成一个未知参量为[R|T]的方程组。当标记点数量大于5时，可以对[R|T]求解；当标记点数量大于6时，可以对[R|T]求最优解，其方法可以使用奇异值分解SVD，和/或使用迭代的方法计算非线性最优解。当计算出标记点空间位置以后，我们可以根据事先标定好的标记点与第一目标对象(例如人眼)之间的相互位置关系推测出第一目标对象(如人眼)的空间位置。

本实施例只用一个摄像机，使用五个或五个以上的标记点，就可以准确地构建出第一目标对象的空间位置，不仅操作简单，而且成本低廉。

请参见图8，图8示出了图4中的重新构建单元的第三变形实施例的具体结构示意图。如图8所示，本实施例使用两个或两个以上的摄像机，一个或一个以上的标记点。采用双目摄像机或多目摄像机获取所述标记点的位置信息时，所述重新构建单元进一步包括：

第三计算模块35，采用双目或多目三维重建原理，计算每一个标记点在当前时刻的空间位置；所谓双目或三目重建原理可以采用以下方法，例如采用左、右摄像头匹配的标记点之间的视差，计算每一个标记点在当前时刻的空间位置。或者是采用其它现有的常见方法来实现。

第三重构模块36，根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。

具体地，首先使用多目摄像机校准的方法对每个摄像机之间的相互位置关系进行标定。然后在使用过程中，对每个摄像机获取到的图像提取标记点坐标，并对每个标记点进行匹配，即获取其在每个摄像机对应的标记点，然后使用匹配的标记点以及摄像机之间相互位置关系计算出标记点的空间位置。

在一个具体的例子中，使用多目摄像机(即摄像机数量大于等于2)来拍摄标记点，实现立体重建。已知一个标记点在某一摄像机所拍摄图像上的坐标u和该摄像机参数矩阵M，我们可以计算出一条射线，这个标记点在空间中处于此射线上。

α^ju^j＝M^jxj＝1…n(其中n为大于等于2的自然数)

同理，依据上述公式，此标记点在其它摄像机上也可以计算出对应该其它摄像机的射线。理论上讲，这两条射线汇聚在一个点上，即此标记点的空间位置。实际上由于摄像机的数字化误差，摄像机内参和外参标定的误差等等，这些射线并不能汇聚于一点，因此需要使用三角测量(triangululation)的方法近似计算出标记点的空间位置。比如可以使用最小二乘判断准则确定距离所有光线最近的点作为物点。

当计算出标记点空间位置以后，我们可以根据事先标定好的标记点与第一目标对象(如人眼)之间的相互位置关系推测出第一目标对象(人眼)的空间位置。

在上述使用多目摄像机实现立体重建的方法中，较佳的方法是使用双目相机计算。其原理与前述多目摄像机重建原理一样，都是根据两摄像机的相互位置关系以及标记点在两摄像机成像的二维坐标计算标记点空间位置。其微小差别是双目摄像机平行摆放，根据简单的标定后对两个摄像机的图像做如前文所述的图像校准，使得两个互相匹配的二维标记点在y(或x)轴上相等，则此时标记点距摄像机的深度可由校准后的二维标记点在x(或y)轴上的差距计算得出。此方法可看成是多目立体重建在双目情况下的特殊方法，其简化了立体重建的步骤且在设备硬件上较容易实现。

实施例7

跟踪设备30可以通过软件处理的方式获取第一目标对象的位置信息，也可以采用硬件处理的方式获取第一目标对象的位置信息。

所述硬件处理方式是指跟踪设备30可以包括硬件处理模块，例如硬件处理模块可以是FPGA模块，或者也可以是ASIC模块，请参见图21和图22，图21中的跟踪设备30包括FPGA模块301，图22中的跟踪设备30包括ASIC模块302。而硬件处理模块具有更加强大的并行处理能力，相比于软件的处理方式，硬件处理的方式可以加快处理速度，降低信号延迟。

可以理解的是，前述实施例中跟踪设备30所涉及到的功能模块或功能单元实现的功能，均可以由硬件处理模块完成，而藉于硬件处理模块所具备的并行处理能力，可以更快地对信息进行处理，进而大大提高获取第一目标对象的位置信息的效率，提高立体成像的实时性。

实施例8

请参见图9，图9示出了图4的跟踪装置中对应第一目标对象设置标记点的定位支架的结构示意图。如图9所示，本发明提供一种定位支架，该定位支架位于人眼(第一目标对象)前方，结构与眼镜相似，其佩戴类似于眼镜，包括：横梁11、固定部12、支撑部13以及控制部14，横梁11设置有标记点111；支撑部13设置于横梁11上；固定部12与横梁11的端部枢轴连接。其中标记点111设置的位置与人眼(第一目标对象)的位置相对应，通过获取标记点111的空间位置信息，然后据此计算人眼的空间位置信息。当人的头部发生移动时，相应地，与人眼对应的标记点111也发生移动，摄像机跟踪标记点111的移动，然后采用前述实施方式一的目标对象跟踪方法的方案获取标记点111的空间位置信息，利用标记点111与人眼的相对空间位置关系，重新构建出人眼(第一目标对象)的空间位置(即在空间中的三维坐标)。

在本实施例中，横梁11为一长条形，且具有一定的弧度，其弧度与人的额头弧度近似，以方便使用。横梁11包括上表面112、与其相对的下表面、设置在上表面112与下表面之间的第一表面114以及第二表面。

在本实施例中，标记点111为三个LED灯，其间隔均匀地设置在横梁11的第一表面114上。可以理解的是，标记点111也可以为一个、两个或者更多个，且可以为任意光源，包括LED灯、红外灯或紫外灯等。并且，所述标记点111的排列方式与设置位置也可以根据需要进行调整。

可以理解的是，横梁11也可以根据需要设计成直线形或者其他形状。

本实施例中，固定部12有两个，分别与横梁11的两端通过枢轴连接，且两个固定部12可相对向内折叠，同时，两个固定部12可分别向外展开至与横梁11呈100°左右的内角，具体的，可以根据实际操作需求调整内角的大小。可以理解的，固定部12也可以为一个。

固定部12远离横梁11的一端沿支撑部13的延伸方向弯折设置，以用于将固定部12的端部固定于人的耳朵上。

本实施例中，支撑部13呈条状，设置在横梁11的下表面113的中部且向下延伸。进一步，支撑部13远离横梁11的端部设置有鼻托131，以用于将定位装置配合鼻梁，并将定位装置设置于人眼上方。可以理解的，在其他实施例中，若不设置鼻托131，则支撑部13可设置成倒“Y”型，并沿横梁11的中部且向下延伸，用以将定位装置配合鼻梁，并将定位装置设置于人眼上方。

控制部14呈圆角长方体，设置在固定部12上。控制部14用于给所述LED灯，红外灯或紫外灯提供电源、及/或者控制所述LED灯，红外灯或紫外灯的使用状态，其包括电源开关141、电源指示灯和充电指示灯。可以理解的是，控制部14不限定形状，其可以为任意形状，也可以为一集成芯片。并且，控制部14也可以设置在其他位置，如横梁11上。

使用时，打开电源开关141，电源指示灯显示LED处于供电状态，LED灯被点亮；当电量不足时，充电指示灯提示电量不足；关闭电源开关，电源指示灯熄灭，表示LED处于关闭状态，LED灯熄灭。

由于人的瞳距范围为58mm～64mm，可近似认为人的瞳距为定值，本发明提供的定位支架类似于眼镜架，且固定于人眼上方，类似于眼镜架，根据需要，将标记点设置在定位装置的预定位置，从而可以简单方便地根据标记点的位置确定人眼的位置。定位装置结构简单，设计与使用方便。

实施方式二

请参见图10至图13，图10是本发明实施方式二的立体显示方法的流程示意图，图11是图10中S1的具体流程示意图，图12是图11中S12的具体流程示意图，图13是图10中的S3的具体流程示意图。如图10至图13所示，本发明实施方式二的立体显示方法，主要包括以下步骤：

S1获取第一目标对象的位置信息；利用跟踪设备跟踪第一目标对象的位置，例如观看者所在的位置信息。特别的，可以通过硬件处理方式获取第一目标对象的位置信息，例如可以通过FPGA模块或者ASIC模块来获取第一目标对象的位置信息。具体来说，跟踪设备会拍摄第一目标对象的图像，或者接收第一目标对象处发出的信号等，而FPGA模块或者ASIC模块对这些数据或信号进行处理，从而计算出第一目标对象的位置信息。由于硬件处理模块具有更加强大的并行处理能力，相比于软件的处理方式，硬件处理的方式可以加快处理速度，降低信号延迟，更快地对信息进行处理，进而大大提高获取第一目标对象的位置信息的效率，提高立体成像的实时性。

S2获取立体显示装置的分光单元的光栅参数及显示单元的显示参数；分光单元的光栅参数主要包括光栅的栅距(pitch)和光栅相对显示面板的倾斜角度、光栅相对显示面板的放置距离等参数。

S3依据该位置信息和该光栅参数及显示单元的显示参数实时处理待播放的图像。在待播放立体图像前，需要预先结合人眼的位置信息和光栅参数及显示单元的显示参数，对图像进行处理，以便提供给观看者最佳的立体显示效果。特别的，可以通过硬件处理方式实时处理待播放的图像，例如可以通过FPGA模块或者ASIC模块来实时处理待播放的图像。由于硬件处理模块具有更加强大的并行处理能力，相比于软件的处理方式，硬件处理的方式可以加快处理速度，降低信号延迟，可以更快地对图像信息进行处理，进而大大提高排图的效率，提高立体成像的实时性。

S4显示该待播放的图像。

本发明的立体显示方法，通过及时获取到第一目标对象的位置信息及光栅参数，并据此直接进行图像处理，提高了图像播放的速度，能满足实时立体显示的要求。

进一步地，在该S1之前还包括：S0图像拍摄步骤，拍摄第二目标对象的立体图像，并实时发送拍摄到的所述第二目标对象的立体图像的信息，包括左视图信息和右视图信息。这里的第二目标对象主要指摄像机拍摄到的各种场景，可以是实际的人，或者正在直播的球赛或者借助一些设备拍摄的病人体内的影像等。通过实时地拍摄立体图像，并将拍摄到的立体图像实时显示在显示单元上，无需经过额外的图像处理，及时并真实地显示拍摄到的各种场景，满足了用户对实时显示的需求，提高了用户体验。

在一个具体的变形实施例中，上述步骤S0还包括：图像采集步骤，采集所述第二目标对象的立体图像，并从所述立体图像中提取出左视图信息和右视图信息。通过在边拍摄立体图像时边提取立体图像的左视图信息和右视图信息，提高了图像处理的速度，保证了实时进行立体显示的显示效果。

进一步的，在图像采集步骤中，可以通过硬件处理方式对所述第二目标对象的立体图像进行合成处理。例如采集单元可以使用FPGA模块或者ASIC模块来对立体图像进行合成处理。而硬件处理的方式具有更加强大的并行处理能力，相比于软件的处理方式，硬件处理的方式可以加快处理速度，提高信号处理速度，降低信号延迟。

实施例9

请参见图11，本发明实施例主要是对S1如何获取第一目标对象的位置信息作详细描述。这些第一目标对象例如为人眼、人的头部、人的面部或者人体的上半身等与人观看相关的部位。上述“S1获取第一目标对象的位置信息”主要包括以下步骤：

S11对应第一目标对象的空间位置设置标记点；这里的标记点可以设置第一目标对象上，也可以不设置于第一目标对象上，而是设置在与第一目标对象有相对位置关系，并与第一目标对象同步移动的物体上也可。例如，目标对象是人眼，则可以在人眼的眼眶周围设置标记点；或者在人眼周围配置定位支架，将标记点设在定位支架的框上，又或者将标记点设在与人眼位置关系相对固定的人的耳朵上。该标记点可以是发送信号的红外发射传感器，LED灯，GPS传感器，激光定位传感器等各种部件，也可以是其它能够被摄像机捕捉的物理标识，例如是具有形状特征和/或颜色特征的物体。较佳地，为避免外界杂光的干扰，提高标记点追踪的鲁棒性，优选使用频谱较为狭窄的红外LED灯作为标记点，并使用只能通过红外LED所使用频谱的相应的红外摄像机对标记点进行捕捉。考虑到外界杂光多为不规则的形状且亮度分布不均匀，可以将标记点设置成可以发出规则形状的光斑，发光强度较高，亮度均匀。另外还可以设置多个标记点，每个标记点对应一个光斑，各个标记点组成规则的几何形状，如三角形，四边形等，从而易于跟踪到标记点，获得标记点的空间位置信息，并提高光斑提取的准确性。

S12获取该标记点的位置信息；这可以是通过接收标记点发出的信号，来确定标记点的位置信息，也可以是采用摄像机来拍摄含有标记点的图像，对图像中的标记点进行提取。通过图像处理算法来获得标记点的位置信息。

S13依据该标记点的位置信息，重新构建该第一目标对象的空间位置。当获得到该标记点的位置信息后，重新构建出标记点的空间位置，然后依据标记点与第一目标对象的相对位置关系，将标记点的空间位置转换到第一目标对象的空间位置(例如人的左右两眼的空间位置)。

本发明实施方式二的通过获取对应第一目标对象的标记点的位置信息，并依据该位置信息，重新构建出第一目标对象的空间位置。与现有技术中使用摄像机作为人眼捕捉设备需要对二维图像进行特征分析从而获取人眼位置或者使用其他利用人眼虹膜反射效果的人眼捕捉设备获取人眼位置相比较，具有稳定性好，捕捉人眼的位置信息的准确度高、成本低廉且对跟踪设备与第一目标对象之间的距离远近没有要求等优点。

请参见图12，上述步骤S12进一步包括：

S121预设一标准图像，所述标准图像中设有参考标记点，并获取所述参考标记点的空间坐标和平面坐标；标准图像例如可以是通过图像采集设备采集的一个标准图像，获取参考标记点的图像坐标，并使用其他精确的立体测量设备如激光扫描仪，结构光扫描仪(如Kinect等)等设备获取标准图像中参考标记点的空间坐标及平面坐标。

S122获取包含所述目标对象及所述标记点的当前图像，及所述标记点在所述当前图像的平面坐标；

S123将所述当前图像中的标记点与所述标准图像的所述参考标记点进行匹配。这里要先将标记点在所述当前图像的平面坐标与参考标记点在标准图像的平面坐标之间建立对应关系，然后将标记点与参考标记点进行匹配。

通过设置标准图像及参考标记点是便于在获取当前图像的空间位置时能有一个参照物，这进一步保证了本发明实施方式的目标跟踪方法的稳定性和准确性。

进一步地，在上述步骤S11之前还包括：S10对用于获取所述标记点的位置信息的摄像机进行标定。

上述标定有分以下几种情况：

(1)所述S10的摄像机为单目摄像机时，可以采用常见的张氏棋盘格标定算法，例如采用以下公式进行标定：

sm′＝A[R|t]M′(1)

式(1)中，A为内部参数，R为外部参数，t为平移向量，m’像点在图像中的坐标，M’为物点的空间坐标(即在空间中的三维坐标)；其中A、R和t分别由以下公式确定：

A = [\begin{matrix} f x & 0 & c x \\ 0 & f y & c y \\ 0 & 0 & 1 \end{matrix}]

和

R = [\begin{matrix} r_{11} & r_{12} & r_{13} \\ r_{21} & r_{22} & r_{23} \\ r_{31} & r_{32} & r_{33} \end{matrix}],

平移向量

t = [\begin{matrix} t_{1} \\ t_{2} \\ t_{3} \end{matrix}] .

当然对于摄像机的标定算法有很多种，还可以采用其它业界常用的标定算法，本发明不作限定，主要是运用标定算法，以提高本发明的第一目标对象跟踪方法的准确性。

(2)所述S10的摄像机为双目摄像机或多目摄像机时，采用以下步骤进行标定：

S101先对所述双目摄像机或多目摄像机中的任一目摄像机进行标定，也是采用常见的张氏棋盘格标定算法，例如采用以下公式：

sm′＝A[R|t]M′(1)

式(1)中，A为内部参数，R为外部参数，t为平移向量，m’像点在图像中的坐标，M’为物点的空间坐标；其中A、R和t分别由以下公式确定：

A = [\begin{matrix} f x & 0 & c x \\ 0 & f y & c y \\ 0 & 0 & 1 \end{matrix}]

和

R = [\begin{matrix} r_{11} & r_{12} & r_{13} \\ r_{21} & r_{22} & r_{23} \\ r_{31} & r_{32} & r_{33} \end{matrix}],

平移向量

t = [\begin{matrix} t_{1} \\ t_{2} \\ t_{3} \end{matrix}];

S102计算所述双目摄像机或所述多目摄像机之间的相对旋转矩阵和相对平移量，采用以下公式：

相对旋转矩阵

R^{,} = [\begin{matrix} R_{11} & R_{12} & R_{13} \\ R_{21} & R_{22} & R_{23} \\ R_{31} & R_{32} & R_{33} \end{matrix}]

和相对平移量

T = [\begin{matrix} T_{1} \\ T_{2} \\ T_{3} \end{matrix}] .

当然上述针对双目摄像机或多目摄像机的标定算法只是其中较常见的一种，还可以采用其它业界常用的标定算法，本发明不作限定，主要是运用标定算法，以提高本发明的第一目标对象跟踪方法的准确性。

进一步地，在上述S11与S12之间还包括：

S14采集所述标记点；

S15从所述标记点中筛选目标标记点。

S(x，y)＝H(I(x，y))

F＝{arg_(x，y)(S(x，y)＞s0)}

上述式中，H是特征提取函数，I(x,y)是每一个像素(x,y)所对应的图像值，可以是灰度值或三通道的颜色能量值等，S(x,y)是每一个像素(x,y)经过特征提取后的特征分数，s0是一个特征分数阈值，大于s0的S(x,y)可以被认为是标记点，F是标记点集合。较佳地，本发明实施例使用红外标记点以及红外摄像机所成图像的能量特征较为明显。由于使用窄带LED红外灯，以及相应的红外摄像机，摄像机所成图像的大多数像素能量很低，仅有标记点对应的像素具有高能量。因此相应的函数H(x,y)可以是对使用阈值分割算子后的图像B(x,y)进行区域增长获取若干子图像，并对获得到的子图像进行重心提取。该特征提取函数H(x,y)，可以是Harris，SIFT，FAST等特征点函数，也可以是圆形光斑提取等图像处理函数。同时，根据环境光中能在红外摄像机中成像的杂光，我们可在红外标记点提取过程中添加诸如标记点所成光斑面积，标记点在二维图像中的位置关系等约束条件对提取出的标记点进行筛选。

当摄像机数目大于1时，需要对不同摄像机在同一时刻或接近同一时刻获取的图像进行标记点匹配，从而为后续的标记点三维重建提供条件。标记点匹配的方法需要根据特征提取函数H而定。我们可以使用一些经典的基于图像灰度梯度图的特征点提取算子和与之相配的匹配方法如Harris，SIFT，FAST等方法获取并匹配标记点。也可以使用极限约束，标记点的先验条件等方式进行标记点匹配。这里使用极限约束进行匹配筛选的方法是：根据同一个点在两个不同摄像机图像上的投影都处于同一平面这个原理，对于某一个摄像机c0中的某一个标记点p0，我们都可以在其他摄像机c1中计算一条极线方程，标记点p0对应于该其它摄像机c1上的标记点p1符合下述关系：

[p1；1]^TF[p0；1]＝0

以下依据用于跟踪的摄像机数目的多少，来详细介绍本发明的目标跟踪方法。

请参见图13，是图10中S13的第一变形例的具体流程示意图。如图13所示，在本实施例中，该第一目标对象跟踪方法跟踪的第一目标对象对应的标记点不超过四个，且采用单目摄像机来获取标记点的位置信息时，前述步骤S13进一步包括：

S131依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标以及所述第一目标对象所在场景的假定条件计算所述当前图像与所述标准图像之间的单应变换关系；将当前图像的标记点与标准图像中的参考标记点进行匹配，并根据二者各自的平面坐标计算当前图像与标准图像之间的单应变换关系。所谓单应变换是对应几何中的单应性，是计算机视觉领域中常用的一种变换方法。

S132根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点在当前时刻的空间位置计算所述第一目标对象当前的空间位置。

请参见图14，是图10中S13的第二变形例的具体流程示意图。如图14所示，在本实施例中，当所述标记点的数量为五个以上，且采用单目摄像机获取所述标记点的位置信息时，所述S13进一步包括：

S133依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标，计算所述当前图像与所述标准图像之间的单应变换关系；

S134根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。

具体来说，首先采集一幅标准图像，使用精确的深度摄像机或激光扫描仪等器件测量出参考标记点的空间位置，并获取此时的参考标记点的二维图像坐标(即平面坐标)。

请参见图15，图15图10中S13的第三变形例的具体流程示意图。如图15所示，本实施例3使用两个或两个以上的摄像机，一个或一个以上的标记点。采用双目摄像机或多目摄像机获取所述标记点的位置信息时，所述S13进一步包括：

S135采用双目或多目三维重建原理，计算每一个标记点在当前时刻的空间位置；所谓双目或三目重建原理可以采用以下方法，例如采用左、右摄像头匹配的标记点之间的视差，计算每一个标记点在当前时刻的空间位置。或者是采用其它现有的常见方法来实现。

S136根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。

α^ju^j＝M^jxj＝1…n(其中n为大于等于2的自然数)

实施例10

请参见图16，图16是图10中的S3的具体流程示意图。如图16所示，基于前述实施方式二及前述实施例，本发明的立体显示方法的步骤S3进一步包括：

S301排图参数确定步骤，依据获取到的所述第一目标对象的位置信息和所述分光单元的光栅参数及显示单元的显示参数计算出在显示单元上的排图参数；

S302视差图像排列步骤，依据所述排图参数排列所述显示单元上的视差图像；

S303视差图像播放步骤，播放所述视差图像。

通过上述的步骤，对待播放的立体图像进行重新排列，提高了立体显示的效果。

进一步地，在步骤S301之前还包括：S304立体图像获取步骤，获取实时拍摄到的所述立体图像的信息。在边播放视差图像的同时，边获取实时拍摄到的立体图像信息，提高了图像处理的效率，不仅保证了实时播放，而且同时减少了因立体显示图像占用的数据存储量非常大而要求大内存的要求，降低了成本。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或网络设备等)执行本发明实施例各个实施场景所述的方法。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本申请技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本申请技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims

1.一种立体显示系统，包括显示单元、分光单元及跟踪设备，所述跟踪设备用于获取第一目标对象的位置信息，所述分光单元位于所述显示单元的显示侧，用于将所述显示单元显示的图像空间上分成左视图和右视图，其特征在于，所述立体显示系统还包括图像播放处理单元，分别与所述跟踪设备和所述显示单元连接，所述图像播放处理单元依据所述第一目标对象的位置信息、所述分光单元的光栅参数及所述显示单元的显示参数实时处理待播放的图像，处理后发送所述显示单元显示。

2.如权利要求1所述的立体显示系统，其特征在于，所述立体显示系统还包括图像获取单元，所述图像获取单元用于拍摄第二目标对象，并实时将拍摄到的所述第二目标对象的立体图像信息发送给所述图像播放处理单元。

3.如权利要求2所述的立体显示系统，其特征在于，所述图像获取单元包括单目摄像机，用一个摄像头拍摄并获取所述第二目标对象的立体图像。

4.如权利要求2所述的立体显示系统，其特征在于，所述图像获取单元包括双目摄像机，用两个摄像头拍摄并获取所述第二目标对象的立体图像。

5.如权利要求2所述的立体显示系统，其特征在于，所述图像获取单元包括多目摄像机，由三个以上的摄像头呈矩阵排列来拍摄并获取所述第二目标对象的立体图像。

6.如权利要求2至5任一项所述的立体显示系统，其特征在于，所述图像获取单元进一步包括采集单元，所述采集单元用于采集所述第二目标对象的立体图像，并从所述立体图像中提取出左视图信息和右视图信息。

7.如权利要求6所述的立体显示系统，其特征在于，所述图像获取单元通过硬件处理方式对所述第二目标对象的立体图像进行合成处理，合成后的单幅立体图像同时包含左、右视图信息。

8.如权利要求7所述的立体显示系统，其特征在于，所述图像获取单元中实现立体图像合成功能的模块为现场可编程门阵列处理模块。

9.如权利要求7所述的立体显示系统，其特征在于，所述图像获取单元中实现立体图像合成功能的模块为专用集成电路处理模块。

10.如权利要求1所述的立体显示系统，其特征在于，所述跟踪设备包括摄像机，所述摄像机跟踪所述第一目标对象的位置变化。

11.如权利要求1所述的立体显示系统，其特征在于，所述跟踪设备包括红外接收器，所述红外接收器接收来自于对应所述第一目标对象所设置的红外发射器发送的红外定位信号。

12.如权利要求1所述的立体显示系统，其特征在于，所述跟踪设备包括：

标记点设置单元，对应所述第一目标对象的空间位置设置标记点；

获取单元，获取所述标记点的位置信息；

重新构建单元，依据所述标记点的位置信息，重新构建所述第一目标对象的空间位置。

13.如权利要求12所述的立体显示系统，其特征在于，所述获取单元进一步包括：

预设模块，预设一标准图像，所述标准图像中设有参考标记点，并获取所述参考标记点在所述标准图像中的空间坐标和平面坐标；

获取模块，获取包含所述第一目标对象与所述标记点的当前图像，及所述标记点在所述当前图像的平面坐标；

匹配模块，将所述当前图像中的标记点与所述标准图像的所述参考标记点进行匹配。

14.如权利要求13所述的立体显示系统，其特征在于，当所述标记点的数量不超过四个，且采用单目摄像机获取所述标记点的位置信息时，所述重新构建单元还包括：

第一计算模块，用于依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标以及所述第一目标对象所在场景的假定条件计算所述当前图像与所述标准图像之间的单应变换关系；

第一重构模块，用于根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点在当前时刻的空间位置计算所述第一目标对象当前的空间位置。

15.如权利要求13所述的立体显示系统，其特征在于，当所述标记点的数量为五个以上，且采用单目摄像机获取所述标记点的位置信息时，所述重新构建单元还包括：

第二计算模块，用于依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标，计算所述当前图像与所述标准图像之间的单应变换关系；

第二重构模块，用于根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。

16.如权利要求13所述的立体显示系统，其特征在于，当采用双目摄像机或多目摄像机获取所述标记点的位置信息时，所述重新构建单元还包括：

第三计算模块，用于采用双目或多目三维重建原理，计算每一个标记点在当前时刻的空间位置；

第三重构模块，用于根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。

17.如权利要求1所述的立体显示系统，其特征在于，所述跟踪设备进一步包括：

硬件处理模块，用于通过硬件处理方式获取第一目标对象的位置信息。

18.如权利要求17所述的立体显示系统，其特征在于，所述硬件处理模块为现场可编程门阵列处理模块。

19.如权利要求17所述的立体显示系统，其特征在于，所述硬件处理模块为专用集成电路处理模块。

20.如权利要求2～5和10～19任一项所述的立体显示系统，其特征在于，所述图像播放处理单元包括：

排图参数确定模块，依据获取到的所述第一目标对象的位置信息和所述分光单元的光栅参数计算出在所述显示单元上的排图参数；

视差图像排列模块，用于依据所述排图参数排列所述显示单元上的视差图像；

视差图像播放模块，播放所述视差图像。

21.如权利要求20所述的立体显示系统，其特征在于，所述图像播放处理单元包括：

立体图像获取模块，获取所述图像获取单元拍摄的所述立体图像的信息。

22.如权利要求1所述的立体显示系统，其特征在于，所述图像播放处理单元包括：

硬件处理模块，用于通过硬件处理方式实时处理待播放的图像。

23.如权利要求22所述的立体显示系统，其特征在于，所述硬件处理模块为现场可编程门阵列处理模块。

24.如权利要求23所述的立体显示系统，其特征在于，所述硬件处理模块为专用集成电路处理模块。

25.如权利要求1所述的立体显示系统，其特征在于，所述分光单元为视差屏障或透镜光栅。

26.如权利要求25所述的立体显示系统，其特征在于，所述透镜光栅为液晶透镜光栅。

27.如权利要求1～5、10～19和22～26任一项所述的立体显示系统，其特征在于，所述分光单元与所述显示单元之间设有贴合单元，通过所述贴合单元将所述分光单元贴合到所述显示单元上。

28.如权利要求27所述的立体显示系统，其特征在于，所述贴合单元由一整块透明材质构成。

29.如权利要求27所述的立体显示系统，其特征在于，所述贴合单元包括第一基板、第二基板，以及位于所述第一基板与所述第二基板之间的空气层。

30.如权利要求12所述的立体显示系统，其特征在于，所述跟踪设备还包括一定位支架，所述定位支架设置有所述标记点。

31.如权利要求30所述的立体显示系统，其特征在于，所述定位支架包括：横梁、固定部、支撑部，所述横梁上设置有所述标记点；所述支撑部设置于横梁上，支撑所述横梁；所述固定部与所述横梁的端部枢轴连接。

32.如权利要求30或31所述的立体显示系统，其特征在于，所述标记点为可发光的光源。

33.一种立体显示方法，其特征在于，所述立体显示方法包括以下步骤：

S1获取第一目标对象的位置信息；

S2获取立体显示装置的分光单元的光栅参数和所述立体显示装置的显示单元的显示参数；

S3依据所述位置信息和所述光栅参数及所述显示参数实时处理待播放的图像；

S4显示所述待播放的图像。

34.如权利要求33所述的显示方法，其特征在于，所述显示方法还包括：

S0图像拍摄步骤，拍摄第二目标对象的立体图像，并实时发送所述立体图像的信息。

35.如权利要求34所述的立体显示方法，其特征在于，所述S0还包括：

图像采集步骤，采集所述第二目标对象的立体图像，并从所述立体图像中提取出左视图信息和右视图信息。

36.如权利要求35所述的立体显示方法，其特征在于，所述图像采集步骤中，通过硬件处理方式对所述第二目标对象的左、右视图信息进行合成处理，合成后的单幅立体图像中同时包含左、右视图的信息，两者的排列方式可以是左、右格式，上、下交替格式或上、下格式。

37.如权利要求36所述的立体显示方法，其特征在于，所述图像采集步骤中，通过现场可编程门阵列处理模块对所述第二目标对象的左、右视图信息进行合成处理，合成后的单幅立体图像中同时包含左、右视图的信息，两者的排列方式可以是左、右格式，上、下交替格式或上、下格式。

38.如权利要求36所述的立体显示方法，其特征在于，所述图像采集步骤中，通过专用集成电路处理模块对所述第二目标对象的左、右视图信息进行合成处理，合成后的单幅立体图像中同时包含左、右视图的信息，两者的排列方式可以是左、右格式，上、下交替格式或上、下格式。

39.如权利要求33所述的立体显示方法，其特征在于，所述S1还包括：

S11对应所述第一目标对象的空间位置设置标记点；

S12获取所述标记点的位置信息；

S13依据所述标记点的位置信息，重新构建所述第一目标对象的空间位置。

40.如权利要求39所述的立体显示方法，其特征在于，所述S12进一步包括：

S121预设一标准图像，所述标准图像中设有参考标记点，并获取所述参考标记点在所述标准图像中的空间坐标和平面坐标；

S122获取包含所述第一目标对象、所述标记点的当前图像，及所述标记点在所述当前图像的平面坐标；

S123将所述当前图像中的标记点与所述标准图像的所述参考标记点进行匹配。

41.如权利要求40所述的立体显示方法，其特征在于，当所述标记点的数量不超过四个，且采用单目摄像机获取所述标记点的位置信息时，所述S13进一步包括：

S131依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标以及所述第一目标对象所在场景的假定条件计算所述当前图像与所述标准图像之间的单应变换关系；

42.如权利要求40所述的立体显示方法，其特征在于，当所述标记点的数量为五个以上，且采用单目摄像机获取所述标记点的位置信息时，所述S13进一步包括：

43.如权利要求40所述的立体显示方法，其特征在于，当采用双目摄像机或多目摄像机获取所述标记点的位置信息时，所述S13进一步包括：

S135采用双目或多目三维重建原理，计算每一个标记点在当前时刻的空间位置；

S136根据所述标记点当前时刻的空间位置计算目标对象当前的空间位置。

44.如权利要求33所述的立体显示方法，其特征在于，所述步骤S1包括：通过硬件处理方式获取第一目标对象的位置信息。

45.如权利要求44所述的显示方法，其特征在于，所述步骤S1包括：通过现场可编程门阵列处理模块获取第一目标对象的位置信息。

46.如权利要求44所述的立体显示方法，其特征在于，通过专用集成电路处理模块获取第一目标对象的位置信息。

47.如权利要求33至46任一项所述的立体显示方法，其特征在于，所述S3进一步包括：

S301排图参数确定步骤，依据获取到的所述第一目标对象的位置信息和所述分光单元的光栅参数及所述显示单元的显示参数计算出在显示单元上的排图参数；

S303视差图像播放步骤，播放所述视差图像。

48.如权利要求47所述的立体显示方法，其特征在于，所述S3还包括：

S304立体图像获取步骤，获取实时拍摄到的所述立体图像的信息。

49.如权利要求33所述的立体显示方法，其特征在于，所述步骤S3中，通过硬件处理方式实时处理待播放的图像。

50.如权利要求49所述的立体显示方法，其特征在于，所述步骤S3中，通过现场可编程门阵列处理模块实时处理待播放的图像。

51.如权利要求49所述的立体显示方法，其特征在于，所述步骤S3中，通过专用集成电路处理模块实时处理待播放的图像。