CN106773080A - 立体显示装置及显示方法 - Google Patents

Abstract

本发明属于立体显示技术领域，提供一种立体显示装置及方法，该显示方法包括以下步骤：跟踪步骤，跟踪目标对象的位置信息；显示步骤，依据所述位置信息显示立体图像；其中，所述跟踪步骤包括以下步骤：S11对应所述目标对象的空间位置设置三个以上的标记点；S12获取所述标记点的位置信息；S13依据目标对象相对水平面的倾斜角度，校正所述标记点的位置信息。本发明提供的立体显示装置与方法，具有跟踪人眼位置更准确，显示效果更好的优点。

Description

立体显示装置及显示方法

技术领域

本发明涉及立体显示技术领域，具体而言，涉及一种立体显示装置及立体显示方法。

背景技术

近几年，立体显示技术发展迅速，成为人们研究的热点。立体显示技术已经越来越广泛应用于医疗、广告、军事、展览、游戏及车载显示等各个领域。立体显示技术包括佩戴眼镜式立体显示技术和无需眼镜的裸眼立体显示技术。其中，佩戴眼镜式立体显示技术发展很早，目前已经技术比较成熟，在很多领域中仍在使用；而裸眼立体显示技术起步较晚，其技术难度比佩戴眼镜式的难度要高，目前虽在相关领域有运用，但显示效果还不能满足人们的需求。尤其是目前裸眼立体显示技术应用到如球赛实况转播、医疗手术现场等实时播放的领域时，其实时播放的效果较差，无法满足观看的需要。因此，在这些领域，目前多数采用佩戴眼镜式的立体显示技术，还没有裸眼立体显示技术的应用。

此外，在目前的裸眼立体显示装置中，通常采用摄像机等人眼跟踪设备捕捉人眼的位置，然后依据人的左右眼的位置自适应的调节分光器件或对显示面板的像素进行排列，使得人在一定范围内自由移动，同时还不会影响到观看立体图像的显示效果。然而，现有的摄像机等人眼跟踪设备需要对拍摄到的含有人眼位置的二维图像进行特征分析，以获取人眼位置信息。采用这种方式，很难保证其稳定性和准确性。若没有获取到准确的人眼位置信息，这将严重影响立体显示效果，带来较差的用户体验。尤其是在需要实时播放立体显示图像的领域，比如在医疗领域，医生依据显示的立体图像进行手术时，医生需要不时且观看立体显示图像，如果跟踪的人眼位置信息不准确，将影响到医生的操作，严重者，会影响到手术的成功。又如在球赛实况转播时，对于实时性要求较高，图像在传输和处理方 面需要及时满足观看者观看立体图像的需要，这就对立体显示装置在跟踪和排图方面提出了更高的要求。

现有的3D腹腔镜在患者体内的腹腔镜镜头包含两个距离非常近的小镜头，两个小镜头各自拍下腔内图像，再通过各自的显示设备把两个角度的图像通过不同偏振态的光同步放映，使有细微差别的两幅图像同时显示在显示设备的显示屏上。使用线偏振眼镜观看，左眼只能看到左摄像头拍摄的画面，右眼只能看到右摄像头拍摄的画面，这样组合起来就会看到实时播放的立体图像。但是，这种传统的线偏振式立体显示装置，在观看者使用线偏振眼镜观看立体图像时，应始终保持眼镜处于水平状态，使水平偏振镜片看到水平偏振方向的图像，而垂直偏振镜片看到垂直偏振方向的图像。如果眼镜略有偏转，垂直偏振镜片就会看见一部分水平方向的图像，水平偏振镜片也会看见一部分垂直方向的图像，左、右眼就会看到明显的重影。而在手术过程中，很多医生习惯根据内窥镜在腔体内的角度而对头部角度作适当的调整来适应显示画面。而佩戴线偏振眼镜来观看3D图像很大程度地限制了医生这种头部角度调整的习惯，给医生做手术带来不便。此外，现有技术的立体显示装置中，有一种技术是利用单点红外灯作为跟踪标志，但单点红外灯在医生扭头倾斜观看时跟踪的数据会跟实际情况有误差，影响观看效果。

因此，如何准确获取到人眼的位置信息，提升立体显示的观看效果成为亟待解决的技术问题。

发明内容

本发明的目的在于提供一种立体显示装置和显示方法，旨在解决由现有技术的局限和缺点引起的上述一个或多个技术问题。

本发明提供一种立体显示方法，所述立体显示方法包括：跟踪步骤，跟踪目标对象的位置信息；显示步骤，依据所述位置信息显示立体图像；其中，所述跟踪步骤包括以下步骤：

S11对应所述目标对象的空间位置设置三个以上的标记点；

S12获取所述标记点的位置信息；

S13依据目标对象相对水平面的倾斜角度，校正所述标记点的位置信息。

本发明还提供一种立体显示装置，包括跟踪设备，分光单元，显示单元及图像播放处理单元，所述跟踪设备与所述显示单元分别与所述图像播放处理单元连接，所述分光单元位于所述显示单元的显示侧；其中，所述跟踪设备包括：标记点设置单元，对应目标对象的空间位置设置三个以上的标记点；获取单元，获取所述标记点的位置信息；校正单元，依据目标对象相对水平面的倾斜角度，校正所述标记点的位置信息。

本发明提供的上述立体显示装置和显示方法，由于考虑了目标对象在偏离水平面时产生一定的倾斜角度对立体显示装置排图后进行立体显示所造成的影响，因而跟踪到的位置信息更加准确，立体显示效果更好。

附图说明

图1示出了本发明实施方式一的立体显示装置的结构示意图。

图2示出了图1中的图像播放处理单元的结构示意图。

图3是本发明实施方式一的立体显示装置中分光单元与显示单元贴合的结构示意图。

图4示出了本发明实施方式一的立体显示装置中跟踪设备的较佳实施例结构示意图。

图5示出了图4中校正单元对标记点进行校正的示意图。

图6示出了图4中的获取单元的具体结构示意图。

图7示出了图4的跟踪设备中对应目标对象设置标记点的定位支架的结构示意图。

图8是本发明实施方式二的立体显示方法的流程示意图。

图9是图8中S1的具体流程示意图。

图10是图9中S12的具体流程示意图。

图11是图9中S13的第一变形例的具体流程示意图。

图12是图8中的S3的具体流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施方式的限制。

实施方式一

请参见图1，图1为本发明立体显示装置的结构示意图。如图1所示，本发明的立体显示装置包括：跟踪设备30、分光单元50及显示单元40，该跟踪设备30用于获取目标对象的位置信息，该分光单元50位于所述显示单元40的显示侧，用于将该显示单元40显示的图像空间上分成左视图和右视图。该立体显示装置还包括图像播放处理单元20，分别与该跟踪设备30和该显示单元40连接，该图像播放处理单元20依据该目标对象的位置信息、该分光单元50的光栅参数及显示单元40的显示参数实时处理待播放的图像，处理后发送该显示单元40进行显示。

由于跟踪设备30和显示单元40直接连接到图像播放处理单元20，图像播放处理单元20及时获取到目标对象的位置信息、光栅参数及显示参数，并据此进行图像处理，省去了现有技术中需要经过中央处理器的处理过程，因而图像播放的速度相比于现有技术大大提高，能满足实时立体显示的要求。上述光栅参数主要包括光栅的栅距(pitch)和光栅相对显示面板的倾斜角度、光栅相对显示面板的放置距离等参数。这些光栅参数可以是直接存储在图像播放处理单元内的存储器中，也可是其它检测设备实时检测并获取分光单元的光栅参数，将光栅参数值发送给图像播放处理单元20。上述显示单元参数包括显示单元的尺寸、显示单元的屏幕分辨率、显示单元的像素单元中子像素的排列顺序及排列结构等参数。子像素排列顺序即子像素是按照RGB排列或者RBG排列，还是成BGR排列，还是成其他顺序排列；子像素排列结构即子像素为竖直排列的还是横向排列的，如自上而下是按照RGB的方式循环排列，或者从左至右依次是按照 RGB的方式循环排列等。

上述跟踪设备30可以是摄像头和/或者红外传感器，主要用于追踪目标对象的位置，例如人的双眼或者人的头部或者人的脸部的位置或者人的上半身的位置。摄像头或红外传感器的数量不限制，可以是一个，也可以是多个。摄像头或者红外传感器可以安装在显示单元的边框上，或者单独放置在易于追踪到目标对象的位置。此外，如果采用红外传感器作为跟踪设备，还可在对应目标对象的位置设置红外发射器，通过接收到红外发射器发送的红外定位信号，利用红外发送器与目标对象的相对位置关系，计算出目标对象的位置信息。

上述分光单元50设于显示单元40的出光侧，将显示单元40显示的具有视差的左视图和右视图分别发送到人的左眼和右眼，依据人的左眼和右眼合成立体图像，使人观看到立体显示的效果。较佳地，上述分光单元可以是视差屏障或透镜光栅。该视差屏障可以是液晶狭缝或固体狭缝光栅片或者电致变色狭缝光栅片等，该透镜光栅可以是液晶透镜或固体液晶透镜光栅。固体液晶透镜光栅主要是通过紫外光将液晶固化到薄片上，形成固态透镜，对光线进行分光后出射到人的左眼和右眼。较佳地，将上述显示单元40和分光单元50作为一个集成的显示设备60，该显示设备60是整个立体显示装置的显示部分，可以与前述图像播放处理单元及跟踪设备组装在一起，也可以是一个独立部分单独存在。例如，可以依据观看需要，单独将显示设备60放置在便于观看的位置，而图像播放处理单元20和跟踪设备30可以是各自具有独立功能的设备，使用时将这些设备组装起来实现本发明的实时立体显示功能即可。例如，该图像播放处理单元20可以是VMR 3D播放设备，其本身具有3D播放处理功能，使用是将其组装到本发明的立体显示装置中，与其它设备建立连接。

上述图像播放处理单元20，依据跟踪设备30跟踪到的该目标对象的位置信息、该分光单元50的光栅参数及显示单的显示参数实时处理待播放的图像。请参见图2，图像播放处理单元20进一步包括：

排图参数确定模块201，依据获取到的所述目标对象的位置信息和所述分光单元的光栅参数及显示单的显示参数计算出在显示单元上的排图参 数；

视差图像排列模块202，用于依据所述排图参数排列显示单元上的视差图像；该视差图像是通过在空间上划分左眼图像以及右眼图像来生成的。

视差图像播放模块203，播放所述视差图像。在接收到排列后的视差图像后，进行播放，观看者在显示单元实时看到显示的立体图像。

实施例1

在本发明实施例1中，要得到较佳的实时立体显示效果，需要依据分光单元的光栅参数和显示单元的显示参数对分光单元与显示单元进行光学设计，该光学设计依据以下公式：

(3)m*t＝p-pitch

上述公式中，F为分光单元与显示单元之间的距离(即上述光栅参数中的光栅相对显示面板的放置距离)，L为观看者与显示单元的距离，

IPD为匹配瞳距，通常的人双瞳之间的距离，例如，一般取值为62.5mm，l-pitch为分光单元的节距(pitch)，p-pitch为显示单元上的像素的排图节距，n为立体视图数量，m为分光单元所覆盖的像素数量，p为显示单元的点距，这里的点距主要是指一个像素单元的尺寸(属于显示参数的一种)，该像素单元通常包括R、G、B三个子像素。为了消除摩尔纹，分光单元在贴合的时候一般会旋转一定的角度(即分光单元相较于显示单元有一定的倾斜角度)，因此，实际上的分光单元的节距由以下公式给出：

(4)W_lens＝l-pitch*sinθ

其中，W_lens为分光单元的实际节距，θ为分光单元相对显示面板的 倾斜角度(即上述光栅参数之一)。

如上所述，对于分光单元与显示单元之间的距离F，当显示单元与分光单元之间的介质是空气时，F就等于分光单元与显示单元之间的实际距离；当显示单元与分光单元之间的介质是折射率为n(n大于1)的透明介质时，F等于分光单元与显示单元之间的实际距离除以该折射率n；当显示单元与分光单元之间存在不同的介质时，且介质的折射率分别为n1、n2、n3···(折射率均大于或等于1)，F＝s1/n1+s2/n2+s3/n3···，其中s1、s2、s3···为相应介质的厚度。

通过上述光学计算公式，对分光单元和显示单元进行设置，可以减小摩尔纹，提高实时观看的立体显示效果。

此外，在一个变形实施例中，在分光单元与显示单元之间设置贴合单元，请参见图3，图3是本发明实施方式一的立体显示装置中分光单元与显示单元的贴合结构示意图。如图3所示，在分光单元50和显示单元40之间设有贴合单元，三者类似于“三明治结构”，贴合单元包括第一基板42和第二基板43，以及位于第一基板42与第二基板43之间的空气层41。该空气层41在第一基板42与第二基板43之间处于密封状态，防止空气逸出。第一基板42与显示面板贴合，可以是透明玻璃材料构成，也可以是透明树脂材料等构成。第二基板43与第一基板42相对设置，其背离第一基板42的一侧用于贴合分光单元50。由于在分光单元50和显示单元40之间设置贴合单元，且贴合单元采用上述结构，对于大屏幕的立体显示装置，既保证了光栅贴合的平整度，又减轻了整个立体显示装置的重量，防止采用纯玻璃时因过重而导致屏幕坠裂的风险。

实施例2

请参见图4，图4示出了本发明实施方式一的立体显示装置中跟踪设备的较佳实施例结构示意图。如图4所示，本发明实施例2还提出另一种跟踪设备30，该跟踪设备30包括：

标记点设置单元1，用于对应目标对象的空间位置设置三个以上的标记点；这里的标记点可以设置目标对象上，也可以不设置于目标对象上，而是设置在与目标对象有相对位置关系，与目标对象同步移动的物体上也 可。例如，目标对象是人眼，则可以在人眼的眼眶周围设置标记点；或者在人眼周围配置眼镜，将标记点设在眼镜的镜框上，又或者将标记点设在与人眼位置关系相对固定的人的耳朵上。该标记点可以是发送信号的红外发射传感器，LED灯，GPS传感器，激光定位传感器等各种部件，也可以是其它能够被摄像机捕捉的物理标识，例如是具有形状特征和/或颜色特征的物体。较佳地，为避免外界杂光的干扰，提高标记点追踪的鲁棒性，优选使用频谱较为狭窄的红外LED灯作为标记点，并使用只能通过红外LED所使用频谱的相应的红外摄像机对标记点进行捕捉。考虑到外界杂光多为不规则的形状且亮度分布不均匀，可以将标记点设置成可以发出规则形状的光斑，发光强度较高，亮度均匀。该三个以上标的标记点，每个标记点对应一个光斑，各个标记点组成规则的几何形状，如三角形，四边形等，从而易于被跟踪到，方便相关的跟踪设备获得标记点的空间位置信息，并提高光斑提取的准确性。

获取单元2，用于获取该标记点的位置信息；这可以是通过接收标记点发出的信号，来确定标记点的位置信息，也可以是采用摄像机来拍摄含有标记点的图像，对图像中的标记点进行提取。通过图像处理算法来获得标记点的位置信息。

校正单元3，依据目标对象相对水平面的倾斜角度，校正所述标记点的位置信息。请参见图5，图中E1、E2表示人的左眼和右眼(目标对象，)，La、Lb、Lc为对应目标对象设置的三个红外LED灯(标记点)，Lb位于La与Lc之间的中间位置，由于人的头部倾斜，图中E1和E2相较于水平线OB存在一个倾斜角度，OM表示左眼观看区域和右眼观看区域的分界线，OM左侧的区域表示左眼E1观看的区域，OM右侧的区域表示右眼E2观看的区域。若人的头部没有倾斜，且以平时那样正常观看时，Lb处于右眼区域与右眼区域的分界线处，按照现有技术，则会以Lb与其对应的人眼瞳距的中点O的连线OA作为左眼观看区域和右眼观看区域的分界线，但在倾斜时，这一判断明显错误，以致会使人看到的立体图像存在着串扰，严重影响着立体显示的效果。因此在图5中，利用几何关系，对目标对象的位置信息进行校正，以便得到准确的目标对象的位置信 息。具体如下：

在没有校正的情况下，跟踪设备会将灯Lb的x轴坐标(水平方向的坐标分量)传输给图像播放处理单元，图像播放处理单元根据该参数来进行排图，使左右图分别投影到人的左眼和右眼。由于人的头部相对水平面有一定倾斜角度后，灯Lb的x轴坐标就不能正确地反映人眼的位置，因此需要进行校正。此时，假定以瞳距的中点O作为人眼位置的基准。假设在人的头部在没有倾斜的情况下灯Lb的x轴坐标跟点O的x轴坐标一样。以图中灯Lb位置作为基准建立坐标系，灯Lb左侧为x轴的负方向，右侧为x轴的正方向。则点O的x轴坐标能用已下公式表达：

其中，x0是灯Lb的x轴坐标，y1、y2分别为灯La、灯Lc的y轴坐标，假定灯La和灯Lc之间的距离为L，灯Lb到O点之间的距离为h。这些参数都能通过跟踪设备读出(x0、y1、y2)，也可根据需要设定(L)，还可以给出估算值(h)，因此能通过这些参数求出x的值，并可以校正得出OM线是头部倾斜后的分界线，使跟踪设备在人的头部倾斜的情况下作出相应校正，从而得到校正后的标记点的位置信息，也就能准确地得出目标对象的位置信息，依据校正后的标记点的位置信息，进行排图处理，降低了串扰，提升了头部倾斜时观看裸眼3D显示图像的显示效果。

相应地，该显示单元40依据校正后的所述标记点的位置信息，调节所述显示单元的像素排列方式，显示立体图像。该显示单元40进一步包括：重新构建子单元40a，用于依据该标记点的位置信息，重新构建该目标对象的空间位置；显示子单元40b，依据所述空间位置，调节显示单元的像素排列方式，显示立体图像。当获得到该标记点的位置信息后，重新构建出标记点的空间位置，然后依据标记点与目标对象的相对位置关系，将标记点的空间位置转换到目标对象的空间位置(例如人的左右两眼的空间位置)。然后，显示子单元基于前述空间位置信息，调整显示单元的像素排列方式，显示立体图像。

进一步地，该校正单元3包括：

检测子单元，检测所述目标对象相对所述水平面的倾斜角度；例如人的头部倾斜时，两眼与水平面之间存在一个倾斜角度，通过这个倾斜角度可以利用简单的几何关系计算出人眼的真实位置信息。

判断子单元，判断所述倾斜角度是否在预先设定的阈值范围内；例如，对于微小的头部倾斜，由于其与原来正常时的位置变化不大，在这时不会影响到观看效果，因此无需进行调整，而对于明显相对水平面偏移比较大时，则需要作出校正。因此，可以根据实际情况，预先设定一个无需调整的阈值范围，在这个范围内，就不对标记点的位置信息作出调整。

校正子单元，当所述倾斜角度在预先设定的阈值范围外时，校正所述标记点的位置信息。在头部倾斜角度较大时，此时若判断出在预先设定的阈值范围之外，则对标记点的位置信息进行校正，保证得到准确的标记点位置信息。

通过判断是否在阈值范围内，对在阈值范围外的进行校正，而对阈值范围内的则不进行校正，这样有助于减少频繁的校正所带来的影响显示设备的处理速度的问题，具有较佳的实时立体显示效果。

本发明实施例的跟踪设备30通过获取对应目标对象的标记点的位置信息，并依据该位置信息，重新构建出目标对象的空间位置。与现有技术中使用摄像机作为人眼捕捉设备需要对二维图像进行特征分析从而获取人眼位置或者使用其他利用人眼虹膜反射效果的人眼捕捉设备获取人眼位置相比较，具有稳定性好，准确度高、成本低廉且对跟踪设备与目标对象之间的距离远近没有要求的优点。

请参见图6，图6示出了图4中的获取单元的具体结构示意图。前述获取单元进一步包括：

预设模块21，用于预设一标准图像，所述标准图像中设有参考标记点，并获取所述参考标记点的空间坐标和平面坐标；标准图像例如可以是通过图像采集设备采集的一个标准图像，获取参考标记点的图像坐标，并使用其他精确的立体测量设备如激光扫描仪，结构光扫描仪(如Kinect等)等设备获取标准图像中参考标记点的空间坐标及平面坐标。

获取模块22，用于获取包含所述目标对象及所述标记点的当前图像，及所述标记点在所述当前图像的平面坐标；

匹配模块23，用于将所述当前图像中的标记点与所述标准图像的所述参考标记点进行匹配。这里要先将标记点在所述当前图像的平面坐标与参考标记点在标准图像的平面坐标之间建立对应关系，然后将标记点与参考标记点进行匹配。

通过设置标准图像及参考标记点是便于在获取当前图像的空间位置时能有一个参照物，这进一步保证了本发明实施方式的目标跟踪装置的稳定性和准确性。

进一步地，该跟踪设备30还包括：

采集单元，用于采集所述标记点；

筛选单元，从所述标记点中筛选目标标记点。

具体来说，当标记点的数量为多个时，采用摄像机采集对应目标对象的所有标记点，从所有标记点中选取与目标对象最相关的标记点，然后使用相应的图像处理算法对图像上的标记点进行提取，该提取需要根据标记点的特征来进行。总的来讲，对该标记点的特征进行提取的方法是对图像I使用特征提取函数H，获取图像中每个点的特征分数，并筛选出特征值足够高的标记点。这里可以用下述公式归纳表示：

S(x，y)＝H(I(x，y))

F＝{arg_{(x ， y)}(S(x，y)＞s0)}

上述式中，H是特征提取函数，I(x,y)是每一个像素(x,y)所对应的图像值，可以是灰度值或三通道的颜色能量值等，S(x,y)是每一个像素(x,y)经过特征提取后的特征分数，s0是一个特征分数阈值，大于s0的S(x,y)可以被认为是标记点，F是标记点集合。较佳地，本发明实施例使用红外标记点以及红外摄像机所成图像的能量特征较为明显。由于使用窄带LED红外灯，以及相应的红外摄像机，摄像机所成图像的大多数像素能量很低，仅有标记点对应的像素具有高能量。因此相应的函数H(x,y)可以是对使用阈值分割算子后的图像B(x,y)进行区域增长获取若干子图像，并对获得到的子图像进行重心提取。同时，根据环境光中能在红外摄 像机中成像的杂光，我们可在红外标记点提取过程中添加诸如标记点所成光斑面积，标记点在二维图像中的位置关系等约束条件对提取出的标记点进行筛选。

当摄像机数目大于1时，需要对不同摄像机在同一时刻或接近同一时刻获取的图像进行标记点匹配，从而为后续的标记点三维重建提供条件。标记点匹配的方法需要根据特征提取函数H而定。我们可以使用一些经典的基于图像灰度梯度图的特征点提取算子和与之相配的匹配方法如Harris，SIFT，FAST等方法获取并匹配标记点。也可以使用极限约束，标记点的先验条件等方式进行标记点匹配。这里使用极限约束进行匹配筛选的方法是：根据同一个点在两个不同摄像机图像上的投影都处于同一平面这个原理，对于某一个摄像机c0中的某一个标记点p0，我们都可以在其他摄像机c1中计算一条极线方程，标记点p0对应于该其它摄像机c1上的标记点p1符合下述关系：

[p1；1]^TF[p0；1]＝0

上述式中，F是摄像机c0到摄像机c1的基础矩阵。通过使用上述关系，我们可以大大缩少标记点p1的候选个数，提高匹配准确度。

此外，我们可以使用标记点的先验条件是标记点的空间顺序，标记点的尺寸等。比如根据两个摄像机的相互位置关系使其所拍摄的图像上的每一对对应同一空间点的两个像素在某一个维度比如y轴上相等，这个过程也被称为图像校准(rectification)。则此时标记点的匹配也就可以根据标记点的x轴顺序执行，即最小x对应最小x，依次类推，最大的x对应最大的x。

实施例3

请参见图7，图7示出了图4的跟踪装置中对应目标对象设置标记点的定位支架的结构示意图。如图7所示，本发明提供一种定位支架，该定位支架位于人眼(目标对象)前方，结构与眼镜相似，其佩戴类似于眼镜，包括：横梁11、固定部12、支撑部13以及控制部14，横梁11设置有标记点111；支撑部13设置于横梁11上；固定部12与横梁11的端部枢轴连接。其中标记点111设置的位置与人眼(目标对象)的位置相对应， 通过获取标记点111的空间位置信息，然后据此计算人眼的空间位置信息。当人的头部发生移动时，相应地，与人眼对应的标记点111也发生移动，摄像机跟踪标记点111的移动，然后采用前述实施方式一的目标对象跟踪方法的方案获取标记点111的空间位置信息，利用标记点111与人眼的相对空间位置关系，重新构建出人眼(目标对象)的空间位置(即在空间中的三维坐标)。

在本实施例中，横梁11为一长条形，且具有一定的弧度，其弧度与人的额头弧度近似，以方便使用。横梁11包括上表面112、与其相对的下表面、设置在上表面112与下表面之间的第一表面114以及第二表面。

在本实施例中，标记点111为三个LED灯，其间隔均匀地设置在横梁11的第一表面114上。可以理解的是，标记点111数量还可以是四个、五个或任意多个，且可以为任意光源，包括LED灯、红外灯或紫外灯等。并且，所述标记点111的排列方式与设置位置也可以根据需要进行调整。

可以理解的是，横梁11也可以根据需要设计成直线形或者其他形状。

本实施例中，固定部12有两个，分别与横梁11的两端通过枢轴连接，且两个固定部12可相对向内折叠，同时，两个固定部12可分别向外展开至与横梁11呈100°左右的内角，具体的，可以根据实际操作需求调整内角的大小。可以理解的，固定部12也可以为一个。

固定部12远离横梁11的一端沿支撑部13的延伸方向弯折设置，以用于将固定部12的端部固定于人的耳朵上。

本实施例中，支撑部13呈条状，设置在横梁11的下表面113的中部且向下延伸。进一步，支撑部13远离横梁11的端部设置有鼻托131，以用于将定位装置配合鼻梁，并将定位装置设置于人眼上方。可以理解的，在其他实施例中，若不设置鼻托131，则支撑部13可设置成倒“Y”型，并沿横梁11的中部且向下延伸，用以将定位装置配合鼻梁，并将定位装置设置于人眼上方。

控制部14呈圆角长方体，设置在固定部12上。控制部14用于给所 述LED灯，红外灯或紫外灯提供电源、及/或者控制所述LED灯，红外灯或紫外灯的使用状态，其包括电源开关141、电源指示灯和充电指示灯。可以理解的是，控制部14不限定形状，其可以为任意形状，也可以为一集成芯片。并且，控制部14也可以设置在其他位置，如横梁11上。

使用时，打开电源开关141，电源指示灯显示LED处于供电状态，LED灯被点亮；当电量不足时，充电指示灯提示电量不足；关闭电源开关，电源指示灯熄灭，表示LED处于关闭状态，LED灯熄灭。

由于人的瞳距范围为58mm～64mm，可近似认为人的瞳距为定值，本发明提供的定位支架类似于眼镜架，且固定于人眼上方，类似于眼镜架，根据需要，将标记点设置在定位装置的预定位置，从而可以简单方便地根据标记点的位置确定人眼的位置。定位装置结构简单，设计与使用方便。

实施方式二

请参见图8至图11，图8是本发明实施方式二的立体显示方法的流程示意图，图9是图8中S1的具体流程示意图，图10是图9中S12的具体流程示意图，图11是图8中的S3的具体流程示意图。如图8至图11所示，本发明实施方式二的立体显示方法，主要包括以下步骤：

S1获取目标对象的位置信息；利用跟踪设备跟踪目标对象的位置，例如观看者所在的位置信息。

S2获取立体显示装置的分光单元的光栅参数及显示单元的显示参数；分光单元的光栅参数主要包括光栅的栅距(pitch)和光栅相对显示面板的倾斜角度、光栅相对显示面板的放置距离等参数。

S3依据该位置信息和该光栅参数及显示单元的显示参数实时处理待播放的图像。在待播放立体图像前，需要预先结合人眼的位置信息和光栅参数及显示单元的显示参数，对图像进行处理，以便提供给观看者最佳的立体显示效果。

S4显示该待播放的图像。

本发明的立体显示方法，通过及时获取到目标对象的位置信息及光栅参数，并据此直接进行图像处理，提高了图像播放的速度，能满足实时立体显示的要求。

实施例4

请参见图9，本发明实施例4主要是对S1如何获取目标对象的位置信息作详细描述。这些目标对象例如为人眼、人的头部、人的面部或者人体的上半身等与人观看相关的部位。上述“S1获取目标对象的位置信息”主要包括以下步骤：

S11对应目标对象的空间位置设置三个以上的标记点；这里的标记点可以设置目标对象上，也可以不设置于目标对象上，而是设置在与目标对象有相对位置关系，并与目标对象同步移动的物体上也可。例如，目标对象是人眼，则可以在人眼的眼眶周围设置标记点；或者在人眼周围配置定位支架，将标记点设在定位支架的框上，又或者将标记点设在与人眼位置关系相对固定的人的耳朵上。该标记点可以是发送信号的红外发射传感器，LED灯，GPS传感器，激光定位传感器等各种部件，也可以是其它能够被摄像机捕捉的物理标识，例如是具有形状特征和/或颜色特征的物体。较佳地，为避免外界杂光的干扰，提高标记点追踪的鲁棒性，优选使用频谱较为狭窄的红外LED灯作为标记点，并使用只能通过红外LED所使用频谱的相应的红外摄像机对标记点进行捕捉。考虑到外界杂光多为不规则的形状且亮度分布不均匀，可以将标记点设置成可以发出规则形状的光斑，发光强度较高，亮度均匀。另外设置的三个以上的标记点，每个标记点对应一个光斑，各个标记点组成规则的几何形状，如三角形，四边形等，从而易于跟踪到标记点，获得标记点的空间位置信息，并提高光斑提取的准确性。

S12获取该标记点的位置信息；这可以是通过接收标记点发出的信号，来确定标记点的位置信息，也可以是采用摄像机来拍摄含有标记点的图像，对图像中的标记点进行提取。通过图像处理算法来获得标记点的位置信息。

S13依据目标对象相对水平面的倾斜角度，校正所述标记点的位置信息。

通过对标记点的位置信息进行校正，可以避免目标对象与水平面存在一定的倾斜角度时，标记点的位置信息未能准确地代表目标对象的位置信息，从而导致出现串扰的问题，提升了立体显示的效果。

相应地，所述显示步骤进一步包括：

S14依据校正后的所述标记点的位置信息，调整显示单元的像素排列方式，显示所述立体图像。

进一步地，所述步骤S14进一步包括：

S141依据校正后的所述标记点的位置信息，重新构建所述目标对象的空间位置；

S142依据所述空间位置，调节显示单元的像素排列方式，显示立体图像。

依据该校正后的标记点的位置信息，重新构建该目标对象的空间位置。当获得到该标记点的位置信息后，重新构建出标记点的空间位置，然后依据标记点与目标对象的相对位置关系，将标记点的空间位置转换到目标对象的空间位置(例如人的左右两眼的空间位置)。

本发明实施方式二的通过获取对应目标对象的标记点的位置信息，并依据该位置信息，重新构建出目标对象的空间位置。与现有技术中使用摄像机作为人眼捕捉设备需要对二维图像进行特征分析从而获取人眼位置或者使用其他利用人眼虹膜反射效果的人眼捕捉设备获取人眼位置相比较，具有稳定性好，捕捉人眼的位置信息的准确度高、成本低廉且对跟踪设备与目标对象之间的距离远近没有要求等优点。

进一步地，所述步骤S13进一步包括：

S131检测所述目标对象相对所述水平面的倾斜角度；

S132判断所述倾斜角度是否在预先设定的阈值范围内；

S133若否，则校正所述标记点的位置信息。

通过判断是否在阈值范围内，对在阈值范围外的进行校正，而对阈值范围内的则不进行校正，这样有助于减少频繁的校正所带来的影响显示设 备的处理速度的问题，具有较佳的实时立体显示效果。

请参见图10，上述步骤S12进一步包括：

S121预设一标准图像，所述标准图像中设有参考标记点，并获取所述参考标记点的空间坐标和平面坐标；标准图像例如可以是通过图像采集设备采集的一个标准图像，获取参考标记点的图像坐标，并使用其他精确的立体测量设备如激光扫描仪，结构光扫描仪(如Kinect等)等设备获取标准图像中参考标记点的空间坐标及平面坐标。

S122获取包含所述目标对象及所述标记点的当前图像，及所述标记点在所述当前图像的平面坐标；

S123将所述当前图像中的标记点与所述标准图像的所述参考标记点进行匹配。这里要先将标记点在所述当前图像的平面坐标与参考标记点在标准图像的平面坐标之间建立对应关系，然后将标记点与参考标记点进行匹配。

通过设置标准图像及参考标记点是便于在获取当前图像的空间位置时能有一个参照物，这进一步保证了本发明实施方式的目标跟踪方法的稳定性和准确性。

进一步地，在上述S11与S12之间还包括：

S14采集所述标记点；

S15从所述标记点中筛选目标标记点。

具体来说，当标记点的数量为多个时，采用摄像机采集对应目标对象的所有标记点，从所有标记点中选取与目标对象最相关的标记点，然后使用相应的图像处理算法对图像上的标记点进行提取，该提取需要根据标记点的特征来进行。总的来讲，对该标记点的特征进行提取的方法是对图像I使用特征提取函数H，获取图像中每个点的特征分数，并筛选出特征值足够高的标记点。这里可以用下述公式归纳表示：

S(x，y)＝H(I(x，y))

F＝{arg_{(x ， y)}(S(x，y)＞s0)}

上述式中，H是特征提取函数，I(x,y)是每一个像素(x,y)所对应的图像值，可以是灰度值或三通道的颜色能量值等，S(x,y)是每一个像素 (x,y)经过特征提取后的特征分数，s0是一个特征分数阈值，大于s0的S(x,y)可以被认为是标记点，F是标记点集合。较佳地，本发明实施例使用红外标记点以及红外摄像机所成图像的能量特征较为明显。由于使用窄带LED红外灯，以及相应的红外摄像机，摄像机所成图像的大多数像素能量很低，仅有标记点对应的像素具有高能量。因此相应的函数H(x,y)可以是对使用阈值分割算子后的图像B(x,y)进行区域增长获取若干子图像，并对获得到的子图像进行重心提取。该特征提取函数H(x,y)，可以是Harris，SIFT，FAST等特征点函数，也可以是圆形光斑提取等图像处理函数。同时，根据环境光中能在红外摄像机中成像的杂光，我们可在红外标记点提取过程中添加诸如标记点所成光斑面积，标记点在二维图像中的位置关系等约束条件对提取出的标记点进行筛选。

当摄像机数目大于1时，需要对不同摄像机在同一时刻或接近同一时刻获取的图像进行标记点匹配，从而为后续的标记点三维重建提供条件。标记点匹配的方法需要根据特征提取函数H而定。我们可以使用一些经典的基于图像灰度梯度图的特征点提取算子和与之相配的匹配方法如Harris，SIFT，FAST等方法获取并匹配标记点。也可以使用极限约束，标记点的先验条件等方式进行标记点匹配。这里使用极限约束进行匹配筛选的方法是：根据同一个点在两个不同摄像机图像上的投影都处于同一平面这个原理，对于某一个摄像机c0中的某一个标记点p0，我们都可以在其他摄像机c1中计算一条极线方程，标记点p0对应于该其它摄像机c1上的标记点p1符合下述关系：

[p1；1]^TF[p0；1]＝0

上述式中，F是摄像机c0到摄像机c1的基础矩阵。通过使用上述关系，我们可以大大缩少标记点p1的候选个数，提高匹配准确度。

此外，我们可以使用标记点的先验条件是标记点的空间顺序，标记点的尺寸等。比如根据两个摄像机的相互位置关系使其所拍摄的图像上的每一对对应同一空间点的两个像素在某一个维度比如y轴上相等，这个过程也被称为图像校准(rectification)。则此时标记点的匹配也就可以根据标记点的x轴顺序执行，即最小x对应最小x，依次类推，最大的x对 应最大的x。

实施例5

请参见图12，图12是图8中的S3的具体流程示意图。如图12所示，基于前述实施方式二及前述实施例，本发明的立体显示方法的步骤S3进一步包括：

S301排图参数确定步骤，依据获取到的所述目标对象的位置信息和所述分光单元的光栅参数及显示单元的显示参数计算出在显示单元上的排图参数；

S302视差图像排列步骤，依据所述排图参数排列所述显示单元上的视差图像；

S303视差图像播放步骤，播放所述视差图像。

通过上述的步骤，对待播放的立体图像进行重新排列，提高了立体显示的效果。

进一步地，在步骤S301之前还包括：S304立体图像获取步骤，获取实时拍摄到的所述立体图像的信息。在边播放视差图像的同时，边获取实时拍摄到的立体图像信息，提高了图像处理的效率，不仅保证了实时播放，而且同时减少了因立体显示图像占用的数据存储量非常大而要求大内存的要求，降低了成本。

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种立体显示方法，所述立体显示方法包括：跟踪步骤，跟踪目标对象的位置信息；显示步骤，依据所述位置信息显示立体图像；其特征在于，所述跟踪步骤包括以下步骤：

S11对应所述目标对象的空间位置设置三个以上的标记点；

S12获取所述标记点的位置信息；

S13依据目标对象相对水平面的倾斜角度，校正所述标记点的位置信息。

2.如权利要求1所述的立体显示方法，其特征在于，所述显示步骤进一步包括：

S14依据校正后的所述标记点的位置信息，调整显示单元的像素排列方式，显示所述立体图像。

3.如权利要求2所述的立体显示方法，其特征在于，所述步骤S14进一步包括：

S141依据校正后的所述标记点的位置信息，重新构建所述目标对象的空间位置；

S142依据所述空间位置，调节显示单元的像素排列方式，显示立体图像。

4.如权利要求3所述的立体显示方法，其特征在于，所述步骤S13进一步包括：

S131检测所述目标对象相对所述水平面的倾斜角度；

S132判断所述倾斜角度是否在预先设定的阈值范围内；

S133若否，则校正所述标记点的位置信息。

5.如权利要求1所述的立体显示方法，其特征在于，所述标记点为红外LED灯。

6.如权利要求1至5任一项所述的立体显示方法，其特征在于，在所述S1与S2之间还包括：

S4采集所述标记点；

S5从所述标记点中筛选目标标记点。

7.一种立体显示装置，包括跟踪设备，分光单元，显示单元及图像播放处理单元，所述跟踪设备与所述显示单元分别与所述图像播放处理单元连接，所述分光单元位于所述显示单元的显示侧；其特征在于，所述跟踪设备包括：标记点设置单元，对应目标对象的空间位置设置三个以上的标记点；获取单元，获取所述标记点的位置信息；校正单元，依据目标对象相对水平面的倾斜角度，校正所述标记点的位置信息。

8.如权利要求7所述的立体显示装置，其特征在于，所述显示单元进一步包括：依据校正后的所述标记点的位置信息，调节所述显示单元的像素排列方式，显示立体图像。

9.如权利要求8所述的立体显示装置，其特征在于，所述显示单元进一步包括：

重新构建子单元，依据所述标记点的位置信息，重新构建所述目标对象的空间位置；

显示子单元，依据所述空间位置，调整显示单元的像素排列方式，显示立体图像。

10.如权利要求7所述的立体显示装置，其特征在于，所述校正单元包括：检测子单元，检测所述目标对象相对所述水平面的倾斜角度；

判断子单元，判断所述倾斜角度是否在预先设定的阈值范围内；

校正子单元，当所述倾斜角度在预先设定的阈值范围外时，校正所述标记点的位置信息。

11.如权利要求6所述的立体显示装置，其特征在于，所述标记点为红外LED灯。

12.如权利要求7至11任一项所述的立体显示装置，其特征在于，所述显示单元还包括：

采集单元，采集所述标记点；

筛选单元，从所述标记点中筛选目标标记点。

13.如权利要求12所述的立体显示装置，其特征在于，所述目标对象跟踪装置还包括一定位支架，所述定位支架设置有所述标记点。

14.如权利要求13所述的立体显示装置，其特征在于，所述定位支架包括：横梁、固定部、支撑部，所述横梁上设置有所述标记点；所述支撑部设置于横梁上，支撑所述横梁；所述固定部与所述横梁的端部枢轴连接。