CN106152937A - 空间定位装置、系统及其方法 - Google Patents

Abstract

本发明公开了空间定位装置、系统及其方法，所述空间定位装置包括通信单元，用于建立与定位物体的通信；图像获取单元，用于获取定位物体上标记点红外光源处于关闭状态下背景图像的第一立体图像以及所述标记点红外光源处于开启状态下包含所述标记点的第二立体图像；图像处理单元，用于对所述第一立体图像及第二立体图像进行图像处理，获得所述标记点光斑图，定位单元，用于根据所述标记点光斑图获得所述标记点的空间坐标。通过本发明有效地实现了将需要定位的物体与背景图像区分，提升了图像识别率，降低了算法的复杂度，简化了算法运行环境，节约了成本。

Description

空间定位装置、系统及其方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种空间定位装置、系统及其方法。

背景技术

计算机视觉技术是近来随着图像传感器和微处理器的发展而日渐成熟的一个技术方向。

在计算机视觉技术中有一种通过用相隔一定距离安装的左右摄像头模拟人眼双目视差来重建所拍摄的图像的三维信息的方法，这种方法在立体视觉学中被称之为立体匹配，它主要通过找出每幅图像间的对应关系，根据三角测量原理，得到视差图；在获得了视差信息后，根据投影模型很容易地可以得到原始图像的深度信息和三维信息。

因为涉及到识别图像中类似的部分，所以这类视觉识别技术也有各种非常难以解决的问题，比如下列的一些在图像中识别类似区域时常遇到的问题，包括：光学失真和噪声(亮度、色调、饱和度等失衡)，平滑表面的镜面反射，投影缩减，透视失真，低纹理，重复纹理，透明物体。

由于上述问题的存在，使得识别系统的识别率低下，算法复杂，并且对运行算法的硬件环境要求苛刻。

发明内容

本发明主要解决的技术问题是提供一种空间定位装置、系统及其方法，利用安装在定位物体上的红外光源，将需要定位的物体的特征与背景图像区分开来，提升图像识别率，降低算法的复杂度，简化算法运行环境，节约成本。

为解决上述技术问题，本发明提供一种空间定位装置，包括：

通信单元，用于建立与定位物体的通信；

图像获取单元，用于获取定位物体上标记点红外光源处于关闭状态下背景图像的第一立体图像以及所述标记点红外光源处于开启状态下包含所述标记点的第二立体图像；

图像处理单元，用于对所述第一立体图像及第二立体图像进行图像处理，获得所述标记点的光斑图，

定位单元，用于根据所述标记点的光斑图获得所述标记点的空间坐标。

可选地，所述图像处理单元包括：

差分处理模块，用于对所述第一立体图像及第二立体图像进行差分处理，去除所述第二立体图像中的背景图像，获得所述标记点的光斑图，或者，

亮度阈值处理模块，用于对所述第一立体图像及第二立体图像进行亮度阈值处理，去除所述第二立体图像中的背景图像，获得所述标记点的光斑图。

可选地，所述装置还包括：

采样控制器，用于控制所述标记点红外光源的开启与关闭，以及所述图像获取单元获取图像的时序。

可选地，所述定位单元具体用于：

根据所述标记点光斑图通过三维信息反推算法，得到所述标记点的三维空间坐标。

可选地，所述图像获取单元包括左视摄像头及右视摄像头，所述左视摄像头及右视摄像头分别包括:镜头模组、红外带通滤光器及摄像头传感器，所述红外带通滤光器用于过滤可见光，所述摄像头传感器用于感应所述标记点红外光源。

可选地，所述图像获取单元还包括控制模块，用于调整所述摄像头传感器的曝光度。

可选地，所述红外带通滤光器为波长介于800nm与1100nm之间的 带通硅透镜滤光器。

可选地，所述红外光源为波长介于850nm与980nm之间的红外LED。

可选地，所述装置包括：体感游戏机或移动终端设备。

本发明还提供一种空间定位系统，包括：上述任一项的空间定位装置及定位物体，所述定位物体包括：通信单元、微控制器及所述标记点红外光源，

所述通信单元，用于与所述空间定位装置通信，

所述微控制器，用于控制所述通信单元与所述空间定位装置通信以及控制所述标记点红外光源的开启或关闭。

可选地，空间定位系统中的空间定位装置包括：体感游戏机或移动终端设备。

本发明还提供一种空间定位方法，包括：

建立与定位物体的通信；

获取定位物体上标记点红外光源处于关闭状态下背景图像的第一立体图像以及所述标记点红外光源处于开启状态下包含所述标记点的第二立体图像；

对所述第一立体图像及第二立体图像进行图像处理，获得所述标记点光斑图，

根据所述标记点光斑图获得所述标记点的空间坐标。

可选地，对所述第一立体图像及第二立体图像进行图像处理，获得所述标记点光斑图，具体包括：

对所述第一立体图像及第二立体图像进行差分处理，去除所述第二立体图像中的背景图像，获得所述标记点光斑图，或者，

对所述第一立体图像及第二立体图像进行亮度阈值处理，去除所述第二立体图像中的背景图像，获得所述标记点光斑图。

可选地，所述方法，还包括：

控制所述标记点红外光源的开启与关闭，以及获取图像的时序。

可选地，所述根据所述标记点光斑图获得所述标记点的空间坐标，具体包括：

根据所述标记点光斑图、透视模型、像素、实际距离标定参数代入三维信息反推算法，得到所述标记点的三维空间坐标

在本发明实施例中，利用安装在定位物体上的红外光源，将定位物体上标记点红外光源处于关闭状态下背景图像的第一立体图像以及所述标记点红外光源处于开启状态下包含所述标记点的第二立体图像进行图像处理，获得标记点光斑图，并根据标记点光斑图获得标记点的空间坐标，本发明实施例，通过区分需要定位的物体与背景图像，实现对定位物体的空间定位，提升了图像识别率，降低了算法的复杂度，简化了算法运行环境，节约了成本。

附图说明

图1为本发明实施例空间定位装置结构示意图；

图2为左视摄像头或右视摄像头的结构示意图；

图3与图4为图像处理单元的结构示意图；

图5为为本发明实施例空间定位装置另一结构示意图；

图6为本发明实施例空间定位装置的工作时序图；

图7至图9为本发明实施例透视模型示意图；

图10至图12为本发明实施例亮度阈值处理获得标记点光斑的过程示意图；

图13至图17为本发明实施例差分处理获得标记点光斑的过程示意图；

图18为本发明实施例空间定位系统结构示意图；

图19为本发明实施例空间定位方法流程示意图；

图20为本发明实施例空间定位方法具体流程图；

图21为本发明实施例红外光源关闭状态下获取背景图像示意图；

图22为本发明实施例红外光源开启状态下获取图像及差分处理示意图；

图23为对操作棒进行空间定位的应用实例示意图；

图24为对手持虚拟刀具进行空间定位的应用实例示意图；

图25为对体感输入设备进行空间定位的应用实例示意图；

图26为利用所述空间定位系统进行裸眼立体显示中的人眼追踪的应用实例示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

下面结合具体实施例对本发明作详细阐述。

图1为本发明实施例空间定位装置结构示意图，如图1所示，空间定位装置包括：

通信单元11，用于建立与定位物体的通信；

图像获取单元12，用于获取定位物体上标记点红外光源处于关闭状态下背景图像的第一立体图像以及所述标记点红外光源处于开启状态下包含所述标记点的第二立体图像；

图像处理单元13，用于对所述第一立体图像及第二立体图像进行图像处理，获得所述标记点光斑图，

定位单元14，用于根据所述标记点光斑图获得所述标记点的空间坐标。

在本发明实施例中，通信单元11可以为无线通信单元，比如，常用的2.4G频段射频通信模块，与定位物体的无线通信单元连接，用于建立定位物体与定位装置之间的通信，实现定位物体与定位装置之间的数据传输，比如，控制红外光源开启或关闭的信号传输。

在本发明实施例中，所述图像获取单元12包括左视摄像头及右视摄像头(图中未示出)，其中，摄像头的数量至少为左右两侧分别设置一个以上，图2为左视摄像头或右视摄像头的结构示意图，如图2所示， 所述左视摄像头或右视摄像头分别包括:镜头模组21、红外带通滤光器22及摄像头传感器23。所述红外带通滤光器22用于过滤可见光，所述摄像头传感器23用于感应所述标记点红外光源，所述摄像头传感器23可以为对红外敏感的高速摄像头传感器，一般的，CMOS比CCD摄像头传感器对红外光更加敏感。在本发明实施例中，红外光源常用的器件为GaAs红外LED，典型波长为介于850nm与980nm，半峰带宽40nm左右，因此红外带通滤光器可采用波长介于800nm与1100nm之间的带通硅透镜滤光器，不建议使用带宽小于50nm的窄带红外带通滤光器，因为那样虽然滤除环境杂光的效果提高了，但标记光源的有效能量也降低了，会降低识别距离。

在本发明实施例中，所述图像处理单元13包括差分处理模块131或者亮度阈值处理模块133。

其中，差分处理模块131用于对所述第一立体图像及第二立体图像进行差分处理，去除所述第二立体图像中的背景图像，获得所述标记点光斑图。在本发明实施例中，可以利用差分处理模块131对由图像获取单元12获取的红外光源开启时采集的第二立体图像减去红外光源关闭时采集的第一立体图像，比如，对第二立体图像及第一立体图像中的逐个像素进行差分处理，从而去除第二立体图像中的背景图像，得到标记点光斑图。

亮度阈值处理模块133用于对所述第一立体图像及第二立体图像进行亮度阈值处理，去除所述第二立体图像中的背景图像，获得所述标记点光斑图。在本发明实施例中，可以对图像获取单元12采集到的图像设定一个亮度判断阈值，将采集到的图像利用亮度阈值处理模块133进行二值化处理，比如，红外光源开启时采集的第二立体图像亮度值大于红外光源关闭时采集的第一立体图像亮度值，其中，亮度判断阈值可以设定大于第一立体图像亮度值，小于红外光源开启时采集的第二立体图像亮度值，则经过二值化处理后，即可得到只剩下标记点的光斑图像。本发明实施例中，通过亮度阈值处理模块133对图像数据进行亮度阈值处理，过滤所述标记点红外光源关闭时的背景图像，获得标记点光斑图。

在本发明实施例中，定位单元14具体用于：

根据所述标记点光斑图通过三维信息反推算法，得到所述标记点的三维空间坐标。

在本发明实施例中，在获得了标记点的光斑图后，即可根据光斑图、图像获取单元透视模型、像素、实际距离标定参数代入三维信息反推算法，计算得到所述标记点的三维空间坐标。

为了实现对定位物体上标记点红外光源的开启与关闭，以及图像获取单元12获取图像时序的控制，如图5所示，本发明实施例所述的空间定位装置，还包括：

采样控制器15，用于控制定位物体上标记点红外光源的开启与关闭，以及图像获取单元12获取图像的时序。

在本发明实施例中，采样控制器15可以通过通信单元11控制定位物体上的红外光源的开启与关闭，以及图像获取单元12采集图像的时序，并且可以协调红外光源的开启或关闭，以及图像采样的延迟来确保每次采样到正确的标记点红外光源开启或关闭状态，同时，采样控制器15还可以将图形数据和标记点红外光源开启与关闭状态进行打包和传输给图像处理单元13，供图像处理单元13进行处理得到标记点光斑图。图像处理单元13可以获取采样控制器发来的图像数据包，去除标记点红外光源打开状态下图像中的背景图像，从而得到差分光斑图，定位单元14根据差分光斑图，通过三维反推算法，获得标记点的三维坐标，从而实现对定位物体的空间定位。

下面结合图6阐述本发明实施例空间定位装置的差分工作原理，图6为本发明实施例空间定位装置的工作时序。

如图6所示，在这个时序图内，Tsample为一次完整的空间定位所需的窗口时间，在一个独立的窗口时间内将完成一次定位。

时序图中“IR控制”一行表示的是标记点红外光源开启和关闭的时序，其中Ton是采样控制器15发出命令控制红外标记光源的打开的时间长度；Ton的长度应当足够长到保证图像获取单元12能采样2～4帧IR状态为ON的图像，以防止定位失败。Tsample时间长度内除去Ton 外的时间为采样控制器15发出命令控制红外标记光源的关闭的时间长度。

时序图中“图像帧”一行里，黑色的帧表示图像获取单元12采样到红外标记点关闭状态下的图像，即第一立体图像，白色的帧表示图像获取单元12采样到的图像是标记点红外光源开启的图像，即第二立体图像。当确定了Tdelay和Ton以后，采样控制器15就可以按照对应的延时去标记图像帧的流数据对应的IR状态,并将这个状态插入到流数据的数据帧内。

时序图中“差分图”一行表示的是获取差分图像的时序。由于采样控制器15已经标记了图像帧的流数据所对应的IR状态，所以可以很容易的提取出短时间内IR状态分别为ON和OFF的图像，将提取出来的两幅图像进行逐个像素差分处理，得到差分光斑图。

时序图中“空间定位”一行表示的是通过差分光斑图来解算空间坐标的时序。

下面结合图7、图8、图9透视模型示意图对本发明实施例空间定位装置计算标记点的空间位置进行阐述。

在本发明实施例中，计算标记点坐标前需要建立图像获取单元中左视摄像头及右视摄像头的透视模型，像素/实际距离标定。如图4所示的透视模型结构中，C1和C2为两个摄像头的成像传感器所在位置，它们之间的距离为D。P点为标记点红外光源的所在位置。当P点出现于两个摄像机的公共视野内，P点在2个摄像头内所生成的图像就会产生视差，标定像素差和摄像头的光轴距离D的数值关系，然后根据相机本身的透视模型，可以很容易的通过三角测量法推算出P点相对于相机平面的空间位置。

如图8所示，C1和C2是两个摄像头的镜头位置，设C1的主光轴与C1的镜头交点为零点(0,0,0)，则待定位的标记点P(x,y,z)在C1内成像的位置为(0,y,-p)，在C2内成像的位置为(D,y,-p)，其中D是两个摄像头之间的水平距离，p为摄像头自身的光路结构参数决定的。P(x,y,z)在水平方向与C1和C2的主光轴交点分别为(0,y,z)和 (D,y,z)。P点在C1和C2的成像位置分别为(x1,y,0)和(x2,y,0)，x1和x2可以由拍摄到的图像中P点的二维坐标(x,y)获得。可以根据图5中的三角形得出以下关系：

(z+p)/x＝p/x1

(z+p)/x2＝p/(d-x)

其中p可以通过实际测量已知坐标确定位置的点，将坐标代入以上关系标定得出，这个参数和选用的摄像头光学设计有关，因此不同的光学设计下的摄像头该参数需要在定位前进行标定。通过上述的关系式可以解出P点的z坐标和x坐标。由于双目摄像头水平放置的位置是一致的。因此只需要解出一个y即可获得y坐标。再通过图9的y方向视视图可以得到如下关系

(z+p)/y＝p/y

由此可以解出P点的y坐标。

根据这些参数和视差图建立三角测量模型就可以很容易的计算图像的深度信息和三维信息，是目前较为成熟的现有技术，例如目前最流行的开源计算机视觉库OPENCV就有大量相关的运算库。而这些现有的软件库里都大部分工作都在于着手于解决如何找出图像中相同部分，而本发明则充分避免了最繁重的工作，大大简化了图像识别算法。

下面结合附图进一步阐述本发明的具体实施例。

图10、图11、图12为本发明实施例亮度阈值处理获得标记点光斑的过程示意图。在本发明的实施例中，采用左视摄像头以及右视摄像头通过滤光器后获取的图像虽然可以滤除可见光，但是，如图7所示为一个典型的室内环境的图像，从窗户透进来的自然光以及屋顶的灯饰所包含的红外成分依然形成了巨大的光斑，标记点光斑被淹没在了复杂的光斑图形中了，识别的难度较大。从信息熵的角度上说，作为传达位置信息的标记点，它在需要定位的区域里所具有的信息能量和背景相比应该是较为强烈的，以此来产生区分度，让识别系统能够容易分辨。经过大量的实际研究分析和工程试验得出的结论是，室内使用加装了可见光滤光器摄像头在默认的自动曝光控制下拍摄的图像，红外标记点的光斑在 摄像头传感器上的曝光度实际上是过曝光状态。相应的像素点所采样到的RGB值都是满幅的，它的能量在这种情形下没有完全被利用好，在摄像头传感器内被削掉了它所传达信息的一部分能量。这一点在单纯软件上是无法处理好的，必须在摄像头的RGB像素点的采样电路上调整其放大器的增益，在本发明实施例中，可以在图像获取单元11中包括控制模块(图中未示出)，用于调整摄像头传感器曝光度，降低所述摄像头传感器对标记点红外光源的过曝光状态。当硬件上调整摄像头的传感器曝光度对标记点光源的采样不再是过曝状态时，获得如图11所示背景的环境光斑已经被淡化得不容易可见，而标记点的光斑依然很明显的图像。为了进一步去除获得图像中的背景图像，可以对获得的图像设定一个亮度阈值，从而对图像进行二值化处理，将低于亮度阈值的图像像素过滤掉，从而获得仅剩下如图12所示标记点的光斑。

图13至图17为本发明实施例差分处理获得标记点光斑的过程示意图。在本发明实施例中，比如，在一些应用场景中背景中存在一些较强的干扰光源，例如白炽灯，取暖设备等，这些光源本身所包含的红外能量就较高，在经过滤光器以后依然存在非标记点的光斑，尤其是照明灯类的光斑，实际的测试中我们发现背景距离较远的照明灯具类的光斑和标记点的光斑大小较为接近，这给搜寻标记点制造了较大的麻烦，虽然依然可以通过判断标记点所构成的特殊图形作为搜索的边界条件，但会因为多余的光斑影响识别，例如图13所示的由三个标记点构成的三角形标记，正常的情况下是容易搜索到标记点的几何中心的；但当像图14所示的情形出现多个环境光斑的时候，判断算法就很难判断出来是哪3个点构成的三角形才是标记点。而如图15和图16所示的情形是一种最为极端的情况。背景是电影拍摄现场的补光灯照射的现场，即使加装了可见光滤光器和降低传感器的感光值，但画面内依然出现了大块高亮度的光斑。红外标记点位于图片中白圈中的十字架左右两侧，图16所示的情况下，标记点的红外光源已经开启，它已经完全嵌入了大块的高亮度光斑内。而光斑区域的中部因为补光灯的光线能量强烈导致它的照度和标记点的亮点接近，难以通过亮度阈值处理模块133提取出光斑。在 这些应用场景中，可以通过将光源采样和背景采样时分复用的方式来滤除非标记点的环境干扰光斑。在这种干扰光极其强烈的情形下，可以通过极短时间，比如，在120帧的摄像头下一般建议为2～3帧的间隔进行2次开关记点状态的图像采样，然后通过差分处理模块131利用matlab做像素差分操作依然可以得到信噪比很高的光斑图。图17是将图16与图15进行在matlab里做像素差分操作所得到的图像。从图17可以发现即使是在一些极端的情况也可以有效的识别出标记点的光斑。可以理解的是，在本发明实施例中，通信单元11也可以是实现无线通信的矩离通信芯片，比如，WIFI芯片或蓝牙芯片，图像获取单元12可以是各种摄像头，采样控制器15、图像处理单元13及定位单元14也可以是由FPGA、ASIC或者是由CPU构成的微型计算机系统组成。特别的，视构成这部分的硬件性能的不同，各个部分可以在同一硬件模块内一起完成，并不严格限制于本实施例中说明的划分，在这里只是针对完成所有基本工作所需的部分进行一个说明，同时，采样控制器、图像处理单元及定位单元所执行的上述操作可以是一段程序或代码，当需要执行上述操作时，运行该段程序或代码。

在本发明实施例中，所述空间定位装置可以为立体显示器，具体可以包括体感游戏机或移动终端设备。

在本发明实施例中，利用安装在定位物体上的红外光源，将定位物体上标记点红外光源处于关闭状态下背景图像的第一立体图像以及所述标记点红外光源处于开启状态下包含所述标记点的第二立体图像进行图像处理，获得标记点光斑图，并根据标记点光斑图获得标记点的空间坐标，而且，在本发明实施例中，通过对第一立体图像及第二立体图像进行差分处理，有效地去除了背景图像对定位物体图像的干扰，本发明实施例，通过区分需要定位的物体与背景图像，实现对定位物体的空间定位，提升了图像识别率，降低了算法的复杂度，简化了算法运行环境，节约了成本。

图18为本发明实施例空间定位系统结构示意图，如图18所示，包括:空间定位装置181,及定位物体183,其中，空间定位装置181与前述 实施例中的空间定位装置相同，在此不再赘述。定位物体183包括：通信单元1831、微控制器1832及标记点红外光源1833，所述通信单元1831，用于与所述空间定位装置181通信，所述微控制器1832，用于控制所述通信单元1831与所述空间定位装置181通信以及控制所述标记点红外光源1833的打开或关闭。所述标记点红外光源1833，位于定位物体183的标记点上，并可以根据所述微控制器1832的控制打开或关闭。

在本发明实施例中，所述空间定位装置可以为立体显示器，具体可以包括体感游戏机或移动终端设备。

本发明实施例提供的空间定位系统，利用安装在定位物体上的红外光源，并通过空间定位装置，将定位物体上标记点红外光源处于关闭状态下背景图像的第一立体图像以及所述标记点红外光源处于开启状态下包含所述标记点的第二立体图像进行图像处理，获得标记点光斑图，并根据标记点光斑图获得标记点的空间坐标，区分了需要定位的物体与背景图像，实现对定位物体的空间定位，提升了图像识别率，降低了算法的复杂度，简化了算法运行环境，节约了成本。

图19为本发明实施例空间定位方法流程示意图，如图19所示，包括以下步骤：

S191,建立与定位物体的通信，

在本发明实施例中，可以通过空间定位装置上的通信单元与定位物体上的通信单元建立通信。

S192,获取定位物体上标记点红外光源处于关闭状态下背景图像的第一立体图像以及所述标记点红外光源处于开启状态下包含所述标记点的第二立体图像，

在本发明实施例中，获取图像之前，可以先初始化空间定位装置上图像获取单元的摄像头，其中，摄像头包括左视摄像头及右视摄像头。导入摄像头参数和透视模型。

在本发明实施例中，为了降低所述摄像头传感器对标记点红外光源的过曝光状态，可以调整摄像头感光度到标记点红外光源过曝临界点使 得摄像头采样到的标记点红外光源所形成的光斑刚好不过曝。

为了获取第一立体图像，可以由空间定位装置的采样控制器通过通信单元控制定位物体关闭红外标记点光源；在关闭标记点红外光源状态下，分别通过图像获取单元的左视摄像头及右视摄像头对无标记点光源的背景进行采样，获取定位物体上标记点红外光源处于关闭状态下背景图像的第一立体图像。

为了获取第二立体图像，可以由采样控制器在极短的时间内，比如，在120帧的摄像头下一般建议为2～3帧的间隔，通过通信单元控制定位物体开启红外标记点光源；在开启标记点红外光源状态下，分别通过图像获取单元的左视摄像头及右视摄像头对标记点红外光源开启状态下的实景图像进行采样，获取定位物体上标记点红外光源处于开启状态下包含标记点的第二立体图像。

S193,对所述第一立体图像及第二立体图像进行图像处理，获得所述标记点光斑图，

在本发明实施例中，对所述第一立体图像及第二立体图像进行图像处理，获得所述标记点光斑图，具体包括：

对所述第一立体图像及第二立体图像进行差分处理，去除所述第二立体图像中的背景图像，获得所述标记点光斑图，或者，

对所述第一立体图像及第二立体图像进行亮度阈值处理，去除所述第二立体图像中的背景图像，获得所述标记点光斑图。

在本发明实施例中，在获取第一立体图像及第二立体图像后，可以对红外光源处于关闭状态下背景图像的第一立体图像以及所述标记点红外光源处于开启状态下包含所述标记点的第二立体图像进行差分处理，比如，将第一立体图像与第二立体图像的逐个像素进行差分处理，从而去除第二立体图像中的背景图像，获得标记点光斑图；也可以对红外光源处于关闭状态下背景图像的第一立体图像以及所述标记点红外光源处于开启状态下包含所述标记点的第二立体图像进行亮度阈值处理，比如，设置大于第一立体图像的亮度作为亮度阈值，从而去除第二立体图像中的背景图像。

S194，根据所述标记点光斑图获得所述标记点的空间坐标。

在本发明实施例中，根据所述标记点光斑图获得所述标记点的空间坐标，具体为：

根据所述标记点光斑图通过三维信息反推算法，得到所述标记点的三维空间坐标，比如，可以根据所述标记点差分光斑图、图像获取单元透视模型、像素、实际距离标定参数代入三维信息反推算法，得到所述标记点的三维空间坐标。

为进一步理解本发明实施例空间定位方法的具体流程，下面结合具体实施流程图，对本发明空间定位方法作进一步阐述，图20为本发明实施例空间定位方法具体流程图，如图20所示，包括:

S201：初始化左右摄像头，导入相机参数和透视模型，其中，左右摄像头为空间定位装置上图像获取单元的具体实现形式，相机参数即为摄像头参数。

S202：调整摄像头感光度到标记点光源过曝临界点；之后进入定位采样循环流程步骤S203。

S203：开始定位采样循环。

S204：关闭标记点光源，采样控制器通过通信单元控制定位物体关闭红外标记点光源；

S205：对无标记状态的背景图像进行图像采样，比如，分别通过左视摄像头和右视摄像头对无标记点的背景进行采样，将采样的图像作为背景底图。其中，步骤S204～步骤S205的操作过程示意图如图21所示。

S206：开启标记点光源，在步骤S205后极短的时间内(尽可能的情况下，时间越短追踪运动物体成功的几率越大，在120帧的摄像头下一般建议为2～3帧的间隔)，采样控制器通过通信单元控制定位物体开启红外标记点光源。

S207：对有标记状态的图像进行采样，分别通过左视摄像头和右视摄像头对有标记点的实景进行采样，采样控制器将被步骤S205和步骤S206所采样的图像与红外标记点开关状态打包，传送给图像处理单元。

S208：将标记点开启的图像与背景底图做差分处理，图像处理单元 对标记点开启的图像与步骤S204与步骤S205获得的背景底图进行差分操作，得到高信噪比的标记点光斑图。

S209：图像处理单元将步骤S208所得的标记点光斑图和相机的透视模型，像素/实际距离标定等参数代入三维信息反推算法，得到标记点的三维信息，单次定位完成。返回步骤S203。

步骤S206～步骤S209操作过程示意图如图22所示。

本发明实施例提供的空间定位方法，利用安装在定位物体上的红外光源，通过对定位物体上标记点红外光源处于关闭状态下背景图像的第一立体图像以及所述标记点红外光源处于开启状态下包含所述标记点的第二立体图像进行图像处理，获得标记点光斑图，并根据标记点光斑图获得标记点的空间坐标，区分了需要定位的物体与背景图像，实现对定位物体的空间定位，提升了图像识别率，降低了算法的复杂度，简化了算法运行环境，节约了成本。

下面结合具体应用场景实例，对本发明实施例作进一步阐述。

图23为对操作棒进行空间定位的应用实例示意图，如图23所示，左右视红外摄像头231安装于立体显示器232上，用户使用一个安装有2个红外标记光源233的操作棒，追踪用户的操作棒的空间位置来进行操作的实施例。

在本实施例中，追踪操作棒的立体运动轨迹可以用作空中鼠标、立体UI操作、和立体显示器中所显示的虚拟物体进行交互等操作的数据输入手段。

由于立体显示可以显示视觉上在屏幕内或是屏幕外的虚拟物体，因此这种可以空间定位的交互手段可以大大提升交互时的真实感。用户可以使用操作棒直接和目视的虚拟物体进行直观的交互，使得这种可以进行空间定位的操作棒具有很强的开发性。

图24为对手持虚拟刀具进行空间定位的应用实例示意图，如图24所示，图24是图23的应用的一种延伸，是这种空间定位系统应用于游戏机的辅助输入设备的一个案例。图中的例子是在立体显示器241上安装左右视红外摄像头242，用户手持虚拟刀具，刀具上安装有2个环形 的红外标记光源243，捕捉用户所持的刀具上的标记点的空间位置来进行诸如水果忍者一类的持刀切削类游戏。

图25为对体感输入设备进行空间定位的应用实例示意图，如图22所示，是本发明实施例空间定位系统应用于游戏机的体感输入设备的一个案例。图中的例子是检测用户的身体动作来实现游戏交互，尤其是手部的动作。可以实现类似功能的有微软的kinect和leap motion的体感传感器。例如kinect是靠投射随机红外光斑和双目红外相机的方式来检测视野内的景物的深度信息来检测人的动作，虽然可以识别的内容多，可开发性较好，但存在有对环境内红外光强和背景大小要求苛刻，功耗大，硬件复杂成本高等问题；leap motion的体感传感器利用的是双目视差加图像识别的方法，也因为前述的图像识别上的先天困难，存在着手势丢失检测的问题。

本实施例提供了一种结构简单成本低抗干扰强的体感检测手段。在游戏机显示器上安装左右视红外摄像头251,用户手腕佩戴2个红外光源手环252，捕捉用户手腕的空间位置就可以通过识别用户的动作来进行游戏交互内容。“无辅助设备”的轻便和恰到好处的辅助设备之间的平衡是个哲学问题。

图26为利用所述空间定位系统进行裸眼立体显示中的人眼追踪的应用实例示意图，立体显示技术的本质在于将不同的两幅图像分别投送给左右眼。现有的平面立体显示方案可以分为眼镜型和裸眼型，眼镜型的所佩戴的眼镜多为需要在眼睛前加装光学镜片，通过时分复用或者是偏振光方向区分的方法让人的双眼看到不同的画面。

还有一种裸眼立体显示技术则通过跟踪人眼相对于屏幕前的位置，利用安装于屏幕前的程控光栅，将不同的图像光线投送给人眼所在区域，让人看到立体的感觉。

现有的技术里一般是通过摄像头进行人脸识别来跟踪用户的位置，但这种方式难以解决多张人脸同时处于区域内的情况。例如内窥镜手术环境下，主刀医生和辅助的护士往往同时处于显示器的前方，人脸识别难以获取需要观看立体效果的具体人的位置。

如图26所示，通过本发明所述的空间定位方法，在需要观看立体效果的具体人面部佩戴红外标记点261的装置，通过显示器262上的左右视红外摄像头263以及程控光栅264，可以非常容易的分辨出来观看者眼部的具体位置。由于红外标记点的装置结构简单轻便也无需光学镜片，对于佩戴者而言毫无负担感，在观看屏幕之外的物体时也没有光线过暗的问题，是一种非常具有优势的裸眼立体显示人眼追踪的方案。

需要说明的是，本发明实施例中的显示模式切换装置中各个模块、装置之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容同样适用于显示模式切换方法。本发明实施例中的各个模块可以作为单独的硬件或软件来实现，并且也可以根据需要使用单独的硬件或软件来实现各个单元的功能的组合。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (15)

1.一种空间定位装置，其特征在于，包括：

通信单元，用于建立与定位物体的通信；

图像获取单元，用于获取定位物体上标记点红外光源处于关闭状态下背景图像的第一立体图像以及所述标记点红外光源处于开启状态下包含所述标记点的第二立体图像；

图像处理单元，用于对所述第一立体图像及第二立体图像进行图像处理，获得所述标记点的光斑图，

定位单元，用于根据所述标记点的光斑图获得所述标记点的空间坐标。

2.根据权利要求1所述的装置，其特征在于，所述图像处理单元包括：

差分处理模块，用于对所述第一立体图像及第二立体图像进行差分处理，去除所述第二立体图像中的背景图像，获得所述标记点的光斑图，或者，

亮度阈值处理模块，用于对所述第一立体图像及第二立体图像进行亮度阈值处理，去除所述第二立体图像中的背景图像，获得所述标记点的光斑图。

3.根据权利要求1所述的装置，其特征在于，所述装置还包括：

采样控制器，用于控制所述标记点红外光源的开启与关闭，以及所述图像获取单元获取图像的时序。

4.根据权利要求1所述的装置，其特征在于，所述定位单元具体用于：

根据所述标记点光斑图通过三维信息反推算法，得到所述标记点的三维空间坐标。

5.根据权利要求1-4任一项所述的装置，其特征在于，所述图像获取单元包括左视摄像头及右视摄像头，所述左视摄像头及右视摄像头分别包括:镜头模组、红外带通滤光器及摄像头传感器，所述红外带通滤光器用于过滤可见光，所述摄像头传感器用于感应所述标记点红外光源。

6.根据权利要求5所述的装置，其特征在于，所述图像获取单元还包括控制模块，用于调整所述摄像头传感器的曝光度。

7.根据权利要求5所述的装置，其特征在于，所述红外带通滤光器为波长介于800nm与1100nm之间的带通硅透镜滤光器。

8.根据权利要求1-7所述的装置，其特征在于，所述红外光源为波长介于850nm与980nm之间的红外LED。

9.根据权利要求1至8所述的装置，其特征在于，所述装置包括：体感游戏机或移动终端设备。

10.一种空间定位系统，其特征在于，包括如权利要求1-8任一项所述的空间定位装置及定位物体，所述定位物体包括：通信单元、微控制器及所述标记点红外光源，

所述通信单元，用于与所述空间定位装置通信，

所述微控制器，用于控制所述通信单元与所述空间定位装置通信以及控制所述标记点红外光源的开启或关闭。

11.根据权利要求10所述的系统，所述空间定位装置包括：体感游戏机或移动终端设备。

12.一种空间定位方法，其特征在于，包括：

建立与定位物体的通信，

获取定位物体上标记点红外光源处于关闭状态下背景图像的第一立体图像以及所述标记点红外光源处于开启状态下包含所述标记点的第二立体图像，

对所述第一立体图像及第二立体图像进行图像处理，获得所述标记点光斑图，

根据所述标记点光斑图获得所述标记点的空间坐标。

13.根据权利要求12所述的方法，其特征在于，对所述第一立体图像及第二立体图像进行图像处理，获得所述标记点光斑图，具体包括：

对所述第一立体图像及第二立体图像进行差分处理，去除所述第二立体图像中的背景图像，获得所述标记点光斑图，或者，

对所述第一立体图像及第二立体图像进行亮度阈值处理，去除所述第二立体图像中的背景图像，获得所述标记点光斑图。

14.根据权利要求12所述的方法，其特征在于，所述方法，还包括：

控制所述标记点红外光源的开启与关闭，以及获取图像的时序。

15.根据权利要求12所述的方法，其特征在于，所述根据所述标记点光斑图获得所述标记点的空间坐标，具体包括：

根据所述标记点光斑图、透视模型、像素、实际距离标定参数代入三维信息反推算法，得到所述标记点的三维空间坐标。