CN206541271U - 一种光学定位系统和虚拟现实系统 - Google Patents

Abstract

本实用新型公开了一种光学定位系统和虚拟现实系统。其中，该光学定位系统用于对定位空间中的定位目标进行定位，包括：红外发光装置，分别设置在所述定位目标外表，用于发射红外光；以及双目红外摄像头模组，包括刚性连接的第一红外摄像头和第二红外摄像头，用于分别从不同的视角拍摄所述定位空间中的第一红外光图像和第二红外光图像。由此，可以实现虚拟现实场景中的多目标的区分与定位。

Description

一种光学定位系统和虚拟现实系统

技术领域

本实用新型涉及定位技术领域，尤其涉及一种光学定位系统，及其在可定位虚拟现实系统中的应用。

背景技术

现有的光学定位技术，例如，索尼公司的双目可见光主动光学定位方案中，目标物的色球可以主动发射不同颜色的可见光，利用两球在摄像头所拍摄的图像中呈现不同的颜色区分每个色球的图像，再利用三角定位原理确定每个色球的空间位置，从而完成多目标的空间定位。

又例如，Oculus公司的单目红外主动光学定位方案中，目标物上固定设置多个可以主动发射红外光的标识点，标识点以与摄像头帧率相同的频率闪烁并与摄像头快门同步，通过控制各个红外标识点的闪烁模式可以区分不同标识点，根据标识点之间的相对位置关系确定目标物的空间位置。

然而，利用可见光颜色区分多目标的双目可见光主动光学定位方案中，抗干扰性比较差，容易受到环境光影响。单目红外主动光学定位方案中，单目定位需要标识点较多，定位件结构较大，且区分标识点方法复杂，不能较好地满足用户需求，影响用户的体验效果。

因此，基于上述问题，仍然需要一种新的光学定位方案，以解决上述至少一个问题。

实用新型内容

本实用新型要解决的技术问题是提供一种光学定位系统和虚拟现实系统，以实现虚拟现实场景中的多目标的区分与位置追踪。

根据本实用新型的一个方面，提供了一种光学定位系统，用于对定位空间中的定位目标进行定位，该光学定位系统可以包括：红外发光装置，分别设置在定位目标外表，用于发射红外光；以及双目红外摄像头模组，包括刚性连接的第一红外摄像头和第二红外摄像头，用于分别从不同的视角拍摄定位空间中的第一红外光图像和第二红外光图像。

优选地，一个定位目标上可以设置多个红外发光装置。

优选地，该光学定位系统还可以包括：发光控制器，设置在定位目标上，并且连接到多个红外发光装置，用于控制红外发光装置的亮灭和/或红外光的强度。

优选地，发光控制器可以控制多个红外发光装置分别以不同的预定发光模式发射红外光。

优选地，该光学定位系统还可以包括：计算装置，以有线方式或无线方式连接到双目红外摄像头模组，用于对第一红外光图像和第二红外光图像进行处理。

优选地，该光学定位系统还可以包括：控制主机，以有线方式或无线方式连接到发光控制器和计算装置，向发光控制器发送控制指令以控制红外发光装置的发光模式，并向计算装置通知红外发光装置的发光模式。

优选地，该光学定位系统还可以包括：传感器，设置在定位目标上，用于获取定位目标的运动信息和/或姿态信息，并通过有线方式或无线方式发送给计算装置。

优选地，该光学定位系统还可以包括：红外滤光片，分别设置在第一红外摄像头和第二红外摄像头上，红外滤光片能够透过红外光，并滤除其它波段的光。

根据本实用新型的另一方面，还提供了一种虚拟现实系统，该系统可以包括上述的光学定位系统和头戴式显示器，其中，头戴式显示器可以作为定位目标，其外表可以设置有多个红外发光装置。

优选地，该虚拟现实系统还可以包括：一个或多个便携式设备，适于用户穿戴或携带，作为定位目标，其外表设置有多个红外发光装置。

通过本实用新型的光学定位系统和虚拟现实系统，能够实现虚拟现实系统场景中多目标的区分与位置追踪。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本实用新型一个实施例的光学定位系统结构的示意性框图。

图2示出了根据本实用新型又一个实施例的光学定位系统结构的示意性框图。

图3示出了根据本实用新型一个实施例的红外发光装置发光模式控制方案。

图4示出了三角定位原理的简图。

图5示出了根据本实用新型的一个应用实施例的定位流程图。

图6示出了根据本实用新型一个实施例的虚拟现实系统结构的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。本领域的技术人员可以理解，如果没有明确说明，本公开所述的连接，图示中标明的连接，可以是直接连接也可以是通过其他设备、装置、介质等的间接连接。

如前所述，现有技术的光学定位系统中，要么系统抗干扰性能较差，容易受到环境光的干扰；要么单目摄像头定位需要标识点较多，定位件结构较大，且区分标识点方法复杂，均不能很好的实现多目标的区分和跟踪。

因此，仍然需要一种新的方案，以解决上述至少一个问题。

基于此，本实用新型提出了一种光学定位系统，用于对定位空间中的定位目标进行定位。图1示出了根据本实用新型一个实施例的光学定位系统的结构的示意性框图。如图1所示，本实用新型的光学定位系统100可以包括红外发光装置111和双目红外摄像头模组120。

红外发光装置111可以分别设置在定位目标外表，用于发射红外光。

这里，红外发光装置111可以是点状、片状或其它形状。例如，可以是小型的红外灯，其材质可以是发光二极管(LED)、激光红外灯等，可以发射波长为810nm、850nm、940nm或者其它波长的红外光。

定位目标可以是定位空间中待定位的目标物，例如被用户使用的多种VR设备—头戴式显示设备(简称头显)、手枪、手柄等。定位目标的外表可以设置一个或多个红外发光装置111，这多个红外发光装置111可以按照一定的规律排列设置在定位目标的外表(或者也可以无规律或无序排列)。

红外发光装置111可以以预定发光模式发射红外光，其发光模式可以是预先设定的，也可以是根据设备的实际使用情况设定的，还可以对其发光模式进行控制或调节。

可以通过对红外发光装置111进行唯一编码以区分各个红外发光装置。例如可以通过预先设定定位目标上各个红外发光装置的发光模式，每一个红外发光装置对应一种发光模式，通过对红外发光装置的发光模式的识别可以区分各个红外发光装置，在定位目标上设有多个红外发光装置时，可以通过对定位目标上多个红外发光装置的组合发光模式的识别区分各个定位目标。

每个红外发光装置可以发射按照预定模式闪烁的红外光，预定发光模式可以是指红外发光装置的亮灭不同，也可以是其发光强度的不同，反映在摄像头图像中的区别是发光装置的发光片亮灭、灰度或大小的不同。如此，可以通过识别红外发光装置的发光模式，以区分不同的红外发光装置，进一步地区分各个定位目标。

另外，定位目标上的红外发光装置可以主动发射红外光被系统识别。例如，在用户使用VR设备的过程中(此时，定位目标是使用VR设备的人)，VR设备上的红外发光装置可以一直主动发射红外光。或者，也可以由系统发射信号，定位目标上的红外发光装置可以以响应于该信号发射红外光的方式被系统识别。

双目红外摄像头模组120可以包括刚性连接的第一红外摄像头121和第二红外摄像头122，用于分别从不同的视角拍摄定位空间中的第一红外光图像和第二红外光图像。

这里，以“第一”和“第二”区分双目红外摄像头模组的两个摄像头，两个摄像头的配置可以相同(包括相同的镜头或参数，例如，焦距、尺寸、分辨率、摄像帧率等)，且相对位置是固定的，其相对距离可以作为三角定位的一个参数，用于计算红外发光装置或定位目标的位置。其中，三角定位法的原理是利用2台或者2台以上的探测器在不同位置探测目标的方位，然后运用三角几何原理确定目标的位置和距离，是本文中进行定位的基本方法。

第一红外摄像头121可以从第一视角拍摄第一红外光图像，第二红外摄像头122可以从第二视角拍摄第二红外光图像。如此，定位空间中红外发光装置能够同时被双目红外摄像头模组的两个摄像头拍摄到，利用三角定位方法和同一时刻两个摄像头所拍摄的图像和对应的参数，可以确定这一时刻该红外发光装置在三维空间里的位置信息。

刚性连接的两个摄像头的相对位置确定，其相对距离可以作为三角定位的一个参数。基于两个摄像头的位置关系，光学定位系统可以对两个摄像头拍摄的两帧红外光图像进行畸变校准和行对齐，生成无畸变的行对齐的图像，以便于进行后续的3D匹配或定位操作。

如此，通过双目红外摄像头模组拍摄到的红外发光图像，通过红外发光装置的位置以及定位目标上红外发光装置的发光模式，可以实现对红外发光装置的定位，进一步地实现对定位目标的定位以及多定位目标的区分。

另外，在光学定位系统中，当系统想要识别某个定位目标时，如果该定位目标恰好没有发射红外光，或者恰好被遮挡而不能被摄像头拍摄到时，则系统不能对该定位目标进行识别，此时，还可以在光学定位系统中设置控制装置，以便于定位目标可以响应于系统的控制重新进入发光模式，方便地被光学定位系统识别。

图2示出了根据本实用新型另一个实施例的光学定位系统的结构的示意性框图，光学定位系统中还可以包括如图2所示的计算装置140。计算装置140可以以有线方式或无线方式连接到双目红外摄像头模组，用于对第一红外光图像和第二红外光图像进行处理。

这里，计算装置140可以对双目红外摄像头模组拍摄的第一红外光图像和第二红外光图像进行畸变校准和行对齐，利用图像算法去除环境干扰，对两幅图像进行3D匹配，找出图像中红外发光装置在两幅图像中的位置，根据这些信息和三角定位原理对红外发光装置进行定位。

具体地说(以图4所示为例进行说明)，对于三维空间中的一个红外发光装置D(假设该红外发光装置D是一个红外发光点)，如果这个点可以同时被两个摄像头(C₁、C₂)拍摄到，则根据同一时刻所拍摄到的两幅图像和对应的参数(例如，两个摄像头的焦距f₁、f₂、内外方位元素等，摄像头的相机参数可以是已知的，也可以是对其进行相机标定计算出来的)进行计算，可以确定这一时刻该点D在三维空间中的位置信息。

对于设置有3个或更多红外发光装置的定位目标，计算装置140还可以利用算法(例如，PnP算法等)区分红外发光装置，将各个发光装置与各个定位目标对应起来，从而对定位目标进行定位。

如图2所示，本实用新型的光学定位系统100还可以包括发光控制器112和控制主机130。

发光控制器112可以设置在定位目标(例如头显、手枪等设备)上，并且连接多个红外发光装置，用于控制红外发光装置的亮灭和/或红外光的强度。

发光控制器112可以以有线方式或者无线方式连接多个红外发光装置，作为红外发光装置的控制装置，控制红外发光装置的亮灭或者发光强度。发光控制器112可以在用户使用头显、手枪等VR设备时，主动控制多个红外发光装置的亮灭和/或发光强度。也可以在光学定位系统需要对VR设备(定位目标)进行定位时，控制多个红外发光装置的亮灭和/或发光强度。

发光控制器112可以简单地控制红外发光装置的发光模式。例如，一个定位目标上的多个红外发光装置均以相同的发光模式同时发射红外光，不同的定位目标的发光模式不同。在一个实施例中，假设有A、B两个待定位目标物(定位目标)，分别以图3所示的强弱强弱强，强强弱强弱(也可以是亮灭亮灭亮，亮亮灭亮灭这种控制亮灭的方式；或者是强弱灭强弱，强强强弱灭这种混合的方式)两种编码向空间中发射红外光。摄像头不断捕捉两个目标物的图像，通过连续几帧的强弱变化即可判断出两个目标物的ID，例如当捕捉到某一目标在连续5帧中强弱变化顺序是强弱强弱强，则可以判定其为目标A。

发光控制器112还可以控制多个红外发光装置分别以不同的预定发光模式发射红外光。例如，假设某个定位目标A上有五个红外发光装置，可以对这五个红外发光装置编号，分别为1、2、3、4、5，同一时刻，不同编号的红外发光装置可以按照编号顺序分别以亮、灭、亮、灭、亮(或者亮、亮、灭、亮、灭这种控制亮灭的方式或者强、弱、强、弱、强，强、强、弱、强、弱这种控制强弱的方式，或者是强、弱、灭、强、弱，强、强、强、弱、灭这种混合的方式)的方式向空间中发射红外光，下一时刻以灭、亮、灭、亮、灭的方式向定位空间中发射红外光(再下一时刻以亮、灭、亮、灭、亮的方式发光，五个红外发光装置的亮灭控制可以是五个连续时刻依次更换顺序)。其它的定位目标可以因其设置的红外发光装置的数目、位置或者多个红外发光装置发光模式等的不同(多种不同的组合可以有多种不同的方案)，以区分于定位目标A。摄像头不断捕捉多个目标物的图像，通过连续几帧的发光模式的变化即可判断出不同目标物的ID。

发光控制器112还可以对红外发光装置的发光模式进行调节。例如，当系统需要识别定位目标A时，还可以控制定位目标A的发光装置由常亮状态变为以20ms的间隔闪烁一次，如此，反映在图像中的情况为有一个发光点从有到无再到有，从而可以区分定位目标A。

控制主机130可以以有线方式或无线方式连接到发光控制器112和计算装置140，向发光控制器112发送控制指令以控制红外发光装置的发光模式，并向计算装置通知红外发光装置的发光模式。其中，计算装置140可以是单独设置的，也可以是控制主机130的一部分。

这里，控制主机130向发光控制器112发送的控制指令可以是用户输入的。例如，用户可以对多种VR设备进行编号，每个VR设备设定固定的发光模式，在用户使用其中的VR设备及光学定位系统时，通过触摸屏或其他输入设备输入或者按键选择所使用设备以固定的发光模式发射红外光，其他未被使用的设备则不发射红外光。

控制指令还可以是控制主机130根据光学定位系统的需要做出的。例如，当系统需要识别某个定位目标(例如头显)时，控制主机可以做出使定位目标按照特定模式工作的控制指令，从而根据图像的变化判断定位目标在图像中的位置。

控制主机130还可以向计算装置140通知红外发光装置的发光模式，如此，计算装置可以根据连续多帧图像中红外发光装置的图像变化，判断定位目标在图像中的位置，实现对定位目标的定位。

此外，当发生两目标物相互遮挡、两目标物全部跑出定位空间等两目标物丢失的状况下，系统在使用中会由于遮挡、干扰等原因导致红外发光装置在图像中丢失的现象，此时，可以利用跟踪和运动估计算法对短时间的丢失进行补偿。在红外发光装置长时间丢失导致跟踪失踪、运动估计算法无法准确给出目标位置的情况下，定位系统可以再次发送控制指令控制亮灭，从而重新区分定位目标，再利用跟踪算法继续跟踪。

另外，该光学定位系统还可以包括如图2所示的传感器113。传感器113可以设置在定位目标上，用于获取定位目标的运动信息和/或姿态信息，并通过有线方式或无线方式发送给计算装置140。其中，传感器可以是运动传感器(如九轴传感器)，还可以是红外传感器。或者，传感器还可以包括感测味觉、嗅觉等其它感知功能的传感器。

计算装置140接收到定位目标的运动信息和/或姿态信息后，可以将定位目标的位置转换到世界坐标系，将定位目标的位置信息与传感器给出的运动信息和/或姿态信息进行融合，使用户可以在VR内容中与VR场景进行交互。

另外，该光学定位系统还可以包括如图2所示的红外滤光片1212。

红外滤光片1212可以分别设置在第一红外摄像头121和第二红外摄像头122上，红外滤光片能够透过红外光，并滤除其它波段的光。

这里，红外滤光片可以是多种材质的，例如近红外滤光片可以是由光学玻璃镀膜的、有色玻璃制成的、或者塑料的等；中远红外滤光片可以由硅(Si)、硒化锌(ZnSe)、蓝宝石(Sapphire)、氟化钙(CaF₂)、石英玻璃等制成的。

红外波段的波长范围可以很宽广，从780nm-14um，包括近红外(780-1500nm，NIR)、中红外(1500-6000nm，MIR)和远红外(6000-14000nm，FIR)，可以根据需要可以设置合适的红外滤光片。其它波段的光可以是可见光波段或者紫外光波段或者其它的波段的光。

在一个应用例中，可以以图5所示的流程图表示定位流程的实现过程。其中，可以在步骤S510获取图像。双目红外摄像头模组可以分别获取第一红外光图像和第二红外光图像。

在步骤S520中，计算装置可以对获取的两帧红外光图像进行去畸变和行对齐变换处理，生成无畸变和行对齐的图像，以便进行下面的3D匹配和定位操作。

在步骤S530中，计算装置可以利用图像算法去除环境光干扰。

在步骤S540中，判断是否需要区分多个定位目标，如果判断结果为是，则进入步骤S550,；如果判断结果为否，则进入步骤S560。

在步骤S550中，根据连续几帧红外光图像中红外发光装置的发光模式的变化，区分多个定位目标，并进入步骤S560。

在步骤S560中，进行3D匹配和定位。将摄像头坐标系(世界坐标系)中的定位目标和定位空间中的定位目标一一对应。

在步骤S570中，进行目标跟踪。

在步骤S580中，输出目标位置。

至此，已经结合图1至图5详细描述了根据本实用新型的光学定位系统。另外本实用新型的光学定位系统还可以应用于可定位的虚拟现实系统中。

本实用新型的光学定位系统可以应用于虚拟现实技术中，图6示出了根据本实用新型一个实施例的虚拟现实系统。如图6所示，该虚拟现实系统600可以包括图1至图5的光学定位系统100、头戴式显示器620以及一个或多个便携式设备630。其中，头戴式显示器可以作为定位目标，其外表可以设置有多个红外发光装置。便携式设备，适于用户穿戴或携带，作为定位目标，其外表设置有多个红外发光装置。

头戴式显示器620或便携式设备630外表设置的多个红外发光装置也可以以预定或固定的发光模式发射红外光，双目红外摄像头模组通过拍摄红外光图像确定红外发光装置在图像中的位置，进一步地确定定位目标(头戴式显示设备或便携式设备)在定位空间中的位置。其相关描述可参见图1-图5中的相关描述。

至此，已经参考附图详细描述了根据本实用新型的光学定位系统和虚拟现实系统。

以上已经描述了本实用新型的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种光学定位系统，用于对定位空间中的定位目标进行定位，其特征在于，包括：

红外发光装置，分别设置在所述定位目标外表，用于发射红外光；以及

双目红外摄像头模组，包括刚性连接的第一红外摄像头和第二红外摄像头，用于分别从不同的视角拍摄所述定位空间中的第一红外光图像和第二红外光图像。

2.根据权利要求1所述的光学定位系统，其特征在于，

一个所述定位目标上设置多个所述红外发光装置。

3.根据权利要求2所述的光学定位系统，其特征在于，还包括：

发光控制器，设置在所述定位目标上，并且连接到所述多个红外发光装置，用于控制所述红外发光装置的亮灭和/或所述红外光的强度。

4.根据权利要求3所述的光学定位系统，其特征在于，还包括：

所述发光控制器控制所述多个红外发光装置分别以不同的预定发光模式发射红外光。

5.根据权利要求3所述的光学定位系统，其特征在于，还包括：

计算装置，以有线方式或无线方式连接到所述双目红外摄像头模组，用于对所述第一红外光图像和所述第二红外光图像进行处理。

6.根据权利要求5所述的光学定位系统，其特征在于，还包括：

控制主机，以有线方式或无线方式连接到所述发光控制器和所述计算装置，向所述发光控制器发送控制指令以控制所述红外发光装置的发光模式，并向所述计算装置通知所述红外发光装置的发光模式。

7.根据权利要求5所述的光学定位系统，其特征在于，还包括：

传感器，设置在所述定位目标上，用于获取所述定位目标的运动信息和/或姿态信息，并通过有线方式或无线方式发送给所述计算装置。

8.根据权利要求1-7中任何一项所述的光学定位系统，其特征在于，还包括：

红外滤光片，分别设置在所述第一红外摄像头和所述第二红外摄像头上，所述红外滤光片能够透过红外光，并滤除其它波段的光。

9.一种虚拟现实系统，其特征在于，包括：

根据权利要求1-8中任何一项所述的光学定位系统；

头戴式显示器，作为定位目标，其外表设置有多个红外发光装置。

10.根据权利要求9所述的虚拟现实系统，其特征在于，还包括：

一个或多个便携式设备，适于用户穿戴或携带，作为所述定位目标，其外表设置有多个所述红外发光装置。