CN109445599A - 交互笔检测方法及3d交互系统 - Google Patents

Abstract

本公开提供一种交互笔检测方法及3D交互系统，涉及立体交互技术领域。本公开提供的交互笔检测方法及3D交互系统，基于双目视觉定位原理，获取交互笔上的光学标记点在定位摄像机视距范围内的空间坐标，并根据交互笔中的磁力计得到交互笔与地磁场三维坐标系的夹角，通过光学坐标变换，得到显示器的正交射线与地磁场三维坐标系的夹角，因此可以根据光学标记点在定位摄像机视距范围内的空间坐标确定交互笔的笔头以及根据显示器的正交射线与地磁场三维坐标系的夹角检测笔头相对显示器的相对方向，进而，提高了交互笔空间定位的精确性以及交互操作的精确性。

Description

交互笔检测方法及3D交互系统

技术领域

本公开涉及立体交互技术领域，具体而言，涉及一种交互笔检测方法及3D交互系统。

背景技术

目前，实现3D立体交互的计算机系统大多基于光学定位摄像头，实时获取交互笔在立体空间中的位置以及姿态信息，按照一定的算法计算出交互笔在现实立体空间坐标系中的位置，再在计算机建立的虚拟三维空间坐标系中映射出交互笔的虚拟空间位置，但是，3D立体交互的精确度仍有待提高。

发明内容

有鉴于此，本公开提供一种交互笔检测方法及3D交互系统。

本公开提供的交互笔检测方法，应用于3D交互系统，所述3D交互系统包括交互笔、显示器以及多个定位摄像机，所述多个定位摄像机分别设置于所述显示器的两侧，所述交互笔设置有磁力计以及光学标记点；所述方法包括：

基于双目视觉定位原理，获取所述光学标记点在所述定位摄像机视距范围内的空间坐标。

根据所述磁力计得到所述交互笔与地磁场三维坐标系的夹角，并通过光学坐标变换，得到所述显示器的正交射线与所述地磁场三维坐标系的夹角。

根据所述光学标记点在所述定位摄像机视距范围内的空间坐标确定所述交互笔的笔头。

根据所述显示器的正交射线与所述地磁场三维坐标系的夹角检测所述笔头相对所述显示器的相对方向。

进一步的，所述交互笔设置有陀螺仪，所述陀螺仪用于获取所述交互笔的姿态信息，所述姿态信息包括所述交互笔的俯仰角和偏航角。

进一步的，所述交互笔设置有多个所述光学标记点，基于所述双目视觉定位原理，获取所述光学标记点在所述定位摄像机视距范围内的空间坐标的步骤包括：

判断多个所述光学标记点是否可见。

若多个所述光学标记点均可见，根据所述双目视觉定位原理，获取多个所述光学标记点在所述定位摄像机视距范围内的空间坐标。

进一步的，若多个所述光学标记点均可见，所述方法还包括：

判断所述交互笔是否为首次从所述定位摄像机视距范围外进入所述定位摄像机视距范围内。

如果所述交互笔为首次从所述定位摄像机视距范围外进入所述定位摄像机视距范围内，根据所述光学标记点直接确定所述交互笔的笔头。

如果所述交互笔一直位于所述定位摄像机视距范围内，获取多个所述光学标记点在所述定位摄像机视距范围内的空间坐标，以根据多个所述光学标记点在所述定位摄像机视距范围内的空间坐标确定所述交互笔的笔头。

进一步的，若只有部分所述光学标记点可见，所述方法还包括：

根据所述双目视觉定位原理，获取可见的光学标记点在所述定位摄像机视距范围内的空间坐标，并根据所述陀螺仪获取所述交互笔的姿态信息。

根据所述姿态信息以及可见的光学标记点在所述定位摄像机视距范围内的空间坐标计算其余不可见的光学标记点在所述定位摄像机视距范围内的空间坐标。

进一步的，若多个所述光学标记点均不可见，所述方法还包括：

获取所述交互笔的移动历史记录，根据所述移动历史记录，计算所述交互笔的移动方向、移动速度及加速度，预测所述交互笔中心点的位置坐标。

获取所述交互笔的笔头与笔尾两端的光学标记点之间的距离。

根据所述陀螺仪获取所述交互笔的姿态信息。

根据所述交互笔的中心点的位置坐标、所述光学标记点之间的距离以及所述交互笔的姿态信息，计算所述交互笔的笔头与笔尾两端的光学标记点在所述定位摄像机视距范围内的空间坐标，以根据所述交互笔的笔头与笔尾两端的光学标记点在所述定位摄像机视距范围内的空间坐标确定所述交互笔的笔头。

进一步的，在基于双目视觉定位原理，获取所述光学标记点在所述定位摄像机视距范围内的空间坐标后，所述方法还包括：

根据获取的所述光学标记点在所述定位摄像机视距范围内的空间坐标计算所述交互笔的姿态信息。

根据计算得到的所述交互笔的姿态信息对所述陀螺仪获取的所述交互笔的姿态信息进行校正。

进一步的，根据计算得到的所述交互笔的姿态信息对所述陀螺仪获取的所述交互笔的姿态信息进行校正的步骤包括：

根据所述交互笔的初始姿态，得到所述交互笔的空间坐标与四元数坐标的转换关系。

获取所述交互笔在移动时，所述光学标记点在所述定位摄像机视距范围内的空间坐标。

根据所述光学标记点在所述定位摄像机视距范围内的空间坐标，计算所述交互笔的第一姿态信息。

获取所述交互笔在移动时的四元数值，计算上一次所述交互笔的三维空间向量，根据所述三维空间向量及所述第一姿态信息计算得到第二姿态信息。

根据所述第二姿态信息对所述陀螺仪获取的所述交互笔的姿态信息进行校正。

进一步的，在基于双目视觉定位原理，获取所述光学标记点在所述定位摄像机视距范围内的空间坐标之前，所述方法还包括：

以所述显示器的屏幕中心为坐标原点，确定所述3D交互系统的基准坐标系。

所述多个定位摄像机分别以所述坐标原点旋转预设的角度，并平移至所述显示器的两侧，以使所述定位摄像机的相机坐标与所述3D交互系统的基准坐标满足以下矩阵关系

其中，R为3*3的旋转矩阵，T为三维平移矩阵；Xc，Yc，Zc为相机坐标，Xo，Yo，Zo为基准坐标。

本公开提供一种3D交互系统，上述的交互笔检测方法应用于所述3D交互系统。

本公开提供的交互笔检测方法及3D交互系统，基于双目视觉定位原理，获取交互笔上的光学标记点在定位摄像机视距范围内的空间坐标，并根据交互笔中的磁力计得到交互笔与地磁场三维坐标系的夹角，通过光学坐标变换，得到显示器的正交射线与地磁场三维坐标系的夹角，因此可以根据光学标记点在定位摄像机视距范围内的空间坐标确定交互笔的笔头以及根据显示器的正交射线与地磁场三维坐标系的夹角检测笔头相对显示器的相对方向，进而，提高了交互笔空间定位的精确性以及交互操作的精确性。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本公开所提供的3D交互系统的方框示意图。

图2为本公开所提供的3D交互系统的数据采集单元的方框示意图。

图3为本公开所提供的数据采集单元的数据处理示意图。

图4为本公开所提供的3D交互系统的一种结构示意图。

图5为本公开所提供的3D交互系统的交互笔的结构示意图。

图6为本公开所提供的交互笔检测方法的一种流程示意图。

图7为本公开所提供的交互笔检测方法的另一种流程示意图。

图8为本公开所提供的交互笔检测方法的又一种流程示意图。

图9为本公开所提供的交互笔检测方法的又一种流程示意图。

图10为本公开所提供的交互笔检测方法的又一种流程示意图。

图11为本公开所提供的交互笔检测方法的又一种流程示意图。

图12为本公开所提供的交互笔检测方法的又一种流程示意图。

图标：100-3D交互系统；10-交互笔；11-笔头；12-笔尾；13-光学标记点；14-开关；15-传感器模块；16-通信模块；20-显示器；30-数据采集单元；31-处理器；32-图像传感器；40-定位摄像机。

具体实施方式

下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

目前，实现3D立体交互的计算机系统大多基于光学定位摄像头，实时获取交互笔在立体空间中的位置以及姿态信息，按照一定的算法计算出交互笔在现实立体空间坐标系中的位置，再在计算机建立的虚拟三维空间坐标系中映射出交互笔的虚拟空间位置，但是其精确度仍有待提高。

基于上述研究，本公开提供一种交互笔检测方法及3D交互系统，以改善上述问题。

本公开提供的一种交互笔检测方法，应用于图1所示的3D交互系统100，所述3D交互系统100包括交互笔10、显示器20、数据采集单元30以及多个定位摄像机40。所述多个定位摄像机40分别设置于所述显示器20的两侧。

进一步的，请结合参阅图2，所述数据采集单元30包括处理器31、图像传感器32。

所述多个定位摄像机40用于采集所述交互笔10在空间中的定位图像数据，所述图像传感器32用于所述多个定位摄像机40获取的图像数据对进行传输，并由所述处理器31进行图像数据处理。

进一步的，请结合参阅图3，图像数据采集处理用流水线操作，在通过所述多个定位摄像机40和所述图像传感器32对第n帧图像数据进行采集和传输处理的过程中，所述处理器31对第n-1帧的图像数据进行预处理，图像预处理包括图像畸变处理、滤波以及通过质心法实现特征点(交互笔10的光学标记点13)的搜索；对第n-1帧的图像数据进行预处理的同时，对第n-2帧图像数据进行融合定位处理，根据图像数据特征点的位置(二维坐标)，依据双目视觉定位原理得到交互笔10的光学标记点13的空间坐标。

进一步的，请结合参阅图4和图5，本公开的所述定位摄像机40的数量为偶数个，分别均匀设置于所述显示器20的左上角和右上角。所述交互笔10包括笔头11、笔尾12、开关14、传感器模块15、通信模块16以及光学标记点13。其中，所述光学标记点13可以为发光二极管(LED)；所述开关14包括按键以及滑条，通过按键和滑条提供交互控制命令，实现交互控制；所述传感器模块15由多种传感器组成，包括磁力计、陀螺仪、加速度计等；所述通信模块16用于实现所述交互笔10与所述处理器31之间实现数据交互。

进一步的，请结合参阅图6，图6为本公开所提供的交互笔检测方法的流程示意图，下面对图6所示的交互笔检测方法的具体流程进行详细阐述。

步骤S10：基于双目视觉定位原理，获取所述光学标记点13在所述定位摄像机40视距范围内的空间坐标。

其中，为了方便获取所述光学标记点13的空间坐标，可选地，本公开的所述光学标记点13为红外LED。所述交互笔10在所述定位摄像机40视距范围内进行移动时，分别在设置于所述显示器20的左上角和右上角的定位摄像机40成像，进而分别得到所述交互笔10的光学标记点13在成像的图像中的位置坐标，并基于双目视觉定位原理，得到所述光学标记点13在所述定位摄像机40视距范围内的空间坐标。在得到位于所述交互笔10的光学标记点13的空间坐标后，基于所述光学标记点13的空间坐标，对所述交互笔10在所述定位摄像机40视距范围内的进行空间定位，提高了交互笔10空间定位的精确性。

图像数据的采集、传输及处理通过所述定位摄像机40、所述图像传感器32以及所述处理器31执行，图像数据采集、传输和处理延迟不超过50ms，进而可以实现所述交互笔10的光学标记点13的快速跟踪和定位，提高了交互笔10空间定位的精确性，保证交互操控的实时性。

步骤S20：根据所述磁力计得到所述交互笔10与地磁场三维坐标系的夹角，并通过光学坐标变换，得到所述显示器20的正交射线与所述地磁场三维坐标系的夹角。

其中，所述显示器20朝向观看者的方向与所述显示器20正交的射线为所述显示器20的正交射线。

所述交互笔10的传感器模块15包括磁力计，通过所述磁力计得到任一时刻所述交互笔10指向笔头11的方向相对于地磁场三维坐标系的夹角。在获取所述交互笔10指向笔头11的方向相对于地磁场三维坐标系的夹角后，通过坐标变换，得到所述显示器20的正交射线方向与所述地磁场三维坐标系的夹角。

步骤S30：根据所述光学标记点13在所述定位摄像机40视距范围内的空间坐标确定所述交互笔10的笔头11。

其中，在得到所述光学标记点13的空间坐标后，进而即可根据所述

光学标记点13的空间坐标确定所述交互笔10的笔头11。在确定所述交互笔10的笔头11后，根据确定结果进行交互操作，进而使交互操作的控制更为精确。

步骤S40：根据所述显示器20的正交射线与所述地磁场三维坐标系的夹角检测所述笔头11相对所述显示器20的相对方向。

其中，在得到所述显示器20的正交射线方向与所述地磁场三维坐标系的夹角后，就可根据所述显示器20的正交射线方向与所述地磁场三维坐标系的夹角检测所述笔头11相对所述显示器20的相对方向。在检测到所述笔头11相对所述显示器20的相对方向后，根据检测结果，调整交互操作，进一步的提供交互操作的精确性。

进一步的，所述交互笔10设置有陀螺仪，所述陀螺仪用于获取所述交互笔10的姿态信息，所述姿态信息包括所述交互笔10的俯仰角和偏航角。

其中，在所述交互笔10的传感器模块15设置有陀螺仪，所述陀螺仪用于获取所述交互笔10的姿态信息，根据所述陀螺仪获取的所述交互笔10的姿态信息，以及所述交互笔10中心点的位置坐标，以及所述笔头11和笔尾12的光学标记点13之间的距离，也可以计算得到所述交互笔10的笔头11、笔尾12的空间坐标。

在实际的操作过程中，会存在所述光学标记点13被遮挡的情况，影响所述交互笔10的空间定位的精确性，进一的，请结合参阅图7，所述交互笔10设置有多个所述光学标记点13，基于所述双目视觉定位原理，获取所述光学标记点13在所述定位摄像机40视距范围内的空间坐标的步骤包括以下步骤。

步骤S11：判断多个所述光学标记点13是否可见。

其中，所述交互笔10上设置有多个光学标记点13，可选的，为了方便获取位置坐标，本公开的多个所述光学标记点13分别设置于所述交互笔10的笔头11和笔尾12，在得到设置于所述交互笔10笔头11和笔尾12的光学标记点13的空间坐标后，可以通过几何关系可以计算出所述交互笔10的中心点的位置坐标和设置于所述交互笔10笔头11及笔尾12的光学标记点13之间的距离。

在判断多个所述光学标记点13是否可见后，根据判断结果执行相应步骤。其中，若多个所述光学标记点13均可见，执行步骤S12；若只有部分所述光学标记点13可见，执行步骤S13至步骤S131；若多个所述光学标记点13均不可见，执行步骤S14至步骤S143。

步骤S12：根据所述双目视觉定位原理，获取多个所述光学标记点13在所述定位摄像机40视距范围内的空间坐标。

其中，获取多个所述光学标记点13在所述定位摄像机40视距范围内的空间坐标的过程可参照对步骤S10的阐述。

进一步的，请结合参阅图8，若多个所述光学标记点13均可见，所述方法还包括步骤S121至步骤S123。

步骤S121：判断所述交互笔10是否为首次从所述定位摄像机40视距范围外进入所述定位摄像机40视距范围内。如果所述交互笔10为首次从所述定位摄像机40视距范围外进入所述定位摄像机40视距范围内，执行步骤S122；如果所述交互笔10一直位于所述定位摄像机40视距范围内，执行步骤S123。

步骤S122：根据所述光学标记点13直接确定所述交互笔10的笔头11。

其中，如果所述交互笔10为首次从所述定位摄像机40视距范围外进入所述定位摄像机40视距范围内，控制设置于所述笔头11和笔尾12的光学标记点13进行亮灭检测，分别检测设置于所述笔头11和笔尾12的光学标记点13都亮、全灭以及笔头11的光学标记点13或笔尾12的光学标记点13单独亮的情况，进而可直接检测所述交互笔10笔头11。同时，在首次从所述定位摄像机40视距范围外进入所述定位摄像机40视距范围内，通过检测多个所述光学标记点13全亮、全灭以及单独亮的情况，防止所述光学标记点13因损坏或被遮挡影响检测结果。

步骤S123：获取多个所述光学标记点13在所述定位摄像机40视距范围内的空间坐标。

其中，如果所述交互笔10一直位于所述定位摄像机40视距范围内，获取多个所述光学标记点13在所述定位摄像机40视距范围内的空间坐标，以根据多个所述光学标记点13在所述定位摄像机40视距范围内的空间坐标确定所述交互笔10的笔头11。

进一步的，请结合参阅图9，若只有部分所述光学标记点13可见，所述方法还包括步骤S13至步骤S131。

步骤S13：根据所述双目视觉定位原理，获取可见的光学标记点13在所述定位摄像机40视距范围内的空间坐标，并根据所述陀螺仪获取所述交互笔10的姿态信息。

其中，若只有部分所述光学标记点13可见，则存在设置于笔头11和笔尾12的光学标记点13其中一处被遮挡的情况。

步骤S131：根据所述姿态信息以及可见的光学标记点13在所述定位摄像机40视距范围内的空间坐标计算其余不可见的光学标记点13在所述定位摄像机40视距范围内的空间坐标。

其中，在所述交互笔10的传感器模块15设置有陀螺仪，所述陀螺仪用于获取所述交互笔10的姿态信息，根据所述陀螺仪获取的所述交互笔10的姿态信息，以及可见的光学标记点13在所述定位摄像机40视距范围内的空间坐标，即可计算其余不可见的光学标记点13在所述定位摄像机40视距范围内的空间坐标，以及所述交互笔10的中心点的位置坐标和设置于所述交互笔10笔头11及笔尾12的光学标记点13之间的距离。

进一步的，请结合参阅图10，若多个所述光学标记点13均不可见，所述方法还包括步骤S14至步骤S143。

步骤S14：获取所述交互笔10的移动历史记录，根据所述移动历史记录，计算所述交互笔10的移动方向、移动速度及加速度，预测所述交互笔10中心点的位置坐标。

其中，多个所述光学标记点13均不可见，则存在设置于笔头11和笔尾12的光学标记点13均被遮挡的情况。

为了计算的方便，获取所述交互笔10的移动历史记录，可以通过获取所述交互笔10的中心点的移动历史记录，即所述中心点的位置坐标移动历史记录。所述中心点的位置坐标，在每次所述交互笔10移动时，获取到设置于所述交互笔10笔头11和笔尾12的光学标记点13的空间坐标后，通过几何关系计算出的，每一次所述交互笔10的移动，所述中心点的位置坐标都会被计算并记录。根据所述交互笔10中心点的移动历史记录，则可以计算所述交互笔10的移动方向、移动速度及加速度，在计算得到所述交互笔10的移动方向、移动速度及加速度后，则可以预测该时刻所述交互笔10中心点的位置坐标。

步骤S141：获取所述交互笔10的笔头11与笔尾12两端的光学标记点13之间的距离。

其中，在预测到该时刻所述交互笔10中心点的位置坐标后，获取所述交互笔10的笔头11与笔尾12两端的光学标记点13之间的距离，所述交互笔10的笔头11与笔尾12两端的光学标记点13之间的距离通过预先测量所得。

步骤S142：根据所述陀螺仪获取所述交互笔10的姿态信息。

其中，通过所述陀螺仪获取所述交互笔10的姿态信息，包括获取所述交互笔10的俯仰角和偏航角。

步骤S143：根据所述交互笔10中心点的位置坐标、所述光学标记点13之间的距离以及所述交互笔10的姿态信息，计算所述交互笔10笔头11与笔尾12两端的光学标记点13在所述定位摄像机40视距范围内的空间坐标。

其中，根据所述交互笔10中心点的位置坐标、所述交互笔10的笔头11与笔尾12两端的光学标记点13之间的距离以及所述交互笔10的姿态信息，计算得到所述交互笔10笔头11与笔尾12两端的光学标记点13在所述定位摄像机40视距范围内的空间坐标。在计算得到所述交互笔10笔头11与笔尾12两端的光学标记点13在所述定位摄像机40视距范围内的空间坐标后，以根据所述交互笔10笔头11与笔尾12两端的光学标记点13在所述定位摄像机40视距范围内的空间坐标确定所述交互笔10的笔头11。

在实际操作中，除了会存在所述光学标记点13被遮挡的情况，还会存在所述交互笔10内置的陀螺仪因长时间工作导致数据漂移的情况，影响所述交互笔10的空间定位的精确性，进而，需要对所述陀螺仪数据进行校正。

进一步的，请结合参阅图11，在基于双目视觉定位原理，获取所述光学标记点13在所述定位摄像机40视距范围内的空间坐标后，所述方法还包括步骤S50至步骤S60。

步骤S50：根据获取的所述光学标记点13在所述定位摄像机40视距范围内的空间坐标计算所述交互笔10的姿态信息。

其中，在获取所述光学标记点13在所述定位摄像机40视距范围内的空间坐标后，根据所述光学标记点13在所述定位摄像机40视距范围内的空间坐标计算出所述交互笔10的姿态信息。

步骤S60：根据计算得到的所述交互笔10的姿态信息对所述陀螺仪获取的所述交互笔10的姿态信息进行校正。

其中，根据所述光学标记点13在所述定位摄像机40视距范围内的空间坐标会计算出所述交互笔10的一个姿态信息，同时所述陀螺仪也会获取所述交互笔10的姿态信息，通过计算出所述交互笔10的姿态信息对所述陀螺仪获取的姿态信息进行校正，进而提高交互笔10空间定位的精确性以及交互操作的精确性。

进一步的，请结合参阅图12，根据计算得到的所述交互笔10的姿态信息对所述陀螺仪获取的所述交互笔10的姿态信息进行校正的步骤包括步骤S61至步骤S65。

步骤S61：根据所述交互笔10的初始姿态，得到所述交互笔10的空间坐标与四元数坐标的转换关系。

其中，所述交互笔10在所述定位摄像机40视距范围内进行移动时，会存在一个初始姿态；根据所述交互笔10的初始姿态，得到所述交互笔10的空间坐标与四元数坐标的转换关系，即将所述交互笔10的空间坐标由三维转换到四维，实现由空间坐标系到世界坐标系的转换，所述世界坐标系为所述3D交互系统100的基准坐标系。

步骤S62：获取所述交互笔10在移动时，所述光学标记点13在所述定位摄像机40视距范围内的空间坐标。

其中，所述交互笔10在移动时，基于双目视觉定位原理，获取该时刻，所述光学标记点13在所述定位摄像机40视距范围内的空间坐标。

步骤S63：根据所述光学标记点13在所述定位摄像机40视距范围内的空间坐标，计算所述交互笔10的第一姿态信息。

其中，在获取到所述光学标记点13在所述定位摄像机40视距范围内的空间坐标后，根据所述光学标记点13在所述定位摄像机40视距范围内的空间坐标，计算所述交互笔10的第一姿态信息。

步骤S64：获取所述交互笔10在移动时的四元数值，计算上一次所述交互笔10的三维空间向量，根据所述三维空间向量及所述第一姿态信息计算得到第二姿态信息。

其中，根据所述三维空间向量及所述第一姿态信息计算得到第二姿态信息的计算公式如下：

q1＝t*q0*v*q0^-1t^-1

q1为第二姿态信息；t为空间坐标与四元数坐标的转换关系；q0为第一姿态信息。

步骤S65：根据所述第二姿态信息对所述陀螺仪获取的所述交互笔10的姿态信息进行校正。

其中，在得到所述第二姿态信息后，通过所述第二姿态信息对所述陀螺仪获取的所述交互笔10的姿态信息进行校正。

进一步的，为了进一步提高交互操作的精确性，在基于双目视觉定位原理，获取所述光学标记点13在所述定位摄像机40视距范围内的空间坐标之前，所述方法还包括以下步骤。

以所述显示器20的屏幕中心为坐标原点，确定所述3D交互系统100的基准坐标系。

所述多个定位摄像机40分别以所述坐标原点旋转预设的角度，并平移至所述显示器20的两侧，以使所述定位摄像机40的相机坐标与所述3D交互系统100的基准坐标满足以下矩阵关系

其中，R为3*3的旋转矩阵，T为三维平移矩阵；Xc，Yc，Zc为相机坐标，Xo，Yo，Zo为基准坐标。

其中，所述3D交互系统100的基准坐标系即为世界坐标系，所述多个定位摄像机40分别以所述坐标原点旋转预设的角度，并平移至所述显示器20的左上角和右上角，固定到指定的位置，以使所述定位摄像机40的相机坐标相对所述3D交互系统100的基准坐标为固定关系。

请返回结合参阅图1，本公开提供一种3D交互系统100，上述的交互笔检测方法应用于所述3D交互系统100。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的3D交互系统100的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

综上，本公开提供的交互笔检测方法及3D交互系统，基于双目视觉定位原理，获取交互笔上的光学标记点在定位摄像机视距范围内的空间坐标，并根据交互笔中的磁力计得到交互笔与地磁场三维坐标系的夹角，通过光学坐标变换，得到显示器的正交射线与地磁场三维坐标系的夹角，因此可以根据光学标记点在定位摄像机视距范围内的空间坐标确定交互笔的笔头以及根据显示器的正交射线与地磁场三维坐标系的夹角检测笔头相对显示器的相对方向，进而，提高了交互笔空间定位的精确性以及交互操作的精确性。

除此之外，本公开所提供的交互笔检测方法及3D交互系统，基于双目视觉定位原理，获取光学标记点的空间坐标，并通过获取的光学标记点的空间坐标计算交互笔的姿态信息，根据计算的交互笔的姿态信息，对陀螺仪进行校正，同时在交互笔的光学标记点被遮住时，通过陀螺仪获取的姿态信息并结合交互笔的运动轨迹对遮挡的光学标记点进行计算和预测，实现光学定位数据和惯性定位数据的数据融合，实现交互笔三维空间精确定位和三维姿态精确测量，提高了交互笔空间定位的精确性以及交互操作的精确性。

在本公开所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本公开的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

以上所述仅为本公开的可选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种交互笔检测方法，其特征在于，应用于3D交互系统，所述3D交互系统包括交互笔、显示器以及多个定位摄像机，所述多个定位摄像机分别设置于所述显示器的两侧，所述交互笔设置有磁力计以及光学标记点；所述方法包括：

基于双目视觉定位原理，获取所述光学标记点在所述定位摄像机视距范围内的空间坐标；

根据所述磁力计得到所述交互笔与地磁场三维坐标系的夹角，并通过光学坐标变换，得到所述显示器的正交射线与所述地磁场三维坐标系的夹角；

根据所述光学标记点在所述定位摄像机视距范围内的空间坐标确定所述交互笔的笔头；

根据所述显示器的正交射线与所述地磁场三维坐标系的夹角检测所述笔头相对所述显示器的相对方向。

2.根据权利要求1所述的交互笔检测方法，其特征在于，所述交互笔设置有陀螺仪，所述陀螺仪用于获取所述交互笔的姿态信息，所述姿态信息包括所述交互笔的俯仰角和偏航角。

3.根据权利要求2所述的交互笔检测方法，其特征在于，所述交互笔设置有多个所述光学标记点，基于所述双目视觉定位原理，获取所述光学标记点在所述定位摄像机视距范围内的空间坐标的步骤包括：

判断多个所述光学标记点是否可见；

若多个所述光学标记点均可见，根据所述双目视觉定位原理，获取多个所述光学标记点在所述定位摄像机视距范围内的空间坐标。

4.根据权利要求3所述的交互笔检测方法，其特征在于，若多个所述光学标记点均可见，所述方法还包括：

判断所述交互笔是否为首次从所述定位摄像机视距范围外进入所述定位摄像机视距范围内；

如果所述交互笔为首次从所述定位摄像机视距范围外进入所述定位摄像机视距范围内，根据所述光学标记点直接确定所述交互笔的笔头；

如果所述交互笔一直位于所述定位摄像机视距范围内，获取多个所述光学标记点在所述定位摄像机视距范围内的空间坐标，以根据多个所述光学标记点在所述定位摄像机视距范围内的空间坐标确定所述交互笔的笔头。

5.根据权利要求3所述的交互笔检测方法，其特征在于，若只有部分所述光学标记点可见，所述方法还包括：

根据所述双目视觉定位原理，获取可见的光学标记点在所述定位摄像机视距范围内的空间坐标，并根据所述陀螺仪获取所述交互笔的姿态信息；

根据所述姿态信息以及可见的光学标记点在所述定位摄像机视距范围内的空间坐标计算其余不可见的光学标记点在所述定位摄像机视距范围内的空间坐标。

6.根据权利要求3所述的交互笔检测方法，其特征在于，若多个所述光学标记点均不可见，所述方法还包括：

获取所述交互笔的移动历史记录，根据所述移动历史记录，计算所述交互笔的移动方向、移动速度及加速度，预测所述交互笔中心点的位置坐标；

获取所述交互笔的笔头与笔尾两端的光学标记点之间的距离；

根据所述陀螺仪获取所述交互笔的姿态信息；

根据所述交互笔的中心点的位置坐标、所述光学标记点之间的距离以及所述交互笔的姿态信息，计算所述交互笔的笔头与笔尾两端的光学标记点在所述定位摄像机视距范围内的空间坐标，以根据所述交互笔的笔头与笔尾两端的光学标记点在所述定位摄像机视距范围内的空间坐标确定所述交互笔的笔头。

7.根据权利要求2所述的交互笔检测方法，其特征在于，在基于双目视觉定位原理，获取所述光学标记点在所述定位摄像机视距范围内的空间坐标后，所述方法还包括：

根据获取的所述光学标记点在所述定位摄像机视距范围内的空间坐标计算所述交互笔的姿态信息；

根据计算得到的所述交互笔的姿态信息对所述陀螺仪获取的所述交互笔的姿态信息进行校正。

8.根据权利要求7所述的交互笔检测方法，其特征在于，根据计算得到的所述交互笔的姿态信息对所述陀螺仪获取的所述交互笔的姿态信息进行校正的步骤包括：

根据所述交互笔的初始姿态，得到所述交互笔的空间坐标与四元数坐标的转换关系；

获取所述交互笔在移动时，所述光学标记点在所述定位摄像机视距范围内的空间坐标；

根据所述光学标记点在所述定位摄像机视距范围内的空间坐标，计算所述交互笔的第一姿态信息；

获取所述交互笔在移动时的四元数值，计算上一次所述交互笔的三维空间向量，根据所述三维空间向量及所述第一姿态信息计算得到第二姿态信息；

根据所述第二姿态信息对所述陀螺仪获取的所述交互笔的姿态信息进行校正。

9.根据权利要求1所述的交互笔检测方法，其特征在于，在基于双目视觉定位原理，获取所述光学标记点在所述定位摄像机视距范围内的空间坐标之前，所述方法还包括：

以所述显示器的屏幕中心为坐标原点，确定所述3D交互系统的基准坐标系；

所述多个定位摄像机分别以所述坐标原点旋转预设的角度，并平移至所述显示器的两侧，以使所述定位摄像机的相机坐标与所述3D交互系统的基准坐标满足以下矩阵关系

其中，R为3*3的旋转矩阵，T为三维平移矩阵；Xc，Yc，Zc为相机坐标，Xo，Yo，Zo为基准坐标。

10.一种3D交互系统，其特征在于，权利要求1-9任意一项所述的交互笔检测方法应用于所述3D交互系统。