CN112306353A - 扩展现实设备及其交互方法 - Google Patents

Abstract

本申请实施例公开一种扩展现实设备及其交互方法。该扩展现实设备包括扩展现实显示设备和触控交互装置，触控交互装置包括处理器和触控板；处理器用于提取预存的与触控板的分辨率及形状匹配的模板图像的角点，抓取扩展现实显示设备的显示图像并提取显示图像的角点，根据模板图像的角点和显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系，在触控板接收到触控操作后将触控操作的触控坐标根据映射关系转换为显示坐标并将显示坐标发送至所述扩展现实显示设备。该扩展现实设备基于模板图像的角点及显示图像的角点通过透视转换的图像配准，可实现触控板坐标点和的显示坐标点的精确定位，从而提升控制精度。

Description

扩展现实设备及其交互方法

技术领域

本申请涉及交互控制领域。更具体地，涉及一种扩展现实设备及其交互方法。

背景技术

扩展现实(XR，Extended Reality)包含虚拟现实(VR，Virtual Reality)、增强现实(AR，Augmented Reality)、混合现实(MR，Mixed Reality)等。对于扩展显示设备的人机交互方式，以虚拟现实设备中常见的虚拟显示头戴显示设备(简称VR头显)为例，现有的VR头显常用的人机交互方式有按键、触模板、外接无线手柄等。其中，采用按键的方式交互手段有限，通常还需要配合头瞄、触模板等其他交互方式；采用外接无线手柄的交互方式容易受到蓝牙、wifi信号不稳定的影响，造成体验性下降；触模板具有灵敏的反应速度、易于交流、坚固耐用、节省空间等优点，因此在VR头显的人机交互上有广泛应用，在很多设备上也被用于代替鼠标操作。然而触模板在使用过程中也会出现一些问题，例如，几乎所有触控板都会面临坐标点定位不精准等问题，尤其是当外接设备的显示分辨率发生变化时(例如外接的VR头显等显示设备发生更换时)，需要重新定位触模板的坐标范围，否则会严重影响控制精度。

发明内容

本申请的目的在于提供一种扩展现实设备及其交互方法，以解决现有技术存在的问题中的至少一个。

为达到上述目的，本申请采用下述技术方案：

本申请第一方面提供了一种扩展现实设备，该设备包括：扩展现实显示设备和触控交互装置，所述触控交互装置包括处理器和触控板；

所述处理器，用于提取预存的与所述触控板的分辨率及形状匹配的模板图像的角点，抓取扩展现实显示设备的显示图像并提取所述显示图像的角点，根据所述模板图像的角点和所述显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系，在所述触控板接收到触控操作后将所述触控操作的触控坐标根据所述映射关系转换为显示坐标并将所述显示坐标发送至所述扩展现实显示设备。

本申请第一方面提供的扩展现实设备，基于模板图像的角点及显示图像的角点通过透视转换的图像配准，可实现触控板坐标点和的显示坐标点的精确定位，从而提升控制精度。

在一种可能的实现方式中，该扩展现实设备的处理器用于提取所述显示图像的角点包括：基于局部熵的角点提取算法提取所述显示图像的角点。

该实现方式，利用局部熵的角点提取算计对显示图像的角点进行提取，局部熵可以很好地反应图像灰度的离散程度，在局部熵大的地方，图像灰度较为均匀；局部熵小的地方，图像灰度相对较为离散，而与图像灰度的均值无关，因此可以根据图像的局部熵把相对均匀的多目标分割出来，且便于识别目标形状。

在一种可能的实现方式中，该扩展现实设备的处理器基于局部熵的角点提取算法提取所述显示图像的角点包括：

计算得到所述显示图像的局部熵灰度图；

基于所述局部熵灰度图，采用SUSAN角点检测算法检测得到所述显示图像的角点。

该实现方式采用的SUSAN角点检测算法具有算法简单、位置准确、抗噪声能力强等特点。

在一种可能的实现方式中，所述模板图像的底色呈纯色且角点位置呈与底色相异的颜色。

该实现方式，通过对模板图像进行优化处理，可方便对模板图像的角点进行提取，对模板图像的提取精度更高。

在一种可能的实现方式中，该扩展现实设备的处理器，还用于检测所述扩展现实显示设备的设备识别号，在所述设备识别号发生变化时重新抓取扩展现实显示设备的显示图像并提取所述显示图像的角点，根据所述模板图像的角点和所述显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系。

该实现方式，可实现触控交互装置自适应匹配不同分辨率的扩展现实显示设备，在更换显示设备后，触控交互装置可自动进行坐标定位和坐标校准，提高用户体验。

在一种可能的实现方式中，所述模板图像预存于所述触控板的固件中，所述处理器还用于将所述映射关系存储与所述触控板的驱动寄存器中。

该实现方式，可方便调取模板图像和触控板与显示设备之间映射关系。

在一种可能的实现方式中，所述扩展现实显示设备和触控交互装置通过Type-C数据线连接。

该实现方式，采用有线连接的方式，使得触控板与显示设备之间的连接与数据交互更加稳定。

在一种可能的实现方式中，所述处理器还用于在所述触摸板一位置受到的压力大于第一预设阈值且所述压力的持续时长大于第二预设阈值时判定所述位置接收到单击操作。

此实现方式，利用对触控板的某一位置受到的压力及压力时长进行双重判定，可避免用户在手指滑动时产生的误触操作。

本申请第二方面提供了一种扩展现实设备的交互方法，该扩展现实设备包括扩展现实显示设备和触控交互装置，该触控交互装置包括触控板，所述扩展现实设备的交互方法包括：提取预存的与触控板的分辨率及形状匹配的模板图像的角点，抓取扩展现实显示设备的显示图像并提取所述显示图像的角点；

根据所述模板图像的角点和所述显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系；

在所述触控板接收到触控操作后将所述触控操作的触控坐标根据所述映射关系转换为显示坐标并将所述显示坐标发送至所述扩展现实显示设备。

本申请第二方面提供的扩展现实设备的交互方法，基于模板图像的角点及显示图像的角点通过透视转换的图像配准，可实现触控板坐标点和的显示坐标点的精确定位，从而提升控制精度。

在一种可能的实现方式中，所述提取所述显示图像的角点包括：基于局部熵的角点提取算法提取所述显示图像的角点。

该实现方式，利用局部熵的角点提取算计对显示图像的角点进行提取，局部熵可以很好地反应图像灰度的离散程度，在局部熵大的地方，图像灰度较为均匀；局部熵小的地方，图像灰度相对较为离散，而与图像灰度的均值无关，因此可以根据图像的局部熵把相对均匀的多目标分割出来，且便于识别目标形状。

在一种可能的实现方式中，所述基于局部熵的角点提取算法提取所述显示图像的角点包括：

计算得到所述显示图像的局部熵灰度图；

基于所述局部熵灰度图，采用SUSAN角点检测算法检测得到所述显示图像的角点。

该实现方式采用的SUSAN角点检测算法具有算法简单、位置准确、抗噪声能力强等特点。

在一种可能的实现方式中，所述模板图像的底色呈纯色且角点位置呈与底色相异的颜色。

该实现方式，通过对模板图像进行优化处理，可方便对模板图像的角点进行提取，对模板图像的提取精度更高。

在一种可能的实现方式中，所述交互方法还包括：

检测所述扩展现实显示设备的设备识别号，在所述设备识别号发生变化时重新抓取扩展现实显示设备的显示图像并提取所述显示图像的角点，根据所述模板图像的角点和所述显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系。

该实现方式，可实现触控交互装置自适应匹配不同分辨率的扩展现实显示设备，在更换显示设备后，触控交互装置可自动进行坐标定位和坐标校准，提高用户体验。

本申请的有益效果如下：

本申请提出的技术方案，基于模板图像的角点及显示图像的角点通过透视转换的图像配准，可实现触控板坐标点和的显示坐标点的精确定位，从而提升控制精度。并且，通过触控交互装置自识别扩展现实显示设备的设备识别号，可实现触控交互装置自适应匹配不同分辨率的扩展现实显示设备。

附图说明

下面结合附图对本申请的具体实施方式作进一步详细的说明。

图1示出本申请的一个实施例提供的虚拟现实设备的交互方法流程图。

图2示出本申请的一个实施例提供的虚拟现实设备的结构示意图。

具体实施方式

为了更清楚地说明本申请，下面结合实施例和附图对本申请做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本申请的保护范围。

虚拟现实(Virtual Reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是仿真技术的一个重要方向，主要包括模拟环境、感知、自然技能和传感设备等方面。虚拟现实是多媒体技术的终极应用形式，主要依赖于三维实时图形显示、三维定位跟踪、触觉及嗅觉传感技术、人工智能技术、高速计算与并行计算技术以及人的行为学研究等多项关键技术的发展。随着虚拟现实技术的发展，将真正地实现人们戴上立体眼镜、数据手套等特制的传感设备，面对一种三维的模拟现实，似乎置身于一个具有三维的视觉、听觉、触觉甚至嗅觉的感觉世界，并且可以通过人类的自然技能和相应设施与这个三维世界进行信息交互。

现有的虚拟现实头戴式设备常用的人机交互方式有按键、触控板、外接蓝牙手柄等，其中，触控板具有灵敏的反应速度、易于交流、坚固耐用、节省空间等优点，因此在虚拟现实设备的人机交互上有广泛应用，在很多设备上也被用于代替鼠标操作(例如，笔记本电脑)，触控板的工作原理是，当使用者的手指接近触摸板时会使电容量改变，触控板自己的控制IC将会检测出电容改变量，转换成坐标。触摸板是借由电容感应来获知手指移动情况，对手指热量并不敏感。当手指接触到板面时，板面上的静电场会发生改变。触控板作为利用手指的滑动操作可以移动游标的一种输入装置，能够让初学者简易使用。并且触摸板的厚度非常薄，不是机械式的设计，在维护上非常简便。然而触模板在使用过程中会面临坐标点定位不精准等问题，尤其是当外接显示分辨率发生变化时(显示设备更换时)，需要重新定位触模板的坐标范围，否则会严重影响控制精度。

因此，为解决上述存在的问题，如图1所示，本申请的一个实施例一种虚拟现实设备的交互方法，该虚拟现实设备包括VR头显和触控交互装置，触控交互装置包括触控板，该交互方法包括：

S10、通过触控板的firmware(固件)生成模板图像，并将生成的模板图像保存到固件中，该模板图像的分辨率及形状(空间分布)与触控板的硬件结构完全匹配；

需要说明的是，固件是指设备内部保存的设备“驱动程序”，一般存储于设备中的可擦除只读存储器EEPROM(Electrically Erasable Programmable ROM)或FLASH芯片中，可由用户通过特定的刷新程序进行升级。

S20、提取模板图像的角点，抓取VR头显设备的显示图像并提取VR头显设备图像的角点；

需要说明的是，同与触控板相匹配的模板图像一样，显示图像的分辨率及形状(空间分布)与VR头显设备的显示界面相互匹配。

还需要说明的是，在本实例中，不论是提取模板图像的角点，还是提取VR头显设备图像的角点都属于对图像的特征点提取，在图像处理中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像特征点在基于特征点的图像匹配算法中有着十分重要的作用。图像特征点能够反映图像本质特征，能够标识图像中目标物体。通过特征点的匹配能够完成图像的匹配。

角点检测算法可归纳为3类：基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测。基于灰度图像的角点检测又可分为基于梯度、基于模板和基于模板梯度组合3类方法。其中，常用的基于模板的检测方法提取体征点技术中，主要考虑像素领域点的灰度变化，即图像亮度的变化，与邻点亮度对比足够大的点则为角点，但为了增加VR头戴式设备中场景的沉浸感，其图像在色彩和内容上都比较丰富，使用常规的方法很难准确提取到图像的四个顶点。

因此，在一些实施例中，步骤S20包括以下子步骤：

S201、基于局部熵的角点提取算法提取所述显示图像的角点。

与现有基于灰度图像的角点检测算法不同，本申请不是将抓取到的彩色图像进行灰度转换，而是通过计算得到彩色图像局部熵的灰度图像用于特征点提取。

局部熵可以很好地反应图像灰度的离散程度，在局部熵大的地方，图像灰度较为均匀；局部熵小的地方，图像灰度相对较为离散，而与图像灰度的均值无关，因此可以根据图像的局部熵把相对均匀的多目标分割出来，且便于识别目标形状。

具体地，在一些实施例中，步骤201包括以下子步骤：

S2011、计算得到所述显示图像的局部熵灰度图；

S2012、基于所述局部熵灰度图，采用SUSAN角点检测算法检测得到所述显示图像的角点。

需要说明的是，在本实施例中并不仅限于采用SUSAN角点检测算法检测得到所述显示图像的角点，也可通过其他角点检测算法来获取显示图像的角点，例如Kitchen-Rosenfeld角点检测算法，Harris角点检测算法及KLT角点检测算法。和其他角点检测算法相比，SUSAN角点检测算法具有算法简单、位置准确、抗噪声能力强等特点。

在一个具体示例中，对基于局部熵的角点提取算法提取所述显示图像的角点进行如下示例性说明：

首先要计算图像的局部熵，设参考像素点为(u，v)，检测半径为M，M的取值范围可根据具体情况进行设定，例如M＝3，则图像的局部熵为：

其中，p_i，j(u，v)为灰度值出现的概率，可通过下式进行计算：

其中，f_u+i,v+j为参考像素点为附近的灰度值；

然后，利用得到的图像的局部熵生成局部熵灰度图；

最后，基于得到的彩色图像的局部熵灰度图，采用SUSAN角点检测算法，对每个像素基于该模板领域的局部熵灰度图计算角点响应函数的数值，如果大于某预设的阈值且为局部极大值，则认为该点为角点。

需要说明的是，局部熵角点提取算法也适用于对于模板图像的角点进行提取，也可以利用现有的特征点提取算法将模板图像的四个角点提取出来作为模板图像的特征点，为了方便提取模板图像的角点，在一些实施例中，将模板图像的底色设置为纯色且角点位置呈与底色相异的颜色，例如，将模板图像的底色设置为纯白色，角点位置的颜色设置为黑色。

S30、根据模板图像的角点和显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系；

需要说明的是，由于模板图像与触控板的分辨率及形状(空间分布)匹配，模板图像的图像坐标点与显示图像的图像坐标点的映射关系”即“触控板的触控坐标点与显示屏的显示坐标点的映射关系”。

结合上述示例，采用上述提取图像角点的方法提取到VR分体机显示分辨率彩色图像的特征点(显示图像的角点)，通过透视变换方法与模板图像的特征点(模板图像的角点)进行匹配，可以得到一组图像坐标点映射关系。

对本实施例中提出的利用图像配准技术以得到触控坐标点与显示坐标点的映射关系的具体流程进行如下说明：

首先对模板图像和显示图像进行特征提取得到特征点；通过进行相似性度量找到两幅图像匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准得到触控坐标点与显示坐标点的映射关系。

S40、在触控板接收到触控操作后将触控操作的触控坐标根据映射关系转换为显示坐标并将显示坐标发送至VR头显。

通过上述方法，可实现触控板坐标点和的VR头显显示屏的显示坐标点精确定位，增加用户对虚拟现实设备控制的精度，方便人机交互，提高用户体验度。当VR头显的分辨率发生改变时，例如更换VR头显后，在一些实施例中，该虚拟现实设备交互方法还包括：

S50、检测VR头显设备的设备识别号，在设备识别号发生变化时重新抓取VR头显设备的显示图像并提取显示图像的角点，根据模板图像的角点和所述显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系。即，在更换了VR头显导致设备识别号发生变化时，重新抓取扩展现实显示设备的显示图像并提取所述显示图像的角点，根据模板图像的角点和重新抓取的显示图像的角点进行图像配准以得到触控坐标点与新的显示坐标点的映射关系，在触控板接收到触控操作后将触控操作的触控坐标根据所述映射关系转换为显示坐标并将显示坐标发送至更换后的新的VR头显。

本实施例提供的虚拟现实设备的交互方法，通过一种基于特征点和透视转换的图像配准优化算法实现对实现触控板坐标点和的VR头显显示屏的显示坐标点精确定位，并且可通过自适应匹配不同分辨率的VR头显，调整触控板的指针移动的坐标范围，使用户的控制更加精确，方便人机交互。

如图2所示，本申请的另一个实施例提供了一种虚拟现实设备，包括VR头显和触控交互装置，触控交互装置包括处理器和触控板；

其中，处理器用于提取预存的与触控板的分辨率及形状匹配的模板图像的角点，抓取VR头显的显示图像并提取显示图像的角点，根据模板图像的角点和显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系，在触控板接收到触控操作后将触控操作的触控坐标根据映射关系转换为显示坐标并将所述显示坐标发送至扩展现实显示设备。

需要说明的是，本实施中的处理器可以为AP主板、处理芯片、CPU及MCU等具有可以根据存储在存储器中的程序或者从存储部分加载到随机访问存储器中的程序而执行各种适当的动作和处理的功能器件。

在触控板接收到触控操作的过程中，即，用户利用手指对触控板进行触控操作时，不可避免的会发生误触等操作，因此，在一些实施例中，在触摸板一位置受到的压力大于第一预设阈值且所述压力的持续时长大于第二预设阈值时判定所述位置接收到单击操作。

在一个具体示例中，结合实际应用场景说明，当用户通过手指滑动触控板来控制VR头显上显示的光标时，需要进行点击操作，例如，在VR头显的显示界面做一些类似确定或取消等选择操作时，为了避免由于手指滑动产生误触操作，需要进行判断是否进行了单击操作，具体地：

当触控板的某一位置感受到的压力值大于预设的压力值并且手指接触该位置的开始时间和抬起时间之间的差值大于预设的时间值时，处理器会判定此位置接受到一次单击操作，并生成对应的控制信号发送至VR头显，VR头显对该单击操作进行响应来实现对应的功能。

在一些实施例中，采用Type-C数据线连接VR头显和触控交互装置，以此来实现数据交互，有线连接的方式在数据传出过程中更加的稳定。此外，也可以采用蓝牙、WIFI等无线连接的方式连接VR头显和触控交互装置。

为了方便调取模板图像以及触控坐标点与显示坐标点的映射关系，在一些实施例中，将模板图像预存在触控板的固件中，处理器还用于触控坐标点与显示坐标点的映射关系存储于触控板的驱动寄存器中。

在一些实施例中，处理器还用于检测VR头显设备的设备识别号，在VR头显的设备识别号发生变化时重新抓取VR头显设备的显示图像并提取显示图像的角点，根据模板图像的角点和显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系。

需要说明的是，本实施例提供的虚拟现实设备的原理及工作流程与上述虚拟现实设备的交互方法相似，相关之处可以参照上述说明，在此不再赘述。

本实施例提供的虚拟现实设备，基于特征点和透视转换的图像配准优化算法实现对实现触控板坐标点和的VR头显显示屏的显示坐标点精确定位，并且可通过自适应匹配不同分辨率的VR头显，调整触控板的指针移动的坐标范围，使用户的控制更加精确，方便人机交互。

需要说明的是，对于AR头显或MR头显等其他类型的扩展现实显示设备也可应用上述实施例提供的方案进行控制精度的优化。

在本申请的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

还需要说明的是，在本申请的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

显然，本申请的上述实施例仅仅是为清楚地说明本申请所作的举例，而并非是对本申请的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本申请的技术方案所引伸出的显而易见的变化或变动仍处于本申请的保护范围之列。

Claims (12)

1.一种扩展现实设备，其特征在于，包括扩展现实显示设备和触控交互装置，所述触控交互装置包括处理器和触控板；

所述处理器，用于提取预存的与所述触控板的分辨率及形状匹配的模板图像的角点，抓取扩展现实显示设备的显示图像并提取所述显示图像的角点，根据所述模板图像的角点和所述显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系，在所述触控板接收到触控操作后将所述触控操作的触控坐标根据所述映射关系转换为显示坐标并将所述显示坐标发送至所述扩展现实显示设备。

2.根据权利要求1所述的扩展现实设备，其特征在于，所述处理器，用于提取所述显示图像的角点包括：基于局部熵的角点提取算法提取所述显示图像的角点。

3.根据权利要求2所述的扩展现实设备，其特征在于，所述处理器，用于基于局部熵的角点提取算法提取所述显示图像的角点包括：

计算得到所述显示图像的局部熵灰度图；

基于所述局部熵灰度图，采用SUSAN角点检测算法检测得到所述显示图像的角点。

4.根据权利要求1所述的扩展现实设备，其特征在于，所述模板图像的底色呈纯色且角点位置呈与底色相异的颜色。

5.根据权利要求1所述的扩展现实设备，其特征在于，所述处理器，还用于检测所述扩展现实显示设备的设备识别号，在所述设备识别号发生变化时重新抓取扩展现实显示设备的显示图像并提取所述显示图像的角点，根据所述模板图像的角点和所述显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系。

6.根据权利要求1所述的扩展现实设备，其特征在于，所述模板图像预存于所述触控板的固件中，所述处理器还用于将所述映射关系存储与所述触控板的驱动寄存器中。

7.根据权利要求1所示的扩展现实设备，其特征在于，所述处理器还用于在所述触摸板一位置受到的压力大于第一预设阈值且所述压力的持续时长大于第二预设阈值时判定所述位置接收到单击操作。

8.一种扩展现实设备的交互方法，所述扩展现实设备包括扩展现实显示设备和触控交互装置，所述触控交互装置包括触控板，其特征在于，所述交互方法包括：

提取预存的与触控板的分辨率及形状匹配的模板图像的角点，抓取扩展现实显示设备的显示图像并提取所述显示图像的角点；

根据所述模板图像的角点和所述显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系；

在所述触控板接收到触控操作后将所述触控操作的触控坐标根据所述映射关系转换为显示坐标并将所述显示坐标发送至所述扩展现实显示设备。

9.根据权利要求8所述的交互方法，其特征在于，所述提取所述显示图像的角点包括：基于局部熵的角点提取算法提取所述显示图像的角点。

10.根据权利要求9所述的交互方法，其特征在于，所述基于局部熵的角点提取算法提取所述显示图像的角点包括：

计算得到所述显示图像的局部熵灰度图；

基于所述局部熵灰度图，采用SUSAN角点检测算法检测得到所述显示图像的角点。

11.根据权利要求8所述的交互方法，其特征在于，所述模板图像的底色呈纯色且角点位置呈与底色相异的颜色。

12.根据权利要求8所述的交互方法，其特征在于，所述交互方法还包括：

检测所述扩展现实显示设备的设备识别号，在所述设备识别号发生变化时重新抓取扩展现实显示设备的显示图像并提取所述显示图像的角点，根据所述模板图像的角点和所述显示图像的角点进行图像配准以得到触控坐标点与显示坐标点的映射关系。

Images