CN203276167U - 一套基于感兴趣区实现辅助信息提示的人机接口设备 - Google Patents

Abstract

本实用新型公开了一套基于感兴趣区实现辅助信息提示的人机接口设备，其特点是分别采用摄像机或电磁跟踪器为输入设备、以可透视的头戴式显示器为输出设备，目标是向用户实时提供辅助提示信息；其实现原理是首先识别用户当前所视的目标对象（如飞机座舱仪表），然后将该目标对象对应的辅助提示信息显示在微型头盔显示器上，从而实现智能教学、训练或维修任务；在完成辅助信息提示时无须用户手动操作，因此可以方便地实现无手人机交互，可在飞机座舱、车辆驾驶室、车间操作台、手术室等多种环境下完成智能教学、训练与维修任务，还可以应用于战斗机飞行员头盔瞄准线测量等。

Description

一套基于感兴趣区实现辅助信息提示的人机接口设备

技术领域：

本实用新型涉及增强现实及人工智能技术领域，具体地讲是一套基于感兴趣区实现辅助信息提示的人机接口设备，分别采用数字摄像机或电磁跟踪器为输入设备、以可透视的头戴式显示器See-Through HMD为输出设备，目标是向用户实时提供辅助信息。

背景技术：

随着虚拟现实技术、增强现实技术及人工智能技术的发展，以智能人机系统为形式的计算机辅助教学、计算机辅助训练、计算机辅助维修、计算机辅助制造等逐步应用于包括国防、工业、教育、医学、娱乐在内的各个领域。在这些人机系统中，普通存在两个需要考虑的问题：一是人机接口问题，即用户在正常的训练、维修等操作中，经常不方便腾出手来使用键盘或鼠标进行输入；虽然语音输入可以免除用户手动操作，但语音识别技术在应用中对大词汇量、非特定词汇的识别率并不高，也不适用于嘈杂环境；肢体语言识别也是目前比较常见的一种人机交互方式，在很多游戏中都广泛采用，但对于座舱、操作台等工作环境经常不适合采用；所以，一套更稳定、可靠且精确的，可以免除用户动手操作的人机接口在很多应用中都非常必要；二是如何快速识别用户所看到的目标，进而向用户提供感兴趣的辅助信息。

现有技术的辅助信息提示系统的使用方式是用户需要先确定需要辅助信息提示的对象，根据该对象的特征对相关技术资料（可以是电子版的）进行检索，然后以文字、图像、视频、声音等形式获得辅助信息，其主要时间浪费在根据对象特征进行信息检索的过程中，尤其是在资料量大、所需辅助信息多的情况下，这种辅助信息的获取方式效率很低。

发明内容：

本实用新型的目的是克服上述已有技术的不足，提供一套基于感兴趣区实现辅助信息提示的人机接口设备，主要解决现有的人机接口设备的语音输入不够可靠精确和肢体语言识别适用范围窄以及向用户提供感兴趣的提示信息效率低等问题。

本实用新型的技术方案是：一套基于感兴趣区实现辅助信息提示的人机接口设备，其特殊之处在于它包括传感器、计算机和可透视的头戴式显示器See-Through HMD，传感器和可透视的头戴式显示器See-Through HMD分别与计算机通过线路连接。

进一步，所述的人机接口设备还包括外加供电模块。

进一步，所述的传感器为摄像机，佩戴在用户头部，摄像机视野的方向和范围应尽可能与用户视野重叠。

进一步，所述的传感器为电磁跟踪器，电磁跟踪器的电磁场敏感终端佩戴在用户头部；电磁跟踪器的电磁场敏感终端与用户头部的相对位置关系应固定。

进一步，所述的计算机根据具体应用环境的需要，可以是普通台式机、便携式计算机、可穿戴式计算机或图形工作站等高级计算机。

进一步，所述可透视的头戴式显示器See-Through HMD是辅助信息的输出设备，与计算机相连，根据需要，在计算机和可透视的头戴式显示器See-Through HMD之间设视频适配器。

本实用新型提出了分别采用摄像机或电磁跟踪器为输入设备、以可透视的头戴式显示器为输出设备的两种先进人机接口实现方法；方法一是以摄像机为传感器，采用数字图像处理算法实现对用户视线的初步跟踪，再采用基于多模板的特征匹配算法准确识别出用户感兴趣的目标对象；方法二是预先建立目标所处空间（如飞机座舱）的三维数字模型，以电磁跟踪器为传感器，经校准后采用坐标变换实现对用户视线的精确跟踪，进而计算视线与空间模型的交点来识别出用户感兴趣的目标对象。对于两种方法，最终用户感兴趣对象的辅助提示信息均输出到微型头盔显示器上。

实现本实用新型的一套基于感兴趣区实现辅助信息提示的人机接口设备的一种方法，包括如下步骤：

⑴ 以工作对象为基准建立坐标系，进而建立目标对象组的三维空间数字模型，确定目标对象间的空间位置关系；

⑵ 利用各个目标对象的图像制作可用于特征匹配的模板组；

⑶ 利用Mean Shift等跟踪算法实现对用户视线的初步跟踪，从而缩小特征匹配时模板搜索的范围；

⑷ 根据用户视线的停留时间确定感兴趣区；

⑸ 从摄像机中获取帧图像作为特征匹配的匹配图像；

⑹ 在以感兴趣区为中心的一定范围内搜索模板图像，对搜索到的各个模板图像逐一与匹配图像进行特征匹配，其中匹配度最高的目标对象作为用户感兴趣对象；

⑺ 将用户感兴趣对象对应的提示信息显示在微型头盔显示器上。

实现本实用新型的一套基于感兴趣区实现辅助信息提示的人机接口设备的另一种方法，包括如下步骤：

⑴ 以工作对象为基准建立坐标系，进而建立目标对象组的三维空间数字模型；

⑵ 采用电磁跟踪器对用户头部的位置与姿态进行跟踪定位；以Flock of Bird六自由度直流电磁跟踪器为例，该跟踪器由数据处理主机、发射器和电磁场敏感终端组成，数据处理主机与发射器安置于工作空间内的适当位置，电磁场敏感终端借助头盔或头套固定在用户头部；

⑶ 通过校准与坐标变换算法，计算机出用户头部与视线之间的变换矩阵，从而实现对用户视线的跟踪；

⑷ 根据用户视线的停留时间确定感兴趣区；

⑸ 计算用户视线与三维空间数字模型的交点，从而确定用户感兴趣的目标对象；

⑹ 将目标对象对应的提示信息显示在微型头盔显示器上。

本实用新型所述的一套基于感兴趣区实现辅助信息提示的人机接口设备与已有技术相比具有如下积极效果，1、在完成辅助信息提示时无须用户手动操作，因此可以方便地实现无手人机交互，可在飞机座舱、车辆驾驶室、车间操作台、手术室等多种环境下完成智能教学、训练与维修任务，还可以应用于战斗机飞行员头盔瞄准线测量等；2、采用可透视的头戴式显示器See-Through HMD，这使得所有显示信息始终跟随用户头部移动，显示在用户眼前，用户不需要来回转动头部查找和观看显示信息，并且信息的提示不会像其它显示设备那样遮挡或者占用用户的视野；3、实现了从用户所见到获得对应辅助信息的全程快速自动化，整体效率大幅提升。

附图说明：

图1 是本实用新型的基本连接关系图；

图2是本实用新型的一种方法工作原理图；

图3基于SURF的Mean Shift目标区域自动初始化流程；

图4 利用SURF算法实现Mean Shift自动模块更新的过程图；

图5人眼直视座舱参考点求解变换矩阵。

图面说明：

1传感器  2计算机  3可透视的头戴式显示器（See-Through HMD）  4摄像机  6视频适配器  7供电模块。

具体实施方式：

为了更好地理解与实施，下面结合附图详细说明本实用新型的和人机接口设备和实现方法；所举实例只用于解释本实用新型，并非用于限定本实用新型的范围。

实施例1，参见图1、2，选用摄像机4做为传感器1，根据需要计算机2选择穿戴式计算机，将摄像机4和可透视的头戴式显示器（See-Through HMD）3分别与计算机2通过线路连接，在计算机2和可透视的头戴式显示器（See-Through HMD）3之间连接视频适配器6，同时在计算机2上外加供电模块7，摄像机4视野的方向和范围与用户视野重叠，形成本实用新型实现方法一的人机接口设备。

实施例2，同实施例1，不同之处是选用电磁跟踪器做为传感器1，电磁跟踪器的电磁场敏感终端佩戴在用户头部，与用户头部的相对位置关系固定；根据需要计算机2选择便携式计算机；形成本实用新型实现方法二的人机接口设备。

根据所采用传感器的不同，本系统的实现方法也不同。分为以下两种方法：

一、目标对象识别方法一（必须有摄像机、计算机、HMD）

方法一以摄像机为传感器，其工作原理如图2所示；视频适配器用于进行HMD的输入信号适配，如果计算机能够直接提供HMD所需要的视频信号，则不需要视频适配器；图中选用了可穿戴式计算机为例（但不仅限于此），如果该计算机能够自带足够电量的电源，或者工作环境中能够提供外接电源，则辅助供电模块可不要。

方法一要实现对用户所视目标对象的识别，要按照制作对象空间模板集、视线跟踪、模板搜索、图像特征匹配四个步骤来实现。

1、制作对象空间模板集

模板集是图像识别的基础，也是决定识别系统能否达到实时、正确识别的关键。建立模板集并不是将所有的设备部件的图像都制作成相应的模板，否则在一个帧时间间隔内不可能完成复杂的模板搜索、匹配、定位与识别任务。应用中模板的选择应本着独特性、稳定性、唯一性、充分性和最少性的原则。

2、视线跟踪

本实用新型中利用基于视频图像的快速跟踪算法Mean-Shift算法为视线跟踪算法，算法应用前需要利用快速鲁棒特征算法SURF（Speeded Up Robust Features, SURF）图像特征匹配算法对Mean-Shift算法中的目标模型进行初始化，具体应用步骤如下。

⑴ 基于SURF的目标区域自动初始化

Mean Shift算法跟踪过程是通过对相邻帧中同一目标不同表达的对比实现的，达到目标检测或更新的目的。目标模型在视频序列起始帧中建立，候选模型在除起始帧以外的每一帧中建立。通过一定的相似性准则，完成候选模型和目标模型的匹配运算，形成新的坐标位置，完成目标位置更新。

Mean Shift算法是一种半自动的目标跟踪算法，为了能够对运动目标进行跟踪，必须事先通过人工的方法对初始目标的位置和跟踪区域大小进行设定，然后才能利用Mean Shift算法实施对运动目标的跟踪。然而手动选定目标区域明显为目标跟踪带来了困难，所以实现目标区域的自动初始化是必然的要求。利用SURF算法可以实现目标区域的自动初始化，实现流程如图3所示。

从图3可以看到，假设模板总数为N，在目标区域初始化过程中，首先从模板库中逐一提取模板图像，然后用SURF算法将其与视频帧图像进行匹配，接着选取正确匹配且最靠近帧图像中心位置的目标所对应的模板作为初始模板，再接着利用匹配点对进行透视变换，得到初始模板在帧图像中的对应区域，最后以此区域作为Mean Shift算法的初始目标区域，完成目标区域初始化过程。

⑵ Mean Shift自动模板更新

Mean Shift算法在实际跟踪过程中，目标由于旋转、遮挡、环境光照度改变等，常常有较大变化，这样用场景图像中已经变化了的目标的候选模型去匹配预先定义的初始目标模型，显然匹配度不高，这时如果场景中的某些物体可能和目标初始状态（如颜色直方图）比较相似，跟踪就会收敛到这些物体而不是目标，结果导致跟踪失败。由此可见，在Mean Shift跟踪过程中，模板的实时更新非常重要。

因为跟踪过程中几乎对视频中的每一帧都要进行匹配和定位，这样就可以利用SURF精确匹配得到模板位置信息，对Mean shift进行模板更新，过程如图4所示。

图4是目标识别过程中Mean Shift与SURF之间的关系，从图中可以看到，以模板为纽带，整个图像识别过程形成了一种跟踪——匹配——更新——再跟踪的闭环反馈实时更新模型。所以对本实用新型而言，Mean Shift模板更新问题无须额外设计，现有的信息足以保证Mean Shift的目标模型始终满足跟踪要求。

⑶ 视线跟踪

视线跟踪是一种间接的过程，因为过程中并不是直接计算出用户的视线矢量，而只计算出Mean Shift向量，该向量表征了视线运动的方向与距离，该向量可以在方法一的第三个步骤，即模板搜索中得到应用。

3、模板搜索

Mean Shift是一种目标跟踪算法，其基本功能是对目标进行连续跟踪。本实用新型中Mean Shift算法可以实现对帧图像范围内的某个模板的运动进行跟踪，但基于多模板的多目标识别问题要解决的中心任务是要快速搜索到可用于SURF匹配的模板。为实现快速模板搜索，本实用新型提出了基于Mean Shift向量与模板三维坐标的快速模板搜索算法。

4、图像特征匹配

在现有的特征匹配算法中，SURF是计算速度最快的，而且对特征尺度、旋转、光照、视点变化保持不变性。SURF特征匹配包括特征点检测、特征点描述及特征点匹配三个主要步骤。

二、目标对象识别方法二（必须有跟踪器、计算机、HMD）

方法二采用六自由度跟踪器为传感器，因为六自由度跟踪器能够达到很高的跟踪定位精度，如果能够将以跟踪器为坐标系的视线矢量转换至与对象空间三维数字模型一致的坐标系，即可计算出视线所对应的目标对象。因此，方法二的重点是解决跟踪器坐标系与对象空间坐标系的统一问题。

以飞机座舱应用为例说明坐标系的变换算法。

座舱模型的参考坐标系是座舱坐标系，而HMD位置及姿态是由电磁跟踪器的电磁场敏感终端的位置和方向来确定的，其参考坐标系是跟踪器坐标系，因此必须将二者统一到同一个参考坐标系中才能进行人眼视线矢量与座舱平面的交叉解算。计算跟踪器与座舱坐标变换的方法有两种：一是用指示笔测出座舱上一组已知座舱坐标的参考点在跟踪器坐标系中的坐标，根据两组坐标解出变换矩阵；二是用眼睛直视参考点，利用空间几何关系来求解变换矩阵，这里只对第二种方法作重点介绍。

如图5所示，设人眼视点为P(x，y，z)，参考点为Q(x0，y0，z0)，视线矢量的方向数为L(l，m，n)，这三者皆为已知，其中P，L的参考坐标系是跟踪器，Q的参考坐标系为座舱。

设座舱到跟踪器的坐标变换矩阵为T：

利用 T ，将参考点Q变换为跟踪器坐标Q^' (x^'，y^'，z^')。Q点的齐次坐标为 Q ＝[x₀，y₀，z₀，1]，则：

所以

)

于是得到矢量：

PQ^' = (x－x^'，y－y^'，z－z^')

根据矢量与方向数之间的关系有

x－x'：y－y'：z－z' ＝ l ：m ：n

于是得到方程组：

记

得到方程组：

其中 A 与 B 均为2n行矩阵，n为参考点的个数。用最小二乘法求出 X 即得座舱坐标到跟踪器坐标的变换矩阵 T 。

Claims (8)

1.一套基于感兴趣区实现辅助信息提示的人机接口设备，其特征在于它包括传感器（1）、计算机（2）和可透视的头戴式显示器See-Through HMD（3），传感器（1）和可透视的头戴式显示器See-Through HMD（3）分别与计算机（2）通过线路连接。

2.根据权利要求1所述的一套基于感兴趣区实现辅助信息提示的人机接口设备，其特征于所述的人机接口设备还包括供电模块（7）。

3.根据权利要求1所述的一套基于感兴趣区实现辅助信息提示的人机接口设备，其特征在于所述的传感器（1）为摄像机（4），佩戴在用户头部。

4.根据权利要求3所述的一套基于感兴趣区实现辅助信息提示的人机接口设备，其特征在于所述的摄像机（4）视野的方向和范围与用户视野重叠。

5.根据权利要求1所述的一套基于感兴趣区实现辅助信息提示的人机接口设备，其特在于所述的传感器（1）为电磁跟踪器，电磁跟踪器的电磁场敏感终端佩戴在用户头部。

6.根据权利要求5所述的一套基于感兴趣区实现辅助信息提示的人机接口设备，其特征在于所述的电磁跟踪器的电磁场敏感终端与用户头部的相对位置关系固定。

7.根据权利要求1所述的一套基于感兴趣区实现辅助信息提示的人机接口设备，其特征在于所述的计算机（2）为普通台式机、便携式计算机、可穿戴式计算机或图形工作站。

8.根据权利要求1所述的一套基于感兴趣区实现辅助信息提示的人机接口设备，其特征在于所述可透视的头戴式显示器See-Through HMD（3）是辅助信息的输出设备，与计算机（2）相连，在计算机（2）和可透视的头戴式显示器See-Through HMD（3）之间设视频适配器（6）。

Images