CN108594994B - 基于磁标记舌机接口的空间轨迹平面投影文本识别方法 - Google Patents

Abstract

本发明涉及一种基于磁标记舌机接口的空间迹平面投影文本识别方法，以实现肢体功能丧失患者通过电脑进行打字。利用永磁体为标记物构建空间磁场，对舌尖运动进行标记；建立全局xyz直角坐标系，通过口腔外部的具有固定位置的磁场检测传感器测量该标记永磁体衍生的空间磁场分布情况，结合逆向求解算法，获得标记永磁体与磁场检测传感器之间的间距；基于磁场检测传感器的空间分布位置，获得标记永磁体的空间分布位置，从而获得舌尖的运动轨迹；基于曲率判定准则对获得的磁标记舌尖运动轨迹进行特征识别，并输出所识别字母。本方法可为肢体功能丧失患者提供以舌尖为书写工具的高效、准确的人机交互手段。

Description

基于磁标记舌机接口的空间轨迹平面投影文本识别方法

技术领域

本发明涉及一种智能人机交互技术，特别涉及一种基于磁标记舌机接口的空间轨迹平面投影文本识别方法。

背景技术

对于重度瘫痪病人来说，由于几乎丧失了肢体的运动功能，这类重度残障病患急需通过新型的交互方式，实现与外界环境的沟通交流，包括日常需求、亲属交流、医患沟通、娱乐等，这对患者身心健康有着重要意义。利用患者保有的舌头运动功能，基于舌机接口的交互技术被描述为一种有效可行的方法。基于永磁体磁标记的舌机接口技术，具有结构简单、非接触、无需激励源、传播不受人体组织影响等优点，在康复辅助工程中得到了广泛的应用。

由于应用舌机接口交互方式要求不能对患者产生任何伤害或潜在的伤害，不可将过多的装置放置于口腔内部。现有基于磁标记的舌机接口技术多采用模糊识别方法，通过对口腔内舌尖活动区域进行稀疏划分，以舌尖运动到指定区域为触发开关，对应输出若干控制指令。现有系统可输出的控制指令有限，并且由于操作方式非自然交流形式，需要对患者进行长期的训练才能达到理想的操作效果，如较高的正确率和速度等。通过对磁标记舌尖运动进行精确追踪，可实现文本输出如手写般自然交流方式，且可获取的控制指令形式得到极大的丰富。然而，由于口腔内活动空间狭小，操作过程不直观，舌尖运动轨迹易混叠，并且空间文本轨迹的识别存在较大困难。因此，如何在磁标记舌机接口技术的基础上，获得快速、高精度文本输出是舌机接口技术领域研究的重点。

发明内容

本发明是针对现在应用舌机接口交互存在的问题，提出了一种基于磁标记舌机接口的空间轨迹平面投影文本识别方法，以实现肢体功能丧失患者通过电脑进行打字。

本发明的技术方案为：一种基于磁标记舌机接口的空间轨迹平面投影文本识别方法，具体包括如下步骤：

1)利用永磁体对待标记舌尖进行磁标记，建立空间磁场：

标记永磁体位于待追踪舌尖部位，排列在一平面上的磁检测传感器阵列正对嘴，与嘴相对位置固定不变，磁检测传感器阵列检测磁信号，并将检测信号送到计算机进行信号处理和识别；

2)利用磁检测传感器阵列测量随着待追踪舌尖部位标记永磁体运动而变化的并由该标记永磁体激发的空间磁场分布，通过逆向求解算法，计算获得标记永磁体的空间位置参数，同步获得标记舌尖的空间运动轨迹；

3)基于曲率判定准则，对获得的舌尖运动轨迹进行特征识别，输出识别的文本。所述步骤2)具体实现方法如下：

2.1)建立该标记永磁体激发的空间磁场分布与标记舌尖空间位置的对应关系；

2.2)建立全局xyz直角坐标系，通过置于口腔外部具有固定位置的磁检测传感器阵列测量该标记永磁体激发的空间磁场在磁检测传感器阵列位置上的磁通密度分布情况，根据所建立的标记永磁体空间位置与其激发空间磁场分布之间的对应关系，结合逆向求解算法，获得标记永磁体与磁场检测传感器的相对位置矢量；

2.3)标记永磁体采用磁偶极子模型建模，用公式(1)描述标记永磁体激发空间磁场分布与标记永磁体空间位置关系：

其中，μ₀为真空磁导率；B为测量位置上的磁通密度矢量；M为磁偶极矩矢量； r为从磁偶极子位置矢量r_p指向测量点的位置矢量r_s，r＝r_p-r_s，它的长度为r；通过公式(2)描述的基于最小二乘逆向求解优化算法，获得标记磁源的空间位置分布：

其中，I为磁检测传感器阵列中磁检测传感器个数，B_cxi和B_mxi分别是第i个传感器上检测到的和基于公式(1)计算所得磁通密度x轴方向分量；B_cyi和B_myi分别是第i个传感器上检测到的和基于公式(1)计算所得磁通密度y轴方向分量； B_czi和B_mzi分别是第i个传感器上检测到的和基于公式(1)计算所得磁通密度z 轴方向分量；

2.4)通过迭代优化算法，获得标记磁源的空间位置分布r_p，实现被标记舌尖运动轨迹追踪。

所述步骤3)具体实现方法如下：

3.1)以舌尖自然静止置于下排牙齿正中为触发信号，判定舌尖文本书写识别开始；

3.2)以与中间牙齿平面的切面向舌体上表面倾斜并呈30度夹角的XOY平面为投影面，其中将以舌尖文本书写识别开始的判定位置为原点，构建该二维投影平面直角坐标系XY，逆向求解优化算法计算所得舌尖实时空间运动轨迹变换为二维平面轨迹；

3.3)分别计算舌尖运动轨迹的投影轨迹关于X轴和Y轴的曲率梯度值，分别取最大的前N个曲率梯度，N为可能存在的文本笔画拐点个数，分别计算这N 个曲率梯度的变化率，并分别取最大的曲率梯度变化率对应的曲率梯度为相应的阈值，然后分别根据阈值判定准则，识别舌尖运动轨迹的投影轨迹关于X轴和Y轴的曲率梯度峰谷的个数以及位置，确定轨迹拐点出现的个数和位置，以此为依据进行轨迹笔画划分；

3.4)分段拟合识别的笔画，通过与预设文本笔画对比识别，包括笔画顺序和笔画走向；识别的文本输出，显示。

本发明的有益效果在于：本发明基于磁标记舌机接口的空间轨迹平面投影文本识别方法，利用永磁体为标记物构建空间磁场，对舌尖运动进行标记；建立全局xyz直角坐标系，通过口腔外部的具有固定位置的磁场检测传感器测量该标记永磁体衍生的空间磁场分布情况，结合逆向求解算法，获得标记永磁体与磁场检测传感器之间的间距；基于磁场检测传感器的空间分布位置，获得标记永磁体的空间分布位置，从而获得舌尖的运动轨迹；基于曲率判定准则对获得的磁标记舌尖运动轨迹进行特征识别，并输出所识别字母。本发明通过准确地磁标记舌尖运动轨迹追踪和基于曲率判定准则的空间迹平面投影文本识别，为肢体功能丧失患者提供了一种以舌尖为书写工具的高效、准确的人机交互方法。

附图说明

图1为本发明方法中磁标记舌机交互系统组成示意图；

图2是本发明基于磁标记舌机接口的空间轨迹平面投影文本识别方法流程图；

图3是本发明方法中舌尖空间运动轨轨迹平面投影示意图。

具体实施方式

一种基于磁标记舌机接口的空间轨迹平面投影文本识别方法基于如图1所示磁标记舌机交互系统，该系统包括标记磁源、磁检测传感器阵列、基于计算机的人机交互界面，标记磁源位于待追踪舌尖部位，排列在一平面上的磁检测传感器阵列正对嘴，与嘴相对位置固定不变，检测磁信号，并将检测信号送到计算机进行信号处理和识别。标记舌尖及其附近没有除标记磁源以外的磁场发生源或者铁磁性材料。

实现舌尖空间轨迹平面投影文本识别方法主要包括以下步骤：

步骤一，利用永磁体对待标记舌尖进行磁标记，建立空间磁场；

步骤二，利用磁检测传感器阵列测量随着待追踪舌尖部位标记永磁体运动而变化的并由该标记永磁体激发的空间磁场分布，通过逆向求解算法，计算获得标记永磁体的空间位置参数，同步获得标记舌尖的空间运动轨迹；

步骤三，基于曲率判定准则，对获得的舌尖运动轨迹进行特征识别，人机交互界面输出识别的文本。

如图2所示基于磁标记舌机接口的空间轨迹平面投影文本识别方法流程图，其中通过基于永磁体标记的逆向求解算法计算获得标记舌尖的空间运动轨迹方法包括：

利用永磁体为标记物构建空间磁场，将标记永磁体固定于待追踪舌尖部位，对舌尖运动进行标记，建立该标记永磁体激发的空间磁场分布与标记舌尖空间位置的对应关系；

建立全局xyz直角坐标系，如图1所示，以磁检测传感器阵列所在平面为 xoy平面，坐标系原点o位于磁检测传感器阵列中心位置，z轴方向为垂直于磁检测传感器阵列所在平面并指向口腔内，x轴方向为沿磁检测传感器阵列所在平面竖直向上，y轴方向根据右手定则判定。通过置于口腔外部具有固定位置的磁检测传感器阵列测量该标记永磁体激发的空间磁场在磁检测传感器阵列位置上的磁通密度分布情况，根据所建立的标记永磁体空间位置与其激发空间磁场分布之间的对应关系，结合逆向求解算法，获得标记永磁体与磁场检测传感器的相对位置矢量；

标记永磁体采用磁偶极子模型建模，可以用公式(1)描述标记永磁体激发空间磁场分布与标记永磁体空间位置关系：

其中，μ₀为真空磁导率；B为测量位置上的磁通密度矢量；M为磁偶极矩矢量； r为从磁偶极子位置矢量r_p指向测量点的位置矢量r_s，r＝r_p-r_s，它的长度为r；

通过公式(2)描述的基于最小二乘逆向求解优化算法，获得标记磁源的空间位置分布：

其中，I为磁检测传感器阵列中磁检测传感器个数，B_cxi和B_mxi分别是第i个传感器上检测到的和基于公式(1)计算所得磁通密度x轴方向分量；B_cyi和B_myi分别是第i个传感器上检测到的和基于公式(1)计算所得磁通密度y轴方向分量； B_czi和B_mzi分别是第i个传感器上检测到的和基于公式(1)计算所得磁通密度z 轴方向分量。

然后，通过迭代优化算法，获得标记磁源的空间位置分布r_p，实现被标记舌尖运动轨迹追踪。

如图2所示，基于曲率判定准则的舌尖运动轨轨迹文本特征识别算法包括：

以舌尖自然静止置于下排牙齿正中为触发信号，判定舌尖文本书写识别开始；

如图3所示舌尖空间运动轨轨迹平面投影示意图，以舌尖自然静止置于下排牙齿正中为触发信号，判定舌尖文本书写识别开始；以与中间牙齿平面的切面向舌体上表面倾斜并呈30度夹角的XOY平面为投影面，其中将以舌尖文本书写识别开始的判定位置为原点，构建该二维投影平面直角坐标系XY，逆向求解优化算法计算所得舌尖实时空间运动轨迹变换为二维平面轨迹；

分别计算舌尖运动轨迹的投影轨迹关于X轴和Y轴的曲率梯度值，分别取最大的前N个曲率梯度(N为可能存在的文本笔画拐点个数，通常取N≤15)，分别计算这N个曲率梯度的变化率，并分别取最大的曲率梯度变化率对应的曲率梯度为相应的阈值，然后分别根据阈值判定准则，识别舌尖运动轨迹的投影轨迹关于X轴和Y轴的曲率梯度峰谷的个数以及位置，确定轨迹拐点出现的个数和位置，以此为依据进行轨迹笔画划分；

分段拟合识别的笔画，通过与预设文本笔画对比识别，包括笔画顺序和笔画走向；识别的文本输出，显示。

Claims (1)

1.一种基于磁标记舌机接口的空间轨迹平面投影文本识别方法，其特征在于，具体包括如下步骤：

1)利用永磁体对待标记舌尖进行磁标记，建立空间磁场：

标记永磁体位于待追踪舌尖部位，排列在一平面上的磁检测传感器阵列正对嘴，与嘴相对位置固定不变，磁检测传感器阵列检测磁信号，并将检测信号送到计算机进行信号处理和识别；

2)利用磁检测传感器阵列测量随着待追踪舌尖部位标记永磁体运动而变化的并由该标记永磁体激发的空间磁场分布，通过逆向求解算法，计算获得标记永磁体的空间位置参数，同步获得标记舌尖的空间运动轨迹；

3)基于曲率判定准则，对获得的舌尖运动轨迹进行特征识别，输出识别的文本；所述步骤2)具体实现方法如下：

2.1)建立该标记永磁体激发的空间磁场分布与标记舌尖空间位置的对应关系；

2.2)建立全局xyz直角坐标系，通过置于口腔外部具有固定位置的磁检测传感器阵列测量该标记永磁体激发的空间磁场在磁检测传感器阵列位置上的磁通密度分布情况，根据所建立的标记永磁体空间位置与其激发空间磁场分布之间的对应关系，结合逆向求解算法，获得标记永磁体与磁场检测传感器的相对位置矢量；

2.3)标记永磁体采用磁偶极子模型建模，用公式(1)描述标记永磁体激发空间磁场分布与标记永磁体空间位置关系：

其中，μ₀为真空磁导率；B为测量位置上的磁通密度矢量；M为磁偶极矩矢量；r为从磁偶极子位置矢量r_p指向测量点的位置矢量r_s，r＝r_p-r_s，它的长度为r；通过公式(2)描述的基于最小二乘逆向求解优化算法，获得标记磁源的空间位置分布：

其中，I为磁检测传感器阵列中磁检测传感器个数，B_cxi和B_mxi分别是第i个传感器上检测到的和基于公式(1)计算所得磁通密度x轴方向分量；B_cyi和B_myi分别是第i个传感器上检测到的和基于公式(1)计算所得磁通密度y轴方向分量；B_czi和B_mzi分别是第i个传感器上检测到的和基于公式(1)计算所得磁通密度z轴方向分量；

2.4)通过迭代优化算法，获得标记磁源的空间位置分布r_p，实现被标记舌尖运动轨迹追踪；

所述步骤3)具体实现方法如下：

3.1)以舌尖自然静止置于下排牙齿正中为触发信号，判定舌尖文本书写识别开始；

3.2)以与中间牙齿平面的切面向舌体上表面倾斜并呈30度夹角的XOY平面为投影面，其中将以舌尖文本书写识别开始的判定位置为原点，构建二维投影平面直角坐标系XY，逆向求解优化算法计算所得舌尖实时空间运动轨迹变换为二维平面轨迹；

3.3)分别计算舌尖运动轨迹的投影轨迹关于X轴和Y轴的曲率梯度值，分别取最大的前N个曲率梯度，N为可能存在的文本笔画拐点个数，分别计算这N个曲率梯度的变化率，并分别取最大的曲率梯度变化率对应的曲率梯度为相应的阈值，然后分别根据阈值判定准则，识别舌尖运动轨迹的投影轨迹关于X轴和Y轴的曲率梯度峰谷的个数以及位置，确定轨迹拐点出现的个数和位置，以此为依据进行轨迹笔画划分；

3.4)分段拟合识别的笔画，通过与预设文本笔画对比识别，包括笔画顺序和笔画走向；识别的文本输出，显示。

Images