CN102525795B - 一种足部按摩机器人快速自动定位方法 - Google Patents

Abstract

一种足部按摩机器人快速自动定位方法是通过采集不同的足底部形状的三维数据样本、运用多种数据分析模拟手段，离线建立足底部模型、穴位分布比例模型。该方法包括以下步骤：1、根据足底部轮廓特征点，离线建立足底穴位经验模型；2、在线强化学习优化足底穴位定位。本发明与现有技术相比，其显著特点是：在使用较简单设备，较低成本的前提下，实现准确、快速的穴位定位，离线地建立足部的三维形状轮廓经验模型，实现机器人准确的穴位定位。

Description

一种足部按摩机器人快速自动定位方法

技术领域

本发明涉及的是医疗服务按摩机器人控制系统领域内的穴位自动查找、智能定位方法，特别是涉及一种足部按摩机器人快速自动定位方法。

背景技术

人的双足上有着与人体各脏腑器官相对应的反射区，只有选用合适的力度，按一定顺序采用不同的手法，按摩这些反射区，通过神经反射功能，调节其相对应的脏腑器官和肢体的功能，运行气血，濡养周身，抗御外邪，才能起到防病治病自我保健的功能。

按摩机器人的作用对象是人体软组织，中医按摩推拿手法以“持久、有力、均匀、柔和、深透”为特点。按摩技师根据患者的生理信息，给出按摩处方（按摩穴位和经络、手法组合、手法轨迹、力的方向、大小、频率和作用时间），将按摩机器人期望输入决策控制动作转换成机器人按摩执行机构的期望力和运动轨迹，由柔顺力控制器控制机器人运动，使机器人实现期望的按摩手法。

足部按摩机器人的按摩力度可以通过采集压力传感器的反馈信号来获得，机器人按摩穴位其中的技术难点是对于穴位坐标的寻找。目前，现有按摩机器人的穴位定位方法，往往采用人工示教-再现手段，结合机器人视觉技术、图像处理和目标跟踪等方法。这2类方法中前者需要专业按摩技师的操作，后1类方法运用视觉、识别技术则需要机器人系统配备图像采集、处理等硬件设备，需要大量的在线计算量控制调整输出命令。

发明内容

本发明的目的就是为克服上述现有技术存在的不足，而提供一种基于计算分析、模拟、在线学习调整的快速、准确的一种足部按摩机器人快速自动定位方法。

采用技术方案是：

本发明的一种足部按摩机器人快速自动定位方法是通过采集不同的足底部形状的三维数据样本、运用多种数据分析模拟手段，离线建立足底部模型、穴位分布比例模型。针对不同的患者，集成多种计算、学习、分类子过程，运用在线学习方法的调整，精确定位足底穴位，形成个性化的足底部穴位准确定位模型，再反向映射成机器人的穴位自动定位坐标。

该方法包括以下步骤：1、根据足底部轮廓特征点，离线建立足底穴位经验模型；2、在线强化学习优化足底穴位定位。

所述的步骤1根据足底部轮廓特征点，离线建立足底部穴位数字虚拟模型是由以下步骤实现的：

（1）、采集大量的人足底部外轮廓三维曲面的离散点数据（从35 ~43号脚各10组）。

（2）、记录足部长度、宽度的最大最小、深度尺寸等特征点。

（3）、运用多项式、指数、最小二乘法等方法进行离散数据点的曲线拟合，按照特征点进行足部轮廓的粗分段，分段拟合数据的曲线，局部断点位置用插值方法使外轮廓曲线平滑、连续。得到人足底部外轮廓线的三维虚拟数字模型。

（4）、重复上述（2）、（3）步骤，通过数据分析计算所有采集的足底部轮廓数据，即可得到足底部轮廓曲面的经验模型。

（5）、依据足底部外轮廓模型可判断人足部骨骼尺寸，结合传统中医同身寸的理论，判断其关键穴位的位置，进而确定其他部位的穴位位置。

上述步骤在机器人系统中的具体实现过程：足部按摩机器人在执行按摩前，先让患者将足跟放在足跟固定卡位位置，找到人脚外形的最宽、最窄位置尺寸，之后，手动用绑带固定脚的最宽位置。通过基座动平台运动机器人可以测出人足底深度，已知人脚的型号长度，所以，按摩机器人能够得到患者足底部特征点，确定足底部的长度、宽度、深度位置，这些位置作为特征点。机器人根据特征点位置、尺寸，依据已经建立的人足底轮廓经验数字模型，构建足底部三维数字轮廓曲面，使机器人获取按摩对象的足底轮廓曲面数据。

人身体的穴位，其大小从2mm 到2cm 不等，穴位基本上在骨空中、肌肉凹陷处。在国标GB12346-90中提到，经穴定位的方法分三种：体表解剖标志定位法、骨度折量定位法、指寸定位法。三者在应用时相互结合，即以体表解剖标志为主，折量各部位的距离分寸，并用手指来比量，从而确定经穴位置。体表解剖标志定位法：根据人体表面具有一定特征的部位作为标志，而定取穴位的方法，分为固定标志法和活动标志法两种。骨度折量定位法以骨节为主要标志测量全身各部的长度和宽度，并依其比例折算尺寸作为定穴的标准方法。结合计算机数学、数字解剖学、应用解剖学等学科，利用计算机自动标识与三维重建技术，确定足部按摩机器人按摩经穴的分布定位。足底外轮廓经验模型通过计算机重现技术，表达人足底部的三维曲面特性，经穴分布规律特点用于确定机器人的按摩穴位位置坐标。

所述的步骤（2）在线强化学习优化足底穴位定位，包括以下过程：

人能够通过实践获得并提高技能，按摩技师通过多次实践，能够改善按摩任务的完成质量。由于不同人体和人体不同部位的软组织粘弹性具有差异性，人的经络穴位位置具有低阻抗特性，以阻抗测量值作为客观评价依据，采用基于CMAC(Cerebellar Model Articulation Controller, CMAC) 小脑模型神经网络自适应强化学习方法，在线实时调整机器人控制器的参数，使按摩机器人对不同患者在线自适应定位机器人的按摩穴位。

穴位具有低电阻的特性，导电量高、电流容易通过，依据上述原理制作的人体穴位识别治疗仪（专利申请号200710078318.1），在病人需要针灸或其他施术方法的大概部位上反复用测试笔的触头点触施术的大概部位，观察测试笔上的发光管发光的强弱变化，如果点触到的点上发出的光，亮度明显强于其他点，就可以确认该点位就是穴位的最佳“良导点”，也就是正确的治疗穴位。本发明将上述技术方法，应用于机器人在线强化学习优化的穴位定位。作为优化定位穴位学习效果好坏的评价，设定发光管发光的强度等级，在穴位优化学习定位过程中，强化学习系统接收的发光等级信号越高，强化学习的回报函数奖励值越大，发光等级越低则回报函数值越低。

CMAC神经网络具有较好的在线增量学习能力，因此在本专利中设计了基于CMAC 神经网络的强化学习算法，对穴位定位进行优化。使用CMAC神经网络函数估计模块逼近强化学习的值函数，通过Q学习算法来优化值函数，从而获得优化的穴位定位策略。

Q学习是强化学习算法中应用最广泛的方法之一。Q学习方法用Q(s,a)函数表示在状态s下执行动作a的效果，Q(s,a)根据下式更新：

①

其中，

为学习率，

为折扣系数，s’为系统到达的新状态，r为获得的立即回报，由回报函数确定。

为实现Q学习“探索”与“开采”的平衡，采用可变探索率ε-贪心搜索策略。在进行动作选择的过程中，学习系统有机会执行趋向目标的贪心动作，如式(2)，有

的机会随机选择动作作用于环境。

②

按照强化学习试错过程先后顺序，采用分段线性的探索率ε，如式（3）。

③

其中，

为初始探索率，l为迭代次数，Maxstep为学习周期长度。

根据已建立的经验数字模型计算的穴位位置，以其测试的发光强度为基准设定等级，建立强化学习系统即时回报函数：

④

上式为一种3个等级的回报函数形式。

将强化学习和神经网络相结合，主要是利用神经网络的强大存储能力和函数估计能力。使用神经网络进行函数估计来解决按摩机器人大空间、连续状态空间强化学习问题，可以初步解决“维数灾难”问题。将CMAC用于Q学习，实现对Q函数的逼近，其结构示意如图2所示。把A _C中的虚拟地址通过散列编码(hash coding)影射到一个小的多的物理地址A_P中。A _P中也将有c个物理地址与之对应，A^∗为在A_P中随机分布的c个物理地址。W为定义在物理地址空间的权值向量。其式为：

⑤

其中，N为地址空间的单元数，i 为动作集合中动作的个数。则输出为所对应的激活的c个物理地址空间权值的累加和，即状态的行为值函数Q。其值如下式所示：

k=1,2, … N, j=1,2, … i, ⑥

学习算法采用误差纠正算法，权值修正公式为：

⑦

式中，w_kj (t+1)为t +1时刻所对应动作的物理地址权值。

在此框架下，应用神经网络来进行函数估计的强化学习算法流程如下 :

1) 初始化所有CMAC网络权值W为零；

2) 初始化t = 0时的环境状态S₀为一定范围内的随机数；

3) 对环境状态进行分割；

4) 根据分割后的状态选中某个CMAC；

5) 根据Q_NN(s _t, a_t) 按照ε-greedy 策略选择动作a，观察下一状态s_{t +1}和即时回报r_t；

6) 根据式⑦调整所选中的某个CMAC网络权值；

7) 如果r_t为惩罚信号，返回步骤 2)重新学习，若r _t为奖励信号，返回步骤 3)继续学习，直到达到学习周期长度Maxstep时，转步骤 8)；

8) 结束。

本发明涉及一种中医按摩机器人，具体涉及针对高血压病人康复治疗的中医按摩机器人。针对不同的患者，按摩机器人通过已定位的脚部轮廓的特征点，将采集到的足底部特征点坐标值存储到主控机上，通过数字拟合经验模型、计算并查询数字模型的穴位，机器人进行基于经验模型的穴位定位，然后通过在线强化学习优化，进行穴位精确定位。根据机器人系统状态和患者生理指标等信息，控制推拿调节平台、机械臂和推拿按摩触头等模块并行、协调动作，可完成中医推拿医生常用的“指揉”、“指按”等手法组成的按摩推拿治疗任务。

根据高血压病人按摩治疗的配穴方案，结合不同病人的身体各自特点，制定个性化的取穴、按摩力度等治疗方案。运用在线自适应学习调整按摩力度、穴位位置精调，以形成良好的治疗效果。具备穴位按摩处方记忆功能，针对不同患者，根据实时监测的生理信号（心跳、血压等）和按摩力大小，调整按摩频率、幅度、速度，必要时退出按摩操作，在患者的耐受力范围内保障安全。

在按摩时, 患者取仰卧位,脚下放专用垫垫高, 易于放松, 便于按摩同时促使双脚血液、淋巴回流情况一样, 经络疏通、传导一样，神经反射一样, 反射区刺激齐全, 相应的器官接受信息完整, 机体的调整更趋向协调和平衡。相对于市场上已有的按摩保健器材，可以达到更好的治疗效果。

有益效果：本发明与现有技术相比，其显著特点是：在使用较简单设备，较低成本的前提下，实现准确、快速的穴位定位，离线地建立足部的三维形状轮廓经验模型，结合在线的学习自适应控制，实现机器人准确的穴位定位，结合按摩专家治疗疾病经验、手段，给出治疗按摩处方设计按摩流程。

附图说明

图1是本发明 基于Q学习方法的原理示意图。

Claims (1)

1.一种足部按摩机器人的穴位定位方法，其特征在于包括以下步骤：A、根据足底部轮廓特征点，离线建立足底穴位经验模型，B、在线强化学习优化足底穴位定位；

所述的步骤A根据足底部轮廓特征点，离线建立足底穴位经验模型是由以下步骤实现的：

（1）、采集大量的人足底部外轮廓三维曲面的离散点数据（2）、记录足部长度、宽度的最大最小、深度尺寸特征点；

（3）、运用多项式、指数、最小二乘法方法进行离散数据点的曲线拟合，按照特征点进行足部轮廓的粗分段，分段拟合数据的曲线，局部断点位置用插值方法使外轮廓曲线平滑、连续，得到人足底部外轮廓线的三维虚拟数字模型；

（4）、重复上述（2）、（3）步骤，通过数据分析计算所有采集的足底部轮廓数据，即能得到足底部轮廓曲面的经验模型；

（5）、依据足底部外轮廓模型能判断人足部骨骼尺寸，结合传统中医同身寸的理论，判断其关键穴位的位置，进而确定其他部位的穴位位置；

所述的步骤B在线强化学习优化足底穴位定位，包括以下过程：

设计了基于CMAC 神经网络的强化学习算法，对穴位定位进行优化，使用CMAC神经网络函数估计模块逼近强化学习的值函数，通过Q学习算法来优化值函数，从而获得优化的穴位定位策略；所述的在线强化学习优化足底穴位定位，是以阻抗测量值作为强化学习系统的回报函数的客观评价依据，根据经验模型计算的穴位位置，以其测试的发光强度为基准设定等级，建立强化学习系统即时回报函数：

所述的基于CMAC神经网络函数估计的强化学习方法，包括以下步骤：

1) 初始化所有CMAC网络权值W为零；

2) 初始化t = 0时的环境状态S₀为一定范围内的随机数；

3) 对环境状态进行分割；

4) 根据分割后的状态选中某个CMAC；

5) 根据Q_NN(s _t, a_t) 按照ε-greedy 策略选择动作a，观察下一状态s_{t +1}和即时回报r_t；

6) 根据式

调整所选中的某个CMAC网络权值，其中，w_kj (t+1)为t +1时刻所对应动作的物理地址权值；

是折扣系数，c是物理地址个数，s表示状态，a表示动作；

7) 如果r_t为惩罚信号，返回步骤 2)重新学习，若r _t为奖励信号，返回步骤 3)继续学习，直到达到学习周期长度Maxstep时，转步骤 8)；

8) 结束。

Images