CN112043388A - 一种用于医疗遥操作的触觉人机交互装置 - Google Patents

Abstract

本发明公开了一种用于医疗遥操作的触觉人机交互装置，包括控制模块、触控笔和触控平台，触控笔包括一个笔尖和用于实时监测其姿态的姿态传感器，触控平台至少包括一个识别层、一个支撑层和一个相机，识别层采用在软质材料上标记规则网格的方式制成，支撑层用于支撑识别层，为硬质透明层；当笔尖接触识别层时，识别层相应区域的网格会发生变形，所述控制模块通过相机捕捉到网格的变化，从而识别接触力大小，并通过笔尖的发光元件识别接触位置，并结合触控笔的姿态进行人机交互。本发明主要面向医疗机器人的远程控制领域，操作方式符合医疗过程中医生的操作习惯，可输出操作过程中的位姿和压力信号，动作灵敏且成本较低，具有广阔的应用前景。

Description

一种用于医疗遥操作的触觉人机交互装置

技术领域

本发明属于机器人遥操作技术领域，涉及一种触觉控制装置，特别涉及一种用于医疗遥操作的触觉人机交互装置。

背景技术

近年来，机器人在工业、农业、服务业迅速发展，同时在医疗领域也已得到推广应用。随着机器人控制技术和远程通信技术的不断发展，机器人操控逐渐摆脱传统的面对面控制方式，处于交互控制方式下的主、从式遥操作机器人技术成为研究热点。在医疗领域，现有的医疗机器人侧重往智能化、服务化、小型化的方向发展，例如医疗服务机器人、穿刺机器人、介护机器人、B超机器人、血管介入机器人，而远程控制的医疗机器人相对较少，一个重要原因是缺少合适的医疗遥操作装置。

常用的远程操作装置包括：摇杆、3D鼠标、力反馈设备等。上述装置存在明显缺陷：摇杆的结构较为简单，控制指令较少，难以实现对远程医疗机器人多自由度运动的控制，而多摇杆的控制方式则增大操作难度；3D鼠标的输出信号虽然包括六个自由度的信息，但是只能实现开环遥操作控制，无法为操作者提供力反馈，交互感和临场感较差；力反馈设备满足多自由度信号输出，同时可以为操作者提供丰富的反馈信号，但是设备的成本过高且体积较大。

发明内容

鉴于上述现有远程操作装置的不足，本发明的目的在于提供一种用于医疗遥操作的触觉人机交互装置，具有精准的位姿和压力传感器，实现多自由度运动控制和操作压力控制，体积小且成本低，同时具有符合医疗操作逻辑的人机交互方式。

本发明是通过以下技术方案实现的：

一种用于医疗遥操作的触觉人机交互装置，其特征在于：包括控制模块、触控笔和触控平台，所述触控笔包括一个笔尖和用于实时监测其姿态的姿态传感器，所述触控平台至少包括一个识别层、一个支撑层和一个相机，所述识别层采用在软质材料上标记规则网格的方式制成，所述支撑层用于支撑识别层，为硬质透明层，所述相机安装于支撑层下方，所述相机和姿态传感器均与控制模块相连；当笔尖接触识别层时，识别层相应区域的网格发生变形，所述控制模块可通过相机捕捉网格的变化，采用视觉识别技术处理网格的变形信号，从而识别笔尖与识别层的接触力大小和接触位置，并结合触控笔的姿态进行人机交互。

进一步地，所述识别层包括标记层和位于标记层下方的软质透明层，所述网格采用转印的方式刻画在标记层下表面，标记层采用接触式安装在软质透明层上，软质透明层安装在支撑层上。

进一步地，所述网格转印的方法如下：

在一张光洁的纸上平铺一层转印纸，在转印纸上用笔绘画出规则的网格线，绘画完成后揭开转印纸，下层纸张上留下网格线的油墨痕迹，在硅胶的表面涂敷转印膏后，将留有油墨痕迹的纸面轻盖于硅胶表面，并对整个纸张背面轻微按压，揭开纸张后即在硅胶层上留下转印的网格。

进一步地，所述标记层采用硅胶材料制成，所述软质透明层采用透明硅胶材料制成。

进一步地，所述触控笔的笔尖设有发光元件，触控笔内设有用于控制发光元件是否发光的发光控制器，当笔尖接触识别层时，控制模块通过相机捕捉到接触压力信号，且通过姿态传感器获取姿态信号，即马上发出动作信号给发光控制器，发光控制器控制打开发光元件，通过相机捕捉发光元件来对笔尖与识别层接触位置进行精确识别。所述控制模块根据触控平台的压力信号和笔杆的姿态信号，通过发光控制器控制红色LED灯的开关状态，能够保证触控笔与触控平台接触时才产生位置信号。

进一步地，所述触控笔包括笔体外壳，所述笔体外壳一端为与笔杆圆柱半径相等的半球体，形成笔尖，笔体外壳外侧板设有控制是否供电的电源开关。

进一步地，所述发光元件为发红色光的LED灯。

进一步地，所述姿态传感器为设于触控笔内的IMU模块。

进一步地，所述触控平台还包括一个顶部开口的箱体外壳，所述硬质透明层安装在箱体外壳的顶部开口上，能对识别层起支撑作用，可防止其在重力作用下发生变形。所述相机安装在箱体外壳内底部，箱体外壳内还设有多个便于相机识别的补光灯。

进一步地，所述硬质透明层为透明亚克力板，所述透明亚克力板通过螺钉固定在箱体外壳上。

本发明的有益效果是：

1、通过识别层，将接触力转换为硅胶层的变形，并通过标记网格的方式使变形更加明显，利于捕捉微小的操作信号，动作灵敏。

2、利用相机捕捉识别层的变化，同时识别红色LED灯标定点的位置，获取了医生在操作过程中力的大小和运动方向；通过触控笔的IMU模块，获取了笔杆的实时姿态数据。

3、利用成熟稳定的通用传感器获取了多种控制信号，使得整套装置可靠性更高，成本相对较低，并且损耗部件容易更换。对比键鼠、摇杆、3D鼠标等传统操作方式，触控笔舒适的握持操作过程更符合医生的使用习惯。同时，触控面板采用类似于人体皮肤触感的硅胶材料，使整个操作过程更贴近于真实的人体触碰过程。

附图说明

图1为本发明用于医疗遥操作的触觉人机交互装置整体结构示意图。

图2为本发明触控笔结构示意图。

图3为本发明识别层结构示意图。

图4为本发明触觉人机交互装置结构框图。

图5为本发明工作流程图。

附图标记：1-触控笔，2-识别层，3-透明亚克力板，4-LED照明灯，5-相机，6-箱体外壳，7-笔体外壳，8-IMU模块，9-电源开关，10-发光控制器，11-红色LED灯，12-标记层，13-软质透明层。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例来对本发明提供的一种用于医疗遥操作的触觉人机交互装置进行详细说明。显然，所述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，为本发明一种用于医疗遥操作的触觉人机交互装置的整体结构示意图，触觉人机交互装置包括触控笔1、控制模块(本实施例具体为计算机，图中未画出)、识别层2、透明亚克力板3、补光灯4、相机5和箱体外壳6。所述识别层2采用在软质材料上标记规则的网格制成，所述支撑层用于支撑识别层2，为透明亚克力板3，所述相机5安装于支撑层下方，所述相机5和姿态传感器均与控制模块相连；当笔尖接触识别层2时，识别层2相应区域的网格会发生变形，所述控制模块可通过相机5捕捉网格的变化，采用视觉识别技术处理网格的变形信号，从而识别笔尖与识别层2的接触力大小和接触位置，并结合触控笔1的姿态进行人机交互。

所述触控笔1由操作者握持，在识别层2上滑动；所述识别层2内通过转印的方式刻画出规则的网格；所述透明亚克力板3贴合于识别层2的下表面，并固定于箱体外壳6上；所述补光灯可为相机5提供较为明亮的环境，本实施例中所述补光灯为LED照明灯4；所述相机5实时捕捉识别层2上发生的变化，包括红色标定点和标记网格的变化；所述箱体外壳6将整个触控平台封装。

图2为本发明触控笔1结构示意图，包括：包括笔体外壳7、IMU模块8、电源开关9、发光控制器10、发光元件。本实施例中，所述发光元件优选为红色LED灯11，所述笔体外壳7将整个触控笔1封装；所述IMU模块8具有获取笔杆姿态信号的功能；所述电源开关9用于控制整个触控笔1的电源；所述发光控制器10接收控制模块的动作信号，用于控制红色LED灯11的开关状态；所述红色LED灯11用于标定触控笔1与触控平台接触点，需要说明的是，本发明触控笔1既可以通过电池供电，也可以通过电源线连接外部电源供电，具体采用什么方式不影响本发明技术方案实施。

控制模块对红色LED灯11的具体控制方式为：开启电源开关9后，红色LED灯11为关闭状态，原因是发光控制器10未接收到控制模块的动作信号。当操作者握持触控笔1，将笔尖按压在触控平台的识别层2上时，识别层2内网格会发生变形，该变形信号由相机5捕捉并传输至控制模块后可输出压力信号。将压力信号反馈到控制模块，并且检测到IMU模块8反馈的姿态信号满足正常握持状态时，控制模块将动作信号发送到发光控制器10，从而控制红色LED灯11开启。根据医生的操作习惯，触控笔1可保持在一定的幅度范围内摆动，超出该范围可判定为触控笔1脱手或异常操作，而维持在范围内的操作即为所述的满足正常握持状态的姿态信号。如果触控笔1离开操作平台，或者触控笔1平放、大角度倾斜，则控制模块未接收到压力信号和正常握持姿态信号，即通过发光控制器10控制红色LED灯11关闭。根据所控制机器人的类型和工作性质不同，握持姿态对应的姿态信号范围不同，可以设定不同的阈值，以满足不同工作要求。

图3为本发明识别层2结构示意图，包括标记层12和位于标记层12下方的软质透明层13。所述标记层12的下表面通过转印的方式刻画出规则的网格；所述软质透明层13贴合于标记层12下表面，标记层12和软质透明层13之间可以胶粘固定，也可以不固定。最下层为透明亚克力板3，用作支撑层，可支撑识别层2，防止识别层2的网格在重力作用下发生变形。

标记层12下表面网格的转印方式为：在一张光洁的纸上平铺一层转印纸，在转印纸上用笔绘画出规则的网格线。绘画完成后揭开转印纸，下层纸张上留下网格线的油墨痕迹。在硅胶块的表面涂敷转印膏后，将留有油墨痕迹的纸面轻盖于硅胶表面，并对整个纸张背面轻微按压，揭开纸张后即在硅胶层上留下转印的网格。

图4为本发明触觉人机交互装置结构框图，图5为本发明的工作流程图。本发明具有获取压力、位置、姿态三种控制信号的功能。

获取压力信号的工作原理为：正常情况下，由于透明亚克力板3的支撑作用，识别层2可以维持平整的状态，识别层2内网格呈现规则排列。当操作者手持着触控笔1接触识别层2时，由于接触点存在一定的压力，因此识别层2内网格呈现局部不规则排列。透过软质透明层13和透明亚克力板3，在LED照明灯4提供的明亮环境下，相机5捕捉到网格的变化，将图像信号输出并通过计算机(控制模块)进行图像识别处理可得出受力的大小。将网格变形信号转化为接触力信号的过程，参考Zhang Y,Kan Z,Yang Y,et al.Effective Estimationof Contact Force and Torque for Vision-based Tactile Sensor with Helmholtz-Hodge Decomposition[J].2019。具体的，可以先在标定模式下，根据已知的接触压力测试网格变形程度，建立接触压力和网格变形程度模型，然后通过相机5捕捉到网格变形程度即可反过来确定接触压力，当然本发明识别网格变形程度过程中就可以大致定位笔尖位置，然后通过开启位于笔尖的红色LED灯11进一步确定笔尖的位置，从而获取笔尖位置和接触压力两个数据。

获取姿态信号的工作原理为：触控笔1内部安装了IMU模块8，该模块在工作时可以获取笔杆姿态信号。当操作者移动触控笔1时，通过IMU模块8尾部的信号接口即可获得姿态信号。

获取位置信号的工作原理为：当电源开关9开启后，压力信号和姿态信号的功能处于正常工作状态下。当控制模块接收到压力信号和符合要求的姿态信号后，即通过发光控制器10控制红色LED灯11开启，标定出触控笔1和识别层2的接触点位置。透过软质透明层13和透明亚克力板3，该标定点被相机5识别。由此，通过识别标定点的移动，可以获取触控笔1尖部分的位置信号。若压力信号消失或姿态信号异常，则红色LED灯11灯关闭，装置停止输出位置信号，防止误操作而保证安全。

以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种用于医疗遥操作的触觉人机交互装置，其特征在于：包括控制模块、触控笔和触控平台，所述触控笔包括一个笔尖和用于实时监测其姿态的姿态传感器，所述触控平台至少包括一个识别层、一个支撑层和一个相机，所述识别层采用在软质材料上标记规则网格的方式制成，所述支撑层用于支撑识别层，为硬质透明层，所述相机安装于支撑层下方，所述相机和姿态传感器均与控制模块相连；当笔尖接触识别层时，识别层相应区域的网格会发生变形，所述控制模块通过相机捕捉到网格的变化，采用视觉识别技术处理网格的变形信号，从而识别笔尖与识别层的接触力大小和接触位置，并结合触控笔的姿态进行人机交互。

2.如权利要求1所述用于医疗遥操作的触觉人机交互装置，其特征在于：所述识别层包括标记层和位于标记层下方的软质透明层，所述网格采用转印的方式刻画在标记层下表面，标记层采用接触式安装在软质透明层上，软质透明层安装在支撑层上。

3.如权利要求2所述用于医疗遥操作的触觉人机交互装置，其特征在于：所述网格转印的方法如下：

在一张光洁的纸上平铺一层转印纸，在转印纸上用笔绘画出规则的网格线，绘画完成后揭开转印纸，下层纸张上留下网格线的油墨痕迹，在硅胶的表面涂敷转印膏后，将留有油墨痕迹的纸面轻盖于硅胶表面，并对整个纸张背面轻微按压，揭开纸张后即在硅胶层上留下转印的网格。

4.如权利要求2所述用于医疗遥操作的触觉人机交互装置，其特征在于：所述标记层采用硅胶材料制成，所述软质透明层采用透明硅胶材料制成。

5.如权利要求2所述用于医疗遥操作的触觉人机交互装置，其特征在于：所述触控笔的笔尖设有发光元件，触控笔内设有用于控制发光元件是否发光的发光控制器，当笔尖接触识别层时，控制模块通过相机捕捉到接触压力信号，且通过姿态传感器获取姿态信号，即马上发出动作信号给发光控制器，发光控制器控制打开发光元件，通过相机捕捉发光元件来对笔尖与识别层接触位置进行精确识别。

6.如权利要求5所述用于医疗遥操作的触觉人机交互装置，其特征在于：所述触控笔包括笔体外壳，所述笔体外壳一端为与笔杆圆柱半径相等的半球体，形成笔尖，笔体外壳外侧板设有控制是否供电的电源开关。

7.如权利要求5所述用于医疗遥操作的触觉人机交互装置，其特征在于：所述发光元件为发有色光的LED芯片。

8.如权利要求1所述用于医疗遥操作的触觉人机交互装置，其特征在于：所述姿态传感器为设于触控笔内的IMU模块。

9.如权利要求1-8任意一项所述用于医疗遥操作的触觉人机交互装置，其特征在于：所述触控平台还包括一个顶部开口的箱体外壳，所述硬质透明层安装在箱体外壳的顶部开口上，所述相机安装在箱体外壳内底部，箱体外壳内还设有多个便于相机识别的补光灯。

10.如权利要求9所述用于医疗遥操作的触觉人机交互装置，其特征在于：所述硬质透明层为透明亚克力板，所述透明亚克力板通过螺钉固定在箱体外壳上。

Images