CN109739360B

CN109739360B - 一种力反馈装置对人体软组织仿真的控制系统与方法

Info

Publication number: CN109739360B
Application number: CN201910010988.2A
Authority: CN
Inventors: 薛昭洋; 杨宏亮; 杨结生; 杨杰夫; 翟明; 张傲卓
Original assignee: Northeastern University China
Current assignee: Northeastern University China
Priority date: 2019-01-07
Filing date: 2019-01-07
Publication date: 2020-08-04
Anticipated expiration: 2039-01-07
Also published as: CN109739360A

Abstract

本发明公开了一种力反馈装置对人体软组织仿真的控制系统与方法，主要应用于微创机器人手术和遥感操作系统中。该方法包括：提取操作者操作的力反馈装置的位置信息，根据安装在电机轴上的FT传感器测量扭转阻力矩信息作为反馈输入量，电机扭矩控制模式与速度控制模式的选择，基于能量控制方法使电机扭矩有稳定输出，CHAI3D场景中虚拟器械与人体软组织模型形变计算及实时渲染。控制系统包括手柄操作杆、电机驱动器、数据采集模块、电机控制单元、通讯单元、仿真控制单元和CHAI3D虚拟场景。本发明闭环的无源网络算法响应速度更高，安全性更好；基于CHAI3D建立人体软组织交互虚拟场景，方便测试所提出基于能量控制算法的稳定性与安全性，且提高交互力的高保真质量。

Description

一种力反馈装置对人体软组织仿真的控制系统与方法

技术领域

本发明属于力反馈技术领域，提出了一种对力反馈手柄装置的能量控制方法和基于CHAI3D平台的软组织交互控制系统。

背景技术

微创机器人手术作为一种微创手术技术，由于创伤小，术后恢复快和不易感染，得到实践并迅速发展。但机器人手术最大的局限之一就是外科医生缺乏操作的“手感”(即力触觉反馈)，增加了手术的不确定性和风险性，从而限制了手术机器人的进一步发展。由于手术机器人力触觉反馈系统的缺乏，即使是有经验的外科医生也只能通过分析视觉信息，来判断器械对于组织的作用力及其他的组织特性，这就在无形中延长了手术时间，影响了手术的自然进程。因此力触觉反馈的缺失，已经成为制约手术机器人发展的一大挑战。

至目前提出的典型力反馈操纵装置有微软公司PHANTOM(SensAbleTechnologies)开发的6自由度力反馈手柄，为串级结构，对输出力采用PD开环控制，并没有对输出力检测并进行反馈控制。为了测试力反馈装置的控制算法，除了尸体和动物以外没有更好的操作对象。随着虚拟现实技术的发展，将虚拟现实技术引入到触觉模拟系统中，创建一个真实的虚拟场景，结合力反馈装置为操作者提供一个测试和学习的平台。采用本发明公开的触觉模拟系统，方便测试所提出基于能量控制闭环算法的稳定性与安全性，以及提高交互力的高保真质量。

发明内容

为解决上述问题，本发明提出一种基于能量控制方法和CHAI3D平台的力反馈装置对人体软组织仿真的控制系统与方法。

如图1所示，一种力反馈装置对人体软组织仿真的控制系统，也称为触觉模拟系统，包括手柄操作杆、电机驱动器、数据采集模块、电机控制单元、通讯单元、仿真控制单元和CHAI3D虚拟场景；CHAI3D虚拟场景包括虚拟器械和人体软组织模型；数据采集模块包括电机位置编码器和FT传感器；其中，力反馈装置由手柄操作杆、电机驱动器、电机位置编码器、电机和FT传感器组成。

手柄操作杆，用于操作人员使用操作，并会给操作人员提供力输出；

数据采集模块，用于通过电机位置编码器获取当前手柄操作杆的动作与位置信息，并通过FT传感器得到电机当前输出的实际阻力矩；

电机控制单元，包括重力补偿模块和控制器模块。所述重力补偿模块用于手柄操作杆自重的分量补偿；控制器模块用于将人体软组织模型计算的力作为期望力，并且以电机实际输出阻力矩作为反馈量，应用提出的能量控制算法对力反馈装置实现力、位置闭环控制，然后将命令发送给电机驱动器，如图2所示；

通讯单元，用于在力反馈装置端与CHAI3D端之间通过CAN通讯协议进行数据传输；

仿真控制单元，用于虚拟器械与人体软组织模型的碰撞检测和软组织形变计算；以及在出现按压、夹持及切割行为时，进行实时渲染交互。

CHAI3D虚拟场景：用于建立虚拟器械对人体软组织模型进行的按压、夹持及切割等操作的3维仿真界面。

上述力反馈装置对人体软组织仿真的控制方法，包括以下步骤，如图3所示：

步骤一，力反馈装置中电机的零点位置、软限位范围初始化，CHAI3D界面中的虚拟器械与人体软组织模型的属性参数设置及位置初始化；

步骤二，开启定时器，有三类信息需要在定时响应函数处理，第一类为通过电机中的编码器读取手柄位置信息；第二类读取力反馈装置返回的阻力与阻力矩信息；第三类是定时刷新虚拟器械与人体软组织模型的位置变化与形态变化；

步骤三，工作模式选择，若常开按钮按下，工作模式设为阻力矩模式时执行步骤四，若常开按钮未按下，工作模式设为速度控制模式时执行步骤五；

步骤四，根据阻力矩与电流的转换关系，通过对电流的控制，调整电机输出的阻力矩的大小；

步骤五，设置速度模式，电机为不使能状态；

步骤六，将步骤二读取的手柄位置信息对应到虚拟器械的位置变化，并作为输入信息显示至CHAI3D界面；

步骤七，首先采用球类包围体方法检测虚拟器械是否与人体软组织模型相交，如相交，进一步检测发生碰撞的部位，然后执行步骤八，否则返回步骤二；

步骤八，得到人体软组织模型中质点的速度向量V与位置向量X，并且K、B和M分别表示人体软组织模型的弹性系数、阻尼系数和质量参数矩阵，基于质点弹簧模型的人体软组织模型计算产生的作用力F_e，使用如下公式计算；同时开启另一个线程执行步骤十一；

步骤九，对于人体软组织模型计算产生的作用力F_e，虚拟器械使人体软组织模型产生形变，弹性系数取值越低，虚拟弹簧越容易受力拉伸，在形变时会呈现出更多的褶皱。由于增加阻尼系数将会减小质点的加速度，使人体软组织模型震荡减少，可以实时调整K、B和M参数，提高仿真的真实感。

步骤十，在基于CHAI3D的虚拟场景中，进行交互接触界面实时渲染；

步骤十一，将人体软组织模型计算产生的作用力F_e作为期望值，将FT传感器测量的实际输出扭矩作为反馈，并通过电机编码器测得实际位置，进行手柄操作杆重力分量计算，进行实时重力补偿，基于能量控制算法，输出稳定的交互力，使得整个系统稳定；

步骤十二，电机控制单元输出作用力F_d，然后转换成对应的电流值；通过执行电机输出对应的力矩，使的操作人员人手端复现CHAI3D场景中的交互力F_e。

进一步地，上述CHAI3D虚拟场景建立方法如下：针对测试过程中需要对人体软组织模型进行的按压、夹持及切割等操作，首先设计并导入虚拟操作器械。然后采用3DMax三维建模软件进行人体软组织模型的绘制，并将绘制的模型导出格式为.3DS的文件，在搭建虚拟场景的时候读入此文件。

使用FT传感器与电机位置编码器获取当前的阻力矩信息与位置信息；

所述阻力矩信息与位置信息经过电机控制单元处理之后，以特定数据结构通过CAN通讯接口发送PC端，然后结合CHAI3D内部坐标得到虚拟器械与人体软组织模型的姿态信息，通过仿真控制单元控制交互活动；

通过操作所述控制端的力反馈装置的中心点进行不同方向的移动，得到指定区间的位置信息；

与所述PC端连接的所述控制板接收来自力反馈装置的输入数据信息，并判断信息类型为平移、旋转还是按钮信息，并将信息传送给触觉交互端，然后对数据信息处理，虚拟场景做出实时渲染变化。

本发明的有益效果：首先提出闭环的无源网络进行虚拟场景的交互，与已经问世的力反馈装置常规开环控制相比，有高保真的力感，响应速度更高与显著提高安全保障的优点。基于CHAI3D建立人体软组织交互虚拟场景，由于其提供碰撞检测模块、文件操作模块、虚拟器械模块等多个功能模块，方便简单，兼容性高优点。采用CAN通讯接口在虚拟场景中进行交互活动时，可以更快地数据传输，节省时间与精力。最后基于CHAI3D中提供多种形变模型的高真实度，增加了触觉模拟系统的沉浸感。

附图说明

图1为本发明控制系统的功能模块图；

图2为本发明的闭环无源网络图；

图3为本发明的流程示意图。

具体实施方式

下面以具体人手为例，详细表述力反馈装置对人体软组织仿真的控制方法。

一种力反馈装置对人手模型仿真的控制流程。所建立系统的参数如下表：

如果操作人员是无源的，并且其他组件(手柄操作杆、电机驱动器、FT传感器、通讯单元)也是无源的，那么触觉模拟系统将是稳定的。因此，如果触觉模拟系统满足以下条件，则触觉模拟系统将是无源的：

for t＞0 and for all functionF,V. (1)

其中，F(τ)是施加给触觉模拟系统中的组件的作用力，V(τ)是施加给触觉模拟系统中组件的速度变化值，e(0)是系统t＝0时的初始能量。上述无源条件意味着触觉模拟系统不产生能量，并且操作人员永远不能从中提取能量。因此，对于稳定的触觉交互，能量流入触觉模拟系统不应该是负的。

如果虚拟器械没有与人体软组织模型接触，只考虑人手模型如下：

其中，M₀,B₀和K₀是人手模型中的人手质量、阻尼系数和弹性系数，初始位置X_h＝0m和X₀为目标位置。从图1可以得到操作人员与力反馈装置的力、移动速度的关系如下：

V_h＝V_d (5)

其中，M_h和B_h是单自由度手柄装置模型中的手柄装置的质量和阻尼系数。并且操作人员的速度与力反馈装置的速度相等。如果仿真器械与人手模型接触，则应该考虑软组织建模。

将人体软组织离散化为多个质点。根据牛顿定律，单个质点的动力学特性为：

其中，x_i是质点i的坐标向量，

和

分别表示x_i对时间的一阶和二阶导数，M_i为该质点的质量，B_i为弹簧阻尼系数，F_ij为该质点周围相关质点对其作用力的总和。整个系统的运动方程可从模型中所有质量点得到，把N个独立质量点的位置向量连接成一个N×3维的位置向量，可以得到以下公式：

K、B和M分别表示整个人体软组织模型的弹性系数、阻尼系数和质量参数的N×N矩阵，F_e是一个N×3维的向量，表示施加在质量点上的所有外力。上式可得到下面的一阶微分方程组。

V是整个人体软组织模型质点的速度向量。

由于计算机只能处理离散变量，故先对力与速度离散处理。需要在人手端复现因人体软组织模型形变而产生的力，能量控制算法具有以下控制律：

F_d(n)＝F_d(n-1)+β(n)V_d(n) (10)

用此方法将操作者施加的力与位移传递给虚拟场景中的虚拟器械，对人体软组织模型进行按压、夹持及切割等交互测试。如果碰触到了人体软组织模型则会根据质量弹簧模型计算对应输出力的值。

基于CHAI3D平台的人体软组织交互控制系统设计如下：

首先，是对虚拟器械的结构设计。在CHAI3D虚拟场景中，虚拟器械起着非常重要的作用，虚拟器械在外形和使用方式上与实际的手术器械要求非常逼真，才能达到较好的测试效果，这是让测试者产生“沉浸感”。

其次，数据信息实时响应。在CHAI3D虚拟场景中，为了实现与虚拟人体软组织模型的精确人机交互，必须能够将虚拟器械在空间中的位姿和运动信息准确、及时地传送给主计算机，以便进行计算和视觉反馈。拟采用高精度的CAN通讯接口将手柄的位置信息与产生的交互力信息及时传输给虚拟器械与力反馈装置。

然后，模型构建与切割变形。模型构建是应用计算机技术生成虚拟世界的基础，人体组织在手术器械作用下产生变形或破裂，而虚拟手术需要再现这种变形过程。目前的算法主要通过改变虚拟组织的拓扑结构来实现，而通常的变形算法有质点弹簧法、有限元法和边界元法等。

最后，系统集成。由于CHAI3D虚拟场景中包含大量感官信息和模型信息，因此对系统的集成技术起着非常关键的作用。系统集成技术包括模型的标定技术、信息的同步技术、数据管理技术、数据转换技术、识别与合成技术等。其目的旨在建立一个最优化结构、高性能的实时性强的交互式系统。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，应该指出：对于熟悉该技术的人员在不脱离本发明构思的前提下，还可以做出若干变形与改进，这些也应视为本发明的保护范围。

Claims

1.一种力反馈装置对人体软组织仿真的控制系统的控制方法，其特征在于，所述的控制系统包括手柄操作杆、电机驱动器、数据采集模块、电机控制单元、通讯单元、仿真控制单元和CHAI3D虚拟场景；CHAI3D虚拟场景包括虚拟器械和人体软组织模型；数据采集模块包括电机位置编码器和FT传感器；其中，力反馈装置由手柄操作杆、电机驱动器、电机位置编码器、电机和FT传感器组成；

电机控制单元，包括重力补偿模块和控制器模块，所述重力补偿模块用于手柄操作杆自重的分量补偿；控制器用于将人体软组织模型计算的力作为期望力，并且以电机实际输出阻力矩作为反馈量，应用提出的能量控制算法对力反馈装置实现力、位置闭环控制，然后将命令发送给电机驱动器；

仿真控制单元，用于虚拟器械与人体软组织模型的碰撞检测和软组织建模与形变计算；以及在出现按压、夹持及切割行为时，进行实时渲染交互；

CHAI3D虚拟场景：用于建立虚拟器械对人体软组织模型进行的按压、夹持及切割操作的3维仿真界面；

所述控制方法，包括以下步骤：

步骤一，力反馈装置中电机的零点位置、软限位范围初始化，CHAI3D界面中的虚拟器械与人体软组织模型的属性设置及位置初始化；

步骤二，开启定时器，有三类信息需要在定时响应函数处理，第一类为通过电机中的编码器读取手柄操纵杆位置信息；第二类读取力反馈装置返回的阻力与阻力矩信息；第三类是定时刷新虚拟器械与人体软组织模型的位置变化与形态变化；

步骤五，设置速度模式，电机为不使能状态；

步骤八，得到人体软组织模型的速度向量V与位置向量X，并且K、B和M分别表示人体软组织模型的弹性系数、阻尼系数和质量参数矩阵，基于质点弹簧模型的人体软组织模型计算产生的作用力F_e；

当操作人员是无源的，并且手柄操作杆、电机驱动器、FT传感器、通讯单元也是无源的，则触觉模拟系统是稳定的；因此，当触觉模拟系统满足以下条件，则触觉模拟系统将是无源的：

for t＞0 and for all function F,V (1)

其中，F(τ)是施加给触觉模拟系统中的组件的作用力，V(τ)是施加给触觉模拟系统中组件的速度变化值，e(0)是系统t＝0时的初始能量；上述无源条件意味着触觉模拟系统不产生能量，并且操作人员永远不能从中提取能量；因此，对于稳定的触觉交互，能量流入触觉模拟系统不应该是负的；

当虚拟器械没有与人体软组织模型接触，只考虑人手模型如下：

其中，V_h表示操作人员移动速度，F_h表示受到的作用力，M₀,B₀和K₀是人手模型中的人手质量、阻尼系数和弹性系数，初始位置X_h＝0m和X₀为目标位置；操作人员与力反馈装置的力、移动速度的关系如下：

V_h＝V_d (5)

其中，F_d表示期望力，V_d表示力反馈装置移动速度，M_h和B_h是单自由度手柄装置模型中的手柄装置的质量和阻尼系数；并且操作人员的速度与力反馈装置的速度相等；当仿真器械与人手模型接触，则应该考虑软组织建模；

将人体软组织离散化为多个质点，根据牛顿定律，单个质点的动力学特性为：

其中，x_i是质点i的坐标向量，

和

分别表示x_i对时间的一阶和二阶导数，M_i为该质点的质量，B_i为弹簧阻尼系数，F_ij为该质点周围相关质点对其作用力的总和；整个系统的运动方程从模型中所有质量点得到，把N个独立质量点的位置向量连接成一个N×3维的位置向量，得到以下公式：

K、B和M分别表示整个人体软组织模型的弹性系数、阻尼系数和质量参数的N×N矩阵，F_e是一个N×3维的向量，表示施加在质量点上的所有外力；上式得到下面的一阶微分方程组，使用如下公式计算；同时开启另一个线程执行步骤十一；

步骤九，对于人体软组织模型计算产生的作用力F_e，虚拟器械使人体软组织模型产生形变，实时调整K、B和M参数，提高仿真的真实感；

步骤十，在基于CHAI3D界面的场景中，进行交互接触界面实时渲染；

步骤十一，将人体软组织模型计算产生的作用力F_e作为期望值，将FT传感器测量的实际输出扭矩作为反馈，并通过电机编码器测得实际位置，进行手柄重力分量计算，进行实时重力补偿，基于能量控制算法，输出稳定的交互力，使得整个系统稳定；

步骤十二，作用力F_e控制命令，转换成对应的电流值；通过执行电机输出对应的力矩。

2.根据权利要求1所述的控制方法，其特征在于，上述CHAI3D虚拟场景建立方法如下：针对测试过程中需对虚拟软组织进行的按压、夹持及切割操作，首先设计并导入虚拟操作器械，然后采用3DMax三维建模软件进行虚拟软组织模型的绘制，并将绘制的模型导出格式为.3DS的文件，在搭建虚拟环境的时候读入此文件；

通过操作控制端的力反馈装置的中心点进行不同方向的移动，得到指定区间的位置信息；

与所述PC端连接的控制板接收来自力反馈装置的输入数据信息，并判断信息类型为平移、旋转还是按钮信息，并将信息传送给触觉交互端，然后对数据信息处理，虚拟场景做出实时渲染变化。