CN116616918A - 一种手术外视镜的自动跟踪控制系统和方法 - Google Patents

Abstract

本发明提供一种手术外视镜的自动跟踪控制系统，包括：跟踪模块，所述跟踪模块对手术目标区域任意角度进行实时视频拍摄、跟踪和显示；控制模块，所述控制模块控制所述跟踪模块的移动、旋转和拍摄视角；人机交互模块，所述人机交互模块获取控制指令，所述控制模块依据所述控制指令调整所述跟踪模块。本发明通过自动控制和视频图像跟踪极大地减少了手术过程中的手工操作，提供了更方便、灵活的自动操作，并更有效地利用了手术外视镜的活动空间，提升了手术外视镜的实用效能；其实现了手术外视镜系统按照用户意图的自动平滑控制，保证摄像机大范围多角度拍摄手术区域，并在摄像机运动过程中通过同步微调，将手术区域始终保持在视频中心区域。

Description

一种手术外视镜的自动跟踪控制系统和方法

技术领域

本发明涉及手术外视镜技术领域，具体地，涉及一种手术外视镜的自动跟踪控制系统和方法。

背景技术

近年来，手术外视镜系统因其更宽的视野、更深的景深、更长的焦距、更舒适的操作、更小的体积和重量，逐渐表现出有替代传统手术显微镜的优势。

外视镜系统是基于手术显微镜与神经内镜技术在临床应用中的不足而被提出。最早被称为体外高清视频显微镜技术。该系统主要由直径8mm、焦距200～400mm的硬性透镜、纤维光源、摄像头、气动控制装置及高清显示屏组成。这项技术集合了传统双目显微镜与神经内镜技术的优势，并弥补其缺陷。手术外视镜的优势很快被人们发现，近年来国外陆续出现了一些手术外视镜产品，例如德国的VITOM-3D exoscope手术外视镜，日本的ORBEYE高清手术外视镜系统。具有成熟手术显微镜系列产品的蔡司也正在研发外视镜系统。

然而，现有的外视镜系统均采用手动控制，即通过手动控制旋钮、脚踏板或者握把，调整摄像机支架调整摄像机位姿(即空间位置和拍摄角度)。对外视镜的控制能力主要受支架系统的限制。目前手术外视镜系统最常使用的支架系统为气动支架系统，优点是关节活动度大，但只能手动控制，无法接收外部指令实现自动控制。VITOM-3D的外视镜支架采用VERSACRANE系统，这是一个5关节的铰链支架结构，需要用户双手操作，或采用IMAGE1PILOT控制旋钮操作。有研究者尝试将VITOM-3D系统加装在ARTip cruisero-botic支撑臂系统上，虽采用了一个五自由度的机械臂结构，但是仍需要用户单手控制旋钮和脚踏板进行人工控制。日本的ORBEYE外视镜系统的特点在于其高清3D显示，该系统的摄像机支架是采用一个半自动的对抗平衡系统，也需要手动和脚踏板操作。

手动控制在实际手术过程中由于需要医生手动调整外视镜位姿，会影响手术操作的顺畅进行，从而影响手术的效率。此外，手动控制可能导致镜头视角突变从而丢失手术目标区域，手动重新找回手术目标区域费时费力，因此并不能完全适用目前的外视镜临床试验。

从临床实际应用的需求上讲，根据用户意向自动控制外视镜拍摄角度才能更好地发挥手术外视镜的优势。然而，目前还没有自动控制摄像机空间位姿的外视镜系统。

对于手术显微镜的自动控制，曾经有一些研究工作，但都只能做到有限自由度的镜头位姿控制。有人提出显微镜自动控制系统，通过按下操纵杆上的按钮来控制电机带动载物台移动，实现自动控制，但是由于其自由度较少，仅能实现几个方向的平移，所以仅仅只能简单地应用于显微镜的控制与交互。有人提出了一套显微镜平台自动控制系统，增加了机械臂自由度，实现了电机驱动、电机控制、LCD显示等功能，通过PID方法结合光栅反馈实现显微镜平台的闭环控制，相较于之前的自动控制系统有着更加稳定的表现，但是仍然不能做到全方位运动。

北京华科精准手术机器人采用结构光进行空间定位注册，通过自动控制机械臂实现了机器人操作臂的灵活控制，但是仅能根据医生术前规划的路径，自动运动至目标位置。北京柏惠维康推出的自主式种植牙手术机器人，仍然依赖术前准备好精细完善的数字化手术方案规划，通过自动校准、自动提拉、自动下钻等完成规定动作。目前国内外的其他手术机器人产品也都未实现术中根据手术医生需求实时自动控制。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种手术外视镜的自动跟踪控制系统和方法。

根据本发明的一个方面，提供一种手术外视镜的自动跟踪控制系统，包括：

跟踪模块，所述跟踪模块对手术目标区域任意角度进行实时视频拍摄、跟踪和显示；

控制模块，所述控制模块控制所述跟踪模块的移动、旋转和拍摄视角；

人机交互模块，所述人机交互模块获取控制指令，所述控制模块依据所述控制指令调整所述跟踪模块。

优选地，所述跟踪模块，包括：

摄像机，所述摄像机实时采集手术视频，

显示器，所述显示器显示实时手术画面；

所述控制模块，包括：

6自由度机械臂，所述6自由度机械臂支撑所述摄像机并控制其运动，其包括6个关节且每个关节配备一个伺服电机，所述6自由度机械臂的结构符合Pieper准则；

上位机，所述上位机控制所述6自由度机械臂；

总线控制器，所述总线控制器交换所述6自由度机械臂和所述上位机数据；

测距仪，所述测距仪实时测量并反馈6自由度机械臂与手术目标区域的距离；

所述人机交互模块，包括：

所述麦克风和UI界面，其均用于采集控制指令。

优选地，所述控制模块的检测模式包括检测初始位姿、执行控制指令、调整位姿偏移和控制平滑轨迹。

优选地，所述检测初始位姿，包括：

所述6自由度机械臂安装机械臂关节位姿标定组件；

所述控制模块通过所述机械臂关节位姿标定组件采集的关节位姿，判断初始位姿是否到位。

优选地，所述执行控制指令，包括：

所述人机交互模块将接收到的控制指令输入至所述控制模块；

所述控制模块根据所述控制指令，计算所述6自由度机械臂的每个关节需要转动的角度并控制执行。

优选地，所述调整位姿偏移，包括：

所述控制模块接收所述跟踪模块采集的手术实时视频；

所述控制模块计算所述手术实时视频中，手术目标区域在镜头视野中的偏移矢量；

通过所述偏移矢量计算6自由度机械臂所需转动角度；

所述控制模块控制所述6自由度机械臂按照所述转动角度执行微调。

优选地，所述控制平滑轨迹，包括：

6自由度机械臂安装信号采集设备，其采集各个电机的当前运动速度和转动位置；

所述控制模块将当前运动速度和转动位置进行插值计算。

优选地，所述各个电机当前运动速度和转动位置作为6自由度机械臂的特征位姿，存入所述控制模块；所述6自由度机械臂能够回到所述特征位姿。

优选地，通过所述人机交互模块，将对摄像机方位变化的用户意向，转化为6自由度机械臂六个电机的运动控制指令，控制所述摄像机的移动和旋转，保证摄像机拍摄角度按照用户意向变化。

根据本发明的第二个方面，提供一种手术外视镜的自动跟踪控制方法，包括：

监听用户指令；

初始化机械臂位姿；

选择手术目标区域；

人机交互获取摄像机运动指令；

摄像机进行手术目标区域跟踪；

判定当前手术目标区域是否在中心位置；

如果不在则计算其偏移矢量；

同时根据所述运动指令和红外测距数据，进行机械臂各关节运动的逆解，计算出各关节的运动控制参数；

通过总线控制器将运动控制参数发送到机械臂各关节；

自由度机械臂各关节按照所述运动控制参数运动；

更新手术实时视频画面；

如果当前用户没有发出停止运动的指令或结束手术的指令，当前运动结束后，将等待用户发出新的控制指令；

当用户发出结束手术指令后，保存手术视频。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的实施例，通过自动控制和视频图像跟踪极大地减少了手术过程中的手工操作，提供了更方便、灵活的自动操作，并更有效地利用了手术外视镜的活动空间，提升了手术外视镜的实用效能；

其实现了手术外视镜系统按照用户意图的自动平滑控制，保证摄像机大范围多角度拍摄手术目标区域，并在摄像机运动过程中通过同步微调，将手术目标区域始终保持在视频中心区域。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中的一种手术外视镜的自动跟踪控制系统结构示意图；

图2为本发明另一实施例中的一种手术外视镜的自动跟踪控制方法流程图；

图中：1为6自由度机械臂，2为机械臂关节位姿标定组件，3为测距仪，4为信号采集设备，5为总线控制器，6为上位机，7为麦克风，8为摄像机，9为显示器。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

要实现外视镜系统的拍摄角度的全方位实时控制，并保持手术目标区域不偏离视频画面中心，还需设计开发可接收外部控制指令的摄像机支撑系统，需采用手术目标区域自动跟踪和机械臂自动控制方法来实现。

本发明提供一个实施例，一种手术外视镜的自动跟踪控制系统，包括跟踪模块、控制模块和人机交互模块，跟踪模块对手术目标区域任意角度进行实时视频拍摄、跟踪和显示；控制模块控制跟踪模块的移动、旋转和拍摄视角；人机交互模块进行人机交互，获取控制指令，控制模块依据控制指令调整跟踪模块的空间位姿。

基于上述实施例进一步优化，提供一个优选实施例，如图1所示，

跟踪模块包括：用于采集手术高清画面的摄像机8；用于实时手术视频画面显示的显示器9；

控制模块包括：用于摄像机支撑和运动的可自动控制的6自由度机械臂1；用于运行跟踪方法的上位机6；用于上位机与机械臂数据交换的总线控制器5；用于机械臂六个运动关节初始位姿标定的机械臂关节位姿标定组件2；用于机械臂关节电机运动速度和当前位置的信号采集设备4；用于实时测量摄像机与手术目标区域空间距离的测距仪3；

人机交互模块包括：用于语音信号采集的麦克风设备。

本发明一优选实施例中，6自由度机械臂采用全铝合金部件自主研制加工而成，其结构符合Pieper准则。6个关节使用带内置编码器的高性能低压直流伺服电机，实现了FOC矢量控制、速度闭环控制、电流(转矩)闭环控制、位置闭环控制。电机工作电压24V，额定输出转速35rpm，减速比1：50。伺服电机的控制指令以及编码器参数的反馈都是通过工业现场总线控制器局域网(CAN)来实现通信的，最高通信速率可达1Mbps。

在本发明的另一个实施例中，控制模块包括四种控制模式，即：对初始位姿的检测、执行控制指令、镜头微调和平滑轨迹控制。

在整个系统启动时，首先要控制机械臂6个关节达到系统定义的初始姿态。为了实现对初始位姿更精准的检测，本发明提供一个优选实施例，通过在6个关节处加装红外激光对射传感器标定各关节的初始姿态。当驱动程序接收到红外激光对射传感器信号，就告知上位机该关节已到达初始位置，完成初始位姿检测。

进一步的，6自由度机械臂关节电机所带编码器是相对编码器，在实际应用中还需要机械臂关节位姿标定组件配合使用。标定组件在这里所起的主要作用是标定机械臂6个关节的初始位姿。这个初始位姿通常是每次手术开始时的标准位置。医生可以在系统中设定多个初始位置，系统运行之后可以根据当前手术的需要选择一个合适的位置。本实施例中的机械臂关节位姿标定组件使用的是红外激光对射传感器E3Z-LT61，其有效检测距离可达20米，每个传感器都有一个独立的红外激光发射端和一个红外激光信号接收端，只有当传感器发送端红外激光照射到传感器的接收端，传感器的输出状态才会发生变化，通过捕捉个变化就可以判断机械臂关节是否到达初始位置。

为了精准执行对人机交互模块采集的控制指令，本发明提供一个优选实施例，上位机通过语音交互、UI界面交互获得用户对摄像机的控制指令，将指令传输给驱动程序，驱动程序进行运动逆解计算出6个机械臂关节的转动角度，再通过总线控制设备发送给6个关节的电机，控制6个电机进行运动。通过末端2个电机的运动改变摄像机镜头朝向，前4个电机的运动改变摄像机空间位置。

其中，获得转动角度的过程如下：控制指令给出的是相机镜头在机械臂末端坐标系中的运动，要计算6自由度机械臂的每个关节的转动角度，需要给出相机镜头在6自由度机械臂的基坐标系中的坐标，再通过“运动学逆解”的方法得到6自由度机械臂的每个关节的角度。

“运动学逆解”需要6自由度机械臂的基坐标系到末端坐标系的变换矩阵，利用“D-H”建模方法得到相邻关节的变换矩阵T1,T2,T3,T4,T5,T6。

变换矩阵中的d1,d2,d3，d4,d5和d6是6自由度机械臂关节之间的连杆长度，是结构参数；angle1、angle2、angle3、angle4、angle5和angle6是每个关节的转动角度。从基坐标到末端坐标的总变换矩阵final＝T1·T2·T3·T4·T5·T6。6自由度机械臂在初始姿态时每个关节的初始角度都是0，据此可以计算出初始的总变换矩阵。每次运动之后控制模块都会使用当前关节角度更新从基坐标系到末端坐标系的总变换矩阵。

本发明提供一个优选实施例执行画面微调。自由度机械臂电机在自动控制运动过程中，上位机实时处理视频帧图像，跟踪手术目标区域，并获得镜头移动过程中手术目标区域在镜头视野中的偏移矢量。该偏移量会实时传输给驱动程序，并逆解计算出6个机械臂关节的转动角度，再通过总线控制设备发送给6个关节的电机，控制摄像机在位姿变换过程中的自动微调，保证手术区域一直保持在视频中心区域。

具体的，通过偏移矢量计算6自由度机械臂所需转动角度的过程为：偏移矢量包含手术目标区域中心分别在X方向和Y方向的偏移角度xAngle和yAngle,利用偏移矢量分别构造末端坐标系下相机绕x轴和绕y轴的旋转矩阵：

将这两个旋转矩阵右乘到上述6自由度机械臂基坐标到末端坐标的总变换矩阵final上，生成新的变换矩阵，使用新的变换矩阵进行运动学逆解运算，计算出6自由度机械臂每个关节转动角度。

本发明提供一个优选实施例执行平滑轨迹控制，需要通过加装在6个机械臂电机上的信号采集设备实时采集各个电机的当前运动速度和转动位置。采集得到的电机数据将在上位机中进行插值计算，选用但不仅限于五次多项式插值计算，实现机械臂关节运动的平滑轨迹控制。

进一步的，在一个较优实施例中，通过总线控制器对电机使用速度控制的方式进行5次位置插值计算。自主开发的6自由度自动控制机械臂驱动程序实现了运动学逆解，让机械臂末端可以在以世界坐标系为参照的笛卡尔直角坐标系空间运动，符合常规的认知和控制习惯

采集得到的电机数据还可用于记录机械臂的特征位姿，便于随时控制机械臂回到某特征位姿。

在本发明的其他实施例中，提供人机交互界面和交互模式，支持多种用户控制指令的获取、识别和响应，控制摄像机在空间任意方向的平移、旋转、停止、回复特征位姿，还支持手术目标区域选择、初始位姿选择、开始跟踪等。进一步的，采用科达讯飞语音识别包，通过麦克风获取用户语音指令，理解用户对摄像机位姿变化的指令和一些手中操作的指令。同时提供UI界面，用户也可通过鼠标键盘操作发送各种操作指令。

在本发明的其他优选实施中，信号采集设备4是一款工业级的14通道开关量信号采集卡，与上位机6之间通过USB2.0总线连接，每秒钟可以完成数百次输入/输出请求，用来采集机械臂位姿标定组件2的传感器信号。该采集卡内部集成5V转3.3V功能，故兼容5V和3.3V的TTL电平，通过调用特定的应用程序接口函数可以获得每一通道所连接的传感器的电平状态。

总线控制器5是工业级CAN总线控制器，型号是CANalyst-II，与上位机之间通过USB2.0总线连接。具备CAN总线协议分析功能，支持SAE J1939、DeviceNet、CANopen、iCAN以及自定义高层协议分析功能，可以作为一个标准的CAN节点，实现CAN总线通信控制功能。总线控制器5用来传输上位机发出的机械臂电机控制命令，并在上位机6需要的时候反馈机械臂电机的运行状态参数，包括速度、位置等。

采用PLS_K60红外测距模块，加装在机械臂末端，与摄像机保持固定距离。通过信号采集设备以4Hz的采样频率进行信号采集，测距模块与人体手术目标区域之间的绝对距离。这个绝对距离有两个作用：

首先，测距通过USB端口传输到上位机，换算为摄像机前端与人体手术区域之间的绝对距离H，该绝对距离H作为摄像机绕手术目标区域中心点的旋转半径，以此计算摄像机绕手术目标区域中心点旋转特定角度后下一个目标点的位置，为逆解机械臂各关节运动提供计算依据。

其次，偏移矢量在X方向和Y方向的偏移角度xAngle和yAngle是通过这个绝对距离计算出来的

式中，X、Y分别是手术目标区域中心在x方向和y方向的偏移量。

上述各个实施例中，上位机可采用模板匹配方法、基于相关滤波的目标跟踪方法、基于神经网络的目标跟踪方法实现。作为优选实施例，采用基于SiamBAN网络的目标跟踪方法，实现了稳定的手术目标区域跟踪。

基于相同的构思，本发明的其他实施中，还提供一种手术外视镜的自动跟踪控制方法，如图2所示，本实施例的流程图，其具体包括：

S1,在启动跟踪系统后开始实时监听用户指令(包括语音指令和UI界面操作指令)；

S2,用户首先选择6自由度机械臂的初始姿态(有垂直向下拍摄和水平拍摄两种初始姿态，方便不同手术对摄像机初始位置的要求)；

S3,用户此时可在摄像机传回的初始画面中用任意两个手术器械尖端作为一个矩形区域的对角点，跟踪系统自动识别手术器械尖端位置，确定手术目标区域；

S4,跟踪系统将始终跟踪该区域，并在摄像机运动过程中保持该区域处于视频中心位置；

S5,当用户发出了摄像机向某方向平移、旋转等指令后，系统获取并解析该指令，并通过手术目标区域跟踪算法判定当前手术目标区域是否在中心位置；

S6,如果不在中心位置则计算其偏移矢量，同时根据运动指令和红外测距数据，进行机械臂各关节运动的逆解，计算出各关节的运动控制参数；

S7,通过总线控制器发送到机械臂各关节，驱动各关节运动；

S8,如果当前用户没有发出停止运动的指令或结束手术的指令，当前运动结束后，将等待用户发出新的控制指令；

S9,当用户发出结束手术指令后，系统自动保存完整的手术视频，并结束处理流程。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

Claims (10)

1.一种手术外视镜的自动跟踪控制系统，其特征在于，包括：

跟踪模块，所述跟踪模块对手术区域任意角度进行实时视频拍摄、跟踪和显示；

控制模块，所述控制模块控制所述跟踪模块的移动、旋转和拍摄视角；

人机交互模块，所述人机交互模块获取控制指令，所述控制模块依据所述控制指令调整所述跟踪模块。

2.根据权利要求1所述的一种手术外视镜的自动跟踪控制系统，其特征在于，

所述跟踪模块，包括：

摄像机，所述摄像机实时采集手术视频，

显示器，所述显示器显示实时手术画面；

所述控制模块，包括：

6自由度机械臂，所述6自由度机械臂支撑所述摄像机并控制其运动，其包括6个关节且每个关节配备一个伺服电机；

上位机，所述上位机控制所述6自由度机械臂；

总线控制器，所述总线控制器交换所述6自由度机械臂和所述上位机数据；

测距仪，所述测距仪实时测量并反馈所述6自由度机械臂与手术目标区域的距离；

所述人机交互模块，包括：

所述麦克风和UI界面，其均用于采集控制指令。

3.根据权利要求2所述的一种手术外视镜的自动跟踪控制系统，其特征在于，所述控制模块的检测模式包括检测初始位姿、执行控制指令、调整位姿偏移和控制平滑轨迹。

4.根据权利要求3所述的一种手术外视镜的自动跟踪控制系统，其特征在于，

所述检测初始位姿，包括：

所述6自由度机械臂安装机械臂关节位姿标定组件；

所述机械臂关节位姿标定组件采集关节位姿；

所述控制模块通过所述关节位姿，判断初始位姿是否到位。

5.根据权利要求3所述的一种手术外视镜的自动跟踪控制系统，其特征在于，

所述执行控制指令，包括：

所述人机交互模块将接收到的控制指令输入至所述控制模块；

所述控制模块根据所述控制指令，计算所述6自由度机械臂的每个关节需要转动的角度并控制执行。

6.根据权利要求3所述的一种手术外视镜的自动跟踪控制系统，其特征在于，所述调整位姿偏移，包括：

所述控制模块接收所述跟踪模块采集的实时手术视频；

所述控制模块计算所述实时手术视频中的手术目标区域在镜头视野中的偏移矢量；

通过所述偏移矢量计算6自由度机械臂所需转动角度；

所述控制模块控制所述6自由度机械臂按照所述转动角度执行微调。

7.根据权利要求3所述的一种手术外视镜的自动跟踪控制系统，其特征在于，所述平滑轨迹控制，包括：

6自由度机械臂安装信号采集设备，其采集各个电机的当前运动速度和转动位置；

所述控制模块将所述当前运动速度和所述转动位置进行插值计算。

8.根据权利要求7所述的一种手术外视镜的自动跟踪控制系统，其特征在于，所述各个电机当前运动速度和转动位置作为6自由度机械臂的特征位姿，存入所述控制模块；所述6自由度机械臂能够回到指定的所述特征位姿。

9.根据权利要求1所述的一种手术外视镜的自动跟踪控制系统，其特征在于，通过所述人机交互模块，将对摄像机方位变化的用户意向，转化为6自由度机械臂六个电机的运动控制指令，控制所述摄像机移动和旋转，保证摄像机拍摄角度按照用户意向变化。

10.一种手术外视镜的自动跟踪控制方法，其特征在于，包括：

监听指令；

初始化机械臂位姿；

选择手术目标区域；

人机交互获取摄像机运动指令；

摄像机进行手术目标区域跟踪；

判定当前手术目标区域是否在中心位置；

如果不在中心位置，则计算其偏移矢量；

根据所述运动指令和红外测距数据，进行机械臂各关节运动的逆解，计算出各关节的运动控制参数；

通过总线控制器将所述运动控制参数发送到所述机械臂各关节；

所述机械臂各关节按照所述运动控制参数运动；

更新手术实时视频画面；

如果没有发出停止运动的指令或结束手术的指令，当前运动结束后，等待发出新的控制指令；

当发出结束手术指令后，保存手术视频。