CN107448822A - 一种基于目标跟踪与手势识别技术的手术无影灯及其控制方法 - Google Patents

Abstract

本发明公开了一种基于目标跟踪与手势识别技术的手术无影灯及其控制方法，它包括视觉识别单元、机械臂控制单元及计算机；所述机械臂控制单元包括无影灯悬臂和安装在无影灯悬臂端部的无影灯；所述无影灯悬臂为串联臂，由若干连杆串联而成，相连两个连杆之间安装舵机；所述视觉识别单元包括标签以及安装在无影灯上的摄像头；所述舵机和摄像头均与计算机相连。本发明将手势识别应用于无影灯的控制，医护人员在手术过程中，无需手动调整无影灯的角度及位置，只需做手势，无影灯即可根据手势做出相应的动作，从而避免了因直接触碰而带来的卫生问题及操作不灵活的问题。

Description

一种基于目标跟踪与手势识别技术的手术无影灯及其控制 方法

技术领域

本发明涉及医疗手术器材领域，尤其涉及一种基于目标跟踪与手势识别技术的手术无影灯及其控制方法。

背景技术

手术无影灯用来照明手术部位，以最佳地观察处于切口和体腔中不同深度的小的、对比度低的物体。由于施手术者的头、手和器械均可能对手术部位造成干扰阴影，因而手术无影灯能尽量消除阴影，并能将色彩失真降到最低程度。手术无影灯一般由单个或多个灯头组成，系定在悬臂上，能做垂直或循环移动，悬臂通常连接在固定的结合器上，并能围着它旋转。无影灯采用可消毒的手柄或设消毒的箍(曲轨)作灵活定位，并具有自动刹车和停止功能以操纵其定位，在手术部位的上面和周围，保持相宜的空间。无影灯的固定装置可安置在天花板或墙壁上的固定点上，也可安置在天花板的轨道上。

目前对于无影灯的使用主要以人工直接操作为主，需医护人员用手直接触碰无影灯或触碰控制按钮，存在因直接触碰而带来的卫生问题及操作不灵活的问题。

发明内容

本发明针对手术无影灯在实际操作时的卫生及灵活性问题，提供一种基于目标跟踪与手势识别技术的手术无影灯及其控制方法，满足无影灯在医疗手术等领域的卫生性及操作便捷性的较高要求。

本发明的目的是通过以下技术方案来实现的：一种基于目标跟踪与手势识别技术的手术无影灯，它包括视觉识别单元、机械臂控制单元及计算机；所述机械臂控制单元包括无影灯悬臂和安装在无影灯悬臂端部的无影灯；所述无影灯悬臂为串联臂，由若干连杆串联而成，相连两个连杆之间安装舵机；所述视觉识别单元包括标签以及安装在无影灯上的摄像头；所述舵机和摄像头均与计算机相连。

本发明的另一目的是提供一种基于目标跟踪与手势识别技术的手术无影灯的控制方法，其特征在于，具体包括如下步骤：

(1)手势识别模型的建立：在医护人员手上贴标签，摄像头采集医护人员做出的不同手势图像，对每种手势赋予一个相应的动作指令，计算机采用机器学习的原理训练得到手势识别模型；

(2)使用过程中，摄像头实时采集医护人员做出的手势，将图像信息传送到计算机；

(3)计算机根据步骤(1)中建立的手势识别模型对新获得的图像进行识别分类，识别成功后得出对应动作指令；

(4)根据动作指令得到出相应的无影灯悬臂的控制值，此控制值为各舵机的转动角度，舵机的转动角度通过以下方式获得：

各个无影灯悬臂运动指令需要一个或多个舵机来完成，每个舵机的实际转动角度均预先定义好，每个无影灯悬臂运动指令对应一种无影灯悬臂的运动状态；

当计算机识别成功后得出对应动作指令，则会直接将相关舵机的旋转角度输出到各个舵机上，若识别失败则不做出任何动作。

(5)当医护人员做出手势进入跟随模式后，计算机利用HSV阈值分割将对摄像头采集到的图像中的手上佩戴的标签进行识别，从而确认标签在图像中的位置；

(6)计算机根据图像中的标签位置进行运算，为使得标签能保持在图像的中心范围内，计算标签当前位置与图像中心位置的距离，得出无影灯需要运动的方向或角度，给出无影灯悬臂控制指令，继而得到对应的各个舵机为完成相应的移动所需的转动角度；

(7)计算机将指令所对应的各个舵机角度输出到无影灯悬臂各个关节的舵机，以完成跟随；

(8)手术结束后做出恢复原位的相应手势，无影灯恢复原位，最后即可关闭无影灯。

本发明的有益效果如下：本发明将手势识别应用于无影灯的控制，医护人员在手术过程中，无需手动调整无影灯的角度及位置，只需做手势，无影灯即根据手势做出相应的动作，从而避免了因直接触碰而带来的卫生问题及操作不灵活的问题。

附图说明

图1是本发明的结构示意图；

图2是本发明实施例中五种手势；

图中：无影灯悬臂1、无影灯2、连杆3、舵机4、标签5、摄像头6。

具体实施方式

下面结合附图对本发明做进一步的说明。

如图1所示，本发明提供一种基于目标跟踪与手势识别技术的手术无影灯，它包括视觉识别单元、机械臂控制单元及计算机；

所述机械臂控制单元包括无影灯悬臂1和安装在无影灯悬臂端部的无影灯2；所述无影灯悬臂1为串联臂，由若干连杆3串联而成，相连两个连杆3之间安装舵机4；

所述视觉识别单元包括医护人员手上所贴的标签5以及安装在无影灯2上的摄像头6；

所述计算机可以是无影灯内的微型计算机，采用型号为Intel NUC的产品，但不限于此；舵机4和摄像头6均与计算机相连。

控制方法具体工作过程如下：

(1)手势识别模型的建立：在医护人员手上贴标签，摄像头采集医护人员做出的不同手势图像，对每种手势赋予一个相应的动作指令，计算机采用现有的机器学习的原理训练得到手势识别模型；如图2所示，本实施例中提供以下几种手势，各手势表示的指令为：(a)表示无影灯上升；(b)表示无影灯下降；(c)表示无影灯停止调整，保持位置；(d)表示无影灯恢复跟随；(e)无影灯结束工作，恢复原位；当然手势指不限于以上手势及指令，可预先设置所有合适的手势及指令；医护人员可随时根据需要对无影灯再次初始化，重新采集手势图像并训练识别模型；

(2)使用过程中，摄像头6实时采集医护人员做出的手势，将图像信息传送到计算机；

(3)计算机根据步骤(1)中建立的手势识别模型对新获得的图像进行识别分类，识别成功后得出对应动作指令；

(4)根据动作指令得到出相应的无影灯悬臂1的控制值，此控制值为各舵机4的转动角度，舵机的转动角度通过以下方式获得：

各个无影灯悬臂1运动指令需要一个或多个舵机4来完成，每个舵机4的实际转动角度均预先定义好，每个无影灯悬臂1运动指令对应一种无影灯悬臂1的运动状态；

当计算机识别成功后得出对应动作指令，则会直接将相关舵机的旋转角度输出到各个舵机4上，若识别失败则不做出任何动作。

(5)当医护人员做出手势进入跟随模式后，计算机利用HSV阈值分割将对摄像头6采集到的图像中的手上佩戴的标签5进行识别，从而确认标签5在图像中的位置；

(6)计算机根据图像中的标签5位置进行运算，为使得标签5能保持在图像的中心范围内，计算标签5当前位置与图像中心位置的距离，得出无影灯2需要运动的方向或角度，给出无影灯悬臂1控制指令，继而得到对应的各个舵机4为完成相应的移动所需的转动角度；

(7)计算机将指令所对应的各个舵机4角度输出到无影灯悬臂1各个关节的舵机，以完成跟随；

(8)手术结束后做出恢复原位的相应手势，无影灯2恢复原位，最后即可关闭无影灯2。

Claims (2)

1.一种基于目标跟踪与手势识别技术的手术无影灯，其特征在于，它包括视觉识别单元、机械臂控制单元及计算机等；所述机械臂控制单元包括无影灯悬臂和安装在无影灯悬臂端部的无影灯；所述无影灯悬臂为串联臂，由若干连杆串联而成，相连两个连杆之间安装舵机；所述视觉识别单元包括标签以及安装在无影灯上的摄像头；所述舵机和摄像头均与计算机相连。

2.根据权利要求1所述的一种基于目标跟踪与手势识别技术的手术无影灯的控制方法，其特征在于，具体包括如下步骤：

(1)手势识别模型的建立：在医护人员手上贴标签，摄像头采集医护人员做出的不同手势图像，对每种手势赋予一个相应的动作指令，计算机采用机器学习的原理训练得到手势识别模型；

(2)使用过程中，摄像头实时采集医护人员做出的手势，将图像信息传送到计算机；

(3)计算机根据步骤(1)中建立的手势识别模型对新获得的图像进行识别分类，识别成功后得出对应动作指令；

(4)根据动作指令得到出相应的无影灯悬臂的控制值，此控制值为各舵机的转动角度，舵机的转动角度通过以下方式获得：

各个无影灯悬臂运动指令需要一个或多个舵机来完成，每个舵机的实际转动角度均预先定义好，每个无影灯悬臂运动指令对应一种无影灯悬臂的运动状态；

当计算机识别成功后得出对应动作指令，则会直接将相关舵机的旋转角度输出到各个舵机上，若识别失败则不做出任何动作。

(5)当医护人员做出手势进入跟随模式后，计算机利用HSV阈值分割将对摄像头采集到的图像中的手上佩戴的标签进行识别，从而确认标签在图像中的位置；

(6)计算机根据图像中的标签位置进行运算，为使得标签能保持在图像的中心范围内，计算标签当前位置与图像中心位置的距离，得出无影灯需要运动的方向或角度，给出无影灯悬臂控制指令，继而得到对应的各个舵机为完成相应的移动所需的转动角度；

(7)计算机将指令所对应的各个舵机角度输出到无影灯悬臂各个关节的舵机，以完成跟随；

(8)手术结束后做出恢复原位的相应手势，无影灯恢复原位，最后即可关闭无影灯。