CN113476142B - 手术器械夹持力自适应控制系统及控制方法和手术机器人 - Google Patents
手术器械夹持力自适应控制系统及控制方法和手术机器人 Download PDFInfo
- Publication number
- CN113476142B CN113476142B CN202110735943.9A CN202110735943A CN113476142B CN 113476142 B CN113476142 B CN 113476142B CN 202110735943 A CN202110735943 A CN 202110735943A CN 113476142 B CN113476142 B CN 113476142B
- Authority
- CN
- China
- Prior art keywords
- surgical instrument
- clamping force
- clamped tissue
- information
- surgical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/77—Manipulators with motion or force scaling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种手术器械夹持力自适应控制系统及控制方法和手术机器人、计算机存储介质,所述手术器械夹持力自适应控制方法包括:获取手术器械和被夹持组织的图像信息;识别所述图像信息中的所述手术器械和所述被夹持组织的信息;以及,根据识别到的所述手术器械和所述被夹持组织的信息,获取所述手术器械对所述被夹持组织所施加的夹持力信息,以控制所述手术器械对所述被夹持组织所施加的夹持力。本发明的技术方案能够自适应匹配夹持力的输出,防止手术操作中夹持力过度造成的组织损伤,提高了手术的精度和质量。
Description
技术领域
本发明涉及医疗器械技术领域,特别涉及一种手术器械夹持力自适应控制系统及控制方法和手术机器人、计算机存储介质。
背景技术
手术机器人的出现符合精准外科的发展趋势。手术机器人成为帮助医生完成手术的有力工具,如da Vinci手术机器人已经应用在全球各大医院,因其伤害小、出血少、恢复快,为患者带来福音。
手术机器人的设计理念是采用微创伤的方式,精准地实施复杂的外科手术。在传统的手术面临种种局限的情况下,发展出了手术机器人来替代传统手术,手术机器人突破了人眼的局限,采用立体成像技术,将内部器官更加清晰的呈现给操作者。在原来手伸不进的区域,机器手能完成360度转动、挪动、摆动、夹持,并避免抖动;且创口小,出血少,恢复快,大大缩短了患者术后住院时间,术后存活率和康复率也能明显提高,受到广大医患的青睐,现在作为一种高端医疗器械,已广泛运用于各种临床手术中。
与传统腹腔镜手术一样,在采用手术机器人进行手术之前,首先需要对病灶位置进行定位,然后根据病灶的具体位置以及医生的经验规划手术器械的打孔位置,再进行打孔;打孔后,手术器械安装在手术机器人的可调整机械臂上,通过打的孔进入体内进行手术。然而,手术过程中可能出现一个问题:机器人手术系统均无力觉、触觉反馈,医生手术操作时缺乏临场感,无法感知机器人的操作力、器械的碰撞力,无法感知手术对象的组织属性,从而影响医生做出正确的判断和决策,在一定程度上降低了手术的精度和质量,例如可能会出现手术器械的夹持力过大而造成组织损伤的问题。
因此,需要提出一种手术器械夹持力自适应控制系统及控制方法和手术机器人、计算机存储介质,以提高手术的精度和质量。
发明内容
本发明的目的在于提供一种手术器械夹持力自适应控制系统及控制方法和手术机器人、计算机存储介质,使得能够自适应匹配夹持力的输出,防止手术操作中夹持力过度造成的组织损伤,提高了手术的精度和质量。
为实现上述目的,本发明提供了一种手术器械夹持力自适应控制方法,包括:
获取手术器械和被夹持组织的图像信息;
识别所述图像信息中的所述手术器械和所述被夹持组织的信息;以及,
根据识别到的所述手术器械和所述被夹持组织的信息,获取所述手术器械对所述被夹持组织所施加的夹持力信息,以控制所述手术器械对所述被夹持组织所施加的夹持力。
可选地,在获取所述手术器械和所述被夹持组织的图像信息之前,所述手术器械夹持力自适应控制方法还包括:
建立病灶模型和患者体征模型;
根据所述病灶模型和所述患者体征模型,规划打孔位置;
根据规划的所述打孔位置和所述病灶模型,预判涉及到的手术器械对被夹持组织所施加的理论夹持力信息。
可选地,建立所述病灶模型和所述患者体征模型的步骤包括:根据对患者和病灶进行外部体表扫描所得的信息,建立患者体征和病灶的坐标系,以建立所述病灶模型和所述患者体征模型。
可选地,规划所述打孔位置的步骤包括:将所述病灶模型和所述患者体征模型与手术机器人的参数匹配,并规划所述打孔位置。
可选地,预判涉及到的手术器械对被夹持组织所施加的理论夹持力信息的步骤包括:
根据实际打孔位置,获取当前孔位的位置信息;
根据当前孔位的位置信息以及所述病灶模型,获取当前病灶的位置信息;
根据当前病灶的位置信息和术式,并基于历史手术数据,分析预判涉及到的手术器械和被夹持组织;以及,
根据分析获得的涉及到的手术器械和被夹持组织的信息,获取涉及到的手术器械对被夹持组织所施加的理论夹持力信息。
可选地,预判将会涉及到的手术器械对被夹持组织所施加的理论夹持力信息的步骤还包括:
将涉及到的手术器械对被夹持组织所施加的理论夹持力信息提示给用户。
可选地,获取所述手术器械和所述被夹持组织的图像信息的步骤包括:实时获取所述手术器械和所述被夹持组织的图像。
可选地,识别所述图像信息中的所述手术器械和所述被夹持组织的信息的步骤包括:
将所述图像进行灰度归一化和二值化处理,并进行图像扫描提取像素值;
根据提取的所述像素值,通过对所述手术器械和所述被夹持组织的特征值算法提取特征值;以及,
将提取的特征值与模型库中的特征值进行比对,以识别所述图像中的所述手术器械和所述被夹持组织的信息。
可选地,获取所述手术器械对所述被夹持组织所施加的夹持力信息,以控制所述手术器械对所述被夹持组织所施加的夹持力的步骤包括:
根据从所述图像信息中识别到的所述手术器械和所述被夹持组织的信息,从预判涉及到的手术器械对被夹持组织所施加的理论夹持力信息中获取所述图像信息中的所述手术器械对所述被夹持组织所施加的理论夹持力信息;
计算获得所述图像信息中的所述手术器械对所述被夹持组织所施加的当前实际夹持力信息;
将所述手术器械对所述被夹持组织所施加的当前实际夹持力信息与理论夹持力信息进行对比;以及,
将对比结果提示用户,供用户参考以控制所述手术器械对所述被夹持组织所施加的夹持力。
可选地,将对比结果提示用户的步骤包括:
设置夹持力提示模式,提示用户所述手术器械对所述被夹持组织所施加的夹持力强度、大小和/或夹持时间。
本发明还提供了一种手术器械夹持力自适应控制系统,包括:
内窥镜,其被配置为获取手术器械和被夹持组织的图像信息;
图像处理器,其被配置为识别所述图像信息中的所述手术器械和所述被夹持组织的信息;以及,
控制器,其被配置为根据如权利要求1-10任意项所述的方法控制所述手术器械对所述被夹持组织所施加的夹持力。
可选地,所述手术器械夹持力自适应控制系统还包括沉浸式显示装置和固定式显示装置,其被配置为通过图像、文字和/或声光提示用户预判的涉及到的手术器械和被夹持组织、涉及到的手术器械对被夹持组织所施加的理论夹持力信息,以及所述手术器械对所述被夹持组织所施加的当前实际夹持力信息与理论夹持力信息的对比结果。
本发明还提供了一种手术机器人,包括:
所述的手术器械夹持力自适应控制系统;
患者端控制装置,包括至少一个机械臂,所述机械臂上挂载手术器械或所述手术器械夹持力自适应控制系统中的内窥镜;以及,
医生端控制装置,与所述手术器械夹持力自适应控制系统中的图像处理器和控制器连接,所述医生端控制装置用于医生操纵所述手术器械进行手术。
本发明还提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的手术器械夹持力自适应控制方法。
与现有技术相比,本发明的技术方案具有以下有益效果:
1、本发明的手术器械夹持力自适应控制方法、控制系统和计算机存储介质,通过获取手术器械和被夹持组织的图像信息,并从所述图像信息中识别到所述手术器械和所述被夹持组织的信息,以进一步获取所述手术器械对所述被夹持组织所施加的夹持力信息,进而控制所述手术器械对所述被夹持组织所施加的夹持力,实现了自适应匹配夹持力的输出,防止手术操作中夹持力过度造成的组织损伤,提高了手术的精度和质量。
2、本发明的手术机器人,由于包含所述手术器械夹持力自适应控制系统,使得能够提高手术的精度和质量。
附图说明
图1是本发明一实施例的手术器械夹持力自适应控制方法的流程图;
图2是本发明一实施例的手术器械夹持力自适应控制方法中的步骤S01~步骤S03的过程示意图;
图3是本发明一实施例的手术器械夹持力自适应控制方法中的步骤S2的过程示意图;
图4是本发明一实施例的手术器械夹持力自适应控制方法中的步骤S3的过程示意图;
图5是本发明一实施例所提供的手术机器人在工作时的示意图;
图6是本发明一实施例的患者端控制装置的结构示意图;
图7是本发明一实施例的手术器械的结构示意图;
图8是本发明一实施例的医生端控制装置的结构示意图;
图9是本发明一实施例的图像台车的结构示意图;
图10是本发明一实施例的建模的示意图;
图11是本发明一实施例的病灶模型和患者体征模型的示意图;
图12是本发明一实施例的打孔位置的示意图;
图13是本发明一实施例的预判的术中手术器械和被夹持组织以及对应的理论夹持力信息提示示意图;
图14是本发明一实施例的术中内窥镜获取图像信息的示意图;
图15是本发明一实施例的术中内窥镜获取的图像信息的实例图;
图16a~图16b是本发明一实施例的夹持力提示模式的示意图;
图17是本发明一实施例的夹持力强度随夹持时间的变化趋势示意图。
其中,附图1~图17的附图标记说明如下:
10-医生端控制装置;11-沉浸式显示装置;20-患者端控制装置;21-手术器械;22-内窥镜;23-机械臂;30-图像台车;31-固定式显示装置;40-患者;41-患者体征模型;42-病灶模型;43-组织;44-被夹持组织;50-麻醉机;60-器械台;70-扫描装置;80-成像装置。
具体实施方式
为使本发明的目的、优点和特征更加清楚,以下对本发明提出的手术器械夹持力自适应控制系统及控制方法和手术机器人作进一步详细说明。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。
本发明一实施例提供一种手术器械夹持力自适应控制方法,参阅图1,图1是本发明一实施例的手术器械夹持力自适应控制方法的流程图,所述手术器械夹持力自适应控制方法包括:
步骤S1、获取手术器械和被夹持组织的图像信息;
步骤S2、识别所述图像信息中的所述手术器械和所述被夹持组织的信息;
步骤S3、根据识别到的所述手术器械和所述被夹持组织的信息,获取所述手术器械对所述被夹持组织所施加的夹持力信息,以控制所述手术器械对所述被夹持组织所施加的夹持力。
下面更为详细的介绍本实施例提供的手术器械夹持力自适应控制方法。
按照步骤S1,获取手术器械和被夹持组织的图像信息。
其中,在获取所述手术器械和所述被夹持组织的图像信息之前,所述手术器械夹持力自适应控制方法还包括:
步骤S01,建立病灶模型和患者体征模型。所述步骤S01可以在手术之前进行。
建立所述病灶模型和所述患者体征模型的步骤包括:首先,参阅图10,通过扫描装置70对患者40和病灶进行外部体表扫描,并通过成像装置80成像;然后,参阅图11,根据对患者40和病灶进行外部体表扫描所得的信息,建立病灶的坐标系(X病,Y病,Z病)与患者体征的坐标系(X体,Y体,Z体),确定病灶在患者40的体腔中的位置,以构建所述病灶模型42和所述患者体征模型41,为进一步的手术规划做数据输入。所述扫描装置70可以为CT或MRI等断层成像装置。
步骤S02,根据所述病灶模型和所述患者体征模型,规划打孔位置。
规划所述打孔位置的步骤包括:将所述病灶模型和所述患者体征模型与手术机器人的参数在手术机器人的坐标系下进行匹配,以规划打孔方案,包含规划打孔位置、打孔角度和打孔形状等,以实现打孔方案的科学制定。其中,手术机器人的参数包括机械臂的运动范围、运动方向等参数。所述机械臂上挂载手术器械或内窥镜,所述机械臂用于带动所述手术器械和所述内窥镜运动,以使得通过所述手术器械进行手术,以及通过所述内窥镜获取所述手术器械在手术过程中的患者体腔(包含胸腔、腹腔、盆腔等)内部的图像信息。
步骤S03,根据规划的所述打孔位置和所述病灶模型,预判涉及到的手术器械对被夹持组织所施加的理论夹持力信息。
参阅图2,具体步骤包括:
步骤S031,根据所述实际打孔位置,获取当前孔位的位置信息;
其中,可以根据规划的所述打孔位置,执行打孔操作,获得所述实际打孔位置。参阅图12,在患者40的体腔处所规划的所述打孔位置打孔之后,所述机械臂带动所述手术器械21和所述内窥镜22通过所打的孔到达病灶所在的位置。
步骤S032,根据当前孔位的位置信息以及所述病灶模型,获取当前病灶在手术机器人的坐标系下的位置信息;
步骤S033,根据当前病灶的位置信息和术式,并基于历史手术数据,分析预判涉及到的手术器械和被夹持组织;可以预判手术中将会涉及到的手术器械和被夹持组织;
其中,所述术式包括手术方法、手术器械的种类、患者的体位和病床摆放位置等。在不同的所述术式下,不同的手术器械对不同的被夹持组织所施加的理论夹持力信息不同,其中,获得的理论夹持力信息可以包括夹持适宜力大小的范围以及夹持安全时间阈值。以图13所示的为例,在某一术式下,涉及到的手术器械包括器械1和器械2,器械1在夹持组织1和夹持组织2时对应的夹持适宜力大小的范围和安全时间阈值不同,组织1被器械1和器械2夹持时对应的夹持适宜力大小和安全时间阈值也不同。因此,需要根据不同的所述术式,结合历史的手术数据,获得当前术式可能涉及到的所述手术器械以及对应的所述被夹持组织,进而能够获得不同所述手术器械对所述被夹持组织所施加的理论夹持力信息。
步骤S034,根据分析获得的涉及到的手术器械和被夹持组织的信息,获取涉及到的所述手术器械对所述被夹持组织所施加的理论夹持力信息,以为手术做准备;其中,分析获得的涉及到的所述手术器械和被夹持组织的信息包括所述手术器械的种类(例如图13中的器械1和器械2)和所述被夹持组织的种类(例如图13中的组织1和组织2)。
步骤S035,将涉及到的手术器械对被夹持组织所施加的理论夹持力信息提示给用户;具体的,在沉浸式显示装置和固定式显示装置上显示涉及到的所有的手术器械和所有的被夹持组织的信息以及每个所述手术器械对每个所述被夹持组织所施加的理论夹持力信息,并且可以通过图像、文字和/或声光等方式提示用户,其中,查看沉浸式显示装置上显示的信息的用户主要为医生,查看固定式显示装置上显示的信息的用户主要为助理护士。
在上述步骤S01~步骤S03之后,执行步骤S1,获取所述手术器械和所述被夹持组织的图像信息,其步骤包括:在手术过程中,通过所述内窥镜实时获取所述手术器械和所述被夹持组织的图像。参阅图14,所述内窥镜22从患者40的体腔上所打的孔进入体腔内部,获取图15所示的手术时的图像信息,包含手术器械21和体腔内的组织43的图像信息。
按照步骤S2,识别所述图像信息中的所述手术器械和所述被夹持组织的信息。其中,所述图像信息中的所述手术器械和所述被夹持组织的信息包括图像中显示的所述手术器械的种类和所述被夹持组织的种类。
参阅图3,识别所述图像信息中的所述手术器械和所述被夹持组织的信息的步骤包括:
步骤S21,将所述图像进行灰度归一化和二值化处理,并进行图像扫描提取像素值;
其中,灰度归一化处理是指将所述图像的灰度进行归一化处理,使得所述图像的灰度值归一化到0~255的范围内,进而把过亮或过暗的图像调整成统一正常的图像。以所述图像为彩色图像为例,在RGB模型中,如果R=G=B,则彩色表示一种灰度颜色,其中R=G=B的值为灰度值,因此,灰度图像中每个像素只需一个字节存放灰度值,灰度值范围为0~255,灰度归一化处理的计算公式为:
Gray(i,j)=0.299*R(i,j)+0.587*G(i,j)+0.114*B(i,j);其中,(i,j)为图像上的各个坐标位置,Gray(i,j)为所述图像上的各个坐标位置的灰度值。
二值化处理是指将灰度归一化处理之后的所述图像上的像素点的灰度值设置为0或255,使得所述图像呈现出明显的黑白效果,进行二值化处理的公式为:
步骤S22,根据提取的所述像素值,通过对所述手术器械和所述被夹持组织的特征值算法提取特征值;
其中,可以通过统计计算图像局部区域的方向梯度直方图来提取特征,以获得特征值。其提取步骤包括:首先,计算所述图像上的每个像素的梯度(包括大小和方向);然后,将所述图像划分为多个小单元(例如6*6像素/单元);然后,以每个单元为单位构建方向梯度直方图,即可形成每个单元的特征描述子,再将每几个单元组成一个宏块(例如3*3个单元/宏块),构建宏块的方向梯度直方图,一个宏块中所有单元的特征描述子串联起来即可得到该宏块的方向梯度直方图的特征描述子,并且,将图像内的所有宏块的方向梯度直方图的特征描述子串联起来即可获得所述图像的方向梯度直方图特征。
步骤S23,将提取的特征值与模型库中的特征值进行比对,以识别所述图像中的所述手术器械和所述被夹持组织的信息。
按照步骤S3,根据识别到的所述手术器械和所述被夹持组织的信息,获取所述手术器械对所述被夹持组织所施加的夹持力信息,以控制所述手术器械对所述被夹持组织所施加的夹持力。所述手术器械对所述被夹持组织所施加的夹持力信息可以包括夹持力强度、大小和/或夹持时间。
参阅图4,获取所述手术器械对所述被夹持组织所施加的夹持力信息,以控制所述手术器械对所述被夹持组织所施加的夹持力的步骤包括:
步骤S31,根据从所述图像信息中识别到的所述手术器械和所述被夹持组织的信息,从所述步骤S03中的预判涉及到的手术器械对被夹持组织所施加的理论夹持力信息中获取所述图像信息中的所述手术器械对所述被夹持组织所施加的理论夹持力信息;
步骤S32,计算获得所述图像信息中的所述手术器械对所述被夹持组织所施加的当前实际夹持力信息;其中,器械驱动器输出驱动信息给所述机械臂末端的手术器械,所述手术器械夹持所述被夹持组织,此时,所述手术器械会向所述器械驱动器反馈信息,可通过实时反馈的信息计算获得当前实际夹持力信息;
步骤S33,将所述手术器械对所述被夹持组织所施加的当前实际夹持力信息与理论夹持力信息进行对比;
步骤S34,将当前实际夹持力信息与理论夹持力信息的对比结果提示用户,供用户参考以控制所述手术器械对所述被夹持组织所施加的夹持力。其中,可以采用所述沉浸式显示装置和固定式显示装置,通过图像、文字和/或声光等方式提示用户,用户可以为医生和助理护士。
具体的,参阅图16a和图16b,将对比结果提示用户的步骤可以包括:
在所述沉浸式显示装置和所述固定式显示装置上设置夹持力提示模式,所述夹持力提示模式包括预警夹持力模式或夹持过度时提示模式,以在当前手术操作中,提示用户所述手术器械21对所述被夹持组织44的夹持力强度(图16a和图16b中的xxN)及夹持时间(图16a和图16b中的持续时间:xxS),所述夹持力强度可以通过夹持力进度条显示,夹持力进度条可随夹持力强度的增大颜色逐渐加深,以增强提示效果;例如,图16b所示的进度条的长度大于图16a所示的进度条的长度,对应的进度条的颜色也加深。
其中,在夹持过度时提示模式下,若夹持力强度和夹持时间均未超出阈值,则可不进行夹持力提示;若夹持力强度和/或夹持时间超出阈值,则所述沉浸式显示装置可自动弹出图16b所示的提示,同时,图16b所示的提示信息也会显示在所述固定式显示装置上,以提示可能会损伤所述被夹持组织44的夹持操作。
需要说明的是,夹持力情况的提示方式包括但不仅限于夹持力进度条的方式,还可采用声音、灯光等方式。
另外,参阅图17,图17所示的为夹持力强度随着夹持时间的变化趋势图,从图17中可看出,在夹持适宜夹持力区域范围内,若夹持时间过长至超过安全时间阈值时,则对夹持时间进行提示,以提醒用户降低夹持力或放开当前被夹持组织,暂时停止夹持的操作;若未停止夹持操作,且夹持时间提示一段时间后,夹持力仍无显著降低,则自动启动夹持力安全保护功能,在夹持力适宜范围内分阶段自动释放部分夹持力,以减小对被夹持组织的损伤。
从上述内容可知,通过获取手术器械和被夹持组织的图像信息,并从所述图像信息中识别到所述手术器械和所述被夹持组织的信息,以进一步获取所述手术器械对所述被夹持组织所施加的夹持力信息,进而控制所述手术器械对所述被夹持组织所施加的夹持力,实现了自适应匹配夹持力的输出,防止手术操作中用力过度造成的组织损伤;并且,通过对夹持力状态(例如夹持力强度和夹持时间)的实时显示,便于医生对夹持力进行控制调整,易于判断夹持操作对组织的影响,且便于引导医生采用合适的力进行操作,提高手术的精度和质量;同时,在长时间夹持后启动夹持力安全保护功能,自动调整夹持力的输出,进一步避免对组织造成损伤。
基于同一发明构思,本发明一实施例提供一种手术器械夹持力自适应控制系统,所述手术器械夹持力自适应控制系统包括内窥镜、图像处理器和控制器。
所述内窥镜被配置为获取手术器械和被夹持组织的图像信息。
所述图像处理器被配置为识别所述图像信息中的所述手术器械和所述被夹持组织的信息。
所述控制器被配置为根据所述手术器械夹持力自适应控制方法控制所述手术器械对所述被夹持组织所施加的夹持力。所述手术器械夹持力自适应控制方法参见上述内容,在此不再赘述。
所述手术器械夹持力自适应控制系统还包括沉浸式显示装置和固定式显示装置,其被配置为通过图像、文字和/或声光提示用户预判的涉及到的手术器械和被夹持组织、涉及到的手术器械对被夹持组织所施加的理论夹持力信息,以及所述手术器械对所述被夹持组织所施加的当前实际夹持力信息与理论夹持力信息的对比结果。
参阅图5,基于同一发明构思,本发明一实施例提供一种手术机器人,包括本发明一实施例的所述手术器械夹持力自适应控制系统、患者端控制装置20和医生端控制装置10。
所述手术器械夹持力自适应控制系统包括内窥镜、图像处理器和控制器,具体参见上述对所述手术器械夹持力自适应控制系统的说明,在此不再赘述;
参阅图6和图7,所述患者端控制装置20包括至少一个机械臂23,所述机械臂23上挂载手术器械21或内窥镜,以通过所述手术器械21进行手术,以及通过所述内窥镜获取所述手术器械21在手术过程中的患者体腔内部的图像信息。
所述医生端控制装置10与所述手术器械夹持力自适应控制系统中的图像处理器和控制器连接,所述医生端控制装置10用于医生操纵所述手术器械进行手术。参阅图8,所述手术器械夹持力自适应控制系统中的沉浸式显示装置11设置于所述医生端控制装置10上。
参阅图5,所述手术机器人还包括图像台车30、麻醉机50和器械台60等。参阅图9,所述手术器械夹持力自适应控制系统中的固定式显示装置31设置于所述图像台车30上。所述沉浸式显示装置11和所述固定式显示装置31能够显示所述内窥镜获取的患者体腔内部的图像信息,且所述沉浸式显示装置11显示的图像信息具有3D效果,以使得医生能够通过3D图像对患者进行手术。
在手术过程中,医生通过所述医生端控制装置10及主操作手(未图示)远程操作实现对病床上的患者40进行微创伤手术。其中,主操作手与所述机械臂23、所述手术器械21构成主从控制关系,所述机械臂23和所述手术器械21在手术过程中根据主操作手的操作而运动。
由于在采用所述手术机器人进行手术的过程中,医生无法感知所述手术器械对被夹持组织所施加的夹持力情况,从而可能因夹持力过大和/或夹持时间过长而导致被夹持组织的损伤,因此,本实施例的所述手术机器人中设置了所述手术器械夹持力自适应控制系统,实现了自适应匹配夹持力的输出,防止手术操作中用力过度造成的组织损伤;并且,通过对夹持力状态(例如夹持力强度和夹持时间)的实时显示,便于医生对夹持力进行控制调整,易于判断夹持操作对组织的影响,且便于引导医生采用合适的力进行操作,提高手术的精度和质量;同时,在长时间夹持后启动夹持力安全保护功能,自动调整夹持力的输出,进一步避免对组织造成损伤。
基于同一发明构思,本发明一实施例还提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被一处理器执行时能实现本发明一实施例的所述手术器械夹持力自适应控制方法。
所述计算机存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备,例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所描述的计算机程序可以从计算机存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收所述计算机程序,并转发该计算机程序,以供存储在各个计算/处理设备中的计算机存储介质中。用于执行本发明操作的计算机程序可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。所述计算机程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机程序的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、系统和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机程序实现。这些计算机程序可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些程序在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机程序存储在计算机存储介质中,这些计算机程序使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有该计算机程序的计算机存储介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机程序加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的计算机程序实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。
Claims (13)
1.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如下手术器械夹持力自适应控制方法:
根据当前病灶的位置信息和术式,并基于历史手术数据,分析预判涉及到的手术器械和被夹持组织;
根据分析获得的涉及到的手术器械和被夹持组织的信息,获取涉及到的手术器械对被夹持组织所施加的理论夹持力信息;
获取手术器械和被夹持组织的图像信息;
识别所述图像信息中的所述手术器械和所述被夹持组织的信息,所述手术器械和所述被夹持组织的信息包括所述手术器械的种类和所述被夹持组织的种类;以及,
根据识别到的所述手术器械和所述被夹持组织的信息,从预判涉及到的手术器械对被夹持组织所施加的理论夹持力信息中获取所述图像信息中的所述手术器械对所述被夹持组织所施加的夹持力信息,以控制所述手术器械对所述被夹持组织所施加的夹持力,所述理论夹持力信息至少包括夹持适宜力和夹持安全时间。
2.如权利要求1所述的计算机存储介质,其特征在于,在获取所述手术器械和所述被夹持组织的图像信息之前,所述计算机程序被处理器执行时实现的所述手术器械夹持力自适应控制方法还包括:
建立病灶模型和患者体征模型;
根据所述病灶模型和所述患者体征模型,规划打孔位置;
根据规划的所述打孔位置和所述病灶模型,预判涉及到的手术器械对被夹持组织所施加的理论夹持力信息。
3.如权利要求2所述的计算机存储介质,其特征在于,建立所述病灶模型和所述患者体征模型的步骤包括:根据对患者和病灶进行外部体表扫描所得的信息,建立患者体征和病灶的坐标系,以建立所述病灶模型和所述患者体征模型。
4.如权利要求2所述的计算机存储介质,其特征在于,规划所述打孔位置的步骤包括:将所述病灶模型和所述患者体征模型与手术机器人的参数匹配,并规划所述打孔位置。
5.如权利要求2所述的计算机存储介质,其特征在于,预判涉及到的手术器械对被夹持组织所施加的理论夹持力信息的步骤包括:
根据实际打孔位置,获取当前孔位的位置信息;
根据当前孔位的位置信息以及所述病灶模型,获取当前病灶的位置信息。
6.如权利要求5所述的计算机存储介质,其特征在于,预判将会涉及到的手术器械对被夹持组织所施加的理论夹持力信息的步骤还包括:
将涉及到的手术器械对被夹持组织所施加的理论夹持力信息提示给用户。
7.如权利要求1所述的计算机存储介质,其特征在于,获取所述手术器械和所述被夹持组织的图像信息的步骤包括:实时获取所述手术器械和所述被夹持组织的图像。
8.如权利要求1所述的计算机存储介质,其特征在于,识别所述图像信息中的所述手术器械和所述被夹持组织的信息的步骤包括:
将所述图像进行灰度归一化和二值化处理,并进行图像扫描提取像素值;
根据提取的所述像素值,通过对所述手术器械和所述被夹持组织的特征值算法提取特征值;以及,
将提取的特征值与模型库中的特征值进行比对,以识别所述图像中的所述手术器械和所述被夹持组织的信息。
9.如权利要求2所述的计算机存储介质,其特征在于,获取所述图像信息中的所述手术器械对所述被夹持组织所施加的夹持力信息,以控制所述手术器械对所述被夹持组织所施加的夹持力的步骤包括:
计算获得所述图像信息中的所述手术器械对所述被夹持组织所施加的当前实际夹持力信息;
将所述手术器械对所述被夹持组织所施加的当前实际夹持力信息与理论夹持力信息进行对比;以及,
将对比结果提示用户,供用户参考以控制所述手术器械对所述被夹持组织所施加的夹持力。
10.如权利要求9所述的计算机存储介质,其特征在于,将对比结果提示用户的步骤包括:
设置夹持力提示模式,提示用户所述手术器械对所述被夹持组织所施加的夹持力强度、大小和/或夹持时间。
11.一种手术器械夹持力自适应控制系统,其特征在于,包括:
内窥镜,其被配置为获取手术器械和被夹持组织的图像信息;
图像处理器,其被配置为识别所述图像信息中的所述手术器械和所述被夹持组织的信息;以及,
控制器,其被配置为用于执行如权利要求1-10任一项所述的计算机存储介质上所存储的计算机程序,以控制所述手术器械对所述被夹持组织所施加的夹持力。
12.如权利要求11所述的手术器械夹持力自适应控制系统,其特征在于,所述手术器械夹持力自适应控制系统还包括沉浸式显示装置和固定式显示装置,其被配置为通过图像、文字和/或声光提示用户预判的涉及到的手术器械和被夹持组织、涉及到的手术器械对被夹持组织所施加的理论夹持力信息,以及所述手术器械对所述被夹持组织所施加的当前实际夹持力信息与理论夹持力信息的对比结果。
13.一种手术机器人,其特征在于,包括:
如权利要求11或12所述的手术器械夹持力自适应控制系统;
患者端控制装置,包括至少一个机械臂,所述机械臂上挂载手术器械或所述手术器械夹持力自适应控制系统中的内窥镜;以及,
医生端控制装置,与所述手术器械夹持力自适应控制系统中的图像处理器和控制器连接,所述医生端控制装置用于医生操纵所述手术器械进行手术。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110735943.9A CN113476142B (zh) | 2021-06-30 | 2021-06-30 | 手术器械夹持力自适应控制系统及控制方法和手术机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110735943.9A CN113476142B (zh) | 2021-06-30 | 2021-06-30 | 手术器械夹持力自适应控制系统及控制方法和手术机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113476142A CN113476142A (zh) | 2021-10-08 |
CN113476142B true CN113476142B (zh) | 2023-03-31 |
Family
ID=77937055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110735943.9A Active CN113476142B (zh) | 2021-06-30 | 2021-06-30 | 手术器械夹持力自适应控制系统及控制方法和手术机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113476142B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113925612B (zh) * | 2021-12-17 | 2022-03-15 | 极限人工智能有限公司 | 器械控制方法及系统 |
CN114343854B (zh) * | 2022-02-14 | 2024-01-23 | 上海微创医疗机器人(集团)股份有限公司 | 夹持器械的夹持力控制方法、机器人系统、设备和介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112308026A (zh) * | 2020-11-23 | 2021-02-02 | 哈尔滨工业大学 | 基于深度学习的手术器械夹持力感知方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170042626A1 (en) * | 2015-07-31 | 2017-02-16 | Advanced Tactile Imaging, Inc. | Method and probe for providing tactile feedback in laparoscopic surgery |
CN105500362B (zh) * | 2015-12-23 | 2016-10-26 | 福建省汽车工业集团云度新能源汽车股份有限公司 | 一种多关节全向式管外机器人控制系统 |
CN108420538B (zh) * | 2018-04-27 | 2020-08-25 | 微创(上海)医疗机器人有限公司 | 手术机器人系统 |
US10383694B1 (en) * | 2018-09-12 | 2019-08-20 | Johnson & Johnson Innovation—Jjdc, Inc. | Machine-learning-based visual-haptic feedback system for robotic surgical platforms |
CN112006777B (zh) * | 2020-07-31 | 2022-03-29 | 清华大学 | 基于表面跟踪的打钉手术机器人系统及控制方法 |
-
2021
- 2021-06-30 CN CN202110735943.9A patent/CN113476142B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112308026A (zh) * | 2020-11-23 | 2021-02-02 | 哈尔滨工业大学 | 基于深度学习的手术器械夹持力感知方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113476142A (zh) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11941734B2 (en) | Rendering tool information as graphic overlays on displayed images of tools | |
KR102013837B1 (ko) | 수술영상 제공 방법 및 장치 | |
CN113476142B (zh) | 手术器械夹持力自适应控制系统及控制方法和手术机器人 | |
CN108778180B (zh) | 用于移除手术图像和/或视频中的遮挡对象的系统和方法 | |
JP6643362B2 (ja) | ロボット手術中に更新された患者画像を供給するための方法および装置 | |
WO2019181632A1 (en) | Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system | |
WO2021146339A1 (en) | Systems and methods for autonomous suturing | |
JP2024016845A (ja) | ロボットデータの匿名化 | |
US20190182421A1 (en) | Reducing smoke occlusion in images from surgical systems | |
US20200113636A1 (en) | Robotically-assisted surgical device, robotically-assisted surgery method, and system | |
CN111770735B (zh) | 手术仿真信息生成方法及程序 | |
CN114533263B (zh) | 机械臂碰撞提示方法、可读存储介质、手术机器人及系统 | |
CN112712016B (zh) | 手术器械识别方法、识别平台及医疗机器人系统 | |
US20210298848A1 (en) | Robotically-assisted surgical device, surgical robot, robotically-assisted surgical method, and system | |
CN108170259A (zh) | 医疗系统辅助处理设备、医疗系统及辅助处理方法 | |
US11800966B2 (en) | Medical system and medical system operating method | |
CN112704566A (zh) | 手术耗材核查方法及手术机器人系统 | |
KR102213412B1 (ko) | 기복모델 생성방법, 장치 및 프로그램 | |
KR20190088419A (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
KR101940706B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
KR20190133423A (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
JP7414611B2 (ja) | ロボット手術支援装置、処理方法、及びプログラム | |
US20200315724A1 (en) | Medical image diagnosis apparatus, surgery assistance robot apparatus, surgery assistance robot controlling apparatus, and controlling method | |
US20210200900A1 (en) | Systems and methods for censoring confidential information | |
US20220395337A1 (en) | Surgery assistance system, operating method for surgery assistance system, and control device of surgery assistance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |