CN114099005B - 器械是否在视野内、是否被遮挡的判断法及能量显示方法 - Google Patents

器械是否在视野内、是否被遮挡的判断法及能量显示方法 Download PDF

Info

Publication number
CN114099005B
CN114099005B CN202111406773.6A CN202111406773A CN114099005B CN 114099005 B CN114099005 B CN 114099005B CN 202111406773 A CN202111406773 A CN 202111406773A CN 114099005 B CN114099005 B CN 114099005B
Authority
CN
China
Prior art keywords
instrument
visual field
judging
wrist
operation device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111406773.6A
Other languages
English (en)
Other versions
CN114099005A (zh
Inventor
潘广
陈袅袅
王了
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jinshan Medical Robot Co ltd
Original Assignee
Chongqing Jinshan Medical Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jinshan Medical Robot Co ltd filed Critical Chongqing Jinshan Medical Robot Co ltd
Priority to CN202111406773.6A priority Critical patent/CN114099005B/zh
Publication of CN114099005A publication Critical patent/CN114099005A/zh
Application granted granted Critical
Publication of CN114099005B publication Critical patent/CN114099005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种器械是否在视野内、是否被遮挡的判断法及能量显示方法,其中,器械是否在视野内的判断法包括以下步骤:1a.获取主手及器械的三维模型,根据设备参数对三维模型进行同步处理;2a.通过三维场景中内窥镜的视野范围,对器械腕部的点做是否在视野范围内的判断,若是,则器械在视野内,若否,则器械不在视野内。本发明可准确、快捷地向操作者提供器械是否在视野内、是否被遮挡的信息及能量器械的能量是否被激活,并作出提示,使内窥镜手术更为安全,效率更高。

Description

器械是否在视野内、是否被遮挡的判断法及能量显示方法
技术领域
本发明涉及医疗器械技术领域,特别是涉及一种器械在视野内是否被遮挡的判断方法。
背景技术
微创手术是指创伤比较微小的手术,相较于传统手术是一种新的手术方式,它通过一些新的技术手段,用最少的创伤代价来完成治疗,治疗的效果可以达到甚至超过传统手术。微创手术通常是利用胸腔镜、腹腔镜、关节镜等医疗器械和设备进行手术,其优点为创伤小、切口小、恢复快,以及手术中的出血比较少,手术后患者微创伤、失血少、术后感染少、术后恢复快。同时微创手术机器人系统通常使用主从式控制模式:操作者在对主手进行操作时,手部运动会带动主手随之运动,主手关节处传感器可以测量运动信息,通过主从控制算法将主手的运动映射到从手,从手各关节被动运动,带动手术器械实现相应运动。手术机器人的末端用来装载手术器械,其位置和姿态决定了手术操作的精确性。这样的方式极大的减轻了医生在手术过程中的体力劳动,同时达到精准手术的目的。微创手术的切口就是几个小孔,大概都是0.5~1cm的小孔。通过这些自然孔口或切口,操作者(例如,医师)可以插入微创医疗器械(包括外科手术器械、诊断器械、治疗器械或活检器械、还有内窥镜)以到达目标组织位置。而这些插入器械的末端都是被安装在器械控制臂上的。操作者在对控制台进行操作时,器械控制臂各关节被动运动,带动手术器械实现相应运动。
在实际手术过程中,因为内窥镜的视野有局限性,有可能器械出现在视野范围内,但是因为其他人体内脏等物体把器械遮挡了的情况,而不能看到手术器械,对手术的安全性及效率都造成了一定影响。
同时,当医生使用器械的能量功能时,现有技术中,医生需要通过观察视野内的器械画面去判断器械能量是否在使用。如果器械没有接触物体或被遮挡,医生则不太容易能通过画面中的图像判断来是否被打开。
因此本领域技术人员致力于开发一种器械是否在视野内、器械是否被遮挡的判断法及能量信息显示方法,提高手术的安全性。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是提供一种器械在视野内是否被遮挡的判断方法,提高手术的安全性。
为实现上述目的,本发明提供了一种器械是否在视野内的判断法,包括以下步骤:
1a.获取主手及器械的三维模型,根据设备参数对三维模型进行同步处理;
2a.通过三维场景中内窥镜的视野范围,对器械腕部的点做是否在视野范围内的判断,若是,则器械在视野内,若否,则器械不在视野内。
较佳的,所述步骤2)中,对器械腕部的点做视野范围内的判断方法如下:
21a.获取内窥镜上摄像头的坐标点、显示范围景深和视场角角度,求出视锥体;
22a.根据所述视锥体的各个点坐标,分别求出视锥体各个面的法向量;
23a.用器械腕部的点分别与各所述法向量做向量的点乘法,求其结果;若结果均为正值,说明器械腕部的点在视野内;若结果出现负值,说明器械腕部的点在该法向量代表的面之外,从而说明器械腕部的点在摄像机视野范围外。
较佳的,所述步骤2a中,器械腕部的点为器械腕部中心点。
本发明还提供一种器械是否被遮挡的判断法,包括如下步骤:
1b.判断器械是否在视野内,若是,进入步骤2b,若否,调整内窥镜角度直至器械在视野内;本步骤中,判断器械是否在视野内可采用前述判断方法;
2b.在器械模型上设定若干标记点,将这些坐标点转换为屏幕坐标,根据屏幕坐标去比较当前屏幕上面这个像素坐标的颜色值,如果颜色均与器械颜色相近,则为标记成功,若标记成功则判定器械在视野内未被遮挡,反之,判定为遮挡。
较佳的,所述步骤2b中,所述器械颜色为不锈钢的银色。
较佳的,还包括以下步骤:
3b.器械被遮挡时,在立体取景器中被遮挡器械对应位置处显示标记图标。
较佳的,所述标记图标包括器械编号信息及左主手或右主手控制信息。
较佳的,器械被遮挡时,在立体取景器中被遮挡器械对应的顶部位置处显示标记图标。
本发明还提供一种器械能量显示方法,包括以下步骤:
1c.判断器械是否在视野内,若是,进入步骤2c,若否,调整内窥镜角度直至器械在视野内;本步骤中,判断器械是否在视野内可采用前述判断方法;
2c.创建标记图标显示于立体取景器中器械对应位置处;
3c.获取器械能量状态,并根据器械的不同能量状态,显示不同颜色的标记图标。
较佳的,所述步骤3c中能量激活状态显示彩色标记图标,能量未激活时,显示灰黑图标。
本发明的有益效果是:本发明可准确、快捷地向操作者提供器械是否在视野内、是否被遮挡的信息及能量器械的能量是否被激活,并作出提示,使内窥镜手术更为安全,效率更高。
附图说明
图1是本发明实施例1流程示意图。
图2是本发明实施例2标记图标立体取景器屏幕第一显示图。
图3是本发明实施例2标记图标立体取景器屏幕第二显示图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
实施例1
如图1所示,一种器械是否在视野内的判断法,包括以下步骤:
1a.获取主手及器械的三维模型,根据设备参数对三维模型进行同步处理;本步骤中,可用OpenGL进行一比一的三维建模,并根据实际电机的运动参数,同步控制这个三维模型。
2a.通过三维场景中内窥镜的视野范围,对器械腕部的点做是否在视野范围内的判断,若是,则器械在视野内,若否,则器械不在视野内。本步骤中,器械腕部的点做视野范围内的判断方法如下:
21a.获取内窥镜上摄像头的坐标点、显示范围景深和视场角角度,求出视锥体;
22a.根据视锥体的各个点坐标,分别求出视锥体各个面的法向量;
23a.用器械腕部的点分别与各法向量做向量的点乘法,求其结果;若结果均为正值,说明器械腕部的点在视野内;若结果出现负值,说明器械腕部的点在该法向量代表的面之外,从而说明器械腕部的点在摄像机视野范围外。
器械腕部的点是指器械腕部中心点。
实施例2
本发明还提供一种器械是否被遮挡的判断法,包括如下步骤:
1b.判断器械是否在视野内,若是,进入步骤2b,若否,调整内窥镜角度直至器械在视野内;本步骤采用上述器械是否在视野内的判断法,判断器械是否在视野内。
2b.在器械模型上设定若干标记点,将这些坐标点转换为屏幕坐标,根据屏幕坐标去比较当前屏幕上面这个像素坐标的颜色值,如果颜色均与器械颜色相近,则为标记成功,若标记成功则判定器械在视野内未被遮挡,反之,判定为遮挡。
其中,器械颜色为不锈钢的银色。
本步骤中,屏幕上坐标的颜色值是否与器械颜色近似的判断方法为:将屏幕上坐标的RGB颜色转换为LAB,转换成LAB后采用CIEDE2000的色差公式计算出色差值,色差值为4.0△E以上表示颜色不相近;色差值小于4.0△E为颜色近似。
3b.器械被遮挡时,在立体取景器中被遮挡器械对应位置处显示标记图标。本实施例中,器械被遮挡时,在立体取景器中被遮挡器械对应的顶部位置处显示标记图标。标记图标包括器械编号信息及左主手或右主手控制信息。
具体可如图2和图3所示,器械被物体1遮住,标记图标2则在立体取景器中显示出来,包括一标准圆圈,在圆圈内用阿拉伯数字显示器械的编号,用L表示被左主手所控制,R表示被右主手控制。
器械可被左主手或右主手控制,每次手术过程中医生通过控制台扶手上的软件程序,进行主手控制分配。本发明把相应的控制结果,通过指令协议发送给主从控制服务器,并记录下每次分配的数据记录,当需要判断该器械由哪个主手所控制时,根据每次分配的结果进行显示即可。
实施例3
本发明还提供一种器械能量显示方法,包括以下步骤:
1c.判断器械是否在视野内,若是,进入步骤2c,若否,调整内窥镜角度直至器械在视野内;本步骤采用上述器械是否在视野内的判断法,判断器械是否在视野内。
2c.创建标记图标显示于立体取景器中器械对应位置处;
3c.获取器械能量状态,并根据器械的不同能量状态,显示不同颜色的标记图标,本实施例中能量激活状态显示彩色标记图标,能量未激活时,显示灰黑图标,而器械的能量是否激活可通过系统信息获取。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种操作器械是否在视野内的判断法,其特征是,包括以下步骤:
1a.获取主手及操作器械及内窥镜的三维模型,根据主手及操作器械及内窥镜的设备参数对三维模型进行同步处理,所述同步处理是根据电机的实际运动参数,同步控制这个三维模型;
2a.通过三维模型场景中内窥镜的视野范围,对操作器械腕部的点做是否在视野范围内的判断,若是,则操作器械在视野内,若否,则操作器械不在视野内;
所述步骤2a中,对操作器械腕部的点做视野范围内的判断方法如下:
21a.获取内窥镜上摄像头的坐标点、显示范围景深和视场角角度,求出视锥体;
22a.根据所述视锥体的各个点坐标,分别求出视锥体各个面的法向量;
23a.用操作器械腕部的点分别与各所述法向量做向量的点乘法,求其结果;若结果均为正值,说明操作器械腕部的点在视野内;若结果出现负值,说明操作器械腕部的点在该法向量代表的面之外,从而说明操作器械腕部的点在摄像机视野范围外。
2.如权利要求1所述的操作器械是否在视野内的判断法,其特征是,所述步骤2a中,操作器械腕部的点为操作器械腕部中心点。
3.一种操作器械是否被遮挡的判断法,其特征是,包括如下步骤:
1b.利用如权利要求1至2任一所述的操作器械是否在视野内的判断法判断操作器械是否在视野内,若是,进入步骤2b,若否,调整内窥镜角度直至操作器械在视野内;
2b.在操作器械模型上设定若干标记点,将这些坐标点转换为屏幕坐标,根据屏幕坐标去比较当前屏幕上面这个像素坐标的颜色值,如果颜色均与操作器械颜色相近,则为标记成功,若标记成功则判定操作器械在视野内未被遮挡,反之,判定为遮挡。
4.如权利要求3所述的操作器械是否被遮挡的判断法,其特征是,所述步骤2b中,所述操作器械颜色为不锈钢的银色。
5.如权利要求3所述的操作器械是否被遮挡的判断法,其特征是,还包括以下步骤:
3b.操作器械被遮挡时,在立体取景器中被遮挡操作器械对应位置处显示标记图标。
6.如权利要求5所述的操作器械是否被遮挡的判断法,其特征是:所述标记图标包括操作器械编号信息及左主手或右主手控制信息。
7.如权利要求5所述的操作器械是否被遮挡的判断法,其特征是:操作器械被遮挡时,在立体取景器中被遮挡操作器械对应的顶部位置处显示标记图标。
8.一种操作器械能量显示方法,其特征是,包括以下步骤:
1c. 利用如权利要求1至2任一所述的操作器械是否在视野内的判断法判断操作器械是否在视野内,若是,进入步骤2c,若否,调整内窥镜角度直至操作器械在视野内;
2c.创建标记图标显示于立体取景器中操作器械对应位置处;
3c.获取操作器械能量状态,并根据操作器械的不同能量状态,显示不同颜色的标记图标。
9.如权利要求8所述的操作器械能量显示方法,其特征是:所述步骤3c中能量激活状态显示彩色标记图标,能量未激活时,显示灰黑图标。
CN202111406773.6A 2021-11-24 2021-11-24 器械是否在视野内、是否被遮挡的判断法及能量显示方法 Active CN114099005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111406773.6A CN114099005B (zh) 2021-11-24 2021-11-24 器械是否在视野内、是否被遮挡的判断法及能量显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111406773.6A CN114099005B (zh) 2021-11-24 2021-11-24 器械是否在视野内、是否被遮挡的判断法及能量显示方法

Publications (2)

Publication Number Publication Date
CN114099005A CN114099005A (zh) 2022-03-01
CN114099005B true CN114099005B (zh) 2023-09-15

Family

ID=80372251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111406773.6A Active CN114099005B (zh) 2021-11-24 2021-11-24 器械是否在视野内、是否被遮挡的判断法及能量显示方法

Country Status (1)

Country Link
CN (1) CN114099005B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107530130A (zh) * 2015-03-17 2018-01-02 直观外科手术操作公司 用于在远程操作医疗系统中的器械的屏幕识别的系统和方法
CN109288591A (zh) * 2018-12-07 2019-02-01 微创(上海)医疗机器人有限公司 手术机器人系统
CN110236693A (zh) * 2014-03-17 2019-09-17 直观外科手术操作公司 用于遥控操作医疗系统中的器械的屏外指示的系统和方法
CN110931121A (zh) * 2019-11-29 2020-03-27 重庆邮电大学 一种基于Hololens的远程手术指导装置及操作方法
CN111184577A (zh) * 2014-03-28 2020-05-22 直观外科手术操作公司 器械在视野中的定量三维可视化
CN111863261A (zh) * 2020-07-18 2020-10-30 纽智医疗科技(苏州)有限公司 一种通过适应性训练缓解虚拟现实病的方法及系统
CN112245014A (zh) * 2020-10-30 2021-01-22 微创(上海)医疗机器人有限公司 一种医疗机器人、检测机械臂碰撞的方法及存储介质
CN112353361A (zh) * 2020-09-21 2021-02-12 南京速锋医疗科技有限公司 基于主从一体智能扶镜机器人的3d胸腹腔镜系统
CN112971996A (zh) * 2021-02-03 2021-06-18 上海微创医疗机器人(集团)股份有限公司 计算机可读存储介质、电子设备及手术机器人系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US10555775B2 (en) * 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US11259870B2 (en) * 2005-06-06 2022-03-01 Intuitive Surgical Operations, Inc. Interactive user interfaces for minimally invasive telesurgical systems
US8935003B2 (en) * 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110236693A (zh) * 2014-03-17 2019-09-17 直观外科手术操作公司 用于遥控操作医疗系统中的器械的屏外指示的系统和方法
CN111184577A (zh) * 2014-03-28 2020-05-22 直观外科手术操作公司 器械在视野中的定量三维可视化
CN107530130A (zh) * 2015-03-17 2018-01-02 直观外科手术操作公司 用于在远程操作医疗系统中的器械的屏幕识别的系统和方法
CN109288591A (zh) * 2018-12-07 2019-02-01 微创(上海)医疗机器人有限公司 手术机器人系统
CN110931121A (zh) * 2019-11-29 2020-03-27 重庆邮电大学 一种基于Hololens的远程手术指导装置及操作方法
CN111863261A (zh) * 2020-07-18 2020-10-30 纽智医疗科技(苏州)有限公司 一种通过适应性训练缓解虚拟现实病的方法及系统
CN112353361A (zh) * 2020-09-21 2021-02-12 南京速锋医疗科技有限公司 基于主从一体智能扶镜机器人的3d胸腹腔镜系统
CN112245014A (zh) * 2020-10-30 2021-01-22 微创(上海)医疗机器人有限公司 一种医疗机器人、检测机械臂碰撞的方法及存储介质
CN112971996A (zh) * 2021-02-03 2021-06-18 上海微创医疗机器人(集团)股份有限公司 计算机可读存储介质、电子设备及手术机器人系统

Also Published As

Publication number Publication date
CN114099005A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
AU2019352792B2 (en) Indicator system
US20110306986A1 (en) Surgical robot system using augmented reality, and method for controlling same
JP7166809B2 (ja) リアルタイム3次元(3d)心臓撮像におけるガラス状態ビューのためのシステム及び方法
KR20170127560A (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
CN107847274B (zh) 用于在机器人外科手术期间提供更新后的患者图像的方法和装置
CN106456148A (zh) 使用眼球凝视跟踪的医疗装置、系统和方法
KR20140112207A (ko) 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
JP2019162339A (ja) 手術支援システムおよび表示方法
US20200113636A1 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
JP7286948B2 (ja) 医療用観察システム、信号処理装置及び医療用観察方法
EP2901935B1 (en) Method and device for generating virtual endoscope image, and program
EP3733047A1 (en) Surgical system, image processing device, and image processing method
CN112971996B (zh) 计算机可读存储介质、电子设备及手术机器人系统
US20210298848A1 (en) Robotically-assisted surgical device, surgical robot, robotically-assisted surgical method, and system
US20230310098A1 (en) Surgery assistance device
CN114099005B (zh) 器械是否在视野内、是否被遮挡的判断法及能量显示方法
US11771508B2 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
KR20200132174A (ko) 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
CN215130034U (zh) 三维可视化手术辅助系统
CN112450995B (zh) 一种态势模拟内窥镜系统
CN114098993B (zh) 一种主手俯仰信息的获取方法
CN113317874A (zh) 一种医学图像处理装置及介质
CN114099006B (zh) 一种器械与内窥镜距离提示方法
US20200297446A1 (en) Method and Apparatus for Providing Improved Peri-operative Scans and Recall of Scan Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant