CN114099005A - 器械是否在视野内、是否被遮挡的判断法及能量显示方法 - Google Patents
器械是否在视野内、是否被遮挡的判断法及能量显示方法 Download PDFInfo
- Publication number
- CN114099005A CN114099005A CN202111406773.6A CN202111406773A CN114099005A CN 114099005 A CN114099005 A CN 114099005A CN 202111406773 A CN202111406773 A CN 202111406773A CN 114099005 A CN114099005 A CN 114099005A
- Authority
- CN
- China
- Prior art keywords
- instrument
- visual field
- point
- judging whether
- shielded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种器械是否在视野内、是否被遮挡的判断法及能量显示方法,其中,器械是否在视野内的判断法包括以下步骤:1a.获取主手及器械的三维模型,根据设备参数对三维模型进行同步处理;2a.通过三维场景中内窥镜的视野范围,对器械腕部的点做是否在视野范围内的判断,若是,则器械在视野内,若否,则器械不在视野内。本发明可准确、快捷地向操作者提供器械是否在视野内、是否被遮挡的信息及能量器械的能量是否被激活,并作出提示,使内窥镜手术更为安全,效率更高。
Description
技术领域
本发明涉及医疗器械技术领域,特别是涉及一种器械在视野内是否被遮挡的判断方法。
背景技术
微创手术是指创伤比较微小的手术,相较于传统手术是一种新的手术方式,它通过一些新的技术手段,用最少的创伤代价来完成治疗,治疗的效果可以达到甚至超过传统手术。微创手术通常是利用胸腔镜、腹腔镜、关节镜等医疗器械和设备进行手术,其优点为创伤小、切口小、恢复快,以及手术中的出血比较少,手术后患者微创伤、失血少、术后感染少、术后恢复快。同时微创手术机器人系统通常使用主从式控制模式:操作者在对主手进行操作时,手部运动会带动主手随之运动,主手关节处传感器可以测量运动信息,通过主从控制算法将主手的运动映射到从手,从手各关节被动运动,带动手术器械实现相应运动。手术机器人的末端用来装载手术器械,其位置和姿态决定了手术操作的精确性。这样的方式极大的减轻了医生在手术过程中的体力劳动,同时达到精准手术的目的。微创手术的切口就是几个小孔,大概都是0.5~1cm的小孔。通过这些自然孔口或切口,操作者(例如,医师)可以插入微创医疗器械(包括外科手术器械、诊断器械、治疗器械或活检器械、还有内窥镜)以到达目标组织位置。而这些插入器械的末端都是被安装在器械控制臂上的。操作者在对控制台进行操作时,器械控制臂各关节被动运动,带动手术器械实现相应运动。
在实际手术过程中,因为内窥镜的视野有局限性,有可能器械出现在视野范围内,但是因为其他人体内脏等物体把器械遮挡了的情况,而不能看到手术器械,对手术的安全性及效率都造成了一定影响。
同时,当医生使用器械的能量功能时,现有技术中,医生需要通过观察视野内的器械画面去判断器械能量是否在使用。如果器械没有接触物体或被遮挡,医生则不太容易能通过画面中的图像判断来是否被打开。
因此本领域技术人员致力于开发一种器械是否在视野内、器械是否被遮挡的判断法及能量信息显示方法,提高手术的安全性。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是提供一种器械在视野内是否被遮挡的判断方法,提高手术的安全性。
为实现上述目的,本发明提供了一种器械是否在视野内的判断法,包括以下步骤:
1a.获取主手及器械的三维模型,根据设备参数对三维模型进行同步处理;
2a.通过三维场景中内窥镜的视野范围,对器械腕部的点做是否在视野范围内的判断,若是,则器械在视野内,若否,则器械不在视野内。
较佳的,所述步骤2)中,对器械腕部的点做视野范围内的判断方法如下:
21a.获取内窥镜上摄像头的坐标点、显示范围景深和视场角角度,求出视锥体;
22a.根据所述视锥体的各个点坐标,分别求出视锥体各个面的法向量;
23a.用器械腕部的点分别与各所述法向量做向量的点乘法,求其结果;若结果均为正值,说明器械腕部的点在视野内;若结果出现负值,说明器械腕部的点在该法向量代表的面之外,从而说明器械腕部的点在摄像机视野范围外。
较佳的,所述步骤2a中,器械腕部的点为器械腕部中心点。
本发明还提供一种器械是否被遮挡的判断法,包括如下步骤:
1b.判断器械是否在视野内,若是,进入步骤2b,若否,调整内窥镜角度直至器械在视野内;本步骤中,判断器械是否在视野内可采用前述判断方法;
2b.在器械模型上设定若干标记点,将这些坐标点转换为屏幕坐标,根据屏幕坐标去比较当前屏幕上面这个像素坐标的颜色值,如果颜色均与器械颜色相近,则为标记成功,若标记成功则判定器械在视野内未被遮挡,反之,判定为遮挡。
较佳的,所述步骤2b中,所述器械颜色为不锈钢的银色。
较佳的,还包括以下步骤:
3b.器械被遮挡时,在立体取景器中被遮挡器械对应位置处显示标记图标。
较佳的,所述标记图标包括器械编号信息及左主手或右主手控制信息。
较佳的,器械被遮挡时,在立体取景器中被遮挡器械对应的顶部位置处显示标记图标。
本发明还提供一种器械能量显示方法,包括以下步骤:
1c.判断器械是否在视野内,若是,进入步骤2c,若否,调整内窥镜角度直至器械在视野内;本步骤中,判断器械是否在视野内可采用前述判断方法;
2c.创建标记图标显示于立体取景器中器械对应位置处;
3c.获取器械能量状态,并根据器械的不同能量状态,显示不同颜色的标记图标。
较佳的,所述步骤3c中能量激活状态显示彩色标记图标,能量未激活时,显示灰黑图标。
本发明的有益效果是:本发明可准确、快捷地向操作者提供器械是否在视野内、是否被遮挡的信息及能量器械的能量是否被激活,并作出提示,使内窥镜手术更为安全,效率更高。
附图说明
图1是本发明实施例1流程示意图。
图2是本发明实施例2标记图标立体取景器屏幕第一显示图。
图3是本发明实施例2标记图标立体取景器屏幕第二显示图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
实施例1
如图1所示,一种器械是否在视野内的判断法,包括以下步骤:
1a.获取主手及器械的三维模型,根据设备参数对三维模型进行同步处理;本步骤中,可用OpenGL进行一比一的三维建模,并根据实际电机的运动参数,同步控制这个三维模型。
2a.通过三维场景中内窥镜的视野范围,对器械腕部的点做是否在视野范围内的判断,若是,则器械在视野内,若否,则器械不在视野内。本步骤中,器械腕部的点做视野范围内的判断方法如下:
21a.获取内窥镜上摄像头的坐标点、显示范围景深和视场角角度,求出视锥体;
22a.根据视锥体的各个点坐标,分别求出视锥体各个面的法向量;
23a.用器械腕部的点分别与各法向量做向量的点乘法,求其结果;若结果均为正值,说明器械腕部的点在视野内;若结果出现负值,说明器械腕部的点在该法向量代表的面之外,从而说明器械腕部的点在摄像机视野范围外。
器械腕部的点是指器械腕部中心点。
实施例2
本发明还提供一种器械是否被遮挡的判断法,包括如下步骤:
1b.判断器械是否在视野内,若是,进入步骤2b,若否,调整内窥镜角度直至器械在视野内;本步骤采用上述器械是否在视野内的判断法,判断器械是否在视野内。
2b.在器械模型上设定若干标记点,将这些坐标点转换为屏幕坐标,根据屏幕坐标去比较当前屏幕上面这个像素坐标的颜色值,如果颜色均与器械颜色相近,则为标记成功,若标记成功则判定器械在视野内未被遮挡,反之,判定为遮挡。
其中,器械颜色为不锈钢的银色。
本步骤中,屏幕上坐标的颜色值是否与器械颜色近似的判断方法为:将屏幕上坐标的RGB颜色转换为LAB,转换成LAB后采用CIEDE2000的色差公式计算出色差值,色差值为4.0△E以上表示颜色不相近;色差值小于4.0△E为颜色近似。
3b.器械被遮挡时,在立体取景器中被遮挡器械对应位置处显示标记图标。本实施例中,器械被遮挡时,在立体取景器中被遮挡器械对应的顶部位置处显示标记图标。标记图标包括器械编号信息及左主手或右主手控制信息。
具体可如图2和图3所示,器械被物体1遮住,标记图标2则在立体取景器中显示出来,包括一标准圆圈,在圆圈内用阿拉伯数字显示器械的编号,用L表示被左主手所控制,R表示被右主手控制。
器械可被左主手或右主手控制,每次手术过程中医生通过控制台扶手上的软件程序,进行主手控制分配。本发明把相应的控制结果,通过指令协议发送给主从控制服务器,并记录下每次分配的数据记录,当需要判断该器械由哪个主手所控制时,根据每次分配的结果进行显示即可。
实施例3
本发明还提供一种器械能量显示方法,包括以下步骤:
1c.判断器械是否在视野内,若是,进入步骤2c,若否,调整内窥镜角度直至器械在视野内;本步骤采用上述器械是否在视野内的判断法,判断器械是否在视野内。
2c.创建标记图标显示于立体取景器中器械对应位置处;
3c.获取器械能量状态,并根据器械的不同能量状态,显示不同颜色的标记图标,本实施例中能量激活状态显示彩色标记图标,能量未激活时,显示灰黑图标,而器械的能量是否激活可通过系统信息获取。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种器械是否在视野内的判断法,其特征是,包括以下步骤:
1a.获取主手及器械的三维模型,根据设备参数对三维模型进行同步处理;
2a.通过三维场景中内窥镜的视野范围,对器械腕部的点做是否在视野范围内的判断,若是,则器械在视野内,若否,则器械不在视野内。
2.如权利要求1所述的器械是否在视野内的判断法,其特征是,所述步骤2)中,对器械腕部的点做视野范围内的判断方法如下:
21a.获取内窥镜上摄像头的坐标点、显示范围景深和视场角角度,求出视锥体;
22a.根据所述视锥体的各个点坐标,分别求出视锥体各个面的法向量;
23a.用器械腕部的点分别与各所述法向量做向量的点乘法,求其结果;若结果均为正值,说明器械腕部的点在视野内;若结果出现负值,说明器械腕部的点在该法向量代表的面之外,从而说明器械腕部的点在摄像机视野范围外。
3.如权利要求1所述的器械是否在视野内的判断法,其特征是,所述步骤2a中,器械腕部的点为器械腕部中心点。
4.一种器械是否被遮挡的判断法,其特征是,包括如下步骤:
1b.利用如权利要求1至3任一所述的器械是否在视野内的判断法判断器械是否在视野内,若是,进入步骤2b,若否,调整内窥镜角度直至器械在视野内;
2b.在器械模型上设定若干标记点,将这些坐标点转换为屏幕坐标,根据屏幕坐标去比较当前屏幕上面这个像素坐标的颜色值,如果颜色均与器械颜色相近,则为标记成功,若标记成功则判定器械在视野内未被遮挡,反之,判定为遮挡。
5.如权利要求4所述的器械是否被遮挡的判断法,其特征是,所述步骤2b中,所述器械颜色为不锈钢的银色。
6.如权利要求4所述的器械是否被遮挡的判断法,其特征是,还包括以下步骤:
3b.器械被遮挡时,在立体取景器中被遮挡器械对应位置处显示标记图标。
7.如权利要求6所述的器械是否被遮挡的判断法,其特征是:所述标记图标包括器械编号信息及左主手或右主手控制信息。
8.如权利要求6所述的判断方法,其特征是:器械被遮挡时,在立体取景器中被遮挡器械对应的顶部位置处显示标记图标。
9.一种器械能量显示方法,其特征是,包括以下步骤:
1c.利用如权利要求1至3任一所述的器械是否在视野内的判断法判断器械是否在视野内,若是,进入步骤2c,若否,调整内窥镜角度直至器械在视野内;
2c.创建标记图标显示于立体取景器中器械对应位置处;
3c.获取器械能量状态,并根据器械的不同能量状态,显示不同颜色的标记图标。
10.如权利要求9所述的器械能量显示方法,其特征是:所述步骤3c中能量激活状态显示彩色标记图标,能量未激活时,显示灰黑图标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111406773.6A CN114099005B (zh) | 2021-11-24 | 2021-11-24 | 器械是否在视野内、是否被遮挡的判断法及能量显示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111406773.6A CN114099005B (zh) | 2021-11-24 | 2021-11-24 | 器械是否在视野内、是否被遮挡的判断法及能量显示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114099005A true CN114099005A (zh) | 2022-03-01 |
CN114099005B CN114099005B (zh) | 2023-09-15 |
Family
ID=80372251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111406773.6A Active CN114099005B (zh) | 2021-11-24 | 2021-11-24 | 器械是否在视野内、是否被遮挡的判断法及能量显示方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114099005B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060142657A1 (en) * | 2002-03-06 | 2006-06-29 | Mako Surgical Corporation | Haptic guidance system and method |
US20060258938A1 (en) * | 2005-05-16 | 2006-11-16 | Intuitive Surgical Inc. | Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery |
US20110118753A1 (en) * | 2009-11-13 | 2011-05-19 | Brandon Itkowitz | Master finger tracking device and method of use in a minimally invasive surgical system |
US20120071892A1 (en) * | 2010-09-21 | 2012-03-22 | Intuitive Surgical Operations, Inc. | Method and system for hand presence detection in a minimally invasive surgical system |
CN107530130A (zh) * | 2015-03-17 | 2018-01-02 | 直观外科手术操作公司 | 用于在远程操作医疗系统中的器械的屏幕识别的系统和方法 |
US20180042680A1 (en) * | 2005-06-06 | 2018-02-15 | Intuitive Surgical Operations, Inc. | Interactive user interfaces for minimally invasive telesurgical systems |
CN109288591A (zh) * | 2018-12-07 | 2019-02-01 | 微创(上海)医疗机器人有限公司 | 手术机器人系统 |
CN110236693A (zh) * | 2014-03-17 | 2019-09-17 | 直观外科手术操作公司 | 用于遥控操作医疗系统中的器械的屏外指示的系统和方法 |
CN110931121A (zh) * | 2019-11-29 | 2020-03-27 | 重庆邮电大学 | 一种基于Hololens的远程手术指导装置及操作方法 |
CN111184577A (zh) * | 2014-03-28 | 2020-05-22 | 直观外科手术操作公司 | 器械在视野中的定量三维可视化 |
CN111863261A (zh) * | 2020-07-18 | 2020-10-30 | 纽智医疗科技(苏州)有限公司 | 一种通过适应性训练缓解虚拟现实病的方法及系统 |
CN112245014A (zh) * | 2020-10-30 | 2021-01-22 | 微创(上海)医疗机器人有限公司 | 一种医疗机器人、检测机械臂碰撞的方法及存储介质 |
CN112353361A (zh) * | 2020-09-21 | 2021-02-12 | 南京速锋医疗科技有限公司 | 基于主从一体智能扶镜机器人的3d胸腹腔镜系统 |
CN112971996A (zh) * | 2021-02-03 | 2021-06-18 | 上海微创医疗机器人(集团)股份有限公司 | 计算机可读存储介质、电子设备及手术机器人系统 |
-
2021
- 2021-11-24 CN CN202111406773.6A patent/CN114099005B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060142657A1 (en) * | 2002-03-06 | 2006-06-29 | Mako Surgical Corporation | Haptic guidance system and method |
US20060258938A1 (en) * | 2005-05-16 | 2006-11-16 | Intuitive Surgical Inc. | Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery |
US20180042680A1 (en) * | 2005-06-06 | 2018-02-15 | Intuitive Surgical Operations, Inc. | Interactive user interfaces for minimally invasive telesurgical systems |
US20110118753A1 (en) * | 2009-11-13 | 2011-05-19 | Brandon Itkowitz | Master finger tracking device and method of use in a minimally invasive surgical system |
US20120071892A1 (en) * | 2010-09-21 | 2012-03-22 | Intuitive Surgical Operations, Inc. | Method and system for hand presence detection in a minimally invasive surgical system |
CN110236693A (zh) * | 2014-03-17 | 2019-09-17 | 直观外科手术操作公司 | 用于遥控操作医疗系统中的器械的屏外指示的系统和方法 |
CN111184577A (zh) * | 2014-03-28 | 2020-05-22 | 直观外科手术操作公司 | 器械在视野中的定量三维可视化 |
CN107530130A (zh) * | 2015-03-17 | 2018-01-02 | 直观外科手术操作公司 | 用于在远程操作医疗系统中的器械的屏幕识别的系统和方法 |
CN109288591A (zh) * | 2018-12-07 | 2019-02-01 | 微创(上海)医疗机器人有限公司 | 手术机器人系统 |
CN110931121A (zh) * | 2019-11-29 | 2020-03-27 | 重庆邮电大学 | 一种基于Hololens的远程手术指导装置及操作方法 |
CN111863261A (zh) * | 2020-07-18 | 2020-10-30 | 纽智医疗科技(苏州)有限公司 | 一种通过适应性训练缓解虚拟现实病的方法及系统 |
CN112353361A (zh) * | 2020-09-21 | 2021-02-12 | 南京速锋医疗科技有限公司 | 基于主从一体智能扶镜机器人的3d胸腹腔镜系统 |
CN112245014A (zh) * | 2020-10-30 | 2021-01-22 | 微创(上海)医疗机器人有限公司 | 一种医疗机器人、检测机械臂碰撞的方法及存储介质 |
CN112971996A (zh) * | 2021-02-03 | 2021-06-18 | 上海微创医疗机器人(集团)股份有限公司 | 计算机可读存储介质、电子设备及手术机器人系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114099005B (zh) | 2023-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108601670B (zh) | 图像处理装置和方法、手术系统和手术构件 | |
KR102501099B1 (ko) | 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법 | |
US6656110B1 (en) | Endoscopic system | |
US20110306986A1 (en) | Surgical robot system using augmented reality, and method for controlling same | |
CN106456148A (zh) | 使用眼球凝视跟踪的医疗装置、系统和方法 | |
KR20170127561A (ko) | 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법 | |
KR20080089376A (ko) | 3차원 텔레스트레이션을 제공하는 의료용 로봇 시스템 | |
JP2019010513A (ja) | リアルタイム3次元(3d)心臓撮像におけるガラス状態ビューのためのシステム及び方法 | |
JP2019162339A (ja) | 手術支援システムおよび表示方法 | |
CN111067468B (zh) | 用于控制内窥镜系统的方法、设备及存储介质 | |
EP2901935B1 (en) | Method and device for generating virtual endoscope image, and program | |
EP3075342B1 (en) | Microscope image processing device and medical microscope system | |
CN112971996B (zh) | 计算机可读存储介质、电子设备及手术机器人系统 | |
Koreeda et al. | Development and testing of an endoscopic pseudo-viewpoint alternating system | |
Dumpert et al. | Semi-autonomous surgical tasks using a miniature in vivo surgical robot | |
US20230310098A1 (en) | Surgery assistance device | |
EP3840629B1 (en) | Image correction of a surgical endoscope video stream | |
CN114099005B (zh) | 器械是否在视野内、是否被遮挡的判断法及能量显示方法 | |
KR20200132174A (ko) | 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법 | |
Vrielink et al. | Intuitive gaze-control of a robotized flexible endoscope | |
WO2020203405A1 (ja) | 医療用観察システムおよび方法、並びに医療用観察装置 | |
CN113317874A (zh) | 一种医学图像处理装置及介质 | |
CN114099006B (zh) | 一种器械与内窥镜距离提示方法 | |
US20200297446A1 (en) | Method and Apparatus for Providing Improved Peri-operative Scans and Recall of Scan Data | |
CN114098993B (zh) | 一种主手俯仰信息的获取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |