CN108113750B - 柔性手术器械跟踪方法、装置、设备及存储介质 - Google Patents
柔性手术器械跟踪方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN108113750B CN108113750B CN201711364739.0A CN201711364739A CN108113750B CN 108113750 B CN108113750 B CN 108113750B CN 201711364739 A CN201711364739 A CN 201711364739A CN 108113750 B CN108113750 B CN 108113750B
- Authority
- CN
- China
- Prior art keywords
- local tracking
- surgical instrument
- tracking area
- current
- flexible surgical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明适用医疗器械技术领域,提供了一种柔性手术器械跟踪方法、装置、设备及存储介质,该方法包括:根据当前时刻的手术图像,将柔性手术器械末端所在的、手术视野边缘的局部跟踪区域设置为当前局部跟踪区域,获取下一时刻的手术图像,以检测柔性手术器械末端在当前局部跟踪区域内的当前位置,根据当前位置获取柔性手术器械的移动轨迹并输出,若当前位置位于当前局部跟踪区域的边缘,则将在手术视野中拓展的下一局部跟踪区域设置为当前局部跟踪区域,若当前位置到达手术视野中的预设位置,则结束对柔性手术器械的跟踪,否则继续获取下一时刻的手术图像,从而有效地提高了柔性手术器械跟踪的效率和定位精度,保证了柔性手术器械跟踪的实时性。
Description
技术领域
本发明属于医疗器械技术领域,尤其涉及一种柔性手术器械跟踪方法、装置、设备及存储介质。
背景技术
在对机器人辅助手术中的柔性手术器械进行自动跟踪时,对柔性手术器械跟踪精度、视觉图像中柔性手术器械识别率、以及柔性手术器械跟踪实时性要求很高。
目前,机器人辅助手术中柔性手术器械的跟踪方法主要有电磁跟踪、超声跟踪和视觉跟踪等方法,其中,电磁跟踪方法容易受磁场影响导致柔性手术器械定位不准确,超声跟踪方法由于声波具有衍射性,对小型器械末端的跟踪不精确。例如,专利CN201210499929.4提出一种电磁定位的超声穿刺导航系统,采用电磁定位和超声影像相结合的方法对穿刺针进行定位导航,实时显示穿刺针的路径、任意角度较为清楚的针尖位置,由于电磁定位容易受磁场影响,该导航系统需要在无磁场或磁场干扰较弱的环境下进行定位,此外超声波的衍射性导致该导航系统无法对针尖位置进行精准跟踪。
柔性手术器械的视觉跟踪方法不存在磁场干扰、衍射等问题,然而,视觉跟踪方法需要通过提取不同时刻下的图像特征实现柔性手术器械的实时跟踪,图像处理速度较慢,此外,在光照分布不均匀的条件下,视觉跟踪方法无法估计连续多段时刻下的图像特征,图像特征提取容易出现局部特征丢失的情形,导致柔性手术器械跟踪失败。
发明内容
本发明的目的在于提供一种柔性手术器械跟踪方法、装置、设备及存储介质,旨在解决由于现有技术中柔术手术器械的跟踪效率不高、定位精度不足、以及跟踪实时性滞后严重的问题。
一方面,本发明提供了一种柔性手术器械跟踪方法,所述方法包括下述步骤:
获取摄像头采集的当前时刻的手术图像,根据所述当前时刻的手术图像检测手术视野边缘的局部跟踪区域是否存在柔性手术器械;
当所述手术视野边缘的局部跟踪区域存在所述柔性手术器械时,将所述柔性手术器械末端所在的局部跟踪区域设置为当前局部跟踪区域;
获取所述摄像头采集的下一时刻的手术图像,在所述下一时刻的手术图像中检测所述柔性手术器械末端在所述当前局部跟踪区域内的当前位置,根据所述当前位置,获取所述柔性手术器械的移动轨迹并输出;
判断所述当前位置是否位于所述当前局部跟踪区域的边缘,是则根据所述当前位置在所述手术视野中拓展下一局部跟踪区域,将所述下一局部跟踪区域设置为所述当前局部跟踪区域;
判断所述当前位置是否到达所述手术视野中的预设位置,是则结束对所述柔性手术器械的跟踪,否则跳转至获取所述摄像头采集的下一时刻的手术图像的步骤。
另一方面,本发明提供了一种柔性手术器械跟踪装置,所述装置包括:
边缘检测单元,用于获取摄像头采集的当前时刻的手术图像,根据所述当前时刻的手术图像检测手术视野边缘的局部跟踪区域是否存在柔性手术器械;
区域设置单元,用于当所述手术视野边缘的局部跟踪区域存在所述柔性手术器械时,将所述柔性手术器械末端所在的局部跟踪区域设置为当前局部跟踪区域;
轨迹输出单元,用于获取所述摄像头采集的下一时刻的手术图像,在所述下一时刻的手术图像中检测所述柔性手术器械末端在所述当前局部跟踪区域内的当前位置,根据所述当前位置,获取所述柔性手术器械的移动轨迹并输出;
区域拓展单元,用于判断所述当前位置是否位于所述当前局部跟踪区域的边缘,是则根据所述当前位置在所述手术视野中拓展下一局部跟踪区域,将所述下一局部跟踪区域设置为所述当前局部跟踪区域;以及
跟踪结束单元,用于判断所述当前位置是否到达所述手术视野中的预设位置,是则结束对所述柔性手术器械的跟踪,否则由所述轨迹输出单元执行获取所述摄像头采集的下一时刻的手术图像的操作。
另一方面,本发明还提供了一种医学设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述柔性手术器械跟踪方法所述的步骤。
另一方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述柔性手术器械跟踪方法所述的步骤。
本发明根据当前时刻的手术图像,将柔性手术器械末端所在的、手术视野边缘的局部跟踪区域设置为当前局部跟踪区域,根据下一时刻的手术图像,检测柔性手术器械末端在当前局部跟踪区域内的当前位置,根据当前位置获取柔性手术器械的移动轨迹并输出,若当前位置位于当前局部跟踪区域的边缘,则将手术视野中拓展的下一局部跟踪区域设置为当前局部跟踪区域,若当前位置到达手术视野的预设位置,则结束对柔性手术器械的跟踪,否则继续获取下一时刻的手术图像,以对柔性手术器械进行跟踪,从而在提高图像处理速度的基础上,有效提高了柔性手术器械跟踪的效率和定位精度,保证了柔性手术器械跟踪的实时性。
附图说明
图1是本发明实施例一提供的柔性手术器械跟踪方法的实现流程图;
图2是本发明实施例一提供的柔性手术器械跟踪方法中根据柔性手术器械末端的当前位置在手术视野中拓展下一局部跟踪区域的示例图;
图3是本发明实施例一提供的柔性手术器械跟踪方法中当柔性手术器械末端的当前位置位于当前局部跟踪区域两边缘的交点处时在手术视野中拓展下一局部跟踪区域的示例图;
图4是本发明实施例二提供的柔性手术器械跟踪装置的结构示意图;
图5是本发明实施例二提供的柔性手术器械跟踪装置的优选结构示意图;以及
图6是本发明实施例三提供的医学设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述:
实施例一:
图1示出了本发明实施例一提供的柔性手术器械跟踪方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S101中,获取摄像头采集的当前时刻的手术图像。
在步骤S102中,根据当前时刻的手术图像检测手术视野边缘的局部跟踪区域是否存在柔性手术器械。
本发明实施例适用于对柔性手术器械的移动轨迹进行跟踪的平台或系统。手术视野为用来显示手术图像的窗口。可预先根据手术视野的大小将手术视野划分为多个局部跟踪区域,作为示例地,手术视野的面积可表示为W×H,W、H分别为手术视野的宽度、高度,可将手术视野划分为m×n(m≥1,n≥1)个局部跟踪区域,每个局部跟踪区域的宽度和高度分别为W/m、H/n。
在本发明实施例中,获取摄像头采集的当前时刻的手术图像,手术视野的每个局部跟踪区域分别相应地显示着手术图像的图像块,先对手术视野边缘的局部跟踪区域处的图像块进行灰度化处理,获得手术视野边缘的局部跟踪区域处图像块的灰度分布特征值,对这些灰度分布特征进行二值化,检测二值化后的图像中是否存在柔性手术器械的移动轨迹,若存在,则认为手术视野边缘的局部跟踪区域存在柔性手术器械,此时执行步骤S103,否则认为手术视野边缘的局部跟踪区域不存在柔性手术器械,跳转至步骤S101继续获取摄像头拍摄的手术图像。其中,当手术图像整体亮度不均时,可为不同局部跟踪区域的二值化设置不同的二值化参数,从而有效地解决了图像亮度不均导致柔性手术器械定位不精准或跟踪失败的问题,进而提高柔性手术器械跟踪方法的适用性。
在步骤S103中,将柔性手术器械末端所在的局部跟踪区域设置为当前局部跟踪区域。
在步骤S104中,获取摄像头采集的下一时刻的手术图像,在下一时刻的手术图像中检测柔性手术器械末端在当前局部跟踪区域内的当前位置,根据当前位置,获取柔性手术器械的移动轨迹并输出。
在本发明实施例中,在确定手术视野边缘的局部跟踪区域存在了柔性手术器械时,将手术视野边缘、柔性手术器械所在的局部跟踪区域设置当前局部跟踪区域,并获取摄像头采集的下一时刻的手术图像,从下一时刻的手术图像中获得柔性手术器械末端在当前局部跟踪区域内的当前位置,以对柔性手术器械的移动轨迹进行实时跟踪。
具体地,在获取到摄像头采集的下一时刻的手术图像时,可通过对位于当前局部跟踪区域内的图像块进行灰度化处理和二值化,来检测柔性手术器械在当前局部跟踪区域内的当前位置,该当前位置结合柔性手术器械上一时刻在当前局部跟踪区域内的位置,得到柔性手术器械的移动轨迹并输出。
在步骤S105中,判断柔性手术器械末端的当前位置是否位于当前局部跟踪区域的边缘。
在本发明实施例中,检测柔性手术器械的当前位置是否位于当前局部跟踪区域的边缘,若在,可认为柔性手术器械末端即将离开当前局部跟踪区域,需要对当前局部跟踪区域进行更新,执行步骤S106,否则,执行步骤S107。
在步骤S106中,根据柔性手术器械末端的当前位置在手术视野中拓展下一局部跟踪区域,将下一局部跟踪区域设置为当前局部跟踪区域。
在本发明实施例中,当柔性手术器械末端的当前位置位于当前局部跟踪区域的边缘时,以柔性手术器械末端的当前位置为中心点,在当前位置所在边缘处得到下一局部跟踪区域的一条边缘,结合该边缘和当前局部跟踪区域的大小,得到与当前局部跟踪区域形状大小相同的下一局部跟踪区域,若下一局部跟踪区域的部分区域超出了手术视野,则将下一局部跟踪区域未超出手术视野的部分设置为当前局部跟踪区域。例如,图2中的(a)(b)为根据柔性手术器械末端的当前位置在手术视野中拓展下一局部跟踪区域的示例图,其中,(a)、(b)中的实线方框内的区域为当前局部跟踪区域、虚线方框内的区域为下一局部跟踪区域、曲线表示柔性手术器械的移动轨迹、以及实线方框边缘上的黑色点为柔性手术器械末端的当前位置。
在本发明实施例中,将拓展得到的下一局部跟踪区域设置为当前局部跟踪区域,完成当前局部跟踪区域的更新,从而通过在当前局部跟踪区域查找柔性手术器械末端的当前位置,而不是在整张手术图像中查找,有效地提高了图像处理速度,进而提高柔性手术器械跟踪的效率和实时性。
优选地,当柔性手术器械末端的当前位置位于当前局部跟踪区域两边缘的交点处时,确定柔性手术器械的移动轨迹在交点处的切线,计算该切线分别与当前局部跟踪区域两边缘的夹角,以柔性手术器械末端的当前位置为中点,以与该切线夹角最小的边缘为下一局部跟踪区域边缘的位置,再根据下一局部跟踪区域的边缘确定一个与当前局部跟踪区域形状大小一致的下一局部跟踪区域,若下一局部跟踪区域的部分区域超出了手术视野,则将下一局部跟踪区域未超出手术视野的部分设置为当前局部跟踪区域,从而有效地提高了柔性手术器械跟踪的准确性。
作为示例地,如图3所示,实曲线为柔性手术器械的移动轨迹,实线方框内的区域为当前局部跟踪区域,C点为柔性手术器械末端的当前位置,也为当前局部跟踪区域两边缘的交点,Lc为即柔性手术器械的移动轨迹在柔性手术器械末端的当前位置处的切线方向,La和Lb为当前局部跟踪区域两边缘线的方向,α和β分别为La与Lc、Lb与Lc的夹角,当α<β时,将虚线方框32内的区域设置为下一局部跟踪区域,否则将虚线方框31内的区域设置为下一局部跟踪区域。
在步骤S107中,判断柔性手术器械末端的当前位置是否到达手术视野中的预设位置。
在本发明实施例中,通过判断柔性手术器械末端的当前位置是否到达手术视野的边缘、或者用户预设的手术目标位置,来判断柔性手术器械末端的当前位置是否到达手术视野中的预设位置,满足时执行步骤S108,否则跳转至步骤S104,继续对柔性手术器械进行跟踪。
在步骤S108中,结束对柔性手术器械的跟踪。
在本发明实施例中,在接收到用户的结束指令时,也可结束对柔性手术器械的跟踪。
在本发明实施例中,根据摄像头采集的手术图像,确定手术视野边缘的局部跟踪区域是否存在柔性手术器械,并确定柔性手术器械末端在不同局部跟踪区域的位置,得到柔性手术器械的移动轨迹,从而每次仅对一个局部跟踪区域内的图像块进行处理,有效地提高了图像处理速度,且解决了图像光照不均带来定位精度不足的问题,进而有效地提高了柔性手术器械的跟踪效率和定位精度,保证了柔性手术器械跟踪的实时性。
实施例二:
图4示出了本发明实施例二提供的柔性手术器械跟踪装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:
边缘检测单元41,用于获取摄像头采集的当前时刻的手术图像,根据当前时刻的手术图像检测手术视野边缘的局部跟踪区域是否存在柔性手术器械。
在本发明实施例中,手术视野为用来显示手术图像的窗口。可预先根据手术视野的大小将手术视野划分为多个局部跟踪区域,作为示例地,手术视野的面积可表示为W×H,W、H分别为手术视野的宽度、高度,可将手术视野划分为m×n(m≥1,n≥1)个局部跟踪区域,每个局部跟踪区域的宽度和高度分别为W/m、H/n。
在本发明实施例中,获取摄像头采集的当前时刻的手术图像,手术视野的每个局部跟踪区域分别相应地显示着手术图像的图像块,先对手术视野边缘的局部跟踪区域处的图像块进行灰度化处理,获得手术视野边缘的局部跟踪区域处图像块的灰度分布特征值,对这些灰度分布特征进行二值化,检测二值化后的图像中是否存在柔性手术器械的移动轨迹,若存在,则认为手术视野边缘的局部跟踪区域存在柔性手术器械,否则继续获取摄像头拍摄的图像、检测手术视野边缘的局部跟踪区域是否存在柔性手术器械。其中,当手术图像整体亮度不均时,可为不同局部跟踪区域的二值化设置不同的二值化参数,从而有效地解决了图像亮度不均导致柔性手术器械定位不精准或跟踪失败的问题,进而提高柔性手术器械跟踪方法的适用性。
区域设置单元42,用于当手术视野边缘的局部跟踪区域存在柔性手术器械时,将柔性手术器械末端所在的局部跟踪区域设置为当前局部跟踪区域。
轨迹输出单元43,用于获取摄像头采集的下一时刻的手术图像,在下一时刻的手术图像中检测柔性手术器械末端在当前局部跟踪区域内的当前位置,根据当前位置,获取柔性手术器械的移动轨迹并输出。
在本发明实施例中,,在确定手术视野边缘的局部跟踪区域存在了柔性手术器械时,将手术视野边缘、柔性手术器械所在的局部跟踪区域设置当前局部跟踪区域,并获取摄像头采集的下一时刻的手术图像,从下一时刻的手术图像中获得柔性手术器械末端在当前局部跟踪区域内的当前位置,以对柔性手术器械的移动轨迹进行实时跟踪。
具体地,在获取到摄像头采集的下一时刻的手术图像时,可通过对位于当前局部跟踪区域内的图像块进行灰度化处理和二值化,来检测柔性手术器械在当前局部跟踪区域内的当前位置,该当前位置结合柔性手术器械上一时刻在当前局部跟踪区域内的位置,得到柔性手术器械的移动轨迹并输出。
区域拓展单元44,用于判断当前位置是否位于当前局部跟踪区域的边缘,是则根据当前位置在手术视野中拓展下一局部跟踪区域,将下一局部跟踪区域设置为当前局部跟踪区域。
在本发明实施例中,检测柔性手术器械末端的当前位置是否位于当前局部跟踪区域的边缘,若在,可认为柔性手术器械末端即将离开当前局部跟踪区域,需要对当前局部跟踪区域进行更新。具体地,当柔性手术器械末端的当前位置位于当前局部跟踪区域的边缘时,以柔性手术器械末端的当前位置为中心点,在当前位置所在边缘处得到下一局部跟踪区域的一条边缘,结合该边缘和当前局部跟踪区域的大小,得到与当前局部跟踪区域形状大小相同的下一局部跟踪区域,若下一局部跟踪区域的部分区域超出了手术视野,则将下一局部跟踪区域未超出手术视野的部分设置为当前局部跟踪区域。将拓展得到的下一局部跟踪区域设置为当前局部跟踪区域,完成当前局部跟踪区域的更新,从而通过在当前局部跟踪区域查找柔性手术器械末端的当前位置,而不是在整张手术图像中查找,有效地提高了图像处理速度,进而提高柔性手术器械跟踪的效率和实时性
优选地,当柔性手术器械末端的当前位置位于当前局部跟踪区域两边缘的交点处时,确定柔性手术器械的移动轨迹在交点处的切线,计算该切线分别与当前局部跟踪区域两边缘的夹角,以柔性手术器械末端的当前位置为中点,以与该切线夹角最小的边缘为下一局部跟踪区域边缘的位置,再根据下一局部跟踪区域的边缘确定一个与当前局部跟踪区域形状大小一致的下一局部跟踪区域,若下一局部跟踪区域的部分区域超出了手术视野,则将下一局部跟踪区域未超出手术视野的部分设置为当前局部跟踪区域,从而有效地提高了柔性手术器械跟踪的准确性。
跟踪结束单元45,用于判断当前位置是否到达手术视野中的预设位置,是则结束对柔性手术器械的跟踪,否则由轨迹输出单元43执行获取摄像头采集的下一时刻的手术图像的操作。
在本发明实施例中,通过判断柔性手术器械末端的当前位置是否到达手术视野的边缘、或者用户预设的手术目标位置,来判断柔性手术器械末端的当前位置是否到达手术视野中的预设位置。此外,在接收到用户的结束指令时,也可结束对柔性手术器械的跟踪。
优选地,如图5所示,边缘检测单元41包括:
图像处理单元511,用于将手术视野划分为多个局部跟踪区域,对位于手术视野边缘的局部跟踪区域对应的图像块进行灰度化处理和二值化;以及
图像检测单元512,用于检测二值化后的图像块中是否存在柔性手术器械的移动轨迹,以确定手术视野边缘的局部跟踪区域是否存在柔性手术器械。
优选地,区域拓展单元44包括
第一拓展单元541,用于以当前位置为下一局部跟踪区域边缘的中点,在手术视野中拓展与当前局部跟踪区域形状大小一致的下一跟踪局部区域。
优选地,区域拓展单元44还包括:
切线确定单元542,用于当当前位置位于当前局部跟踪区域两边缘的交点处时,确定柔性手术器械的移动轨迹在交点处的切线;
角度比较单元543,计算切线分别与当前局部跟踪区域两边缘的夹角,获得与切线夹角最小的边缘;以及
第二拓展单元544,用于以当前位置为下一局部跟踪区域边缘的中点,以与切线夹角最小的边缘为下一局部跟踪区域边缘所在位置,在手术视野中拓展与当前局部跟踪区域形状大小一致的下一局部跟踪区域。
在本发明实施例中,根据摄像头采集的手术图像,确定手术视野边缘的局部跟踪区域是否存在柔性手术器械,并确定柔性手术器械末端在不同局部跟踪区域的位置,得到柔性手术器械的移动轨迹,从而每次仅对一个局部跟踪区域内的图像块进行处理,有效地提高了图像处理速度,且解决了图像光照不均带来定位精度不足的问题,进而有效地提高了柔性手术器械的跟踪效率和定位精度,保证了柔性手术器械跟踪的实时性。
在本发明实施例中,柔性手术器械跟踪装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。
实施例三:
图6示出了本发明实施例三提供的医学设备的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
本发明实施例的医学设备6包括处理器60、存储器61以及存储在存储器61中并可在处理器60上运行的计算机程序62。该处理器60执行计算机程序62时实现上述方法实施例中的步骤,例如图1所示的步骤S101至S108。或者,处理器60执行计算机程序62时实现上述装置实施例中各单元的功能,例如图4所示单元41至45的功能。
在本发明实施例中,根据当前时刻的手术图像,将柔性手术器械末端所在的、手术视野边缘的局部跟踪区域设置为当前局部跟踪区域,根据下一时刻的手术图像,检测柔性手术器械末端在当前局部跟踪区域内的当前位置,根据当前位置获取柔性手术器械的移动轨迹并输出,若当前位置位于当前局部跟踪区域的边缘,则将手术视野中拓展的下一局部跟踪区域设置为当前局部跟踪区域,若当前位置到达手术视野的预设位置,则结束对柔性手术器械的跟踪,否则继续获取下一时刻的手术图像,以对柔性手术器械进行跟踪,从而在提高图像处理速度的基础上,有效提高了柔性手术器械跟踪的效率和定位精度,保证了柔性手术器械跟踪的实时性。
实施例四:
在本发明实施例中,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法实施例中的步骤,例如,图1所示的步骤S101至S108。或者,该计算机程序被处理器执行时实现上述装置实施例中各单元的功能,例如图4所示单元41至45的功能。
在本发明实施例中,根据当前时刻的手术图像,将柔性手术器械末端所在的、手术视野边缘的局部跟踪区域设置为当前局部跟踪区域,根据下一时刻的手术图像,检测柔性手术器械末端在当前局部跟踪区域内的当前位置,根据当前位置获取柔性手术器械的移动轨迹并输出,若当前位置位于当前局部跟踪区域的边缘,则将手术视野中拓展的下一局部跟踪区域设置为当前局部跟踪区域,若当前位置到达手术视野的预设位置,则结束对柔性手术器械的跟踪,否则继续获取下一时刻的手术图像,以对柔性手术器械进行跟踪,从而在提高图像处理速度的基础上,有效提高了柔性手术器械跟踪的效率和定位精度,保证了柔性手术器械跟踪的实时性。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质,例如,ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种柔性手术器械跟踪装置,其特征在于,所述装置包括:
边缘检测单元,用于获取摄像头采集的当前时刻的手术图像,根据所述当前时刻的手术图像检测手术视野边缘的局部跟踪区域是否存在柔性手术器械;
区域设置单元,用于当所述手术视野边缘的局部跟踪区域存在所述柔性手术器械时,将所述柔性手术器械末端所在的局部跟踪区域设置为当前局部跟踪区域;
轨迹输出单元,用于获取所述摄像头采集的下一时刻的手术图像,在所述下一时刻的手术图像中检测所述柔性手术器械末端在所述当前局部跟踪区域内的当前位置,根据所述当前位置,获取所述柔性手术器械的移动轨迹并输出;
区域拓展单元,用于判断所述当前位置是否位于所述当前局部跟踪区域的边缘,是则根据所述当前位置在所述手术视野中拓展下一局部跟踪区域,将所述下一局部跟踪区域设置为所述当前局部跟踪区域;以及
跟踪结束单元,用于判断所述当前位置是否到达所述手术视野中的预设位置,是则结束对所述柔性手术器械的跟踪,否则由所述轨迹输出单元执行获取所述摄像头采集的下一时刻的手术图像的操作;
所述边缘检测单元包括:
图像处理单元,用于将所述手术视野划分为多个局部跟踪区域,对位于所述手术视野边缘的局部跟踪区域对应的图像块进行灰度化处理和二值化;以及
图像检测单元,用于检测所述二值化后的图像块中是否存在所述柔性手术器械的移动轨迹,以确定所述手术视野边缘的局部跟踪区域是否存在所述柔性手术器械。
2.如权利要求1所述的装置,其特征在于,所述区域拓展单元包括:
第一拓展单元,用于以所述当前位置为所述下一局部跟踪区域边缘的中点,在所述手术视野中拓展与所述当前局部跟踪区域形状大小一致的所述下一局部跟踪区域。
3.如权利要求1所述的装置,其特征在于,所述区域拓展单元还包括:
切线确定单元,用于当所述当前位置位于所述当前局部跟踪区域两边缘的交点处时,确定所述柔性手术器械的移动轨迹在所述交点处的切线;
角度比较单元,计算所述切线分别与所述当前局部跟踪区域两边缘的夹角,获得与所述切线夹角最小的边缘;以及
第二拓展单元,用于以所述当前位置为所述下一局部跟踪区域边缘的中点,以与所述切线夹角最小的边缘为所述下一局部跟踪区域边缘所在位置,在所述手术视野中拓展与所述当前局部跟踪区域形状大小一致的所述下一局部跟踪区域。
4.一种医学设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述医学设备还包括如权利要求1-3任一项所述的柔性手术器械跟踪装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711364739.0A CN108113750B (zh) | 2017-12-18 | 2017-12-18 | 柔性手术器械跟踪方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711364739.0A CN108113750B (zh) | 2017-12-18 | 2017-12-18 | 柔性手术器械跟踪方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108113750A CN108113750A (zh) | 2018-06-05 |
CN108113750B true CN108113750B (zh) | 2020-08-18 |
Family
ID=62229338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711364739.0A Active CN108113750B (zh) | 2017-12-18 | 2017-12-18 | 柔性手术器械跟踪方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108113750B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112220558B (zh) * | 2020-09-22 | 2022-03-08 | 哈尔滨工业大学 | 一种手术机械臂及其形状测量方法 |
CN112587244A (zh) * | 2020-12-15 | 2021-04-02 | 深圳市精锋医疗科技有限公司 | 手术机器人及其控制方法、控制装置 |
CN113288452B (zh) * | 2021-04-23 | 2022-10-04 | 北京大学 | 手术质量检测方法及装置 |
CN113749700B (zh) * | 2021-11-09 | 2022-02-11 | 极限人工智能(北京)有限公司 | 一种内镜器械更换方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1411281A (zh) * | 2001-09-29 | 2003-04-16 | Lg电子株式会社 | 提取对象区域的方法 |
CN101931753A (zh) * | 2009-06-18 | 2010-12-29 | 富士胶片株式会社 | 目标跟踪和图像跟踪设备、操作控制方法及数字摄像机 |
CN103815972A (zh) * | 2014-02-26 | 2014-05-28 | 上海齐正微电子有限公司 | 腹胸腔镜的手术区域自动跟踪系统及方法 |
CN105662584A (zh) * | 2014-12-02 | 2016-06-15 | X-Nav技术有限责任公司 | 用于手术程序的视觉导航显示 |
CN107209939A (zh) * | 2015-01-22 | 2017-09-26 | 迈柯唯有限公司 | 用于在使用至少一个医学仪器外科手术期间以给出图像的方式支持手术医生的辅助设备和方法 |
CN107440748A (zh) * | 2017-07-21 | 2017-12-08 | 西安交通大学医学院第附属医院 | 一种手术野智能化自动跟踪腔镜系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100561462B1 (ko) * | 2003-07-09 | 2006-03-16 | 삼성전자주식회사 | 화상형성시스템에 있어서 영상처리방법 및 장치 |
US8494614B2 (en) * | 2009-08-31 | 2013-07-23 | Regents Of The University Of Minnesota | Combination localization system |
CN106909885A (zh) * | 2017-01-19 | 2017-06-30 | 博康智能信息技术有限公司上海分公司 | 一种基于目标候选的目标跟踪方法及装置 |
-
2017
- 2017-12-18 CN CN201711364739.0A patent/CN108113750B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1411281A (zh) * | 2001-09-29 | 2003-04-16 | Lg电子株式会社 | 提取对象区域的方法 |
CN101931753A (zh) * | 2009-06-18 | 2010-12-29 | 富士胶片株式会社 | 目标跟踪和图像跟踪设备、操作控制方法及数字摄像机 |
CN103815972A (zh) * | 2014-02-26 | 2014-05-28 | 上海齐正微电子有限公司 | 腹胸腔镜的手术区域自动跟踪系统及方法 |
CN105662584A (zh) * | 2014-12-02 | 2016-06-15 | X-Nav技术有限责任公司 | 用于手术程序的视觉导航显示 |
CN107209939A (zh) * | 2015-01-22 | 2017-09-26 | 迈柯唯有限公司 | 用于在使用至少一个医学仪器外科手术期间以给出图像的方式支持手术医生的辅助设备和方法 |
CN107440748A (zh) * | 2017-07-21 | 2017-12-08 | 西安交通大学医学院第附属医院 | 一种手术野智能化自动跟踪腔镜系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108113750A (zh) | 2018-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108113750B (zh) | 柔性手术器械跟踪方法、装置、设备及存储介质 | |
US9355458B2 (en) | Image processing apparatus, method and program | |
US10466797B2 (en) | Pointing interaction method, apparatus, and system | |
EP3139844B1 (en) | Location of fragments during lithotripsy | |
US9119559B2 (en) | Method and system of generating a 3D visualization from 2D images | |
US11793483B2 (en) | Target probe placement for lung ultrasound | |
JP2017524455A (ja) | 血管を識別する超音波システム及び方法 | |
KR101733116B1 (ko) | 고속 스테레오 카메라를 이용한 구형 물체의 비행 정보 측정 시스템 및 방법 | |
JP5748636B2 (ja) | 画像処理装置および方法並びにプログラム | |
KR20200068880A (ko) | 침 시술 가이드 기능을 가진 초음파 영상 기기 | |
JP2020527080A (ja) | 胎児超音波画像処理 | |
WO2018113284A1 (zh) | 肛门括约肌图像处理方法及装置、超声设备 | |
KR20150091748A (ko) | 3차원 초음파 프로브의 스캔 위치 가이드 방법 및 이 방법이 포함된 초음파 진단기 | |
EP3089107B1 (en) | Computer program product and method for determining lesion similarity of medical image | |
WO2015136853A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20090116731A1 (en) | Method and system for detection of concha and intertragal notch point in 3D undetailed ear impressions | |
US11481867B2 (en) | Device and method for registering three-dimensional data | |
CN104507392A (zh) | 图像处理装置及图像处理方法 | |
US9443312B2 (en) | Line parametric object estimation | |
JP6191328B2 (ja) | 超音波診断装置、超音波画像解析方法、およびプログラム | |
JP2024516814A (ja) | 超音波画像における血管の表示 | |
JP2006090957A (ja) | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 | |
WO2019119194A1 (zh) | 柔性手术器械跟踪方法、装置、设备及存储介质 | |
US20200305837A1 (en) | System and method for guided ultrasound imaging | |
JP6382031B2 (ja) | 超音波診断装置及びその制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |