CN114224448A - 穿刺路径规划装置、设备和计算机可读存储介质 - Google Patents
穿刺路径规划装置、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN114224448A CN114224448A CN202111571950.6A CN202111571950A CN114224448A CN 114224448 A CN114224448 A CN 114224448A CN 202111571950 A CN202111571950 A CN 202111571950A CN 114224448 A CN114224448 A CN 114224448A
- Authority
- CN
- China
- Prior art keywords
- puncture
- target
- point
- area
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 54
- 230000003902 lesion Effects 0.000 claims description 70
- 238000004590 computer program Methods 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 description 71
- 238000002604 ultrasonography Methods 0.000 description 30
- 210000004204 blood vessel Anatomy 0.000 description 25
- 230000006870 function Effects 0.000 description 11
- 210000000277 pancreatic duct Anatomy 0.000 description 7
- 210000000941 bile Anatomy 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000001574 biopsy Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 210000001035 gastrointestinal tract Anatomy 0.000 description 3
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009558 endoscopic ultrasound Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 241000193830 Bacillus <bacterium> Species 0.000 description 1
- 239000004072 C09CA03 - Valsartan Substances 0.000 description 1
- 241000669298 Pseudaulacaspis pentagona Species 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000000013 bile duct Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007674 radiofrequency ablation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000000331 sympathetic ganglia Anatomy 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
- A61B2017/3413—Needle locating or guiding means guided by ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
- A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Robotics (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请公开了一种穿刺路径规划装置、设备和计算机可读存储介质,该装置包括:图像识别单元用于在穿刺过程中,动态识别目标超声内镜图像中的穿刺点、病灶和组织结构,得到目标穿刺点、目标病灶区域和目标组织结构区域;处理单元用于根据目标穿刺点和目标病灶区域,得到穿刺区域,根据目标穿刺点和目标组织结构区域,得到穿刺避让区域;规划单元用于根据穿刺区域和穿刺避让区域,得到安全穿刺路径。本申请通过图像识别单元实时动态识别穿刺点、病灶和组织结构,能够快速掌握穿刺过程中的动态变化,处理单元再根据识别结果得到穿刺区域和穿刺避让区域,可以确保安全穿刺路径精准可靠,提高了穿刺所采集的样本的准确性,确保了穿刺过程的安全性。
Description
技术领域
本申请涉及医疗辅助技术领域,具体涉及一种穿刺路径规划装置、设备和计算机可读存储介质。
背景技术
超声内镜(Endoscopic Ultrasonography,EUS)是将内镜与超声相结合的消化道检查技术,将微型高频超声探头安置在内镜顶端,当内镜插入体腔后,在内镜直接观察消化道黏膜病变的同时,可利用内镜下的超声进行实时扫描,获得胃肠道的层次结构的组织学特征及周围邻近脏器的超声图像。超声内镜能通过穿刺采集组织样本进行病理活检诊断,开展冲洗引流、射频消融、腹腔神经节阻滞、胃空肠造瘘等手术,是集检测和治疗于一体的设备。
进行超声内镜穿刺的关键在于准确规划穿刺路径,目前的穿刺路径规划可以概括为:医师在规避血管或胆管胰管等解剖结构的情况下,将穿刺针靶向病灶的最大截面,并且提前测量与病灶远端的距离防止穿刺针越过病灶。
由于现有的超声内镜仅具有静态图像测量功能,而穿刺是一个动态的变化过程,在穿刺过程中组织结构会出现较大移位,经验不足的医师可能无法准确判断穿刺针与各组织结构的动态位移变化情况,导致无法精准把控穿刺的位置和安全距离,出现采集的样本不准确或引起并发症的问题。
发明内容
本申请提供一种穿刺路径规划装置、设备和计算机可读存储介质,旨在解决现有技术中超声内镜仅具有静态图像测量功能,在穿刺过程中医师无法准确判断穿刺针与各组织结构的动态位移变化情况,导致采集的样本不准确的问题。
第一方面,本申请提供一种穿刺路径规划装置,该穿刺路径规划装置包括:
图像识别单元,用于在穿刺过程中,实时获取目标超声内镜图像,并动态识别目标超声内镜图像中的穿刺点、病灶和组织结构,得到相应的目标穿刺点、目标病灶区域和目标组织结构区域;
处理单元,用于根据目标穿刺点和目标病灶区域,得到穿刺区域,以及根据目标穿刺点和目标组织结构区域,得到穿刺避让区域;
规划单元,用于根据穿刺区域和穿刺避让区域,得到安全穿刺路径。
在本申请一种可能的实现方式中,图像识别单元被配置为:
根据预设的第一图像识别模型和/或像素识别方法,实时识别目标超声内镜图像中的穿刺点,得到相应的目标穿刺点;
根据预设的第二图像识别模型,实时识别目标超声内镜图像中的病灶,得到相应的目标病灶区域;
根据预设的第三图像识别模型,实时识别目标超声内镜图像中的组织结构,得到相应的目标组织结构区域。
在本申请一种可能的实现方式中,穿刺路径规划装置还包括图像处理单元,图像处理单元被配置为:
实时获取超声内镜拍摄图像,根据预设的第四图像识别模型提取超声内镜拍摄图像的有效图像区域,得到目标超声内镜图像。
在本申请一种可能的实现方式中,处理单元被配置为:
根据目标穿刺点和目标病灶区域的轮廓点序列,得到第一病灶轮廓点和第二病灶轮廓点;
根据目标穿刺点和第一病灶轮廓点,得到第一轮廓点射线,以及根据目标穿刺点和第二病灶轮廓点,得到第二轮廓点射线;
根据第一轮廓点射线和第二轮廓点射线,得到第一穿刺区域;
对第一穿刺区域进行压缩处理,得到穿刺区域。
在本申请一种可能的实现方式中,处理单元还被配置为:
遍历目标病灶区域的轮廓点序列,计算各轮廓点与目标穿刺点之间的连线分别与参考水平线之间的夹角,得到第一最小夹角和第一最大夹角,其中,目标穿刺点位于参考水平线上;
根据第一最小夹角得到第一病灶轮廓点,根据第一最大夹角得到第二病灶轮廓点。
在本申请一种可能的实现方式中,处理单元还被配置为:
根据第一轮廓点射线和第一病灶轮廓点,得到垂直于第一轮廓点射线的第一垂线,以及根据第二轮廓点射线和第二病灶轮廓点,得到垂直于第二轮廓点射线的第二垂线;
在第一垂线上确定与第一病灶轮廓点相对应的第一特征点,在第二垂线上确定与第二病灶轮廓点相对应的第二特征点,且第一特征点和第二特征点均位于目标病灶区域中;
根据第一特征点和目标穿刺点,得到第一特征点射线,根据第二特征点和目标穿刺点,得到第二特征点射线;
根据第一特征点射线和第二特征点射线,得到穿刺区域。
在本申请一种可能的实现方式中,处理单元还被配置为:
根据目标穿刺点和目标组织结构区域的轮廓点序列,得到第一结构轮廓点和第二结构轮廓点;
根据目标穿刺点和第一结构轮廓点,得到第三轮廓点射线,根据目标穿刺点和第二结构轮廓点,得到第四轮廓点射线;
根据第三轮廓点射线和第四轮廓点射线,得到穿刺避让区域。
在本申请一种可能的实现方式中,规划单元被配置为:
判断穿刺区域与穿刺避让区域之间是否存在重叠区域;
若穿刺区域与穿刺避让区域之间存在重叠区域,则根据穿刺区域和重叠区域,得到安全穿刺区域,以在安全穿刺区域内规划得到安全穿刺路径;
若穿刺区域与穿刺避让区域之间不存在重叠区域,则在穿刺区域内规划得到安全穿刺路径。
第二方面,本申请还提供一种穿刺路径规划设备,该穿刺路径规划设备包括存储器和处理器,存储器上存储有一个或多个应用程序,一个或多个应用程序被处理器执行以实现穿刺路径规划方法,该穿刺路径规划方法包括:
在穿刺过程中,实时获取目标超声内镜图像,并动态识别目标超声内镜图像中的穿刺点、病灶和组织结构,得到相应的目标穿刺点、目标病灶区域和目标组织结构区域;
根据目标穿刺点和目标病灶区域,得到穿刺区域,以及根据目标穿刺点和目标组织结构区域,得到穿刺避让区域;
根据穿刺区域和穿刺避让区域,得到安全穿刺路径。
第三方面,本申请还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器进行加载,以执行穿刺路径规划方法中的步骤,该穿刺路径规划方法包括:
在穿刺过程中,实时获取目标超声内镜图像,并动态识别目标超声内镜图像中的穿刺点、病灶和组织结构,得到相应的目标穿刺点、目标病灶区域和目标组织结构区域;
根据目标穿刺点和目标病灶区域,得到穿刺区域,以及根据目标穿刺点和目标组织结构区域,得到穿刺避让区域;
根据穿刺区域和穿刺避让区域,得到安全穿刺路径。
从以上内容可得出,本申请具有以下的有益效果:
本申请中,图像识别单元在穿刺过程中,实时获取目标超声内镜图像,并动态识别该目标超声内镜图像中的穿刺点、病灶和组织结构,处理单元根据图像识别单元的识别结果得到穿刺区域和穿刺避让区域,规划单元再根据该穿刺区域和穿刺避让区域得到安全穿刺路径,相较于现有技术超声内镜仅具有静态图像测量功能,在穿刺过程中依靠医师判断穿刺针与各组织结构的动态位移变化情况,容易导致穿刺采集的样本不准确的问题来说,本申请通过图像识别单元实时动态识别目标超声内镜图像中的穿刺点、病灶和组织结构,能够快速掌握穿刺过程中的动态变化,然后处理单元再根据识别结果得到穿刺区域和穿刺避让区域,可以确保得到的安全穿刺路径精准可靠,提高了穿刺所采集的样本的准确性,确保了穿刺过程的安全性和诊断结果的正确性,避免了穿刺诊断假阴性或手术并发症等负面情况的出现。
附图说明
为了更清楚地说明本申请中的技术方案,下面将对本申请描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例中提供的穿刺路径规划装置的一个结构示意图;
图2是本申请实施例中提供的超声内镜拍摄图像的一个图像示意图;
图3是本申请实施例中提供的目标超声内镜图像的一个图像示意图;
图4是本申请实施例中提供的第一穿刺区域的一个图像示意图;
图5是本申请实施例中提供的穿刺区域的一个图像示意图;
图6是本申请实施例中提供的穿刺避让区域的一个图像示意图;
图7是本申请实施例中提供的安全穿刺区域的一个图像示意图;
图8是本申请实施例中提供的穿刺路径规划设备的一个结构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请提供一种穿刺路径规划装置、设备和计算机可读存储介质,以下分别进行详细说明。
请参阅图1,图1是本申请实施例中提供的穿刺路径规划装置的一个结构示意图,该穿刺路径规划装置可以包括图像识别单元100、处理单元200和规划单元300,其中,图像识别单元100可以用于在穿刺过程中,实时获取目标超声内镜图像,并动态识别目标超声内镜图像中的穿刺点、病灶和组织结构,得到相应的目标穿刺点、目标病灶区域和目标组织结构区域;处理单元200可以用于根据目标穿刺点和目标病灶区域,得到穿刺区域,以及根据目标穿刺点和目标组织结构区域,得到穿刺避让区域;规划单元300可以用于根据穿刺区域和穿刺避让区域,得到安全穿刺路径。
可以理解的,在外科穿刺手术(如穿刺活检等)中,医师进行穿刺路径规划时需要在手术导航软件上反复查看计算机断层扫描(Computed Tomography,CT)图像、核磁共振成像(Magnetic Resonance Imaging,MRI)图像或超声内镜(Endoscopic Ultrasonography,EUS)图像,通过在患者腹胸腔部等的横断面、矢状面、冠状面视图中不断调整穿刺针轨迹来完成手术规划。
由于超声内镜仅具有静态图像测量功能,即超声内镜在插入体腔后,所扫描拍摄得到的超声内镜图像是静态的二维图像,而在穿刺过程中,患者内部的组织结构会出现较大移位,此时,医师需要花费大量时间来确定靶点准确和调整合适的穿刺路径以避开重要组织结构,这不仅要求医师临床经验丰富,而且还增加了医师工作量和穿刺时间,经验不足的医师可能无法准确判断穿刺针与各组织结构的动态位移变化情况,从而导致穿刺所采集的样本不准确或者造成潜在的医疗安全隐患等。
基于此,本申请实施例提供了一种穿刺路径规划装置,如图1所示,该穿刺路径规划装置包括图像识别单元100、处理单元200和规划单元300,其中,图像识别单元100可以用于在穿刺过程中,实时获取目标超声内镜图像,并动态识别目标超声内镜图像中的穿刺点、病灶和组织结构,得到相应的目标穿刺点、目标病灶区域和目标组织结构区域。
本申请实施例中,图像识别单元100可以实时获取超声内镜拍摄的目标超声内镜图像,针对每一帧的目标超声内镜图像,图像识别单元100可以识别其中的穿刺点、病灶和组织结构,进而得到每一帧的目标超声内镜图像上的目标穿刺点、目标病灶区域和目标组织结构区域。
可以理解的,穿刺点是在进行穿刺手术时,穿刺针进出患者腹胸腔时的进针点或出针点,此处,穿刺针是在微创手术中对肾脏、肝脏等多种器官的组织取样和注射治疗的医疗器械,穿刺针的进针点和出针点即穿刺点的选取可以根据患者的实际患病情况进行确定,具体此处不做限定。
进行穿刺的目的之一可以是进行活检,即活体组织检查,亦称外科病理学检查,是指应诊断、治理的需要,从患者体内切取、钳取或穿刺等取出病变组织,进行病理学检查的技术,而病灶即是机体上发生病变的部分,如肺的某一部分被结核菌破坏,这部分就是肺结核病灶,因此,穿刺即是从病灶上取出部分活体组织进行检查。
同时,人体内还有其他重要组织比如血管、胆胰管等,在进行穿刺取样时,穿刺针需要避开这些重要组织,以避免手术并发症的出现。
因此,本申请实施例中图像识别单元100在穿刺过程中,实时对穿刺点、目标病灶区域和组织结构区域进行识别,进而得到目标穿刺点、目标病灶区域和目标组织结构区域,以为安全穿刺路径的规划提供便利,避免穿刺针靶向错误或破坏组织结构区域等。
本申请实施例中,处理单元200可以用于根据目标穿刺点和目标病灶区域,得到穿刺区域,以及根据目标穿刺点和目标组织结构区域,得到穿刺避让区域,可以理解的,目标病灶区域即是本次穿刺中穿刺针所靶向的区域,即穿刺针要达到的目标区域,因此,根据目标穿刺点和目标病灶区域,可以得到穿刺区域,在理想状态如目标病灶区域中不存在其他组织结构的情况下,穿刺区域即是目标病灶区域,此时,由目标穿刺点指向目标病灶区域任意位置的任一条路径都是安全穿刺路径。
而当目标病灶区域与目标组织结构区域存在重叠的情况时,则可以根据目标穿刺点与目标组织结构区域得到穿刺避让区域,此处,穿刺避让区域即是穿刺针在穿刺过程中需要避开的区域。
在处理单元200得到穿刺区域和穿刺避让区域之后,规划单元300可以根据该穿刺区域和穿刺避让区域,得到可用于穿刺的安全穿刺范围,然后便可以根据目标穿刺点和安全穿刺范围,得到安全穿刺路径。
可以理解的,安全穿刺路径可以是最短穿刺路径,即规划单元300在得到安全穿刺范围后,可以根据目标穿刺点和安全穿刺范围,推荐一个路径最短的穿刺路径以供医师参考,当然,安全穿刺路径也可以是远离目标组织结构区域的一条穿刺路径,概括来说,在安全穿刺范围内的所有路径都可以是规划单元300得到的安全穿刺路径,在实际应用时,可以根据具体临床情况,人为设置或选择对于安全穿刺路径的偏好,以使规划单元300所推荐的安全穿刺路径符合期望的偏好。
本申请中,图像识别单元100在穿刺过程中,实时获取目标超声内镜图像,并动态识别该目标超声内镜图像中的穿刺点、病灶和组织结构,处理单元200根据图像识别单元的识别结果得到穿刺区域和穿刺避让区域,规划单元300再根据该穿刺区域和穿刺避让区域得到安全穿刺路径,相较于现有技术超声内镜仅具有静态图像测量功能,在穿刺过程中依靠医师判断穿刺针与各组织结构的动态位移变化情况,容易导致穿刺采集的样本不准确的问题来说,本申请通过图像识别单元100实时动态识别目标超声内镜图像中的穿刺点、病灶和组织结构,能够快速掌握穿刺过程中的动态变化,然后处理单元200再根据识别结果得到穿刺区域和穿刺避让区域,可以确保得到的安全穿刺路径精准可靠,提高了穿刺所采集的样本的准确性,确保了穿刺过程的安全性和诊断结果的正确性,避免了穿刺诊断假阴性或手术并发症等负面情况的出现。
在本申请一些实施例中,穿刺路径规划装置还可以包括图像处理单元400,图像处理单元400可以被配置为:
实时获取超声内镜拍摄图像,根据预设的第四图像识别模型提取超声内镜拍摄图像的有效图像区域,得到目标超声内镜图像。
本申请实施例中,图像处理单元400的输入端可以与超声成像部件如超声内镜连接,图像处理单元400的输出端可以与图像识别单元100连接,当超声成像部件利用超声进行实时扫描得到超声内镜拍摄图像时,图像处理单元400可以实时获取该超声内镜拍摄图像,如图2所示,图2是本申请实施例中提供的超声内镜拍摄图像的一个图像示意图,图2中左边部分为相关拍摄参数,右边部分为拍摄的图像区域,可以理解,进行穿刺路径规划时所感兴趣的区域即为右边部分的图像区域。
因此,本申请实施例中,图像处理单元400可以对超声内镜拍摄图像进行处理,提取该超声内镜拍摄图像中的感兴趣区域或有效图像区域,进而得到如图3所示的目标超声内镜图像输出至图像识别单元100。
具体的,可以在图像处理单元400中预设一个图像识别模型,本申请实施例中,第四图像识别模块可以是UNet++图像分割神经网络模型,在利用本实施例的穿刺路径规划装置进行穿刺路径规划之前,可以预先构建第四图像识别模型,并利用大量的训练数据如超声内镜所拍摄的图像对所构建的第四图像识别模型进行训练,然后将训练好的第四图像识别模型设置于图像处理单元400中,以通过训练好的第四图像识别模型识别超声内镜拍摄图像的有效图像区域。
由于超声内镜拍摄图像中的有效图像区域可能是不规则或异形的区域,因此,为了便于后续对图像进行处理,图像处理单元400还可以取该有效图像区域的水平外切矩形,以该水平外切矩形对超声内镜拍摄图像进行裁剪,以得到包括了有效图像区域的目标超声内镜图像。
在本申请一些实施例中,图像识别单元100可以被配置为:
根据预设的第一图像识别模型和/或像素识别方法,实时识别目标超声内镜图像中的穿刺点,得到相应的目标穿刺点;
根据预设的第二图像识别模型,实时识别目标超声内镜图像中的病灶,得到相应的目标病灶区域;
根据预设的第三图像识别模型,实时识别目标超声内镜图像中的组织结构,得到相应的目标组织结构区域。
本申请实施例中,可以采用深度学习技术识别穿刺点、病灶以及组织结构,具体的,图像识别单元100中可以集成有相应的图像识别模型,以通过对应的图像识别模型分别得到目标穿刺点、目标病灶区域和目标组织结构区域。
例如,第一图像识别模型可以是UNet++图像分割神经网络模型,在使用第一图像识别模型对穿刺点进行识别之前,可以预先构建第一图像识别模型,并利用大量的训练数据如具有和不具有穿刺点的超声内镜图像对所构建的第一图像识别模型进行训练,然后将训练好的第一图像识别模型设置于图像识别单元100中,以通过训练好的第一图像识别模型识别目标超声内镜图像中的穿刺点,从而得到目标穿刺点。
另外,本申请实施例中,还可以通过像素识别方法对目标超声内镜图像中的穿刺点进行识别,具体的,如图4所示,图像识别单元100可以根据预先设定的穿刺点特征,如穿刺点在RGB色彩模式下的像素颜色、穿刺点大小等,得到穿刺点的位置坐标满足以下条件:
W*2/3<x<W*5/6
1<y<50
其中,x表示横坐标,y表示纵坐标,W表示目标超声内镜图像的宽度,坐标原点为目标超声内镜图像的左上角。
预设穿刺点的像素颜色特征为:
G>220&B>220
则遍历坐标点(W*2/3,1)和坐标点(W*5/6,50)所围成的矩形中的所有坐标点,将所有符合像素颜色特征的坐标点组成点集合:{(x1,y1),(x2,y2),……(xn,yn)},则如图4所示,最终得到目标穿刺点Pc的坐标(Xc,Yc)为:
Xc=(x1+x2+……+xn)/n
Yc=(y1+y2+……+yn)/n
其中,Xc表示目标穿刺点Pc的横坐标,Yc表示目标穿刺点Pc的纵坐标。
本申请实施例中,第二图像识别模型也可以是UNet++图像分割神经网络模型,在使用第二图像识别模型对病灶进行识别之前,可以预先构建第二图像识别模型,并利用大量的训练数据如具有和不具有病灶的超声内镜图像对所构建的第二图像识别模型进行训练,然后将训练好的第二图像识别模型设置于图像识别单元100中,以通过训练好的第二图像识别模型识别目标超声内镜图像中的病灶,从而得到目标病灶区域。
可以理解,所识别出的目标病灶区域(如图4中的目标病灶区域bz)可以是由围成该目标病灶区域的轮廓点序列来进行表示的。
本申请实施例中,组织结构可以是穿刺时需要避开的一些重要组织,例如胆胰管、血管等,与病灶的识别类似,第三图像识别模型也可以是UNet++图像分割神经网络模型,在使用第三图像识别模型对组织结构进行识别之前,可以预先构建第三图像识别模型,并利用大量的训练数据如具有和不具有胆胰管、血管等组织结构的超声内镜图像对所构建的第三图像识别模型进行训练,然后将训练好的第三图像识别模型设置于图像识别单元100中,以通过训练好的第三图像识别模型识别目标超声内镜图像中的胆胰管、血管等组织结构,从而得到目标组织结构区域,可以理解,该目标组织结构区域可以包括胆胰管区域、血管区域等。
同样的,所识别出的目标组织结构区域也可以是由围成该目标组织结构区域的轮廓点序列来进行表示的,例如,对于胆胰管区域来说,由围成该胆胰管区域的轮廓点序列表示,血管区域由围成该血管区域的轮廓点序列表示。
在本申请一些实施例中,处理单元200可以被配置为:
根据目标穿刺点和目标病灶区域的轮廓点序列,得到第一病灶轮廓点和第二病灶轮廓点;
根据目标穿刺点和第一病灶轮廓点,得到第一轮廓点射线,以及根据目标穿刺点和第二病灶轮廓点,得到第二轮廓点射线;
根据第一轮廓点射线和第二轮廓点射线,得到第一穿刺区域;
对第一穿刺区域进行压缩处理,得到穿刺区域。
根据上述实施例可知,目标病灶区域可以由围成该目标病灶区域的轮廓点序列表示,而为了减小后续计算量,提高处理速度,本申请实施例中处理单元200还可以对目标病灶区域的轮廓点序列进行处理,减少轮廓点序列中轮廓点的个数,例如,对轮廓点序列中的轮廓点进行稀疏化和均匀化处理。
在一种具体实现中,处理单元200可以按顺序遍历目标病灶区域的轮廓点序列中的所有轮廓点,若两轮廓点之间的间距小于预设的像素阈值如10个像素,则丢弃后一个的轮廓点,若两轮廓点之间的间距超过像素阈值如10个像素,则在该两轮廓点之间以10个像素为间距补充轮廓点,遍历完成后,便可以得到稀疏化和均匀化处理后的轮廓点序列。
进一步的,处理单元200还可以被配置为:遍历目标病灶区域的轮廓点序列,计算各轮廓点与目标穿刺点之间的连线分别与参考水平线之间的夹角,得到第一最小夹角和第一最大夹角,其中,目标穿刺点位于参考水平线上;根据第一最小夹角得到第一病灶轮廓点,根据第一最大夹角得到第二病灶轮廓点。
具体的,请继续参阅图4,以目标穿刺点Pc为起点,向坐标原点即目标超声内镜图像的左上角方向作一条水平线Lb作为参考水平线,然后遍历稀疏化和均匀化处理后的轮廓点序列中的每一个轮廓点,计算每一个轮廓点与目标穿刺点Pc之间的连线与水平线Lb之间的夹角,在得到的连线与水平线Lb之间的所有夹角中,最小夹角θbzmin则可以是第一最小夹角,该最小夹角θbzmin所对应的轮廓点Pbzmin即为第一病灶轮廓点,相对应的,最大夹角θbzmax则可以是第一最大夹角,该最大夹角θbzmax对应的轮廓点Pbzmax即为第二病灶轮廓点。
然后根据目标穿刺点Pc和第一病灶轮廓点Pbzmin作一条射线,即得到第一轮廓点射线,该第一轮廓点射线可以是由目标穿刺点Pc指向第一病灶轮廓点Pbzmin的射线;
以及根据目标穿刺点Pc和第二病灶轮廓点Pbzmax作一条射线,即得到第二轮廓点射线,该第二轮廓点射线是由目标穿刺点Pc指向第二病灶轮廓点Pbzmax的射线,第一轮廓点射线和第二轮廓点射线之间所围成的区域即为第一穿刺区域。
需要说明的是,本申请实施例中,夹角与轮廓点之间的对应关系也可以相反,即最小夹角对应的轮廓点也可以是第二病灶轮廓点,最大夹角对应的轮廓点也可以是第一病灶轮廓点,具体此处不做限定。
由图4可以看出,第一轮廓点射线和第二轮廓点射线之间除目标病灶区域bz外,还包括了部分非病灶区域,因此,为了将穿刺区域限制在目标病灶区域bz内,避免操作误差穿刺到非病灶区域,处理单元200可以对第一穿刺区域进行压缩处理,以得到更加安全准确的穿刺区域。
因此,在本申请一些实施例中,处理单元200还可以被配置为:
根据第一轮廓点射线和第一病灶轮廓点,得到垂直于第一轮廓点射线的第一垂线,以及根据第二轮廓点射线和第二病灶轮廓点,得到垂直于第二轮廓点射线的第二垂线;
在第一垂线上确定与第一病灶轮廓点相对应的第一特征点,在第二垂线上确定与第二病灶轮廓点相对应的第二特征点,且第一特征点和第二特征点均位于目标病灶区域中;
根据第一特征点和目标穿刺点,得到第一特征点射线,根据第二特征点和目标穿刺点,得到第二特征点射线;
根据第一特征点射线和第二特征点射线,得到穿刺区域。
具体的,如图5所示,处理单元200可以以第一病灶轮廓点Pbzmin为起点,作一条垂直于第一轮廓点射线的射线作为第一垂线,该第一垂线的方向为指向目标病灶区域的方向,接着在第一垂线上距离第一病灶轮廓点Pbzmin第一预设距离的位置上,确定与该第一病灶轮廓点Pbzmin相对应的第一特征点(如“P’bzmin”),此处,也可以理解为是将第一病灶轮廓点Pbzmin沿第一垂线偏移第一预设距离,得到第一特征点P’bzmin。
同样的,处理单元200可以以第二病灶轮廓点Pbzmax为起点,作一条垂直于第二轮廓点射线的射线作为第二垂线,该第二垂线的方向为指向目标病灶区域的方向,接着在第二垂线上距离第二病灶轮廓点Pbzmax第二预设距离的位置上,确定与该第二病灶轮廓点Pbzmax相对应的第二特征点(如“P’bzmax”),此处,也可以理解为是将第二病灶轮廓点Pbzmax沿第二垂线偏移第二预设距离,得到第二特征点P’bzmax。
需要说明的是,第一预设距离和第二预设距离可以是根据实际应用场景和/或过往经验所设定的距离值,并且第一预设距离和第二预设距离两者可以设置为相同的距离值,也可以设置为不同的距离值,具体此处不做限定。
由于第一垂线和第二垂线的方向均是指向目标病灶区域bz的方向,因此,可以确定第一垂线上的第一特征点和第二垂线上的第二特征点两者均位于目标病灶区域bz中,然后处理单元200可以以目标穿刺点Pc为起点,作一条指向第一特征点P’bzmin的射线,即得到第一特征点射线,同时,处理单元200还可以测算该第一特征点射线与水平线Lb之间的夹角,得到第一特征点夹角θ’bzmin,可以理解,该第一特征点夹角θ’bzmin是与第一最小夹角相对应且大于第一最小夹角的一个角参数;
同理,处理单元200可以以目标穿刺点Pc为起点,作一条指向第二特征点P’bzmax的射线,即得到第二特征点射线,同时,处理单元200还可以测算该第二特征点射线与水平线Lb之间的夹角,得到第二特征点夹角θ’bzmax,可以理解,该第二特征点夹角θ’bzmax是与第一最大夹角相对应且小于第一最大夹角的一个角参数。
此时,第一特征点射线和第二特征点射线之间所围成的病灶区域即为穿刺区域,如图5所示,该穿刺区域相较于第一穿刺区域来说,所包围的范围更小,第一特征点射线和第二特征点射线穿过目标病灶区域bz,以第一特征点射线和第二特征点射线为边界限定穿刺区域,能够进一步确保穿刺针不会穿刺到非病灶区域。
在一种具体实现中,设定第一预设距离和第二预设距离均为5mm,目标超声内镜图像中1刻度对应10mm,1个白色刻度对应的像素数为94,则可以换算得到5mm对应的像素长度为5*94/10=47像素。
根据三角函数关系,便可以得到第一特征点P’bzmin相对第一病灶轮廓点Pbzmin的横向偏移距离dx1和纵向偏移距离dy1,以及第二特征点P’bzmax相对第二病灶轮廓点Pbzmax的横向偏移距离dx2和纵向偏移距离dy2:
其中,Pc_x表示目标穿刺点Pc的横坐标,Pc_y表示目标穿刺点Pc的纵坐标,Pbzmin_x表示第一病灶轮廓点Pbzmin的横坐标,Pbzmin_y表示第一病灶轮廓点Pbzmin的纵坐标,Pbzmax_x表示第二病灶轮廓点Pbzmax的横坐标,Pbzmax_y表示第二病灶轮廓点Pbzmax的纵坐标。
在本申请一些实施例中,处理单元200还可以被配置为:
根据目标穿刺点和目标组织结构区域的轮廓点序列,得到第一结构轮廓点和第二结构轮廓点;
根据目标穿刺点和第一结构轮廓点,得到第三轮廓点射线,根据目标穿刺点和第二结构轮廓点,得到第四轮廓点射线;
根据第三轮廓点射线和第四轮廓点射线,得到穿刺避让区域。
由于超声穿刺需避开胆胰管区域和血管区域,因此,本申请实施例中,目标组织结构区域可以包括胆胰管区域和血管区域,由于对胆胰管区域和血管区域的避开处理方法相同,因此,此处以避开胆胰管区域为例进行说明。
与目标病灶区域bz类似,本申请实施例中,胆胰管区域(如图6中的区域dy)同样可以由围成该胆胰管区域的轮廓点序列进行表示,因此,与穿刺区域的获得方法相同,处理单元200同样可以对胆胰管区域dy的轮廓点序列进行稀疏化和均匀化处理,然后遍历处理后的轮廓点序列中的每一个轮廓点,计算每一个轮廓点与目标穿刺点Pc之间的连线与水平线Lb之间的夹角,在得到的连线与水平线Lb之间的所有夹角中,最小夹角θdymin所对应的轮廓点Pdymin即为胆胰管第一结构轮廓点,相对应的,最大夹角θdymax对应的轮廓点Pdymax即为胆胰管第二结构轮廓点。
然后以目标穿刺点Pc为起点,作一条指向胆胰管第一结构轮廓点Pdymin的射线,即得到胆胰管区域对应的第三轮廓点射线,以及以目标穿刺点Pc为起点,作一条指向胆胰管第二结构轮廓点Pdymax的射线,即得到胆胰管区域对应的第四轮廓点射线,此时,第三轮廓点射线和第四轮廓点射线之间所围成的区域即为一个穿刺避让区域。
同理可得对血管区域的处理过程,即对血管区域的轮廓点序列进行稀疏化和均匀化处理,然后遍历处理后的轮廓点序列中的每一个轮廓点,计算每一个轮廓点与目标穿刺点Pc之间的连线与水平线Lb之间的夹角,在得到的连线与水平线Lb之间的所有夹角中,最小夹角θxgmin所对应的轮廓点Pxgmin即为血管第一结构轮廓点,相对应的,最大夹角θxgmax对应的轮廓点Pxgmax即为血管第二结构轮廓点。
然后以目标穿刺点Pc为起点,作一条指向血管第一结构轮廓点Pxgmin的射线,即得到血管区域对应的第三轮廓点射线,以及以目标穿刺点Pc为起点,作一条指向血管第二结构轮廓点Pxgmax的射线,即得到血管区域对应的第四轮廓点射线,此时,第三轮廓点射线和第四轮廓点射线之间所围成的区域同样也是一个穿刺避让区域。
在本申请一些实施例中,规划单元300可以被配置为:
判断穿刺区域与穿刺避让区域之间是否存在重叠区域;
若穿刺区域与穿刺避让区域之间存在重叠区域,则根据穿刺区域和重叠区域,得到安全穿刺区域,以在安全穿刺区域内规划得到安全穿刺路径;
若穿刺区域与穿刺避让区域之间不存在重叠区域,则在穿刺区域内规划得到安全穿刺路径。
可以理解,穿刺避让区域是在穿刺过程中,穿刺针需要避开的区域,因此,规划单元300可以首先判断穿刺区域与穿刺避让区域之间是否存在重叠区域,具体的,以胆胰管区域对应的穿刺避让区域为例进行说明,判断穿刺区域与穿刺避让区域之间是否存在重叠区域,可以根据第一特征点夹角θ’bzmin、第二特征点夹角θ’bzmax、最小夹角θdymin和最大夹角θdymax四者之间的大小关系进行判断,也可以是根据第一特征点射线、第二特征点射线、胆胰管区域对应的第三轮廓点射线以及胆胰管区域对应的第四轮廓点射线四者之间的位置关系进行判断,以夹角之间的大小关系进行判断为例进行说明,具体可以分为以下情况:
第一种情况为θdymin<θdymax<θ’bzmin<θ’bzmax,可以理解,这种情况下,胆胰管区域所对应的穿刺避让区域与穿刺区域之间并不存在重叠区域,因此,此时穿刺区域即为安全穿刺范围,安全穿刺区域的夹角大小为θ’bzmax-θ’bzmin,规划单元300可以直接在穿刺区域内规划安全穿刺路径。
第二种情况为θdymin<θ’bzmin<θdymax<θ’bzmax,可以理解,这种情况下,胆胰管区域所对应的穿刺避让区域与穿刺区域之间存在部分重叠的情况,即存在重叠区域,此时,穿刺区域被分割为由第一特征点射线和胆胰管区域对应的第四轮廓点射线围成的重叠区域,以及由胆胰管区域对应的第四轮廓点射线和第二特征点射线围成的未重叠区域,该未重叠区域即为安全穿刺区域,安全穿刺区域的夹角大小为θ’bzmax-θdymax,规划单元300可以在该安全穿刺区域内规划安全穿刺路径。
第三种情况为θ’bzmin<θdymin<θdymax<θ’bzmax,可以理解,这种情况下,胆胰管区域所对应的穿刺避让区域位于穿刺区域内,此时,穿刺区域被分割三个部分,其中,第一个部分是由第一特征点射线和胆胰管区域对应的第三轮廓点射线围成的安全穿刺区域,第二个部分是由胆胰管区域对应的第三轮廓点射线和胆胰管区域对应的第四轮廓点射线围成的穿刺避让区域,第三个部分是由胆胰管区域对应的第四轮廓点射线和第二特征点射线围成的安全穿刺区域,即这种情况下,安全穿刺区域为2个,该2个安全穿刺区域对应的夹角大小分别是θdymin-θ’bzmin和θ’bzmax-θdymax,规划单元300可以在该2个安全穿刺区域中的任意一个区域内规划安全穿刺路径。
第四种情况为θ’bzmin<θdymin<θ’bzmax<θdymax,可以理解,这种情况与第二种情况类似,胆胰管区域所对应的穿刺避让区域与穿刺区域之间存在部分重叠的情况,即存在重叠区域,此时,穿刺区域被分割为由第一特征点射线和胆胰管区域对应的第三轮廓点射线围成的未重叠区域,以及由胆胰管区域对应的第三轮廓点射线和第二特征点射线围成的重叠区域,该未重叠区域即为安全穿刺区域,安全穿刺区域的夹角大小为θdymin-θ’bzmin,规划单元300可以在该安全穿刺区域内规划安全穿刺路径。
第五种情况为θ’bzmin<θ’bzmax<θdymin<θdymax,可以理解,这种情况与第一种情况类似,胆胰管区域所对应的穿刺避让区域与穿刺区域之间并不存在重叠区域,因此,此时穿刺区域即为安全穿刺范围,安全穿刺区域的夹角大小为θ’bzmax-θ’bzmin,规划单元300可以直接在穿刺区域内规划安全穿刺路径。
同样的,针对血管区域对应的穿刺避让区域的判断方法,可以参考上述实施例中胆胰管区域对应的穿刺避让区域的判断方法进行安全穿刺区域的判断,示例性的,如图7所示,图7中胆胰管区域dy和血管区域xg均位于穿刺区域中,此时,θ’bzmin<θdymin<θdymax<θxgmin<θxgmax<θ’bzmax,穿刺区域被分割为五个部分,第一个部分是由第一特征点射线和胆胰管区域dy对应的第三轮廓点射线围成的安全穿刺区域,第二个部分是由胆胰管区域dy对应的第三轮廓点射线和胆胰管区域dy对应的第四轮廓点射线围成的穿刺避让区域,第三个部分是由胆胰管区域dy对应的第四轮廓点射线和血管区域xg对应的第三轮廓点射线围成的安全穿刺区域,第四个部分是由血管区域xg对应的第三轮廓点射线和血管区域xg对应的第四轮廓点射线围成的穿刺避让区域,第五个部分是由血管区域xg对应的第四轮廓点射线和第二特征点射线围成的安全穿刺区域,即这种情况下,安全穿刺区域为3个,该3个安全穿刺区域对应的夹角大小分别是θdymin-θ’bzmin、θxgmin-θdymax和θ’bzmax-θdymax,规划单元300可以在该3个安全穿刺区域中的任意一个区域内规划安全穿刺路径。
本申请实施例通过各区域的轮廓点与目标穿刺点Pc之间的夹角以及形成的射线来确定安全穿刺区域,且由第三轮廓点射线和第四轮廓点射线围成的穿刺避让区域相较于目标组织结构区域来说,范围更大,在目标组织结构区域边缘处留有避让余量,可以进一步确保在穿刺过程中穿刺针不会穿刺到胆胰管和血管等需避开的组织结构,进一步提高了穿刺的安全性。
基于上述实施例,本申请还提供一种穿刺路径规划设备,其集成了本申请所提供的任一种穿刺路径规划装置,该穿刺路径规划设备包括:
处理器801和存储器802,该存储器802上存储有一个或多个应用程序,其中一个或多个应用程序被处理器801执行以实现穿刺路径规划方法,该穿刺路径规划方法包括:
在穿刺过程中,实时获取目标超声内镜图像,并动态识别目标超声内镜图像中的穿刺点、病灶和组织结构,得到相应的目标穿刺点、目标病灶区域和目标组织结构区域;
根据目标穿刺点和目标病灶区域,得到穿刺区域,以及根据目标穿刺点和目标组织结构区域,得到穿刺避让区域;
根据穿刺区域和穿刺避让区域,得到安全穿刺路径。
可以理解,本实施例中穿刺路径规划方法的实现可以依赖于上述任一实施例中的穿刺路径规划装置,因此,穿刺路径规划设备可以实现本申请如图1至图7任意实施例中穿刺路径规划装置所能实现的有益效果,本申请如图1至图7对应任意实施例中穿刺路径规划装置详见前面的说明,在此不再赘述。
如图8所示,其示出了本申请所涉及的穿刺路径规划设备的一个实施例结构示意图,具体来讲:
该穿刺路径规划设备可以包括一个或者一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质的存储器802、电源803和输入单元804等部件。本领域技术人员可以理解,图8中示出的设备结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器801是该设备的控制中心,利用各种接口和线路连接整个设备的各个部分,通过运行或执行存储在存储器802内的软件程序和/或模块,以及调用存储在存储器802内的数据,执行设备的各种功能和处理数据,从而对设备进行整体监控。可选的,处理器801可包括一个或多个处理核心;处理器801可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,优选的,处理器801可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器801中。
存储器802可用于存储软件程序以及模块,处理器801通过运行存储在存储器802的软件程序以及模块,从而执行各种功能应用以及穿刺路径规划。存储器802可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器802还可以包括存储器控制器,以提供处理器801对存储器802的访问。
该设备还包括给各个部件供电的电源803,优选的,电源803可以通过电源管理系统与处理器801逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源803还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该设备还可以包括输入单元804和输出单元805,该输入单元804可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,该设备还可以包括显示单元等,在此不再赘述。具体在本申请中,设备中的处理器801会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中,并由处理器801来运行存储在存储器802中的应用程序,从而实现各种功能,如下:
在穿刺过程中,实时获取目标超声内镜图像,并动态识别目标超声内镜图像中的穿刺点、病灶和组织结构,得到相应的目标穿刺点、目标病灶区域和目标组织结构区域;
根据目标穿刺点和目标病灶区域,得到穿刺区域,以及根据目标穿刺点和目标组织结构区域,得到穿刺避让区域;
根据穿刺区域和穿刺避让区域,得到安全穿刺路径。
本领域普通技术人员可以理解,上述的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请提供一种计算机可读存储介质,该计算机可读存储介质可以包括:只读存储器(Read Only Memory,ROM)、随机存取记忆体(Random Access Memory,RAM)、磁盘或光盘等。其上存储有计算机程序,计算机程序被处理器进行加载,以执行穿刺路径规划方法中的步骤,该穿刺路径规划方法的步骤可以包括:
在穿刺过程中,实时获取目标超声内镜图像,并动态识别目标超声内镜图像中的穿刺点、病灶和组织结构,得到相应的目标穿刺点、目标病灶区域和目标组织结构区域;
根据目标穿刺点和目标病灶区域,得到穿刺区域,以及根据目标穿刺点和目标组织结构区域,得到穿刺避让区域;
根据穿刺区域和穿刺避让区域,得到安全穿刺路径。
由于该计算机可读存储介质中所存储的指令,可以执行本申请如图1至图7对应任意实施例中穿刺路径规划装置所配置的步骤,因此,可以实现本申请如图1至图7对应任意实施例中穿刺路径规划装置所能实现的有益效果,详见前面的说明,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的实施例,在此不再赘述。
以上对本申请所提供的一种穿刺路径规划装置、设备和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种穿刺路径规划装置,其特征在于,所述穿刺路径规划装置包括:
图像识别单元,用于在穿刺过程中,实时获取目标超声内镜图像,并动态识别所述目标超声内镜图像中的穿刺点、病灶和组织结构,得到相应的目标穿刺点、目标病灶区域和目标组织结构区域;
处理单元,用于根据所述目标穿刺点和所述目标病灶区域,得到穿刺区域,以及根据所述目标穿刺点和所述目标组织结构区域,得到穿刺避让区域;
规划单元,用于根据所述穿刺区域和所述穿刺避让区域,得到安全穿刺路径。
2.根据权利要求1所述的穿刺路径规划装置,其特征在于,所述图像识别单元被配置为:
根据预设的第一图像识别模型和/或像素识别方法,实时识别所述目标超声内镜图像中的穿刺点,得到相应的所述目标穿刺点;
根据预设的第二图像识别模型,实时识别所述目标超声内镜图像中的病灶,得到相应的所述目标病灶区域;
根据预设的第三图像识别模型,实时识别所述目标超声内镜图像中的组织结构,得到相应的所述目标组织结构区域。
3.根据权利要求1所述的穿刺路径规划装置,其特征在于,所述穿刺路径规划装置还包括图像处理单元,所述图像处理单元被配置为:
实时获取超声内镜拍摄图像,根据预设的第四图像识别模型提取所述超声内镜拍摄图像的有效图像区域,得到所述目标超声内镜图像。
4.根据权利要求1所述的穿刺路径规划装置,其特征在于,所述处理单元被配置为:
根据所述目标穿刺点和所述目标病灶区域的轮廓点序列,得到第一病灶轮廓点和第二病灶轮廓点;
根据所述目标穿刺点和所述第一病灶轮廓点,得到第一轮廓点射线,以及根据所述目标穿刺点和所述第二病灶轮廓点,得到第二轮廓点射线;
根据所述第一轮廓点射线和所述第二轮廓点射线,得到第一穿刺区域;
对所述第一穿刺区域进行压缩处理,得到所述穿刺区域。
5.根据权利要求4所述的穿刺路径规划装置,其特征在于,所述处理单元还被配置为:
遍历所述目标病灶区域的轮廓点序列,计算各轮廓点与所述目标穿刺点之间的连线分别与参考水平线之间的夹角,得到第一最小夹角和第一最大夹角,其中,所述目标穿刺点位于所述参考水平线上;
根据所述第一最小夹角得到所述第一病灶轮廓点,根据所述第一最大夹角得到所述第二病灶轮廓点。
6.根据权利要求4所述的穿刺路径规划装置,其特征在于,所述处理单元还被配置为:
根据所述第一轮廓点射线和所述第一病灶轮廓点,得到垂直于所述第一轮廓点射线的第一垂线,以及根据所述第二轮廓点射线和所述第二病灶轮廓点,得到垂直于所述第二轮廓点射线的第二垂线;
在所述第一垂线上确定与所述第一病灶轮廓点相对应的第一特征点,在所述第二垂线上确定与所述第二病灶轮廓点相对应的第二特征点,且所述第一特征点和所述第二特征点均位于所述目标病灶区域中;
根据所述第一特征点和所述目标穿刺点,得到第一特征点射线,根据所述第二特征点和所述目标穿刺点,得到第二特征点射线;
根据所述第一特征点射线和所述第二特征点射线,得到所述穿刺区域。
7.根据权利要求1所述的穿刺路径规划装置,其特征在于,所述处理单元还被配置为:
根据所述目标穿刺点和所述目标组织结构区域的轮廓点序列,得到第一结构轮廓点和第二结构轮廓点;
根据所述目标穿刺点和所述第一结构轮廓点,得到第三轮廓点射线,根据所述目标穿刺点和所述第二结构轮廓点,得到第四轮廓点射线;
根据所述第三轮廓点射线和所述第四轮廓点射线,得到所述穿刺避让区域。
8.根据权利要求1所述的穿刺路径规划装置,其特征在于,所述规划单元被配置为:
判断所述穿刺区域与所述穿刺避让区域之间是否存在重叠区域;
若所述穿刺区域与所述穿刺避让区域之间存在所述重叠区域,则根据所述穿刺区域和所述重叠区域,得到安全穿刺区域,以在所述安全穿刺区域内规划得到所述安全穿刺路径;
若所述穿刺区域与所述穿刺避让区域之间不存在所述重叠区域,则在所述穿刺区域内规划得到所述安全穿刺路径。
9.一种穿刺路径规划设备,其特征在于,所述穿刺路径规划设备包括存储器和处理器,所述存储器上存储有一个或多个应用程序,所述一个或多个应用程序被所述处理器执行以实现穿刺路径规划方法,所述穿刺路径规划方法包括:
在穿刺过程中,实时获取目标超声内镜图像,并动态识别所述目标超声内镜图像中的穿刺点、病灶和组织结构,得到相应的目标穿刺点、目标病灶区域和目标组织结构区域;
根据所述目标穿刺点和所述目标病灶区域,得到穿刺区域,以及根据所述目标穿刺点和所述目标组织结构区域,得到穿刺避让区域;
根据所述穿刺区域和所述穿刺避让区域,得到安全穿刺路径。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器进行加载,以执行穿刺路径规划方法中的步骤,所述穿刺路径规划方法包括:
在穿刺过程中,实时获取目标超声内镜图像,并动态识别所述目标超声内镜图像中的穿刺点、病灶和组织结构,得到相应的目标穿刺点、目标病灶区域和目标组织结构区域;
根据所述目标穿刺点和所述目标病灶区域,得到穿刺区域,以及根据所述目标穿刺点和所述目标组织结构区域,得到穿刺避让区域;
根据所述穿刺区域和所述穿刺避让区域,得到安全穿刺路径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111571950.6A CN114224448B (zh) | 2021-12-21 | 2021-12-21 | 穿刺路径规划装置、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111571950.6A CN114224448B (zh) | 2021-12-21 | 2021-12-21 | 穿刺路径规划装置、设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114224448A true CN114224448A (zh) | 2022-03-25 |
CN114224448B CN114224448B (zh) | 2023-11-10 |
Family
ID=80760375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111571950.6A Active CN114224448B (zh) | 2021-12-21 | 2021-12-21 | 穿刺路径规划装置、设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114224448B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114913173A (zh) * | 2022-07-15 | 2022-08-16 | 天津御锦人工智能医疗科技有限公司 | 内镜辅助检查系统、方法、装置及存储介质 |
CN116012286A (zh) * | 2022-10-27 | 2023-04-25 | 数坤(上海)医疗科技有限公司 | 手术风险区域确定方法、装置、电子设备及可读存储介质 |
CN117562641A (zh) * | 2024-01-15 | 2024-02-20 | 经方精密医疗(深圳)有限公司 | 一种超声介入穿刺针引导监控系统及监控方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160008082A1 (en) * | 2014-07-10 | 2016-01-14 | Canon Kabushiki Kaisha | Puncture planning apparatus and puncture system |
US20170055940A1 (en) * | 2014-04-28 | 2017-03-02 | Mazor Robotics Ltd. | Ultrasound guided hand held robot |
US20170224316A1 (en) * | 2015-04-20 | 2017-08-10 | Wuxi Hisky Medical Technologies Co., Ltd. | Method for processing morphology information and elasticity information of tissue and device for elasticity detection |
CN107928791A (zh) * | 2017-12-07 | 2018-04-20 | 上海钛米机器人科技有限公司 | 一种机器人辅助穿刺方法、系统及装置 |
US20190008592A1 (en) * | 2015-12-29 | 2019-01-10 | Koninklijke Philips N.V. | Registration of a surgical image acquisition device using contour signatures |
CN110537960A (zh) * | 2018-05-29 | 2019-12-06 | 上海联影医疗科技有限公司 | 穿刺路径的确定方法、存储设备及机器人辅助手术系统 |
CN111317550A (zh) * | 2020-03-23 | 2020-06-23 | 武汉联影智融医疗科技有限公司 | 检测介入系统、医疗设备及检测介入方法 |
CN111415564A (zh) * | 2020-03-02 | 2020-07-14 | 武汉大学 | 基于人工智能的胰腺超声内镜检查导航方法及系统 |
US20200330159A1 (en) * | 2019-04-22 | 2020-10-22 | Beihang University | Path planning method with artificial potential field based on obstacle classification and medical system for steering flexible needle |
CN112773508A (zh) * | 2021-02-04 | 2021-05-11 | 清华大学 | 一种机器人手术定位方法及装置 |
WO2021094354A1 (de) * | 2019-11-11 | 2021-05-20 | Krueger Timo | Verfahren und system zum wiedergeben eines einstichpunktes für ein medizinisches instrument |
US20210282743A1 (en) * | 2020-02-04 | 2021-09-16 | Tianli Zhao | Puncture needle positioning system and method |
CN113662592A (zh) * | 2021-08-13 | 2021-11-19 | 深圳大学 | 穿刺路径规划方法、医学图像采集系统、设备及介质 |
CN113679470A (zh) * | 2021-08-19 | 2021-11-23 | 江苏集萃苏科思科技有限公司 | 一种用于颅脑穿刺手术的计算机辅助穿刺路径规划方法、装置及存储介质 |
-
2021
- 2021-12-21 CN CN202111571950.6A patent/CN114224448B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170055940A1 (en) * | 2014-04-28 | 2017-03-02 | Mazor Robotics Ltd. | Ultrasound guided hand held robot |
US20160008082A1 (en) * | 2014-07-10 | 2016-01-14 | Canon Kabushiki Kaisha | Puncture planning apparatus and puncture system |
US20170224316A1 (en) * | 2015-04-20 | 2017-08-10 | Wuxi Hisky Medical Technologies Co., Ltd. | Method for processing morphology information and elasticity information of tissue and device for elasticity detection |
US20190008592A1 (en) * | 2015-12-29 | 2019-01-10 | Koninklijke Philips N.V. | Registration of a surgical image acquisition device using contour signatures |
CN107928791A (zh) * | 2017-12-07 | 2018-04-20 | 上海钛米机器人科技有限公司 | 一种机器人辅助穿刺方法、系统及装置 |
CN110537960A (zh) * | 2018-05-29 | 2019-12-06 | 上海联影医疗科技有限公司 | 穿刺路径的确定方法、存储设备及机器人辅助手术系统 |
US20200330159A1 (en) * | 2019-04-22 | 2020-10-22 | Beihang University | Path planning method with artificial potential field based on obstacle classification and medical system for steering flexible needle |
WO2021094354A1 (de) * | 2019-11-11 | 2021-05-20 | Krueger Timo | Verfahren und system zum wiedergeben eines einstichpunktes für ein medizinisches instrument |
US20210282743A1 (en) * | 2020-02-04 | 2021-09-16 | Tianli Zhao | Puncture needle positioning system and method |
CN111415564A (zh) * | 2020-03-02 | 2020-07-14 | 武汉大学 | 基于人工智能的胰腺超声内镜检查导航方法及系统 |
CN111317550A (zh) * | 2020-03-23 | 2020-06-23 | 武汉联影智融医疗科技有限公司 | 检测介入系统、医疗设备及检测介入方法 |
CN112773508A (zh) * | 2021-02-04 | 2021-05-11 | 清华大学 | 一种机器人手术定位方法及装置 |
CN113662592A (zh) * | 2021-08-13 | 2021-11-19 | 深圳大学 | 穿刺路径规划方法、医学图像采集系统、设备及介质 |
CN113679470A (zh) * | 2021-08-19 | 2021-11-23 | 江苏集萃苏科思科技有限公司 | 一种用于颅脑穿刺手术的计算机辅助穿刺路径规划方法、装置及存储介质 |
Non-Patent Citations (1)
Title |
---|
王聪,胡良波: "超声、超声引导下粗针穿刺活检对乳腺肿块早期与鉴别诊断意义分析", 影像研究与医学应用, pages 93 - 95 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114913173A (zh) * | 2022-07-15 | 2022-08-16 | 天津御锦人工智能医疗科技有限公司 | 内镜辅助检查系统、方法、装置及存储介质 |
CN116012286A (zh) * | 2022-10-27 | 2023-04-25 | 数坤(上海)医疗科技有限公司 | 手术风险区域确定方法、装置、电子设备及可读存储介质 |
CN116012286B (zh) * | 2022-10-27 | 2024-04-09 | 数坤(上海)医疗科技有限公司 | 手术风险区域确定方法、装置、电子设备及可读存储介质 |
CN117562641A (zh) * | 2024-01-15 | 2024-02-20 | 经方精密医疗(深圳)有限公司 | 一种超声介入穿刺针引导监控系统及监控方法 |
CN117562641B (zh) * | 2024-01-15 | 2024-04-26 | 经方精密医疗(深圳)有限公司 | 一种超声介入穿刺针引导监控系统及监控方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114224448B (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240206760A1 (en) | System and method for lung visualization using ultrasound | |
CN114224448B (zh) | 穿刺路径规划装置、设备和计算机可读存储介质 | |
CN112641514B (zh) | 一种微创介入导航系统与方法 | |
JP6049202B2 (ja) | 画像処理装置、方法、及びプログラム | |
US8965062B2 (en) | Reporting imaged portions of a patient's body part | |
KR20160086629A (ko) | 영상유도 수술에서 수술부위와 수술도구 위치정합 방법 및 장치 | |
US20230181148A1 (en) | Vascular system visualization | |
CN115054367A (zh) | 基于混合现实的病灶定位方法、装置和电子设备 | |
CN114224471B (zh) | 一种电极针布针修正装置及方法、电子设备及存储介质 | |
EP2777593A2 (en) | Real time image guidance system | |
US20200305837A1 (en) | System and method for guided ultrasound imaging | |
WO2006060373A2 (en) | Ultrasonic image and visualization aid | |
CN116549116B (zh) | 一种基于3d实时全程量化导航的精准定位系统及方法 | |
US9386908B2 (en) | Navigation using a pre-acquired image | |
JP2007236629A (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
CN115089163B (zh) | 呼吸信号检测方法及其装置、手术导航方法及其装置 | |
CN114931435B (zh) | 三维模型处理方法、装置和电子设备 | |
CN113907883A (zh) | 一种耳侧颅底外科3d可视化手术导航系统及方法 | |
CN114271908A (zh) | 超声介入引导装置、介质及电子设备 | |
CN118154775A (zh) | 一种肺部气道三维模型的构建方法及系统 | |
CN118593111A (zh) | 图像处理方法、装置、系统和存储介质 | |
CN118806439A (zh) | 一种基于图像融合的手术实时导航方法及系统 | |
US20190069866A1 (en) | Display method, and display control device | |
CA2595657A1 (en) | Ultrasonic image and visualization aid |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |