CN114246690A - 超声引导气管镜的操作模拟方法和系统 - Google Patents

超声引导气管镜的操作模拟方法和系统 Download PDF

Info

Publication number
CN114246690A
CN114246690A CN202210018068.7A CN202210018068A CN114246690A CN 114246690 A CN114246690 A CN 114246690A CN 202210018068 A CN202210018068 A CN 202210018068A CN 114246690 A CN114246690 A CN 114246690A
Authority
CN
China
Prior art keywords
model
puncture needle
detection range
puncture
needle model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210018068.7A
Other languages
English (en)
Other versions
CN114246690B (zh
Inventor
马元
孙培莉
宋玮
李君兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN114246690A publication Critical patent/CN114246690A/zh
Application granted granted Critical
Publication of CN114246690B publication Critical patent/CN114246690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A61B2017/3413—Needle locating or guiding means guided by ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供了一种超声引导气管镜的操作模拟方法和系统，通过第一控制器的位置和姿态控制超声探测器模型在VR/AR环境中的位置和姿态，截取得到探测范围中的三维模型的切面图像；通过第二控制器的位置和姿态控制穿刺针模型在VR/AR环境中的位置和姿态，截取得到探测范围中的穿刺针模型的图像；判断穿刺针模型是否完全位于探测范围中，或者判断穿刺针模型与超声波输出方向的夹角是否大于预设值，在判断结果为否的情况下，根据穿刺针模型和超声探测器模型的位置、姿态计算穿刺针模型需要调整的位置、姿态偏移量，并进行提示。本发明实现了对医生的超声引导操作模拟，有效帮助医生找到具有较佳显示效果的穿刺角度、位置。

Description

超声引导气管镜的操作模拟方法和系统
技术领域
本发明涉及教学展示领域，具体地，涉及一种超声引导气管镜的操作模拟方法和系统。
背景技术
穿刺治疗术是目前较为常见的手术方法，由于人体结构各有差异，体位的不同还会导致内部结构的变化，所以医生靠经验和对解剖学的理解直接从体表穿刺的难度和风险都是较大的，而利用超声成像技术对穿刺进行实时引导可以有效帮助医生降低手术难度和风险。
专利文献CN103268726A公开了一种超声引导针穿刺手术模拟训练系统，该系统可以有效帮助医生提高穿刺的操作熟练度。然而，即使已经有了超声引导穿刺技术，但是该技术并非较为成熟，超声引导穿刺仍然存在一定的风险，其原因一部分在于进行超声引导穿刺时通常会遇到如下两个非医学专业领域的难题：1、穿刺针对超声波的反射，导致超声探头接收到的超声波减少，因此显影困难；2、穿刺针与超声成像切面不重合，导致超声图像显示不了或者显示不全穿刺针。专利文献CN103268726A只能提升医生的操作手感，但并不能帮助医生解决上述两个难题，因此，医生仍然需要其他的模拟训练，帮助其找到准确且便于显影的角度、位置。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种超声引导气管镜的操作模拟方法和系统。
根据本发明提供的一种超声引导气管镜的操作模拟方法，包括：
三维模型导入步骤：在VR/AR环境中导入待穿刺对象的三维模型、穿刺针模型以及超声探测器模型，所述超声探测器模型具有一探测端，所述探测端具有一不可见的、向外延伸的探测范围；
超声模拟步骤：通过第一控制器的位置和姿态控制所述超声探测器模型在VR/AR环境中的位置和姿态，截取得到所述探测范围中的所述三维模型的切面图像；
穿刺模拟步骤：通过第二控制器的位置和姿态控制所述穿刺针模型在VR/AR环境中的位置和姿态，截取得到所述探测范围中的所述穿刺针模型的图像；
图像展示步骤：将所述三维模型的切面图像和所述三维模型的切面图像和所述穿刺针模型的图像进行融合展示；
所述超声引导气管镜的操作模拟方法，还包括：
专项训练步骤：若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则将所述待穿刺对象的三维模型进行简化，得到简化后待穿刺对象的三维模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；和/或
提示步骤：判断所述穿刺针模型是否完全位于所述探测范围中，或者判断所述穿刺针模型与超声波输出方向的夹角是否大于预设值，在判断结果为否的情况下，根据所述穿刺针模型和所述超声探测器模型的位置、姿态计算所述穿刺针模型需要调整的位置、姿态偏移量，并进行提示。
优选地，所述三维模型中具有一个或多个病灶区域。
在所述专项训练步骤中，包括：
步骤A：首先将三维模型简化为第一简化模型，第一简化模型由规则结构构成，得到第一简化模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；
对于第一简化模型对应的切面图像，若所述穿刺针模型完全位于所述探测范围中，且所述穿刺针模型与超声波输出方向的夹角大于预设值，则触发步骤B执行；否则，则重新触发步骤A执行；
步骤B：将三维模型简化为第二简化模型，第二简化模型由所述三维模型的灰模构成，得到第二简化模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；
对于第二简化模型对应的切面图像，若所述穿刺针模型完全位于所述探测范围中，且所述穿刺针模型与超声波输出方向的夹角大于预设值，则触发步骤C执行；否则，则重新触发步骤A执行；
步骤C：得到所述三维模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则返回触发步骤B执行；否则，则认为使用者操作正确。
优选地，所述探测范围为多层结构，所述多层结构包括中心层，以及位于所述中心层两侧的侧边层；
所述切面图像为所述三维模型在所述中心层中的切面图像；
所述穿刺针模型的图像为所述穿刺针模型在所述多层结构中的图像，且所述穿刺针模型偏离所述中心层距离远的部分在所述穿刺针模型的图像中显示更细、颜色更浅。
优选地，所述穿刺针模型中设置有两个或更多探测点，通过判断所述探测点是否全部位于所述探测范围中，来判断所述穿刺针模型是否完全位于所述探测范围中。
优选地，所述图像展示步骤包括将融合图像在所述VR/AR环境中进行展示。
根据本发明提供的一种超声引导气管镜的操作模拟系统，包括：
三维模型导入模块：在VR/AR环境中导入待穿刺对象的三维模型、穿刺针模型以及超声探测器模型，所述超声探测器模型具有一探测端，所述探测端具有一不可见的、向外延伸的探测范围；
超声模拟模块：通过第一控制器的位置和姿态控制所述超声探测器模型在VR/AR环境中的位置和姿态，截取得到所述探测范围中的所述三维模型的切面图像；
穿刺模拟模块：通过第二控制器的位置和姿态控制所述穿刺针模型在VR/AR环境中的位置和姿态，截取得到所述探测范围中的所述穿刺针模型的图像；
图像展示模块：将所述三维模型的切面图像和所述三维模型的切面图像和所述穿刺针模型的图像进行融合展示；
所述超声引导气管镜的操作模拟系统，还包括：
专项训练模块：若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则将所述待穿刺对象的三维模型进行简化，得到简化后待穿刺对象的三维模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；和/或
提示模块：判断所述穿刺针模型是否完全位于所述探测范围中，或者判断所述穿刺针模型与超声波输出方向的夹角是否大于预设值，在判断结果为否的情况下，根据所述穿刺针模型和所述超声探测器模型的位置、姿态计算所述穿刺针模型需要调整的位置、姿态偏移量，并进行提示。
优选地，所述三维模型中具有一个或多个病灶区域。
在所述专项训练模块中，包括：
模块A：首先将三维模型简化为第一简化模型，第一简化模型由规则结构构成，得到第一简化模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；
对于第一简化模型对应的切面图像，若所述穿刺针模型完全位于所述探测范围中，且所述穿刺针模型与超声波输出方向的夹角大于预设值，则触发模块B执行；否则，则重新触发模块A执行；
模块B：将三维模型简化为第二简化模型，第二简化模型由所述三维模型的灰模构成，得到第二简化模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；
对于第二简化模型对应的切面图像，若所述穿刺针模型完全位于所述探测范围中，且所述穿刺针模型与超声波输出方向的夹角大于预设值，则触发模块C执行；否则，则重新触发模块A执行；
模块C：得到所述三维模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则返回触发模块B执行；否则，则认为使用者操作正确。
优选地，所述探测范围为多层结构，所述多层结构包括中心层，以及位于所述中心层两侧的侧边层；
所述切面图像为所述三维模型在所述中心层中的切面图像；
所述穿刺针模型的图像为所述穿刺针模型在所述多层结构中的图像，且所述穿刺针模型偏离所述中心层距离远的部分在所述穿刺针模型的图像中显示更细、颜色更浅。
优选地，所述穿刺针模型中设置有两个或更多探测点，通过判断所述探测点是否全部位于所述探测范围中，来判断所述穿刺针模型是否完全位于所述探测范围中。
优选地，所述图像展示模块包括将融合图像在所述VR/AR环境中进行展示。
与现有技术相比，本发明具有如下的有益效果：
1、本发明采用VR/AR技术与超声引导手术进行融合，实现了对医生的超声引导操作模拟，有效帮助医生找到具有较佳显示效果的穿刺角度、位置，解决了现有技术无法覆盖的训练内容。
2、当使用者操作发生错误时，本发明可以降低操作难度，而后渐次提高难度，从而帮助使用者循序渐进的教学操练。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的工作流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本发明提供的一种超声引导气管镜的操作模拟方法，包括：
三维模型导入步骤：在VR/AR环境中导入待穿刺对象的三维模型、穿刺针模型以及超声探测器模型，超声探测器模型具有一探测端，探测端具有一不可见的、向外延伸的探测范围。穿刺针模型以及超声探测器模型可通过自行建模获取，三维模型可通过对正常人体进行成像扫描后建模获取，然后在模型中通过随机或者预设规则的方式加入一个或多个病灶，如此可以无需利用病患的数据库进行建模，保护病患的隐私。
超声模拟步骤：使用者通过第一控制器的位置和姿态控制超声探测器模型在VR/AR环境中的位置和姿态，截取得到探测范围中的三维模型的切面图像。
穿刺模拟步骤：使用者通过第二控制器的位置和姿态控制穿刺针模型在VR/AR环境中的位置和姿态，截取得到探测范围中的穿刺针模型的图像。
图像展示步骤：将三维模型的切面图像和三维模型的切面图像和穿刺针模型的图像在VR/AR环境中进行融合展示；
所述超声引导气管镜的操作模拟方法，还包括：
专项训练步骤：若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则将所述待穿刺对象的三维模型进行简化，得到简化后待穿刺对象的三维模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；
在所述专项训练步骤中，包括：
步骤A：首先将三维模型简化为第一简化模型，第一简化模型由规则结构构成，得到第一简化模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；其中，规则结构例如包括长方体结构、筒形结构、球形结构等等。
对于第一简化模型对应的切面图像，若所述穿刺针模型完全位于所述探测范围中，且所述穿刺针模型与超声波输出方向的夹角大于预设值，则触发步骤B执行；否则，则重新触发步骤A执行；即，若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则重新触发步骤A执行；以在较低难度下继续让使用者进行操作练习；
步骤B：将三维模型简化为第二简化模型，第二简化模型由所述三维模型的灰模构成，得到第二简化模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；
对于第二简化模型对应的切面图像，若所述穿刺针模型完全位于所述探测范围中，且所述穿刺针模型与超声波输出方向的夹角大于预设值，则触发步骤C执行；否则，则重新触发步骤A执行；即，若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则重新触发步骤A执行；
步骤C：得到所述三维模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则返回触发步骤B执行；否则，则认为使用者操作正确。
第一简化模型的简化程度高于第二简化模型的简化程度，所述三维模型是所述灰模的彩色渲染得到的模型。
提示步骤：判断穿刺针模型是否完全位于探测范围中，或者判断穿刺针模型与超声波输出方向的夹角是否大于预设值，在判断结果为否的情况下，根据穿刺针模型和超声探测器模型的位置、姿态计算穿刺针模型需要调整的位置、姿态偏移量，并进行提示。
为了更真实的模拟引导穿刺的显示效果，探测范围为多层结构，多层结构包括中心层，以及位于中心层两侧的侧边层，切面图像为三维模型在中心层中的切面图像，穿刺针模型的图像为穿刺针模型在多层结构中的图像，且穿刺针模型偏离中心层距离远的部分在穿刺针模型的图像中显示更细、颜色更浅。
判断穿刺针模型是否完全位于探测范围的方法包括，在穿刺针模型中设置有两个或更多探测点，通过判断探测点是否全部位于探测范围中，来判断穿刺针模型是否完全位于探测范围中。
本发明还提供一种超声引导气管镜的操作模拟系统，本领域技术人员可以通过执行所述超声引导气管镜的操作模拟方法的步骤流程实现所述超声引导气管镜的操作模拟系统，即可以将所述超声引导气管镜的操作模拟方法理解为所述超声引导气管镜的操作模拟系统的优选实施方式。
根据本发明提供的一种超声引导气管镜的操作模拟系统，包括：
三维模型导入模块：在VR/AR环境中导入待穿刺对象的三维模型、穿刺针模型以及超声探测器模型，所述超声探测器模型具有一探测端，所述探测端具有一不可见的、向外延伸的探测范围；
超声模拟模块：通过第一控制器的位置和姿态控制所述超声探测器模型在VR/AR环境中的位置和姿态，截取得到所述探测范围中的所述三维模型的切面图像；
穿刺模拟模块：通过第二控制器的位置和姿态控制所述穿刺针模型在VR/AR环境中的位置和姿态，截取得到所述探测范围中的所述穿刺针模型的图像；
图像展示模块：将所述三维模型的切面图像和所述三维模型的切面图像和所述穿刺针模型的图像进行融合展示；
所述超声引导气管镜的操作模拟系统，还包括：
专项训练模块：若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则将所述待穿刺对象的三维模型进行简化，得到简化后待穿刺对象的三维模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；和/或
提示模块：判断所述穿刺针模型是否完全位于所述探测范围中，或者判断所述穿刺针模型与超声波输出方向的夹角是否大于预设值，在判断结果为否的情况下，根据所述穿刺针模型和所述超声探测器模型的位置、姿态计算所述穿刺针模型需要调整的位置、姿态偏移量，并进行提示。
优选地，所述三维模型中具有一个或多个病灶区域。
在所述专项训练模块中，包括：
模块A：首先将三维模型简化为第一简化模型，第一简化模型由规则结构构成，得到第一简化模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；
对于第一简化模型对应的切面图像，若所述穿刺针模型完全位于所述探测范围中，且所述穿刺针模型与超声波输出方向的夹角大于预设值，则触发模块B执行；否则，则重新触发模块A执行；
模块B：将三维模型简化为第二简化模型，第二简化模型由所述三维模型的灰模构成，得到第二简化模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；
对于第二简化模型对应的切面图像，若所述穿刺针模型完全位于所述探测范围中，且所述穿刺针模型与超声波输出方向的夹角大于预设值，则触发模块C执行；否则，则重新触发模块A执行；
模块C：得到所述三维模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则返回触发模块B执行；否则，则认为使用者操作正确。
优选地，所述探测范围为多层结构，所述多层结构包括中心层，以及位于所述中心层两侧的侧边层；
所述切面图像为所述三维模型在所述中心层中的切面图像；
所述穿刺针模型的图像为所述穿刺针模型在所述多层结构中的图像，且所述穿刺针模型偏离所述中心层距离远的部分在所述穿刺针模型的图像中显示更细、颜色更浅。
优选地，所述穿刺针模型中设置有两个或更多探测点，通过判断所述探测点是否全部位于所述探测范围中，来判断所述穿刺针模型是否完全位于所述探测范围中。
优选地，所述图像展示模块包括将融合图像在所述VR/AR环境中进行展示。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种超声引导气管镜的操作模拟方法，其特征在于，包括：
三维模型导入步骤：在VR/AR环境中导入待穿刺对象的三维模型、穿刺针模型以及超声探测器模型，所述超声探测器模型具有一探测端，所述探测端具有一不可见的、向外延伸的探测范围；
超声模拟步骤：通过第一控制器的位置和姿态控制所述超声探测器模型在VR/AR环境中的位置和姿态，截取得到所述探测范围中的所述三维模型的切面图像；
穿刺模拟步骤：通过第二控制器的位置和姿态控制所述穿刺针模型在VR/AR环境中的位置和姿态，截取得到所述探测范围中的所述穿刺针模型的图像；
图像展示步骤：将所述三维模型的切面图像和所述三维模型的切面图像和所述穿刺针模型的图像进行融合展示；
所述超声引导气管镜的操作模拟方法，还包括：
专项训练步骤：若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则将所述待穿刺对象的三维模型进行简化，得到简化后待穿刺对象的三维模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；和/或
提示步骤：判断所述穿刺针模型是否完全位于所述探测范围中，或者判断所述穿刺针模型与超声波输出方向的夹角是否大于预设值，在判断结果为否的情况下，根据所述穿刺针模型和所述超声探测器模型的位置、姿态计算所述穿刺针模型需要调整的位置、姿态偏移量，并进行提示。
2.根据权利要求1所述的超声引导气管镜的操作模拟方法，其特征在于，所述三维模型中具有一个或多个病灶区域；
在所述专项训练步骤中，包括：
步骤A：首先将三维模型简化为第一简化模型，第一简化模型由规则结构构成，得到第一简化模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；
对于第一简化模型对应的切面图像，若所述穿刺针模型完全位于所述探测范围中，且所述穿刺针模型与超声波输出方向的夹角大于预设值，则触发步骤B执行；否则，则重新触发步骤A执行；
步骤B：将三维模型简化为第二简化模型，第二简化模型由所述三维模型的灰模构成，得到第二简化模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；
对于第二简化模型对应的切面图像，若所述穿刺针模型完全位于所述探测范围中，且所述穿刺针模型与超声波输出方向的夹角大于预设值，则触发步骤C执行；否则，则重新触发步骤A执行；
步骤C：得到所述三维模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则返回触发步骤B执行；否则，则认为使用者操作正确。
3.根据权利要求1所述的超声引导气管镜的操作模拟方法，其特征在于，所述探测范围为多层结构，所述多层结构包括中心层，以及位于所述中心层两侧的侧边层；
所述切面图像为所述三维模型在所述中心层中的切面图像；
所述穿刺针模型的图像为所述穿刺针模型在所述多层结构中的图像，且所述穿刺针模型偏离所述中心层距离远的部分在所述穿刺针模型的图像中显示更细、颜色更浅。
4.根据权利要求1所述的超声引导气管镜的操作模拟方法，其特征在于，所述穿刺针模型中设置有两个或更多探测点，通过判断所述探测点是否全部位于所述探测范围中，来判断所述穿刺针模型是否完全位于所述探测范围中。
5.根据权利要求1所述的超声引导气管镜的操作模拟方法，其特征在于，所述图像展示步骤包括将融合图像在所述VR/AR环境中进行展示。
6.一种超声引导气管镜的操作模拟系统，其特征在于，包括：
三维模型导入模块：在VR/AR环境中导入待穿刺对象的三维模型、穿刺针模型以及超声探测器模型，所述超声探测器模型具有一探测端，所述探测端具有一不可见的、向外延伸的探测范围；
超声模拟模块：通过第一控制器的位置和姿态控制所述超声探测器模型在VR/AR环境中的位置和姿态，截取得到所述探测范围中的所述三维模型的切面图像；
穿刺模拟模块：通过第二控制器的位置和姿态控制所述穿刺针模型在VR/AR环境中的位置和姿态，截取得到所述探测范围中的所述穿刺针模型的图像；
图像展示模块：将所述三维模型的切面图像和所述三维模型的切面图像和所述穿刺针模型的图像进行融合展示；
所述超声引导气管镜的操作模拟系统，还包括：
专项训练模块：若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则将所述待穿刺对象的三维模型进行简化，得到简化后待穿刺对象的三维模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；和/或
提示模块：判断所述穿刺针模型是否完全位于所述探测范围中，或者判断所述穿刺针模型与超声波输出方向的夹角是否大于预设值，在判断结果为否的情况下，根据所述穿刺针模型和所述超声探测器模型的位置、姿态计算所述穿刺针模型需要调整的位置、姿态偏移量，并进行提示。
7.根据权利要求6所述的超声引导气管镜的操作模拟系统，其特征在于，所述三维模型中具有一个或多个病灶区域；
在所述专项训练模块中，包括：
模块A：首先将三维模型简化为第一简化模型，第一简化模型由规则结构构成，得到第一简化模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；
对于第一简化模型对应的切面图像，若所述穿刺针模型完全位于所述探测范围中，且所述穿刺针模型与超声波输出方向的夹角大于预设值，则触发模块B执行；否则，则重新触发模块A执行；
模块B：将三维模型简化为第二简化模型，第二简化模型由所述三维模型的灰模构成，得到第二简化模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；
对于第二简化模型对应的切面图像，若所述穿刺针模型完全位于所述探测范围中，且所述穿刺针模型与超声波输出方向的夹角大于预设值，则触发模块C执行；否则，则重新触发模块A执行；
模块C：得到所述三维模型对应的切面图像，提示使用者重新操作控制所述穿刺针模型进行穿刺；若所述穿刺针模型没有完全位于所述探测范围中，或者所述穿刺针模型与超声波输出方向的夹角没有大于预设值，则返回触发模块B执行；否则，则认为使用者操作正确。
8.根据权利要求6所述的超声引导气管镜的操作模拟系统，其特征在于，所述探测范围为多层结构，所述多层结构包括中心层，以及位于所述中心层两侧的侧边层；
所述切面图像为所述三维模型在所述中心层中的切面图像；
所述穿刺针模型的图像为所述穿刺针模型在所述多层结构中的图像，且所述穿刺针模型偏离所述中心层距离远的部分在所述穿刺针模型的图像中显示更细、颜色更浅。
9.根据权利要求6所述的超声引导气管镜的操作模拟系统，其特征在于，所述穿刺针模型中设置有两个或更多探测点，通过判断所述探测点是否全部位于所述探测范围中，来判断所述穿刺针模型是否完全位于所述探测范围中。
10.根据权利要求6所述的超声引导气管镜的操作模拟系统，其特征在于，所述图像展示模块包括将融合图像在所述VR/AR环境中进行展示。
CN202210018068.7A 2021-01-26 2022-01-07 超声引导气管镜的操作模拟方法和系统 Active CN114246690B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110114936.7A CN112932683A (zh) 2021-01-26 2021-01-26 超声引导气管镜的操作模拟方法和系统
CN2021101149367 2021-01-26

Publications (2)

Publication Number Publication Date
CN114246690A true CN114246690A (zh) 2022-03-29
CN114246690B CN114246690B (zh) 2023-07-21

Family

ID=76238271

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110114936.7A Pending CN112932683A (zh) 2021-01-26 2021-01-26 超声引导气管镜的操作模拟方法和系统
CN202210018068.7A Active CN114246690B (zh) 2021-01-26 2022-01-07 超声引导气管镜的操作模拟方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110114936.7A Pending CN112932683A (zh) 2021-01-26 2021-01-26 超声引导气管镜的操作模拟方法和系统

Country Status (1)

Country Link
CN (2) CN112932683A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203338648U (zh) * 2013-05-20 2013-12-11 浙江大学 一种超声引导针穿刺手术模拟训练系统
CN103971574A (zh) * 2014-04-14 2014-08-06 中国人民解放军总医院 超声引导肿瘤穿刺训练仿真系统
US20150056591A1 (en) * 2012-04-01 2015-02-26 Ronnie Tepper Device for training users of an ultrasound imaging device
JP2016080854A (ja) * 2014-10-16 2016-05-16 公立大学法人岩手県立大学 経腟法による超音波検査のための教材用モデルシステム
CN106821499A (zh) * 2017-02-16 2017-06-13 清华大学深圳研究生院 一种3d虚拟超声引导穿刺导航系统及方法
WO2018053739A1 (zh) * 2016-09-20 2018-03-29 深圳华声医疗技术有限公司 穿刺增强方法、装置及系统
CN108198247A (zh) * 2018-01-12 2018-06-22 福州大学 一种基于ar增强现实技术的侧脑室穿刺手术教学工具
CN110090069A (zh) * 2019-06-18 2019-08-06 无锡祥生医疗科技股份有限公司 超声穿刺引导方法、引导装置和存储介质
CN110279467A (zh) * 2019-06-19 2019-09-27 天津大学 光学定位下的超声图像与穿刺活检针的术中信息融合方法
CN110459085A (zh) * 2019-09-03 2019-11-15 李力 一种人体综合穿刺计算机仿真训练及考核装置
CN110537961A (zh) * 2019-08-01 2019-12-06 中国人民解放军总医院 一种ct和超声影像融合的微创介入引导系统及方法
CN209879955U (zh) * 2019-04-27 2019-12-31 北京急诊医学学会 一种颈内静脉穿刺示教模型
CN210409215U (zh) * 2019-03-22 2020-04-28 江苏省人民医院（南京医科大学第一附属医院） 一种改进的超声引导下深静脉穿刺针
CN111434316A (zh) * 2019-01-15 2020-07-21 北京理工大学 超声平面外血管穿刺辅助机器人
KR102165592B1 (ko) * 2019-11-15 2020-10-14 가천대학교 산학협력단 주의력결핍 과잉행동장애 치료를 위한 가상현실 콘텐츠 시스템 및 가상현실 콘텐츠를 제공하는 방법

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150056591A1 (en) * 2012-04-01 2015-02-26 Ronnie Tepper Device for training users of an ultrasound imaging device
CN203338648U (zh) * 2013-05-20 2013-12-11 浙江大学 一种超声引导针穿刺手术模拟训练系统
CN103971574A (zh) * 2014-04-14 2014-08-06 中国人民解放军总医院 超声引导肿瘤穿刺训练仿真系统
JP2016080854A (ja) * 2014-10-16 2016-05-16 公立大学法人岩手県立大学 経腟法による超音波検査のための教材用モデルシステム
WO2018053739A1 (zh) * 2016-09-20 2018-03-29 深圳华声医疗技术有限公司 穿刺增强方法、装置及系统
CN106821499A (zh) * 2017-02-16 2017-06-13 清华大学深圳研究生院 一种3d虚拟超声引导穿刺导航系统及方法
CN108198247A (zh) * 2018-01-12 2018-06-22 福州大学 一种基于ar增强现实技术的侧脑室穿刺手术教学工具
CN111434316A (zh) * 2019-01-15 2020-07-21 北京理工大学 超声平面外血管穿刺辅助机器人
CN210409215U (zh) * 2019-03-22 2020-04-28 江苏省人民医院（南京医科大学第一附属医院） 一种改进的超声引导下深静脉穿刺针
CN209879955U (zh) * 2019-04-27 2019-12-31 北京急诊医学学会 一种颈内静脉穿刺示教模型
CN110090069A (zh) * 2019-06-18 2019-08-06 无锡祥生医疗科技股份有限公司 超声穿刺引导方法、引导装置和存储介质
CN110279467A (zh) * 2019-06-19 2019-09-27 天津大学 光学定位下的超声图像与穿刺活检针的术中信息融合方法
CN110537961A (zh) * 2019-08-01 2019-12-06 中国人民解放军总医院 一种ct和超声影像融合的微创介入引导系统及方法
CN110459085A (zh) * 2019-09-03 2019-11-15 李力 一种人体综合穿刺计算机仿真训练及考核装置
KR102165592B1 (ko) * 2019-11-15 2020-10-14 가천대학교 산학협력단 주의력결핍 과잉행동장애 치료를 위한 가상현실 콘텐츠 시스템 및 가상현실 콘텐츠를 제공하는 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
褚天宇等: "肺穿刺虚拟训练系统设计", 电子测量技术, vol. 43, no. 14, pages 143 - 148 *

Also Published As

Publication number Publication date
CN114246690B (zh) 2023-07-21
CN112932683A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
Sutherland et al. An augmented reality haptic training simulator for spinal needle procedures
CN111026269B (zh) 基于力反馈的生物组织结构的触觉反馈方法、装置和设备
CN105096670B (zh) 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置
CN103903487B (zh) 一种基于3d力反馈技术的内窥镜微创手术三维仿真系统
US20160328998A1 (en) Virtual interactive system for ultrasound training
US20020168618A1 (en) Simulation system for image-guided medical procedures
US20140011173A1 (en) Training, skill assessment and monitoring users in ultrasound guided procedures
US20150056591A1 (en) Device for training users of an ultrasound imaging device
CN105264459A (zh) 用于模拟外科手术的触觉增强和虚拟现实系统
US20100063788A1 (en) Method of modelling the interaction between deformable objects
US20140180416A1 (en) System, method and apparatus for simulating insertive procedures of the spinal region
KR102536732B1 (ko) 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법
CN111061375B (zh) 基于虚拟手术的智能消毒训练方法和设备
CN113470495A (zh) 一种超声模拟培训方法、装置、存储介质及超声设备
US20180070816A1 (en) System and method for capturing spatially and temporally coherent eye gaze and hand data during performance of a manual task
CN107240344A (zh) 虚拟腹腔镜胆道探查术训练方法和系统
Riener et al. VR for medical training
Hochreiter et al. Touch sensing on non-parametric rear-projection surfaces: A physical-virtual head for hands-on healthcare training
CN104063057A (zh) 一种支持增强力触觉反馈的涡卷弹簧仿真系统
Hochreiter et al. Optical touch sensing on nonparametric rear-projection surfaces for interactive physical-virtual experiences
CN114246690A (zh) 超声引导气管镜的操作模拟方法和系统
Kwon et al. Realistic force reflection in a spine biopsy simulator
US20200334998A1 (en) Wearable image display device for surgery and surgery information real-time display system
CN115399840A (zh) 信息处理方法及相关装置
CN113889277A (zh) 一种基于vr技术的手术体验系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant