CN116138719A - 一种基于磁传感器的支气管镜的病灶识别方法及系统 - Google Patents

一种基于磁传感器的支气管镜的病灶识别方法及系统 Download PDF

Info

Publication number
CN116138719A
CN116138719A CN202211500662.6A CN202211500662A CN116138719A CN 116138719 A CN116138719 A CN 116138719A CN 202211500662 A CN202211500662 A CN 202211500662A CN 116138719 A CN116138719 A CN 116138719A
Authority
CN
China
Prior art keywords
focus
bronchoscope
magnetic sensor
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211500662.6A
Other languages
English (en)
Inventor
杨本全
狄观友
泮邵
王思博
李宏博
李卫平
王卫东
王桃红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Youyi Medical Equipment Co ltd
Original Assignee
Zhejiang Youyi Medical Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Youyi Medical Equipment Co ltd filed Critical Zhejiang Youyi Medical Equipment Co ltd
Priority to CN202211500662.6A priority Critical patent/CN116138719A/zh
Publication of CN116138719A publication Critical patent/CN116138719A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Endoscopes (AREA)

Abstract

本申请涉及一种基于磁传感器的支气管镜的病灶识别方法及系统，所述方法包括步骤：生成至目标病灶位置的支气管导航路径；操作带磁传感器模块的支气管镜沿导航路径行进至目标病灶位置；通过摄像头组件采集目标病灶的病灶图像；基于已训练好的量化的神经网络模型对病灶图像进行标记，并输出带标记的病灶图像。所述系统包括导航路径规划模块，磁传感器模块，摄像头组件，显示模块和处理模块。上述方案能够利用磁传感器导航，制订行进路线，快速到达目标位置；并且能够获取病灶的测绘信息，有利于为临床手术制定方案。

Description

一种基于磁传感器的支气管镜的病灶识别方法及系统
技术领域
本发明涉及医疗辅助设备技术领域，尤其涉及一种基于磁传感器的支气管镜的病灶识别方法及系统。
背景技术
支气管镜检查是呼吸系统疾病重要的诊疗手段之一，它可对气管、支气管管腔直接肉眼观察同时做活组织检查正确诊断疾病支气管镜可以对肺部疾病作治疗如吸引痰液、局部止血、新生物的摘除等还可以局部给药以达到更好的治疗效果。当病变位置需要经过多重支气管树分支的时候仅有当前支气管镜图像已经不足以辅助医生判断到达病变处的路径使得手术操作难度增加。
因此，如何在可视化的基础上为操作者提供在支气管树的精准导航，以及如何测绘靶病灶信息以帮助完善医疗方案是本领域技术人员需要解决的技术问题。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于磁传感器的支气管镜的病灶识别方法及系统。
为了实现上述的目的，本发明采用了以下的技术方案：
一种基于磁传感器的支气管镜的病灶识别方法，包括以下步骤：
S1，生成至目标病灶位置的支气管导航路径；
S2，操作带磁传感器模块的支气管镜沿导航路径行进至目标病灶位置，建立人体内至目标病灶位置的支气管插管通道；
S3，摄像头组件沿所述支气管插管通道移送至目标位置；
S4，通过摄像头组件采集目标病灶的病灶图像；
S5，基于已训练好的量化的神经网络模型对病灶图像进行标记，并输出带标记的病灶图像；所述对病灶图像进行标记，包括，对病灶图像进行矩形框标记，获取对应的矩形框的位置信息和尺寸信息，以及对病灶图像中对应的器官进行分类标记。
本发明的目的还在于提供一种基于磁传感器的支气管镜的病灶识别系统，包括
导航路径规划模块，用于基于CT原始图像数据进行三维重建得到患者的虚拟支气管树，并生成至所述虚拟支气管树上目标位置的导航路径；
磁传感器模块，用于在人体内对支气管镜沿所述导航路径进行导航；
摄像头组件，用于采集人体内支气管及病灶图像；
显示模块，用于显示图像信息和标记信息；
处理模块，用于基于已训练好的量化的神经网络模型对病灶图像进行标记，并输出带标记的病灶图像；所述对病灶图像进行标记，包括，对病灶图像进行矩形框标记，获取对应的矩形框的位置信息和尺寸信息，以及对病灶图像中对应的器官进行分类标记。
本发明相比现有技术突出且有益的技术效果是：
1)利用磁传感器导航，制订行进路线，快速到达目标位置。
2)在确定目标病灶后，通过获取病灶的图像信息，使用已训练好的量化的神经网络模型对其进行分析，能够得出需要的病灶信息，有利于为临床手术方案制定最优方案。
附图说明
图1为本发明的方法流程图；
图2为本发明的结构示意图。
具体实施方式
下面结合附图详细描述本发明的实施例。
如图1所示，本发明提供了一种基于磁传感器的支气管镜的病灶识别方法，该方法包括以下步骤：
S1，生成至目标病灶位置的支气管导航路径；
S2，操作带磁传感器模块的支气管镜沿导航路径行进至目标病灶位置，建立人体内至目标病灶位置的支气管插管通道；
S3，摄像头组件沿所述支气管插管通道移送至目标位置；
S4，通过摄像头组件采集目标病灶的病灶图像；
S5，基于已训练好的量化的神经网络模型对病灶图像进行标记，并输出带标记的病灶图像；所述对病灶图像进行标记，包括，对病灶图像进行矩形框标记，获取对应的矩形框的位置信息和尺寸信息，以及对病灶图像中对应的器官进行分类标记。
通过上述步骤，利用磁传感器导航，制订行进路线，快速到达目标位置；并且可实现对目标支气管的目标病灶进行识别，并输出病灶信息，以便于为临床手术制定最优方案。
所述S1具体包括以下步骤：导入患者的CT原始图像，进行三维重建后产生患者的虚拟支气管树图像，找到目标病灶并标记，系统自动识别生成通往目标病灶的导航路径。其对应图1中的插管前准备阶段。
步骤S2中的磁传感器模块产生磁信号用于定位。患者全身麻醉后，行单腔气管插管(7.5号及以上单腔插管)，操作电子支气管镜，通过扩展通道置入定位导管，首先进行注册过程，即将虚拟气管镜图像与患者实际的支气管树进行匹配，随后沿导航规划路径行进，该过程中虚拟气管镜图像与实际气管镜图像匹配，操作者结合两种图像，将虚拟气管镜图像上的探头标记引导至选定的目标病灶标记位置，即顺利到达病灶处，可进行针吸、钳检、刷检、注入染料定位等操作。
磁传感器的原理是基于霍尔效应原理。传感器控制单元SCU为磁场发生器提供电力，进而产生一系列变化的磁场，产生已知体积的变化磁通量。传感器通常嵌入在工具中，它们连接到串行接口单元SIU，而SIU又连接到SCU。如果这些传感器被放置在极光的探测区域内，那么由磁场发电机产生的不同磁场就会产生一个电压。感应电压的特性取wSIU将在传感器中感应到的电压转换为数字数据，并将其发送到SCU。SCU会分析数据，并计算出传感器的位置和方向。
作为优选，上述方法还包括：根据磁传感器预设导航路径，绘制支气管树状图，标注并计算出沿途左右支气管隆突尺寸位置大小，并通过显示模块显示。这样设置有利于在插管自动寻路步骤更容易的找到目标位置。其中标注并计算沿途左右支气管隆突尺寸位置大小的具体实现方式可参考申请人提交的名称为“一种具有辅助识别和双目摄像头的支气管镜系统及使用、识别方法”的在先申请，在此不再展开描述。
到达目标病灶位置后，将本发明步骤S3中所述的摄像头组件沿支气管插管通道送入。
上述步骤S3中的目标位置指的是摄像头对目标病灶进行观察和记录图像数据的位置，一般选择目标病灶所在的支气管中测量精度较高的位置。所述步骤S3包括：
S31，显示模块实时显示摄像头组件采集到的画面；
S32，在画面中出现支气管时，显示模块实时标定支气管在图像中的位置，并且显示摄像头组件到目标的相对距离及支气管的大小；
S33，当摄像头组件到达最佳工作距离时，即显示模块上显示的相对距离在预设值时，达到所述目标位置，保持该位置进行观察和记录图像数据。所述预设值为本领域技术人员根据试验获得的数值或数值范围，一般在10-30mm，在该位置的测量精度较高。
上述步骤S32的具体实现包括基于已训练好的量化的神经网络模型，即yolov4-tiny，对支气管图像进行矩形框标记，获取对应矩形框的位置信息与尺寸信息，对已经标定好的两路图像进行比对计算，获取像素比例尺和实际空间距离，输出带有标记数据的支气管图像至显示模块1供操作者参考，可选的，步骤S32还可输出支气管的分类标记。对于支气管的标记与识别的具体实现方式可参考申请人提交的名称为“一种具有辅助识别和双目摄像头的支气管镜系统及使用、识别方法”的在先申请，在此不再展开描述。
上述步骤S5中所述的量化的神经网络模型通过如下方式获得：
1)摄像头组件采集大量的受试者的病灶图像，在所述病灶图像上用矩形框标记，获取对应矩形框的位置信息和尺寸信息；
2)摄像头组件采集大量的受试者的病灶图像，在所述病灶图像上对包含的器官进行分类标记；
3)将上述得到的图像样本进行预处理获得训练集；
4)利用训练集在深度学习环境下训练得到量化的神经网络模型。
如图2所示，本发明还提供一种基于磁传感器的支气管镜的病灶识别系统，
包括导航路径规划模块，用于基于CT原始图像数据进行三维重建得到患者的虚拟支气管树，并生成至所述虚拟支气管树上目标位置的导航路径；磁传感器模块，用于在人体内对支气管镜沿所述导航路径进行导航；摄像头组件，用于采集人体内支气管及病灶图像；显示模块，用于显示图像信息和标记信息；处理模块，用于基于已训练好的量化的神经网络模型对病灶图像进行标记，并输出带标记的病灶图像；所述对病灶图像进行标记，包括，对病灶图像进行矩形框标记，获取对应的矩形框的位置信息和尺寸信息，以及对病灶图像中对应的器官进行分类标记。。处理器实现的具体功能参见前一部分关于基于磁传感器的支气管镜的病灶识别方法的描述，在此不再展开描述。
其中摄像头组件用于采集病灶图像，摄像头组件是由摄像头、主控编解码芯片和一些通信控制芯片组成。显示模块用于显示摄像头及处理器输出的图像数据。摄像头组件及显示器模块的具体电路结构和原理为现有技术，在此不再展开描述。
如图2所示，本发明的系统包括手持端和PC端，摄像头组件位于手持端，随支气管镜在人体内移动，PC端用于数据处理，手持端和PC端之间通过有限或无线的方式进行通信。为了便于操作者的观察，在手持端一侧设有显示模块，同时，也可以在PC端设置显示模块。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于磁传感器的支气管镜的病灶识别方法，其特征在于，包括以下步骤：
S1，生成至目标病灶位置的支气管导航路径；
S2，操作带磁传感器模块的支气管镜沿导航路径行进至目标病灶位置，建立人体内至目标病灶位置的支气管插管通道；
S3，摄像头组件沿所述支气管插管通道移送至目标位置；
S4，通过摄像头组件采集目标病灶的病灶图像；
S5，基于已训练好的量化的神经网络模型对病灶图像进行标记，并输出带标记的病灶图像；所述对病灶图像进行标记，包括，对病灶图像进行矩形框标记，获取对应的矩形框的位置信息和尺寸信息，以及对病灶图像中对应的器官进行分类标记。
2.根据权利要求1所述的基于磁传感器的支气管镜的病灶识别方法，其特征在于，所述量化的神经网络模型通过如下方式获得：
1)摄像头组件采集大量的受试者的病灶图像，在所述病灶图像上用矩形框标记，获取对应矩形框的位置信息和尺寸信息；
2)摄像头组件采集大量的受试者的病灶图像，在所述病灶图像上对包含的器官进行分类标记；
3)将上述得到的图像样本进行预处理获得训练集；
4)利用训练集在深度学习环境下训练得到量化的神经网络模型。
3.根据权利要求1所述的基于磁传感器的支气管镜的病灶识别方法，其特征在于，所述步骤S1包括：基于患者的CT原始图像数据进行三维重建得到患者的虚拟支气管树，标记目标病灶，在所述虚拟支气管树上生成至所述目标病灶的导航路径。
4.根据权利要求1所述的基于支气管镜的病灶识别方法，其特征在于，所述步骤S2包括：所述支气管镜包括用于摄像头组件通过的通道，该通道即为支气管插管通道。
5.根据权利要求1所述的基于磁传感器的支气管镜的病灶识别方法，其特征在于，所述步骤S3包括：显示模块实时显示摄像头组件采集到的画面；
在画面中出现支气管时，显示模块实时标定支气管在图像中的位置，并且显示摄像头组件到目标的相对距离及支气管的大小；
当摄像头组件到达最佳工作距离时，即显示模块上显示的相对距离在预设值时，达到所述目标位置，保持该位置进行观察和记录图像数据。
6.一种基于磁传感器的支气管镜的病灶识别系统，其特征在于，包括
导航路径规划模块，用于基于CT原始图像数据进行三维重建得到患者的虚拟支气管树，并生成至所述虚拟支气管树上目标位置的导航路径；
磁传感器模块，用于在人体内对支气管镜沿所述导航路径进行导航；
摄像头组件，用于采集人体内支气管及病灶图像；
显示模块，用于显示图像信息和标记信息；
处理模块，用于基于已训练好的量化的神经网络模型对病灶图像进行标记，并输出带标记的病灶图像；所述对病灶图像进行标记，包括，对病灶图像进行矩形框标记，获取对应的矩形框的位置信息和尺寸信息，以及对病灶图像中对应的器官进行分类标记。
7.根据权利要求6所述的基于磁传感器的支气管镜的病灶识别系统，其特征在于，磁传感器模块固定在支气管镜的头端，产生磁信号用于定位。
CN202211500662.6A 2022-11-28 2022-11-28 一种基于磁传感器的支气管镜的病灶识别方法及系统 Pending CN116138719A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211500662.6A CN116138719A (zh) 2022-11-28 2022-11-28 一种基于磁传感器的支气管镜的病灶识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211500662.6A CN116138719A (zh) 2022-11-28 2022-11-28 一种基于磁传感器的支气管镜的病灶识别方法及系统

Publications (1)

Publication Number Publication Date
CN116138719A true CN116138719A (zh) 2023-05-23

Family

ID=86357213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211500662.6A Pending CN116138719A (zh) 2022-11-28 2022-11-28 一种基于磁传感器的支气管镜的病灶识别方法及系统

Country Status (1)

Country Link
CN (1) CN116138719A (zh)

Similar Documents

Publication Publication Date Title
US8700132B2 (en) Systems and methods for navigation within a branched structure of a body
JP7154832B2 (ja) 形状推定をともなう軌道情報による位置合わせの改良
JP6534193B2 (ja) 実時間自動位置合わせフィードバック
US20200323463A1 (en) Method of using lung airway carina locations to improve enb registration
US20230172670A1 (en) Systems and methods for visualizing navigation of medical devices relative to targets
CN109620303B (zh) 一种肺部辅助诊断方法及装置
CN106901719A (zh) 用于使工具可视化的坐标系统之间的配准
CN113425411B (zh) 一种病变定位导航的装置
US20240341714A1 (en) Zoom detection and fluoroscope movement detection for target overlay
CN106913332A (zh) 探知位置和取向以使工具可视化
Wegner et al. Evaluation and extension of a navigation system for bronchoscopy inside human lungs
CN115797688A (zh) 一种基于支气管镜的病灶识别方法及系统
CN115462903B (zh) 一种基于磁导航的人体内外部传感器协同定位系统
NL2038192A (en) Intelligent anesthetization system for transperineal prostate puncturing based on multimodal medical images
CN116138719A (zh) 一种基于磁传感器的支气管镜的病灶识别方法及系统
Deguchi et al. A method for bronchoscope tracking using position sensor without fiducial markers
EP3545852B1 (en) Electromagnetic navigation bronchoscopy using ultrasound
CN116940297A (zh) 基于动态图像的定位的系统
WO2024222492A1 (zh) 导航设备、导航方法和可读存储介质
CN116863008A (zh) 具有支气管识别功能的支气管镜系统及支气管识别方法
WO2020107165A1 (zh) 一种肺部辅助诊断方法及装置
CN115462739A (zh) 一种具有器官辅助识别和双目摄像头的支气管镜系统及使用、识别方法
WO2022248982A1 (en) Volumetric filter of fluoroscopic sweep video
CN116368573A (zh) 医疗装置实时体积图像数据的转换与传输
CN118369037A (zh) 用于视频喉镜的图像引导的导航系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination