CN114532965A - 一种胸腔镜下实时肺癌病灶识别系统 - Google Patents

一种胸腔镜下实时肺癌病灶识别系统 Download PDF

Info

Publication number
CN114532965A
CN114532965A CN202210195375.2A CN202210195375A CN114532965A CN 114532965 A CN114532965 A CN 114532965A CN 202210195375 A CN202210195375 A CN 202210195375A CN 114532965 A CN114532965 A CN 114532965A
Authority
CN
China
Prior art keywords
focus
module
lung
image
submodule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210195375.2A
Other languages
English (en)
Inventor
刘涛
黄叠梅
王攀登
张天
付琦
吴鲧
余京华
甘小玲
钟声声
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Zhuang Medical Hospital Of Guangxi
Original Assignee
International Zhuang Medical Hospital Of Guangxi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Zhuang Medical Hospital Of Guangxi filed Critical International Zhuang Medical Hospital Of Guangxi
Priority to CN202210195375.2A priority Critical patent/CN114532965A/zh
Publication of CN114532965A publication Critical patent/CN114532965A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请涉及一种胸腔镜下实时肺癌病灶识别系统，其包括影像获取模块，用于获取肺部扫描影像；胸腔镜采集模块，用于实时采集胸腔内摄像头的回传影像，生成帧图像；对比识别模块，与胸腔镜采集模块连接，用于获取预设的包含各类病灶的样本特征的病灶样本数据库，并依据病灶样本数据库内的样本特征识别帧图像及肺部扫描影像内的病灶；病灶点确定模块，与影像获取模块、对比识别模块连接，用于统计病灶点；及病灶监控模块，与病灶点确定模块连接，用于在摄像头的回传影像中再次显示出病灶时标记该病灶点。本申请具有提升探查、识别病灶的效率的效果。

Description

一种胸腔镜下实时肺癌病灶识别系统
技术领域
本申请涉及智能医疗系统的领域，尤其是涉及一种胸腔镜下实时肺癌病灶识别系统。
背景技术
胸腔镜是胸部微创外科的代表性手术。胸腔镜外科手术，也称电视辅助胸腔镜手术，是使用现代电视摄像技术和高科技手术器械装备，在胸壁套管或微小切口下完成胸内复杂手术的微创胸外科新技术。
肺癌是发病率和死亡率增长最快，对人群健康和生命威胁最大的恶性肿瘤之一，癌细胞在未转移之前可通过胸外科手术进行切除等操作，而若癌细胞出现直接扩散、血行转移、淋巴道转移等情况时，治疗的难度将直线上升。因此对于肺癌患者而言，精确的判断癌细胞出现的位置，及早地进行手术等治疗措施，无疑都是至关重要的。
目前，肺癌病灶的识别主要依靠CT影像加人工识别的方式进行，需要依赖医生的经验去判断，而CT影像可得到的信息量有限，因此仍然需要依靠胸腔镜手术等探查和确认病情，最后再制定切实有效的治疗方案。
针对上述中的相关技术，发明人认为胸腔镜手术需要在患者胸壁上开孔，同时患者需要全身麻痹，手术时间越长对患者越不利，当遇到病灶较小、较深、分布较分散的情况下，探查和处理病灶需要消耗大量时间，存在有探查、识别病灶效率低的缺陷。
发明内容
为了提升探查、识别病灶的效率，本申请提供一种胸腔镜下实时肺癌病灶识别系统。
本申请提供的一种胸腔镜下实时肺癌病灶识别系统，采用如下的技术方案：
一种胸腔镜下实时肺癌病灶识别系统，包括：
影像获取模块，用于获取肺部扫描影像；
胸腔镜采集模块，用于实时采集胸腔内摄像头的回传影像，生成帧图像；
对比识别模块，与影像获取模块、胸腔镜采集模块连接，用于获取预设的包含各类病灶的样本特征的病灶样本数据库，并依据病灶样本数据库内的样本特征识别所述帧图像及所述肺部扫描影像内的病灶；
病灶点确定模块，与影像获取模块、对比识别模块连接，用于依据肺部扫描影像及对比识别模块所识别的病灶统计病灶点，并获取病灶点对应的病灶类型及位置信息；及
病灶监控模块，与病灶点确定模块连接，用于在摄像头的回传影像中再次显示出病灶时标记该病灶点，并在标记处显示对应的病灶类型及位置信息。
通过采用上述技术方案，先通过影像获取模块得到CT影像等肺部扫描影像，通过胸腔镜采集模块生成帧图像，通过对比识别模块识别病灶的类型，之后通过病灶点确定模块确定病灶点的位置，病灶监控模块扫描到所统计病灶点并作标记，并显示病灶类型及位置信息，方便提示医生病灶的信息，从而对病灶进行自动监控，进而提升探查、识别病灶的效率，缩短手术时间，提高手术效率与成功率。
优选的，所述病灶监控模块包括病灶显示模块，所述病灶显示模块用于在统计到至少两个病灶点时，分别获取显示有对应病灶的各帧图像，提取出与每一病灶唯一对应的帧图像，并将所提取的该部分帧图像排列显示于人机界面上。
通过采用上述技术方案，当识别到至少两个病灶时，通过病灶显示模块显示识别到的病灶的帧图像，并进行排列，辅助医生统计病灶的数量、类型及严重程度等。
优选的，所述病灶监控模块还包括：
对象选择模块，用于获取对应任一显示有所提取病灶的帧图像的选择指令；及
调控模块，与对象选择模块连接，用于基于选择指令，获取拍摄该帧图像时摄像头所对应的拍摄位置及拍摄视角，并输出用于调节摄像头至该拍摄位置及拍摄视角的控制指令。
通过采用上述技术方案，对象选择模块用于辅助医生选择合适的拍摄位置和视角，从而方便监控所选病灶的具体情况，方便诊断和治疗。
优选的，还包括：
肺模型搭建模块，与影像获取模块及胸腔镜采集模块连接，用于依据肺部扫描影像及对应肺叶表面区域的帧图像搭建肺部的静态三维模型；及
穿刺选位模块，与肺模型搭建模块连接，用于依据预设约束条件在静态三维模型表面确定至少一处穿刺点，并依据病灶点与穿刺点确定穿刺路径。
通过采用上述技术方案，通过肺模型搭建模块搭建好患者肺部的静态三维模型后，再通过穿刺选位模块选择穿刺点，例如预设约束条件与距离关联，则可优先选取穿刺距离最短的穿刺点，减少对人体组织的损伤范围，保护患者的身体健康。
优选的，所述肺部扫描影像包含单个呼吸周期内的多组处于不同张弛状态的肺部静态影像；
所述肺模型搭建模块还包括影像筛选子模块，所述影像筛选子模块用于依据肺叶表面区域的帧图像判定肺部的张弛状态，并依据肺部的张弛状态选取同一张弛状态下的所有肺部静态影像作为搭建静态三维模型的参考。
通过采用上述技术方案，做CT影像时患者的肺部是处于呼吸状态的，肺部舒张时与萎缩时其内部的样本特征存在较大的差别，而胸腔镜手术时患者的部分肺叶是处于不通气的状态，即接近于萎缩状态，因此需要筛选出肺部扫描影像中处于该状态下的肺部静态影像，去匹配肺叶表面的帧图像，统一作为搭建静态三维模型的参考。
优选的，所述肺模型搭建模块还包括血管造影子模块；
所述血管造影子模块用于获取肺叶内部平均管径超过设定值的血管的血管分布情况，并依据血管分布情况于静态三维模型上构建血管实体特征；
所述血管造影子模块连接有穿刺模拟子模块，所述穿刺模拟子模块用于在静态三维模型上模拟得到穿刺点至病灶点的穿刺路径，并判断穿刺路径与血管实体特征之间是否存在重叠区块；若存在至少一个重叠区块，则标记该重叠区块对应的穿刺路径；
若不存在重叠区块，则不作标记。
通过采用上述技术方案，血管造影子模块可查找肺部存在的血管，同时为减少数据库的容量，选取平均管径超过设定值的血管，即较为关键的血管作为查找对象，穿刺模拟子模块则检测穿刺路径与血管实体特征之间存在的重叠区块，并作标记，提示医生避让血管，避免出现内出血等情况。
优选的，所述对比识别模块还包括：
组织辨别子模块，用于获取预设的组织特征样本集，并依据组织特征样本集及肺叶表面区域的帧图像识别肺叶表面区域的各处人体组织；及
组织分区子模块，与组织辨别子模块连接，用于获取完成识别的人体组织的组织信息，依据预设的分区条件将肺部表面区域划分为操作区与避让区；及
AR显示子模块，与组织分区子模块连接，用于通过AR技术于摄像头的回传影像上显示对应操作区与避让区的标记框。
通过采用上述技术方案，标记框所围区域为操作区或避让区，组织特征样本集内包含各类人体组织样本的图片，即组织辨别子模块会一一对比肺叶表面区域的各处人体组织与样本集内的样本的相似度，并识别出人体组织的名称及特性等组织信息，针对于与手术无关的人体组织，或者类似于动脉、心脏等关键位置则会作为避让区，避免摄像头及手术器械碰触到而造成无法预估的后果，因此避让区和操作区的划定可增加对患者的安全保障，辅助医生在紧张的手术环境中减少失误，提升手术成功率。
优选的，所述对比识别模块还包括：
特征选定子模块，用于选取肺部表面区域的定位特征点，定位特征点的数量不小于操作区的数量；及
动态捕捉子模块，与特征选定子模块连接，用于依据肺部表面区域的帧图像内包含的定位特征点在帧图像上实时搭建坐标系，并获取操作区与避让区的标记框相对定位特征点的位置信息，并依据实时搭建的坐标系调整对应操作区与避让区的标记框在帧图像上的位置。
通过采用上述技术方案，定位特征点需具有易辨识的特性，作为坐标系的参考点，可以辅助实时调整坐标系的位置及角度，之后再实时更新操作区及避让区的位置，则能实时判断操作区的位置，避免手术时伤及无关的人体组织，提升手术成功率。
优选的，还包括规避模块，所述规避模块用于实时计算胸腔内摄像头与胸腔内非流动性人体组织的安全距离，并判断安全距离是否低于预设值；
若低于预设值，则获取该安全距离对应的非流动性人体组织相对摄像头的隐患方位，并于摄像头的回传影像上对应隐患方位的边缘处显示隐患标记。
通过采用上述技术方案，当伸入胸腔镜的摄像头碰到胸壁或肺叶时，可能对人体组织造成感染或损伤，因此通过规避模块监测摄像头与人体组织的安全距离，当安全距离过短时则在回传影像上显示隐患标记，方便操控摄像头的人员修正摄像头的位置。
优选的，所述对比识别模块还包括：
病灶信息获取子模块，与所述胸腔镜采集模块连接，用于识别帧图像内的病灶并生成病灶信息；
影像识别子模块，与所述影像获取模块连接，用于识别肺部扫描影像中的病灶得到影像识别信息；及
病灶分析子模块，所述病灶分析子模块与病灶信息获取子模块、影像识别子模块连接，用于依据病灶信息及影像识别信息确定帧图像内的病灶与肺部扫描影像内的病灶是否为同一病灶；若为同一病灶，则对病灶点进行合并；
若非同一病灶，则独立统计病灶点。
通过采用上述技术方案，病灶信息获取子模块可以通过识别摄像头回传影像的帧图像判断是否存在特征相符的病灶，得到病灶信息，而影像识别子模块则可以分析CT影像等，得到影像识别信息，再通过病灶分析子模块对两者进行综合分析，确定肺叶表面和肺叶内部的病灶是否为同一病灶，以此方便精确统计病灶数量，辅助医生等快速诊断和治疗，减少时间消耗。
综上所述，本申请包括以下至少一种有益技术效果：
1.通过对比识别模块识别病灶的类型，之后通过病灶点确定模块确定病灶点的位置，病灶监控模块扫描到所统计病灶点并作标记，并显示病灶类型及位置信息，方便提示医生病灶的信息，从而对病灶进行自动监控，进而提升探查、识别病灶的效率，缩短手术时间，提高手术效率与成功率；
2.当识别到至少两个病灶时，通过病灶显示模块显示识别到的病灶的帧图像，并进行排列，辅助医生统计病灶的数量、类型及严重程度等，而对象选择模块用于辅助医生选择合适的拍摄位置和视角，从而方便监控所选病灶的具体情况，方便诊断和治疗；
3.通过肺模型搭建模块搭建好患者肺部的静态三维模型后，再通过穿刺选位模块选择穿刺点，例如预设约束条件与距离关联，则可优先选取穿刺距离最短的穿刺点，减少对人体组织的损伤范围，保护患者的身体健康。
附图说明
图1是本申请实施例的胸腔镜下实时肺癌病灶识别系统的系统模块示意图。
图2是本申请实施例的帧图像、静态三维模型及回传影像的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面结合全部附图对本申请作进一步详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
在本申请中，“模块”、“系统”指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。例如，模块可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是模块。一个或多个模块可在执行的过程和/或线程中，并且模块可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。
本申请实施例公开一种胸腔镜下实时肺癌病灶识别系统。参照图1、图2，胸腔镜下实时肺癌病灶识别系统包括影像获取模块、胸腔镜采集模块、肺模型搭建模块、对比识别模块、病灶点确定模块、病灶监控模块、穿刺选位模块、穿刺模拟子模块及规避模块。
影像获取模块，用于获取肺部扫描影像。
其中，肺部扫描影像可采用CT扫描得到的CT影像，也可采用彩超等获得，本实施例以CT影像为例，患者在做CT时其肺部是处于呼吸状态的，肺部舒张时与萎缩时其内部的样本特征存在较大的差别，因此肺部扫描影像选取单个呼吸周期内的多组不同张弛状态的肺部静态影像。
胸腔镜采集模块，用于实时采集胸腔内摄像头的回传影像，生成帧图像。
其中，胸腔镜手术中，需要对患者进行全麻同时仅对不手术的一侧肺部通气，手术侧的肺部不通气。医生需要通过穿刺套管在患者胸壁处开孔，将医用摄像头置入胸腔内，通过人工操作或机械臂操作的方式调节摄像头在胸腔内的拍摄位置和视角方向，并实时采集回传影像，提取每一帧图像得到帧图像，帧图像例如图2中A窗口、B窗口、C窗口、D窗口。
肺模型搭建模块，与影像获取模块及胸腔镜采集模块连接，用于依据肺部扫描影像及对应肺叶表面区域的帧图像搭建肺部的静态三维模型。
其中，静态三维模型例如图2中的E，肺部扫描影像主要是通过扫描肺叶内部的断层得到，可用于重新搭建肺部内部的三维模型，而摄像头则可以拍摄到肺叶表面的特征，通过对帧图像进行图像处理、图像分割、图像渲染、图像分析等得到的表面特征再对断层扫描重建得到的三维轮廓进行覆盖，使得该三维模型既具有内部的特征构造，同时具有表面的特征表现。
由于肺部扫描影像包含单个呼吸周期内的多组不同张弛状态的肺部静态影像，而胸腔镜手术时患者的部分肺叶是处于不通气的状态，即接近于萎缩状态，因此肺模型搭建模块还包括影像筛选子模块及血管造影子模块，影像筛选子模块则用于筛选出肺部扫描影像中肺部处于该萎缩状态下的肺部静态影像。
影像筛选子模块先依据肺叶表面区域的帧图像判定肺部的张弛状态，具体可先采集一组或多组帧图像，测量肺部长宽尺寸、表面特征之间的间距比例等，表面特征可选取血管节点等。再根据数据匹配对应的一组肺部静态影像，该组肺部静态影像即与帧图像处于同一张弛状态，可作为搭建静态三维模型的参考。
血管造影子模块用于获取肺叶内部平均管径超过设定值的血管的血管分布情况，依据血管分布情况于静态三维模型上构建血管实体特征。
具体的，可通过动脉造影手术等得到肺叶内血管在各个视角方向的影像，再依据血管的粗细、数量、走向等血管分布情况在静态三维模型上构建血管实体特征。而平均管径未超过设定值的血管在受干扰时不容易出现大出血等严重后果，因此仅选取平均管径超过设定值的血管，以此减少数据库的容量，减少绘制的工作量，提升整体的血管构建效率，方便辅助医生等用户进行诊断和治疗。
在获取到帧图像、肺部扫描影像及静态三维模型后，则可通过对比识别模块对病灶进行识别操作。
对比识别模块包括组织辨别子模块、组织分区子模块、病灶信息获取子模块、影像识别子模块及病灶分析子模块，其中，组织辨别子模块用于获取预设的组织特征样本集，组织特征样本集包括正常组织样本数据库及病灶样本数据库。正常组织样本数据库包含各类人体组织在正常状态下的特征样本，包括浆膜的特征样本、血管的特征样本、肺叶的特征样本等。病灶样本数据库内包含各类病灶的样本特征，包括各个时期肺癌病灶的样本特征，还包括肺部炎症、肺结核、肺结节、肺纤维化、肺脓肿等病灶的样本特征，样本特征具体特定的颜色、形状、纹理等。
组织辨别子模块，依据组织特征样本集及肺叶表面区域的帧图像识别肺叶表面区域的各处人体组织，例如某一区块为肺癌病灶，某一区块为正常的血管，以此方便医生在手术时避开正常的人体组织部分。
当初步审定肺叶表面区域存在病灶，即某些区域非正常的人体组织时，与胸腔镜采集模块连接的病灶信息获取子模块依据病灶样本数据库内的样本特征识别帧图像以生成病灶信息，通过对比帧图像上的图像特征与病灶样本数据库内的样本特征，识别帧图像内是否存在病灶，当存在与样本特征相似的病灶，例如在颜色、形状、纹理上两者相似度达到设定阈值时，则读取样本特征所对应病灶的类型、大小、严重程度等病灶信息。不同帧图像内的病灶会进行合并，以排除重复部分。
与影像获取模块连接的影像识别子模块，用于识别肺部扫描影像中的病灶得到影像识别信息。通过对比肺部扫描影像中的图像特征与病灶样本数据库内的样本特征，识别肺部扫描影像中是否存在病灶，当存在与样本特征相似的病灶，即两者相似度达到设定阈值时，则读取样本特征对应病灶的类型、大小、严重程度等病灶信息。病灶样本数据库内预存储有对应CT影像的经灰度化处理的样本特征，以及对应拍摄图像的全彩色的样本特征，以提高识别的准确率。
病灶点确定模块与病灶信息获取子模块、影像识别子模块连接，用于依据病灶信息及影像识别信息统计病灶点，并获取病灶点对应的病灶类型及位置信息，位置信息则可通过静态三维模型得到，病灶点确定模块通过位置信息将病灶点与静态三维模型的空间坐标一一对应，以此可以方便医生了解到肺部全貌及病灶的分布情况。
病灶分析子模块连接于病灶信息获取子模块及影像识别子模块，用于依据病灶信息及影像识别信息确定帧图像内的病灶与肺部扫描影像内的病灶是否为同一病灶；
若为同一病灶，则对病灶点进行合并；
若非同一病灶，则独立统计病灶点。
具体的，系统通过CT影像等肺部扫描影像可以得到肺叶内部的组织结构特征，而通过帧图像则可以得到肺叶表面的组织结构特征，但肺叶内部的病灶可能延伸至肺叶表面，因此病灶信息获取子模块与影像识别子模块在分别识别肺叶表面和内部时可能得到两组病灶，但实际是一组病灶，因此需要进行合并。判定是否为同一病灶的标准即两处病灶是否在静态三维模型上出现位置重叠部分或连接部分，若具有位置重叠部分或连接部分则表示为同一病灶点。病灶点的确定可以方便对病灶进行可视化的显示和标记，方便医生等用户辨认病情，并及时作出精确的规划，缩短手术时间。
病灶监控模块包括病灶显示模块、模型显示模块及标记模块，其中病灶显示模块与病灶点确定模块连接，用于在统计到至少两个病灶点时，分别获取显示有对应病灶的各帧图像，提取出与每一病灶唯一对应的帧图像，并将所提取的该部分帧图像排列显示于人机界面上。
具体的，与每一病灶唯一对应的帧图像，可以选取病灶在识别出时的那一帧帧图像，也可选取清晰度最高的那一帧帧图像，或者选取病灶位于图像中央处时的帧图像，或者选取图像中仅显示该唯一病灶的帧图像，具体可由用户设定。人机界面可采用大屏幕进行显示，提取得到的多组帧图像可在大屏幕上进行分屏显示。
模型显示模块用于在人机界面上显示静态三维模型，大屏幕上会预留一块窗口显示静态三维模型，医生等用户可通过拖动静态三维模型所在界面调整静态三维模型的观察视角。同时静态三维模型可具有两种展示方式，即不透模式及半透模式，不透模式下用户可以清晰看到静态三维模型的表面轮廓及特征，半透模式下用户可以看到肺部的内部结构特征，通过两种模式的切换显示，可辅助用户了解患者肺部表面及内部的情况，方便医生等用户了解手术全局，以此提升手术的成功率。
大屏幕上会预留一块窗口显示摄像头实时采集的回传影像，例如图2中的F窗口，病灶监控模块还包括对象选择模块及调控模块。对象选择模块用于获取对应任一显示有所提取病灶的帧图像的选择指令，人机界面上显示的帧图像则为可通过选择指令触发的控件，选择指令可采用通过鼠标点击等方式输入。
当用户输入对应某一帧图像的选择指令时，例如鼠标点击在该帧图像上时，与对象选择模块连接的调控模块获取拍摄该帧图像时摄像头所对应的拍摄位置及拍摄视角，并输出用于调节摄像头至该拍摄位置与拍摄角度的控制指令，此时回传影像会显示该病灶所在处的场景。控制指令主要针对于机械臂等自动化器械，以此实现自动精准得控制胸腔内的摄像头拍摄位置及拍摄角度的目的，从而还原医生想要看到的场景，并做具有针对性的监控。
而标记模块则用于在摄像头的回传影像中再次显示出病灶时标记该病灶点，并在标记处显示对应的病灶类型及位置信息，标记可采用高亮的边框描边显示，边框与病灶的外圈轮廓重叠，以此方便提示医生病灶的位置、形状等各项信息，从而对病灶进行自动监控，进而提升探查、识别病灶的效率，缩短手术时间，提高手术效率与成功率。
而组织分区子模块则与组织辨别子模块及病灶显示模块连接，用于获取完成识别的人体组织的组织信息，依据预设的分区条件将肺部表面区域划分为操作区与避让区。
具体的，组织信息包括人体组织的类型、覆盖位置等信息，预设的分区条件由用户设定，例如分区条件可设定为平均管径大于设定值的血管覆盖区域为避让区，医疗器械碰触该区域可能造成大出血情况，例如分区条件可设定为病灶点覆盖位置半径外扩1公分的区域作为操作区等，具体分区条件可提前设定多项，用户可根据实际情况做选择，实现动态调节。操作区至少覆盖标记病灶的边框，医生可在操作区内对病灶进行诊断与治疗。
组织分区子模块连接有AR显示子模块，AR显示子模块与病灶显示模块连接，用于通过AR技术，即增强现实技术，于摄像头的回传影像上显示对应操作区与避让区的标记框，例如图2中的F窗口。标记框为虚拟影像，实时显示于回传影像上，其所围区域即为操作区或避让区。
由于医生在诊断治疗时需要频繁调换摄像头的位置和视角，因此标记框及病灶的标记等虚拟影像均需要实时定位显示，因此AR显示子模块及标记模块均连接有特征选定子模块及动态捕捉子模块。其中特征选定子模块，用于选取肺部表面区域的定位特征点，定位特征点可由用户进行选择，也可由系统自动选取，一般选取具有显著特征的人体组织，例如深色的病灶、血管的分叉节点、浆膜聚集处的白色节点等，定位特征点确定后即可与静态三维模型坐标匹配，作为肺叶表面区域的参考坐标点。且定位特征点的数量不小于操作区的数量，以此避免定位出错的情况。
动态捕捉子模块与特征选定子模块连接，用于依据肺部表面区域的帧图像内包含的定位特征点在帧图像上实时搭建坐标系，并获取操作区与避让区的标记框相对定位特征点的位置信息，并依据实时搭建的坐标系调整对应操作区与避让区的标记框在帧图像上的位置，每一帧帧图像均采用上述方式进行坐标系的定位，以使得每一标记框或病灶的标记在每一帧帧图像上均具有确定的位置坐标。当连续帧的帧图像播放时，标记框或病灶的标记则会随摄像头视角的变化而变化，从而实现对操作区、避让区、病灶点等的动态监控。
肺癌手术中，可能需要对肺叶进行穿刺取样活检等操作，需要将穿刺针刺入肺叶内进行取样活检，方便诊断与治疗。而穿刺选位模块与肺模型搭建模块连接，用于依据预设约束条件在静态三维模型表面确定至少一处穿刺点。具体的预设约束条件可为穿刺距离，穿刺选位模块依据病灶点的位置信息及肺部的静态三维模型计算肺叶表面各处至病灶点的穿刺距离，一般优选穿刺距离较近的几条穿刺路径，同时确定肺叶表面的穿刺点，例如选取穿刺距离位于设定排名以内的穿刺点。穿刺点可通过AR显示子模块标记显示于回传影像上。
在其他实施例中，穿刺点可表示为穿刺区域，由于肺叶表面一般为平滑的表面，不同穿刺点的穿刺距离的过渡变化较为平滑，因此可按照穿刺距离对穿刺区域进行划分，并采用不同的标记表现方式进行区分，例如穿刺距离位于1公分至1.1公分的为绿色区块，1.1公分至1.2公分的为黄色区域，1.2公分至1.3公分的为红色区域，以此类推，区域的分界线对应穿刺距离划分的临界点，以类似于等高线地形图的方式表示穿刺区域，方便医生进行穿刺点的选择。
由于肺内存在血管等人体关键组织，因此在穿刺时需要考虑避开一些关键的人体组织，对穿刺路径进行优化选择。穿刺模拟子模块与血管造影子模块连接，穿刺模拟子模块用于在静态三维模型上模拟得到穿刺点至病灶点的穿刺路径，并判断穿刺路径与血管实体特征之间是否存在重叠区块；
若存在至少一个重叠区块，则标记该重叠区块对应的穿刺路径；
若不存在重叠区块，则不作标记。
具体的，通过血管造影子模块可以得到显示于静态三维模型上的血管实体特征，而通过穿刺选位模块则可以得到多条穿刺路径，之后再通过判断是否存在重叠区块的方式筛除掉可能会影响到血管的穿刺路径，即筛除被标记的穿刺路径，得到相对安全的穿刺路径，以此辅助医生选取合适的穿刺路径进行穿刺取样，降低手术的安全隐患。
而摄像头在胸腔内活动时可能会触碰到胸壁、肺叶等人体组织，可能对人体组织造成感染或损伤，因此系统设置了规避模块，规避模块用于实时计算胸腔内摄像头与胸腔内非流动性人体组织的安全距离，并判断安全距离是否低于预设值；
若低于预设值，则获取该安全距离对应的非流动性人体组织相对摄像头的隐患方位，并于摄像头的回传影像上对应隐患方位的边缘处显示隐患标记。
具体的，非流动性人体组织指除组织液、血液等以外的人体组织、器官等，安全距离的测量可通过雷达的方式测量，例如在摄像头处安装微型雷达，每当摄像头移动时则通过雷达扫描胸腔内的非流动性人体组织，通过所生成的点云计算安全距离。而隐患标记可采用颜色标记，例如在摄像头的一点钟方向侧安全距离缩短至预设值以下时，在回传影像的一点钟方向的窗口边缘显示闪烁的红光，以此提示医生及时调整摄像头使之远离一点钟侧，避免损伤人体组织。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种胸腔镜下实时肺癌病灶识别系统，其特征在于：包括影像获取模块，用于获取肺部扫描影像；
胸腔镜采集模块，用于实时采集胸腔内摄像头的回传影像，生成帧图像；
对比识别模块，与影像获取模块、胸腔镜采集模块连接，用于获取预设的包含各类病灶的样本特征的病灶样本数据库，并依据病灶样本数据库内的样本特征识别所述帧图像及所述肺部扫描影像内的病灶；
病灶点确定模块，与影像获取模块、对比识别模块连接，用于依据肺部扫描影像及对比识别模块所识别的病灶统计病灶点，并获取病灶点对应的病灶类型及位置信息；及
病灶监控模块，与病灶点确定模块连接，用于在摄像头的回传影像中再次显示出病灶时标记该病灶点，并在标记处显示对应的病灶类型及位置信息。
2.根据权利要求1所述的胸腔镜下实时肺癌病灶识别系统，其特征在于：所述病灶监控模块包括病灶显示模块，所述病灶显示模块用于在统计到至少两个病灶点时，分别获取显示有对应病灶的各帧图像，提取出与每一病灶唯一对应的帧图像，并将所提取的该部分帧图像排列显示于人机界面上。
3.根据权利要求2所述的胸腔镜下实时肺癌病灶识别系统，其特征在于：所述病灶监控模块还包括：
对象选择模块，用于获取对应任一显示有所提取病灶的帧图像的选择指令；及
调控模块，与对象选择模块连接，用于基于选择指令，获取拍摄该帧图像时摄像头所对应的拍摄位置及拍摄视角，并输出用于调节摄像头至该拍摄位置及拍摄视角的控制指令。
4.根据权利要求1所述的胸腔镜下实时肺癌病灶识别系统，其特征在于：还包括：
肺模型搭建模块，与影像获取模块及胸腔镜采集模块连接，用于依据肺部扫描影像及对应肺叶表面区域的帧图像搭建肺部的静态三维模型；及
穿刺选位模块，与肺模型搭建模块连接，用于依据预设约束条件在静态三维模型表面确定至少一处穿刺点，并依据病灶点与穿刺点确定穿刺路径。
5.根据权利要求4所述的胸腔镜下实时肺癌病灶识别系统，其特征在于：所述肺部扫描影像包含单个呼吸周期内的多组处于不同张弛状态的肺部静态影像；
所述肺模型搭建模块还包括影像筛选子模块，所述影像筛选子模块用于依据肺叶表面区域的帧图像判定肺部的张弛状态，并依据肺部的张弛状态选取同一张弛状态下的所有肺部静态影像作为搭建静态三维模型的参考。
6.根据权利要求4所述的胸腔镜下实时肺癌病灶识别系统，其特征在于：所述肺模型搭建模块还包括血管造影子模块；
所述血管造影子模块用于获取肺叶内部平均管径超过设定值的血管的血管分布情况，并依据血管分布情况于静态三维模型上构建血管实体特征；
所述血管造影子模块连接有穿刺模拟子模块，所述穿刺模拟子模块用于在静态三维模型上模拟得到穿刺点至病灶点的穿刺路径，并判断穿刺路径与血管实体特征之间是否存在重叠区块；若存在至少一个重叠区块，则标记该重叠区块对应的穿刺路径；
若不存在重叠区块，则不作标记。
7.根据权利要求1所述的胸腔镜下实时肺癌病灶识别系统，其特征在于：所述对比识别模块还包括：
组织辨别子模块，用于获取预设的组织特征样本集，并依据组织特征样本集及肺叶表面区域的帧图像识别肺叶表面区域的各处人体组织；及
组织分区子模块，与组织辨别子模块连接，用于获取完成识别的人体组织的组织信息，依据预设的分区条件将肺部表面区域划分为操作区与避让区；及
AR显示子模块，与组织分区子模块连接，用于通过AR技术于摄像头的回传影像上显示对应操作区与避让区的标记框。
8.根据权利要求7所述的胸腔镜下实时肺癌病灶识别系统，其特征在于：所述对比识别模块还包括：
特征选定子模块，用于选取肺部表面区域的定位特征点，定位特征点的数量不小于操作区的数量；及
动态捕捉子模块，与特征选定子模块连接，用于依据肺部表面区域的帧图像内包含的定位特征点在帧图像上实时搭建坐标系，并获取操作区与避让区的标记框相对定位特征点的位置信息，并依据实时搭建的坐标系调整对应操作区与避让区的标记框在帧图像上的位置。
9.根据权利要求1所述的胸腔镜下实时肺癌病灶识别系统，其特征在于：还包括规避模块，所述规避模块用于实时计算胸腔内摄像头与胸腔内非流动性人体组织的安全距离，并判断安全距离是否低于预设值；
若低于预设值，则获取该安全距离对应的非流动性人体组织相对摄像头的隐患方位，并于摄像头的回传影像上对应隐患方位的边缘处显示隐患标记。
10.根据权利要求1所述的胸腔镜下实时肺癌病灶识别系统，其特征在于：所述对比识别模块还包括：
病灶信息获取子模块，与所述胸腔镜采集模块连接，用于识别帧图像内的病灶并生成病灶信息；
影像识别子模块，与所述影像获取模块连接，用于识别肺部扫描影像中的病灶得到影像识别信息；及
病灶分析子模块，所述病灶分析子模块与病灶信息获取子模块、影像识别子模块连接，用于依据病灶信息及影像识别信息确定帧图像内的病灶与肺部扫描影像内的病灶是否为同一病灶；
若为同一病灶，则对病灶点进行合并；
若非同一病灶，则独立统计病灶点。
CN202210195375.2A 2022-03-01 2022-03-01 一种胸腔镜下实时肺癌病灶识别系统 Pending CN114532965A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210195375.2A CN114532965A (zh) 2022-03-01 2022-03-01 一种胸腔镜下实时肺癌病灶识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210195375.2A CN114532965A (zh) 2022-03-01 2022-03-01 一种胸腔镜下实时肺癌病灶识别系统

Publications (1)

Publication Number Publication Date
CN114532965A true CN114532965A (zh) 2022-05-27

Family

ID=81661715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210195375.2A Pending CN114532965A (zh) 2022-03-01 2022-03-01 一种胸腔镜下实时肺癌病灶识别系统

Country Status (1)

Country Link
CN (1) CN114532965A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310282A (zh) * 2023-03-15 2023-06-23 郑州大学 一种胸腔镜图像中病灶标识方法及系统
CN117503344A (zh) * 2023-12-12 2024-02-06 中国人民解放军总医院第一医学中心 多根穿刺针功率确认方法、装置、电子设备及存储介质
CN117576321A (zh) * 2023-12-05 2024-02-20 上海长征医院 一种辅助肝脏手术规划建模系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310282A (zh) * 2023-03-15 2023-06-23 郑州大学 一种胸腔镜图像中病灶标识方法及系统
CN117576321A (zh) * 2023-12-05 2024-02-20 上海长征医院 一种辅助肝脏手术规划建模系统
CN117503344A (zh) * 2023-12-12 2024-02-06 中国人民解放军总医院第一医学中心 多根穿刺针功率确认方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN114532965A (zh) 一种胸腔镜下实时肺癌病灶识别系统
US8687863B2 (en) Image processing apparatus, control method thereof and computer program
US20190046071A1 (en) System and method for lung visualization using ultrasound
JP5222082B2 (ja) 情報処理装置およびその制御方法、データ処理システム
CN111227864B (zh) 使用超声图像利用计算机视觉进行病灶检测的装置
US10448862B2 (en) System and method for light based lung visualization
US20110211057A1 (en) Image processing apparatus, image processing method, program, and program recording medium
CN111214255B (zh) 一种医学超声图像计算机辅助方法
CN114129240B (zh) 一种引导信息生成方法、系统、装置及电子设备
KR101840350B1 (ko) 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
US6983063B1 (en) Computer-aided diagnosis method for aiding diagnosis of three dimensional digital image data
JP2014000475A (ja) 医用画像処理装置及び医用画像診断装置
CN101849813A (zh) 三维心脏超声虚拟内窥镜系统
CN108766554A (zh) 用户操纵的即时路径规划
JPH11104072A (ja) 医療支援システム
KR102270934B1 (ko) 의료용 인공 신경망 기반 대표 영상을 제공하는 의료 영상 판독 지원 장치 및 방법
KR20160064834A (ko) 사용자의 진단 의도에 기초한 컴퓨터 보조 진단 장치 및 방법
JP5539478B2 (ja) 情報処理装置および情報処理方法
JP2002140689A (ja) 医用画像処理装置及びその方法
CN113470060B (zh) 基于ct影像的冠状动脉多角度曲面重建可视化方法
JP2004313545A (ja) 心臓の運動表示方法及び画像診断装置
Dori et al. Speckle tracking technology for quantifying lung sliding
US20230419602A1 (en) Rendering and displaying a 3d representation of an anatomical structure
KR102394757B1 (ko) 복수의 축 상에서 오브젝트를 탐색하여 결합하는 결합 인공지능 세그먼테이션 방법 및 그 장치
CN114271908A (zh) 超声介入引导装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination