CN111340937A - 一种脑肿瘤医学影像三维重建显示交互方法及系统 - Google Patents

一种脑肿瘤医学影像三维重建显示交互方法及系统 Download PDF

Info

Publication number
CN111340937A
CN111340937A CN202010097858.XA CN202010097858A CN111340937A CN 111340937 A CN111340937 A CN 111340937A CN 202010097858 A CN202010097858 A CN 202010097858A CN 111340937 A CN111340937 A CN 111340937A
Authority
CN
China
Prior art keywords
image
module
brain tumor
dimensional
central control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010097858.XA
Other languages
English (en)
Inventor
刘浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202010097858.XA priority Critical patent/CN111340937A/zh
Publication of CN111340937A publication Critical patent/CN111340937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明属于脑肿瘤医学影像三维重建技术领域，公开了一种脑肿瘤医学影像三维重建显示交互方法及系统，所述脑肿瘤医学影像三维重建显示交互系统设置有图像采集模块、图像校正模块、图像提取模块、中央控制模块、图像处理模块、三维建模模块、脑肿瘤诊断模块、分析模块、方案生成模块、规划模块、操作交互模块、影像存储模块、显示模块；所述脑肿瘤医学影像三维重建显示交互方法包括采集脑肿瘤图像并校正；构建脑肿瘤区域三维模型；对脑肿瘤进行诊断，对三维模型进行分析；生成脑肿瘤切除方案，进行脑肿瘤切除操作的规划；进行操作的执行。本发明构建三维模型，通过人机交互实现对脑肿瘤手术的模拟，为真实手术提供依据，降低手术风险。

Description

一种脑肿瘤医学影像三维重建显示交互方法及系统
技术领域
本发明属于脑肿瘤医学影像三维重建技术领域，尤其涉及一种脑肿瘤医学影像三维重建显示交互方法及系统。
背景技术
脑肿瘤包括原发性脑肿瘤和脑转移瘤，其最佳治疗手段是手术彻底切除，然因正常脑组织的重要功能及恶性肿瘤向颅内广泛浸润性生长的特点，脑恶性肿瘤，特别是胶质瘤母细胞不可能做到彻底切除。脑肿瘤包括颅内脑外肿瘤，以及脑内肿瘤。颅内脑外肿瘤多为良性肿瘤，包括脑膜瘤、垂体瘤、神经鞘瘤、颅咽管瘤，原发脑内肿瘤多为恶性肿瘤，包括胶质细胞瘤、神经母细胞瘤、淋巴瘤和转移瘤；尤其以胶质瘤多见。胶质瘤分为低级别胶质瘤(WHO 1-2级)和高级别胶质瘤(WHO 3-4级)，高级别胶质瘤主要为胶质母细胞瘤。然而，现有脑肿瘤医学影像三维重建显示交互方法及系统对脑肿瘤提取效率低；同时对脑肿瘤诊断不准确。
综上所述，现有技术存在的问题是：现有脑肿瘤医学影像三维重建显示交互方法及系统对脑肿瘤提取效率低；同时对脑肿瘤诊断不准确。
发明内容
针对现有技术存在的问题，本发明提供了一种脑肿瘤医学影像三维重建显示交互方法及系统。
本发明是这样实现的，一种脑肿瘤医学影像三维重建显示交互系统，所述脑肿瘤医学影像三维重建显示交互系统设置有：
图像采集模块、图像校正模块、图像提取模块、中央控制模块、图像处理模块、三维建模模块、脑肿瘤诊断模块、分析模块、方案生成模块、规划模块、操作交互模块、影像存储模块、显示模块；
图像采集模块，与中央控制模块连接，用于通过医疗影像设备采集脑肿瘤图像；
图像校正模块，与中央控制模块连接，用于通过图像校正程序对采集的脑肿瘤图像进行校正；
图像提取模块，与中央控制模块连接，用于通过提取程序提取脑肿瘤区域图像特征；
中央控制模块，与图像采集模块、图像校正模块、图像提取模块、图像处理模块、三维建模模块、脑肿瘤诊断模块、分析模块、方案生成模块、规划模块、操作交互模块、影像存储模块、显示模块连接，用于通过主控机控制各个模块正常工作；
图像处理模块，与中央控制模块连接，用于通过图像处理程序进行提取图像的处理；
三维建模模块，与中央控制模块连接，用于通过建模程序构建脑肿瘤区域三维模型；
脑肿瘤诊断模块，与中央控制模块连接，用于通过诊断程序根据脑肿瘤特征对脑肿瘤进行诊断；
分析模块，与中央控制模块连接，用于通过分析程序对三维模型进行分析；
方案生成模块，与中央控制模块连接，用于通过方案生成程序生成脑肿瘤切除方案；
规划模块，与中央控制模块连接，用于通过规划程序进行脑肿瘤切除操作的规划；
操作交互模块，与中央控制模块连接，用于通过人机交互设备进行操作的执行；
影像存储模块，与中央控制模块连接，用于通过存储器存储采集的脑肿瘤图像、模型数据；
显示模块，与中央控制模块连接，用于通过显示器进行图像显示。
本发明的另一目的在于通过一种脑肿瘤医学影像三维重建显示交互方法，所述脑肿瘤医学影像三维重建显示交互方法包括以下步骤：
步骤一，通过医疗影像设备采集脑肿瘤图像并对采集的图像进行校正；通过提取程序提取脑肿瘤区域图像特征，通过图像处理程序进行提取图像的处理；
步骤二，通过建模程序构建脑肿瘤区域三维模型；
步骤三，通过诊断程序根据脑肿瘤特征对脑肿瘤进行诊断，通过分析程序对三维模型进行分析；
步骤四，通过方案生成程序生成脑肿瘤切除方案，通过规划程序进行脑肿瘤切除操作的规划；通过人机交互设备进行操作的执行；
步骤五，通过存储器存储采集的脑肿瘤图像、模型数据；通过显示器进行显示采集图像、三维模型、生成方案、手术规划以及执行过程。
进一步，所述对采集的图像进行校正的方法包括以下步骤：
(1)叠加所述采集的脑肿瘤图像，得到一叠加图像；
(2)线性压缩所述叠加图像，以得到一归一化图像；
(3)根据该归一化图像在各个位置的像素值，确定所述畸变图像的位置和轮廓；
(4)确定所述畸变图像的校正因子，确定校正参数；
(5)根据所述校正参数，确定校正算法。
进一步，所述提取脑肿瘤区域图像特征的方法为：
脑部肿瘤图像对称性分析：通过分析程序对正常脑部图像的对称性分析，得到对称模型；
对称图像中矢面及中矢线优化：将第一步中得到的对称模型应用到肿瘤图像中，以原图像与其镜像图像的最大互信息为最优化条件计算最优化的中矢线；任意给定过重心的一条直线；计算图像关于直线的对称图像；求原图像与镜像图像的互信息量；以互信息量为相似性测度，使用鲍威尔算法优化直线斜率，使得互信息量最大；确定最优化的中矢线；
计算基于中矢线的镜像图像减影：计算原始图像与其基于最优化的中矢线镜像图像减影；
基于松弛迭代的肿瘤初始区域跟踪：利用松弛迭代方法跟踪肿瘤区域的初始边界；
基于自动种子点及窗宽的均值漂移肿瘤精确分割：根据第四步得到的肿瘤区域的初始边界，计算原始种子点和窗宽，利用均值漂移算法分割原始脑部肿瘤图像。
进一步，所述提取图像的处理方法包括以下步骤：
进行拍摄位置估计，利用针对待处理的至少一个三维对象拍摄的至少一幅图像的几何关系，估计在拍摄每幅图像时的拍摄的位置、以及每幅图像上的匹配特征点的三维点坐标，其中，每幅图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅图像；
进行单图像平面轮廓生成，对于每幅图像，通过用于提取图像轮廓的深度学习模型，提取所述全景图像的平面轮廓；
进行尺度归一化，将所估计的在拍摄每幅图像时的拍摄位置的尺度和每幅图像的平面轮廓的尺度进行归一化，得到经过归一化的各图像的平面轮廓；
进行多对象拼接，基于所述经过归一化的各图像的平面轮廓，拼接得到多对象平面轮廓。
进一步，所述构建脑肿瘤区域三维模型的方法包括以下步骤：
(1)基于所述图像处理步骤得到的经过归一化的各图像的平面轮廓，得到各单个三维对象的在三维空间中的平面轮廓；
(2)基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓；
(3)将拼接得到的在三维空间中的多对象平面轮廓转化为多对象3D模型。
进一步，所述对脑肿瘤进行诊断的方法为：
从显微内镜图像中提取局部特征描述符；
使用学习的判别字典对每个所述局部特征描述符进行编码，其中，所述学习的判别字典包括类别特定子字典，并惩罚与不同类别相关联的子字典的基础之间的相关性；
使用基于编码的局部特征描述符的、训练的机器学习型分类器对所述显微内镜图像中的组织进行分类，其中使用学习的判别字典从对每个所述局部特征描述符进行编码得到所述编码的局部特征描述符；并通过局部特征描述符对肿瘤进行诊断。
进一步，所述显微内镜图像为使用CLE探针获得的共焦激光显微内镜(CLE)图像。
进一步，所述基于从训练图像中提取的局部特征描述符学习所述学习的判别字典；基于从训练图像中提取的局部特征描述符学习所述学习的判别字典包括：
学习类别特定的子字典和重构系数，所述类别特定的子字典和重构系数针对多个类别中的每个类别最小化从使用所有基础的那个类别的训练图像中提取的局部特征描述符的总重构残差和从使用与该类别相关联的子字典基础的类别的训练图像中提取的局部特征描述符的重构残差，并且惩罚从使用与该类别不相关联的子字典基础的类别的训练图像中提取的局部特征描述符的重构。
进一步，所述操作的执行方法为：
(1)通过显示屏显示脑肿瘤三维模型和切除方案；
(2)在三维模型上进行脑肿瘤定位、推演最佳手术方案并模拟肿瘤切除过程，该过程在显示模块显示，并存储在储存单元中；
(3)使用数据手套建立虚拟手，并配置虚拟工具，将虚拟手和虚拟工具结合对三维模型模拟切除手术，模拟手术操作的可行性，并熟练手术流程；
(4)待熟练进行手术预演后进行手术操作，手术过程通过显示屏显示，并将画面通过存储器进行存储。
本发明的优点及积极效果为：本发明通过图像提取模块能够实现全自动脑部肿瘤区域分割提取；通过三维模型的构建对脑肿瘤区域进行还原，模拟操作更方便，真实性更好；通过脑肿瘤诊断模块从显微内镜图像中提取局部特征描述符，每个局部特征描述符使用学习的判别字典进行编码，并通过局部特征描述符对肿瘤进行诊断，大大通过脑肿瘤诊断的准确性；操作交互模块的设置能够实现对脑肿瘤手术的模拟，为真实手术提供依据，降低手术风险。
附图说明
图1是本发明实施例提供的脑肿瘤医学影像三维重建显示交互系统的结构框图；
图中：1、图像采集模块；2、图像校正模块；3、图像提取模块；4、中央控制模块；5、图像处理模块；6、三维建模模块；7、脑肿瘤诊断模块；8、分析模块；9、方案生成模块；10、规划模块；11、操作交互模块；12、影像存储模块；13、显示模块。
图2是本发明实施例提供的脑肿瘤医学影像三维重建显示交互方法的流程图。
图3是本发明实施例提供的对采集的图像进行校正的方法的流程图。
图4是本发明实施例提供的构建脑肿瘤区域三维模型的方法的流程图。
图5是本发明实施例提供的操作的执行方法的流程图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。
下面结合附图对本发明的结构作详细的描述。
如图1所示，本发明实施例提供的脑肿瘤医学影像三维重建显示交互系统设置有：
图像采集模块1、图像校正模块2、图像提取模块3、中央控制模块4、图像处理模块5、三维建模模块6、脑肿瘤诊断模块7、分析模块8、方案生成模块9、规划模块10、操作交互模块11、影像存储模块12、显示模块13；
图像采集模块1，与中央控制模块4连接，用于通过医疗影像设备采集脑肿瘤图像；
图像校正模块2，与中央控制模块4连接，用于通过图像校正程序对采集的脑肿瘤图像进行校正；
图像提取模块3，与中央控制模块4连接，用于通过提取程序提取脑肿瘤区域图像特征；
中央控制模块4，与图像采集模块1、图像校正模块2、图像提取模块3、图像处理模块5、三维建模模块6、脑肿瘤诊断模块7、分析模块8、方案生成模块9、规划模块10、操作交互模块11、影像存储模块12、显示模块13连接，用于通过主控机控制各个模块正常工作；
图像处理模块5，与中央控制模块4连接，用于通过图像处理程序进行提取图像的处理；
三维建模模块6，与中央控制模块4连接，用于通过建模程序构建脑肿瘤区域三维模型；
脑肿瘤诊断模块7，与中央控制模块4连接，用于通过诊断程序根据脑肿瘤特征对脑肿瘤进行诊断；
分析模块8，与中央控制模块4连接，用于通过分析程序对三维模型进行分析；
方案生成模块9，与中央控制模块4连接，用于通过方案生成程序生成脑肿瘤切除方案；
规划模块10，与中央控制模块4连接，用于通过规划程序进行脑肿瘤切除操作的规划；
操作交互模块11，与中央控制模块4连接，用于通过人机交互设备进行操作的执行；
影像存储模块12，与中央控制模块4连接，用于通过存储器存储采集的脑肿瘤图像、模型数据；
显示模块13，与中央控制模块4连接，用于通过显示器进行图像显示。
如图2所示，本发明实施例提供的脑肿瘤医学影像三维重建显示交互方法包括以下步骤：
S101，通过医疗影像设备采集脑肿瘤图像并对采集的图像进行校正；通过提取程序提取脑肿瘤区域图像特征，通过图像处理程序进行提取图像的处理；
S102，通过建模程序构建脑肿瘤区域三维模型；
S103，通过诊断程序根据脑肿瘤特征对脑肿瘤进行诊断，通过分析程序对三维模型进行分析；
S104，通过方案生成程序生成脑肿瘤切除方案，通过规划程序进行脑肿瘤切除操作的规划；通过人机交互设备进行操作的执行；
S105，通过存储器存储采集的脑肿瘤图像、模型数据；通过显示器进行显示采集图像、三维模型、生成方案、手术规划以及执行过程。
下面结合具体实施例对本发明作进一步描述。
实施例1
本发明实施例提供的脑肿瘤医学影像三维重建显示交互方法如图2所示，作为优选实施例，如图3所示，本发明实施例提供的对采集的图像进行校正的方法包括以下步骤：
S201，叠加所述采集的脑肿瘤图像，得到一叠加图像；
S202，线性压缩所述叠加图像，以得到一归一化图像；
S203，根据该归一化图像在各个位置的像素值，确定所述畸变图像的位置和轮廓；
S204，确定所述畸变图像的校正因子，确定校正参数；
S205，根据所述校正参数，确定校正算法。
实施例2
本发明实施例提供的脑肿瘤医学影像三维重建显示交互方法如图2所示，作为优选实施例，如图4所示，本发明实施例提供的构建脑肿瘤区域三维模型的方法包括以下步骤：
S301，基于所述图像处理步骤得到的经过归一化的各图像的平面轮廓，得到各单个三维对象的在三维空间中的平面轮廓；
S302，基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓；
S303，将拼接得到的在三维空间中的多对象平面轮廓转化为多对象3D模型。
实施例3
本发明实施例提供的脑肿瘤医学影像三维重建显示交互方法如图2所示，作为优选实施例，如图5所示，本发明实施例提供的操作的执行方法为：
S401，通过显示屏显示脑肿瘤三维模型和切除方案；
S402，在三维模型上进行脑肿瘤定位、推演最佳手术方案并模拟肿瘤切除过程，该过程在显示模块显示，并存储在储存单元中；
S403，使用数据手套建立虚拟手，并配置虚拟工具，将虚拟手和虚拟工具结合对三维模型模拟切除手术，模拟手术操作的可行性，并熟练手术流程；
S404，待熟练进行手术预演后进行手术操作，手术过程通过显示屏显示，并将画面通过存储器进行存储。
本发明提供的基于从训练图像中提取的局部特征描述符学习所述学习的判别字典；基于从训练图像中提取的局部特征描述符学习所述学习的判别字典包括：学习类别特定的子字典和重构系数，所述类别特定的子字典和重构系数针对多个类别中的每个类别最小化从使用所有基础的那个类别的训练图像中提取的局部特征描述符的总重构残差和从使用与该类别相关联的子字典基础的类别的训练图像中提取的局部特征描述符的重构残差，并且惩罚从使用与该类别不相关联的子字典基础的类别的训练图像中提取的局部特征描述符的重构。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (10)

1.一种脑肿瘤医学影像三维重建显示交互方法，其特征在于，所述脑肿瘤医学影像三维重建显示交互方法包括以下步骤：
步骤一，通过医疗影像设备采集脑肿瘤图像并对采集的图像进行校正；通过提取程序提取脑肿瘤区域图像特征，通过图像处理程序进行提取图像的处理；
步骤二，通过建模程序构建脑肿瘤区域三维模型；
步骤三，通过诊断程序根据脑肿瘤特征对脑肿瘤进行诊断，通过分析程序对三维模型进行分析；
步骤四，通过方案生成程序生成脑肿瘤切除方案，通过规划程序进行脑肿瘤切除操作的规划；通过人机交互设备进行操作的执行；
步骤五，通过存储器存储采集的脑肿瘤图像、模型数据；通过显示器进行显示采集图像、三维模型、生成方案、手术规划以及执行过程。
2.如权利要求1所述脑肿瘤医学影像三维重建显示交互方法，其特征在于，所述对采集的图像进行校正的方法包括以下步骤：
(1)叠加所述采集的脑肿瘤图像，得到一叠加图像；
(2)线性压缩所述叠加图像，以得到一归一化图像；
(3)根据该归一化图像在各个位置的像素值，确定所述畸变图像的位置和轮廓；
(4)确定所述畸变图像的校正因子，确定校正参数；
(5)根据所述校正参数，确定校正算法。
3.如权利要求1所述脑肿瘤医学影像三维重建显示交互方法，其特征在于，所述提取脑肿瘤区域图像特征的方法为：
脑部肿瘤图像对称性分析：通过分析程序对正常脑部图像的对称性分析，得到对称模型；
对称图像中矢面及中矢线优化：将第一步中得到的对称模型应用到肿瘤图像中，以原图像与其镜像图像的最大互信息为最优化条件计算最优化的中矢线；任意给定过重心的一条直线；计算图像关于直线的对称图像；求原图像与镜像图像的互信息量；以互信息量为相似性测度，使用鲍威尔算法优化直线斜率，使得互信息量最大；确定最优化的中矢线；
计算基于中矢线的镜像图像减影：计算原始图像与其基于最优化的中矢线镜像图像减影；
基于松弛迭代的肿瘤初始区域跟踪：利用松弛迭代方法跟踪肿瘤区域的初始边界；
基于自动种子点及窗宽的均值漂移肿瘤精确分割：根据第四步得到的肿瘤区域的初始边界，计算原始种子点和窗宽，利用均值漂移算法分割原始脑部肿瘤图像。
4.如权利要求1所述脑肿瘤医学影像三维重建显示交互方法，其特征在于，所述提取图像的处理方法包括以下步骤：
进行拍摄位置估计，利用针对待处理的至少一个三维对象拍摄的至少一幅图像的几何关系，估计在拍摄每幅图像时的拍摄的位置、以及每幅图像上的匹配特征点的三维点坐标，其中，每幅图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅图像；
进行单图像平面轮廓生成，对于每幅图像，通过用于提取图像轮廓的深度学习模型，提取所述全景图像的平面轮廓；
进行尺度归一化，将所估计的在拍摄每幅图像时的拍摄位置的尺度和每幅图像的平面轮廓的尺度进行归一化，得到经过归一化的各图像的平面轮廓；
进行多对象拼接，基于所述经过归一化的各图像的平面轮廓，拼接得到多对象平面轮廓。
5.如权利要求1所述脑肿瘤医学影像三维重建显示交互方法，其特征在于，所述构建脑肿瘤区域三维模型的方法包括以下步骤：
(1)基于所述图像处理步骤得到的经过归一化的各图像的平面轮廓，得到各单个三维对象的在三维空间中的平面轮廓；
(2)基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓；
(3)将拼接得到的在三维空间中的多对象平面轮廓转化为多对象3D模型。
6.如权利要求1所述脑肿瘤医学影像三维重建显示交互方法，其特征在于，所述对脑肿瘤进行诊断的方法为：
从显微内镜图像中提取局部特征描述符；
使用学习的判别字典对每个所述局部特征描述符进行编码，其中，所述学习的判别字典包括类别特定子字典，并惩罚与不同类别相关联的子字典的基础之间的相关性；
使用基于编码的局部特征描述符的、训练的机器学习型分类器对所述显微内镜图像中的组织进行分类，其中使用学习的判别字典从对每个所述局部特征描述符进行编码得到所述编码的局部特征描述符；并通过局部特征描述符对肿瘤进行诊断。
7.如权利要求6所述的脑肿瘤医学影像三维重建显示交互方法，其特征在于，所述显微内镜图像为使用CLE探针获得的共焦激光显微内镜(CLE)图像。
8.如权利要求6所述的脑肿瘤医学影像三维重建显示交互方法，其特征在于，所述基于从训练图像中提取的局部特征描述符学习所述学习的判别字典；基于从训练图像中提取的局部特征描述符学习所述学习的判别字典包括：
学习类别特定的子字典和重构系数，所述类别特定的子字典和重构系数针对多个类别中的每个类别最小化从使用所有基础的那个类别的训练图像中提取的局部特征描述符的总重构残差和从使用与该类别相关联的子字典基础的类别的训练图像中提取的局部特征描述符的重构残差，并且惩罚从使用与该类别不相关联的子字典基础的类别的训练图像中提取的局部特征描述符的重构。
9.如权利要求1所述脑肿瘤医学影像三维重建显示交互方法，其特征在于，所述操作的执行方法为：
(1)通过显示屏显示脑肿瘤三维模型和切除方案；
(2)在三维模型上进行脑肿瘤定位、推演最佳手术方案并模拟肿瘤切除过程，该过程在显示模块显示，并存储在储存单元中；
(3)使用数据手套建立虚拟手，并配置虚拟工具，将虚拟手和虚拟工具结合对三维模型模拟切除手术，模拟手术操作的可行性，并熟练手术流程；
(4)待熟练进行手术预演后进行手术操作，手术过程通过显示屏显示，并将画面通过存储器进行存储。
10.一种实施权利要求1～9任意一项所述脑肿瘤医学影像三维重建显示交互方法的脑肿瘤医学影像三维重建显示交互系统，其特征在于，所述脑肿瘤医学影像三维重建显示交互系统设置有：
图像采集模块、图像校正模块、图像提取模块、中央控制模块、图像处理模块、三维建模模块、脑肿瘤诊断模块、分析模块、方案生成模块、规划模块、操作交互模块、影像存储模块、显示模块；
图像采集模块，与中央控制模块连接，用于通过医疗影像设备采集脑肿瘤图像；
图像校正模块，与中央控制模块连接，用于通过图像校正程序对采集的脑肿瘤图像进行校正；
图像提取模块，与中央控制模块连接，用于通过提取程序提取脑肿瘤区域图像特征；
中央控制模块，与图像采集模块、图像校正模块、图像提取模块、图像处理模块、三维建模模块、脑肿瘤诊断模块、分析模块、方案生成模块、规划模块、操作交互模块、影像存储模块、显示模块连接，用于通过主控机控制各个模块正常工作；
图像处理模块，与中央控制模块连接，用于通过图像处理程序进行提取图像的处理；
三维建模模块，与中央控制模块连接，用于通过建模程序构建脑肿瘤区域三维模型；
脑肿瘤诊断模块，与中央控制模块连接，用于通过诊断程序根据脑肿瘤特征对脑肿瘤进行诊断；
分析模块，与中央控制模块连接，用于通过分析程序对三维模型进行分析；
方案生成模块，与中央控制模块连接，用于通过方案生成程序生成脑肿瘤切除方案；
规划模块，与中央控制模块连接，用于通过规划程序进行脑肿瘤切除操作的规划；
操作交互模块，与中央控制模块连接，用于通过人机交互设备进行操作的执行；
影像存储模块，与中央控制模块连接，用于通过存储器存储采集的脑肿瘤图像、模型数据；
显示模块，与中央控制模块连接，用于通过显示器进行图像显示。
CN202010097858.XA 2020-02-17 2020-02-17 一种脑肿瘤医学影像三维重建显示交互方法及系统 Pending CN111340937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010097858.XA CN111340937A (zh) 2020-02-17 2020-02-17 一种脑肿瘤医学影像三维重建显示交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010097858.XA CN111340937A (zh) 2020-02-17 2020-02-17 一种脑肿瘤医学影像三维重建显示交互方法及系统

Publications (1)

Publication Number Publication Date
CN111340937A true CN111340937A (zh) 2020-06-26

Family

ID=71187010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010097858.XA Pending CN111340937A (zh) 2020-02-17 2020-02-17 一种脑肿瘤医学影像三维重建显示交互方法及系统

Country Status (1)

Country Link
CN (1) CN111340937A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112022097A (zh) * 2020-09-09 2020-12-04 天津工业大学 一种头带式异质体监测设备及头部异质体监测方法、系统
CN113274129A (zh) * 2021-05-11 2021-08-20 温州医科大学附属第二医院（温州医科大学附属育英儿童医院） 一种基于虚拟现实的心胸外科手术辅助控制系统
CN113506634A (zh) * 2021-07-15 2021-10-15 南京易爱医疗设备有限公司 脑部仿真系统
CN113729941A (zh) * 2021-09-23 2021-12-03 上海卓昕医疗科技有限公司 基于vr的手术辅助定位系统及其控制方法
CN114469342A (zh) * 2022-01-17 2022-05-13 四川大学华西医院 肿瘤切缘边距场的定义方法、建立系统及应用
CN116740768A (zh) * 2023-08-11 2023-09-12 南京诺源医疗器械有限公司 基于鼻颅镜的导航可视化方法、系统、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930552A (zh) * 2012-11-22 2013-02-13 北京理工大学 基于对称结构减影的脑肿瘤自动提取方法
CN106875341A (zh) * 2015-12-11 2017-06-20 宁波舜宇光电信息有限公司 畸变图像校正方法及其定位方法
CN107533649A (zh) * 2015-03-27 2018-01-02 西门子公司 使用图像分类的自动脑肿瘤诊断方法和系统
CN109157284A (zh) * 2018-09-28 2019-01-08 广州狄卡视觉科技有限公司 一种脑肿瘤医学影像三维重建显示交互方法及系统
US20190272652A1 (en) * 2018-03-02 2019-09-05 Synaptive Medical (Barbados) Inc. System and method for characterizing tissue organization using polarization sensitive optical coherence tomography
CN110428887A (zh) * 2019-08-05 2019-11-08 河南省三门峡市中心医院(三门峡市儿童医院、三门峡市妇幼保健院) 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN110675314A (zh) * 2019-04-12 2020-01-10 北京城市网邻信息技术有限公司 图像处理和三维对象建模方法与设备、图像处理装置及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930552A (zh) * 2012-11-22 2013-02-13 北京理工大学 基于对称结构减影的脑肿瘤自动提取方法
CN107533649A (zh) * 2015-03-27 2018-01-02 西门子公司 使用图像分类的自动脑肿瘤诊断方法和系统
CN106875341A (zh) * 2015-12-11 2017-06-20 宁波舜宇光电信息有限公司 畸变图像校正方法及其定位方法
US20190272652A1 (en) * 2018-03-02 2019-09-05 Synaptive Medical (Barbados) Inc. System and method for characterizing tissue organization using polarization sensitive optical coherence tomography
CN109157284A (zh) * 2018-09-28 2019-01-08 广州狄卡视觉科技有限公司 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN110675314A (zh) * 2019-04-12 2020-01-10 北京城市网邻信息技术有限公司 图像处理和三维对象建模方法与设备、图像处理装置及介质
CN110428887A (zh) * 2019-08-05 2019-11-08 河南省三门峡市中心医院(三门峡市儿童医院、三门峡市妇幼保健院) 一种脑肿瘤医学影像三维重建显示交互方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112022097A (zh) * 2020-09-09 2020-12-04 天津工业大学 一种头带式异质体监测设备及头部异质体监测方法、系统
CN113274129A (zh) * 2021-05-11 2021-08-20 温州医科大学附属第二医院（温州医科大学附属育英儿童医院） 一种基于虚拟现实的心胸外科手术辅助控制系统
CN113506634A (zh) * 2021-07-15 2021-10-15 南京易爱医疗设备有限公司 脑部仿真系统
CN113506634B (zh) * 2021-07-15 2024-04-09 南京易爱医疗设备有限公司 脑部仿真系统
CN113729941A (zh) * 2021-09-23 2021-12-03 上海卓昕医疗科技有限公司 基于vr的手术辅助定位系统及其控制方法
CN113729941B (zh) * 2021-09-23 2024-01-30 上海卓昕医疗科技有限公司 基于vr的手术辅助定位系统及其控制方法
CN114469342A (zh) * 2022-01-17 2022-05-13 四川大学华西医院 肿瘤切缘边距场的定义方法、建立系统及应用
CN116740768A (zh) * 2023-08-11 2023-09-12 南京诺源医疗器械有限公司 基于鼻颅镜的导航可视化方法、系统、设备及存储介质
CN116740768B (zh) * 2023-08-11 2023-10-20 南京诺源医疗器械有限公司 基于鼻颅镜的导航可视化方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111340937A (zh) 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN110689038B (zh) 神经网络模型的训练方法、装置和医学图像处理系统
US20220051405A1 (en) Image processing method and apparatus, server, medical image processing device and storage medium
Mahapatra et al. Interpretability-driven sample selection using self supervised learning for disease classification and segmentation
CN110853022B (zh) 病理切片图像的处理方法、装置、系统及存储介质
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
CN111598875A (zh) 甲状腺结节自动检测模型构建方法、系统及装置
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
US20230005140A1 (en) Automated detection of tumors based on image processing
CN111814768A (zh) 基于ai复合模型的图像识别方法、装置、介质和设备
CN111128349A (zh) 基于gan的医学影像病灶检测标记数据增强方法及装置
CN116779093B (zh) 一种医学影像结构化报告的生成方法、装置和计算机设备
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN113435469A (zh) 一种基于深度学习的肾肿瘤增强ct图像自动识别系统及其训练方法
Mahapatra Learning of Inter-Label Geometric Relationships Using Self-Supervised Learning: Application To Gleason Grade Segmentation
CN112734707B (zh) 一种3d内窥镜辅助检测方法、系统、装置及存储介质
CN109598201A (zh) 动作检测方法、装置、电子设备及可读存储介质
CN111459050B (zh) 一种基于双网互联的智慧仿真型护理教学系统及教学方法
Möller et al. Analysis of Arabidopsis Root Images--Studies on CNNs and Skeleton-Based Root Topology
Zhao et al. Interpretable Model Based on Pyramid Scene Parsing Features for Brain Tumor MRI Image Segmentation
CN113658107A (zh) 一种基于ct图像的肝脏病灶诊断方法及装置
CN113658106A (zh) 一种基于腹部增强ct的肝脏病灶自动诊断系统
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
Xie et al. Pulmonary nodules detection via 3D multi-scale dual path network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626

RJ01 Rejection of invention patent application after publication