CN116958486A - 一种基于卷积神经网络的医学图像处理方法及系统 - Google Patents

一种基于卷积神经网络的医学图像处理方法及系统 Download PDF

Info

Publication number
CN116958486A
CN116958486A CN202210373604.5A CN202210373604A CN116958486A CN 116958486 A CN116958486 A CN 116958486A CN 202210373604 A CN202210373604 A CN 202210373604A CN 116958486 A CN116958486 A CN 116958486A
Authority
CN
China
Prior art keywords
medical image
image processing
images
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210373604.5A
Other languages
English (en)
Inventor
李建祥
朱健
沈伟中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Regrown Medical Technology Co ltd
Original Assignee
Jiangsu Regrown Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Regrown Medical Technology Co ltd filed Critical Jiangsu Regrown Medical Technology Co ltd
Priority to CN202210373604.5A priority Critical patent/CN116958486A/zh
Publication of CN116958486A publication Critical patent/CN116958486A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及一种基于卷积神经网络的医学图像处理方法及系统，能够对现有医学影像设备拍摄的医学图像再处理，通过全卷积显影分割处理和构建3D结构模型，将现有的平面图像进行3D建模，还原现有图像中器官的形状及病灶在器官中的位置，对位置进行标记，获取手术机器人所需的导航轨迹的位移信息，从而高效、安全、精准的指导手术医生对手术机器人的正确操控，精准定位病人病灶点位。本发明对医学图像进行处理，利用到手术导航技术中可以实时、精准确认当前手术刀具所在的位置、移动的轨迹、以及是否有事故隐患存在，给现代微创腔镜手术提供了精准、高效、稳定、安全的保障。

Description

一种基于卷积神经网络的医学图像处理方法及系统
技术领域
本发明涉及对医学图像处理方法的研究技术领域，尤其是指一种基于卷积神经网络的医学图像处理方法及系统。
背景技术
在微创腹腔镜手术过程中，由于不同脏器、不同部位以及有限的手术空间感知，医生无法直观获取腹腔镜视野周边的全局信息，传统的腹腔镜手术只能依靠医生个人的经验和熟练度把握病人病灶的位置、深度和切除范围，存在对病灶及其边界定位不准，健康组织切除过多等等问题，致使手术的难度和风险性较大。
随着医学影像设备的快速发展和普及，成像技术包括磁共成像(MRI)、计算机断层扫描(CT)、超声、正电子发射断层扫描(PET)等，成为医疗机构开展疾病诊断、手术计划制定、预后评估、随访不可或缺的设备。但传统的医学分析方法、以及所采用的卷积CNN分析方法、分析设备都很难直观、清晰、精准分析和定位病灶所在位置，给治疗带来或多或少的麻烦。
在目前腔镜手术增强导航定位研究方面，美国佛罗里达大学在文献“AugmentedReality During Robot-assisted Laparoscopic Partial Nephrectomy:TowardRealTime 3D-CT to Stereoscopic Video Registration”中公开了一种用于肾部分切除术的增强现实导航方法，该方法将术前肾脏解剖模型和肿瘤位置通过刚性配准匹配到术中腹腔镜的相机坐标系下，并叠加显示在腹腔镜视野上。日本名古屋大学在文献“Intraoperative laparoscope augmentation for port placement and resectionplanning in minimally invasive liver resection”中公开了一种将肝脏血管的术前三维图像增强显示在腹腔镜视频上用于肝脏切除手术导航。美国MIT计算机科学与AI实验室的朱俊彦团队，发表了一篇论文《Visual Object Networks:Image Generation withDisentangled 3D Representation》，描述了一种用GAN生成3D图片的方法。
针对腹腔镜手术增强现实导航方面仍处于初级起步研究阶段，特别是针对GAN技术在腹腔镜手术中的研究更是少之又少，且仍处于理论阶段。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中对医学图像处理技术难以支撑手术导航的问题，提供一种能够根据医学图像的卷积GAN的显影技术和病灶3D结构模型构建方法，从而获取手术机器人所需的导航轨迹的位移信息，从而高效、安全、精准的指导手术医生对手术机器人的正确操控。
为解决上述技术问题，本发明提供了一种基于卷积神经网络的医学图像处理方法，包括以下步骤：
输入医学图像作为训练集和数据集；
对训练集和数据集中的图像进行全卷积显影分割处理输出heatmap；
基于GAN网络技术根据训练集和数据集的图像生成3D结构模型；
根据所述heatmap和3D结构模型，标记手术机器人移动轨迹，确定手术导航路径。
在本发明的一个实施例中，所述医学图像包括磁共振图像、CT图像、超声波图像。
在本发明的一个实施例中，所述全卷积显影分割处理采用双线性插值上采样的方法对医学图像进行像素级的分类，经过多层池化处理后，原始医学图像被指数级的缩小，逐个像素计算激活函数分类的损失。
在本发明的一个实施例中，所述双线性插值上采样在空间上建立三维坐标系，在三维坐标系采集四个点，通过四个点来确定中心位置的坐标。
在本发明的一个实施例中，在空间中确定四个点后，分别在x方向上和 y方向上进行依次线性差值处理得到双线性差值结果。
在本发明的一个实施例中，在经过双线性插值上采样处理后，通过反池化上采样或反卷积恢复到输入图像的尺寸。
在本发明的一个实施例中，所述反池化上采样或反卷积也是一种相乘相加的运算，其中与卷积不同的是所述反池化上采样或反卷积一对多的运算。
在本发明的一个实施例中，基于GAN网络技术生成3D结构模型采用可视化物体网络技术构建3D结构模型，使用ShapeNet数据集来训练模型学习 3D形状。
在本发明的一个实施例中，确定手术导航路径包括以下步骤：根据3D 结构模型和显影分割的结果，绘制出病灶精确位置，同时计算出前后以及左右位置的确切坐标值，以及术中需要的操作空间值，根据这些参数定制相应的定位装置，然后手术机器人就可以通过这个装置自由的移动方位、变换角度。
为解决上述技术问题，本发明还提供了一种基于卷积神经网络的医学图像处理系统，该系统为可视化系统，用于实现上述基于卷积神经网络的医学图像处理方法。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的一种基于卷积神经网络的医学图像处理方法，能够对现有医学影像设备拍摄的医学图像再处理，通过全卷积显影分割处理和构建3D 结构模型，将现有的平面图像进行3D建模，还原现有图像中器官的形状及病灶在器官中的位置，对位置进行标记，获取手术机器人所需的导航轨迹的位移信息，从而高效、安全、精准的指导手术医生对手术机器人的正确操控，精准定位病人病灶点位。
本发明所述的一种基于卷积神经网络的医学图像处理系统，能够实现上述方法，并进行可视化处理，将经过全卷积显影分割处理的显影影像图与基于GAN网络技术生成3D结构模型在显示屏幕上实时动态显示，支持多屏切换显示操作，再结合图像标定技术将手术机器人的导航轨迹标定位移点位信息，通过另一个显示屏幕以三维立体仿真方式显示，医生可以实时、精准确认当前手术刀具所在的位置、移动的轨迹、以及是否有事故隐患存在，给现代微创腔镜手术提供了精准、高效、稳定、安全的保障。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明的基于卷积神经网络的医学图像处理方法的步骤流程图；
图2是本发明的全卷积显影分割处理的原理图；
图3是本发明的双线性插值上采样的坐标图；
图4是本发明的反池化上采样或反卷积使图像恢复的原理图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例1
参照图1所示，本发明的基于卷积神经网络的医学图像处理方法，包括以下步骤：
步骤一、输入医学图像作为训练集和数据集；
现有技术中，医学影像设备是比较完善的，通过使用医学影像设备对人体内部器官进行拍照处理，能够较真实、清楚的显示到器官的工作情况，能够辅助医生对器官的病理情况进行分析，常用的医学图像包括磁共振图像、 CT图像、超声波图像、正电子发射断层扫描图像，这些图像均能够通过现有的医学影像技术得到，但是通过这些医学影像仅能够从平面上对病灶的位置进行判断，对病灶位置的空间定位较差，在微创腹腔镜手术过程中，由于不同脏器、不同部位以及有限的手术空间感知，医生仅通过现有的磁共振图像、CT图像、超声波图像、正电子发射断层扫描图像无法直观获取腹腔镜视野周边的全局信息，传统的腹腔镜手术只能依靠医生个人的经验和熟练度把握病人病灶的位置、深度和切除范围，存在对病灶及其边界定位不准，健康组织切除过多等等问题，致使手术的难度和风险性较大，本申请能够对这些常用的医学图像再处理，将这些医学图像作为训练数据，构成后续输入用的训练集和数据集。
步骤二、对训练集和数据集中的图像进行全卷积显影分割处理输出 heatmap，heatmap即为热图，作为目前最常见的一种可视化手段，热图因其丰富的色彩变化和生动饱满的信息表达被广泛应用于各种大数据分析场景，通过heatmap对图像中的器官进行处理，将病灶位置与正常位置进行区分，能够清晰标注出病灶的位置。
参照图2所示，所述全卷积显影分割处理对医学图像进行像素级的分类，从而解决了语义级别的图像分割问题，与传统的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类不同，全卷积显影分割处理可以接受任意尺寸的输入图像，采用双线性插值上采样的方法，对原始图像进行经过多层池化处理后，原始医学图像被指数级的缩小，逐个像素计算激活函数分类的损失，这样相当于每一个像素对应一个训练样本，采用反卷积层对最后一个卷积层的特征图进行反卷积层上采样或反池化上采样，使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测，同时保留了原始输入医学图像中的空间信息。
本实施例中，双线性插值是插值算法中的一种，是线性插值的扩展，利用原图像中目标点四周的四个真实存在的像素值来共同决定目标图中的一个像素值，其核心思想是在两个方向分别进行一次线性插值，对显影分割采用双线性插值上采样的方法包括以下步骤：在空间上建立三维坐标系，在三维坐标系采集四个点，通过四个点来确定中心位置的坐标，在空间中确定四个点后，分别在x方向上和y方向上进行依次线性差值处理得到双线性差值结果：
具体地，首先从单线性插值(一个方向上)来看，就是知道两个点的值，并将两点连成一条直线，来确定中间的点的值，假设，现在显影分割图像上有两点(x1，y1)、(x2，y2)连成一条直线，[x1，x2]中的点就可以用线上的点表示，而双线性插值(两个方向上)是一个三维的坐标系，因此，需要找到4个点来确定中心点坐标，参照图3所示，显影分割双线性插值坐标示意图：
通过x轴与y轴上的(x1，x2)(y1，y2)的交汇点，假如我们想得到未知函数f在点P＝(x，y)的值，假设我们已知函数f在Q11＝(x1,y1)、 Q12＝(x1,y2)、Q21＝(x2,y1)，以及Q22＝(x2，y2)四个点的值，最常见的情况，f就是一个像素点的像素值，首先在x方向进行线性插值，得到：
然后在y方向进行线性插值，得到：
综合起来就是双线性插值最后的结果：
通过上述双线性插值上采样的方法，对现有的医学图像进行显影分割采样，并通过坐标对位置进行标定。
具体地，池化会缩小图片的尺寸，比如传统的VGG16五层池化后图片被缩小了32倍，为了得到和原图等大的分割图，我们需要通过反池化上采样或反卷积恢复到输入图像的尺寸；
参照图4，以反卷积为例，所述反卷积也是一种相乘相加的运算，只不过与卷积不同的是一对多的运算，反卷积的前向和后向传播运算只用颠倒卷积的前后向传播即可，所以从这点来看，就可成功构建出显影分割的后向传播算法。
步骤三、基于GAN网络技术根据训练集和数据集的图像生成3D结构模型；
GAN网络技术全称为：Generative Adversarial Network(对抗生成网络),是一种现有技术,由生成器和判别器这两部分组成；
GAN区别与传统的生成网络,生成的图片还原度高,主要缘于GAN网络基于数据相对位置和数据本身对real数据奖励,对fake数据惩罚的缘故；
基于该现有网络技术具体的应用方式为：将训练集和数据集中的图像先传入生成器中，然后生成器生成图片之后，把图片传入判别器中，标签此刻传入的是1,真实的图片，但实际上是假图，此刻判别器就会判断为假图，然后模型就会不断调整生成器参数，此刻的判别器的参数被设置为不可调整，所以为了不断降低loss值，模型就会一直调整生成器的参数，直到判别器认为这是真图，此刻判别器与生成器达到了一个平衡，也就是说生成器产生的假图，判别器已经分辨不出来了，所以继续迭代，提高判别器精度，如此往复循环，生成的较高还原度的图片。
经过上述GAN网络技术处理后的图片采用可视化物体网络技术构建3D 结构模型，该技术作为现有技术，在论文《Visual Object Networks:Image Generation withDisentangled 3D Representation》中公开，具体地，使用ShapeNet数据集来训练模型学习3D形状；
ShapeNet是一个拥有55种物体形状的大型数据集，使用的网络模型主要分成以下3个部分：
1)形状网络：对于形状生成，采用3D-GAN的架构。
2)材质网络：对于纹理生成，使用ResNet编码器，并将纹理代码连接到编码器中的中间层。
3)可区分的投影模块：假设相机与物体中心的固定距离为2米，焦距为50毫米(等效35毫米胶片)。渲染草图的分辨率为128×128，沿着每个摄像机光线均匀地采样128个点。并假设没有面内旋转，即图像在水平面中没有倾斜。
步骤四、根据所述heatmap和3D结构模型，标记手术机器人移动轨迹，确定手术导航路径；
现有的手术导航路径主要依附于核磁共振、CT等医学影像数据，手术导航是将病人术前或术中影像数据和手术床上病人解剖结构准确对应，手术中跟踪手术器械并将手术器械的位置在病人影像上以虚拟探针的形式实时更新显示，使医生对手术器械相对病人解剖结构的位置一目了然，使外科手术更快速、更精确、更安全；手术导航在手术过程中可能需要使用各种需要跟踪的仪器，所述仪器包括可被合适的导航系统检测到的可检测部分，例如电磁线圈或光学检测点，例如LED或反射器，通过这些仪器在术中或术前获取图像，并且通过这些仪器会叠加在捕获的图像数据上，以识别这些仪器相对于患者空间的位置。
本实施例中，根据3D结构模型和显影分割的结果，能够绘制出病灶精确位置，同时计算出前后以及左右位置的确切坐标值，以及术中需要的操作空间值，根据这些参数定制相应的定位装置，然后手术机器人就可以通过这个装置自由的移动方位、变换角度，通过本实施例的3D结构模型和显影分割的结果，与现有的典型的图像引导导航系统配合，提供动态参考系，以在手术过程跟踪病灶的位置，构建动态参考框架，动态参考框架通常以大体上永久或不可移动的方式固定到患者，动态参考框架也可以用作基准标记，可以在术前图像获取期间附接到患者上，这使图像空间在导航过程中与患者病灶位置空间对齐。
本发明主要是针对传统的腹腔镜手术中的病灶定位方法的设计与优化改进，通过全卷积(FCN)算法得到显影分割结构图，使手术机器人的操控医生一目了然，清晰知道对应的病灶所在位置；并且结合GAN网络所构建的 3D病灶结构模型，和使用根据图像位置标定算法所标定的手术机器人运动轨迹标识图定制的肮脏定位装置，医生可以很方便的移动、或变换机械臂的操作方向、操控力度等，减少医生因机械臂操作失误所致的医疗事故，同时多方位立体显示，也为手术提供了清晰的操作空间。
具体地，本实施例中，为了验证上述方法的可行性，以肝脏血管显影为例，对肝脏内的病灶位置进行定位：首先需要获取原始计算机断层扫描图像 (CT)或磁共图像(MBI)，通过人工标记出肝脏血管区域掩膜图像或基于肝脏显影分割算法进行掩膜处理获得肝脏血管掩膜图像，组成卷积GAN的训练集和数据集，建立卷积GAN的肝脏病灶分析系统，针对具体病患，采集肝脏血管病灶扫描图像，输入上面建立的卷积GAN分析系统，现成肝脏血管显影分割图和病患的肝脏病灶3D结构模型，根据分析的图形和模型标注出病患的病灶位置，经过图像标注系统分析现成手术机器人的移动轨迹。
实施例2
为了能够实现实施例1中的方法，本发明还提供了一种基于卷积神经网络的医学图像处理系统，该系统为可视化系统，所述系统包括对上述算法的处理器和可视化显示器，将医学图像作为训练集和数据集输入到处理器中，通过处理器对训练集和数据集中的图像进行全卷积显影分割处理输出heatmap，同时，所述处理器基于GAN网络技术根据训练集和数据集的图像生成3D结构模型，根据所述heatmap和3D结构模型，标记手术机器人移动轨迹，所述可视化显示器分别显示处经过处理器输出的显影分割图像、3D结构模型、以及标定后的病灶图，所述病灶图上面有具体的运动轨迹参数标识，方便医生操作手术机器人的机械臂移动到指定的病灶位置，而且精度误差可以控制在1-2毫米。
通过本实施例中的系统，能够实现实施例1的方法，并进行可视化处理，将经过全卷积显影分割处理的显影影像图与基于GAN网络技术生成3D结构模型在显示屏幕上实时动态显示，支持多屏切换显示操作，再结合图像标定技术将手术机器人的导航轨迹标定位移点位信息，通过另一个显示屏幕以三维立体仿真方式显示，医生可以实时、精准确认当前手术刀具所在的位置、移动的轨迹、以及是否有事故隐患存在，给现代微创腔镜手术提供了精准、高效、稳定、安全的保障。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于卷积神经网络的医学图像处理方法，其特征在于：包括以下步骤：
输入医学图像作为训练集和数据集；
对训练集和数据集中的图像进行全卷积显影分割处理输出heatmap；
基于GAN网络技术根据训练集和数据集的图像生成3D结构模型；
根据所述heatmap和3D结构模型，标记手术机器人移动轨迹，确定手术导航路径。
2.根据权利要求1所述的基于卷积神经网络的医学图像处理方法，其特征在于：所述医学图像包括磁共振图像、CT图像、超声波图像、正电子发射断层扫描图像。
3.根据权利要求1所述的基于卷积神经网络的医学图像处理方法，其特征在于：所述全卷积显影分割处理采用双线性插值上采样的方法对医学图像进行像素级的分类，经过多层池化处理后，原始医学图像被指数级的缩小，逐个像素计算激活函数分类的损失。
4.根据权利要求3所述的基于卷积神经网络的医学图像处理方法，其特征在于：所述双线性插值上采样在空间上建立三维坐标系，在三维坐标系采集四个点，通过四个点来确定中心位置的坐标。
5.根据权利要求4所述的基于卷积神经网络的医学图像处理方法，其特征在于：在空间中确定四个点后，分别在x方向上和y方向上进行依次线性差值处理得到双线性差值结果。
6.根据权利要求3所述的基于卷积神经网络的医学图像处理方法，其特征在于：在经过双线性插值上采样处理后，通过反池化上采样或反卷积恢复到输入图像的尺寸。
7.根据权利要求7所述的基于卷积神经网络的医学图像处理方法，其特征在于：所述反池化上采样或反卷积也是一种相乘相加的运算，其中与卷积不同的是所述反池化上采样或反卷积一对多的运算。
8.根据权利要求1所述的基于卷积神经网络的医学图像处理方法，其特征在于：基于GAN网络技术生成3D结构模型采用可视化物体网络技术构建3D结构模型，使用ShapeNet数据集来训练模型学习3D形状。
9.根据权利要求1所述的基于卷积神经网络的医学图像处理方法，其特征在于：确定手术导航路径包括以下步骤：根据3D结构模型和显影分割的结果，绘制出病灶精确位置，同时计算出前后以及左右位置的确切坐标值，以及术中需要的操作空间值，根据这些参数定制相应的定位装置，然后手术机器人就可以通过这个装置自由的移动方位、变换角度。
10.一种基于卷积神经网络的医学图像处理系统，其特征在于：该系统为可视化系统，用于实现上述权利要求1-9任意一项所述的基于卷积神经网络的医学图像处理方法。
CN202210373604.5A 2022-04-11 2022-04-11 一种基于卷积神经网络的医学图像处理方法及系统 Pending CN116958486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210373604.5A CN116958486A (zh) 2022-04-11 2022-04-11 一种基于卷积神经网络的医学图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210373604.5A CN116958486A (zh) 2022-04-11 2022-04-11 一种基于卷积神经网络的医学图像处理方法及系统

Publications (1)

Publication Number Publication Date
CN116958486A true CN116958486A (zh) 2023-10-27

Family

ID=88456928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210373604.5A Pending CN116958486A (zh) 2022-04-11 2022-04-11 一种基于卷积神经网络的医学图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN116958486A (zh)

Similar Documents

Publication Publication Date Title
Chen et al. SLAM-based dense surface reconstruction in monocular minimally invasive surgery and its application to augmented reality
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
CA2929319C (en) System and method for generating partial surface from volumetric data for registration to surface topology image data
US7860282B2 (en) Method for supporting an interventional medical operation
US20210353371A1 (en) Surgical planning, surgical navigation and imaging system
EP3789965A1 (en) Method for controlling a display, computer program and mixed reality display device
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
US10242452B2 (en) Method, apparatus, and recording medium for evaluating reference points, and method, apparatus, and recording medium for positional alignment
KR20180116090A (ko) 의료용 네비게이션 시스템 및 그 방법
Kumar et al. Stereoscopic visualization of laparoscope image using depth information from 3D model
WO2001059708A1 (en) Method of 3d/2d registration of object views to a surface model
Spinczyk et al. Stereoscopic liver surface reconstruction
US10631948B2 (en) Image alignment device, method, and program
JP6476125B2 (ja) 画像処理装置、及び手術顕微鏡システム
JP2017136275A (ja) 画像位置合せ装置、方法およびプログラム
CN116958486A (zh) 一种基于卷积神经网络的医学图像处理方法及系统
CN115105204A (zh) 一种腹腔镜增强现实融合显示方法
JP7172086B2 (ja) 手術シミュレーション装置及び手術シミュレーションプログラム
CN111743628A (zh) 一种基于计算机视觉的自动穿刺机械臂路径规划的方法
US10049480B2 (en) Image alignment device, method, and program
CN112368739A (zh) 用于肝脏手术的对准系统
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
US20230210627A1 (en) Three-dimensional instrument pose estimation
Zampokas et al. Augmented reality toolkit for a smart robot-assisted MIS platform
Bellemare et al. Toward an active three dimensional navigation system in medical imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination