CN113191413A - 基于中央凹残差网络的前列腺多模mr图像分类方法和系统 - Google Patents

基于中央凹残差网络的前列腺多模mr图像分类方法和系统 Download PDF

Info

Publication number
CN113191413A
CN113191413A CN202110450651.0A CN202110450651A CN113191413A CN 113191413 A CN113191413 A CN 113191413A CN 202110450651 A CN202110450651 A CN 202110450651A CN 113191413 A CN113191413 A CN 113191413A
Authority
CN
China
Prior art keywords
foveal
residual error
fuzzy
error network
kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110450651.0A
Other languages
English (en)
Other versions
CN113191413B (zh
Inventor
张旭明
王拓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110450651.0A priority Critical patent/CN113191413B/zh
Priority to US18/554,680 priority patent/US20240081648A1/en
Priority to PCT/CN2021/092541 priority patent/WO2022227108A1/zh
Publication of CN113191413A publication Critical patent/CN113191413A/zh
Application granted granted Critical
Publication of CN113191413B publication Critical patent/CN113191413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Fuzzy Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Automation & Control Theory (AREA)

Abstract

本发明公开了一种基于中央凹残差网络的前列腺多模MR图像分类方法和系统，其中方法包括：采用中央凹算子中的模糊核替换残差网络的卷积核，由此构建中央凹残差网络；利用带类别标签的前列腺多模MR图像训练中央凹残差网络，得到训练好的中央凹残差网络；利用中央凹残差网络对待分类的前列腺多模MR图像进行分类，得到分类结果。本发明基于人眼视觉特性，设计中央凹算子，提取该算子的模糊核，利用其替代残差网络中的卷积核，由此构建中央凹深度学习网络，可以提取符合人眼视觉特性的特征，由此提升前列腺多模态MR图像的分类精度。

Description

基于中央凹残差网络的前列腺多模MR图像分类方法和系统
技术领域
本发明属于图像分类领域，更具体地，涉及一种基于中央凹残差网络的前列腺多模MR图像分类方法和系统。
背景技术
前列腺癌是男性生殖系统中最常见的恶性肿瘤，2018年美国癌症协会的报告指出，男性新发病例中前列腺癌位于第1位，死亡病例位于第2位。近年来，随着我国人们生活水平显著提高和人口年龄结构变化，前列腺癌在我国的发病率和死亡率呈明显上升趋势。
MRI能反映组织及其内脏器官机能的变化和生物化学的代谢反应，具有软组织高分辨率成像等优点，在前列腺癌的早期诊断中具有重要应用价值。近年来，越来越多的新型MR成像技术不断涌现，比如在MRI基础序列发展的灌注加权成像(Perfusion WeightedImaging，PWI)、扩散加权成像(Diffusion Weighted Imaging，DWI)和扩散张量成像(Diffusion Tensor Imaging，DTI)等。现有MRI成像技术中，T2W成像可显示前列腺解剖学结构，因此可实现对病变可疑点的检测，但出血、炎症和钙化等异常情况也会导致T2W的外周带出现低信号，与前列腺癌表现相似，这会影响基于T2W的前列腺癌诊断效果。PWI可精确定位病灶，敏感度较高，还能清晰地显示前列腺癌细胞对包膜和精囊腺的侵犯程度，其常用序列中T1加权动态增强(Dynamic Contrast Enhancement，DCE)有较好的对比剂敏感度、较高的信噪比、足够的解剖覆盖范围以及较快的时间分辨率，但它需注射外源对比剂，对患者身体会带来创伤和耐受需求。DWI的表观扩散系数(Apparent Diffusion Coefficient，ADC)能反映肿瘤的生长和侵入程度，不过仍需控制作为定量参数的ADC的阈值，避免过度诊疗。因上述各种MRI技术在前列腺癌诊断方面各有利弊，临床中通常将多种模态的MR成像技术结合使用，以避免漏诊和误诊，实现前列腺癌的精确诊断。
目前，多模态MR图像分类的重要手段是计算机辅助诊断(Computer-AidedDiagnosis，CAD)技术，这类技术主要包括两类。第一类是利用手工设计的特征提取等传统方法，实现图像分类。Chan等人首次采用多参数CAD系统对前列腺癌进行诊断，使用线扫描扩散将T2图像和T2W图像与支撑向量机相结合，以此来判断前列腺周围区的目标区域是否存在前列腺癌。Langer等将动态对比增强图像和药代动力学参数图作为前列腺外周区癌症的CAD系统的额外特征，通过非线性监督分类算法进行诊断，在预定义的感兴趣区域内的每个体素基础上评估CAD系统。Niaf等人将医生手工勾画出来的疑似前列腺癌病变区域，在T2W、DWI和DCE模态图像上提取特征并分类诊断，证实了从正常区域鉴别前列腺癌和从可疑良性区域鉴别前列腺癌的结果，但是该结果被限制为仅在外围区域中预定义的感兴趣区域中适用。总的来说，这些基于低阶信息或手工特征的前列腺癌识别方法由于没有对图像内在的高维信息进行有效的挖掘，在鲁棒性和泛化能力方面存在一定欠缺。
另一类CAD技术则使用深度学习模型自动提取特征，由此得到图像分类结果。深度学习能自动从输入的医学图像数据中提取多层特征，对复杂的数据分布进行有效的分类。近十几年来迅速发展的卷积神经网络(Convolutional Neural Network，CNN)作为深度学习模型的典型代表，在前列腺癌诊断中得到广泛应用。Ishioka等使用T2W和DWI模态图像作为训练集，利用深度神经网络对前列腺PSA低于20ng/ml的患者进行辅助诊断。华东师范大学的杨光设计了一种基于块的深度卷积神经网络用于分类多参数下的前列腺癌，在测试数据中其接受者操作特征曲线(Receiver Operating Characteristic Curve，ROC)下方面积(Area Under Curve，AUC)值达到了0.944。华中科技大学的杨欣提出了一种多模卷积神经网络用于多参数下的前列腺图像自动分类，该模型的分类精度明显优于传统机器学习方法得到的结果。
总体而言，深度学习方法比传统的手工特征提取方法在前列腺图像分类上更具优势。然而，上述深度学习模型提取的特征不一定符合人眼视觉特性，这在一定程度上影响了基于深度学习的分类方法的精度。基于此，现有技术存在难以提取符合人眼视觉特性的特征，基于深度学习的前列腺图像分类精度低的技术问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于中央凹残差网络的前列腺多模MR图像分类方法和系统，由此解决现有技术存在难以提取符合人眼视觉特性的特征，基于深度学习的前列腺图像分类精度低的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于中央凹残差网络的前列腺多模MR图像分类方法，包括：
利用中央凹残差网络对待分类的前列腺多模MR图像进行分类，得到分类结果；
所述中央凹残差网络的构建和训练包括：
采用中央凹算子中的模糊核替换残差网络的卷积核，由此构建中央凹残差网络；
利用带类别标签的前列腺多模MR图像训练中央凹残差网络，得到训练好的中央凹残差网络。
进一步地，所述中央凹算子中的模糊核替换残差网络的卷积核之前，先通过模糊核关于感知方向的导数确定最佳感知方向。
进一步地，所述最佳感知方向的确定包括：
生成从0°到179°共180个感知方向，从中随机选择多个感知方向进行初始化，得到模糊核以及模糊核关于感知方向的导数，将中央凹残差网络的损失函数关于模糊核的导数与模糊核关于感知方向的导数相乘，得到中央凹残差网络的损失函数关于感知方向的导数，经过反向传播得到更新后的权值，将与更新后的权值最相似的模糊核所对应的感知方向作为最佳感知方向。
进一步地，所述中央凹算子中的模糊核替换残差网络的卷积核之前，对中央凹算子中模糊核的数量和尺寸进行设计，使其符合残差网中卷积核的数量和尺寸要求。
进一步地，所述中央凹算子中模糊核的数量为：
UR＝(2×U_radius+1)2
其中，U_radius为模糊核半径参数，U_radius＝4，6，8，11；UR为模糊核的数量。
进一步地，所述模糊核半径参数为4时，将81个模糊核去掉正中心一个模糊核及周围四个角对应的16模糊核，得到中央凹残差网络所需的64个模糊核；所述模糊核半径参数为6时，将169个模糊核去掉正中心一个模糊核及周围四个角对应的41模糊核，得到中央凹残差网络所需的128个模糊核；所述模糊核半径参数为8时，将289个模糊核去掉正中心一个模糊核及周围四个角对应的32模糊核，得到中央凹残差网络所需的256个模糊核；所述模糊核半径参数为11时，将529个模糊核去掉正中心一个模糊核及周围四个角对应的16模糊核，得到中央凹残差网络所需的512个模糊核。
进一步地，所述中央凹残差网络的模糊核尺寸通过如下方式确定：
生成尺寸为[2×U_radius+1，2×U_radius+1]的初始模糊核，对其进行平均池化取样确定中央凹残差网络的模糊核尺寸，U_radius为模糊核半径参数。
进一步地，所述平均池化取样时池化窗起点设为km+b，其中，k和b为线性参数，m为池化后3模糊核的行，满足关系
Figure BDA0003037422970000051
即保证第一个池化窗的左上角起点在[1，1]，第三个池化窗的右上角终点在[1，2×U_radius+1]，其中ps表示池化窗的宽度。
进一步地，所述池化窗之间相邻或者重叠，且不能超过初始模糊核的边界。
按照本发明的另一方面，提供了一种基于中央凹残差网络的前列腺多模MR图像分类系统，包括：
网络构建模块，用于采用中央凹算子中的模糊核替换残差网络的卷积核，由此构建中央凹残差网络；
网络训练模块，用于利用带类别标签的前列腺多模MR图像训练中央凹残差网络，得到训练好的中央凹残差网络；
分类模块，用于利用中央凹残差网络对待分类的前列腺多模MR图像进行分类，得到分类结果。
进一步地，网络构建模块包括：
模糊核数量设计模块，用于首先设置中央凹算子中模糊核的数量为：
UR＝(2×U_radius+1)2
其中，U_radius为模糊核半径参数，U_radius＝4，6，8，11；UR为模糊核的数量；所述模糊核半径参数为4时，将81个模糊核去掉正中心一个模糊核及周围四个角对应的16模糊核，得到中央凹残差网络所需的64个模糊核；所述模糊核半径参数为6时，将169个模糊核去掉正中心一个模糊核及周围四个角对应的41模糊核，得到中央凹残差网络所需的128个模糊核；所述模糊核半径参数为8时，将289个模糊核去掉正中心一个模糊核及周围四个角对应的32模糊核，得到中央凹残差网络所需的256个模糊核；所述模糊核半径参数为11时，将529个模糊核去掉正中心一个模糊核及周围四个角对应的16模糊核，得到中央凹残差网络所需的512个模糊核；
模糊核尺寸设计模块，用于生成尺寸为[2×U_radius+1，2×U_radius+1]的初始模糊核，对其进行平均池化取样确定中央凹残差网络的模糊核尺寸，U_radius为模糊核半径参数；所述平均池化取样时池化窗起点设为km+b，其中，k和b为线性参数，m为池化后3模糊核的行，满足关系
Figure BDA0003037422970000061
即保证第一个池化窗的左上角起点在[1，1]，第三个池化窗的右上角终点在[1，2×U_radius+1]，其中ps表示池化窗的宽度；所述池化窗之间相邻或者重叠，且不能超过初始模糊核的边界；
模糊核方向设计模块，用于生成从0°到179°共180个感知方向，从中随机选择多个感知方向进行初始化，得到模糊核以及模糊核关于感知方向的导数，将中央凹残差网络的损失函数关于模糊核的导数与模糊核关于感知方向的导数相乘，得到中央凹残差网络的损失函数关于感知方向的导数，经过反向传播得到更新后的权值，将与更新后的权值最相似的模糊核所对应的感知方向作为最佳感知方向；
模糊核替换模块，用于将中央凹算子中数量、尺寸和方向设计好的模糊核替换残差网络的卷积核，由此构建中央凹残差网络。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)人眼视觉特性来源于中央凹，在视网膜的中央凹处，视锥细胞的密度极高，视杆细胞几乎没有，而越靠近视网膜的外围，视锥细胞浓度下降的越多，因此视网膜图像具有不同的变异特性，即视网膜图像的清晰度会在视网膜的中间部分最高，但随着距离视网膜中心越远的图像会逐渐模糊。本发明基于上述人眼视觉特性，设计中央凹算子，提取该算子的模糊核，利用其替代深度学习网络(即残差网络ResNet)中的卷积核，由此构建中央凹深度学习网络，可以提取符合人眼视觉特性的特征，由此提升基于前列腺多模态MR图像的分类精度。
(2)模糊核的感知方向反映了在某一模糊核大小下人眼对事物的信息感知的方向，对其求导，就能得到人眼对事物感知的最佳方向。一般的神经网络的链式法则是乘以一个连续的函数，而本发明在对模糊核推导计算中发现模糊核关于感知方向的导数不能用确定的函数表示，它的系数是变化的，就没办法用函数直接乘到链式法则里面。基于此，本发明首先随机选择多个感知方向进行初始化，得到模糊核以及模糊核关于感知方向的导数，然后通过损失函数关于感知方向的导数，经反向传播，最终得到最佳感知方向，本发明的感知方向是离散的不是一个连续函数，这样处理收敛速度快了很多，而且不会梯度爆炸或者消失。
(3)在中央凹算子中的模糊核替换残差网络的卷积核之前需要对模糊核的数量和尺寸进行设计，使其符合要求，使得构建的中央凹残差网络具有较高的分类效果，在设计模糊核的数量时，模糊核半径参数设置为4，6，8，11是为了使模糊核的数量大于ResNet结构要求核的数量，这样再去掉多余的模糊核后才能得到符合要求的核数量。在设计模糊核的尺寸时，采用平均池化取样，对池化窗起点进行设置以及对池化窗进行约束是为了限制池化窗的大小，得到多种取样结果。
附图说明
图1是本发明实施例提供的分类方法流程图；
图2(a)是本发明实施例提供的U_radius＝4时模糊核数量设计示意图；
图2(b)是本发明实施例提供的U_radius＝6时模糊核数量设计示意图；
图2(c)是本发明实施例提供的U_radius＝8时模糊核数量设计示意图；
图2(d)是本发明实施例提供的U_rddius＝11时模糊核数量设计示意图；
图3(a)是本发明实施例提供的未池化取样的初始模糊核示意图；
图3(b)是本发明实施例提供的ps＝3的池化取样的模糊核示意图；
图3(c)是本发明实施例提供的ps＝5的池化取样的模糊核示意图；
图3(d)是本发明实施例提供的ps＝7的池化取样的模糊核示意图；
图4是本发明实施例提供的ROC曲线示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，一种基于中央凹残差网络的前列腺多模MR图像分类方法，包括：
利用中央凹残差网络对待分类的前列腺多模MR图像进行分类，得到分类结果；
所述中央凹残差网络的构建和训练包括：
采用中央凹算子中的模糊核替换残差网络的卷积核，由此构建中央凹残差网络；
利用带类别标签的前列腺多模MR图像训练中央凹残差网络，得到训练好的中央凹残差网络。
进一步地，所述中央凹算子中的模糊核替换残差网络的卷积核之前，先通过模糊核关于感知方向的导数确定最佳感知方向。
进一步地，所述最佳感知方向的确定包括：
生成从0°到179°共180个感知方向，从中随机选择多个感知方向进行初始化，得到模糊核以及模糊核关于感知方向的导数，将中央凹残差网络的损失函数关于模糊核的导数与模糊核关于感知方向的导数相乘，得到中央凹残差网络的损失函数关于感知方向的导数，经过反向传播得到更新后的权值，将与更新后的权值最相似的模糊核所对应的感知方向作为最佳感知方向。
模糊核b_k及其关于感知方向θ的导数b_k′：
Figure BDA0003037422970000091
Figure BDA0003037422970000092
其中
Figure BDA0003037422970000093
Figure BDA0003037422970000094
其中ρ表示模糊核的聚焦程度，本发明取ρ＝2，f1(θ)为A1cos(2θ+2Uc)+B1sin(2θ+2Uc)+C1；
Figure BDA0003037422970000095
为模糊核位于模糊核斑块的位置，这里
Figure BDA0003037422970000096
u_1，u_2∈[1，UR]，u_1和u_2为循环计数，Uc_2和Uc_1是中央凹斑块的大小；g2，g1由网格采样点的函数meshgrid生成，即
Figure BDA0003037422970000097
vs＝vsI[u_1，u_2]，这里
Figure BDA0003037422970000098
Figure BDA0003037422970000099
为一种加窗核函数，
Figure BDA00030374229700000910
残差网络的损失函数loss关于θ的导数可由loss关于模糊核的导数与模糊核关于θ的导数的乘积得到：
Figure BDA0003037422970000101
因导数公式的系数是变化的，有的是实数，有的则是实矩阵，无法用同一个方法映射为统一的值，因此采用逼近法求解θ值。
进一步地，所述中央凹算子中的模糊核替换残差网络的卷积核之前，对中央凹算子中模糊核的数量和尺寸进行设计，使其符合残差网中卷积核的数量和尺寸要求。
进一步地，所述中央凹算子中模糊核的数量为：
UR＝(2×U_radius+1)2
其中，U_radius为模糊核半径参数，U_radius＝4，6，8，11；UR为模糊核的数量。
如图2(a)所示，所述模糊核半径参数为4时，将81个模糊核去掉正中心一个模糊核及周围四个角对应的16模糊核，得到中央凹残差网络所需的64个模糊核；如图2(b)所示，所述模糊核半径参数为6时，将169个模糊核去掉正中心一个模糊核及周围四个角对应的41模糊核，得到中央凹残差网络所需的128个模糊核；如图2(c)所示，所述模糊核半径参数为8时，将289个模糊核去掉正中心一个模糊核及周围四个角对应的32模糊核，得到中央凹残差网络所需的256个模糊核；如图2(d)所示，所述模糊核半径参数为11时，将529个模糊核去掉正中心一个模糊核及周围四个角对应的16模糊核，得到中央凹残差网络所需的512个模糊核。
进一步地，所述中央凹残差网络的模糊核尺寸通过如下方式确定：
生成尺寸为[2×U_radius+1，2×U_radius+1]的初始模糊核，对其进行平均池化取样确定中央凹残差网络的模糊核尺寸，U_radius为模糊核半径参数。
进一步地，所述平均池化取样时池化窗起点设为km+b，其中，k和b为线性参数，m为池化后3模糊核的行，满足关系
Figure BDA0003037422970000111
即保证第一个池化窗的左上角起点在[1，1]，第三个池化窗的右上角终点在[1，2×U_radius+1]，其中ps表示池化窗的宽度，可以解得
Figure BDA0003037422970000112
进一步地，所述池化窗之间相邻或者重叠，且不能超过初始模糊核的边界。则有：k，b∈Z，ps＝2n+1，n∈Z，
Figure BDA0003037422970000113
ps≤2×U_radius-1。
根据约束条件，得到一系列ps值，不同的ps值会得到原模糊的不同取样效果。
图3(a)是未池化取样的初始模糊核示意图，图3(b)是ps＝3的池化取样的模糊核示意图，图3(c)是ps＝5的池化取样的模糊核示意图，图3(d)是ps＝7的池化取样的模糊核示意图；可以明显看出，ps越小，与原模糊核越接近，选择最小的ps值，得到与原模糊核最接近的3×3模糊核。
本发明设计的用于替换的模糊核尺寸全部是3×3，结合较少的数据量和ResNet结构中卷积核尺寸考虑，选取ResNet18和ResNet34进行替换，这样不需要考虑更多层卷积核尺寸问题。
训练过程中训练集为带类别标签的前列腺多模MR图像，具体地：
步骤1-1将原始数据为T2W，DCE，ADC的多模态MR图像的包含病灶的感兴趣区(Region of Interest，ROI)，组成三通道多模MR数据，分为两类，标签0代表阴性，有250张图片，标签1代表阳性，有75张图片，大小为35×35。
步骤1-2利用基于胶囊网络的生成对抗网络对ROI进行数据增强，最后生成标签0共2600张图片，标签1共2600张图片。
步骤1-3对步骤1-2得到的数据进行划分，得到训练数据集的标签0和标签1各有1560张图片，验证数据集的标签0和标签1各有520张图片，测试数据集的标签0和标签1各有520张图片。
步骤1-4将未经过生成对抗网络增强的原图像加入测试集，最后得到测试集标签0共720张，标签1共582张。
对得到的模型(即中央凹残差网络)进行训练，选取不同的训练参数，使用训练集和验证集训练模型，选择最优参数，并加深训练次数。
通过训练不同的次数，找到具有最优分类效果的模型。
使用测试集对得到的最优模型进行测试，通过不同的测试指标选取最好的分类结果模型。
实施例1
步骤1准备完毕的数据输入网络内后大小为224×224，通道数为3，训练数据集的标签0和标签1各有1560张图片，验证数据集的标签0和标签1各有520张图片。
步骤2对中央凹算子中模糊核的数量进行设计，根据ResNet结构要求核的数量为64，128，256，512，U_radius＝4，6，8，11，去掉多余的模糊核，使得UR＝64，128，256，512。
步骤3设置池化窗的ps为其最小值，将所有得到的模糊核的尺寸固定为3×3。
步骤4按照链式法则修改反向传播。
步骤5训练模型，batch size(BS)的大小根据训练结果进行优化，ResNet18的BS＝32，ResNet34的BS＝18，F-ResNet18的BS＝18，F-ResNet34的BS＝19。
步骤6测试模型，测试集标签0共720张，标签1共582张，最后得到最优模型。
对比例1
构建经典ResNet18和ResNet34网络，使用与本发明方法相同的数据集和损失函数训练。
本发明与对比例1的结果如表1和图4的ROC示意图所示。
表1各项指标对比
Figure BDA0003037422970000131
本发明所使用的评价指标包括：ROC曲线下方的面积大小AUC，准确率(ACC，所有判断正确的结果/总观测值)，精确率(PPV，预测值是Positive的结果中，预测正确的比重)，敏感性(PRE，真实值是Positive的结果中，预测正确的比重)，特异性(SPE，真实值是Negative的结果中，预测正确的比重)，F1-Score(三级指标，接近1最好)。在第20个epoch(训练次数)时ResNet18达到了最好的结果，测试集ACC为0.9140，AUC为0.9699，F-ResNet18的ACC为0.9240，AUC为0.9704，且可以发现本发明的F-ResNet18各项指标均优于原ResNet18结构。而ResNet34在第50个epoch达到最好结果，测试集ACC为0.9194，AUC为0.9806，F-ResNet34的测试集ACC更高，为0.9232，且除了其AUC比ResNet34少0.81％，PRE比ResNet34少0.73％之外，其他指标均优于原ResNet34的结果。这说明18层中央凹残差网在分类准确率、精确率、特异性及F1-Score等指标上优于传统残差网。本发明提出的中央凹残差网可提取符合人眼视觉特性的图像特征，为实现前列腺癌多模MR图像的精确分类提供了新的有效手段。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于中央凹残差网络的前列腺多模MR图像分类方法，其特征在于，包括：
利用中央凹残差网络对待分类的前列腺多模MR图像进行分类，得到分类结果；
所述中央凹残差网络的构建和训练包括：
采用中央凹算子中的模糊核替换残差网络的卷积核，由此构建中央凹残差网络；
利用带类别标签的前列腺多模MR图像训练中央凹残差网络，得到训练好的中央凹残差网络。
2.如权利要求1所述的一种基于中央凹残差网络的前列腺多模MR图像分类方法，其特征在于，所述中央凹算子中的模糊核替换残差网络的卷积核之前，先通过模糊核关于感知方向的导数确定最佳感知方向。
3.如权利要求2所述的一种基于中央凹残差网络的前列腺多模MR图像分类方法，其特征在于，所述最佳感知方向的确定包括：
生成从0°到179°共180个感知方向，从中随机选择多个感知方向进行初始化，得到模糊核以及模糊核关于感知方向的导数，将中央凹残差网络的损失函数关于模糊核的导数与模糊核关于感知方向的导数相乘，得到中央凹残差网络的损失函数关于感知方向的导数，经过反向传播得到更新后的权值，将与更新后的权值最相似的模糊核所对应的感知方向作为最佳感知方向。
4.如权利要求1-3任一所述的一种基于中央凹残差网络的前列腺多模MR图像分类方法，其特征在于，所述中央凹算子中的模糊核替换残差网络的卷积核之前，对中央凹算子中模糊核的数量和尺寸进行设计，使其符合残差网中卷积核的数量和尺寸要求。
5.如权利要求4所述的一种基于中央凹残差网络的前列腺多模MR图像分类方法，其特征在于，所述中央凹算子中模糊核的数量为：
UR＝(2×U_radius+1)2
其中，U_radius为模糊核半径参数，U_radius＝4，6，8，11；UR为模糊核的数量。
6.如权利要求5所述的一种基于中央凹残差网络的前列腺多模MR图像分类方法，其特征在于，所述模糊核半径参数为4时，将81个模糊核去掉正中心一个模糊核及周围四个角对应的16模糊核，得到中央凹残差网络所需的64个模糊核；所述模糊核半径参数为6时，将169个模糊核去掉正中心一个模糊核及周围四个角对应的41模糊核，得到中央凹残差网络所需的128个模糊核；所述模糊核半径参数为8时，将289个模糊核去掉正中心一个模糊核及周围四个角对应的32模糊核，得到中央凹残差网络所需的256个模糊核；所述模糊核半径参数为11时，将529个模糊核去掉正中心一个模糊核及周围四个角对应的16模糊核，得到中央凹残差网络所需的512个模糊核。
7.如权利要求1或2所述的一种基于中央凹残差网络的前列腺多模MR图像分类方法，其特征在于，所述中央凹残差网络的模糊核尺寸通过如下方式确定：
生成尺寸为[2×U_radius+1，2×U_radius+1]的初始模糊核，对其进行平均池化取样确定中央凹残差网络的模糊核尺寸，U_radius为模糊核半径参数。
8.如权利要求7所述的一种基于中央凹残差网络的前列腺多模MR图像分类方法，其特征在于，所述平均池化取样时池化窗起点设为km+b，其中，k和b为线性参数，m为池化后3模糊核的行，满足关系
Figure FDA0003037422960000031
即保证第一个池化窗的左上角起点在[1，1]，第三个池化窗的右上角终点在[1，2×U_radius+1]，其中ps表示池化窗的宽度。
9.如权利要求8所述的一种基于中央凹残差网络的前列腺多模MR图像分类方法，其特征在于，所述池化窗之间相邻或者重叠，且不能超过初始模糊核的边界。
10.一种基于中央凹残差网络的前列腺多模MR图像分类系统，其特征在于，包括：
网络构建模块，用于采用中央凹算子中的模糊核替换残差网络的卷积核，由此构建中央凹残差网络；
网络训练模块，用于利用带类别标签的前列腺多模MR图像训练中央凹残差网络，得到训练好的中央凹残差网络；
分类模块，用于利用中央凹残差网络对待分类的前列腺多模MR图像进行分类，得到分类结果。
CN202110450651.0A 2021-04-25 2021-04-25 基于中央凹残差网络的前列腺多模mr图像分类方法和系统 Active CN113191413B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110450651.0A CN113191413B (zh) 2021-04-25 2021-04-25 基于中央凹残差网络的前列腺多模mr图像分类方法和系统
US18/554,680 US20240081648A1 (en) 2021-04-25 2021-05-10 Method and system for prostate multi-modal mr image classification based on foveated residual network
PCT/CN2021/092541 WO2022227108A1 (zh) 2021-04-25 2021-05-10 基于中央凹残差网络的前列腺多模mr图像分类方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110450651.0A CN113191413B (zh) 2021-04-25 2021-04-25 基于中央凹残差网络的前列腺多模mr图像分类方法和系统

Publications (2)

Publication Number Publication Date
CN113191413A true CN113191413A (zh) 2021-07-30
CN113191413B CN113191413B (zh) 2022-06-21

Family

ID=76978825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110450651.0A Active CN113191413B (zh) 2021-04-25 2021-04-25 基于中央凹残差网络的前列腺多模mr图像分类方法和系统

Country Status (3)

Country Link
US (1) US20240081648A1 (zh)
CN (1) CN113191413B (zh)
WO (1) WO2022227108A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116895095A (zh) * 2023-09-11 2023-10-17 新云滕科技有限公司 自动售票机的人脸识别智能判图方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230302B1 (en) * 2013-03-13 2016-01-05 Hrl Laboratories, Llc Foveated compressive sensing system
CN107767351A (zh) * 2017-09-06 2018-03-06 郑州工商学院 一种盲去模糊的图像恢复方法
WO2018045602A1 (zh) * 2016-09-07 2018-03-15 华中科技大学 一种基于深度学习的模糊核尺寸估计方法与系统
CN111008647A (zh) * 2019-11-06 2020-04-14 长安大学 一种样本提取及基于空洞卷积与残差链接的图像分类方法
CN111402198A (zh) * 2020-02-11 2020-07-10 山东师范大学 基于解剖地标和残差网络的阿尔兹海默症分类方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8295575B2 (en) * 2007-10-29 2012-10-23 The Trustees of the University of PA. Computer assisted diagnosis (CAD) of cancer using multi-functional, multi-modal in-vivo magnetic resonance spectroscopy (MRS) and imaging (MRI)
WO2015081079A1 (en) * 2013-11-26 2015-06-04 Henry Ford Innovation Institute Software for using magnetic resonance images to generate a synthetic computed tomography image
US10311560B2 (en) * 2016-09-07 2019-06-04 Huazhong University Of Science And Technology Method and system for estimating blur kernel size
US11495327B2 (en) * 2017-07-07 2022-11-08 University Of Louisville Research Foundation, Inc. Computer-aided diagnostic system for early diagnosis of prostate cancer
CN107680053A (zh) * 2017-09-20 2018-02-09 长沙全度影像科技有限公司 一种基于深度学习分类的模糊核优化迭代初始值估计方法
EP3714461A1 (en) * 2017-11-22 2020-09-30 General Electric Company Multi-modal computer-aided diagnosis systems and methods for prostate cancer
CN107886510A (zh) * 2017-11-27 2018-04-06 杭州电子科技大学 一种基于三维全卷积神经网络的前列腺mri分割方法
CN110008992B (zh) * 2019-02-28 2023-04-11 合肥工业大学 一种用于前列腺癌辅助诊断的深度学习方法
CN110930416B (zh) * 2019-11-25 2022-05-06 宁波大学 一种基于u型网络的mri图像前列腺分割方法
CN111275714B (zh) * 2020-01-13 2022-02-01 武汉大学 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN112508973A (zh) * 2020-10-19 2021-03-16 杭州电子科技大学 一种基于深度学习的mri图像分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230302B1 (en) * 2013-03-13 2016-01-05 Hrl Laboratories, Llc Foveated compressive sensing system
WO2018045602A1 (zh) * 2016-09-07 2018-03-15 华中科技大学 一种基于深度学习的模糊核尺寸估计方法与系统
CN107767351A (zh) * 2017-09-06 2018-03-06 郑州工商学院 一种盲去模糊的图像恢复方法
CN111008647A (zh) * 2019-11-06 2020-04-14 长安大学 一种样本提取及基于空洞卷积与残差链接的图像分类方法
CN111402198A (zh) * 2020-02-11 2020-07-10 山东师范大学 基于解剖地标和残差网络的阿尔兹海默症分类方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALESSANDRO FOI 等: "Foveated Nonlocal Self-Similarity", 《HTTPS://LINK.SPRINGER.COM/CONTENT/PDF/10.1007/S11263-016-0898-1.PDF》 *
FENG YANG 等: "Non-Rigid Multi-Modal 3D Medical Image Registration Based on Foveated Modality Independent Neighborhood Descriptor", 《SENSORS》 *
张婷婷等: "基于深度学习的图像目标检测算法综述", 《电信科学》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116895095A (zh) * 2023-09-11 2023-10-17 新云滕科技有限公司 自动售票机的人脸识别智能判图方法

Also Published As

Publication number Publication date
CN113191413B (zh) 2022-06-21
WO2022227108A1 (zh) 2022-11-03
US20240081648A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
Mahmood et al. Deep adversarial training for multi-organ nuclei segmentation in histopathology images
CN108573490B (zh) 一种针对肿瘤影像数据的智能读片系统
Rong et al. Surrogate-assisted retinal OCT image classification based on convolutional neural networks
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
Tian et al. Multi-path convolutional neural network in fundus segmentation of blood vessels
Makni et al. Zonal segmentation of prostate using multispectral magnetic resonance images
Du et al. Identification of COPD from multi-view snapshots of 3D lung airway tree via deep CNN
CN107766874B (zh) 一种超声容积生物学参数的测量方法及测量系统
CN110910405A (zh) 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统
Khalil et al. Multi-Scale Network for Thoracic Organs Segmentation.
Song et al. Automatic lung nodule segmentation and intra-nodular heterogeneity image generation
CN113239755A (zh) 一种基于空谱融合深度学习的医学高光谱图像分类方法
Bonkhoff et al. Reclassifying stroke lesion anatomy
Chen et al. Generative adversarial network based cerebrovascular segmentation for time-of-flight magnetic resonance angiography image
Haq et al. BTS-GAN: computer-aided segmentation system for breast tumor using MRI and conditional adversarial networks
Yuan et al. Pulmonary nodule detection using 3-d residual u-net oriented context-guided attention and multi-branch classification network
Shi et al. Automatic detection of pulmonary nodules in CT images based on 3D Res-I network
Ryu et al. A deep learning algorithm for classifying diabetic retinopathy using optical coherence tomography angiography
CN113786185B (zh) 一种基于卷积神经网络的静态脑网络特征提取方法和系统
CN113191413B (zh) 基于中央凹残差网络的前列腺多模mr图像分类方法和系统
Singh et al. Optimized convolutional neural network for glaucoma detection with improved optic-cup segmentation
Shi et al. Artifact-tolerant clustering-guided contrastive embedding learning for ophthalmic images in glaucoma
Vajravelu et al. Machine learning techniques to detect bleeding frame and area in wireless capsule endoscopy video
Peng et al. Segmentation of breast molybdenum target image lesions based on semi-supervised fuzzy clustering
Szentimrey et al. Automated segmentation and measurement of the female pelvic floor from the mid‐sagittal plane of 3D ultrasound volumes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant