CN111144486A - 基于卷积神经网络的心脏核磁共振图像关键点检测方法 - Google Patents

基于卷积神经网络的心脏核磁共振图像关键点检测方法 Download PDF

Info

Publication number
CN111144486A
CN111144486A CN201911371867.7A CN201911371867A CN111144486A CN 111144486 A CN111144486 A CN 111144486A CN 201911371867 A CN201911371867 A CN 201911371867A CN 111144486 A CN111144486 A CN 111144486A
Authority
CN
China
Prior art keywords
layer
image
neural network
convolutional neural
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911371867.7A
Other languages
English (en)
Other versions
CN111144486B (zh
Inventor
李纯明
谢李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201911371867.7A priority Critical patent/CN111144486B/zh
Publication of CN111144486A publication Critical patent/CN111144486A/zh
Application granted granted Critical
Publication of CN111144486B publication Critical patent/CN111144486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了基于卷积神经网络的心脏核磁共振图像关键点检测方法，通过构建卷积神经网络，利用逐像素分类器高效的检测多个关键点的区域，同时预测像素到关键点中心的距离，保证了关键点的精准预测。本发明通过去除误检的关键点，并将融合信息图中不在左心室和右心室之间的左右心室交叉点移除，根据局部最大值搜索方法来获取融合信息图中局部最大值，降低了检测的假阳率，并且保证了关键点检测的准确性。

Description

基于卷积神经网络的心脏核磁共振图像关键点检测方法
技术领域
本领域属于心脏核磁共振图像关键点检测领域，具体涉及基于卷积神经网络的心脏核磁共振图像关键点检测方法。
背景技术
随着断层成像(CT)和磁共振成像(MR)被广泛地运用到疾病诊断、治疗规划和临床研究中，医学图像计算机辅助诊断(CAD)已成为医生临床诊断、确定治疗计划等日常工作中的一个重要步骤，而解剖结构关键点检测是该技术的一个重要研究热点。关键点检测技术可以帮助医生快速定位病灶、器官等感兴趣目标的位置，提高诊断效率。关键点检测算法在医学图像处理中取得了较好的检测效果，但仍具有一定局限性。现有技术中，对于基于阈值法、基于形态学处理和基于形状特征检测法，MRI图像存在的噪声干扰、像素值分布的不均匀性、左心室形状差异、心室与周边组织的高相似性都给检测算法的鲁棒性带来了较大的挑战。此外，稀疏自编码器与SVM分类器的混合模型不具备端到端的特点，影响检测效率。
发明内容
针对现有技术中的上述不足，本发明提供的基于卷积神经网络的心脏核磁共振图像关键点检测方法解决了现有技术中存在的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于卷积神经网络的心脏核磁共振图像关键点检测方法，包括以下步骤：
S1、采集待检测心脏核磁共振图像和训练原始图像，并对训练原始图像进行手工标注关键点处理，得到手工标注图像；
S2、对训练原始图像和手工标注图像进行数据增强处理，到的处理后的训练原始图像和手工标注图像；
S3、根据TensorFlow深度学习平台，搭建卷积神经网络，并通过处理后的训练原始图像和手工标注图像对卷积神经网络进行训练；
S4、将待检测心脏核磁共振图像输入训练完成的卷积神经网络，获取关键点概率图、左心室区域概率图和关键点中心距离回归值；
S5、将关键点概率图和关键点中心距离回归值进行融合，得到融合信息图，并根据左心室区域概率图将融合信息图中左心室区域内的误检关键点去除；
S6、将融合信息图中不在左心室和右心室之间的左右心室交叉点移除，根据局部最大值搜索方法，获取融合信息图中局部最大值，得到关键点检测结果。
进一步地，所述步骤S1中对训练原始图像进行手工标注关键点处理的具体方法为：
A1、对训练原始图像中左心室顶端上间断点进行手工标注，得到第一标签K1；
A2、对训练原始图像中左心室顶端下间断点进行手工标注，得到第二标签K2；
A3、对训练原始图像中右心室中心点进行手工标注，得到第三标签K3；
A4、对训练原始图像中左右心室上交叉点进行手工标注，得到第四标签K4；
A5、对训练原始图像中左右心室下交叉点进行手工标注，得到第五标签K5；
A6、对训练原始图像中左心室区域进行手工标注，获取第六标签K6，得到手工标注图像。
进一步地，所述步骤S2中对训练原始图像和手工标注图像进行数据增强处理的具体方法：将训练原始图像和手工标注图像进行随机裁剪、旋转、翻转和数据归一化处理。
进一步地，所述随机裁剪的具体方法为：将训练原始图像和手工标注图像进行随机裁剪，得到若干尺寸为224×224的图像块；
所述旋转的具体方法为：将训练原始图像和手工标注图像顺时针旋转90度，得到顺时针旋转子图像；将训练原始图像和手工标注图像逆时针旋转90度，得到逆时针旋转子图像；
所述翻转的具体方法为：将训练原始图像和手工标注图像水平翻转，得到水平翻转子图像；将训练原始图像和手工标注图像垂直翻转，得到垂直翻转子图像；
所述数据归一化处理的具体公式为：
Figure BDA0002339866200000031
其中，I*(x)为归一化后的图像像素值，I(x)表示图像的像素值，x表示图像的坐标值，Imin表示图像像素值的最小值，Imax表示图像像素值的最大值，Imean(x)表示图像像素值的均值。
进一步地，所述步骤S3中卷积神经网络包括依次连接的输入层、第一卷积层、第二卷积层、第一批归一化层、第一最大池化层、第三卷积层、第一拼接层、第一双线性差值上采样层、第十九卷积层、第二十卷积层、softmax分类器和输出层；
所述第一最大池化层的输出端还与第四卷积层的输入端连接，所述第四卷积层的输出端依次通过第五卷积层、第二批归一化层、第二最大池化层、第六卷积层和第二拼接层与第二双线性差值上采样层的输入端连接，所述第二双线性差值上采样层的输出端与第一拼接层的输入端连接；
所述第二最大池化层的输出端还与第七卷积层的输入端连接，所述第七卷积层的输出端依次通过第八卷积层、第九卷积层、第三批归一化层、第三最大池化层、第十卷积层和第三拼接层与第三双线性差值上采样层的输入端连接，所述第三双线性差值上采样层的输出端与第二拼接层的输入端连接；
所述第三最大池化层的输出端还与第十一卷积层的输入端连接，所述第十一卷积层的输出端依次通过第十二卷积层、第十三卷积层、第四批归一化层、第四最大池化层、第十四卷积层和第四拼接层与第四双线性差值上采样层的输入端连接，所述第四双线性差值上采样层的输出端与第三拼接层的输入端连接；
所述第四最大池化层的输出端还与第十五卷积层的输入端连接，所述第十五卷积层的输出端依次通过第十六卷积层、第十七卷积层、第五批归一化层、第五最大池化层和第十八卷积层与第五双线性差值上采样层的输入端连接，所述第五双线性差值上采样层的输出端与第四拼接层的输入端连接；
所述第一双线性差值上采样层的输出端还与第二十一卷积层的输入端连接，所述第二十一卷积层的输出端通过第二十二卷积层与sigmoid函数层的输入端连接，所述sigmoid函数层的输出端与输出层的输入端连接。
进一步地，所述步骤S3中对卷积神经网络进行训练的具体方法为：
B1、将处理后的训练原始图像和手工标注图像输入卷积神经网络；
B2、计算卷积神经网络的每一次输出与手工标注图像之间的损失函数；
B3、以损失函数值最小化为目标，根据Adam算法，对网络参数进行优化；
B4、当损失函数值不再下降时，将此时的网络参数保存为最终的卷积神经网络的参数，得到训练完成的卷积神经网络。
进一步地，所述步骤B2中损失函数L(I,G；W)为：
Figure BDA0002339866200000041
其中，Np表示训练原始图像的像素总数，x表示训练原始图像的坐标值，Ω表示训练原始图像的所有坐标值，P(·)表示卷积神经网络预测的训练原始图像的像素属于其真实标签的概率函数，l表示预测的像素点，G*(x)∈{K1,K2,K3,K4,K5,K6}，G*(x)表示手工标注图像中标签类别，K1表示第一标签，K2表示第二标签，K3表示第一标签，K4表示第四标签，K5表示第五标签，K6表示第六标签，W表示卷积神经网络的所有参数，λ表示第二个损失项的权重，D(x)表示预测的像素点到关键点中心的距离误差，D*(x)表示周围像素点到关键点中心实际的距离误差，所述周围像素表示以关键点的坐标为圆心，半径为5个像素长度的圆形区域内的预测的像素点，D*(x)∈[0,1]，M(x)表示领域指示函数，若当坐标值x到关键点中心的距离小于5像素长度，则M(x)＝1，否则M(x)＝0。
进一步地，所述步骤S5中融合信息图的融合信息Q(x)具体为：
Figure BDA0002339866200000051
其中，y表示以x为中心，β为半径的空间坐标，y∈|x-y|<β表示以x为中心且β为半径的空间坐标，融合信息Q(x)为关键点概率Pk(x)与关键点中心误差信息D(x)在局部坐标y上的加权平均值，Pk(y)表示关键点概率Pk(x)在局部坐标y上的值，D(y)表示关键点中心误差信息D(x)在局部坐标y上的值。
进一步地，所述关键点概率Pk(x)包含5个关键点预测结果，所述关键点中心误差信息D(x)包含5个预测关键点位置与真实关键点位置之间的误差。
进一步地，所述步骤S5中根据左心室区域概率图将左心室区域内的误检关键点去除的具体方法为：以左心室的中心为圆心，以左心室中心到右心室关键点的距离为半径，得到圆心区域，去除圆心区域中的误检关键点；
根据阈值法，对左心室区域概率图进行阈值分割处理，将左心室预测概率大于0.5的误检关键点去除。
本发明的有益效果为：
(1)本发明通过构建卷积神经网络，利用逐像素分类器高效的检测多个关键点的区域，同时预测像素到关键点中心的距离，保证了关键点的精准预测。
(2)本发明通过去除误检的关键点，并将融合信息图中不在左心室和右心室之间的左右心室交叉点移除，根据局部最大值搜索方法来获取融合信息图中局部最大值，降低了检测的假阳率，并且保证了关键点检测的准确性。
附图说明
图1为本发明提出的基于卷积神经网络的心脏核磁共振图像关键点检测方法流程图。
图2为本发明提出的卷积神经网络结构图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
下面结合附图详细说明本发明的实施例。
如图1所示，一种基于卷积神经网络的心脏核磁共振图像关键点检测方法，包括以下步骤：
S1、采集待检测心脏核磁共振图像和训练原始图像，并对训练原始图像进行手工标注关键点处理，得到手工标注图像；
S2、对训练原始图像和手工标注图像进行数据增强处理，到的处理后的训练原始图像和手工标注图像；
S3、根据TensorFlow深度学习平台，搭建卷积神经网络，并通过处理后的训练原始图像和手工标注图像对卷积神经网络进行训练；
S4、将待检测心脏核磁共振图像输入训练完成的卷积神经网络，获取关键点概率图、左心室区域概率图和关键点中心距离回归值；
S5、将关键点概率图和关键点中心距离回归值进行融合，得到融合信息图，并根据左心室区域概率图将融合信息图中左心室区域内的误检关键点去除；
S6、将融合信息图中不在左心室和右心室之间的左右心室交叉点移除，根据局部最大值搜索方法，获取融合信息图中局部最大值，得到关键点检测结果。
其中，所述步骤S1中对训练原始图像进行手工标注关键点处理的具体方法为：
A1、对训练原始图像中左心室顶端上间断点进行手工标注，得到第一标签K1；
A2、对训练原始图像中左心室顶端下间断点进行手工标注，得到第二标签K2；
A3、对训练原始图像中右心室中心点进行手工标注，得到第三标签K3；
A4、对训练原始图像中左右心室上交叉点进行手工标注，得到第四标签K4；
A5、对训练原始图像中左右心室下交叉点进行手工标注，得到第五标签K5；
A6、对训练原始图像中左心室区域进行手工标注，获取第六标签K6，得到手工标注图像。
其中，所述步骤S2中对训练原始图像和手工标注图像进行数据增强处理的具体方法：将训练原始图像和手工标注图像进行随机裁剪、旋转、翻转和数据归一化处理。
所述随机裁剪的具体方法为：将训练原始图像和手工标注图像进行随机裁剪，得到若干尺寸为224×224的图像块。
在本实施例中，随机裁剪得到4个尺寸为224×224的图像块。
所述旋转的具体方法为：将训练原始图像和手工标注图像顺时针旋转90度，得到顺时针旋转子图像；将训练原始图像和手工标注图像逆时针旋转90度，得到逆时针旋转子图像。
所述翻转的具体方法为：将训练原始图像和手工标注图像水平翻转，得到水平翻转子图像；将训练原始图像和手工标注图像垂直翻转，得到垂直翻转子图像。
所述数据归一化处理的具体公式为：
Figure BDA0002339866200000081
其中，I*(x)为归一化后的图像像素值，I(x)表示图像的像素值，x表示图像的坐标值，Imin表示图像像素值的最小值，Imax表示图像像素值的最大值，Imean(x)表示图像像素值的均值。
如图2所示，所述步骤S3中卷积神经网络包括依次连接的输入层、第一卷积层、第二卷积层、第一批归一化层、第一最大池化层、第三卷积层、第一拼接层、第一双线性差值上采样层、第十九卷积层、第二十卷积层、softmax分类器和输出层；
所述第一最大池化层的输出端还与第四卷积层的输入端连接，所述第四卷积层的输出端依次通过第五卷积层、第二批归一化层、第二最大池化层、第六卷积层和第二拼接层与第二双线性差值上采样层的输入端连接，所述第二双线性差值上采样层的输出端与第一拼接层的输入端连接；
所述第二最大池化层的输出端还与第七卷积层的输入端连接，所述第七卷积层的输出端依次通过第八卷积层、第九卷积层、第三批归一化层、第三最大池化层、第十卷积层和第三拼接层与第三双线性差值上采样层的输入端连接，所述第三双线性差值上采样层的输出端与第二拼接层的输入端连接；
所述第三最大池化层的输出端还与第十一卷积层的输入端连接，所述第十一卷积层的输出端依次通过第十二卷积层、第十三卷积层、第四批归一化层、第四最大池化层、第十四卷积层和第四拼接层与第四双线性差值上采样层的输入端连接，所述第四双线性差值上采样层的输出端与第三拼接层的输入端连接；
所述第四最大池化层的输出端还与第十五卷积层的输入端连接，所述第十五卷积层的输出端依次通过第十六卷积层、第十七卷积层、第五批归一化层、第五最大池化层和第十八卷积层与第五双线性差值上采样层的输入端连接，所述第五双线性差值上采样层的输出端与第四拼接层的输入端连接；
所述第一双线性差值上采样层的输出端还与第二十一卷积层的输入端连接，所述第二十一卷积层的输出端通过第二十二卷积层与sigmoid函数层的输入端连接，所述sigmoid函数层的输出端与输出层的输入端连接。
在本实施例中，第一卷积层和第二卷积层的卷积核大小均为2×2，输出通道数均为64；所述第一最大池化层、第二最大池化层、第三最大池化层、第四最大池化层和第五最大池化层的大小均为2×2；所述第四卷积层和第五卷积大小均为3×3，输出通道数均为128,；所述第七卷积层、第八卷积层和第九卷积层的大小均为3×3，输出通道数均为256；所述第十一卷积层、第十二卷积层和第十三卷积层的大小均为3×3，输出通道数均为512；所述第十五卷积层、第十六卷积层和第十七卷积层的大小均为3×3，输出通道数均为512；所述第三卷积层、第六卷积层、第十卷积层、第十四卷积层和第十八卷积层大小均为1×1，输出通道数均为32；所述第一双线性差值上采样层、第二双线性差值上采样层、第三双线性差值上采样层、第四双线性差值上采样层和第五双线性差值上采样层大小均为2×2；所述第十九卷积层、第二十卷积层、第二十一卷积层和第二十二卷积层大小均为3×3，输出通道数均为64。
所述步骤S3中对卷积神经网络进行训练的具体方法为：
B1、将处理后的训练原始图像和手工标注图像输入卷积神经网络；
B2、计算卷积神经网络的每一次输出与手工标注图像之间的损失函数；
B3、以损失函数值最小化为目标，根据Adam算法，对网络参数进行优化；
B4、当损失函数值不再下降时，将此时的网络参数保存为最终的卷积神经网络的参数，得到训练完成的卷积神经网络。
所述步骤B2中损失函数L(I,G；W)为：
Figure BDA0002339866200000101
其中，Np表示训练原始图像的像素总数，x表示训练原始图像的坐标值，Ω表示训练原始图像的所有坐标值，P(·)表示卷积神经网络预测的训练原始图像的像素属于其真实标签的概率函数，l表示预测的像素点，G*(x)∈{K1,K2,K3,K4,K5,K6}，G*(x)表示手工标注图像中标签类别，K1表示第一标签，K2表示第二标签，K3表示第一标签，K4表示第四标签，K5表示第五标签，K6表示第六标签，W表示卷积神经网络的所有参数，λ表示第二个损失项的权重，D(x)表示预测的像素点到关键点中心的距离误差，D*(x)表示周围像素点到关键点中心实际的距离误差，所述周围像素表示以关键点的坐标为圆心，半径为5个像素长度的圆形区域内的预测的像素点，D*(x)∈[0,1]，M(x)表示领域指示函数，若当坐标值x到关键点中心的距离小于5像素长度，则M(x)＝1，否则M(x)＝0。
所述步骤S5中融合信息图的融合信息Q(x)具体为：
Figure BDA0002339866200000111
其中，y表示以x为中心，β为半径的空间坐标，y∈|x-y|<β表示以x为中心且β为半径的空间坐标，融合信息Q(x)为关键点概率Pk(x)与关键点中心误差信息D(x)在局部坐标y上的加权平均值，Pk(y)表示关键点概率Pk(x)在局部坐标y上的值，D(y)表示关键点中心误差信息D(x)在局部坐标y上的值。
所述关键点概率Pk(x)包含5个关键点预测结果，所述关键点中心误差信息D(x)包含5个预测关键点位置与真实关键点位置之间的误差。
所述步骤S5中根据左心室区域概率图将左心室区域内的误检关键点去除的具体方法为：以左心室的中心为圆心，以左心室中心到右心室关键点的距离为半径，得到圆心区域，去除圆心区域中的误检关键点；根据阈值法，对左心室区域概率图进行阈值分割处理，将左心室预测概率大于0.5的误检关键点去除。
本发明通过构建卷积神经网络，利用逐像素分类器高效的检测多个关键点的区域，同时预测像素到关键点中心的距离，保证了关键点的精准预测。本发明通过去除误检的关键点，并将融合信息图中不在左心室和右心室之间的左右心室交叉点移除，根据局部最大值搜索方法来获取融合信息图中局部最大值，降低了检测的假阳率，并且保证了关键点检测的准确性。

Claims (10)

1.一种基于卷积神经网络的心脏核磁共振图像关键点检测方法，其特征在于，包括以下步骤：
S1、采集待检测心脏核磁共振图像和训练原始图像，并对训练原始图像进行手工标注关键点处理，得到手工标注图像；
S2、对训练原始图像和手工标注图像进行数据增强处理，到的处理后的训练原始图像和手工标注图像；
S3、根据TensorFlow深度学习平台，搭建卷积神经网络，并通过处理后的训练原始图像和手工标注图像对卷积神经网络进行训练；
S4、将待检测心脏核磁共振图像输入训练完成的卷积神经网络，获取关键点概率图、左心室区域概率图和关键点中心距离回归值；
S5、将关键点概率图和关键点中心距离回归值进行融合，得到融合信息图，并根据左心室区域概率图将融合信息图中左心室区域内的误检关键点去除；
S6、将融合信息图中不在左心室和右心室之间的左右心室交叉点移除，根据局部最大值搜索方法，获取融合信息图中局部最大值，得到关键点检测结果。
2.根据权利要求1所述的基于卷积神经网络的心脏核磁共振图像关键点检测方法，其特征在于，所述步骤S1中对训练原始图像进行手工标注关键点处理的具体方法为：
A1、对训练原始图像中左心室顶端上间断点进行手工标注，得到第一标签K1；
A2、对训练原始图像中左心室顶端下间断点进行手工标注，得到第二标签K2；
A3、对训练原始图像中右心室中心点进行手工标注，得到第三标签K3；
A4、对训练原始图像中左右心室上交叉点进行手工标注，得到第四标签K4；
A5、对训练原始图像中左右心室下交叉点进行手工标注，得到第五标签K5；
A6、对训练原始图像中左心室区域进行手工标注，获取第六标签K6，得到手工标注图像。
3.根据权利要求1所述的基于卷积神经网络的心脏核磁共振图像关键点检测方法，其特征在于，所述步骤S2中对训练原始图像和手工标注图像进行数据增强处理的具体方法：将训练原始图像和手工标注图像进行随机裁剪、旋转、翻转和数据归一化处理。
4.根据权利要求3所述的基于卷积神经网络的心脏核磁共振图像关键点检测方法，其特征在于，所述随机裁剪的具体方法为：将训练原始图像和手工标注图像进行随机裁剪，得到若干尺寸为224×224的图像块；
所述旋转的具体方法为：将训练原始图像和手工标注图像顺时针旋转90度，得到顺时针旋转子图像；将训练原始图像和手工标注图像逆时针旋转90度，得到逆时针旋转子图像；
所述翻转的具体方法为：将训练原始图像和手工标注图像水平翻转，得到水平翻转子图像；将训练原始图像和手工标注图像垂直翻转，得到垂直翻转子图像；
所述数据归一化处理的具体公式为：
Figure FDA0002339866190000021
其中，I*(x)为归一化后的图像像素值，I(x)表示图像的像素值，x表示图像的坐标值，Imin表示图像像素值的最小值，Imax表示图像像素值的最大值，Imean(x)表示图像像素值的均值。
5.根据权利要求1所述的基于卷积神经网络的心脏核磁共振图像关键点检测方法，其特征在于，所述步骤S3中卷积神经网络包括依次连接的输入层、第一卷积层、第二卷积层、第一批归一化层、第一最大池化层、第三卷积层、第一拼接层、第一双线性差值上采样层、第十九卷积层、第二十卷积层、softmax分类器和输出层；
所述第一最大池化层的输出端还与第四卷积层的输入端连接，所述第四卷积层的输出端依次通过第五卷积层、第二批归一化层、第二最大池化层、第六卷积层和第二拼接层与第二双线性差值上采样层的输入端连接，所述第二双线性差值上采样层的输出端与第一拼接层的输入端连接；
所述第二最大池化层的输出端还与第七卷积层的输入端连接，所述第七卷积层的输出端依次通过第八卷积层、第九卷积层、第三批归一化层、第三最大池化层、第十卷积层和第三拼接层与第三双线性差值上采样层的输入端连接，所述第三双线性差值上采样层的输出端与第二拼接层的输入端连接；
所述第三最大池化层的输出端还与第十一卷积层的输入端连接，所述第十一卷积层的输出端依次通过第十二卷积层、第十三卷积层、第四批归一化层、第四最大池化层、第十四卷积层和第四拼接层与第四双线性差值上采样层的输入端连接，所述第四双线性差值上采样层的输出端与第三拼接层的输入端连接；
所述第四最大池化层的输出端还与第十五卷积层的输入端连接，所述第十五卷积层的输出端依次通过第十六卷积层、第十七卷积层、第五批归一化层、第五最大池化层和第十八卷积层与第五双线性差值上采样层的输入端连接，所述第五双线性差值上采样层的输出端与第四拼接层的输入端连接；
所述第一双线性差值上采样层的输出端还与第二十一卷积层的输入端连接，所述第二十一卷积层的输出端通过第二十二卷积层与sigmoid函数层的输入端连接，所述sigmoid函数层的输出端与输出层的输入端连接。
6.根据权利要求1所述的基于卷积神经网络的心脏核磁共振图像关键点检测方法，其特征在于，所述步骤S3中对卷积神经网络进行训练的具体方法为：
B1、将处理后的训练原始图像和手工标注图像输入卷积神经网络；
B2、计算卷积神经网络的每一次输出与手工标注图像之间的损失函数；
B3、以损失函数值最小化为目标，根据Adam算法，对网络参数进行优化；
B4、当损失函数值不再下降时，将此时的网络参数保存为最终的卷积神经网络的参数，得到训练完成的卷积神经网络。
7.根据权利要求6所述的基于卷积神经网络的心脏核磁共振图像关键点检测方法，其特征在于，所述步骤B2中损失函数L(I,G；W)为：
Figure FDA0002339866190000041
其中，Np表示训练原始图像的像素总数，x表示训练原始图像的坐标值，Ω表示训练原始图像的所有坐标值，P(·)表示卷积神经网络预测的训练原始图像的像素属于其真实标签的概率函数，l表示预测的像素点，G*(x)∈{K1,K2,K3,K4,K5,K6}，G*(x)表示手工标注图像中标签类别，K1表示第一标签，K2表示第二标签，K3表示第一标签，K4表示第四标签，K5表示第五标签，K6表示第六标签，W表示卷积神经网络的所有参数，λ表示第二个损失项的权重，D(x)表示预测的像素点到关键点中心的距离误差，D*(x)表示周围像素点到关键点中心实际的距离误差，所述周围像素表示以关键点的坐标为圆心，半径为5个像素长度的圆形区域内的预测的像素点，D*(x)∈[0,1]，M(x)表示领域指示函数，若当坐标值x到关键点中心的距离小于5像素长度，则M(x)＝1，否则M(x)＝0。
8.根据权利要求7所述的基于卷积神经网络的心脏核磁共振图像关键点检测方法，其特征在于，所述步骤S5中融合信息图的融合信息Q(x)具体为：
Figure FDA0002339866190000051
其中，y表示以x为中心，β为半径的空间坐标，y∈|x-y|<β表示以x为中心且β为半径的空间坐标，融合信息Q(x)为关键点概率Pk(x)与关键点中心误差信息D(x)在局部坐标y上的加权平均值，Pk(y)表示关键点概率Pk(x)在局部坐标y上的值，D(y)表示关键点中心误差信息D(x)在局部坐标y上的值。
9.根据权利要求8所述的基于卷积神经网络的心脏核磁共振图像关键点检测方法，其特征在于，所述关键点概率Pk(x)包含5个关键点预测结果，所述关键点中心误差信息D(x)包含5个预测关键点位置与真实关键点位置之间的误差。
10.根据权利要求9所述的基于卷积神经网络的心脏核磁共振图像关键点检测方法，其特征在于，所述步骤S5中根据左心室区域概率图将左心室区域内的误检关键点去除的具体方法为：以左心室的中心为圆心，以左心室中心到右心室关键点的距离为半径，得到圆心区域，去除圆心区域中的误检关键点；
根据阈值法，对左心室区域概率图进行阈值分割处理，将左心室预测概率大于0.5的误检关键点去除。
CN201911371867.7A 2019-12-27 2019-12-27 基于卷积神经网络的心脏核磁共振图像关键点检测方法 Active CN111144486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911371867.7A CN111144486B (zh) 2019-12-27 2019-12-27 基于卷积神经网络的心脏核磁共振图像关键点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911371867.7A CN111144486B (zh) 2019-12-27 2019-12-27 基于卷积神经网络的心脏核磁共振图像关键点检测方法

Publications (2)

Publication Number Publication Date
CN111144486A true CN111144486A (zh) 2020-05-12
CN111144486B CN111144486B (zh) 2022-06-10

Family

ID=70520829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911371867.7A Active CN111144486B (zh) 2019-12-27 2019-12-27 基于卷积神经网络的心脏核磁共振图像关键点检测方法

Country Status (1)

Country Link
CN (1) CN111144486B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001485A (zh) * 2020-08-24 2020-11-27 平安科技（深圳）有限公司 一种组卷积数目搜索方法和装置
CN113379760A (zh) * 2021-05-20 2021-09-10 电子科技大学 一种右心室图像分割方法
CN113409321A (zh) * 2021-06-09 2021-09-17 西安电子科技大学 一种基于像素分类和距离回归的细胞核图像分割方法
CN113537140A (zh) * 2021-08-03 2021-10-22 电子科技大学 一种基于深度神经网络的杂草检测方法
CN113674346A (zh) * 2020-05-14 2021-11-19 北京京东乾石科技有限公司 图像检测方法、装置、电子设备和计算机可读存储介质
WO2023056681A1 (zh) * 2021-10-09 2023-04-13 北京鹰瞳科技发展股份有限公司 一种训练多病种转诊系统的方法、多病种转诊系统以及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US20180218497A1 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US20190088359A1 (en) * 2016-03-03 2019-03-21 Geisinger Health System System and Method for Automated Analysis in Medical Imaging Applications
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
US20190125206A1 (en) * 2017-10-31 2019-05-02 Pie Medical Imaging B.V. Left Ventricle Segmentation in Contrast-Enhanced Cine MRI Datasets
CN109886273A (zh) * 2019-02-26 2019-06-14 四川大学华西医院 一种cmr图像分割分类系统
CN110163877A (zh) * 2019-05-27 2019-08-23 济南大学 一种mri心室结构分割的方法与系统
CN110163876A (zh) * 2019-05-24 2019-08-23 山东师范大学 基于多特征融合的左心室分割方法、系统、设备及介质
CN110197492A (zh) * 2019-05-23 2019-09-03 山东师范大学 一种心脏mri左心室分割方法及系统
CN110517759A (zh) * 2019-08-29 2019-11-29 腾讯科技（深圳）有限公司 一种待标注图像确定的方法、模型训练的方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190088359A1 (en) * 2016-03-03 2019-03-21 Geisinger Health System System and Method for Automated Analysis in Medical Imaging Applications
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US20180218497A1 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US20190125206A1 (en) * 2017-10-31 2019-05-02 Pie Medical Imaging B.V. Left Ventricle Segmentation in Contrast-Enhanced Cine MRI Datasets
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN109886273A (zh) * 2019-02-26 2019-06-14 四川大学华西医院 一种cmr图像分割分类系统
CN110197492A (zh) * 2019-05-23 2019-09-03 山东师范大学 一种心脏mri左心室分割方法及系统
CN110163876A (zh) * 2019-05-24 2019-08-23 山东师范大学 基于多特征融合的左心室分割方法、系统、设备及介质
CN110163877A (zh) * 2019-05-27 2019-08-23 济南大学 一种mri心室结构分割的方法与系统
CN110517759A (zh) * 2019-08-29 2019-11-29 腾讯科技（深圳）有限公司 一种待标注图像确定的方法、模型训练的方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GONGNING LUO 等: "Multi-Views Fusion CNN for Left Ventricular Volumes Estimation on Cardiac MR Images", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 *
ILKAYOKSUZ 等: "Automatic CNN-based detection of cardiac MR motion artefacts using k-space data augmentation and curriculum learning", 《MEDICAL IMAGE ANALYSIS》 *
段先华 等: "带标记线的心脏MRI图像分割方法", 《计算机应用研究》 *
谢李鹏: "基于全卷积神经网络的心脏磁共振图像分割与量化分析", 《中国博士学位论文全文数据库 医药卫生科技辑》 *
陈星: "基于深度学习的心脏MR图像分割方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674346A (zh) * 2020-05-14 2021-11-19 北京京东乾石科技有限公司 图像检测方法、装置、电子设备和计算机可读存储介质
CN113674346B (zh) * 2020-05-14 2024-04-16 北京京东乾石科技有限公司 图像检测方法、装置、电子设备和计算机可读存储介质
CN112001485A (zh) * 2020-08-24 2020-11-27 平安科技（深圳）有限公司 一种组卷积数目搜索方法和装置
CN112001485B (zh) * 2020-08-24 2024-04-09 平安科技（深圳）有限公司 一种组卷积数目搜索方法和装置
CN113379760A (zh) * 2021-05-20 2021-09-10 电子科技大学 一种右心室图像分割方法
CN113409321A (zh) * 2021-06-09 2021-09-17 西安电子科技大学 一种基于像素分类和距离回归的细胞核图像分割方法
CN113409321B (zh) * 2021-06-09 2023-10-27 西安电子科技大学 一种基于像素分类和距离回归的细胞核图像分割方法
CN113537140A (zh) * 2021-08-03 2021-10-22 电子科技大学 一种基于深度神经网络的杂草检测方法
CN113537140B (zh) * 2021-08-03 2023-05-02 电子科技大学 一种基于深度神经网络的杂草检测方法
WO2023056681A1 (zh) * 2021-10-09 2023-04-13 北京鹰瞳科技发展股份有限公司 一种训练多病种转诊系统的方法、多病种转诊系统以及方法

Also Published As

Publication number Publication date
CN111144486B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN111144486B (zh) 基于卷积神经网络的心脏核磁共振图像关键点检测方法
TWI786330B (zh) 一種圖像處理方法、電子設備及存儲介質
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
Han et al. Liver segmentation with 2.5 D perpendicular UNets
Tan et al. DeepBranch: Deep neural networks for branch point detection in biomedical images
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
Tan et al. Automated vessel segmentation in lung CT and CTA images via deep neural networks
Chen et al. Multi-crop convolutional neural networks for fast lung nodule segmentation
CN113744183A (zh) 肺结节检测方法及系统
Zhang et al. Detection of regions of interest in a high-spatial-resolution remote sensing image based on an adaptive spatial subsampling visual attention model
Zhao et al. D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism
Wu et al. A top-down region dividing approach for image segmentation
Zheng et al. Automatic liver tumour segmentation in CT combining FCN and NMF-based deformable model
Feng et al. Retinal mosaicking with vascular bifurcations detected on vessel mask by a convolutional network
Wang et al. Tooth identification based on teeth structure feature
CN115294086A (zh) 医学影像分割方法、分割模型训练方法、介质及电子设备
Raut et al. Gastrointestinal tract disease segmentation and classification in wireless capsule endoscopy using intelligent deep learning model
Wang et al. Improved classifier for computer‐aided polyp detection in CT Colonography by nonlinear dimensionality reduction
Li et al. SAP‐cGAN: Adversarial learning for breast mass segmentation in digital mammogram based on superpixel average pooling
Jiang et al. Registration‐Based Organ Positioning and Joint Segmentation Method for Liver and Tumor Segmentation
CN115690556B (zh) 一种基于多模态影像学特征的图像识别方法及系统
CN113112475B (zh) 一种基于机器学习的中医耳部五脏区域分割方法和装置
WO2022227193A1 (zh) 肝脏区域分割方法、装置、电子设备及存储介质
CN112750124B (zh) 模型生成、图像分割方法、装置、电子设备及存储介质
Staal et al. Automatic rib segmentation in CT data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant