CN113450328B - 基于改进神经网络的医学图像关键点检测方法及系统 - Google Patents

基于改进神经网络的医学图像关键点检测方法及系统 Download PDF

Info

Publication number
CN113450328B
CN113450328B CN202110728468.2A CN202110728468A CN113450328B CN 113450328 B CN113450328 B CN 113450328B CN 202110728468 A CN202110728468 A CN 202110728468A CN 113450328 B CN113450328 B CN 113450328B
Authority
CN
China
Prior art keywords
key point
submodule
point detection
detection model
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110728468.2A
Other languages
English (en)
Other versions
CN113450328A (zh
Inventor
范衠
黄文宁
蔡堉伟
胡军
陈洪江
张炯
容毅标
宁为博
朱家祺
谢敏冲
陈添善
袁野
许宏武
张建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou University
First Affiliated Hospital of Shantou University Medical College
Shantou University Medical College
Original Assignee
Shantou University
First Affiliated Hospital of Shantou University Medical College
Shantou University Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou University, First Affiliated Hospital of Shantou University Medical College, Shantou University Medical College filed Critical Shantou University
Priority to CN202110728468.2A priority Critical patent/CN113450328B/zh
Publication of CN113450328A publication Critical patent/CN113450328A/zh
Application granted granted Critical
Publication of CN113450328B publication Critical patent/CN113450328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及医学图像处理技术领域，具体涉及一种基于改进神经网络的医学图像关键点检测方法及系统，所述方法包括：获取医学样本影像，所述医学样本影像标定有关键点；根据所述医学样本影像对关键点检测模型进行训练，得到训练好的关键点检测模型；接收待检测的医学影像，通过训练好的关键点检测模型预测出所述待检测的医学影像的关键点概率热力图；所述关键点概率热力图用于表征所述待检测的医学影像中每个像素点为关键点的概率值；根据所述关键点概率热力图确定所述待检测的医学影像的关键点；本发明能够提升关键点预测的精确度。

Description

基于改进神经网络的医学图像关键点检测方法及系统
技术领域
本发明涉及医学图像处理技术领域，具体涉及一种基于改进神经网络的医学图像关键点检测方法及系统。
背景技术
随着人工智能技术日益成熟，越来越多的人工智能技术在医学图像领域得到具体的应用，如医学图像病灶分割、人体组织器官图像配准、医学图像关键点检测等应用。近年来有人提出通过关键点检测图像处理技术来辅助医生进行医学图像中关键人体组织的自动检测与分析，即利用关键点检测的方式来实现骨科中医学关键点的定位，并通过所识别点的坐标来计算出相关的骨科测量参数；
传统卷积神经网络在进行计算机视觉任务时，需要较大标定的数据集对模型进行训练，而对于医学图像领域，医学图像的收集较困难，以髋关节关键点检测任务为例，目前业界并没有开源的数据集，在对网络模型进行训练过程中，需要采集对应的X-Ray医学图像，并由2～3位经验丰富的临床医生进行手动标注。利用采集标注好的数据对模型进行训练，直至模型收敛。
由于数据集收集与标定难度大、耗时长，因此如何进一步利用现有有限数据集的图像特征，提升关键点预测精度的研究尤为重要。
发明内容
本发明目的在于提供一种基于改进神经网络的医学图像关键点检测方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
为了实现上述目的，本发明提供以下技术方案：
一种基于改进神经网络的医学图像关键点检测方法，所述方法包括以下步骤：
获取医学样本影像，所述医学样本影像标定有关键点；
根据所述医学样本影像对关键点检测模型进行训练，得到训练好的关键点检测模型；
接收待检测的医学影像，通过训练好的关键点检测模型预测出所述待检测的医学影像的关键点概率热力图；所述关键点概率热力图用于表征所述待检测的医学影像中每个像素点为关键点的概率值；
根据所述关键点概率热力图确定所述待检测的医学影像的关键点。
进一步，所述根据所述医学样本影像对关键点检测模型进行训练，得到训练好的关键点检测模型，包括：
根据所述医学样本影像的关键点确定训练关键点检测模型的金标准；
对关键点检测模型进行训练，在训练过程中根据金标准确定关键点检测模型的误差；
基于所述误差不断更新关键点检测模型，得到训练好的关键点检测模型。
进一步，所述根据所述医学样本影像的关键点确定训练关键点检测模型的金标准，包括：
以医学样本影像的关键点为中心对所述医学样本影像进行统一尺度裁减，得到待处理图像；
将待处理图像转为多个尺度大小的标准图像，多个所述标准图像的尺度大小分别与训练关键点检测模型过程中输出的特征图一致；
根据多个标准图像确定训练关键点检测模型的金标准。
进一步，所述根据多个标准图像确定训练关键点检测模型的金标准，包括：
建立与标准图像的宽高尺度一致的零矩阵；
将零矩阵中关键点所在坐标的像素值设置为1，使用二维高斯核对该矩阵进行滤波，得到一个关键点的矩阵；
对标准图像中各个关键点的矩阵进行叠加，得到标准图像的矩阵；
将多个标准图像的矩阵作为训练关键点检测模型的金标准。
进一步，所述关键点检测模型包括编码器模块、解码器模块和中继监督模块；所述编码器模块包括依次级联的第一编码器子模块、第二编码器子模块、第三编码器子模块、第四编码器子模块、以及第五编码器子模块；所述解码器模块包括依次级联的第一解码器子模块、第二解码器子模块、以及第三解码器子模块；所述中继监督模块包括第一中继监督子模块、第二中继监督子模块、以及第三中继监督子模块；
所述训练关键点检测模型过程中输出的特征图包括第一特征图、第二特征图和第三特征图，所述金标准包括第一金标准、第二金标准和第三金标准；
所述对关键点检测模型进行训练，在训练过程中根据金标准确定关键点检测模型的误差，包括：
在训练关键点检测模型过程中，第一解码器子模块将第一编码器子模块输出的特征图进行上采样运算，将上采样运算得到的特征图输出给第一中继监督子模块；第一中继监督子模块根据上采样运算得到的特征图输出预测的第一特征图，并根据第一金标准确定第一损失函数；其中，所述第一损失函数为第一特征图的损失函数，所述第一特征图包含预测的关键点，所述第一特征图和第一金标准的格式一致；
第二解码器子模块将第一解码器子模块和第四编码器子模块输出的特征图进行矩阵通道叠加，将通道叠加得到的特征图输出给第二中继监督子模块；第二中继监督子模块根据通道叠加得到的特征图输出预测的第二特征图，并根据第二金标准确定第二损失函数；其中，所述第二损失函数为第二特征图的损失函数，所述第二特征图包含预测的关键点，所述第二特征图和第二金标准的格式一致；
第三解码器子模块用于将第二解码器子模块和第三编码器子模块输出的特征图进行矩阵通道叠加，将通道叠加得到的特征图输出给第三中继监督子模块；第三中继监督子模块根据通道叠加得到的特征图输出预测的第三特征图，并根据第三金标准确定第三损失函数；其中，所述第三损失函数为第三特征图的损失函数，所述第三特征图包含预测的关键点，所述第三特征图和第三金标准的格式一致；
根据第一损失函数、第二损失函数、以及第三损失函数确定总的损失函数，将总的损失函数作为在训练过程中关键点检测模型的误差。
进一步，所述根据第一损失函数、第二损失函数、以及第三损失函数确定总的损失函数，包括：
采用以下公式分别计算得到第一损失函数、第二损失函数、以及第三损失函数：
Figure GDA0003199386130000031
其中，y1为标准图像的矩阵中的像素点为关键点的概率值，
Figure GDA0003199386130000032
为特征图中的像素点为关键点的概率值，
Figure GDA0003199386130000033
α、γ为超参数，H1表示第一特征图、H2表示第二特征图、H3表示第三特征图；lossH1表示第一损失函数、lossH2表示第二损失函数、lossH3表示第三损失函数；本实施例中，设置α＝2、γ＝4；
通过以下公式计算得到总的损失函数：
loss＝ω1lossH1+ω2lossH2+ω3lossH3；
其中，ω1，ω2，ω3分别为损失函数lossH1、lossH2、lossH3的权重。
进一步，所述方法还包括：
在训练关键点检测模型过程中，分别对所述关键点检测模型中各个子模块输出的特征图进行数据增强；其中，所述数据增强包括以下至少一种：垂直方向翻转、对比度调整以及随机添加高斯噪声；
所述关键点检测模型中各个子模块包括：所述编码器模块中的第一编码器子模块、第二编码器子模块、第三编码器子模块、第四编码器子模块、以及第五编码器子模块；所述解码器模块中的第一解码器子模块、第二解码器子模块、以及第三解码器子模块；所述中继监督模块中的第一中继监督子模块、第二中继监督子模块、以及第三中继监督子模块。
进一步，所述通过训练好的关键点检测模型预测出所述待检测的医学影像的关键点概率热力图，包括：
将所述待检测的医学影像输入训练好的关键点检测模型进行预测；
获取第三中继监督子模块输出的第三特征图；
根据所述第三特征图预测出所述待检测的医学影像的关键点概率热力图。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于改进神经网络的医学图像关键点检测方法的步骤。
一种基于改进神经网络的医学图像关键点检测系统，所述系统包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一项所述的基于改进神经网络的医学图像关键点检测方法。
本发明的有益效果是：本发明公开一种基于改进神经网络的医学图像关键点检测方法及系统，本发明根据标定有关键点的医学样本影像对关键点检测模型进行训练，能保证关键点预测的精确度；通过训练好的关键点检测模型预测出所述待检测的医学影像的关键点概率热力图，无需人工标记，可极大的提高关键点标记的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中基于改进神经网络的医学图像关键点检测方法的流程示意图；
图2是本发明实施例中训练好的关键点检测模型的示意图；
图3是本发明实施例中医学影像的关键点示意图。
具体实施方式
以下将结合实施例和附图对本申请的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本申请的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
参考图1，如图1所示为本申请实施例提供的一种基于改进神经网络的医学图像关键点检测方法，所述方法包括以下步骤：
步骤S100、获取医学样本影像，所述医学样本影像标定有关键点；
步骤S200、根据所述医学样本影像对关键点检测模型进行训练，得到训练好的关键点检测模型；
在一些实施例中，关键点检测模型采用用于图像处理任务中常用的卷积神经网络。
步骤S300、接收待检测的医学影像，通过训练好的关键点检测模型预测出所述待检测的医学影像的关键点概率热力图；所述关键点概率热力图用于表征所述待检测的医学影像中每个像素点为关键点的概率值；
步骤S400、根据所述关键点概率热力图确定所述待检测的医学影像的关键点。
参考图2，作为上述实施例的进一步改进，所述步骤S200包括：
步骤S210、获取医学样本影像，所述医学样本影像标定有关键点；
需要说明的是，基于深度卷积神经网络的图像处理技术为数据驱动型，需要收集与任务相关的医学样本影像并进行金标准的标定，所述金标准为医学样本影像中的关键点，以髋关节发育不良检测应用为例，在本实例中需要的医学样本影像至少包括待检测部位，即盆骨正位骨组织X-Ray影像，将原始图像格式(DCM格式)转化成常用的图像格式，如JPEG、PNG等格式，并对医学样本影像进行规则一致的关键点标注，如髋关节关键点检测实例则标注盆骨正位片医学图像中左右两侧的髋臼上缘、Y型软骨中心、以及股骨头中心共6个关键点，具体的根据实际任务而定。为减少医生主观判断引起的误差，关键点标注过程需要2～3位临床医生进行标定，对所有医生的标注结果取平均值作为医学样本影像最终关键点所在图像坐标。
步骤S220、根据所述医学样本影像的关键点确定训练关键点检测模型的金标准；
步骤S230、对关键点检测模型进行训练，在训练过程中根据金标准确定关键点检测模型的误差；
在一些实施例中，获取预先处理好的训练图像，采用训练图像对关键点检测模型进行训练，所述训练图像和待处理图像的尺度一致；
步骤S240、基于所述误差不断更新关键点检测模型，得到训练好的关键点检测模型。
作为上述实施例的进一步改进，步骤S220中、根据所述医学样本影像的关键点确定训练关键点检测模型的金标准，包括：
步骤S221、以医学样本影像的关键点为中心对所述医学样本影像进行统一尺度裁减，得到待处理图像；
在一些实施例中，为统一图像尺度以及减少模型训练过程中的计算复杂度，在数据预处理过程中将图像进行统一尺度裁减，即截取以关键点为中心的一块区域，作为待处理图像，然后根据医学样本影像和待处理图像的尺度比例，确定关键点在待处理图像中的坐标；在一个实施例中，截取得到的待处理图像的宽高尺度为1440x1024像素。
步骤S222、将待处理图像转为多个尺度大小的标准图像，多个所述标准图像的尺度大小分别与训练关键点检测模型过程中输出的特征图一致；
本实例中，采用金标准作为训练关键点检测模型的基准，因此需要将待处理图像转换成与关键点检测模型输出的特征图尺度一致的标准图像。
步骤S223、根据多个标准图像确定训练关键点检测模型的金标准。
在一些实施例中，首先新建一个大小为360x256的零矩阵，将零矩阵中关键点所在坐标的像素值设置为1，然后使用高斯核大小为3x3，均值为0，方差为[0,1]之间的二维高斯核对该矩阵进行滤波，得到一个关键点的矩阵。对不同关键点进行相同的处理，将不同关键点的矩阵进行叠加，得到待处理图像1/4尺度的金标准(下述第三金标准)。在一些实施例中，关键点检测模型最终预测输出的图像尺度为360x256像素，即为待处理图像尺度的1/4，那么，关键点在标准图像中的坐标将调整为在待处理图像中坐标的1/4，如图2所示为多通道的二维高斯热力图中调整坐标后的关键点。同样的，制作待处理图像1/8尺度的金标准(下述第二金标准)以及1/16尺度的金标准(下述第一金标准)。本发明基于概率热力图的预测方法进行关键点检测，并采用不同尺度的金标准作为监督信息辅助模型训练。
作为上述实施例的进一步改进，步骤S223、根据多个标准图像确定训练关键点检测模型的金标准，包括：
步骤S2231、建立与标准图像的宽高尺度一致的零矩阵；
步骤S2232、将零矩阵中关键点所在坐标的像素值设置为1，使用二维高斯核对该矩阵进行滤波，得到一个关键点的矩阵；
步骤S2233、对标准图像中各个关键点的矩阵进行叠加，得到标准图像的矩阵；
步骤S2234、将多个标准图像的矩阵作为训练关键点检测模型的金标准。
参考图3，作为上述实施例的进一步改进，所述关键点检测模型包括编码器模块、解码器模块和中继监督模块；所述编码器模块包括依次级联的第一编码器子模块、第二编码器子模块、第三编码器子模块、第四编码器子模块、以及第五编码器子模块；所述解码器模块包括依次级联的第一解码器子模块、第二解码器子模块、以及第三解码器子模块；所述中继监督模块包括第一中继监督子模块、第二中继监督子模块、以及第三中继监督子模块；
所述训练关键点检测模型过程中输出的特征图包括第一特征图、第二特征图和第三特征图，所述金标准包括第一金标准、第二金标准和第三金标准；
步骤S230中，所述对关键点检测模型进行训练，在训练过程中根据金标准确定关键点检测模型的误差，包括：
步骤S231、在训练关键点检测模型过程中，第一解码器子模块将第一编码器子模块输出的特征图进行上采样运算，将上采样运算得到的特征图输出给第一中继监督子模块；第一中继监督子模块根据上采样运算得到的特征图输出预测的第一特征图，并根据第一金标准确定第一损失函数；其中，所述第一损失函数为第一特征图的损失函数，所述第一特征图包含预测的关键点，所述第一特征图和第一金标准的格式一致。
步骤S232、第二解码器子模块将第一解码器子模块和第四编码器子模块输出的特征图进行矩阵通道叠加，将通道叠加得到的特征图输出给第二中继监督子模块；第二中继监督子模块根据通道叠加得到的特征图输出预测的第二特征图，并根据第二金标准确定第二损失函数；其中，所述第二损失函数为第二特征图的损失函数，所述第二特征图包含预测的关键点，所述第二特征图和第二金标准的格式一致；
步骤S233、第三解码器子模块用于将第二解码器子模块和第三编码器子模块输出的特征图进行矩阵通道叠加，将通道叠加得到的特征图输出给第三中继监督子模块；第三中继监督子模块根据通道叠加得到的特征图输出预测的第三特征图，并根据第三金标准确定第三损失函数；其中，所述第三损失函数为第三特征图的损失函数，所述第三特征图包含预测的关键点，所述第三特征图和第三金标准的格式一致。
步骤S234、根据第一损失函数、第二损失函数、以及第三损失函数确定总的损失函数，将总的损失函数作为在训练过程中关键点检测模型的误差。
本实例中采用编解码范式的网络模型作为基准，编码器模块可以选择用于图像处理任务中常用的卷积神经网络，如VGG-Net，ResNet等，本实例采用ResNet50作为图像特征提取器，并利用已经在Image Net图像分类数据集上完成训练的模型权重作为编码器模块的初始权重，即基于迁移学习技术设置编码器模块的初始权重。
解码器模块采用转置卷积运算进行上采样操作，逐步将特征图的尺度还原至原始输入图像的尺度的1/4。解码器模块内部的每个子模块对输入的特征图进行上采样操作后再进行卷积运算，将输出的结果输出给下一级的子模块，以及对应级的中继监督模块中，以通过中继监督模块进行相应尺度的关键点的位置预测，中继监督模块输出的图像格式与金标准格式一致。解码器D2和D3接收上一级解码器的输出特征图外，还同时分别接收来自编码器E4和E3的特征图信息，将两个输入源的特征图进行矩阵通道叠加，同时运算，此步骤称为短跳跃连接。
本发明采用基于中继监督的学习方式，在模型训练过程中引入中继监督模块参与反向传播运算。通过第三中继监督子模块H3输出最终预测的结果，即，关键点概率热力图。本发明利用反向传播算法进行关键点检测模型的训练，训练过程中计算模型预测值与金标准值的误差，在反向传播中利用误差的梯度信息更新模型参数。
本发明提供的上述实施例与现有技术方案相比，具有以下优点与效果：
1、提升网络模型性能：
现有的关键点检测算法利用标定好的数据样本对深度学习智能图像算法进行优化，训练过程所需的数据样本量大、获取与标注难度大，耗时长；本发明公开的基于带中继监督的关键点检测算法通过在模型训练的损失函数中引入不同阶段多个解码器的预测误差，增加不同尺度的监督信息，协助编码器进一步学习特征提取功能，通过对有限的数据样本进一步数据特征挖掘，提升了网络模型性能。
2、加速模型训练过程：
传统的基于深度卷积神经网络的图像处理算法，在数据驱动下进行训练时，往往需要较大数据量并在GPU服务器上进行并行训练，训练时间较长，且依赖硬件设备。引入带中继监督学习的技术，可以在训练过程时及时利用不同尺度的监督信息作为反馈，通过反向传播算法对模型进行优化，相对比没有中继监督学习技术的训练方式训练收敛速度更快，缩短必要的训练时间。
作为上述实施例的进一步改进，步骤S134中，根据第一损失函数、第二损失函数、以及第三损失函数确定总的损失函数，包括：
采用以下公式分别计算得到第一损失函数、第二损失函数、以及第三损失函数：
Figure GDA0003199386130000081
其中，y1为标准图像的矩阵中的像素点为关键点的概率值，
Figure GDA0003199386130000082
为特征图中的像素点为关键点的概率值，
Figure GDA0003199386130000083
α、γ为超参数，H1表示第一特征图、H2表示第二特征图、H3表示第三特征图；lossH1表示第一损失函数、lossH2表示第二损失函数、lossH3表示第三损失函数；本实施例中，设置α＝2、γ＝4；
通过以下公式计算得到总的损失函数：
loss＝ω1lossH1+ω2lossH2+ω3lossH3；
其中，ω1，ω2，ω3分别为第一损失函数lossH1、第二损失函数lossH2、第三损失函数lossH3的权重。
需要说明的是，对于带中继监督的模型训练方式，每个中继监督模块都有一个对应的损失函数，在反向传播时，模型的最终输出，即H3输出的结果，以及两个中继监督模块H2、H1的输出结果都进行损失函数计算，并对多个损失函数加权求和后得到总的损失函数，根据总的损失函数更新关键点检测模型的参数。
可以理解，ω1，ω2，ω3用于调整各损失函数的重要程度，本方法中的设置分别为0.25、0.25、0.5。通过引入中继监督的损失函数参与模型训练过程中的反向传播运算，模型训练过程中，对H1、H2、H3的损失函数进行加权求和，本发明采用Adam优化器对关键点检测模型进行训练，学习率设置为1e-3。
为了进一步提升网络模型性能，作为上述实施例的进一步改进，所述方法还包括：
在训练关键点检测模型过程中，分别对所述关键点检测模型中各个子模块输出的特征图进行数据增强；其中，所述数据增强包括以下至少一种：垂直方向翻转、对比度调整以及随机添加高斯噪声；
所述关键点检测模型中各个子模块包括：所述编码器模块中的第一编码器子模块、第二编码器子模块、第三编码器子模块、第四编码器子模块、以及第五编码器子模块；所述解码器模块中的第一解码器子模块、第二解码器子模块、以及第三解码器子模块；所述中继监督模块中的第一中继监督子模块、第二中继监督子模块、以及第三中继监督子模块。
本实施例中，通过数据增强，增加了训练的多样性，提升了网络模型泛化能力。
作为上述实施例的进一步改进，所述步骤S300包括：
将所述待检测的医学影像输入训练好的关键点检测模型进行预测；
获取第三中继监督子模块输出的第三特征图；
根据所述第三特征图预测出所述待检测的医学影像的关键点概率热力图。
本实施例中，训练好的关键点检测模型可用于实际部署，在实际应用中对输入的待检测的医学影像进行关键点检测时，只采用第三中继监督子模块输出的第三特征图作为最终预测结果，即在实际应用阶段舍弃第一中继监督子模块、第二中继监督子模块输出的预测图，第一特征图、第二特征图只在模型训练过程中才有实际的作用，第一损失函数、第二损失函数只是用于训练关键点检测模型。
作为上述实施例的进一步改进，所述步骤S400包括：
选取所述关键点概率热力图中概率值超过设定阈值的像素点作为所述待检测的医学影像的关键点；
确定关键点在所述第三特征图中的坐标。
需要说明的是，传统的基于深度学习卷积神经网络的图像处理技术，主要通过设计网络模型，对标注好的训练数据集进行特征提取，有效提取得的图像特征可用于模型最终的预测。为了有效对特征进行提取，研究人员往往设计较为高效复杂的网络模型或者增加训练数据集的数量以及多样性、利用迁移学习技术(原始模型先在较大的其他相关领域的训练集先训练，在把模型参数迁移过来，在目标训练集上再训练一些批次)。第一种方式比较考验研究人员的专业水平，第二种方案对于医学图像领域而言，数据收集工作量较大。因此，本发明提出一种对有限训练集的有效特征提取方式，在原有卷积神经网络基础上，引入中继监督学习方式，中继监督网络模块嵌入到原有网络中并进行网络训练，辅助网络有效提取图像特征，进而提升网络模型性能。
本发明能对X-Ray等相关待检测的医学影像的关键点进行快速、精准识别定位。可辅助医生对患者的X-Ray待检测的医学影像进行分析诊断，如对特定关键点的角度、长度等相关生理特性指标进行测量。本发明可以避免现有方法在模型训练过程中对训练数据集的过度依赖的问题。
与图1的方法相对应，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于改进神经网络的医学图像关键点检测程序，所述基于改进神经网络的医学图像关键点检测程序被处理器执行时实现如上述任一实施例所述的基于改进神经网络的医学图像关键点检测方法的步骤。
与图1的方法相对应，参考图2，本发明实施例还提供一种基于改进神经网络的医学图像关键点检测系统，所述系统包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一实施例所述的基于改进神经网络的医学图像关键点检测方法。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
所述处理器可以是中央处理单元(Central-Processing-Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital-Signal-Processor，DSP)、专用集成电路(Application-Specific-Integrated-Circuit，ASIC)、现场可编程门阵列(Field-Programmable-Gate-Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于改进神经网络的医学图像关键点检测系统的控制中心，利用各种接口和线路连接整个基于改进神经网络的医学图像关键点检测系统可运行装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于改进神经网络的医学图像关键点检测系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart-Media-Card，SMC)，安全数字(Secure-Digital，SD)卡，闪存卡(Flash-Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本申请的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求，考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本申请的预定范围。此外，上文以发明人可预见的实施例对本申请进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本申请的非实质性改动仍可代表本申请的等效改动。

Claims (7)

1.一种基于改进神经网络的医学图像关键点检测方法，其特征在于，所述方法包括以下步骤：
获取医学样本影像，所述医学样本影像标定有关键点；
根据所述医学样本影像对关键点检测模型进行训练，得到训练好的关键点检测模型；
接收待检测的医学影像，通过训练好的关键点检测模型预测出所述待检测的医学影像的关键点概率热力图；所述关键点概率热力图用于表征所述待检测的医学影像中每个像素点为关键点的概率值；
根据所述关键点概率热力图确定所述待检测的医学影像的关键点；
其中，所述根据所述医学样本影像对关键点检测模型进行训练，得到训练好的关键点检测模型，包括：
根据所述医学样本影像的关键点确定训练关键点检测模型的金标准；
对关键点检测模型进行训练，在训练过程中根据金标准确定关键点检测模型的误差；
基于所述误差不断更新关键点检测模型，得到训练好的关键点检测模型；
其中，所述关键点检测模型包括编码器模块、解码器模块和中继监督模块；所述编码器模块包括依次级联的第一编码器子模块、第二编码器子模块、第三编码器子模块、第四编码器子模块、以及第五编码器子模块；所述解码器模块包括依次级联的第一解码器子模块、第二解码器子模块、以及第三解码器子模块；所述中继监督模块包括第一中继监督子模块、第二中继监督子模块、以及第三中继监督子模块；
所述训练关键点检测模型过程中输出的特征图包括第一特征图、第二特征图和第三特征图，所述金标准包括第一金标准、第二金标准和第三金标准；
所述对关键点检测模型进行训练，在训练过程中根据金标准确定关键点检测模型的误差，包括：
在训练关键点检测模型过程中，第一解码器子模块将第五编码器子模块输出的特征图进行上采样运算，将上采样运算得到的特征图输出给第一中继监督子模块；第一中继监督子模块根据上采样运算得到的特征图输出预测的第一特征图，并根据第一金标准确定第一损失函数；其中，所述第一损失函数为第一特征图的损失函数，所述第一特征图包含预测的关键点，所述第一特征图和第一金标准的格式一致；
第二解码器子模块将第一解码器子模块和第四编码器子模块输出的特征图进行矩阵通道叠加，将通道叠加得到的特征图输出给第二中继监督子模块；第二中继监督子模块根据通道叠加得到的特征图输出预测的第二特征图，并根据第二金标准确定第二损失函数；其中，所述第二损失函数为第二特征图的损失函数，所述第二特征图包含预测的关键点，所述第二特征图和第二金标准的格式一致；
第三解码器子模块用于将第二解码器子模块和第三编码器子模块输出的特征图进行矩阵通道叠加，将通道叠加得到的特征图输出给第三中继监督子模块；第三中继监督子模块根据通道叠加得到的特征图输出预测的第三特征图，并根据第三金标准确定第三损失函数；其中，所述第三损失函数为第三特征图的损失函数，所述第三特征图包含预测的关键点，所述第三特征图和第三金标准的格式一致；
根据第一损失函数、第二损失函数、以及第三损失函数确定总的损失函数，将总的损失函数作为在训练过程中关键点检测模型的误差；
其中，所述根据第一损失函数、第二损失函数、以及第三损失函数确定总的损失函数，包括：
采用以下公式分别计算得到第一损失函数、第二损失函数、以及第三损失函数：
Figure FDA0003687660030000021
其中，y1为标准图像的矩阵中的像素点为关键点的概率值，
Figure FDA0003687660030000022
为特征图中的像素点为关键点的概率值，y1、
Figure FDA0003687660030000023
α、γ为超参数，H1表示第一特征图、H2表示第二特征图、H3表示第三特征图；lossH1表示第一损失函数、lossH2表示第二损失函数、lossH3表示第三损失函数；
通过以下公式计算得到总的损失函数：
loss＝ω1lossH1+ω2lossH2+ω3lossH3；
其中，ω1，ω2，ω3分别为损失函数lossH1、lossH2、lossH3的权重。
2.根据权利要求1所述的一种基于改进神经网络的医学图像关键点检测方法，其特征在于，所述根据所述医学样本影像的关键点确定训练关键点检测模型的金标准，包括：
以医学样本影像的关键点为中心对所述医学样本影像进行统一尺度裁减，得到待处理图像；
将待处理图像转为多个尺度大小的标准图像，多个所述标准图像的尺度大小分别与训练关键点检测模型过程中输出的特征图一致；
根据多个标准图像确定训练关键点检测模型的金标准。
3.根据权利要求2所述的一种基于改进神经网络的医学图像关键点检测方法，其特征在于，所述根据多个标准图像确定训练关键点检测模型的金标准，包括：
建立与标准图像的宽高尺度一致的零矩阵；
将零矩阵中关键点所在坐标的像素值设置为1，使用二维高斯核对该矩阵进行滤波，得到一个关键点的矩阵；
对标准图像中各个关键点的矩阵进行叠加，得到标准图像的矩阵；
将多个标准图像的矩阵作为训练关键点检测模型的金标准。
4.根据权利要求1所述的一种基于改进神经网络的医学图像关键点检测方法，其特征在于，所述方法还包括：
在训练关键点检测模型过程中，分别对所述关键点检测模型中各个子模块输出的特征图进行数据增强；其中，所述数据增强包括以下至少一种：垂直方向翻转、对比度调整以及随机添加高斯噪声；
所述关键点检测模型中各个子模块包括：所述编码器模块中的第一编码器子模块、第二编码器子模块、第三编码器子模块、第四编码器子模块、以及第五编码器子模块；所述解码器模块中的第一解码器子模块、第二解码器子模块、以及第三解码器子模块；所述中继监督模块中的第一中继监督子模块、第二中继监督子模块、以及第三中继监督子模块。
5.根据权利要求1所述的一种基于改进神经网络的医学图像关键点检测方法，其特征在于，所述通过训练好的关键点检测模型预测出所述待检测的医学影像的关键点概率热力图，包括：
将所述待检测的医学影像输入训练好的关键点检测模型进行预测；
获取第三中继监督子模块输出的第三特征图；
根据所述第三特征图预测出所述待检测的医学影像的关键点概率热力图。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于改进神经网络的医学图像关键点检测方法的步骤。
7.一种电子设备，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至5任一项所述的基于改进神经网络的医学图像关键点检测方法。
CN202110728468.2A 2021-06-29 2021-06-29 基于改进神经网络的医学图像关键点检测方法及系统 Active CN113450328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110728468.2A CN113450328B (zh) 2021-06-29 2021-06-29 基于改进神经网络的医学图像关键点检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110728468.2A CN113450328B (zh) 2021-06-29 2021-06-29 基于改进神经网络的医学图像关键点检测方法及系统

Publications (2)

Publication Number Publication Date
CN113450328A CN113450328A (zh) 2021-09-28
CN113450328B true CN113450328B (zh) 2022-10-14

Family

ID=77814006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110728468.2A Active CN113450328B (zh) 2021-06-29 2021-06-29 基于改进神经网络的医学图像关键点检测方法及系统

Country Status (1)

Country Link
CN (1) CN113450328B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240844B (zh) * 2021-11-23 2023-03-14 电子科技大学 一种医学图像中无监督的关键点定位和目标检测方法
CN114529779B (zh) * 2021-12-31 2023-04-07 扬州市恒泰人防设备有限公司 一种人防门锈蚀状态检测系统及方法
CN114022480B (zh) * 2022-01-06 2022-04-22 杭州健培科技有限公司 基于统计与形状拓扑图的医学图像关键点检测方法和装置
CN115171882B (zh) * 2022-07-07 2023-06-02 广东工业大学 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及系统
CN116327356B (zh) * 2023-02-27 2024-04-26 北京长木谷医疗科技股份有限公司 基于人工智能的脊柱手术术前规划方法、系统及存储介质
CN116309591B (zh) * 2023-05-19 2023-08-25 杭州健培科技有限公司 一种医学影像3d关键点检测方法、模型训练方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243026A (zh) * 2020-01-19 2020-06-05 武汉联影智融医疗科技有限公司 解剖标记点定位方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328430B2 (en) * 2019-05-28 2022-05-10 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for segmenting images
CN110348335B (zh) * 2019-06-25 2022-07-12 平安科技（深圳）有限公司 行为识别的方法、装置、终端设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243026A (zh) * 2020-01-19 2020-06-05 武汉联影智融医疗科技有限公司 解剖标记点定位方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于 Resnet 的胃癌病理切片识别与癌变区域分割;陈文;《中国优秀博硕士学位论文全文数据库（硕士） 医药卫生科技辑》;20200315(第3期);第E072-279页 *

Also Published As

Publication number Publication date
CN113450328A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN113450328B (zh) 基于改进神经网络的医学图像关键点检测方法及系统
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN111429460B (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
US11562491B2 (en) Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network
CN111798462A (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN110930416A (zh) 一种基于u型网络的mri图像前列腺分割方法
CN113870289B (zh) 一种解耦分治的面神经分割方法和装置
CN102831614B (zh) 基于交互式字典迁移的序列医学图像快速分割方法
CN112258514B (zh) 一种ct影像肺血管的分割方法
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN112381164A (zh) 一种基于多分支注意力机制的超声图像分类方法和装置
CN113139977B (zh) 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法
CN115359066B (zh) 用于内窥镜的病灶检测方法、装置、电子设备及存储介质
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN111462146A (zh) 一种基于时空智能体的医学图像多模态配准方法
CN112950639A (zh) 一种基于SA-Net的MRI医学图像分割方法
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN112634231A (zh) 一种图像分类方法、装置、终端设备和存储介质
CN112614093A (zh) 基于多尺度空间注意力网络的乳腺病理图像分类方法
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及系统
Huang et al. WNET: An end-to-end atlas-guided and boundary-enhanced network for medical image segmentation
CN112529886A (zh) 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法
CN116664953A (zh) 2.5d肺炎医学ct影像分类装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant