CN112561912A - 一种基于先验知识的医学图像淋巴结检测方法 - Google Patents

一种基于先验知识的医学图像淋巴结检测方法 Download PDF

Info

Publication number
CN112561912A
CN112561912A CN202110192337.7A CN202110192337A CN112561912A CN 112561912 A CN112561912 A CN 112561912A CN 202110192337 A CN202110192337 A CN 202110192337A CN 112561912 A CN112561912 A CN 112561912A
Authority
CN
China
Prior art keywords
lymph node
frame
key frame
key
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110192337.7A
Other languages
English (en)
Other versions
CN112561912B (zh
Inventor
章毅
王自强
王晗
魏明天
张海仙
孟文建
王璟玲
杨旭洋
崔俊杰
黄烁
黄月瑶
黄昊
潘震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110192337.7A priority Critical patent/CN112561912B/zh
Publication of CN112561912A publication Critical patent/CN112561912A/zh
Application granted granted Critical
Publication of CN112561912B publication Critical patent/CN112561912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于先验知识的医学图像淋巴结检测方法，涉及医学影像的处理分析技术领域，包括如下步骤：数据准备与标定、数据预处理、关键帧定位模型的构建、关键区域提取和淋巴结检测模型构建；本发明由两个级联的深度神经网络模型构成：关键帧定位深度神经网络模型和淋巴结检测深度神经网络模型。本发明还提出了两种先验知识：用于关键帧定位模型的关键帧空间先验知识和用于淋巴结检测模型的淋巴结锚点尺度先验知识。通过这两种先验知识，可以有效提升CT关键帧定位的准确性以及淋巴结检测的效果。

Description

一种基于先验知识的医学图像淋巴结检测方法
技术领域
本发明涉及医学影像的处理分析技术领域，更具体的是涉及基于先验知识的医学图像淋巴结检测方法技术领域。
背景技术
计算机断层扫描(CT)是目前肺癌最常用的检查方法，计算机断层扫描（CT）是一种快速，无痛的过程，可捕获腹部的清晰图像，被广泛用于帮助诊断和监测结直肠癌的治疗。盆腔淋巴结是临床常用判断结直肠癌转移的重要影像学指标。在传统诊疗过程中，经验丰富的放射科医生会逐层读取所有CT扫描图像找到淋巴结以备诊断。
然而，由于人体盆腔结构复杂存在大量的小血管、小淋巴结，使读片的过程耗时、费力且严重依赖医生的主观经验。但是现有的计算机断层扫描(CT)存在以下缺点：
当人工判读腹部增强CT影像学资料时，盆腔淋巴结的识别常存在漏诊、误诊等情况，极大延误结直肠癌患者诊治的黄金时限，严重影响患者的预后结果及生存质量。而且，全人工判读腹部增强CT，人力成本投入大，极大程度上受限于临床放射科医生的读片经验、有效专注时间、平均读片时长等多种因素的差异和影响。CT影像学报告结果准确性不一，报告及时性较差，对于需要及时准确监测和报告盆腔侧方淋巴结肿大及转移的临床工作形成了较大的局限性，继而延误后续相关诊疗活动的开展，降低预后结局。
总的来说：结直肠癌高发，通过腹部医学图像对检测淋巴结并进行定性，进行胃肠淋巴结清扫，对于结直肠癌的诊断和治疗极具临床意义。但是，人工读片成本大，且漏诊误诊率高，研发一种加快医生读片的医学图像淋巴结检测方法显得十分必要。
发明内容
本发明的目的在于：为了解决如何利用计算机在多分辨率CT图像中自动、高效、准确地定位医生感兴趣的关键区域，并在该关键区域内检测淋巴结的技术问题，本发明提供一种基于先验知识的医学图像淋巴结检测方法。
本发明为了实现上述目的具体采用以下技术方案：
一种基于先验知识的医学图像淋巴结检测方法，包括如下步骤：
步骤1、数据准备与标定：把CT影像数据从医院数据系统导入以及数据的标定，数据的标定需要两种标签：CT影像的关键帧位置和淋巴结位置，CT影像的关键帧包含启始帧和终止帧；
步骤2、数据预处理：把经过步骤1标定的数据进行预处理，预处理包括归一化CT值和归一化CT尺寸；
步骤3、关键帧定位模型的构建：设计关键帧定位模型的网络结构，采用步骤1中标定了关键帧位置且经过步骤2预处理的CT影像来训练关键帧定位模型，使用关键帧空间位置先验知识提高关键帧定位效果，以及输出关键帧；
步骤4、关键区域提取：基于步骤3的关键帧结果，提取位于启始帧和终止帧之间的关键区域，并进行的预处理以适应淋巴结检测模型的需要；
步骤5、淋巴结检测模型构建：基于步骤4中提取出的关键区域，设计淋巴结检测模型的网络结构，提取步骤1中CT影像的启始帧和终止帧之间的关键帧范围，经过步骤2预处理来训练淋巴结检测模型，使用淋巴结锚点尺度先验知识提高淋巴结的检测效果，以及输出预测的淋巴结节信息，淋巴结节信息包括中心点三维坐标以及淋巴结的直径大小；
步骤6，使用步骤3中的关键帧定位模型、步骤5中的淋巴结检测模型对输入的CT影像数据进行关键帧定位、关键区域提取、淋巴结检测，输出预测的淋巴结节信息。
进一步地，步骤1中，数据的标定需要两种标签：CT影像的关键帧位置和淋巴结的位置；
CT影像为一个CT序列，CT影像的关键帧包含启始帧和终止帧，启始帧和终止帧将整个CT序列划分为三个部分，中间部分是关键区域，启始帧表示关键区域的第一帧，终止帧表示关键区域的最后一帧；
步骤1中导入的每一例CT影像的淋巴结的位置标签由医学专家提前进行标注标定。
进一步地，步骤2中，首先归一化CT值，采用固定的窗宽和窗位，将CT值归一化到0-255之间；
然后归一化CT尺寸，CT影像的大小可以用
Figure 391370DEST_PATH_IMAGE001
表示，其中
Figure 631246DEST_PATH_IMAGE002
表示CT影像的帧数，
Figure 497571DEST_PATH_IMAGE003
表示CT影像的高度，
Figure 882284DEST_PATH_IMAGE004
表示CT影像的宽度，将CT的尺寸统一至
Figure 898782DEST_PATH_IMAGE005
，以适应关键帧定位模型的需要。
进一步地，步骤3中，关键帧定位模型采用三维残差网络结构，在关键帧定位模型中，采用18层的三维残差网络结构作为主干网络，两个独立的全连接层跟随主干网络，其中一个用于定位启始帧，另一个用于定位终止帧。
进一步地，步骤3中，关键帧空间先验知识：关键帧旁边的帧比其他帧更可能是关键帧的空间关系，以及由于生理解剖和CT扫描的连续性，关键帧和关键帧旁的帧具有相似的解剖结构，提出关键帧空间先验知识S用于描述这种相似性:
Figure 662339DEST_PATH_IMAGE006
其中，
Figure 824199DEST_PATH_IMAGE007
表示使用关键帧空间先验知识后的向量
Figure 571575DEST_PATH_IMAGE008
中第
Figure 860605DEST_PATH_IMAGE009
帧是关键帧的概率，
Figure 744247DEST_PATH_IMAGE009
是向量
Figure 139325DEST_PATH_IMAGE008
中任意位置，向量
Figure 983784DEST_PATH_IMAGE008
表示CT影像的帧数方向的向量，
Figure 935560DEST_PATH_IMAGE010
是关键帧的位置,
Figure 84430DEST_PATH_IMAGE011
为控制关键帧空间先验知识S概率曲线的变化程度。
进一步地，步骤5中，由于生理解剖和CT扫描的连续性，关键帧和关键帧旁的帧具有相似的解剖结构,提出将关键帧定位定义为一个回归问题从而解决这个问题，使用如下的学习误差来训练关键帧定位模型:
Figure 197879DEST_PATH_IMAGE012
其中，
Figure 529635DEST_PATH_IMAGE013
表示训练关键帧时使用的学习误差，
Figure 285101DEST_PATH_IMAGE014
表示给定CT向量
Figure 267969DEST_PATH_IMAGE008
第
Figure 755582DEST_PATH_IMAGE015
帧的经过回归层后的预测为关键帧的概率，
Figure 699268DEST_PATH_IMAGE016
表示使用关键帧空间先验知识S后的向量
Figure 117480DEST_PATH_IMAGE008
中第
Figure 830221DEST_PATH_IMAGE015
帧是关键帧的概率，
Figure 691997DEST_PATH_IMAGE017
表示向量
Figure 857400DEST_PATH_IMAGE008
中位置
Figure 876040DEST_PATH_IMAGE015
的权重，向量
Figure 318654DEST_PATH_IMAGE008
表示CT影像的帧数方向的向量；
关键帧定位模型训练使用了三维残差网络结构，由于关键帧定位任务由两个独立的任务组成：启始帧定位和终止帧定位，并且定位它们的重要性相等，因此在关键帧定位任务中使用了多任务学习,在使用多任务学习后，用于训练关键帧定位模型的组合学习误差如下：
Figure 475966DEST_PATH_IMAGE018
其中，
Figure 521807DEST_PATH_IMAGE019
为启始帧学习误差，
Figure 157187DEST_PATH_IMAGE020
为终止帧学习误差,
Figure 719887DEST_PATH_IMAGE021
为同时训练启始帧和终止帧时候的组合学习误差。
进一步地，步骤3中，训练关键帧定位模型：网络设置学习率为0.001，卷积权值使用高斯分布初始化；一次训练批次设置为16，学习迭代次数为100；网络训练采用基于AdamW优化器的反馈传播算法同时训练区分当前帧是启始帧，以及区分当前帧是终止帧两项任务；每一次迭代学习之后，模型判断关键帧定位的总误差大小，如果当前误差小于上一个迭代的误差，就保存当前模型，然后继续训练，直到达到最大迭代次数。
进一步地，步骤4中， 通过步骤3可以预测出原始CT影像的启始帧和终止帧，通过这两个关键帧从原始CT影像中提取出关键区域，提取关键区域后需要对数据进行相应预处理。
进一步地，步骤5中，淋巴结检测模型采用三维残差网络结构作为网络主干结构，在网络主干结构的基础上，通过多次上采样、特征图拼接构成RPN网络结构，以提取更优异的淋巴结特征；
提出了两种淋巴结锚点尺度先验知识作为模型的起点，这样模型更容易学习预测好的检测结果，两种具体的淋巴结锚点尺度先验知识包括：基于欧氏距离的锚点尺度先验知识以及基于IOU的锚点尺度先验知识：
基于欧氏距离的锚点尺度先验知识：
L2
Figure 48100DEST_PATH_IMAGE022
其中，L2为用于表示维度聚类方法所基于的距离，
Figure 47149DEST_PATH_IMAGE023
用于描述候选锚点的直径，
Figure 751800DEST_PATH_IMAGE024
用于当前锚点的直径；
基于IOU的锚点尺度先验知识：
L2
Figure 965743DEST_PATH_IMAGE025
其中，L2为用于表示维度聚类方法所基于的距离，
Figure 589491DEST_PATH_IMAGE023
用于描述候选锚点的直径，
Figure 216782DEST_PATH_IMAGE024
用于当前锚点的直径，
Figure 69331DEST_PATH_IMAGE026
（,）表示选取最小值；
进一步地，步骤5中，对设置的每一个锚点添加一个Cross Entropy分类学习误差和一个
Figure 465678DEST_PATH_IMAGE027
平滑回归学习误差；
Cross Entropy分类学习误差：
Figure 260327DEST_PATH_IMAGE028
其中，
Figure 374914DEST_PATH_IMAGE029
表示Cross Entropy分类学习误差，
Figure 31154DEST_PATH_IMAGE030
表示目标是否存在，当目标为淋巴结时
Figure 547586DEST_PATH_IMAGE030
=1, 当目标为背景时
Figure 306945DEST_PATH_IMAGE030
=0，
Figure 784194DEST_PATH_IMAGE031
表示神经网络预测锚点位置存在淋巴结的概率；本发明中使用体积的交比来衡量一个锚点位置是否存在淋巴结，如果一个锚点位置坐标和任何一个目标的交比大于阈值0.5 则认为是正样本，即
Figure 368759DEST_PATH_IMAGE030
=1，如果小于0.02则作为负样本，即
Figure 864331DEST_PATH_IMAGE030
=0，其他的锚点训练时不提供学习误差；
由于淋巴结检测的模型是从三维CT影像数据到淋巴结坐标元组的一个映射，因此神经网络学习的目标也是使网络模型输出的预测的淋巴结坐标元组
Figure 610570DEST_PATH_IMAGE032
逼近步骤1中由医生标定的淋巴结坐标元组
Figure 309536DEST_PATH_IMAGE033
，其中字母
Figure 697792DEST_PATH_IMAGE034
表示神经网络预测的淋巴结坐标元祖，字母
Figure 47871DEST_PATH_IMAGE035
表示由医生标定的淋巴结坐标元祖；下标
Figure 637115DEST_PATH_IMAGE036
表示淋巴结在三维CT影像数据中的帧数索引，下标
Figure 134961DEST_PATH_IMAGE037
表示淋巴结在三维CT影像数据中的高度索引，
Figure 795750DEST_PATH_IMAGE038
表示淋巴结在三维CT影像数据的宽度索引，下标
Figure 751068DEST_PATH_IMAGE039
代表淋巴结直径的大小；
Figure 370268DEST_PATH_IMAGE027
为平滑回归学习误差，在训练网络的时候需要对元组中的每一个元素分别定义回归学习误差，因此淋巴结目标的回归学习误差被定义为：
Figure 92761DEST_PATH_IMAGE040
其中，字母
Figure 432606DEST_PATH_IMAGE041
表示神经网络预测的淋巴结坐标元祖，字母
Figure 632643DEST_PATH_IMAGE042
表示由医生标定的淋巴结坐标元祖，
Figure 547379DEST_PATH_IMAGE043
表示淋巴结坐标元组中
Figure 567287DEST_PATH_IMAGE044
的回归学习误差，
Figure 976403DEST_PATH_IMAGE045
表示淋巴结坐标元组中
Figure 765367DEST_PATH_IMAGE046
的归学习误差，
Figure 585425DEST_PATH_IMAGE047
表示淋巴结坐标元组中
Figure 358209DEST_PATH_IMAGE048
的回归学习误差，
Figure 102174DEST_PATH_IMAGE049
表示淋巴结坐标元组中
Figure 135858DEST_PATH_IMAGE050
的回归学习误差；
定义回归目标是为了让训练神经网络的回归误差更容易收敛，设定对应的神经网络的预测结果为
Figure 267762DEST_PATH_IMAGE051
，回归学习误差定义为：
Figure 137629DEST_PATH_IMAGE052
其中，
Figure 13181DEST_PATH_IMAGE027
为平滑回归学习误差，
Figure 898442DEST_PATH_IMAGE027
的计算方式为:
Figure 935668DEST_PATH_IMAGE053
其中，
Figure 558410DEST_PATH_IMAGE054
为
Figure 972074DEST_PATH_IMAGE055
、
Figure 980350DEST_PATH_IMAGE056
、
Figure 860582DEST_PATH_IMAGE036
、
Figure 829675DEST_PATH_IMAGE039
中的任意一个元素，
Figure 171663DEST_PATH_IMAGE057
为淋巴结目标的回归学习误差,
Figure 909812DEST_PATH_IMAGE058
为回归学习误差对应的预测结果。
本发明的有益效果如下：
1、本发明提供了一种基于先验知识的腹部CT盆骨区域淋巴结检测方法，适用于腹部CT数据，能够自动地定位医生感兴趣的关键区域，并在该关键区域内检测淋巴结, 通过这种做法，一方面提高了检测性能，另一方面也加快了淋巴结检测速度。本发明由两个级联的深度神经网络模型构成：关键帧定位深度神经网络模型和淋巴结检测深度神经网络模型。此外，本发明还提出了两种先验知识：用于关键帧定位模型的关键帧空间先验知识和用于淋巴结检测模型的淋巴结锚点尺度先验知识。通过这两种先验知识，可以有效提升CT关键帧定位的准确性以及淋巴结检测的效果。
2、本发明提出了一种关键帧空间先验知识，将关键帧定位问题由传统的分类问题转化为基于该知识的回归问题，大大提升了关键帧定位的准确性。本发明提出了使用多任务学习同时学习启始帧和终止帧。本发明提出了一种锚点尺度先验知识，解决了以往三维网络检测中锚点需要人工手动设置的问题。
3、本发明提出了两种方法来获得三维网络锚点尺度先验知识，其一是基于欧式距离的聚类方法，其二是基于IOU的聚类方法，并给出了相应的计算方法。
附图说明
图1是本发明的流程示意图。
图2是CT关键帧的定义。
图3是本发明使用的网络模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
实施例1
如图1所示， 本实施例提供一种基于先验知识的医学图像淋巴结检测方法，包括如下步骤：
步骤1、数据准备与标定：把CT影像数据从医院数据系统导入以及数据的标定，数据的标定需要两种标签：CT影像的关键帧位置和淋巴结位置，CT影像的关键帧包含启始帧和终止帧；
步骤2、数据预处理：把经过步骤1标定的数据进行预处理，预处理包括归一化CT值和归一化CT尺寸；
步骤3、关键帧定位模型的构建：设计关键帧定位模型的网络结构，采用步骤1中标定了关键帧位置且经过步骤2预处理的CT影像来训练关键帧定位模型，使用关键帧空间位置先验知识提高关键帧定位效果，以及输出关键帧；
步骤4、关键区域提取：基于步骤3的关键帧结果，提取位于启始帧和终止帧之间的关键区域，并进行的预处理以适应淋巴结检测模型的需要；
步骤5、淋巴结检测模型构建：基于步骤4中提取出的关键区域，设计淋巴结检测模型的网络结构，提取步骤1中CT影像的启始帧和终止帧之间的关键帧范围，经过步骤2预处理来训练淋巴结检测模型，使用淋巴结锚点尺度先验知识提高淋巴结的检测效果，以及输出预测的淋巴结节信息，淋巴结节信息包括中心点三维坐标以及淋巴结的直径大小；
步骤6，使用步骤3中的关键帧定位模型、步骤5中的淋巴结检测模型对输入的CT影像数据进行关键帧定位、关键区域提取、淋巴结检测，输出预测的淋巴结节信息。
实施例2
本实施例是在实施例1的基础上做了进一步优化，具体是：
步骤1中， 数据的标定需要两种标签：CT影像的关键帧位置和淋巴结的位置；
CT影像的关键帧包含启始帧和终止帧，将整个CT序列划分为三个部分，中间部分是关键区域，启始帧表示关键区域的第一帧，终止帧表示关键区域的最后一帧。如图2所示，在解剖学上，启始帧是指腹主动脉分叉或左右髂动脉壁开始分离的层面，终止帧是指耻骨联合开始分离的层面。
对于每一例CT影像的淋巴结的位置标签而言，为保证每一个标签准确与客观性，都由不同医学专家进行多轮标注标定，本方案中淋巴结位置的标定都由不同华西医院专家进行多轮标注标定，保证每一个标签准确与客观性，对于有争议的淋巴结，会进行磋商讨论，决定其是否纳入训练的数据库；
深度神经网络方法需要大量的数据用于训练，因此首先需要准备好数据用于模型的训练。本发明所用数据为华西医院影像科腹部CT影像数据，采集500多个病人的数据。本发明所用来训练模型的方法是一种基于监督学习的方法，模型的迭代更新需要大量有准确标签的数据。
步骤2中，首先归一化CT值，采用固定的窗宽和窗位（窗宽：300，窗位：50），将CT值归一化到0-255之间；然后归一化CT尺寸，CT影像的大小可以用
Figure 429786DEST_PATH_IMAGE059
表示，其中
Figure 886175DEST_PATH_IMAGE002
表示CT影像的帧数，
Figure 500696DEST_PATH_IMAGE003
表示CT影像的高度，
Figure 358931DEST_PATH_IMAGE004
表示CT影像的宽度，将CT的尺寸统一至
Figure 49806DEST_PATH_IMAGE060
，以适应关键帧定位模型的需要。
由于CT影像的
Figure 727912DEST_PATH_IMAGE002
往往不同，且在关键帧定位中，
Figure 414633DEST_PATH_IMAGE003
和
Figure 127374DEST_PATH_IMAGE061
的重要性没有
Figure 785889DEST_PATH_IMAGE002
大，数据预处理阶段对原始的CT影像数据进行处理，使得突出其有效的特征，便于更好地分辨出CT影像的关键帧。
实施例3
本实施例是在实施例1或2基础上做了进一步优化，具体是：
步骤3中，关键帧定位模型采用三维残差网络结构，在关键帧定位模型中，采用18层的三维残差网络结构作为主干网络，两个独立的全连接层跟随主干网络，其中一个用于定位启始帧，另一个用于定位终止帧。
本发明中采用的三维卷积网络结构参考二维深度残差网络结构。目前普遍认为，神经网络的深度可以有助于提高模型对数据的抽象建模能力，然而过深的网络因梯度消失问题而不利于网络的训练。残差网络结构提出了在传统卷积网络结构中加入捷径连接以消除深度网络在学习过程中梯度回传容易消失的问题，使得网络可以在很深的层次下依然可以有效并且快速地训练。由于本发明中输入的为三维图像，如果使用太深的网络结构将会使得模型过于庞大，将会耗费大量的硬件资源。因此本发明参考使用18层残差网络的一部分结构作为本发明的卷积网络结构，如图3所示。
此外，由于关键帧定位任务由两个独立的任务组成：启始帧定位和终止帧定位，并且定位它们的重要性相等，因此本发明在关键帧定位任务中使用了多任务学习。在关键帧定位模型中，采用18层的三维残差网络结构作为主干网络，两个独立的全连接层跟随主干网络。其中一个用于定位启始帧，另一个用于定位终止帧。也就是说，这两个完全连接的层共享同一个主干，这不仅节省了计算能力，而且由于协作学习的存在，提高了定位性能。
关键帧空间先验知识：关键帧旁边的帧比其他帧更可能是关键帧的空间关系，以及由于生理解剖和CT扫描的连续性，关键帧和关键帧旁的帧具有相似的解剖结构，提出关键帧空间先验知识S用于描述这种相似性:
Figure 341504DEST_PATH_IMAGE006
使用高斯分布来产生符合生理解剖的空间先验知识S，其中，
Figure 438773DEST_PATH_IMAGE007
表示使用关键帧空间先验知识后的向量
Figure 615807DEST_PATH_IMAGE008
中第
Figure 773119DEST_PATH_IMAGE009
帧是关键帧的概率，
Figure 550451DEST_PATH_IMAGE009
是向量
Figure 451411DEST_PATH_IMAGE008
中任意位置，向量
Figure 810848DEST_PATH_IMAGE008
表示CT影像的帧数方向的向量，
Figure 263695DEST_PATH_IMAGE010
是关键帧的位置,
Figure 403689DEST_PATH_IMAGE011
为控制关键帧空间先验知识S概率曲线的变化程度。
确定CT扫描关键帧的过程是一个经典的分类任务。对于分类问题，将使用交叉熵损失函数来确定整个CT扫描中的某些帧最有可能是启始帧和终止帧。然而，交叉熵损失函数需要对目标进行热编码，且没有考虑关键帧旁边的帧比其他帧更可能是关键帧的空间关系。由于生理解剖和CT扫描的连续性，关键帧和关键帧旁的帧具有相似的解剖结构,提出将关键帧定位问题定义为一个回归问题从而解决这个问题，使用如下的学习误差来训练关键帧定位模型:
Figure 718127DEST_PATH_IMAGE012
其中，
Figure 259967DEST_PATH_IMAGE013
表示训练关键帧时使用的学习误差，
Figure 615206DEST_PATH_IMAGE014
表示给定CT向量
Figure 242497DEST_PATH_IMAGE008
第
Figure 360626DEST_PATH_IMAGE015
帧的经过回归层后的预测为关键帧的概率，
Figure 22551DEST_PATH_IMAGE016
表示使用关键帧空间先验知识S后的向量
Figure 817201DEST_PATH_IMAGE008
中第
Figure 72733DEST_PATH_IMAGE015
帧是关键帧的概率，
Figure 119186DEST_PATH_IMAGE017
表示向量
Figure 884885DEST_PATH_IMAGE008
中位置
Figure 397906DEST_PATH_IMAGE015
的权重，向量
Figure 734210DEST_PATH_IMAGE008
表示CT影像的帧数方向的向量。
关键帧定位模型训练使用了三维残差网络结构，由于关键帧定位任务由两个独立的任务组成：启始帧定位和终止帧定位，并且定位它们的重要性相等，因此在关键帧定位任务中使用了多任务学习,在使用多任务学习后，用于训练关键帧定位模型的组合学习误差公式如下：
Figure 446338DEST_PATH_IMAGE018
其中，
Figure 817277DEST_PATH_IMAGE019
为启始帧学习误差，
Figure 438882DEST_PATH_IMAGE020
为终止帧学习误差,
Figure 528061DEST_PATH_IMAGE021
为同时训练启始帧和终止帧时候的组合学习误差。
实施例4
本实施例是在实施例1-3任一实施例的基础上做了进一步优化，具体是：
步骤3中，训练关键帧定位模型：网络设置学习率为0.001，卷积权值使用高斯分布初始化；一次训练批次设置为16，学习迭代次数为100；网络训练采用基于AdamW优化器的反馈传播算法同时训练区分当前帧是启始帧，以及区分当前帧是终止帧两项任务；每一次迭代学习之后，模型判断关键帧定位的总误差大小（包含启始帧和终止帧），如果当前误差小于上一个迭代的误差，就保存当前模型，然后继续训练，直到达到最大迭代次数。
通过步骤3可以预测出原始CT影像的启始帧和终止帧，通过这两个关键帧可以从原始CT影像中提取出医生感兴趣的关键区域，提取关键区域后需要对数据进行相应预处理，去除影像CT边界等无效信息使得突出其有效的特征，便于更好地检测CT影像中的淋巴结。具体操作包括对关键区域进行二值化处理，而后通过清除边界，腐蚀与膨胀等操作处理出关键区域内的有效区域，并对于处理后的关键区域将CT值规范化到0-255之间。
实施例5
本实施例是在实施例1-4任一实施例的基础上做了进一步优化，具体是：
步骤5中，淋巴结检测模型采用三维残差网络结构作为网络主干结构，在网络主干结构的基础上，通过多次上采样、特征图拼接构成RPN网络结构，如图3所示，以提取更优异的淋巴结特征；
淋巴结检测模型有锚点尺度作为超参数，不同的锚点设置对检测性能有影响。锚点的设置主要是为了使区域候选网络的回归学习误差便于训练，加快模型的学习收敛速度。正常情况下，一个锚点会被设置为长方体，由于一个淋巴结一般近似为球体，因此在本发明中锚点只需一个球体直径即可描述。锚点的设置主要是为了使区域候选网络的回归学习误差便于训练，加快模型的学习收敛速度，然而现在并没有一个标准来为三维检测模型选择合适的锚点。
提出了两种淋巴结锚点尺度先验知识作为模型的起点，这样模型更容易学习预测好的检测结果，两种具体的淋巴结锚点尺度先验知识包括：基于欧氏距离的锚点尺度先验知识以及基于IOU的锚点尺度先验知识：
基于欧氏距离的锚点尺度先验知识：
L2
Figure 775372DEST_PATH_IMAGE022
其中，L2为用于表示维度聚类方法所基于的距离，
Figure 266396DEST_PATH_IMAGE023
用于描述候选锚点的直径，
Figure 121219DEST_PATH_IMAGE024
用于当前锚点的直径。
基于IOU的锚点尺度先验知识：
L2
Figure 556749DEST_PATH_IMAGE025
其中，L2为用于表示维度聚类方法所基于的距离，
Figure 483116DEST_PATH_IMAGE023
用于描述候选锚点的直径，
Figure 704013DEST_PATH_IMAGE024
用于当前锚点的直径，
Figure 57634DEST_PATH_IMAGE026
（,）表示选取最小值。
步骤5中，学习误差直接影响着淋巴结检测模型的训练好坏，对设置的每一个锚点添加一个Cross Entropy分类学习误差和一个
Figure 980460DEST_PATH_IMAGE027
平滑回归学习误差；
Cross Entropy分类学习误差：
Figure 710518DEST_PATH_IMAGE028
其中，
Figure 785922DEST_PATH_IMAGE029
表示Cross Entropy分类学习误差，
Figure 310444DEST_PATH_IMAGE030
表示目标是否存在，当目标为淋巴结时
Figure 584732DEST_PATH_IMAGE030
=1, 当目标为背景时
Figure 56165DEST_PATH_IMAGE030
=0，
Figure 48391DEST_PATH_IMAGE031
表示神经网络预测锚点位置存在淋巴结的概率；本发明中使用体积的交比来衡量一个锚点位置是否存在淋巴结，如果一个锚点位置坐标和任何一个目标的交比大于阈值0.5 则认为是正样本，即
Figure 681498DEST_PATH_IMAGE030
=1，如果小于0.02则作为负样本，即
Figure 641233DEST_PATH_IMAGE030
=0，其他的锚点训练时不提供学习误差。
由于淋巴结检测的模型是从三维CT影像数据到淋巴结坐标元组的一个映射，因此神经网络学习的目标也是使网络模型输出的预测的淋巴结坐标元组
Figure 650777DEST_PATH_IMAGE032
逼近步骤1中由医生标定的淋巴结坐标元组
Figure 497510DEST_PATH_IMAGE033
，其中字母
Figure 567097DEST_PATH_IMAGE034
表示神经网络预测的淋巴结坐标元祖，字母
Figure 217390DEST_PATH_IMAGE035
表示由医生标定的淋巴结坐标元祖；下标
Figure 233888DEST_PATH_IMAGE036
表示淋巴结在三维CT影像数据中的帧数索引，下标
Figure 184395DEST_PATH_IMAGE037
表示淋巴结在三维CT影像数据中的高度索引，
Figure 424884DEST_PATH_IMAGE038
表示淋巴结在三维CT影像数据的宽度索引，下标
Figure 844364DEST_PATH_IMAGE039
代表淋巴结直径的大小：
Figure 195711DEST_PATH_IMAGE040
其中，字母
Figure 534813DEST_PATH_IMAGE041
表示神经网络预测的淋巴结坐标元祖，字母
Figure 680623DEST_PATH_IMAGE042
表示由医生标定的淋巴结坐标元祖，
Figure 852979DEST_PATH_IMAGE043
表示淋巴结坐标元组中
Figure 8016DEST_PATH_IMAGE044
的回归学习误差，
Figure 933116DEST_PATH_IMAGE045
表示淋巴结坐标元组中
Figure 515407DEST_PATH_IMAGE046
的回归学习误差，
Figure 909479DEST_PATH_IMAGE047
表示淋巴结坐标元组中
Figure 602629DEST_PATH_IMAGE048
的回归学习误差，
Figure 647814DEST_PATH_IMAGE049
表示淋巴结坐标元组中
Figure 135427DEST_PATH_IMAGE050
的回归学习误差；
定义回归目标是为了让训练神经网络的回归误差更容易收敛，设定对应的神经网络的预测结果为
Figure 220058DEST_PATH_IMAGE051
，回归学习误差
Figure 966166DEST_PATH_IMAGE062
定义为：
Figure 616590DEST_PATH_IMAGE063
其中，
Figure 540684DEST_PATH_IMAGE027
为平滑回归学习误差，
Figure 643769DEST_PATH_IMAGE027
的计算方式为:
Figure 925059DEST_PATH_IMAGE064
其中，
Figure 695569DEST_PATH_IMAGE054
为
Figure 56143DEST_PATH_IMAGE055
、
Figure 646524DEST_PATH_IMAGE056
、
Figure 734435DEST_PATH_IMAGE036
、
Figure 359451DEST_PATH_IMAGE039
中的任意一个元素，
Figure 625347DEST_PATH_IMAGE057
为淋巴结目标的回归学习误差,
Figure 703025DEST_PATH_IMAGE058
为回归学习误差对应的预测结果。

Claims (10)

1.一种基于先验知识的医学图像淋巴结检测方法，其特征在于，包括如下步骤：
步骤1、数据准备与标定：把CT影像数据从医院数据系统导入以及数据的标定，数据的标定需要两种标签：CT影像的关键帧位置和淋巴结位置，CT影像的关键帧包含启始帧和终止帧；
步骤2、数据预处理：把经过步骤1标定的数据进行预处理，预处理包括归一化CT值和归一化CT尺寸；
步骤3、关键帧定位模型的构建：设计关键帧定位模型的网络结构，采用步骤1中标定了关键帧位置且经过步骤2预处理的CT影像来训练关键帧定位模型，使用关键帧空间位置先验知识提高关键帧定位效果，以及输出关键帧；
步骤4、关键区域提取：基于步骤3的关键帧结果，提取位于启始帧和终止帧之间的关键区域，并进行的预处理以适应淋巴结检测模型的需要；
步骤5、淋巴结检测模型构建：基于步骤4中提取出的关键区域，设计淋巴结检测模型的网络结构，提取步骤1中CT影像的启始帧和终止帧之间的关键帧范围，经过步骤2预处理来训练淋巴结检测模型，使用淋巴结锚点尺度先验知识提高淋巴结的检测效果，以及输出预测的淋巴结节信息，淋巴结节信息包括中心点三维坐标以及淋巴结的直径大小；
步骤6，使用步骤3中的关键帧定位模型、步骤5中的淋巴结检测模型对输入的CT影像数据进行关键帧定位、关键区域提取、淋巴结检测，输出预测的淋巴结节信息。
2.根据权利要求1所述的一种基于先验知识的医学图像淋巴结检测方法，其特征在于，步骤1中，数据的标定需要两种标签：CT影像的关键帧位置和淋巴结的位置；
CT影像为一个CT序列，CT影像的关键帧包含启始帧和终止帧，启始帧和终止帧将整个CT序列划分为三个部分，中间部分是关键区域，启始帧表示关键区域的第一帧，终止帧表示关键区域的最后一帧；
步骤1中导入的每一例CT影像的淋巴结的位置标签由医学专家提前进行标注标定。
3.根据权利要求1所述的一种基于先验知识的医学图像淋巴结检测方法，其特征在于，步骤2中，首先归一化CT值，采用固定的窗宽和窗位，将CT值归一化到0-255之间；
然后归一化CT尺寸，CT影像的大小可以用
Figure 675366DEST_PATH_IMAGE001
表示，其中
Figure 999031DEST_PATH_IMAGE002
表示CT影像的帧数，
Figure 309926DEST_PATH_IMAGE003
表示CT影像的高度，
Figure 160595DEST_PATH_IMAGE004
表示CT影像的宽度，将CT的尺寸统一至
Figure 381492DEST_PATH_IMAGE005
，以适应关键帧定位模型的需要。
4.根据权利要求1所述的一种基于先验知识的医学图像淋巴结检测方法，其特征在于，步骤3中，关键帧定位模型采用三维残差网络结构，在关键帧定位模型中，采用18层的三维残差网络结构作为主干网络，两个独立的全连接层跟随主干网络，其中一个用于定位启始帧，另一个用于定位终止帧。
5.根据权利要求1所述的一种基于先验知识的医学图像淋巴结检测方法，其特征在于，步骤3中，关键帧空间先验知识：关键帧旁边的帧比其他帧更可能是关键帧的空间关系，以及由于生理解剖和CT扫描的连续性，关键帧和关键帧旁的帧具有相似的解剖结构，提出关键帧空间先验知识S用于描述这种相似性:
Figure 469534DEST_PATH_IMAGE006
其中，
Figure 392359DEST_PATH_IMAGE007
表示使用关键帧空间先验知识后的向量
Figure 122418DEST_PATH_IMAGE008
中第
Figure 994559DEST_PATH_IMAGE009
帧是关键帧的概率，
Figure 643715DEST_PATH_IMAGE009
是向量
Figure 929203DEST_PATH_IMAGE008
中任意位置，向量
Figure 807160DEST_PATH_IMAGE008
表示CT影像的帧数方向的向量，
Figure 861704DEST_PATH_IMAGE010
是关键帧的位置,
Figure 947340DEST_PATH_IMAGE011
为控制关键帧空间先验知识S概率曲线的变化程度。
6.根据权利要求1所述的一种基于先验知识的医学图像淋巴结检测方法，其特征在于，步骤5中，由于生理解剖和CT扫描的连续性，关键帧和关键帧旁的帧具有相似的解剖结构,提出将关键帧定位定义为一个回归问题从而解决这个问题，使用如下的学习误差来训练关键帧定位模型:
Figure 720124DEST_PATH_IMAGE012
其中，
Figure 198510DEST_PATH_IMAGE013
表示训练关键帧时使用的学习误差，
Figure 494844DEST_PATH_IMAGE014
表示给定CT向量
Figure 361169DEST_PATH_IMAGE008
第
Figure 231036DEST_PATH_IMAGE015
帧的经过回归层后的预测为关键帧的概率，
Figure 841008DEST_PATH_IMAGE016
表示使用关键帧空间先验知识S后的向量
Figure 791516DEST_PATH_IMAGE008
中第
Figure 969687DEST_PATH_IMAGE015
帧是关键帧的概率，
Figure 451484DEST_PATH_IMAGE017
表示向量
Figure 989782DEST_PATH_IMAGE008
中位置
Figure 873424DEST_PATH_IMAGE015
的权重，向量
Figure 222497DEST_PATH_IMAGE008
表示CT影像的帧数方向的向量；
关键帧定位模型训练使用了三维残差网络结构，由于关键帧定位任务由两个独立的任务组成：启始帧定位和终止帧定位，并且定位它们的重要性相等，因此在关键帧定位任务中使用了多任务学习,在使用多任务学习后，用于训练关键帧定位模型的组合学习误差如下：
Figure 191590DEST_PATH_IMAGE018
其中，
Figure 2420DEST_PATH_IMAGE019
为启始帧学习误差，
Figure 6148DEST_PATH_IMAGE020
为终止帧学习误差,
Figure 526122DEST_PATH_IMAGE021
为同时训练启始帧和终止帧时候的组合学习误差。
7.根据权利要求1所述的一种基于先验知识的医学图像淋巴结检测方法，其特征在于，步骤3中，训练关键帧定位模型：网络设置学习率为0.001，卷积权值使用高斯分布初始化；一次训练批次设置为16，学习迭代次数为100；网络训练采用基于AdamW优化器的反馈传播算法同时训练区分当前帧是启始帧，以及区分当前帧是终止帧两项任务；每一次迭代学习之后，模型判断关键帧定位的总误差大小，如果当前误差小于上一个迭代的误差，就保存当前模型，然后继续训练，直到达到最大迭代次数。
8.根据权利要求1所述的一种基于先验知识的医学图像淋巴结检测方法，其特征在于，步骤4中， 通过步骤3可以预测出原始CT影像的启始帧和终止帧，通过这两个关键帧从原始CT影像中提取出关键区域，提取关键区域后需要对数据进行相应预处理。
9.根据权利要求1所述的一种基于先验知识的医学图像淋巴结检测方法，其特征在于，步骤5中，淋巴结检测模型采用三维残差网络结构作为网络主干结构，在网络主干结构的基础上，通过多次上采样、特征图拼接构成RPN网络结构，以提取更优异的淋巴结特征；
提出了两种淋巴结锚点尺度先验知识作为模型的起点，这样模型更容易学习预测好的检测结果，两种具体的淋巴结锚点尺度先验知识包括：基于欧氏距离的锚点尺度先验知识以及基于IOU的锚点尺度先验知识：
基于欧氏距离的锚点尺度先验知识：
L2
Figure 982512DEST_PATH_IMAGE022
其中，L2为用于表示维度聚类方法所基于的距离，
Figure 662279DEST_PATH_IMAGE023
用于描述候选锚点的直径，
Figure 458197DEST_PATH_IMAGE024
用于当前锚点的直径；
基于IOU的锚点尺度先验知识：
L2
Figure 945810DEST_PATH_IMAGE025
其中，L2为用于表示维度聚类方法所基于的距离，
Figure 14129DEST_PATH_IMAGE023
用于描述候选锚点的直径，
Figure 573286DEST_PATH_IMAGE024
用于当前锚点的直径，
Figure 161394DEST_PATH_IMAGE026
（,）表示选取最小值。
10.根据权利要求7所述的一种基于先验知识的医学图像淋巴结检测方法，其特征在于，步骤5中，对设置的每一个锚点添加一个Cross Entropy分类学习误差和一个
Figure 882225DEST_PATH_IMAGE027
平滑回归学习误差；
Cross Entropy分类学习误差：
Figure 172261DEST_PATH_IMAGE028
其中，
Figure 269530DEST_PATH_IMAGE029
表示Cross Entropy分类学习误差，
Figure 367936DEST_PATH_IMAGE030
表示目标是否存在，当目标为淋巴结时
Figure 646952DEST_PATH_IMAGE030
=1, 当目标为背景时
Figure 237333DEST_PATH_IMAGE030
=0，
Figure 138293DEST_PATH_IMAGE031
表示神经网络预测锚点位置存在淋巴结的概率；本发明中使用体积的交比来衡量一个锚点位置是否存在淋巴结，如果一个锚点位置坐标和任何一个目标的交比大于阈值0.5 则认为是正样本，即
Figure 419102DEST_PATH_IMAGE030
=1，如果小于0.02则作为负样本，即
Figure 747315DEST_PATH_IMAGE030
=0，其他的锚点训练时不提供学习误差；
由于淋巴结检测的模型是从三维CT影像数据到淋巴结坐标元组的一个映射，因此神经网络学习的目标也是使网络模型输出的预测的淋巴结坐标元组
Figure 762675DEST_PATH_IMAGE032
逼近步骤1中由医生标定的淋巴结坐标元组
Figure 467326DEST_PATH_IMAGE033
，其中字母
Figure 133800DEST_PATH_IMAGE034
表示神经网络预测的淋巴结坐标元祖，字母
Figure 632914DEST_PATH_IMAGE035
表示由医生标定的淋巴结坐标元祖；下标
Figure 932308DEST_PATH_IMAGE036
表示淋巴结在三维CT影像数据中的帧数索引，下标
Figure 299705DEST_PATH_IMAGE037
表示淋巴结在三维CT影像数据中的高度索引，
Figure 696051DEST_PATH_IMAGE038
表示淋巴结在三维CT影像数据的宽度索引，下标
Figure 241433DEST_PATH_IMAGE039
代表淋巴结直径的大小；
Figure 356020DEST_PATH_IMAGE027
为平滑回归学习误差，在训练网络的时候需要对元组中的每一个元素分别定义回归学习误差，因此淋巴结目标的回归学习误差被定义为：
Figure 264457DEST_PATH_IMAGE040
其中，字母
Figure 780889DEST_PATH_IMAGE041
表示神经网络预测的淋巴结坐标元祖，字母
Figure 497172DEST_PATH_IMAGE042
表示由医生标定的淋巴结坐标元祖，
Figure 99055DEST_PATH_IMAGE043
表示淋巴结坐标元组中
Figure 808254DEST_PATH_IMAGE044
的回归学习误差，
Figure 179192DEST_PATH_IMAGE045
表示淋巴结坐标元组中
Figure 800798DEST_PATH_IMAGE046
的回归学习误差，
Figure 624397DEST_PATH_IMAGE047
表示淋巴结坐标元组中
Figure 137287DEST_PATH_IMAGE048
的回归学习误差，
Figure 362732DEST_PATH_IMAGE049
表示淋巴结坐标元组中
Figure 420818DEST_PATH_IMAGE050
的回归学习误差；
定义回归目标是为了让训练神经网络的回归误差更容易收敛，设定对应的神经网络的预测结果为
Figure 997293DEST_PATH_IMAGE051
，回归学习误差
Figure 845032DEST_PATH_IMAGE052
定义为：
Figure 800350DEST_PATH_IMAGE053
其中，
Figure 419550DEST_PATH_IMAGE027
为平滑回归学习误差，
Figure 339446DEST_PATH_IMAGE027
的计算方式为:
Figure 69504DEST_PATH_IMAGE054
其中，
Figure 613749DEST_PATH_IMAGE055
为
Figure 403851DEST_PATH_IMAGE056
、
Figure 813972DEST_PATH_IMAGE057
、
Figure 82143DEST_PATH_IMAGE036
、
Figure 808790DEST_PATH_IMAGE039
中的任意一个元素，
Figure 894427DEST_PATH_IMAGE058
为淋巴结目标的回归学习误差,
Figure 401631DEST_PATH_IMAGE059
为回归学习误差对应的预测结果。
CN202110192337.7A 2021-02-20 2021-02-20 一种基于先验知识的医学图像淋巴结检测方法 Active CN112561912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110192337.7A CN112561912B (zh) 2021-02-20 2021-02-20 一种基于先验知识的医学图像淋巴结检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110192337.7A CN112561912B (zh) 2021-02-20 2021-02-20 一种基于先验知识的医学图像淋巴结检测方法

Publications (2)

Publication Number Publication Date
CN112561912A true CN112561912A (zh) 2021-03-26
CN112561912B CN112561912B (zh) 2021-06-01

Family

ID=75035999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110192337.7A Active CN112561912B (zh) 2021-02-20 2021-02-20 一种基于先验知识的医学图像淋巴结检测方法

Country Status (1)

Country Link
CN (1) CN112561912B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229336A (zh) * 2017-12-13 2018-06-29 北京市商汤科技开发有限公司 视频识别及训练方法和装置、电子设备、程序和介质
CN108830826A (zh) * 2018-04-28 2018-11-16 四川大学 一种检测肺结节的系统及方法
CN109102502A (zh) * 2018-08-03 2018-12-28 西北工业大学 基于三维卷积神经网络的肺结节检测方法
US20190191988A1 (en) * 2016-09-02 2019-06-27 Spect Inc. Screening method for automated detection of vision-degenerative diseases from color fundus images
CN110349141A (zh) * 2019-07-04 2019-10-18 复旦大学附属肿瘤医院 一种乳腺病灶定位方法和系统
CN110796058A (zh) * 2019-10-23 2020-02-14 深圳龙岗智能视听研究院 一种基于关键帧提取和层次性表述的视频行为识别方法
CN110807764A (zh) * 2019-09-20 2020-02-18 成都智能迭迦科技合伙企业(有限合伙) 一种基于神经网络的肺癌筛查方法
CN111666850A (zh) * 2020-05-28 2020-09-15 浙江工业大学 一种基于聚类生成候选锚框的细胞图像检测与分割方法
CN111738117A (zh) * 2020-06-12 2020-10-02 鞍钢集团矿业有限公司 基于深度学习的电铲斗齿视频关键帧的检测方法
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190191988A1 (en) * 2016-09-02 2019-06-27 Spect Inc. Screening method for automated detection of vision-degenerative diseases from color fundus images
CN108229336A (zh) * 2017-12-13 2018-06-29 北京市商汤科技开发有限公司 视频识别及训练方法和装置、电子设备、程序和介质
CN108830826A (zh) * 2018-04-28 2018-11-16 四川大学 一种检测肺结节的系统及方法
CN109102502A (zh) * 2018-08-03 2018-12-28 西北工业大学 基于三维卷积神经网络的肺结节检测方法
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN110349141A (zh) * 2019-07-04 2019-10-18 复旦大学附属肿瘤医院 一种乳腺病灶定位方法和系统
CN110807764A (zh) * 2019-09-20 2020-02-18 成都智能迭迦科技合伙企业(有限合伙) 一种基于神经网络的肺癌筛查方法
CN110796058A (zh) * 2019-10-23 2020-02-14 深圳龙岗智能视听研究院 一种基于关键帧提取和层次性表述的视频行为识别方法
CN111666850A (zh) * 2020-05-28 2020-09-15 浙江工业大学 一种基于聚类生成候选锚框的细胞图像检测与分割方法
CN111738117A (zh) * 2020-06-12 2020-10-02 鞍钢集团矿业有限公司 基于深度学习的电铲斗齿视频关键帧的检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHENGYANG ZHOU 等: "Automated Deep Learning Analysis of Angiography Video Sequences for Coronary Artery Disease", 《ARXIV》 *
GUO-PING LIAO 等: "Study on Power Line Insulator Defect Detection via Improved Faster Region-Based Convolutional Neural Network", 《2019 IEEE 7TH INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND NETWORK TECHNOLOGY (ICCSNT)》 *
ZHI-GUANG JIANG 等: "Application Research of Key Frames Extraction Technology Combined with Optimized Faster R-CNN Algorithm in Traffic Video Analysis", 《HINDAWI》 *
王海均: "骨盆CT序列图像时空分割算法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
王西虎: "基于多序列MR图像融合的脑肿瘤自动分割方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Also Published As

Publication number Publication date
CN112561912B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
US10366491B2 (en) Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes
Carneiro et al. Detection and measurement of fetal anatomies from ultrasound images using a constrained probabilistic boosting tree
Kim et al. Machine-learning-based automatic identification of fetal abdominal circumference from ultrasound images
CN107766874B (zh) 一种超声容积生物学参数的测量方法及测量系统
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
Mahapatra et al. Active learning based segmentation of Crohns disease from abdominal MRI
Mu et al. An attention residual u-net with differential preprocessing and geometric postprocessing: Learning how to segment vasculature including intracranial aneurysms
CN111950595A (zh) 肝脏病灶图像处理方法、系统、存储介质、程序、终端
Yang et al. A deep learning segmentation approach in free‐breathing real‐time cardiac magnetic resonance imaging
CN112991363A (zh) 脑肿瘤图像分割方法、装置、电子设备及存储介质
Hussain et al. Deep learning-based diagnosis of disc degenerative diseases using MRI: a comprehensive review
Ye et al. Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network
Low et al. Automating vitiligo skin lesion segmentation using convolutional neural networks
Chen et al. Generative adversarial network based cerebrovascular segmentation for time-of-flight magnetic resonance angiography image
CN110956610A (zh) 基于稀疏表示的下肢深静脉血栓溶栓疗效预测方法及系统
Yu et al. Break: Bronchi reconstruction by geodesic transformation and skeleton embedding
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及系统
Ma et al. A novel deep learning framework for automatic recognition of thyroid gland and tissues of neck in ultrasound image
Yang et al. Learning COVID-19 pneumonia lesion segmentation from imperfect annotations via divergence-aware selective training
Wang et al. Deep learning based fetal middle cerebral artery segmentation in large-scale ultrasound images
CN115187566A (zh) 基于mra影像的颅内动脉瘤检测方法及装置
Xie et al. Semi-supervised region-connectivity-based cerebrovascular segmentation for time-of-flight magnetic resonance angiography image
Guo et al. Coarse-to-fine airway segmentation using multi information fusion network and CNN-based region growing
Zhao et al. Segmentation of the true lumen of aorta dissection via morphology-constrained stepwise deep mesh regression
Xia et al. Cross-domain brain CT image smart segmentation via shared hidden space transfer FCM clustering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant