CN112466441A - 一种器官勾画方法及装置 - Google Patents

一种器官勾画方法及装置 Download PDF

Info

Publication number
CN112466441A
CN112466441A CN202011477271.8A CN202011477271A CN112466441A CN 112466441 A CN112466441 A CN 112466441A CN 202011477271 A CN202011477271 A CN 202011477271A CN 112466441 A CN112466441 A CN 112466441A
Authority
CN
China
Prior art keywords
organ
detection frame
image
delineation
connected domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011477271.8A
Other languages
English (en)
Inventor
朱程
谢梦妮
郑超
任信信
朱其奎
王腾达
尹磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hai Chuang Times Shenzhen Medical Technology Co ltd
Original Assignee
Hai Chuang Times Shenzhen Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hai Chuang Times Shenzhen Medical Technology Co ltd filed Critical Hai Chuang Times Shenzhen Medical Technology Co ltd
Priority to CN202011477271.8A priority Critical patent/CN112466441A/zh
Publication of CN112466441A publication Critical patent/CN112466441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种器官勾画方法及装置,涉及医学图像处理领域,所述方法包括:利用已训练的目标检测神经网络,对患者CT影像的冠状面图像进行目标检测,检测出与CT影像中的人体部位有关的检测框信息;根据所述检测框信息,对器官自动勾画模型对所述CT影像进行自动勾画得到的自动勾画结果进行删减,得到预测勾画结果。本发明能够提高勾画结果的准确性。

Description

一种器官勾画方法及装置
技术领域
本发明涉及医学图像处理领域,尤其涉及一种器官勾画方法及装置。
背景技术
放射疗法是治疗肿瘤癌症的常见选择。在放射治疗计划期间,医生需要在CT影像上手工勾画出肿瘤和附件的危及器官(OARS),这种方法耗时较长且容易受主观影响。因此近年来,深度学习在CT影像器官勾画领域发展迅速,利用深度学习技术和卷积神经网络模型(CNN),可以辅助医生快速进行器官勾画,极大地提高医生的治疗效率。
训练CNN神经网络需要输入CT影像数据,将经过模型计算的输出值与真实值进行比较,使用对应的公式计算出损失值,然后使用后向传播算法迭代优化模型里的参数,最终得到训练完成的CNN神经网络,用于预测器官勾画结果,辅助放射治疗。
目前市场上多使用二维的用于器官自动分割的CNN网络(即二维器官自动分割网络),输入为CT影像横向切片后的二维数据,训练中缺乏人体纵向的结构信息,容易导致器官的误判。使用三维的用于器官自动分割的CNN网络也会因为图形处理器(GPU)内存的限制,无法将整个三维CT数据输入网络中进行训练,出现同样的问题。例如将股骨位置预测为肱骨,一般对CT进行切片处理,即将一个CT数据切分成若干个小CT数据,股骨与肱骨都是连接处的骨头,在切完片后在CT上数据表现相似,而一个切片不能同时完整包含股骨与肱骨,而且预测股骨与肱骨的算法是相互独立的,单一算法也就较难同时学到两者的特征,进而进行区分,因此容易出现误分割。
优化模型预测结果的方案有很多。一种是对预测出来的结果再优化,最常见的是直接取最大的前N个连通域,但是在预测错误的连通域比正确连通域还大的情况时,这种方法往往会反而使结果更差,例如将股骨预测为肱骨的例子,股骨体积大于肱骨,则刚好留下预测错误的连通域。效果不及专利提出的解决方案好。一种是在器官自动勾画的模型结构上就进行区域的限定,比如设计级联的网络结构,第一个简单网络先预测出该器官应该所处的区域的热力图,将热力图与CT影像特征图再输入第二个网络实现器官勾画,通过这种方式避免模型预测到错误的组织结构。然而这种方式需要重新训练模型,并且不能推广到已有的自动勾画模块中。实用性较差。
发明内容
本发明实施例提供一种器官勾画方法及装置,解决现有技术在勾画器官时存在的器官误判问题。
本发明实施例提供了一种器官勾画方法,所述方法包括:利用已训练的目标检测神经网络,对患者CT影像的冠状面图像进行目标检测,检测出与CT影像中的人体部位有关的检测框信息;根据所述检测框信息,对器官自动勾画模型对所述CT影像进行自动勾画得到的自动勾画结果进行删减,得到预测勾画结果。
优选地,所述已训练的目标检测神经网络通过以下步骤得到:获取目标检测神经网络的训练数据,所述训练数据包括冠状面图像样本及对应的检测框真实信息;利用所述目标检测神经网络对所述冠状面图像样本进行处理,得到检测框预测信息;根据所述检测框真实信息和预测信息,不断调整所述目标检测神经网络的参数,直至达到预定的调整次数或所述目标检测神经网络的损失值收敛,将调整后的目标检测神经网络作为所述已训练的目标检测神经网络。
优选地,所述获取目标检测神经网络的训练数据包括:根据器官自动勾画模型的历史错误勾画结果,确定需要在冠状面图像中检测的人体部位;将历史CT影像转换为冠状面图像样本;对所述冠状面图像样本进行打标,得到与需要检测的人体部位有关的检测框真实信息。
优选地,所述将历史CT影像转换为冠状面图像样本包括:将所述历史CT影像中(x,z)坐标的所有Y轴像素点中最大的像素点值作为冠状面图像中相同(x,z)坐标的像素点值;根据所述历史CT影像对应的患者的身体标签的数据,对冠状面图像中相同(x,z)坐标的像素点值进行调整;将调整后的冠状面图像进行重采样,得到重采样后的冠状面图像作为冠状面图像样本。
优选地,所述检测框信息包括检测框位置和所述人体部位的目标类别,所述根据所述检测框信息,对器官自动勾画模型对所述患者CT影像进行自动勾画得到的自动勾画结果进行删减,得到预测勾画结果包括:确定所述自动勾画结果中的连通域及连通域体积;根据所述检测框位置和所述目标类别,删除与检测框中心点的Z轴距离不符合要求的连通域;在剩余的与检测框中心点的Z轴距离符合要求的连通域中,选取连通域体积最大的所述目标类别对应的预设连通域数目的连通域。
优选地,所述方法还包括:在根据所述检测框位置和所述目标类别,删除与检测框中心点的Z轴距离不符合要求的连通域前,删除连通域体积不符合要求的连通域;其中,所述删除连通域体积不符合要求的连通域包括:按照连通域体积由大至小的顺序,对所述自动勾画结果中的连通域进行排序;删除连通域体积小于所述目标类别对应的预设连通域体积的连通域;按连通域体积由大至小的顺序不断累加剩余连通域的连通域体积,直至得到的连通域累加体积与连通域总体积的比值大于或等于预设比例,删除连通域体积未被累加的连通域。
优选地,所述预设连通域体积通过以下步骤得到:统计手动勾画某一器官得到的该器官的连通域体积和自动勾画该器官得到的该器官的连通域体积,得到该器官的连通域体积的统计样本;若所述统计样本符合正态分布,则根据该器官的连通域体积的均值和标准差,确定所述预设连通域体积,否则将所述预设连通域体积设置为指定值。
优选地,所述检测框位置包括检测框中心点的Z轴坐标和检测框长度,所述根据所述检测框位置和所述目标类别,删除与检测框中心点的Z轴距离不符合要求的连通域包括:确定某一连通域与检测框中心点的Z轴距离;当所述人体部位应出现在检测框中时,若所述距离大于第一预设距离,则删除该连通域;当所述人体部位不应出现在检测框中时,若所述距离小于第二预设距离,则删除该连通域;其中,所述第一预设距离和所述第二预设距离与所述检测框长度有关,且所述第一预设距离小于所述第二预设距离。
优选地,所述预设连通域数目通过以下步骤得到:统计手动勾画某一器官得到的连通域数目和自动勾画该器官得到的该器官的连通域数目,得到该器官的连通域数目的统计样本;若所述统计样本中,连通域数目为医学常识中规定的该器官的连通域数目的样本量大于或等于预设比例,则将医学常识中规定的该器官的连通域数目作为所述预设连通域数目,否则根据对该器官的自动勾画结果中的连通域数目和期望优化效果,确定预设连通域数目。
本发明实施例提供了一种器官勾画装置,所述装置包括:目标检测模块,用于利用已训练的目标检测神经网络,对患者CT影像的冠状面图像进行目标检测,检测出与CT影像中的人体部位有关的检测框信息;勾画模型预测结果后处理模块,用于根据所述检测框信息,对器官自动勾画模型对所述CT影像进行自动勾画得到的自动勾画结果进行删减,得到预测勾画结果。
本发明实施例提供的一种器官勾画方法及装置,用于准确和快速的对器官自动勾画模型预测出的器官自动勾画结果进行删减,去除错误勾画的结果,使自动勾画结果更准确。
附图说明
图1是本发明实施例提供的一种器官勾画方法的流程示意图;
图2a和图2b是本发明实施例提供的冠状面图像中的人体部位示意图;
图3是重采样示意图;
图4是目标检测模型结构示意图;
图5是手动勾画数据的连通域统计分析流程图;
图6是计算连通域的示意图;
图7是分割结果修正流程图。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特有的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
本发明提供一种基于目标检测的多器官勾画(或分割)方法及装置,用于优化已有自动勾画技术的器官自动勾画结果,其根据目标检测模块的目标检测结果,对已有自动勾画技术的器官自动勾画结果进行优化。目标检测是深度学习图像处理领域一个常见的任务,本发明将图像数据(即CT影像的冠状面PNG图片)输入至用于目标检测的CNN神经网络(即二维目标检测网络,或目标检测神经网络),计算输出一个检测框(例如矩形检测框),检测框信息包括该检测框的位置以及该检测框内的图像所表示的类别(即头、肩、上腹、髋骨、股骨)。本发明通过目标检测检测出CT上头、肩、上腹、髋骨、股骨在冠状面上的坐标,并根据该坐标对预测出的勾画结果进行删减,提高预测精度。
图1是本发明实施例提供的一种器官勾画方法的流程示意图,如图1所示,所述方法可以包括:
步骤S101:利用已训练的目标检测神经网络,对患者CT影像的冠状面图像进行目标检测,检测出与CT影像中的人体部位有关的检测框信息。
在执行步骤S101前,需要先对目标检测神经网络进行训练,具体地,获取目标检测神经网络的训练数据,所述训练数据包括冠状面图像样本及对应的检测框真实信息;利用所述目标检测神经网络对所述冠状面图像样本进行处理,得到检测框预测信息;根据所述检测框真实信息和预测信息,不断调整所述目标检测神经网络的参数,直至达到预定的调整次数或所述目标检测神经网络的损失值收敛,将调整后的目标检测神经网络作为所述已训练的目标检测神经网络。其中,所述检测框真实信息包括实际的检测框位置和目标类别,所述检测框预测信息包括预测的检测框位置和目标类别。
为了训练所述目标检测神经网络,需要先获取训练数据,本实施例获取目标检测神经网络的训练数据可以包括:根据器官自动勾画模型的历史错误勾画结果,确定需要在冠状面图像中检测的人体部位;将历史CT影像转换为冠状面图像样本;对所述冠状面图像样本进行打标,得到与需要检测的人体部位有关的检测框真实信息。其中,所述将历史CT影像转换为冠状面图像样本可以包括:将所述历史CT影像中(x,z)坐标的所有Y轴像素点中最大的像素点值作为冠状面图像中相同(x,z)坐标的像素点值。所述将历史CT影像转换为冠状面图像还可以包括:根据所述历史CT影像对应的患者的身体标签的数据,对冠状面图像中相同(x,z)坐标的像素点值进行调整,将调整后的冠状面图像进行重采样,得到重采样后的冠状面图像作为冠状面图像样本。
步骤S102:根据所述检测框信息,对器官自动勾画模型对所述CT影像进行自动勾画得到的自动勾画结果进行删减,得到预测勾画结果。
所述检测框信息包括检测框位置和所述人体部位的目标类别。
具体地,所述步骤S102可以包括:确定所述自动勾画结果中的连通域及连通域体积;根据所述检测框位置和所述目标类别,删除与检测框中心点的Z轴距离不符合要求的连通域;在剩余的与检测框中心点的Z轴距离符合要求的连通域中,选取连通域体积最大的所述目标类别对应的预设连通域数目的连通域。其中,所述预设连通域数目可以通过以下步骤得到:统计手动勾画某一器官得到的连通域数目和自动勾画该器官得到的该器官的连通域数目,得到该器官的连通域数目的统计样本;若所述统计样本中,如果连通域数目为医学常识中规定的该器官的连通域数目的样本量大于或等于预设比例,则将医学常识中规定的该器官的连通域数目作为所述预设连通域数目,如果连通域数目为医学常识中规定的该器官的连通域数目的样本量小于预设比例,则根据对该器官的自动勾画结果中的连通域数目和期望优化效果,确定预设连通域数目。
所述检测框位置包括检测框中心点的Z轴坐标和检测框长度,更具体地,所述根据所述检测框位置和所述目标类别,删除与检测框中心点的Z轴距离不符合要求的连通域包括:确定某一连通域与检测框中心点的Z轴距离;当所述人体部位应出现在检测框中时,若所述距离大于第一预设距离,则删除该连通域;当所述人体部位不应出现在检测框中时,若所述距离小于第二预设距离,则删除该连通域;其中,所述第一预设距离和所述第二预设距离与所述检测框长度有关,且所述第一预设距离小于所述第二预设距离。例如所述第一距离等于0.4倍的检测框长度,所述第二距离等于0.6倍的检测框长度。
所述方法还包括:在根据所述检测框位置和所述目标类别,删除与检测框中心点的Z轴距离不符合要求的连通域前,删除连通域体积不符合要求的连通域。具体地,所述删除连通域体积不符合要求的连通域可以包括:按照连通域体积由大至小的顺序,对所述自动勾画结果中的连通域进行排序;删除连通域体积小于所述目标类别对应的预设连通域体积的连通域;按连通域体积由大至小的顺序不断累加剩余连通域的连通域体积,直至得到的连通域累加体积与连通域总体积的比值大于或等于预设比例,删除连通域体积未被累加的连通域。其中,所述预设连通域体积可以通过以下步骤得到:统计手动勾画某一器官得到的该器官的连通域体积和自动勾画该器官得到的该器官的连通域体积,得到该器官的连通域体积的统计样本;若所述统计样本符合正态分布,则根据该器官的连通域体积的均值和标准差,确定所述预设连通域体积,否则将所述预设连通域体积设置为指定值,例如0。
本发明实施例还提供了一种器官勾画装置,所述装置可以包括:
目标检测模块,用于利用已训练的目标检测神经网络,对患者CT影像的冠状面图像进行目标检测,检测出与CT影像中的人体部位有关的检测框信息;
勾画模型预测结果后处理模块,用于根据所述检测框信息,对器官自动勾画模型对所述CT影像进行自动勾画得到的自动勾画结果进行删减,得到预测勾画结果。
所述目标检测模块和所述勾画模型预测结果后处理模块分别用于实现上述步骤S101和步骤S102。
本发明实施例提供的一种器官勾画方法及装置,基于深度学习技术,设计了一种后处理方式,用于准确和快速的对器官自动勾画模型预测出的器官自动勾画结果进行删减,去除错误勾画的结果,使自动勾画结果更准确。
下面结合图2a至图7,对本发明进行详细说明。
一种基于目标检测的多器官勾画(或分割)装置,包括目标检测模块和勾画模型预测结果后处理模块。
一、目标检测模块
1、根据单器官自动勾画模型预测结果中的错误勾画结果,确认目标检测的任务,即确认需要在人体冠状面检测出的部位。
一般地,单器官自动勾画模型训练出来后,会将测试集的CT影像输入模型,并将模型输出与医生勾画的真实值进行对比,从而明显看出错误的勾画结果,并能够分析错误的情况,是预测的散点还是模型认知能力导致部位勾画错误。
例如,单器官自动勾画肱骨的模型理论上应当只勾画出肱骨,但是由于误差,会同时在股骨的位置勾画,这样预测出的结果实际有4个连通域,即2个肱骨与2个股骨的连通域,也就是说,在肱骨位置会出现对应于2个肱骨的2个连通域,在股骨的位置同样会出现被错误预测为肱骨的2个连通域。同样地,单器官自动勾画股骨的模型在自动勾画股骨时,在股骨位置会出现对应于2个股骨的2个连通域,同时在肱骨位置出现被错误预测为股骨的2个连通域。显然,需要删除在错误位置处多勾画出的错误勾画结果。为了优化自动勾画肱骨和股骨的结果,所述目标检测模型需要预测出人体冠状面肩部(shoulder)和股骨(femur)的检测框位置坐标,以检测框采用矩形为例,则需要预测出人体冠状面肩部(shoulder)和股骨(femur)的矩形框位置坐标。其中,采用肩部检测框的原因是,肩部相对于肱骨更容易理解,且肱骨与肩部矩形框的z轴位置高度重合。
本发明中的每个检测框具有一个label,对应一个检测区域,因此可以有多个检测框对应多个检测区域,例如4-6个。需要说明的是,所述多个检测区域在人体冠状面不重叠。一般地,根据z轴将人体冠状面划出互不重叠的矩形框,而矩形框的划分规则是根据实际的单器官自动勾画模型预测失误的情况确定的,矩形框画的过多、过细则需要大量的准确标注数据来使模型能正确学会每个部位位置。矩形框画的过大则可能将正确器官位置和易误认器官位置同时包含进去,失去根据矩形框来限制预测勾画结果的意义。本发明只使用矩形框z方向的坐标位置,因此在标注时,矩形框在x方向贴近皮肤位置,包含整个x方向的人体。所有矩形框在z轴方向上下排列。在确定勾画矩形框的规则中,例如膀胱会在腹部有错误勾画,而膀胱在人体中的位置通常与股骨在z轴方向高度重合,可以通过检测股骨的位置优化膀胱的自动勾画结果。确定股骨位置的检测框坐标时,z轴方向选取股骨头上缘2公分至坐骨下缘2公分的位置作为z轴上下的边界。如果选取的范围过小,因为人体之间的差异性,某些样本的膀胱位置很可能没有包含在股骨的检测框中。如果选取的范围过大,可能将腹部的易误勾画的位置也包含在股骨检测框内,失去利用检测框优化勾画结果的初衷。
本实施例中,在人体中检测5个区域,分别是头部(head)、肩部(shoulder)、上腹(up-abdomen)、髋骨(hip)、股骨(femur)。这样,将每个CT影像的冠状面图像作为一个样本,其上具有头部、肩部、上腹、髋骨、股骨中的至少一个人体部位,如图2a和图2b所示,训练样本集中,所有样本中出现头部、肩部、上腹、髋骨、股骨的数量相同或相近。利用训练样本集,对目标检测模块中的用于目标检测的CNN神经网络进行训练,具体地,在用于目标检测的CNN神经网络中输入CT影像的冠状面图像,输出头部、肩部、上腹、髋骨、股骨中的至少一个人体部位对应的检测框信息,该检测框信息包括检测框位置和目标类别。
2、根据病人的三维CT影像制作冠状面图像(即二维PNG图片)。
病人k的三维CT影像即为三维数组Ik,Ik的尺寸为(X,Y,Z),冠状面二维PNG图片是二维数组Pk,尺寸为(X,Z)。
选取Ik中(x,z)坐标的所有Y轴像素点,将其中最大的像素点值填入Pk的同(x,z)位置,遍历所有x、z填充Pk
为了避免CT影像中床板和其他物体的干扰,以病人k的身体(body)标签的三维数组Bk为依据,将Bk中像素点值为零的坐标对应到Ik中,把Ik同坐标位置的像素点值设为-1024。其中,病人k的body数据相当于三维CT的body勾画结果,与CT同尺寸。body的勾画可以采用阈值法,即将三维CT中像素值大于-300的像素点认为是人体,其他像素点认为是空气,由此得到body的三维数组Bk,也可以使用body勾画模型,预测出body勾画结果,Body勾画结果的准确性有助于提升所述目标检测模块的准确性。
为了剔除不同CT影像扫描层间距(spacing)的影响,将Pk尺寸(X,Z)重采样到尺寸(X,Z*spacingZ/spacingX),并将Pk中像素点值大于400的全修改为400,像素点值小于-160的全修改为-160。spacingX和spacingZ分别是所有CT影像在X轴、Z轴的平均层间距。其中,重采样算法为已有算法,CT影像数据一般采用双线性插值法,将图像收缩或者放大后,新图像坐标对应的原图像的坐标不一定是整数,因此需要利用原图像坐标附近的4个整数坐标确定新坐标的像素值。如图3所示,Q12,Q22,Q11,Q21点的像素值已知,需要求P点的像素值。此时,先在x方向进行线性插值,得到:
Figure BDA0002837593710000061
Figure BDA0002837593710000062
其中,函数f(Q)表示Q点位置的函数值;
再在y方向进行线性插值,得到:
Figure BDA0002837593710000071
这样就可以算出P位置的像素值,完成图像的重采样。
后续步骤采用重采样后的尺寸为(X,Z*spacingZ/spacingX)的冠状面二维PNG图片。
3、对病人冠状面二维PNG图片进行打标,得到各个部位的检测框的坐标,制作目标检测训练集。
具体地,根据需要检测的5个区域,头部(head)、肩部(shoulder)、上腹(up-abdomen)、髋骨(hip)、股骨(femur)的定义,在冠状面二维PNG图片上确定包含各个部位的最小矩形框,用矩形框的中心点坐标(Xcj,Zcj)和矩形框的长宽(Hrj,Wrj)代表该矩形框j的位置,Cj表示该矩形框j的所属区域。Cj∈[头部(head)、肩部(shoulder)、上腹(up-abdomen)、髋骨(hip)、股骨(femur)]。其中Xcj,Zcj,Hrj,Wrj均为二维PNG图片尺寸(W,H)的相对位置,值范围为[0,1]。
其中,5个区域的定义由易误勾画的具体情况确定,例如,头部即头皮落空处至下颌骨下缘2公分,肩部即锁骨肩峰端上2公分至肱骨头肩胛骨下缘2公分,上腹即第12胸椎上缘至第五腰椎下缘,髋骨即整个髋骨,股骨即股骨头上缘2公分至坐骨下缘2公分。这样,就可以制作目标检测训练集,该训练集包括病人冠状面二维PNG图片和对应图片上所有标注好的真实值Xc,Zc,Wr,Hr,C,所述Xcj,Zcj,Hrj,Wrj表示单个检测框j的中心点坐标和长宽,所述Xc,Zc,Hr,Wr指代所有检测框的中心点坐标和长宽。
其中,由于神经网络中激活函数的限制,输出的数值在[0,1]会使模型易收敛与训练,因此本实施例将冠状面二维PNG图片看作1x1的正方形,左上角坐标为(0,0),检测框中心点坐标和长宽数值均缩放到[0,1]之间。
4、将病人冠状面二维PNG图片输入用于目标检测的CNN网络,例如yolo模型,经过卷积层、激活层、池化层的计算得出预测的检测框坐标和其所属区域,计算预测值与真实值的损失值,通过后向传播算法迭代优化CNN网络卷积层、激活层、池化层的参数,增加CNN模型的预测准确率。以如图4所示的yolov3模型结构为例,输入为416x416x3的二维冠状面PNG图片,输出有3个,分别针对不同尺寸的感受野,包括13x13,26x26,52x52这三种尺寸,其中每一个1x1的网格都会输出3个以该网格为中心的不同尺寸的检测框,这些尺寸由训练数据检测框聚类算出,是先验知识。每一个检测框输出三种数据,检测框坐标(x,y,w,h),置信度,所有类别的可能性。开源coco数据集的类别为80,一共输出3x(4+1+80)=255个数值,所以网络的3层输出为13x13x255,26x26x255,52x52x255。
其中,计算损失值的公式如下:
L=Lcoord+Liou+Lclass
Figure BDA0002837593710000072
Figure BDA0002837593710000073
Figure BDA0002837593710000081
其中,Lcoord是位置相关误差,计算了每一个网格单元(i=0,...,S2)的每一个检测框预测值(j=0,...,B)的误差总和,λcoord用来调整坐标位置误差与分类误差的权重。x,z,w,h为网络预测的目标检测框(bounding box)的位置坐标。如果网格单元i存在目标,则i的所有检测框j的预测值都有效,
Figure BDA0002837593710000082
为1;反之网格单元i中不存在目标,
Figure BDA0002837593710000083
为0。参数带有^的表示从训练数据得到的真实值。
其中,以13x13为例,将二维PNG图片划分成13x13的网格,以每个网格为中心画116x90,156x198,373x326的3个矩形检测框,再对每个矩形框预测目标位置坐标xywh,置信度,所有类别的可能性。所以基于图4,实际总共有(52x52+26x26+13x13)x3=10647个检测框。
其中,Liou是检测框的置信度损失,Ci是置信度得分,
Figure BDA0002837593710000084
是预测检测框与训练集中的事实目标框的交叉部分,即交并比(Intersection over Union,以下简称为IOU)值,计算公式为:
Figure BDA0002837593710000085
A为预测的检测框,B为训练集里的事实目标框。网格单元i中不存在目标,
Figure BDA0002837593710000086
为1;反之为0。当没有检测到目标时,有最低置信度预测惩罚λnoobj
其中,Lclass是预测类别损失,pi(c)是存在目标的网格i被预测所属类别为c的概率。
Figure BDA0002837593710000087
是真实值,若网格单元i属于类别c则该值等于1,反之为0。
需要说明的是,一般采用两种方式停止迭代,一种是设定固定的迭代次数n,迭代n次后停止迭代。另一种是在损失值在几次迭代后没有明显减少时停止迭代。
5、将需预测的病人i的冠状面二维PNG图片输入训练好的目标检测网络,得到一系列(cj,xj,zj,wj,hj),将此数据和病人i的预测勾画结果输入勾画模型预测结果后处理模块即可得到优化后的预测勾画结果。
二、勾画模型预测结果后处理模块
1、根据一般人的人体解剖学常识和所述目标检测模块在人体冠状面的5个目标区域,任一器官在人体中的分布可分为两种情况,该器官只可能出现在某些区域中,或者该器官绝不可能出现在某些区域中。例如眼球只会出现在头部(head)中,肺不可能出现在上腹(up-abdomen)、髋骨(hip)和股骨(femur)中。
2、分析医生手动勾画器官的结果以及自动勾画器官的结果的统计值。
以器官j为例,统计医生手工勾画数据和自动勾画数据的连通域个数和连通域体积分布,以此作为判断预测出的连通域是否符合真实情况的依据。一般,按照医学影像解剖学上为器官j指定的连通域数量N作为预测结果中应该存在的连通域个数(即所述预设连通域数目),但是若统计医生手工勾画数据和自动勾画数据的连通域个数中并非预设比例的(例如90%,95%,根据样本的特性以及勾画结果的统计结果等,选取可行比例即可)的样本都符合N值,则该批数据的勾画规范与常规不符,此时根据对该器官的自动勾画结果中的实际连通域个数与该器官勾画方法的期望优化效果,指定该器官的连通域数目作为所述预设连通域数目,如图5所示。
统计器官j所有连通域的体积,样本的均值为μ,标准差为σ,如果样本符合正态分布,则器官j的连通域的最小体积(即预设连通域体积)应该不小于(μ-3σ),否则将所述预设连通域体积设置为指定值,例如0,如图5所示。
3、病人CT三维影像数据Ii输入已训练好的器官j勾画模型,得到该器官的勾画结果Pij
4、将Ii输入目标检测模块,得到检测结果Xc,Zc,Wr,Hr,C。
5、在检测结果中,若器官j应出现在类别为a的部位框中,则器官j的连通域在z轴上离Zca的最小距离需不超过0.4*Hra;若器官j不应出现在类别为a的部位框中,则不可能出现器官j的连通域在z轴上离Zca的最大距离小于0.6Hra。也就是说,根据器官j是否应出现在a检测框中,确定使用哪种距离判定方法。
6、在勾画结果Pij上计算并得到Pij的连通域图Connij,尺寸与Ii一致,计算连通域的如下所示,为显示方便,示例均用二维表示,三维可以此类推。
根据Connij可得到该Pij的连通域个数M,每一个连通域的体积voxelijm,其中voxelijm是连通域m的物理体积。
M=Connij中的最大数值,因为默认0值指代的连通域的背景,
voxelijm=连通域m的像素点个数*spacingX*spacingY*spacingZ,
其中spacingX,spacingY,spacingZ分别是病人三维CT影像的三维像素坐标轴方向的层间距。
7、将Connij中连通域按体积从大到小排列为集合[Con],且之后的连通域均以此顺序计算处理。若对于器官j,由步骤2分析出的连通域体积符合正态分布,将[Con]里体积小于(μij-3σij)的连通域删掉。否则,m∈[0,M-1],从第0个voxelij1累计加和至和值
Figure BDA0002837593710000091
在连通域总值
Figure BDA0002837593710000092
的占比达到固定阈值λ,如下公式所示,则剩下的连通域视之为散点,在Pij中将其对应位置的像素值设定为0。其中阈值的确定与模型表现和器官有关,例如对于胃等大体积器官,阈值设定为90%即可;对于眼球等小器官,可设置为95%。重新计算Pij的连通域个数M,得到新集合[Con]。
Figure BDA0002837593710000093
8、对M个连通域中的任一连通域经过步骤5筛选,删去不符合条件的连通域,重新计算Pij的连通域个数M,得到新集合[Con]。如图7所示,筛选过程如下:
(1)计算连通域m在Connij中z轴方向上分布的范围可以得到Mimz(Connijm),Maxz(Connijm)。
Connijm即将Connij中像素点值为m的设为1,其他设为0。Connijm中所有z轴坐标为zq的像素点中的最大像素点值即为该zq坐标的值,此方法可以将三维Connijm转为z轴方向的一维数组,数组的序号即为z轴的坐标。Mimz(Connijm),Maxz(Connijm)即为z轴方向的一维数组中值为1的最小序号与最大序号。
(2)区域a的中心点在z轴的坐标为Zca。区域a在z轴的长度为Hra
(3)对于器官j应出现在区域a中,连通域m需满足如下公式:
min(|Mimz(Connijm)-Zca|,|Maxz(Connijm)-Zca|)≤0.4*Hra
(4)对于器官j不应出现在区域a中,连通域m需满足如下公式:
max(|Mimz(Connijm)-Zca|,|Maxz(Connijm)-Zca|)≥0.6*Hra
(5)对于不满足上述3、4条件的连通域m,从集合[Con]里删除,组合成新的体积从大到小排列的[Con]和连通域个数M。
本实施例通过上述(3)(4),去除散点,去除误识别的勾画连通域,从剩下的连通域中选取体积最大的N个连通域作为最终结果。
需要说明的是,本实施例的M值是动态值,M是连通域集合[Con]里连通域的个数,每次筛选后都会从[Con]里删除不符合条件的连通域,[Con]集合变小,M值也会变小。
9、按照步骤2中确定的连通域数量N。选取[Con]的前N个连通域作为最终优化后的Pij。根据以上步骤,可以删除预测时由于组织结构相似、器官边界模糊或者模型泛化能力不够导致预测结果中出现的错误勾画结果或者散点。
本发明实施例还可以提供一种器官勾画设备,该设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序,其中,所述程序被所述处理器执行时实现前述的器官勾画方法的步骤。
本发明实施例还可以提供一种存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现前述的器官勾画方法的步骤。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、装置中的功能模块可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
以上参照附图说明了本发明的优选实施例,并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质内所作的任何修改、等同替换和改进,均应在本发明的权利范围之内。

Claims (10)

1.一种器官勾画方法,其特征在于,所述方法包括:
利用已训练的目标检测神经网络,对患者CT影像的冠状面图像进行目标检测,检测出与CT影像中的人体部位有关的检测框信息;
根据所述检测框信息,对器官自动勾画模型对所述CT影像进行自动勾画得到的自动勾画结果进行删减,得到预测勾画结果。
2.根据权利要求1所述的方法,其特征在于,所述已训练的目标检测神经网络通过以下步骤得到:
获取目标检测神经网络的训练数据,所述训练数据包括冠状面图像样本及对应的检测框真实信息;
利用所述目标检测神经网络对所述冠状面图像样本进行处理,得到检测框预测信息;
根据所述检测框真实信息和预测信息,不断调整所述目标检测神经网络的参数,直至达到预定的调整次数或所述目标检测神经网络的损失值收敛,将调整后的目标检测神经网络作为所述已训练的目标检测神经网络。
3.根据权利要求2所述的方法,其特征在于,所述获取目标检测神经网络的训练数据包括:
根据器官自动勾画模型的历史错误勾画结果,确定需要在冠状面图像中检测的人体部位;
将历史CT影像转换为冠状面图像样本;
对所述冠状面图像样本进行打标,得到与需要检测的人体部位有关的检测框真实信息。
4.根据权利要求3所述的方法,其特征在于,所述将历史CT影像转换为冠状面图像样本包括:
将所述历史CT影像中(x,z)坐标的所有Y轴像素点中最大的像素点值作为冠状面图像中相同(x,z)坐标的像素点值;
根据所述历史CT影像对应的患者的身体标签的数据,对冠状面图像中相同(x,z)坐标的像素点值进行调整;
将调整后的冠状面图像进行重采样,得到重采样后的冠状面图像作为冠状面图像样本。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述检测框信息包括检测框位置和所述人体部位的目标类别,所述根据所述检测框信息,对器官自动勾画模型对所述患者CT影像进行自动勾画得到的自动勾画结果进行删减,得到预测勾画结果包括:
确定所述自动勾画结果中的连通域及连通域体积;
根据所述检测框位置和所述目标类别,删除与检测框中心点的Z轴距离不符合要求的连通域;
在剩余的与检测框中心点的Z轴距离符合要求的连通域中,选取连通域体积最大的所述目标类别对应的预设连通域数目的连通域。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在根据所述检测框位置和所述目标类别,删除与检测框中心点的Z轴距离不符合要求的连通域前,删除连通域体积不符合要求的连通域;
所述删除连通域体积不符合要求的连通域包括:
按照连通域体积由大至小的顺序,对所述自动勾画结果中的连通域进行排序;
删除连通域体积小于所述目标类别对应的预设连通域体积的连通域;
按连通域体积由大至小的顺序不断累加剩余连通域的连通域体积,直至得到的连通域累加体积与连通域总体积的比值大于或等于预设比例,删除连通域体积未被累加的连通域。
7.根据权利要求6所述的方法,其特征在于,所述预设连通域体积通过以下步骤得到:
统计手动勾画某一器官得到的该器官的连通域体积和自动勾画该器官得到的该器官的连通域体积,得到该器官的连通域体积的统计样本;
若所述统计样本符合正态分布,则根据该器官的连通域体积的均值和标准差,确定所述预设连通域体积,否则将所述预设连通域体积设置为指定值。
8.根据权利要求5所述的方法,其特征在于,所述检测框位置包括检测框中心点的Z轴坐标和检测框长度,所述根据所述检测框位置和所述目标类别,删除与检测框中心点的Z轴距离不符合要求的连通域包括:
确定某一连通域与检测框中心点的Z轴距离;
当所述人体部位应出现在检测框中时,若所述距离大于第一预设距离,则删除该连通域;
当所述人体部位不应出现在检测框中时,若所述距离小于第二预设距离,则删除该连通域;
其中,所述第一预设距离和所述第二预设距离与所述检测框长度有关,且所述第一预设距离小于所述第二预设距离。
9.根据权利要求5所述的方法,其特征在于,所述预设连通域数目通过以下步骤得到:
统计手动勾画某一器官得到的连通域数目和自动勾画该器官得到的该器官的连通域数目,得到该器官的连通域数目的统计样本;
若所述统计样本中,连通域数目为医学常识中规定的该器官的连通域数目的样本量大于或等于预设比例,则将医学常识中规定的该器官的连通域数目作为所述预设连通域数目,否则根据对该器官的自动勾画结果中的连通域数目和期望优化效果,确定预设连通域数目。
10.一种器官勾画装置,其特征在于,所述装置包括:
目标检测模块,用于利用已训练的目标检测神经网络,对患者CT影像的冠状面图像进行目标检测,检测出与CT影像中的人体部位有关的检测框信息;
勾画模型预测结果后处理模块,用于根据所述检测框信息,对器官自动勾画模型对所述CT影像进行自动勾画得到的自动勾画结果进行删减,得到预测勾画结果。
CN202011477271.8A 2020-12-15 2020-12-15 一种器官勾画方法及装置 Pending CN112466441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011477271.8A CN112466441A (zh) 2020-12-15 2020-12-15 一种器官勾画方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011477271.8A CN112466441A (zh) 2020-12-15 2020-12-15 一种器官勾画方法及装置

Publications (1)

Publication Number Publication Date
CN112466441A true CN112466441A (zh) 2021-03-09

Family

ID=74802884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011477271.8A Pending CN112466441A (zh) 2020-12-15 2020-12-15 一种器官勾画方法及装置

Country Status (1)

Country Link
CN (1) CN112466441A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570625A (zh) * 2021-08-27 2021-10-29 上海联影医疗科技股份有限公司 图像分割方法、图像分割模型及其训练方法
CN114049948A (zh) * 2021-12-21 2022-02-15 山东第一医科大学附属肿瘤医院(山东省肿瘤防治研究院、山东省肿瘤医院) 一种用于放射治疗流程的自动化质控方法、系统及平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180315188A1 (en) * 2017-04-21 2018-11-01 General Electric Company Automated organ risk segmentation machine learning methods and systems
CN110599505A (zh) * 2019-09-17 2019-12-20 上海微创医疗器械(集团)有限公司 一种器官图像分割方法、装置、电子设备和存储介质
CN110827961A (zh) * 2018-08-10 2020-02-21 北京连心医疗科技有限公司 一种自适应放疗结构自动勾画方法、设备和存储介质
CN111862022A (zh) * 2020-07-13 2020-10-30 中山大学 全身多部位放射治疗危及器官自动勾画方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180315188A1 (en) * 2017-04-21 2018-11-01 General Electric Company Automated organ risk segmentation machine learning methods and systems
CN110827961A (zh) * 2018-08-10 2020-02-21 北京连心医疗科技有限公司 一种自适应放疗结构自动勾画方法、设备和存储介质
CN110599505A (zh) * 2019-09-17 2019-12-20 上海微创医疗器械(集团)有限公司 一种器官图像分割方法、装置、电子设备和存储介质
CN111862022A (zh) * 2020-07-13 2020-10-30 中山大学 全身多部位放射治疗危及器官自动勾画方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田娟秀等: "基于3D深度残差全卷积网络的头颈CT 放疗危及器官自动勾画", 中国生物医学工程学报, vol. 38, no. 3, pages 257 - 265 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570625A (zh) * 2021-08-27 2021-10-29 上海联影医疗科技股份有限公司 图像分割方法、图像分割模型及其训练方法
CN114049948A (zh) * 2021-12-21 2022-02-15 山东第一医科大学附属肿瘤医院(山东省肿瘤防治研究院、山东省肿瘤医院) 一种用于放射治疗流程的自动化质控方法、系统及平台
CN114049948B (zh) * 2021-12-21 2022-07-08 山东第一医科大学附属肿瘤医院(山东省肿瘤防治研究院、山东省肿瘤医院) 一种用于放射治疗流程的自动化质控方法、系统及平台

Similar Documents

Publication Publication Date Title
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
Mattes et al. Nonrigid multimodality image registration
CN106600609B (zh) 一种医学图像中脊柱的分割方法及系统
US8150132B2 (en) Image analysis apparatus, image analysis method, and computer-readable recording medium storing image analysis program
WO2019020048A1 (zh) 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统
CN111798462A (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN112885453A (zh) 用于标识后续医学图像中的病理变化的方法和系统
WO2004013811A2 (en) Image segmentation using jensen-shannon divergence and jensen-renyi divergence
CN104346799B (zh) 一种ct图像中脊髓的提取方法
CN103514597A (zh) 图像处理装置
CN112037200A (zh) 一种医学影像中解剖特征自动识别与模型重建方法
CN106462974B (zh) 用于分割图像的参数优化
CN112466441A (zh) 一种器官勾画方法及装置
Cuadros Linares et al. Mandible and skull segmentation in cone beam computed tomography using super-voxels and graph clustering
WO2023186133A1 (zh) 一种用于穿刺路径规划的系统及方法
US20060062457A1 (en) Image segmentation using isoperimetric trees
EP4003146A1 (en) Systems and methods for determining a fluid and tissue volume estimations using electrical property tomography
CN110678934A (zh) 医学图像中的病变的定量方面
CN116797612B (zh) 基于弱监督深度活动轮廓模型的超声图像分割方法及装置
US20080285822A1 (en) Automated Stool Removal Method For Medical Imaging
Stough et al. Regional appearance in deformable model segmentation
CN115762724A (zh) 医学图像的靶区自动勾画方法、装置和系统
CN114549553A (zh) 角度测量方法、装置、计算机设备及可读存储介质
CN114358388A (zh) 一种椎弓根螺钉置入手术路径规划方法、装置及设备
CN110322491A (zh) 一种可变形小鼠全身图谱与小鼠影像配准的算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination