CN111161848A - Ct图像的病灶标注方法及装置、存储介质 - Google Patents

Ct图像的病灶标注方法及装置、存储介质 Download PDF

Info

Publication number
CN111161848A
CN111161848A CN201910638479.4A CN201910638479A CN111161848A CN 111161848 A CN111161848 A CN 111161848A CN 201910638479 A CN201910638479 A CN 201910638479A CN 111161848 A CN111161848 A CN 111161848A
Authority
CN
China
Prior art keywords
image
label
pseudo
target
labels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910638479.4A
Other languages
English (en)
Other versions
CN111161848B (zh
Inventor
张树
卢光明
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN201910638479.4A priority Critical patent/CN111161848B/zh
Publication of CN111161848A publication Critical patent/CN111161848A/zh
Application granted granted Critical
Publication of CN111161848B publication Critical patent/CN111161848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种CT图像的病灶标注方法。该方法包括：获取病灶检测模型；将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测；按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合；将所述目标标签集合及其对应的CT图像加入训练集中。本申请解决了由于无法在已标注CT图像中确定漏标，且无法以半监督的方法在大量未标注的CT图像上确定标签，造成的深度学习算法性能会受到限制的技术问题。

Description

CT图像的病灶标注方法及装置、存储介质
技术领域
本申请涉及病灶检测领域，具体而言，涉及一种CT图像的病灶标注方法及装置、存储介质。
背景技术
随着医学影像学设备的快速发展和普及，计算机断层扫描(CT)成为医疗机构开展疾病诊断不可或缺的设备。
CT的工作程序如下：它根据人体不同组织对X线的吸收与透过率的不同，应用灵敏度极高的仪器对人体进行测量，然后将测量所获取的数据输入电子计算机，电子计算机对数据进行处理后，就可摄下人体被检查部位的断面或立体的图像，发现体内任何部位的细小病变。
由于医院每天产生大量的CT图像，而医生阅读病人的CT图像是非常耗时的。因此人们希望借助计算机技术自动检测CT图像上的疾病，辅助医生进行诊断，从而提高医生的工作效率。
传统CT图像病变检测方法主要包括三个部分:区域选择、特征提取、分类器进行识别。其存在的两个主要问题为：基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余；二是手工设计的特征对于多样性的变化并没有很好的鲁棒性。
进入深度学习时代以来，人们开发出基于深度学习检测算法用于检测 CT图像上的病变。例如KeYan等人直接使用Faster R-CNN网络架构进行病灶检测。
深度学习算法性能的提升需要有大量的训练数据。对于医学CT图像，由于标注成本昂贵的原因，导致已标注CT图像比较少，未标注CT图像比较多。已标注的CT图像中也存在漏标的病变。因此深度学习算法的性能会受到限制。
针对相关技术中无法在已标注CT图像中确定漏标，且无法以半监督的方法在大量未标注的CT图像上确定标签，造成的深度学习算法性能会受到限制的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种CT图像的病灶标注方法及装置、存储介质，以解决无法在已标注CT图像中确定漏标，且无法以半监督的方法在大量未标注的CT图像上确定标签，造成的深度学习算法性能会受到限制的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种CT图像的病灶标注方法。
根据本申请的CT图像的病灶标注方法包括：获取病灶检测模型；将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测；按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合；将所述目标标签集合及其对应的CT图像加入训练集中。
进一步的，获取病灶检测模型包括：获取标注的二维CT图像；对所述二维CT图像进行三维处理，得到CT图像；通过所述CT图像训练所述卷积神经网络，得到病灶检测模型。
进一步的，将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测包括：将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型；通过所述病灶检测模型预测所述关键CT图像的病灶，得到第一伪标签；通过所述病灶检测模型预测相邻的两个CT图像的病灶，得到第二伪标签和第三伪标签；将关键CT图像的标注加入目标标签集合。
进一步的，按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合包括：确定预测结果中第一伪标签和第二伪标签，第一伪标签和第三伪标签的预测框间的第一IOU；判断是否至少有一个第一IOU大于预设阈值；如果是，则将所述第一伪标签加入目标标签集合。
进一步的，判断是否至少有一个IOU大于预设阈值之后还包括：如果不是，则确定第二伪标签和第三伪标签的预测框间的第二IOU；判断第二IOU是否大于预设阈值；如果是，则对第二伪标签和第三伪标签执行求平均值操作；将求平均值操作的结果加入目标标签集合。
进一步的，将求平均值操作的结果加入目标标签集合之后还包括：确定加入求平均值操作的结果的目标标签集合中的标签和第二伪标签的预测框间的第三IOU；判断第三IOU是否大于预设阈值；如果是，则将所述第二伪标签加入目标标签集合。
进一步的，将求平均值操作的结果加入目标标签集合之后还包括：确定加入求平均值操作的结果的目标标签集合中的标签和第三伪标签的预测框间的第四IOU；判断第四IOU是否大于预设阈值；如果是，则将所述第三伪标签加入目标标签集合。
进一步的，按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合之后，将所述目标标签集合及其对应的CT图像加入训练集中之前还包括：比对目标标签集合和原始标签集合；根据比对结果去除目标标签集合中重复的标签。
为了实现上述目的，根据本申请的另一方面，提供了一种CT图像的病灶标注装置。
根据本申请的CT图像的病灶标注装置包括：获取模块，用于获取病灶检测模型；预测模块，用于将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测；筛选模块，用于按照预设筛选规则筛选预测结果中的伪标签，得到目标标签；加入模块，用于将所述目标标签加入训练集中。
进一步的，所述筛选模块包括：确定预测结果中第一伪标签和第二伪标签
为了实现上述目的，根据本申请的一个方面，提供了一种计算机可读存储介质。
根据本申请的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的CT图像的病灶标注方法。
在本申请实施例中，采用预测并筛选的方式，通过获取病灶检测模型；将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测；按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合；将所述目标标签集合及其对应的CT图像加入训练集中；达到了确定漏标标签，采用半监督的方法确定标签并标注到训练集中的目的，从而实现了提升深度学习算法性能的技术效果，进而解决了由于无法在已标注CT图像中确定漏标，且无法以半监督的方法在大量未标注的CT图像上确定标签，造成的深度学习算法性能会受到限制的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请第一实施例的CT图像的病灶标注方法示意图；
图2是根据本申请第二实施例的CT图像的病灶标注方法示意图；
图3是根据本申请第三实施例的CT图像的病灶标注方法示意图；
图4是根据本申请第四实施例的CT图像的病灶标注方法示意图；
图5是根据本申请第五实施例的CT图像的病灶标注方法示意图；
图6是根据本申请第六实施例的CT图像的病灶标注方法示意图；
图7是根据本申请第七实施例的CT图像的病灶标注方法示意图；
图8是根据本申请第八实施例的CT图像的病灶标注方法示意图；
图9是根据本申请第一实施例的CT图像的病灶标注装置示意图；
图10是根据本申请优选实施例的CT图像标注示意图之一；
图11是根据本申请优选实施例的CT图像标注示意图之二。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本发明实施例，提供了一种CT图像的病灶标注方法，如图1所示，该方法包括如下的步骤S100至步骤S106：
步骤S100、获取病灶检测模型；
具体的，如图2所示，获取病灶检测模型包括：
步骤S200、获取标注的二维CT图像；
步骤S202、对所述二维CT图像进行三维处理，得到CT图像；
步骤S204、通过所述CT图像训练所述卷积神经网络，得到病灶检测模型。
为了充分使用CT的三维信息，我们使用类似3DCE[3]中的方法，将9张二维CT图像切片，合成3张3通道的CT图像。对3张图像进行特征提取之后，将3张图像的特征连接起来，用于获取CT图像的3维信息；采用以上方式批量的获取三维信息，即CT图像。
用这些CT图像训练所述卷积神经网络，可以的得到病灶检测模型；优选的，使用Faster R-CNN作为检测框架，为了检测较小尺度的病变，我们使用 Resnet50+FeaturePyramid Network(FPN)结构作为检测的主干卷积神经网络。
需要注意的是，上述病灶检测模型仅为一个示例，本文方法并不局限于该病灶检测模型，任何基于深度学习的病灶检测模型都可以使用本文提出的方法。
步骤S102、将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测；
具体的，如图3所示，将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测包括：
步骤S300、将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型；
步骤S302、通过所述病灶检测模型预测所述关键CT图像的病灶，得到第一伪标签；
步骤S304、通过所述病灶检测模型预测相邻的两个CT图像的病灶，得到第二伪标签和第三伪标签；
步骤S306、将关键CT图像的标注加入目标标签集合。
使用病灶检测模型θ对已标注CT图像
Figure BDA0002130604510000071
(关键CT图像)及该关键CT 图像相邻的CT图像
Figure BDA0002130604510000072
进行预测，获得大量的伪标签。已标注CT图像
Figure BDA0002130604510000073
的预测得出的第一伪标签为
Figure BDA0002130604510000074
相邻层
Figure BDA0002130604510000075
的预测得到的第二伪标签为
Figure BDA0002130604510000076
第三伪标签为
Figure BDA0002130604510000077
通过获得的第一、二、三伪标签，为确定标签是否可靠及加入漏标标签提供来源保障。
本实施例中，完成预测后，将已标注的标签先加入到目标标签集合中，待后续使用。
步骤S104、按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合；
具体的，如图4所示，按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合包括：
步骤S400、确定预测结果中第一伪标签和第二伪标签，第一伪标签和第三伪标签的预测框间的第一IOU；
步骤S402、判断是否至少有一个第一IOU大于预设阈值；
步骤S404、如果是，则将所述第一伪标签加入目标标签集合。
当从已标注CT图像预测结果中筛选可靠的伪标签时，因为相邻CT之间的间隔为2mm，间隔很小，而病灶在物理空间上式连续的，因此病灶在某一层出现的时候，其在相邻层相似位置一般也会出现，我们称这种现象为CT空间连续性。
依照这种CT空间连续性的现象，当从已标注CT图像
Figure BDA0002130604510000081
的预测结果
Figure BDA0002130604510000082
中选取可靠的伪标签时，对于其中的每一个预测框boxbk，如果在相邻层所有预测结果中存在一个box bk的IOU大于某个阈值τ，我们就认为bk是可靠的，将其当作漏标(目标标签)的标注加入训练集中。如果在相邻层的所有预测结果中不存在一个boxbk的IOU大于某个阈值τ，那么bk是不可靠的，不将其加入到目标标签集合中。
从而能够在伪标签中确定可靠的标签作为目标标签，进而能够为进一步训练卷积神经网络，提升该网络的预测精确度提高保障。
本实施例中，如图10所示，a,b,c,d,e,f为数据扩充已标注CT图像， a中左边为提出的算法补充的漏标的病变的框，右边为数据库中原有的标注；b中下边为提出的算法补充的漏标的病变的框，上边为数据库中原有的标注；c中上边为提出的算法补充的漏标的病变的框，下边为数据库中原有的标注；d中下边为提出的算法补充的漏标的病变的框，上边为数据库中原有的标注；e中左下边为提出的算法补充的漏标的病变的框，右上边为数据库中原有的标注；f中左下边为提出的算法补充的漏标的病变的框，右上边为数据库中原有的标注。
优选的，如图5所示，判断是否至少有一个IOU大于预设阈值之后还包括：
步骤S500、如果不是，则确定第二伪标签和第三伪标签的预测框间的第二IOU；
步骤S502、判断第二IOU是否大于预设阈值；
步骤S504、如果是，则对第二伪标签和第三伪标签执行求平均值操作；
步骤S506、将求平均值操作的结果加入目标标签集合。
如果在相邻层的所有预测结果中不存在一个boxbk的IOU大于某个阈值τ，即IOU(bk-1，bk)<τ，IOU(bk+1，bk)<τ，并且
Figure BDA0002130604510000091
CT图像的预测结果中的一个预测框box bk-1，与
Figure BDA0002130604510000092
CT图像的预测结果中的一个box bk+1两者之间的IOU(bk-1，bk+1)>τ，则认为
Figure BDA0002130604510000093
CT图像在AVG (bk-1，bk+1)(将bk-1，bk+1坐标求均值)存在漏标情况，因此将AVG (bk-1，bk+1)作为目标标签，也加入到目标标签集合中。
从而能够在伪标签中确定漏标的标签作为目标标签，进而能够为进一步训练卷积神经网络，提升该网络的预测精确度提高保障。
优选的，如图6所示，将求平均值操作的结果加入目标标签集合之后还包括：
步骤S600、确定加入求平均值操作的结果的目标标签集合中的标签和第二伪标签的预测框间的第三IOU；
步骤S602、判断第三IOU是否大于预设阈值；
步骤S604、如果是，则将所述第二伪标签加入目标标签集合。
得到的目标标签集合可以标注为
Figure BDA0002130604510000101
从相邻层的CT图像检测结果Bi中筛选可靠的伪标签时，对于Bi中的每一个预测框bij，只有当相邻的关键CT图像存在一个标注gik与bij(第二伪标签)的第三IOU大于特定阈值时，我们认为bij是可靠的伪标签，否则bij是不可靠的，最后将可靠的伪标签与其对应的图片加入到训练集中，可得到扩充后的数据集。
在本实施例中，如图11所示，行(1)和行(2)代表着数据库中相邻的3张CT图像。S列为补充漏标后的已标注CT图像，S列中右边的框为数据集中原有标注，左边的框为补充的病变标注。S-1，S+1列中的CT图像代表着数据库中为未标注CT图像，CT图像中的框为切片级标签传播算法生成的病变标注。
优选的，如图7所示，将求平均值操作的结果加入目标标签集合之后还包括：
步骤S700、确定加入求平均值操作的结果的目标标签集合中的标签和第三伪标签的预测框间的第四IOU；
步骤S702、判断第四IOU是否大于预设阈值；
步骤S704、如果是，则将所述第三伪标签加入目标标签集合。
得到的目标标签集合可以标注为
Figure BDA0002130604510000102
从相邻层的CT图像检测结果Bi中筛选可靠的伪标签时，对于Bi中的每一个预测框bij，只有当相邻的关键CT图像存在一个标注gik与bij(第三伪标签)的第四IOU大于特定阈值时，我们认为bij是可靠的伪标签，否则bij是不可靠的，最后将可靠的伪标签与其对应的图片加入到训练集中，可得到扩充后的数据集。
在本实施例中，如图11所示，行(1)和行(2)代表着数据库中相邻的 3张CT图像。S列为补充漏标后的已标注CT图像，S列中右边的框为数据集中原有标注，左边的框为补充的病变标注。S-1，S+1列中的CT图像代表着数据库中为未标注CT图像，CT图像中的框为切片级标签传播算法生成的病变标注。
优选的，如图8所示，按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合之后，将所述目标标签集合及其对应的CT图像加入训练集中之前还包括：
步骤S800、比对目标标签集合和原始标签集合；
步骤S802、根据比对结果去除目标标签集合中重复的标签。
因为预测出的结果有一部分与原始标注存在重合，在最后一步，我们将保留的标注与原始的标注去重，将去重后的标注作为已标注CT图像的漏标的病变标注。在本实施例中，采用比对的方式确定是否重合，然后去重。
步骤S106、将所述目标标签集合及其对应的CT图像加入训练集中。
通过以上方法能够确定目标标签集合，并且将该目标标签集合中的标签标注到CT图像，并一同加入到训练集中，然后可以再次使用这些加入目标标签的CT图像对卷积神经网络进一步训练，得到预测精度更高的第一病变检测模型。
在一些实施例中，采用本发明的方法，再次对第一病变模型进行漏标确定并加入，进一步提升病变检测模型检测精确性。
从以上的描述中，可以看出，本发明实现了如下技术效果：
在本申请实施例中，采用预测并筛选的方式，通过获取病灶检测模型；将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测；按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合；将所述目标标签集合及其对应的CT图像加入训练集中；达到了确定漏标标签，采用半监督的方法确定标签并标注到训练集中的目的，从而实现了提升深度学习算法性能的技术效果，进而解决了由于无法在已标注CT图像中确定漏标，且无法以半监督的方法在大量未标注的CT图像上确定标签，造成的深度学习算法性能会受到限制的技术问题。
在一些实施例中，采用NIH DeepLesion[1]数据库上验证我们提出的方法。DeepLesion是一个大规模CT图像数据库，包含32120张人体各个部位的CT 扫描，32735个病变标注。每个病人的CT中只有关键的CT层有标注，因此有大量的未标注CT图像。已标注的CT图像中只有关键的病灶有标注，因此存在漏标的病灶。
在测试集上评测本发明中提出的方法,如表格1所示，我们提出方法的效果优于当前最佳方法。
表格1在不同误检率下的敏感度(％)
FPs per image 0.5 1 2 4 8
ULDOR[2] 52.86 64.80 74.84 84.38 87.17
3DCE,9 slices[3] 59.32 70.68 79.09 84.34 87.81
Data Distillation[4] 61.05 72.54 81.58 87.58 91.65
Ours,9 slices 66.02 76.87 84.61 89.15 92.00
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例，还提供了一种用于实施上述CT图像的病灶标注方法的装置，如图9所示，该装置包括：
获取模块10，用于获取病灶检测模型；
具体的，获取病灶检测模型包括：
获取标注的二维CT图像；
对所述二维CT图像进行三维处理，得到CT图像；
通过所述CT图像训练所述卷积神经网络，得到病灶检测模型。
为了充分使用CT的三维信息，我们使用类似3DCE[3]中的方法，将9张二维CT图像切片，合成3张3通道的CT图像。对3张图像进行特征提取之后，将3张图像的特征连接起来，用于获取CT图像的3维信息；采用以上方式批量的获取三维信息，即CT图像。
用这些CT图像训练所述卷积神经网络，可以的得到病灶检测模型；优选的，使用Faster R-CNN作为检测框架，为了检测较小尺度的病变，我们使用 Resnet50+FeaturePyramid Network(FPN)结构作为检测的主干卷积神经网络。
需要注意的是，上述病灶检测模型仅为一个示例，本文方法并不局限于该病灶检测模型，任何基于深度学习的病灶检测模型都可以使用本文提出的方法。
预测模块20，用于将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测；
具体的，将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测包括：
将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型；
通过所述病灶检测模型预测所述关键CT图像的病灶，得到第一伪标签；
通过所述病灶检测模型预测相邻的两个CT图像的病灶，得到第二伪标签和第三伪标签；
将关键CT图像的标注加入目标标签集合。
使用病灶检测模型θ对已标注CT图像
Figure BDA0002130604510000141
(关键CT图像)及该关键CT 图像相邻的CT图像
Figure BDA0002130604510000142
进行预测，获得大量的伪标签。已标注CT图像
Figure BDA0002130604510000143
的预测得出的第一伪标签为
Figure BDA0002130604510000144
相邻层
Figure BDA0002130604510000145
的预测得到的第二伪标签为
Figure BDA0002130604510000146
第三伪标签为
Figure BDA0002130604510000147
通过获得的第一、二、三伪标签，为确定标签是否可靠及加入漏标标签提供来源保障。
本实施例中，完成预测后，将已标注的标签先加入到目标标签集合中，待后续使用。
筛选模块30，用于按照预设筛选规则筛选预测结果中的伪标签，得到目标标签；
具体的，所述筛选模块30包括：
按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合包括：
确定预测结果中第一伪标签和第二伪标签，第一伪标签和第三伪标签的预测框间的第一IOU；
判断是否至少有一个第一IOU大于预设阈值；
如果是，则将所述第一伪标签加入目标标签集合。
当从已标注CT图像预测结果中筛选可靠的伪标签时，因为相邻CT之间的间隔为2mm，间隔很小，而病灶在物理空间上式连续的，因此病灶在某一层出现的时候，其在相邻层相似位置一般也会出现，我们称这种现象为CT空间连续性。
依照这种CT空间连续性的现象，当从已标注CT图像
Figure BDA0002130604510000151
的预测结果
Figure BDA0002130604510000152
中选取可靠的伪标签时，对于其中的每一个预测框boxbk，如果在相邻层所有预测结果中存在一个box bk的IOU大于某个阈值τ，我们就认为bk是可靠的，将其当作漏标(目标标签)的标注加入训练集中。如果在相邻层的所有预测结果中不存在一个boxbk的IOU大于某个阈值τ，那么bk是不可靠的，不将其加入到目标标签集合中。
从而能够在伪标签中确定可靠的标签作为目标标签，进而能够为进一步训练卷积神经网络，提升该网络的预测精确度提高保障。
本实施例中，如图10所示，a,b,c,d,e,f为数据扩充已标注CT图像， a中左边为提出的算法补充的漏标的病变的框，右边为数据库中原有的标注；b中下边为提出的算法补充的漏标的病变的框，上边为数据库中原有的标注；c中上边为提出的算法补充的漏标的病变的框，下边为数据库中原有的标注；d中下边为提出的算法补充的漏标的病变的框，上边为数据库中原有的标注；e中左下边为提出的算法补充的漏标的病变的框，右上边为数据库中原有的标注；f中左下边为提出的算法补充的漏标的病变的框，右上边为数据库中原有的标注。
优选的，判断是否至少有一个IOU大于预设阈值之后还包括：
如果不是，则确定第二伪标签和第三伪标签的预测框间的第二IOU；
判断第二IOU是否大于预设阈值；
如果是，则对第二伪标签和第三伪标签执行求平均值操作；
将求平均值操作的结果加入目标标签集合。
如果在相邻层的所有预测结果中不存在一个boxbk的IOU大于某个阈值τ，即IOU(bk-1，bk)<τ，IOU(bk+1，bk)<τ，并且
Figure BDA0002130604510000161
CT图像的预测结果中的一个预测框box bk-1，与
Figure BDA0002130604510000162
CT图像的预测结果中的一个box bk+1两者之间的IOU(bk-1，bk+1)>τ，则认为
Figure BDA0002130604510000163
CT图像在AVG (bk-1，bk+1)(将bk-1，bk+1坐标求均值)存在漏标情况，因此将AVG (bk-1，bk+1)作为目标标签，也加入到目标标签集合中。
从而能够在伪标签中确定漏标的标签作为目标标签，进而能够为进一步训练卷积神经网络，提升该网络的预测精确度提高保障。
优选的，将求平均值操作的结果加入目标标签集合之后还包括：
确定加入求平均值操作的结果的目标标签集合中的标签和第二伪标签的预测框间的第三IOU；
判断第三IOU是否大于预设阈值；
如果是，则将所述第二伪标签加入目标标签集合。
得到的目标标签集合可以标注为
Figure BDA0002130604510000164
从相邻层的CT图像检测结果Bi中筛选可靠的伪标签时，对于Bi中的每一个预测框bij，只有当相邻的关键CT图像存在一个标注gik与bij(第二伪标签)的第三IOU大于特定阈值时，我们认为bij是可靠的伪标签，否则bij是不可靠的，最后将可靠的伪标签与其对应的图片加入到训练集中，可得到扩充后的数据集。
在本实施例中，如图11所示，行(1)和行(2)代表着数据库中相邻的 3张CT图像。S列为补充漏标后的已标注CT图像，S列中右边的框为数据集中原有标注，左边的框为补充的病变标注。S-1，S+1列中的CT图像代表着数据库中为未标注CT图像，CT图像中的框为切片级标签传播算法生成的病变标注。
优选的，将求平均值操作的结果加入目标标签集合之后还包括：
确定加入求平均值操作的结果的目标标签集合中的标签和第三伪标签的预测框间的第四IOU；
判断第四IOU是否大于预设阈值；
如果是，则将所述第三伪标签加入目标标签集合。
得到的目标标签集合可以标注为
Figure BDA0002130604510000171
从相邻层的CT图像检测结果Bi中筛选可靠的伪标签时，对于Bi中的每一个预测框bij，只有当相邻的关键CT图像存在一个标注gik与bij(第三伪标签)的第四IOU大于特定阈值时，我们认为bij是可靠的伪标签，否则bij是不可靠的，最后将可靠的伪标签与其对应的图片加入到训练集中，可得到扩充后的数据集。
在本实施例中，如图11所示，行(1)和行(2)代表着数据库中相邻的 3张CT图像。S列为补充漏标后的已标注CT图像，S列中右边的框为数据集中原有标注，左边的框为补充的病变标注。S-1，S+1列中的CT图像代表着数据库中为未标注CT图像，CT图像中的框为切片级标签传播算法生成的病变标注。
优选的，按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合之后，将所述目标标签集合及其对应的CT图像加入训练集中之前还包括：
比对目标标签集合和原始标签集合；
根据比对结果去除目标标签集合中重复的标签。
因为预测出的结果有一部分与原始标注存在重合，在最后一步，我们将保留的标注与原始的标注去重，将去重后的标注作为已标注CT图像的漏标的病变标注。在本实施例中，采用比对的方式确定是否重合，然后去重。
加入模块40，用于将所述目标标签集合及其对应的CT图像加入训练集中。
通过以上方法能够确定目标标签集合，并且将该目标标签集合中的标签标注到CT图像，并一同加入到训练集中，然后可以再次使用这些加入目标标签的CT图像对卷积神经网络进一步训练，得到预测精度更高的第一病变检测模型。
在一些实施例中，采用本发明的方法，再次对第一病变模型进行漏标确定并加入，进一步提升病变检测模型检测精确性。
从以上的描述中，可以看出，本发明实现了如下技术效果：
在本申请实施例中，采用预测并筛选的方式，通过获取病灶检测模型；将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测；按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合；将所述目标标签集合及其对应的CT图像加入训练集中；达到了确定漏标标签，采用半监督的方法确定标签并标注到训练集中的目的，从而实现了提升深度学习算法性能的技术效果，进而解决了由于无法在已标注CT图像中确定漏标，且无法以半监督的方法在大量未标注的CT图像上确定标签，造成的深度学习算法性能会受到限制的技术问题。
在一些实施例中，采用NIH DeepLesion[1]数据库上验证我们提出的方法。DeepLesion是一个大规模CT图像数据库，包含32120张人体各个部位的CT 扫描，32735个病变标注。每个病人的CT中只有关键的CT层有标注，因此有大量的未标注CT图像。已标注的CT图像中只有关键的病灶有标注，因此存在漏标的病灶。
在测试集上评测本发明中提出的方法,如表格1所示，我们提出方法的效果优于当前最佳方法。
表格2在不同误检率下的敏感度(％)
Figure BDA0002130604510000181
Figure BDA0002130604510000191
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种CT图像的病灶标注方法，其特征在于，包括：
获取病灶检测模型；
将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测；
按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合；
将所述目标标签集合及其对应的CT图像加入训练集中。
2.根据权利要求1所述的病灶检测方法，其特征在于，获取病灶检测模型包括：
获取标注的二维CT图像；
对所述二维CT图像进行三维处理，得到CT图像；
通过所述CT图像训练所述卷积神经网络，得到病灶检测模型。
3.根据权利要求1所述的病灶标注方法，其特征在于，将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测包括：
将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型；
通过所述病灶检测模型预测所述关键CT图像的病灶，得到第一伪标签；
通过所述病灶检测模型预测相邻的两个CT图像的病灶，得到第二伪标签和第三伪标签；
将关键CT图像的标注加入目标标签集合。
4.根据权利要求3所述的病灶标注方法，其特征上在于，按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合包括：
确定预测结果中第一伪标签和第二伪标签，第一伪标签和第三伪标签的预测框间的第一IOU；
判断是否至少有一个第一IOU大于预设阈值；
如果是，则将所述第一伪标签加入目标标签集合。
5.根据权利要求4所述的病灶标注方法，其特征在于，判断是否至少有一个IOU大于预设阈值之后还包括：
如果不是，则确定第二伪标签和第三伪标签的预测框间的第二IOU；
判断第二IOU是否大于预设阈值；
如果是，则对第二伪标签和第三伪标签执行求平均值操作；
将求平均值操作的结果加入目标标签集合。
6.根据权利要求5所述的病灶标注方法，其特征在于，将求平均值操作的结果加入目标标签集合之后还包括：
确定加入求平均值操作的结果的目标标签集合中的标签和第二伪标签的预测框间的第三IOU；
判断第三IOU是否大于预设阈值；
如果是，则将所述第二伪标签加入目标标签集合。
7.根据权利要求5所述的病灶标注方法，其特征在于，将求平均值操作的结果加入目标标签集合之后还包括：
确定加入求平均值操作的结果的目标标签集合中的标签和第三伪标签的预测框间的第四IOU；
判断第四IOU是否大于预设阈值；
如果是，则将所述第三伪标签加入目标标签集合。
8.根据权利要求1至7中任一项所述的病灶标注方法，其特征在于，按照预设筛选规则筛选预测结果中的伪标签，得到目标标签集合之后，将所述目标标签集合及其对应的CT图像加入训练集中之前还包括：
比对目标标签集合和原始标签集合；
根据比对结果去除目标标签集合中重复的标签。
9.一种CT图像的病灶标注装置，其特征在于，包括：
获取模块，用于获取病灶检测模型；
预测模块，用于将标注的关键CT图像及与其相邻的CT图像输入所述病灶检测模型进行预测；
筛选模块，用于按照预设筛选规则筛选预测结果中的伪标签，得到目标标签；
加入模块，用于将所述目标标签加入训练集中。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的CT图像的病灶标注方法的步骤。
CN201910638479.4A 2019-10-31 2019-10-31 Ct图像的病灶标注方法及装置、存储介质 Active CN111161848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910638479.4A CN111161848B (zh) 2019-10-31 2019-10-31 Ct图像的病灶标注方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910638479.4A CN111161848B (zh) 2019-10-31 2019-10-31 Ct图像的病灶标注方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN111161848A true CN111161848A (zh) 2020-05-15
CN111161848B CN111161848B (zh) 2023-08-29

Family

ID=70555831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910638479.4A Active CN111161848B (zh) 2019-10-31 2019-10-31 Ct图像的病灶标注方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN111161848B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053769A (zh) * 2020-09-30 2020-12-08 沈阳东软智能医疗科技研究院有限公司 一种三维医学影像标注方法、装置及相关产品
CN112215285A (zh) * 2020-10-13 2021-01-12 电子科技大学 一种基于跨媒体特征的眼底图像自动标注方法
CN113268623A (zh) * 2021-06-01 2021-08-17 上海市第一人民医院 一种人工智能化胃镜图像识别处理系统
WO2021239141A1 (zh) * 2020-05-28 2021-12-02 上海联影医疗科技股份有限公司 图像处理的方法及系统
CN114782321A (zh) * 2022-03-24 2022-07-22 北京医准智能科技有限公司 胸部ct影像选择方法、装置、设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133570A (zh) * 2017-04-07 2017-09-05 武汉睿智视讯科技有限公司 一种车辆/行人检测方法及系统
CN107967494A (zh) * 2017-12-20 2018-04-27 华东理工大学 一种基于视觉语义关系图的图像区域标注方法
CN108230339A (zh) * 2018-01-31 2018-06-29 浙江大学 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
CN108416370A (zh) * 2018-02-07 2018-08-17 深圳大学 基于半监督深度学习的图像分类方法、装置和存储介质
CN108416384A (zh) * 2018-03-05 2018-08-17 苏州大学 一种图像标签标注方法、系统、设备及可读存储介质
US20180365824A1 (en) * 2015-12-18 2018-12-20 The Regents Of The University Of California Interpretation and Quantification of Emergency Features on Head Computed Tomography
JP2019046269A (ja) * 2017-09-04 2019-03-22 株式会社Ｓｏａｔ 機械学習用訓練データの生成
CN109543731A (zh) * 2018-11-09 2019-03-29 江南大学 一种自训练框架下的三优选半监督回归算法
CN109583583A (zh) * 2017-09-29 2019-04-05 腾讯科技（深圳）有限公司 神经网络训练方法、装置、计算机设备及可读介质
CN110009623A (zh) * 2019-04-10 2019-07-12 腾讯科技（深圳）有限公司 一种图像识别模型训练及图像识别方法、装置及系统
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180365824A1 (en) * 2015-12-18 2018-12-20 The Regents Of The University Of California Interpretation and Quantification of Emergency Features on Head Computed Tomography
CN107133570A (zh) * 2017-04-07 2017-09-05 武汉睿智视讯科技有限公司 一种车辆/行人检测方法及系统
JP2019046269A (ja) * 2017-09-04 2019-03-22 株式会社Ｓｏａｔ 機械学習用訓練データの生成
CN109583583A (zh) * 2017-09-29 2019-04-05 腾讯科技（深圳）有限公司 神经网络训练方法、装置、计算机设备及可读介质
CN107967494A (zh) * 2017-12-20 2018-04-27 华东理工大学 一种基于视觉语义关系图的图像区域标注方法
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN108230339A (zh) * 2018-01-31 2018-06-29 浙江大学 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
CN108416370A (zh) * 2018-02-07 2018-08-17 深圳大学 基于半监督深度学习的图像分类方法、装置和存储介质
CN108416384A (zh) * 2018-03-05 2018-08-17 苏州大学 一种图像标签标注方法、系统、设备及可读存储介质
CN109543731A (zh) * 2018-11-09 2019-03-29 江南大学 一种自训练框架下的三优选半监督回归算法
CN110009623A (zh) * 2019-04-10 2019-07-12 腾讯科技（深圳）有限公司 一种图像识别模型训练及图像识别方法、装置及系统
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ERIC M. CHRISTIANSEN: "In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images", CELL, vol. 173, no. 3, pages 792 - 803 *
YAN K: "3D context enhanced region-based convolutional neural network for end-to-end lesion detection", pages 511 - 519 *
吴寿昆;郭玉堂;: "基于Voronoi K阶邻近图的半监督学习自动图像标注", no. 12, pages 183 - 187 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021239141A1 (zh) * 2020-05-28 2021-12-02 上海联影医疗科技股份有限公司 图像处理的方法及系统
CN112053769A (zh) * 2020-09-30 2020-12-08 沈阳东软智能医疗科技研究院有限公司 一种三维医学影像标注方法、装置及相关产品
CN112053769B (zh) * 2020-09-30 2023-03-10 沈阳东软智能医疗科技研究院有限公司 一种三维医学影像标注方法、装置及相关产品
CN112215285A (zh) * 2020-10-13 2021-01-12 电子科技大学 一种基于跨媒体特征的眼底图像自动标注方法
CN112215285B (zh) * 2020-10-13 2022-10-25 电子科技大学 一种基于跨媒体特征的眼底图像自动标注方法
CN113268623A (zh) * 2021-06-01 2021-08-17 上海市第一人民医院 一种人工智能化胃镜图像识别处理系统
CN113268623B (zh) * 2021-06-01 2022-07-19 上海市第一人民医院 一种人工智能化胃镜图像识别处理系统
CN114782321A (zh) * 2022-03-24 2022-07-22 北京医准智能科技有限公司 胸部ct影像选择方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111161848B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN108520519B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN111161848B (zh) Ct图像的病灶标注方法及装置、存储介质
EP2888686B1 (en) Automatic detection and retrieval of prior annotations relevant for an imaging study for efficient viewing and reporting
US7529394B2 (en) CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system
US8384735B2 (en) Image display apparatus, image display control method, and computer readable medium having an image display control program recorded therein
CN111402260A (zh) 一种基于深度学习的医学影像分割方法、系统、终端及存储介质
CN111080573B (zh) 肋骨图像检测方法、计算机设备和存储介质
US11093699B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
US10878564B2 (en) Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof
JP2014221163A (ja) 画像診断支援装置及び支援方法
US20220366151A1 (en) Document creation support apparatus, method, and program
CN110738633B (zh) 一种机体组织的三维图像处理方法及相关设备
Turco et al. Fully automated segmentation of polycystic kidneys from noncontrast computed tomography: A feasibility study and preliminary results
US8265368B2 (en) Image analysis apparatus, image processing apparatus, image analysis program storage medium, image processing program storage medium, image analysis method and image processing method
US20210125334A1 (en) System and Method for Analyzing Three-Dimensional Image Data
CN110738639B (zh) 医学图像检测结果的展示方法、装置、设备及存储介质
CN110197722B (zh) Ai-cpu系统平台
JP5363962B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
US20230005580A1 (en) Document creation support apparatus, method, and program
US7379576B2 (en) Method and system for patient identification in 3D digital medical images
CN112641466A (zh) 一种超声人工智能辅助诊断方法及装置
Redruello-Guerrero et al. Artificial intelligence for the triage of COVID-19 patients at the emergency department: a systematic review
CN110709888B (zh) 信息处理装置和用于控制信息处理装置的方法
CN112614118B (zh) 一种基于深度学习的ct图像预测方法及计算机可读存储介质
Alzubaidi et al. Toward the detection of abnormal chest radiographs the way radiologists do it

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant