CN111340756A - 一种医学图像病变检出合并方法、系统、终端及存储介质 - Google Patents
一种医学图像病变检出合并方法、系统、终端及存储介质 Download PDFInfo
- Publication number
- CN111340756A CN111340756A CN202010089794.9A CN202010089794A CN111340756A CN 111340756 A CN111340756 A CN 111340756A CN 202010089794 A CN202010089794 A CN 202010089794A CN 111340756 A CN111340756 A CN 111340756A
- Authority
- CN
- China
- Prior art keywords
- suspected lesion
- medical image
- lesion
- suspected
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 170
- 238000001514 detection method Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 abstract description 41
- 239000011229 interlayer Substances 0.000 abstract description 8
- 238000002591 computed tomography Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请提供一种医学图像病变检出合并方法、系统、终端及存储介质，包括：将3D医学图像扫描切分为2D层面图像，将其输入2D卷积神经网络进行2D病变检测，并获取2D层面图像疑似病变区域的位置信息、特征向量及置信度；根据所述位置信息、特征向量计算相邻2D层面图像任意两疑似病变区域的特征相似度及空间相邻度；根据所述特征相似度及空间相邻度计算相邻2D层面图像任意两疑似病变区域属于同一病变区域的概率分数；根据所述概率分数构建图结构；利用图的求解算法进行图结构求解，得到图结构的各连通子图；基于特征跟踪与层间位置关系对2D检出进行3D合并，实现3D医学图像病变检出合并的高效性和准确性。
Description
技术领域
本申请涉及医学影像处理技术领域，尤其是涉及一种医学图像病变检出合并方法、系统、终端及存储介质。
背景技术
电子计算机断层扫描(Computed Tomography，CT)是一种基于X射线的成像技术，广泛应用于临床中，对人体内组织器官进行高精度断层成像，以供医生进行诊断。CT图像的诊断耗时长、复杂度高，同时受到临床医生经验和能力的限制，具有局限性；而基于深度学习的CT病变检测技术，可以自动地对CT扫描进行病变检出，大幅提升医生的工作效率，提高诊断的准确度，已广泛用于肺结节检测、肺部多征象病变检测、骨折检测等医学任务中。由于医学图像成像的连续性，所得结果为若干2D扫描断层所组成的3D影像；因此基于深度学习的医学图像病变检测也主要分为2D检测与3D检测两种方法。
基于3D检测的方法，使用原始的3D图像进行卷积神经网络的训练、推断流程，具有直观、高效的优点。但由于3D的卷积神经网络与2D网络相比参数数量庞大，缺少预训练模型，往往具有较高的训练难度，难以取得较好的效果。
基于2D检测的方法，在CT扫描的每一层面上进行病变检出，而后选取某种合并策略对所得2D检出进行合并，得到CT扫描中每个病变的3D空间位置。该方式避免了3D网络难以训练的缺点。但如何将检出的2D结果合并成一个在3D医学图像中的3D检出结果成为该方案中的难点，不同合并策略将对最终病变检出效果具有较大的影响。传统的方法仅仅依靠2D检出结果的上下层之间的连续性以及类别一致性进行3D框合并。一种典型的做法是，对于一份CT的2D逐层检出结果，仅考虑2D层面的连续相邻分布，将相邻距离小于一定阈值，且在空间位置上有重叠的2D框合并为一个3D检出。由于没有考虑特征相似度，因此合并结果经常会出现错误。现有医学图像病变检出算法中，这种简单的合并方式精度一般，效果有限。
因此，目前亟需一种医学图像病变检出合并方法，以提高病变检出的准确性和鲁棒性。
发明内容
针对现有技术的上述不足，本申请提供一种医学图像病变检出合并方法、系统、终端及存储介质，用于将2D医学图像逐层的病变检出合并为3D检出，实现3D医学图像病变检出合并的高效性和准确性。
第一方面，为解决上述技术问题，本申请提供一种医学图像病变检出合并方法，包括：
将3D医学图像扫描切分为2D层面图像，将其输入2D卷积神经网络进行2D病变检测，并获取2D层面图像疑似病变区域的位置信息、特征向量及置信度；
根据所述位置信息、特征向量计算相邻2D层面图像任意两疑似病变区域的特征相似度及空间相邻度；
根据所述特征相似度及空间相邻度计算相邻2D层面图像任意两疑似病变区域属于同一病变区域的概率分数；
根据所述概率分数构建图结构；
利用图的求解算法进行图结构求解，得到图结构的各连通子图。
可选的，所述将3D医学图像扫描切分为2D层面图像，将其输入2D卷积神经网络进行2D病变检测，获取2D层面图像疑似病变区域的位置信息、特征向量及置信度，包括：
将3D医学图像扫描切分为若干2D层面图像；
将已经进行层面切分的2D层面图像输入卷积神经网络，经卷积神经网络运算，输出疑似病变区域的位置信息、置信度及对应特征向量；
使用设定的阈值对疑似病变区域进行初步过滤，若疑似病变区域的置信度高于设定的阈值，将其保留；否则，将其丢弃。
可选的，所述根据所述位置信息、特征向量计算相邻2D层面图像任意两疑似病变区域的特征相似度及空间相邻度，包括：
通过余弦距离、欧氏距离或皮尔森相关系数计算相邻2D层面图像任意两疑似病变区域的特征相似度；
通过IoU或IoM函数计算相邻2D层面图像任意两疑似病变区域的空间相邻度。
可选的，所述利用图的求解算法进行图结构求解，得到图结构的各连通子图，包括：
使用最小生成树进行连通子图求解。
可选的，所述方法还包括：
将所有2D层面疑似病变区域的置信度求均值，得到3D疑似病变区域的置信度；
将所有2D层面疑似病变区域的位置信息求最大外接矩形，得到3D疑似病变区域的空间位置信息。
第二方面，本发明还提供一种医学图像病变检出合并系统，包括：
获取单元，配置用于将3D医学图像扫描切分为2D层面图像，将其输入2D卷积神经网络进行2D病变检测，并获取2D层面图像疑似病变区域的位置信息、特征向量及置信度；
计算单元，配置用于根据所述位置信息、特征向量计算相邻2D层面图像任意两疑似病变区域的特征相似度及空间相邻度；
匹配单元，配置用于根据所述特征相似度及空间相邻度计算相邻2D层面图像任意两疑似病变区域属于同一病变区域的概率分数；
构建单元，配置用于根据所述概率分数构建图结构；
分配单元，配置用于利用图的求解算法进行图结构求解，得到图结构的各连通子图。
可选的，所述获取单元具体用于：
将3D医学图像扫描切分为若干2D层面图像；
将已经进行层面切分的2D层面图像输入卷积神经网络，经卷积神经网络运算，输出疑似病变区域的位置信息、置信度及对应特征向量；
使用设定的阈值对疑似病变区域进行初步过滤，若疑似病变区域的置信度高于设定的阈值，将其保留；否则，将其丢弃。
可选的，所述计算单元具体用于：
通过余弦距离、欧氏距离或皮尔森相关系数计算相邻2D层面图像任意两疑似病变区域的特征相似度；
通过IoU或IoM函数计算相邻2D层面图像任意两疑似病变区域的空间相邻度。
可选的，所述分配单元具体用于：
使用最小生成树进行连通子图求解。
可选的，所述系统还包括：
合并单元，配置用于：
将所有2D层面疑似病变区域的置信度求均值，得到3D疑似病变区域的置信度；
将所有2D层面疑似病变区域的位置信息求最大外接矩形，得到3D疑似病变区域的空间位置信息。
第三方面，提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
与现有技术相比，本申请具有如下有益效果：
本申请提供的基于特征跟踪和层间位置关系的医学图像病变检出合并方法、系统、终端及存储介质，基于既有的2D卷积神经网络进行CT病变检出，得到2D检出结果即疑似病变区域，基于特征跟踪与层间位置关系对所得2D检出进行3D合并。把3D框合并问题转化为一个求解连通子图的算法问题，并综合考虑了特征相似度、位置相邻程度来准确构建图的边权，弥补了医疗图像2D检出到3D检出合并方法的缺失，可以更高效、更优的获得连通的2D检测框，提升了3D检出的质量，显著提高了CT图像病变检出任务的敏感性与特异性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请实施例所提供的一种医学图像病变检出合并方法的示意性流程图。
图2是本申请实施例所提供的一种医学图像病变检出合并系统的示意性框图。
图3为本申请实施例所提供的一种医学图像病变检出合并终端的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种医学图像病变检出合并方法的流程图，该方法包括：
S101：将3D医学图像扫描切分为2D层面图像，将其输入2D卷积神经网络进行2D病变检测，并获取2D层面图像疑似病变区域的位置信息、特征向量及置信度；
S102：根据所述位置信息、特征向量计算相邻2D层面图像任意两疑似病变区域的特征相似度及空间相邻度；
S103：根据所述特征相似度及空间相邻度计算相邻2D层面图像任意两疑似病变区域属于同一病变区域的概率分数；
S104：根据所述概率分数构建图结构；
S105：利用图的求解算法进行图结构求解，得到图结构的各连通子图。
基于上述实施例，作为优选的实施例，所述S101将3D医学图像扫描切分为2D层面图像，将其输入2D卷积神经网络进行2D病变检测，获取2D层面图像疑似病变区域的位置信息、特征向量及置信度，包括：
将3D医学图像扫描切分为若干2D层面图像；
将已经进行层面切分的2D层面图像输入卷积神经网络，经卷积神经网络运算，输出疑似病变区域的位置信息、置信度及对应特征向量；
使用设定的阈值对疑似病变区域进行初步过滤，若疑似病变区域的置信度高于设定的阈值，将其保留；否则，将其丢弃。
基于上述实施例，作为优选的实施例，所述S102根据所述位置信息、特征向量计算相邻2D层面图像任意两疑似病变区域的特征相似度及空间相邻度，包括：
通过余弦距离、欧氏距离或皮尔森相关系数计算相邻2D层面图像任意两疑似病变区域的特征相似度；
通过IoU或IoM函数计算相邻2D层面图像任意两疑似病变区域的空间相邻度。
基于上述实施例，作为优选的实施例，所述S105利用图的求解算法进行图结构求解，得到图结构的各连通子图，包括：
使用最小生成树进行连通子图求解。
基于上述实施例，作为优选的实施例，所述方法100还包括：
将所有2D层面疑似病变区域的置信度求均值，得到3D疑似病变区域的置信度；
将所有2D层面疑似病变区域的位置信息求最大外接矩形，得到3D疑似病变区域的空间位置信息。
具体的，本身请提供一种基于特征跟踪和层间位置关系的医学图像病变检出合并方法，包括：
第一步：将3D的医学图像扫描切分为若干2D层面图像，将已经进行层面切分的2D的层面图像输入卷积神经网络，经卷积神经网络运算，输出疑似病变区域的位置信息、置信度及对应特征向量；使用设定的阈值对疑似病变区域进行初步过滤，若疑似病变区域的置信度高于设定的阈值，将其保留；否则，将其丢弃。
第二步：对于空间相邻层面的检出结果，基于特征跟踪计算疑似病变区域的特征相似度。
假设2D层面图像的若干疑似病变区域Y＝{y1，y2，...yn}的位置信息、置信度和特征向量，分别记为S＝{s1，s2，...sn},B＝{b1，b2，...bn},F＝{f1，f2，...fn}。
对于任意两个疑似病变区域ym，yn，其特征向量为fm，fn，使用余弦距离计算其相似度：
特征相似度的度量方法有多种，除上述余弦距离计算特征相似度，其他诸如欧氏距离、皮尔森相关系数的方式，均可作为特征相似度的可行度量方法。
第三步，对于空间相邻层面的检出结果，基于层间位置关系计算疑似病变区域的空间相邻程度。
利用IoU函数计算任意两个疑似病变区域的空间相邻程度：
Adj(ym，yn)＝IoU(bm，bn)
其中，IoU(·)函数，即Intersection over Union，是一种计算两个矩形区域面积的交集与面积并集之比的方法。
空间相邻程度的度量方法有多种，除了IoU函数，还可以使用IoM，即intersectionover minimum函数，用来计算交集和两个矩形区域面积最小值的之比的方法。对于两个2D层面之间相差层面数量超出某一设定阈值的，其空间相邻程度为0。
第四步，基于特征跟踪与层间位置关系的2D层面图像疑似病变区域属于同一3D疑似病变区域的概率分数可定义为：
在上式中，β为权重调节项，用于平衡特征相似度与空间相邻程度的关系；
为激活函数，其定义为：
其中，α为空间相邻程度的阈值，当两个疑似病变区域的空间相邻程度大于该阈值，认定二者在空间上相邻，可能属于同一病变区域；否则，认定其不相邻，不属于同一病变区域。
第五步，在获取疑似病变区域属于同一病变的概率分数后，根据概率分数建立图结构，据此进行2D检测结果的合并，得到最终的3D检测结果。
根据所有的疑似病变区域Y＝{y1，y2，...yn}，以及其中任意两者之间属于同一病变区域的概率分数Score(ym，yn)，构建图结构：
图结构是一种数据结构，由边与顶点组成；其中V为图结构中所有顶点，疑似病变区域Y＝{y1，y2，...yn}中的每一单位作为一个顶点；E为图结构中所有的边，对于图中某两个节点ym，yn，连接两个节点的边权重即为二者同属同一病变概率Score(ym，yn)。
第六步：在构建图结构后，利用图的求解算法进行图结构求解，得到图结构的各连通子图。
使用最小生成树进行连通子图求解。
具体地，对图中所有边进行遍历；对于边的权重大于阈值的，将其所连接的两个顶点置为相连状态；当遍历进行完毕，即可得到图结构的多个连通子图，其中每一个连通子图中的所有顶点同属同一个3D疑似病变区域。至此已将一份医学图像如CT中不同层面2D的检测结果分配至若干3D疑似病变区域。
第七步可选：将对每一3D疑似病变区域的所属2D检测结果进行合并，得到最终的3D检测结果。
对于一份3D疑似病变区域所属的2D疑似病变区域Y＝{y1，y2，...yn}，对所有2D层面检出置信度S＝{s1，s2，...sn}求均值，作为3D区域是某种病变的置信度；对所有检出的位置信息B＝{b1，b2，...bn}求其最大外接矩形，作为该3D疑似病变区域的空间位置信息。
上述为单类别的3D检测结果合并方式，对于多类别的检测结果合并任务，对每一类的2D检测结果分别执行上述操作，即获得多类别的3D检测结果。
此外，上述方法可用于CT、MRI、TOMO等3D医学图像检测、分割。
请参考图2，图2为本申请实施例所提供的一种医学图像病变检出合并系统的结构示意图，该系统200，包括：
获取单元201，配置用于将3D医学图像扫描切分为2D层面图像，将其输入2D卷积神经网络进行2D病变检测，并获取2D层面图像疑似病变区域的位置信息、特征向量及置信度；
计算单元202，配置用于根据所述位置信息、特征向量计算相邻2D层面图像任意两疑似病变区域的特征相似度及空间相邻度；
匹配单元203，配置用于根据所述特征相似度及空间相邻度计算相邻2D层面图像任意两疑似病变区域属于同一病变区域的概率分数；
构建单元204，配置用于根据所述概率分数构建图结构；
分配单元205，配置用于利用图的求解算法进行图结构求解，得到图结构的各连通子图。
基于上述实施例，作为优选的实施例，所述获取单元201具体用于：
将3D医学图像扫描切分为若干2D层面图像；
将已经进行层面切分的2D层面图像输入卷积神经网络，经卷积神经网络运算，输出疑似病变区域的位置信息、置信度及对应特征向量；
使用设定的阈值对疑似病变区域进行初步过滤，若疑似病变区域的置信度高于设定的阈值，将其保留；否则，将其丢弃。
基于上述实施例，作为优选的实施例，所述计算单元202具体用于：
通过余弦距离、欧氏距离或皮尔森相关系数计算相邻2D层面图像任意两疑似病变区域的特征相似度；
通过IoU或IoM函数计算相邻2D层面图像任意两疑似病变区域的空间相邻度。
基于上述实施例，作为优选的实施例，所述分配单元205具体用于：
使用最小生成树进行连通子图求解。
基于上述实施例，作为优选的实施例，所述系统200还包括合并单元，配置用于：
将所有2D层面疑似病变区域的置信度求均值，得到3D疑似病变区域的置信度；
将所有2D层面疑似病变区域的位置信息求最大外接矩形，得到3D疑似病变区域的空间位置信息。
图3为本发明实施例提供的一种终端系统300的结构示意图，该终端系统300可以用于执行本发明实施例提供的医学图像病变检出合并方法。
其中，该终端系统300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。
处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
因此，本申请提供的基于特征跟踪和层间位置关系的医学图像病变检出合并方法、系统、终端及存储介质，基于既有的2D卷积神经网络进行CT病变检出，基于特征跟踪与层间位置关系对所得2D检出进行3D合并。把3D框合并问题转化为一个求解连通子图的算法问题，并综合考虑了特征相似度、位置相邻程度来准确构建图的边权，弥补了医疗图像2D检出到3D检出合并方法的缺失，可以更高效、更优的获得连通的2D检测框，提升了3D检出的质量，显著提高了CT图像病变检出任务的敏感性与特异性，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种医学图像病变检出合并方法，其特征在于，包括：
将3D医学图像扫描切分为2D层面图像，将其输入2D卷积神经网络进行2D病变检测，并获取2D层面图像疑似病变区域的位置信息、特征向量及置信度；
根据所述位置信息、特征向量计算相邻2D层面图像任意两疑似病变区域的特征相似度及空间相邻度；
根据所述特征相似度及空间相邻度计算相邻2D层面图像任意两疑似病变区域属于同一病变区域的概率分数；
根据所述概率分数构建图结构；
利用图的求解算法进行图结构求解，得到图结构的各连通子图。
2.根据权利要求1所述的医学图像病变检出合并方法，其特征在于，所述将3D医学图像扫描切分为2D层面图像，将其输入2D卷积神经网络进行2D病变检测，获取2D层面图像疑似病变区域的位置信息、特征向量及置信度，包括：
将3D医学图像扫描切分为若干2D层面图像；
将已经进行层面切分的2D层面图像输入卷积神经网络，经卷积神经网络运算，输出疑似病变区域的位置信息、置信度及对应特征向量；
使用设定的阈值对疑似病变区域进行初步过滤，若疑似病变区域的置信度高于设定的阈值，将其保留；否则，将其丢弃。
3.根据权利要求1所述的医学图像病变检出合并方法，其特征在于，所述根据所述位置信息、特征向量计算相邻2D层面图像任意两疑似病变区域的特征相似度及空间相邻度，包括：
通过余弦距离、欧氏距离或皮尔森相关系数计算相邻2D层面图像任意两疑似病变区域的特征相似度；
通过IoU或IoM函数计算相邻2D层面图像任意两疑似病变区域的空间相邻度。
4.根据权利要求1所述的医学图像病变检出合并方法，其特征在于，所述利用图的求解算法进行图结构求解，得到图结构的各连通子图，包括：
使用最小生成树进行连通子图求解。
5.根据权利要求1所述的医学图像病变检出合并方法，其特征在于，所述方法还包括：
将所有2D层面疑似病变区域的置信度求均值，得到3D疑似病变区域的置信度；
将所有2D层面疑似病变区域的位置信息求最大外接矩形，得到3D疑似病变区域的空间位置信息。
6.一种医学图像病变检出合并系统，其特征在于，包括：
获取单元，配置用于将3D医学图像扫描切分为2D层面图像，将其输入2D卷积神经网络进行2D病变检测，并获取2D层面图像疑似病变区域的位置信息、特征向量及置信度；
计算单元，配置用于根据所述位置信息、特征向量计算相邻2D层面图像任意两疑似病变区域的特征相似度及空间相邻度；
匹配单元，配置用于根据所述特征相似度及空间相邻度计算相邻2D层面图像任意两疑似病变区域属于同一病变区域的概率分数；
构建单元，配置用于根据所述概率分数构建图结构；
分配单元，配置用于利用图的求解算法进行图结构求解，得到图结构的各连通子图。
7.根据权利要求6所述的医学图像病变检出合并系统，其特征在于，所述获取单元具体用于：
将3D医学图像扫描切分为若干2D层面图像；
将已经进行层面切分的2D层面图像输入卷积神经网络，经卷积神经网络运算，输出疑似病变区域的位置信息、置信度及对应特征向量；
使用设定的阈值对疑似病变区域进行初步过滤，若疑似病变区域的置信度高于设定的阈值，将其保留；否则，将其丢弃。
8.根据权利要求6所述的医学图像病变检出合并系统，其特征在于，所述计算单元具体用于：
通过余弦距离、欧氏距离或皮尔森相关系数计算相邻2D层面图像任意两疑似病变区域的特征相似度；
通过IoU或IoM函数计算相邻2D层面图像任意两疑似病变区域的空间相邻度。
9.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-5任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010089794.9A CN111340756B (zh) | 2020-02-13 | 2020-02-13 | 一种医学图像病变检出合并方法、系统、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010089794.9A CN111340756B (zh) | 2020-02-13 | 2020-02-13 | 一种医学图像病变检出合并方法、系统、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340756A true CN111340756A (zh) | 2020-06-26 |
| CN111340756B CN111340756B (zh) | 2023-11-28 |
Family
ID=71180369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010089794.9A Active CN111340756B (zh) | 2020-02-13 | 2020-02-13 | 一种医学图像病变检出合并方法、系统、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340756B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862100A (zh) * | 2020-06-29 | 2020-10-30 | 浪潮电子信息产业股份有限公司 | 一种图像分割方法、装置、设备及存储介质 |
| CN111914841A (zh) * | 2020-08-07 | 2020-11-10 | 温州医科大学 | 一种ct图像处理方法和装置 |
| CN112419309A (zh) * | 2020-12-11 | 2021-02-26 | 上海联影医疗科技股份有限公司 | 医学图像相位确定方法、装置、计算机设备和存储介质 |
| CN112598021A (zh) * | 2020-11-27 | 2021-04-02 | 西北工业大学 | 一种基于自动机器学习的图结构搜索方法 |
| CN115082448A (zh) * | 2022-07-26 | 2022-09-20 | 青岛美迪康数字工程有限公司 | 肠道清洁度评分方法、装置和计算机设备 |
| CN115311188A (zh) * | 2021-05-08 | 2022-11-08 | 数坤(北京)网络科技股份有限公司 | 一种图像识别方法、装置、电子设备及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1823337A (zh) * | 2003-07-11 | 2006-08-23 | 西门子共同研究公司 | 用于检测医学图像中的隆起的系统和方法 |
| CN106709948A (zh) * | 2016-12-21 | 2017-05-24 | 浙江大学 | 一种基于超像素分割的快速双目立体匹配方法 |
| CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
| CN107230206A (zh) * | 2017-06-02 | 2017-10-03 | 太原理工大学 | 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法 |
| CN107533553A (zh) * | 2015-03-24 | 2018-01-02 | 凯恩迪股份有限公司 | 认知存储器图形索引、存储和检索 |
| CN109598727A (zh) * | 2018-11-28 | 2019-04-09 | 北京工业大学 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
| US20190122073A1 (en) * | 2017-10-23 | 2019-04-25 | The Charles Stark Draper Laboratory, Inc. | System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture |
| US20190139202A1 (en) * | 2016-05-04 | 2019-05-09 | Tel Hashomer Medical Research, Infrastructure And Services Ltd. | Method and system for providing a locally-consistent enhancement of a low-quality image |
| WO2019103912A2 (en) * | 2017-11-22 | 2019-05-31 | Arterys Inc. | Content based image retrieval for lesion analysis |
| CN110287798A (zh) * | 2019-05-27 | 2019-09-27 | 魏运 | 基于特征模块化和上下文融合的矢量网络行人检测方法 |
| WO2019200740A1 (zh) * | 2018-04-20 | 2019-10-24 | 平安科技（深圳）有限公司 | 肺结节的检测方法、装置、计算机设备和存储介质 |
| CN110533029A (zh) * | 2019-08-02 | 2019-12-03 | 杭州依图医疗技术有限公司 | 确定影像中目标区域的方法及装置 |
| CN110766713A (zh) * | 2019-10-30 | 2020-02-07 | 上海微创医疗器械（集团）有限公司 | 肺部图像分割方法、装置和肺部病变区域识别设备 |
| CN110782446A (zh) * | 2019-10-25 | 2020-02-11 | 杭州依图医疗技术有限公司 | 一种确定肺结节体积的方法及装置 |
-
2020
- 2020-02-13 CN CN202010089794.9A patent/CN111340756B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1823337A (zh) * | 2003-07-11 | 2006-08-23 | 西门子共同研究公司 | 用于检测医学图像中的隆起的系统和方法 |
| CN107533553A (zh) * | 2015-03-24 | 2018-01-02 | 凯恩迪股份有限公司 | 认知存储器图形索引、存储和检索 |
| US20190139202A1 (en) * | 2016-05-04 | 2019-05-09 | Tel Hashomer Medical Research, Infrastructure And Services Ltd. | Method and system for providing a locally-consistent enhancement of a low-quality image |
| CN106709948A (zh) * | 2016-12-21 | 2017-05-24 | 浙江大学 | 一种基于超像素分割的快速双目立体匹配方法 |
| CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
| CN107230206A (zh) * | 2017-06-02 | 2017-10-03 | 太原理工大学 | 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法 |
| US20190122073A1 (en) * | 2017-10-23 | 2019-04-25 | The Charles Stark Draper Laboratory, Inc. | System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture |
| WO2019103912A2 (en) * | 2017-11-22 | 2019-05-31 | Arterys Inc. | Content based image retrieval for lesion analysis |
| WO2019200740A1 (zh) * | 2018-04-20 | 2019-10-24 | 平安科技（深圳）有限公司 | 肺结节的检测方法、装置、计算机设备和存储介质 |
| CN109598727A (zh) * | 2018-11-28 | 2019-04-09 | 北京工业大学 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
| CN110287798A (zh) * | 2019-05-27 | 2019-09-27 | 魏运 | 基于特征模块化和上下文融合的矢量网络行人检测方法 |
| CN110533029A (zh) * | 2019-08-02 | 2019-12-03 | 杭州依图医疗技术有限公司 | 确定影像中目标区域的方法及装置 |
| CN110782446A (zh) * | 2019-10-25 | 2020-02-11 | 杭州依图医疗技术有限公司 | 一种确定肺结节体积的方法及装置 |
| CN110766713A (zh) * | 2019-10-30 | 2020-02-07 | 上海微创医疗器械（集团）有限公司 | 肺部图像分割方法、装置和肺部病变区域识别设备 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862100A (zh) * | 2020-06-29 | 2020-10-30 | 浪潮电子信息产业股份有限公司 | 一种图像分割方法、装置、设备及存储介质 |
| CN111914841A (zh) * | 2020-08-07 | 2020-11-10 | 温州医科大学 | 一种ct图像处理方法和装置 |
| CN111914841B (zh) * | 2020-08-07 | 2023-10-13 | 温州医科大学 | 一种ct图像处理方法和装置 |
| CN112598021A (zh) * | 2020-11-27 | 2021-04-02 | 西北工业大学 | 一种基于自动机器学习的图结构搜索方法 |
| CN112419309A (zh) * | 2020-12-11 | 2021-02-26 | 上海联影医疗科技股份有限公司 | 医学图像相位确定方法、装置、计算机设备和存储介质 |
| CN112419309B (zh) * | 2020-12-11 | 2023-04-07 | 上海联影医疗科技股份有限公司 | 医学图像相位确定方法、装置、计算机设备和存储介质 |
| CN115311188A (zh) * | 2021-05-08 | 2022-11-08 | 数坤(北京)网络科技股份有限公司 | 一种图像识别方法、装置、电子设备及存储介质 |
| CN115311188B (zh) * | 2021-05-08 | 2023-12-22 | 数坤科技股份有限公司 | 一种图像识别方法、装置、电子设备及存储介质 |
| CN115082448A (zh) * | 2022-07-26 | 2022-09-20 | 青岛美迪康数字工程有限公司 | 肠道清洁度评分方法、装置和计算机设备 |
| CN115082448B (zh) * | 2022-07-26 | 2023-05-23 | 青岛美迪康数字工程有限公司 | 肠道清洁度评分方法、装置和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340756B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107622492B (zh) | 肺裂分割方法及系统 | |
| CN111340756B (zh) | 一种医学图像病变检出合并方法、系统、终端及存储介质 | |
| CN108520519B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| CN111047591A (zh) | 基于深度学习的病灶体积测量方法、系统、终端及存储介质 | |
| Bernard et al. | Standardized evaluation system for left ventricular segmentation algorithms in 3D echocardiography | |
| CN109886933B (zh) | 一种医学图像识别方法、装置和存储介质 | |
| JP6877868B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US9697639B2 (en) | Three-dimensional model data generation device, method and program | |
| CN111402260A (zh) | 一种基于深度学习的医学影像分割方法、系统、终端及存储介质 | |
| CN108615237A (zh) | 一种肺部图像处理方法及图像处理设备 | |
| US7822246B2 (en) | Method, a system and a computer program for integration of medical diagnostic information and a geometric model of a movable body | |
| CN110766730B (zh) | 图像配准及随访评估方法、存储介质及计算机设备 | |
| CN106651895B (zh) | 一种分割三维图像的方法和装置 | |
| CN110969623B (zh) | 一种肺部ct多征象自动检测方法、系统、终端及存储介质 | |
| CN112861961B (zh) | 肺血管分类方法及装置、存储介质及电子设备 | |
| CN113538471B (zh) | 斑块的分割方法、装置、计算机设备和存储介质 | |
| US10878564B2 (en) | Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof | |
| Iwao et al. | Integrated lung field segmentation of injured region with anatomical structure analysis by failure–recovery algorithm from chest CT images | |
| CN111062390A (zh) | 感兴趣区域标注方法、装置、设备和存储介质 | |
| CN115861656A (zh) | 用于自动处理医学图像以输出警报的方法、设备和系统 | |
| CN114332132A (zh) | 图像分割方法、装置和计算机设备 | |
| US11961276B2 (en) | Linear structure extraction device, method, program, and learned model | |
| CN114299057A (zh) | 血管中心线的提取方法和存储介质 | |
| CN109767468B (zh) | 脏器体积检测方法及装置 | |
| CN115294401B (zh) | 一种基于ct图像的分类方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |