CN107480677B - 一种识别三维ct图像中感兴趣区域的方法及装置 - Google Patents
一种识别三维ct图像中感兴趣区域的方法及装置 Download PDFInfo
- Publication number
- CN107480677B CN107480677B CN201710666441.9A CN201710666441A CN107480677B CN 107480677 B CN107480677 B CN 107480677B CN 201710666441 A CN201710666441 A CN 201710666441A CN 107480677 B CN107480677 B CN 107480677B
- Authority
- CN
- China
- Prior art keywords
- region
- dimensional
- interest
- image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 57
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 7
- 201000010099 disease Diseases 0.000 abstract description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 4
- 238000002591 computed tomography Methods 0.000 description 106
- 230000003902 lesion Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000000913 Kidney Calculi Diseases 0.000 description 1
- 206010029148 Nephrolithiasis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Abstract
本发明公开了一种自动识别三维CT图像中感兴趣区域的方法及装置，该方法包括：通过标注了感兴趣区域的三维CT图像，对3D卷积神经网络进行训练，得到识别感兴趣区域准确率较高的3D卷积神经网络，然后通过训练得到的3D卷积神经网络对三维CT图像进行识别，得到感兴趣区域，并计算该感兴趣区域的体积、扩张方向和扩张直径。通过本实施例的方法，不仅可以自动、高效的得到表示病灶的感兴趣区域，而且识别的准确率更高，除此之外，还可以自动的计算出病灶的体积大小、扩张方向和扩张直径，进而帮助医生对病情进行更准确的判断结果。
Description
技术领域
本发明涉及医学图像处理的领域，尤其涉及一种识别三维CT图像感兴趣区域的方法及装置。
背景技术
随着数字医疗技术的发展，医学图像在医学诊断过程中的作用越来越明显，逐渐成为医生观察人体病变的主要工具。在对病情进行诊断时，一般是医生根据经验人为的从医学图像中查找表示病灶的感兴趣区域。
CT图像是常用的医学图像之一，CT(英文全称：Computed Tomography，中文全称：计算机断层扫描)图像，是利用精准直的x线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕在人体的某一部位作为一个接一个的断面扫描得到的。CT图像虽然由于图像清晰、分辨率高等优点而被广泛应用，但是CT图像还具有显示的组织比较多，各组织之间的界限模糊的特点，基于这些特点，若还是根据经验人为的从CT图像中识别感兴趣区域，可能会出现漏检的情况。
发明内容
有鉴于此，本发明实施例提供的一种识别三维CT图像中感兴趣区域的方法及装置，不仅实现了自动的从三维CT图像中识别出感兴趣区域，而且，提高了感兴趣区域识别的效率和准确率。
本发明实施例提供的一种自动识别三维CT图像中感兴趣区域的方法，包括：
获取待识别的三维CT图像；
通过已训练的三维卷积神经网络，识别所述待识别的三维CT图像中属于感兴趣区域的体素点；所述三维卷积神经网络是通过交叉熵损失对所述三维卷积神经网络中预设的参数进行调整，直到训练次数达到预设阈值；其中，所述交叉熵损失是通过三维卷积神经网络对已标注感兴趣区域的三维CT图像进行识别，得到预测的感兴趣区域，并将预测的感兴趣区域和已标注的感兴趣区域进行比对得到的；
将所述属于感兴趣区域的各个体素点进行连通，得到连通的感兴趣区域。
可选的，所述通过已训练的三维卷积神经网络，识别所述待识别的三维CT图像中属于感兴趣区域的体素点，包括：
将所述待识别的三维CT图像输入到所述已训练的三维卷积神经网络中；
通过所述已训练的三维卷积神经网络对所述待识别的所述三维CT图像的体素点进行分类，识别出属于所述感兴趣区域的体素点。
可选的，所述方法还包括：
根据所述属于感兴趣区域的体素点的个数，计算所述感兴趣区域的体积；
计算所述三维CT图像中每一层的感兴趣区域的面积，并获取面积最大的感兴趣区域；
从所述面积最大的感兴趣区域中确定多个关键点；
计算所述多个关键点中任意两个关键点之间的距离，并选取出距离最远的两个关键点；
将所述距离最远的两个关键点之间的距离作为最大径，将所述距离最远的两个关键点之间的方向作为最大扩张方向。
可选的，所述三维卷积神经网络的训练过程包括：
将当前训练次数确定为1；
判断所述当前训练次数是否大于预设的阈值；
若所述当前训练次数不大于预设的阈值，获取已标注感兴趣区域的三维CT图像；
利用三维卷积神经网络，依据预设的感兴趣区域的灰阶值范围和所述三维卷积神经网络中预设的参数，对所述标注了感兴趣区域的三维CT图像进行层级化函数处理，得到预测的感兴趣区域；
将所述预测的感兴趣区域和已标注的感兴趣区域进行比对，得到交叉熵损失；根据所述交叉熵损失和反向传播算法，调整所述预设的参数；
将所述当前训练次数加1，并返回执行判断所述当前训练次数是否大于预设的阈值；
若所述当前训练次数大于预设的阈值，得到训练好的三维卷积神经网络。
可选的，所述获取已标注感兴趣区域的三维CT图像，包括：
获取已标注敏感区域的三维CT图像；
从所述敏感区域中标注出感兴趣区域，得到标注感兴趣区域的三维CT图像。
本发明实施例提供的一种自动识别三维CT图像中感兴趣区域的装置，包括：
图像获取单元，用于获取待识别的三维CT图像；
识别单元，用于通过已训练的三维卷积神经网络，识别所述待识别的三维CT图像中属于感兴趣区域的体素点；所述三维卷积神经网络是通过交叉熵损失对所述三维卷积神经网络中预设的参数进行调整，直到交叉熵损失小于预设的阈值；其中，所述交叉熵损失是通过三维卷积神经网络对已标注感兴趣区域的三维CT图像进行识别，得到预测的感兴趣区域，并将预测的感兴趣区域和已标注的感兴趣区域进行比对得到的；
连通单元，用于将所述属于感兴趣区域的各个体素点进行连通，得到连通的感兴趣区域。
可选的，所述识别单元，包括：
输入子单元，用于将所述待识别的三维CT图像输入到所述已训练的三维卷积神经网络中；
识别子单元，用于通过所述已训练的三维卷积神经网络对所述待识别的所述三维CT图像的体素点进行分类，识别出属于所述感兴趣区域的体素点。
可选的，所述装置还包括：
体积计算单元，用于根据所述属于感兴趣区域的体素点的个数，计算所述感兴趣区域的体积；
感兴趣区域获取单元，用于计算所述三维CT图像中每一层的感兴趣区域的面积，并获取面积最大的感兴趣区域；
关键点确认单元，用于从所述面积最大的感兴趣区域中确定多个关键点；
选取单元，用于计算所述多个关键中任意两个关键点之间的距离，并选取出距离最远的两个关键点；
计算结果输出单元，用于将所述距离最远的两个关键点之间的距离作为最大径，将所述距离最远的两个关键点之间的方向作为最大扩张方向。
可选的，所述装置还包括：
三维卷积神经网络训练单元，具体用于：
将当前训练次数确定为1；
判断所述当前训练次数是否大于预设的阈值；
若所述当前训练次数不大于预设的阈值，获取已标注感兴趣区域的三维CT图像；
利用三维卷积神经网络，依据预设的感兴趣区域的灰阶值范围和所述三维卷积神经网络中预设的参数，对所述标注了感兴趣区域的三维CT图像进行层级化函数处理，得到预测的感兴趣区域；
将所述预测的感兴趣区域和已标注的感兴趣区域进行比对，得到交叉熵损失；根据所述交叉熵损失和反向传播算法，调整所述预设的参数；
将所述当前训练次数加1，并返回执行判断所述当前训练次数是否大于预设的阈值；
若所述当前训练次数大于预设的阈值，得到训练好的三维卷积神经网络。
可选的，所述第三获取单元，包括：
获取子单元，用于获取已标注敏感区域的三维CT图像；
标注子单元，用于从所述敏感区域中标注出感兴趣区域，得到标注感兴趣区域的三维CT图像。
本实施例中，通过标注了感兴趣区域的三维CT图像，对3D卷积神经网络进行训练，得到识别感兴趣区域准确率较高的3D卷积神经网络，然后通过训练得到的3D卷积神经网络对三维CT图像进行识别，得到识别出感兴趣区域的，并计算该感兴趣区域的体积、扩张方向和扩张直径。通过本实施例的方法，不仅可以自动、高效的得到表示病灶的感兴趣区域，而且识别的准确率更高，除此之外，还可以自动的计算出病灶的体积大小、扩张方向和扩张直径，进而帮助医生对病情进行更准确的判断结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例提供的一种识别三维CT图像感兴趣区域的方法的流程示意图；
图2示出了本发明实施例提供的一种3D卷积神经网络的训练方法的流程示意图；
图3示出了识别出的感兴趣区域的示意图；
图4示出了计算感兴趣区域的最大扩张方向和最大径的示意图；
图5示出了本发明实施例提供的一种识别三维CT图像感兴趣区域的装置的结构示意图。
具体实施方式
本申请实施例提出的识别感兴趣区域的方法应用于CT图像，目的在于实现自动的从三维CT图像中检测感兴趣区域，并提高识别感兴趣区域的效率和准确率。
本申请实施例中提到的CT图像，是通过CT扫描得到人体某个部位或者某个器官的图像，例如可以是肺部的扫描图像或者可以是人体骨骼的扫描图像。
本申请实施例中提到的感兴趣区域，是扫描得到的人体某个部位的病变区域，例如：若扫描得到的是人体肺部的CT图像，感兴趣区域可能是肺部结节区域；或者若扫描得到的是肾的CT图像，感兴趣区域可能是肾结石区域。
本申请实施例所述的识别感兴趣区域的方法可以是由识别感兴趣区域的装置执行，所述装置可以集成在现有的CT设备上，也可以独立设置。对于独立设置的情况，可以从现有的CT扫描设备上获取CT图像。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，示出了本发明实施例提供的一种识别三维CT图像感兴趣区域的方法的流程示意图，在本实施例中，所述方法可以包括：
S101：获取待识别的三维CT图像；
在CT图像成像的过程中，不可避免的会受到外部因素或者机器本身运行中产生的噪声的影响，因此，生成的CT图像中可能含有噪声，而包含噪声的CT图像会降低对感兴趣区域的识别精度，为了降低这一影响，在S101之前，还可以获取CT成像设备生成的三维CT图像，并对该三维CT图像进行去噪等预处理操作，从而得到待识别的三维CT图像。
除此之外，待识别的三维CT图像还可以是已经从三维CT图像中提取出敏感区域的图像，也可以理解为待识别的三维CT图像只包括敏感区域和标记的感兴趣区域的图像。其中，敏感区域是可能包裹有感兴趣区域的部分。获取敏感区域的过程可以是，通过一些预设的方法从三维CT图像中将敏感区域提取出来，预设的方法可以包括：残差网络、模糊聚类算法等。
S102：通过已训练的3D卷积神经网络，识别待识别的三维CT图像中属于感兴趣区域的体素点。
本实施例中，需要说明的是，本文中提到的三维卷积神经网络和3D卷积神经网络是相同的，3D卷积神经网络是三维卷积神经网络的简称。
卷积神经网络是人工神经网络的一种，已成为当前图像识别领域的研究热点，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。3D卷积神经网络是在卷积神经网络的基础上，对卷积神经网络进行改进得到的，主要的改进是将二维的卷积神经网络扩展为三维的卷积神经网络，使得卷积神经网络可以对三维图像进行类似于对二维图像的处理。3D卷积神经网络的原理基本上类似为上述卷积神经网络，但是相对于上述卷积神经网络，3D卷积神经网络对图像识别的效率和准确率都有所提高。
在本申请的实施例中，已训练的3D卷积神经网络是通过大量的样本数据对3D卷积神经网络训练后得到的，训练的过程中不断的调整3D卷积神经网络的参数。在图像处理领域，相同的算法或模型，针对不同的图像的效果差异很大，而且，在机器学习的过程中，参数调整是一个非常困难的过程，本申请将这个模型应用在三维CT图像上，创新性的利用交叉熵损失和反向传播算法对3D卷积神经网络的参数不断进行调整，直到训练次数达到预设的阈值，这样最终得到识别三维CT图像感兴趣区域准确率较高的3D卷积神经网络。其中交叉熵损失是将预测的感兴趣区域和已标注的感兴趣区域进行对比得到的，预测的感兴趣区域是3D卷积神经网络对已标注感兴趣区域的三维CT图像进行识别得到的。
本实施例中具体的，S102可以包括：
将待识别的三维CT图像输入到已训练的3D卷积神经网络中；
通过所述已训练的三维卷积神经网络对所述待识别的所述三维CT图像的体素点进行分类，识别出属于所述感兴趣区域的体素点。
已训练的3D卷积神经网络对输入的待识别的三维CT图像进行处理，得到三维CT图像中每个体素点属于感兴趣区域或者背景区域的概率值，将不同概率值的体素点进行分类，并选取其中属于感兴趣区域概率最大的类别作为该体素点的识别结果，从而确定出属于感兴趣区域的体素点待识别的多模态MRI图像。其中，需要说明的是，识别出的感兴趣区域的体素点是经过了二值化处理的，具体的为：将属于感兴趣区域的灰阶值范围的体素点标记为1，将不属于感兴趣区域的灰阶值范围的体素点标记为0。如图3中的白色区域所示，标记为1的部分为感兴趣区域，如图3中黑色区域所示，标记为0的部分为背景区域的部分。
本实施例中，3D卷积神经网络通过判断CT图像中任意体素点的灰阶值，判断该体素点的灰阶值是否在感兴趣区域的灰阶值范围内，当在范围内时，将体素点标记为1，当不在范围内时，将体素点标记为0，从而得到该待识别的三维CT图像中属于感兴趣区域的体素点。
S103：将识别出的感兴趣区域的各个体素点进行连通，得到连通的感兴趣区域；
本实施例中，通过S102识别出的感兴趣区域中的每个体素点是分散的，并且，有一些标记为1的体素点可能会被一些标记为0的体素点分隔开，这样显示出的感兴趣区域不是一个连通的区域，不方便医生对病灶的整体情况进行查看，因此，为了更好的显示识别出的感兴趣区域，可以将感兴趣区域的体素点连通，得到连通的感兴趣区域。
S104：计算识别出的感兴趣区域的体积、最大扩张方向和最大径。
本实施例中，由于每个体素点具有固定的体积，感兴趣区域的体积可以直接表示为体素点的个数；或者根据每个体素点的体积和感兴趣区域体素点的个数计算感兴趣区域的体积，具体的可以是将感兴趣区域中每个体素点的体积相加，得到感兴趣区域的体积。
其中，对于计算感兴趣区域的最大扩张方向和最大径，具体可以包括：
计算三维CT图像中每一层的感兴趣区域的面积，并获取面积最大的感兴趣区域；
从选取出的面积最大的感兴趣区域中确定多个关键点；
计算任意两个关键点之间的距离，并选出距离最远的两个关键点；其中，距离最远的两个关键点之间的距离为最大径，距离最远的两个关键点的直线方向为最大扩张方向；
需要说明的是，最大径可以近似理解为扩张的最大直径。
本实施例中，确定出的感兴趣区域的多个关键点，可以是面积最大的感兴趣区域轮廓线上的所有像素点；也可以是根据不规则轮廓线段逼近方法得到的感兴趣区域轮廓线上的若干个关键点。
举例说明：如图4所示，识别出感兴趣区域的三维CT图像包括多层CT图像，每一层的CT图像中都识别出了感兴趣区域，找到这些层中面积最大的感兴趣区域，将面积最大的感兴趣区域的CT图像表示为A图像；根据不规则轮廓逼近方法，从A图像的感兴趣区域的轮廓线上确定出多个关键点，并从多个关键点中找到距离最远的两个关键点，假设距离最远的两个关键点分别为关键点B和关键点C，其中BC之间的距离为最大径，直线BC的方向表示最大扩张方向。
本实施例中，医生通过CT图像，在对病情进行诊断时，还需要了解病灶区域的大小，在病灶有变化趋势的情况下，还需要确诊出病灶扩张的方向和扩张的最大径，这些工作若是由医生来完成的话，无疑增加了医生的工作量，医生也无法快速的诊断出确切的病情，因此通过S104的步骤，自动的计算出感兴趣区域的体积、扩张方向和最大径，不仅减小了医生的诊断工作的工作量，而且有利于医生的诊断。
本实施例中，需要说明的是，执行了S101～S104的步骤后，可以根据用户的需求，输出相应的结果。例如，若用户想要查看识别出的三维CT图像中的感兴趣区域的显示结果，则输出S103步骤中得到的结果；若用户想要查看感兴趣区域的体积、扩张的方向和最大径，则输出S103步骤得到的结果；若是用户既想查看感兴趣区域的显示结果，又想明确知道感兴趣区域的大小，则既要输出S103步骤得到的结果也输出S104步骤得到的结果。
本实施例中，通过标注了感兴趣区域的三维CT图像，对3D卷积神经网络进行训练，得到识别感兴趣区域准确率较高的3D卷积神经网络，然后通过训练得到的3D卷积神经网络对三维CT图像进行识别，得到识别出感兴趣区域的三维CT图像，并计算该感兴趣区域的体积、扩张方向和扩张直径。通过本实施例的方法，不仅可以自动、高效的得到表示病灶的感兴趣区域，而且识别的准确率更高，除此之外，还可以自动的计算出病灶的体积大小、扩张方向和扩张直径，进而帮助医生对病情进行更准确的判断结果。
本实施例中，对于3D卷积神经网络的训练方法，具体的参考图2，在本实施例中，该方法包括：
S201：将当前训练次数确定为1；
S202：判断所述当前训练次数是否大于预设的阈值；
S203：若所述当前训练次数不大于预设的阈值，获取当前训练已标注感兴趣区域的三维CT图像。
其中，对于感兴趣区域的标注可以是由医生或者相关的技术人员标注的，具体的，已标注感兴趣区域的三维CT图像可以通过以下的三种方式得到：
方式一：由医生直接在扫描得到的三维CT图像中进行标注，得到已标注感兴趣区域的三维CT图像；
方式二：对扫描得到的三维CT图像先经过预设的处理，识别出三维CT图像中的敏感区域，再在敏感区域中标注感兴趣区域。
方式三：先通过相关的方法，从扫描得到的三维CT图像中提取出敏感区域，得到仅包括敏感区域的三维CT图像，再从敏感区域中标注出感兴趣区域。
其中，敏感区域可以是通过一些图像分割的方法，识别出的可能包裹有病灶区域的三维CT图像，由于该敏感区域的范围要比实际病灶的区域大，或者由于某些原因这些识别出的敏感区域中不包含病灶区域，因此需要医生再根据经验在这些敏感区域中标注出表示病灶区域的感兴趣区域。由于先得到了可能存在病灶的敏感区域，不仅为医生或者相关技术人员减轻了标记感兴趣区域的工作量而且提高了标注的准确率。
需要说明的是，标注了感兴趣区域的三维CT图像是一个二值化图像，与原始三维CT图像具有同样的维度大小，其中，感兴趣区域为1，背景区域为0。
其中，背景区域为三维CT图像中，除感兴趣区域之外的其它区域。
S204：利用3D卷积神经网络依据3D卷积神经网络中预设的参数，对标注了感兴趣区域的三维CT图像进行层级化函数处理，得到预测的感兴趣区域；
本实施例中，3D卷积神经网络包括多层运算，分别为：卷积层、批归一化层、非线性层、下采样层、反卷积层等，其中，对标注了感兴趣区域的三维CT图像进行层级化函数处理，就是将标注了感兴趣区域的三维CT图像经过以上提到的这些层的运算，并依据预设的感兴趣区域的灰阶值范围，识别出该三维CT图像中的感兴趣区域。其中在3D卷积神经网络中，预测出的感兴趣区域是以三维向量的形式存储的。
S205：将预测的感兴趣区域与标注的感兴趣区域进行比对，得到交叉熵损失。
本实施例中，由于通过S202预测出的感兴趣区域是以三维向量的形式存在的，计算交叉熵损失需要经过以下的步骤：
其中，将预测的感兴趣区域的三维向量拉伸成一维向量；
将已标注的感兴趣区域的三维向量数据对应拉伸成一维向量；
计算两个一维向量之间的交叉熵损失。
S206：根据交叉熵损失和反向传播算法对3D卷积神经网络进行调整；
S207：将所述当前训练次数加1，并返回执行S202；
S208：若所述当前训练次数大于预设的阈值，得到训练好的3D卷积神经网络。
本实施例中，除了可以用交叉熵损失对3D卷积神经网络进行调整外，还可以使用欧氏距离等其它的损失函数。
本实施例中，每次获取到的已标注感兴趣区域的三维CT图像都是不同的图像，通过3D卷积神经网络经过足够的次数识别三维CT图像中的感兴趣区域，并经过足够次数的参数调整，逐渐将交叉熵损失降低到足够小，说明3D卷积神经网络已经具备足够的精度，可以比较准确的从三维CT图像中识别出感兴趣区域。
本实施例中，网络训练的目标函数是最小化交叉熵损失，通过反复将识别出的感兴趣区域与医生标注的感兴趣区域进行比对，得到交叉熵损失，并通过交叉熵损失反复的调整3D卷积神经网络参数，逐步降低交叉熵损失，直到训练次数达到预设阈值因此，通过该种训练方式，可以得到识别精度较高的3D卷积神经网络。
参考图5示出了本发明实施例提供的一种自动识别三维CT图像中感兴趣区域的装置，包括：
图像获取单元501，用于获取待识别的三维CT图像；
识别单元502，用于通过已训练的三维卷积神经网络，识别所述待识别的三维CT图像中属于感兴趣区域的体素点；所述三维卷积神经网络是通过交叉熵损失对所述三维卷积神经网络中预设的参数进行调整，直到训练次数小于预设的阈值；其中，所述交叉熵损失是通过三维卷积神经网络对已标注感兴趣区域的三维CT图像进行识别，得到预测的感兴趣区域，并将预测的感兴趣区域和已标注的感兴趣区域进行比对得到的；
连通单元503，用于将所述属于感兴趣区域的各个体素点进行连通，得到连通的感兴趣区域。
可选的，所述识别单元，包括：
输入子单元，用于将所述待识别的三维CT图像输入到所述已训练的三维卷积神经网络中；
识别子单元，用于通过所述已训练的三维卷积神经网络对所述待识别的所述三维CT图像的体素点进行分类，识别出属于所述感兴趣区域的体素点。
可选的，所述装置还包括：
体积计算单元，用于根据所述属于感兴趣区域的体素点的个数，计算所述感兴趣区域的体积；
感兴趣区域获取单元，用于计算所述三维CT图像中每一层的感兴趣区域的面积，并获取面积最大的感兴趣区域；
关键点确认单元，用于从所述面积最大的感兴趣区域中确定多个关键点；
选取单元，用于计算所述多个关键点中任意两个关键点之间的距离，并选取出距离最远的两个关键点；
计算结果输出单元，用于将所述距离最远的两个关键点之间的距离作为最大径，将所述距离最远的两个关键点之间的方向作为最大扩张方向。
可选的，所述装置还包括：
三维卷积神经网络训练单元，具体用于：
将当前训练次数确定为1；
判断所述当前训练次数是否大于预设的阈值；
若所述当前训练次数不大于预设的阈值，获取当前训练已标注感兴趣区域的三维CT图像；
利用三维卷积神经网络，依据预设的感兴趣区域的灰阶值范围和所述三维卷积神经网络中预设的参数，对所述标注了感兴趣区域的三维CT图像进行层级化函数处理，得到预测的感兴趣区域；
将所述预测的感兴趣区域和已标注的感兴趣区域进行比对，得到交叉熵损失；
根据所述交叉熵损失和反向传播算法，调整所述预设的参数；
将所述当前训练次数加1，并返回执行判断所述当前训练次数是否大于预设的阈值；
若所述当前训练次数大于预设的阈值，得到训练好的3D卷积神经网络。
可选的，所述第三获取单元，包括：
获取子单元，用于获取已标注敏感区域的三维CT图像；
标注子单元，用于从所述敏感区域中标注出感兴趣区域，得到标注感兴趣区域的三维CT图像。
本实施例中，通过标注了感兴趣区域的三维CT图像，对3D卷积神经网络进行训练，得到识别感兴趣区域准确率较高的3D卷积神经网络，然后通过训练得到的3D卷积神经网络对三维CT图像进行识别，得到识别出感兴趣区域，并计算该感兴趣区域的体积、扩张方向和扩张直径。通过本实施例的装置，不仅可以自动、高效的得到表示病灶的感兴趣区域，而且识别的准确率更高，除此之外，还可以自动的计算出病灶的体积大小、扩张方向和扩张直径，进而帮助医生对病情进行更准确的判断结果。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种识别三维CT图像中感兴趣区域的方法，其特征在于，包括：
获取待识别的三维CT图像；
通过已训练的三维卷积神经网络，识别所述待识别的三维CT图像中属于感兴趣区域的体素点；所述三维卷积神经网络是通过交叉熵损失对所述三维卷积神经网络中预设的参数进行调整，直到训练次数达到预设的阈值；其中，所述交叉熵损失是通过三维卷积神经网络对已标注感兴趣区域的三维CT图像进行识别，得到预测的感兴趣区域，并将预测的感兴趣区域和已标注的感兴趣区域进行比对得到的；
将所述属于感兴趣区域的各个体素点进行连通，得到连通的感兴趣区域。
2.根据权利要求1所述的方法，其特征在于，所述通过已训练的三维卷积神经网络，识别所述待识别的三维CT图像中属于感兴趣区域的体素点，包括：
将所述待识别的三维CT图像输入到所述已训练的三维卷积神经网络中；
通过所述已训练的三维卷积神经网络对所述待识别的所述三维CT图像的体素点进行分类，识别出属于所述感兴趣区域的体素点。
3.根据权利要求1所述的方法，其特征在于，还包括：
根据所述属于感兴趣区域的体素点的个数，计算所述感兴趣区域的体积；
计算所述三维CT图像中每一层的感兴趣区域的面积，并获取面积最大的感兴趣区域；
从所述面积最大的感兴趣区域中确定多个关键点；
计算所述多个关键点中任意两个关键点之间的距离，并选取出距离最远的两个关键点；
将所述距离最远的两个关键点之间的距离作为最大径，将所述距离最远的两个关键点之间的方向作为最大扩张方向。
4.根据权利要求1所述的方法，其特征在于，所述三维卷积神经网络的训练过程包括：
将当前训练次数确定为1；
判断所述当前训练次数是否大于预设的阈值；
若所述当前训练次数不大于预设的阈值，获取已标注感兴趣区域的三维CT图像；
利用三维卷积神经网络，依据预设的感兴趣区域的灰阶值范围和所述三维卷积神经网络中预设的参数，对所述标注了感兴趣区域的三维CT图像进行层级化函数处理，得到预测的感兴趣区域；
将所述预测的感兴趣区域和已标注的感兴趣区域进行比对，得到交叉熵损失；根据所述交叉熵损失和反向传播算法，调整所述预设的参数；
将所述当前训练次数加1，并返回执行判断所述当前训练次数是否大于预设的阈值；
若所述当前训练次数大于预设的阈值，得到训练好的三维卷积神经网络。
5.根据权利要求4所述的方法，其特征在于，所述获取已标注感兴趣区域的三维CT图像，包括：
获取已标注敏感区域的三维CT图像；
从所述敏感区域中标注出感兴趣区域，得到标注感兴趣区域的三维CT图像。
6.一种自动识别三维CT图像中感兴趣区域的装置，其特征在于，包括：
图像获取单元，用于获取待识别的三维CT图像；
识别单元，用于通过已训练的三维卷积神经网络，识别所述待识别的三维CT图像中属于感兴趣区域的体素点；所述三维卷积神经网络是通过交叉熵损失对所述三维卷积神经网络中预设的参数进行调整，直到训练次数达到预设阈值；其中，所述交叉熵损失是通过三维卷积神经网络对已标注感兴趣区域的三维CT图像进行识别，得到预测的感兴趣区域，并将预测的感兴趣区域和已标注的感兴趣区域进行比对得到的；
连通单元，用于将所述属于感兴趣区域的各个体素点进行连通，得到连通的感兴趣区域。
7.根据权利要求6所述的装置，其特征在于，所述识别单元，包括：
输入子单元，用于将所述待识别的三维CT图像输入到所述已训练的三维卷积神经网络中；
识别子单元，用于通过所述已训练的三维卷积神经网络对所述待识别的所述三维CT图像的体素点进行分类，识别出属于所述感兴趣区域的体素点。
8.根据权利要求6所述的装置，其特征在于，还包括：
体积计算单元，用于根据所述属于感兴趣区域的体素点的个数，计算所述感兴趣区域的体积；
感兴趣区域获取单元，用于计算所述三维CT图像中每一层的感兴趣区域的面积，并获取面积最大的感兴趣区域；
关键点确认单元，用于从所述面积最大的感兴趣区域中确定多个关键点；
选取单元，用于计算所述多个关键点中任意两个关键点之间的距离，并选取出距离最远的两个关键点；
计算结果输出单元，用于将所述距离最远的两个关键点之间的距离作为最大径，将所述距离最远的两个关键点之间的方向作为最大扩张方向。
9.根据权利要求6所述的装置，其特征在于，还包括：三维卷积神经网络训练单元，具体用于：
将当前训练次数确定为1；
判断所述当前训练次数是否大于预设的阈值；
若所述当前训练次数不大于预设的阈值，获取已标注感兴趣区域的三维CT图像；
利用三维卷积神经网络，依据预设的感兴趣区域的灰阶值范围和所述三维卷积神经网络中预设的参数，对所述标注了感兴趣区域的三维CT图像进行层级化函数处理，得到预测的感兴趣区域；
将所述预测的感兴趣区域和已标注的感兴趣区域进行比对，得到交叉熵损失；
根据所述交叉熵损失和反向传播算法，调整所述预设的参数；
将所述当前训练次数加1，并返回执行判断所述当前训练次数是否大于预设的阈值；
若所述当前训练次数大于预设的阈值，得到训练好的三维卷积神经网络。
10.根据权利要求9所述的装置，其特征在于，所述三维卷积神经网络训练单元包括:第三获取单元,用于获取已标记感兴趣区域的三维CT图像，所述第三获取单元，包括：
获取子单元，用于获取已标注敏感区域的三维CT图像；
标注子单元，用于从所述敏感区域中标注出感兴趣区域，得到标注感兴趣区域的三维CT图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710666441.9A CN107480677B (zh) | 2017-08-07 | 2017-08-07 | 一种识别三维ct图像中感兴趣区域的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710666441.9A CN107480677B (zh) | 2017-08-07 | 2017-08-07 | 一种识别三维ct图像中感兴趣区域的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107480677A CN107480677A (zh) | 2017-12-15 |
| CN107480677B true CN107480677B (zh) | 2020-04-28 |
Family
ID=60598722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710666441.9A Active CN107480677B (zh) | 2017-08-07 | 2017-08-07 | 一种识别三维ct图像中感兴趣区域的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107480677B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108224895B (zh) * | 2018-01-08 | 2020-11-10 | 合肥美的智能科技有限公司 | 基于深度学习的物品信息录入方法、装置、冰箱和介质 |
| CN108171709A (zh) * | 2018-01-30 | 2018-06-15 | 北京青燕祥云科技有限公司 | 肝占位性病灶区域的检测方法、装置和实现装置 |
| CN108269272B (zh) * | 2018-01-31 | 2019-03-22 | 北京青燕祥云科技有限公司 | 肝部ct配准方法和系统 |
| CN108717700B (zh) * | 2018-04-09 | 2021-11-30 | 杭州依图医疗技术有限公司 | 一种检测结节长短径长度的方法及装置 |
| CN108648178A (zh) * | 2018-04-17 | 2018-10-12 | 杭州依图医疗技术有限公司 | 一种影像结节检测的方法及装置 |
| CN108593687B (zh) * | 2018-04-27 | 2021-05-25 | 中国科学院高能物理研究所 | 一种基于三维层析成像的快速缺陷检测方法 |
| CN110163834B (zh) * | 2018-05-14 | 2023-08-25 | 腾讯科技（深圳）有限公司 | 对象识别方法和装置及存储介质 |
| US11903771B2 (en) * | 2018-05-16 | 2024-02-20 | Koninklijke Philips N.V. | Automated tumor identification during surgery using machine-learning |
| CN109003260B (zh) * | 2018-06-28 | 2021-02-09 | 深圳视见医疗科技有限公司 | Ct图像肺结节检测方法、装置、设备及可读存储介质 |
| CN109685843B (zh) * | 2018-12-14 | 2023-12-26 | 强联智创（北京）科技有限公司 | 一种基于头颅ct影像的核心梗死体积的测量方法及系统 |
| CN109685796B (zh) * | 2018-12-26 | 2021-05-18 | 上海联影智能医疗科技有限公司 | 医学图像处理方法、装置、设备和存储介质 |
| CN109712131B (zh) * | 2018-12-27 | 2021-04-16 | 上海联影智能医疗科技有限公司 | 肺结节特征的量化方法、装置、电子设备及存储介质 |
| CN110070083A (zh) * | 2019-04-24 | 2019-07-30 | 深圳市微埃智能科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN110097128B (zh) * | 2019-05-07 | 2023-02-07 | 广东工业大学 | 医学图像分类装置及系统 |
| CN110738633B (zh) * | 2019-09-09 | 2023-06-20 | 西安电子科技大学 | 一种机体组织的三维图像处理方法及相关设备 |
| CN111553894A (zh) * | 2020-04-24 | 2020-08-18 | 上海杏脉信息科技有限公司 | 一种医学图像分割模型训练方法、介质及电子设备 |
| CN112699919B (zh) * | 2020-12-15 | 2024-02-27 | 广东工业大学 | 基于三维卷积神经网络模型的木材鉴别方法、装置 |
| CN114494183B (zh) * | 2022-01-25 | 2024-04-02 | 哈尔滨医科大学附属第一医院 | 一种基于人工智能的髋臼半径自动测量方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105938557A (zh) * | 2015-03-06 | 2016-09-14 | 松下知识产权经营株式会社 | 图像识别方法、图像识别装置 |
| CN106295627A (zh) * | 2015-05-12 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 用于识别文字牛皮癣图片的方法及装置 |
| CN106295496A (zh) * | 2015-06-24 | 2017-01-04 | 三星电子株式会社 | 脸部识别方法和设备 |
| CN106611423A (zh) * | 2016-12-30 | 2017-05-03 | 西安电子科技大学 | 基于脊波滤波器和反卷积结构模型的sar图像分割方法 |
| CN106780460A (zh) * | 2016-12-13 | 2017-05-31 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9965719B2 (en) * | 2015-11-04 | 2018-05-08 | Nec Corporation | Subcategory-aware convolutional neural networks for object detection |
-
2017
- 2017-08-07 CN CN201710666441.9A patent/CN107480677B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105938557A (zh) * | 2015-03-06 | 2016-09-14 | 松下知识产权经营株式会社 | 图像识别方法、图像识别装置 |
| CN106295627A (zh) * | 2015-05-12 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 用于识别文字牛皮癣图片的方法及装置 |
| CN106295496A (zh) * | 2015-06-24 | 2017-01-04 | 三星电子株式会社 | 脸部识别方法和设备 |
| CN106780460A (zh) * | 2016-12-13 | 2017-05-31 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测系统 |
| CN106611423A (zh) * | 2016-12-30 | 2017-05-03 | 西安电子科技大学 | 基于脊波滤波器和反卷积结构模型的sar图像分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107480677A (zh) | 2017-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107480677B (zh) | 一种识别三维ct图像中感兴趣区域的方法及装置 | |
| CN107492097B (zh) | 一种识别mri图像感兴趣区域的方法及装置 | |
| CN107292884B (zh) | 一种识别mri图像中水肿和血肿的方法及装置 | |
| CN106682435B (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
| CN108898595B (zh) | 一种胸部图像中病灶区域的定位模型的构建方法及应用 | |
| US9480439B2 (en) | Segmentation and fracture detection in CT images | |
| JP4999163B2 (ja) | 画像処理方法および装置ならびにプログラム | |
| US9277902B2 (en) | Method and system for lesion detection in ultrasound images | |
| US9536316B2 (en) | Apparatus and method for lesion segmentation and detection in medical images | |
| JP5851160B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
| CN112102237A (zh) | 基于半监督学习的脑部肿瘤识别模型的训练方法及装置 | |
| US8285013B2 (en) | Method and apparatus for detecting abnormal patterns within diagnosis target image utilizing the past positions of abnormal patterns | |
| KR102128325B1 (ko) | 이미지 처리 시스템 | |
| US10706534B2 (en) | Method and apparatus for classifying a data point in imaging data | |
| EP3973539A1 (en) | System and method for interpretation of multiple medical images using deep learning | |
| JPWO2007000940A1 (ja) | 異常陰影候補検出方法、異常陰影候補検出装置 | |
| CN112672691A (zh) | 一种超声成像方法及设备 | |
| CN111951215A (zh) | 一种图像检测方法、装置及计算机可读存储介质 | |
| US20190392552A1 (en) | Spine image registration method | |
| CN112568933B (zh) | 超声成像方法、设备和存储介质 | |
| JP2014221163A (ja) | 画像診断支援装置及び支援方法 | |
| CN113034528A (zh) | 基于影像组学的靶区及危及器官勾画轮廓准确性检验方法 | |
| CN110738633B (zh) | 一种机体组织的三维图像处理方法及相关设备 | |
| JP2001076141A (ja) | 画像認識方法および画像処理装置 | |
| US11783476B2 (en) | System and method for analyzing three-dimensional image data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190730 Address after: 100080 Haidian Street, Haidian District, Beijing Applicant after: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. Applicant after: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. Address before: 100080 Tianchuang Science and Technology Building 1106, No. 8 Caihefang Road, Haidian District, Beijing Applicant before: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200513 Address after: Room 705, building 8, No. 1818-2, Wenyi West Road, Yuhang District, Hangzhou City, Zhejiang Province Co-patentee after: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. Patentee after: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. Address before: 100080 Haidian Street, Haidian District, Beijing Co-patentee before: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. Patentee before: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Method and Device for Identifying Regions of Interest in 3D CT Images Effective date of registration: 20231007 Granted publication date: 20200428 Pledgee: Guotou Taikang Trust Co.,Ltd. Pledgor: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. Registration number: Y2023980059614 |