CN114820535A - 动脉瘤的图像检测方法、装置、计算机设备及存储介质 - Google Patents
动脉瘤的图像检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114820535A CN114820535A CN202210482674.4A CN202210482674A CN114820535A CN 114820535 A CN114820535 A CN 114820535A CN 202210482674 A CN202210482674 A CN 202210482674A CN 114820535 A CN114820535 A CN 114820535A
- Authority
- CN
- China
- Prior art keywords
- aneurysm
- target
- dimensional image
- prediction
- voxel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明实施例公开了一种动脉瘤的图像检测方法、装置、计算机设备及存储介质,其中方法包括:采用预设的滑动窗和预设的滑动步长配置,对所述目标头部三维图像进行三维图像块提取,以作为目标三维图像块,所述滑动步长配置中的与目标方向对应的滑动步长小于所述滑动窗的与所述目标方向对应的长度;将每个所述目标三维图像块输入预设的目标预测模型分别进三维图像块动脉瘤预测、体素动脉瘤预测及融合处理得到动脉瘤掩膜块;根据所述目标头部三维图像对各个所述动脉瘤掩膜块进行三维掩膜图像拼接得到动脉瘤三维掩膜图像。从而有利于尽量保证血管的完整性,避免血管截断处的特征与动脉瘤的特征混淆,降低了假阳性。
Description
技术领域
本发明涉及数字医疗技术领域,尤其涉及一种动脉瘤的图像检测方法、装置、 计算机设备及存储介质。
背景技术
颅内的动脉瘤是常见的可致死疾病,动脉瘤破裂会导致蛛网膜下腔出血,从 而导致高死亡率。颅内早期发现动脉瘤有助于对其进行测量,评估破裂风险,有 利于在临床中对未破裂的动脉瘤制定治疗方案。
目前基于影像的动脉瘤自动检测方法大多利用深度学习实现,但是这些方法 的假阳性较高,平均每个检查会有5-10个检测结果为假阳。深度学习的模型对 于区别动脉瘤及其他动脉异常的能力较弱,比如,对区分血管分支、血管扩张的 能力较弱,易将正常动脉部分误诊为动脉瘤,导致较高的假阳性。现有采用从原 始三维图像划分三维图像块进行动脉瘤预测,两个三维图像块的分割处的血管不 完整,导致血管截断处的特征与动脉瘤的特征混淆,导致较高的假阳性。专利公 开号为CN111369574A的专利提出了一种胸腔器官分割方法及装置,该专利采用 的方案为在分类结果大于待分割胸腔器官的预设阈值的情况下,将分割数据直接 确定为分割结果,该专利中的方法是将分类结果作为判断条件,从而不能抑制预 测过程中出现的假阳性。专利公开号为CN113130078A的专利提出了一种预测颅 内动脉瘤闭塞的方法,该专利采用的方案为对包含预设特征的概率和动脉瘤闭塞 的概率进行加权相加,该专利中的方法采用不同预测目标预测的概率进行加权相 加,从而不能抑制预测过程中出现的假阳性。
发明内容
基于此,有必要针对上述问题,提出了一种动脉瘤的图像检测方法、装置、 计算机设备及存储介质。
一种动脉瘤的图像检测方法,所述方法包括:
获取目标头部三维图像;
采用预设的滑动窗和预设的滑动步长配置,对所述目标头部三维图像进行三 维图像块提取,以作为目标三维图像块,其中,所述滑动步长配置中的与目标方 向对应的滑动步长小于所述滑动窗的与所述目标方向对应的长度,所述目标方向 为x方向、y方向和z方向中的任一个;
将每个所述目标三维图像块输入预设的目标预测模型分别进行三维图像块 动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜块;
根据所述目标头部三维图像,对各个所述动脉瘤掩膜块进行三维掩膜图像拼 接,得到动脉瘤三维掩膜图像。
进一步的,所述将每个所述目标三维图像块输入预设的目标预测模型分别进 行三维图像块动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜块的步 骤,包括:
采用所述目标预测模型的目标编码器,对每个所述目标三维图像块进行下采 样,得到多个单层采样特征;
采用所述目标预测模型的分类预测层,对所述目标编码器的最后一个编码层 对应的所述单层采样特征进行三维图像块的动脉瘤概率预测,得到图像块动脉瘤 预测概率;
采用所述目标预测模型的目标解码器,对各个所述单层采样特征进行体素动 脉瘤预测,得到体素动脉瘤概率掩膜块;
采用所述目标预测模型的目标融合层,对所述图像块动脉瘤预测概率和所述 体素动脉瘤概率掩膜块中的每个概率进行加权求和,得到所述动脉瘤掩膜块。
进一步的,所述根据所述目标头部三维图像,对各个所述动脉瘤掩膜块进行 三维掩膜图像拼接,得到动脉瘤三维掩膜图像的步骤,包括:
将所述目标头部三维图像中的每个体素,从各个所述动脉瘤掩膜块中获取各 个单体素动脉瘤预测值,得到单体素动脉瘤预测值集;
将各个所述单体素动脉瘤预测值集中的任一个作为目标单体素动脉瘤预测 值集;
若所述目标单体素动脉瘤预测值集中的所述单体素动脉瘤预测值的数量大 于1,则对所述目标单体素动脉瘤预测值集中的各个所述单体素动脉瘤预测值进 行平均值计算,得到单体素目标预测值;
若所述目标单体素动脉瘤预测值集中的所述单体素动脉瘤预测值的数量等 于1,则将所述目标单体素动脉瘤预测值集中的所述单体素动脉瘤预测值作为所 述单体素目标预测值;
对各个所述单体素目标预测值进行三维掩膜图像拼接,得到所述动脉瘤三维 掩膜图像。
进一步的,所述将每个所述目标三维图像块输入预设的目标预测模型分别进 行三维图像块动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜块的步 骤之前,还包括:
获取多个训练样本和初始模型;
将任一个所述训练样本作为目标训练样本;
将所述目标训练样本中的三维图像块样本输入所述初始模型进行动脉瘤预 测及体素动脉瘤预测,得到动脉瘤分类预测概率和训练预测掩膜块;
根据所述动脉瘤分类预测概率、所述训练预测掩膜块、所述目标训练样本中 的动脉瘤分类标签及掩膜块标签进行损失值计算,以形成目标损失值;
根据所述目标损失值更新所述初始模型的网络参数,并且将更新后的所述初 始模型用于下一次计算所述动脉瘤分类预测概率和所述训练预测掩膜块;
重复执行所述将任一个所述训练样本作为目标训练样本的步骤,直至达到预 设的模型训练结束条件;
将达到所述模型训练结束条件的所述初始模型作为所述目标预测模型。
进一步的,所述获取多个训练样本和初始模型的步骤之前,还包括:
获取头部三维图像样本集;
采用所述滑动窗和所述滑动步长配置,对所述头部三维图像样本集中的每个 头部三维图像样本进行三维图像块提取,得到初始三维图像块;
采用预设的数据增强配置,对每个所述初始三维图像块进行数据增强,得到 增强后三维图像块,其中,所述数据增强配置是根据旋转操作和/或翻转操作得到 的配置;
根据所述增强后三维图像块获取所述动脉瘤分类标签及所述掩膜块标签;
将同一个所述初始三维图像块对应的所述增强后三维图像块、所述动脉瘤分 类标签及所述掩膜块标签进行关联,得到所述训练样本。
进一步的,所述将所述目标训练样本中的三维图像块样本输入所述初始模型 进行动脉瘤预测及体素动脉瘤预测,得到动脉瘤分类预测概率和训练预测掩膜块 的步骤,包括:
将所述目标训练样本中的所述三维图像块样本输入所述初始模型的编码器 进行下采样,得到每个编码层对应的单层编码特征,其中,所述编码器包括顺序 相连的n个所述编码层,n为大于3的整数;
将第n个所述编码层对应的所述单层编码特征输入所述初始模型的分类预测 层进行三维图像块的动脉瘤概率预测,得到所述动脉瘤分类预测概率;
将各个所述单层编码特征输入所述初始模型的解码器进行体素动脉瘤预测, 得到体素动脉瘤预测掩膜块,其中,所述解码器包括顺序相连的n个解码层;
采用所述初始模型的的融合层,对所述动脉瘤分类预测概率和所述体素动脉 瘤预测掩膜块中的每个体素动脉瘤预测值进行加权求和,得到加权掩膜块;
将所述加权掩膜块中的小于预设的概率阈值的每个加权预测值设置为0,以 形成所述训练预测掩膜块。
进一步的,所述编码层包括:第一卷积层和池化层;
所述分类预测层依次包括:第二卷积层、全局自适应平均池化层、第一全连 接层和第二全连接层,所述第二全连接层采用softmax激活函数;
所述解码层包括转置卷积层和上采样层,第n个所述编码层对应的所述单层 编码特征作为第1个所述解码层的输入,将第n+1-i个所述编码层对应的所述单 层编码特征与第i-1个所述解码层的输出进行拼接,作为第i个拼接结果,将第i 个所述拼接结果作为第i个所述解码层的输入,其中,i是大于1的整数,并且i 小于或等于n。
本申请还提出了一种动脉瘤的图像检测装置,所述装置包括:
图像获取模块,用于获取目标头部三维图像;
目标三维图像块确定模块,用于采用预设的滑动窗和预设的滑动步长配置, 对所述目标头部三维图像进行三维图像块提取,以作为目标三维图像块,其中, 所述滑动步长配置中的与目标方向对应的滑动步长小于所述滑动窗的与所述目 标方向对应的长度,所述目标方向为x方向、y方向和z方向中的任一个;
动脉瘤掩膜块确定模块,用于将每个所述目标三维图像块输入预设的目标预 测模型分别进行三维图像块动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉 瘤掩膜块;
动脉瘤三维掩膜图像确定模块,用于根据所述目标头部三维图像,对各个所 述动脉瘤掩膜块进行三维掩膜图像拼接,得到动脉瘤三维掩膜图像。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所 述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:
获取目标头部三维图像;
采用预设的滑动窗和预设的滑动步长配置,对所述目标头部三维图像进行三 维图像块提取,以作为目标三维图像块,其中,所述滑动步长配置中的与目标方 向对应的滑动步长小于所述滑动窗的与所述目标方向对应的长度,所述目标方向 为x方向、y方向和z方向中的任一个;
将每个所述目标三维图像块输入预设的目标预测模型分别进行三维图像块 动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜块;
根据所述目标头部三维图像,对各个所述动脉瘤掩膜块进行三维掩膜图像拼 接,得到动脉瘤三维掩膜图像。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执 行时,使得所述处理器执行以下步骤:
获取目标头部三维图像;
采用预设的滑动窗和预设的滑动步长配置,对所述目标头部三维图像进行三 维图像块提取,以作为目标三维图像块,其中,所述滑动步长配置中的与目标方 向对应的滑动步长小于所述滑动窗的与所述目标方向对应的长度,所述目标方向 为x方向、y方向和z方向中的任一个;
将每个所述目标三维图像块输入预设的目标预测模型分别进行三维图像块 动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜块;
根据所述目标头部三维图像,对各个所述动脉瘤掩膜块进行三维掩膜图像拼 接,得到动脉瘤三维掩膜图像。
本申请的动脉瘤的图像检测方法,通过对目标预测模型经改进优化,将每个 所述目标三维图像块输入预设的目标预测模型分别进行三维图像块动脉瘤预测、 体素动脉瘤预测及融合处理,得到动脉瘤掩膜块,该预测模型得到的动脉瘤掩膜 块同时融合了图像块含有动脉瘤的概率及体素属于动脉瘤的概率,并通过融合处 理能够大大减小预测识别出现的假阳性;而且通过采用预设的滑动窗和预设的滑 动步长配置,对所述目标头部三维图像进行三维图像块提取,将提取的三维图像 块输入预设的目标预测模型分别进行动脉瘤预测及体素动脉瘤预测,因所述滑动 步长配置中的与目标方向对应的滑动步长小于所述滑动窗的与所述目标方向对 应的长度,所述目标方向为x方向、y方向和z方向中的任一个,提取到的三维 图像块存在重叠区域,从而使本申请的分割处的三维图像区域会位于至少一个三 维图像块的非边缘位置,有利于尽量保证血管的完整性,避免血管截断处的特征与动脉瘤的特征混淆,降低了假阳性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例 或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的 附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造 性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中动脉瘤的图像检测方法的流程图;
图2为一个实施例中的目标预测模型的结构框图;
图3为一个实施例中动脉瘤的图像检测装置的结构框图;
图4为一个实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、 完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的 实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前 提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,在一个实施例中,提供了一种动脉瘤的图像检测方法。该方法 既可以应用于终端,也可以应用于服务器,本实施例以应用于终端举例说明。该 动脉瘤的图像检测方法具体包括如下步骤:
S102:获取目标头部三维图像;
具体而言,可以获取用户输入的目标头部三维图像,也可以从数据库中获取 目标头部三维图像,还可以从第三方应用中获取目标头部三维图像。
目标头部三维图像,是需要进行动脉瘤预测的头部三维图像。头部三维图像, 是基于计算机断层血管造影术(CTA),对头部拍摄的三维图像。头部三维图像 可以看作是一个三维矩阵,该三维矩阵表述为x×y×z,其中,z为头部不同横 截面位置,x和y为头部某一截面。
S104:采用预设的滑动窗和预设的滑动步长配置,对所述目标头部三维图像 进行三维图像块提取,以作为目标三维图像块,其中,所述滑动步长配置中的与 目标方向对应的滑动步长小于所述滑动窗的与所述目标方向对应的长度,所述目 标方向为x方向、y方向和z方向中的任一个;
滑动窗,是一个三维的窗。
滑动步长配置包括:x方向滑动步长数值、y方向步长配置和z方向滑动步 长数值。z方向是与头部头顶垂直的方向,x方向和y方向均是与头部头顶平行 的方向,x方向和y方向垂直,z方向与x方向及y方向垂直。
可选的,x方向滑动步长数值为滑动窗在x方向的尺寸的一半,y方向步长 配置为滑动窗在y方向的尺寸的一半,z方向滑动步长数值均为滑动窗在z方向 的尺寸的一半。
具体而言,采样滑动窗,从所述目标头部三维图像中提取与滑动窗大小相同 的三维图像块,将提取的每个三维图像块作为一个目标三维图像块,其中,在提 取三维图像块的时候,滑动窗在x方向的移动步长与所述滑动步长配置中的x方 向滑动步长数值相同,滑动窗在y方向的移动步长与所述滑动步长配置中的y方 向步长配置相同,滑动窗在z方向的移动步长与所述滑动步长配置中的z方向滑 动步长数值相同。
因所述滑动步长配置中的与目标方向对应的滑动步长小于所述滑动窗的与 所述目标方向对应的长度,所述目标方向为x方向、y方向和z方向中的任一个, 从而可以提取存在重叠区域,从而使本申请的分割处的三维图像区域会位于至少 一个三维图像块的非边缘位置,有利于可以尽量保证血管的完整性,避免目标三 维图像块的血管截断处的特征与动脉瘤的特征混淆。
S106:将每个所述目标三维图像块输入预设的目标预测模型分别进行三维图 像块动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜块;
具体而言,将每个所述目标三维图像块输入预设的目标预测模型;目标预测 模型将针对所述目标三维图像块进行是否含动脉瘤预测,并且对所述目标三维图 像块的进行体素动脉瘤预测,以实现预测所述目标三维图像块的每个体素是否为 动脉瘤,将两种预测得到的数据进行融合,将融合得到的掩膜块作为动脉瘤掩膜 块。
S108:根据所述目标头部三维图像,对各个所述动脉瘤掩膜块进行三维掩膜 图像拼接,得到动脉瘤三维掩膜图像。
具体而言,参照所述目标头部三维图像中的体素的位置数据,对各个所述动 脉瘤掩膜块进行三维掩膜图像拼接,将拼接得到的三维掩膜图像作为所述动脉瘤 三维掩膜图像。
可以理解的是,所述动脉瘤三维掩膜图像,是所述目标头部三维图像的动脉 瘤的掩膜图像。所述动脉瘤三维掩膜图像中的第a行第b列第c高度的体素对应 的预测值,是对所述目标头部三维图像的第a行第b列第c高度的体素的属性是 否为动脉瘤的预测结果。
本实施例通过对目标预测模型经改进优化,将每个所述目标三维图像块输入 预设的目标预测模型分别进行三维图像块动脉瘤预测、体素动脉瘤预测及融合处 理,得到动脉瘤掩膜块,该预测模型得到的动脉瘤掩膜块同时融合了图像块含有 动脉瘤的概率及体素属于动脉瘤的概率,并通过融合处理能够大大减小预测识别 出现的假阳性;而且通过采用预设的滑动窗和预设的滑动步长配置,对所述目标 头部三维图像进行三维图像块提取,将提取的三维图像块输入预设的目标预测模 型分别进行动脉瘤预测及体素动脉瘤预测,因所述滑动步长配置中的与目标方向 对应的滑动步长小于所述滑动窗的与所述目标方向对应的长度,所述目标方向为 x方向、y方向和z方向中的任一个,提取到的三维图像块存在重叠区域,从而 使本申请的分割处的三维图像区域会位于至少一个三维图像块的非边缘位置,有 利于尽量保证血管的完整性,避免血管截断处的特征与动脉瘤的特征混淆,降低了假阳性。
在一个实施例中,上述获取目标头部三维图像的步骤,包括:
S202:获取目标CT血管造影三维图像;
具体而言,可以获取用户输入的目标CT血管造影三维图像,也可以从数据 库中获取目标CT血管造影三维图像,还可以从第三方应用中获取目标CT血管 造影三维图像。
目标CT血管造影三维图像,是需要进行动脉瘤预测的CT血管造影三维图 像。CT血管造影三维图像,是基于计算机断层血管造影术(CTA),对头部拍 摄的三维图像。
S204:从所述目标CT血管造影三维图像中提取头部对应的三维图像,作为 待处理三维图像;
具体而言,对所述目标CT血管造影三维图像进行裁剪,去除头部的边缘部 分对应的图像区域。
在医学影像中,通过前景、背景的识别,将背景图像区域(非扫描部位对应 的图像区域)裁剪掉。由于背景图像区域的Hu值远低于前景图像区域,可通过 阈值法,将高于预设阈值的部分设为1,低于或等于预设阈值的部分设为0,从 而获取二值化的前景掩模(值为0和1的三维矩阵)。通过前景掩模,将医学影 像中的背景图像区域截取掉。该操作通过去除无意义的背景图像区域,有效减小 计算量,提高了模型的效率。
Hu值,是计算机断层扫描(CT)中普遍使用的无量纲单位,用于标准、便 捷的表达CT数值。
S206:判定所述待处理三维图像的分辨率是否为预设的分辨率配置;
S208:若是,则将所述待处理三维图像作为所述目标头部三维图像;
具体而言,若是,也就是所述待处理三维图像的分辨率为预设的分辨率配置, 此时意味着所述待处理三维图像的分辨率已经达到模型要求,因此,将所述待处 理三维图像作为所述目标头部三维图像。
S210:若否,采用所述分辨率配置,对所述待处理三维图像进行重采样,得 到所述目标头部三维图像。
具体而言,若否,也就是所述待处理三维图像的分辨率不为预设的分辨率配 置,此时意味着所述待处理三维图像的分辨率没有达到模型要求,需要进行分辨 率调整,因此,采用所述分辨率配置,对所述待处理三维图像进行重采样,将重 采样得到的三维图像作为所述目标头部三维图像,也就是说,所述目标头部三维 图像的分辨率等于预设的分辨率配置。
本实施例通过先判断是否为预设的分辨率配置,若是预设的分辨率配置,则 不需进行重采样,若不是预设的分辨率配置,则进行重采样,从而使输入目标预 测模型的特征大小尽可能一致,有利于提高模型预测的准确性。
在一个实施例中,上述将每个所述目标三维图像块输入预设的目标预测模型 分别进行三维图像块动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜 块的步骤,包括:
S302:采用所述目标预测模型的目标编码器,对每个所述目标三维图像块进 行下采样,得到多个单层采样特征;
具体而言,采用所述目标预测模型的目标编码器对所述目标三维图像块进行 下采样,目标编码器的每个编码层将输出一个单层采样特征。
S304:采用所述目标预测模型的分类预测层,对所述目标编码器的最后一个 编码层对应的所述单层采样特征进行三维图像块的动脉瘤概率预测,得到图像块 动脉瘤预测概率;
具体而言,采用所述目标预测模型的分类预测层,对所述目标编码器的最后 一个编码层对应的所述单层采样特征进行三维图像块的动脉瘤概率预测,将预测 得到的概率作为图像块动脉瘤预测概率。
S306:采用所述目标预测模型的目标解码器,对各个所述单层采样特征进行 体素动脉瘤预测,得到体素动脉瘤概率掩膜块;
具体而言,采用所述目标预测模型的目标解码器,对各个所述单层采样特征 进行体素是动脉瘤的概率预测,将预测得到的各个概率组成体素动脉瘤概率掩膜 块。
也就是说,体素动脉瘤概率掩膜块中的体素与所述目标三维图像块中的体素 一一对应。
S308:采用所述目标预测模型的目标融合层,对所述图像块动脉瘤预测概率 和所述体素动脉瘤概率掩膜块中的每个概率进行加权求和,得到所述动脉瘤掩膜 块。
具体而言,采用所述目标预测模型的目标融合层,对所述图像块动脉瘤预测 概率和所述体素动脉瘤概率掩膜块中的每个概率进行加权求和,将加权求和得到 的概率组成所述动脉瘤掩膜块。
也就是说,所述动脉瘤掩膜块中的体素与所述目标三维图像块中的体素一一 对应。
可选的,所述采用所述目标预测模型的目标融合层,对所述图像块动脉瘤预 测概率和所述体素动脉瘤概率掩膜块中的每个概率进行加权求和,得到所述动脉 瘤掩膜块的步骤,包括:
S30802:采用所述目标预测模型的目标融合层,对所述图像块动脉瘤预测概 率和所述体素动脉瘤概率掩膜块中的每个概率进行加权求和,得到初始掩膜块;
S30804:从所述初始掩膜块中获取任一个体素作为待分析体素;
S30806:判断所述初始掩膜块中的与所述待分析体素对应的体素值是否大于 目标概率阈值;
S30808:若是,则从所述初始掩膜块中获取与所述待分析体素相邻的任一个 体素,作为待处理体素;
S30810:判断所述初始掩膜块中的与所述待处理体素对应的体素值是否位于 预设阈值范围,所述预设阈值范围的结束值小于或等于所述目标概率阈值;
S30812:若是,则根据所述初始掩膜块中的与所述待分析体素对应的体素值, 对所述初始掩膜块中的与所述待处理体素对应的体素值进行增强处理;
具体而言,根据所述初始掩膜块中的与所述待分析体素对应的体素值确定加 强系数,将所述初始掩膜块中的与所述待处理体素对应的体素值乘以加强系数, 以实现增强处理。
其中,所述加强系数是大于1的数值。
S30814:重复执行所述从所述初始掩膜块中获取任一个体素作为待分析体素 的步骤,直至完成所述初始掩膜块中的所有体素的获取,将所述初始掩膜块作为 所述动脉瘤掩膜块。
步骤S30802至步骤S30814,通过对体素值大于目标概率阈值的体素周围的 体素值大位于预设阈值范围内的体素进行增强处理,从而提高确定的动脉瘤掩膜 块的准确性。
可以理解的是,重复执行步骤S302至步骤S308,即可确定每个目标三维图 像块对应的动脉瘤掩膜块。
本实施例通过目标编码器对目标三维图像块提取全局特征,判断其是否含有 动脉瘤,然后采用目标解码器对目标编码器提取的全局特征进行局部特征的提取, 对目标三维图像块的每个体素的分割结果进行预测,实现了对疑似动脉瘤的体素 进行分割;通过对所述图像块动脉瘤预测概率和所述体素动脉瘤概率掩膜块中的 每个概率进行加权求和,得到所述动脉瘤掩膜块,融合了图像块含有动脉瘤的概 率和体素是动脉瘤的概率,通过加权操作能够在一定程度上抑制预测过程中出现 的假阳性。
如图2所示,M1是所述目标头部三维图像,M11是所述目标三维图像块, M2是目标编码器,M3是分类预测层,M4是目标解码器,M5是目标融合层。
在一个实施例中,上述根据所述目标头部三维图像,对各个所述动脉瘤掩膜 块进行三维掩膜图像拼接,得到动脉瘤三维掩膜图像的步骤,包括:
S402:将所述目标头部三维图像中的每个体素,从各个所述动脉瘤掩膜块中 获取各个单体素动脉瘤预测值,得到单体素动脉瘤预测值集;
具体而言,将所述目标头部三维图像中的每个体素,从各个所述动脉瘤掩膜 块中获取各个单体素动脉瘤预测值,将同一个体素对应的各个单体素动脉瘤预测 值作为单体素动脉瘤预测值集。
也就是说,所述单体素动脉瘤预测值集与所述目标头部三维图像中的体素一 一对应。
S404:将各个所述单体素动脉瘤预测值集中的任一个作为目标单体素动脉瘤 预测值集;
S406:若所述目标单体素动脉瘤预测值集中的所述单体素动脉瘤预测值的数 量大于1,则对所述目标单体素动脉瘤预测值集中的各个所述单体素动脉瘤预测 值进行平均值计算,得到单体素目标预测值;
具体而言,若所述目标单体素动脉瘤预测值集中的所述单体素动脉瘤预测值 的数量大于1,意味着,所述目标单体素动脉瘤预测值集对应的体素(是所述目 标头部三维图像中的体素)在步骤S104中被划分到了至少两个目标三维图像块, 因此,对所述目标单体素动脉瘤预测值集中的各个所述单体素动脉瘤预测值进行 平均值计算,将计算得到的平均值作为所述目标单体素动脉瘤预测值集对应的所 述单体素目标预测值。
S408:若所述目标单体素动脉瘤预测值集中的所述单体素动脉瘤预测值的数 量等于1,则将所述目标单体素动脉瘤预测值集中的所述单体素动脉瘤预测值作 为所述单体素目标预测值;
具体而言,若所述目标单体素动脉瘤预测值集中的所述单体素动脉瘤预测值 的数量等于1,意味着,所述目标单体素动脉瘤预测值集对应的体素在步骤S104 中只被划分到了一个目标三维图像块,因此,将所述目标单体素动脉瘤预测值集 中的所述单体素动脉瘤预测值作为所述单体素目标预测值。
S410:对各个所述单体素目标预测值进行三维掩膜图像拼接,得到所述动脉 瘤三维掩膜图像。
具体而言,按照所述单体素目标预测值对应的体素(是所述目标头部三维图 像中的体素)的位置关系,对各个所述单体素目标预测值进行三维掩膜图像拼接, 将拼接得到的三维掩膜图像作为所述动脉瘤三维掩膜图像。
本实施例通过将存在多个单体素动脉瘤预测值的体素进行平均值计算,使拼 接得到的三维掩膜图像的尺寸与目标头部三维图像相同,而且有利于提高了拼接 得到的三维掩膜图像的准确性;通过将存在多个单体素动脉瘤预测值的体素进行 平均值计算,提高了敏感度。
在一个实施例中,上述将每个所述目标三维图像块输入预设的目标预测模型 分别进行三维图像块动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜 块的步骤之前,还包括:
S502:获取多个训练样本和初始模型;
具体而言,可以获取用户输入的多个训练样本和初始模型,也可以从数据库 中获取多个训练样本和初始模型,还可以从第三方应用中获取多个训练样本和初 始模型。
可选的,初始模型是基于三维U-Net(语义分割)卷积神经网络得到的模型。
每个训练样本包括:三维图像块样本、动脉瘤分类标签和掩膜块标签。三维 图像块样本,是从头部三维图像中提取的三维图像块。动脉瘤分类标签,是对三 维图像块样本是否包含动脉瘤的准确标签。掩膜块标签,是对三维图像块样本中 的分割结果的准确标签。
若动脉瘤分类标签为0,则意味着三维图像块样本中不包含动脉瘤;若动脉 瘤分类标签为1,则意味着三维图像块样本中包含动脉瘤。
掩膜块标签,是一个大小与三维图像块样本相同的三维图像块。若掩膜块标 签中的体素的值为0,意味着该体素不是动脉瘤中的体素;若掩膜块标签中的体 素的值为1,意味着该体素是动脉瘤中的体素。
S504:将任一个所述训练样本作为目标训练样本;
S506:将所述目标训练样本中的三维图像块样本输入所述初始模型进行动脉 瘤预测及体素动脉瘤预测,得到动脉瘤分类预测概率和训练预测掩膜块;
动脉瘤分类预测概率包括一个值。动脉瘤分类预测概率的取值范围是0到1。 动脉瘤分类预测概率越接近1,说明所述目标训练样本中的三维图像块样本中包 含动脉瘤的可能性越大;动脉瘤分类预测概率越接近0,说明所述目标训练样本 中的三维图像块样本中包含动脉瘤的可能性越小。
具体而言,将所述目标训练样本中的三维图像块样本输入所述初始模型;所 述初始模型将针对所述目标三维图像块是否含动脉瘤进行预测,得到动脉瘤分类 预测概率;并且对所述目标三维图像块的分割进行预测,得到体素动脉瘤预测掩 膜块;将体素动脉瘤预测掩膜块和动脉瘤分类预测概率进行融合,得到所述训练 预测掩膜块。
S508:根据所述动脉瘤分类预测概率、所述训练预测掩膜块、所述目标训练 样本中的动脉瘤分类标签及掩膜块标签进行损失值计算,以形成目标损失值;
具体而言,将所述动脉瘤分类预测概率和所述目标训练样本中的所述动脉瘤 分类标签输入第一损失函数进行第一损失值计算,其中,所述第一损失函数是基 于交叉熵损失函数得到的函数;将所述训练预测掩膜块和所述目标训练样本中的 所述掩膜块标签输入第二损失函数进行第二损失值计算,其中,所述第二损失函 数是基于Dice损失函数得到的函数;对所述第一损失值和所述第二损失值进行 加权求和,得到所述目标损失值。
Dice损失函数,是分割模型中常用的损失函数,用于计算Dice损失。Dice 损失,是根据Dice系数得到的损失。Dice系数,是一种集合相似度度量函数, 通常用于计算两个样本的相似度(值得范围为[0,1])。
S510:根据所述目标损失值更新所述初始模型的网络参数,并且将更新后的 所述初始模型用于下一次计算所述动脉瘤分类预测概率和所述训练预测掩膜块;
具体而言,根据所述目标损失值更新所述初始模型的网络参数的步骤在此不 做赘述。
S512:重复执行所述将任一个所述训练样本作为目标训练样本的步骤,直至 达到预设的模型训练结束条件;
具体而言,重复执行所述将任一个所述训练样本作为目标训练样本的步骤, 也就是重复执行步骤S504至步骤S512,直至达到预设的模型训练结束条件,当 达到所述模型训练结束条件时,停止重复执行步骤S504至步骤S512,开始执行 步骤S514。
可选的,所述模型训练结束条件为目标损失值收敛于预设数值。
S514:将达到所述模型训练结束条件的所述初始模型作为所述目标预测模型。
具体而言,达到所述模型训练结束条件的所述初始模型,是已经符合要求的 模型,因此将达到所述模型训练结束条件的所述初始模型作为所述目标预测模型。
本实施例通过根据所述动脉瘤分类预测概率、所述训练预测掩膜块、所述目 标训练样本中的动脉瘤分类标签及掩膜块标签进行损失值计算,从而同时考虑了 分类损失和分割损失,有利于进一步降低血管截断处的特征与动脉瘤的特征混淆, 进一步降低了假阳性。
在一个实施例中,上述获取多个训练样本和初始模型的步骤之前,还包括:
S602:获取头部三维图像样本集;
具体而言,可以获取用户输入的头部三维图像样本集,也可以从数据库中获 取头部三维图像样本集,还可以从第三方应用中获取头部三维图像样本集。
头部三维图像样本集中包括多个头部三维图像样本。
头部三维图像样本,也就是头部三维图像。
S604:采用所述滑动窗和所述滑动步长配置,对所述头部三维图像样本集中 的每个头部三维图像样本进行三维图像块提取,得到初始三维图像块;
具体而言,采样滑动窗,在所述头部三维图像样本集中的每个头部三维图像 样本提取与滑动窗大小相同的三维图像块,将提取的每个三维图像块作为一个初 始三维图像块,其中,在提取初始三维图像块的时候,滑动窗在x方向的移动步 长与所述滑动步长配置中的x方向滑动步长数值相同,滑动窗在y方向的移动步 长与所述滑动步长配置中的y方向步长配置相同,滑动窗在z方向的移动步长与 所述滑动步长配置中的z方向滑动步长数值相同。
S606:采用预设的数据增强配置,对每个所述初始三维图像块进行数据增强, 得到增强后三维图像块,其中,所述数据增强配置是根据旋转操作和/或翻转操作 得到的配置;
其中,所述数据增强配置包括:方法序号产生函数和操作方法集;方法序号 产生函数,是用于产生方法序号的随机函数。操作方法集包括:方法序号、增强 方法和方法配置。增强方法的取值范围包括旋转操作和/或翻转操作。方法配置, 是增强方法进行增强时候的配置。比如,增强方法是翻转操作,该增强方法对应 的方法配置为随机翻转。又比如,增强方法是翻转操作,该增强方法对应的方法 配置为上下翻转。
具体而言,将任一个所述初始三维图像块作为待增强三维图像块;采用预设 的数据增强配置的方法序号产生函数产生方法序号;根据产生的方法序号在操作 方法集中对应的增强方法及方法配置,对所述待增强三维图像块进行数据增强, 将数据增强后的所述初始三维图像块作为一个增强后三维图像块。
S608:根据所述增强后三维图像块获取所述动脉瘤分类标签及所述掩膜块标 签;
具体而言,根据所述增强后三维图像块获取用户输入的所述动脉瘤分类标签 及所述掩膜块标签。
S610:将同一个所述初始三维图像块对应的所述增强后三维图像块、所述动 脉瘤分类标签及所述掩膜块标签进行关联,得到所述训练样本。
具体而言,将同一个所述初始三维图像块对应的所述增强后三维图像块、所 述动脉瘤分类标签及所述掩膜块标签进行关联,将关联后的数据作为一个所述训 练样本。也就是说,所述增强后三维图像块将作为所述训练样本中的三维图像块 样本。
本实施例根据数据增强后的初始三维图像块生成训练样本,提高了训练样本 的丰富性,有利于提高模型训练的效率和准确性。
在一个实施例中,上述将所述目标训练样本中的三维图像块样本输入所述初 始模型进行动脉瘤预测及体素动脉瘤预测,得到动脉瘤分类预测概率和训练预测 掩膜块的步骤,包括:
S702:将所述目标训练样本中的所述三维图像块样本输入所述初始模型的编 码器进行下采样,得到每个编码层对应的单层编码特征,其中,所述编码器包括 顺序相连的n个所述编码层,n为大于3的整数;
其中,所述编码器的n个所述编码层顺序相连,从而实现了各个所述编码层 的线性连接。
具体而言,将所述目标训练样本中的所述三维图像块样本输入所述初始模型 的编码器进行下采样的第1个所述编码层,将第j-1个所述编码层输出的单层编 码特征作为第j个所述编码层的输入,其中,j是大于1的整数,j小于或等于n。
n为大于3的整数,意味着编码器的所述编码层的数量至少为4个。
S704:将第n个所述编码层对应的所述单层编码特征输入所述初始模型的分 类预测层进行三维图像块的动脉瘤概率预测,得到所述动脉瘤分类预测概率;
具体而言,将第n个所述编码层对应的所述单层编码特征输入所述初始模型 的分类预测层,所述分类预测层对所述目标训练样本中的所述三维图像块样本进 行是否含有动脉瘤的概率预测,将预测得到的概率作为所述动脉瘤分类预测概率。
S706:将各个所述单层编码特征输入所述初始模型的解码器进行体素动脉瘤 预测,得到体素动脉瘤预测掩膜块,其中,所述解码器包括顺序相连的n个解码 层;
其中,所述解码器的n个所述解码层顺序相连,从而实现了各个所述解码层 的线性连接。
具体而言,将第n个所述编码层输出的所述单层编码特征输入第1个所述解 码层,将第n+1-i个所述编码层输出的所述单层编码特征与第i-1个所述解码层的 输出特征一起作为第i个所述解码层的输入,将第n个所述编码层的输出特征作 为所述体素动脉瘤预测掩膜块,其中,i是大于1的整数,并且i小于或等于n。
S708:采用所述初始模型的的融合层,对所述动脉瘤分类预测概率和所述体 素动脉瘤预测掩膜块中的每个体素动脉瘤预测值进行加权求和,得到加权掩膜块;
具体而言,采用所述初始模型的的融合层,对所述动脉瘤分类预测概率和所 述体素动脉瘤预测掩膜块中的每个体素动脉瘤预测值进行加权求和,得到加权预 测值,也就是说加权预测值与所述训练预测掩膜块中的体素动脉瘤预测值一一对 应;将各个加权预测值按位置数据(也就是加权预测值在所述三维图像块样本中 对应的体素的位置数据)组合成加权掩膜块。
所述体素动脉瘤预测掩膜块中的体素动脉瘤预测值,是对所述目标训练样本 中的所述三维图像块样本中的体素对应的头部组织为动脉瘤的概率的预测。
S710:将所述加权掩膜块中的小于预设的概率阈值的每个加权预测值设置为 0,以形成所述训练预测掩膜块。
具体而言,若所述加权掩膜块中的所述预测值若小于预设的概率阈值,意味 着不含有动脉瘤的病灶,若所述加权掩膜块中的所述加权预测值若大于或等于预 设的概率阈值,意味着含有动脉瘤的病灶,因此,将所述加权掩膜块中的小于预 设的概率阈值的每个所述加权预测值设置为0,以实现将不含有动脉瘤的病灶的 体素作为背景,从而使形成的所述训练预测掩膜块中包含为背景(所述加权预测 值等于0)和动脉瘤(所述加权预测值大于0)的体素。
本实施例通过编码器对三维图像块样本提取全局特征,判断其是否含有动脉 瘤,然后采用解码器对编码器提取的全局特征进行局部特征的提取,对三维图像 块样本的每个体素的分割结果进行预测,实现了对疑似动脉瘤的体素进行分割; 通过采用所述初始模型的的融合层,对所述动脉瘤分类预测概率和所述体素动脉 瘤预测掩膜块中的每个体素动脉瘤预测值进行加权求和,得到加权掩膜块,从而 使初始模型在同时考虑分类损失和分割损失的情况下,融合了图像块含有动脉瘤 的概率和体素动脉瘤预测值,通过加权操作能够在一定程度上抑制预测过程中出 现的假阳性。
在一个实施例中,上述编码层包括:第一卷积层和池化层;
所述分类预测层依次包括:第二卷积层、全局自适应平均池化层、第一全连 接层和第二全连接层,所述第二全连接层采用softmax激活函数;
所述解码层包括转置卷积层和上采样层,第n个所述编码层对应的所述单层 编码特征作为第1个所述解码层的输入,将第n+1-i个所述编码层对应的所述单 层编码特征与第i-1个所述解码层的输出进行拼接,作为第i个拼接结果,将第i 个所述拼接结果作为第i个所述解码层的输入,其中,i是大于1的整数,并且i 小于或等于n。
本实施例通过将第n+1-i个所述编码层对应的所述单层编码特征与第i-1个所 述解码层的输出进行拼接作为第i个所述解码层的输入,使编码器和解码器之间 能够共享信息。
其中,第一卷积层是卷积层,第一卷积层的卷积核尺寸为3;所述池化层的 卷积核尺寸为2,所述池化层采用最大池化。
所述编码层,利用第一卷积层提取多尺度特征,然后采用池化层进行下采样。
第二卷积层是卷积层,第二卷积层是1×1×1的卷积层。第二卷积层用于提 取特征并降低维度。
第一全连接层和第二全连接层均是全连接层,所述第二全连接层的神经元的 数量为1。
可选的,第一全连接层的神经元的数量为100。
softmax激活函数,归一化激活函数。
所述全局自适应平均池化层,又称为自适应全局平均池化层,是采用平均池 化的全局自适应池化层。
所述转置卷积层,又称为反卷积层或分数卷积层。所述转置卷积层的卷积核 尺寸为3。
所述上采样层,用于将特征图还原到原始图大小。
如图3所示,本申请还提出了一种动脉瘤的图像检测装置,所述装置包括:
图像获取模块802,用于获取目标头部三维图像;
目标三维图像块确定模块804,用于采用预设的滑动窗和预设的滑动步长配 置,对所述目标头部三维图像进行三维图像块提取,以作为目标三维图像块,其 中,所述滑动步长配置中的与目标方向对应的滑动步长小于所述滑动窗的与所述 目标方向对应的长度,所述目标方向为x方向、y方向和z方向中的任一个;
动脉瘤掩膜块确定模块806,用于将每个所述目标三维图像块输入预设的目 标预测模型分别进行三维图像块动脉瘤预测、体素动脉瘤预测及融合处理,得到 动脉瘤掩膜块;
动脉瘤三维掩膜图像确定模块808,用于根据所述目标头部三维图像,对各 个所述动脉瘤掩膜块进行三维掩膜图像拼接,得到动脉瘤三维掩膜图像。
本实施例通过对目标预测模型经改进优化,将每个所述目标三维图像块输入 预设的目标预测模型分别进行三维图像块动脉瘤预测、体素动脉瘤预测及融合处 理,得到动脉瘤掩膜块,该预测模型得到的动脉瘤掩膜块同时融合了图像块含有 动脉瘤的概率及体素属于动脉瘤的概率,并通过融合处理能够大大减小预测识别 出现的假阳性;而且通过采用预设的滑动窗和预设的滑动步长配置,对所述目标 头部三维图像进行三维图像块提取,将提取的三维图像块输入预设的目标预测模 型分别进行动脉瘤预测及体素动脉瘤预测,因所述滑动步长配置中的与目标方向 对应的滑动步长小于所述滑动窗的与所述目标方向对应的长度,所述目标方向为 x方向、y方向和z方向中的任一个,提取到的三维图像块存在重叠区域,从而 使本申请的分割处的三维图像区域会位于至少一个三维图像块的非边缘位置,有 利于尽量保证血管的完整性,避免血管截断处的特征与动脉瘤的特征混淆,降低了假阳性。
图4示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以 是终端,也可以是服务器。如图4所示,该计算机设备包括通过系统总线连接的 处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。 该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该 计算机程序被处理器执行时,可使得处理器实现动脉瘤的图像检测方法。该内存 储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执 行动脉瘤的图像检测方法。本领域技术人员可以理解,图4中示出的结构,仅仅 是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的 计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件, 或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提出了一种计算机设备,包括存储器和处理器,所述存储 器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执 行以下步骤:
获取目标头部三维图像;
采用预设的滑动窗和预设的滑动步长配置,对所述目标头部三维图像进行三 维图像块提取,以作为目标三维图像块,其中,所述滑动步长配置中的与目标方 向对应的滑动步长小于所述滑动窗的与所述目标方向对应的长度,所述目标方向 为x方向、y方向和z方向中的任一个;
将每个所述目标三维图像块输入预设的目标预测模型分别进行三维图像块 动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜块;
根据所述目标头部三维图像,对各个所述动脉瘤掩膜块进行三维掩膜图像拼 接,得到动脉瘤三维掩膜图像。
本实施例通过对目标预测模型经改进优化,将每个所述目标三维图像块输入 预设的目标预测模型分别进行三维图像块动脉瘤预测、体素动脉瘤预测及融合处 理,得到动脉瘤掩膜块,该预测模型得到的动脉瘤掩膜块同时融合了图像块含有 动脉瘤的概率及体素属于动脉瘤的概率,并通过融合处理能够大大减小预测识别 出现的假阳性;而且通过采用预设的滑动窗和预设的滑动步长配置,对所述目标 头部三维图像进行三维图像块提取,将提取的三维图像块输入预设的目标预测模 型分别进行动脉瘤预测及体素动脉瘤预测,因所述滑动步长配置中的与目标方向 对应的滑动步长小于所述滑动窗的与所述目标方向对应的长度,所述目标方向为 x方向、y方向和z方向中的任一个,提取到的三维图像块存在重叠区域,从而 使本申请的分割处的三维图像区域会位于至少一个三维图像块的非边缘位置,有 利于尽量保证血管的完整性,避免血管截断处的特征与动脉瘤的特征混淆,降低了假阳性。
在一个实施例中,提出了一种计算机可读存储介质,存储有计算机程序,所 述计算机程序被处理器执行时,使得所述处理器执行以下步骤:
获取目标头部三维图像;
采用预设的滑动窗和预设的滑动步长配置,对所述目标头部三维图像进行三 维图像块提取,以作为目标三维图像块,其中,所述滑动步长配置中的与目标方 向对应的滑动步长小于所述滑动窗的与所述目标方向对应的长度,所述目标方向 为x方向、y方向和z方向中的任一个;
将每个所述目标三维图像块输入预设的目标预测模型分别进行三维图像块 动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜块;
根据所述目标头部三维图像,对各个所述动脉瘤掩膜块进行三维掩膜图像拼 接,得到动脉瘤三维掩膜图像。
本实施例通过对目标预测模型经改进优化,将每个所述目标三维图像块输入 预设的目标预测模型分别进行三维图像块动脉瘤预测、体素动脉瘤预测及融合处 理,得到动脉瘤掩膜块,该预测模型得到的动脉瘤掩膜块同时融合了图像块含有 动脉瘤的概率及体素属于动脉瘤的概率,并通过融合处理能够大大减小预测识别 出现的假阳性;而且通过采用预设的滑动窗和预设的滑动步长配置,对所述目标 头部三维图像进行三维图像块提取,将提取的三维图像块输入预设的目标预测模 型分别进行动脉瘤预测及体素动脉瘤预测,因所述滑动步长配置中的与目标方向 对应的滑动步长小于所述滑动窗的与所述目标方向对应的长度,所述目标方向为 x方向、y方向和z方向中的任一个,提取到的三维图像块存在重叠区域,从而 使本申请的分割处的三维图像区域会位于至少一个三维图像块的非边缘位置,有 利于尽量保证血管的完整性,避免血管截断处的特征与动脉瘤的特征混淆,降低了假阳性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是 可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性 计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流 程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它 介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括 只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除 可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者 外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态 RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率 SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线 动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实 施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的 组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细, 但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的 普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进, 这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求 为准。
Claims (10)
1.一种动脉瘤的图像检测方法,所述方法包括:
获取目标头部三维图像;
采用预设的滑动窗和预设的滑动步长配置,对所述目标头部三维图像进行三维图像块提取,以作为目标三维图像块,其中,所述滑动步长配置中的与目标方向对应的滑动步长小于所述滑动窗的与所述目标方向对应的长度,所述目标方向为x方向、y方向和z方向中的任一个;
将每个所述目标三维图像块输入预设的目标预测模型分别进行三维图像块动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜块;
根据所述目标头部三维图像,对各个所述动脉瘤掩膜块进行三维掩膜图像拼接,得到动脉瘤三维掩膜图像。
2.根据权利要求1所述的动脉瘤的图像检测方法,其特征在于,所述将每个所述目标三维图像块输入预设的目标预测模型分别进行三维图像块动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜块的步骤,包括:
采用所述目标预测模型的目标编码器,对每个所述目标三维图像块进行下采样,得到多个单层采样特征;
采用所述目标预测模型的分类预测层,对所述目标编码器的最后一个编码层对应的所述单层采样特征进行三维图像块的动脉瘤概率预测,得到图像块动脉瘤预测概率;
采用所述目标预测模型的目标解码器,对各个所述单层采样特征进行体素动脉瘤预测,得到体素动脉瘤概率掩膜块;
采用所述目标预测模型的目标融合层,对所述图像块动脉瘤预测概率和所述体素动脉瘤概率掩膜块中的每个概率进行加权求和,得到所述动脉瘤掩膜块。
3.根据权利要求1所述的动脉瘤的图像检测方法,其特征在于,所述根据所述目标头部三维图像,对各个所述动脉瘤掩膜块进行三维掩膜图像拼接,得到动脉瘤三维掩膜图像的步骤,包括:
将所述目标头部三维图像中的每个体素,从各个所述动脉瘤掩膜块中获取各个单体素动脉瘤预测值,得到单体素动脉瘤预测值集;
将各个所述单体素动脉瘤预测值集中的任一个作为目标单体素动脉瘤预测值集;
若所述目标单体素动脉瘤预测值集中的所述单体素动脉瘤预测值的数量大于1,则对所述目标单体素动脉瘤预测值集中的各个所述单体素动脉瘤预测值进行平均值计算,得到单体素目标预测值;
若所述目标单体素动脉瘤预测值集中的所述单体素动脉瘤预测值的数量等于1,则将所述目标单体素动脉瘤预测值集中的所述单体素动脉瘤预测值作为所述单体素目标预测值;
对各个所述单体素目标预测值进行三维掩膜图像拼接,得到所述动脉瘤三维掩膜图像。
4.根据权利要求1所述的动脉瘤的图像检测方法,其特征在于,所述将每个所述目标三维图像块输入预设的目标预测模型分别进行三维图像块动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜块的步骤之前,还包括:
获取多个训练样本和初始模型;
将任一个所述训练样本作为目标训练样本;
将所述目标训练样本中的三维图像块样本输入所述初始模型进行动脉瘤预测及体素动脉瘤预测,得到动脉瘤分类预测概率和训练预测掩膜块;
根据所述动脉瘤分类预测概率、所述训练预测掩膜块、所述目标训练样本中的动脉瘤分类标签及掩膜块标签进行损失值计算,以形成目标损失值;
根据所述目标损失值更新所述初始模型的网络参数,并且将更新后的所述初始模型用于下一次计算所述动脉瘤分类预测概率和所述训练预测掩膜块;
重复执行所述将任一个所述训练样本作为目标训练样本的步骤,直至达到预设的模型训练结束条件;
将达到所述模型训练结束条件的所述初始模型作为所述目标预测模型。
5.根据权利要求4所述的动脉瘤的图像检测方法,其特征在于,所述获取多个训练样本和初始模型的步骤之前,还包括:
获取头部三维图像样本集;
采用所述滑动窗和所述滑动步长配置,对所述头部三维图像样本集中的每个头部三维图像样本进行三维图像块提取,得到初始三维图像块;
采用预设的数据增强配置,对每个所述初始三维图像块进行数据增强,得到增强后三维图像块,其中,所述数据增强配置是根据旋转操作和/或翻转操作得到的配置;
根据所述增强后三维图像块获取所述动脉瘤分类标签及所述掩膜块标签;
将同一个所述初始三维图像块对应的所述增强后三维图像块、所述动脉瘤分类标签及所述掩膜块标签进行关联,得到所述训练样本。
6.根据权利要求4所述的动脉瘤的图像检测方法,其特征在于,所述将所述目标训练样本中的三维图像块样本输入所述初始模型进行动脉瘤预测及体素动脉瘤预测,得到动脉瘤分类预测概率和训练预测掩膜块的步骤,包括:
将所述目标训练样本中的所述三维图像块样本输入所述初始模型的编码器进行下采样,得到每个编码层对应的单层编码特征,其中,所述编码器包括顺序相连的n个所述编码层,n为大于3的整数;
将第n个所述编码层对应的所述单层编码特征输入所述初始模型的分类预测层进行三维图像块的动脉瘤概率预测,得到所述动脉瘤分类预测概率;
将各个所述单层编码特征输入所述初始模型的解码器进行体素动脉瘤预测,得到体素动脉瘤预测掩膜块,其中,所述解码器包括顺序相连的n个解码层;
采用所述初始模型的的融合层,对所述动脉瘤分类预测概率和所述体素动脉瘤预测掩膜块中的每个体素动脉瘤预测值进行加权求和,得到加权掩膜块;
将所述加权掩膜块中的小于预设的概率阈值的每个加权预测值设置为0,以形成所述训练预测掩膜块。
7.根据权利要求6所述的动脉瘤的图像检测方法,其特征在于,所述编码层包括:第一卷积层和池化层;
所述分类预测层依次包括:第二卷积层、全局自适应平均池化层、第一全连接层和第二全连接层,所述第二全连接层采用softmax激活函数;
所述解码层包括转置卷积层和上采样层,第n个所述编码层对应的所述单层编码特征作为第1个所述解码层的输入,将第n+1-i个所述编码层对应的所述单层编码特征与第i-1个所述解码层的输出进行拼接,作为第i个拼接结果,将第i个所述拼接结果作为第i个所述解码层的输入,其中,i是大于1的整数,并且i小于或等于n。
8.一种动脉瘤的图像检测装置,其特征在于,所述装置包括:
图像获取模块,用于获取目标头部三维图像;
目标三维图像块确定模块,用于采用预设的滑动窗和预设的滑动步长配置,对所述目标头部三维图像进行三维图像块提取,以作为目标三维图像块,其中,所述滑动步长配置中的与目标方向对应的滑动步长小于所述滑动窗的与所述目标方向对应的长度,所述目标方向为x方向、y方向和z方向中的任一个;
动脉瘤掩膜块确定模块,用于将每个所述目标三维图像块输入预设的目标预测模型分别进行三维图像块动脉瘤预测、体素动脉瘤预测及融合处理,得到动脉瘤掩膜块;
动脉瘤三维掩膜图像确定模块,用于根据所述目标头部三维图像,对各个所述动脉瘤掩膜块进行三维掩膜图像拼接,得到动脉瘤三维掩膜图像。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210482674.4A CN114820535B (zh) | 2022-05-05 | 2022-05-05 | 动脉瘤的图像检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210482674.4A CN114820535B (zh) | 2022-05-05 | 2022-05-05 | 动脉瘤的图像检测方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114820535A true CN114820535A (zh) | 2022-07-29 |
CN114820535B CN114820535B (zh) | 2023-09-12 |
Family
ID=82512235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210482674.4A Active CN114820535B (zh) | 2022-05-05 | 2022-05-05 | 动脉瘤的图像检测方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114820535B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115457024A (zh) * | 2022-10-10 | 2022-12-09 | 水木未来(杭州)科技有限公司 | 冷冻电镜图像处理方法、装置、电子设备及存储介质 |
CN117274557A (zh) * | 2023-11-20 | 2023-12-22 | 首都师范大学 | 三维图像的数据增强方法、装置、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107767378A (zh) * | 2017-11-13 | 2018-03-06 | 浙江中医药大学 | 基于深度神经网络的gbm多模态磁共振图像分割方法 |
CN109003260A (zh) * | 2018-06-28 | 2018-12-14 | 深圳视见医疗科技有限公司 | Ct图像肺结节检测方法、装置、设备及可读存储介质 |
IT201800001656A1 (it) * | 2018-01-23 | 2019-07-23 | Centro Cardiologico Spa Fond Monzino In Forma Abbreviata Centro Cardiologico Monzino Spa | Metodo di elaborazione di immagini e metodo per la determinazione di caratteristiche quantitative e/o qualitative degli oggetti riprodotti in una immagine, sistema per l’elaborazione di immagini e sistema per la determinazione di caratteristiche quantitative e/o qualitative degli oggetti riprodotti in una immagine |
CN111340825A (zh) * | 2020-03-05 | 2020-06-26 | 上海市肺科医院(上海市职业病防治院) | 一种纵膈淋巴结分割模型的生成方法及系统 |
WO2020165196A1 (en) * | 2019-02-14 | 2020-08-20 | Carl Zeiss Meditec Ag | System for oct image translation, ophthalmic image denoising, and neural network therefor |
WO2020224123A1 (zh) * | 2019-06-24 | 2020-11-12 | 浙江大学 | 一种基于深度学习的致痫灶三维自动定位系统 |
CN113012166A (zh) * | 2021-03-19 | 2021-06-22 | 北京安德医智科技有限公司 | 颅内动脉瘤分割方法及装置、电子设备和存储介质 |
CN113436166A (zh) * | 2021-06-24 | 2021-09-24 | 深圳市铱硙医疗科技有限公司 | 基于磁共振血管造影数据的颅内动脉瘤检测方法及系统 |
-
2022
- 2022-05-05 CN CN202210482674.4A patent/CN114820535B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107767378A (zh) * | 2017-11-13 | 2018-03-06 | 浙江中医药大学 | 基于深度神经网络的gbm多模态磁共振图像分割方法 |
IT201800001656A1 (it) * | 2018-01-23 | 2019-07-23 | Centro Cardiologico Spa Fond Monzino In Forma Abbreviata Centro Cardiologico Monzino Spa | Metodo di elaborazione di immagini e metodo per la determinazione di caratteristiche quantitative e/o qualitative degli oggetti riprodotti in una immagine, sistema per l’elaborazione di immagini e sistema per la determinazione di caratteristiche quantitative e/o qualitative degli oggetti riprodotti in una immagine |
CN109003260A (zh) * | 2018-06-28 | 2018-12-14 | 深圳视见医疗科技有限公司 | Ct图像肺结节检测方法、装置、设备及可读存储介质 |
WO2020165196A1 (en) * | 2019-02-14 | 2020-08-20 | Carl Zeiss Meditec Ag | System for oct image translation, ophthalmic image denoising, and neural network therefor |
WO2020224123A1 (zh) * | 2019-06-24 | 2020-11-12 | 浙江大学 | 一种基于深度学习的致痫灶三维自动定位系统 |
CN111340825A (zh) * | 2020-03-05 | 2020-06-26 | 上海市肺科医院(上海市职业病防治院) | 一种纵膈淋巴结分割模型的生成方法及系统 |
CN113012166A (zh) * | 2021-03-19 | 2021-06-22 | 北京安德医智科技有限公司 | 颅内动脉瘤分割方法及装置、电子设备和存储介质 |
CN113436166A (zh) * | 2021-06-24 | 2021-09-24 | 深圳市铱硙医疗科技有限公司 | 基于磁共振血管造影数据的颅内动脉瘤检测方法及系统 |
Non-Patent Citations (2)
Title |
---|
ALENA-KATHRIN GOLLA: "Convolutional Neural Network Ensemble Segmentation With Ratio-Based Sampling for the Arteries and Veins in Abdominal CT Scans", 《IEEE TRANSACTION ON BIOMEDICAL ENGINEERING》, vol. 68, no. 5, XP011850347, DOI: 10.1109/TBME.2020.3042640 * |
董青青;银温社;易三莉;: "基于卷积神经网络的皮肤癌良恶性预测", 通信技术, no. 09 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115457024A (zh) * | 2022-10-10 | 2022-12-09 | 水木未来(杭州)科技有限公司 | 冷冻电镜图像处理方法、装置、电子设备及存储介质 |
CN117274557A (zh) * | 2023-11-20 | 2023-12-22 | 首都师范大学 | 三维图像的数据增强方法、装置、电子设备及存储介质 |
CN117274557B (zh) * | 2023-11-20 | 2024-03-26 | 首都师范大学 | 三维图像的数据增强方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114820535B (zh) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110245662B (zh) | 检测模型训练方法、装置、计算机设备和存储介质 | |
CN109886282B (zh) | 对象检测方法、装置、计算机可读存储介质和计算机设备 | |
CN108765369B (zh) | 肺结节的检测方法、装置、计算机设备和存储介质 | |
CN114820535B (zh) | 动脉瘤的图像检测方法、装置、计算机设备及存储介质 | |
CN111325739B (zh) | 肺部病灶检测的方法及装置,和图像检测模型的训练方法 | |
CN110796656A (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
CN111260055A (zh) | 基于三维图像识别的模型训练方法、存储介质和设备 | |
CN111191533B (zh) | 行人重识别的处理方法、装置、计算机设备和存储介质 | |
CN114897779A (zh) | 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置 | |
CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割系统 | |
CN112241952B (zh) | 大脑中线识别方法、装置、计算机设备及存储介质 | |
CN111325266B (zh) | 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备 | |
CN111028260A (zh) | 图像预测方法、装置、计算机设备和存储介质 | |
CN110335248B (zh) | 医学图像病灶检测方法、装置、计算机设备和存储介质 | |
CN109410189B (zh) | 图像分割方法以及图像的相似度计算方法、装置 | |
CN114758137B (zh) | 超声图像分割方法、装置及计算机可读存储介质 | |
CN115409990B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN114549462A (zh) | 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质 | |
CN113782181A (zh) | 一种基于ct图像的肺结节良恶性诊断方法及装置 | |
CN110188813B (zh) | 图像特征分类方法、计算机设备和存储介质 | |
CN116309459A (zh) | 基于改进网络的肺结节检测方法、装置、设备和存储介质 | |
CN116363081A (zh) | 基于深度神经网络的胎盘植入mri征象检测分类方法及装置 | |
CN113160199B (zh) | 影像识别方法、装置、计算机设备和存储介质 | |
CN114511523A (zh) | 基于自监督学习的胃癌分子亚型分类方法及装置 | |
CN113706451A (zh) | 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |