CN117689880B - 基于机器学习用于生物医学图像中目标识别的方法及系统 - Google Patents
基于机器学习用于生物医学图像中目标识别的方法及系统 Download PDFInfo
- Publication number
- CN117689880B CN117689880B CN202410142199.5A CN202410142199A CN117689880B CN 117689880 B CN117689880 B CN 117689880B CN 202410142199 A CN202410142199 A CN 202410142199A CN 117689880 B CN117689880 B CN 117689880B
- Authority
- CN
- China
- Prior art keywords
- channel
- feature
- image
- value
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000010801 machine learning Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 84
- 230000004044 response Effects 0.000 claims abstract description 42
- 230000007246 mechanism Effects 0.000 claims abstract description 24
- 238000011176 pooling Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 37
- 238000005070 sampling Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 238000002372 labelling Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于机器学习用于生物医学图像中目标识别的方法及系统,涉及目标识别技术领域,包括:获取待处理图像,提取待处理图像的分层特征,将顶层特征和底层特征与中间层特征进行特征融合,得到多尺度特征图;将多尺度特征图进行全局平均池化,得到通道维度上的全局描述,结合预先引入的通道注意力机制,确定每个通道的通道权重,根据通道权重得到不同通道的通道特征图,确定通道特征图对应的响应值,将响应值最高的通道特征图作为目标特征图;通过预设的目标检测模型对所述目标特征图生成候选目标框,并对候选目标框进行评分,确定是否存在检测目标,保留存在检测目标的候选目标框,并对保留的候选目标框进行目标分类,得到检测结果。
Description
技术领域
本发明涉及目标识别技术领域,尤其涉及一种基于机器学习用于生物医学图像中目标识别的方法及系统。
背景技术
近年来,人工智能在计算机视觉领域中取得了巨大进展,例如机器学习技术在图像分割,目标识别等方面的应用越来越广,在医学领域中,通过对医学图像进行分割、识别,辅助医务人员进行病情分析。
现有技术中,CN114581708A,公开了一种医学图像中的目标识别的模型训练装置及识别装置。模型训练装置包括获取模块、构建模块和训练模块;获取模块配置为获取作为训练样本的医学图像和训练样本中的目标对应的标注区域;构建模块配置为确定标注区域内的目标的目标区域,并利用训练样本、标注区域和目标区域构建训练集,训练样本中目标区域内的像素确定属于目标;以及训练模块配置为基于训练集训练待训练模型,并利用训练损失函数优化待训练模型以获取经训练模型,其中,在训练损失函数中,利用空间权重减小训练样本中的第一区域的像素对待训练模型的负面影响,第一区域为训练样本中的标注区域内的目标的目标区域以外的区域。
CN114581709A,公开了一种识别医学图像中的目标的模型训练、方法、设备及介质。模型训练包括获取作为训练样本的医学图像和训练样本中的目标对应的标注区域;确定标注区域对应的区域分割结果,利用训练样本和区域分割结果构建训练集,其中,通过对标注区域内的图像数据进行欠分割以获取区域分割结果;并且基于训练集训练待训练模型,并利用训练损失函数优化待训练模型,其中,在训练损失函数中,利用空间权重减小训练样本中的第一区域的像素对待训练模型的负面影响,第一区域为训练样本中的标注区域内的目标的目标区域以外的区域,目标区域由区域分割结果确定。
综上,现有技术虽然能够对医学图像进行识别,但无法根据图像进行学习,调整现有的目标识别模型,因此,需要一种方法解决现有技术中存在的问题。
发明内容
本发明实施例提供一种基于机器学习用于生物医学图像中目标识别的方法及系统,本方案至少能解决现有技术中存在的一部分问题。
本发明实施例的第一方面,提供一种基于机器学习用于生物医学图像中目标识别的方法,包括:
获取待处理图像,根据所述待处理图像,结合预设的特征提取模型,提取所述待处理图像的分层特征,通过采样算法确定所述分层特征的顶层特征、底层特征以及中间层特征,将所述顶层特征和所述底层特征与所述中间层特征进行特征融合,得到多尺度特征图;
对于所述多尺度特征图,将所述多尺度特征图进行全局平均池化,得到通道维度上的全局描述,根据所述全局描述,结合预先引入的通道注意力机制,确定每个通道的通道权重,根据所述通道权重和所述多尺度特征图,得到不同通道的通道特征图,确定所述通道特征图对应的响应值,将所述响应值最高的通道特征图作为目标特征图;
根据所述目标特征图表示,通过预设的目标检测模型对所述目标特征图生成候选目标框,并对所述候选目标框进行评分,确定是否存在检测目标,保留存在检测目标的候选目标框,并对保留的候选目标框进行目标分类,得到检测结果。
在一种可选的实施方式中,
获取待处理图像,根据所述待处理图像,结合预设的特征提取模型,提取所述待处理图像的分层特征,通过采样算法确定所述分层特征的顶层特征、底层特征以及中间层特征,将所述顶层特征和所述底层特征与所述中间层特征进行特征融合,得到多尺度特征图包括:
获取待处理图像,对所述待处理图像进行标准化操作,并将标准化处理后的待处理图像输入至所述特征提取模型,得到所述待处理图像的初始顶层特征,初始底层特征和中间层特征,通过采样算法对所述初始顶层特征进行上采样,降低所述顶层特征的分辨率,得到所述顶层特征,对所述初始底层特征进行下采样,降低所述底层特征的分辨率但保留语义信息,得到所述底层特征;
将所述顶层特征和所述底层特征与所述中间层特征通过逐元素相加进行特征融合,得到所述多尺度特征图。
在一种可选的实施方式中,
对于所述多尺度特征图,将所述多尺度特征图进行全局平均池化,得到通道维度上的全局描述,根据所述全局描述,结合预先引入的通道注意力机制,确定每个通道的通道权重,根据所述通道权重和所述多尺度特征图,得到不同通道的通道特征图,确定所述通道特征图对应的响应值,将所述响应值最高的通道特征图作为目标特征图包括:
将所述多尺度特征图进行全局平均池化,将每个通道的特征值压缩为一个标量,得到通道维度上的全局描述,结合预先引入的通道注意力机制,将所述全局描述输入至所述注意力机制中的全连接层,并通过激活函数结合所述全连接层得到所述通道权重,根据所述通道权重,结合所述多尺度特征图在每个通道上的特征值,计算得到所述通道特征图;
对所述通道特征图进行正则化操作,计算正则化操作后的通道特征图的平均值,将所述平均值作为所述通道特征图的响应值,比较全部通道特征图的响应值,选择响应值最高的通道特征图,并将该通道特征图作为目标特征图。
在一种可选的实施方式中,
根据所述通道权重,结合所述多尺度特征图在每个通道上的特征值,计算得到所述通道特征图如下公式所示:
;
其中,y i,j,c表示通道特征图的特征值,Z表示归一化因子,K表示通道数量,S c表示通道权重,x i,j,c表示通道特征图的第i行,第j列,第c个通道的特征值,sigmoid表示对特征值的非线性变换,μ表示压缩参数。
在一种可选的实施方式中,
根据所述目标特征图表示,通过预设的目标检测模型对所述目标特征图生成候选目标框,并对所述候选目标框进行评分,确定是否存在检测目标,保留存在检测目标的候选目标框,并对保留的候选目标框进行目标分类,得到检测结果包括:
通过预设的目标检测模型将所述目标特征图均匀划分为网格,确定每个网格对应的网格点,根据所述网格点,结合预设的位置敏感层的卷积核,确定所述候选目标框的位置,根据所述候选目标框的位置,初始化所述候选目标框的得分,结合所述目标检测模型中的评分模块,计算所述候选目标框之间的重叠区域,根据所述重叠区域,得到每个候选目标框对应的评分数值,并将所述候选目标框根据所述评分数值进行降序排列;
将所述评分数值与预设的评分阈值进行比较,若所述评分数值大于评分阈值,则认为存在检测目标,保留对应的候选目标框,若所述评分数值小于所述评分阈值,则认为不存在检测目标,则删除对应的候选目标框;
对于保留的候选目标框,结合目标检测模型中的分类模块,通过线性激活函数,输出存在病灶的概率值,若所述存在病灶的概率值大于预设的判断阈值,则认为存在病灶,否则认为不存在病灶。
在一种可选的实施方式中,
初始化所述候选目标框的得分,结合所述目标检测模型中的评分模块,计算所述候选目标框之间的重叠区域,根据所述重叠区域,得到每个候选目标框对应的评分数值,如下公式所示:
;
其中,score new表示评分数值,score表示初始得分,IoU表示重叠区域,σ表示衰减速度参数,T表示冲突程度,β表示冲突权重参数。
在一种可选的实施方式中,所述方法还包括训练所述目标检测模型:
随机生成待检测图像,将所述待检测图像分为训练集和测试集,通过高斯分布叠加构建密度图,通过卷积神经网络将所述训练集中的图像特征映射至密度图空间,确定所述训练集图像在密度图空间中的密度值,记为第一密度值;
将所述测试集中的图像特征映射至密度图空间,确定所述测试集图像在密度图空间中的密度值,记为真实密度值;
比较所述真实密度值和所述第一密度值在相同位置的值,确定差异密度值,根据所述差异密度值动态调整所述目标检测模型的损失函数,直到所述损失函数收敛或达到预定的迭代次数。
在一种可选的实施方式中,所述损失函数如下公式所示:
;
其中,L density表示损失函数的值,W表示图像的宽度,H表示图像的高度,D gt (x,y)表示在图像坐标处(x,y)处的真实密度值,D(x,y)表示密度估计值。
本发明实施例的第二方面,提供一种基于机器学习用于生物医学图像中目标识别的系统,包括:
第一单元,用于获取待处理图像,根据所述待处理图像,结合预设的特征提取模型,提取所述待处理图像的分层特征,通过采样算法确定所述分层特征的顶层特征、底层特征以及中间层特征,将所述顶层特征和所述底层特征与所述中间层特征进行特征融合,得到多尺度特征图;
第二单元,用于对于所述多尺度特征图,将所述多尺度特征图进行全局平均池化,得到通道维度上的全局描述,根据所述全局描述,结合预先引入的通道注意力机制,确定每个通道的通道权重,根据所述通道权重和所述多尺度特征图,得到不同通道的通道特征图,确定所述通道特征图对应的响应值,将所述响应值最高的通道特征图作为目标特征图;
第三单元,用于根据所述目标特征图表示,通过预设的目标检测模型对所述目标特征图生成候选目标框,并对所述候选目标框进行评分,确定是否存在检测目标,保留存在检测目标的候选目标框,并对保留的候选目标框进行目标分类,得到检测结果。
本发明实施例的第三方面,
提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行前述所述的方法。
本发明实施例的第四方面,
提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明通过结合分层特征和采样算法可以提取不同尺度的特征信息,包括顶层特征、底层特征和中间层特征,多尺度特征提取有助于更全面地捕获目标的特征,通过引入通道注意力机制可以确定每个通道的重要性权重,有助于突出与目标识别相关的信息,提高了目标检测的准确性,通过多尺度特征提取和通道注意力机制,能够更准确地捕获生物医学图像中的目标,并降低误检率。
附图说明
图1为本发明实施例基于机器学习用于生物医学图像中目标识别的方法的流程示意图;
图2为本发明实施例基于机器学习用于生物医学图像中目标识别的系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例基于机器学习用于生物医学图像中目标识别的方法的流程示意图,如图1所示,所述方法包括:
S1.获取待处理图像,根据所述待处理图像,结合预设的特征提取模型,提取所述待处理图像的分层特征,通过采样算法确定所述分层特征的顶层特征、底层特征以及中间层特征,将所述顶层特征和所述底层特征与所述中间层特征进行特征融合,得到多尺度特征图;
所述特征提取模型深度学习中常见的组件,用于从图像中提取有意义的信息,所述分层特征是模型在不同层次的抽象中提取的信息,所述多尺度特征图是一种包含来自不同尺度的信息的图像表示。
在一种可选的实施方式中,
获取待处理图像,根据所述待处理图像,结合预设的特征提取模型,提取所述待处理图像的分层特征,通过采样算法确定所述分层特征的顶层特征、底层特征以及中间层特征,将所述顶层特征和所述底层特征与所述中间层特征进行特征融合,得到多尺度特征图包括:
获取待处理图像,对所述待处理图像进行标准化操作,并将标准化处理后的待处理图像输入至所述特征提取模型,得到所述待处理图像的初始顶层特征,初始底层特征和中间层特征,通过采样算法对所述初始顶层特征进行上采样,降低所述顶层特征的分辨率,得到所述顶层特征,对所述初始底层特征进行下采样,降低所述底层特征的分辨率但保留语义信息,得到所述底层特征;
将所述顶层特征和所述底层特征与所述中间层特征通过逐元素相加进行特征融合,得到所述多尺度特征图。
所述标准化操作通常用于图像处理和数据分析中,以确保数据的一致性和可比性,通常,标准化操作包含调整亮度和对比度,去除噪声,缩放和裁剪,去除畸变等操作,所述逐元素相加是指将相同位置上的元素逐个相加。示例性地,假设有两个具有相同形状的数组 A 和 B,它们的元素分别为A[i,j]和B[i,j],其中i和j表示数组中的行和列索引,逐元素相加的结果数组C的元素C[i,j]等于A[i,j]+B[i,j],这意味着在C中的每个位置上,它都等于A和B中对应位置上的元素相加的结果。
获取待处理的图像,对待处理图像进行裁剪,缩放等标准化操作,以确保图像输入时的一致性,将标准化处理后的待处理图像输入到预先训练好的特征提取模型中,特征提取模型将待处理图像作为输入,并生成初始顶层特征、初始底层特征和中间层特征,通过采样算法对所处初始顶层特征通过双线性插值方法进行上采样,降低所述初始顶层特征的分辨率,得到所述顶层特征,通过采样算法对所述初始底层特征通过平均池化进行下采样,以降低所述初始底层特征的分辨率但保留语义信息,最终得到所述底层特征。
将根据计算或处理得到的顶层特征,中间层特征和底层特征进行逐元素相加,即将它们的相同位置上的元素进行相加,最终得到多尺度特征图。
本实施例中,标准化操作有助于确保不同图像之间的一致性,从而提高了模型的泛化性能,通过使用采样算法,可以获取多尺度的特征,包括高分辨率的顶层特征和低分辨率但包含重要语义信息的底层特征,有助于识别不同尺寸和结构的生物医学目标,逐元素相加进行的特征融合允许将不同尺度的信息融合在一起,生成多尺度特征图有助于整合顶层、中间层和底层特征,以提高识别目标的能力,综上,本实施例有助于提高目标识别任务的准确性和效率。
S2.对于所述多尺度特征图,将所述多尺度特征图进行全局平均池化,得到通道维度上的全局描述,根据所述全局描述,结合预先引入的通道注意力机制,确定每个通道的通道权重,根据所述通道权重和所述多尺度特征图,得到不同通道的通道特征图,确定所述通道特征图对应的响应值,将所述响应值最高的通道特征图作为目标特征图;
所述通道注意力机制是一种用于加强或减弱深度神经网络中不同通道(特征通道)的信息影响力的技术,允许模型自动学习哪些通道对特定任务更为重要,从而提高模型性能,所述通道权重是通道注意力机制中的参数,用于衡量每个特征通道的重要性,可以在训练期间通过反向传播和优化算法来学习,也可以是固定的,所述响应值在目标检测或图像分类任务中是模型对于特定目标或特征的响应程度,在通道注意力机制中,响应值通常是通过对特征图中的每个通道进行汇总或聚合而得到的,较高的响应值表示该通道包含与任务相关的重要信息,而较低的响应值表示信息的重要性较低。
在一种可选的实施方式中,
对于所述多尺度特征图,将所述多尺度特征图进行全局平均池化,得到通道维度上的全局描述,根据所述全局描述,结合预先引入的通道注意力机制,确定每个通道的通道权重,根据所述通道权重和所述多尺度特征图,得到不同通道的通道特征图,确定所述通道特征图对应的响应值,将所述响应值最高的通道特征图作为目标特征图包括:
将所述多尺度特征图进行全局平均池化,将每个通道的特征值压缩为一个标量,得到通道维度上的全局描述,结合预先引入的通道注意力机制,将所述全局描述输入至所述注意力机制中的全连接层,并通过激活函数结合所述全连接层得到所述通道权重,根据所述通道权重,结合所述多尺度特征图在每个通道上的特征值,计算得到所述通道特征图;
对所述通道特征图进行正则化操作,计算正则化操作后的通道特征图的平均值,将所述平均值作为所述通道特征图的响应值,比较全部通道特征图的响应值,选择响应值最高的通道特征图,并将该通道特征图作为目标特征图。
所述通道特征图是一种以更加关注任务相关信息的方式对所述多尺度特征图进行组合,所述通道特征图与所述多尺度特征图具有相同的高度和宽度,但是通道数量为1,所述目标特征图是所选通道的通道特征图,包含最强烈相应的特征信息,通常对于任务具有最高的相关性。
获取所述多尺度特征图,将所述多尺度特征度表示为一个三维张量,具有形状,可用高度,宽度和通道数进行描述,对于每个通道,计算该通道上所有位置的特征值的平均值,生成一个向量,即压缩形成的标量,计算得到的向量中,每个元素都是对应通道的平均值,表示该通道的全局描述,将全局描述向量输入通道注意力机制中的全连接层,将全局描述向量中的每个元素与相应的权重相乘,并将每个输出求和,得到全连接层的输出,产生一个新的向量,其中每个元素对应于通道的线性组合,在全连接层的输出上应用激活函数引入非线性关系,最终,通过全连接层和激活函数,得到了通道权重,通道权重应用于多尺度特征图的每个通道的特征值,即对于每个通道,将通道权重与多尺度特征图中对应通道的特征值相乘,得到所述通道特征图。
对于每个通道特征图,将通道特征图中的值进行标准化,使其具有零均值和单位方差,得到正则化操作后的通道特征图,对于这些特征图,通过对每个通道特征图进行平均池化操作计算其平均值作为响应值,比较所有通道的响应值,选择具有最高响应值的通道作为目标特征图。即,找到最大响应值对应的通道索引,将这一通道特征图作为目标特征图。
本实施例中,通过对多尺度特征图进行全局平均池化,获得通道维度上的全局描述,然后应用预先引入的通道注意力机制,可以实现对不同通道的自适应调整,突出与任务相关的通道信息,减少不相关信息的干扰,有助于提高模型的感知和理解能力,使其更好地抓取目标相关特征,通过结合通道权重和多尺度特征图的特征值,计算得到通道特征图,通道特征图将不同通道的信息整合在一起,以更好地表达目标特征,提高了模型对目标的敏感性,通过结合通道权重和多尺度特征图的特征值,计算得到通道特征图,通道特征图将不同通道的信息整合在一起,以更好地表达目标特征,提高了模型对目标的敏感性,综上,本实施例提高了目标识别的性能和可靠性。这有助于医学图像分析和诊断中的自动化和精确性,对于疾病检测和病理分析具有潜在的重要应用。
在一种可选的实施方式中,
根据所述通道权重,结合所述多尺度特征图在每个通道上的特征值,计算得到所述通道特征图如下公式所示:
;
其中,y i,j,c表示通道特征图的特征值,Z表示归一化因子,K表示通道数量,S c表示通道权重,x i,j,c表示通道特征图的第i行,第j列,第c个通道的特征值,sigmoid表示对特征值的非线性变换,μ表示压缩参数。
所述压缩参数表示用于控制数据压缩算法的参数,用于影响压缩率、压缩速度和解压缩的质量。
本函数中,通过使用通道权重,可以自适应地调整每个通道在通道特征图中的权重,以突出对任务相关的通道信息,每个通道特征图在计算时综合考虑了来自不同尺度的信息,对于捕获不同尺度下的目标特征非常有帮助,特别是对于生物医学图像中的复杂结构和目标,通过调整变换形状参数,可以控制非线性变换的形状,允许根据任务的需求对特征值的非线性响应进行微调,这一参数化控制提供了更大的灵活性,以根据不同情况对模型进行调整。
S3.根据所述目标特征图表示,通过预设的目标检测模型对所述目标特征图生成候选目标框,并对所述候选目标框进行评分,确定是否存在检测目标,保留存在检测目标的候选目标框,并对保留的候选目标框进行目标分类,得到检测结果。
所述候选目标框是目标检测和物体识别任务中的关键概念,代表了在图像中可能包含目标对象的潜在区域,是目标检测流程的第一步。
在一种可选的实施方式中,
根据所述目标特征图表示,通过预设的目标检测模型对所述目标特征图生成候选目标框,并对所述候选目标框进行评分,确定是否存在检测目标,保留存在检测目标的候选目标框,并对保留的候选目标框进行目标分类,得到检测结果包括:
通过预设的目标检测模型将所述目标特征图均匀划分为网格,确定每个网格对应的网格点,根据所述网格点,结合预设的位置敏感层的卷积核,确定所述候选目标框的位置,根据所述候选目标框的位置,初始化所述候选目标框的得分,结合所述目标检测模型中的评分模块,计算所述候选目标框之间的重叠区域,根据所述重叠区域,得到每个候选目标框对应的评分数值,并将处理后的候选目标框根据所述评分数值进行降序排列;
将所述评分数值与预设的评分阈值进行比较,若所述评分数值大于评分阈值,则认为存在检测目标,保留对应的候选目标框,若所述评分数值小于所述评分阈值,则认为不存在检测目标,则删除对应的候选目标框;
对于保留的候选目标框,结合目标检测模型中的分类模块,通过线性激活函数,输出存在病灶的概率值,若所述存在病灶的概率值大于预设的判断阈值,则认为存在病灶,否则认为不存在病灶。
首先,将所述目标特征图划分为一个规则的二维网格,其中每个网格单元对应着一部分特征图,对于每个网格单元,选择一个代表性的网格点,这个网格点通常位于网格单元的中心,用于确定候选目标框的位置,对于每个网格点和每个位置敏感卷积核,通过卷积操作计算候选目标框的初始位置,其中卷积核的响应表示了目标框位置的偏移,根据每个卷积核生成的响应表示目标框的位置偏移和尺度信息,将所述位置偏移和尺度信息与网格点的位置结合,确定候选目标框的最终位置,为每个生成的候选目标框初始化得分,初始得分可以为0或根据位置信息设置初始分数,对于每个候选目标框,通过计算两个候选目标框之间的交并比,确定候选目标框之间的重叠区域,设置重叠阈值,将每个候选目标框的重叠区域与所述重叠阈值进行比较,降低重叠区域大于重叠阈值的候选目标框的得分,遍历全部候选目标框,得到每个候选目标框对应的评分数值,将候选目标框根据计算得到的评分数值进行降序排列。
获取前述步骤得到的评分数值,将所述评分数值与预设的评分阈值进行比较,若所述评分数值大于所述评分阈值,则认为该候选目标框存在检测目标,保留该候选目标框,若评分数值小于预设的评分阈值,则认为该候选目标框中不存在检测目标,删除全部评分数值小于评分阈值的候选目标框;
将保留的候选目标框输入至目标检测模型的分类模块中,采用线性激活函数将特征转换为概率得分,生成每个候选目标框的概率得分,确定存在病灶的概率值,该概率值在0~1的范围内,1表示高置信度的存在病灶,0表示低置信度的存在病灶,将计算得到的概率值与预设的判断阈值进行比较,若大于预设的判断阈值,则认为该候选目标框中存在病灶,若小于预设的判断阈值,则认为该候选目标框中不存在病灶。
所述评分阈值是用于决定是否保留候选目标框的阈值,所述目标检测模型是一种计算机视觉模型,用于检测输入图像或视频中的目标物体,所述分类模块用于将模型提取的特征映射与不同类别之间建立关联,从而实现对象分类的任务。
本实施例中,通过将目标特征图划分为网格,结合位置敏感的卷积核能够有效地检测和定位图像中的候选目标框,可以帮助医学专业人员快速找到感兴趣的区域,从而减轻工作负担,通过初始化和计算候选目标框的评分,能够过滤出高度置信的目标框,保留的候选目标框经过分类模块进行目标分类,输出存在病灶的概率值有助于确定是否存在病灶或其他感兴趣的目标,综上,本实施例提高生物医学图像中的目标识别准确性和效率,有助于医学诊断和病理分析。
在一种可选的实施方式中,
初始化所述候选目标框的得分,结合所述目标检测模型中的评分模块,计算所述候选目标框之间的重叠区域,根据所述重叠区域,得到每个候选目标框对应的评分数值,如下公式所示:
;
其中,score new表示评分数值,score表示初始得分,IoU表示重叠区域,σ表示衰减速度参数,T表示冲突程度,β表示冲突权重参数。
所述衰减速度参数指的是在优化算法中用于控制学习率衰减的参数,用于减小学习率以便更快或更稳定地收敛到最佳解,所述冲突程度表示在某种冲突解决或决策制定情境中,不同决策、要求或观点之间的相互冲突或不一致程度,所述冲突权重参数指的是用于加权不同冲突或不一致性的参数,以便在决策制定或优化问题中更好地平衡不同因素。
本函数中,通过引入重叠区域,评分计算能够更准确地考虑重叠目标框之间的关系,降低了冗余检测,通过考虑冲突参数可以灵活地调整评分,以降低具有高冲突度的框的评分,有助于减少竞争激烈的情况,综上,本函数有助于提高目标检测的准确性和稳定性,减少重复检测和冲突,从而提高生物医学图像中目标的识别效果。
在一种可选的实施方式中,所述方法还包括训练所述目标检测模型:
随机生成待检测图像,将所述待检测图像分为训练集和测试集,通过高斯分布叠加构建密度图,通过卷积神经网络将所述训练集中的图像特征映射至密度图空间,确定所述训练集图像在密度图空间中的密度值,记为第一密度值;
将所述测试集中的图像特征映射至密度图空间,确定所述测试集图像在密度图空间中的密度值,记为真实密度值;
比较所述真实密度值和所述第一密度值在相同位置的值,确定差异密度值,根据所述差异密度值动态调整所述目标检测模型的损失函数,直到所述损失函数收敛或达到预定的迭代次数。
随机生成一批待检测图像,这些图像可以包含各种目标,形状和大小,以模拟实际应用中的不同情况,将生成的图像分为训练集和测试集,训练集用于训练卷积神经网络,测试集用于评估模型性能,通过高斯分布叠加,为每个图像生成密度图,密度图表示了每个图像中的目标密度,其中高斯分布的中心对应于目标的位置,使用训练集中的图像和相应的密度图,训练卷积神经网络,将图像特征映射到密度图空间,以便在密度图上进行密度估计,在训练集上训练完卷积神经网络后,可以将训练集图像输入到卷积神经网络中,然后在密度图空间中计算密度值,记为第一密度值;
使用训练后的卷积神经网络将测试集中的图像特征映射至密度图空间,在密度图空间中计算密度值,记为真实密度值;
比较真实密度值和第一密度值在密度图空间相同位置的密度值,得到差异密度值,使用差异密度值动态调整目标检测模型对应的损失函数,直到所述损失函数收敛或达到预定的迭代次数。
本实施例中,通过将密度图的信息与目标检测相结合,可以实现更加细致的目标检测,在生物医学图像中可以更准确地识别目标,如细胞、病灶、器官等,动态调整损失函数使模型能够自适应数据的不同分布和变化,提高了模型的鲁棒性,使其在不同类型的生物医学图像上表现良好,传统的目标检测方法可能需要手动调整参数和损失函数,而本实施例可以自动根据图像内容进行调整,减少了人工干预的需求,综上,本实施例能够显著提高生物医学图像分析的效率和准确性。
在一种可选的实施方式中,所述损失函数如下公式所示:
;
其中,L density表示损失函数的值,W表示图像的宽度,H表示图像的高度,D gt (x,y)表示在图像坐标处(x,y)处的真实密度值,D(x,y)表示密度估计值。
本函数中,通过最小化损失函数可以提高密度估计的精度,损失函数提供了一种定量评估目标密度估计的方法。这允许研究人员和从业人员比较不同模型或方法的性能,以选择最佳的密度估计方法,本函数通过最小化损失函数,可以优化密度估计模型的参数,模型可以更好地适应训练数据,从而提高对新图像的泛化性能,有助于确保模型在生物医学图像中的目标识别任务中进行精准判断。
图2为本发明实施例基于机器学习用于生物医学图像中目标识别的系统的结构示意图,如图2所示,所述系统包括:
第一单元,用于获取待处理图像,根据所述待处理图像,结合预设的特征提取模型,提取所述待处理图像的分层特征,通过采样算法确定所述分层特征的顶层特征、底层特征以及中间层特征,将所述顶层特征和所述底层特征与所述中间层特征进行特征融合,得到多尺度特征图;
第二单元,用于对于所述多尺度特征图,将所述多尺度特征图进行全局平均池化,得到通道维度上的全局描述,根据所述全局描述,结合预先引入的通道注意力机制,确定每个通道的通道权重,根据所述通道权重和所述多尺度特征图,得到不同通道的通道特征图,确定所述通道特征图对应的响应值,将所述响应值最高的通道特征图作为目标特征图;
第三单元,用于根据所述目标特征图表示,通过预设的目标检测模型对所述目标特征图生成候选目标框,并对所述候选目标框进行评分,确定是否存在检测目标,保留存在检测目标的候选目标框,并对保留的候选目标框进行目标分类,得到检测结果。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本发明的各个方面的计算机可读程序指令。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种基于机器学习用于生物医学图像中目标识别的方法,其特征在于,包括:
获取待处理图像,根据所述待处理图像,结合预设的特征提取模型,提取所述待处理图像的分层特征,通过采样算法确定所述分层特征的顶层特征、底层特征以及中间层特征,将所述顶层特征和所述底层特征与所述中间层特征进行特征融合,得到多尺度特征图;
对于所述多尺度特征图,将所述多尺度特征图进行全局平均池化,得到通道维度上的全局描述,根据所述全局描述,结合预先引入的通道注意力机制,确定每个通道的通道权重,根据所述通道权重和所述多尺度特征图,得到不同通道的通道特征图,确定所述通道特征图对应的响应值,将所述响应值最高的通道特征图作为目标特征图;
根据所述目标特征图表示,通过预设的目标检测模型对所述目标特征图生成候选目标框,并对所述候选目标框进行评分,确定是否存在检测目标,保留存在检测目标的候选目标框,并对保留的候选目标框进行目标分类,得到检测结果;
根据所述目标特征图表示,通过预设的目标检测模型对所述目标特征图生成候选目标框,并对所述候选目标框进行评分,确定是否存在检测目标,保留存在检测目标的候选目标框,并对保留的候选目标框进行目标分类,得到检测结果包括:
通过预设的目标检测模型将所述目标特征图均匀划分为网格,确定每个网格对应的网格点,根据所述网格点,结合预设的位置敏感层的卷积核,确定所述候选目标框的位置,根据所述候选目标框的位置,初始化所述候选目标框的得分,结合所述目标检测模型中的评分模块,计算所述候选目标框之间的重叠区域,根据所述重叠区域,得到每个候选目标框对应的评分数值,并将所述候选目标框根据所述评分数值进行降序排列;
将所述评分数值与预设的评分阈值进行比较,若所述评分数值大于评分阈值,则认为存在检测目标,保留对应的候选目标框,若所述评分数值小于所述评分阈值,则认为不存在检测目标,则删除对应的候选目标框;
对于保留的候选目标框,结合目标检测模型中的分类模块,通过线性激活函数,输出存在病灶的概率值,若所述存在病灶的概率值大于预设的判断阈值,则认为存在病灶,否则认为不存在病灶;
初始化所述候选目标框的得分,结合所述目标检测模型中的评分模块,计算所述候选目标框之间的重叠区域,根据所述重叠区域,得到每个候选目标框对应的评分数值,如下公式所示:
;
其中,score new表示评分数值,score表示初始得分,IoU表示重叠区域,σ表示衰减速度参数,T表示冲突程度,β表示冲突权重参数;
所述方法还包括训练所述目标检测模型:
随机生成待检测图像,将所述待检测图像分为训练集和测试集,通过高斯分布叠加构建密度图,通过卷积神经网络将所述训练集中的图像特征映射至密度图空间,确定所述训练集图像在密度图空间中的密度值,记为第一密度值;
将所述测试集中的图像特征映射至密度图空间,确定所述测试集图像在密度图空间中的密度值,记为真实密度值;
比较所述真实密度值和所述第一密度值在相同位置的值,确定差异密度值,根据所述差异密度值动态调整所述目标检测模型的损失函数,直到所述损失函数收敛或达到预定的迭代次数;
所述损失函数如下公式所示:
;
其中,L density表示损失函数的值,W表示图像的宽度,H表示图像的高度,D gt (x,y)表示在图像坐标处(x,y)处的真实密度值,D(x,y)表示密度估计值。
2.根据权利要求1所述的方法,其特征在于,获取待处理图像,根据所述待处理图像,结合预设的特征提取模型,提取所述待处理图像的分层特征,通过采样算法确定所述分层特征的顶层特征、底层特征以及中间层特征,将所述顶层特征和所述底层特征与所述中间层特征进行特征融合,得到多尺度特征图包括:
获取待处理图像,对所述待处理图像进行标准化操作,并将标准化处理后的待处理图像输入至所述特征提取模型,得到所述待处理图像的初始顶层特征,初始底层特征和中间层特征,通过采样算法对所述初始顶层特征进行上采样,降低所述顶层特征的分辨率,得到所述顶层特征,对所述初始底层特征进行下采样,降低所述底层特征的分辨率但保留语义信息,得到所述底层特征;
将所述顶层特征和所述底层特征与所述中间层特征通过逐元素相加进行特征融合,得到所述多尺度特征图。
3.根据权利要求1所述的方法,其特征在于,对于所述多尺度特征图,将所述多尺度特征图进行全局平均池化,得到通道维度上的全局描述,根据所述全局描述,结合预先引入的通道注意力机制,确定每个通道的通道权重,根据所述通道权重和所述多尺度特征图,得到不同通道的通道特征图,确定所述通道特征图对应的响应值,将所述响应值最高的通道特征图作为目标特征图包括:
将所述多尺度特征图进行全局平均池化,将每个通道的特征值压缩为一个标量,得到通道维度上的全局描述,结合预先引入的通道注意力机制,将所述全局描述输入至所述注意力机制中的全连接层,并通过激活函数结合所述全连接层得到所述通道权重,根据所述通道权重,结合所述多尺度特征图在每个通道上的特征值,计算得到所述通道特征图;
对所述通道特征图进行正则化操作,计算正则化操作后的通道特征图的平均值,将所述平均值作为所述通道特征图的响应值,比较全部通道特征图的响应值,选择响应值最高的通道特征图,并将该通道特征图作为目标特征图。
4.根据权利要求3所述的方法,其特征在于,根据所述通道权重,结合所述多尺度特征图在每个通道上的特征值,计算得到所述通道特征图如下公式所示:
;
其中,y i,j,c表示通道特征图的特征值,Z表示归一化因子,K表示通道数量,S c表示通道权重,x i,j,c表示通道特征图的第i行,第j列,第c个通道的特征值,sigmoid表示对特征值的非线性变换,μ表示压缩参数。
5.一种基于机器学习用于生物医学图像中目标识别的系统,用于实现前述权利要求1-4中任一项所述的方法,其特征在于,包括:
第一单元,用于获取待处理图像,根据所述待处理图像,结合预设的特征提取模型,提取所述待处理图像的分层特征,通过采样算法确定所述分层特征的顶层特征、底层特征以及中间层特征,将所述顶层特征和所述底层特征与所述中间层特征进行特征融合,得到多尺度特征图;
第二单元,用于对于所述多尺度特征图,将所述多尺度特征图进行全局平均池化,得到通道维度上的全局描述,根据所述全局描述,结合预先引入的通道注意力机制,确定每个通道的通道权重,根据所述通道权重和所述多尺度特征图,得到不同通道的通道特征图,确定所述通道特征图对应的响应值,将所述响应值最高的通道特征图作为目标特征图;
第三单元,用于根据所述目标特征图表示,通过预设的目标检测模型对所述目标特征图生成候选目标框,并对所述候选目标框进行评分,确定是否存在检测目标,保留存在检测目标的候选目标框,并对保留的候选目标框进行目标分类,得到检测结果。
6.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至4中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410142199.5A CN117689880B (zh) | 2024-02-01 | 2024-02-01 | 基于机器学习用于生物医学图像中目标识别的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410142199.5A CN117689880B (zh) | 2024-02-01 | 2024-02-01 | 基于机器学习用于生物医学图像中目标识别的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117689880A CN117689880A (zh) | 2024-03-12 |
CN117689880B true CN117689880B (zh) | 2024-04-16 |
Family
ID=90139370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410142199.5A Active CN117689880B (zh) | 2024-02-01 | 2024-02-01 | 基于机器学习用于生物医学图像中目标识别的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117689880B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738110A (zh) * | 2020-06-10 | 2020-10-02 | 杭州电子科技大学 | 基于多尺度注意力机制的遥感图像车辆目标检测方法 |
CN112800964A (zh) * | 2021-01-27 | 2021-05-14 | 中国人民解放军战略支援部队信息工程大学 | 基于多模块融合的遥感影像目标检测方法及系统 |
CN112906718A (zh) * | 2021-03-09 | 2021-06-04 | 西安电子科技大学 | 一种基于卷积神经网络的多目标检测方法 |
CN114863236A (zh) * | 2022-05-27 | 2022-08-05 | 浙江中烟工业有限责任公司 | 基于双重注意力机制的图像目标检测方法 |
CN115170978A (zh) * | 2022-06-29 | 2022-10-11 | 北方工业大学 | 车辆目标检测方法、装置、电子设备及存储介质 |
CN115359035A (zh) * | 2022-09-05 | 2022-11-18 | 中国矿业大学 | 基于可变形多尺度卷积的肺部x光病灶检测系统与方法 |
CN116385896A (zh) * | 2023-03-20 | 2023-07-04 | 西安电子科技大学 | 一种基于融合级联注意力机制的遥感小目标检测方法、系统、设备及介质 |
CN117095368A (zh) * | 2023-09-04 | 2023-11-21 | 中科领航智能科技(苏州)有限公司 | 一种基于yolov5融合多目标特征增强网络和注意力机制的交通小目标检测方法 |
-
2024
- 2024-02-01 CN CN202410142199.5A patent/CN117689880B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738110A (zh) * | 2020-06-10 | 2020-10-02 | 杭州电子科技大学 | 基于多尺度注意力机制的遥感图像车辆目标检测方法 |
CN112800964A (zh) * | 2021-01-27 | 2021-05-14 | 中国人民解放军战略支援部队信息工程大学 | 基于多模块融合的遥感影像目标检测方法及系统 |
CN112906718A (zh) * | 2021-03-09 | 2021-06-04 | 西安电子科技大学 | 一种基于卷积神经网络的多目标检测方法 |
CN114863236A (zh) * | 2022-05-27 | 2022-08-05 | 浙江中烟工业有限责任公司 | 基于双重注意力机制的图像目标检测方法 |
CN115170978A (zh) * | 2022-06-29 | 2022-10-11 | 北方工业大学 | 车辆目标检测方法、装置、电子设备及存储介质 |
CN115359035A (zh) * | 2022-09-05 | 2022-11-18 | 中国矿业大学 | 基于可变形多尺度卷积的肺部x光病灶检测系统与方法 |
CN116385896A (zh) * | 2023-03-20 | 2023-07-04 | 西安电子科技大学 | 一种基于融合级联注意力机制的遥感小目标检测方法、系统、设备及介质 |
CN117095368A (zh) * | 2023-09-04 | 2023-11-21 | 中科领航智能科技(苏州)有限公司 | 一种基于yolov5融合多目标特征增强网络和注意力机制的交通小目标检测方法 |
Non-Patent Citations (7)
Title |
---|
Adaptive feature fusion with attention mechanism for multi-scale target detection;Moran Ju等;《Neural Computing and Applications》;20200710;第2769-2781页 * |
An Object Detection Method Combining Multi-Level Feature Fusion and Region Channel Attention;GE ZHU等;《IEEE Access》;20210212;第25101-25109页 * |
Squeeze-and-Excitation Networ ks;Jie Hu等;《arXiv》;20190516;第1-13页 * |
基于候选区域尺度适应的航拍图像目标检测算法研究;魏志伟;《万方数据知识服务平台》;20221111;第1-48页 * |
基于特征融合和注意力机制的目标检测算法研究;彭珊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220115;I138-2779 * |
彭珊.基于特征融合和注意力机制的目标检测算法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2022,I138-2779. * |
融合注意力机制的深层次小目标检测算法;赵鹏飞等;《计算机科学与探索》;20211018;第1-11页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117689880A (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110189255B (zh) | 基于两级检测的人脸检测方法 | |
CN111814741B (zh) | 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法 | |
CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN108647588A (zh) | 物品类别识别方法、装置、计算机设备和存储介质 | |
CN110633711B (zh) | 训练特征点检测器的计算机装置、方法及特征点检测方法 | |
CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
CN114863189A (zh) | 一种基于大数据的图像智能识别方法 | |
CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
CN116740728B (zh) | 一种用于晶圆读码器动态获取方法和系统 | |
CN106682604B (zh) | 一种基于深度学习的模糊图像检测方法 | |
CN113313169A (zh) | 基于深度学习的训练素材智能识别方法、装置和设备 | |
CN117371511A (zh) | 图像分类模型的训练方法、装置、设备及存储介质 | |
CN117131348A (zh) | 基于差分卷积特征的数据质量分析方法及系统 | |
CN117689880B (zh) | 基于机器学习用于生物医学图像中目标识别的方法及系统 | |
CN117058079A (zh) | 基于改进ResNet模型的甲状腺显像图像自动诊断方法 | |
CN113313678A (zh) | 一种基于多尺度特征融合的精子形态学自动分析方法 | |
CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 | |
CN112861689A (zh) | 一种基于nas技术的坐标识别模型的搜索方法及装置 | |
CN112396648B (zh) | 一种可定位目标物质心的目标识别方法和系统 | |
CN117853817B (zh) | 一种基于图像识别的智慧社区垃圾分类报警管理方法 | |
CN117975170B (zh) | 基于大数据的医疗信息处理方法及系统 | |
CN116129298B (zh) | 基于时空记忆网络的甲状腺视频流结节识别系统 | |
CN117854011B (zh) | 一种智能ai摄像头识别对比方法及系统 | |
CN112184708B (zh) | 精子存活率检测方法及装置 | |
CN117523311A (zh) | 一种基于改进YOLOv7的三通管检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |