CN110009656A - 目标对象的确定方法、装置、存储介质及电子装置 - Google Patents
目标对象的确定方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN110009656A CN110009656A CN201910164771.7A CN201910164771A CN110009656A CN 110009656 A CN110009656 A CN 110009656A CN 201910164771 A CN201910164771 A CN 201910164771A CN 110009656 A CN110009656 A CN 110009656A
- Authority
- CN
- China
- Prior art keywords
- model
- training
- image
- detected
- feature mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标对象的确定方法、装置、存储介质及电子装置。其中,该方法包括:获取待检测的图像所对应的特征映射图,其中,特征映射图用于指示待检测的图像中像素点对应的特征向量;根据特征映射图确定待检测的图像中的目标图像区域以及待检测对象,其中,目标图像区域为待检测的图像所拍摄的第一对象所具有的目标层所在的区域,第一对象包括多个层,多个层包括目标层,待检测对象为第一对象中所携带的对象;将待检测对象中位于目标图像区域内的对象确定为目标对象。本发明解决了确定目标对象的准确率较低的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种目标对象的确定方法、装置、存储介质及电子装置。
背景技术
从图像中分割出目标对象越来越得到广泛的应用,比如:自动乳腺全容积图像中分割出乳腺肿瘤是一种有效的计算机辅助诊断方法,分割出乳腺解剖层则对乳腺密度估计以及乳腺癌早期诊断很有帮助,传统的自动化解决方案往往不能让专家从劳动密集型的手工标注中解脱出来。
目前常见的分割方法下采样阶段网络过深导致病灶难以检出,上采样阶段采用逐步上采样策略导致语义信息在上采样阶段逐渐被横向连接的位置特征“稀释”,最终的输出语义信息不足,对于病灶的分割不准确。在乳腺肿瘤的分割上表现出假阳较高的情况。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标对象的确定方法、装置、存储介质及电子装置,以至少解决确定目标对象的准确率较低的技术问题。
根据本发明实施例的一个方面,提供了一种目标对象的确定方法,包括:获取待检测的图像所对应的特征映射图,其中,所述特征映射图用于指示所述待检测的图像中像素点对应的特征向量;根据所述特征映射图确定所述待检测的图像中的目标图像区域以及待检测对象,其中,所述目标图像区域为所述待检测的图像所拍摄的第一对象所具有的目标层所在的区域,所述第一对象包括多个层,所述多个层包括所述目标层,所述待检测对象为所述第一对象中所携带的对象;将所述待检测对象中位于所述目标图像区域内的对象确定为目标对象。
根据本发明实施例的另一方面,还提供了一种目标对象的确定装置,包括:第一获取模块,用于获取待检测的图像所对应的特征映射图,其中,所述特征映射图用于指示所述待检测的图像中像素点对应的特征向量;第一确定模块,用于根据所述特征映射图确定所述待检测的图像中的目标图像区域以及待检测对象,其中,所述目标图像区域为所述待检测的图像所拍摄的第一对象所具有的目标层所在的区域,所述第一对象包括多个层,所述多个层包括所述目标层,所述待检测对象为所述第一对象中所携带的对象;第二确定模块,用于将所述待检测对象中位于所述目标图像区域内的对象确定为目标对象。
可选地,第二训练模块包括:调整单元,用于将所述训练后的第一模型的学习率和所述训练后的第三模型的学习率调低至目标值;获取单元,用于通过学习率为所述目标值的所述训练后的第三模型获取标注了所述目标对象的所述图像样本所对应的特征映射样本;第二训练单元,用于使用学习率为所述目标值的所述训练后的第一模型和标注了所述目标对象的特征映射样本训练所述第二模型,得到所述训练后的第二模型,其中,将所述标注了所述目标对象的所述图像样本输入学习率为所述目标值的所述训练后的第一模型得到的输出与标注了所述目标对象的特征映射样本输入所述第二模型得到的输出进行相乘得到的结果作为所述第二模型的输出结果。
可选地,第二训练单元用于:使用学习率为所述目标值的所述训练后的第一模型和标注了所述目标对象的特征映射样本对所述第二模型进行迭代训练,直至迭代完成;通过迭代训练后的第二模型获取标注了所述目标对象的特征映射样本所对应的对象图像样本;使用所述对象图像样本和标注了所述目标对象的特征映射样本对第四模型的输出进行迭代训练,直至迭代训练完成,其中,所述第四模型用于指示所述对象图像样本上的每个像素点所对应的权重,所述权重用于指示训练所述每个像素点的训练难度,其中,所述训练难度越大的像素点所对应的所述权重越大;使用迭代训练后的第四模型和标注了所述目标对象的特征映射样本训练所述迭代训练后的第二模型,得到所述训练后的第二模型。
可选地,第二获取模块用于:从标注了所述目标层的所述图像样本上顺序获取目标尺寸的划窗图像以及每个所述划窗图像的位置信息,并通过所述第三模型获取每个所述划窗图像所对应的特征映射样本,其中,所述位置信息用于指示每个所述划窗图像在所述图像样本上的位置;第一训练模块用于:使用标注了所述目标层的所述特征映射样本和所述位置信息训练所述第一模型和所述第三模型,并使用所述位置信息训练第五模型,其中,所述第五模型用于对所述图像样本上的位置标注进行重建。
可选地,第一确定模块包括:第二确定单元,用于根据所述特征映射图确定所述待检测的图像所包括的多个区域,其中,所述多个区域与所述多个层一一对应,所述待检测的图像为待检测的三维图像;所述装置还包括:第三确定模块,用于将所述目标图像区域的体积在所述多个区域的总体积中所占的比例确定为所述目标图像区域的密度信息。
可选地,第二确定模块包括:第三确定单元,用于在确定出所述待检测对象的情况下,将所述待检测对象中位于所述目标图像区域内的对象确定为目标对象;所述装置还包括:发送模块,用于在未确定出所述待检测对象的情况下,发送指示信息,其中,所述指示信息用于指示所述待检测的图像中未出现所述待检测对象。
根据本发明实施例的另一方面,还提供了一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项中所述的方法。
根据本发明实施例的另一方面,还提供了一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行上述任一项中所述的方法。
在本发明实施例中,采用获取待检测的图像所对应的特征映射图,其中,特征映射图用于指示待检测的图像中像素点对应的特征向量;根据特征映射图确定待检测的图像中的目标图像区域以及待检测对象,其中,目标图像区域为待检测的图像所拍摄的第一对象所具有的目标层所在的区域,第一对象包括多个层,多个层包括目标层,待检测对象为第一对象中所携带的对象;将待检测对象中位于目标图像区域内的对象确定为目标对象的方式,获取到待检测的图像所对应的特征映射图后,利用该特征映射图同时获取到目标图像区域和待检测对象,从而将位于目标图像区域中的待检测对象确定为目标对象,能够用对待检测的图像进行分层的结果为目标对象的分割提供先验,从而实现了提高确定目标对象的准确率的技术效果,进而解决了确定目标对象的准确率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的目标对象的确定方法的示意图;
图2是根据本发明实施例的一种可选的目标对象的确定方法的应用环境示意图;
图3是根据本发明可选的实施方式的一种可选的目标对象的确定方法的示意图一;
图4是根据本发明可选的实施方式的一种可选的目标对象的确定方法的示意图二;
图5是根据本发明可选的实施方式的一种可选的目标对象的确定方法的示意图三;
图6是根据本发明可选的实施方式的一种可选的目标对象的确定方法的示意图四;
图7是根据本发明可选的实施方式的一种可选的目标对象的确定方法的示意图五;
图8是根据本发明可选的实施方式的一种可选的目标对象的确定方法的示意图六;
图9是根据本发明实施例的一种可选的目标对象的确定装置的示意图;
图10是根据本发明实施例的一种可选的目标对象的确定方法的应用场景示意图一;
图11是根据本发明实施例的一种可选的目标对象的确定方法的应用场景示意图二;
图12是根据本发明实施例的一种可选的目标对象的确定方法的应用场景示意图三;
图13是根据本发明实施例的一种可选的目标对象的确定方法的应用场景示意图四;
图14是根据本发明实施例的一种可选的目标对象的确定方法的应用场景示意图五;
图15是根据本发明实施例的一种可选的目标对象的确定方法的应用场景示意图六;以及
图16是根据本发明实施例的一种可选的电子装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种目标对象的确定方法,如图1所示,该方法包括:
S102,获取待检测的图像所对应的特征映射图,其中,特征映射图用于指示待检测的图像中像素点对应的特征向量;
S104,根据特征映射图确定待检测的图像中的目标图像区域以及待检测对象,其中,目标图像区域为待检测的图像所拍摄的第一对象所具有的目标层所在的区域,第一对象包括多个层,多个层包括目标层,待检测对象为第一对象中所携带的对象;
S106,将待检测对象中位于目标图像区域内的对象确定为目标对象。
可选地,在本实施例中,上述目标对象的确定方法可以应用于如图2所示的服务器202所构成的硬件环境中。如图2所示,服务器202获取待检测的图像所对应的特征映射图,其中,特征映射图用于指示待检测的图像中像素点对应的特征向量;根据特征映射图确定待检测的图像中的目标图像区域以及待检测对象,其中,目标图像区域为待检测的图像所拍摄的第一对象所具有的目标层所在的区域,第一对象包括多个层,多个层包括目标层,待检测对象为第一对象中所携带的对象;将待检测对象中位于目标图像区域内的对象确定为目标对象。
可选地,在本实施例中,上述目标对象的确定方法可以但不限于应用于从待检测图像中确定目标对象的场景中。其中,上述服务器所对应的客户端可以但不限于为各种类型的应用,例如,在线教育应用、即时通讯应用、社区空间应用、游戏应用、购物应用、浏览器应用、金融应用、多媒体应用、直播应用、医学诊断类应用等。具体的,可以但不限于应用于在上述医学诊断类应用中的医学图像上确定目标对象的场景中,或还可以但不限于应用于在上述多媒体应用中从待检测图像中确定目标对象的场景中,以提高确定目标对象的准确率。上述仅是一种示例,本实施例中对此不做任何限定。
可选地,在本实施例中,待检测的图像可以但不限于包括各种类型的图像,例如:二维图像、三维图像、医学图像、视频图像、彩色图像、灰度图像等等。
可选地,在本实施例中,特征映射图(Feature map)用于指示待检测的图像中像素点对应的特征向量,Feature map是图像和滤波器进行卷积后得到的特征图。Feature map也可以和滤波器进行卷积生成新的Feature map。
可选地,在本实施例中,目标图像区域为待检测的图像所拍摄的第一对象所具有的多个层中的目标层所在的区域。第一对象可以是待检测的图像所拍摄的对象,其可以被划分为多个层,比如:对于自动乳腺全容积图像来说,第一对象即为乳房器官,乳房可以划分为多个层包括:脂肪层,乳腺层,肌肉层和胸腔壁。对于地质层剖面图像,第一对象即为地质层,地质层可以分为组合带,延限带和顶峰带等等。
可选地,在本实施例中,待检测对象为第一对象中所携带的对象,比如:对于自动乳腺全容积图像,该对象可以但不限于包括乳腺肿瘤。对于地质层剖面图像,该对象可以但不限于包括化石等等。
在一个可选的实施方式中,以从自动乳腺全容积图像中确定乳腺肿瘤位置为例,提出了一种全自动化的基于卷积神经网络结构的自动乳腺全容积图像的乳腺肿瘤分割和乳腺密度估计方法Location Guiding Net(LGNet)。LGNet可以是一个3D Mutil-tasks神经网络。Multitasks network是指一个神经网络有多个输出,可以同时处理多个任务。该方法中包括一个多任务的全卷积神经网络结构可以精确分割出乳腺肿瘤区域以及乳腺解剖层。首先可以用位置信息引导网络训练,在网络的输入加入位置信息,在网络的末端对位置信息进行重建,以此来帮助网络分割出肿瘤区域。其次,采用对抗式的对损失函数中每个难易样本赋予权重的方法,即注意力权重掩模(Attentional Mask)方式,并通过交替训练的方法来更新注意力权重掩模。最后,通过设计解剖层分割分支,将解剖层分割的结果作为乳腺肿瘤分割分支的先验,来提升乳腺肿瘤分割的结果。实验证明上述方法在ABUS图像上能有效地分割出乳腺肿瘤并且很好地估计出乳腺密度。上述方法包括如下步骤:
步骤1,先用3D Mutil-tasks神经网络LGNet的乳腺解剖层分割分支,得到解剖层分割的结果,由此可计算乳腺密度。
步骤2,再用3D Mutil-tasks神经网络LGNet的乳腺肿瘤分割分支,结合解剖层分割的结果,对乳腺肿瘤区域进行分割,从而得到目标对象,即乳腺肿瘤区域。
可见,通过上述步骤,获取到待检测的图像所对应的特征映射图后,利用该特征映射图同时获取到目标图像区域和待检测对象,从而将位于目标图像区域中的待检测对象确定为目标对象,能够用对待检测的图像进行分层的结果为目标对象的分割提供先验,从而实现了提高确定目标对象的准确率的技术效果,进而解决了确定目标对象的准确率较低的技术问题。
作为一种可选的方案,根据特征映射图确定待检测的图像中的目标图像区域以及待检测对象包括:
S1,通过训练后的第一模型对特征映射图进行图像分割处理,得到训练后的第一模型输出的区域划分图像,其中,训练后的第一模型是使用标注了目标层的图像样本对第一模型进行训练后得到的模型,区域划分图像上显示了目标图像区域;
S2,通过训练后的第二模型对特征映射图进行图像分割处理,得到训练后的第二模型输出的对象划分图像,其中,训练后的第二模型是使用标注了目标对象的图像样本对第二模型进行训练后得到的模型,对象划分图像上显示了待检测对象。
可选地,在本实施例中,训练后的第一模型用于对特征映射图进行图像分割处理,得到区域划分图像。例如:将特征映射图输入到训练后的第一模型,训练后的第一模型所输出的图像上标识出了该特征映射图中的目标图像区域。也可以标注出多个层中每个层所在的区域。
可选地,在本实施例中,第一模型是使用至少标注了目标层的图像样本对第一模型进行训练后得到的模型。也就是说,在图像样本上可以将图像样本中的第一对象具有的多个层均标注出来,用于对第一模型进行训练。
可选地,在本实施例中,训练后的第二模型用于对特征映射图进行图像分割处理,得到对象划分图像。例如:将特征映射图输入到训练后的第二模型,训练后的第二模型所输出的图像上标识出了该特征映射图中的待检测对象。
可选地,在本实施例中,第二模型是使用标注了目标对象的图像样本对第二模型进行训练后得到的模型。也就是说,在图像样本上可以将位于目标层中的目标对象标注出来,用于对第二模型进行训练。
例如:以从自动乳腺全容积图像中确定乳腺肿瘤位置为例,如图3所示,在数据标注方面,对于乳腺解剖层,专业的医生将四层(脂肪层,乳腺层,肌肉层,胸腔壁)分别标注以A,B,C,D,如图4所示,对于乳腺肿瘤,标注以数值1,其他组织标注以数值0。如图5所示,3D标注出各个乳腺解剖层,如图6所示,3D标注出乳腺肿瘤。
作为一种可选的方案,在根据特征映射图确定待检测的图像中的目标图像区域以及待检测对象之前,还包括:
S1,通过第三模型获取标注了目标层的图像样本所对应的特征映射样本;
S2,使用标注了目标层的特征映射样本训练第一模型和第三模型,得到训练后的第一模型和训练后的第三模型,其中,训练后的第三模型用于获取待检测的图像所对应的特征映射图;
S3,根据训练后的第一模型和训练后的第三模型,使用标注了目标对象的图像样本训练第二模型,得到训练后的第二模型。
可选地,在本实施例中,可以但不限于训练第三模型得到训练后的第三模型用于获取待检测的图像的特征映射图。
可选地,在本实施例中,目标对象的确定模型可以但不限于包括训练后的第三模型,用于获取待检测的图像所对应的特征映射图,训练后的第三模型的输出连接到训练后的第一模型和训练后的第二模型,训练后的第一模型用于根据特征映射图确定待检测的图像中的目标图像区域,训练后的第二模型用于根据特征映射图确定待检测的图像中的待检测对象,训练后的第二模型的输出与训练后的第一模型的输出共同用于将待检测对象中位于目标图像区域内的对象确定为目标对象。
可选地,在本实施例中,在模型的训练过程中,首先训练好第一模型和第三模型,再利用第一模型和第三模型以及训练样本对第二模型进行训练。
作为一种可选的方案,使用标注了目标层的特征映射样本训练第一模型和第三模型,得到训练后的第一模型和训练后的第三模型包括:
S1,使用标注了目标层的特征映射样本训练第一模型和第三模型直至第一模型达到第一收敛点,第三模型达到第二收敛点;
S2,将达到第一收敛点的第一模型确定为训练后的第一模型,并将达到第二收敛点的第三模型确定为训练后的第三模型。
可选地,在本实施例中,第一收敛点和第二收敛点可以但不限于根据实际的应用需求来确定。
作为一种可选的方案,根据训练后的第一模型和训练后的第三模型,使用标注了目标对象的图像样本训练第二模型,得到训练后的第二模型包括:
S1,将训练后的第一模型的学习率和训练后的第三模型的学习率调低至目标值;
S2,通过学习率为目标值的训练后的第三模型获取标注了目标对象的图像样本所对应的特征映射样本;
S3,使用学习率为目标值的训练后的第一模型和标注了目标对象的特征映射样本训练第二模型,得到训练后的第二模型,其中,将标注了目标对象的图像样本输入学习率为目标值的训练后的第一模型得到的输出与标注了目标对象的特征映射样本输入第二模型得到的输出进行相乘得到的结果作为第二模型的输出结果。
可选地,在本实施例中,在训练好第一模型和第三模型后,可以通过调节其学习率使其固定,并利用固定好的第一模型和第三模型对第二模型进行训练。
可选地,在本实施例中,上述用于得到第二模型的输出结果的训练后的第一模型得到的输出可以但不限于为第一模型得到的部分输出。例如:第一模型得到的全部输出可以是对自动乳腺全容积图像中拍摄的乳房图像进行分层得到的脂肪层,乳腺层,肌肉层,胸腔壁,可以将乳腺层的分层结果与标注了乳腺肿瘤的特征映射样本输入第二模型得到的输出(即检测出的肿瘤位置)进行相乘得到的结果(位于乳腺层的肿瘤)作为第二模型的输出结果。
可选地,在本实施例中,第二模型可以但不限于采用以下训练方式:
S1,使用学习率为目标值的训练后的第一模型和标注了目标对象的特征映射样本对第二模型进行迭代训练,直至迭代完成;
S2,通过迭代训练后的第二模型获取标注了目标对象的特征映射样本所对应的对象图像样本;
S3,使用对象图像样本和标注了目标对象的特征映射样本对第四模型进行迭代训练,直至迭代训练完成,其中,第四模型用于指示对象图像样本上的每个像素点所对应的权重,权重用于指示训练每个像素点的训练难度,其中,训练难度越大的像素点所对应的权重越大;
S4,使用迭代训练后的第四模型和标注了目标对象的特征映射样本训练迭代训练后的第二模型,得到训练后的第二模型。
在一个可选的实施方式中,上述LGNet的学习方式如图7所示,LGNet的网络框架前部是一个编码“Encoder”的结构用以提取feature map。网络尾部是一个四分支的解码“Decoder”结构网络:ALP(Automated Layers Parsing branch,自动层解剖网络)分支,MTS(Malignant Tumor Segmentation branch,恶性肿瘤分割网络)分支,Adversarial分支(对抗训练分支)和Location分支(位置信息重建分支)。四个分支共用一个feature map输入。Location分支的输出是重建的位置块,用以确保位置信息被网络充分利用,其监督信息为当前位置块的分割掩膜(是当前位置为1,不是则为0);ALP分支输出对于解剖层的预测,其监督信息是解剖的层区域的分割掩膜(脂肪层A,乳腺层B,肌肉层C,胸腔壁D)。MTS分支中,输出对于乳腺肿瘤的预测,其监督信息是肿瘤的分割掩膜(是肿瘤1,不是0)。其中对于MTS分支的肿瘤预测结果将会与ALP分支的解剖层预测结果用乘法的形式结合,其监督信息与MTS分支相同,以去除所有在乳腺层之外的肿瘤,得到更好的预测结果。在Adversarial分支中,将注意力权重掩模乘以MTS分支的损失Loss,利用注意力权重掩模调整MTS分支的损失Loss,作为模型最终的损失,该注意力权重掩模用于指示图像中每个像素点的训练难度,比如像素点的损失Loss较小表示预测准确度较高,但通过比对得出该像素点预测错误,可见该像素点的训练难度较大,可以自动将该像素点对应的权重调高,以此来让模型更关注更难区分的样本的分类。
采用基于Adam的梯度下降法来求解神经网络模型的卷积层参数w和偏置参数b。提出了基于交叉熵损失的对抗注意力权重掩模Attentional Weight Mask训练方式来训练网络。先训练网络的自动层解剖网络分支(ALP分支)到一个比较好的收敛点,然后调低ALP的学习率。然后再加入恶性肿瘤分割网络(MTS),对抗训练(Adversarial),位置信息重建(Location)三个分支一起训练。在之后的每次迭代过程中,每一次迭代可以分成三个步骤,如图8所示。第一步先固定住对抗训练分支(Adversarial分支)(实线代表不进行反向传播),训练其他三个分支。第二步固定住其他三个分支,训练Adversarial分支。第三步重复第一步一次。该对抗训练方式,能够有效的引导网络学习困难样本(像素点)的分割。
训练过程中,将ALP分支产生的概率图抽取出乳腺层的预测,然后与MTS分支产生的概率图中乳腺肿瘤的预测进行相乘,去除掉所有在乳腺层之外的错误的肿瘤预测。这种用解剖层的结果为肿瘤分割提供先验的思路在医学上是相当合理并且有效的。
作为一种可选的方案,通过第三模型获取标注了目标层的图像样本所对应的特征映射样本包括:S1,从标注了目标层的图像样本上顺序获取目标尺寸的划窗图像以及每个划窗图像的位置信息,并通过第三模型获取每个划窗图像所对应的特征映射样本,其中,位置信息用于指示每个划窗图像在图像样本上的位置;
使用标注了目标层的特征映射样本训练第一模型和第三模型包括:S1,使用每个划窗图像所对应的特征映射样本和位置信息训练第一模型和第三模型,并使用位置信息训练第五模型,其中,第五模型用于对图像样本上的位置标注进行重建。
可选地,在本实施例中,预测阶段可以采用划窗预测的方式。对原数据顺序取64*64*64大小的划窗,然后输入网络模型得到肿瘤分割和乳腺解剖层分割预测结果。
可选地,在本实施例中,在预测阶段,按照划窗顺序将得到的图像块输入到模型中,得到每个图像块的预测图像,再按照划窗顺序将各个图像块的预测图像拼接成最终的结果图像,并在结果图像中将目标对象标注出来。
可选地,在本实施例中,第五模型用于对图像样本上的位置标注进行重建。从而使得模型能够充分利用图像的位置信息对目标对象进行预测。
作为一种可选的方案,根据特征映射图确定待检测的图像中的目标图像区域包括:S1,根据特征映射图确定待检测的图像所包括的多个区域,其中,多个区域与多个层一一对应,待检测的图像为待检测的三维图像;
在根据特征映射图确定待检测的图像中的目标图像区域之后,还包括:S2,将目标图像区域的体积在多个区域的总体积中所占的比例确定为目标图像区域的密度信息。
可选地,在本实施例中,根据特征映射图确定的目标图像区域还可以用于确定目标图像区域的密度信息。在预测目标图像区域阶段,从待检测的图像上预测出第一对象的各个层在待检测的图像上所对应的区域,利用各个区域的体积信息来确定目标图像区域的密度信息。
例如:对于解剖层分割的结果,还提供了以下的方式来估计乳腺密度:
其中Vsf,Vbp,Vm分别表示皮肤和脂肪层,乳腺层,肌肉层的在ABUS图像中所占体积。
作为一种可选的方案,将待检测对象中位于目标图像区域内的对象确定为目标对象包括:S1,在确定出待检测对象的情况下,将待检测对象中位于目标图像区域内的对象确定为目标对象;
在根据特征映射图确定待检测的图像中的目标图像区域以及待检测对象之后,还包括:S2,在未确定出待检测对象的情况下,发送指示信息,其中,指示信息用于指示待检测的图像中未出现待检测对象。
可选地,在本实施例中,如果没有在待检测的图像中确定出待检测对象,则可以通过发送指示信息来对待检测的图像中未出现待检测对象进行提示。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例的另一个方面,还提供了一种用于实施上述目标对象的确定方法的目标对象的确定装置,如图9所示,该装置包括:
第一获取模块92,用于获取待检测的图像所对应的特征映射图,其中,特征映射图用于指示待检测的图像中像素点对应的特征向量;
第一确定模块94,用于根据特征映射图确定待检测的图像中的目标图像区域以及待检测对象,其中,目标图像区域为待检测的图像所拍摄的第一对象所具有的目标层所在的区域,第一对象包括多个层,多个层包括目标层,待检测对象为第一对象中所携带的对象;
第二确定模块96,用于将待检测对象中位于目标图像区域内的对象确定为目标对象。
可选地,第一确定模块包括:
第一处理单元,用于通过训练后的第一模型对特征映射图进行图像分割处理,得到训练后的第一模型输出的区域划分图像,其中,训练后的第一模型是使用标注了目标层的图像样本对第一模型进行训练后得到的模型,区域划分图像上显示了目标图像区域;
第二处理单元,用于通过训练后的第二模型对特征映射图进行图像分割处理,得到训练后的第二模型输出的对象划分图像,其中,训练后的第二模型是使用标注了目标对象的图像样本对第二模型进行训练后得到的模型,对象划分图像上显示了待检测对象。
可选地,上述装置还包括:
第二获取模块,用于通过第三模型获取标注了目标层的图像样本所对应的特征映射样本;
第一训练模块,用于使用标注了目标层的特征映射样本训练第一模型和第三模型,得到训练后的第一模型和训练后的第三模型,其中,训练后的第三模型用于获取待检测的图像所对应的特征映射图;
第二训练模块,用于根据训练后的第一模型和训练后的第三模型,使用标注了目标对象的图像样本训练第二模型,得到训练后的第二模型。
可选地,第一训练模块包括:
第一训练单元,用于使用标注了目标层的特征映射样本训练第一模型和第三模型直至第一模型达到第一收敛点,第三模型达到第二收敛点;
第一确定单元,用于将达到第一收敛点的第一模型确定为训练后的第一模型,并将达到第二收敛点的第三模型确定为训练后的第三模型。
可选地,第二训练模块包括:
调整单元,用于将训练后的第一模型的学习率和训练后的第三模型的学习率调低至目标值;
获取单元,用于通过学习率为目标值的训练后的第三模型获取标注了目标对象的图像样本所对应的特征映射样本;
第二训练单元,用于使用学习率为目标值的训练后的第一模型和标注了目标对象的特征映射样本训练第二模型,得到训练后的第二模型,其中,将标注了目标对象的图像样本输入学习率为目标值的训练后的第一模型得到的输出与标注了目标对象的特征映射样本输入第二模型得到的输出进行相乘得到的结果作为第二模型的输出结果。
可选地,第二训练单元用于:
使用学习率为目标值的训练后的第一模型和标注了目标对象的特征映射样本对第二模型进行迭代训练,直至迭代完成;
通过迭代训练后的第二模型获取标注了目标对象的特征映射样本所对应的对象图像样本;
使用对象图像样本和标注了目标对象的特征映射样本对第四模型进行迭代训练,直至迭代训练完成,其中,第四模型用于指示对象图像样本上的每个像素点所对应的权重,权重用于指示训练每个像素点的训练难度,其中,训练难度越大的像素点所对应的权重越大;
使用迭代训练后的第四模型和标注了目标对象的特征映射样本训练迭代训练后的第二模型,得到训练后的第二模型。
可选地,第二获取模块用于:从标注了目标层的图像样本上顺序获取目标尺寸的划窗图像以及每个划窗图像的位置信息,并通过第三模型获取每个划窗图像所对应的特征映射样本,其中,位置信息用于指示每个划窗图像在图像样本上的位置;
第一训练模块用于:使用每个划窗图像所对应的特征映射样本和位置信息训练第一模型和第三模型,并使用位置信息训练第五模型,其中,第五模型用于对所述图像样本上的位置标注进行重建。
可选地,第一确定模块包括:第二确定单元,用于根据特征映射图确定待检测的图像所包括的多个区域,其中,多个区域与多个层一一对应,待检测的图像为待检测的三维图像;
装置还包括:第三确定模块,用于将目标图像区域的体积在多个区域的总体积中所占的比例确定为目标图像区域的密度信息。
可选地,第二确定模块包括:第三确定单元,用于在确定出待检测对象的情况下,将待检测对象中位于目标图像区域内的对象确定为目标对象;
上述装置还包括:发送模块,用于在未确定出待检测对象的情况下,发送指示信息,其中,指示信息用于指示待检测的图像中未出现待检测对象。
本发明实施例的应用环境可以但不限于参照上述实施例中的应用环境,本实施例中对此不再赘述。本发明实施例提供了用于实施上述实时通信的连接方法的一种可选的具体应用示例。
作为一种可选的实施例,上述目标对象的确定方法可以但不限于应用于如图10所示的利用LGNet确定自动乳腺全容积图像中乳腺癌病灶的场景中。在本场景中,该网络架构可应用于乳腺肿瘤全自动计算机辅助分割以及乳腺密度估计上,输入患者的自动乳腺全容积图像,可以精确分割出乳腺肿瘤区域(如有)和乳腺解剖层区域,以及自动估计出患者的乳腺密度,为乳腺癌早期筛查提供参考依据。本网络架构采用Multi-tasks的框架进行多任务训练。
在本场景中,采用的数据集是自动乳腺全容积图像,将其随机按照4:1的比例分为训练集和验证集。数据分辨率大小是250*75*250(W*H*D)。
LGNet的网络框架如图10所示。网络输入端是将采样的数据块和位置块结合作为输入。前部是一个“Encoder”的结构用以提取feature map。这个“Encoder”前半部分通过卷积层和最大池化层将feature map的尺寸缩小,后半部分则利用反卷积层将feature map尺寸放大,并采用“跳跃”连接方式(如图10所示虚线)将对应大小的卷积层与反卷积层的结果相加,后接一个卷积层调整通道数,经过四个这种结构,最后输出一个featuremap作为网络尾部的输入来进行学习。
网络尾部是一个四分支的“Decoder”结构网络:ALP(Automated Layers Parsingbranch,自动层解剖网络)分支,MTS(Malignant Tumor Segmentation branch,恶性肿瘤分割网络)分支,Adversarial分支(对抗训练分支)和Location分支(位置信息重建分支)。四个分支共用一个feature map输入。每个分支包含一个反卷积层来学习对应任务所需要的特征。Location分支的输出是重建的位置块,用以确保位置信息被网络充分利用,其监督信息为当前位置块的分割掩膜(是当前位置为1,不是则为0);ALP分支输出对于解剖层的预测,其监督信息是解剖的层区域的分割掩膜(脂肪层1,乳腺层2,肌肉层3,胸腔壁4)。MTS分支中,输出对于乳腺肿瘤的预测,其监督信息是肿瘤的分割掩膜(是肿瘤1,不是0)。其中对于MTS分支的肿瘤预测结果将会与ALP分支的解剖层预测结果用乘法的形式结合,其监督信息与MTS分支相同,以去除所有在乳腺层之外的肿瘤,得到更好的预测结果。在Adversarial分支中,将注意力权重掩模乘以损失Loss,以对Loss进行重新赋予权重,以此来让模型更关注更难区分的样本的分类。
3D LGNet网络结构的所有新添加的卷积层均采用方差为Kaiming初始化法进行初始化。
原始数据大小是250*75*250,模型输入大小是64*64*64,所以将原始数据先进行标准化,然后随机裁64*64*64的大小作为网络输入1。没有对数据做任何的数据增强。对于位置信息,记录裁剪后的数据在原数据中的位置并将其置1,其余位置置0,然后压缩成64*64*64的大小作为输入2。
数据标注方面,对于乳腺解剖层,专业的医生将四层(脂肪层,乳腺层,肌肉层,胸腔壁)分别标注以数值(1,2,3,4),对于乳腺肿瘤,标注以数值(0,1)。采用基于Adam的梯度下降法来求解神经网络模型的卷积层参数w和偏置参数b。采用基于交叉熵损失的对抗注意力权重掩模Attentional Weight Mask训练方式来训练网络。先训练网络的ALP分支到一个比较好的收敛点,然后调低ALP的学习率。然后再加入MTS,Adversarial,Location三个分支一起训练。在之后的每次迭代过程中,每一次迭代可以分成三个步骤,如图所示。第一步先固定住Adversarial分支(黑线代表不进行反向传播),训练其他三个分支。第二步固定住其他三个分支,训练Adversarial分支。第三步重复第一步一次。设计的这种对抗训练方式,能有效地解决难易样本不均衡问题。
训练过程中,将ALP分支产生的概率图抽取出乳腺层的预测,然后与MTS分支产生的概率图中乳腺肿瘤的预测进行相乘,去除掉所有在乳腺层之外的错误的肿瘤预测。这种用解剖层的结果为肿瘤分割提供先验的思路在医学上是相当合理并且有效的。
预测阶段采用划窗预测的方式。对原数据顺序取64*64*64大小的划窗,然后输入网络模型得到肿瘤分割和乳腺解剖层分割预测结果。如图11所示给出了解剖层的分割结果,Curve distance代表算法预测与标准线的平均误差像素。对于肿瘤分割的结果,求解肿瘤预测的外接框,假使外接框与肿瘤标注的外接框的IoU超过阈值,则认为检出了肿瘤。如图12所示给出了算法预测的病灶检测结果,能够以外接框形式给出病灶所在位置。另外对于解剖层分割的结果,还提供以下的方式来估计乳腺密度:
其中Vsf,Vbp,Vm分别表示皮肤和脂肪层,乳腺层,肌肉层的在ABUS图像中所占体积。
另外,如图13所示为对一个样本的Attentional Mask的可视化。侧面证明的Adversarial的有效性,通过Adversarial分支网络可以学习出困难样本的部分(肿瘤的边界像素),从而提升MTS分支性能。
上述网络架构能同时处理ABUS图像的乳腺解剖层分割和乳腺肿瘤检测任务。并且能够显著提高肿瘤检测任务的算法表现。如图14所示为一些对比实验结果,Sensitivity(敏感性)表征预测结果的检出率,敏感性介于0-1之间,1代表所有病灶完全检出。F1Score是衡量算法性能的指标,介于0-1之间,越高代表算法性能越好。FPs为算法的平均每个ABUS图像检出的假阳病灶的平均个数。从结果可以看出该方法远胜于BASELINE的网络结构。如图15所示给出了算法在乳腺密度的上的估计,测试数据为健康女性的ABUS图像(共13套),可以看出方法预测乳腺密度的准确性,总体误差在8%左右。
可选地,针对LGNet网络结构可以使用不同的Encoder编码器网络结构,也可以在编码器网络中嵌入金字塔池化结构,另外每个分支也可以加入卷积结构等。
根据本发明实施例的又一个方面,还提供了一种用于实施上述目标对象的确定方法的电子装置,如图16所示,该电子装置包括:一个或多个(图中仅示出一个)处理器1602、存储器1604、传感器1606、编码器1608以及传输装置1610,该存储器中存储有计算机程序,该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取待检测的图像所对应的特征映射图,其中,特征映射图用于指示待检测的图像中像素点对应的特征向量;
S2,根据特征映射图确定待检测的图像中的目标图像区域以及待检测对象,其中,目标图像区域为待检测的图像所拍摄的第一对象所具有的目标层所在的区域,第一对象包括多个层,多个层包括目标层,待检测对象为第一对象中所携带的对象;
S3,将待检测对象中位于目标图像区域内的对象确定为目标对象。
可选地,本领域普通技术人员可以理解,图16所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图16其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图16中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图16所示不同的配置。
其中,存储器1602可用于存储软件程序以及模块,如本发明实施例中的目标对象的确定方法和装置对应的程序指令/模块,处理器1604通过运行存储在存储器1602内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的目标组件的控制方法。存储器1602可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1602可进一步包括相对于处理器1604远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1610用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1610包括一个网络适配器(NetworkInterface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1610为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
其中,具体地,存储器1602用于存储应用程序。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取待检测的图像所对应的特征映射图,其中,特征映射图用于指示待检测的图像中像素点对应的特征向量;
S2,根据特征映射图确定待检测的图像中的目标图像区域以及待检测对象,其中,目标图像区域为待检测的图像所拍摄的第一对象所具有的目标层所在的区域,第一对象包括多个层,多个层包括目标层,待检测对象为第一对象中所携带的对象;
S3,将待检测对象中位于目标图像区域内的对象确定为目标对象。
可选地,存储介质还被设置为存储用于执行上述实施例中的方法中所包括的步骤的计算机程序,本实施例中对此不再赘述。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (15)
1.一种目标对象的确定方法,其特征在于,包括:
获取待检测的图像所对应的特征映射图,其中,所述特征映射图用于指示所述待检测的图像中像素点对应的特征向量;
根据所述特征映射图确定所述待检测的图像中的目标图像区域以及待检测对象,其中,所述目标图像区域为所述待检测的图像所拍摄的第一对象所具有的目标层所在的区域,所述第一对象包括多个层,所述多个层包括所述目标层,所述待检测对象为所述第一对象中所携带的对象;
将所述待检测对象中位于所述目标图像区域内的对象确定为目标对象。
2.根据权利要求1所述的方法,其特征在于,根据所述特征映射图确定所述待检测的图像中的目标图像区域以及待检测对象包括:
通过训练后的第一模型对所述特征映射图进行图像分割处理,得到所述训练后的第一模型输出的区域划分图像,其中,所述训练后的第一模型是使用标注了所述目标层的图像样本对第一模型进行训练后得到的模型,所述区域划分图像上显示了所述目标图像区域;
通过训练后的第二模型对所述特征映射图进行图像分割处理,得到所述训练后的第二模型输出的对象划分图像,其中,所述训练后的第二模型是使用标注了所述目标对象的所述图像样本对所述第二模型进行训练后得到的模型,所述对象划分图像上显示了所述待检测对象。
3.根据权利要求2所述的方法,其特征在于,在根据所述特征映射图确定所述待检测的图像中的目标图像区域以及待检测对象之前,所述方法还包括:
通过第三模型获取标注了所述目标层的所述图像样本所对应的特征映射样本;
使用标注了所述目标层的所述特征映射样本训练所述第一模型和所述第三模型,得到所述训练后的第一模型和训练后的第三模型,其中,所述训练后的第三模型用于获取待检测的图像所对应的特征映射图;
根据所述训练后的第一模型和所述训练后的第三模型,使用标注了所述目标对象的所述图像样本训练所述第二模型,得到所述训练后的第二模型。
4.根据权利要求3所述的方法,其特征在于,使用标注了所述目标层的所述特征映射样本训练所述第一模型和所述第三模型,得到所述训练后的第一模型和所述训练后的第三模型包括:
使用标注了所述目标层的所述特征映射样本训练所述第一模型和所述第三模型直至所述第一模型达到第一收敛点,所述第三模型达到第二收敛点;
将达到所述第一收敛点的所述第一模型确定为所述训练后的第一模型,并将达到所述第二收敛点的所述第三模型确定为所述训练后的第三模型。
5.根据权利要求4所述的方法,其特征在于,根据所述训练后的第一模型和所述训练后的第三模型,使用标注了所述目标对象的所述图像样本训练所述第二模型,得到所述训练后的第二模型包括:
将所述训练后的第一模型的学习率和所述训练后的第三模型的学习率调低至目标值;
通过学习率为所述目标值的所述训练后的第三模型获取标注了所述目标对象的所述图像样本所对应的特征映射样本;
使用学习率为所述目标值的所述训练后的第一模型和标注了所述目标对象的特征映射样本训练所述第二模型,得到所述训练后的第二模型,其中,将所述标注了所述目标对象的所述图像样本输入学习率为所述目标值的所述训练后的第一模型得到的输出与标注了所述目标对象的特征映射样本输入所述第二模型得到的输出进行相乘得到的结果作为所述第二模型的输出结果。
6.根据权利要求5所述的方法,其特征在于,使用学习率为所述目标值的所述训练后的第一模型和标注了所述目标对象的特征映射样本训练所述第二模型,得到所述训练后的第二模型包括:
使用学习率为所述目标值的所述训练后的第一模型和标注了所述目标对象的特征映射样本对所述第二模型进行迭代训练,直至迭代完成;
通过迭代训练后的第二模型获取标注了所述目标对象的特征映射样本所对应的对象图像样本;
使用所述对象图像样本和标注了所述目标对象的特征映射样本对第四模型进行迭代训练,直至迭代训练完成,其中,所述第四模型用于指示所述对象图像样本上的每个像素点所对应的权重,所述权重用于指示训练所述每个像素点的训练难度,其中,所述训练难度越大的像素点所对应的所述权重越大;
使用迭代训练后的第四模型和标注了所述目标对象的特征映射样本训练所述迭代训练后的第二模型,得到所述训练后的第二模型。
7.根据权利要求3所述的方法,其特征在于,
通过第三模型获取标注了所述目标层的所述图像样本所对应的特征映射样本包括:从标注了所述目标层的所述图像样本上顺序获取目标尺寸的划窗图像以及每个所述划窗图像的位置信息,并通过所述第三模型获取每个所述划窗图像所对应的特征映射样本,其中,所述位置信息用于指示每个所述划窗图像在所述图像样本上的位置;
使用标注了所述目标层的所述特征映射样本训练所述第一模型和所述第三模型包括:使用每个所述划窗图像所对应的特征映射样本和所述位置信息训练所述第一模型和所述第三模型,并使用所述位置信息训练第五模型,其中,所述第五模型用于对所述图像样本上的位置标注进行重建。
8.根据权利要求1至7中任一项所述的方法,其特征在于,
根据所述特征映射图确定所述待检测的图像中的所述目标图像区域包括:根据所述特征映射图确定所述待检测的图像所包括的多个区域,其中,所述多个区域与所述多个层一一对应,所述待检测的图像为待检测的三维图像;
在根据所述特征映射图确定所述待检测的图像中的所述目标图像区域之后,所述方法还包括:将所述目标图像区域的体积在所述多个区域的总体积中所占的比例确定为所述目标图像区域的密度信息。
9.根据权利要求1至7中任一项所述的方法,其特征在于,
将所述待检测对象中位于所述目标图像区域内的对象确定为目标对象包括:在确定出所述待检测对象的情况下,将所述待检测对象中位于所述目标图像区域内的对象确定为目标对象;
在根据所述特征映射图确定所述待检测的图像中的目标图像区域以及待检测对象之后,所述方法还包括:在未确定出所述待检测对象的情况下,发送指示信息,其中,所述指示信息用于指示所述待检测的图像中未出现所述待检测对象。
10.一种目标对象的确定装置,其特征在于,包括:
第一获取模块,用于获取待检测的图像所对应的特征映射图,其中,所述特征映射图用于指示所述待检测的图像中像素点对应的特征向量;
第一确定模块,用于根据所述特征映射图确定所述待检测的图像中的目标图像区域以及待检测对象,其中,所述目标图像区域为所述待检测的图像所拍摄的第一对象所具有的目标层所在的区域,所述第一对象包括多个层,所述多个层包括所述目标层,所述待检测对象为所述第一对象中所携带的对象;
第二确定模块,用于将所述待检测对象中位于所述目标图像区域内的对象确定为目标对象。
11.根据权利要求10所述的装置,其特征在于,所述第一确定模块包括:
第一处理单元,用于通过训练后的第一模型对所述特征映射图进行图像分割处理,得到所述训练后的第一模型输出的区域划分图像,其中,所述训练后的第一模型是使用标注了所述目标层的图像样本对第一模型进行训练后得到的模型,所述区域划分图像上显示了所述目标图像区域;
第二处理单元,用于通过训练后的第二模型对所述特征映射图进行图像分割处理,得到所述训练后的第二模型输出的对象划分图像,其中,所述训练后的第二模型是使用标注了所述目标对象的所述图像样本对所述第二模型进行训练后得到的模型,所述对象划分图像上显示了所述待检测对象。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于通过第三模型获取标注了所述目标层的所述图像样本所对应的特征映射样本;
第一训练模块,用于使用标注了所述目标层的所述特征映射样本训练所述第一模型和所述第三模型,得到所述训练后的第一模型和训练后的第三模型,其中,所述训练后的第三模型用于获取待检测的图像所对应的特征映射图;
第二训练模块,用于根据所述训练后的第一模型和所述训练后的第三模型,使用标注了所述目标对象的所述图像样本训练所述第二模型,得到所述训练后的第二模型。
13.根据权利要求12所述的装置,其特征在于,第一训练模块包括:
第一训练单元,用于使用标注了所述目标层的所述特征映射样本训练所述第一模型和所述第三模型直至所述第一模型达到第一收敛点,所述第三模型达到第二收敛点;
第一确定单元,用于将达到所述第一收敛点的所述第一模型确定为所述训练后的第一模型,并将达到所述第二收敛点的所述第三模型确定为所述训练后的第三模型。
14.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的方法。
15.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至9任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910164771.7A CN110009656B (zh) | 2019-03-05 | 2019-03-05 | 目标对象的确定方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910164771.7A CN110009656B (zh) | 2019-03-05 | 2019-03-05 | 目标对象的确定方法、装置、存储介质及电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110009656A true CN110009656A (zh) | 2019-07-12 |
CN110009656B CN110009656B (zh) | 2021-11-19 |
Family
ID=67166442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910164771.7A Active CN110009656B (zh) | 2019-03-05 | 2019-03-05 | 目标对象的确定方法、装置、存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110009656B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110852285A (zh) * | 2019-11-14 | 2020-02-28 | 腾讯科技(深圳)有限公司 | 对象检测方法、装置、计算机设备和存储介质 |
CN111598168A (zh) * | 2020-05-18 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置、计算机设备及介质 |
CN112037305A (zh) * | 2020-11-09 | 2020-12-04 | 腾讯科技(深圳)有限公司 | 对图像中的树状组织进行重建的方法、设备及存储介质 |
CN112201328A (zh) * | 2020-10-09 | 2021-01-08 | 浙江德尚韵兴医疗科技有限公司 | 一种基于交叉注意力机制的乳腺肿块分割方法 |
CN113450345A (zh) * | 2021-07-19 | 2021-09-28 | 西门子数字医疗科技(上海)有限公司 | 图像处理方法、装置、电子设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108492302A (zh) * | 2018-03-26 | 2018-09-04 | 北京市商汤科技开发有限公司 | 神经层分割方法和装置、电子设备、存储介质、程序 |
CN108665461A (zh) * | 2018-05-09 | 2018-10-16 | 电子科技大学 | 一种基于fcn和迭代声影校正的乳腺超声图像分割方法 |
CN108710885A (zh) * | 2018-03-29 | 2018-10-26 | 百度在线网络技术(北京)有限公司 | 目标对象的检测方法和装置 |
CN108734694A (zh) * | 2018-04-09 | 2018-11-02 | 华南农业大学 | 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法 |
CN109242844A (zh) * | 2018-09-04 | 2019-01-18 | 青岛大学附属医院 | 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质 |
CN109376756A (zh) * | 2018-09-04 | 2019-02-22 | 青岛大学附属医院 | 基于深度学习的上腹部转移淋巴结节自动识别系统、计算机设备、存储介质 |
CN109410185A (zh) * | 2018-10-10 | 2019-03-01 | 腾讯科技(深圳)有限公司 | 一种图像分割方法、装置和存储介质 |
-
2019
- 2019-03-05 CN CN201910164771.7A patent/CN110009656B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108492302A (zh) * | 2018-03-26 | 2018-09-04 | 北京市商汤科技开发有限公司 | 神经层分割方法和装置、电子设备、存储介质、程序 |
CN108710885A (zh) * | 2018-03-29 | 2018-10-26 | 百度在线网络技术(北京)有限公司 | 目标对象的检测方法和装置 |
CN108734694A (zh) * | 2018-04-09 | 2018-11-02 | 华南农业大学 | 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法 |
CN108665461A (zh) * | 2018-05-09 | 2018-10-16 | 电子科技大学 | 一种基于fcn和迭代声影校正的乳腺超声图像分割方法 |
CN109242844A (zh) * | 2018-09-04 | 2019-01-18 | 青岛大学附属医院 | 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质 |
CN109376756A (zh) * | 2018-09-04 | 2019-02-22 | 青岛大学附属医院 | 基于深度学习的上腹部转移淋巴结节自动识别系统、计算机设备、存储介质 |
CN109410185A (zh) * | 2018-10-10 | 2019-03-01 | 腾讯科技(深圳)有限公司 | 一种图像分割方法、装置和存储介质 |
Non-Patent Citations (6)
Title |
---|
BAIYING LEI等: "Segmentation of breast anatomy for automated whole breast ultrasound images with boundary regularized convolutional encoder–decoder network", 《NEUROCOMPUTING》 * |
CHENG BIAN等: "Boundary Regularized Convolutional Neural Network for Layer Parsing of Breast Anatomy in Automated Whole Breast Ultrasound", 《INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION》 * |
CHENGJIA WANG等: "A two-stage 3D Unet framework for multi-class segmentation on full resolution image", 《ARXIV:1804.04341V1 [CS.CV]》 * |
NA WANG等: "Densely Deep Supervised Networks with Threshold Loss for Cancer Detection in Automated B reast Ultrasound", 《 LECTURE NOTES IN COMPUTER SCIENCE 》 * |
罗伯特.索尔所等著,邵志芳等译: "《认知心理学》", 31 January 2019 * |
陶静: "基于深度学习的交通监控图像目标检测系统设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110852285A (zh) * | 2019-11-14 | 2020-02-28 | 腾讯科技(深圳)有限公司 | 对象检测方法、装置、计算机设备和存储介质 |
CN110852285B (zh) * | 2019-11-14 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 对象检测方法、装置、计算机设备和存储介质 |
CN111598168A (zh) * | 2020-05-18 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置、计算机设备及介质 |
CN111598168B (zh) * | 2020-05-18 | 2022-06-24 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置、计算机设备及介质 |
CN112201328A (zh) * | 2020-10-09 | 2021-01-08 | 浙江德尚韵兴医疗科技有限公司 | 一种基于交叉注意力机制的乳腺肿块分割方法 |
CN112037305A (zh) * | 2020-11-09 | 2020-12-04 | 腾讯科技(深圳)有限公司 | 对图像中的树状组织进行重建的方法、设备及存储介质 |
CN112037305B (zh) * | 2020-11-09 | 2021-03-19 | 腾讯科技(深圳)有限公司 | 对图像中的树状组织进行重建的方法、设备及存储介质 |
CN113450345A (zh) * | 2021-07-19 | 2021-09-28 | 西门子数字医疗科技(上海)有限公司 | 图像处理方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110009656B (zh) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110009656A (zh) | 目标对象的确定方法、装置、存储介质及电子装置 | |
JP6522060B2 (ja) | オブジェクト認識装置、分類ツリー学習装置及びその動作方法 | |
CN110163834A (zh) | 对象识别方法和装置及存储介质 | |
CN110491480A (zh) | 一种医疗图像处理方法、装置、电子医疗设备和存储介质 | |
WO2021184933A1 (zh) | 一种人体三维模型重建方法 | |
US20180174311A1 (en) | Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation | |
CN108416324A (zh) | 用于检测活体的方法和装置 | |
CN108648178A (zh) | 一种影像结节检测的方法及装置 | |
CN111046855A (zh) | 图片识别方法、识别模型训练方法、装置及电子装置 | |
CN111597946B (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
CN110458833A (zh) | 基于人工智能的医学图像处理方法、医学设备和存储介质 | |
CN107636659A (zh) | 使用深度神经网络检测医学图像中的地标的方法和系统 | |
CN109214366A (zh) | 局部目标重识别方法、装置及系统 | |
CN112435341B (zh) | 三维重建网络的训练方法及装置、三维重建方法及装置 | |
CN110033019A (zh) | 人体部位的异常检测方法、装置和存储介质 | |
CN109215079A (zh) | 图像处理方法、手术导航设备、电子设备、存储介质 | |
CN109978077A (zh) | 视觉识别方法、装置和系统及存储介质 | |
KR20210007260A (ko) | 3차원 딥러닝을 이용한 어깨 질환 자동 진단 장치, 어깨 질환 진단을 위한 정보 제공 방법 및 어깨 질환 진단을 위한 정보 제공 방법을 수행하는 컴퓨터 프로그램을 기록한 전자 기록 매체 | |
CN113112559A (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
CN109740522A (zh) | 一种人员检测方法、装置、设备及介质 | |
CN115424056A (zh) | 模型训练方法和装置、图像分类方法、设备和介质 | |
CN115018979A (zh) | 图像重建方法、装置、电子设备、存储介质和程序产品 | |
CN113850796A (zh) | 基于ct数据的肺部疾病识别方法及装置、介质和电子设备 | |
JP2020183964A (ja) | 寸法データ算出装置、製品製造装置、及びシルエット画像生成装置 | |
CN113724185A (zh) | 用于图像分类的模型处理方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |