CN112668710B - 模型训练、管状物提取、数据识别方法及设备 - Google Patents

模型训练、管状物提取、数据识别方法及设备 Download PDF

Info

Publication number
CN112668710B
CN112668710B CN201910982976.6A CN201910982976A CN112668710B CN 112668710 B CN112668710 B CN 112668710B CN 201910982976 A CN201910982976 A CN 201910982976A CN 112668710 B CN112668710 B CN 112668710B
Authority
CN
China
Prior art keywords
sample
image
sample data
calculation model
uncertainty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910982976.6A
Other languages
English (en)
Other versions
CN112668710A (zh
Inventor
许敏丰
王宇
迟颖
谢宣松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910982976.6A priority Critical patent/CN112668710B/zh
Publication of CN112668710A publication Critical patent/CN112668710A/zh
Application granted granted Critical
Publication of CN112668710B publication Critical patent/CN112668710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请实施例提供一种模型训练、管状物提取、数据识别方法及设备。其中,方法包括如下的步骤:利用计算模型,预测出第一样本数据分别属于至少一个可能类别的概率;其中,所述第一样本数据为从包含有第一样本管状物影像的第一样本图像中确定出的第一样本区域;根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性;结合所述不确定性,对所述计算模型进行参数优化;其中,所述计算模型用于在待处理图像中提取出待提取管状物。采用本申请实施例提供的技术方案,可利用掺杂有被噪声类别标注的样本的训练集来训练计算模型,不仅可大幅度降低训练集的标注成本,还可确保计算模型的训练效果。

Description

模型训练、管状物提取、数据识别方法及设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种模型训练、管状物提取、数据识别方法及设备。
背景技术
目前,神经网络模型被广泛应用在多个领域,例如:机器人领域、医学领域。
现有技术中,需要通过人工标注的方式对大量的训练样本进行精确标注,利用精确标注的训练样本来训练神经网络,才能够确保最终训练得到的神经网络的预测精度。然而,这种精确标注的要求无疑会增大标注人员的工作量以及增大对标注人员的能力要求,例如:医学领域中对肝脏血管、心脑血管等进行标注时,需要专业的医学人士花费大量的时间来标注。
可见,现有的训练方法存在训练成本大等技术问题。
发明内容
鉴于上述问题,提出了本申请以提供一种解决上述问题或至少部分地解决上述问题的模型训练、管状物提取、数据识别方法及设备。
于是,在本申请的一个实施例中,提供了一种模型训练方法。该方法包括:
利用计算模型,预测出第一样本数据分别属于至少一个可能类别的概率;其中,所述第一样本数据为从包含有第一样本管状物影像的第一样本图像中确定出的第一样本区域;
根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性;
结合所述不确定性,对所述计算模型进行参数优化;其中,所述计算模型用于在待处理图像中提取出待提取管状物。
在本申请的另一个实施例中,提供了一种管状物提取方法。该方法包括:
获取包含有管状物影像的待处理图像;
利用训练好的计算模型,从所述待处理图像中提取出所述管状物;其中,所述计算模型的训练过程如下:
利用计算模型,预测出第一样本数据分别属于至少一个可能类别的概率;其中,所述第一样本数据为从包含有第一样本管状物影像的第一样本图像中确定出的第一样本区域;
根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性;
结合所述不确定性,对所述计算模型进行参数优化。
在本申请的另一个实施例中,提供了一种模型训练方法。该方法包括:
根据第一样本数据,利用计算模型预测出所述第一样本数据分别属于至少一个可能类别的概率;
根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性;
结合所述不确定性,对所述计算模型进行参数优化;
其中,所述计算模型用以识别待处理数据。
在本申请的另一个实施例中,提供了一种数据识别方法。该方法包括:
获取待处理数据;
利用训练好的计算模型,对所述待处理数据进行识别;其中,所述计算模型的训练过程如下:
根据第一样本数据,利用计算模型预测出所述第一样本数据分别属于至少一个可能类别的概率;
根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性;
结合所述不确定性,对所述计算模型进行参数优化。
在本申请的另一实施例中,提供了一种电子设备。该设备,包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
利用计算模型,预测出第一样本数据分别属于至少一个可能类别的概率;其中,所述第一样本数据为从包含有第一样本管状物影像的第一样本图像中确定出的第一样本区域;
根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性;
结合所述不确定性,对所述计算模型进行参数优化;其中,所述计算模型用于在待处理图像中提取出待提取管状物。
在本申请的另一实施例中,提供了一种电子设备。该设备,包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
获取包含有管状物影像的待处理图像;
利用训练好的计算模型,从所述待处理图像中提取出所述管状物;其中,所述计算模型的训练过程如下:
利用计算模型,预测出第一样本数据分别属于至少一个可能类别的概率;其中,所述第一样本数据为从包含有第一样本管状物影像的第一样本图像中确定出的第一样本区域;
根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性;
结合所述不确定性,对所述计算模型进行参数优化。
在本申请的另一实施例中,提供了一种电子设备。该设备,包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
根据第一样本数据,利用计算模型预测出所述第一样本数据分别属于至少一个可能类别的概率;
根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性;
结合所述不确定性,对所述计算模型进行参数优化;
其中,所述计算模型用以识别待处理数据。
在本申请的另一实施例中,提供了一种电子设备。该设备,包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
获取待处理数据;
利用训练好的计算模型,对所述待处理数据进行识别;其中,所述计算模型的训练过程如下:
根据第一样本数据,利用计算模型预测出所述第一样本数据分别属于至少一个可能类别的概率;
根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性;
结合所述不确定性,对所述计算模型进行参数优化。
本申请实施例提供的技术方案中,在训练计算模型时,会根据计算模型输出的第一样本数据属于多个可能类别的概率,来确定计算模型预测的不确定性;结合该不确定性来对计算模型进行参数优化。采用本申请提供的训练方法可有效降低被噪声类别标注的样本引起的计算模型预测的不稳定性,进而确保训练效果。也就是说,采用本申请实施例提供的训练方法,可利用掺杂有被噪声类别标注的样本的训练集来训练计算模型,不仅可大幅度降低训练集的标注成本,还可确保计算模型的训练效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本申请一实施例提供的应用示意图;
图1b为本申请一实施例提供的人工标注的样本图像;
图1c为本申请一实施例提供的模型训练方法的流程示意图;
图2为本申请另一实施例提供的数据识别方法的流程示意图;
图3为本申请一实施例提供的模型训练方法的流程示意图;
图4为本申请另一实施例提供的管状物提取方法的流程示意图;
图5为本申请一实施例提供的模型训练装置的结构框图;
图6为本申请另一实施例提供的数据识别装置的结构框图;
图7为本申请另一实施例提供的管状物提取装置的结构框图;
图8为本申请一实施例提供的电子设备的结构框图。
具体实施方式
现有技术中,以肝脏血管为例,通常需要通过人工方式在大量的训练图像中将整根血管都标注出来;再将这些训练图像以及标注精确的血管类别作为深度学习网络的输入,训练得到用于提取肝脏血管的模型。后续应用时,将肝脏图像输入训练好的肝脏血管提取模型,得到正确的肝脏血管。
该方案的缺点在于:肝脏血管标注非常的困难(尤其是3D肝脏血管),精度难以保证,一旦存在噪声类别就会影响模型的训练效果,难以得到预测精度较高的计算模型;且需花费较大的人力成本和时间来标注。
发明人在研究本申请实施例提供的技术方案的过程中发现,现有技术中被噪声标签标注的样本数据通常都是那些识别难度较大的样本数据,这样的样本数据很容易引起模型的预测不稳定性,影响模型的训练效果。
为了解决上述问题,本申请提出了一种模型训练方法,该训练方法可有效降低被噪声类别标注的样本引起的计算模型预测的不稳定性,进而确保训练效果。也就是说,采用本申请实施例提供的训练方法,可利用掺杂有被噪声类别标注的样本的训练集来训练计算模型,不仅可大幅度降低训练集的标注成本,还可确保计算模型的训练效果。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
此外,在本申请的说明书、权利要求书及上述附图中描述的一些流程中,包含了按照特定顺序出现的多个操作,这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等,仅仅是用于区分各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
图1c示出了本申请一实施例提供的模型训练方法的流程示意图。如图1c所示,该方法包括:
101、根据第一样本数据,利用计算模型预测出所述第一样本数据分别属于至少一个可能类别的概率。
102、根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性。
103、结合所述不确定性,对所述计算模型进行参数优化。
上述101中,所述计算模型用以识别待处理数据。其中,待处理数据可以为待处理图像、待处理视频、待处理音频中的任一个。其中,待处理图像可以为2维图像或3维图像。在一实例中,所述计算模型可用于对待处理数据进行分类。在医学领域,上述待处理图像可以为CT(Computed Tomography,电子计算机断层扫描)影像。
在另一实例中,当所述待处理数据为待处理图像时,所述计算模型可用于在待处理图像中提取出待提取物,具体地,所述计算模型可对所述待处理图像进行语义分割,这样即可提取得到待处理图像中的待提取物。其中,待提取物可以为待提取管状物。待提取管状物可以为气管、主动脉、血管等,其中,血管可以为肝脏血管、心脏血管、脑部血管等。在实际应用中,血管的提取结果可作为医生诊断或治疗时所依据的参考信息,比如说:肝脏内部具有非常复杂的血管系统,在肝脏手术之前,需要通过肝脏血管的提取结果对肝脏进行三维重建,从而评估和规划手术过程,以确保重要的肝脏血管在手术过程中不被破坏,保障病人术后的存活率。
具体应用时,所述第一样本数据来自于用于训练所述计算模型的训练集;所述训练集中存在被噪声类别标注的样本数据。
在一种可实现的方案中,计算模型可以为神经网络模型,这样可有效提高预测精度。具体地,可以为深度卷积神经网络模型。
在分类场景中,当待处理数据为待处理图像时,上述第一样本数据为样本图像;当待处理数据为待处理视频时,上述第一样本数据为样本视频;当待处理数据为待处理音频时,上述第一样本数据为样本音频。
在语义分割场景中,计算模型需要针对待处理图像中各像素点进行类别分类。在一实例中,可从待处理图像中以一像素点为中心确定出第一区域,计算模型对第一区域进行类别分类得到的分类结果,也即是该像素点的分类结果。在模型训练时,上述第一样本数据可以为从第一样本图像中确定出的第一样本区域,计算模型对所述第一样本数据的分类结果,也即是第一样本区域的中心像素点的分类结果。其中,所述分类结果中包括所述第一样本数据分别属于至少一个可能类别的概率。在实际应用时,若计算模型用来从待处理图像中提取待提取物,则第一样本图像中可包含有第一样本影像。在管状物提取场景中,第一样本影像具体可以为第一样本管状物影像,例如:血管影像。
其中,至少一个可能类别也即是至少一个备选类别,可包括背景类和至少一个前景类。以管状物提取场景为例,至少一个可能类别可包括:背景类和至少一种管状物类。
举例来说:在血管提取场景中,至少一个可能类别包括背景类(也即非血管类)和血管类。利用计算模型,预测出第一样本数据属于背景类的概率为0.1;预测出第一样本数据属于血管类的概率为0.9。
上述102中,计算模型预测时能够很明确地确定第一样本数据属于哪一个类别,则说明计算模型预测的不确定性小,也就表明计算模型预测的稳定性较好;计算模型预测时不能够很明确地确定第一样本数据属于哪一个类别,则说明计算模型预测的不确定性大,也就表明计算模型预测的稳定性较差。其中,计算模型预测的稳定性体现的是计算模型针对第一样本数据多次预测得到的结果的波动性,波动性越小,稳定性就越好。
沿用上述血管提取场景为例,若预测出:第一样本数据属于背景类的概率为0.1、属于血管类的概率为0.9,这表明计算模型很明确地确定第一样本数据属于血管类,不确定性小,稳定性较好;若预测出:第一样本数据属于背景类的概率为0.51、属于血管类的概率为0.49,这表明计算模型不是很明确地确定第一样本数据属于哪个类别,接近于“猜”的状况,不确定性大,稳定性较差。
在一实例中,可从所述第一样本数据分别属于至少一个可能类别的概率中选取最大的两个概率;根据最大的两个概率的差值,来评估计算模型的不确定性。差值越大,不确定性越小。
在上述实例中,仅考虑了最大的两个概率,并没有全面考虑计算模型的全部输出,会影响不稳定性的评估。为了提高不稳定性的评估合理性,在另一实例中,可根据所述第一样本数据分别属于至少一个可能类别的概率分布,评估计算模型预测的不确定性。
具体地,可根据所述第一样本数据分别属于至少一个可能类别的概率,计算所述计算模型预测的信息熵,以作为所述不确定性。
其中,信息熵用于对依据这个概率分布产生的不确定性的估计。
其中,信息熵可采用如下公式来计算:
Figure BDA0002235798440000091
在实际应用时,可针对每一个可能类别对应设置一个标签,背景类的标签可设为0,至少一个前景类的标签可依次设为1、2、3…,其中,最大标签也即至少一个前景类的种类数。在上述公式(1)中,L代表的是至少一个可能类别中除背景类以外的至少一个前景类的种类数;qi指的是计算模型预测出的第一样本数据属于标签为i的可能类别的概率;log的底大于1,具体可为2。
在实际应用中,上述公式(1)中i的取值可从1开始,即忽略掉第一样本数据属于背景类的概率,这是因为:在有些情况下,第一样本数据属于至少一个可能类别的概率之和为1,则有了第一样本数据属于至少一个前景类的概率,即可确定出第一样本数据属于背景类的概率,故在计算时可忽略。
计算模型输出的信息熵越大,表明计算模型预测的不确定性就越大,预测稳定性就越差;计算模型输出的信息熵越小,表明计算模型预测的不确定性就越小,预测稳定性就越好。
上述103中,现有技术中,通常会根据第一样本数据的实际分类结果与第一样本数据的期望分类结果之间的差异,来对计算模型进行参数优化。在本申请实施例中,在对计算模型进行参数优化时,会将计算模型的不确定性考虑进来,这样可有效降低被噪声类别标注的样本引起的计算模型预测的不稳定性,进而确保训练效果。
对计算模型进行参数优化,具体可以获得计算模型中各个模型参数的调整系数,利用各个模型参数的调整系数对各个模型参数进行数值调整,即可以得到计算模型的模型参数。其中,计算模型中各个网络参数的初始值可以为随机数值。具体的参数调整方式可参见现有技术,在此不再详述。
可见,采用本申请实施例提供的训练方法,可利用掺杂有被噪声类别标注的样本的训练集来训练计算模型,不仅可大幅度降低训练集的标注成本,还可确保计算模型的训练效果。
需要补充的是,待处理图像以及各样本图像具体可以为医学图像,例如:CT(Computed Tomography,电子计算机断层扫描)图像。
在一实例中,上述方法,还可包括:
104、获取所述第一样本数据被标注的第一标注类别,以作为所述第一样本数据的第一期望分类结果。
105、计算所述第一期望分类结果与第一实际分类结果之间的差异。
其中,所述第一实际分类结果中包括所述第一样本数据属于至少一个可能类别的概率。
上述104中,当上述第一样本数据为从第一样本图像中确定出的第一样本区域时,所述第一标注类别指的是所述第一样本图像中所述第一样本区域的中心像素点被标注的类别。
当上述第一样本数据为样本图像时,所述第一标注类别指的是样本图像被标注的类别。
当上述第一样本数据为样本视频时,所述第一标注类别指的是样本视频被标注的类别。
当上述第一样本数据为样本音频时,所述第一标注类别指的是样本音频被标注的类别。
上述105中,可采用损失函数来计算所述第一期望分类结果与第一实际分类结果之间的差异,具体可采用交叉熵函数来计算,例如:可采用如下公式(2)来计算差异:
Figure BDA0002235798440000111
其中,L和qi的定义以及log的底可参见有关上述公式(1)的相应内容,在此不再赘述。ti指的是第一样本数据属于标签为i的类别的期望概率(若第一样本数据的标注标签为i,则ti=1,否则,ti=0)。需要说明的是,当在训练计算模型时,只使用标签大于1的样本数据进行训练时,故t0永远等于0,因此,公式(2)中i的取值可从1开始。
相应的,上述103中“结合所述不确定性,对所述计算模型进行参数优化”,具体可采用如下步骤来实现:
1031、综合所述差异和所述不确定性,对所述计算模型进行参数优化。
通过差异和不确定性这两者,来保障训练效果。
在一种可实现的方案中,可将所述差异和所述不确定性进行相加,得到总损失值;根据总损失值对计算模型进行参数优化。
在另一种可实现的方案中,上述1031中“综合所述差异和所述不确定性,对所述计算模型进行参数优化”,具体可采用如下步骤来实现:
S11、分别获取所述差异对应的第一权重和所述不确定性对应的第二权重。
S12、根据所述差异、所述第一权重、所述不确定性以及所述第二权重,确定总损失值。
S13、根据所述总损失值,对所述计算模型进行参数优化。
上述S11中,可事先根据重要程度,为上述差异和上述不确定性分别设置对应的权重。
由于用于训练上述计算模型的训练集中噪声标签的占比是比较小的,在对计算模型进行参数优化时,应当较少地考虑上述不确定性,较多的考虑上述差异。因此,可事先为上述不确定性设置一个较小的权重,为上述差异设置一个较大的权重,即上述差异对应的第一权重大于上述不确定性对应的第二权重。
上述S12中,可根据第一权重和第二权重对所述差异和所述不确定性进行加权求和,得到总损失值。
其中,总损失值的计算公式如下:
Figure BDA0002235798440000121
其中,β的值大于0.5,具体地,β的值可设为0.7。
上述S13中,根据所述总损失值,对所述计算模型进行参数优化的步骤的具体实现可参见现有技术中相应内容,在此不再赘述。
实际应用时,上述第一样本数据的标注类别可以是通过人工的方式进行标注得到,由于采用本申请实施例提供的训练方法,对于标注的精度要求没有那么高,因此,可在一定程度上降低人工标注的难度和成本。
考虑到计算模型的训练样本数量是十分巨大的,若每一个训练样本都依靠人工来标注的话,即使标注精度要求不高,标注人员的工作量依旧是比较大的。为了进一步降低标注人员的工作量,降低标注成本,可事先训练一个分类器,利用训练好的分类器来对训练样本进行分类,根据分类器的分类结果,自动对训练样本进行标注,得到一批带有噪声的训练样本。具体地,上述方法,还可包括:
106、获取未标注的第二样本数据。
107、利用训练好的分类器对所述第二样本数据进行分类,得到第一分类结果。
108、根据所述第一分类结果,对所述第二样本数据进行类别标注。
其中,标注后的所述第二样本数据用于训练所述计算模型。
上述106中,在分类场景中,当待处理数据为待处理图像时,上述第二样本数据也为样本图像;当待处理数据为待处理视频时,上述第二样本数据也为样本视频;当待处理数据为待处理音频时,上述第二样本数据为样本音频。
在语义分割场景中,上述第一样本数据可以为从第二样本图像中确定出的第二样本区域,计算模型对所述第二样本数据的分类结果,也即是第二样本区域的中心像素点的分类结果。在实际应用时,若计算模型用来从待处理图像中提取待提取物,则第一样本图像中可包含有第二样本影像。在管状物提取场景中,第二样本影像具体可以为第二样本管状物影像,例如:血管影像。
上述107中,在本申请实施例中对第二样本数据的标注精确的要求不高,因此,可采用一个分类器来对第二样本数据进行分类。分类器可以为softmax分类器、sigmoid分类器或支持向量机分类器。具体实施时,可根据实际需要来选取分类器,本申请实施例对此不作具体限定。
其中,分类器中的参数量是比较少的,基于少量的正确标注的标注样本即可训练得到,这些少量的标注样本可通过人工标注的方式得到。
在一种可实现的方案中,所述分类的训练过程如下:
109、获取第三样本数据及其对应的第二标注类别。
110、利用所述分类器对所述第三样本数据进行分类,得到第二实际分类结果。
111、根据所述第二实际分类结果以及所述第二标注类别,对所述分类器进行参数优化。
上述109中,在分类场景中,当待处理数据为待处理图像时,上述第三样本数据也为样本图像;当待处理数据为待处理视频时,上述第三样本数据也为样本视频;当待处理数据为待处理音频时,上述第三样本数据也为样本音频。
在语义分割场景中,上述第三样本数据可以为从第三样本图像中确定出的第三样本区域,分类器对所述第三样本数据的第二实际分类结果,也即是第三样本区域的中心像素点的第二实际分类结果。在实际应用时,若计算模型用来从待处理图像中提取待提取物,则第三样本图像中可包含有第三样本影像。在管状物提取场景中,第三样本影像具体可以为第三样本管状物影像,例如:血管影像。其中,所述第二标注类别为所述第三样本图像中所述第三样本区域的中心像素点被标注的类别。具体实施时,可从所述第三样本图像中以某一标注点为中心确定出第三样本区域,以作为第三样本数据。
在管状物提取场景中,由于分类器的参数较少并且本申请实施例对于分类器的分类准确率的要求不高,故上述第三样本图像中只需要标注出少量的非管状物(即背景)点和管状物点即可(如图1b所示,图中箭头所指的点即为标注点),无需将整根血管标出。
上述110中,利用所述分类器对所述第三样本数据进行分类,得到第二实际分类结果。第二实际分类结果中包括所述第三样本数据分别属于多个可能类别的概率。
在一实例中,可训练出一个字典矩阵,利用字典矩阵来确定出第三样本数据的特征向量,这样可提取出第三样本数据的有效信息,分类器根据提取到的有效信息进行分类,可有效提高分类准确率,进而可减少分类器的训练样本的数量。上述110中“利用所述分类器对所述第三样本数据进行分类,得到第二实际分类结果”,具体可采用如下步骤来实现:
1101a、根据字典矩阵,确定所述第三样本数据的特征向量。
1101b、将所述特征向量输入至所述分类器,得到所述分类器输出的所述第二实际分类结果。
上述1101a中,字典矩阵可通过字典学习技术学习得到。在一种可实现的方案中,可采用如下步骤来获取字典矩阵:
a、获取多个样本数据。
b、根据所述多个样本数据,得到样本矩阵。
c、利用字典学习技术,对所述样本矩阵进行矩阵分解,得到所述字典矩阵。
上述a中,在分类场景中,当待处理数据为待处理图像时,上述样本数据也为样本图像;当待处理数据为待处理视频时,上述样本数据也为样本视频;当待处理数据为待处理音频时,上述样本数据也为样本音频。
在语义分割场景中,所述多个样本数据中包括第四样本数据(第四样本数据指代的是多个样本数据中任一个);上述第四样本数据可以为从第四样本图像中确定出的第五样本区域。在实际应用时,若计算模型用来从待处理图像中提取待提取物,则第四样本图像中可包含有第四样本影像。在管状物提取场景中,第四样本影像具体可以为第四样本管状物影像,例如:血管影像。具体实施时,可随机从多个第四样本图像中确定出多个第五样本区域,得到多个样本数据。需要说明的是,所述第四样本图像和上述第三样本图像可以为同一个。
上述b中,可将第四样本数据转换成向量形式,得到第四样本数据对应的数据向量。将多个样本数据各自对应的数据向量组合成样本矩阵。例如:各样本数据对应的数据向量为128*1,样本数据的数量为104,则样本矩阵为128*104
上述c中,“利用字典学习技术,对所述样本矩阵进行矩阵分解,得到所述字典矩阵”的具体实现具体可参见现有技术,在此不再赘述。
为了进一步提高分类器的分类准确率,上述方法,还可包括:
112、分别采用至少一种等比缩放比例,对所述第三样本图像进行缩放,得到至少一个缩放后的第三样本图像。
113、分别从所述至少一个缩放后的第三样本图像中,以与所述第三样本区域的中心像素点相对应的像素点为中心确定出第四样本区域,以得到至少一个所述第四样本区域。
其中,所述第四样本区域的尺寸与所述第三样本区域的尺寸相同。第三样本区域的尺寸具体可根据实际需要来设置,本实施例对此不作具体限定。
相应的,上述110中“利用所述分类器对所述第三样本数据进行分类”,具体采用如下步骤来实现:
1101b、根据所述第三样本区域和所述至少一个第四样本区域,利用所述分类器,对所述第三样本数据进行分类。
上述112中,缩放后的第三样本图像的尺寸可大于缩放前的第三样本图像的尺寸,也可小于缩放前的第三样本图像的尺寸。
上述113中,需要说明的是:所述缩放后的第三样本图像中与第三样本区域的中心像素点相对应的像素点,和缩放前的第三样本图像中第三样本区域的中心像素点实质上为同一像素点。
在一种可实现的方案中,上述1101b中,可获得第三样本区域对应的数据向量和至少一个第四样本区域各自对应的数据向量;将第三样本区域对应的数据向量和至少一个第四样本区域各自对应的数据向量进行拼接得到第三样本数据对应的数据向量;将第三样本数据对应的数据向量输入至分类器,以对第三样本数据进行分类。
这样,分类器可获取到同一位置处的更多更详细的信息,有助于提高分类器的分类准确率。
上述111中,可采用损失函数来计算所述第二实际分类结果与所述第二标注类别之间的差异;根据该差异,对所述分类器进行参数优化。上述步骤111的具体实现可参见现有技术,在此不再详述。
在一实例中,上述108中“根据所述第一分类结果,对所述第二样本数据进行类别标注”,具体可以为:根据所述第一分类结果,确定所述第二样本数据所属类别;根据所述所属类别对所述第二样本数据进行类别标注,也即采用所述所属类别对应的标签对所述第二样本数据进行标注。
在语义分割场景中,有时只需在包含有第二样本影像的第二样本图像中标注出前景类即可。故上述108中“根据所述第一分类结果,对所述第二样本数据进行类别标注”,具体可以为:所述第一分类结果表明所述第二样本数据为前景类别时,根据所述分类结果,对所述第二样本图像中所述第二样本区域的中心像素点进行类别标注。在具体的管状物提取场景中,所述前景类别具体为管状物类别。
此外,在实际应用时,为了满足用户的不同需求,可提供多种模型训练方法以供用户选择。具体地,可在用户界面提供现有技术中已有的模型训练方法A和本申请实施例提供的模型训练方法B。在用户具有足够多的精准标注的训练样本时,用户可触发选择用户界面上的模型训练方法A,响应于用户对模型训练方法A的触发操作,利用模型训练方法A对计算模型进行训练;在用户具有非常少的精准标注的训练样本时,用户可触发选择用户界面上的模型训练方法B,响应于用户对模型训练方法B的触发操作,利用模型训练方法B对计算模型进行训练。
当然,在实际应用时,上述计算模型所在的终端可自动判断当前训练库中精准标注的训练样本的数量是否大于预设阈值;当所述精准标注的训练样本的数量大于或等于预设阈值时,启动模型训练方法A来对计算模型进行训练;当所述精准标注的训练样本的数量小于预设阈值时,启动模型训练方法B来对计算模型进行训练。
图2示出了本申请又一实施例提供的数据识别方法的流程示意图。如图2所示,该方法包括:
201、获取待处理数据。
202、利用训练好的计算模型,对所述待处理数据进行识别。
其中,所述计算模型的训练过程如下:
203、根据第一样本数据,利用计算模型预测出所述第一样本数据分别属于至少一个可能类别的概率。
204、根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性。
205、结合所述不确定性,对所述计算模型进行参数优化。
上述201中,待处理数据可以为待处理图像、待处理视频或待处理音频中的一种。
上述202中,利用训练好的计算模型,对所述待处理数据进行识别,具体可以是对待处理数据进行分类。待处理数据为待处理图像时,还可对待处理图像进行语义分割,根据语义分割结果从待处理图像中提取出待提取物,例如:管状物。
上述步骤203至205的具体实现可参见上述各实施例中相应内容,在此不再赘述。
本申请实施例提供的技术方案中,在训练计算模型时,会根据计算模型输出的第一样本数据属于多个可能类别的概率,来确定计算模型预测的不确定性;结合该不确定性来对计算模型进行参数优化。采用本申请提供的训练方法可有效降低被噪声类别标注的样本引起的计算模型预测的不稳定性,进而确保训练效果。也就是说,采用本申请实施例提供的训练方法,可利用掺杂有被噪声类别标注的样本的训练集来训练计算模型,不仅可大幅度降低训练集的标注成本,还可确保计算模型的训练效果。
这里需要说明的是:本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容,此处不再赘述。此外,本申请实施例提供的所述方法中除了上述各步骤以外,还可包括上述各实施例中其他部分或全部步骤,具体可参见上述各实施例相应内容,在此不再赘述。
上述各实施例提供的模型训练方法和数据识别方法可应用于遥感领域。在一实例中,上述第一样本数据为样本遥感数据;待处理数据为待处理遥感数据。可基于样本遥感数据对计算模型进行训练。利用训练好的计算模型对待处理遥感数据进行识别。例如:待处理遥感数据为遥感图像,可利用训练好的计算模型对遥感图像进行识别,识别出遥感图像中的三维物体。
在另一实例中,上述第一样本数据可以为样本遥感图像中的第一样本区域;上述待处理数据为待处理遥感图像。可基于第一样本区域对计算模型进行训练。利用训练好的计算模型对待处理遥感图像进行识别,以从待处理遥感图像中分割出三维物体。
图3示出了本申请又一实施例提供的模型训练方法的流程示意图。如图3所示,该方法包括:
301、利用计算模型,预测出第一样本数据分别属于至少一个可能类别的概率。
其中,所述第一样本数据为从包含有第一样本管状物影像的第一样本图像中确定出的第一样本区域;
302、根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性。
303、结合所述不确定性,对所述计算模型进行参数优化。
其中,所述计算模型用于在待处理图像中提取出待提取管状物。在一实例中,所述待提取管状物为肝脏血管。
上述301中,第一样本管状物具体可以为血管、气管等。其中,血管可包括肝脏血管、脑部血管、心脏血管等。
上述步骤301至303的具体实现可参见上述各实施例中相应内容,在此不再赘述。
本申请实施例提供的技术方案中,在训练计算模型时,会根据计算模型输出的第一样本数据属于多个可能类别的概率,来确定计算模型预测的不确定性;结合该不确定性来对计算模型进行参数优化。采用本申请提供的训练方法可有效降低被噪声类别标注的样本引起的计算模型预测的不稳定性,进而确保训练效果。也就是说,采用本申请实施例提供的训练方法,可利用掺杂有被噪声类别标注的样本的训练集来训练计算模型,不仅可大幅度降低训练集的标注成本,还可确保计算模型的训练效果。
进一步的,上述302中“根据所述第一样本数据分别属于至少一个可能类别的概率,确定所述计算模型预测的不确定性”,具体可采用如下步骤来实现:
3021、根据所述第一样本数据分别属于至少一个可能类别的概率,计算所述计算模型预测的信息熵,以作为所述不确定性。
上述步骤3021的具体实现可参见上述各实施例中相应内容,在此不再赘述。
进一步的,上述方法,还包括:
304、获取所述第一样本图像中所述第一样本区域的中心像素点被标注的第一标注类别,以作为所述第一样本数据的第一期望分类结果;
305、计算所述第一期望分类结果与第一实际分类结果之间的差异;其中,所述第一实际分类结果中包括所述第一样本数据属于至少一个可能类别的概率;
以及,上述步骤303中“结合所述不确定性,对所述计算模型进行参数优化”,具体可采用如下步骤来实现:
3031、综合所述差异和所述不确定性,对所述计算模型进行参数优化。
上述步骤3031的具体实现可参见上述各实施例中相应内容,在此不再赘述。
在一种可实现的方案中,上述步骤3031中“综合所述差异和所述不确定性,对所述计算模型进行参数优化”,具体可采用如下步骤来实现:
S21、分别获取所述差异对应的第一权重和所述不确定性对应的第二权重。
S22、根据所述差异、所述第一权重、所述不确定性以及所述第二权重,确定总损失值。
S23、根据所述总损失值,对所述计算模型进行参数优化。
上述步骤S21、S22、S23的具体实现可参见上述各实施例中相应内容,在此不再赘述。
进一步的,上述方法还可包括:
306、获取未标注的第二样本数据。
其中,所述第二样本数据为从包含有第二样本管状物影像的第二样本图像中确定出的第二样本区域。
307、利用训练好的分类器对所述第二样本数据进行分类,得到第一分类结果。
308、根据所述第一分类结果,对所述第二样本图像中所述第二样本区域的中心像素点进行类别标注。
其中,标注后的所述第二样本图像用于训练所述计算模型。
上述步骤306、307、308的具体实现可参见上述各实施例中相应内容,在此不再赘述。
在一种可实现的方案中,上述308中“根据所述第一分类结果,对所述第二样本图像中所述第二样本区域的中心像素点进行类别标注”,具体为:所述第一分类结果表明所述第二样本数据为管状物类别时,根据所述分类结果,对所述第二样本图像中所述第二样本区域的中心像素点进行类别标注。
在一实例中,所述分类器的训练过程如下:
309、获取第三样本数据及其对应的第二标注类别。
其中,所述第三样本数据为包含有第三样本管状物影像的第三样本图像中确定出的第三样本区域;所述第二标注类别为所述第三样本图像中所述第三样本区域的中心像素点被标注的类别。
310、利用所述分类器对所述第三样本数据进行分类,得到第二实际分类结果。
311、根据所述第二实际分类结果以及所述第二标注类别,对所述分类器进行参数优化。
上述步骤309、310、311的具体实现可参见上述各实施例中相应内容,在此不再赘述。
进一步的,上述方法,还可包括:
312、分别采用至少一种等比缩放比例,对所述第三样本图像进行缩放,得到至少一个缩放后的第三样本图像。
313、分别从所述至少一个缩放后的第三样本图像中,以与所述第三样本区域的中心像素点相对应的像素点为中心确定出第四样本区域,以得到至少一个所述第四样本区域。
其中,所述第四样本区域的尺寸与所述第三样本区域的尺寸相同。
相应的,上述310中“利用所述分类器对所述第三样本数据进行分类”,具体为:根据所述第三样本区域和所述至少一个第四样本区域,利用所述分类器,对所述第三样本数据进行分类。
进一步的,上述310中“利用所述分类器对所述第三样本数据进行分类,得到第二实际分类结果”,具体可采用如下步骤来实现:
3101、根据字典矩阵,确定所述第三样本数据的特征向量。
3102、将所述特征向量输入至所述分类器,得到所述分类器输出的所述第二实际分类结果。
进一步的,上述方法,还包括:
314、获取多个样本数据。
其中,所述多个样本数据中包括第四样本数据;所述第四样本数据为从包含有第四样本管状物影像的第四样本图像中确定出的第五样本区域。
315、根据所述多个样本数据,得到样本矩阵。
316、利用字典学习技术,对所述样本矩阵进行矩阵分解,得到所述字典矩阵。
进一步的,上述方法,还可包括:
317、分别采用所述至少一种等比缩放比例,对所述第四样本图像进行缩放,得到至少一个缩放后的第四样本图像。
318、分别从所述至少一个缩放后的第四样本图像中,以与所述第五样本区域的中心像素点相对应的像素点为中心确定出第六样本区域,得到至少一个所述第六样本区域。
其中,所述第六样本区域的尺寸与所述第五样本区域的尺寸相同;
319、综合所述第五样本区域和所述至少一个第六样本区域,确定出所述第四样本数据对应的数据向量。
相应的,上述315中“根据所述多个样本数据,得到样本矩阵”,具体为:将所述多个样本数据各自对应的数据向量组合成样本矩阵。
需要补充的是,上述各实施例中的计算模型为神经网络模型时,在血管提取场景中,由于血管非常细,可将神经网络模型中的池化层取消,即所述神经网络模型中不包含池化层,这样可避免因池化导致的血管周边信息的丢失;此外,还可在神经网络模型中设置残差连接(Skip connection),其主要作用是把浅层网络特征通过跳接的方式与深层网络的特征融合起来,从而达到更好的分割精度。
本申请实施例通过少量的点标注的方式来取代整根血管标注的方式,极大的降低了标注的人力成本和标注难度。通过点的标注来自动生成带有强噪声的血管分割结果,并将这些带有噪声的数据输入经设计的深度神经网络中,以学习精确的神经网络模型,也即血管分割模型。
即如图1a所示,通过少量点标注的样本图像(如图1b所示)训练一个分类器;通过训练好的分类器来对无标注样本图像中各像素点进行分类,得到包含有噪声的血管标注样本图像;通过包含有噪声的血管标注样本图像,来训练计算模型;该计算模型内部包括计算模块和不确定性评估模型;该不确定性评估模型用于评估计算模型预测的不确定性;这样即可基于该不确定性对模型参数进行优化。后续可利用训练好的计算模型从输入的待提取图像提取出血管。
本申请实施例提出了一种更经济且更高效的血管提取方案;利用自提升的方法使得深度学习可以处理噪声标签数据;设计了一种针对血管等小目标进行分割的深度神经网络,并且该神经网络可以通过噪声数据来学习;设计了一种帮助用户可极其高效做手术规划的算法方案。
这里需要说明的是:本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容,此处不再赘述。此外,本申请实施例提供的所述方法中除了上述各步骤以外,还可包括上述各实施例中其他部分或全部步骤,具体可参见上述各实施例相应内容,在此不再赘述。
图4示出了本申请一实施例提供的管状物提取方法的流程示意图。该方法,包括:
401、获取包含有管状物影像的待处理图像。
402、利用训练好的计算模型,从所述待处理图像中提取出所述管状物。
其中,所述计算模型的训练过程如下:
403、利用计算模型,预测出第一样本数据分别属于至少一个可能类别的概率。
其中,所述第一样本数据为从包含有第一样本管状物影像的第一样本图像中确定出的第一样本区域。
404、根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性。
405、结合所述不确定性,对所述计算模型进行参数优化。
上述401中,管状物具体可以为血管、气管等。其中,血管可以为肝脏血管、心脏血管或脑部血管。
上述402中,利用训练好的计算模型,对待处理图像进行语义分割;根据语义分割结果,提取出所述管状物。
在一种可实现的方案中,上述402中“利用训练好的计算模型,从所述待处理图像中提取出所述管状物”,具体可采用如下步骤来实现:
4021、利用所述训练好的计算模型,预测以所述待处理图像中各像素点为中心的第一区域的类别,以作为所述各像素点的类别。
4022、根据所述待处理图像中各像素点的类别,提取出所述管状物。
其中,第一区域的尺寸可根据实际需要来设置,本申请实施例对此不作具体限定。
上述步骤401至405的具体实现可参见上述各实施例中相应内容,在此不再赘述。
本申请实施例提供的技术方案中,在训练计算模型时,会根据计算模型输出的第一样本数据属于多个可能类别的概率,来确定计算模型预测的不确定性;结合该不确定性来对计算模型进行参数优化。采用本申请提供的训练方法可有效降低被噪声类别标注的样本引起的计算模型预测的不稳定性,进而确保训练效果。也就是说,采用本申请实施例提供的训练方法,可利用掺杂有被噪声类别标注的样本的训练集来训练计算模型,不仅可大幅度降低训练集的标注成本,还可确保计算模型的训练效果。
这里需要说明的是:本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容,此处不再赘述。此外,本申请实施例提供的所述方法中除了上述各步骤以外,还可包括上述各实施例中其他部分或全部步骤,具体可参见上述各实施例相应内容,在此不再赘述。
图5示出了本申请一实施例提供的模型训练装置的结构框图。如图5所示,该装置包括:第一预测模块501、第一评估模块502和第一优化模块503。
其中,
第一预测模块501,用于根据第一样本数据,利用计算模型预测出所述第一样本数据分别属于至少一个可能类别的概率;
第一评估模块502,用于根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性;
第一优化模块503,用于结合所述不确定性,对所述计算模型进行参数优化;
其中,所述计算模型用以识别待处理数据。
本申请实施例提供的技术方案中,在训练计算模型时,会根据计算模型输出的第一样本数据属于多个可能类别的概率,来确定计算模型预测的不确定性;结合该不确定性来对计算模型进行参数优化。采用本申请提供的训练方法可有效降低被噪声类别标注的样本引起的计算模型预测的不稳定性,进而确保训练效果。也就是说,采用本申请实施例提供的训练方法,可利用掺杂有被噪声类别标注的样本的训练集来训练计算模型,不仅可大幅度降低训练集的标注成本,还可确保计算模型的训练效果。
进一步的,上述装置,还可包括:
第一获取模块,用于获取所述第一样本数据被标注的第一标注类别,以作为所述第一样本数据的期望分类结果。
第一计算模块,用于计算所述期望分类结果与实际分类结果之间的差异。
其中,所述实际分类结果中包括所述第一样本数据属于至少一个可能类别的概率。
所述第一优化模块503,具体用于:综合所述差异和所述不确定性,对所述计算模型进行参数优化。
进一步的,所述第一样本数据为从包含有第一样本影像的第一样本图像中确定出的第一样本区域;所述计算模型用以从待处理图像中提取出待提取物。
这里需要说明的是:上述实施例提供的模型训练装置可实现上述各方法实施例中描述的技术方案,上述各模块或计算模型具体实现的原理可参见上述各方法实施例中的相应内容,此处不再赘述。
图6示出了本申请又一实施例提供的数据识别装置的结构框图。如图6所示,该装置包括:
第二获取模块601,用于获取待处理数据;
第一识别模块602,用于利用训练好的计算模型,对所述待处理数据进行识别;
第二预测模块603,用于根据第一样本数据,利用计算模型预测出所述第一样本数据分别属于至少一个可能类别的概率;
第二评估模块604,用于根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性;
第二优化模块605,用于结合所述不确定性,对所述计算模型进行参数优化。
本申请实施例提供的技术方案中,在训练计算模型时,会根据计算模型输出的第一样本数据属于多个可能类别的概率,来确定计算模型预测的不确定性;结合该不确定性来对计算模型进行参数优化。采用本申请提供的训练方法可有效降低被噪声类别标注的样本引起的计算模型预测的不稳定性,进而确保训练效果。也就是说,采用本申请实施例提供的训练方法,可利用掺杂有被噪声类别标注的样本的训练集来训练计算模型,不仅可大幅度降低训练集的标注成本,还可确保计算模型的训练效果。
这里需要说明的是:上述实施例提供的数据识别装置可实现上述各方法实施例中描述的技术方案,上述各模块或计算模型具体实现的原理可参见上述各方法实施例中的相应内容,此处不再赘述。
图5示出了本申请一实施例提供的模型训练装置的结构框图。如图5所示,该装置包括:第一预测模块501、第一评估模块502和第一优化模块503。
其中,
第一预测模块501,用于利用计算模型,预测出第一样本数据分别属于至少一个可能类别的概率;其中,所述第一样本数据为从包含有第一样本管状物影像的第一样本图像中确定出的第一样本区域;
第一评估模块502,用于根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性;
第一优化模块503,用于结合所述不确定性,对所述计算模型进行参数优化;其中,所述计算模型用于在待处理图像中提取出待提取管状物。
本申请实施例提供的技术方案中,在训练计算模型时,会根据计算模型输出的第一样本数据属于多个可能类别的概率,来确定计算模型预测的不确定性;结合该不确定性来对计算模型进行参数优化。采用本申请提供的训练方法可有效降低被噪声类别标注的样本引起的计算模型预测的不稳定性,进而确保训练效果。也就是说,采用本申请实施例提供的训练方法,可利用掺杂有被噪声类别标注的样本的训练集来训练计算模型,不仅可大幅度降低训练集的标注成本,还可确保计算模型的训练效果。
进一步的,上述第一评估模块502,具体用于:根据所述第一样本数据分别属于至少一个可能类别的概率,计算所述计算模型预测的信息熵,以作为所述不确定性。
上述装置,还包括:
第一获取模块,用于获取所述第一样本图像中所述第一样本区域的中心像素点被标注的第一标注类别,以作为所述第一样本数据的第一期望分类结果;
第一计算模块,用于计算所述第一期望分类结果与第一实际分类结果之间的差异;其中,所述第一实际分类结果中包括所述第一样本数据属于至少一个可能类别的概率;
上述第一优化模块503,具体用于:
综合所述差异和所述不确定性,对所述计算模型进行参数优化。
进一步的,上述第一优化模块503,具体用于:
分别获取所述差异对应的第一权重和所述不确定性对应的第二权重;
根据所述差异、所述第一权重、所述不确定性以及所述第二权重,确定总损失值;
根据所述总损失值,对所述计算模型进行参数优化。
进一步的,上述装置,还可包括:
第三获取模块,用于获取未标注的第二样本数据;其中,所述第二样本数据为从包含有第二样本管状物影像的第二样本图像中确定出的第二样本区域;
第一分类模块,用于利用训练好的分类器对所述第二样本数据进行分类,得到第一分类结果;
第一标注模块,用于根据所述第一分类结果,对所述第二样本图像中所述第二样本区域的中心像素点进行类别标注;
其中,标注后的所述第二样本图像用于训练所述计算模型。
进一步的,第一标注模块,具体用于:
所述第一分类结果表明所述第二样本数据为管状物类别时,根据所述分类结果,对所述第二样本图像中所述第二样本区域的中心像素点进行类别标注。
进一步的,上述装置,还包括:
第四获取模块,用于获取第三样本数据及其对应的第二标注类别;所述第三样本数据为包含有第三样本管状物影像的第三样本图像中确定出的第三样本区域;所述第二标注类别为所述第三样本图像中所述第三样本区域的中心像素点被标注的类别;
所述第一分类模块,还用于利用所述分类器对所述第三样本数据进行分类,得到第二实际分类结果;
第二优化模块,用于根据所述第二实际分类结果以及所述第二标注类别,对所述分类器进行参数优化。
进一步的,上述装置,还包括:
第一缩放模块,用于分别采用至少一种等比缩放比例,对所述第三样本图像进行缩放,得到至少一个缩放后的第三样本图像;
第一确定模块,用于分别从所述至少一个缩放后的第三样本图像中,以与所述第三样本区域的中心像素点相对应的像素点为中心确定出第四样本区域,以得到至少一个所述第四样本区域;其中,所述第四样本区域的尺寸与所述第三样本区域的尺寸相同;以及
所述第一分类模块,具体用于:
根据所述第三样本区域和所述至少一个第四样本区域,利用所述分类器,对所述第三样本数据进行分类。
进一步的,所述第一分类模块,具体用于:
根据字典矩阵,确定所述第三样本数据的特征向量;
将所述特征向量输入至所述分类器,得到所述分类器输出的所述第二实际分类结果。
进一步的,上述装置,还包括:
第五获取模块,用于获取多个样本数据;其中,所述多个样本数据中包括第四样本数据;所述第四样本数据为从包含有第四样本管状物影像的第四样本图像中确定出的第五样本区域;
第二确定模块,用于根据所述多个样本数据,得到样本矩阵;
第一分解模块,用于利用字典学习技术,对所述样本矩阵进行矩阵分解,得到所述字典矩阵。
进一步的,所述第一缩放模块,还用于分别采用所述至少一种等比缩放比例,对所述第四样本图像进行缩放,得到至少一个缩放后的第四样本图像;
所述第一确定模块,还用于分别从所述至少一个缩放后的第四样本图像中,以与所述第五样本区域的中心像素点相对应的像素点为中心确定出第六样本区域,得到至少一个所述第六样本区域;综合所述第五样本区域和所述至少一个第六样本区域,确定出所述第四样本数据对应的数据向量;
其中,所述第六样本区域的尺寸与所述第五样本区域的尺寸相同;
所述第二确定模块,具体用于:将所述多个样本数据各自对应的数据向量组合成样本矩阵。
进一步的,所述待提取管状物为肝脏血管。
这里需要说明的是:上述实施例提供的模型训练装置可实现上述各方法实施例中描述的技术方案,上述各模块或计算模型具体实现的原理可参见上述各方法实施例中的相应内容,此处不再赘述。
图7示出了本申请又一实施例提供的管状物提取装置的结构框图。如图7所示,该装置包括:
第六获取模块701,用于获取包含有管状物影像的待处理图像;
第一提取模块702,用于利用训练好的计算模型,从所述待处理图像中提取出所述管状物;
第三预测模块703,用于利用计算模型,预测出第一样本数据分别属于至少一个可能类别的概率;
其中,所述第一样本数据为从包含有第一样本管状物影像的第一样本图像中确定出的第一样本区域;
第三评估模块704,用于根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性;
第三优化模块705,用于结合所述不确定性,对所述计算模型进行参数优化。
本申请实施例提供的技术方案中,在训练计算模型时,会根据计算模型输出的第一样本数据属于多个可能类别的概率,来确定计算模型预测的不确定性;结合该不确定性来对计算模型进行参数优化。采用本申请提供的训练方法可有效降低被噪声类别标注的样本引起的计算模型预测的不稳定性,进而确保训练效果。也就是说,采用本申请实施例提供的训练方法,可利用掺杂有被噪声类别标注的样本的训练集来训练计算模型,不仅可大幅度降低训练集的标注成本,还可确保计算模型的训练效果。
进一步的,第一提取模块702,具体用于:
利用所述训练好的计算模型,预测以所述待处理图像中各像素点为中心的第一区域的类别,以作为所述各像素点的类别;
根据所述待处理图像中各像素点的类别,提取出所述管状物。
这里需要说明的是:上述实施例提供的管状物提取装置可实现上述各方法实施例中描述的技术方案,上述各模块或计算模型具体实现的原理可参见上述各方法实施例中的相应内容,此处不再赘述。
图8示出了本申请一实施例提供的电子设备的结构示意图。如图8所示,所述电子设备包括存储器1101以及处理器1102。存储器1101可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器1101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
所述存储器1101,用于存储程序;
所述处理器1102,与所述存储器1101耦合,用于执行所述存储器1101中存储的所述程序,以实现上述各方法实施例提供的模型训练方法、管状物提取方法或数据识别方法。
进一步,如图8所示,电子设备还包括:通信组件1103、显示器1104、电源组件1105、音频组件1106等其它组件。图8中仅示意性给出部分组件,并不意味着电子设备只包括图8所示组件。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现上述各方法实施例提供的模型训练方法、管状物提取方法、数据识别方法中各方法的步骤或功能。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种模型训练方法,其特征在于,包括:
利用计算模型,预测出第一样本数据分别属于至少一个可能类别的概率;其中,所述第一样本数据为从包含有第一样本管状物影像的第一样本图像中确定出的第一样本区域;
根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性,包括:根据所述第一样本数据分别属于至少一个可能类别的概率,计算所述计算模型预测的信息熵,以作为所述不确定性;
获取所述第一样本图像中所述第一样本区域的中心像素点被标注的第一标注类别,以作为所述第一样本数据的第一期望分类结果;
计算所述第一期望分类结果与第一实际分类结果之间的差异;
综合所述差异和所述不确定性,对所述计算模型进行参数优化,包括:分别获取所述差异对应的第一权重和所述不确定性对应的第二权重;根据所述差异、所述第一权重、所述不确定性以及所述第二权重,确定总损失值;根据所述总损失值,对所述计算模型进行参数优化;其中,所述计算模型用于在待处理图像中提取出待提取管状物;所述第一实际分类结果中包括所述第一样本数据属于至少一个可能类别的概率。
2.根据权利要求1所述的方法,其特征在于,还包括:
获取未标注的第二样本数据;其中,所述第二样本数据为从包含有第二样本管状物影像的第二样本图像中确定出的第二样本区域;
利用训练好的分类器对所述第二样本数据进行分类,得到第一分类结果;
根据所述第一分类结果,对所述第二样本图像中所述第二样本区域的中心像素点进行类别标注;
其中,标注后的所述第二样本图像用于训练所述计算模型。
3.根据权利要求2所述的方法,其特征在于,根据所述第一分类结果,对所述第二样本图像中所述第二样本区域的中心像素点进行类别标注,包括:
所述第一分类结果表明所述第二样本数据为管状物类别时,根据所述分类结果,对所述第二样本图像中所述第二样本区域的中心像素点进行类别标注。
4.根据权利要求2所述的方法,其特征在于,所述分类器的训练过程如下:
获取第三样本数据及其对应的第二标注类别;所述第三样本数据为包含有第三样本管状物影像的第三样本图像中确定出的第三样本区域;所述第二标注类别为所述第三样本图像中所述第三样本区域的中心像素点被标注的类别;
利用所述分类器对所述第三样本数据进行分类,得到第二实际分类结果;
根据所述第二实际分类结果以及所述第二标注类别,对所述分类器进行参数优化。
5.根据权利要求4所述的方法,其特征在于,还包括:
分别采用至少一种等比缩放比例,对所述第三样本图像进行缩放,得到至少一个缩放后的第三样本图像;
分别从所述至少一个缩放后的第三样本图像中,以与所述第三样本区域的中心像素点相对应的像素点为中心确定出第四样本区域,以得到至少一个所述第四样本区域;其中,所述第四样本区域的尺寸与所述第三样本区域的尺寸相同;以及
利用所述分类器对所述第三样本数据进行分类,包括:
根据所述第三样本区域和所述至少一个第四样本区域,利用所述分类器,对所述第三样本数据进行分类。
6.根据权利要求4所述的方法,其特征在于,利用所述分类器对所述第三样本数据进行分类,得到第二实际分类结果,包括:
根据字典矩阵,确定所述第三样本数据的特征向量;
将所述特征向量输入至所述分类器,得到所述分类器输出的所述第二实际分类结果。
7.根据权利要求6所述的方法,其特征在于,还包括:
获取多个样本数据;其中,所述多个样本数据中包括第四样本数据;所述第四样本数据为从包含有第四样本管状物影像的第四样本图像中确定出的第五样本区域;
根据所述多个样本数据,得到样本矩阵;
利用字典学习技术,对所述样本矩阵进行矩阵分解,得到所述字典矩阵。
8.根据权利要求7所述的方法,其特征在于,还包括:
分别采用所述至少一种等比缩放比例,对所述第四样本图像进行缩放,得到至少一个缩放后的第四样本图像;
分别从所述至少一个缩放后的第四样本图像中,以与所述第五样本区域的中心像素点相对应的像素点为中心确定出第六样本区域,得到至少一个所述第六样本区域;其中,所述第六样本区域的尺寸与所述第五样本区域的尺寸相同;
综合所述第五样本区域和所述至少一个第六样本区域,确定出所述第四样本数据对应的数据向量;
根据所述多个样本数据,得到样本矩阵,包括:
将所述多个样本数据各自对应的数据向量组合成样本矩阵。
9.根据权利要求1所述的方法,其特征在于,所述待提取管状物为肝脏血管。
10.一种管状物提取方法,其特征在于,包括:
获取包含有管状物影像的待处理图像;
利用训练好的计算模型,从所述待处理图像中提取出管状物;其中,所述计算模型的训练过程如下:
利用计算模型,预测出第一样本数据分别属于至少一个可能类别的概率;其中,所述第一样本数据为从包含有第一样本管状物影像的第一样本图像中确定出的第一样本区域;
根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性,包括:根据所述第一样本数据分别属于至少一个可能类别的概率,计算所述计算模型预测的信息熵,以作为所述不确定性;
获取所述第一样本图像中所述第一样本区域的中心像素点被标注的第一标注类别,以作为所述第一样本数据的第一期望分类结果;
计算所述第一期望分类结果与第一实际分类结果之间的差异;
综合所述差异和所述不确定性,对所述计算模型进行参数优化,包括:分别获取所述差异对应的第一权重和所述不确定性对应的第二权重;根据所述差异、所述第一权重、所述不确定性以及所述第二权重,确定总损失值;根据所述总损失值,对所述计算模型进行参数优化;所述第一实际分类结果中包括所述第一样本数据属于至少一个可能类别的概率。
11.根据权利要求10所述的方法,其特征在于,利用训练好的计算模型,从所述待处理图像中提取出管状物,包括:
利用所述训练好的计算模型,预测以所述待处理图像中各像素点为中心的第一区域的类别,以作为所述各像素点的类别;
根据所述待处理图像中各像素点的类别,提取出所述管状物。
12.一种电子设备,其特征在于,包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
利用计算模型,预测出第一样本数据分别属于至少一个可能类别的概率;其中,所述第一样本数据为从包含有第一样本管状物影像的第一样本图像中确定出的第一样本区域;
根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性,包括:根据所述第一样本数据分别属于至少一个可能类别的概率,计算所述计算模型预测的信息熵,以作为所述不确定性;
获取所述第一样本图像中所述第一样本区域的中心像素点被标注的第一标注类别,以作为所述第一样本数据的第一期望分类结果;
计算所述第一期望分类结果与第一实际分类结果之间的差异;
综合所述差异和所述不确定性,对所述计算模型进行参数优化,包括:分别获取所述差异对应的第一权重和所述不确定性对应的第二权重;根据所述差异、所述第一权重、所述不确定性以及所述第二权重,确定总损失值;根据所述总损失值,对所述计算模型进行参数优化;其中,所述计算模型用于在待处理图像中提取出待提取管状物;所述第一实际分类结果中包括所述第一样本数据属于至少一个可能类别的概率。
13.一种电子设备,其特征在于,包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
获取包含有管状物影像的待处理图像;
利用训练好的计算模型,从所述待处理图像中提取出管状物;其中,所述计算模型的训练过程如下:
利用计算模型,预测出第一样本数据分别属于至少一个可能类别的概率;其中,所述第一样本数据为从包含有第一样本管状物影像的第一样本图像中确定出的第一样本区域;
根据所述第一样本数据分别属于至少一个可能类别的概率,评估所述计算模型预测的不确定性,包括:根据所述第一样本数据分别属于至少一个可能类别的概率,计算所述计算模型预测的信息熵,以作为所述不确定性;
获取所述第一样本图像中所述第一样本区域的中心像素点被标注的第一标注类别,以作为所述第一样本数据的第一期望分类结果;
计算所述第一期望分类结果与第一实际分类结果之间的差异;
综合所述差异和所述不确定性,包括:分别获取所述差异对应的第一权重和所述不确定性对应的第二权重;根据所述差异、所述第一权重、所述不确定性以及所述第二权重,确定总损失值;根据所述总损失值,对所述计算模型进行参数优化;所述第一实际分类结果中包括所述第一样本数据属于至少一个可能类别的概率。
CN201910982976.6A 2019-10-16 2019-10-16 模型训练、管状物提取、数据识别方法及设备 Active CN112668710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910982976.6A CN112668710B (zh) 2019-10-16 2019-10-16 模型训练、管状物提取、数据识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910982976.6A CN112668710B (zh) 2019-10-16 2019-10-16 模型训练、管状物提取、数据识别方法及设备

Publications (2)

Publication Number Publication Date
CN112668710A CN112668710A (zh) 2021-04-16
CN112668710B true CN112668710B (zh) 2022-08-05

Family

ID=75400368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910982976.6A Active CN112668710B (zh) 2019-10-16 2019-10-16 模型训练、管状物提取、数据识别方法及设备

Country Status (1)

Country Link
CN (1) CN112668710B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581751B (zh) * 2022-03-08 2024-05-10 北京百度网讯科技有限公司 图像识别模型的训练方法和图像识别方法、装置
CN116468967B (zh) * 2023-04-18 2024-04-16 北京百度网讯科技有限公司 样本图像筛选方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7715626B2 (en) * 2005-03-23 2010-05-11 Siemens Medical Solutions Usa, Inc. System and method for vascular segmentation by Monte-Carlo sampling
CN106408562B (zh) * 2016-09-22 2019-04-09 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN110276763B (zh) * 2018-03-15 2021-05-11 中南大学 一种基于可信度和深度学习的视网膜血管分割图生成方法
CN110211087B (zh) * 2019-01-28 2023-06-30 南通大学 可分享的半自动糖尿病眼底病变标注方法
CN110321952B (zh) * 2019-07-02 2024-02-09 腾讯医疗健康(深圳)有限公司 一种图像分类模型的训练方法及相关设备

Also Published As

Publication number Publication date
CN112668710A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN109872306B (zh) 医学图像分割方法、装置和存储介质
CN109344908B (zh) 用于生成模型的方法和装置
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
CN108898186B (zh) 用于提取图像的方法和装置
CN112330685B (zh) 图像分割模型训练、图像分割方法、装置及电子设备
CN109376267B (zh) 用于生成模型的方法和装置
CN109145828B (zh) 用于生成视频类别检测模型的方法和装置
CN109740668B (zh) 深度模型训练方法及装置、电子设备及存储介质
CN109858333B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN109740752B (zh) 深度模型训练方法及装置、电子设备及存储介质
CN110175657B (zh) 一种图像多标签标记方法、装置、设备及可读存储介质
CN108198172B (zh) 图像显著性检测方法和装置
CN112668710B (zh) 模型训练、管状物提取、数据识别方法及设备
CN111783713A (zh) 基于关系原型网络的弱监督时序行为定位方法及装置
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN109671055B (zh) 肺结节检测方法及装置
CN108921952B (zh) 物体功能性预测方法、装置、计算机设备和存储介质
WO2023207389A1 (zh) 数据处理方法、装置、程序产品、计算机设备和介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN112818995A (zh) 图像分类方法、装置、电子设备及存储介质
CN112668608A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN111340213A (zh) 神经网络的训练方法、电子设备、存储介质
CN113240699B (zh) 图像处理方法及装置,模型的训练方法及装置,电子设备
CN110659641B (zh) 一种文字识别的方法、装置及电子设备
CN112818946A (zh) 年龄识别模型的训练、年龄识别方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant