CN114332563A - 图像处理模型训练方法及相关装置、设备和存储介质 - Google Patents
图像处理模型训练方法及相关装置、设备和存储介质 Download PDFInfo
- Publication number
- CN114332563A CN114332563A CN202111653182.9A CN202111653182A CN114332563A CN 114332563 A CN114332563 A CN 114332563A CN 202111653182 A CN202111653182 A CN 202111653182A CN 114332563 A CN114332563 A CN 114332563A
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- pixel
- difference
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 112
- 238000012549 training Methods 0.000 title claims abstract description 88
- 230000008569 process Effects 0.000 claims abstract description 40
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 description 64
- 210000001519 tissue Anatomy 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000002372 labelling Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000003734 kidney Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000944 nerve tissue Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理模型训练方法及相关装置、设备和存储介质，方法包括：获取样本图像集；其中，样本图像集包括第一样本图像和样本相关图像，第一样本图像标注有目标对象的样本轮廓，样本相关图像的像素点的像素值表示包括第一样本图像中的第一像素点与样本轮廓的样本相关度；利用第一处理模型对第一样本图像进行预测，得到预测图像集；其中，预测图像集包括预测相关图像，预测相关图像包括第一像素点经预测与样本轮廓的预测相关度；基于样本相关图像与预测相关图像，获取第一差异；基于第一差异，调整第一处理模型的网络参数。通过该方法，实现了利用弱标签数据对第一处理模型的训练。
Description
技术领域
本申请涉及深度学习技术领域，特别是涉及一种图像处理模型训练方法及相关装置、设备和存储介质。
背景技术
深度学习的快速发展，神经网络算法的日益改进，计算准确度也相应提高。目前，各行各业使用神经网络模型进行工作已经成为常态。例如，在医学领域，利用神经网络模型进行医学图像分割。又如，在交通领域，利用神经网络模型进行车辆识别。
目前，需要使用相当多的像素级的稠密标注数据来对模型进行训练才能获得比较的效果。但是，像素级的稠密标注数据获得具有一定的难度，成本较高，这也使得训练神经网络的成本较高，限制了神经网络的进一步普及。
因此，如何改进神经网络的训练方法，使得即使面对稀疏标注，也能够训练神经网络，满足一定的精度要求，对于促进神经网络模型的进一步普及，具有重要的意义。
发明内容
本申请至少提供一种图像处理模型训练方法及相关装置、设备和存储介质。
本申请第一方面提供了一种图像处理模型训练方法，方法包括：获取样本图像集；其中，样本图像集包括第一样本图像和样本相关图像，第一样本图像标注有目标对象的样本轮廓，样本相关图像的像素点的像素值表示包括第一样本图像中的第一像素点与样本轮廓的样本相关度；利用第一处理模型对第一样本图像进行预测，得到预测图像集；其中，预测图像集包括预测相关图像，预测相关图像包括第一像素点经预测与样本轮廓的预测相关度；基于样本相关图像与预测相关图像，获取第一差异；基于第一差异，调整第一处理模型的网络参数。
因此，通过利用第一处理模型对第一样本图像进行预测并设置来得到预测相关图像，并基于样本相关图像与预测相关图像的差异来调整第一处理模型的网络参数，实现了对模型的训练。另外，因为样本相关图像是基于第一样本图像而得到的，且第一样本图像的标注信息(样本轮廓)可以认为是弱标签信息，因此也实现了利用弱标签数据对第一处理模型的训练，从而在标注稀少的情况下，通过深度挖掘、学习像素点与轮廓之间的相关度，来尽可能地提升模型精度。
其中，上述的样本相关度通过结合第一像素点和若干参考维度确定；其中，若干参考维度包括像素差异、像素距离中至少一者。
因此，对于第一像素点，通过综合包括第一像素点，以及像素差异、像素距离中至少一者，可以获得第一像素点样本轮廓的样本相关度，进而后续可以将样本相关图像作为辅助训练的标注信息，用于后续的训练，提高训练效果。
其中，上述的第一样本图像为医学图像，目标对象为目标组织，所述目标对象的样本轮廓为所述目标组织的样本轮廓。
因此，通过限定第一样本图像为医学图像，目标对象为目标组织，以此实现了利用包括目标组织的医学图像来对模型进行训练。
其中，上述的样本相关图像的获取步骤，包括：基于第一像素点分别与样本轮廓上各个像素点之间的距离，选择一个像素点作为第一像素点的参考像素点；基于第一像素点与参考像素点之间的像素距离和/或像素差异，得到第一像素点与样本轮廓的样本相关度；基于各个第一像素点的样本相关度，得到样本相关图像。
因此，通过从样本轮廓上各个像素点中选择一个作为参考像素点，使得后续能够基于第一像素点与参考像素点之间的像素距离和/或像素差异来得到第一像素点与样本轮廓的样本相关度，进而得到样本相关图像。
其中，上述的基于第一像素点分别与样本轮廓上各个像素点之间的距离，选择一个像素点作为第一像素点的参考像素点，包括：在样本轮廓上，选择与第一像素点之间距离最近的像素点，作为第一像素点的参考像素点。
因此，通过选择与第一像素点之间的距离最近的像素点，作为第一像素点的参考像素点，后续便可以基于二者的像素差异和/或距离差异，确定该第一像素点与样本轮廓的样本相关度。
其中，上述的第一样本图像分别标注有至少一个目标对象的样本轮廓，第一像素点在各个目标对象的样本轮廓上均选择有参考像素点；上述的基于第一像素点与参考像素点之间的像素距离和/或像素差异，得到第一像素点与样本轮廓的样本相关度，包括：基于第一像素点分别与各个参考像素点之间的像素距离和/或像素差异，得到第一像素点分别与各个目标对象的样本轮廓的子相关度；融合第一像素点的各个子相关度，得到第一像素点的样本相关度。
因此，通过基于第一像素点分别与各个参考像素点之间的像素距离和/或像素差异，可以得到第一像素点分别与各个目标对象的样本轮廓的子相关度，以此便可基于各个第一像素点的样本相关度，得到样本相关图像，以此实现了多个目标对象的情况下获取样本相关图像。
其中，上述的第一样本图像分别标注有至少一个目标对象的样本轮廓，第一像素点在各个目标对象的样本轮廓上均选择有参考像素点，且样本图像集包括各个目标对象分别对应的样本相关图像；上述的基于第一像素点与参考像素点之间的像素距离和/或像素差异，得到第一像素点与样本轮廓的样本相关度，包括：基于第一像素点分别与各个参考像素点之间的像素距离和/或像素差异，得到第一像素点分别与各个目标对象的样本轮廓的子相关度；上述的基于各个第一像素点的样本相关度，得到样本相关图像，包括：对于各个目标对象，基于各个第一像素点分别与目标对象的样本轮廓的子相关度，得到目标对象对应的样本相关图像。
因此，通过分别获取第一像素点分别与各个目标对象的样本轮廓的子相关度，以此可以获得与每个目标对象对应的样本相关图像。
其中，上述的预测图像集包括各个目标对象分别对应的预测相关图像，上述的基于样本相关图像与预测相关图像，获取第一差异，包括：对于各个目标对象，基于目标对象对应的样本相关图像和预测相关图像，得到目标对象对应的子差异；融合各个目标对象分别对应的子差异，得到第一差异。
因此，通过基于目标对象对应的样本相关图像和预测相关图像，以此得到每一个目标对象对应的子差异，并且通过各个目标对象分别对应的子差异来得到第一差异，可以使得第一差异能够更加好地反映出样本相关图像和预测相关图像的差异，有助于提高模型的训练效果。
其中，上述的样本图像集包括样本掩膜图像，样本掩膜图像是基于第一样本图像中标注的目标对象的样本轮廓得到的，且预测图像集还包括第一预测掩膜图像，在上述的基于第一差异，调整第一处理模型的网络参数之前，方法还包括：基于样本掩膜图像与第一预测掩膜图像，获取第二差异；上述的基于第一差异，调整第一处理模型的网络参数，包括：基于第一差异和第二差异，调整第一处理模型的网络参数。
因此，通过获取第二差异，并基于第一差异和第二差异来调整第一处理模型的网络参数，可以从结合不同的标注信息来对第一处理模型进行训练，有助于提高训练效果。
其中，上述的基于样本掩膜图像与第一预测掩膜图像，获取第二差异，包括：将第一样本图像中标注的目标对象的样本轮廓作为样本掩膜图像的掩膜；在第一预测掩膜图像中确定与样本掩膜图像的掩膜对应的预测像素点；基于样本掩膜图像的掩膜所在的像素点和预测像素点的差异，确定第二差异。
因此，通过直接第一样本图像中标注的目标对象的样本轮廓作为样本掩膜图像的掩膜，可以使得样本掩膜图像的掩膜的准确性更高，以此使得基于样本掩膜图像的掩膜所在的像素点和预测像素点的差异得到的第二差异能够更好的反映第一处理模型的输出和标注信息的差异，有助于提高模型的训练效果。
其中，上述的样本图像集还包括第二样本图像，且第二样本图像未标注有目标对象的样本轮廓，方法还包括：利用第一处理模型对第二样本图像进行目标分割，得到第二预测掩膜图像，并利用第二处理模型对第二样本图像的增强样本图像进行目标分割，得到第三预测掩膜图像；其中，第二处理模型的网络参数基于第一处理模型的网络参数设置，增强样本图像包括以下任一者：第二样本图像自身、第二样本图像经增强处理后的第三样本图像；获取第二预测掩膜图像与第三预测掩膜图像在投影一致性方面的第三差异；上述的基于第一差异和第二差异，调整第一处理模型的网络参数，包括：基于第一差异、第二差异和第三差异，调整第一处理模型的网络参数。
因此，通过对第二预测掩膜图像与第三预测掩膜图像进行投影，实现了将第二预测掩膜图像与第三预测掩膜图像从二维数据降维为一维数据，实现了数据的简化，有助于加快第三差异的计算速度，提高模型的训练速度。另外，因为第一差异和第二差异是基于第一样本图像得到的，且第一样本图像标注了样本轮廓，因此可以认为第一差异和第二差异是基于标注数据得到的。第三差异是基于第二样本图像，且第二样本图像未标注有目标对象的样本轮廓，因此可以认为第三差异是基于无标注数据得到的。因此，通过利用第一差异、第二差异和第三差异，调整第一处理模型的网络参数，实现了利用有标注数据和无标注数据对模型进行训练。
其中，上述的第一处理模型经若干轮训练得到。在基于第一差异、第二差异和第三差异，调整第一处理模型的网络参数之后，方法还包括：基于第一处理模型在当前轮调整后的网络参数和第二处理模型在当前轮时的网络参数，得到第二处理模型在当前轮的下一轮时的网络参数。
因此，通过提前对第一处理模型进行若干轮训练，实现了对第一处理模型的预训练，有助于加快后续的模型训练速度。另外，通过利用经训练的第一处理模型的网络参数来调整第二处理模型在当前轮时的网络参数，实现了对第二处理模型的训练。
其中，上述的获取第二预测掩膜图像与第三预测掩膜图像在投影一致性方面的第三差异，包括：将第二预测掩膜图像和第三预测掩膜图像，朝目标角度分别投影至相同图像坐标轴，得到第二预测掩膜图像和第三预测掩膜图像的像素分布情况；基于第二预测掩膜图像和第三预测掩膜图像两者的像素分布情况，得到第三差异。
因此，通过将第二预测掩膜图像和第三预测掩膜图像朝目标角度分别投影至相同图像坐标轴，以此可以获得二者的像素分布情况，进而可以根据二者的像素分布情况来得到第三差异。
本申请第二方面提供了一种图像处理模型训练装置，装置包括：第一获取模块、第二获取模块、第三获取模块和调整模块，第一获取模块用于获取样本图像集；其中，样本图像集包括第一样本图像和样本相关图像，第一样本图像标注有目标对象的样本轮廓，样本相关图像的像素点的像素值表示包括第一样本图像中的第一像素点与样本轮廓的样本相关度；第二获取模块用于利用第一处理模型对第一样本图像进行预测，得到预测图像集；其中，预测图像集包括预测相关图像，预测相关图像包括第一像素点经预测与样本轮廓的预测相关度；第三获取模块用于基于样本相关图像与预测相关图像，获取第一差异；调整模块用于基于第一差异，调整第一处理模型的网络参数。
本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的图像处理模型训练方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的图像处理模型训练方法。
上述方案，通过利用第一处理模型对第一样本图像进行预测并设置来得到预测相关图像，并基于样本相关图像与预测相关图像的差异来调整第一处理模型的网络参数，实现了对模型的训练。另外，因为样本相关图像是基于第一样本图像而得到的，且第一样本图像的标注信息(样本轮廓)可以认为是弱标签信息，因此也实现了利用弱标签数据对第一处理模型的训练。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请图像处理模型训练方法第一实施例的流程示意图；
图2是本申请图像处理模型训练方法第二实施例的流程示意图；
图3是本申请图像处理模型训练方法中获取样本相关图像的一示意图；
图4是本申请图像处理模型训练方法中获取样本相关图像的另一示意图；
图5是本申请图像处理模型训练方法第三实施例的流程示意图；
图6是本申请图像处理模型训练方法第四实施例的流程示意图；
图7是本申请图像处理模型训练方法第五实施例的流程示意图；
图8是本申请图像处理模型训练方法获取像素分布情况的一示意图；
图9是本申请图像处理模型训练方法的整体流程示意图；
图10是本申请模型训练装置的一框架示意图；
图11是本申请电子设备一实施例的框架示意图；
图12是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请图像处理模型训练方法第一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取样本图像集。
在本申请中，样本图像集包括第一样本图像和样本相关图像。第一样本图像标注有目标对象的样本轮廓，目标对象可以是人体的器官、骨头、组织、动物或者物体等等，目标对象的数量可以是1个，2个或数个，目标对象的数量不受限制。例如，对于第一样本图像而言，目标对象可以包括血管、肿瘤组织、骨头。样本轮廓例如是由若干线条、若干区域组成的，样本轮廓可以是闭合的，也可以是目标对象的一部分轮廓。另外，样本轮廓可以是目标对象的边缘轮廓，也可以是目标对象的内部轮廓。在一个实施方式中，样本轮廓由若干线条组成。
在本申请中，对于目标对象，由于样本轮廓仅能表示目标对象的轮廓而无法表示目标对象的内部情况，也即无法表示整个目标对象，因此目标对象的样本轮廓可以认为是弱标签，而不是像素级的稠密标注信息。
在本申请中，样本相关图像可以是基于第一样本图像得到的。样本相关图像的像素点的像素值表示包括第一样本图像中的第一像素点与样本轮廓的样本相关度。也即，样本相关图像的图像信息可以用于表示第一像素点与样本轮廓的样本相关度。样本相关图像例如是灰度图像。具体的，样本相关图像像素点的像素值可以用于表示第一样本图像中与该像素点对应的第一像素点与样本轮廓的样本相关度。例如，样本相关图像中一像素点A坐标为(50,50)，第一样本图像中与像素点A对应的像素点为B坐标为(50,50)，则像素点A的像素值可以表示第一像素点A与样本轮廓的样本相关度。
在一个实施方式中，样本相关度可以通过结合第一像素点和若干参考维度确定，若干参考维度包括像素差异、像素距离中至少一者。像素差异例如是第一像素点与样本轮廓所在的像素点的像素值差异，像素距离例如是第一像素点与样本轮廓所在的像素点的距离。在一个具体实施方式中，样本相关图像可以用本领域通用的测地线距离图(geodesicdistance map)表示。在另一个具体实施方式中，也可以是基于第一样本图像，利用本领域通用的分水岭算法来得到样本相关图像。因此，对于第一像素点，通过综合包括像素差异、像素距离中至少一者，可以获得第一像素点样本轮廓的样本相关度，进而后续可以将样本相关图像作为辅助训练的标注信息，用于后续的训练，提高训练效果。
步骤S12：利用第一处理模型对第一样本图像进行预测，得到预测图像集。
在本申请中，预测图像集包括预测相关图像。在一个实施方式中，预测相关图像和样本相关图像的大小相同，且像素一一对应。预测相关图像包括第一像素点经预测与样本轮廓的预测相关度。具体的，预测相关图像的图像信息可以表示经预测后，第一像素点与样本轮廓的样本相关度。例如，预测相关图像的某一像素点的像素值可以表示第一样本图像中与该像素点对应的第一像素点与样本轮廓的样本相关度。例如，预测相关图像中一像素点C坐标为(50,50)，第一样本图像中与像素点C对应的像素点为B坐标为(50,50)，则像素点C的像素值可以表示第一像素点与样本轮廓的样本相关度。因此，通过利用第一处理模型对第一样本图像进行预测并置来得到预测相关图像，可以利用预测相关图像和样本相关图像来对第一处理模型进行训练。在一个实施方式中，第一处理模型可以是图像处理模型，例如是基于U-Net得到的图像处理模型。
步骤S13：基于样本相关图像与预测相关图像，获取第一差异。
在本申请中，因为样本相关图像与相关图像的图像信息都可以表示第一像素点与样本轮廓的预测相关度。因此，在本申请中，可以将样本相关图像作为标注信息，继而可以基于样本相关图像与预测相关图像，获取二者之间的差异，即第一差异。计算样本相关图像与预测相关图像的差异，可以利用本领域通用的计算方法。具体的，可以利用计算二者的相似性差异的损失函数来获得第一差异，例如可以通过计算均方误差(MSE，Mean SquaredError)、均方根误差(Root Mean Squard Error，RMSE)等来确定第一差异。
在一个具体实施方式中，可以利用以下公式(1)来计算第一差异。
其中，freg(x)表示预测相关图像的x像素点的像素值，yr表示样本相关图像中与x像素点对应的像素点的像素值，H和W为样本相关图像和预测相关图像的长和宽，
表示计算预测相关图像的每一个像素点和样本相关图像的对应像素点之间的差异，Lreg(freg(x),y)为第一差异。
步骤S14：基于第一差异，调整第一处理模型的网络参数。
得到样本相关图像与预测相关图像的第一差异以后，便可以基于该第一差异，调整第一处理模型的网络参数，以此实现对第一处理模型的训练。
因此，通过利用第一处理模型对第一样本图像进行预测并设置来得到预测相关图像，并基于样本相关图像与预测相关图像的差异来调整第一处理模型的网络参数，实现了对模型的训练。另外，因为样本相关图像是基于第一样本图像而得到的，且第一样本图像的标注信息(样本轮廓)可以认为是弱标签信息，因此也实现了利用弱标签数据对第一处理模型的训练，从而在标注稀少的情况下，通过深度挖掘、学习像素点与轮廓之间的相关度，来尽可能地提升模型精度。
在一个实施方式中，第一样本图像为医学图像，目标对象为目标组织，目标对象的样本轮廓为目标组织的样本轮廓。医学图像具体可以是通过医用成像设备得到的图像，例如是二维CT(Computed Tomography)图像，三维CT图像，磁共振(Magnetic ResonanceImaging，MRI)图像等等。目标组织例如是人体的组织，具体可以是神经组织、肌肉组织等，以及由组织构成的人体器官，如胃、肾脏等等。因此，通过限定第一样本图像为包括目标组织的医学图像，以此实现了利用包括目标组织的医学图像来对模型进行训练，使得模型能够学习到目标组织的特征信息，进而使得模型后续能够用于对目标组织进行分割，实现了本申请的图像处理模型训练方法在医学领域的应用。例如，可以利用经过本申请的图像处理模型训练方法训练的模型，对包含肾脏的医学图像进行图像分割，以此将图像中将肾脏的位置标注出来。
请参阅图2，图2是本申请图像处理模型训练方法第二实施例的流程示意图。可以包括如下步骤S21至步骤S23。在本实施例中，上述提及的样本相关图像的获取步骤，可以包括如下步骤S21至步骤S23。
步骤S21：基于第一像素点分别与样本轮廓上各个像素点之间的距离，选择一个像素点作为第一像素点的参考像素点。
在一个实施方式中，样本轮廓有若干线条组成，相应地可以确定样本轮廓上的各个像素点。样本轮廓上的像素点为第一像素点的部分。在一个具体实施方式中，第一像素点分别与样本轮廓上各个像素点之间的距离可以是欧氏距离。对于样本轮廓上的像素点而言，则是计算该像素点和样本轮廓上的像素点(包括自身)的距离。
在一个具体实施方式中，对于样本轮廓上的像素点，可以选择与第一像素点之间的距离最近的像素点，作为第一像素点的参考像素点。例如，样本轮廓上的像素点一共有10个，对于某一第一像素点而言，可以分别计算和这10个样本轮廓上的像素点的距离，然后选择距离最近的像素点作为该第一像素点的参考像素点。因此，通过选择与第一像素点之间的距离最近的像素点，作为第一像素点的参考像素点，后续便可以基于二者的像素差异和/或距离差异，确定该第一像素点与样本轮廓的样本相关度。对于样本轮廓上的像素点而言，其对应的参考像素点可以是其本身。
在另一个具体实施方式中，也可以是选择与第一像素点之间的距离最远的像素点，作为第一像素点的参考像素点。在其他的实施方式中，也可以是选择与第一像素点之间的距离处于中间的像素点，作为第一像素点的参考像素点。可以理解的，本申请如何根据第一像素点分别与样本轮廓上各个像素点之间的距离来选择第一像素点，可以根据需要进行设置。
步骤S22：基于第一像素点与参考像素点之间的像素距离和/或像素差异，得到第一像素点与样本轮廓的样本相关度。
第一像素点与参考像素点之间的像素距离可以是欧氏距离或是其他距离。第一像素点与参考像素点之间的像素差异可以是像素值的差异，当预测相关图像和样本相关图像都是灰度图像时，像素差异则是灰度值的差异。
基于第一像素点与参考像素点之间的像素距离和/或像素差异，来得到第一像素点与样本轮廓的样本相关度的计算方法，可以是本领域通用的获取测地线距离图的方法，例如是分水岭算法等等，此处不再赘述。
在一个实施方式中，第一样本图像分别标注有至少一个目标对象的样本轮廓，第一像素点在各个目标对象的样本轮廓上均选择有参考像素点。具体的，可以是分别计算第一像素点与每一个目标对象的样本轮廓上的像素点的距离，然后选择与该目标对象对应的参考像素点。例如，目标对象的数量为3，则一个第一像素点分别在这个3个目标对象的样本轮廓上选择有参考像素点。在此情况下，上述的步骤S22具体包括步骤S221和步骤S222(图未示)。
步骤S221：基于第一像素点分别与各个参考像素点之间的像素距离和/或像素差异，得到第一像素点分别与各个目标对象的样本轮廓的子相关度。
计算第一像素点分别与各个目标对象的样本轮廓的子相关度的相关描述请参阅上述相关描述，此处不再赘述。在一个具体实施方式中，得到的第一像素点分别与各个目标对象的样本轮廓的子相关度，可以表现为与每一个目标对象的样本轮廓的子相关度的样本相关图像。各个目标对象对应的样本相关图像上的像素点的像素值表示与该目标对象的样本轮廓的相关度。
步骤S222：融合第一像素点的各个子相关度，得到第一像素点的样本相关度。
对于一个第一像素点而言，其均会存在与每一个目标对象的样本轮廓的子相关度。因此，为了最终得到样本相关图像，可以融合第一像素点的各个子相关度。在一个具体实施方式中，融合的过程，可以是取每一个目标对象的样本轮廓的子相关度中的最大值，作为融合后的第一像素点的样本相关度。在其他具体实施方式中，融合的过程也可使取每一个目标对象的样本轮廓的子相关度中的最小值，中间值等等。
在一个具体实施方式中，可以用以下公式(2)来得到第一像素点的样本相关度。
其中，yr为第一像素点的样本相关度，C为目标对象的数量，c为一具体的目标对象，
表示第一像素点x基于目标对象的样本轮廓上的像素点
得到的子相关度，
表示对第一像素点的各个子相关度去最大值，以作为样本相关度yr。
因此，通过基于第一像素点分别与各个参考像素点之间的像素距离和/或像素差异，可以得到第一像素点分别与各个目标对象的样本轮廓的子相关度，以此便可基于各个第一像素点的样本相关度，得到样本相关图像，以此实现了多个目标对象的情况下获取样本相关图像。
步骤S23：基于各个第一像素点的样本相关度，得到样本相关图像。
在得到每一个第一像素点的样本相关度以后，可以将第一像素点的样本相关度作为像素值，以此能够得到样本相关图像。
参阅图3，图3是本申请图像处理模型训练方法中获取样本相关图像的一示意图。图3的(a)为第一样本图像31，图3的(b)为第一样本图像31上标注的三个目标对象的样本轮廓，分别是第一个目标对象的样本轮廓321、第二个目标对象的样本轮廓322和第三个目标对象的样本轮廓323。图3的(c)为样本相关图像33。
参阅图4，图4是本申请图像处理模型训练方法中获取样本相关图像的另一示意图。目标对象的样本轮廓41包括三个，第一个目标对象的样本轮廓411、第二个目标对象的样本轮廓412和第三个目标对象的样本轮廓413。基于目标对象的样本轮廓，可以得到与每一个目标对象对应的样本相关图像42，分别是子样本相关图像421、子样本相关图像422和子样本相关图像423。通过融合三个子样本相关图像，即同一像素点取最大的子相关度，可以得到样本相关图像43。
因此，通过从样本轮廓上各个像素点中选择一个作为参考像素点，使得后续能够基于第一像素点与参考像素点之间的像素距离和/或像素差异来得到第一像素点与样本轮廓的样本相关度，进而得到样本相关图像。
在一个实施例中，第一样本图像分别标注有至少一个目标对象的样本轮廓，第一像素点在各个目标对象的样本轮廓上均选择有参考像素点，且样本图像集包括各个目标对象分别对应的样本相关图像。在一个实施方式中，上述步骤提及的“基于第一像素点与参考像素点之间的像素距离和/或像素差异，得到第一像素点与样本轮廓的样本相关度”具体可以包括：基于第一像素点分别与各个参考像素点之间的像素距离和/或像素差异，得到第一像素点分别与各个目标对象的样本轮廓的子相关度。关于具体获取第一像素点分别与各个目标对象的样本轮廓的子相关度的详细描述，请参阅上述步骤的相关描述，此处不再赘述。
在此情况下，上述的“基于各个第一像素点的样本相关度，得到样本相关图像”步骤具体可以包括：对于各个目标对象，基于各个第一像素点分别与目标对象的样本轮廓的子相关度，得到目标对象对应的样本相关图像。具体而言，可以是将第一像素点与目标对象的样本轮廓的子相关度作为像素值，以此得到与目标对象对应的样本相关图像，详细描述请参阅上述步骤的相关描述，此处不再赘述。因此，通过分别获取第一像素点分别与各个目标对象的样本轮廓的子相关度，以此可以获得与每个目标对象对应的样本相关图像。
请参阅图5，图5是本申请图像处理模型训练方法第三实施例的流程示意图。在本实施例中，上述提及的“预测图像集包括各个目标对象分别对应的预测相关图像”具体包括步骤S31和步骤S32。
步骤S31：对于各个目标对象，基于目标对象对应的样本相关图像和预测相关图像，得到目标对象对应的子差异。
例如，一共有3个目标对象，对应某一目标对象A，可以基于该目标对象A对应的样本相关图像和预测相关图像，计算相似性差异，以此得到目标对象对应的子差异，以此，可以得到每一个目标对象对应的子差异。
步骤S32：融合各个目标对象分别对应的子差异，得到第一差异。
融合各个目标对象分别对应的子差异，具体可以是对各个目标对象分别对应的子差异进行加权求和，或者是通过其他的方式得到第一差异，本申请不对具体的计算方法做限制。
因此，通过基于目标对象对应的样本相关图像和预测相关图像，以此得到每一个目标对象对应的子差异，并且通过各个目标对象分别对应的子差异来得到第一差异，可以使得第一差异能够更加好地反映出样本相关图像和预测相关图像的差异，有助于提高模型的训练效果。
在一个实施例中，样本图像集还可以包括样本掩膜图像，样本掩膜图像是基于第一样本图像中标注的目标对象的样本轮廓得到的。在一个具体实施方式中，可以直接将第一样本图像中标注的目标对象的样本轮廓作为样本掩膜图像的掩膜。在其他的具体实施方式中，也可以是利用本领域通用的掩膜生成方法，基于第一样本图像中标注的目标对象的样本轮廓得到样本掩膜图像。此时，可以将样本掩膜图像作为标注信息之一，用于对第一处理模型的训练。
另外，在本实施例中，预测图像集还包括第一预测掩膜图像。第一预测掩膜图像可以认为是对目标对象的分割结果，第一预测掩膜图像中的每一个掩膜表示每一个目标对象。不同的掩膜之间，可以用不同的像素值进行区分。例如，一共有3个目标对象，则第一预测掩膜图像中的掩膜有3个，3个掩膜的像素值不同。
在本实施例中，在步骤“基于第一差异，调整第一处理模型的网络参数”之前，还可以执行步骤：基于样本掩膜图像与第一预测掩膜图像，获取第二差异。计算掩膜图像之间的差异的方法，可以是本领域通用的计算方法，例如可以通过计算二者的相似性差异来得到第二差异，此处不再赘述。
在此情况下，上述的“基于第一差异，调整第一处理模型的网络参数”包括：基于第一差异和第二差异，调整第一处理模型的网络参数。在本实施例中，因为第二差异也能反映出第一处理模型的输出(第一预测掩膜图像)和标注信息(样本掩膜图像)之间的差异，因此可以基于第一差异和第二差异来调整第一处理模型的网络参数。因此，通过获取第二差异，并基于第一差异和第二差异来调整第一处理模型的网络参数，可以从结合不同的标注信息来对第一处理模型进行训练，有助于提高训练效果。
请参阅图6，图6是本申请图像处理模型训练方法第四实施例的流程示意图。在本实施例中，上述的“基于样本轮廓图与第一预测掩膜图像，获取第二差异”包括步骤S41至步骤S43。
步骤S41：将第一样本图像中标注的目标对象的样本轮廓作为样本掩膜图像的掩膜。
在本实施例中，直接将第一样本图像中标注的目标对象的样本轮廓作为样本掩膜图像的掩膜，以此得到每一个目标对象对应的样本掩膜，以此使得样本掩膜图像的掩膜的准确性更高。
步骤S42：在第一预测掩膜图像中确定与样本掩膜图像的掩膜对应的预测像素点。
由于直接将第一样本图像中标注的目标对象的样本轮廓作为样本掩膜图像的掩膜，因此可以在第一预测掩膜图像中确定与样本掩膜图像的掩膜对应的预测像素点，以此来比较二者的差异。在一个具体实施方式中，第一预测掩膜图像和样本掩膜图像的大小相同，此时可以直接将第一预测掩膜图像中与样本掩膜图像的掩膜的位置相同的像素点作为预测像素点。
步骤S43：基于样本掩膜图像的掩膜所在的像素点和预测像素点的差异，确定第二差异。
计算样本掩膜图像的掩膜所在的像素点和预测像素点的差异，例如是计算二者的交叉熵损失(cross-entropy)或者是其他本领域通用的损失，此处不再赘述。
在一个具体实施方式中，可以通过以下公式(3)计算第二差异。
其中，
为每一个目标对象对应的样本掩膜的像素点的像素值，fseg(x)c为第一预测掩膜图像中与样本掩膜图像的样本掩膜对应的预测像素点的像素值，C为目标对象的数量，c为一具体的目标对象，Lseg(fseg(x),ys)为第二差异。
因此，通过直接第一样本图像中标注的目标对象的样本轮廓作为样本掩膜图像的掩膜，可以使得样本掩膜图像的掩膜的准确性更高，以此使得基于样本掩膜图像的掩膜所在的像素点和预测像素点的差异得到的第二差异能够更好的反映第一处理模型的输出和标注信息的差异，有助于提高模型的训练效果。
在一个实施例中，第一差异和第二差异可以认为是与标注数据计算得到的差异。以此可以利用以下公式(4)，基于第一差异和第二差异计算得到第一处理模型在利用标注数据进行训练的损失值。
Llabeled＝Lseg+αLreg (4)
其中，Lseg为第二差异，Lreg为第一差异，α为权重系数，Llabeled为基于标注数据得到的标注数据的损失值。
请参阅图7，图7是本申请图像处理模型训练方法第五实施例的流程示意图。在本实施例中，样本图像集还包括第二样本图像，且第二样本图像未标注有目标对象的样本轮廓，即第二样本图像是无标注数据。在本实施例中，上述的图像处理模型训练方法还包括步骤S51和步骤S52。
步骤S51：利用第一处理模型对第二样本图像进行目标分割，得到第二预测掩膜图像，并利用第二处理模型对第二样本图像的增强样本图像进行目标分割，得到第三预测掩膜图像。
在本实施例中，增强样本图像包括以下任一者：第二样本图像自身、第二样本图像经增强处理后的第三样本图像。对第二样本图像进行增强处理，可以是添加扰动，具体可以是本领域通用的方法，此处不再赘述。
在一个具体实施方式中，第一处理模型可以认为平均教师(Mean Teacher)模型中的学生网络，第二处理模型可以认为平均教师模型中的教师网络。
在一个实施方式中，第一处理模型经若干轮训练得到。每一轮训练可以以基于第一差异和第二差异，调整第一处理模型的网络参数为终点。以此，通过提前对第一处理模型进行若干轮训练，实现了对第一处理模型的预训练，有助于加快后续的模型训练速度。
在一个实施方式中，第一处理模型可以是包括特征提取模块，第一预测掩膜图像输出模块和预测相关图像输出模块。特征提取模块用于提取图像的特征信息，第一预测掩膜图像输出模块用于基于提取的特征信息而输出第一预测掩膜图像，预测相关图像输出模块用于基于提取的特征信息而输出预测相关图像。
在本实施例中，第二处理模型的网络参数基于第一处理模型的网络参数设置。在一个实施方式中，可以将第一处理模型中用于特征提取和用于输出第一预测掩膜图像的网络层进行拷贝，以此得到第二处理模型。第二处理模型的网络层的网络参数可以是复制第一处理模型中对应网络层的网络参数得到的。以此，可以利用平均教师(mean-teacher)的半监督学习方法，基于无标注图像，实现对模型的训练，降低了训练成本。
在本实施例中，通过利用第一处理模型对第二样本图像进行目标分割来得到第二预测掩膜图像，并利用第二处理模型对第二样本图像的增强样本图像进行目标分割来得到第三预测掩膜图像，后续便可比价两个预测掩膜图像的差异，实现对第二处理模型的训练。
步骤S52：获取第二预测掩膜图像与第三预测掩膜图像在投影一致性方面的第三差异。
具体的，可以对第二预测掩膜图像与第三预测掩膜图像进行投影，以此获得第二预测掩膜图像投影后的像素分布情况，以及获得第三预测掩膜图像投影后的像素分布情况。
在一个实施方式中，对于存在对个目标对象的掩膜情况，可以获取第二预测掩膜图像与第三预测掩膜图像中每一个目标对象对应的掩膜在投影一致性方面的差异，然后根据继续每一个目标对象对应的掩膜在投影一致性方面的差异得到第三差异。
在另一个实施方式中，对于存在对个目标对象的掩膜情况，也可以直接获取第二预测掩膜图像与第三预测掩膜图像中的全部掩膜在投影一致性方面的差异，作为第三差异。
通过对第二预测掩膜图像与第三预测掩膜图像进行投影，实现了将第二预测掩膜图像与第三预测掩膜图像从二维数据降维为一维数据，此一维数据可以认为是向量，通过比较第二预测掩膜图像与第三预测掩膜图像降维后的一维数据的差异，例如是相似性差异，即可得到第二预测掩膜图像与第三预测掩膜图像在投影一致性方面的第三差异。
因此，通过对第二预测掩膜图像与第三预测掩膜图像进行投影，实现了将第二预测掩膜图像与第三预测掩膜图像从二维数据降维为一维数据，实现了数据的简化，有助于加快第三差异的计算速度，提高模型的训练速度。
在一个实施方式中，上述的“获取第二预测掩膜图像与第三预测掩膜图像在投影一致性方面的第三差异”具体包括步骤S521和步骤S522(图未示)。
步骤S521：将第二预测掩膜图像和第三预测掩膜图像，朝目标角度分别投影至相同图像坐标轴，得到第二预测掩膜图像和第三预测掩膜图像的像素分布情况。
在本实施方式中，目标角度是相对于图像坐标轴的角度。图像坐标轴例如是X轴，Y轴，也可以是其他自定义的坐标轴。就具体的投影方式而言，可以是最大投影(取最大值)、最小投影(取最小值)、均值投影(取均值)。例如，对于对应于同一投影点的各个像素点，可以将这些像素点中最大的像素值作为投影后的投影点的像素值。通过分别对将朝目标角度分别对第二预测掩膜图像和第三预测掩膜图像进行投影，可以获得第二预测掩膜图像和第三预测掩膜图像在目标方向上的像素分布情况。
在一个实施方式中，对于存在对个目标对象的掩膜情况，可以朝目标角度对第二预测掩膜图像与第三预测掩膜图像中每一个目标对象对应的掩膜进行投影，以此获得第二预测掩膜图像和第三预测掩膜图像中该目标对象对应的掩膜的像素分布情况。例如，目标对象的数量为3，则可以分别朝目标角度对第二预测掩膜图像与第三预测掩膜图像中3个目标对象对应的掩膜进行投影，以此可以获得每一个目标对象对应的掩膜的像素分布情况。然后根据每一个目标对象对应的掩膜的像素分布情况的差异得到第三差异。
在一个具体实施方式中，可以通过一下公式(5)和(6)计算像素分布情况。
就公式(5)而言，φ表示目标角度；
表示第二预测掩膜图像；
表示将第二预测掩膜图像旋转φ角度；
表示对旋转φ角度的第二预测掩膜图像沿h方向投影，即沿Y轴投影，投影至X轴；
表示在h方向上取最大值；[0,1]C*H表示第二预测掩膜图像h方向上的像素点的像素值分布范围为[0,1]，
表示对第二预测掩膜图像沿h方向投影得到的投影向量。
就公式(6)而言，
对旋转φ角度的第二预测掩膜图像沿w方向投影，即沿X轴投影，投影至Y轴；
表示在h方向上取最大值；[0,1]C*W表示第二预测掩膜图像h方向上的像素点的像素值分布范围为[0,1]，
表示对第二预测掩膜图像沿w方向投影得到的投影向量。
同理，也可以利用公式(5)和公式(6)对第三预测掩膜图像进行投影，只需要把
替换为
表示第三预测掩膜图像。
参阅图8，图8是本申请图像处理模型训练方法获取像素分布情况的一示意图。在图8中，掩膜图像81为某一目标对象的掩膜图，可以是第二预测掩膜图像中某一目标对象的掩膜图，也可以是第三预测掩膜图像中某一目标对象的掩膜图。掩膜图像81经过旋转后可以得到掩膜图像82、掩膜图像83和掩膜图像84。然后，沿h方向对掩膜图像82、掩膜图像83和掩膜图像84进行投影，投影至X轴，可以得到与掩膜图像82对应的像素分布情况821，与掩膜图像83对应的像素分布情况831以及与掩膜图像84对应的像素分布情况841。
步骤S522：基于第二预测掩膜图像和第三预测掩膜图像两者的像素分布情况，得到第三差异。
在本实施方式中，第二预测掩膜图像和第三预测掩膜图像两者的像素分布情况能够反映二者的区别，因此通过基于此二者的像素分布情况来得到第三差异，可以以此得到第一处理模型和第二处理模型在输出一致性方面的差异。
在一个实施方式中，可以设置多个目标角度，以此得到多个第二预测掩膜图像和第三预测掩膜图像的像素分布情况，最后基于得到的多个像素分布情况来最终得到第三差异。
在一个具体实施方式中，可以通过以下公式(7)计算第三差异。
就公式(7)而言，公式(5)和公式(6)得到的Projφ,w(·)和Projφ,H(·)均记为Projφ(·)，
表示对第二预测掩膜图像投影得到的投影向量，
表示对第三预测掩膜图像投影得到的投影向量，Φ是旋转的角度范围，例如是2π，Nrot表示对第二预测掩膜图像和第三预测掩膜图像进行旋转的次数，也即旋转的次数，
表示第三差异。
因此，通过将第二预测掩膜图像和第三预测掩膜图像朝目标角度分别投影至相同图像坐标轴，以此可以获得二者的像素分布情况，进而可以根据二者的像素分布情况来得到第三差异。
对应于获得第三差异的情况，上述步骤提及的“基于第一差异和第二差异，调整第一处理模型的网络参数”具体包括：基于第一差异、第二差异和第三差异，调整第一处理模型的网络参数。因为第一差异和第二差异是基于第一样本图像得到的，且第一样本图像标注了样本轮廓，因此可以认为第一差异和第二差异是基于标注数据得到的。第三差异是基于第二样本图像，且第二样本图像未标注有目标对象的样本轮廓，因此可以认为第三差异是基于无标注数据得到的。因此，通过利用第一差异、第二差异和第三差异，调整第一处理模型的网络参数，实现了利用有标注数据和无标注数据对模型进行训练。
在一个实施例中，还可以利用其他的损失确定方法，基于第二预测掩膜图像和第三预测掩膜图像来得到二者的差异。例如是通过计算均方误差来获得差异。
在一个具体实施方式中，可以利用以下公式(8)计算基于无标注数据得到差异，也即是基于第二预测掩膜图像和第三预测掩膜图像得到的差异。
Lunlabeled＝Lmse+βLmpr (8)
其中，Lunlabeled为基于无标注数据得到的损失值，Lmse为通过计算均方误差得到的损失值，β为权重系数，Lmpr为基于利用上述(7)得到的损失值。
对应的，可以基于标注数据得到的损失值和基于无标注数据得到的损失值，来确定最终损失值，并基于最终的损失值调整第一处理模型的网络参数。
在一个具体实施方式中，可以基于以下公式(9)确定最终损失值。
L＝Llabeled+γ(t)Lunlabeled (9)
其中，Llabeled为基于标注数据得到的损失值，Lunlabeled为基于无标注数据得到的损失值，γ(t)为权重系数，L为最终损失值。
在一个具体实施方式中，γ(t)的计算公式(10)如下。
其中，t表示当前迭代，T表示总的迭代次数。
在一个实施例中，在步骤“基于第一差异、第二差异和第三差异，调整第一处理模型的网络参数”之后，上述的图像处理模型训练方法还包括：基于第一处理模型在当前轮调整后的网络参数和第二处理模型在当前轮时的网络参数，得到第二处理模型在当前轮的下一轮时的网络参数。
在一个具体实施方式中，可以通过指数移动平均值(Exponential MovingAverage，EMA)的方法来调整第二处理模型的网络参数。
在一个具体实施方式中，可以通过以下公式(11)确定第二处理模型的网络参数。
θ′t＝δθ′t-1+(1-δ)θt (11)
其中，θ′t为本轮训练中调整后的第二处理模型的网络参数，θ′t-1为第二处理模型在当前轮时的网络参数，即是上一轮训练中第二处理模型的历史网络参数，θt为第一处理模型在当前轮调整后的网络参数，δ为权重系数。
因此，通过利用经训练的第一处理模型的网络参数来调整第二处理模型在当前轮时的网络参数，实现了对第二处理模型的训练。
请参阅图9，图9是本申请图像处理模型训练方法的整体流程示意图。在图9中，第一样本图像91经过第一处理模型94处理后，得到预测相关图像96和第一预测掩膜图像98。基于预测相关图像96和样本相关图像97可以得到第一差异。基于第一预测掩膜图像98和第一样本图像91中标注的样本轮廓99，可以得到第二差异。第二样本图像92经过第一处理模型94处理后，得到与第二样本图像92对应的第一预测掩膜图像910。第二样本图像92经过增强处理后得到增强第二样本图像93，增强第二样本图像93经过第二处理模型95处理后，得到与增强第二样本图像93对应的第三预测掩膜图像911。利用与第二样本图像92对应的第一预测掩膜图像910和第三预测掩膜图像911，可以得到第三差异。后续便可以基于第一差异、第二差异和第三差异调整第一处理模型的网络参数，再基于调整后的第一处理模型的网络参数调整第二处理模型的网络参数。
请参阅图10，图10是本申请模型训练装置的一框架示意图。模型训练装置100包括第一获取模块101、第二获取模块102、第三获取模块103和调整模块104。第一获取模块101用于获取样本图像集；其中，样本图像集包括第一样本图像和样本相关图像，第一样本图像标注有目标对象的样本轮廓，样本相关图像的像素点的像素值表示包括第一样本图像中的第一像素点与样本轮廓的样本相关度；第二获取模块102用于利用第一处理模型对第一样本图像进行预测，得到预测图像集；其中，预测图像集包括预测相关图像，预测相关图像包括第一像素点经预测与样本轮廓的预测相关度；第三获取模块103用于基于样本相关图像与预测相关图像，获取第一差异；调整模块104用于基于第一差异，调整第一处理模型的网络参数。
其中，上述的样本相关度通过结合第一像素点和若干参考维度确定，其中，若干参考维度包括像素差异、像素距离中至少一者。
其中，上述的第一样本图像为医学图像，所述目标对象为目标组织，所述目标对象的样本轮廓为所述目标组织的样本轮廓。
其中，上述的模型训练装置100还包括样本相关图像获取模块，样本相关图像获取模块用于基于第一像素点分别与样本轮廓上各个像素点之间的距离，选择一个像素点作为第一像素点的参考像素点；基于第一像素点与参考像素点之间的像素距离和/或像素差异，得到第一像素点与样本轮廓的样本相关度；基于各个第一像素点的样本相关度，得到样本相关图像。
其中，上述的样本相关图像获取模块用于述基于第一像素点分别与样本轮廓上各个像素点之间的距离，选择一个像素点作为第一像素点的参考像素点，包括：在样本轮廓上，选择与第一像素点之间距离最近的像素点，作为第一像素点的参考像素点。
其中，上述的第一样本图像分别标注有至少一个目标对象的样本轮廓，第一像素点在各个目标对象的样本轮廓上均选择有参考像素点；上述的样本相关图像获取模块用于基于第一像素点与参考像素点之间的像素距离和/或像素差异，得到第一像素点与样本轮廓的样本相关度，包括：基于第一像素点分别与各个参考像素点之间的像素距离和/或像素差异，得到第一像素点分别与各个目标对象的样本轮廓的子相关度；融合第一像素点的各个子相关度，得到第一像素点的样本相关度。
其中，上述的第一样本图像分别标注有至少一个目标对象的样本轮廓，第一像素点在各个目标对象的样本轮廓上均选择有参考像素点，且样本图像集包括各个目标对象分别对应的样本相关图像；上述的基于第一像素点与参考像素点之间的像素距离和/或像素差异，得到第一像素点与样本轮廓的样本相关度，包括：基于第一像素点分别与各个参考像素点之间的像素距离和/或像素差异，得到第一像素点分别与各个目标对象的样本轮廓的子相关度；上述的基于各个第一像素点的样本相关度，得到样本相关图像，包括：对于各个目标对象，基于各个第一像素点分别与目标对象的样本轮廓的子相关度，得到目标对象对应的样本相关图像。
其中，上述的测图像集包括各个目标对象分别对应的预测相关图像，上述的第三获取模块103用于基于样本相关图像与预测相关图像，获取第一差异，包括：对于各个目标对象，基于目标对象对应的样本相关图像和预测相关图像，得到目标对象对应的子差异；融合各个目标对象分别对应的子差异，得到第一差异。
其中，上述的样本图像集包括样本掩膜图像，样本掩膜图像是基于第一样本图像中标注的目标对象的样本轮廓得到的，且预测图像集还包括第一预测掩膜图像，在调整模块104用于基于第一差异，调整第一处理模型的网络参数之前，模型训练装置100的第四获取模块用于基于样本掩膜图像与第一预测掩膜图像，获取第二差异；上述的调整模块104用于基于第一差异，调整第一处理模型的网络参数，包括：基于第一差异和第二差异，调整第一处理模型的网络参数。
其中，上述的第四获取模块用于基于样本掩膜图像与第一预测掩膜图像，获取第二差异，包括：将第一样本图像中标注的目标对象的样本轮廓作为样本掩膜图像的掩膜；在第一预测掩膜图像中确定与样本掩膜图像的掩膜对应的预测像素点；基于样本掩膜图像的掩膜所在的像素点和预测像素点的差异，确定第二差异。
其中，上述的样本图像集还包括第二样本图像，且第二样本图像未标注有目标对象的样本轮廓，模型训练装置100的第五获取模块用于利用第一处理模型对第二样本图像进行目标分割，得到第二预测掩膜图像，并利用第二处理模型对第二样本图像的增强样本图像进行目标分割，得到第三预测掩膜图像；其中，第二处理模型的网络参数基于第一处理模型的网络参数设置，增强样本图像包括以下任一者：第二样本图像自身、第二样本图像经增强处理后的第三样本图像；获取第二预测掩膜图像与第三预测掩膜图像在投影一致性方面的第三差异；上述的调整模块104用于基于第一差异和第二差异，调整第一处理模型的网络参数，包括：基于第一差异、第二差异和第三差异，调整第一处理模型的网络参数。
其中，上述的第一处理模型经若干轮训练得到，在上述的调整模块104用于基于第一差异、第二差异和第三差异，调整第一处理模型的网络参数，调整模块104还用于基于第一处理模型在当前轮调整后的网络参数和第二处理模型在当前轮时的网络参数，得到第二处理模型在当前轮的下一轮时的网络参数。
其中，上述的第四获取模块用于获取第二预测掩膜图像与第三预测掩膜图像在投影一致性方面的第三差异，包括：将第二预测掩膜图像和第三预测掩膜图像，朝目标角度分别投影至相同图像坐标轴，得到第二预测掩膜图像和第三预测掩膜图像的像素分布情况；基于第二预测掩膜图像和第三预测掩膜图像两者的像素分布情况，得到第三差异。
请参阅图11，图11是本申请电子设备一实施例的框架示意图。电子设备110包括相互耦接的存储器111和处理器112，处理器112用于执行存储器111中存储的程序指令，以实现上述任一图像处理模型训练方法实施例中的步骤。在一个具体的实施场景中，电子设备110可以包括但不限于：微型计算机、服务器，此外，电子设备110还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器112用于控制其自身以及存储器111以实现上述任一图像处理模型训练方法实施例中的步骤。处理器112还可以称为CPU(Central Processing Unit，中央处理单元)。处理器112可能是一种集成电路芯片，具有信号的处理能力。处理器112还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器112可以由集成电路芯片共同实现。
请参阅图12，图12为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质120存储有能够被处理器运行的程序指令121，程序指令121用于实现上述任一图像处理模型训练方法实施例中的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上述方案，通过利用第一处理模型对第一样本图像进行预测并设置来得到预测相关图像，并基于样本相关图像与预测相关图像的差异来调整第一处理模型的网络参数，实现了对模型的训练。另外，因为样本相关图像是基于第一样本图像而得到的，且第一样本图像的标注信息(样本轮廓)可以认为是弱标签信息，因此也实现了利用弱标签数据对第一处理模型的训练。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
Claims (15)
1.一种图像处理模型训练方法，其特征在于，包括：
获取样本图像集；其中，所述样本图像集包括第一样本图像和样本相关图像，所述第一样本图像标注有目标对象的样本轮廓，所述样本相关图像的像素点的像素值表示所述第一样本图像中的第一像素点与所述样本轮廓的样本相关度；
利用第一处理模型对所述第一样本图像进行预测，得到预测图像集；其中，所述预测图像集包括预测相关图像，所述预测相关图像包括所述第一像素点经预测与所述样本轮廓的预测相关度；
基于所述样本相关图像与所述预测相关图像，获取第一差异；
基于所述第一差异，调整所述第一处理模型的网络参数。
2.根据权利要求1所述的方法，其特征在于，所述样本相关度通过结合所述第一像素点和若干参考维度确定；其中，所述若干参考维度包括像素差异、像素距离中至少一者；
和/或，所述第一样本图像为医学图像，所述目标对象为目标组织，所述目标对象的样本轮廓为所述目标组织的样本轮廓。
3.根据权利要求1或2所述的方法，其特征在于，所述样本相关图像的获取步骤，包括：
基于所述第一像素点分别与所述样本轮廓上各个像素点之间的距离，选择一个所述像素点作为所述第一像素点的参考像素点；
基于所述第一像素点与所述参考像素点之间的像素距离和/或像素差异，得到所述第一像素点与所述样本轮廓的样本相关度；
基于各个所述第一像素点的样本相关度，得到所述样本相关图像。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一像素点分别与所述样本轮廓上各个像素点之间的距离，选择一个所述像素点作为所述第一像素点的参考像素点，包括：
在所述样本轮廓上，选择与所述第一像素点之间所述距离最近的像素点，作为所述第一像素点的参考像素点。
5.根据权利要求3所述的方法，其特征在于，所述第一样本图像分别标注有至少一个所述目标对象的样本轮廓，所述第一像素点在各个所述目标对象的样本轮廓上均选择有所述参考像素点；所述基于所述第一像素点与所述参考像素点之间的像素距离和/或像素差异，得到所述第一像素点与所述样本轮廓的样本相关度，包括：
基于所述第一像素点分别与各个所述参考像素点之间的像素距离和/或像素差异，得到所述第一像素点分别与各个所述目标对象的样本轮廓的子相关度；
融合所述第一像素点的各个所述子相关度，得到所述第一像素点的样本相关度。
6.根据权利要求3所述的方法，其特征在于，所述第一样本图像分别标注有至少一个所述目标对象的样本轮廓，所述第一像素点在各个所述目标对象的样本轮廓上均选择有所述参考像素点，且所述样本图像集包括各个所述目标对象分别对应的样本相关图像；
所述基于所述第一像素点与所述参考像素点之间的像素距离和/或像素差异，得到所述第一像素点与所述样本轮廓的样本相关度，包括：
基于所述第一像素点分别与各个所述参考像素点之间的像素距离和/或像素差异，得到所述第一像素点分别与各个所述目标对象的样本轮廓的子相关度；
所述基于各个所述第一像素点的样本相关度，得到所述样本相关图像，包括：
对于各个所述目标对象，基于各个所述第一像素点分别与所述目标对象的样本轮廓的子相关度，得到所述目标对象对应的样本相关图像。
7.根据权利要求6所述的方法，其特征在于，所述预测图像集包括各个所述目标对象分别对应的预测相关图像，所述基于所述样本相关图像与所述预测相关图像，获取第一差异，包括：
对于各个所述目标对象，基于所述目标对象对应的所述样本相关图像和所述预测相关图像，得到所述目标对象对应的子差异；
融合各个所述目标对象分别对应的子差异，得到所述第一差异。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述样本图像集包括样本掩膜图像，所述样本掩膜图像是基于所述第一样本图像中标注的目标对象的样本轮廓得到的，且所述预测图像集还包括第一预测掩膜图像，在所述基于所述第一差异，调整所述第一处理模型的网络参数之前，所述方法还包括：
基于所述样本掩膜图像与所述第一预测掩膜图像，获取第二差异；
所述基于所述第一差异，调整所述第一处理模型的网络参数，包括：
基于所述第一差异和所述第二差异，调整所述第一处理模型的网络参数。
9.根据权利要求8所述的方法，其特征在于，所述基于所述样本掩膜图像与所述第一预测掩膜图像，获取第二差异，包括：
将所述第一样本图像中标注的目标对象的样本轮廓作为样本掩膜图像的掩膜；
在所述第一预测掩膜图像中确定与所述样本掩膜图像的掩膜对应的预测像素点；
基于所述样本掩膜图像的掩膜所在的像素点和所述预测像素点的差异，确定所述第二差异。
10.根据权利要求8或9任一项所述的方法，其特征在于，所述样本图像集还包括第二样本图像，且所述第二样本图像未标注有所述目标对象的样本轮廓，所述方法还包括：
利用所述第一处理模型对所述第二样本图像进行目标分割，得到第二预测掩膜图像，并利用第二处理模型对所述第二样本图像的增强样本图像进行目标分割，得到第三预测掩膜图像；其中，所述第二处理模型的网络参数基于所述第一处理模型的网络参数设置，所述增强样本图像包括以下任一者：所述第二样本图像自身、所述第二样本图像经增强处理后的第三样本图像；
获取所述第二预测掩膜图像与所述第三预测掩膜图像在投影一致性方面的第三差异；
所述基于所述第一差异和所述第二差异，调整所述第一处理模型的网络参数，包括：
基于所述第一差异、所述第二差异和所述第三差异，调整所述第一处理模型的网络参数。
11.根据权利要求10所述的方法，其特征在于，所述第一处理模型经若干轮训练得到，在所述基于所述第一差异、所述第二差异和所述第三差异，调整所述第一处理模型的网络参数之后，所述方法还包括：
基于所述第一处理模型在当前轮调整后的网络参数和所述第二处理模型在所述当前轮时的网络参数，得到所述第二处理模型在所述当前轮的下一轮时的网络参数。
12.根据权利要求10所述的方法，其特征在于，所述获取所述第二预测掩膜图像与所述第三预测掩膜图像在投影一致性方面的第三差异，包括：
将所述第二预测掩膜图像和所述第三预测掩膜图像，朝目标角度分别投影至相同图像坐标轴，得到所述第二预测掩膜图像和所述第三预测掩膜图像的像素分布情况；
基于所述第二预测掩膜图像和所述第三预测掩膜图像两者的像素分布情况，得到所述第三差异。
13.一种模型训练装置，其特征在于，包括：
第一获取模块，用于获取样本图像集；其中，所述样本图像集包括第一样本图像和样本相关图像，所述第一样本图像标注有目标对象的样本轮廓，所述样本相关图像的像素点的像素值表示所述第一样本图像中的第一像素点与所述样本轮廓的样本相关度；
第二获取模块，用于利用第一处理模型对所述第一样本图像进行预测，得到预测图像集；其中，所述预测图像集包括预测相关图像，所述预测相关图像包括所述第一像素点经预测与所述样本轮廓的预测相关度；
第三获取模块，用于基于所述样本相关图像与所述预测相关图像，获取第一差异；
调整模块，用于基于所述第一差异，调整所述第一处理模型的网络参数。
14.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至12任一项所述的图像处理模型训练方法。
15.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至12任一项所述的模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111653182.9A CN114332563A (zh) | 2021-12-30 | 2021-12-30 | 图像处理模型训练方法及相关装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111653182.9A CN114332563A (zh) | 2021-12-30 | 2021-12-30 | 图像处理模型训练方法及相关装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332563A true CN114332563A (zh) | 2022-04-12 |
Family
ID=81018887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111653182.9A Withdrawn CN114332563A (zh) | 2021-12-30 | 2021-12-30 | 图像处理模型训练方法及相关装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332563A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661492A (zh) * | 2022-12-28 | 2023-01-31 | 摩尔线程智能科技(北京)有限责任公司 | 图像比对方法、装置、电子设备、存储介质和程序产品 |
| WO2023230936A1 (zh) * | 2022-05-31 | 2023-12-07 | 北京小米移动软件有限公司 | 图像分割模型的训练方法、图像分割方法和装置 |
-
2021
- 2021-12-30 CN CN202111653182.9A patent/CN114332563A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023230936A1 (zh) * | 2022-05-31 | 2023-12-07 | 北京小米移动软件有限公司 | 图像分割模型的训练方法、图像分割方法和装置 |
| CN115661492A (zh) * | 2022-12-28 | 2023-01-31 | 摩尔线程智能科技(北京)有限责任公司 | 图像比对方法、装置、电子设备、存储介质和程序产品 |
| CN115661492B (zh) * | 2022-12-28 | 2023-12-29 | 摩尔线程智能科技(北京)有限责任公司 | 图像比对方法、装置、电子设备、存储介质和程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3979198A1 (en) | Image segmentation model training method and apparatus, computer device, and storage medium | |
| US11514573B2 (en) | Estimating object thickness with neural networks | |
| US11488021B2 (en) | Systems and methods for image segmentation | |
| US10885399B2 (en) | Deep image-to-image network learning for medical image analysis | |
| US11593943B2 (en) | RECIST assessment of tumour progression | |
| US11776120B2 (en) | Method for predicting morphological changes of liver tumor after ablation based on deep learning | |
| CN110599528B (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| McIntosh et al. | Contextual atlas regression forests: multiple-atlas-based automated dose prediction in radiation therapy | |
| US9710730B2 (en) | Image registration | |
| CN110310287B (zh) | 基于神经网络的危及器官自动勾画方法、设备和存储介质 | |
| CN111640120A (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN114332563A (zh) | 图像处理模型训练方法及相关装置、设备和存储介质 | |
| Skeika et al. | Convolutional neural network to detect and measure fetal skull circumference in ultrasound imaging | |
| EP3973508A1 (en) | Sampling latent variables to generate multiple segmentations of an image | |
| CN111080658A (zh) | 基于可形变配准和dcnn的宫颈mri图像分割方法 | |
| CN115115772A (zh) | 基于三维影像的关键结构重建方法、装置和计算机设备 | |
| CN111798463A (zh) | 一种头颈部ct图像中多器官自动分割方法 | |
| CN116258671A (zh) | 一种基于mr图像智能勾画方法、系统、设备及存储介质 | |
| Dréan et al. | Inter-individual organ-driven CT registration for dose mapping in prostate cancer radiotherapy | |
| CN112419283A (zh) | 估计厚度的神经网络及其方法 | |
| CN112766332A (zh) | 医学影像检测模型训练方法、医学影像检测方法及装置 | |
| Yu et al. | Multiple organ segmentation framework for brain metastasis radiotherapy | |
| CN114332126A (zh) | 图像处理模型训练方法及相关装置、设备和存储介质 | |
| US20240135684A1 (en) | Systems and methods for annotating 3d data | |
| US20230343438A1 (en) | Systems and methods for automatic image annotation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220412 |