CN116503694A - 模型训练方法、图像分割方法、装置和计算机设备 - Google Patents

模型训练方法、图像分割方法、装置和计算机设备 Download PDF

Info

Publication number
CN116503694A
CN116503694A CN202310772881.8A CN202310772881A CN116503694A CN 116503694 A CN116503694 A CN 116503694A CN 202310772881 A CN202310772881 A CN 202310772881A CN 116503694 A CN116503694 A CN 116503694A
Authority
CN
China
Prior art keywords
feature map
defect segmentation
image
defect
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310772881.8A
Other languages
English (en)
Other versions
CN116503694B (zh
Inventor
江冠南
束岸楠
王智玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Contemporary Amperex Technology Co Ltd
Original Assignee
Contemporary Amperex Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Contemporary Amperex Technology Co Ltd filed Critical Contemporary Amperex Technology Co Ltd
Priority to CN202310772881.8A priority Critical patent/CN116503694B/zh
Publication of CN116503694A publication Critical patent/CN116503694A/zh
Application granted granted Critical
Publication of CN116503694B publication Critical patent/CN116503694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种模型训练方法、图像分割方法、装置和计算机设备。所述方法包括：根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的所述原始图像的第一缺陷分割结果，确定第一特征图，并对所述原始图像进行特征提取得到第二特征图，进而根据所述第一特征图和所述第二特征图训练所述上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。采用本方法能够提高缺陷分割模型的缺陷分割精度。

Description

模型训练方法、图像分割方法、装置和计算机设备
技术领域
本申请涉及图像技术领域，特别是涉及一种模型训练方法、图像分割方法、装置和计算机设备。
背景技术
交互式分割指用户提供少量交互完成对图像中目标物的分割。其中，交互可以是点击、划线、画框等各种形式。交互式分割可以应用在缺陷分割、病灶分割等领域。
以交互式分割应用在电池缺陷分割领域为例，可以利用训练后的缺陷分割模型对电池图像进行缺陷分割。然而，目前的缺陷分割模型的缺陷分割精度较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高缺陷分割模型的缺陷分割精度的模型训练方法、图像分割方法、装置和计算机设备。
第一方面，本申请提供了一种模型训练方法。该方法包括：
根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的该原始图像的第一缺陷分割结果，确定第一特征图；
对该原始图像进行特征提取得到第二特征图；
根据该第一特征图和该第二特征图训练该上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
本实施例提供的模型训练方法，根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的原始图像的第一缺陷分割结果，确定第一特征图，并对原始图像进行特征提取得到第二特征图，从而根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。由于是根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型，得到的训练后的缺陷分割模型，因此，在缺陷分割模型的训练过程中，不仅考虑到了原始图像和点击图的结合信息，还考虑到了上一次训练后的缺陷分割模型输出的第一缺陷分割结果，进而就能在缺陷分割模型训练的过程中提高缺陷分割模型的精度。并且，使用对原始图像进行特征提取后的第二特征图，在一定程度上弥补了第一特征图的信息缺失，从而能够进一步提高缺陷分割模型的缺陷分割精度。
在其中一个实施例中，该根据该第一特征图和该第二特征图训练该上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型，包括：
根据该第一特征图和该第二特征图，确定第二缺陷分割结果；
根据该第二缺陷分割结果更新训练该上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
本实施例由于根据第一特征图和第二特征图，确定第二缺陷分割结果，并根据第二缺陷分割结果更新训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。因此，就可以根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型，以提高缺陷分割模型的精度。
在其中一个实施例中，该根据该第一特征图和该第二特征图，确定第二缺陷分割结果，包括：
对该第一特征图和该第二特征图进行拼接处理得到第三特征图；
对该第三特征图进行特征提取得到第四特征图；
根据该第四特征图和该第一特征图确定该第二缺陷分割结果。
本实施例由于需要对第一特征图和第二特征图进行拼接处理得到第三特征图，并对第三特征图进行特征提取得到第四特征图，因此，进一步提高了第四特征图的精度，如此，就可以提高根据第四特征图和第一特征图确定的第二缺陷分割结果的精度。
在其中一个实施例中，该根据该第四特征图和该第一特征图确定该第二缺陷分割结果，包括：
对该第一特征图和该第四特征图进行拼接处理得到第五特征图；
对该第五特征图进行特征提取得到该原始图像的前景特征图和背景特征图；
根据该前景特征图和该背景特征图，确定该第二缺陷分割结果。
本实施例由于还需要对第一特征图和第四特征图进行拼接处理得到第五特征图，并对第五特征图进行特征提取得到原始图像的前景特征图和背景特征图，因此，就可以准确性较高的前景特征图和背景特征图。进一步地，由于第二缺陷分割结果是根据前景特征图和背景特征图确定的，因此也提高了第二缺陷分割结果的精度。
在其中一个实施例中，该根据该前景特征图和该背景特征图，确定该第二缺陷分割结果，包括：
确定该前景特征图中第一像素点的第一概率值和该背景特征图中第二像素点的第二概率值的差值；该第一概率值表示该第一像素点属于前景的概率值，该第二概率值表示该第二像素点属于背景的概率值，该第一像素点在该前景特征图中的位置与该第二像素点在该背景特征图中的位置相同；
根据该第一概率值与该第二概率值的差值确定第六特征图；
根据该第六特征图中的第三像素点，确定该第二缺陷分割结果；该第三像素点为该第六特征图中概率值大于分割阈值的像素点。
本实施例中，由于第一概率值表示第一像素点属于前景的概率值，第二概率值表示第二像素点属于背景的概率值，第一像素点在前景特征图中的位置与第二像素点在背景特征图中的位置相同，并且第三像素点为第六特征图中概率值大于分割阈值的像素点，因此在确定第二缺陷分割结果的过程中，就能结合前景特征图和背景特征图的信息，以提高而确定第二缺陷分割结果的精度。
在其中一个实施例中，该根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的该原始图像的第一缺陷分割结果，确定第一特征图，包括：
确定该原始图像对应的语义分割图像；
根据该原始图像、该点击图、该第一缺陷分割结果和该语义分割图像，确定该第一特征图。
本实施例由于需要确定原始图像对应的语义分割图像，并根据原始图像、点击图、第一缺陷分割结果和语义分割图像，确定第一特征图，因此提高了第一特征图的精度。
在其中一个实施例中，该根据该原始图像、该点击图、该第一缺陷分割结果和该语义分割图像，确定该第一特征图，包括：
对该原始图像、该点击图、该第一缺陷分割结果和该语义分割图像进行拼接处理，得到拼接后的特征图；
对该拼接后的特征图进行特征提取，得到该第一特征图。
本实施例对原始图像、点击图、第一缺陷分割结果和语义分割图像进行拼接处理，得到拼接后的特征图，并对拼接后的特征图进行特征提取，得到第一特征图。如此，就可以确定出精度较高的第一特征图。
在其中一个实施例中，该方法还包括：
根据该语义分割图像以及该第一缺陷分割结果，确定该点击图。
本实施例根据语义分割图像以及第一缺陷分割结果，确定点击图。一方面，计算机设备能够自动地确定出原始图像对应的点击图，提高了点击图的确定效率。另一方面，通过语音分割图像和第一缺陷分割结果，能够提高点击图的精度。
在其中一个实施例中，该点击图包括正点击图和/或负点击图；该根据该语义分割图像以及该第一缺陷分割结果，确定该点击图，包括：
若当前次训练为第一次训练，则根据该语义分割图像中缺陷区域的中心点确定该正点击图；
若当前次训练不为第一次训练，则确定该第一缺陷分割结果与该语义分割图像中缺陷区域的交集区域，并根据该交集区域确定该第一缺陷分割结果中除该交集区域之外的其他区域，并根据该交集区域的中心点确定该正点击图，根据该其他区域的中心点确定该负点击图。
本实施例若当前次训练为第一次训练，则根据语义分割图像中缺陷区域的中心点确定正点击图，若当前次训练不为第一次训练，则确定第一缺陷分割结果与语义分割图像中缺陷区域的交集区域，并根据交集区域确定第一缺陷分割结果中除交集区域之外的其他区域，并根据交集区域的中心点确定正点击图，根据其他区域的中心点确定负点击图。如此，就提高了点击图的确定效率。并且，由于是基于缺陷区域的中心点、交集区域的中心点或其他区域的中心点确定的点击图，因此，也提高了点击图的精度。
在其中一个实施例中，该对该原始图像进行特征提取得到第二特征图，包括：
将该原始图像输入主干网络中进行特征提取，得到该第二特征图。
本实施将该原始图像输入主干网络中进行特征提取，得到该第二特征图，如此，就可以提取原始图像的通用特征。主干网络只需要输入原始图像，无需输入其他图像，降低了主干网络的交互数据量，提高了效率。
在其中一个实施例中，该方法还包括：
获取待检测物体的待分割图像和该待分割图像对应的点击图；
根据该待分割图像、该待分割图像对应的点击图以及训练完成后的缺陷分割模型，确定该待分割图像对应的缺陷分割结果。
本实施例获取待检测物体的待分割图像和待分割图像对应的点击图，并根据待分割图像、待分割图像对应的点击图以及训练完成后的缺陷分割模型，确定待分割图像对应的缺陷分割结果。也就是说，用户就可以借助缺陷分割模型，基于交互操作快速标注出待分割图像中的缺陷区域。如此，在缺陷标注的应用场景中，就可以降低标注人员的使用门槛，并提高标注人员的标注效率和标注质量。
第二方面，本申请还提供了一种图像分割方法。该方法包括：
获取待检测物体的待分割图像和该待分割图像对应的点击图；
将该待分割图像和该点击图输入至缺陷分割模型中，得到缺陷分割结果；该缺陷分割模型为根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型得到的，该第一特征图为根据该待检测物体的原始图像、该原始图像的点击图和该上一次训练后的缺陷分割模型输出的该原始图像的缺陷分割结果确定的，该第二特征图为对该原始图像进行特征提取得到的。
本实施例提供的图像分割方法，获取待检测物体的待分割图像和待分割图像对应的点击图，并将待分割图像和点击图输入至缺陷分割模型中，得到缺陷分割结果。由于缺陷分割模型为根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型得到的，第一特征图为根据待检测物体的原始图像、原始图像的点击图和上一次训练后的缺陷分割模型输出的原始图像的缺陷分割结果确定的，第二特征图为对原始图像进行特征提取得到的。因此，在缺陷分割模型的训练过程中，不仅考虑到了原始图像和点击图的结合信息，还考虑到了上一次训练后的缺陷分割模型输出的第一缺陷分割结果，进而就能在缺陷分割模型训练的过程中提高缺陷分割模型的精度。进一步地，使用对原始图像进行特征提取后的第二特征图，在一定程度上弥补了第一特征图的信息缺失。如此，就可以提高训练后的缺陷分割模型的精度。进而，利用该缺陷分割模型，就可以得到较为准确的缺陷分割结果。
第三方面，本申请还提供了一种模型训练装置。该装置包括：
第一确定模块，用于根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的该原始图像的第一缺陷分割结果，确定第一特征图；
提取模块，用于对该原始图像进行特征提取得到第二特征图；
训练模块，用于根据该第一特征图和该第二特征图训练该上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
第四方面，本申请还提供了一种图像分割装置。该装置包括：
获取模块，用于获取待检测物体的待分割图像和该待分割图像对应的点击图；
确定模块，用于将该待分割图像和该点击图输入至缺陷分割模型中，得到缺陷分割结果；该缺陷分割模型为根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型得到的，该第一特征图为根据该待检测物体的原始图像、该原始图像的点击图和该上一次训练后的缺陷分割模型输出的该原始图像的缺陷分割结果确定的，该第二特征图为对该原始图像进行特征提取得到的。
第五方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法的步骤。
第六方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。
第七方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法的步骤。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例中模型训练方法的应用环境图；
图2为本申请实施例提供的一种模型训练方法的流程示意图；
图3为本申请实施例中一种得到训练后的缺陷分割模型的流程示意图；
图4为本申请实施例中一种确定第二缺陷分割结果的流程示意图；
图5为本申请实施例中又一种确定第二缺陷分割结果的流程示意图；
图6为本申请实施例中又一种确定第二缺陷分割结果的流程示意图；
图7为本申请实施例中一种确定第一特征图的流程示意图；
图8为本申请实施例中又一种确定第一特征图的流程示意图；
图9为本申请实施例中一种确定缺陷分割结果的流程示意图；
图10为本申请实施例中一种缺陷分割结果的效果示意图；
图11为本申请实施例提供的一种图像分割方法的流程示意图；
图12为本申请实施例中一种缺陷分割模型的结构示意图；
图13为本申请实施例中一种缺陷分割模型的训练和使用的过程示意图；
图14为本申请实施例中模型训练装置的结构框图；
图15为本申请实施例中图像分割装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
交互式分割可以应用于多个领域，以交互式分割应用在电池缺陷分割领域为例，目前通常会利用训练后的缺陷分割模型对电池图像进行缺陷分割。
然而，目前的缺陷分割模型是基于具有缺陷区域的原始图像和对应的点击图进行训练的。一方面，将原始图像和对应的点击图进行组合后可能会导致部分信息缺失；另一方面，具有缺陷区域的原始图像的数量有限，并且，原始图像中的缺陷区域可能较小。因此，目前训练后得到的缺陷分割模型的缺陷分割精度较低。
为了解决上述技术问题，有必要提供一种提高缺陷分割精度的模型训练方法，从而提高缺陷分割模型的缺陷分割精度。下述将介绍该模型训练方法。
图1为本申请实施例中模型训练方法的应用环境图，在本申请实施例中提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时可以实现一种模型训练方法。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以包括但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
图2为本申请实施例提供的一种模型训练方法的流程示意图，该方法可以应用于图1所示的计算机设备中，在一个实施例中，如图2所示，包括以下步骤：
S201，根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的原始图像的第一缺陷分割结果，确定第一特征图。
在本实施例中，待检测物体可以包括但不限于是电池、人体、车辆，待检测物体的原始图像指包括待检测物体的图像，其包括但不限于是对待检测物体进行拍摄后得到的图像、对待检测物体进行穿透扫描后得到的图像。下述将以待检测物体为电池，待检测物体的原始图像为电池的表面图像进行示例。
进一步地，计算机设备会确定原始图像对应的点击图。可选的，计算机设备可以根据原始图像模拟出该原始图像对应的点击点，并根据该点击点得到点击图。
示例性的，计算机设备可以确定原始图像的缺陷区域，并从该缺陷区域中按照预设位置或者随机选择一个像素点作为原始图像对应的点击点。进一步地，计算机设备根据圆形地图（disk map）的方式，对原始图像对应的点击点进行编码，以得到原始图像对应的点击图。
其中，计算机设备可以基于人工标注的方式确定原始图像的缺陷区域，也可以利用预设分割算法确定原始图像的缺陷区域。
上述对点击点进行编码的过程可以是：计算机设备对点击点在原始图像中的像素点进行范围扩大，并根据范围扩大后的像素点确定点击图。示例性的，计算机设备将点击点作为圆心，从点击点的上下左右的各方向扩大5个像素，以确定范围扩大后的像素点，并将范围扩大后的像素点的值置为1，除范围扩大后的像素点之外的像素点的值置为0，以确定与原始图像大小相同的点击图。
第一缺陷分割结果用于指示上一次训练后的缺陷分割模型输出的原始图像的历史缺陷分割结果。以原始图像A为例，在第一次训练时，第一缺陷分割结果可以为空值，进而计算机设备根据原始图像A和原始图像A对应的点击图1，确定第一特征图1，并对原始图像A进行特征提取得到第二特征图1，以利用第一特征图1和第二特征图1训练缺陷分割模型，得到第一次训练后的缺陷分割模型，并确定第一次训练后的缺陷分割模型输出的原始图像A对应的第一缺陷分割结果1。
在第二次训练时，第一缺陷分割结果就是上述的第一缺陷分割结果1，进而计算机设备根据原始图像A、原始图像A对应的点击图2以及第一缺陷分割结果1，确定第一特征图2，并对原始图像A进行特征提取得到第二特征图2，以利用第一特征图2和第二特征图2训练第一次训练后的缺陷分割模型，得到第二次训练后的缺陷分割模型，并确定第二次训练后的缺陷分割模型输出的原始图像A对应的第一缺陷分割结果2。
以此类推，第三次训练时，第一缺陷分割结果就是上述的第一缺陷分割结果2，如此往复，此处不再赘述。
如此，在每一次训练的时候，计算机设备就可以根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的原始图像的第一缺陷分割结果，确定第一特征图。
可选的，计算机设备可以分别对原始图像、点击图和第一缺陷分割结果进行预处理，并对预处理后的原始图像、预处理后的点击图和预处理后的第一缺陷分割结果进行拼接处理得到第一特征图。其中，预处理可以包括但不限于是图像裁剪处理、归一化处理、灰度化处理。拼接处理可以包括但不限于是拼接操作，即concat操作。
S202，对原始图像进行特征提取得到第二特征图。
在本实施例中，计算机设备还需要对原始图像进行特征提取得到第二特征图。其中，计算机设备可以利用预设的特征提取算法，对原始图像进行特征提取得到第二特征图。特征提取算法可以包括但不限于是卷积运算、主成分分析、奇异值分解、线性判别分析。
可选的，在一个实施例中，上述的S202，对原始图像进行特征提取得到第二特征图，可以通过如下方式实现：
将原始图像输入主干网络中进行特征提取，得到第二特征图。
也就是说，计算机设备可以将原始图像输入至训练好的主干网络（backbone）中，以由主干网络对原始图像进行特征提取，输出原始图像的第二特征图。如此，就可以提取原始图像的通用特征。其中，主干网络可以复用正常监督训练后的网络，也可以复用弱监督训练后的网络。并且，主干网络只需要输入原始图像，无需输入其他图像，降低了主干网络的交互数据量，提高了效率。
S203，根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
在本实施例中，在得到第一特征图和第二特征图之后，计算机设备就可以根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
可选的，计算机设备对第一特征图和第二特征图进行拼接处理得到第三特征图，进而根据第三特征图确定缺陷分割模型预测的缺陷分割结果，并根据缺陷分割模型预测的缺陷分割结果以及原始图像中实际的缺陷区域，计算损失值，并通过反向传播计算梯度，基于梯度更新上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
在一些实施例中，计算机设备也可以根据缺陷分割模型预测的缺陷分割结果、第一缺陷分割结果以及原始图像中实际的缺陷区域，计算损失值，并通过反向传播计算梯度，基于梯度更新上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
本实施例提供的模型训练方法，根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的原始图像的第一缺陷分割结果，确定第一特征图，并对原始图像进行特征提取得到第二特征图，从而根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。由于是根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型，得到的训练后的缺陷分割模型，因此，在缺陷分割模型的训练过程中，不仅考虑到了原始图像和点击图的结合信息，还考虑到了上一次训练后的缺陷分割模型输出的第一缺陷分割结果，进而能够在缺陷分割模型训练的过程中提高缺陷分割模型的精度。并且，使用对原始图像进行特征提取后的第二特征图，在一定程度上弥补了第一特征图的信息缺失，从而能够进一步提高缺陷分割模型的缺陷分割精度。
图3为本申请实施例中一种得到训练后的缺陷分割模型的流程示意图，参照图3，本实施例涉及的是如何得到训练后的缺陷分割模型的一种可选的实现方式。在上述实施例的基础上，上述的S203，根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型，包括如下步骤：
S301，根据第一特征图和第二特征图，确定第二缺陷分割结果。
在本实施例中，在得到第一特征图和第二特征图之后，计算机设备就可以根据第一特征图和第二特征图，确定第二缺陷分割结果。其中，第二缺陷分割结果表示当前次训练的缺陷分割模型输出的缺陷分割结果。
示例性的，计算机设备可以将第一特征图和第二特征图进行拼接处理，得到各像素点的值在0~1之间第三特征图，并将第三特征图中大于0.5的像素点作为第二缺陷分割结果。
S302，根据第二缺陷分割结果更新训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
在本实施例中，计算机设备确定第二缺陷分割结果之后，就可以根据第二缺陷分割结果更新训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
继续上述的示例，在一个实施例中，计算机设备可以根据当前次的第二缺陷分割结果和原始图像中实际的缺陷区域之间的损失值，更新上一次训练后的缺陷分割模型的模型参数，以得到当前次训练后的缺陷分割模型。
在一个实施例中，计算机设备也可以反复地根据当前次的第二缺陷分割结果和原始图像中实际的缺陷区域之间的损失值，更新上一次训练后的缺陷分割模型的模型参数，直到当前次的第二缺陷分割结果和原始图像中实际的缺陷区域之间的损失值满足停止条件，再停止训练并得到训练后的缺陷分割模型。
进一步可选的，计算机设备可以基于损失值和反向传播计算梯度，更新上一次训练后的缺陷分割模型的模型参数，以得到训练后的缺陷分割模型。
其中，损失值包括但不限于是二值交叉熵损失(Binary cross entropy，BCE)、焦点损失 (Focal loss，FL) 、归一化焦点损失(Normalized focal loss，NFL) 。
本实施例由于根据第一特征图和第二特征图，确定第二缺陷分割结果，并根据第二缺陷分割结果更新训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。因此，就可以根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型，以提高缺陷分割模型的精度。
图4为本申请实施例中一种确定第二缺陷分割结果的流程示意图，参照图4，本实施例涉及的是如何确定第二缺陷分割结果的一种可选的实现方式。在上述实施例的基础上，上述的S301，根据第一特征图和第二特征图，确定第二缺陷分割结果，包括如下步骤：
S401，对第一特征图和第二特征图进行拼接处理得到第三特征图。
在本实施例中，以第一次训练为例，计算机设备得到128通道的第一特征图1和128通道的第二特征图1之后，可以对第一特征图1和第二特征图1进行拼接处理后得到256通道的第三特征图1。
S402，对第三特征图进行特征提取得到第四特征图。
进一步地，计算机设备可以将第三特征图1输入卷积核为3×3，步长为1第一卷积层中，以由第一卷积层对第三特征图1进行特征提取，得到128通道的第四特征图1。
S403，根据第四特征图和第一特征图确定第二缺陷分割结果。
进一步地，计算机设备就可以根据第四特征图1和第一特征图1确定第二缺陷分割结果1。示例性的，计算机设备可以将第四特征图1和第一特征图1进行拼接处理，得到各像素点的值在0~1之间第五特征图1，并将第五特征图1中大于0.5的像素点作为第二缺陷分割结果1。
本实施例由于需要对第一特征图和第二特征图进行拼接处理得到第三特征图，并对第三特征图进行特征提取得到第四特征图，因此，进一步提高了第四特征图的精度，从而能够提高根据第四特征图和第一特征图确定的第二缺陷分割结果的精度。
图5为本申请实施例中又一种确定第二缺陷分割结果的流程示意图，参照图5，本实施例涉及的是如何确定第二缺陷分割结果的一种可选的实现方式。在上述实施例的基础上，上述的S403，根据第四特征图和第一特征图确定第二缺陷分割结果，包括如下步骤：
S501，对第一特征图和第四特征图进行拼接处理得到第五特征图。
在本实施例中，继续以第一次训练为例，计算机设备可以继续对128通道的第一特征图1和128通道的第四特征图1进行拼接处理，以得到256通道的第五特征图1。
S502，对第五特征图进行特征提取得到原始图像的前景特征图和背景特征图。
进一步地，计算机设备可以将第五特征图1输入卷积核为3×3，步长为1第二卷积层中，以由第二卷积层对第五特征图1进行特征提取，得到原始图像的前景特征图1和背景特征图1。
其中，前景特征图用于指示原始图像中各像素点属于前景的概率，背景特征图用于指示原始图像中各像素点属于背景的概率。可以理解的是，前景也即期望得到的分割结果，示例性的，前景表示电池的原始图像中的缺陷。
在一些实施例中，前景特征图和背景特征图与原始图像的大小相同，并且每个像素点都有对应的概率值，示例性的，概率值均在0~1之间。
S503，根据前景特征图和背景特征图，确定第二缺陷分割结果。
更进一步地，计算机设备就可以根据前景特征图和背景特征图，确定第一次训练的第二缺陷分割结果。
可选的，计算机设备对前景特征图和背景特征图中相同位置的像素点的概率值进行融合，并根据融合后的概率值确定第二缺陷分割结果。示例性的，计算机设备将融合后概率值大于0.5的像素点作为第二缺陷分割结果。其中，融合可以包括但不限于是求平均值、方差、加权平均值等。
本实施例由于还需要对第一特征图和第四特征图进行拼接处理得到第五特征图，并对第五特征图进行特征提取得到原始图像的前景特征图和背景特征图，因此，就可以准确性较高的前景特征图和背景特征图。进一步地，由于第二缺陷分割结果是根据前景特征图和背景特征图确定的，因此也提高了第二缺陷分割结果的精度。
图6为本申请实施例中又一种确定第二缺陷分割结果的流程示意图，参照图6，本实施例涉及的是如何确定第二缺陷分割结果的一种可选的实现方式。在上述实施例的基础上，上述的S503，根据前景特征图和背景特征图，确定第二缺陷分割结果，包括如下步骤：
S601，确定前景特征图中第一像素点的第一概率值和背景特征图中第二像素点的第二概率值的差值；第一概率值表示第一像素点属于前景的概率值，第二概率值表示第二像素点属于背景的概率值，第一像素点在前景特征图中的位置与第二像素点在背景特征图中的位置相同。
在本实施例中，前景特征图和背景特征图均与原始图像的大小相同，并且每个像素点都有对应的概率值，示例性的，概率值在0~1之间。进而，计算机设备需要确定前景特征图中第一像素点的第一概率值和背景特征图中第二像素点的第二概率值的差值。
示例性的，计算机设备确定前景特征图中第一行第一列的像素点的第一概率值1，与前景特征图中第一行第一列的像素点的第二概率值1之间的差值1，并确定前景特征图中第一行第二列的像素点的第一概率值2，与前景特征图中第一行第二列的像素点的第二概率值2之间的差值2，以此类推。假设前景特征图和背景特征图均包括200个像素点，则计算机设备也确定了200个对应的差值。
S602，根据第一概率值与第二概率值的差值确定第六特征图。
在本实施例中，继续上述的示例，计算机设备可以根据上述第一概率值与第二概率值的200个差值，确定第六特征图。
示例性的，计算机设备根据上述第一概率值与第二概率值的200个差值，首先确定第七特征图。也即是，计算机设备将差值1作为第七特征图中第一行第一列的像素点的值，将差值2作为第七特征图中第一行第二列的像素点的值，以此类推。
进一步地，计算机设备可以利用S型生长曲线（Sigmoid函数），将第七特征图中每个像素点的值映射在0~1之间，从而确定第六特征图。也就是说，第六特征图用于指示原始图像中各像素点属于前景的概率。
S603，根据第六特征图中的第三像素点，确定第二缺陷分割结果；第三像素点为第六特征图中概率值大于分割阈值的像素点。
在本实施例中，计算机设备得到了第六特征图之后，就可以第六特征图中的第三像素点，也即确定第六特征图中概率值大于分割阈值的像素点，并根据第三像素点确定第二缺陷分割结果。
可选的，计算机设备可以第三像素点直接作为第二缺陷分割结果。也即是，计算机设备将第六特征图中概率值大于分割阈值的像素点作为第二缺陷分割结果。
其中，分割阈值是大于0小于1的数，其根据实际需求确定。可以理解的是，分割阈值越大，则越可能会出现漏分割的情况，分割阈值越小，则越可能会出现过分割的情况。以分割阈值为0.5进行示例，计算机设备可以将第六特征图中概率值大于0.5的像素点作为第二缺陷分割结果。
在一些实施例中，计算机设备也可以确定出第六特征图中的第三像素点之后，对第三像素点进行修正处理后确定第二缺陷分割结果。
本实施例确定前景特征图中第一像素点的第一概率值和背景特征图中第二像素点的第二概率值的差值，并根据第一概率值与第二概率值的差值确定第六特征图，进而根据第六特征图中的第三像素点，确定第二缺陷分割结果。由于第一概率值表示第一像素点属于前景的概率值，第二概率值表示第二像素点属于背景的概率值，第一像素点在前景特征图中的位置与第二像素点在背景特征图中的位置相同，并且第三像素点为第六特征图中概率值大于分割阈值的像素点，因此在确定第二缺陷分割结果的过程中，就能结合前景特征图和背景特征图的信息，以提高而确定第二缺陷分割结果的精度。
图7为本申请实施例中一种确定第一特征图的流程示意图，参照图7，本实施例涉及的是如何确定第一特征图的一种可选的实现方式。在上述实施例的基础上，上述的S201，根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的原始图像的第一缺陷分割结果，确定第一特征图，包括如下步骤：
S701，确定原始图像对应的语义分割图像。
在本实施例中，计算机设备在需要确定第一特征图的情况下，首先需要确定原始图像对应的语义分割图像。其中，语义分割图像用于标注出原始图像中实际的缺陷区域。
可选的，计算机设备可以利用预设的分割算法对原始图像进行分割，以得到原始图像对应的语义分割图像。计算机设备也可以基于人工标注，确定原始图像对应的语义分割图像。在一些实施例中，计算机设备也可以先利用预设的分割算法分割原始图像，再由人工对预设的分割算法输出的结果进行修正处理，以确定原始图像对应的语义分割图像。
S702，根据原始图像、点击图、第一缺陷分割结果和语义分割图像，确定第一特征图。
在本实施例中，计算机设备可以分别对原始图像、点击图、第一缺陷分割结果和语音分割图像进行预处理，并对预处理后的原始图像、预处理后的点击图、预处理后的第一缺陷分割结果和预处理后的语音分割图像进行拼接处理得到第一特征图。其中，预处理包括但不限于是图像裁剪、归一化、灰度化。
本实施例由于需要确定原始图像对应的语义分割图像，并根据原始图像、点击图、第一缺陷分割结果和语义分割图像，确定第一特征图，因此提高了第一特征图的精度。
图8为本申请实施例中又一种确定第一特征图的流程示意图，参照图8，本实施例涉及的是如何确定第一特征图的一种可选的实现方式。在上述实施例的基础上，上述的S702，根据原始图像、点击图、第一缺陷分割结果和语义分割图像，确定第一特征图，包括如下步骤：
S801，对原始图像、点击图、第一缺陷分割结果和语义分割图像进行拼接处理，得到拼接后的特征图。
在本实施例中，示例性的，原始图像可以是3通道的图像，点击图可以是2通道的图像，第一缺陷分割结果和语音分割图像均可以是1通道的图像，则计算机设备对上述四个图像进行concat操作之后，就可以得到7通道的特征图。如此，计算机设备就实现了对原始图像、点击图、第一缺陷分割结果和语义分割图像进行拼接处理，得到拼接后的特征图。
S802，对拼接后的特征图进行特征提取，得到第一特征图。
在本实施例中，继续上述的示例，计算机设备可以将上述7通道的特征图输入卷积核为3×3，步长为1第三卷积层中，以由第三卷积层对7通道的特征图进行特征提取，得到128通道的第一特征图。
本实施例对原始图像、点击图、第一缺陷分割结果和语义分割图像进行拼接处理，得到拼接后的特征图，并对拼接后的特征图进行特征提取，得到第一特征图。如此，就可以确定出精度较高的第一特征图。
可选的，在一个实施例中，上述的模型训练方法还包括如下步骤：
根据语义分割图像以及第一缺陷分割结果，确定点击图。
在本实施例中，计算机设备在生成点击图时，会考虑语义分割图像中实际的缺陷区域以及上一次的第一缺陷分割结果中预测的缺陷区域。
示例性的，计算机设备可以在第一次训练时，在语义分割图像的缺陷区域中随机选择一个像素点作为原始图像对应的点击点。在第一次训练之后训练中，从语义分割图像的缺陷区域与第一缺陷分割结果的交集区域中随机选择一个像素点作为原始图像对应的点击点。
本实施例根据语义分割图像以及第一缺陷分割结果，确定点击图。一方面，计算机设备能够自动地确定出原始图像对应的点击图，提高了点击图的确定效率。另一方面，通过语音分割图像和第一缺陷分割结果，能够提高点击图的精度。
在其中一个实施例中，点击图包括正点击图和/或负点击图；上述的“根据语义分割图像以及第一缺陷分割结果，确定点击图”，可以包括如下两种实现方式：
方式一，若当前次训练为第一次训练，则根据语义分割图像中缺陷区域的中心点确定正点击图。
在本实施例中，点击点包括正点击点和/或负点击点。其中，正点击点表示“选中”，负点击点表示“取消选中”，换句话说，正点击点用于选择前景，负点击点用于选择背景。可以理解的是，一般用户在操作时，通常会先产生正点击点之后再产生负点击点。
进而，根据正点击点可以确定正点击图，根据负点击点可以确定负点击图。确定正点击图和负点击图的过程可以参考S201。示例性的，计算机设备根据disk map的方式，对正点击点或负点击点进行编码，以确定对应的正点击图或负点击图，此处不再赘述。
在第一次训练时，由于第一缺陷分割结果可以为空，因此，计算机设备可以根据语义分割图像中缺陷区域的中心点确定正点击图。也就是说，计算机设备将语义分割图像中缺陷区域的中心点作为正点击点，并根据该正点击点确定对应的正点击图。
可选的，第一次训练时，负点击图可以为空。在一些实施例中，计算机设备也可以在语义分割图像中除缺陷区域的中心点之外的区域中随机选择一个像素点作为负点击点，并根据负点击点确定对应的负点击图。
方式二，若当前次训练不为第一次训练，则确定第一缺陷分割结果与语义分割图像中缺陷区域的交集区域，并根据交集区域确定第一缺陷分割结果中除交集区域之外的其他区域，并根据交集区域的中心点确定正点击图，根据其他区域的中心点确定负点击图。
在本实施例中，在第一次训练之后的训练过程中，也即是当前次训练不为第一次训练的情况下，计算机设备会确定第一缺陷分割结果与语义分割图像中缺陷区域的交集区域，并根据交集区域的中心点确定正点击图。也就是说，计算机设备将第一缺陷分割结果与语义分割图像中缺陷区域的交集区域的中心点作为正点击点，并根据正点击点确定正点击图。
进一步地，计算机设备还会并根据交集区域确定第一缺陷分割结果中除交集区域之外的其他区域的中心点，确定负点击图。也就是说，计算机设备第一缺陷分割结果中除交集区域之外的其他区域的中心点作为负点击点，并根据负点击点确定负点击图。
本实施例若当前次训练为第一次训练，则根据语义分割图像中缺陷区域的中心点确定正点击图，若当前次训练不为第一次训练，则确定第一缺陷分割结果与语义分割图像中缺陷区域的交集区域，并根据交集区域确定第一缺陷分割结果中除交集区域之外的其他区域，并根据交集区域的中心点确定正点击图，根据其他区域的中心点确定负点击图。如此，就提高了点击图的确定效率。并且，由于是基于缺陷区域的中心点、交集区域的中心点或其他区域的中心点确定的点击图，因此，也提高了点击图的精度。
图9为本申请实施例中一种确定缺陷分割结果的流程示意图，参照图9，本实施例涉及的是如何确定待分割图像对应的缺陷分割结果的一种可选的实现方式。在上述实施例的基础上，上述的模型训练方法还包括如下步骤：
S901，获取待检测物体的待分割图像和待分割图像对应的点击图。
在本实施例中，计算机设备得到训练后的缺陷分割模型之后，就可以将训练后的缺陷分割模型投入使用。在使用过程中，用户就可以在待分割图像上进行点击操作，并由计算机设备自动地根据用户的点击操作确定出待分割图像对应的缺陷分割结果。
可选的，计算机设备可以提供交互界面，并响应于基于交互界面的操作后确定待检测物体的待分割图像和待分割图像对应的点击图。
其中，待检测物体的待分割图像可以是其他电子设备发送至计算机设备的图像，也可以是提前存储在计算机设备中，并由用户在交互界面中指定的图像。
继续以待检测物体为电池，待检测物体的待分割图像为电池的表面图像为例。用户可以利用鼠标、键盘、手势或语音等方式，基于待分割图像中进行点击操作，以由计算机设备获取待分割图像和待分割图像对应的点击图。
其中，计算机设备确定待分割图像对应的点击图的方式可以参考S201，此处不再赘述。
S902，根据待分割图像、待分割图像对应的点击图以及训练完成后的缺陷分割模型，确定待分割图像对应的缺陷分割结果。
进一步地，计算机设备就可以根据待分割图像、待分割图像对应的点击图以及训练完成后的缺陷分割模型，确定待分割图像对应的缺陷分割结果。
可选的，计算机设备可以分别对待分割图像、待分割图像对应的点击图进行预处理之后，将预处理后的待分割图像和对应的点击图输入至训练完成后的缺陷分割模型，以由缺陷分割模型输出待分割图像对应的缺陷分割结果。
可选的，计算机设备可以直接将待分割图像和待分割图像对应的点击图以输入至训练完成后的缺陷分割模型，以由缺陷分割模型输出待分割图像对应的缺陷分割结果。
在一些实施例中，计算机设备也可以将训练完成后的缺陷分割模型嵌入到mmsegmentation框架中，便于二次开发，扩大缺陷分割模型的应用范围。
图10为本申请实施例中一种缺陷分割结果的效果示意图，如图10所示，以点击操作为正点击进行示例，用户在图10（a）上进行点击操作之后，就可以得到如图10（b）所示的缺陷分割结果。用户在图10（c）上进行点击操作之后，就可以得到如图10（d）所示的缺陷分割结果。
本实施例获取待检测物体的待分割图像和待分割图像对应的点击图，并根据待分割图像、待分割图像对应的点击图以及训练完成后的缺陷分割模型，确定待分割图像对应的缺陷分割结果。也就是说，用户就可以借助缺陷分割模型，基于交互操作快速标注出待分割图像中的缺陷区域。如此，在缺陷标注的应用场景中，就可以降低标注人员的使用门槛，并提高标注人员的标注效率和标注质量。
图11为本申请实施例提供的一种图像分割方法的流程示意图，该方法可以应用于图1所示的计算机设备中，在一个实施例中，如图11所示，包括以下步骤：
S1101，获取待检测物体的待分割图像和待分割图像对应的点击图。
在本实施例中，在使用过程中，计算机设备会获取到待检测物体的待分割图像和待分割图像对应的点击图。
与S901相同的原理，待分割图像可以是其他电子设备发送给计算机设备的图像，也可以是提前存储在计算机设备中的图像。待分割图像对应的点击图是根据用户的交互操作确定的。此处不再赘述。
S1102，将待分割图像和点击图输入至缺陷分割模型中，得到缺陷分割结果；缺陷分割模型为根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型得到的，第一特征图为根据待检测物体的原始图像、原始图像的点击图和上一次训练后的缺陷分割模型输出的原始图像的缺陷分割结果确定的，第二特征图为对原始图像进行特征提取得到的。
在本实施例中，与S902相同的原理，计算机设备可以分别对待分割图像、待分割图像对应的点击图进行预处理之后，将预处理后的待分割图像和对应的点击图输入至训练完成后的缺陷分割模型，以由缺陷分割模型输出待分割图像对应的缺陷分割结果。计算机设备也可以直接将待分割图像和待分割图像对应的点击图以输入至训练完成后的缺陷分割模型，以由缺陷分割模型输出待分割图像对应的缺陷分割结果。
在使用缺陷分割模型之前，计算机设备首先需要训练得到缺陷分割模型，缺陷分割模型的训练过程可以参考上述实施例，此处不再赘述。
本实施例提供的图像分割方法，获取待检测物体的待分割图像和待分割图像对应的点击图，并将待分割图像和点击图输入至缺陷分割模型中，得到缺陷分割结果。由于缺陷分割模型为根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型得到的，第一特征图为根据待检测物体的原始图像、原始图像的点击图和上一次训练后的缺陷分割模型输出的原始图像的缺陷分割结果确定的，第二特征图为对原始图像进行特征提取得到的。因此，在缺陷分割模型的训练过程中，不仅考虑到了原始图像和点击图的结合信息，还考虑到了上一次训练后的缺陷分割模型输出的第一缺陷分割结果，进而就能在缺陷分割模型训练的过程中提高缺陷分割模型的精度。进一步地，使用对原始图像进行特征提取后的第二特征图，在一定程度上弥补了第一特征图的信息缺失。如此，就可以提高训练后的缺陷分割模型的精度。进而，利用该缺陷分割模型，就可以得到较为准确的缺陷分割结果。
为了更清楚地介绍本申请中模型训练方法和图像分割方法，在此结合图12和图13进行说明。图12为本申请实施例中一种缺陷分割模型的结构示意图，如图12所示。图13为本申请实施例中一种缺陷分割模型的训练和使用的过程示意图。如图12和图13所示，计算机设备按照如下流程执行上述的模型训练方法和图像分割方法。
S1301，确定原始图像对应的语义分割图像。
S1302，若当前次训练为第一次训练，则根据语义分割图像中缺陷区域的中心点确定正点击图。
S1303，若当前次训练不为第一次训练，则确定第一缺陷分割结果与语义分割图像中缺陷区域的交集区域，并根据交集区域确定第一缺陷分割结果中除交集区域之外的其他区域，并根据交集区域的中心点确定正点击图，根据其他区域的中心点确定负点击图。
S1304，对原始图像、点击图、第一缺陷分割结果和语义分割图像进行拼接处理，得到拼接后的特征图。其中，点击图包括上述的正点击图和/或负点击图。可以理解的是，若当前次训练为第一次训练，则第一缺陷分割结果可以为空。
S1305，对拼接后的特征图进行特征提取，得到第一特征图。示例性的，将拼接后的特征图输入第三卷积层，得到第三卷积层输出的第一特征图。
S1306，将原始图像输入主干网络中进行特征提取，得到第二特征图。
S1307，对第一特征图和第二特征图进行拼接处理得到第三特征图。
S1308，对第三特征图进行特征提取得到第四特征图。示例性的，将第三特征图输入第一卷积层，得到第一卷积层输出的第四特征图。
S1309，对第一特征图和第四特征图进行拼接处理得到第五特征图。
S1310，对第五特征图进行特征提取得到原始图像的前景特征图和背景特征图。示例性的，将第五特征图输入第二卷积层，得到第二卷积层输出的前景特征图和背景特征图。
S1311，确定前景特征图中第一像素点的第一概率值和背景特征图中第二像素点的第二概率值的差值。其中，第一概率值表示第一像素点属于前景的概率值，第二概率值表示第二像素点属于背景的概率值，第一像素点在前景特征图中的位置与第二像素点在背景特征图中的位置相同。
S1312，根据第一概率值与第二概率值的差值确定第六特征图。
S1313，根据第六特征图中的第三像素点，确定第二缺陷分割结果。其中，第三像素点为第六特征图中概率值大于分割阈值的像素点。
S1314，根据第二缺陷分割结果更新训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
S1315，获取待检测物体的待分割图像和待分割图像对应的点击图。
S1316，根据待分割图像、待分割图像对应的点击图以及训练完成后的缺陷分割模型，确定待分割图像对应的缺陷分割结果。
可以理解的是，S1301~S1314为训练过程，S1315~S1316为使用过程。其中，S1301~S1316的原理可以参考上述实施例，此处不再赘述。
结合图12也可以看出，本实施例提供的缺陷分割模型的结构较为简单，如此，计算机设备的计算量小，从而也提高了缺陷分割模型的分割效率。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的模型训练方法的模型训练装置，以及实现图像分割方法的图像分割装置。上述装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个模型训练装置和图像分割装置实施例中的具体限定可以参见上文中对于模型训练方法和图像分割方法的限定，在此不再赘述。
图14为本申请实施例中模型训练装置的结构框图，如图14所示，在本申请实施例中提供了一种模型训练装置1400，包括：第一确定模块1401、提取模块1402和训练模块1403，其中：
第一确定模块1401，用于根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的原始图像的第一缺陷分割结果，确定第一特征图。
提取模块1402，用于对原始图像进行特征提取得到第二特征图。
训练模块1403，用于根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
本实施例提供的模型训练装置，根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的原始图像的第一缺陷分割结果，确定第一特征图，并对原始图像进行特征提取得到第二特征图，从而根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。由于是根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型，得到的训练后的缺陷分割模型，因此，在缺陷分割模型的训练过程中，不仅考虑到了原始图像和点击图的结合信息，还考虑到了上一次训练后的缺陷分割模型输出的第一缺陷分割结果，进而就能在缺陷分割模型训练的过程中提高缺陷分割模型的精度。进一步地，使用对原始图像进行特征提取后的第二特征图，在一定程度上弥补了第一特征图的信息缺失。如此，就可以提高训练后的缺陷分割模型的精度，从而提高缺陷分割模型的缺陷分割精度。
可选的，训练模块1403包括：
第一确定单元，用于根据第一特征图和第二特征图，确定第二缺陷分割结果。
训练单元，用于根据第二缺陷分割结果更新训练上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
可选的，第一确定单元包括：
第一拼接子单元，用于对第一特征图和第二特征图进行拼接处理得到第三特征图。
第一提取子单元，用于对第三特征图进行特征提取得到第四特征图。
确定子单元，用于根据第四特征图和第一特征图确定第二缺陷分割结果。
可选的，确定子单元，还用于对第一特征图和第四特征图进行拼接处理得到第五特征图；对第五特征图进行特征提取得到原始图像的前景特征图和背景特征图；根据前景特征图和背景特征图，确定第二缺陷分割结果。
可选的，确定子单元，还用于确定前景特征图中第一像素点的第一概率值和背景特征图中第二像素点的第二概率值的差值；第一概率值表示第一像素点属于前景的概率值，第二概率值表示第二像素点属于背景的概率值，第一像素点在前景特征图中的位置与第二像素点在背景特征图中的位置相同；根据第一概率值与第二概率值的差值确定第六特征图；根据第六特征图中的第三像素点，确定第二缺陷分割结果；第三像素点为第六特征图中概率值大于分割阈值的像素点。
可选的，第一确定模块1401包括：
第二确定单元，用于确定原始图像对应的语义分割图像；
第三确定单元，用于根据原始图像、点击图、第一缺陷分割结果和语义分割图像，确定第一特征图。
可选的，第三确定单元包括：
第二拼接子单元，用于对原始图像、点击图、第一缺陷分割结果和语义分割图像进行拼接处理，得到拼接后的特征图。
第二提取子单元，用于对拼接后的特征图进行特征提取，得到第一特征图。
可选的，模型训练装置1400还包括：
第二确定模块，用于根据语义分割图像以及第一缺陷分割结果，确定点击图。
可选的，点击图包括正点击图和/或负点击图；第二确定模块包括：
第二确定单元，用于若当前次训练为第一次训练，则根据语义分割图像中缺陷区域的中心点确定正点击图。
第三确定单元，用于若当前次训练不为第一次训练，则确定第一缺陷分割结果与语义分割图像中缺陷区域的交集区域，并根据交集区域确定第一缺陷分割结果中除交集区域之外的其他区域，并根据交集区域的中心点确定正点击图，根据其他区域的中心点确定负点击图。
可选的，提取模块1402，还用于将原始图像输入主干网络中进行特征提取，得到第二特征图。
可选的，模型训练装置1400还包括：
获取模块，用于获取待检测物体的待分割图像和待分割图像对应的点击图。
第三确定模块，用于根据待分割图像、待分割图像对应的点击图以及训练完成后的缺陷分割模型，确定待分割图像对应的缺陷分割结果。
图15为本申请实施例中图像分割装置的结构框图，如图15所示，在本申请实施例中提供了一种模型训练装置1500，包括：获取模块1501和确定模块1502，其中：
获取模块1501，用于获取待检测物体的待分割图像和待分割图像对应的点击图。
确定模块1502，用于将待分割图像和点击图输入至缺陷分割模型中，得到缺陷分割结果；缺陷分割模型为根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型得到的，第一特征图为根据待检测物体的原始图像、原始图像的点击图和上一次训练后的缺陷分割模型输出的原始图像的缺陷分割结果确定的，第二特征图为对原始图像进行特征提取得到的。
本实施例提供的图像分割装置，获取待检测物体的待分割图像和待分割图像对应的点击图，并将待分割图像和点击图输入至缺陷分割模型中，得到缺陷分割结果。由于缺陷分割模型为根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型得到的，第一特征图为根据待检测物体的原始图像、原始图像的点击图和上一次训练后的缺陷分割模型输出的原始图像的缺陷分割结果确定的，第二特征图为对原始图像进行特征提取得到的。因此，在缺陷分割模型的训练过程中，不仅考虑到了原始图像和点击图的结合信息，还考虑到了上一次训练后的缺陷分割模型输出的第一缺陷分割结果，进而就能在缺陷分割模型训练的过程中提高缺陷分割模型的精度。进一步地，使用对原始图像进行特征提取后的第二特征图，在一定程度上弥补了第一特征图的信息缺失。如此，就可以提高训练后的缺陷分割模型的精度。进而，利用该缺陷分割模型，就可以得到较为准确的缺陷分割结果。
上述模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的所述原始图像的第一缺陷分割结果，确定第一特征图；
对所述原始图像进行特征提取得到第二特征图；
根据所述第一特征图和所述第二特征图训练所述上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述第一特征图和所述第二特征图，确定第二缺陷分割结果；根据所述第二缺陷分割结果更新训练所述上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述第一特征图和所述第二特征图进行拼接处理得到第三特征图；对所述第三特征图进行特征提取得到第四特征图；根据所述第四特征图和所述第一特征图确定所述第二缺陷分割结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述第一特征图和所述第四特征图进行拼接处理得到第五特征图；对所述第五特征图进行特征提取得到所述原始图像的前景特征图和背景特征图；根据所述前景特征图和所述背景特征图，确定所述第二缺陷分割结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定所述前景特征图中第一像素点的第一概率值和所述背景特征图中第二像素点的第二概率值的差值；所述第一概率值表示所述第一像素点属于前景的概率值，所述第二概率值表示所述第二像素点属于背景的概率值，所述第一像素点在所述前景特征图中的位置与所述第二像素点在所述背景特征图中的位置相同；根据所述第一概率值与所述第二概率值的差值确定第六特征图；根据所述第六特征图中的第三像素点，确定所述第二缺陷分割结果；所述第三像素点为所述第六特征图中概率值大于分割阈值的像素点。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定所述原始图像对应的语义分割图像；根据所述原始图像、所述点击图、所述第一缺陷分割结果和所述语义分割图像，确定所述第一特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述原始图像、所述点击图、所述第一缺陷分割结果和所述语义分割图像进行拼接处理，得到拼接后的特征图；对所述拼接后的特征图进行特征提取，得到所述第一特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述语义分割图像以及所述第一缺陷分割结果，确定所述点击图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若当前次训练为第一次训练，则根据所述语义分割图像中缺陷区域的中心点确定所述正点击图；若当前次训练不为第一次训练，则确定所述第一缺陷分割结果与所述语义分割图像中缺陷区域的交集区域，并根据所述交集区域确定所述第一缺陷分割结果中除所述交集区域之外的其他区域，并根据所述交集区域的中心点确定所述正点击图，根据所述其他区域的中心点确定所述负点击图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述原始图像输入主干网络中进行特征提取，得到所述第二特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取待检测物体的待分割图像和所述待分割图像对应的点击图；根据所述待分割图像、所述待分割图像对应的点击图以及训练完成后的缺陷分割模型，确定所述待分割图像对应的缺陷分割结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取待检测物体的待分割图像和所述待分割图像对应的点击图；
将所述待分割图像和所述点击图输入至缺陷分割模型中，得到缺陷分割结果；所述缺陷分割模型为根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型得到的，所述第一特征图为根据所述待检测物体的原始图像、所述原始图像的点击图和所述上一次训练后的缺陷分割模型输出的所述原始图像的缺陷分割结果确定的，所述第二特征图为对所述原始图像进行特征提取得到的。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的所述原始图像的第一缺陷分割结果，确定第一特征图；
对所述原始图像进行特征提取得到第二特征图；
根据所述第一特征图和所述第二特征图训练所述上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述第一特征图和所述第二特征图，确定第二缺陷分割结果；根据所述第二缺陷分割结果更新训练所述上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述第一特征图和所述第二特征图进行拼接处理得到第三特征图；对所述第三特征图进行特征提取得到第四特征图；根据所述第四特征图和所述第一特征图确定所述第二缺陷分割结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述第一特征图和所述第四特征图进行拼接处理得到第五特征图；对所述第五特征图进行特征提取得到所述原始图像的前景特征图和背景特征图；根据所述前景特征图和所述背景特征图，确定所述第二缺陷分割结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定所述前景特征图中第一像素点的第一概率值和所述背景特征图中第二像素点的第二概率值的差值；所述第一概率值表示所述第一像素点属于前景的概率值，所述第二概率值表示所述第二像素点属于背景的概率值，所述第一像素点在所述前景特征图中的位置与所述第二像素点在所述背景特征图中的位置相同；根据所述第一概率值与所述第二概率值的差值确定第六特征图；根据所述第六特征图中的第三像素点，确定所述第二缺陷分割结果；所述第三像素点为所述第六特征图中概率值大于分割阈值的像素点。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定所述原始图像对应的语义分割图像；根据所述原始图像、所述点击图、所述第一缺陷分割结果和所述语义分割图像，确定所述第一特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述原始图像、所述点击图、所述第一缺陷分割结果和所述语义分割图像进行拼接处理，得到拼接后的特征图；对所述拼接后的特征图进行特征提取，得到所述第一特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述语义分割图像以及所述第一缺陷分割结果，确定所述点击图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若当前次训练为第一次训练，则根据所述语义分割图像中缺陷区域的中心点确定所述正点击图；若当前次训练不为第一次训练，则确定所述第一缺陷分割结果与所述语义分割图像中缺陷区域的交集区域，并根据所述交集区域确定所述第一缺陷分割结果中除所述交集区域之外的其他区域，并根据所述交集区域的中心点确定所述正点击图，根据所述其他区域的中心点确定所述负点击图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述原始图像输入主干网络中进行特征提取，得到所述第二特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取待检测物体的待分割图像和所述待分割图像对应的点击图；根据所述待分割图像、所述待分割图像对应的点击图以及训练完成后的缺陷分割模型，确定所述待分割图像对应的缺陷分割结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取待检测物体的待分割图像和所述待分割图像对应的点击图；
将所述待分割图像和所述点击图输入至缺陷分割模型中，得到缺陷分割结果；所述缺陷分割模型为根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型得到的，所述第一特征图为根据所述待检测物体的原始图像、所述原始图像的点击图和所述上一次训练后的缺陷分割模型输出的所述原始图像的缺陷分割结果确定的，所述第二特征图为对所述原始图像进行特征提取得到的。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的所述原始图像的第一缺陷分割结果，确定第一特征图；
对所述原始图像进行特征提取得到第二特征图；
根据所述第一特征图和所述第二特征图训练所述上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述第一特征图和所述第二特征图，确定第二缺陷分割结果；根据所述第二缺陷分割结果更新训练所述上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述第一特征图和所述第二特征图进行拼接处理得到第三特征图；对所述第三特征图进行特征提取得到第四特征图；根据所述第四特征图和所述第一特征图确定所述第二缺陷分割结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述第一特征图和所述第四特征图进行拼接处理得到第五特征图；对所述第五特征图进行特征提取得到所述原始图像的前景特征图和背景特征图；根据所述前景特征图和所述背景特征图，确定所述第二缺陷分割结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定所述前景特征图中第一像素点的第一概率值和所述背景特征图中第二像素点的第二概率值的差值；所述第一概率值表示所述第一像素点属于前景的概率值，所述第二概率值表示所述第二像素点属于背景的概率值，所述第一像素点在所述前景特征图中的位置与所述第二像素点在所述背景特征图中的位置相同；根据所述第一概率值与所述第二概率值的差值确定第六特征图；根据所述第六特征图中的第三像素点，确定所述第二缺陷分割结果；所述第三像素点为所述第六特征图中概率值大于分割阈值的像素点。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定所述原始图像对应的语义分割图像；根据所述原始图像、所述点击图、所述第一缺陷分割结果和所述语义分割图像，确定所述第一特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述原始图像、所述点击图、所述第一缺陷分割结果和所述语义分割图像进行拼接处理，得到拼接后的特征图；对所述拼接后的特征图进行特征提取，得到所述第一特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述语义分割图像以及所述第一缺陷分割结果，确定所述点击图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若当前次训练为第一次训练，则根据所述语义分割图像中缺陷区域的中心点确定所述正点击图；若当前次训练不为第一次训练，则确定所述第一缺陷分割结果与所述语义分割图像中缺陷区域的交集区域，并根据所述交集区域确定所述第一缺陷分割结果中除所述交集区域之外的其他区域，并根据所述交集区域的中心点确定所述正点击图，根据所述其他区域的中心点确定所述负点击图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述原始图像输入主干网络中进行特征提取，得到所述第二特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取待检测物体的待分割图像和所述待分割图像对应的点击图；根据所述待分割图像、所述待分割图像对应的点击图以及训练完成后的缺陷分割模型，确定所述待分割图像对应的缺陷分割结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取待检测物体的待分割图像和所述待分割图像对应的点击图；
将所述待分割图像和所述点击图输入至缺陷分割模型中，得到缺陷分割结果；所述缺陷分割模型为根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型得到的，所述第一特征图为根据所述待检测物体的原始图像、所述原始图像的点击图和所述上一次训练后的缺陷分割模型输出的所述原始图像的缺陷分割结果确定的，所述第二特征图为对所述原始图像进行特征提取得到的。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (17)

1.一种模型训练方法，其特征在于，所述方法包括：
根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的所述原始图像的第一缺陷分割结果，确定第一特征图；
对所述原始图像进行特征提取得到第二特征图；
根据所述第一特征图和所述第二特征图训练所述上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图和所述第二特征图训练所述上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型，包括：
根据所述第一特征图和所述第二特征图，确定第二缺陷分割结果；
根据所述第二缺陷分割结果更新训练所述上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征图和所述第二特征图，确定第二缺陷分割结果，包括：
对所述第一特征图和所述第二特征图进行拼接处理得到第三特征图；
对所述第三特征图进行特征提取得到第四特征图；
根据所述第四特征图和所述第一特征图确定所述第二缺陷分割结果。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第四特征图和所述第一特征图确定所述第二缺陷分割结果，包括：
对所述第一特征图和所述第四特征图进行拼接处理得到第五特征图；
对所述第五特征图进行特征提取得到所述原始图像的前景特征图和背景特征图；
根据所述前景特征图和所述背景特征图，确定所述第二缺陷分割结果。
5.根据权利要求4所述的方法，其特征在于，所述根据所述前景特征图和所述背景特征图，确定所述第二缺陷分割结果，包括：
确定所述前景特征图中第一像素点的第一概率值和所述背景特征图中第二像素点的第二概率值的差值；所述第一概率值表示所述第一像素点属于前景的概率值，所述第二概率值表示所述第二像素点属于背景的概率值，所述第一像素点在所述前景特征图中的位置与所述第二像素点在所述背景特征图中的位置相同；
根据所述第一概率值与所述第二概率值的差值确定第六特征图；
根据所述第六特征图中的第三像素点，确定所述第二缺陷分割结果；所述第三像素点为所述第六特征图中概率值大于分割阈值的像素点。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的所述原始图像的第一缺陷分割结果，确定第一特征图，包括：
确定所述原始图像对应的语义分割图像；
根据所述原始图像、所述点击图、所述第一缺陷分割结果和所述语义分割图像，确定所述第一特征图。
7.根据权利要求6所述的方法，其特征在于，所述根据所述原始图像、所述点击图、所述第一缺陷分割结果和所述语义分割图像，确定所述第一特征图，包括：
对所述原始图像、所述点击图、所述第一缺陷分割结果和所述语义分割图像进行拼接处理，得到拼接后的特征图；
对所述拼接后的特征图进行特征提取，得到所述第一特征图。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述语义分割图像以及所述第一缺陷分割结果，确定所述点击图。
9.根据权利要求8所述的方法，其特征在于，所述点击图包括正点击图和/或负点击图；所述根据所述语义分割图像以及所述第一缺陷分割结果，确定所述点击图，包括：
若当前次训练为第一次训练，则根据所述语义分割图像中缺陷区域的中心点确定所述正点击图；
若当前次训练不为第一次训练，则确定所述第一缺陷分割结果与所述语义分割图像中缺陷区域的交集区域，并根据所述交集区域确定所述第一缺陷分割结果中除所述交集区域之外的其他区域，并根据所述交集区域的中心点确定所述正点击图，根据所述其他区域的中心点确定所述负点击图。
10.根据权利要求1-5任一项所述的方法，其特征在于，所述对所述原始图像进行特征提取得到第二特征图，包括：
将所述原始图像输入主干网络中进行特征提取，得到所述第二特征图。
11.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
获取待检测物体的待分割图像和所述待分割图像对应的点击图；
根据所述待分割图像、所述待分割图像对应的点击图以及训练完成后的缺陷分割模型，确定所述待分割图像对应的缺陷分割结果。
12.一种图像分割方法，其特征在于，所述方法包括：
获取待检测物体的待分割图像和所述待分割图像对应的点击图；
将所述待分割图像和所述点击图输入至缺陷分割模型中，得到缺陷分割结果；所述缺陷分割模型为根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型得到的，所述第一特征图为根据所述待检测物体的原始图像、所述原始图像的点击图和所述上一次训练后的缺陷分割模型输出的所述原始图像的缺陷分割结果确定的，所述第二特征图为对所述原始图像进行特征提取得到的。
13.一种模型训练装置，其特征在于，所述装置包括：
第一确定模块，用于根据待检测物体的原始图像、点击图和上一次训练后的缺陷分割模型输出的所述原始图像的第一缺陷分割结果，确定第一特征图；
提取模块，用于对所述原始图像进行特征提取得到第二特征图；
训练模块，用于根据所述第一特征图和所述第二特征图训练所述上一次训练后的缺陷分割模型，得到训练后的缺陷分割模型。
14.一种图像分割装置，其特征在于，所述装置包括：
获取模块，用于获取待检测物体的待分割图像和所述待分割图像对应的点击图；
确定模块，用于将所述待分割图像和所述点击图输入至缺陷分割模型中，得到缺陷分割结果；所述缺陷分割模型为根据第一特征图和第二特征图训练上一次训练后的缺陷分割模型得到的，所述第一特征图为根据所述待检测物体的原始图像、所述原始图像的点击图和所述上一次训练后的缺陷分割模型输出的所述原始图像的缺陷分割结果确定的，所述第二特征图为对所述原始图像进行特征提取得到的。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
17.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN202310772881.8A 2023-06-28 2023-06-28 模型训练方法、图像分割方法、装置和计算机设备 Active CN116503694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310772881.8A CN116503694B (zh) 2023-06-28 2023-06-28 模型训练方法、图像分割方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310772881.8A CN116503694B (zh) 2023-06-28 2023-06-28 模型训练方法、图像分割方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN116503694A true CN116503694A (zh) 2023-07-28
CN116503694B CN116503694B (zh) 2023-12-08

Family

ID=87320627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310772881.8A Active CN116503694B (zh) 2023-06-28 2023-06-28 模型训练方法、图像分割方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN116503694B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874594A (zh) * 2019-09-23 2020-03-10 平安科技（深圳）有限公司 基于语义分割网络的人体外表损伤检测方法及相关设备
CN111369550A (zh) * 2020-03-11 2020-07-03 创新奇智(成都)科技有限公司 图像配准与缺陷检测方法、模型、训练方法、装置及设备
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN113610856A (zh) * 2021-08-18 2021-11-05 京东科技信息技术有限公司 训练图像分割模型和图像分割的方法和装置
US20220207742A1 (en) * 2020-12-30 2022-06-30 United Imaging Research Institute of Innovative Medical Equipment Image segmentation method, device, equipment and storage medium
CN115147418A (zh) * 2022-09-05 2022-10-04 东声(苏州)智能科技有限公司 缺陷检测模型的压缩训练方法和装置
CN115170471A (zh) * 2022-05-30 2022-10-11 腾讯科技（深圳）有限公司 基于图像识别模型的部件识别方法及装置
CN116310318A (zh) * 2023-01-19 2023-06-23 腾讯科技（深圳）有限公司 交互式的图像分割方法、装置、计算机设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874594A (zh) * 2019-09-23 2020-03-10 平安科技（深圳）有限公司 基于语义分割网络的人体外表损伤检测方法及相关设备
CN111369550A (zh) * 2020-03-11 2020-07-03 创新奇智(成都)科技有限公司 图像配准与缺陷检测方法、模型、训练方法、装置及设备
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
US20220207742A1 (en) * 2020-12-30 2022-06-30 United Imaging Research Institute of Innovative Medical Equipment Image segmentation method, device, equipment and storage medium
CN113610856A (zh) * 2021-08-18 2021-11-05 京东科技信息技术有限公司 训练图像分割模型和图像分割的方法和装置
CN115170471A (zh) * 2022-05-30 2022-10-11 腾讯科技（深圳）有限公司 基于图像识别模型的部件识别方法及装置
CN115147418A (zh) * 2022-09-05 2022-10-04 东声(苏州)智能科技有限公司 缺陷检测模型的压缩训练方法和装置
CN116310318A (zh) * 2023-01-19 2023-06-23 腾讯科技（深圳）有限公司 交互式的图像分割方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN116503694B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
WO2021164534A1 (zh) 图像处理方法、装置、设备及存储介质
US20220101604A1 (en) Learning-based 3d model creation apparatus and method
Ma et al. Stage-wise salient object detection in 360 omnidirectional image via object-level semantical saliency ranking
AU2019268184B2 (en) Precise and robust camera calibration
CN108124489B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN113378789B (zh) 单元格位置的检测方法、装置和电子设备
CN116797607A (zh) 图像分割方法和装置
CN117078790B (zh) 图像生成方法、装置、计算机设备和存储介质
CN111583264B (zh) 图像分割网络的训练方法、图像分割方法和存储介质
CN116503694B (zh) 模型训练方法、图像分割方法、装置和计算机设备
CN110598785A (zh) 一种训练样本图像的生成方法及装置
CN113592881B (zh) 图片指代性分割方法、装置、计算机设备和存储介质
CN115393376A (zh) 医学图像处理方法、装置、计算机设备和存储介质
Xu et al. Edge-guided generative adversarial network for image inpainting
CN115147434A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN111488933B (zh) 图像分类方法、网络、计算机设备和存储介质
CN116152233B (zh) 图像处理方法、智能终端及存储介质
US20230326028A1 (en) Utilizing machine learning models to generate refined depth maps with segmentation mask guidance
CN115908115A (zh) 人脸图像处理方法、直播图像处理方法、装置和电子设备
CN116597293A (zh) 多模态场景识别方法、装置、计算机设备和存储介质
CN117975473A (zh) 票据文本检测模型训练及检测方法、装置、设备和介质
CN115393941A (zh) 皮肤区域提取模型的训练方法、直播图像处理方法及装置
CN116230022A (zh) 音频的转换方法、装置、计算机设备和存储介质
CN115240260A (zh) 图像处理方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant