CN117132607A - 图像分割模型处理方法、装置、计算机设备和存储介质 - Google Patents
图像分割模型处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117132607A CN117132607A CN202311406472.2A CN202311406472A CN117132607A CN 117132607 A CN117132607 A CN 117132607A CN 202311406472 A CN202311406472 A CN 202311406472A CN 117132607 A CN117132607 A CN 117132607A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- initial
- training
- image
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 470
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000003672 processing method Methods 0.000 title abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 615
- 238000012549 training Methods 0.000 claims abstract description 522
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000004590 computer program Methods 0.000 claims abstract description 27
- 238000012216 screening Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 87
- 238000001514 detection method Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 21
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 32
- 241001465754 Metazoa Species 0.000 description 28
- 238000010586 diagram Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229940127554 medical product Drugs 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像分割模型处理方法、装置、计算机设备、存储介质和计算机程序产品,可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。该方法包括:获取训练对象图像和对象分割标签;将训练对象图像输入到图像分割指导模型和初始图像分割模型中,得到训练分割对象结果和初始分割对象结果;基于初始分割对象结果和对象分割标签计算得到初始损失信息,并按照预设置信条件从训练分割对象结果中的各个训练对象分割掩码筛选得到训练对象分割标签掩码;并基于训练对象分割标签掩码和对应的初始对象分割掩码计算得到指导损失信息;基于初始损失信息和指导损失信息进行训练迭代,得到目标图像分割模型。采用本方法能够提高图像分割准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像分割模型处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着图像处理技术的发展,出现了图像分割技术,图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。目前,为了节省标注成本,通常使用弱监督的方法来训练图像分割模型进行图像分割。通过弱监督的方法训练得到的图像分割模型通常是参考图像中的先验信息,比如边界框颜色信息、边界框纹理信息等来推断未标注数据的实例分割结果。然而,当要分割的对象部分重叠时,利用图像中的先验信息来推断实例分割结果会存在图像分割准确性下降的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高图像分割模型分割准确性的图像分割模型处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种图像分割模型处理方法。所述方法包括:
获取训练对象图像和训练对象图像对应的对象分割标签;
将训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果,图像分割指导模型与初始图像分割模型的模型结构相匹配;
基于初始分割对象结果和对象分割标签进行损失计算,得到初始损失信息,并基于训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码;
基于训练对象分割标签掩码和初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到训练对象分割标签掩码对应的初始对象分割掩码,并基于训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息;
基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。
第二方面,本申请还提供了一种图像分割模型处理装置。所述装置包括:
获取模块,用于获取训练对象图像和训练对象图像对应的对象分割标签;
分割模块,用于将训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果,图像分割指导模型与初始图像分割模型的模型结构相匹配;
掩码筛选模块,用于基于初始分割对象结果和对象分割标签进行损失计算,得到初始损失信息,并基于训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码;
指导损失计算模块,用于基于训练对象分割标签掩码和初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到训练对象分割标签掩码对应的初始对象分割掩码,并基于训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息;
模型得到模块,用于基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取训练对象图像和训练对象图像对应的对象分割标签;
将训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果,图像分割指导模型与初始图像分割模型的模型结构相匹配;
基于初始分割对象结果和对象分割标签进行损失计算,得到初始损失信息,并基于训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码;
基于训练对象分割标签掩码和初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到训练对象分割标签掩码对应的初始对象分割掩码,并基于训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息;
基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取训练对象图像和训练对象图像对应的对象分割标签;
将训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果,图像分割指导模型与初始图像分割模型的模型结构相匹配;
基于初始分割对象结果和对象分割标签进行损失计算,得到初始损失信息,并基于训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码;
基于训练对象分割标签掩码和初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到训练对象分割标签掩码对应的初始对象分割掩码,并基于训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息;
基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取训练对象图像和训练对象图像对应的对象分割标签;
将训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果,图像分割指导模型与初始图像分割模型的模型结构相匹配;
基于初始分割对象结果和对象分割标签进行损失计算,得到初始损失信息,并基于训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码;
基于训练对象分割标签掩码和初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到训练对象分割标签掩码对应的初始对象分割掩码,并基于训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息;
基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。
上述图像分割模型处理方法、装置、计算机设备、存储介质和计算机程序产品,通过将训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果,图像分割指导模型与初始图像分割模型的模型结构相匹配;基于初始分割对象结果和对象分割标签进行损失计算,得到初始损失信息,并基于训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码;基于训练对象分割标签掩码和初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到训练对象分割标签掩码对应的初始对象分割掩码,并基于训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息;基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型,即通过使用置信度筛选得到的训练对象分割标签掩码作为监督信息来对图像分割模型进行训练,改进了仅参考分割对象本身先验信息的局限性,从而提高目标图像分割模型进行图像分割的准确性。
附图说明
图1为一个实施例中图像分割模型处理方法的应用环境图;
图2为一个实施例中图像分割模型处理方法的流程示意图;
图3为一个实施例中筛选训练对象分割掩码的流程示意图;
图4为一个具体实施例中计算重叠程度的示意图;
图5为一个实施例中得到目标图像分割模型的流程示意图;
图6为一个实施例中得到初始损失信息的流程示意图;
图7为一个实施例中得到初始对象类别损失信息的流程示意图;
图8为一个实施例中得到目标工业产品图像分割模型的流程示意图;
图9为一个具体实施例中图像分割模型处理方法的流程示意图;
图10为一个具体实施例中图像分割模型处理的框架结构示意图;
图11为一个实施例中图像分割模型处理装置的结构框图;
图12为一个实施例中计算机设备的内部结构图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等。其中,预训练模型又称大模型、基础模型,经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。大模型技术为计算机视觉技术发展带来重要变革,swin-transformer,ViT,V-MOE,MAE等视觉领域的预训练模型经过微调(fine tune)可以快速、广泛适用于下游具体任务。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的图像处理、图像识别等技术,具体通过如下实施例进行说明:
本申请实施例提供的图像分割模型处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以单独存在,也可以集成在服务器104上,也可以放在云上或其他服务器上。服务器104获取到终端102上传的训练对象图像和训练对象图像对应的对象分割标签;服务器104将训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果,图像分割指导模型与初始图像分割模型的模型结构相匹配;服务器104基于初始分割对象结果和对象分割标签进行损失计算,得到初始损失信息,并基于训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码;服务器104基于训练对象分割标签掩码和初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到训练对象分割标签掩码对应的初始对象分割掩码,并基于训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息;服务器104基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。其中,终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在一个实施例中,如图2所示,提供了一种图像分割模型处理方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
S202,获取训练对象图像和训练对象图像对应的对象分割标签。
其中,训练对象图像是指训练时使用的对象图像,该对象图像中包括各个对象,该对象可以是虚拟对象,也可以是真实对象。该虚拟对象是指虚拟的对象,比如,虚拟人物、虚拟动物、虚拟物体等等。该真实对象是指真实存在的对象,比如,人、物体、动物等等。对象分割标签是指训练对象图像中对象的标签,可以包括对象类别的标签以及对象在训练对象图像中位置的标签等等。
具体地,服务器可以从数据库中获取到训练对象图像和训练对象图像对应的对象分割标签。服务器也可以获取到终端上传的训练对象图像和训练对象图像对应的对象分割标签。服务器也可以获取到业务服务方发送的训练对象图像和训练对象图像对应的对象分割标签。服务器也可以从提供数据服务的服务方获取到训练对象图像和训练对象图像对应的对象分割标签。
S204,将训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果,图像分割指导模型与初始图像分割模型的模型结构相匹配。
其中,图像分割指导模型是指在训练时对初始图像分割模型进行指导的图像分割模型,该图像分割指导模型的图像分割结果可以作为训练时初始图像分割模型的监督信息,即作为训练的参考。初始图像分割模型是指初始的图像分割模型。该图像分割指导模型的模型参数和初始图像分割模型的模型参数都是初始化后得到的,该图像分割指导模型的模型参数与初始图像分割模型的模型参数可以相同,也可以不同,比如,模型参数可以都是通过随机初始化得到的,也可以是都是通过为零初始化得到的,也可以是通过高斯分布初始化得到的。图像分割指导模型与初始图像分割模型的模型结构相匹配是指图像分割指导模型的模型结构与初始图像分割模型的模型结构之间的相似程度大于预先设置好的相似阈值。优选的,图像分割指导模型的模型结构与初始图像分割模型的模型结构可以相同。该图像分割指导模型的模型结构和初始图像分割模型的模型结构可以是通过神经网络来建立的,该神经网络可以是卷积神经网络、前馈神经网络、递归神经网络以及各种神经网络的组合等等。训练分割对象结果是指图像分割指导模型对训练对象图像进行图像分割得到的结果。初始分割对象结果是指初始图像分割模型对训练对象图像进行图像分割得到的结果。
具体地,服务器将训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果。其中,服务器可以将训练对象图像同时输入到图像分割指导模型和初始图像分割模型中进行对象分割。服务器也可以先将训练对象图像输入到图像分割指导模型中进行对象分割,然后再将训练对象图像输入到初始图像分割模型中进行对象分割。服务器也可以先将训练对象图像输入到初始图像分割模型图像中进行对象分割,然后再将训练对象图像输入到分割指导模型中进行对象分割。
S206,基于初始分割对象结果和对象分割标签进行损失计算,得到初始损失信息,并基于训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码。
其中,初始损失信息用于表征初始分割对象结果与对象分割标签之间的误差,该误差越小,说明初始图像分割模型进行图像分割就越准确。训练对象分割掩码是指训练得到的图像中对象所在区域的掩码。该训练对象分割掩码与图像中对象实际所在区域的掩码存在误差,通过训练可以使误差逐渐变小。置信度是指训练对象分割掩码是实际对象掩码的概率,即可以是训练对象图像中前景的概率。即该置信度用于表征训练对象分割掩码是图像中对应对象实际所在区域的可信程度。预设置信条件是指预先设置好的置信度的条件,可以是置信度阈值。训练对象分割标签掩码是指作为初始图像分割模型监督信息的训练对象分割掩码,用于指导初始图像分割模型的训练。
具体地,服务器使用预先设置好的损失函数计算初始分割对象结果与对象分割标签之间的误差,比如,服务器可以计算初始分割对象结果中对象分类结果与对象分割标签中对象类别标签之间的误差,可以计算初始分割对象结果中对象位置与对象分割标签中对象位置标签之间的误差,最后得到初始损失信息。然后服务器将训练分割对象结果中各个训练对象分割掩码分别对应的置信度与预设置信条件进行比较,并将置信度符合预设置信条件的训练对象分割掩码筛选出来,即将符合预设置信条件的训练对象分割掩码作为训练对象分割标签掩码。
S208,基于训练对象分割标签掩码和初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到训练对象分割标签掩码对应的初始对象分割掩码,并基于训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息。
其中,训练对象分割标签掩码对应的初始对象分割掩码是与训练对象分割标签掩码相同对象对应的初始对象分割掩码。即训练对象分割标签掩码和对应的初始对象分割掩码是同一个对象对应的不同掩码。指导损失信息用于表征训练对象分割标签掩码和对应的初始对象分割掩码之间的误差。
具体地,服务器使用训练对象分割标签掩码和初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,其中,可以根据训练对象分割标签掩码与各个初始对象分割掩码的重叠程度来确定训练对象分割标签掩码对应的初始对象分割掩码,当训练对象分割标签掩码有多个时,计算得到每个训练对象分割标签掩码对应的初始对象分割掩码。然后使用预先设置好的损失函数计算训练对象分割标签掩码和对应的初始对象分割掩码之间的误差,得到指导损失信息。
S210,基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。
其中,训练完成条件是指训练得到目标图像分割模型的条件,包括但不限于模型训练的损失信息达到预先设置好的阈值或者模型训练的迭代次数达到预先设置好的最大迭代次数胡总和模型的参数不再发生变化等等。目标图像分割模型是指最终训练得到的用于进行图像分割的神经网络模型。
具体地,服务器计算初始损失信息和指导损失信息的和,得到模型总损失信息。然后服务器判断是否达到训练完成条件,当未达到训练完成条件时,服务器使用模型总损失信息通过梯度下降算法反向更新初始图像分割模型的模型参数,得到更新图像分割模型,然后使用更新图像分割模型的模型参数来更新图像分割指导模型的模型参数,得到更新图像分割指导模型,并进行迭代训练,即可以返回获取训练对象图像和训练对象图像对应的对象分割标签的步骤迭代执行,直到达到训练完成条件时,将训练完成的图像分割指导模型作为训练得到的目标图像分割模型。在一个实施例中,服务器判断达到训练完成条件时,也可以将训练完成的初始图像分割模型作为最终训练得到的目标图像分割模型,然后将目标图像分割模型部署并进行图像分割。
上述图像分割模型处理方法、装置、计算机设备、存储介质和计算机程序产品,通过将训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果,图像分割指导模型与初始图像分割模型的模型结构相匹配;基于初始分割对象结果和对象分割标签进行损失计算,得到初始损失信息,并基于训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码;基于训练对象分割标签掩码和初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到训练对象分割标签掩码对应的初始对象分割掩码,并基于训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息;基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型,即通过使用置信度筛选得到的训练对象分割标签掩码作为监督信息来对图像分割模型进行训练,改进了仅参考分割对象本身先验信息的局限性,从而提高目标图像分割模型进行图像分割的准确性。
在一个实施例中,如图3所示,S206,即基于训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码,包括:
S302,从训练分割对象结果中确定各个训练对象分割掩码分别对应的掩码像素点的置信度。
S304,基于掩码像素点的置信度进行平均计算,得到各个训练对象分割掩码分别对应的置信度。
其中,掩码像素点的置信度用于表征训练对象图像中掩码所在区域的像素点为实际对象所在区域像素点的概率,即该像素点为前景像素点的概率。训练对象分割掩码中每个像素点都有对应的置信度。
具体地,服务器从训练分割对象结果中获取到每个训练对象分割掩码对应的各个掩码像素点的置信度,即图像分割指导模型预测训练对象图像中各个像素点是否为对象所在区域的像素点,根据各个像素点为对象所在区域像素点的概率来确定训练对象分割掩码,比如,将概率超过预设概率阈值的像素点作为训练对象分割掩码所在区域的像素点。然后服务器可以获取到训练对象分割掩码所在区域中各个像素点为对象所在区域像素点的概率,从而得到各个掩码像素点的置信度。然后服务器计算各个掩码像素点的置信度的平均值,即计算所有掩码像素点的置信度总和,然后计算置信度总和与掩码像素点数量的比值,得到平均值,然后将平均值作为训练对象分割掩码对应的置信度。
S304,当各个训练对象分割掩码中目标对象分割掩码对应的置信度符合预设置信条件时,将目标对象分割掩码作为训练对象分割标签掩码。
其中,目标对象分割掩码是指置信度符合预设置信条件的训练对象分割掩码。
具体地,服务器判断每个训练对象分割掩码对应的置信度是否符合预设置信条件。当目标对象分割掩码对应的置信度符合预设置信条件时,将目标对象分割掩码作为训练对象分割标签掩码。当有多个训练对象分割掩码对应的置信度符合预设置信条件时,将所有符合预设置信条件的训练对象分割掩码作为训练对象分割标签掩码。
在上述实施例中,通过计算各个掩码像素点的置信度的平均值,得到训练对象分割掩码分别对应的置信度,当训练对象分割掩码对应的置信度符合预设置信条件时,将该训练对象分割掩码作为训练对象分割标签掩码,从而提高了得到的训练对象分割标签掩码的准确性,即提高了监督信息的质量。
在一个实施例中,S304,基于掩码像素点的置信度进行平均计算,得到各个训练对象分割掩码分别对应的置信度,包括:
从训练分割对象结果中确定各个训练对象分割掩码分别对应的掩码整体置信度;基于掩码像素点的置信度进行平均计算,得到掩码平均置信度,基于掩码平均置信度和掩码整体置信度进行加权计算,得到各个训练对象分割掩码分别对应的置信度。
其中,掩码整体置信度是指对训练对象分割掩码整体预测得到的置信度,可以是图像分割指导模型输出的训练对象分割掩码对应的置信度。掩码整体置信度用于表征训练对象分割掩码所在区域为训练对象图像中对象所在区域的概率或者可能性。掩码平均置信度是指使用训练对象分割掩码所在区域的各个像素点的置信度计算得到的训练对象分割掩码对应的置信度。
具体地,服务器从训练分割对象结果中获取到每个训练对象分割掩码分别对应的掩码整体置信度。同时服务器从训练分割对象结果中获取到每个训练对象分割掩码对应的各个掩码像素点的置信度,然后计算各个掩码像素点的置信度的平均值,得到每个训练对象分割掩码对应的掩码平均置信度。最后服务器可以获取到预先设置好的权重,按照预先设置好的权重对掩码平均置信度和掩码整体置信度进行加权计算,得到每个训练对象分割掩码对应的置信度。
在上述实施例中,通过对掩码平均置信度和掩码整体置信度进行加权计算,得到各个训练对象分割掩码分别对应的置信度,从而进一步提高了得到的置信度的准确性。
在一个实施例中,S208,基于训练对象分割标签掩码和初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到训练对象分割标签掩码对应的初始对象分割掩码,包括步骤:
计算训练对象分割标签掩码对应的外接框分别与各个初始对象分割掩码对应的对象框标签之间的重叠程度;当重叠程度超过预设重叠程度阈值时,将超过预设重叠程度阈值的初始对象分割掩码作为训练对象分割标签掩码对应的初始对象分割掩码。
其中,训练对象分割标签掩码对应的外接框是指训练对象分割标签掩码对应的预测得到的边框,即box边框。该外接框用于表征训练对象分割标签掩码在训练对象图像中的区域范围。初始对象分割掩码对应的对象框标签是指初始对象分割掩码对应的已经标注好的对象边框,即预先标注好对象的box标签。训练对象图像中的每个对象都会预先设置好box边框,即标注出对象在训练对象图像中的区域范围。预设重叠程度阈值是指预先设置的重叠程度的阈值,该预设重叠程度阈值用于表征不同的对象框是否对应同一对象,当重叠程度超过预设重叠程度阈值时,说明两个对象框对应同一对象,当重叠程度未超过预设重叠程度阈值时,说明两个对象框对应不同的对象,不是同一对象的box边框。
具体地,服务器可以根据训练对象分割标签掩码在训练对象图像中的区域范围来确定训练对象分割标签掩码对应的外接框,然后计算训练对象分割标签掩码对应的外接框分别与每个初始对象分割掩码对应的对象框标签之间的重叠程度,其中,可以按照外接框在训练对象图像中的区域范围和对象框标签在训练对象图像中的区域范围来计算重叠程度。然后服务器判断计算得到的重叠程度是否超过预设重叠程度阈值。当重叠程度未超过预设重叠程度阈值时,说明该重叠程度对应的外接框和对象框标签并不是同一个对象的边框。当重叠程度超过预设重叠程度阈值时,说明该重叠程度对应的外接框和对象框标签是同一个对象的边框,此时,服务器就将超过预设重叠程度阈值的初始对象分割掩码作为训练对象分割标签掩码对应的初始对象分割掩码。在一个实施例中,服务器可以从训练分割对象结果中获取到训练对象分割标签掩码对应的外接框,该图像分割指导模型输出的训练分割对象结果中可以包括各个训练对象分割掩码的外接框,然后从各个训练对象分割掩码的外接框中确定训练对象分割标签掩码对应的外接框。
在上述实施例中,通过计算训练对象分割标签掩码对应的外接框分别与各个初始对象分割掩码对应的对象框标签之间的重叠程度,然后将超过预设重叠程度阈值的初始对象分割掩码作为训练对象分割标签掩码对应的初始对象分割掩码,从而可以提高掩码对应的准确性,避免训练对象分割标签掩码与初始对象分割掩码对应错误,导致损失信息计算有误的问题。
在一个实施例中,计算训练对象分割标签掩码对应的外接框分别与各个初始对象分割掩码对应的对象框标签之间的重叠程度,包括步骤:
计算训练对象分割标签掩码对应的外接框分别与各个初始对象分割掩码对应的对象框标签之间的交集区域;计算训练对象分割标签掩码对应的外接框分别与各个初始对象分割掩码对应的对象框标签之间的并集区域;计算交集区域与并集区域之间的比值,得到重叠程度。
其中,交集区域是指外接框与对象框标签之间的存在重叠的区域。并集区域是指外接框与对象框标签合并得到的区域。
具体地,服务器计算训练对象分割标签掩码对应的外接框分别与各个初始对象分割掩码对应的对象框标签之间的交集区域。然后计算训练对象分割标签掩码对应的外接框分别与各个初始对象分割掩码对应的对象框标签之间的并集区域。其中,服务器可以根据外接框的区域范围和对象框标签的区域范围来确定存在交集的区域,并根据外接框的区域范围和对象框标签的区域范围来确定合并后的区域。最后服务器计算交集区域与并集区域之间的比值,得到重叠程度。在一个实施例中,对象框标签即预先设置好的训练对象图像中对象的边框范围。
在一个具体的实施例中,如图4所示,为计算重叠程度的示意图,其中,可以通过计算外接框和初始对象框之间的IOU(Intersection overUnion,交并比),即计算外接框所在区域范围和对象框标签所在区域范围的交集区域,即图中阴影部分,并计算外接框所在区域范围和对象框标签所在区域范围合集区域,即图中黑色部分,然后计算比值,得到重叠程度。
在上述实施例中,通过计算对象框之间的交集区域和并集区域,然后计算交集区域与并集区域之间的比值,得到重叠程度,从而提高了得到的重叠程度的准确性。
在一个实施例中,S208,即基于训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息,包括步骤:
计算训练对象分割标签掩码与对应的初始对象分割掩码之间的重叠度,基于重叠度确定指导损失信息。
其中,重叠度用于表征训练对象分割标签掩码与初始对象分割掩码之间的相似程度。
具体地,服务器使用预先设置好的损失函数来计算训练对象分割标签掩码与对应的初始对象分割掩码之间的重叠度,其中,该预先设置好的损失函数可以是Dice损失函数。然后根据重叠度的大小确定指导损失信息,其中,当重叠度越大时,说明训练对象分割标签掩码与初始对象分割掩码之间越相似,则得到的损失就越小。
在一个具体的实施例中,可以使用如下所示的公式(1)计算得到指导损失信息。
公式(1)
其中,是计算得到的指导损失信息。/>是指正样本数量,/>是二值函数,表示特征图中(x,y)点被匹配为正样本时为1,否则为0,1表示前景,0表示背景。/>是指初始对象分割掩码,即用于表征/>经过/>分配后进行分割得到对象掩码。/>是指提取得到的训练对象图像的特征图。/>是控制参数/>是指Dice损失函数,Dice损失函数是一种常用于图像分割任务的损失函数,用来平衡正负样本数量。/>是指训练对象分割标签掩码。通过使用该损失函数计算指导损失信息,即使用训练对象分割标签掩码作为监督信息来计算初始对象分割掩码的误差,从而提高了计算得到的指导损失信息的准确性,进而提高了模型处理的准确性。
在上述实施例中,通过计算训练对象分割标签掩码与对应的初始对象分割掩码之间的重叠度,基于重叠度确定指导损失信息,从而提高了得到的指导损失信息的准确性。
在一个实施例中,如图5所示,S210,即基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型,包括:
S502,基于初始损失信息和指导损失信息对初始图像分割模型的模型参数进行更新,得到更新图像分割模型;
S504,基于更新图像分割模型的模型参数和图像分割指导模型的模型参数对图像分割指导模型的模型参数进行更新,得到更新图像分割指导模型。
其中,更新图像分割模型是指对初始图像分割模型的模型参数更新后得到的图像分割模型。更新图像分割指导模型是指对图像分割指导模型的模型参数更新后得到的图像分割指导模型。
具体地,服务器计算初始损失信息和指导损失信息的总和,得到模型总损失信息,然后基于模型总损失信息使用梯度下降算法反向更新初始图像分割模型的模型参数,得到更新图像分割模型,其中,梯度下降算法可以是批量梯度下降算法或者随机梯度下降算法或者小批量梯度下降算法或者动量梯度下降算法。然后服务器使用更新图像分割模型的模型参数和图像分割指导模型的模型参数对图像分割指导模型的模型参数进行更新,其中,可以按照预先设置好的权重对更新图像分割模型的模型参数和图像分割指导模型的模型参数分别进行加权并计算加权后参数的和,从而得到图像分割指导模型的模型更新参数,即得到更新图像分割指导模型。在一个具体的实施例中,服务器可以使用更新图像分割模型的模型参数按照指数移动平均值(EMA,Exponential Moving Average)算法来对图像分割指导模型的模型参数进行更新,从而得到更新图像分割指导模型。
S506,将更新图像分割模型作为初始图像分割模型,并将更新图像分割指导模型作为图像分割指导模型,并返回获取训练对象图像和训练对象图像对应的对象分割标签的步骤迭代执行,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。
具体地,服务器判断是否达到训练完成条件,当未达到训练完成条件时,服务器进行下一次的迭代执行。此时,服务器将更新图像分割模型作为初始图像分割模型,并将更新图像分割指导模型作为图像分割指导模型,并返回获取训练对象图像和训练对象图像对应的对象分割标签的步骤迭代执行,即服务器可以重新获取到新的训练对象图像和对应的对象分割标签并继续执行后续的步骤。在一个实施例中,服务器也可以返回将训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果的步骤迭代执行。即服务器也可以使用相同的训练样本进行多次的迭代执行。然后服务器判断当达到训练完成条件时,将训练完成的图像分割指导模型作为目标图像分割模型。
在上述实施例中,通过初始损失信息和指导损失信息对初始图像分割模型的模型参数进行更新,得到更新图像分割模型,提高了得到的更新图像分割模型的准确性,然后使用更新图像分割模型的模型参数和图像分割指导模型的模型参数对图像分割指导模型的模型参数进行更新,得到更新图像分割指导模型,从而提高了更新图像分割指导模型的准确性。然后服务器进行迭代执行,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型,从而提高了得到的目标图像分割模型的准确性。
在一个实施例中,S504,即基于更新图像分割模型的模型参数和图像分割指导模型的模型参数对图像分割指导模型的模型参数进行更新,得到更新图像分割指导模型,包括步骤:
计算图像分割指导模型的模型参数与预设衰减权重的乘积,得到衰减参数;计算更新图像分割模型的模型参数与预设增强权重的乘积,得到增强参数;计算衰减参数与增强参数的和,得到图像分割指导模型的更新参数,并基于图像分割指导模型的更新参数得到更新图像分割指导模型。
其中,预设衰减权重是指预先设置好的模型参数衰减程度的权重,预设增强权重是指预先设置好的模型参数增强程度的权重。该预设衰减权重和预设增强权重的总和为1,该预设衰减权重大于预设增强权重,比如,预设衰减权重可以设置为0.9,则预设增强权重为0.1。衰减参数是指使用预设衰减权重对图像分割指导模型的模型参数进行加权后得到的参数。增强参数是指使用预设增强权重对更新图像分割模型的模型参数进行加权后得到的参数。
具体地,服务器可以从数据库中获取到预设衰减权重和预设增强权重。服务器也可以从预先设置好的配置文件中获取到预设衰减权重和预设增强权重。然后服务器计算图像分割指导模型的各个模型参数与预设衰减权重的乘积,得到各个衰减参数,计算更新图像分割模型的各个模型参数与预设增强权重的乘积,得到各个增强参数。服务器再计算每个衰减参数与对应的增强参数的和,得到图像分割指导模型的各个更新参数,然后基于图像分割指导模型的各个更新参数得到更新图像分割指导模型。由于图像分割指导模型和初始图像分割模型的网络结构匹配,则图像分割指导模型中的模型参数就与初始图像分割模型的模型参数一一对应。
在上述实施例中,通过计算图像分割指导模型的模型参数与预设衰减权重的乘积,得到衰减参数,计算更新图像分割模型的模型参数与预设增强权重的乘积,得到增强参数,然后计算衰减参数与增强参数的和,得到图像分割指导模型的更新参数,从而可以调整参数的更新速度,使其更加适应当前数据的变化趋势,进而提高了模型处理的准确性。
在一个实施例中,初始分割对象结果包括初始对象类别、初始对象框和初始对象掩码,对象分割标签包括对象类别标签和对象框标签;
如图6所示,S206,即基于初始分割对象结果和对象分割标签进行损失计算,得到初始损失信息,包括步骤:
S602,基于初始对象类别、初始对象框、对象类别标签和对象框标签进行类别检测损失计算,得到初始对象类别损失信息。
其中,初始对象类别是指通过初始图像分割模型进行图像分割预测得到的训练对象图像中对象的类别。初始对象框是指通过初始图像分割模型进行图像分割预测得到的训练对象图像中对象的边界框。初始对象掩码通过初始图像分割模型进行图像分割预测得到的训练对象图像中对象的掩码,对象的掩码是指训练对象图像对象所在位置的像素点值为1,其他位置的像素点值为0。对象类别标签用于表征训练对象图像中对象真实的类别。对象框标签用于表征训练对象图像中对象真实的边界框信息。初始对象类别损失信息用于表征检测得到的对象类别信息的损失信息。
具体地,服务器可以使用预先设置好的损失函数计算初始对象类别与对象类别标签之间的误差,并计算初始对象框与对象框标签之间的误差,从而得到初始对象类别损失信息,其中,预先设置好的损失函数可以是分类损失函数,比如,交叉熵损失函数,预先设置好的损失函数也可以是回归损失函数,可以根据需求选取。
S604,基于初始对象掩码和对象框标签进行对象框分割损失计算,得到初始对象框损失信息。
S606,计算初始对象类别损失信息和初始对象框损失信息的总和,得到初始损失信息。
其中,初始对象框损失信息用于表征检测得到的对象位置信息的损失信息。
具体地,服务器使用预先设置好的损失函数计算于初始对象掩码和对象框标签之间的误差,得到初始对象框损失信息,该预先设置好的损失函数可以是交叉熵损失函数、回归损失函数等等。然后计算初始对象类别损失信息和初始对象框损失信息的总和,得到初始损失信息。
在上述实施例中,通过计算初始对象类别损失信息和初始对象框损失信息,然后计算初始对象类别损失信息和初始对象框损失信息的总和,得到初始损失信息,即通过计算各种不同类型的损失信息,从而提高了得到的初始损失信息的准确性。
在一个实施例中,如图7所示,S602,即基于初始对象类别、初始对象框和对象类别标签进行类别检测损失计算,得到初始对象类别损失信息,包括:
S702,计算初始对象类别与对象类别标签之间的误差,得到初始分类损失信息。
S704,计算初始对象框与对象框标签之间的位置误差,得到对象框损失信息。
S706,计算初始对象框对应的中心度与对象框标签对应的中心度之间的误差,得到中心度损失信息。
S708,计算初始分类损失信息、对象框损失信息和中心度损失信息的和,得到初始对象类别损失信息。
其中,初始分类损失信是指对训练对象图像中的对象进行分类识别得到对象类别的损失信息,用于表征检测得到的对象类别的损失信息。对象框损失信息用于表征检测得到的对象边界框的损失信息。中心度用于度量像素位置到该像素对应的对象中心位置,距离对象中心位置越近,中心度得分越高,距离对象中心位置越远,中心度得分越低,中心度是一个0到1之间的值。初始对象框对应的中心度是指初始对象框中各个像素位置到该初始对象框中心位置的度量得分。对象框标签对应的中心度是指对象框标签中各个像素位置到该对象框标签中心位置的度量得分。中心度可以降低远离对象中心的边界框权值,低质量边界框可以被最终的非最大值抑制过程滤除,从而显著提高检测性能。中心度损失信息用于表征检测得到的对象中心度的损失信息。
具体地,服务器可以使用预先设置好的分类损失函数计算初始对象类别与对象类别标签之间的误差,得到初始分类损失信息。该预先设置好的分类损失函数可以是多分类的交叉熵损失函数。然后使用预先设置好的定位损失函数服务器计算初始对象框与对象框标签之间的位置误差,得到对象框损失信息,该定位损失函数可以是GIoU loss(Generalized Intersection over Union Loss,改进的交并比损失)或者IoU loss(Intersection over Union Loss,交并比损失)。然后服务器使用预先设置好的中心度损失函数计算初始对象框对应的中心度与对象框标签对应的中心度之间的误差,得到中心度损失信息,该中心度损失函数可以是二分类的损失函数,比如,可以是BCE Loss(BinaryCross EntropyLoss,二值交叉熵损失)损失函数。
在一个具体的实施例中,服务器可以使用如下所示公式(2)计算得到初始对象类别损失信息。
公式(2)
其中,表示在特征图(x,y)点处预测的每个类别的得分。/>表示在特征图(x,y)点对应的真实类别标签。/>是指 初始分类损失信息。/>是二值函数,表示当特征图(x,y)点被匹配为正样本时为1,否则为0。/>是指对象框损失信息。/>表示特征图(x,y)点处预测的对象边界框信息。/>表示特征图(x,y)点对应的真实对象边界框信息。是指中心度损失信息。/>表示特征图(x,y)点处预测的中心度信息。/>表示特征图(x,y)点对应的真实中心度信息。
在上述实施例中,通过计算初始分类损失信息、对象框损失信息和中心度损失信息,最后计算初始分类损失信息、对象框损失信息和中心度损失信息的和,得到初始对象类别损失信息。即通过计算不同类型的损失信息得到初始对象类别损失信息,提高了得到的初始对象类别损失信息的准确性,
在一个实施例中,S604,即基于初始对象掩码和对象框标签进行对象框分割损失计算,得到初始对象框损失信息,包括步骤:
计算初始对象掩码和对象框标签之间的投影误差,得到投影损失信息;基于初始对象掩码进行颜色对损失计算,得到颜色对损失信息;计算投影损失信息和颜色对损失信息的和,得到初始对象框损失信息。
其中,投影损失信息用于表征检测得到的初始对象掩码在水平方向和垂直方向上投影的损失信息。颜色对损失信息是指检测得到的初始对象掩码中像素点对的颜色相似度损失信息。
具体地,服务器使用预先设置好的损失函数计算初始对象掩码和对象框标签之间的投影误差,得到投影损失信息,该预先设置好的损失函数可以是Dice损失函数。然后服务器使用预先设置好的交叉熵损失函数计算得到颜色对损失信息,最后服务器计算投影损失信息和颜色对损失信息的和,得到初始对象框损失信息。
在一个具体的实施例中,服务器可以使用如下所示的公式(3)计算得到投影损失信息。
公式(3)
其中,是指初始对象掩码。/>是指对象框标签中对象像素点位置赋1,非对象像素点位置赋0生成的掩码。/>是指投影损失信息。/>是指初始对象掩码投影到水平方向得到的向量,/>是指对象框标签生成的掩码投影到水平方向得到的向量。/>是指初始对象掩码投影到垂直方向得到的向量。/>是指对象框标签生成的掩码投影到垂直方向得到的向量。L是指Dice损失函数。
在一个具体的实施例中,服务器可以使用如下所示的公式(4)计算得到颜色对损失信息。
公式(4)
其中,,/>表示像素点(i,j)和像素点(k,l)之间有相同对象框标签的可能性。/>是指初始对象掩码中的像素点对。/>和/>是指初始对象掩码中的像素点(i,j)和像素点(k,l)。N是指像素点对的数量。。/>表示像素点(i,j)和像素点(k,l)之间有不同对象框标签的可能性。/>是指颜色对损失信息。/>是指像素点对的集合。
在上述实施例中,通过计算得到投影损失信息和颜色对损失信息,然后计算投影损失信息和颜色对损失信息的和,得到初始对象框损失信息,从而提高得到的初始对象框损失信息的准确性。
在一个实施例中,在S210之后,即在基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型之后,还包括步骤:
获取待分割实例图像,将待分割实例图像输入到目标图像分割模型中进行图像实例分割,得到待分割实例图像对应的图像实例目标分割结果。
其中,待分割实例图像是指需要对图像中的实例对象进行分割的图像。图像实例目标分割结果是指对待分割实例图像分割后得到的结果,该图像实例目标分割结果中可以包括图像中实例对象的边界框、实例对象的类别以及实例对象的掩码等等。
具体地,服务器可以将目标图像分割模型进行部署并可以使用,比如,可以提供目标图像分割模型的调用接口以便使用者通过调用接口调用目标图像分割模型进行图像分割。比如,当需要进行图像分割时,服务器可以从数据库中获取到待分割实例图像,也可以从图像分割业务的业务方获取到待分割实例图像,还可以是获取到终端上传的待分割实例图像。然后服务器可以通过调用接口调用目标图像分割模型,并将待分割实例图像输入到目标图像分割模型中进行图像实例分割,得到输出的待分割实例图像对应的图像实例目标分割结果。
在上述实施例中,通过,将待分割实例图像输入到目标图像分割模型中进行图像实例分割,得到待分割实例图像对应的图像实例目标分割结果,由于目标图像分割模型是通过图像分割指导模型处理方法进行训练得到的,从而可以提高得到的图像实例目标分割结果的准确性。
在一个实施例中,图像分割模型处理方法,还包括步骤:
基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的初始图像分割模型得到最终图像分割模型;获取待分割实例图像,将待分割实例图像输入到最终图像分割模型中进行图像实例分割,得到待分割实例图像对应的图像实例最终分割结果,该图像实例最终分割结果中也可以包括图像中实例对象的边界框、实例对象的类别以及实例对象的掩码等等。
其中,最终图像分割模型是根据训练完成的初始图像分割模型得到的图像分割模型。图像实例最终分割结果是指使用最终图像分割模型进行图像分割得到的图像分割结果。
具体地,服务器使用初始损失信息和指导损失信息对初始图像分割模型进行更新,并使用更新后的初始图像分割模型的模型参数对图像分割指导模型的模型参数进行更新,直到达到训练完成条件时,服务器将达到训练完成条件的初始图像分割模型作为训练得到的最终图像分割模型。然后可以将最终图像分割模型进行部署并使用。在使用最终图像分割模型时,服务器可以将获取到的待分割实例图像输入到最终图像分割模型中进行图像实例分割,得到待分割实例图像对应的图像实例最终分割结果。
在上述实施例中,通过对初始图像分割模型和图像分割指导模型进行训练,直到达到训练完成条件时,基于训练完成的初始图像分割模型得到最终图像分割模型,即提高了得到的最终图像分割模型的准确性。然后使用最终图像分割模型进行图像分割,从而提高了图像分割的准确性。
在一个实施例中,如图8所示,图像分割模型处理方法,还包括:
S802,获取训练工业产品图像和训练工业产品图像对应的工业产品分割标签。
其中,训练工业产品图像是指训练时使用的工业产品的图像,该工业产品是指工业企业进行工业生产活动的直接有效成果,比如,该工业产品可以是机械设备、电子产品、汽车和交通工具、塑料制品、金属制品、化工产品、建筑材料、纺织品和服装、食品和饮料以及医药产品等等。训练工业产品图像中的工业产品可以有多个。工业产品分割标签是指训练工业产品图像中工业产品的标签,可以包括工业产品的类别标签以及工业产品的边界框标签等等。
具体地,服务器可以从数据库中或者从提供业务服务的服务方或者互联网中或者从终端中获取训练工业产品图像和训练工业产品图像对应的工业产品分割标签。
S804,将训练工业产品图像输入到工业产品图像分割指导模型中进行工业产品分割,得到训练分割工业产品结果,并将训练工业产品图像输入到初始工业产品图像分割模型中进行工业产品分割,得到初始分割工业产品结果。
其中,工业产品图像分割指导模型是指对工业产品图像进行图像分割的图像分割指导模型。初始工业产品图像分割模型是指对工业产品图像进行图像分割的初始图像分割模型。
具体地,服务器预先建立工业产品图像分割指导模型和初始工业产品图像分割模型,初始工业产品图像分割模型的模型结构匹配以及预先设置好模型参数,然后进行模型训练,即将训练工业产品图像分别输入到工业产品图像分割指导模型和初始工业产品图像分割模型进行工业产品分割,得到训练分割工业产品结果和初始分割工业产品结果。
S806,基于初始分割工业产品结果和工业产品分割标签进行损失计算,得到初始工业产品损失信息,并基于训练分割工业产品结果中各个训练工业产品分割掩码分别对应的置信度和预设置信条件从各个训练工业产品分割掩码中进行筛选,得到训练工业产品分割标签掩码。
其中,初始工业产品损失信息是指初始分割工业产品结果和工业产品分割标签之间的误差。训练工业产品分割标签掩码是指各个训练工业产品分割掩码中符合预设置信条件的训练工业产品分割掩码。
具体地,服务器计算初始分割工业产品结果和工业产品分割标签之间的误差,得到初始工业产品损失信息,并按照训练分割工业产品结果中各个训练工业产品分割掩码分别对应的置信度从各个训练工业产品分割掩码中筛选符合预设置信条件的训练工业产品分割掩码,得到训练工业产品分割标签掩码。
S808,基于训练工业产品分割标签掩码和初始分割工业产品结果中的各个初始工业产品分割掩码进行对应关系计算,得到训练工业产品分割标签掩码对应的初始工业产品分割掩码,并基于训练工业产品分割标签掩码和对应的初始工业产品分割掩码进行损失计算,得到指导工业产品损失信息。
具体地,服务器按照训练工业产品分割标签掩码的图像位置和各个初始工业产品分割掩码的图像位置进行对应关系计算,即找到同一工业产品的训练工业产品分割标签掩码和初始工业产品分割掩码,从而得到训练工业产品分割标签掩码对应的初始工业产品分割掩码。
S810,基于初始工业产品损失信息和指导工业产品损失信息对初始工业产品图像分割模型和工业产品图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的工业产品图像分割指导模型得到目标工业产品图像分割模型。
具体地,服务器根据初始工业产品损失信息和指导工业产品损失信息使用梯度下降算法对初始工业产品图像分割模型的模型参数进行更新, 得到更新后的业产品图像分割模型。然后使用更新后的业产品图像分割模型中的模型参数对工业产品图像分割指导模型中的模型参数进行更新,得到更新后的工业产品图像分割指导模型,然后判断是否达到训练完成条件,当未达到训练完成条件时,服务器进行循环迭代执行,直到达到训练完成条件时,服务器可以将训练完成的工业产品图像分割指导模型作为目标工业产品图像分割模型。在一个实施例中,训练对象图像中的对象可以工业产品,则服务器可以通过上述任意一实施例中的图像分割模型处理方法来训练得到目标工业产品图像分割模型。然后使用目标工业产品图像分割模型对工业产品图像中的工业产品进行分割。
在上述实施例中,通过训练得到目标工业产品图像分割模型,从而提高了目标工业产品图像分割模型的准确性,然后使用目标工业产品图像分割模型对工业产品图像中工业产品进行分割,从而提高了对工业产品图像中工业产品进行分割的准确性。
在一个具体的实施例中,如图9所示,提供一种图像分割模型处理方法,具体包括以下步骤:
S902,获取训练对象图像和训练对象图像对应的对象分割标签,将训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果。
S904,基于初始对象类别、初始对象框、对象类别标签和对象框标签进行类别检测损失计算,得到初始对象类别损失信息。基于初始对象掩码和对象框标签进行对象框分割损失计算,得到初始对象框损失信息。计算初始对象类别损失信息和初始对象框损失信息的总和,得到初始损失信息。
S906,从训练分割对象结果中确定各个训练对象分割掩码分别对应的掩码像素点的置信度,基于掩码像素点的置信度进行平均计算,得到各个训练对象分割掩码分别对应的置信度,当各个训练对象分割掩码中目标对象分割掩码对应的置信度符合预设置信条件时,将目标对象分割掩码作为训练对象分割标签掩码。
S908,计算训练对象分割标签掩码对应的外接框分别与各个初始对象分割掩码对应的初始对象框之间的交集区域,计算训练对象分割标签掩码对应的外接框分别与各个初始对象分割掩码对应的初始对象框之间的并集区域。
S910,计算交集区域与并集区域之间的比值,得到重叠程度,当重叠程度超过预设重叠程度阈值时,将超过预设重叠程度阈值的初始对象分割掩码作为训练对象分割标签掩码对应的初始对象分割掩码。
S912,基于训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息,基于初始损失信息和指导损失信息对初始图像分割模型的模型参数进行更新,得到更新图像分割模型。
S914,计算图像分割指导模型的模型参数与预设衰减权重的乘积,得到衰减参数,计算更新图像分割模型的模型参数与预设增强权重的乘积,得到增强参数,计算衰减参数与增强参数的和,得到图像分割指导模型的更新参数,并基于图像分割指导模型的更新参数得到更新图像分割指导模型。
S916,将更新图像分割模型作为初始图像分割模型,并将更新图像分割指导模型作为图像分割指导模型,并返回获取训练对象图像和训练对象图像对应的对象分割标签的步骤迭代执行,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。
在上述实施例中,通过从图像分割指导模型预测得到的各个训练对象分割掩码中筛选得到置信度符合预设置信条件的训练对象分割掩码作为训练对象分割标签掩码,并将训练对象分割标签掩码作为初始图像分割模型的监督信息,计算初始图像分割模型的模型训练损失信息,从而提高了对初始图像分割模型的训练准确性,然后使用初始图像分割模型的模型参数对图像分割指导模型的模型参数进行更新,提高了图像分割指导模型的训练准确性,最后将训练完成的图像分割指导模型作为目标图像分割模型,从而提高了得到的目标图像分割模型的准确性,进而有效提升图像分割的分割效果。
在一个具体的实施例中,如图10所示,提供一种图像分割模型处理的框架结构示意图,具体来说:以BoxInst作为基础网络建立图像分割指导模型(teacher模型)和初始图像分割模型(student模型),该图像分割指导模型和初始图像分割模型采用相同的网络结构,该图像分割指导模型和初始图像分割模型的模型参数可以随机初始化。然后服务器从数据库中获取到训练动物图像,将训练动物图像同时输入到图像分割指导模型和初始图像分割模型中,服务器也可以将训练动物图像按照预先设置的模型输入图像比例进行缩放,然后再输入到要训练的模型中。图像分割指导模型进行图像分割输出三个训练动物掩码和对应的置信度得分。然后对三个训练动物掩码进行过滤和分配,即服务器将置信度得分小于0.5的训练动物掩码进行过滤,从而得到两个训练动物标签掩码。然后从初始图像分割模型输出的各个初始动物掩码中确定两个训练动物标签掩码分别对应的初始动物掩码。然后服务器根据两个训练动物标签掩码和对应的初始动物掩码计算指导损失信息。同时服务器根据初始动物类别、初始动物框、动物类别标签和动物框标签进行类别检测损失计算,得到初始动物类别损失信息。基于初始动物掩码和动物框标签进行动物框分割损失计算,得到初始动物框损失信息。最后服务器计算指导损失信息、初始动物类别损失信息和初始动物框损失信息的和,得到模型总损失信息。服务器再使用模型总损失信息通过梯度下降算法反向更新初始图像分割模型的模型参数,得到更新后的初始图像分割模型。然后使用更新后的初始图像分割模型的模型参数通过指数滑动平均(EMA)来更新图像分割指导模型的模型参数。然后不断进行迭代训练,直到模型损失信息达到预先设置好的损失阈值时,将训练完成的图像分割指导模型作为目标图像分割指导模型。然后可以使用目标图像分割指导模型对动物图像进行图像分割,从而得到动物图像中的各个动物分割结果。即通过将teacher模型的预测掩码中筛选出来的高质量掩码作为student模型的实例掩码,改进了弱监督实例分割中仅仅参考物体本身先验信息的局限性,有效的提升了弱监督实例分割的分割效果。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像分割模型处理方法的图像分割模型处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像分割模型处理装置实施例中的具体限定可以参见上文中对于图像分割模型处理方法的限定,在此不再赘述。
在一个实施例中,如图11所示,提供了一种图像分割模型处理装置1102,包括:获取模块1102、分割模块1104、掩码筛选模块1106、指导损失计算模块1108和模型得到模块1110,其中:
获取模块1102,用于获取训练对象图像和训练对象图像对应的对象分割标签;
分割模块1104,用于将训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果,图像分割指导模型与初始图像分割模型的模型结构相匹配;
掩码筛选模块1106,用于基于初始分割对象结果和对象分割标签进行损失计算,得到初始损失信息,并基于训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码;
指导损失计算模块1108,用于基于训练对象分割标签掩码和初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到训练对象分割标签掩码对应的初始对象分割掩码,并基于训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息;
模型得到模块1110,用于基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。
在一个实施例中,掩码筛选模块1106还用于从训练分割对象结果中确定各个训练对象分割掩码分别对应的掩码像素点的置信度;基于掩码像素点的置信度进行平均计算,得到各个训练对象分割掩码分别对应的置信度;当各个训练对象分割掩码中目标对象分割掩码对应的置信度符合预设置信条件时,将目标对象分割掩码作为训练对象分割标签掩码。
在一个实施例中,掩码筛选模块1106还用于从训练分割对象结果中确定各个训练对象分割掩码分别对应的掩码整体置信度;基于掩码像素点的置信度进行平均计算,得到掩码平均置信度,基于掩码平均置信度和掩码整体置信度进行加权计算,得到各个训练对象分割掩码分别对应的置信度。
在一个实施例中,指导损失计算模块1108还用于计算训练对象分割标签掩码对应的外接框分别与各个初始对象分割掩码对应的对象框标签之间的重叠程度;当重叠程度超过预设重叠程度阈值时,将超过预设重叠程度阈值的初始对象分割掩码作为训练对象分割标签掩码对应的初始对象分割掩码。
在一个实施例中,指导损失计算模块1108还用于计算训练对象分割标签掩码对应的外接框分别与各个初始对象分割掩码对应的对象框标签之间的交集区域;计算训练对象分割标签掩码对应的外接框分别与各个初始对象分割掩码对应的对象框标签之间的并集区域;计算交集区域与并集区域之间的比值,得到重叠程度。
在一个实施例中,指导损失计算模块1108还用于计算训练对象分割标签掩码与对应的初始对象分割掩码之间的重叠度,基于重叠度确定指导损失信息。
在一个实施例中,模型得到模块1110还用于基于初始损失信息和指导损失信息对初始图像分割模型的模型参数进行更新,得到更新图像分割模型;基于更新图像分割模型的模型参数和图像分割指导模型的模型参数对图像分割指导模型的模型参数进行更新,得到更新图像分割指导模型;将更新图像分割模型作为初始图像分割模型,并将更新图像分割指导模型作为图像分割指导模型,并返回获取训练对象图像和训练对象图像对应的对象分割标签的步骤迭代执行,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。
在一个实施例中,模型得到模块1110还用于计算图像分割指导模型的模型参数与预设衰减权重的乘积,得到衰减参数;计算更新图像分割模型的模型参数与预设增强权重的乘积,得到增强参数;计算衰减参数与增强参数的和,得到图像分割指导模型的更新参数,并基于图像分割指导模型的更新参数得到更新图像分割指导模型。
在一个实施例中,初始分割对象结果包括初始对象类别、初始对象框和初始对象掩码,对象分割标签包括对象类别标签和对象框标签;
掩码筛选模块1106还用于基于初始对象类别、初始对象框、对象类别标签和对象框标签进行类别检测损失计算,得到初始对象类别损失信息;基于初始对象掩码和对象框标签进行对象框分割损失计算,得到初始对象框损失信息;计算初始对象类别损失信息和初始对象框损失信息的总和,得到初始损失信息。
在一个实施例中,掩码筛选模块1106还用于计算初始对象类别与对象类别标签之间的误差,得到初始分类损失信息;计算初始对象框与对象框标签之间的位置误差,得到对象框损失信息;计算初始对象框对应的中心度与对象框标签对应的中心度之间的误差,得到中心度损失信息;计算初始分类损失信息、对象框损失信息和中心度损失信息的和,得到初始对象类别损失信息。
在一个实施例中,掩码筛选模块1106还用于计算初始对象掩码和对象框标签之间的投影误差,得到投影损失信息;基于初始对象掩码进行颜色对损失计算,得到颜色对损失信息;计算投影损失信息和颜色对损失信息的和,得到初始对象框损失信息。
在一个实施例中,图像分割模型处理装置1102,还包括:
实例分割模块,用于获取待分割实例图像,将待分割实例图像输入到目标图像分割模型中进行图像实例分割,得到待分割实例图像对应的图像实例目标分割结果。
在一个实施例中,图像分割模型处理装置1102,还包括:
最终模型确定模块,用于基于初始损失信息和指导损失信息对初始图像分割模型和图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的初始图像分割模型得到最终图像分割模型;获取待分割实例图像,将待分割实例图像输入到最终图像分割模型中进行图像实例分割,得到待分割实例图像对应的图像实例最终分割结果。
在一个实施例中,图像分割模型处理装置1102,还包括:
工业产品分割模块,用于获取训练工业产品图像和训练工业产品图像对应的工业产品分割标签;将训练工业产品图像输入到工业产品图像分割指导模型中进行工业产品分割,得到训练分割工业产品结果,并将训练工业产品图像输入到初始工业产品图像分割模型中进行工业产品分割,得到初始分割工业产品结果;基于初始分割工业产品结果和工业产品分割标签进行损失计算,得到初始工业产品损失信息,并基于训练分割工业产品结果中各个训练工业产品分割掩码分别对应的置信度和预设置信条件从各个训练工业产品分割掩码中进行筛选,得到训练工业产品分割标签掩码;基于训练工业产品分割标签掩码和初始分割工业产品结果中的各个初始工业产品分割掩码进行对应关系计算,得到训练工业产品分割标签掩码对应的初始工业产品分割掩码,并基于训练工业产品分割标签掩码和对应的初始工业产品分割掩码进行损失计算,得到指导工业产品损失信息;基于初始工业产品损失信息和指导工业产品损失信息对初始工业产品图像分割模型和工业产品图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的工业产品图像分割指导模型得到目标工业产品图像分割模型。
上述图像分割模型处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储训练对象图像和训练对象图像对应的对象分割标签数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分割模型处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种训练对象图像和训练对象图像对应的对象分割标签方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图12或者图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (17)
1.一种图像分割模型处理方法,其特征在于,所述方法包括:
获取训练对象图像和所述训练对象图像对应的对象分割标签;
将所述训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将所述训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果,所述图像分割指导模型与所述初始图像分割模型的模型结构相匹配;
基于所述初始分割对象结果和所述对象分割标签进行损失计算,得到初始损失信息,并基于所述训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从所述各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码;
基于所述训练对象分割标签掩码和所述初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到所述训练对象分割标签掩码对应的初始对象分割掩码,并基于所述训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息;
基于所述初始损失信息和所述指导损失信息对所述初始图像分割模型和所述图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。
2.根据权利要求1所述的方法,其特征在于,所述基于所述训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从所述各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码,包括:
从所述训练分割对象结果中确定各个训练对象分割掩码分别对应的掩码像素点的置信度;
基于所述掩码像素点的置信度进行平均计算,得到所述各个训练对象分割掩码分别对应的置信度;
当所述各个训练对象分割掩码中目标对象分割掩码对应的置信度符合所述预设置信条件时,将所述目标对象分割掩码作为所述训练对象分割标签掩码。
3.根据权利要求2所述的方法,其特征在于,所述基于所述掩码像素点的置信度进行平均计算,得到所述各个训练对象分割掩码分别对应的置信度,包括:
从所述训练分割对象结果中确定所述各个训练对象分割掩码分别对应的掩码整体置信度;
基于所述掩码像素点的置信度进行平均计算,得到掩码平均置信度,基于所述掩码平均置信度和所述掩码整体置信度进行加权计算,得到所述各个训练对象分割掩码分别对应的置信度。
4.根据权利要求1所述的方法,其特征在于,所述基于所述训练对象分割标签掩码和所述初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到所述训练对象分割标签掩码对应的初始对象分割掩码,包括:
计算所述训练对象分割标签掩码对应的外接框分别与所述各个初始对象分割掩码对应的对象框标签之间的重叠程度;
当所述重叠程度超过预设重叠程度阈值时,将所述超过预设重叠程度阈值的初始对象分割掩码作为所述训练对象分割标签掩码对应的初始对象分割掩码。
5.根据权利要求4所述的方法,其特征在于,所述计算所述训练对象分割标签掩码对应的外接框分别与所述各个初始对象分割掩码对应的对象框标签之间的重叠程度,包括:
计算所述训练对象分割标签掩码对应的外接框分别与所述各个初始对象分割掩码对应的对象框标签之间的交集区域;
计算所述训练对象分割标签掩码对应的外接框分别与所述各个初始对象分割掩码对应的对象框标签之间的并集区域;
计算交集区域与所述并集区域之间的比值,得到所述重叠程度。
6.根据权利要求1所述的方法,其特征在于,所述基于所述训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息,包括:
计算所述训练对象分割标签掩码与对应的初始对象分割掩码之间的重叠度,基于所述重叠度确定所述指导损失信息。
7.根据权利要求1所述的方法,其特征在于,所述基于所述初始损失信息和所述指导损失信息对所述初始图像分割模型和所述图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型,包括:
基于所述初始损失信息和所述指导损失信息对所述初始图像分割模型的模型参数进行更新,得到更新图像分割模型;
基于所述更新图像分割模型的模型参数和所述图像分割指导模型的模型参数对所述图像分割指导模型的模型参数进行更新,得到更新图像分割指导模型;
将所述更新图像分割模型作为初始图像分割模型,并将所述更新图像分割指导模型作为图像分割指导模型,并返回获取训练对象图像和所述训练对象图像对应的对象分割标签的步骤迭代执行,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。
8.根据权利要求7所述的方法,其特征在于,所述基于所述更新图像分割模型的模型参数和所述图像分割指导模型的模型参数对所述图像分割指导模型的模型参数进行更新,得到更新图像分割指导模型,包括:
计算所述图像分割指导模型的模型参数与预设衰减权重的乘积,得到衰减参数;
计算所述更新图像分割模型的模型参数与预设增强权重的乘积,得到增强参数;
计算所述衰减参数与所述增强参数的和,得到所述图像分割指导模型的更新参数,并基于所述图像分割指导模型的更新参数得到所述更新图像分割指导模型。
9.根据权利要求1所述的方法,其特征在于,所述初始分割对象结果包括初始对象类别、初始对象框和初始对象掩码,所述对象分割标签包括对象类别标签和对象框标签;
基于所述初始分割对象结果和所述对象分割标签进行损失计算,得到初始损失信息,包括:
基于所述初始对象类别、所述初始对象框、所述对象类别标签和所述对象框标签进行类别检测损失计算,得到初始对象类别损失信息;
基于所述初始对象掩码和所述对象框标签进行对象框分割损失计算,得到初始对象框损失信息;
计算所述初始对象类别损失信息和所述初始对象框损失信息的总和,得到所述初始损失信息。
10.根据权利要求9所述的方法,其特征在于,所述基于所述初始对象类别、所述初始对象框和所述对象类别标签进行类别检测损失计算,得到初始对象类别损失信息,包括:
计算所述初始对象类别与所述对象类别标签之间的误差,得到初始分类损失信息;
计算所述初始对象框与所述对象框标签之间的位置误差,得到对象框损失信息;
计算所述初始对象框对应的中心度与所述对象框标签对应的中心度之间的误差,得到中心度损失信息;
计算所述初始分类损失信息、所述对象框损失信息和所述中心度损失信息的和,得到所述初始对象类别损失信息。
11.根据权利要求9所述的方法,其特征在于,所述基于所述初始对象掩码和所述对象框标签进行对象框分割损失计算,得到初始对象框损失信息,包括:
计算所述初始对象掩码和所述对象框标签之间的投影误差,得到投影损失信息;
基于所述初始对象掩码进行颜色对损失计算,得到颜色对损失信息;
计算所述投影损失信息和所述颜色对损失信息的和,得到所述初始对象框损失信息。
12.根据权利要求1所述的方法,其特征在于,在所述基于所述初始损失信息和所述指导损失信息对所述初始图像分割模型和所述图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型之后,还包括:
获取待分割实例图像,将所述待分割实例图像输入到所述目标图像分割模型中进行图像实例分割,得到所述待分割实例图像对应的图像实例目标分割结果。
13.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
基于所述初始损失信息和所述指导损失信息对所述初始图像分割模型和所述图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的初始图像分割模型得到最终图像分割模型;
获取待分割实例图像,将所述待分割实例图像输入到所述最终图像分割模型中进行图像实例分割,得到所述待分割实例图像对应的图像实例最终分割结果。
14.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
获取训练工业产品图像和所述训练工业产品图像对应的工业产品分割标签;
将所述训练工业产品图像输入到工业产品图像分割指导模型中进行工业产品分割,得到训练分割工业产品结果,并将所述训练工业产品图像输入到初始工业产品图像分割模型中进行工业产品分割,得到初始分割工业产品结果;
基于所述初始分割工业产品结果和所述工业产品分割标签进行损失计算,得到初始工业产品损失信息,并基于所述训练分割工业产品结果中各个训练工业产品分割掩码分别对应的置信度和预设置信条件从所述各个训练工业产品分割掩码中进行筛选,得到训练工业产品分割标签掩码;
基于所述训练工业产品分割标签掩码和所述初始分割工业产品结果中的各个初始工业产品分割掩码进行对应关系计算,得到所述训练工业产品分割标签掩码对应的初始工业产品分割掩码,并基于所述训练工业产品分割标签掩码和对应的初始工业产品分割掩码进行损失计算,得到指导工业产品损失信息;
基于所述初始工业产品损失信息和所述指导工业产品损失信息对所述初始工业产品图像分割模型和所述工业产品图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的工业产品图像分割指导模型得到目标工业产品图像分割模型。
15.一种图像分割模型处理装置,其特征在于,所述装置包括:
获取模块,用于获取训练对象图像和所述训练对象图像对应的对象分割标签;
分割模块,用于将所述训练对象图像输入到图像分割指导模型中进行对象分割,得到训练分割对象结果,并将所述训练对象图像输入到初始图像分割模型中进行对象分割,得到初始分割对象结果,所述图像分割指导模型与所述初始图像分割模型的模型结构相匹配;
掩码筛选模块,用于基于所述初始分割对象结果和所述对象分割标签进行损失计算,得到初始损失信息,并基于所述训练分割对象结果中各个训练对象分割掩码分别对应的置信度和预设置信条件从所述各个训练对象分割掩码中进行筛选,得到训练对象分割标签掩码;
指导损失计算模块,用于基于所述训练对象分割标签掩码和所述初始分割对象结果中的各个初始对象分割掩码进行对应关系计算,得到所述训练对象分割标签掩码对应的初始对象分割掩码,并基于所述训练对象分割标签掩码和对应的初始对象分割掩码进行损失计算,得到指导损失信息;
模型得到模块,用于基于所述初始损失信息和所述指导损失信息对所述初始图像分割模型和所述图像分割指导模型进行更新,直到达到训练完成条件时,基于训练完成的图像分割指导模型得到目标图像分割模型。
16.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至14中任一项所述的方法的步骤。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至14中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311406472.2A CN117132607A (zh) | 2023-10-27 | 2023-10-27 | 图像分割模型处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311406472.2A CN117132607A (zh) | 2023-10-27 | 2023-10-27 | 图像分割模型处理方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117132607A true CN117132607A (zh) | 2023-11-28 |
Family
ID=88853117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311406472.2A Pending CN117132607A (zh) | 2023-10-27 | 2023-10-27 | 图像分割模型处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117132607A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10430946B1 (en) * | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
CN113538480A (zh) * | 2020-12-15 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 图像分割处理方法、装置、计算机设备和存储介质 |
CN114998592A (zh) * | 2022-06-18 | 2022-09-02 | 脸萌有限公司 | 用于实例分割的方法、装置、设备和存储介质 |
CN115393592A (zh) * | 2022-08-30 | 2022-11-25 | 北京地平线信息技术有限公司 | 目标分割模型的生成方法及装置、目标分割方法及装置 |
CN116091826A (zh) * | 2023-01-12 | 2023-05-09 | 山东新一代信息产业技术研究院有限公司 | 一种基于联邦学习和半监督学习的智能驾驶感知方法 |
CN116091858A (zh) * | 2022-10-31 | 2023-05-09 | 北京邮电大学 | 一种半监督学习电力设备目标检测模型训练方法、检测方法及装置 |
CN116310655A (zh) * | 2023-04-23 | 2023-06-23 | 中国人民解放军国防科技大学 | 基于半监督混合域适应的红外弱小目标检测方法和装置 |
CN116433957A (zh) * | 2023-01-12 | 2023-07-14 | 山东新一代信息产业技术研究院有限公司 | 一种基于半监督学习的智能驾驶感知方法 |
CN116777929A (zh) * | 2022-12-30 | 2023-09-19 | 广东亿迅科技有限公司 | 一种黑夜场景图像语义分割方法、装置及计算机介质 |
-
2023
- 2023-10-27 CN CN202311406472.2A patent/CN117132607A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10430946B1 (en) * | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
CN113538480A (zh) * | 2020-12-15 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 图像分割处理方法、装置、计算机设备和存储介质 |
CN114998592A (zh) * | 2022-06-18 | 2022-09-02 | 脸萌有限公司 | 用于实例分割的方法、装置、设备和存储介质 |
CN115393592A (zh) * | 2022-08-30 | 2022-11-25 | 北京地平线信息技术有限公司 | 目标分割模型的生成方法及装置、目标分割方法及装置 |
CN116091858A (zh) * | 2022-10-31 | 2023-05-09 | 北京邮电大学 | 一种半监督学习电力设备目标检测模型训练方法、检测方法及装置 |
CN116777929A (zh) * | 2022-12-30 | 2023-09-19 | 广东亿迅科技有限公司 | 一种黑夜场景图像语义分割方法、装置及计算机介质 |
CN116091826A (zh) * | 2023-01-12 | 2023-05-09 | 山东新一代信息产业技术研究院有限公司 | 一种基于联邦学习和半监督学习的智能驾驶感知方法 |
CN116433957A (zh) * | 2023-01-12 | 2023-07-14 | 山东新一代信息产业技术研究院有限公司 | 一种基于半监督学习的智能驾驶感知方法 |
CN116310655A (zh) * | 2023-04-23 | 2023-06-23 | 中国人民解放军国防科技大学 | 基于半监督混合域适应的红外弱小目标检测方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110555481B (zh) | 一种人像风格识别方法、装置和计算机可读存储介质 | |
CN111368788B (zh) | 图像识别模型的训练方法、装置及电子设备 | |
JP7236545B2 (ja) | ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム | |
CN112052787B (zh) | 基于人工智能的目标检测方法、装置及电子设备 | |
CN111178183B (zh) | 人脸检测方法及相关装置 | |
CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
CN112464865A (zh) | 一种基于像素和几何混合特征的人脸表情识别方法 | |
CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
CN112801047B (zh) | 缺陷检测方法、装置、电子设备及可读存储介质 | |
CN115861462B (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
WO2022100607A1 (zh) | 一种神经网络结构确定方法及其装置 | |
CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
CN116012626B (zh) | 建筑立面图像的素材匹配方法、装置、设备和存储介质 | |
CN111325237A (zh) | 一种基于注意力交互机制的图像识别方法 | |
CN115131604A (zh) | 一种多标签图像分类方法、装置、电子设备及存储介质 | |
CN116310318A (zh) | 交互式的图像分割方法、装置、计算机设备和存储介质 | |
CN116977674A (zh) | 图像匹配方法、相关设备、存储介质及程序产品 | |
CN115620054A (zh) | 一种缺陷分类方法、装置、电子设备及存储介质 | |
CN111476144B (zh) | 行人属性识别模型确定方法、装置及计算机可读存储介质 | |
CN117351192A (zh) | 一种对象检索模型训练、对象检索方法、装置及电子设备 | |
CN116958615A (zh) | 图片识别方法、装置、设备和介质 | |
CN117132607A (zh) | 图像分割模型处理方法、装置、计算机设备和存储介质 | |
CN115471714A (zh) | 数据处理方法、装置、计算设备和计算机可读存储介质 | |
CN118379586B (zh) | 关键点预测模型的训练方法、装置、设备、介质及产品 | |
CN118114123B (zh) | 识别模型的处理方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |