CN116030013A - 多目标多类别破损缺陷检测方法、系统及计算机存储介质 - Google Patents

Abstract

本发明公开了一种多目标多类别破损缺陷检测方法、系统及计算机存储介质。本发明利用标注有各目标的属性和分割信息的样本对联合模型进行训练，联合模型在检测目标属性特征基础上增加分支以提取分割特征和分类特征，并将两种特征融合计算破损置信度，动态调整两种损失优化模型。利用训练好的联合模型识别待识别图像中的各目标，获得目标属性特征、分割特征和破损置信度；最后计算破损程度，根据项目要求的破损程度阈值和破损置信度阈值判断是否存在破损，并给出破损区域及破损程度。本发明能够对单张图像中多目标多类别缺陷的精准识别，并能够根据项目需求自适应不同程度的破损定义，降低再研发成本，使用客观标注的样本进行训练，识别的可信度高。

Description

多目标多类别破损缺陷检测方法、系统及计算机存储介质

技术领域

本发明涉及计算机视觉与模式识别领域，尤其是一种多目标多类别破损缺陷检测方法、一种多目标多类别破损缺陷检测系统，以及一种计算机可读存储介质。

背景技术

对于表面缺陷的检测，即物体表面的视觉缺陷(破损类缺陷)检测，在多种场景中均有重要应用，例如在电力领域中，对于输电线路装备的检测。常见的表面缺陷检测方式是采用计算机视觉与模式识别技术。

目前对于破损类缺陷的检测，相关算法或技术从应用场景上一般只针对单目标单类别进行缺陷检测与识别，从算法效果上只会反馈给用户目标是否存在缺陷，不能准确反馈出破损程度；从技术手段上多采用单独的分类或者分割技术进行处理，识别效果不理想。

例如，公开号为CN111199213A的文献公开了一种变电站用设备缺陷检测方法及装置，其提供了一种基于检测模型的缺陷检测方法与流程。其方法设计流程为先使用大规模正样本对模型进行训练，然后使用小规模缺陷样本对检测模型进行微调来弥补缺陷样本匮乏的问题；工业实践中会使用检测模型对图像进行检测，从而判断相应类别是否存在缺陷。该方案利用正常样本来弥补缺陷样本不足的问题，但没有考虑到破损类缺陷难识别与缺陷量化的问题。

再例如，公开号为CN112861620A的文献公开了一种道路井盖破损识别系统及方法，其基于深度模型对视频中的井盖状态进行推理，判断是否存在破损；同时使用定位模块对井盖进行定位，若井盖存在破损，则将定位数据与井盖数据推送给维修人员。该方案仅使用分类信息用于监督模型训练，不适用于多目标检测，未能反馈给用户缺陷程度，不利于后续自动化处理。

再例如公开号为CN113781400A的文献公开了一种基于深度学习光伏电池板玻璃破损预测方法集系统，将图像输入到目标检测网络获取目标的缺陷类型同时回归状态值；然后根据状态值得到目标的破损区域数据与面积；最终根据待测电池板图像的破损类型与破损缺陷的面积和数量，计算获得光伏电池板的有效状态。该文献针对光伏电池板破损精细化求出其破损面积与个数，但是该方法不适用于不便于分割破损面的破损缺陷，其基于状态值评估破损区域的公式也不适用于其他领域。

此外，还有例如文献CN112070720A、CN111815605A、CN111044525A以及CN114066808A等，均不同程度地公开了表面缺陷的检测方案。但是，总的来讲，上述现有技术均或多或少都存在一些不足：多是仅针对单目标、单类别的缺陷检测，无法对破损程度进行量化，无法对较小缺陷进行检测或者检测精度不佳，适用场景单一。

发明内容

本发明的发明目的在于：针对上述存在的全部或部分问题，提供一种多目标多类别破损类缺陷的检测方案，以实现对多种场景下，单张图像中的多个目标、多种类别的破损类缺陷的高准确度检测。

本发明采用的技术方案如下：

作为本发明的一个方面，提出了一种多目标多类别破损缺陷检测方法，该方法包括：

将待识别图像输入联合模型，针对每个目标，利用所述联合模型的检测分支获取表征目标类别与位置的属性特征；利用所述联合模型的分割分支获取表征目标破损面的分割特征；利用所述联合模型的分类分支获取表征目标的缺陷类型的分类特征，将所述分割特征和所述分类特征融合得到融合特征，根据所述融合特征计算目标的破损置信度；

根据各目标的属性特征、分割特征和破损置信度，以及对应于目标类别的破损程度阈值和破损置信度阈值，分别判断各目标是否存在破损。

在另一方面，本发明还提供了一种多目标多类别破损缺陷检测系统，该系统包括特征识别单元以及后处理单元，

所述特征识别单元配置有联合模型，所述联合模型中配置有检测分支、分割分支和分类分支；所述检测分支被配置为分别提取待识别图像中表征各目标的类别与位置的属性信息；所述分割分支被配置为分别提取所述待识别图像中表征各目标的破损面的分割特征；所述分类分支被配置为分别提取表征所述待识别图像中表征各目标的缺陷类型的分类特征，以及分别将各目标的分割特征和分类特征融合得到融合特征，根据所述融合特征计算各目标的破损置信度；

所述后处理单元连接所述特征识别单元，被配置为：根据所述联合模型输出的各目标的属性特征、分割特征和破损置信度，以及预配置的对应于目标类别的破损程度阈值和破损置信度阈值，分别判断各目标是否存在破损，至少输出对存在破损的目标的判断结果。

此外，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，运行该计算机程序可执行上述的多目标多类别破损缺陷检测方法。

再有，本发明还提供了另一种多目标多类别破损缺陷检测系统，该系统包括处理器和上述的计算机可读存储介质，所述处理器连接所述计算机可读存储介质，运行该计算机可读存储介质中的计算机程序，以执行相应的方法。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明所提出的破损缺陷检测方案，能够适用于多种场景，能够实现对同一图像中多个目标、多种类别缺陷的检测。

2、本发明在对检测模型的训练中，在同一模型内新增分支生成分割特征和分类特征，并将两者以动态调整权重的方式进行融合，以对联合模型进行优化，从而实现除了能够准确识别易分割破损面的缺陷识别外，还能够准确识别不易分割破损面的缺陷，即实现对所有破损类缺陷的精准识别。

3、本发明在实现破损检测的同时，还能够实现对破损缺陷的量化，并且可以基于该方案实现在不同项目中对是否构成破损条件的自适应调整，能够大幅降低企业相关模块的开发成本。

4、本发明基于破损程度和分类置信度的联合判别方式，能够进一步提高对破损认定的准确度。

5、本发明仅需要客观标注样本的破损面即可，不以某个或某些项目的要求在标注样本时即要求主观上判断是否存在破损，因此，所得到的分类器能够从客观上反应出目标是否存在破损，识别结果的可信度高。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是不同项目定义破损条件的示例。

图2是多目标多类别破损缺陷检测方法一个优选实施例的流程图。

图3是联合模型对目标识别的一个优选实施例。

图4是分割特征与分类特征融合的流程示意图。

图5是破损判别的逻辑图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

实施例一

本实施例公开了一种多目标多类别破损缺陷检测方法，该方法还可对缺陷进行量化，方法包括以下流程：

S1、样本标注，于样本图像中分别标注出各目标的标注信息，标注信息包括表示目标位置(包含区域)的信息、表示目标类别的信息，以及表示目标破损面位置(包含区域)的信息(尤其对于便于分割的破损面)，以及破损的缺陷类型(如对于破损面难以分割出的破损类缺陷，标注的缺陷类型)等信息。通常的，以上信息借助标注工具即可实现，例如通过标注目标框即可得到目标位置及区域的信息。

所谓的目标，即图像中需要被关注的对象，例如图1所示示例中的不同盖板、图2所示示例中的绝缘子。

在本发明设计思想中，标注人员不需要根据破损面的破损程度主观上判断样本中的目标是否存在破损。例如对于图1所示的示例，标注信息客观地反应出盖板是否存在破损现象，不需要关注在项目A/项目B中是否需要算作破损。

需要说明的是，对样本(图像)标注的步骤，可以不作为本实施例的必要步骤，其可由在前的工序完成，即本实施例可直接利用标注好标注信息的样本集实施后续流程。

S2、模型训练，使用标注好的样本训练联合模型，该联合模型在主干网络基础上，设计了包括检测分支、分割分支和分类分支的三个特征提取分支。其中，检测分支被配置为提取表征目标类别与位置的属性特征，目标类别和目标位置由不同的特征表示，目标位置指目标在图像中所在的区域；分个分支被配置为提取表征目标破损面的分割特征，如表征破损面在目标中所在的区域的信息即属于分割特征；分类分支被配置为提取表征目标的缺陷类型的分类特征，所谓的缺陷类型，即破损的类型，例如破损是属于裂缝、区域缺失或者其他类型的缺陷；此外，分类分支还被配置为将分割特征和分类特征融合得到融合特征，根据融合特征计算目标的破损置信度。在联合模型的主干网络以及三个分支设计完成的基础上，即可使用样本集训练该联合模型。使用样本集训练机器模型的过程为深度学习中较为常规的过程，包括对样本集的划分(训练集和验证集)以及机器模型的学习过程，本发明的改进之处在于联合模型的设计，并不在于训练的过程，因此对于训练过程在此不进行过多说明。

检测分支用于获取图像中各目标的类别和目标位置的信息，例如对应图1中的示例，目标框中目标的类别为“盖板”，目标位置信息为反映目标框的坐标和区域的信息，例如目标位置使用((x1，y1)，w，h)来表示，(x1，y1)表示目标框的一个角点坐标，例如以图像左下角作为原点，(x1，y1)表示目标框左下角的角点坐标，w、h分别表示目标框的宽度和高度；又或者，目标位置使用((x1，y1)，(x2，y2)，(x3，y3)…)来表示，(x1，y1)、(x2，y2)、(x3，y3)…分别表示目标框顺序出现的(如逆时针方向出现的)各个角点的坐标，例如同样以图像左下角作为原点，(x1，y1)表示目标框左下角的角点坐标，然后以逆时针的顺序，(x2，y2)…顺序表示后续的角点坐标，而对于竖直方向的目标框，可以仅用两个对角点的坐标即可表示。目标位置除了用于标记出目标外，主要还用于计算破损面的破损程度，因此只要表征目标位置的信息能够标记出目标，并反映目标/目标框的面积即可满足要求。

分割分支用于分别获取图像中表征各目标的破损面分割结果的信息。破损面分割结果可通过破损面掩码信息进行表示，目标的破损面掩码信息反映目标的破损面所在的位置和边界，可以反映出目标破损面的的位置和面积等特征。分割特征即能够表征图像中目标的破损面所在区域的特征，如前述的破损面掩码。

目标的缺陷不一定都是存在大面积的破损，反之，目标的缺陷更多的是仅存在破裂或者细微的破损，此类破损难以分割出有效破损面。对此种情况，则难以获得有效的分割特征(即破损面所在位置的信息)，需要借助分类分支来获得全局信息表征目标缺陷的特征。

分类分支(或者也可以叫缺陷分支)用于分别获取图像中各目标中表示缺陷类型的信息，即表征缺陷类型(缺陷类别)的特征。如前文所述，分类特征表征目标缺陷类型，除了能够表征容易分割出的破损面的缺陷类型外，更重要的，其还能够表征难以分割出破损面的缺陷类型，例如可以表示出细缝、裂纹等缺陷的破损区域的特征，其与分割特征之间是不同的，表征的特征点也存在差别。对于本发明的联合模型而言，分割分支主要针对可分割出破损面的缺陷类型的破损，分类分支则可针对任意的缺陷类型的破损，分割分支与分类分支都是不可或缺的，两者相辅相成，通过融合分割特征和缺陷特征能够有效提升缺陷分类的精度。

将分割特征和分类特征进行融合得到融合特征，基于融合特征计算破损置信度，该破损置信度是判断目标是否存在破损的一个重要指标。

分割特征和缺陷特征的融合过程如图4所示。第一步分别获得分割特征和分类特征：对联合模型的主干网络提取的多尺度特征进行放缩与连接操作，使用卷积模块对连接后的特征进行处理获得分割特征；对联合模型的主干网络提取的多尺度特征使用卷积模块进行卷积，得到分类特征。需要使用分割分支的分割损失^l _s对联合模型进行优化。第二步将分割特征放缩与分类特征进行连接，基于目标框(目标位置)使用RoIAlign/ROIPooling获取相应目标的特征后，使用卷积模块进行卷积以获取融合特征。分类分支的分类损失^l _c也要用于优化联合模型。分割损失^l _s与分类损失^l _c，采用联合训练的方式进行优化，两者对模型优化的权重动态调整，以其中一种损失的权重较重逐渐过渡到以另一种损失的权重较重。在一些实施例中，如式(1)所示，l为训练损失，其中_γ(分类损失的权重)在训练过程中采用步进式动态调整其值，即根据设定的单位单方向调整_γ的值，前小后大，使模型开始训练时以分割特征学习为主，后期训练以分类特征为主。

l＝(1-γ)l_s+γl_c (1)

上述的步骤S1、步骤S2即完成对联合模型的训练，在得到训练好的联合模型基础上，即可对待识别图像进行破损检测(推理)。显然，在实际应用中，例如商业合作行为中，前述两个步骤是可以不需要消费者来执行的，其可直接实施后续流程。

S3、模型推理，在联合模型训练完成后，使用该训练好的联合模型对待识别图像进行识别，利用三个分支分别获取待识别图像中各目标的表征目标类别与位置的属性特征(由检测分支获取)、表征目标破损面的分割特征(由分割分支获取)以及表征目标的缺陷类型的分类特征(由分类分支获取)，并且进一步融合分割特征和分类特征得到融合特征，根据融合特征计算目标的破损置信度(均由分类分支完成，当然对于融合及之后的步骤，也可由单独的模块来执行)，实现多目标多类别的缺陷定位与识别。

前文已说明，目标的缺陷并非均是出现大面积破损，并且缺陷区域也并非均容易准确分割出，而在上述将分割特征和分类特征融合后，对容易分割出破损面的缺陷以及不易分割出破损面的缺陷均能准确进行识别。对于待识别图像中的各目标，除了识别出目标类别以及目标位置的信息外，对于分割特征，对于破损面较大的目标，还能准确识别出破损位置，如果在标注时是通过破损掩码来表征破损位置，则此处分割分支识别出破损掩码；对于破损面很小或者其他难以准确分割出破损面的破损缺陷，所识别出的破损位置信息不一定可靠，则需要依赖分类特征进行破损类型的判别。对于待识别图像的识别结果中，目标的类别以及破损类型可以在此处标记出，是否破损在后处理步骤(后处理模块完成)中进行进一步判别。

S4、后处理步骤，该步骤根据步骤S3得到的各目标的属性特征、分割特征和破损置信度，以及预设置的对应于目标类别的破损程度阈值和破损置信度阈值，分别判断各目标是否存在破损。

根据模型推理得到的信息(各目标的属性特征、分割特征以及破损置信度)，分别计算每个目标的破损程度，基于检测结果-目标类别和位置、分类结果-缺陷类型与分割结果-破损面位置，结合在各项目中对目标破损认定的需求，推断出目标是否存破损(即是否判定为破损)，该目标破损认定的需求包含两个参数，一个是破损程度，用破损程度阈值衡量，一个是破损置信度，用破损置信度衡量。是否破损的推断结果可于待检测/识别图像中标记出，标记的内容可以是文字标记-如“破损”，或者是指示存在破损的标志。并且优选的，在存在破损时给出破损程度和破损位置的信息。例如在图2、图3所示的示例中，将破损面框出进行显示。

S3中分别得到了各目标的目标位置的信息，则可得到目标的尺寸；S3中还得到了分割特征(如破损掩码)，则可得到破损面的尺寸，由此，可以分别计算得到各目标的破损程度，即破损面占目标的比例。如图5所示，以目标位置使用((x1，y1)，w，h)表征为例，根据目标框的宽度w和高度h即可计算出目标的尺寸w*h，而通过分割特征可以计算得到目标的破损面积r_s，则破损程度为r_s/(w*h)。在图1所示示例中有说道，不同的项目对破损程度的认定程度是不同的，因此，此处虽然计算出了目标的破损程度，还需要确定项目中目标类别的破损程度阈值γ_s，该破损程度阈值γ_s通常是关联于目标类型以及项目预先配置的，如果已经确定了项目，则破损程度阈值γ_s仅需要关联目标类型，后文的破损置信度γ同理。破损程度在达到或超过该破损程度阈值γ_s时，才可能破损，为何说是可能，因为对破损位置的识别并非完全准确(尤其例如缝隙、裂纹等较小的破损缺陷)，在融合了分割特征和分类特征后，还根据融合特征得到了破损置信度γ，即对特征提取准确度的评估，在本发明实施例中，只有在目标的破损程度达到或超过该破损程度阈值γ_s时，并且目标的破损置信度γ达到或超过破损置信度阈值γ_c时，才认定存在破损，否则不认定存在破损。在认定存在破损时，优选的，还输出破损程度以及破损面的位置(如破损掩码)信息，虽然对于不易分割的缺陷指示的位置信息准确度不及对明显破损区域的指示，但是对于位置的表征还是具备参考性的。

本实施例对本发明的原理进行了举例说明，具体应用中，可以适用于任意场景下单张图像中存在多目标多类别的破损缺陷的检测，例如可以适用于以下(包括但不限于)场景：

1、变电站中表计，绝缘子，盖板和硅胶筒破损检测；

2、光伏发电站场中玻璃面板破损或破裂检测；

3、农产品破损检测等。

实施例二

本实施例公开了一种多目标多类别破损缺陷检测系统，该系统包括样本库、特征识别单元以及后处理单元，其中样本库对于某些用户(如系统的消费者)而言可以没有。

样本库中存储用于训练联合模型的样本集，即附带有标注信息的图像集，各图像分别标注有对应的标注信息。标注信息包括表示目标位置(包含区域)的信息、表示目标类别的信息，以及表示目标破损面位置(包含区域)的信息(尤其对于便于分割的破损面)，以及破损的缺陷类型(如对于破损面难以分割出的破损类缺陷，标注的缺陷类型)等信息。一个图像中可以有多个目标对象，一个目标对应有一组标注信息。对图像的标注由标注人员完成，标注人员不需要根据破损程度主观上判断是否存在破损。例如对于图1所示的示例，标注信息客观地反应出盖板是否破损，不需要关注在项目A/项目B中是否需要算作破损，以此避免标注结果受到的主观影响。

特征识别单元包含联合模型，在对待识别图像进行破损识别前，会使用样本库中的样本集训练该联合模型，当然，是否有训练过程并不会影响对系统中特征识别单元的框架配置。该联合模型包括检测分支、分割分支和分类分支。检测分支被配置为提取表征目标类别与位置的属性特征，目标类别和目标位置由不同的特征表示，目标位置指目标在图像中所在的区域；分个分支被配置为提取表征目标破损面的分割特征，如表征破损面在目标中所在的区域的信息即属于分割特征；分类分支被配置为提取表征目标的缺陷类型的分类特征，所谓的缺陷类型，即破损的类型，例如破损是属于裂缝、区域缺失或者其他类型的缺陷；此外，分类分支还被配置为将分割特征和分类特征融合得到融合特征，根据融合特征计算目标的破损置信度。在模型训练阶段，特征识别单元同时利用分割分支的分割损失以及分类分支的分类损失(融合特征对应的损失)对联合模型进行训练，这将在后文进行详细说明。

检测分支用于获取图像中各目标的类别和目标位置的信息，例如对应图1中的示例，目标框中目标的类别为“盖板”，目标位置信息为反映目标框的坐标和区域的信息，例如目标位置使用((x1，y1)，w，h)来表示，(x1，y1)表示目标框的一个角点坐标，例如以图像左下角作为原点，(x1，y1)表示目标框左下角的角点坐标，w、h分别表示目标框的宽度和高度；又或者，目标位置使用((x1，y1)，(x2，y2)，(x3，y3)…)来表示，(x1，y1)、(x2，y2)、(x3，y3)…分别表示目标框顺序出现的(如逆时针方向出现的)各个角点的坐标，例如同样以图像左下角作为原点，(x1，y1)表示目标框左下角的角点坐标，然后以逆时针的顺序，(x2，y2)…顺序表示后续的角点坐标，而对于竖直方向的目标框，可以仅用两个对角点的坐标即可表示。目标位置除了用于标记出目标外，主要还用于计算破损面的破损程度，因此只要表征目标位置的信息能够标记出目标，并反映目标/目标框的面积即可满足要求。

分割分支用于分别获取图像中表征各目标的破损面分割结果的分割特征。破损面分割结果可通过破损面掩码信息进行表示，目标的破损面掩码信息反映目标的破损面所在的位置和边界，可以反映出目标破损面的位置和面积等特征。分割特征即能够表征图像中目标的破损面所在区域的特征。

前文已说过，目标的缺陷不一定都是存在大面积的破损，反之，目标的缺陷更多的是仅存在破裂或者细微的破损，此类破损难以分割出有效破损面。对此种情况，则难以获得有效的分割特征(即破损面所在位置的信息)，需要借助分类分支来获得全局信息表征目标缺陷的特征。

分类分支(或者叫缺陷分支)用于分别获取图像中表征各目标的缺陷类型的分类特征。如前文所述，分类特征表征目标缺陷的类型，除了能够表征容易分割出的破损面外，更重要的，其还能够表征难以分割出破损面的缺陷类型，例如可以表示出破损区域的缺陷类型等特征，分类特征与分割特征之间是不同的，表征的特征点也是存在差别。分类分支还被配置为分别将各目标的分割特征和分类特征融合得到融合特征，根据融合特征计算各目标的破损置信度。对于本发明的联合模型而言，分割分支更侧重于可分割出破损面的缺陷类型的破损，分类分支则可针对任意的缺陷类型的破损，分割分支与分类分支都是不可或缺的，两者相辅相成，通过融合分割特征和缺陷特征能够有效提升缺陷分类的精度。

分割特征和分类特征进行融合得到融合特征，根据融合特征计算目标的破损置信度，此由分类分支完成，或者由单独配置的特征融合模块完成。

在一些实施例中，分类分支配置有：第一卷积模块，用于对联合模型的主干网络所提取的多尺度特征进行卷积，得到分类特征；第一放缩与连接模块，用于获取分割特征，将分割特征放缩，并与所述分类特征进行连接；特征映射模块，用于基于目标属性特征使用RoIAlign/ROIPooling对所述第一缩放与连接模块连接的特征重映射；第二卷积模块，用于对所述特征映射模块输出的特征进行卷积，得到融合特征。分割分支配置有：第二放缩与连接模块，用于对联合模型的主干网络所提取的多尺度特征进行放缩和连接；第三卷积模块，用于对第二放缩与连接模块输出的特征进行卷积，得到分割特征。分割特征和分类特征的融合过程如图4所示，分割分支和分类分支中所配置的相应模块可在图4中进行对应。

分割分支会得到分割损失l_s，分类分支(或特征融合模块)会得到分类损失l_c，特征识别单元在训练联合模型时，对分割损失l_s与分类损失l_c采用联合训练的方式对联合模型进行优化，两者对模型优化的权重动态调整，以其中一种损失的权重较重逐渐过渡到以另一种损失的权重较重。在一些实施例中，如式(1)所示，l为训练损失，其中Y(分类损失的权重)在训练过程中采用步进式动态调整其值，即根据设定的单位单方向调整γ的值，前小后大，使模型开始训练时以分割特征学习为主，后期训练以分类特征为主。

l＝(1-γ)l_s+γl_c  (1)

对应上述原理，特征识别单元中配置有第四模块和第五模块，第四模块用于接收权重调整单位，即每次调整Y的步进长度，第五模块用于在特征识别单元优化所述联合模型时，以分割损失l_s的权重最大、分类损失l_c的权重最小开始，根据第四模块接收的单位逐步减小分割损失l_s的权重、增大分类损失l_c的权重，直至分割损失l_s的权重最小、分类损失l_c的权重最大。

特征识别单元在训练好联合模型经后，即可对待识别图像中的目标进行特征的提取。特征识别单元利用训练好的联合模型对待识别图像进行识别，分别获取待识别图像中各目标的属性特征、分割特征和破损置信度。

后处理单元根据特征识别单元输出的各目标的属性特征、分割特征和破损置信度，以及其内预设置的对应于目标类别的破损程度阈值和破损置信度阈值，分别判断各目标是否存在破损，至少输出对存在破损的目标的判断结果。

后处理单元包括：根据各目标属性信息中的目标位置，结合分割特征计算各目标破损面的破损程度的第一模块。

第一模块根据目标的目标位置信息，则可得到目标的尺寸，根据分割特征(如破损掩码，则可得到破损面的尺寸，如此可以分别计算得到各目标的破损程度。如图5所示，以位置及区域信息使用((x1，y1)，w，h)表征为例，根据目标框的宽度w和高度h即可计算出目标的尺寸w*h，而通过分割特征可以计算得到目标的破损面积r_s，则破损程度为r_s/(w*h)。

后处理单元还包括：接收配置的对应于目标类别的破损程度阈值和破损置信度阈值，以及根据各目标属性信息中的目标类别获取到对应破损程度阈值和破损置信度阈值的第二模块。

在第二模块中，配置有分别针对各类别目标的破损程度阈值γ_s，还配置有破损置信度阈值γ_c，并且，对于某一目标，针对不同项目所配置的破损程度阈值γ_s和破损置信度阈值γ_c可能是不同的，即第二模块所接收的对应于目标类别的破损程度阈值和破损置信度阈值的配置，是对应于具体的项目的，在不同项目中，哪怕是同一目标类型，所配置的破损程度阈值和破损置信度阈值也很可能不同。同理，第二模块在根据目标类型获取破损程度阈值和破损置信度阈值时，也需要考虑所在的项目，根据项目以及目标类型来获取破损程度阈值和破损置信度阈值。

后处理单元还包括：判断所述破损程度是否达到或超过对应于目标类别的破损程度阈值，判断所述破损置信度是否达到或超过对应于目标类别的破损置信度阈值，并在破损程度达到或超过所述破损程度阈值，且破损置信度达到或超过所述破损置信度阈值时，判定目标存在破损的第三模块。

第三模块中，第一模块所计算出的破损程度需要在特定的项目中与第二模块获取的破损程度阈值γ_s进行比较，在达到或超过该破损程度阈值γ_s时，才可能破损，第三模块还从特征识别单元获取破损置信度γ，将该破损置信度γ与第二模块获取的破损置信度阈值γ_c进行比较。只有在目标的破损程度达到或超过破损程度阈值γ_s时，并且目标的破损置信度γ超过破损置信度阈值γ_c时，才认定目标存在破损，否则不认定存在破损。在认定存在破损时，优选的，后处理单元还输出破损程度以及破损面的位置(如破损掩码)信息。

实施例三

本实施例公开了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，运行该计算机程序可以执行以下流程：

S1、模型训练，使用标注好的样本集训练联合模型。样本集可直接利用现成的样本，样本图像中标注有标注信息，该标注信息的说明参见实施例一的步骤S1，在此不再累述。

联合模型在主干网络基础上，设计了包括检测分支、分割分支和分类分支的三个特征提取分支。其中，检测分支被配置为提取表征目标类别与位置的属性特征，目标类别和目标位置由不同的特征表示，目标位置指目标在图像中所在的区域；分个分支被配置为提取表征目标破损面的分割特征，如表征破损面在目标中所在的区域的信息即属于分割特征；分类分支被配置为提取表征目标的缺陷类型的分类特征，所谓的缺陷类型，即破损的类型，例如破损是属于裂缝、区域缺失或者其他类型的缺陷；此外，分类分支还被配置为将分割特征和分类特征融合得到融合特征，根据融合特征计算目标的破损置信度。在联合模型的主干网络以及三个分支设计完成的基础上，即可使用样本集训练该联合模型。使用样本集训练机器模型的过程为深度学习中较为常规的过程，包括对样本集的划分(训练集和验证集)以及机器模型的学习过程，本发明的改进之处在于联合模型的设计，并不在于训练的过程，因此对于训练过程在此不进行过多说明。

检测分支用于获取图像中各目标的类别和目标位置的信息，例如对应图1中的示例，目标框中目标的类别为“盖板”，目标位置信息为反映目标框的坐标和区域的信息，例如目标位置使用((x1，y1)，w，h)来表示，(x1，y1)表示目标框的一个角点坐标，例如以图像左下角作为原点，(x1，y1)表示目标框左下角的角点坐标，w、h分别表示目标框的宽度和高度；又或者，目标位置使用((x1，y1)，(x2，y2)，(x3，y3)…)来表示，(x1，y1)、(x2，y2)、(x3，y3)…分别表示目标框顺序出现的(如逆时针方向出现的)各个角点的坐标，例如同样以图像左下角作为原点，(x1，y1)表示目标框左下角的角点坐标，然后以逆时针的顺序，(x2，y2)…顺序表示后续的角点坐标，而对于竖直方向的目标框，可以仅用两个对角点的坐标即可表示。目标位置除了用于标记出目标外，主要还用于计算破损面的破损程度，因此只要表征目标位置的信息能够标记出目标，并反映目标/目标框的面积即可满足要求。

分割分支用于分别获取图像中表征各目标的破损面分割结果的信息。破损面分割结果可通过破损面掩码信息进行表示，目标的破损面掩码信息反映目标的破损面所在的位置和边界，可以反映出目标破损面的的位置和面积等特征。分割特征即能够表征图像中目标的破损面所在区域的特征，如前述的破损面掩码。

目标的缺陷不一定都是存在大面积的破损，反之，目标的缺陷更多的是仅存在破裂或者细微的破损，此类破损难以分割出有效破损面。对此种情况，则难以获得有效的分割特征(即破损面所在位置的信息)，需要借助分类分支来获得全局信息表征目标缺陷的特征。

分类分支(或者也可以叫缺陷分支)用于分别获取图像中各目标中表示缺陷类型的信息，即表征缺陷类型(缺陷类别)的特征。如前文所述，分类特征表征目标缺陷类型，除了能够表征容易分割出的破损面的缺陷类型外，更重要的，其还能够表征难以分割出破损面的缺陷类型，例如可以表示出细缝、裂纹等缺陷的破损区域的特征，其与分割特征之间是不同的，表征的特征点也存在差别。对于本发明的联合模型而言，分割分支主要针对可分割出破损面的缺陷类型的破损，分类分支则可针对任意的缺陷类型的破损，分割分支与分类分支都是不可或缺的，两者相辅相成，通过融合分割特征和缺陷特征能够有效提升缺陷分类的精度。

将分割特征和分类特征进行融合得到融合特征，基于融合特征计算破损置信度，该破损置信度是判断目标是否存在破损的一个重要指标。

分割特征和缺陷特征的融合过程如图4所示。第一步分别获得分割特征和分类特征：对联合模型的主干网络提取的多尺度特征进行放缩与连接操作，使用卷积模块对连接后的特征进行处理获得分割特征；对联合模型的主干网络提取的多尺度特征使用卷积模块进行卷积，得到分类特征。需要使用分割分支的分割损失l_s对联合模型进行优化。第二步将分割特征放缩与分类特征进行连接，基于目标框(目标位置)使用RoIAlign/ROIPooling获取相应目标的特征后，使用卷积模块进行卷积以获取融合特征。分类分支的分类损失l_c也要用于优化联合模型。分割损失l_s与分类损失l_c，采用联合训练的方式进行优化，两者对模型优化的权重动态调整，以其中一种损失的权重较重逐渐过渡到以另一种损失的权重较重。在一些实施例中，如式(1)所示，l为训练损失，其中Y(分类损失的权重)在训练过程中采用步进式动态调整其值，即根据设定的单位单方向调整Y的值，前小后大，使模型开始训练时以分割特征学习为主，后期训练以分类特征为主。

l＝(1-γ)l_s+γl_c  (1)

该步骤S1即完成对联合模型的训练，在得到训练好的联合模型基础上，即可对待识别图像进行破损检测(推理)。需要知道的是，在移交的计算机可读存储介质中，可不包含该步骤执行的程序，即，计算机可读存储介质中所配置的计算机程序，可直接执行以下流程。

S2、获取待识别图像，使用训练好的联合模型对待识别图像进行识别，利用三个分支分别获取待识别图像中各目标的表征目标类别与位置的属性特征(由检测分支获取)、表征目标破损面的分割特征(由分割分支获取)以及表征目标的缺陷类型的分类特征(由分类分支获取)，并且进一步融合分割特征和分类特征得到融合特征，根据融合特征计算目标的破损置信度(均由分类分支完成，当然对于融合及之后的步骤，也可由单独的步骤或者模块来执行)，实现多目标多类别的缺陷定位与识别。联合模型中三个分支的配置仍保持为步骤S1中的配置。

前文已说明，目标的缺陷并非均是出现大面积破损，并且缺陷区域也并非均容易准确分割出，而在上述将分割特征和分类特征融合后，对容易分割出破损面的缺陷以及不易分割出破损面的缺陷均能准确进行识别。对于待识别图像中的各目标，除了识别出目标类别以及目标位置的信息外，对于分割特征，对于破损面较大的目标，还能准确识别出破损位置，如果在标注时是通过破损掩码来表征破损位置，则此处分割分支识别出破损掩码；对于破损面很小或者其他难以准确分割出破损面的破损缺陷，所识别出的破损位置信息不一定可靠，则需要依赖分类特征进行破损类型的判别。对于待识别图像的识别结果中，目标的类别以及破损类型可以在此处标记出，是否破损在后处理步骤(后处理模块完成)中进行进一步判别。

S3、根据步骤S2得到的各目标的属性特征、分割特征和破损置信度，以及预设置的对应于目标类别的破损程度阈值和破损置信度阈值，分别判断各目标是否存在破损。

根据步骤S2得到的各目标的属性特征中的目标类别，从预设值的对应于目标类别的破损程度阈值和破损置信度阈值中获取各目标的破损程度阈值和破损置信度阈值；根据步骤S2得到的各目标的属性特征中的目标位置，以及分割特征，分别计算各目标的破损程度；最后，分别将各目标的破损程度和步骤2中得到的破损置信度与获取的破损程度阈值和破损置信度阈值进行比较，在两者均达到或超过阈值时，判定目标存在破损。优选的，对存在破损的目标还在图像中标记出对应目标的属性特征和分割特征。具体而言，

根据模型推理得到的信息(各目标的属性特征、分割特征以及破损置信度)，分别计算每个目标的破损程度，基于检测结果-目标类别和位置、分类结果-缺陷类型与分割结果-破损面位置，结合在各项目中对目标破损认定的需求，推断出目标是否存破损(即是否判定为破损)，该目标破损认定的需求包含两个参数，一个是破损程度，用破损程度阈值衡量，一个是破损置信度，用破损置信度衡量。是否破损的推断结果可于待检测/识别图像中标记出，标记的内容可以是文字标记-如“破损”，或者是指示存在破损的标志。并且优选的，在存在破损时给出破损程度和破损位置的信息。例如在图2、图3所示的示例中，将破损面框出进行显示。

S2中分别得到了各目标的目标位置的信息，则可得到目标的尺寸；S2中还得到了分割特征(如破损掩码)，则可得到破损面的尺寸，由此，可以分别计算得到各目标的破损程度，即破损面占目标的比例。如图5所示，以目标位置使用((x1，y1)，w，h)表征为例，根据目标框的宽度w和高度h即可计算出目标的尺寸w*h，而通过分割特征可以计算得到目标的破损面积r_s，则破损程度为r_s/(w*h)。在图1所示示例中有说道，不同的项目对破损程度的认定程度是不同的，因此，此处虽然计算出了目标的破损程度，还需要确定项目中目标类别的破损程度阈值γ_s，该破损程度阈值γ_s通常是关联于目标类型以及项目预先配置的，如果已经确定了项目，则破损程度阈值γ_s仅需要关联目标类型，后文的破损置信度γ同理。破损程度在达到或超过该破损程度阈值γ_s时，才可能破损，为何说是可能，因为对破损位置的识别并非完全准确(尤其例如缝隙、裂纹等较小的破损缺陷)，在融合了分割特征和分类特征后，还根据融合特征得到了破损置信度γ，即对特征提取准确度的评估，在本发明实施例中，只有在目标的破损程度达到或超过该破损程度阈值γ_s时，并且目标的破损置信度γ达到或超过破损置信度阈值γ_c时，才认定存在破损，否则不认定存在破损。在认定存在破损时，优选的，还输出破损程度以及破损掩码(或其他可表征破损面的特征)信息。实施例四

本实施例公开了另一种多目标多类别破损缺陷检测系统，包括处理器以及上述实施例三中的计算机可读存储介质，该处理器连接该计算机可读存储介质，该处理器运行该计算机可读存储介质中的计算机程序，以执行相应的方法。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (14)

1.一种多目标多类别破损缺陷检测方法，其特征在于，包括：

将待识别图像输入联合模型，针对每个目标，利用所述联合模型的检测分支获取表征目标类别与位置的属性特征；利用所述联合模型的分割分支获取表征目标破损面的分割特征；利用所述联合模型的分类分支获取表征目标的缺陷类型的分类特征，将所述分割特征和所述分类特征融合得到融合特征，根据所述融合特征计算目标的破损置信度；

根据各目标的属性特征、分割特征和破损置信度，以及对应于目标类别的破损程度阈值和破损置信度阈值，分别判断各目标是否存在破损。

2.如权利要求1所述的多目标多类别破损缺陷检测方法，其特征在于，所述根据各目标的属性特征、分割特征和破损置信度，以及对应目标类别的破损程度阈值和破损置信度阈值，分别判断各目标是否存在破损，包括：

根据目标属性特征中的目标位置，结合分割特征计算破损面的破损程度；根据目标属性特征中的目标类别确定对应的破损程度阈值和破损置信度阈值；在所述破损程度达到或超过所述破损程度阈值时，并且所述破损置信度达到或超过预设的破损置信度阈值时，判定为该目标存在破损。

3.如权利要求1所述的多目标多类别破损缺陷检测方法，其特征在于，所述利用所述联合模型的分类分支获取表征目标的缺陷类型的分类特征，将所述分割特征和所述分类特征融合得到融合特征，包括：

对联合模型的主干网络所提取的多尺度特征进行卷积，得到分类特征；

获取分割特征；

将所述分割特征放缩，与所述分类特征进行连接；

基于所述属性特征，使用RoIAlign/ROIPooling获取相应目标的特征后，进行卷积得到融合特征。

4.如权利要求1所述的多目标多类别破损缺陷检测方法，其特征在于，所述联合模型同时利用所述分割分支的分割损失以及所述分类分支的分类损失进行优化，并且，以其中一种损失的权重较重逐渐过渡到以另一种损失的权重较重。

5.如权利要求4所述多目标多类别破损缺陷检测方法，其特征在于，所述分割损失的权重与所述分类损失的权重互补，所述以其中一种损失的权重占比较重逐渐过渡到以另一种损失的权重占比较重，包括：以所述分割损失的权重最大、所述分类损失的权重最小开始，逐步减小所述分割损失的权重、增大所述分类损失的权重，直至所述分割损失的权重最小、所述分类损失的权重最大。

6.如权利要求1所述的多目标多类别破损缺陷检测方法，其特征在于，还包括：

在判定有目标存在破损时，还至少输出破损目标的破损程度和/或分割特征。

7.一种多目标多类别破损缺陷检测系统，其特征在于，包括特征识别单元以及后处理单元，

所述特征识别单元配置有联合模型，所述联合模型中配置有检测分支、分割分支和分类分支；所述检测分支被配置为分别提取待识别图像中表征各目标的类别与位置的属性信息；所述分割分支被配置为分别提取所述待识别图像中表征各目标的破损面的分割特征；所述分类分支被配置为分别提取表征所述待识别图像中表征各目标的缺陷类型的分类特征，以及分别将各目标的分割特征和分类特征融合得到融合特征，根据所述融合特征计算各目标的破损置信度；；

所述后处理单元连接所述特征识别单元，被配置为：根据所述联合模型输出的各目标的属性特征、分割特征和破损置信度，以及预配置的对应于目标类别的破损程度阈值和破损置信度阈值，分别判断各目标是否存在破损，至少输出对存在破损的目标的判断结果。

8.如权利要求7所述的多目标多类别破损缺陷检测系统，其特征在于，所述后处理单元包括：

根据各目标属性信息中的目标位置，结合分割特征计算各目标破损面的破损程度的第一模块；和

接收配置的对应于目标类别的破损程度阈值和破损置信度阈值，以及根据各目标属性信息中的目标类别获取到对应破损程度阈值和破损置信度阈值的第二模块；以及

判断所述破损程度是否达到或超过所述破损程度阈值，判断所述破损置信度是否达到或超过所述破损置信度阈值，并在所述破损程度达到或超过所述破损程度阈值，且所述破损置信度达到或超过所述破损置信度阈值时判定目标存在破损的第三模块。

9.如权利要求7所述的多目标多类别破损缺陷检测系统，其特征在于，所述联合模型的分类分支配置有：第一卷积模块，用于对联合模型的主干网络所提取的多尺度特征进行卷积，得到分类特征；第一放缩与连接模块，用于获取分割特征，将分割特征放缩，并与所述分类特征进行连接；特征映射模块，用于基于目标属性特征使用RoIAlign/ROIPooling对所述第一缩放与连接模块连接的特征重映射；第二卷积模块，用于对所述特征映射模块输出的特征进行卷积，得到融合特征。

10.如权利要求7所述的多目标多类别破损缺陷检测系统，其特征在于，所述特征识别单元同时利用所述分割分支的分割损失以及所述分类分支的分类损失对所述联合模型进行优化，并且，以其中一种损失的权重较重逐渐过渡到以另一种损失的权重较重。

11.如权利要求10所述的多目标多类别破损缺陷检测系统，其特征在于，所述分割损失的权重与所述分类损失的权重互补，所述特征识别单元包括：用于接收权重调整单位的第四模块；以及，用于在所述特征识别单元优化所述联合模型时，以所述分割损失的权重最大、所述分类损失的权重最小开始，根据所述第四模块接收的单位逐步减小所述分割损失的权重、增大所述分类损失的权重，直至所述分割损失的权重最小、所述分类损失的权重最大的第五模块。

12.如权利要求7所述的多目标多类别破损缺陷检测系统，其特征在于，所述后处理单元所输出的对存在破损的目标的判断结果，至少包括破损目标的破损程度和/或分割特征。

13.一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其特征在于，运行该计算机程序可执行如权利要求1～6任一所述的多目标多类别破损缺陷检测方法。

14.一种多目标多类别破损缺陷检测系统，包括处理器，其特征在于，还包括如权利要求13所述的计算机可读存储介质，所述处理器连接所述计算机可读存储介质，运行该计算机可读存储介质中的计算机程序，以执行相应的方法。

Images