CN115147702A - 一种基于yolact++的车辆损伤识别方法、装置、设备及介质 - Google Patents

一种基于yolact++的车辆损伤识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN115147702A
CN115147702A CN202210611524.9A CN202210611524A CN115147702A CN 115147702 A CN115147702 A CN 115147702A CN 202210611524 A CN202210611524 A CN 202210611524A CN 115147702 A CN115147702 A CN 115147702A
Authority
CN
China
Prior art keywords
image
vehicle damage
feature map
network
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210611524.9A
Other languages
English (en)
Inventor
周志文
李梦实
李兰
纪向晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mapgoo Technology Co ltd
Original Assignee
Shenzhen Mapgoo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mapgoo Technology Co ltd filed Critical Shenzhen Mapgoo Technology Co ltd
Priority to CN202210611524.9A priority Critical patent/CN115147702A/zh
Publication of CN115147702A publication Critical patent/CN115147702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于YOLACT++的车辆损伤识别方法、装置、设备及介质，涉及人工智能技术领域，所述方法包括：收集车辆损伤图像；通过锚定框对所述车辆损伤图像进行损伤部位标注得到已标注图像；利用预设的YOLACT++网络中的卷积神经网络对所述已标注图像进行特征提取得到初始特征图，并对所述初始特征图进行可变形卷积操作以得到目标特征图；根据所述目标特征图获取所述锚定框的类别置信度；利用YOLACT++网络中的Fast‑NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，并将包含所述目标锚定框的YOLACT++网络作为车辆损伤识别模型；获取待测图像，并利用所述车辆损伤识别模型对所述待测图像进行车辆损伤识别。本发明提高了模型分割待测图像时的精确度及分割速度。

Description

一种基于YOLACT++的车辆损伤识别方法、装置、设备及介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于YOLACT++的车辆损伤识别方法、装置、设备及介质。
背景技术
汽车租赁过程中，租车人或因驾驶不当等因素造成车辆的刮擦和碰撞的事故的发生，汽车租赁公司为了解决这一情况发生后的纠纷，需要在汽车租赁前后对汽车的外观和零部件等损毁状况做判定。以往对租赁车辆的损伤判断主要依靠人工巡检，这种巡检方式耗费时间较长，人力资源消耗较大，租赁汽车定损困难，损伤车辆不能精准快速送修，这无疑阻碍了汽车租赁企业的快速发展。
现有技术中，车辆图像阈值分割方法受图像采集环境的光照等因素影响较大；车辆图像的区域生长分割方法需要人为确定种子点，且对噪声敏感，准确度不高；深度学习的方法中，语义分割中全卷积神经网络计算量大，且分割效果粗糙，适用于简单环境下的图像分割，不适用于环境复杂场景的图像分割。早期的FCN网络，将端到端的卷积网络推广到语义分割中，重新将预训练好的Imagenet网络用于分割问题中，使用反卷积层进行上采样，提出了跳跃连接来改善上采样的粗糙程度；U-Net是完全对称的，继承了FCN的思想，且对解码器进行了加卷积加深处理；SegNet将最大池化指数转移至解码器中，改善了分割分辨率；Deeplab_v1使用了空洞卷积，提出了在空间维度上实现金字塔型的空洞池化；PSPNet提出了金字塔池化模块来聚合背景信息，使用了附加损失，准确率受环境光照影响较大,推理速度较慢。
发明内容
本发明提供了一种基于YOLACT++的车辆损伤识别方法、装置、设备及介质，以解决现有技术中对车辆损伤进行判定时存在分割粗糙以及推理速度慢的问题。
为了解决上述问题，本发明采用以下技术方案：包括：
第一方面，本发明提供了一种基于YOLACT++的车辆损伤识别方法，所述方法包括：
收集车辆损伤图像；
通过锚定框对所述车辆损伤图像进行损伤部位标注得到已标注图像；
利用预设的YOLACT++网络中的卷积神经网络对所述已标注图像进行特征提取得到初始特征图，并对所述初始特征图进行可变形卷积操作以得到目标特征图；
根据所述目标特征图获取所述锚定框的类别置信度；
利用YOLACT++网络中的Fast-NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，并将包含所述目标锚定框的YOLACT++网络作为车辆损伤识别模型；
获取待测图像，并利用所述车辆损伤识别模型对所述待测图像进行车辆损伤识别。
其进一步的技术方案为，所述卷积神经网络包括至少一个卷积层，所述对所述初始特征图进行可变形卷积操作以得到目标特征图，包括：
在各所述卷积层后面均加入一个卷积层来学习所述初始特征图中每个像素点的位置偏移；
将所述位置偏移加入到所述初始特征图中，得到目标特征图。
其进一步的技术方案为，所述利用YOLACT++网络中的Fast-NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，包括：
利用Fast-NMS算法将所述类别置信度由高到低排序，并利用所述Fast-NMS算法中的对称矩阵对各个锚定框进行运算得到各个锚定框相互间的交并比；
将锚定框中的异常锚定框舍弃以得到目标锚定框，所述异常锚定框与所述异常锚定框外的其中一个锚定框之间的交并比小于预设的交并比阈值或所述异常锚定框的类别置信度小于预设的类别置信度阈值。
其进一步的技术方案为，所述通过锚定框对所述车辆损伤图像进行损伤部位标注得到已标注图像之后，所述方法还包括：
对所述已标注图像进行数据增强。
其进一步的技术方案为，所述数据增强的方式包括：图像明暗度调整、图像高斯模糊、图像添加椒盐噪声、图像水平翻转以及图像颜色通道变换。
其进一步的技术方案为，所述利用YOLACT++网络中的Fast-NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，并将包含所述目标锚定框的YOLACT++网络作为车辆损伤识别模型之后，所述方法还包括：
判断训练输出的模型合格率指标是否大于预设数值；
若训练输出的模型合格率指标小于预设数值，则重新调整训练参数并返回所述利用预设的YOLACT++网络中的卷积神经网络对所述已标注图像进行特征提取得到初始特征图，并对所述初始特征图进行可变形卷积操作以得到目标特征图的步骤；
若训练输出的模型合格率指标大于预设数值，则保存所述车辆损伤识别模型。
其进一步的技术方案为，所述模型合格率指标为平均准确率。
第二方面，本发明还提供了一种基于YOLACT++的车辆损伤识别装置，包括用于执行如第一方面所述方法的单元。
第三方面，本发明还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法的步骤。
本发明提供的上述技术方案与现有技术相比具有如下优点：
本发明中通过收集车辆损伤图像后通过锚定框对所述车辆损伤图像进行损伤部位标注得到已标注图像；利用预设的YOLACT++网络中的卷积神经网络对所述已标注图像进行特征提取得到初始特征图；对所述初始特征图进行可变形卷积操作以得到目标特征图，从而增强了网络处理具有不同比例、旋转和纵横比的实例的能力，可变形卷积通过学习位置偏移得到的采样点更符合车辆本身的形状和尺寸，从而全面增强了对车辆各个损伤部位进行检测分割的精度，即提高了车辆损伤识别模型分割车辆各个损伤部位时的精确度；通过根据所述目标特征图获取所述锚定框的类别置信度后利用YOLACT++网络中的Fast-NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，并将包含所述目标锚定框的YOLACT++网络作为车辆损伤识别模型，从而通过Fast-NMS算法调整好锚定框后大大提升了利用车辆损伤识别模型对待测图像中的车辆损伤部位进行分割的速度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种基于YOLACT++的车辆损伤识别方法的流程示意图；
图2为本发明实施例2提供的一种基于YOLACT++的车辆损伤识别方法的流程示意图；
图3为本发明实施例3提供的一种基于YOLACT++的车辆损伤识别装置结构框图；
图4为本发明实施例4提供的一种基于YOLACT++的车辆损伤识别装置结构框图；
图5为本发明实施例5提供的一种电子设备的结构示意图。
具体实施方式
为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的区间。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
实施例1
参见图1，图1为本发明实施例1提供的一种基于YOLACT++的车辆损伤识别方法的流程示意图。具体地，如图1所示，该方法包括以下步骤S101-S106。
S101,收集车辆损伤图像。
具体地，收集车辆损伤图像的途径主要是爬虫爬取网络上的车辆损伤图像。
S102,通过锚定框对所述车辆损伤图像进行损伤部位标注得到已标注图像。
具体地，在所述车辆损伤图像上标注车辆损伤部位的工具是labelme。标注的方式选择多边形标注。
S103,利用预设的YOLACT++网络中的卷积神经网络对所述已标注图像进行特征提取得到初始特征图，并对所述初始特征图进行可变形卷积操作以得到目标特征图。
具体地，所述已标注图像经过卷积神经网络提取得到特征图后再通过变形卷积操作得到目标特征图，使得最终得到的目标特征图的采样点更符合车辆本身的形状和尺寸。当然，在利用YOLACT++网络对已标注图像进行训练时，选取一些在光照条件比较差的环境下采集的车辆损伤图像参与训练，就可以得到一个适应光照条件不好的环境下采集的图像的车辆损伤识别模型，从而解决模型分割待测图像时准确率受环境光照影响的问题。
在一实施例中，所述卷积神经网络包括至少一个卷积层，所述对所述初始特征图进行可变形卷积操作以得到目标特征图，包括：
在各所述卷积层后面均加入一个卷积层来学习所述初始特征图中每个像素点的位置偏移；
将所述位置偏移加入到所述初始特征图中，得到目标特征图。
具体地，在Backbone中引入可变形卷积，可变形卷积通过使用自由形式的采样代替了传统CNN中使用的刚性网格采样，就是在不同的卷积层后面加入一个卷积层来学习初始特征图中每个像素点的位置偏移，然后将学到的X轴和Y轴上的位置偏移加入到初始特征图中从而得到目标特征图，再进行后续的卷积，从而增强了网络处理具有不同比例、旋转和纵横比的实例的能力，可变形卷积通过学习位置偏移得到的采样点更符合物体本身的形状和尺寸，从而全面刷新了车辆各个损伤部位检测分割模型的精度。
S104,根据所述目标特征图获取所述锚定框的类别置信度。
具体地，进行损伤部位标注得到的已标注图像再经过卷积神经网络以及可变形卷积后得到目标特征图，此时再根据所述目标特征图获取所述锚定框的类别置信度，锚定框即车辆损伤部位的位置信息。
S105,利用YOLACT++网络中的Fast-NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，并将包含所述目标锚定框的YOLACT++网络作为车辆损伤识别模型。
具体地，一辆车辆上一开始有可能有多个锚定框，经过Fast-NMS算法筛选出合适的符合要求的锚定框，最后保留下来的就是目标锚定框。
在一实施例中，所述利用YOLACT++网络中的Fast-NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，包括：
利用Fast-NMS算法将所述类别置信度由高到低排序，并利用所述Fast-NMS算法中的对称矩阵对各个锚定框进行运算得到各个锚定框相互间的交并比；
将锚定框中的异常锚定框舍弃以得到目标锚定框，所述异常锚定框与所述异常锚定框外的其中一个锚定框之间的交并比小于预设的交并比阈值或所述异常锚定框的类别置信度小于预设的类别置信度阈值。
具体地，根据所述目标特征图获取所述锚定框的类别置信度以及各个锚定框对应的类别置信度，锚定框即车辆损伤部位的位置信息，类别置信度是分类信息。再使用新的NMS算法Fast-NMS算法将类别置信度由高到低排序，排序后得到小于预设类别置信度阈值的类别置信度，则此类别置信度对应的锚定框为异常锚定框，将此类别置信度对应的锚定框进行舍弃，从而得到大的类别置信度的类别；同时经对称矩阵运算后得到各个锚定框相互间的交并比，选出小于预设交并比阈值的交并比，则此交并比对应的两个锚定框均为异常锚定框，将此交并比对应的两个锚定框直接舍弃，就可以快速得到正确的分类。预设类别置信度阈值以及预设交并比阈值均为按用户需求设定。大的交并比可以得到比较好的目标锚定框。Fast-NMS算法和传统的NMS算法相比只有轻微的精度损失，但是却大大提升了车辆损伤部位分割的速度。
S106,获取待测图像，并利用所述车辆损伤识别模型对所述待测图像进行车辆损伤识别。
具体地，获取到待测图像并利用所述车辆损伤识别模型对所述待测图像进行车辆损伤识别，从而能够快速且精确对待测图像中车辆损伤部位进行分割。
具体而言，本发明通过收集车辆损伤图像后通过锚定框对所述车辆损伤图像进行损伤部位标注得到已标注图像；利用预设的YOLACT++网络中的卷积神经网络对所述已标注图像进行特征提取得到初始特征图；对所述初始特征图进行可变形卷积操作以得到目标特征图，从而增强了网络处理具有不同比例、旋转和纵横比的实例的能力，可变形卷积通过学习位置偏移得到的采样点更符合车辆本身的形状和尺寸，从而全面增强了对车辆各个损伤部位进行检测分割的精度，即提高了车辆损伤识别模型分割车辆各个损伤部位时的精确度；通过根据所述目标特征图获取所述锚定框的类别置信度后利用YOLACT++网络中的Fast-NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，并将包含所述目标锚定框的YOLACT++网络作为车辆损伤识别模型，从而通过Fast-NMS算法调整好锚定框后大大提升了利用车辆损伤识别模型对待测图像中车辆损伤部位进行分割的速度。
实施例2
参见图2，图2为本发明实施例2提供的一种基于YOLACT++的车辆损伤识别方法的流程示意图。实施例2的基于YOLACT++的车辆损伤识别方法包括步骤S201-S210，其中步骤S201-S206以及与上述实施例1中的步骤S101-S106类似，在此不再赘述。下面详细说明本实施例中所增加的步骤S207-S210。
S207，对所述已标注图像进行数据增强。
具体地，在收集车辆损伤图像后，需要人工对所述车辆损伤图像进行筛选，以去掉重复图像和车辆没有明显损伤的图像；在完成对所述车辆损伤图像筛选后，则对筛选后的车辆损伤图像进行损伤部位标注，标注后还需检查所述已标注图像是否标注准确；如果检查出标注不准确，需去除误标和漏标的情况直至标注准确为止。当所述已标注图像标注准确时，则对所述已标注图像进行数据增强，数据增强方式主要有：图像明暗度调整，图像高斯模糊，图像添加椒盐噪声，图像水平翻转，图像颜色通道变换等。
S208，判断训练输出的模型合格率指标是否大于预设数值。
具体地，在利用YOLACT++网络中的Fast-NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，并将包含所述目标锚定框的YOLACT++网络作为车辆损伤识别模型之后，则需要判断模型的准确率是否达标，此时可判断训练输出的MAP是否大于预设数值，预设数值为用户设定，例如将MAP的预设数值设定为0.8时，如果大于0.8为达标，小于0.8则重新调整训练参数，继续训练。MAP，称为平均准确率，是一个可用来判断模型合不合格的指标，即属于模型合格率指标。
S209，若训练输出的模型合格率指标小于预设数值，则重新调整训练参数并返回所述利用预设的YOLACT++网络中的卷积神经网络对所述已标注图像进行特征提取得到初始特征图，并对所述初始特征图进行可变形卷积操作以得到目标特征图的步骤。
具体地，当训练输出的MAP小于预设数值，则重新调整训练参数并返回所述利用预设的YOLACT++网络中的卷积神经网络对所述已标注图像进行特征提取得到初始特征图，并对所述初始特征图进行可变形卷积操作以得到目标特征图的步骤，以对车辆损伤识别模型继续进行训练。
其中，在将所述已标注图像放在YOLACT++网络中进行训练前，需将所述已标注图像放在预设的数据集中，且需配置YOLACT++的训练环境以及搭建YOLACT++神经网络。
配置YOLACT++的训练环境为：CUDA11.2、Ananconda3、Python3.8、opencv-python4.5、Pytorch1.9。CUDA版本也可以选用大于10.2的其他版本，opencv-python可以选用大于4.0的其他版本。Pytorch可以选用大于1.0的其他版本。
搭建YOLACT++神经网络时，Backbone使用ResNet50或ResNet101,使用ResNet50检测速度比ResNet101快，使用ResNet101推理的准确度比ResNet50高。Backbone也可以选用其他特征提取的网络，不一定是卷积神经网络，即骨干网络可以换成MobileNet、VGG网络、GoogleNet、Inception网络、SENet等特征提取网络来提取车辆损伤信息。数据集读取的地址为已标注的数据集文件夹，输出的分类为损伤分类。分类数为损伤种类数量。
且在将所述已标注图像放在预设的数据集后，对带有所述已标注图像的数据集进行训练前，需要将labelme标注得到的json文件转为coco格式的txt文件，使得数据集能在YOLACT++网络中使用。训练时可调整初始学习率、学习率调整策略、损失函数、优化器、训练次数、批处理图像数量等，调整以上参数是为了提高模型准确率，即提高MAP，使最终的车辆损伤识别模型在使用中更好的识别出车辆的损伤。
S210，若训练输出的模型合格率指标大于预设数值，则保存所述车辆损伤识别模型。
具体地，当训练输出的MAP大于预设数值时，此时的车辆损伤识别模型达标，则保存所述车辆损伤识别模型，所述车辆损伤识别模型就可以应用于采集的事故车辆的图像(即待测图像)上检测出车辆损伤的位置，也可以根据检测的目标损伤掩膜像素数量统计损伤部位的面积。
实施例3
参见图3，本发明实施例提供了一种基于YOLACT++的车辆损伤识别装置400的结构示意图。对应于以上实施例1提供的基于YOLACT++的车辆损伤识别方法，本发明还提供一种基于YOLACT++的车辆损伤识别装置400。该基于YOLACT++的车辆损伤识别装置400包括用于执行上述实施例1提供的基于YOLACT++的车辆损伤识别方法的单元。该基于YOLACT++的车辆损伤识别装置400包括第一收集单元401、第一标注单元402、第一提取单元403、第一获取单元404、第一筛选单元405、第一识别单元406。
第一收集单元401，用于收集车辆损伤图像；
第一标注单元402，用于通过锚定框对所述车辆损伤图像进行损伤部位标注得到已标注图像；
第一提取单元403，用于利用预设的YOLACT++网络中的卷积神经网络对所述已标注图像进行特征提取得到初始特征图，并对所述初始特征图进行可变形卷积操作以得到目标特征图；
第一获取单元404，用于根据所述目标特征图获取所述锚定框的类别置信度。
第一筛选单元405，用于利用YOLACT++网络中的Fast-NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，并将包含所述目标锚定框的YOLACT++网络作为车辆损伤识别模型。
第一识别单元406，用于获取待测图像，并利用所述车辆损伤识别模型对所述待测图像进行车辆损伤识别。
在一实施例中，所述卷积神经网络包括至少一个卷积层，所述对所述初始特征图进行可变形卷积操作以得到目标特征图，包括：
在各所述卷积层后面均加入一个卷积层来学习所述初始特征图中每个像素点的位置偏移；
将所述位置偏移加入到所述初始特征图中，得到目标特征图。
在一实施例中，所述利用YOLACT++网络中的Fast-NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，包括：
利用Fast-NMS算法将所述类别置信度由高到低排序，并利用所述Fast-NMS算法中的对称矩阵对各个锚定框进行运算得到各个锚定框相互间的交并比；
将锚定框中的异常锚定框舍弃以得到目标锚定框，所述异常锚定框与所述异常锚定框外的其中一个锚定框之间的交并比小于预设的交并比阈值或所述异常锚定框的类别置信度小于预设的类别置信度阈值。
实施例4
参见图4，本发明实施例提供了一种基于YOLACT++的车辆损伤识别装置400的结构示意图。对应于以上实施例2提供的基于YOLACT++的车辆损伤识别方法，本发明还提供一种基于YOLACT++的车辆损伤识别装置400。该基于YOLACT++的车辆损伤识别装置400与实施例3提出的基于YOLACT++的车辆损伤识别装置400的区别在于，还包括：第一增强单元407、第一判断单元408、第一返回单元409、第一保存单元410。
第一增强单元407，用于对所述已标注图像进行数据增强；
第一判断单元408，用于判断训练输出的模型合格率指标是否大于预设数值；
第一返回单元409，用于若训练输出的模型合格率指标小于预设数值，则重新调整训练参数并返回所述利用预设的YOLACT++网络中的卷积神经网络对所述已标注图像进行特征提取得到初始特征图，并对所述初始特征图进行可变形卷积操作以得到目标特征图的步骤；
第一保存单元410，用于若训练输出的模型合格率指标大于预设数值，则保存所述车辆损伤识别模型。
实施例5
参见图5，本发明实施例还提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信。
存储器113，用于存放计算机程序；
处理器111，用于执行存储器113上所存放的程序，实现如前述任意一个方法实施例提供的基于YOLACT++的车辆损伤识别方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器111执行时实现如前述任意一个方法实施例提供的基于YOLACT++的车辆损伤识别方法的步骤。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或区间的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的区间。

Claims (10)

1.一种基于YOLACT++的车辆损伤识别方法，其特征在于，所述方法包括：
收集车辆损伤图像；
通过锚定框对所述车辆损伤图像进行损伤部位标注得到已标注图像；
利用预设的YOLACT++网络中的卷积神经网络对所述已标注图像进行特征提取得到初始特征图，并对所述初始特征图进行可变形卷积操作以得到目标特征图；
根据所述目标特征图获取所述锚定框的类别置信度；
利用YOLACT++网络中的Fast-NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，并将包含所述目标锚定框的YOLACT++网络作为车辆损伤识别模型；
获取待测图像，并利用所述车辆损伤识别模型对所述待测图像进行车辆损伤识别。
2.根据权利要求1所述的基于YOLACT++的车辆损伤识别方法，其特征在于，所述卷积神经网络包括至少一个卷积层，所述对所述初始特征图进行可变形卷积操作以得到目标特征图，包括：
在各所述卷积层后面均加入一个卷积层来学习所述初始特征图中每个像素点的位置偏移；
将所述位置偏移加入到所述初始特征图中，得到目标特征图。
3.根据权利要求1所述的基于YOLACT++的车辆损伤识别方法，其特征在于，所述利用YOLACT++网络中的Fast-NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，包括：
利用Fast-NMS算法将所述类别置信度由高到低排序，并利用所述Fast-NMS算法中的对称矩阵对各个锚定框进行运算得到各个锚定框相互间的交并比；
将锚定框中的异常锚定框舍弃以得到目标锚定框，所述异常锚定框与所述异常锚定框外的其中一个锚定框之间的交并比小于预设的交并比阈值或所述异常锚定框的类别置信度小于预设的类别置信度阈值。
4.根据权利要求1所述的基于YOLACT++的车辆损伤识别方法，其特征在于，所述通过锚定框对所述车辆损伤图像进行损伤部位标注得到已标注图像之后，所述方法还包括：
对所述已标注图像进行数据增强。
5.根据权利要求4所述的基于YOLACT++的车辆损伤识别方法，其特征在于，所述数据增强的方式包括：图像明暗度调整、图像高斯模糊、图像添加椒盐噪声、图像水平翻转以及图像颜色通道变换。
6.根据权利要求1所述的基于YOLACT++的车辆损伤识别方法，其特征在于，所述利用YOLACT++网络中的Fast-NMS算法以及锚定框的类别置信度对锚定框进行筛选得到目标锚定框，并将包含所述目标锚定框的YOLACT++网络作为车辆损伤识别模型之后，所述方法还包括：
判断训练输出的模型合格率指标是否大于预设数值；
若训练输出的模型合格率指标小于预设数值，则重新调整训练参数并返回所述利用预设的YOLACT++网络中的卷积神经网络对所述已标注图像进行特征提取得到初始特征图，并对所述初始特征图进行可变形卷积操作以得到目标特征图的步骤；
若训练输出的模型合格率指标大于预设数值，则保存所述车辆损伤识别模型。
7.根据权利要求6所述的基于YOLACT++的车辆损伤识别方法，其特征在于，所述模型合格率指标为平均准确率。
8.一种基于YOLACT++的车辆损伤识别装置，其特征在于，包括用于执行如权利要求1-7任一项所述方法的单元。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法的步骤。
CN202210611524.9A 2022-05-31 2022-05-31 一种基于yolact++的车辆损伤识别方法、装置、设备及介质 Pending CN115147702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210611524.9A CN115147702A (zh) 2022-05-31 2022-05-31 一种基于yolact++的车辆损伤识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210611524.9A CN115147702A (zh) 2022-05-31 2022-05-31 一种基于yolact++的车辆损伤识别方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115147702A true CN115147702A (zh) 2022-10-04

Family

ID=83406623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210611524.9A Pending CN115147702A (zh) 2022-05-31 2022-05-31 一种基于yolact++的车辆损伤识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115147702A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671330A (zh) * 2023-11-14 2024-03-08 平安科技(上海)有限公司 车辆定损方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671330A (zh) * 2023-11-14 2024-03-08 平安科技(上海)有限公司 车辆定损方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN111444821B (zh) 一种城市道路标志自动识别方法
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN111368687A (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN110163069B (zh) 用于辅助驾驶的车道线检测方法
EP3819859A1 (en) Sky filter method for panoramic images and portable terminal
CN104021574A (zh) 路面病害自动识别方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN110298348B (zh) 遥感影像建筑物样本区域提取方法及系统、存储介质、设备
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN110659550A (zh) 交通标志牌识别方法、装置、计算机设备和存储介质
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN115797813B (zh) 基于航拍图像的水环境污染检测方法
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN112149535A (zh) 一种结合SegNet和U-Net的车道线检测方法和装置
CN115456955A (zh) 一种球笼防尘罩内部毛刺缺陷检测方法
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
CN112668725A (zh) 一种基于改进特征的金属洗手盆缺陷目标训练方法
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN116597343A (zh) 基于集成学习算法的高速公路气象识别方法及装置
CN115147702A (zh) 一种基于yolact++的车辆损伤识别方法、装置、设备及介质
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN104463238B (zh) 一种车标识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination