CN114359859A - 一种含遮挡的目标物处理方法、装置及存储介质 - Google Patents

一种含遮挡的目标物处理方法、装置及存储介质 Download PDF

Info

Publication number
CN114359859A
CN114359859A CN202111470053.6A CN202111470053A CN114359859A CN 114359859 A CN114359859 A CN 114359859A CN 202111470053 A CN202111470053 A CN 202111470053A CN 114359859 A CN114359859 A CN 114359859A
Authority
CN
China
Prior art keywords
image data
occlusion
target
target object
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111470053.6A
Other languages
English (en)
Inventor
朱晓东
刘国清
郑伟
季思文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Youjia Technology Co ltd
Original Assignee
Nanjing Youjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Youjia Technology Co ltd filed Critical Nanjing Youjia Technology Co ltd
Priority to CN202111470053.6A priority Critical patent/CN114359859A/zh
Publication of CN114359859A publication Critical patent/CN114359859A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种含遮挡的目标物处理方法、装置及存储介质，其方法包括采集道路的当前图像数据；基于预构建的目标物处理模型对当前图像数据进行处理得到目标物的类别和位置框；其中，所述目标物处理模型的构建包括：获取道路的历史图像数据；根据预设的标注规则对历史图像数据中目标物的类别、位置框以及遮挡状态进行人工标注；对标注后的历史图像数据进行增广处理和数据编码生成历史图像数据集；通过历史图像数据集对YOLOv5神经网络进行训练构建目标物处理模型；所述遮挡状态包括无遮挡、轻度遮挡和重度遮挡；本发明能够解决目标物的类别和位置框识别精准的技术问题，方便后续辅助驾驶更精准的决策。

Description

一种含遮挡的目标物处理方法、装置及存储介质
技术领域
本发明涉及一种含遮挡的目标物处理方法方法、装置及存储介质，属于驾驶辅助技术领域。
背景技术
随着汽车电动化智能化进程的不断深入，国民的期望值提升，软件改变了汽车属性，自动驾驶的不断进化逐步解放了驾驶员的注意力，直至完全摆脱人工干预，车辆也由单纯的出行工具变成了移动私人空间，而自动驾驶的实现主要依靠各种传感器对车辆周围环境进行感知，通过目标检测，识别与跟踪等处理技术来评估危险性。其中目标检测技术是自动驾驶技术的基础，通过摄像头实时获取前方道路的图像数据，对图像上各种形形色色的目标进行类别及位置的初步判定，为后续车辆进行更精准的识别及控制提供信息。
在道路目标的检测任务中，存在各种各样的遮挡场景，总结起来有两类遮挡，(1)检测目标之间的互相遮挡；(2)检测目标被干扰物体的遮挡。在常用的检测任务中，针对严重遮挡目标的处理也有两种，(1)一般场景下，不需要关注严重遮挡目标，则直接抛弃严重遮挡目标的样本，不对其进行学习；(2) 一些较为特殊的场景，比如密集人群检测、牲畜数量计算等，必须将严重遮挡的目标规划入样本中，而通常的做法也只能通过增加遮挡类别的训练样本来提升性能。由于ADAS的场景特殊性，更好的利用原本就较为稀缺的计算资源，使得系统更集中的快速应对有碰撞风险的目标，且道路中的遮挡目标通常都不会成为自车直接碰撞的风险目标，所以需要适当调整网络的学习倾向。对于较为严重遮挡的目标降低要求，能够判定出目标的类别及较粗略的位置，不能出现漏检，而对于无遮挡或者轻微遮挡的目标，则需要精确的判定出目标的类别及其精准位置以方便后续更精准的决策。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种含遮挡的目标物处理方法方法、装置及存储介质，解决目标物的类别和位置框识别精准的技术问题。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种含遮挡的目标物处理方法，包括：
采集道路的当前图像数据；
基于预构建的目标物处理模型对当前图像数据进行处理得到目标物的类别和位置框；
其中，所述目标物处理模型的构建包括：
获取道路的历史图像数据；
根据预设的标注规则对历史图像数据中目标物的类别、位置框以及遮挡状态进行人工标注；
对标注后的历史图像数据进行增广处理和数据编码生成历史图像数据集；
通过历史图像数据集对YOLOv5神经网络进行训练构建目标物处理模型；
所述遮挡状态包括无遮挡、轻度遮挡和重度遮挡。
可选的，所述采集道路的当前图像数据包括实时采集不同光照条件、不同场景、不同视角的视频数据，并从视频数据中提取出含有不同目标物的帧片段作为采集道路的当前图像数据。
可选的，所述增广处理包括图像裁剪、图像翻转、Mixup数据增强以及Mosaic 数据增强。
可选的，所述数据编码包括对无遮挡及轻度遮挡的历史图像数据进行正常编码，对于重度遮挡的历史图像数据进行正常编码以及增加重度遮挡标志位。
可选的，所述通过历史图像数据集对YOLOv5神经网络进行训练构建目标物处理模型包括：
将历史图像数据集划分为训练集、测试集以及验证集；
将训练集中的训练样本输入YOLOv5神经网络得到预测输出；
根据YOLOv5神经网络的预测输出和验证集计算总损失LDet：
Figure BDA0003391409910000031
其中，Lobj为目标置信度损失，Lclass为目标类别损失，Lbox为目标位置框损失，
Figure BDA0003391409910000032
为含有遮挡状态的目标物类别损失，
Figure BDA0003391409910000033
为含有遮挡状态目标物位置框损失，
Figure BDA0003391409910000034
分别为权重参数，y为重度遮挡标志位，若遮挡目标为重度遮挡，则y＝1，否则y＝0；
采用总损失LDet进行反向传播迭代YOLOv5神经网络的网络参数；
根据迭代的网络参数更新YOLOv5神经网络，并根据测试集测试更新后的 YOLOv5神经网络，若满足预设要求，则将更新后的YOLOv5神经网络作为目标物处理模型。
可选的，所述目标类别损失和含有遮挡状态的目标物类别损失通过 cross-entropy损失函数计算获取；所述cross-entropy损失函数为：
Figure BDA0003391409910000035
其中，C为目标类别损失，x为测试样本，n为测试集中测试样本数量，y为目标物类别的标注信息，a为YOLOv5神经网络输出的目标物类别的预测信息。
可选的，所述目标位置框损失和含有遮挡状态的目标位置框损失通过CIoU Loss损失函数计算获取；所述CIoU Loss损失函数为：
Figure BDA0003391409910000041
Figure BDA0003391409910000042
Figure BDA0003391409910000043
Figure BDA0003391409910000044
其中，LCIoU为目标位置框损失，A为标注的目标物位置框，B为YOLOv5 神经网络输出预测的目标物位置框；ρ2(b，bgt)为标注的目标物位置框A的中心点b与预测的目标物位置框B的中心点bgt的欧几里得距离，c为标注的目标物位置框和预测的目标物位置框B之间最小外接矩形对角线长度；w和h分别为标注的目标物位置框的宽和高，wgt和hgt分别为预测的目标物位置框的宽和高；
所述目标置信度损失取IoU值表示。
第二方面，本发明提供了一种含遮挡的目标物处理方法装置，所述装置包括：
数据获取模块，用于采集道路的当前图像数据；
数据处理模块，用于基于预构建的目标物处理模型对当前图像数据进行处理得到目标物的类别和位置框；
其中，所述目标物处理模型的构建包括：
获取道路的历史图像数据；
根据预设的标注规则对历史图像数据中目标物的类别、位置框以及遮挡状态进行人工标注；
对标注后的历史图像数据进行增广处理和数据编码生成历史图像数据集；
通过历史图像数据集对YOLOv5神经网络进行训练构建目标物处理模型；
所述遮挡状态包括无遮挡、轻度遮挡和重度遮挡。
第三方面，本发明提供了一种含遮挡的目标物处理方法装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
第四方面，本发明提供了计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一项所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明提供了一种含遮挡的目标物处理方法，通过不均衡学习的方式，对于严重遮挡目标，正常计算其类别的损失，降低其类别的损失权重，限制位置框损失的反向传播。这样也就降低了由于重度遮挡与无遮挡或轻度遮挡做为同一类别带来的差异较大学习难度大的问题，最终使得无遮挡或轻度遮挡的目标的类别及位置框信息获得提升，同时也不造成严重遮挡目标的漏检，方便后续辅助驾驶更精准的决策。
附图说明
图1是本发明实施例提供的一种含遮挡的目标物处理方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
如图1所示，本发明实施例提供了一种含遮挡的目标物处理方法，包括以下步骤：
(1)采集道路的当前图像数据；
采集道路的当前图像数据包括实时采集不同光照条件、不同场景、不同视角的视频数据，并从视频数据中提取出含有不同目标物的帧片段作为采集道路的当前图像数据。
(2)基于预构建的目标物处理模型对当前图像数据进行处理得到目标物的类别和位置框；
其中，目标物处理模型的构建包括：
获取道路的历史图像数据；
根据预设的标注规则对历史图像数据中目标物的类别、位置框以及遮挡状态进行人工标注；
对标注后的历史图像数据进行增广处理和数据编码生成历史图像数据集；
通过历史图像数据集对YOLOv5神经网络进行训练构建目标物处理模型；
遮挡状态包括无遮挡、轻度遮挡和重度遮挡。
具体的：
1、增广处理包括图像裁剪、图像翻转、Mixup数据增强以及Mosaic数据增强。
2、数据编码包括对无遮挡及轻度遮挡的历史图像数据进行正常编码，对于重度遮挡的历史图像数据进行正常编码以及增加重度遮挡标志位。
3、通过历史图像数据集对YOLOv5神经网络进行训练构建目标物处理模型包括：
3.1、将历史图像数据集划分为训练集、测试集以及验证集；
3.2、将训练集中的训练样本输入YOLOv5神经网络得到预测输出；
3.3、根据YOLOv5神经网络的预测输出和验证集计算总损失LDet：
Figure BDA0003391409910000071
其中，Lobj为目标置信度损失，Lclass为目标类别损失，Lbox为目标位置框损失，
Figure BDA0003391409910000072
为含有遮挡状态的目标物类别损失，
Figure BDA0003391409910000073
为含有遮挡状态目标物位置框损失，
Figure BDA0003391409910000074
分别为权重参数，y为重度遮挡标志位，若遮挡目标为重度遮挡，则y＝1，否则y＝0；
3.4、采用总损失LDet进行反向传播迭代YOLOv5神经网络的网络参数；
3.5、根据迭代的网络参数更新YOLOv5神经网络，并根据测试集测试更新后的YOLOv5神经网络，若满足预设要求，则将更新后的YOLOv5神经网络作为目标物处理模型。
3.3.1、目标类别损失和含有遮挡状态的目标物类别损失通过cross-entropy 损失函数计算获取；cross-entropy损失函数为：
Figure BDA0003391409910000075
其中，C为目标类别损失，x为测试样本，n为测试集中测试样本数量，y为目标物类别的标注信息，a为YOLOv5神经网络输出的目标物类别的预测信息。
3.3.2、目标位置框损失和含有遮挡状态的目标位置框损失通过CIoU Loss 损失函数计算获取；CIoU Loss损失函数为：
Figure BDA0003391409910000081
Figure BDA0003391409910000082
Figure BDA0003391409910000083
Figure BDA0003391409910000084
其中，LCIoU为目标位置框损失，A为标注的目标物位置框，B为YOLOv5 神经网络输出预测的目标物位置框；ρ2(b，bgt)为标注的目标物位置框A的中心点b与预测的目标物位置框B的中心点bgt的欧几里得距离，c为标注的目标物位置框和预测的目标物位置框B之间最小外接矩形对角线长度；w和h分别为标注的目标物位置框的宽和高，wgt和hgt分别为预测的目标物位置框的宽和高；
3.3.3、目标置信度损失取IoU值表示。
实施例二：
本发明实施例提供了一种含遮挡的目标物处理方法装置，装置包括：
数据获取模块，用于采集道路的当前图像数据；
数据处理模块，用于基于预构建的目标物处理模型对当前图像数据进行处理得到目标物的类别和位置框；
其中，目标物处理模型的构建包括：
获取道路的历史图像数据；
根据预设的标注规则对历史图像数据中目标物的类别、位置框以及遮挡状态进行人工标注；
对标注后的历史图像数据进行增广处理和数据编码生成历史图像数据集；
通过历史图像数据集对YOLOv5神经网络进行训练构建目标物处理模型；
遮挡状态包括无遮挡、轻度遮挡和重度遮挡。
实施例三：
基于实施例一，本发明实施例还提供了一种含遮挡的目标物处理方法装置，包括处理器及存储介质；
存储介质用于存储指令；
处理器用于根据指令进行操作以执行根据上述任一项方法的步骤。
实施例四：
基于实施例一，本发明实施例还提供了计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一项方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种含遮挡的目标物处理方法，其特征在于，包括：
采集道路的当前图像数据；
基于预构建的目标物处理模型对当前图像数据进行处理得到目标物的类别和位置框；
其中，所述目标物处理模型的构建包括：
获取道路的历史图像数据；
根据预设的标注规则对历史图像数据中目标物的类别、位置框以及遮挡状态进行人工标注；
对标注后的历史图像数据进行增广处理和数据编码生成历史图像数据集；
通过历史图像数据集对YOLOv5神经网络进行训练构建目标物处理模型；
所述遮挡状态包括无遮挡、轻度遮挡和重度遮挡。
2.根据权利要求1所述的一种含遮挡的目标物处理方法，其特征在于，所述采集道路的当前图像数据包括实时采集不同光照条件、不同场景、不同视角的视频数据，并从视频数据中提取出含有不同目标物的帧片段作为采集道路的当前图像数据。
3.根据权利要求1所述的一种含遮挡的目标物处理方法，其特征在于，所述增广处理包括图像裁剪、图像翻转、Mixup数据增强以及Mosaic数据增强。
4.根据权利要求1所述的一种含遮挡的目标物处理方法，其特征在于，所述数据编码包括对无遮挡及轻度遮挡的历史图像数据进行正常编码，对于重度遮挡的历史图像数据进行正常编码以及增加重度遮挡标志位。
5.根据权利要求1所述的一种含遮挡的目标物处理方法，其特征在于，所述通过历史图像数据集对YOLOv5神经网络进行训练构建目标物处理模型包括：
将历史图像数据集划分为训练集、测试集以及验证集；
将训练集中的训练样本输入YOLOv5神经网络得到预测输出；
根据YOLOv5神经网络的预测输出和验证集计算总损失LDet：
Figure FDA0003391409900000021
其中，Lobj为目标置信度损失，Lclass为目标类别损失，Lbox为目标位置框损失，
Figure FDA0003391409900000022
为含有遮挡状态的目标物类别损失，
Figure FDA0003391409900000023
为含有遮挡状态目标物位置框损失，
Figure FDA0003391409900000024
分别为权重参数，y为重度遮挡标志位，若遮挡目标为重度遮挡，则y＝1，否则y＝0；
采用总损失LDet进行反向传播迭代YOLOv5神经网络的网络参数；
根据迭代的网络参数更新YOLOv5神经网络，并根据测试集测试更新后的YOLOv5神经网络，若满足预设要求，则将更新后的YOLOv5神经网络作为目标物处理模型。
6.根据权利要求5所述的一种含遮挡的目标物处理方法，其特征在于，所述目标类别损失和含有遮挡状态的目标物类别损失通过cross-entropy损失函数计算获取；所述cross-entropy损失函数为：
Figure FDA0003391409900000025
其中，C为目标类别损失，x为测试样本，n为测试集中测试样本数量，y为目标物类别的标注信息，a为YOLOv5神经网络输出的目标物类别的预测信息。
7.根据权利要求5所述的一种含遮挡的目标物处理方法，其特征在于，所述目标位置框损失和含有遮挡状态的目标位置框损失通过CIoU Loss损失函数计算获取；所述CIoU Loss损失函数为：
Figure FDA0003391409900000031
Figure FDA0003391409900000032
Figure FDA0003391409900000033
Figure FDA0003391409900000034
其中，LCIoU为目标位置框损失，A为标注的目标物位置框，B为YOLOv5神经网络输出预测的目标物位置框；ρ2(b，bgt)为标注的目标物位置框A的中心点b与预测的目标物位置框B的中心点bgt的欧几里得距离，c为标注的目标物位置框和预测的目标物位置框B之间最小外接矩形对角线长度；w和h分别为标注的目标物位置框的宽和高，
Figure FDA0003391409900000035
和
Figure FDA0003391409900000036
分别为预测的目标物位置框的宽和高；
所述目标置信度损失取IoU值表示。
8.一种含遮挡的目标物处理方法装置，其特征在于，所述装置包括：
数据获取模块，用于采集道路的当前图像数据；
数据处理模块，用于基于预构建的目标物处理模型对当前图像数据进行处理得到目标物的类别和位置框；
其中，所述目标物处理模型的构建包括：
获取道路的历史图像数据；
根据预设的标注规则对历史图像数据中目标物的类别、位置框以及遮挡状态进行人工标注；
对标注后的历史图像数据进行增广处理和数据编码生成历史图像数据集；
通过历史图像数据集对YOLOv5神经网络进行训练构建目标物处理模型；
所述遮挡状态包括无遮挡、轻度遮挡和重度遮挡。
9.一种含遮挡的目标物处理方法装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-7任一项所述方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
CN202111470053.6A 2021-12-03 2021-12-03 一种含遮挡的目标物处理方法、装置及存储介质 Pending CN114359859A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111470053.6A CN114359859A (zh) 2021-12-03 2021-12-03 一种含遮挡的目标物处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111470053.6A CN114359859A (zh) 2021-12-03 2021-12-03 一种含遮挡的目标物处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114359859A true CN114359859A (zh) 2022-04-15

Family

ID=81097372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111470053.6A Pending CN114359859A (zh) 2021-12-03 2021-12-03 一种含遮挡的目标物处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114359859A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641512A (zh) * 2022-12-26 2023-01-24 成都国星宇航科技股份有限公司 一种卫星遥感影像道路识别方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641512A (zh) * 2022-12-26 2023-01-24 成都国星宇航科技股份有限公司 一种卫星遥感影像道路识别方法、装置、设备及介质
CN115641512B (zh) * 2022-12-26 2023-04-07 成都国星宇航科技股份有限公司 一种卫星遥感影像道路识别方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110084095B (zh) 车道线检测方法、车道线检测装置和计算机存储介质
EP3171292B1 (en) Driving lane data processing method, device, storage medium and apparatus
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN103927762B (zh) 一种目标车辆自动跟踪方法及装置
CN111209780A (zh) 车道线属性检测方法、装置、电子设备及可读存储介质
CN112967283B (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
WO2022134996A1 (en) Lane line detection method based on deep learning, and apparatus
CN111179152A (zh) 一种道路标识识别方法及装置、介质、终端
JP6700373B2 (ja) ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法
CN115049700A (zh) 一种目标检测方法及装置
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN112950725A (zh) 一种监控相机参数标定方法及装置
Chira et al. Real-time detection of road markings for driving assistance applications
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
CN112052807B (zh) 车辆位置检测方法、装置、电子设备及存储介质
CN111488808A (zh) 基于交通违法图像数据的车道线检测方法
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN112131914B (zh) 车道线属性检测方法、装置、电子设备及智能设备
CN114359859A (zh) 一种含遮挡的目标物处理方法、装置及存储介质
CN112784675B (zh) 目标检测方法及装置、存储介质、终端
CN113516853A (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN113297939A (zh) 障碍物检测方法、系统、终端设备及存储介质
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN113971762A (zh) 一种旋转机械作业安全风险智能识别方法及系统
CN107452230A (zh) 一种障碍物检测方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination