CN118015598B - 一种目标检测模型构建方法、装置及目标检测系统 - Google Patents
一种目标检测模型构建方法、装置及目标检测系统 Download PDFInfo
- Publication number
- CN118015598B CN118015598B CN202410411902.8A CN202410411902A CN118015598B CN 118015598 B CN118015598 B CN 118015598B CN 202410411902 A CN202410411902 A CN 202410411902A CN 118015598 B CN118015598 B CN 118015598B
- Authority
- CN
- China
- Prior art keywords
- target detection
- yolov
- network structure
- real
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 182
- 238000010276 construction Methods 0.000 title claims description 29
- 230000000007 visual effect Effects 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000011156 evaluation Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000013441 quality evaluation Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000006837 decompression Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
一种目标检测模型构建方法、装置及目标检测系统，该方法应用于边缘计算单元，包括：预先构建E‑YOLOv5网络结构；通过2D边界框和视觉图像样本对E‑YOLOv5网络结构进行训练，得到训练好的E‑YOLOv5网络结构；通过2D边界框对训练好的E‑YOLOv5网络结构进行检测质量评估，得到评估结果；在评估结果超过预设阈值时，则将训练好的E‑YOLOv5网络结构确定为目标检测模型；通过目标检测模型对目标车辆通过无线连接发送的实时视觉图像进行目标检测处理，能够通过边缘计算实现在有限的计算资源下有效进行目标检测，减少了车辆端的计算量，提高了目标检测的精确度和效率。
Description
技术领域
本申请涉及自动驾驶技术领域，具体而言，涉及一种目标检测模型构建方法、装置及目标检测系统。
背景技术
目前，自动驾驶面临的核心挑战之一是实现可靠准确的环境感知。这对安全驾驶至关重要，因为感知模块接收的信息直接影响核心驾驶决策，决定车辆的路径规划。现有的目标检测模型，通常需根据前置摄像头的视觉感知来实时获取场景中物体的位置和类别以规划无碰撞路径。对于不同推理时间下YOLOv5检测模型的变体，通常较大的模型性能更好，但其计算需求也较大，而车辆的计算资源和功耗有限，难以支持较大模型的运行。可见，现有方法通常都是在汽车端进行数据的处理和目标检测，计算量大，车载硬件受到成本和功耗的限制，难以支持运行大型模型，从而降低了目标检测的精确度和效率。
发明内容
本申请实施例的目的在于提供一种目标检测模型构建方法、装置及目标检测系统，能够通过边缘计算实现在有限的计算资源下有效进行目标检测，减少了车辆端的计算量，提高了目标检测的精确度和效率。
本申请第一方面提供了一种目标检测模型构建方法，所述方法应用于边缘计算单元，包括：
预先构建E-YOLOv5网络结构；其中，所述E-YOLOv5网络结构包括Focus模块、CBL模块、残差单元、CSP1_x块、CSP2_x块、SPP模块、CSM块；
使用KITTI数据集获取自主车前方的图像样本；其中，所述图像样本包括3D边界框样本和自主车前方的视觉图像样本；
将所述3D边界框样本投影到摄像头帧坐标系中，得到用于训练和评估所述E-YOLOv5网络结构的2D边界框；
通过所述2D边界框和所述视觉图像样本对所述E-YOLOv5网络结构进行训练，得到训练好的E-YOLOv5网络结构；
通过所述2D边界框对所述训练好的E-YOLOv5网络结构进行检测质量评估，得到评估结果；
在所述评估结果超过预设阈值时，则将所述训练好的E-YOLOv5网络结构确定为目标检测模型；
通过所述目标检测模型对目标车辆通过无线连接发送的实时视觉图像进行目标检测处理，得到目标检测结果；
将所述目标检测结果通过无线连接反馈至所述目标车辆。
进一步地，所述Focus模块用于提取所述视觉图像样本的局部特征；
所述CBL模块包括卷积、批归一化、Leaky ReLU激活函数；
所述CSP1_x块与所述CSP2_x块用于增加所述E-YOLOv5网络结构的学习能力和效率；
所述SPP模块用于从提取出的图像特征中提取空间特征；
所述CSM块用于对特征图的通道进行混洗。
进一步地，所述通过所述目标检测模型对目标车辆通过无线连接发送的实时视觉图像进行目标检测处理，得到目标检测结果，包括：
接收目标车辆通过基站传输的实时视觉图像；
对所述实时视觉图像进行解压缩处理，得到解压缩图像；
通过所述目标检测模型对所述解压缩图像进行目标检测处理，得到目标检测结果。
进一步地，所述评估结果至少包括精确率、召回率、平均精度、检测到的物体与真实边界框的交并比以及所述平均精度的平均值。
本申请第二方面提供了一种目标检测模型构建装置，所述目标检测模型构建装置应用于边缘计算单元，包括：
构建单元，用于预先构建E-YOLOv5网络结构；其中，所述E-YOLOv5网络结构包括Focus模块、CBL模块、残差单元、CSP1_x块、CSP2_x块、SPP模块、CSM块；
获取单元，用于使用KITTI数据集获取自主车前方的图像样本；其中，所述图像样本包括3D边界框样本和自主车前方的视觉图像样本；
投影单元，用于将所述3D边界框样本投影到摄像头帧坐标系中，得到用于训练和评估所述E-YOLOv5网络结构的2D边界框；
训练单元，用于通过所述2D边界框和所述视觉图像样本对所述E-YOLOv5网络结构进行训练，得到训练好的E-YOLOv5网络结构；
模型评估单元，用于通过所述2D边界框对所述训练好的E-YOLOv5网络结构进行检测质量评估，得到评估结果；
确定单元，用于在所述评估结果超过预设阈值时，则将所述训练好的E-YOLOv5网络结构确定为目标检测模型；
目标检测单元，用于通过所述目标检测模型对目标车辆通过无线连接发送的实时视觉图像进行目标检测处理，得到目标检测结果；
反馈单元，用于将所述目标检测结果通过无线连接反馈至所述目标车辆。
进一步地，所述Focus模块用于提取所述视觉图像样本的局部特征；
所述CBL模块包括卷积、批归一化、Leaky ReLU激活函数；
所述CSP1_x块与所述CSP2_x块用于增加所述E-YOLOv5网络结构的学习能力和效率；
所述SPP模块用于从提取出的图像特征中提取空间特征；
所述CSM块用于对特征图的通道进行混洗。
进一步地，所述目标检测单元包括：
接收子单元，用于接收目标车辆通过基站传输的实时视觉图像；
解压缩子单元，用于对所述实时视觉图像进行解压缩处理，得到解压缩图像；
检测子单元，用于通过所述目标检测模型对所述解压缩图像进行目标检测处理，得到目标检测结果。
进一步地，所述评估结果至少包括精确率、召回率、平均精度、检测到的物体与真实边界框的交并比以及所述平均精度的平均值。
本申请第三方面提供了一种目标检测系统，所述目标检测系统包括目标车辆、核心网络、边缘计算单元和基站，其中，
所述目标车辆实时获取车前方的实时视觉图像；
所述目标车辆通过无线连接将所述实时视觉图像发送至所述基站；
所述基站架通过所述核心网络将所述实时视觉图像发送至所述边缘计算单元；
所述边缘计算单元通过预先构建的目标检测模型对所述实时视觉图像进行目标检测处理，得到目标检测结果；其中，所述目标检测模型为E-YOLOv5网络结构；
所述边缘计算单元通过所述核心网络将所述目标检测结果发送至所述基站；
所述基站将所述目标检测结果发送至所述目标车辆。
进一步地，所述目标车辆实时获取车前方的实时视觉图像，包括：
所述目标车辆实时获取车前方视觉图像；
所述目标车辆使用python imaging library库对所述车前方视觉图像进行本地压缩处理，得到压缩后的实时视觉图像。
本申请第四方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请第一方面中任一项所述的目标检测模型构建方法。
本申请第五方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请第一方面中任一项所述的目标检测模型构建方法。
本申请的有益效果为：该方法、系统及装置能够通过边缘计算实现在有限的计算资源下有效进行目标检测，减少了车辆端的计算量，提高了目标检测的精确度和效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种目标检测模型构建方法的流程示意图；
图2为本申请实施例提供的另一种目标检测模型构建方法的流程示意图；
图3为本申请实施例提供的一种改进的YOLO5（E-YOLO5）部分结构示意图；
图4为本申请实施例提供的另一种改进的YOLO5（E-YOLO5）部分结构示意图；
图5为本申请实施例提供的一种目标检测模型构建装置的结构示意图；
图6为本申请实施例提供的另一种目标检测模型构建装置的结构示意图；
图7为本申请实施例提供的一种目标检测系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
请参看图1，图1为本实施例提供的一种目标检测模型构建方法的流程示意图。其中，该目标检测模型构建方法应用于边缘计算单元，包括：
S101、预先构建E-YOLOv5网络结构。
本实施例中，E-YOLOv5网络结构包括Focus模块、CBL模块、残差单元、CSP1_x块、CSP2_x块、SPP模块、CSM块。
S102、使用KITTI数据集获取自主车前方的图像样本；其中，图像样本包括3D边界框样本和自主车前方的视觉图像样本。
本实施例中，该方法为了训练改进的YOLOv5模型，可以使用KITTI数据集所收集的14999个来自主车前方的视觉图像（采样频率为10Hz）。
S103、将3D边界框样本投影到摄像头帧坐标系中，得到用于训练和评估E-YOLOv5网络结构的2D边界框。
本实施例中，该方法可以收集真实的3D边界框，将其投影到摄像头帧坐标系中，以获得可用于训练和评估E-YOLOv5的2D边界框。其中，上述数据可以被分为2个子集：7481张用于训练，7518张用于测试。
S104、通过2D边界框和视觉图像样本对E-YOLOv5网络结构进行训练，得到训练好的E-YOLOv5网络结构。
S105、通过2D边界框对训练好的E-YOLOv5网络结构进行检测质量评估，得到评估结果。
S106、在评估结果超过预设阈值时，则将训练好的E-YOLOv5网络结构确定为目标检测模型。
S107、通过目标检测模型对目标车辆通过无线连接发送的实时视觉图像进行目标检测处理，得到目标检测结果。
S108、将目标检测结果通过无线连接反馈至目标车辆。
实施这种实施方式，能够基于资源卸载的可行性，将目标检测任务可以转移到路侧或边缘。通过不受计算能力限制的边缘平台实现高质量的检测和降低推理延迟。使用改进的YOLOv5（E-YOLOv5）执行目标检测任务，能够进一步地提高准确性和时延方面的表现。又在考虑推理时间的约束的情况下，根据20Hz的检测速度，具体选择在本地使用小模型，在边缘使用大模型，而在云端使用高分辨率的大模型的实现方式，从而保障上述效果皆可顺利实现。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
可见，实施本实施例所描述的目标检测模型构建方法，能够通过边缘计算实现在有限的计算资源下有效进行目标检测，减少了车辆端的计算量，提高了目标检测的精确度和效率。
实施例2
请参看图2，图2为本实施例提供的一种目标检测模型构建方法的流程示意图。其中，该目标检测模型构建方法应用于边缘计算单元，包括：
S201、预先构建E-YOLOv5网络结构。
本实施例中，E-YOLOv5网络结构包括Focus模块、CBL模块、残差单元、CSP1_x块、CSP2_x块、SPP模块、CSM块。
在本实施例中，Focus模块用于提取视觉图像样本的局部特征；
CBL模块包括卷积、批归一化、Leaky ReLU激活函数；
CSP1_x块与CSP2_x块用于增加E-YOLOv5网络结构的学习能力和效率；
SPP模块用于从提取出的图像特征中提取空间特征；
CSM块用于对特征图的通道进行混洗。
本实施例中，该方法提出了改进版的YOLO5（E-YOLO5），旨在提升推理速度，该模型的整体框架如图3和图4所示。
其中，该E-YOLOv5网络结构是为更加高效的特征提取和对象检测设计的，其结合了多种不同的深度学习技术来优化性能和准确性。
具体的，该网络开始于Focus模块，它通过使用切片操作来改变输入图像的通道组织，通常用于从图像中提取局部特征。Focus模块后是多个CBL模块。CBL是卷积（Convolution）、批归一化（Batch Normalization）、Leaky ReLU激活函数的缩写。这些块用于特征提取，通过逐层卷积来捕捉图像的不同特征。CSP1_x块与CSP2_x块是CSPNet（CrossStage Partial Network）的变种，通常用于增加网络的学习能力和效率。CSP1_x有一个跨越操作，而CSP2_x有两个。这些结构通过合并不同层级的特征来改善梯度流和学习效率。SPP（空间金字塔池化，Spatial Pyramid Pooling）模块用于从先前的特征中提取空间特征，通过不同尺度的池化来保证特征的空间不变性。网络架构使用了残差连接的方式，这有助于保留从浅层到深层的信息，并有助于梯度的反向传播。
在本实施例中，该方法主要引入了CSM块（通道混洗模块，Channel ShuffleModule），通过对特征图的通道进行混洗，使得不同通道的特征信息能够进行交流和融合，提高了特征的多样性和丰富性，增强了网络的表示能力和泛化能力。同时，在特征混洗过程中不同通道的特征会在空间维度上进行交互，从而促进了特征图中不同位置的信息传递和整合。相比于其他复杂模块，CSM块属于轻量级模块，在不降低性能的情况下提升模型的参数效率。
S202、使用KITTI数据集获取自主车前方的图像样本；其中，图像样本包括3D边界框样本和自主车前方的视觉图像样本。
S203、将3D边界框样本投影到摄像头帧坐标系中，得到用于训练和评估E-YOLOv5网络结构的2D边界框。
S204、通过2D边界框和视觉图像样本对E-YOLOv5网络结构进行训练，得到训练好的E-YOLOv5网络结构。
S205、通过2D边界框对训练好的E-YOLOv5网络结构进行检测质量评估，得到评估结果。
本实施例中，评估结果至少包括精确率、召回率、平均精度、检测到的物体与真实边界框的交并比以及平均精度的平均值。
在本实施例中，为了获得符合检测质量的完整图景，该方法在评估测量精确率和召回率的基础上，还需要计算平均精度（AP，即精确率-召回率曲线下的面积）。其中，如果检测到的物体与真实边界框的交并比（IoU）超过60％，则将其视为真阳性。为了得出所有类别的单一度量，将每个类别的AP进行平均得到平均精度（mAP）。
S206、在评估结果超过预设阈值时，则将训练好的E-YOLOv5网络结构确定为目标检测模型。
S207、接收目标车辆通过基站传输的实时视觉图像。
S208、对实时视觉图像进行解压缩处理，得到解压缩图像。
S209、通过目标检测模型对解压缩图像进行目标检测处理，得到目标检测结果。
S210、将目标检测结果通过无线连接反馈至目标车辆。
本实施例中，该方法可应用于智能监控系统中的实时目标检测，如监控摄像头捕捉到的行人、车辆、动物等物体的识别与追踪。还可用于智能家居系统中，通过摄像头对家庭环境进行实时监测，如检测人员活动、宠物行为或异常情况。还可应用于工业自动化领域，用于实时检测生产线上的物体或设备状态，以提高生产效率和安全性。还可用于环境监测系统中，实时检测大气污染物、水质情况、天气变化等环境参数，用于环境保护和预警。还可应用于医疗领域中，通过实时影像数据对病人体征进行监测与诊断，辅助医生进行临床判断。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
可见，实施本实施例所描述的目标检测模型构建方法，能够实时目标检测系统能够在有限的计算资源下有效进行目标检测，从而适应自动驾驶车辆的需求。同时，能够通过引入通道混洗模块构建E-YOLOv5模型，提高目标检测的准确性和泛化能力，确保模型在不同环境和条件下的稳定性。然后，能够在不同计算资源约束下，实现目标检测任务的有效分配和执行，保证检测质量和推理速度的平衡。最后，能够通过综合利用边缘计算和云计算的优势，为自动驾驶系统中目标检测任务的实时远程处理提供更加全面和可行的解决方案。
实施例3
请参看图5，图5为本实施例提供的一种目标检测模型构建装置的结构示意图。如图5所示，该目标检测模型构建装置应用于边缘计算单元，包括：
构建单元310，用于预先构建E-YOLOv5网络结构；其中，E-YOLOv5网络结构包括Focus模块、CBL模块、残差单元、CSP1_x块、CSP2_x块、SPP模块、CSM块；
获取单元320，用于使用KITTI数据集获取自主车前方的图像样本；其中，图像样本包括3D边界框样本和自主车前方的视觉图像样本；
投影单元330，用于将3D边界框样本投影到摄像头帧坐标系中，得到用于训练和评估E-YOLOv5网络结构的2D边界框；
训练单元340，用于通过2D边界框和视觉图像样本对E-YOLOv5网络结构进行训练，得到训练好的E-YOLOv5网络结构；
模型评估单元350，用于通过2D边界框对训练好的E-YOLOv5网络结构进行检测质量评估，得到评估结果；
确定单元360，用于在评估结果超过预设阈值时，则将训练好的E-YOLOv5网络结构确定为目标检测模型；
目标检测单元370，用于通过目标检测模型对目标车辆通过无线连接发送的实时视觉图像进行目标检测处理，得到目标检测结果；
反馈单元380，用于将目标检测结果通过无线连接反馈至目标车辆。
本实施例中，对于目标检测模型构建装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施本实施例所描述的目标检测模型构建装置，能够通过边缘计算实现在有限的计算资源下有效进行目标检测，减少了车辆端的计算量，提高了目标检测的精确度和效率。
实施例4
请参看图6，图6为本实施例提供的一种目标检测模型构建装置的结构示意图。如图6所示，该目标检测模型构建装置应用于边缘计算单元，包括：
构建单元310，用于预先构建E-YOLOv5网络结构；其中，E-YOLOv5网络结构包括Focus模块、CBL模块、残差单元、CSP1_x块、CSP2_x块、SPP模块、CSM块；
获取单元320，用于使用KITTI数据集获取自主车前方的图像样本；其中，图像样本包括3D边界框样本和自主车前方的视觉图像样本；
投影单元330，用于将3D边界框样本投影到摄像头帧坐标系中，得到用于训练和评估E-YOLOv5网络结构的2D边界框；
训练单元340，用于通过2D边界框和视觉图像样本对E-YOLOv5网络结构进行训练，得到训练好的E-YOLOv5网络结构；
模型评估单元350，用于通过2D边界框对训练好的E-YOLOv5网络结构进行检测质量评估，得到评估结果；
确定单元360，用于在评估结果超过预设阈值时，则将训练好的E-YOLOv5网络结构确定为目标检测模型；
目标检测单元370，用于通过目标检测模型对目标车辆通过无线连接发送的实时视觉图像进行目标检测处理，得到目标检测结果；
反馈单元380，用于将目标检测结果通过无线连接反馈至目标车辆。
本实施例中，Focus模块用于提取视觉图像样本的局部特征；
CBL模块包括卷积、批归一化、Leaky ReLU激活函数；
CSP1_x块与CSP2_x块用于增加E-YOLOv5网络结构的学习能力和效率；
SPP模块用于从提取出的图像特征中提取空间特征；
CSM块用于对特征图的通道进行混洗。
作为一种可选的实施方式，目标检测单元370包括：
接收子单元371，用于接收目标车辆通过基站传输的实时视觉图像；
解压缩子单元372，用于对实时视觉图像进行解压缩处理，得到解压缩图像；
检测子单元373，用于通过目标检测模型对解压缩图像进行目标检测处理，得到目标检测结果。
本实施例中，评估结果至少包括精确率、召回率、平均精度、检测到的物体与真实边界框的交并比以及平均精度的平均值。
本实施例中，对于目标检测模型构建装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施本实施例所描述的目标检测模型构建装置，能够实时目标检测系统能够在有限的计算资源下有效进行目标检测，从而适应自动驾驶车辆的需求。同时，能够通过引入通道混洗模块构建E-YOLOv5模型，提高目标检测的准确性和泛化能力，确保模型在不同环境和条件下的稳定性。然后，能够在不同计算资源约束下，实现目标检测任务的有效分配和执行，保证检测质量和推理速度的平衡。最后，能够通过综合利用边缘计算和云计算的优势，为自动驾驶系统中目标检测任务的实时远程处理提供更加全面和可行的解决方案。
实施例5
请参看图7，图7为本实施例提供的一种目标检测系统的结构示意图。如图7所示，该目标检测系统包括目标车辆400、核心网络500、边缘计算单元300和基站600，其中，
目标车辆400实时获取车前方的实时视觉图像；
目标车辆400通过无线连接将实时视觉图像发送至基站600；
基站600架通过核心网络500将实时视觉图像发送至边缘计算单元300；
边缘计算单元300通过预先构建的目标检测模型对实时视觉图像进行目标检测处理，得到目标检测结果；其中，目标检测模型为E-YOLOv5网络结构；
边缘计算单元300通过核心网络500将目标检测结果发送至基站600；
基站600将目标检测结果发送至目标车辆400。
本实施例中，核心网络500可以为5G核心网络（CN）。其中，5G核心网络包括一个支持无线连接的用户面功能（UPF），该连接在RNA和云之间。使用点对点（PPP）网络接口通过有线连接将eNB连接到云，GPRS隧道协议（GTP）用于路由IP数据报（UDP）并在gNB和云之间建立通信通道。
本实施例中，边缘计算单元300为边缘计算单元（MEC）。其中，根据欧洲电信标准化协会（ETSI）的参考标准，该方法采用一个简化的MEC主机级架构。MEC应用在虚拟环境中运行，资源管理器编排这些应用程序的生命周期。虚拟化管理器分配、管理和释放诸如计算、存储和网络资源之类的虚拟化辅助设备。MEC主机还包括一个GTP协议，将MEC放置在距离gNB500m的地方，使用100G数据速率的PPP有线连接将MEC与gNB连接起来。
本实施例中，基站600为5G基站（gNB）。其中，在所考虑的场景中，gNB配置了支持两个网络接口卡，一个用于PPP有线连接，另一个用于无线接入网络。PPP连接使用GTP协议，其架构与CN相同，无线接入网络卡有四个模块。最顶层的是数据包汇聚协议（PDCP），它接收IP数据报，执行加密，并将其发送到无线链路控制层（RLC）。RLC服务数据单元存储在RLC缓冲区中，并在需要传输时由底层介质访问控制层（MAC）检索。MAC层将数据聚合到传输块中，添加MAC标头，并通过物理层（PHY）进行传输。
本实施例中，目标车辆400可以对应于用户设备（UE）。其中，根据ETSI和3GPP规范的定义，用户设备是指由最终用户使用的任何设备。在本方法中，用户设备指的是连接到gNB的车辆，并配备了C-V2X协议栈。UE具有双网卡，支持LTE和5GNR的双连接。
在本实施例中，上述内容描述了5G无线接入网络（RAN）的主要组成，并展示了如何利用网络仿真框架来测量由云端和基础设施支持的实时目标检测模型的端到端网络延迟。其中，为了模拟数据收发过程，该方法可以使用Simu5G仿真平台。
在本实施例中，该方法主要关注两种情景，即使用MEC和C-V2X技术进行感知数据卸载的场景，因此，考虑的网络环境包括一个RAN和一个5G核心网络（CN）。
举例来说，该情境中RAN拥有一个单独的5G基站（BS），称为eNB。此时，有一个用户设备（UE）连接到BS（该用例中是一辆车）。在离BS不远处（500m）放置了一个MEC主机，连接到有线网络，并从RAN用户获取快速信息。另外，gNB通过CN连接到云服务器，云位于距离gNB基站1000km处。
作为一种可选的实施方式，目标车辆400实时获取车前方的实时视觉图像，包括：
目标车辆400实时获取车前方视觉图像；
目标车辆400使用python imaging library库对车前方视觉图像进行本地压缩处理，得到压缩后的实时视觉图像。
本实施例中，该方法可以评估端到端时延。其中，由于推理时间包括非最大抑制（NMS）、输入预处理以及模型的前向传播；因此，端到端延迟的评估方法是在推理过程中使用轻量级的模型或者对模型进行量化，以减少模型的计算和存储需求。同时，采用更高效的网络传输和解、压缩算法，以及优化推理过程中的算法和硬件加速器。
在实际场景中，自动驾驶车辆感知要求极低的时延，而传统模型无法满足。为此，该系统使用python imaging library库来压缩输入图像，使得压缩过程在本地设备上进行；同时，该系统可以根据情景将解压缩过程放置边缘或云设备上。
可见，实施本实施例所描述的目标检测系统，能够通过边缘计算实现在有限的计算资源下有效进行目标检测，减少了车辆端的计算量，提高了目标检测的精确度和效率。
本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例1或实施例2中的目标检测模型构建方法。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例1或实施例2中的目标检测模型构建方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种目标检测模型构建方法，其特征在于，所述方法应用于边缘计算单元，包括：
预先构建E-YOLOv5网络结构；其中，所述E-YOLOv5网络结构包括Focus模块、CBL模块、残差单元、CSP1_x块、CSP2_x块、SPP模块、CSM块；
使用KITTI数据集获取自主车前方的图像样本；其中，所述图像样本包括3D边界框样本和自主车前方的视觉图像样本；
将所述3D边界框样本投影到摄像头帧坐标系中，得到用于训练和评估所述E-YOLOv5网络结构的2D边界框；
通过所述2D边界框和所述视觉图像样本对所述E-YOLOv5网络结构进行训练，得到训练好的E-YOLOv5网络结构；
通过所述2D边界框对所述训练好的E-YOLOv5网络结构进行检测质量评估，得到评估结果；
在所述评估结果超过预设阈值时，则将所述训练好的E-YOLOv5网络结构确定为目标检测模型；
通过所述目标检测模型对目标车辆通过无线连接发送的实时视觉图像进行目标检测处理，得到目标检测结果；
将所述目标检测结果通过无线连接反馈至所述目标车辆。
2.根据权利要求1所述的目标检测模型构建方法，其特征在于，所述Focus模块用于提取所述视觉图像样本的局部特征；
所述CBL模块包括卷积、批归一化、Leaky ReLU激活函数；
所述CSP1_x块与所述CSP2_x块用于增加所述E-YOLOv5网络结构的学习能力和效率；
所述SPP模块用于从提取出的图像特征中提取空间特征；
所述CSM块用于对特征图的通道进行混洗。
3.根据权利要求1所述的目标检测模型构建方法，其特征在于，所述通过所述目标检测模型对目标车辆通过无线连接发送的实时视觉图像进行目标检测处理，得到目标检测结果，包括：
接收目标车辆通过基站传输的实时视觉图像；
对所述实时视觉图像进行解压缩处理，得到解压缩图像；
通过所述目标检测模型对所述解压缩图像进行目标检测处理，得到目标检测结果。
4.根据权利要求1所述的目标检测模型构建方法，其特征在于，所述评估结果至少包括精确率、召回率、平均精度、检测到的物体与真实边界框的交并比以及所述平均精度的平均值。
5.一种目标检测系统，其特征在于，所述目标检测系统包括权利要求1至4任一项利用所述目标检测模型构建方法所构建的目标检测模型、目标车辆、核心网络、边缘计算单元和基站，还包括：
所述目标车辆实时获取车前方的实时视觉图像；
所述目标车辆通过无线连接将所述实时视觉图像发送至所述基站；
所述基站架通过所述核心网络将所述实时视觉图像发送至所述边缘计算单元；
所述边缘计算单元通过预先构建的目标检测模型对所述实时视觉图像进行目标检测处理，得到目标检测结果；
所述边缘计算单元通过所述核心网络将所述目标检测结果发送至所述基站；
所述基站将所述目标检测结果发送至所述目标车辆。
6.根据权利要求5所述的目标检测系统，其特征在于，所述目标车辆实时获取车前方的实时视觉图像，包括：
所述目标车辆实时获取车前方视觉图像；
所述目标车辆使用python imaging library库对所述车前方视觉图像进行本地压缩处理，得到压缩后的实时视觉图像。
7.一种目标检测模型构建装置，其特征在于，所述目标检测模型构建装置应用于边缘计算单元，包括：
构建单元，用于预先构建E-YOLOv5网络结构；其中，所述E-YOLOv5网络结构包括Focus模块、CBL模块、残差单元、CSP1_x块、CSP2_x块、SPP模块、CSM块；
获取单元，用于使用KITTI数据集获取自主车前方的图像样本；其中，所述图像样本包括3D边界框样本和自主车前方的视觉图像样本；
投影单元，用于将所述3D边界框样本投影到摄像头帧坐标系中，得到用于训练和评估所述E-YOLOv5网络结构的2D边界框；
训练单元，用于通过所述2D边界框和所述视觉图像样本对所述E-YOLOv5网络结构进行训练，得到训练好的E-YOLOv5网络结构；
模型评估单元，用于通过所述2D边界框对所述训练好的E-YOLOv5网络结构进行检测质量评估，得到评估结果；
确定单元，用于在所述评估结果超过预设阈值时，则将所述训练好的E-YOLOv5网络结构确定为目标检测模型；
目标检测单元，用于通过所述目标检测模型对目标车辆通过无线连接发送的实时视觉图像进行目标检测处理，得到目标检测结果；
反馈单元，用于将所述目标检测结果通过无线连接反馈至所述目标车辆。
8.根据权利要求7所述的目标检测模型构建装置，其特征在于，所述目标检测单元包括：
接收子单元，用于接收目标车辆通过基站传输的实时视觉图像；
解压缩子单元，用于对所述实时视觉图像进行解压缩处理，得到解压缩图像；
检测子单元，用于通过所述目标检测模型对所述解压缩图像进行目标检测处理，得到目标检测结果。
9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至4中任一项所述的目标检测模型构建方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至4任一项所述的目标检测模型构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410411902.8A CN118015598B (zh) | 2024-04-08 | 2024-04-08 | 一种目标检测模型构建方法、装置及目标检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410411902.8A CN118015598B (zh) | 2024-04-08 | 2024-04-08 | 一种目标检测模型构建方法、装置及目标检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118015598A CN118015598A (zh) | 2024-05-10 |
| CN118015598B true CN118015598B (zh) | 2024-06-25 |
Family
ID=90948730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410411902.8A Active CN118015598B (zh) | 2024-04-08 | 2024-04-08 | 一种目标检测模型构建方法、装置及目标检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118015598B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428646A (zh) * | 2020-03-25 | 2020-07-17 | 东风汽车集团有限公司 | 一种基于边缘云计算的驾驶员接管保障方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728210A (zh) * | 2019-09-25 | 2020-01-24 | 上海交通大学 | 一种三维点云数据的半监督目标标注方法和系统 |
| CN113688723B (zh) * | 2021-08-21 | 2024-03-19 | 河南大学 | 一种基于改进YOLOv5的红外图像行人目标检测方法 |
| CN114677329A (zh) * | 2022-03-01 | 2022-06-28 | 浙江大学 | 基于移动边缘计算的坑洞边缘图像目标检测系统 |
| EP4257927A1 (en) * | 2022-04-06 | 2023-10-11 | Zenseact AB | Vehicle pose assessment |
| CN116767281A (zh) * | 2023-07-21 | 2023-09-19 | 中国第一汽车股份有限公司 | 一种辅助驾驶方法、装置、设备、车辆和介质 |
-
2024
- 2024-04-08 CN CN202410411902.8A patent/CN118015598B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428646A (zh) * | 2020-03-25 | 2020-07-17 | 东风汽车集团有限公司 | 一种基于边缘云计算的驾驶员接管保障方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于混合域注意力和多尺度特征的交通目标检测算法研究;胡不为;中国优秀硕士学位论文全文数据库;20220515;第2.1、4.2-4.3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118015598A (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3944147A1 (en) | Target detection method, model training method, device, apparatus and storage medium | |
| CN104217592B (zh) | 人流量统计方法、设备及系统 | |
| CN109947793B (zh) | 伴随关系的分析方法、装置和存储介质 | |
| CN110807385A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN110443190B (zh) | 一种对象识别方法和装置 | |
| CN113052029A (zh) | 基于动作识别的异常行为监管方法、装置及存储介质 | |
| CN109190648B (zh) | 模拟环境生成方法、装置、移动终端及计算机可读取存储介质 | |
| EP3594848B1 (en) | Queue information acquisition method, device and computer readable storage medium | |
| KR20200017611A (ko) | 딥러닝을 이용한 위치 측위 방법 및 장치 | |
| CN113284144B (zh) | 一种基于无人机的隧道检测方法及装置 | |
| US20220345919A1 (en) | Communication terminal and communication quality prediction method | |
| KR20200017612A (ko) | 딥러닝을 이용한 위치 측위 학습 방법 | |
| CN108257244B (zh) | 电力巡检方法、装置、存储介质和计算机设备 | |
| CN111065044B (zh) | 基于大数据的数据关联分析方法、装置及计算机存储介质 | |
| CN118015598B (zh) | 一种目标检测模型构建方法、装置及目标检测系统 | |
| CN109903308B (zh) | 用于获取信息的方法及装置 | |
| CN111695404B (zh) | 行人跌倒检测方法、装置、电子设备及存储介质 | |
| Marakkalage et al. | Identifying indoor points of interest via mobile crowdsensing: An experimental study | |
| CN112528825A (zh) | 一种基于图像识别的车站乘客招援服务方法 | |
| CN112016380A (zh) | 野生动物监测方法及系统 | |
| CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
| CN111523529B (zh) | 基于乘客出行轨迹的轨道交通疫情防控系统及方法 | |
| CN112859109B (zh) | 无人机全景图像处理方法、装置及电子设备 | |
| CN112102398B (zh) | 一种定位方法、装置、设备及存储介质 | |
| CN111107139B (zh) | 信息推送方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |