CN115775366A - 道路目标检测方法、检测装置、电子设备及存储介质 - Google Patents

道路目标检测方法、检测装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115775366A
CN115775366A CN202211373226.7A CN202211373226A CN115775366A CN 115775366 A CN115775366 A CN 115775366A CN 202211373226 A CN202211373226 A CN 202211373226A CN 115775366 A CN115775366 A CN 115775366A
Authority
CN
China
Prior art keywords
road
target detection
detection model
target
road target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211373226.7A
Other languages
English (en)
Inventor
杨哲
王亚军
李�瑞
王邓江
马冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wanji Iov Technology Co ltd
Original Assignee
Suzhou Wanji Iov Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wanji Iov Technology Co ltd filed Critical Suzhou Wanji Iov Technology Co ltd
Priority to CN202211373226.7A priority Critical patent/CN115775366A/zh
Publication of CN115775366A publication Critical patent/CN115775366A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种道路目标检测方法、检测装置、电子设备及存储介质，道路目标检测方法，包括：根据历史道路视频，获取对应的样本集，样本集至少包括训练集；根据BiSeNet语义分割模型以及YOLO目标检测网络模型，构建初始道路目标检测模型；将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型；输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息，道路目标信息至少包括道路目标类型以及道路目标位置。本方法实现了根据训练初始道路目标检测模型获得的目标道路目标检测模型，对当前道路视频进行道路目标检测，目标道路目标检测模型可以融合多层特征信息，提高了对道路目标进行检测的检测精度。

Description

道路目标检测方法、检测装置、电子设备及存储介质
技术领域
本申请属于道路检测技术领域，尤其涉及一种道路目标检测方法、检测装置、电子设备及存储介质。
背景技术
汽车已经成为现代社会的主要交通工具，给人们带来诸多便利；但随着汽车数量的不断增加，汽车带来的交通问题不断上升，例如城市拥堵及交通事故等问题；因此，对道路目标(例如，车辆以及行人等)进行检测，根据检测结果进行车辆分流、限速及红绿灯的设置尤为重要。
目前，主要通过Faster Rcnn模型(Faster Regions with CNN Features，FasterRcnn)、Mask Rcnn模型(Mask Regions with CNN Features，Mask Rcnn)、SSD网络(SingleShot MultiBox Detector，SSD)或者YOLO目标检测模型(You Only Live Onc，YOLO)对采集到的道路图像进行检测，由于Faster Rcnn模型、Mask Rcnn模型、SSD网络以及YOLO目标检测模型的结构比较简单，无法有效学习到复杂交通场景中的特征信息，导致Faster Rcnn模型、Mask Rcnn模型、SSD网络或者YOLO目标检测模型对道路目标进行检测的检测精度较低。
发明内容
有鉴于此，本申请实施例提供了一种道路目标检测方法、检测装置、电子设备及存储介质，以克服或者至少部分地解决以上现有技术的问题。
第一方面，本申请实施例提供了一种道路目标检测方法，包括：根据历史道路视频，获取对应的样本集，样本集至少包括训练集；根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型；将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型；输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息，道路目标信息至少包括道路目标类型以及道路目标位置。
其中，在一些可选实施例中，根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型，包括：融合BiSeNet语义分割模型的短期密集级联STDC结构、YOLO目标检测模型的CSP结构以及YOLO目标检测模型的SPP结构，获得初始道路目标检测模型。
其中，在一些可选实施例中，将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型，包括：将训练集输入初始道路目标检测模型进行训练，获得训练结果；输入训练结果至SIOU损失函数，获得对应的损失值；根据损失值，通过反向传播算法，对初始道路目标检测模型进行迭代训练，获得目标道路目标检测模型。
其中，在一些可选实施例中，样本集还包括测试集，输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息之前，道路目标检测方法还包括：根据测试集确定目标道路目标检测模型是否收敛；输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息，包括：当根据测试集确定目标道路目标检测模型收敛时，输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息。
其中，在一些可选实施例中，根据测试集确定目标道路目标检测模型是否收敛，包括：输入测试集至目标道路目标检测模型，获得预测信息；确定测试集的真实信息与预测信息的差异值；根据差异值，确定目标道路目标检测模型是否收敛。
其中，在一些可选实施例中，初始道路目标检测模型包括第一CBL卷积模块、第一Stage模块、第二CBL卷积模块、第二Stage模块、第三CBL卷积模块、第三Stage模块、第四CBL卷积模块、第四Stage模块以及YOLO目标检测模型的Head检测头模块，初始道路目标检测模型使用shortcut结构；第一Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层CSPNet层以及一层CBL卷积层组成，第二Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层CSP层以及一层CBL卷积层组成，第三Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层SPP层以及一层CBL卷积层组成，第四Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层CSP层以及一层CBL卷积层组成。
其中，在一些可选实施例中，根据历史道路视频，获取对应的样本集，包括：将历史道路视频进行抽帧，获得帧图像；标注帧图像，获得对应的标注图像；按照预设划分规则，对标注图像进行划分，获得对应的样本集。
第二方面，本申请实施例提供了一种道路目标检测装置，包括获取模块、构建模块、训练模块以及输入模块。获取模块，用于根据历史道路视频，获取对应的样本集，样本集至少包括训练集；构建模块，用于根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型；训练模块，用于将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型；输入模块，用于输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息，道路目标信息至少包括道路目标类型以及道路目标位置。
第三方面，本申请实施例提供了一种电子设备，包括存储器；一个或多个处理器，与存储器耦接；一个或多个应用程序，其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行如上述第一方面提供的道路目标检测方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行如上述第一方面提供的道路目标检测方法。
第五方面，本申请实施例提供了一种计算机程序产品，计算机程序产品在计算机设备上运行时，使得计算机设备执行如上述第一方面提供的道路目标检测方法。
本申请提供的方案，根据历史道路视频，获取对应的样本集，样本集至少包括训练集，并根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型，并将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型，以及输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息，道路目标信息至少包括道路目标类型以及道路目标位置，实现了根据训练初始道路目标检测模型获得的目标道路目标检测模型，对当前道路视频进行道路目标检测，目标道路目标检测模型可以融合多层特征信息，提高了对道路目标进行检测的检测精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本申请实施例提供的道路目标检测系统的一种场景示意图。
图2示出了本申请实施例提供的道路目标检测方法的一种流程示意图。
图3示出了本申请实施例提供的道路目标检测方法中的短期密集级联STDC结构的一种结构示意图。
图4示出了本申请实施例提供的道路目标检测方法中的初始道路目标检测模型的一种结构示意图。
图5示出了本申请实施例提供的道路目标检测方法的另一种流程示意图。
图6示出了本申请实施例提供的道路目标检测装置的一种结构框图。
图7示出了本申请实施例提供的电子设备的一种功能框图。
图8示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例提供的道路目标检测方法的程序代码的计算机可读存储介质。
图9示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例提供的道路目标检测方法的程序代码的计算机程序产品。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
请参阅图1，其示出了本申请实施例提供的道路目标检测系统的一种应用场景示意图，可以包括道路100、视频采集设备200以及处理设备300。视频采集设备200安装于100，并用于对道路100的道路视频进行采集。视频采集设备200通过网络连接于处理设备300，并通过网络与处理设备300进行数据交互。
其中，视频采集设备200可以为激光雷达或者摄像机等，此处不作限定。
网络可以为紫蜂(ZigBee)网络、蓝牙(Bluetooth，BT)网络、无线保真(WirelessFidelity，Wi-Fi)网络、家庭物联网通讯协定技术(Thread)网络、远距离无线电(LongRange Radio，LoRa)网络、低功率广域网络(Low-Power Wide-Area Network，LPWAN)、红外网络、窄带物联网(Narrow Band Internet of Things，NB-IoT)、基于控制器局域网络(Controller Area Network，CAN)、数字生活网络联盟(Digital Living NetworkAlliance，DLNA)网络、广域网(Wide Area Network，WAN)、局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)或者无线个人局域网(WirelessPersonal Area Network，WPAN)等中的任一种，此处不作限定。
处理设备300可以为服务器或者终端设备等，此处不作限定，具体可以根据实际需求进行设置。
服务器可以为独立的物理服务器，也可以为多个物理服务器构成的服务器集群或者分布式系统，还可以为提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、大数据以及人工智能平台等基础云计算服务的云服务器等。
终端设备可以为移动终端设备(例如，车载终端、掌上电脑(Personal DigitalAssistant，PDA)、平板电脑(Tablet Personal Computer，TabletPC)、笔记本电脑等)，或者固定终端设备(台式计算机、智能面板等)等。
请参阅图2，其示出了本申请一个实施例提供的道路目标检测方法的流程图。在具体的实施例中，道路目标检测方法可以应用于如图1所示的道路目标检测系统中的处理设备300，下面以处理设备300为例，对图2所示的流程进行详细阐述，道路目标检测方法可以包括以下步骤S110至步骤S140。
步骤S110：根据历史道路视频，获取对应的样本集。
在本申请实施例中，视频采集设备实时对道路进行道路视频采集，并将采集到的道路视频通过网络发送至处理设备，处理设备通过网络接收视频采集设备发送的道路视频。
处理设备可以根据历史道路视频，获取历史道路视频对应的样本集。其中，历史道路视频为视频采集设备在历史时刻采集到的道路视频，样本集可以包括训练集以及测试集，训练集可以用于训练用于检测道路目标的网络模型，测试集可以用于对训练后的网络模型进行测试，并根据测试结果确定是否停止对网络模型的训练。
测试结果包括收敛结果以及未收敛结果；当测试结果为收敛结果时，则停止对网络模型的训练；当测试结果为未收敛结果时，则继续对网络模型进行训练。
具体地，处理设备可以将历史道路视频进行抽帧处理，获得帧图像，并对帧图像进行标注，获得帧图像对应的标注图像，并按照预设划分规则，对标注图像进行划分，获得标注图像对应的样本集。此外，处理设备也可以对历史道路视频对应的全部帧图像进行标注，获得对应的标注图像，并按照预设划分规则，对标注图像进行划分，获得标注图像对应的样本集。
预设划分规则可以为人为规则，例如，预设划分规则可以为训练集：测试集＝7:5的人为规则，当样本集包含12000张标注图像时，训练集为7000张，测试集为5000张；预设划分规则也可以为训练集：测试集＝1:1的人为规则，当样本集包含12000张标注图像时，训练集为6000张，测试集为6000张。此处不限定预设划分规则的类型，具体可以根据实际需求进行设置。
在本申请实施例中，历史道路视频可以为多个采集条件下采集的道路视频，多个采集条件为多个道路、多个监控角度、多个时间段或者多个天气(例如，晴天、雨天或者雾天等)等中的至少任一种，根据多个采集条件下采集的道路视频，获取对应的样本集，可保证根据样本集训练的检测模型具有泛化性，可保证检测模型的检测精度。
处理设备在对帧图像进行标注时，主要标注帧图像中的道路目标类型以及道路目标位置，例如，用标注框对帧图像中的道路目标类型进行标注，并对标注框的中心点位置进行标注，标注框的中心点位置为道路目标类型对应的道路目标位置。
例如，道路目标类型可以包括行人、自行车、A外卖车、B外卖车、C外卖车、普通三轮车、快递三轮车、小汽车、大巴车、小货车、大货车等。
步骤S120：根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型。
在本申请实施例中，处理设备可以根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型(STDC-YOLO模型)。具体地，处理设备可以融合BiSeNet语义分割模型的短期密集级联STDC结构、YOLO目标检测模型的CSP结构以及YOLO目标检测模型的SPP结构，得到初始道路目标检测模型。
其中，如图3所示，其示出了短期密集级联STDC结构的一种结构示意图。短期密集级联STDC结构包括第一特征模块、Block1、第二特征模块、Block2、第三特征模块、Block3、第四特征模块、Block4、第五特征模块、平均池化模块(AVG Pool)、拼接模块(Concat)以及第六特征模块。第一特征模块为输入层，第一特征模块包括N个通道数。
Block1、Block2、Block3以及Block4均表示输入依次经过卷积操作、BN批次正则化操作和Relu激活函数计算。每个Block保证特征图的输出尺寸不变，Block1、Block2以及Block3输出的特征图通道数降低一半，Block4输出的特征图通道数(即第五特征模块的特征图通道数)与第四特征模块的特征图通道数相同。
Block1包括Conv1*1层，第一特征模块经过Block1后，得到第二特征模块，第二特征模块包括N/2个特征图通道数。Block2包括Conv3*3层，第二特征模块经过Block2后，得到第三特征模块，第三特征模块包括N/4个特征图通道数。Block3包括Conv3*3层，第三特征模块经过Block3后，得到第四特征模块，第四特征模块包括N/8个特征图通道数。Block4包括Conv3*3层，第四特征模块经过Block4后，得到第五特征模块，第五特征模块包括N/8个特征图通道数。
第二特征模块经过AVG Pool模块后输入至Concat模块，AVG Pool模块为3*3的池化层。Concat模块融合AVG Pool模块的输出、第三特征模块、第四特征模块以及第五特征模块，得到第六特征模块，第六特征模块包括N个特征图通道数。
短期密集级联STDC结构的深层特征图通道数(第四特征模块的特征图通道数以及第五特征模块的特征图通道数)少、浅层特征图通道数(第一特征模块的特征图通道数、第二特征模块的特征图通道数以及第三特征模块的特征图通道数)多，短期密集级联STDC结构的浅层网络关注特征编码细节信息，深层网络关注高层次信息，深层网络中过多的特征图通道数会导致信息冗余。短期密集级联STDC结构中，随着网络层数的加深，特征图通道数逐渐减少，短期密集级联STDC结构的计算量减少。
YOLO目标检测模型中的CSP结构可使模型学习到更加丰富的梯度组合信息，降低了网络计算量。其中，CSP结构的初始层的特征图被分割为两部分，通过两条支路传播梯度流，由于过渡层Transition的作用，信息梯度流被截断，梯度信息不被重用使得两条路径中的传播信息具有较大的差异，有效减少了重复的梯度信息。因此，YOLO目标检测模型中的CSP结构能够提高初始道路目标检测模型的学习能力，简化了初始道路目标检测模型的模型结构同时保证了模型检测精度。
YOLO目标检测模型的SPP结构可以对不同尺寸的图像输出固定大小的特征图，通过空间金字塔池化可以增加网络的感受野。
在一种应用场景中，如图4所示，其示出了初始道路目标检测模型的一种结构示意图。初始道路目标检测模型包括依次连接的第一CBL卷积模块、第一Stage模块(Stage1)、第二CBL卷积模块、第二Stage模块(Stage2)、第三CBL卷积模块、第三Stage模块(Stage3)、第四CBL卷积模块、第四Stage(Stage4)模块以及YOLO目标检测模型的Head检测头模块。
第一CBL卷积模块包括3层CBL卷积层，第二CBL卷积模块包括2层CBL卷积层，第三CBL卷积模块包括2层CBL卷积层，第四CBL卷积模块包括2层CBL卷积层。CBL卷积层表示包含卷积层、BN层、LeakRelu激活层。
第一Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层CSP层以及一层CBL卷积层组成，第二Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层CSP层以及一层CBL卷积层组成，第三Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层SPP层以及一层CBL卷积层组成，第四Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层CSP层以及一层CBL卷积层组成。
初始道路目标检测模型使用shortcut结构，将低层次的特征与高层次特征结合，丰富网络的特征信息，同时采取短期密集级联STDC结构，连接多个连续层的特征图，并通过降低特征图维度，大大降低初始道路目标检测模型计算量，多个网络层特征的组合也保证了初始道路目标检测模型在目标检测中的性能。
当输入尺寸为608*608*3时，在第二Stage、第三Stage、第四Stage步分别生成8倍、16倍、32倍下采样的特征图，并通过shortcut结构聚合多尺度信息，SPP结构扩大网络的感受野，以及通过丰富的细节信息与提取的上下文信息进行融合，对目标进行分类预测。
步骤S130：将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型。
在本申请实施例中，处理设备在根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型之后，可以将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型。
具体地，处理设备在根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型之后，可以将训练集输入初始道路目标检测模型进行训练，获得训练结果，并输入训练结果至SIOU损失函数，获得对应的损失值，以及根据损失值，通过反向传播算法，对初始道路目标检测模型进行迭代训练，获得目标道路目标检测模型。
其中，SIOU损失函数为目标框损失函数，可以根据预测框与真实框的交并比IOU、距离损失Δ、形变损失Ω，按照公式一，计算目标框损失函数L。
公式一为：
Figure BDA0003925144750000111
可以根据横坐标变化ρx、纵坐标变化ρy以及角度变化Υ，根据公式二，计算距离损失Δ。
公式二为：
Figure BDA0003925144750000112
其中，
Figure BDA0003925144750000113
Bx gt为真实框横坐标，Bx为预测框横坐标，Cw为预测框与真实框最小外接矩形的宽；
Figure BDA0003925144750000114
By gt为真实框纵坐标，By为预测框纵坐标，Ch为预测框与真实框最小外接矩形的高；
γ＝2-τ，τ为角度损失，τ＝2sinαsinβ，
Figure BDA0003925144750000115
Figure BDA0003925144750000121
可以根据预测框宽wgt、预测框高hgt、真实框宽w、真实框高h以及形变角度θ，根据公式三，计算形变损失Ω。
公式三为：
Figure BDA0003925144750000122
步骤S140：输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息。
在本申请实施例中，处理设备在将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型之后，可以输入当前道路视频至目标道路目标检测模型，目标道路目标检测模型接收并响应当前道路视频，对当前道路视频进行检测，并将当前道路视频对应的道路目标信息输出至处理设备，处理设备接收目标道路目标检测模型输出的道路目标信息，实现了根据训练初始道路目标检测模型获得的目标道路目标检测模型，对当前道路视频进行道路目标检测，目标道路目标检测模型可以融合多层特征信息，提高了对道路目标进行检测的检测精度。其中，道路目标信息至少包括道路目标类型以及道路目标位置。
本实施例提供的方案，根据历史道路视频，获取对应的样本集，样本集至少包括训练集，并根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型，并将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型，以及输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息，道路目标信息至少包括道路目标类型以及道路目标位置，实现了根据训练初始道路目标检测模型获得的目标道路目标检测模型，对当前道路视频进行道路目标检测，目标道路目标检测模型可以融合多层特征信息，提高了对道路目标进行检测的检测精度。
请参阅图5，其示出了本申请另一个实施例提供的道路目标检测方法的流程图。在具体的实施例中，道路目标检测方法可以应用于如图1所示的道路目标检测系统中的处理设备300，下面以处理设备300为例，对图5所示的流程进行详细阐述，道路目标检测方法可以包括以下步骤S210至步骤S250。
步骤S210：根据历史道路视频，获取对应的样本集。
步骤S220：根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型。
步骤S230：将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型。
在本实施例中，步骤S210、步骤S220以及步骤S230可以参阅前述实施例中相应步骤的内容，此处不再赘述。
步骤S240：根据测试集确定目标道路目标检测模型是否收敛。
在本实施例中，样本集还可以包括测试集，为了获得稳定的目标道路目标检测模型，处理设备可以根据测试集确定目标道路目标检测模型是否收敛。具体地，处理设备可以输入测试集至目标道路目标检测模型，目标道路目标检测模型接收并响应测试集，对测试集进行测试，获得预测信息，并将预测信息输出至处理设备，处理设备接收目标道路目标检测模型输出的预测信息，并确定测试集的真实信息与预测信息的差异值，以及根据差异值，确定目标道路目标检测模型是否收敛。
其中，差异值为多个，当多个差异值均处于预设范围时，表示多个差异值达到稳定，则确定目标道路目标检测模型收敛；当多个差异值中存在未处于预设范围的差异值时，表示多个差异值未达到稳定，则确定目标道路目标检测模型未收敛。
预设范围可以为用户预先设定的差异值范围，也可以为处理设备根据多次对初始道路目标检测模型进行训练的训练过程，自动生成的差异值范围等，此处不作限定。
在一些实施方式中，为了提高对初始道路目标检测模型进行训练的训练效率，处理设备可以在对初始道路目标检测模型进行预设次数训练后，获得目标道路目标检测模型，并将测试集输入目标道路目标检测模型，目标道路目标检测模型接收并响应测试集，对测试集进行测试，获得预测信息，并将预测信息输出至处理设备，处理设备接收目标道路目标检测模型输出的预测信息，并确定测试集的真实信息与预测信息的差异值，以及根据差异值，确定目标道路目标检测模型是否收敛。
预设次数可以为用户预先设定的次数，也可以为处理设备根据多次对初始道路目标检测模型进行训练的训练过程，自动生成的次数等，此处不作限定，具体可以根据实际需求进行设置。
作为一种示例，预设次数可以为500次，处理设备可以在对初始道路目标检测模型进行500次训练后，获得目标道路目标检测模型，并将测试集输入目标道路目标检测模型，目标道路目标检测模型接收并响应测试集，对测试集进行测试，获得预测信息，并将预测信息输出至处理设备，处理设备接收目标道路目标检测模型输出的预测信息，并确定测试集的真实信息与预测信息的差异值，以及根据差异值，确定目标道路目标检测模型是否收敛。
步骤S250：当根据测试集确定目标道路目标检测模型收敛时，输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息。
在本实施例中，步骤S250可以参阅前述实施例中相应步骤的内容，此处不再赘述。
本实施例提供的方案，根据历史道路视频，获取对应的样本集，并根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型，并将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型，并根据测试集确定目标道路目标检测模型是否收敛，以及当根据测试集确定目标道路目标检测模型收敛时，输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息，实现了根据训练初始道路目标检测模型获得的目标道路目标检测模型，对当前道路视频进行道路目标检测，目标道路目标检测模型可以融合多层特征信息，提高了对道路目标进行检测的检测精度。
进一步地，根据测试集确定目标道路目标检测模型是否收敛，并在根据测试集确定目标道路目标检测模型收敛时，对当前道路视频进行道路目标检测，保证了检测道路视频的目标道路目标检测模型的稳定性，提高了道路目标的检测可信度。
请参阅图6，其示出了本申请一个实施例提供的道路目标检测装置300，道路目标检测装置300可以应用于如图1所示的道路目标检测系统中的处理设备300，下面以处理设备300为例，对图6所示的道路目标检测装置300进行详细阐述，道路目标检测装置300可以包括获取模块310、构建模块320、训练模块330以及输入模块340。
获取模块310可以用于根据历史道路视频，获取对应的样本集，样本集至少包括训练集；构建模块320可以用于根据BiSeNet语义分割模型以及YOLO目标检测网络模型，构建初始道路目标检测模型；训练模块330可以用于将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型；输入模块340可以用于输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息，道路目标信息至少包括道路目标类型以及道路目标位置。
在一些实施方式中，构建模块320可以包括融合单元。
融合单元可以用于融合BiSeNet语义分割模型的短期密集级联STDC结构、YOLO目标检测模型的CSP结构以及YOLO目标检测模型的SPP结构，获得初始道路目标检测模型。
在一些实施方式中，训练模块330可以包括第一输入单元、第二输入单元以及迭代单元。
第一输入单元可以用于将训练集输入初始道路目标检测模型进行训练，获得训练结果；第二输入单元可以用于输入训练结果至SIOU损失函数，获得对应的损失值；迭代单元可以用于根据损失值，通过反向传播算法，对初始道路目标检测模型进行迭代训练，获得目标道路目标检测模型。
在一些实施方式中，样本集还可以包括测试集，道路目标检测装置300还可以包括确定模块。
确定模块可以用于输入模块340输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息之前，根据测试集确定目标道路目标检测模型是否收敛。
在一些实施方式中，确定模块可以包括第三输入单元、第一确定单元以及第二确定单元。
第三输入单元可以用于输入测试集至目标道路目标检测模型，获得预测信息；第一确定单元可以用于确定测试集的真实信息与预测信息的差异值；第二确定单元可以用于根据差异值，确定目标道路目标检测模型是否收敛。
在一些实施方式中，初始道路目标检测模型可以包括第一CBL卷积模块、第一Stage模块、第二CBL卷积模块、第二Stage模块、第三CBL卷积模块、第三Stage模块、第四CBL卷积模块、第四Stage模块以及YOLO目标检测中的Head检测头模块，初始道路目标检测模型使用shortcut结构；第一Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层CSP层以及一层CBL卷积层组成，第二Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层CSP层以及一层CBL卷积层组成，第三Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层SPP层以及一层CBL卷积层组成，第四Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层CSP层以及一层CBL卷积层组成。
在一些实施方式中，获取模块310可以包括抽帧单元、标注单元以及划分单元。
抽帧单元可以用于将历史道路视频进行抽帧，获得帧图像；标注单元可以用于标注帧图像，获得对应的标注图像；划分单元可以用于按照预设划分规则，对标注图像进行划分，获得对应的样本集。
本实施例提供的方案，根据历史道路视频，获取对应的样本集，样本集至少包括训练集，并根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型，并将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型，以及输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息，道路目标信息至少包括道路目标类型以及道路目标位置，实现了根据训练初始道路目标检测模型获得的目标道路目标检测模型，对当前道路视频进行道路目标检测，目标道路目标检测模型可以融合多层特征信息，提高了对道路目标进行检测的检测精度。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。对于方法实施例中的所描述的任意的处理方式，在装置实施例中均可以通过相应的处理模块实现，装置实施例中不再一一赘述。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图7，其示出了本申请一个实施例提供的电子设备400的功能框图，该电子设备400可以包括一个或多个如下部件：存储器410、处理器420、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器410中并被配置为由一个或多个处理器420执行，一个或多个应用程序配置用于执行如前述方法实施例所描述的方法。
存储器410可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器410可用于存储指令、程序、代码、代码集或指令集。存储器410可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如获取样本集、构建初始道路目标检测模型、输入训练集、获得目标道路目标检测模型、输入当前道路视频、获得道路目标信息、融合网络模型、进行训练、获得训练结果、输入训练结果、获得损失值、迭代训练、确定是否收敛、确定收敛、输入测试集、获得预测信息、确定差异值、抽帧、获得帧图像、标注帧图像、获得标注图像、划分标注图像以及获得样本集等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备400在使用中所创建的数据(比如历史道路视频、样本集、训练集、BiSeNet语义分割模型、YOLO目标检测模型、初始道路目标检测模型、目标道路目标检测模型、当前道路视频、道路目标信息、道路目标类型、道路目标位置、CSP结构、SPP结构、训练结果、SIOU损失函数、损失值、反向传播算法、迭代、测试集、收敛、预测信息、真实信息、差异值、第一CBL卷积模块、第一Stage模块、第二CBL卷积模块、第二Stage模块、第三CBL卷积模块、第三Stage模块、第四CBL卷积模块、第四Stage模块、YOLO目标检测中的Head检测头模块、shortcut结构、CBL卷积层、短期密集级联STDC层、CSP层、SPP层、帧图像、标注图像以及划分规则)等。
处理器420可以包括一个或者多个处理核。处理器420利用各种接口和线路连接整个电子设备400内的各个部分，通过运行或执行存储在存储器410内的指令、程序、代码集或指令集，以及调用存储在存储器410内的数据，执行电子设备400的各种功能和处理数据。可选地，处理器420可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器420可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器420中，单独通过一块通信芯片进行实现。
请参考图8，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质500中存储有程序代码510，程序代码510可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质500可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质500包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质500具有执行上述方法中的任何方法步骤的程序代码510的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码510可以例如以适当形式进行压缩。
请参考图9，其示出了本申请实施例提供的一种计算机程序产品600的结构框图。该计算机程序产品600包括计算机程序/指令610，计算机程序/指令610存储在计算机设备的计算机可读存储介质中。计算机程序产品600在计算机设备上运行时，计算机设备的处理器从计算机可读存储介质读取计算机程序/指令610，处理器执行计算机程序/指令610，使得该计算机设备执行上述方法实施例中所描述的方法。
本实施例提供的方案，根据历史道路视频，获取对应的样本集，样本集至少包括训练集，并根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型，并将训练集输入初始道路目标检测模型进行训练，获得目标道路目标检测模型，以及输入当前道路视频至目标道路目标检测模型，获得对应的道路目标信息，道路目标信息至少包括道路目标类型以及道路目标位置，实现了根据训练初始道路目标检测模型获得的目标道路目标检测模型，对当前道路视频进行道路目标检测，目标道路目标检测模型可以融合多层特征信息，提高了对道路目标进行检测的检测精度。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种道路目标检测方法，其特征在于，包括：
根据历史道路视频，获取对应的样本集，所述样本集至少包括训练集；
根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型；
将所述训练集输入所述初始道路目标检测模型进行训练，获得目标道路目标检测模型；
输入当前道路视频至所述目标道路目标检测模型，获得对应的道路目标信息，所述道路目标信息至少包括道路目标类型以及道路目标位置。
2.根据权利要求1所述的道路目标检测方法，其特征在于，所述根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型，包括：
融合所述BiSeNet语义分割模型的短期密集级联STDC结构、所述YOLO目标检测模型的CSP结构以及所述YOLO目标检测模型的SPP结构，获得初始道路目标检测模型。
3.根据权利要求1所述的道路目标检测方法，其特征在于，所述将所述训练集输入所述初始道路目标检测模型进行训练，获得目标道路目标检测模型，包括：
将所述训练集输入所述初始道路目标检测模型进行训练，获得训练结果；
输入所述训练结果至SIOU损失函数，获得对应的损失值；
根据所述损失值，通过反向传播算法，对所述初始道路目标检测模型进行迭代训练，获得目标道路目标检测模型。
4.根据权利要求1所述的道路目标检测方法，其特征在于，所述样本集还包括测试集，所述输入当前道路视频至所述目标道路目标检测模型，获得对应的道路目标信息之前，还包括：
根据所述测试集确定所述目标道路目标检测模型是否收敛；
所述输入当前道路视频至所述目标道路目标检测模型，获得对应的道路目标信息，包括：
当根据所述测试集确定所述目标道路目标检测模型收敛时，输入当前道路视频至所述目标道路目标检测模型，获得对应的道路目标信息。
5.根据权利要求4所述的道路目标检测方法，其特征在于，所述根据所述测试集确定所述目标道路目标检测模型是否收敛，包括：
输入所述测试集至所述目标道路目标检测模型，获得预测信息；
确定所述测试集的真实信息与所述预测信息的差异值；
根据所述差异值，确定所述目标道路目标检测模型是否收敛。
6.根据权利要求1所述的道路目标检测方法，其特征在于，所述初始道路目标检测模型包括第一CBL卷积模块、第一Stage模块、第二CBL卷积模块、第二Stage模块、第三CBL卷积模块、第三Stage模块、第四CBL卷积模块、第四Stage模块以及YOLO目标检测模型中的Head检测头模块，所述初始道路目标检测模型使用shortcut结构；
所述第一Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层CSP层以及一层CBL卷积层组成，所述第二Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层CSP层以及一层CBL卷积层组成，所述第三Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层SPP层以及一层CBL卷积层组成，所述第四Stage模块由依次连接的一层CBL卷积层、一层短期密集级联STDC层、一层CSP层以及一层CBL卷积层组成。
7.根据权利要求1至6中任一项所述的道路目标检测方法，其特征在于，所述根据所述历史道路视频，获取对应的样本集，包括：
将历史道路视频进行抽帧，获得帧图像；
标注所述帧图像，获得对应的标注图像；
按照预设划分规则，对所述标注图像进行划分，获得对应的样本集。
8.一种道路目标检测装置，其特征在于，包括：
获取模块，用于根据历史道路视频，获取对应的样本集，所述样本集至少包括训练集；
构建模块，用于根据BiSeNet语义分割模型以及YOLO目标检测模型，构建初始道路目标检测模型；
训练模块，用于将所述训练集输入所述初始道路目标检测模型进行训练，获得目标道路目标检测模型；
输入模块，用于输入当前道路视频至所述目标道路目标检测模型，获得对应的道路目标信息，所述道路目标信息至少包括道路目标类型以及道路目标位置。
9.一种电子设备，其特征在于，包括：
存储器；
一个或多个处理器，与所述存储器耦接；
一个或多个应用程序，其中，所述一个或多个应用程序被存储在所述存储器中并被配置为由一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1至7中任一项所述的道路目标检测方法。
10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至7中任一项所述的道路目标检测方法。
CN202211373226.7A 2022-11-03 2022-11-03 道路目标检测方法、检测装置、电子设备及存储介质 Pending CN115775366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211373226.7A CN115775366A (zh) 2022-11-03 2022-11-03 道路目标检测方法、检测装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211373226.7A CN115775366A (zh) 2022-11-03 2022-11-03 道路目标检测方法、检测装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115775366A true CN115775366A (zh) 2023-03-10

Family

ID=85388744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211373226.7A Pending CN115775366A (zh) 2022-11-03 2022-11-03 道路目标检测方法、检测装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115775366A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523902A (zh) * 2023-06-21 2023-08-01 湖南盛鼎科技发展有限责任公司 基于改进yolov5的电子粉涂敷均匀检测方法及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523902A (zh) * 2023-06-21 2023-08-01 湖南盛鼎科技发展有限责任公司 基于改进yolov5的电子粉涂敷均匀检测方法及设备
CN116523902B (zh) * 2023-06-21 2023-09-26 湖南盛鼎科技发展有限责任公司 基于改进yolov5的电子粉涂敷均匀检测方法及设备

Similar Documents

Publication Publication Date Title
CN111626208B (zh) 用于检测小目标的方法和装置
CN112560999B (zh) 一种目标检测模型训练方法、装置、电子设备及存储介质
JP6307356B2 (ja) 運転コンテキスト情報生成装置
CN111582189B (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
CN112382099B (zh) 交通路况预测方法、装置、电子设备及存储介质
Guo et al. Context-aware object detection for vehicular networks based on edge-cloud cooperation
CN116484971A (zh) 车辆的自动驾驶感知自学习方法、装置及电子设备
CN114360239A (zh) 一种多层时空交通知识图谱重建的交通预测方法及系统
CN115909749B (zh) 车辆运行道路风险预警方法、装置、设备及存储介质
CN113643532A (zh) 一种区域交通的预测方法以及设备
CN115775366A (zh) 道路目标检测方法、检测装置、电子设备及存储介质
WO2021146906A1 (zh) 测试场景仿真方法、装置、计算机设备和存储介质
CN115565044A (zh) 一种目标检测方法及系统
CN113780480B (zh) 基于YOLOv5的多目标检测及类别识别模型的构建方法
CN117975418A (zh) 一种基于改进rt-detr的交通标识检测方法
CN115775367A (zh) 道路目标检测方法、检测装置、电子设备及存储介质
CN112597996B (zh) 基于任务驱动的自然场景中交通标志显著性检测方法
CN116704203A (zh) 目标检测方法、装置、电子设备、计算机可读存储介质
CN113793364B (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN115773744A (zh) 模型训练和路网处理方法、装置、设备、介质和产品
CN117911974B (zh) 一种数据处理方法、装置、设备以及存储介质
CN114529768B (zh) 确定对象类别的方法、装置、电子设备和存储介质
CN114898226B (zh) 地图数据处理方法、装置、电子设备和存储介质
CN116246128B (zh) 跨数据集的检测模型的训练方法、装置及电子设备
CN114155495B (zh) 跨海桥梁中车辆运行的安全监控方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination