CN115861964A - 车辆的交通灯检测方法、装置、车辆及存储介质 - Google Patents
车辆的交通灯检测方法、装置、车辆及存储介质 Download PDFInfo
- Publication number
- CN115861964A CN115861964A CN202211524594.7A CN202211524594A CN115861964A CN 115861964 A CN115861964 A CN 115861964A CN 202211524594 A CN202211524594 A CN 202211524594A CN 115861964 A CN115861964 A CN 115861964A
- Authority
- CN
- China
- Prior art keywords
- pruning
- traffic light
- network model
- vehicle
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 238000013138 pruning Methods 0.000 claims abstract description 136
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000001131 transforming effect Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 32
- 230000008859 change Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请涉及车辆的交通灯检测方法、装置、车辆及存储介质,其中,方法包括:获取车辆在矢量地图中的当前位置和所有交通灯的位置信息,并基于当前位置和所有交通灯的位置信息判断车辆前方是否存在交通灯;如果存在交通灯,则采集交通灯的当前图像,并将当前矢量地图中的交通灯的位置投影变换到当前图像中,提取交通灯在当前图像中的至少一个感兴趣区域并输入至预设的剪枝SSD网络模型,输出交通灯的实际状态,其中,预设的剪枝SSD网络模型由丢弃预设数量不满足预设重要性条件的卷积核得到。本申请通过将SSD网络模型剪枝,减少网络模型的冗余参数,并将剪枝后的SSD模型应用到交通灯检测工作中,在保证交通灯检测精度的同时,极大地提高了检测的效率。
Description
技术领域
本申请涉及图像目标检测技术领域,特别涉及一种车辆的交通灯检测方法、装置、车辆及存储介质。
背景技术
在自动驾驶场景中,需要对交通灯的颜色状态进行识别,以控制车辆的刹车和启动,然而基于颜色阈值的传统检测方法鲁棒性较差,当天气及光线发生变化时,检测结果误差较大;且部分交通灯在距离较远的情况下目标过小,对检测识别造成一定的难度。
目前,相关技术可以通过引入矢量地图获取交通灯的三维坐标,通过投影变换计算交通灯在图像中的投影坐标,提取出图像该部分内容,扩大交通灯的面积,同时使用卷积神经网络检测图像中的交通灯,提高交通灯检测的鲁棒性;此外,相关技术还可通过分析当前智能交通系统中,违章检测的不足和缺陷,采用基于CNN(Convolutional NeuralNetworks,卷积神经网络)、SSD(Single Shot MultiBox Detector,单阶段多框检测)等目标检测方法,实时计算路口的遵章率,实现路口智能警力调度。
然而,相关技术中采用的SSD等网络模型存在大量冗余参数,降低了实时交通灯检测过程中的目标检测效率,同时也浪费了大量的计算资源,亟待解决。
发明内容
本申请提供一种车辆的交通灯检测方法、装置、车辆及存储介质,以解决相关技术中采用的SSD等网络模型存在大量冗余参数,降低了实时交通灯检测过程中的目标检测效率,同时也浪费了大量的计算资源等问题。
本申请第一方面实施例提供一种车辆的交通灯检测方法,包括以下步骤:获取车辆在矢量地图中的当前位置和所有交通灯的位置信息,并基于所述当前位置和所述所有交通灯的位置信息判断车辆前方是否存在交通灯;如果存在所述交通灯,则采集所述交通灯的当前图像,并将当前所述矢量地图中的所述交通灯的位置投影变换到所述当前图像中,提取所述交通灯在所述当前图像中的至少一个感兴趣区域;将所述至少一个感兴趣区域输入至预设的剪枝SSD网络模型,输出所述交通灯的实际状态,其中,所述预设的剪枝SSD网络模型由丢弃预设数量不满足预设重要性条件的卷积核得到。
可选地,在本申请的一个实施例中,在将所述至少一个感兴趣区域输入至所述预设的剪枝SSD网络模型之前,还包括:采集道路交通灯数据,生成SSD网络模型的训练数据集;基于所述训练数据集训练所述SSD网络模型,统计所述SSD网络模型中每层网络的L1范数均值,确定所述SSD网络模型中需要剪枝的网络层;为每个所述需要剪枝的网络层随机生成多个不同的剪枝率,基于卷积核的所述L1范数的大小和所述剪枝率,丢弃所述需要剪枝的网络层中所述L1范数小于预设值的卷积核,得到多个剪枝候选模型。
可选地,在本申请的一个实施例中,在得到所述多个剪枝候选模型之后,还包括:判断多个剪枝候选模型的数量是否大于第一预设阈值;如果大于所述第一预设阈值,则计算所述多个剪枝候选模型的检测精度,选择精度最高的模型,作为所述剪枝SSD网络模型;如果小于或等于所述第一预设阈值,则对所述剪枝率进行更新,重新获取所述多个剪枝候选模型。
可选地,在本申请的一个实施例中,在所述得到所述多个剪枝候选模型之后,还包括:基于所述训练数据集,训练所述精度最高的模型,对所述精度最高的模型各个参数进行微调。
可选地,在本申请的一个实施例中,在所述将所述至少一个感兴趣区域输入至预设的剪枝SSD网络模型之后,还包括:判断所述交通灯状态是否改变;若所述交通灯状态未改变,则所述交通灯状态保持前一时刻状态;若所述交通灯状态以所述交通灯的实际时序变换而改变,且所述交通灯状态改变时长超过第二预设阈值时,则将改变后的所述交通灯状态作为最终状态。
本申请第二方面实施例提供一种车辆的交通灯检测装置,包括:获取模块,用于获取车辆在矢量地图中的当前位置和所有交通灯的位置信息,并基于所述当前位置和所述所有交通灯的位置信息判断车辆前方是否存在交通灯;提取模块,用于如果存在所述交通灯,则采集所述交通灯的当前图像,并将当前所述矢量地图中的所述交通灯的位置投影变换到所述当前图像中,提取所述交通灯在所述当前图像中的至少一个感兴趣区域;检测模块,用于将所述至少一个感兴趣区域输入至预设的剪枝SSD网络模型,输出所述交通灯的实际状态,其中,所述预设的剪枝SSD网络模型由丢弃预设数量不满足预设重要性条件的卷积核得到。
可选地,在本申请的一个实施例中,还包括:采集模块,用于在将所述至少一个感兴趣区域输入至所述预设的剪枝SSD网络模型之前采集道路交通灯数据,生成SSD网络模型的训练数据集;确定模块,用于基于所述训练数据集训练所述SSD网络模型,统计所述SSD网络模型中每层网络的L1范数均值,确定所述SSD网络模型中需要剪枝的网络层;丢弃模块,用于为每个所述需要剪枝的网络层随机生成多个不同的剪枝率,基于卷积核的所述L1范数的大小和所述剪枝率,丢弃所述需要剪枝的网络层中所述L1范数小于预设值的卷积核,得到多个剪枝候选模型。
可选地,在本申请的一个实施例中,还包括:第一判断模块,用于在得到所述多个剪枝候选模型之后判断多个剪枝候选模型的数量是否大于第一预设阈值;筛选模块,用于如果大于所述第一预设阈值,则计算所述多个剪枝候选模型的检测精度,选择精度最高的模型,作为所述剪枝SSD网络模型;更新模块,用于如果小于或等于所述第一预设阈值,则对所述剪枝率进行更新,重新获取所述多个剪枝候选模型。
可选地,在本申请的一个实施例中,还包括:微调模块,用于在所述得到所述多个剪枝候选模型之后基于所述训练数据集,训练所述精度最高的模型,对所述精度最高的模型各个参数进行微调。
可选地,在本申请的一个实施例中,还包括:第二判断模块,用于在所述将所述至少一个感兴趣区域输入至预设的剪枝SSD网络模型之后判断所述交通灯状态是否改变;保持模块,用于若所述交通灯状态未改变,则所述交通灯状态保持前一时刻状态;改变模块,用于若所述交通灯状态以所述交通灯的实际时序变换而改变,且所述交通灯状态改变时长超过第二预设阈值时,则将改变后的所述交通灯状态作为最终状态。
本申请第三方面实施例提供一种车辆,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的车辆的交通灯检测方法。
本申请第四方面实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,该程序被处理器执行时实现如上的车辆的交通灯检测方法。
由此,本申请的实施例具有以下有益效果:
本申请的实施例可以通过获取车辆在矢量地图中的当前位置和所有交通灯的位置信息,并基于当前位置和所有交通灯的位置信息判断车辆前方是否存在交通灯;如果存在交通灯,则采集交通灯的当前图像,并将当前矢量地图中的交通灯的位置投影变换到当前图像中,提取交通灯在当前图像中的至少一个感兴趣区域;将至少一个感兴趣区域输入至预设的剪枝SSD网络模型,输出交通灯的实际状态,其中,预设的剪枝SSD网络模型由丢弃预设数量不满足预设重要性条件的卷积核得到。本申请通过将SSD网络模型剪枝,减少网络模型的冗余参数,并将剪枝后的SSD网络模型应用到实时的交通灯检测工作中,在保证交通灯检测精度的同时,极大地提高了检测的效率。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本申请实施例提供的一种车辆的交通灯检测方法的流程图;
图2为本申请的一个实施例提供的一种交通灯投影位置计算流程图;
图3为本申请的一个实施例提供的一种SSD网络模型剪枝逻辑架构示意图;
图4为本申请的一个实施例提供的一种SSD网络模型剪枝执行逻辑示意图;
图5为本申请的一个实施例提供的一种交通灯识别及处理执行逻辑示意图;
图6为本申请的一个实施例提供的一种交通灯检测的逻辑架构示意图;
图7为根据本申请实施例的车辆的交通灯检测装置的示例图;
图8为本申请实施例提供的车辆的结构示意图。
其中,10-车辆的交通灯检测装置、100-获取模块、200-提取模块、300-检测模块、801-存储器、802-处理器、803-通信接口。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的车辆的交通灯检测方法、装置、车辆及存储介质。针对上述背景技术中提到的问题,本申请提供了一种车辆的交通灯检测方法,在该方法中,通过获取车辆在矢量地图中的当前位置和所有交通灯的位置信息,并基于当前位置和所有交通灯的位置信息判断车辆前方是否存在交通灯;如果存在交通灯,则采集交通灯的当前图像,并将当前矢量地图中的交通灯的位置投影变换到当前图像中,提取交通灯在当前图像中的至少一个感兴趣区域(Region of Interest,ROI);将至少一个感兴趣区域输入至预设的剪枝SSD网络模型,输出交通灯的实际状态,其中,预设的剪枝SSD网络模型由丢弃预设数量不满足预设重要性条件的卷积核得到。本申请通过将SSD网络模型剪枝,减少网络模型的冗余参数,并将剪枝后的SSD网络模型应用到实时的交通灯检测工作中,在保证交通灯检测精度的同时,极大地提高了检测的效率。由此,解决了相关技术中采用的SSD等网络模型存在大量冗余参数,降低了实时交通灯检测过程中的目标检测效率,同时也浪费了大量的计算资源等问题。
具体而言,图1为本申请实施例所提供的一种车辆的交通灯检测方法的流程图。
如图1所示,该车辆的交通灯检测方法包括以下步骤:
在步骤S101中,获取车辆在矢量地图中的当前位置和所有交通灯的位置信息,并基于当前位置和所有交通灯的位置信息判断车辆前方是否存在交通灯。
本领域技术人员应当了解的是,本申请的实施例可通过车载导航系统或高德地图等软5件获取车辆当前的位置信息,并根据车辆的当前位置获取一定范围内的高清矢量地图数据,
进而获取地图中所有交通灯的世界坐标,以根据当前车辆的实时位置,判断当前车辆前方是否存在交通灯。
举例而言,本申请的实施例可以加载出车辆当前位置为中心,2Km为半径的圆形区域
的高清矢量地图,并获取该范围内交通灯的位置信息,进而基于车辆的当前位置信息,判0断当前车辆前方是否存在交通灯,从而为交通灯状态的检测提供依据。
在步骤S102中,如果存在交通灯,则采集交通灯的当前图像,并将当前矢量地图中的交通灯的位置投影变换到当前图像中,提取交通灯在当前图像中的至少一个感兴趣区域。
需要说明的是,若当前车辆前方存在交通灯时,本申请的实施例则可通过相机的内外
参数对车载相机进行去畸变等操作,并通过车载相机采集交通灯的当前图像,利用高精度5矢量地图中交通灯的位置信息以及车辆定位信息,对交通灯进行投影变换,得到图像中交
通灯的相对坐标,如图2所示,从而提取交通灯在图像中的感兴趣(ROI)区域,为后续交通灯的检测提供数据支撑。
在步骤S103中,将至少一个感兴趣区域输入至预设的剪枝SSD网络模型,输出交通
灯的实际状态,其中,预设的剪枝SSD网络模型由丢弃预设数量不满足预设重要性条件的0卷积核得到。
在提取交通灯在当前图像中的感兴趣区域后,进一步地,本申请的实施例可以将上述感兴趣区域图像作为剪枝SSD网络模型的输入,并对该图像进行检测,以得到交通灯的状态信息,从而在保证交通灯检测精度的同时,提高检测的效率。
可选地,在本申请的一个实施例中,在将至少一个感兴趣区域输入至预设的剪枝SSD5网络模型之前,还包括:采集道路交通灯数据,生成SSD网络模型的训练数据集;基于训
练数据集训练SSD网络模型,统计SSD网络模型中每层网络的L1范数均值,确定SSD网络模型中需要剪枝的网络层;为每个需要剪枝的网络层随机生成多个不同的剪枝率,基于卷积核的L1范数的大小和剪枝率,丢弃需要剪枝的网络层中L1范数小于预设值的卷积核,得到多个剪枝候选模型。
0需要说明的是,在将感兴趣区域输入至剪枝SSD网络模型之前,本申请的实施例还需
采集道路交通灯数据,以生成SSD网络模型的训练数据集,并对SSD模型进行训练,训练完成后,本申请的实施例可以统计该模型每层网络的L1范数均值,用来衡量各卷积核的重要性程度,从而确定SSD网络需要剪枝的网络层。
进一步地,对每一个需要剪枝的网络层,本申请的实施例可分配不同的剪枝率,并设置适当的L1范数阈值,若各卷积核的L1范数均不小于所设阈值,则说明个卷积核均具备一定的重要性,无需进行减值操作;否则则根据卷积核的L1范数的大小,丢弃L1范数值小于所设置的L1范数阈值,即重要性程度较低的卷积核,以获得多个剪枝模型候选项,模型剪枝操作的逻辑架构如图3所示,从而极大减少模型的冗余参数,提高网络运行的速度。
可选地,在本申请的一个实施例中,在得到多个剪枝候选模型之后,还包括:判断多个剪枝候选模型的数量是否大于第一预设阈值;如果大于第一预设阈值,则计算多个剪枝候选模型的检测精度,选择精度最高的模型,作为剪枝SSD网络模型;如果小于或等于第一预设阈值,则对剪枝率进行更新,重新获取多个剪枝候选模型。
进一步地,在得到多个剪枝候选模型之后,本申请的实施例可以对剪枝模型的候选数量进行判断,若剪枝模型的候选数量不大于一定阈值,则可本申请的实施例可为每个需要剪枝的网络层更新不同的剪枝率,以重新进行剪枝操作;若剪枝模型的候选数量大于一定阈值,如10等,本申请的实施例则可对上述剪枝模型进行检测精度的测试,并挑选出其中检测精度最高的候选模型,如图4所示,从而可将模型参数减少了48%,检测速度提高23%,有效简化了模型参数,极大改善了模型的检测速度。
可选地,在本申请的一个实施例中,在得到多个剪枝候选模型之后,还包括:基于训练数据集,训练精度最高的模型,对精度最高的模型各个参数进行微调。
需要说明的是,在得到精度最高的候选模型后,本申请的实施例可利用上述SSD网络模型的训练数据集对上述精度最高的候选模型重新进行训练,更新剪枝后的各参数值,实现该候选模型的微调,得到最终的剪枝SSD网络模型,从而有效提高其检测精度,改善了模型的泛化性能和鲁棒性。
可选地,在本申请的一个实施例中,在将至少一个感兴趣区域输入至预设的剪枝SSD网络模型之后,还包括:判断交通灯状态是否改变;若交通灯状态未改变,则交通灯状态保持前一时刻状态;若交通灯状态以交通灯的实际时序变换而改变,且交通灯状态改变时长超过第二预设阈值时,则将改变后的交通灯状态作为最终状态。
通过剪枝后的SSD网络模型对实施采集的交通灯ROI图像进行识别,得到图像中交通灯的状态信息后,进一步地,本申请的实施例可将所识别的交通灯的状态与前一时刻状态进行对比,若交通灯状态改变符合实际交通灯的时序变换(黄灯只存在于绿灯之后红灯之前),且该状态持续一小段时间(如2s),则将所识别的状态作为最终的交通灯状态进行输出,否则则输出前一时刻交通灯的状态,其执行逻辑如图5所示。
需要说明的是,本申请的实施例还可输出交通灯在图像中的位置信息以及交通灯状态对应地车道信息等,图6展示本申请实施例的交通灯检测的逻辑架构,由此,本申请的实施例可以减少因模型误检测发生的错误,提高了交通灯检测的鲁棒性以及交通灯检测的效率,改善了用户的使用体验。
根据本申请实施例提出的车辆的交通灯检测方法,通过获取车辆在矢量地图中的当前位置和所有交通灯的位置信息,并基于当前位置和所有交通灯的位置信息判断车辆前方是否存在交通灯;如果存在交通灯,则采集交通灯的当前图像,并将当前矢量地图中的交通灯的位置投影变换到当前图像中,提取交通灯在当前图像中的至少一个感兴趣区域;将至少一个感兴趣区域输入至预设的剪枝SSD网络模型,输出交通灯的实际状态,其中,预设的剪枝SSD网络模型由丢弃预设数量不满足预设重要性条件的卷积核得到。本申请通过将SSD网络模型剪枝,减少网络模型的冗余参数,并将剪枝后的SSD网络模型应用到实时的交通灯检测工作中,在保证交通灯检测精度的同时,极大地提高了检测的效率。
其次参照附图描述根据本申请实施例提出的车辆的交通灯检测装置装置。
图7是本申请实施例的车辆的交通灯检测装置的方框示意图。
如图7所示,该车辆的交通灯检测装置10包括:获取模块100、提取模块200以及检测模块300。
其中,获取模块100,用于获取车辆在矢量地图中的当前位置和所有交通灯的位置信息,并基于当前位置和所有交通灯的位置信息判断车辆前方是否存在交通灯。
提取模块200,用于如果存在交通灯,则采集交通灯的当前图像,并将当前矢量地图中的交通灯的位置投影变换到当前图像中,提取交通灯在当前图像中的至少一个感兴趣区域。
检测模块300,用于将至少一个感兴趣区域输入至预设的剪枝SSD网络模型,输出交通灯的实际状态,其中,预设的剪枝SSD网络模型由丢弃预设数量不满足预设重要性条件的卷积核得到。
可选地,在本申请的一个实施例中,本申请实施例的车辆的交通灯检测装置10还包括:采集模块、确定模块以及丢弃模块。
其中,采集模块,用于在将至少一个感兴趣区域输入至预设的剪枝SSD网络模型之前采集道路交通灯数据,生成SSD网络模型的训练数据集。
确定模块,用于基于训练数据集训练SSD网络模型,统计SSD网络模型中每层网络的L1范数均值,确定SSD网络模型中需要剪枝的网络层。
丢弃模块,用于为每个需要剪枝的网络层随机生成多个不同的剪枝率,基于卷积核的L1范数的大小和剪枝率,丢弃需要剪枝的网络层中L1范数小于预设值的卷积核,得到多个剪枝候选模型。
可选地,在本申请的一个实施例中,本申请实施例的车辆的交通灯检测装置10还包括:第一判断模块、筛选模块以及更新模块。
其中,第一判断模块,用于在得到多个剪枝候选模型之后判断多个剪枝候选模型的数量是否大于第一预设阈值。
筛选模块,用于如果大于第一预设阈值,则计算多个剪枝候选模型的检测精度,选择精度最高的模型,作为剪枝SSD网络模型。
更新模块,用于如果小于或等于第一预设阈值,则对剪枝率进行更新,重新获取多个剪枝候选模型。
可选地,在本申请的一个实施例中,本申请实施例的车辆的交通灯检测装置10还包括:微调模块,用于在得到多个剪枝候选模型之后基于训练数据集,训练精度最高的模型,对精度最高的模型各个参数进行微调。
可选地,在本申请的一个实施例中,本申请实施例的车辆的交通灯检测装置10还包括:第二判断模块、保持模块以及改变模块。
其中,第二判断模块,用于在将至少一个感兴趣区域输入至预设的剪枝SSD网络模型之后判断交通灯状态是否改变。
保持模块,用于若交通灯状态未改变,则交通灯状态保持前一时刻状态。
改变模块,用于若交通灯状态以交通灯的实际时序变换而改变,且交通灯状态改变时长超过第二预设阈值时,则将改变后的交通灯状态作为最终状态。
需要说明的是,前述对车辆的交通灯检测方法实施例的解释说明也适用于该实施例的车辆的交通灯检测装置,此处不再赘述。
根据本申请实施例提出的车辆的交通灯检测装置,通过获取车辆在矢量地图中的当前位置和所有交通灯的位置信息,并基于当前位置和所有交通灯的位置信息判断车辆前方是否存在交通灯;如果存在交通灯,则采集交通灯的当前图像,并将当前矢量地图中的交通灯的位置投影变换到当前图像中,提取交通灯在当前图像中的至少一个感兴趣区域;将至少一个感兴趣区域输入至预设的剪枝SSD网络模型,输出交通灯的实际状态,其中,预设的剪枝SSD网络模型由丢弃预设数量不满足预设重要性条件的卷积核得到。本申请通过将SSD网络模型剪枝,减少网络模型的冗余参数,并将剪枝后的SSD网络模型应用到实时的交通灯检测工作中,在保证交通灯检测精度的同时,极大地提高了检测的效率。
图8为本申请实施例提供的车辆的结构示意图。该车辆可以包括:
存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序。
处理器802执行程序时实现上述实施例中提供的车辆的交通灯检测方法。
进一步地,车辆还包括:
通信接口803,用于存储器801和处理器802之间的通信。
存储器801,用于存放可在处理器802上运行的计算机程序。
存储器801可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器801、处理器802和通信接口803独立实现,则通信接口803、存储器801和处理器802可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(PeripheralComponent,简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选地,在具体实现上,如果存储器801、处理器802及通信接口803,集成在一块芯片上实现,则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。
处理器802可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上的车辆的交通灯检测方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或N个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种车辆的交通灯检测方法,其特征在于,包括以下步骤:
获取车辆在矢量地图中的当前位置和所有交通灯的位置信息,并基于所述当前位置和所述所有交通灯的位置信息判断车辆前方是否存在交通灯;
如果存在所述交通灯,则采集所述交通灯的当前图像,并将当前所述矢量地图中的所述交通灯的位置投影变换到所述当前图像中,提取所述交通灯在所述当前图像中的至少一个感兴趣区域;
将所述至少一个感兴趣区域输入至预设的剪枝SSD网络模型,输出所述交通灯的实际状态,其中,所述预设的剪枝SSD网络模型由丢弃预设数量不满足预设重要性条件的卷积核得到。
2.根据权利要求1所述的方法,其特征在于,在将所述至少一个感兴趣区域输入至所述预设的剪枝SSD网络模型之前,还包括:
采集道路交通灯数据,生成SSD网络模型的训练数据集;
基于所述训练数据集训练所述SSD网络模型,统计所述SSD网络模型中每层网络的L1范数均值,确定所述SSD网络模型中需要剪枝的网络层;
为每个所述需要剪枝的网络层随机生成多个不同的剪枝率,基于卷积核的所述L1范数的大小和所述剪枝率,丢弃所述需要剪枝的网络层中所述L1范数小于预设值的卷积核,得到多个剪枝候选模型。
3.根据权利要求2所述的方法,其特征在于,在得到所述多个剪枝候选模型之后,还包括:
判断多个剪枝候选模型的数量是否大于第一预设阈值;
如果大于所述第一预设阈值,则计算所述多个剪枝候选模型的检测精度,选择精度最高的模型,作为所述剪枝SSD网络模型;
如果小于或等于所述第一预设阈值,则对所述剪枝率进行更新,重新获取所述多个剪枝候选模型。
4.根据权利要求3所述的方法,其特征在于,在所述得到所述多个剪枝候选模型之后,还包括:
基于所述训练数据集,训练所述精度最高的模型,对所述精度最高的模型各个参数进行微调。
5.根据权利要求1所述的方法,其特征在于,在所述将所述至少一个感兴趣区域输入至预设的剪枝SSD网络模型之后,还包括:
判断所述交通灯状态是否改变;
若所述交通灯状态未改变,则所述交通灯状态保持前一时刻状态;
若所述交通灯状态以所述交通灯的实际时序变换而改变,且所述交通灯状态改变时长超过第二预设阈值时,则将改变后的所述交通灯状态作为最终状态。
6.一种车辆的交通灯检测装置,其特征在于,包括:
获取模块,用于获取车辆在矢量地图中的当前位置和所有交通灯的位置信息,并基于所述当前位置和所述所有交通灯的位置信息判断车辆前方是否存在交通灯;
提取模块,用于如果存在所述交通灯,则采集所述交通灯的当前图像,并将当前所述矢量地图中的所述交通灯的位置投影变换到所述当前图像中,提取所述交通灯在所述当前图像中的至少一个感兴趣区域;
检测模块,用于将所述至少一个感兴趣区域输入至预设的剪枝SSD网络模型,输出所述交通灯的实际状态,其中,所述预设的剪枝SSD网络模型由丢弃预设数量不满足预设重要性条件的卷积核得到。
7.根据权利要求6所述的装置,其特征在于,还包括:
采集模块,用于在将所述至少一个感兴趣区域输入至所述预设的剪枝SSD网络模型之前采集道路交通灯数据,生成SSD网络模型的训练数据集;
确定模块,用于基于所述训练数据集训练所述SSD网络模型,统计所述SSD网络模型中每层网络的L1范数均值,确定所述SSD网络模型中需要剪枝的网络层;
丢弃模块,用于为每个所述需要剪枝的网络层随机生成多个不同的剪枝率,基于卷积核的所述L1范数的大小和所述剪枝率,丢弃所述需要剪枝的网络层中所述L1范数小于预设值的卷积核,得到多个剪枝候选模型。
8.根据权利要求7所述的装置,其特征在于,还包括:
第一判断模块,用于在得到所述多个剪枝候选模型之后判断多个剪枝候选模型的数量是否大于第一预设阈值;
筛选模块,用于如果大于所述第一预设阈值,则计算所述多个剪枝候选模型的检测精度,选择精度最高的模型,作为所述剪枝SSD网络模型;
更新模块,用于如果小于或等于所述第一预设阈值,则对所述剪枝率进行更新,重新获取所述多个剪枝候选模型。
9.一种车辆,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求1-5任一项所述的车辆的交通灯检测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1-5任一项所述的车辆的交通灯检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211524594.7A CN115861964A (zh) | 2022-11-30 | 2022-11-30 | 车辆的交通灯检测方法、装置、车辆及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211524594.7A CN115861964A (zh) | 2022-11-30 | 2022-11-30 | 车辆的交通灯检测方法、装置、车辆及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115861964A true CN115861964A (zh) | 2023-03-28 |
Family
ID=85668583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211524594.7A Pending CN115861964A (zh) | 2022-11-30 | 2022-11-30 | 车辆的交通灯检测方法、装置、车辆及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115861964A (zh) |
-
2022
- 2022-11-30 CN CN202211524594.7A patent/CN115861964A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109087510B (zh) | 交通监测方法及装置 | |
CN108986465B (zh) | 一种车流量检测的方法、系统及终端设备 | |
CN113468967B (zh) | 基于注意力机制的车道线检测方法、装置、设备及介质 | |
CN112069944A (zh) | 一种道路拥堵等级确定方法 | |
US11776277B2 (en) | Apparatus, method, and computer program for identifying state of object, and controller | |
CN113822247B (zh) | 基于航拍影像的违章建筑识别方法及系统 | |
CN114820679B (zh) | 图像标注方法、装置、电子设备和存储介质 | |
JP7119197B2 (ja) | 車線属性検出 | |
CN116107591A (zh) | 基于corner cases的部署模型构建方法 | |
CN113468678B (zh) | 一种自动驾驶算法准确度的计算方法及装置 | |
CN114705121A (zh) | 车辆位姿测量方法、装置及电子设备、存储介质 | |
CN111724607B (zh) | 转向灯使用检测方法、装置、计算机设备和存储介质 | |
CN112329886A (zh) | 双车牌识别方法、模型训练方法、装置、设备及存储介质 | |
CN117079238A (zh) | 道路边沿检测方法、装置、设备及存储介质 | |
CN116740145A (zh) | 一种多目标跟踪方法、装置、车辆及存储介质 | |
CN112179359A (zh) | 一种地图匹配方法、装置、电子设备和存储介质 | |
CN113095345A (zh) | 数据匹配方法、装置和数据处理设备 | |
CN115861964A (zh) | 车辆的交通灯检测方法、装置、车辆及存储介质 | |
CN114511832B (zh) | 车道线分析方法、装置、电子设备及存储介质 | |
CN111177878A (zh) | 衍生仿真场景筛选方法、装置和终端 | |
CN115359438A (zh) | 一种基于计算机视觉的车辆加塞的检测方法、系统和装置 | |
CN115482672A (zh) | 车辆逆行检测的方法、装置、终端设备及存储介质 | |
CN113869440A (zh) | 图像处理方法、装置、设备、介质及程序产品 | |
CN116863124B (zh) | 车辆姿态确定方法、控制器及存储介质 | |
CN111143423A (zh) | 动态场景标注数据挖掘方法、装置以及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |