CN109685017B - 一种基于轻量神经网络的实时目标检测系统及检测方法 - Google Patents

Abstract

本发明涉及无人驾驶的技术领域，更具体地，涉及一种基于轻量神经网络的超高速实时目标检测系统及检测方法。一种基于轻量神经网络的超高速实时目标检测系统，包括视频流数据采集模块、神经网络训练模块、图像处理与检测模块、检测结果反馈模块；本发明操作流程简单、易于实施、成本低、效率高。

Description

一种基于轻量神经网络的实时目标检测系统及检测方法

技术领域

本发明涉及无人驾驶的技术领域，更具体地，涉及一种基于轻量神经网络的实时目标检测系统及检测方法。

背景技术

随着科技的发展，无人系统的研发与应用越来越流行，其中无人驾驶行业也逐渐火热。在无人驾驶领域，目标检测系统需要达到高速，稳定，准确的要求。现有的目标检测系统已经能做到对各种道路物体的实时跟踪检测，比如业界前沿的端到端算法把物体检测问题处理成回归问题，用一个卷积神经网络结构就可以从输入图像直接预测锚定框的位置和物体类别概率。在英伟达高性能GPU上该系统整体的检测速度可以达到十到几十帧每秒。但是随着车速的提高，应用场景对于算法的实时性要求会越来越高。而且道路情况的复杂性和突发性也会给目标检测系统带来巨大的挑战。所以尽可能地提升算法的检测速度尤为重要。另一方面，受硬件平台的限制，无人车上会用小型嵌入式板来代替具有高性能算力的GPU显卡。这就意味着目标检测系统的神经网络需要设计地更为轻量迅速，以此来适应小型内存环境并提升检测速度。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于轻量神经网络的实时目标检测系统及检测方法，该发明通过预先设定合理的超参数并使用大量的道路图片数据集对轻量神经网络进行训练，使得最终的网络模型高速稳定轻量。

相对于其他基于大型神经网络的实时检测算法，此轻量网络模型可被部署于移动嵌入式设备上，在车辆的高速行驶过程可以进行实时的道路目标检测，提升无人车的视觉感知能力。

本发明的技术方案是：一种基于轻量神经网络的实时目标检测系统，其特征在于，包括视频流数据采集模块、神经网络训练模块、图像处理与检测模块、检测结果反馈模块；

视频流数据采集模块：采集车辆正前方道路的路况图像信息，将采集到的视频流以帧为单位通过数据线传输到图像处理与检测模块，供其进行下一步处理；

神经网络训练模块：选定合适的轻量神经网络对需要检测的目标物体使用数据集进行调参，训练，最终生成相应的网络权重模型；利用验证数据集对模型进行评估与选择，并选择出最优的网络权重模型；使用测试数据集来测试选出的网络模型的识别精度，以测试误差作为泛化误差的近似；

图像处理与检测模块：在嵌入式硬件平台上预先部署相应的轻量神经网络架构，并将在神经网络训练模块中训练得到的神经网络权重移植到本模块的硬件平台上；将视频流数据采集模块传输过来的图像送入轻量神经网络中，神经网络在权重文件的配置下对该图像进行物体种类识别和边框定位；检测结果将被输入检测结果反馈模块；

检测结果反馈模块：在此模块中会将获得的检测结果通过输入输出设备以视频流的形式进行展示。

进一步的，所述的视频流数据采集模块中，选用高清工业相机固定于车辆顶部，镜头正对道路前方。有利于视野开阔，采集的图像质量高，适合进行高质量的图像处理算法。同时工业相机拍照速度远高于普通相机，可以抓拍快速运动的车辆。

进一步的，所述的神经网络训练模块中，在具有大显存，高计算能力的并行GPU计算平台上利用训练集对轻量神经网络进行快速迭代训练；从而尽快得到神经网络模型，再利用验证数据集验证得到最优的网络模型；将该神经网络和网络模型移植到图像处理与检测模块的嵌入式硬件平台，并将该硬件平台部署于无人车上，即可作为数据的中央处理单元。

进一步的，对于轻量的卷积神经网络的选择，需选择当前主流优秀的实时检测算法，且应使嵌入式平台能满足该算法的运行环境。轻量高速神经网络可以选择业界移动端的卷积神经网络，确保能适应相应的嵌入式硬件平台。

道路数据集为包含各种道路场景的2D图片数据集。

利用所述的基于轻量神经网络的实时目标检测系统的检测方法，其中，包括以下步骤：

步骤1、在具有大显存，高计算能力的并行GPU计算平台上用2D交通道路数据集对轻量高速神经网络设定相关超参数，并进行训练，经过合适迭代次数后得到该神经网络在此数据集下的权重模型；

步骤2、使用额外的2D交通道路验证集对步骤1中得到的权重模型进行验证测试，并挑选出最优的网络权重模型；

步骤3、将轻量神经网络和步骤2中获得的最优网络权重模型移植到移动嵌入式平台，使用多张道路图片和相关的道路行车视频对这一检测系统进行测试，确定在单张图片和视频流上系统能检测出目标物体；

步骤4、将工业相机和步骤3中的移动嵌入式平台使用数据线连接，并接通电源；

步骤5、将工业相机中读取的视频流以帧为单位传入神经网络中进行卷积运算与检测；这一过程需同时保持工业相机的采集帧率最大；

步骤6、查看输出设备中的工业相机读取的视频流图像是否成功被神经网络读入、检测并反馈结果；

步骤7、在步骤6的基础上，将移动嵌入式设备，工业相机，输入输出设备等部署到无人车上，使用车辆蓄电池对整套系统进行供电，并将工业相机固定于车辆顶部，镜头朝向正前方，确保视野开阔；

步骤8、车辆开动，并达到高速行驶状态，目标检测系统能实时检测出道路上的车辆，行人，交通标志。

与现有技术相比，有益效果是：本发明的轻量神经网络利用了深度可分离卷积来代替传统的卷积。深度可分离卷积是一种将标准卷积分解成深度卷积以及一个1x1的卷积即逐点卷积。对于此神经网络而言，深度卷积针对每个单个输入通道应用单个滤波器进行滤波，然后逐点卷积应用1x1的卷积操作来结合所有深度卷积得到的输出。而标准卷积一步即对所有的输入进行结合得到新的一系列输出。深度可分离式卷积针对每个单独层进行滤波然后再结合。深度可分离卷积计算量可显著降低标准卷积计算量的1/8至1/9，进而大幅度提示系统的检测速度，并降低了系统所需要的运行存储空间。

本发明操作流程简单、易于实施、成本低、适用范围广，各种无人驾驶汽车皆能部署本系统。

附图说明

图1是本发明系统的结构示意图。

图2是本发明方法的系统详细示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

如图1、2所示，一种基于轻量高速神经网络的超高速目标检测系统，包括视频流数据采集模块，神经网络训练模块，图像处理与检测模块，检测结果反馈模块；视频流数据采集模块利用高清工业相机采集车辆正前方道路的路况图像信息，将采集到的视频流以帧为单位通过数据线传输到图像处理与检测模块，供其进行下一步处理；神经网络训练模块预先在具有大显存，高计算性能GPU平台上使用合适的轻量神经网络对2D交通道路数据集进行调参，训练，最终生成相应的网络模型。利用验证数据集对模型进行评估与选择，并选择出最优的网络模型。使用测试数据集来测试选出的网络模型的识别精度，以测试误差作为泛化误差的近似；图像处理与检测模块中的嵌入式硬件平台上会预先部署相应的轻量神经网络架构，并将在神经网络训练模块中训练得到的神经网络权重模型移植到此模块的嵌入式硬件平台上；将视频流数据采集模块传输过来的图像送入轻量神经网络中，神经网络在最优权重模型的配置下对该图像进行检测，返回检测出的物体种类并确定边框位置。检测结果将被输入检测结果反馈模块；检测结果反馈模块会将获得的检测结果通过输入输出设备以视频流的形式进行展示。

本系统的应用场景为各种交通道路场景，且无人车以中高速度行驶状态。对于工业相机的安置较为灵活，可以置于车辆顶部，引擎盖上方或者车辆挡风玻璃之后，确保相机采集的视野清晰即可。

为了更好的说明本发明具体实施方案，下面将结合图2以及具体的实施方式对上述技术方案进行详细的说明：

一种基于轻量高速神经网络的超高速目标检测系统，包括以下步骤：

步骤1、在具有大显存，高计算能力的并行GPU计算平台上用2D交通道路数据集对轻量高速神经网络设定相关超参数，并进行训练，经过合适迭代次数后得到该神经网络在此数据集下的权重模型。

步骤2、使用额外的2D交通道路验证集对步骤1中得到的权重模型进行验证测试，并挑选出最优的网络权重模型。

步骤3、将轻量神经网络和步骤2中获得的最优网络权重模型移植到移动嵌入式平台，使用多张道路图片和相关的道路行车视频对这一检测系统进行测试，确定在单张图片和视频流上系统能检测出目标物体。

步骤4、将工业相机和步骤3中的移动嵌入式平台使用数据线连接，并接通电源。

步骤5、将工业相机中读取的视频流以帧为单位传入神经网络中进行卷积运算与检测；这一过程需同时保持工业相机的采集帧率最大。

步骤6、查看输出设备中的工业相机读取的视频流图像是否成功被神经网络读入、检测并反馈结果。

步骤7、在步骤6的基础上，将移动嵌入式设备，工业相机，输入输出设备等部署到无人车上，使用车辆蓄电池对整套系统进行供电，并将工业相机固定于车辆顶部，镜头朝向正前方，确保视野开阔。

步骤8、车辆开动，并达到高速行驶状态，目标检测系统能实时检测出道路上的车辆，行人，交通标志等，提高了无人车的感知能力。

其中，所述视频流数据采集模块利用高清工业相机不断抓拍车辆正前方道路，并形成路况图像数据，将这些图像数据以帧为单位通过数据线传输到图像处理与检测模块，供其进行下一步处理。

其中，所述神经网络训练模块预先在具有大显存，高计算能力的并行GPU计算平台上选定合适的轻量神经网络对需要检测的目标物体使用数据集进行调参，训练，最终生成相应的网络权重模型。选定的轻量神经网络需要考虑到图2模块中嵌入式硬件平台的内存容量，计算性能。

其中，所述图像处理与检测模块中的嵌入式硬件平台上会预先部署相应的轻量神经网络架构，并将在神经网络训练模块中训练得到的神经网络权重移植到本模块的硬件平台上；将视频流数据采集模块传输过来的图像数据送入轻量神经网络中，神经网络在权重文件的配置下对该图像进行物体种类识别和边框定位。检测结果将被输入检测结果反馈模块。

本发明所提供的一种基于轻量高速神经网络的超高速目标检测系统包含模块有：视频流数据采集模块，所述视频流数据采集模块利用高清工业相机实时抓拍车辆正前方的路况图，并形成视频流数据，将采集到的视频流以帧为单位通过数据线传输到图像处理与检测模块，供其进行下一步处理。神经网络训练模块，所述神经网络训练模块在具有大显存，高计算能力的并行GPU计算平台上选定合适的轻量神经网络对需要检测的目标物体使用数据集进行调参，训练，最终生成相应的网络权重模型。利用验证数据集对模型进行评估与选择，并选择出最优的网络权重模型。使用测试数据集来测试选出的网络模型的识别精度，以测试误差作为泛化误差的近似；图像处理与检测模块，所述图像处理与检测模块在嵌入式硬件平台上预先部署有相应的轻量神经网络架构，并将在神经网络训练模块中训练得到的神经网络权重移植到本模块的硬件平台上；将视频流数据采集模块传输过来的图像送入轻量神经网络中，神经网络在权重文件的配置下对该图像进行物体种类识别和边框定位。检测结果将被输入检测结果反馈模块；检测结果反馈模块，所述检测结果反馈模块在此模块中会将获得的检测结果通过输入输出设备以视频流的形式进行展示。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种基于轻量神经网络的实时目标检测系统，其特征在于，包括视频流数据采集模块、神经网络训练模块、图像处理与检测模块、检测结果反馈模块；

视频流数据采集模块：采集车辆正前方道路的路况图像信息，将采集到的视频流以帧为单位通过数据线传输到图像处理与检测模块，供其进行下一步处理；

神经网络训练模块：选定合适的轻量神经网络对需要检测的目标物体使用数据集进行调参，训练，最终生成相应的网络权重模型；利用验证数据集对模型进行评估与选择，并选择出最优的网络权重模型；使用测试数据集来测试选出的网络模型的识别精度，以测试误差作为泛化误差的近似；

图像处理与检测模块：在嵌入式硬件平台上预先部署相应的轻量神经网络架构，并将在神经网络训练模块中训练得到的神经网络权重移植到本模块的硬件平台上；将视频流数据采集模块传输过来的图像送入轻量神经网络中，神经网络在权重文件的配置下对该图像进行物体种类识别和边框定位；检测结果将被输入检测结果反馈模块；

检测结果反馈模块：在此模块中会将获得的检测结果通过输入输出设备以视频流的形式进行展示；

其中，所述的神经网络训练模块中，在具有大显存，高计算能力的并行GPU计算平台上利用训练集对轻量神经网络进行快速迭代训练；从而尽快得到神经网络模型，再利用验证数据集验证得到最优的网络模型；将该神经网络和网络模型移植到图像处理与检测模块的嵌入式硬件平台，并将该硬件平台部署于无人车上，即可作为数据的中央处理单元。

2.根据权利要求1所述的一种基于轻量神经网络的实时目标检测系统，其特征在于：所述的视频流数据采集模块中，选用高清工业相机固定于车辆顶部，镜头正对道路前方。

3.根据权利要求1所述的一种基于轻量神经网络的实时目标检测系统，其特征在于：对于轻量的卷积神经网络的选择，需选择当前主流优秀的实时检测算法，且应使嵌入式平台能满足该算法的运行环境。

4.利用权利要求3所述的基于轻量神经网络的实时目标检测系统的检测方法，其特征在于，包括以下步骤：

步骤1、在具有大显存，高计算能力的并行GPU计算平台上用2D交通道路数据集对轻量高速神经网络设定相关超参数，并进行训练，经过合适迭代次数后得到该神经网络在此数据集下的权重模型；

步骤2、使用额外的2D交通道路验证集对步骤1中得到的权重模型进行验证测试，并挑选出最优的网络权重模型；

步骤3、将轻量神经网络和步骤2中获得的最优网络权重模型移植到移动嵌入式平台，使用多张道路图片和相关的道路行车视频对这一检测系统进行测试，确定在单张图片和视频流上系统能检测出目标物体；

步骤4、将工业相机和步骤3中的移动嵌入式平台使用数据线连接，并接通电源；

步骤5、将工业相机中读取的视频流以帧为单位传入神经网络中进行卷积运算与检测；这一过程需同时保持工业相机的采集帧率最大；

步骤6、查看输出设备中的工业相机读取的视频流图像是否成功被神经网络读入、检测并反馈结果；

步骤7、在步骤6的基础上，将移动嵌入式设备，工业相机，输入输出设备部署到无人车上，使用车辆蓄电池对整套系统进行供电，并将工业相机固定于车辆顶部，镜头朝向正前方，确保视野开阔；

步骤8、车辆开动，并达到高速行驶状态，目标检测系统能实时检测出道路上的车辆，行人，交通标志。

Images