CN114758275A - 一种基于gpu车辆视频检测方法 - Google Patents
一种基于gpu车辆视频检测方法 Download PDFInfo
- Publication number
- CN114758275A CN114758275A CN202210382224.8A CN202210382224A CN114758275A CN 114758275 A CN114758275 A CN 114758275A CN 202210382224 A CN202210382224 A CN 202210382224A CN 114758275 A CN114758275 A CN 114758275A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- vpf
- gpu
- pynvcodec
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000027455 binding Effects 0.000 description 1
- 238000009739 binding Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于GPU车辆视频检测方法，属于车辆图像识别技术领域，本发明包括实时视频流解码、格式及分辨率转换、目标检测模型训练及检测。本发明通过使用GPU进行视频解码和检测，能够满足对大量视频图像进行实时、并发车辆检测的需求。
Description
技术领域
本发明涉及车辆图像识别、视频图像解码领域，尤其涉及一种基于GPU车辆视频检测方法。
背景技术
随着科学技术的发展，城市道路交通系统日益发达，基于实时检测视频的车辆检测算法已经成为当前智慧交通系统中车辆检测的主流手段。如何实时、高效、准确地完成车辆检测是目前的研究热点方向。
在车辆检测领域，除了如SVM分类器等比较传统的机器学习算法外，基于深度学习的目标检测算法由于识别准确率高，特别是在复杂场景中依然可以保持较高的识别率的优势，故被各类系统广泛采用。
目前基于深度学习的目标检测算法框架有R-CNN系列(R-CNN、Fast R-CNN、Faster R-CNN)、YOLO系列(YOLO v1、YOLO v2、YOLO v3、YOLO v4)、SSD、Cascade R-CNN等。这些框架对于检测车辆目标，相对于之前手动设计特征然后使用SVM等分类器的方式检测效果有了显著提升。但对于硬件计算资源的要求也有显著的提高。
上述的深度学习算法框架可以利用GPU强大的并行处理能力进行车辆检测，但对于视频流检测，往往需借助OpenCV等视频处理框架，先将视频流解码为逐帧图像后，再进行检测。而FFmpeg框架在视频解码时调用的是CPU进行处理的，CPU 的并行处理能力相对有限。在对大量视频流进行并行车辆检测时，需要CPU+GPU 配合，先由CPU进行视频解码，再由GPU进行图像检测，此时往往因CPU计算资源限制，导致并发检测量受限，同时GPU资源无法得到充分利用。
GPU英文全称为Graphic Processing Unit，中文翻译为“图形处理单元”，是一种专门处理图像运算工作的微处理器。GPU与CPU相比有更多的处理单元和更大的内存带宽，所以GPU有较好的计算能力，适合进行大量计算。
VPF全称为VideoProcessingFramework，代表视频处理框架。它是一组C++ 库和Python的绑定，可为视频处理任务提供完整的硬件加速，例如视频解码，编码，转码以及GPU加速的色彩空间和像素格式转换。VPF相比于OpenCV来讲，它可以将解码的步骤全部交给GPU，继而能让CPU更加的高效。
Yolo算法，其全称是You Only Look Once:Unified,Real-Time ObjectDetection，它仅使用一个CNN网络直接预测不同目标的类别与位置，算法速度快，它能够处理实时视频流，延迟能做到小于25毫秒。
YOLO-v4算法是在原有YOLO目标检测架构的基础上，采用了近些年CNN领域中最优秀的优化策略，从数据处理、主干网络、网络训练、激活函数、损失函数等各个方面都有着不同程度的优化。YOLOv4-tiny结构是YOLOv4的精简版，属于轻量化模型，参数只有600万相当于原来的十分之一，这使得检测速度提升很大。
发明内容
为了解决以上技术问题，本发明提供了提供一种基于VPF框架的使用GPU进行视频解码并结合Yolov4-tiny轻量化网络模型进行车辆识别的方法，其能满足同时处理大量视频流进行并行车辆检测的需求，识别准确率高、检测速度快，而且CPU计算资源占用低，同时GPU资源可得到充分利用，可以满足当今智能道路交通系统中对大量视频图像进行实时、并发车辆检测的需求。
本发明的技术方案是：
一种基于GPU车辆视频检测方法。
包括如下步骤：
(1)使用VPF框架中的PyNvCodec模块中的PyNvDecoder方法，对监控摄像机输出的原始视频流进行解码，得到一帧图像数据；要求图像原始分辨率不低于 1920*1080。
(2)使用VPF框架中的PyNvCodec模块中的PySurfaceConverter方法，将步骤(1)中的图像数据进行格式转换，转换为YUV420数据格式；
(3)使用VPF框架中的PyNvCodec模块中的PySurfaceResizer方法，将步骤(2)转换后的图像大小修改为1280*720分辨率；
(4)使用VPF框架中的PyNvCodec模块中的PySurfaceConverter方法，将步骤(3)中的图像数据进行格式转换，转换为RGB数据格式；
(5)对步骤(4)中图像中的车辆进行位置和类型标注，纳入卷积神经网络模型进行目标检测训练，最终输出针对车辆识别的目标检测模型；
(6)加载目标检测模型，对步骤(4)中拍摄的图像进行目标检测识别，识别分辨率为416*416，置信度阈值设置为0.45，识别并获取图像中的车辆位置及对应车辆类型。
进一步的，
所述步骤(1)中，使用VPF框架中的PyNvCodec模块中的PyNvDecoder进行视频解码，此方式将使用GPU进行识别解码。
进一步的，
所述步骤(2)中，使用VPF框架中的PyNvCodec模块中的PySurfaceConverter 方法进行格式转换，此方式将使用GPU进行处理。
进一步的，
所述步骤(3)中，使用VPF框架中的PyNvCodec模块中的PySurfaceResizer 方法调整图像分辨率，此方式将使用GPU进行处理。
进一步的，
所述步骤(4)中，使用VPF框架中的PyNvCodec模块中的PySurfaceConverter 方法进行格式转换，此方式将使用GPU进行处理。
进一步的，
步骤5)所述的标注、训练动作，仅在无目标检测模型或模型需要优化时执行。
使用基于Darknet实现的yolov4-tiny检测网络进行训练，训练使用4800张分辨率为1280*720的车辆样例图片，训练时网络图像分辨率为608*608，训练轮次为20万轮。
进一步的，，
所述步骤(6)中，识别分辨率为416*416，置信度阈值设置为0.45。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明，即一种基于GPU的车辆视频检测算法，其技术方案包括如下步骤：
(1)使用VPF框架中的PyNvCodec模块中的PyNvDecoder方法，对监控摄像机输出的原始视频流进行解码，得到一帧图像数据。要求图像原始分辨率不低于 1920*1080。
(2)使用VPF框架中的PyNvCodec模块中的PySurfaceConverter方法，将步骤(1)中的图像数据进行格式转换，转换为YUV420数据格式。
(3)使用VPF框架中的PyNvCodec模块中的PySurfaceResizer方法，将步骤(2)转换后的图像大小修改为1280*720分辨率。
(4)使用VPF框架中的PyNvCodec模块中的PySurfaceConverter方法，将步骤(3)中的图像数据进行格式转换，转换为RGB数据格式。
(5)对步骤(4)中图像中的车辆进行位置和类型标注，纳入卷积神经网络模型进行目标检测训练，最终输出针对车辆识别的目标检测模型。此步骤所属的标注、训练动作，仅在无目标检测模型或模型需要优化时执行。本发明使用基于 Darknet实现的yolov4-tiny检测网络进行训练，yolov4-tiny是yolo3的简化版本，优点是网络简单，计算量较小，可以在移动端或设备端运行。训练使用4800 张分辨率为1280*720的车辆样例图片，对图片中的车辆进行标注，其中不同类型的车辆分开标注，以便区分车辆型号。训练时网络图像分辨率为608*608，训练轮次为20万轮。
(6)加载目标检测模型，对步骤(4)中拍摄的图像进行目标检测识别，识别分辨率为416*416，置信度阈值设置为0.45，识别并获取图像中的车辆位置及对应车辆类型
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (8)
1.一种基于GPU车辆视频检测方法，其特征在于，
包括如下步骤：
(1)使用VPF框架中的PyNvCodec模块中的PyNvDecoder方法，对监控摄像机输出的原始视频流进行解码，得到一帧图像数据；要求图像原始分辨率不低于1920*1080。
(2)使用VPF框架中的PyNvCodec模块中的PySurfaceConverter方法，将步骤(1)中的图像数据进行格式转换，转换为YUV420数据格式；
(3)使用VPF框架中的PyNvCodec模块中的PySurfaceResizer方法，将步骤(2)转换后的图像大小修改为1280*720分辨率；
(4)使用VPF框架中的PyNvCodec模块中的PySurfaceConverter方法，将步骤(3)中的图像数据进行格式转换，转换为RGB数据格式；
(5)对步骤(4)中图像中的车辆进行位置和类型标注，纳入卷积神经网络模型进行目标检测训练，最终输出针对车辆识别的目标检测模型；
(6)加载目标检测模型，对步骤(4)中拍摄的图像进行目标检测识别，识别分辨率为416*416，置信度阈值设置为0.45，识别并获取图像中的车辆位置及对应车辆类型。
2.根据利要求1所述的方法，其特征在于，
所述步骤(1)中，使用VPF框架中的PyNvCodec模块中的PyNvDecoder进行视频解码，此方式将使用GPU进行识别解码。
3.根据利要求1所述的方法，其特征在于，
所述步骤(2)中，使用VPF框架中的PyNvCodec模块中的PySurfaceConverter方法进行格式转换，此方式将使用GPU进行处理。
4.根据利要求1所述的方法，其特征在于，
所述步骤(3)中，使用VPF框架中的PyNvCodec模块中的PySurfaceResizer方法调整图像分辨率，此方式将使用GPU进行处理。
5.根据利要求1所述的方法，其特征在于，
所述步骤(4)中，使用VPF框架中的PyNvCodec模块中的PySurfaceConverter方法进行格式转换，此方式将使用GPU进行处理。
6.根据利要求1所述的方法，其特征在于，
步骤5)所述的标注、训练动作，仅在无目标检测模型或模型需要优化时执行。
7.根据利要求1或6所述的方法，其特征在于，
所述步骤(5)中，使用基于Darknet实现的yolov4-tiny检测网络进行训练，训练使用4800张分辨率为1280*720的车辆样例图片，训练时网络图像分辨率为608*608，训练轮次为20万轮。
8.根据利要求1所述的方法，其特征在于，
所述步骤(6)中，识别分辨率为416*416，置信度阈值设置为0.45。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210382224.8A CN114758275A (zh) | 2022-04-13 | 2022-04-13 | 一种基于gpu车辆视频检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210382224.8A CN114758275A (zh) | 2022-04-13 | 2022-04-13 | 一种基于gpu车辆视频检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114758275A true CN114758275A (zh) | 2022-07-15 |
Family
ID=82328313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210382224.8A Pending CN114758275A (zh) | 2022-04-13 | 2022-04-13 | 一种基于gpu车辆视频检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114758275A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912747A (zh) * | 2023-08-04 | 2023-10-20 | 北京中电汇智科技有限公司 | 一种基于视频识别载重异物的数据处理系统 |
-
2022
- 2022-04-13 CN CN202210382224.8A patent/CN114758275A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912747A (zh) * | 2023-08-04 | 2023-10-20 | 北京中电汇智科技有限公司 | 一种基于视频识别载重异物的数据处理系统 |
| CN116912747B (zh) * | 2023-08-04 | 2024-04-05 | 北京中电汇智科技有限公司 | 一种基于视频识别载重异物的数据处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2016173277A1 (zh) | 视频编码方法、解码方法及其装置 | |
| CN109948721B (zh) | 一种基于视频描述的视频场景分类方法 | |
| CN112801027B (zh) | 基于事件相机的车辆目标检测方法 | |
| CN110705412A (zh) | 一种基于运动历史图像的视频目标检测方法 | |
| CN114998673B (zh) | 一种基于本地自注意力机制的大坝缺陷时序图像描述方法 | |
| CN113743505A (zh) | 基于自注意力和特征融合的改进ssd目标检测方法 | |
| CN114758275A (zh) | 一种基于gpu车辆视频检测方法 | |
| CN116524376A (zh) | 一种遥感目标检测方法、系统、介质、设备及终端 | |
| US20240161461A1 (en) | Object detection method, object detection apparatus, and object detection system | |
| CN113489958A (zh) | 一种基于视频编码数据多特征融合的动态手势识别方法及系统 | |
| CN111291663B (zh) | 一种利用时空信息的快速视频目标物体分割方法 | |
| CN113505640A (zh) | 一种基于多尺度特征融合的小尺度行人检测方法 | |
| Zhang et al. | IQ-STAN: Image quality guided spatio-temporal attention network for license plate recognition | |
| He et al. | FPGA-based high definition image processing system | |
| Lu et al. | A boundary-aware distillation network for compressed video semantic segmentation | |
| CN112200840B (zh) | 一种可见光和红外图像组合中的运动物体检测系统 | |
| CN115190303A (zh) | 一种云端桌面图像处理方法、系统和相关设备 | |
| Tan et al. | MAPD: an FPGA-based real-time video haze removal accelerator using mixed atmosphere prior | |
| Chen et al. | An improved network for pedestrian-vehicle detection based on YOLOv7 | |
| CN116883691B (zh) | 一种边缘设备的高帧率多路目标检测方法 | |
| Hu et al. | A Lightweight Network for Small Object in UAV Images | |
| Wan et al. | Multichannel real-time video container numbers recogntion in container yard | |
| Liu et al. | Aerial Traffic Statistics Based on YOLOv5+ DeepSORT | |
| Shu | High Precision License Plate Recognition Algorithm in Open Scene | |
| CN118247766A (zh) | 基于yolov8的交通目标检测算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |