CN109308750A - 一种用于深度学习车辆识别的车载视频数据采集系统 - Google Patents

一种用于深度学习车辆识别的车载视频数据采集系统 Download PDF

Info

Publication number
CN109308750A
CN109308750A CN201810907416.XA CN201810907416A CN109308750A CN 109308750 A CN109308750 A CN 109308750A CN 201810907416 A CN201810907416 A CN 201810907416A CN 109308750 A CN109308750 A CN 109308750A
Authority
CN
China
Prior art keywords
deep learning
information
gps
vehicular video
vehicle identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810907416.XA
Other languages
English (en)
Inventor
陈鹏
朱泽茂
鲁光泉
王云鹏
余贵珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201810907416.XA priority Critical patent/CN109308750A/zh
Publication of CN109308750A publication Critical patent/CN109308750A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

本发明公开了一种用于深度学习车辆识别的车载视频数据采集系统，旨在通过编程，实现对OpenCV的调用并对视频信息进行处理，产生能够用于深度学习的数据集和可供研究人员选择的感兴趣区域，这是一种便利的、新颖的、专门为深度学习车辆识别等领域的研究而发明的系统。本发明基于开发板、GPS模块、摄像头和显示屏等开发硬件，通过连接后进行编程以实现对视频信息的处理，使视频信息可以转换为图片信息并与其相对应的GPS信息相匹配。本发明采集的数据可以用于深度学习的数据输入，一定程度上加快了深度学习领域的研究进度，促进了智能汽车的发展。

Description

一种用于深度学习车辆识别的车载视频数据采集系统
技术领域
本发明属于计算机应用程序领域，涉及一种用于深度学习车辆识别的车载视频数据采集系统。
背景技术
近年来，随着互联网技术的迅速发展，智能交通领域的研究也在快速推进。如今，智能汽车的发展越来越离不开车载摄像头的支持，因为在进行智能汽车的研究中，车载摄像头采集的数据可以进一步用于相关智能汽车领域技术的开发，例如:车辆识别、环境感知等技术。然而市场上大部分的车载视频数据采集系统或行车记录仪只能够采集视频信息，因而不能够很好地与这些领域的研究需求衔接起来，所以在大部分研究中，科研人员对这些设备采集的数据难以直接进行利用，因此开发一个专门用于深度学习车辆识别的车载视频数据采集系统势在必行。
目前在汽车上用于采集视频信息的设备为行车记录仪，这种设备一般能够对车辆行驶情况与前方环境进行监测并录像，它的主要功能是可以全程记录行车过程，给车主提供全面真实的行车记录；也可对突发交通事故提供有利的行车证据，利于事故双方责任的划分等等。但是行车记录仪一般只能储存视频数据而不能够将视频转换为图片的格式进行存储，所以不能够产生深度学习所需的数据集，研究人员也不能够根据其GPS信息而选择相关的感兴趣区域进行研究。所以开发专门用于深度学习车辆识别的车载视频数据采集系统对智能车辆的研究具有积极意义。这一系统不仅能够采集相关研究所需的视频图像数据，其还能存储与图像相匹配的GPS信息，而这些图像数据可作为深度学习训练所需的数据集，同时研究人员还可以通过GPS信息与自身的研究目的选择相关感兴趣区域进行研究。
本发明基于车载摄像头、GPS模块、开发板和显示屏，设计出一种可用于深度学习车辆识别的数据采集系统，具有便利性、新颖性的特点。
发明内容
1.发明目的
本发明针对现有车载视频数据采集系统或行车记录仪的弊端，通过利用开发板、高清摄像头、GPS模块和显示屏，设计出一款新型的可用于进行深度学习车辆识别的数据采集系统。
2.本发明所采用的技术方案
本发明是一种可用于深度学习车辆识别的车载视频数据采集系统，具体可通过以下步骤实现：
(1)车载视频采集系统的硬件选型。选择合适的开发板、GPS模块、高清摄像头和显示屏。
(2)车载视频采集系统的软件开发。使用Linux系统调用OpenCV软件对摄像头采集的视频信息进行处理，并对串口通信进行编程，实现串口信息的读取。而后解析GPS格式并对读取过程进行编程实现。
(3)车载视频采集系统的功能测试。对整个系统进行测试以验证系统的功能。
3.本发明所产生的技术效果。
本发明基于开发板、摄像头、GPS模块及显示屏，对整个数据采集系统进行编程以实现相应功能。其具有以下优点：
(1)本发明可以弥补现有行车记录仪或其他车载视频采集系统难以应用于智能车辆开发的不足，解决了深度学习车辆识别研究中训练数据来源的问题。
(2)本发明可以对视频信息进行处理，获取深度学习需要训练及检测的数据集。
(3)本发明可以将视频信息转换为图片格式，并与GPS信息相匹配，因此科研人员可以选择相应的感兴趣区域进行研究。
4.附图说明
图1为本发明的结构图
图2为本发明的实现流程图
图3为本发明采集的图片及与之对应的GPS信息
5.具体实施方式
下面结合附图，对本发明的实现过程进行详细解析，使得本领域的技术人员能够参照说明书并实施。
本发明提出一种基于开发板、GPS模块、摄像头和显示屏进行设计的车载视频采集系统，具体包括以下几个步骤：
步骤一：首先对车载视频数据采集系统进行硬件的选型。本发明的采集硬件主要由以下四个部分组成：开发板，USB摄像头、GPS模块和显示屏。出于对成本、便利性及性能的考虑，选择Nanopi M3开发板作为研发平台，Nanopi M3采用了三星八核的A53高性能处理器S5P6818，其动态运行主频为400M-1.4GHz，这保证它在进行视频处理时候的运行速率，而且其计算能力突出，同时Nanopi M3开发板的体积比较小，方便之后的安装携带，虽然其体积较小，但是接口较多，综合以上优点，选择Nanopi M3开发板作为主要研发平台。
对摄像头进行选择时，根据实际的应用情况并结合成本考虑，最终选择格式为1080P的摄像头，其组成比较简单，它的USB接口直接同开发板串口相连，从而能够通过串口通信编程从Linux系统中读取摄像头信息。
在选择GPS模块时，也考虑了综合因素，了解到GPS模块的主要作用是能够实时定位模块所处的位置信息，最终选择的GPS模块信息如下，其由一个串口和一个USB接口与外接口相连，并且采用新的U-blox 8代72通道GPS芯片，它使用标准DB9接口的RS232通讯协议，其使用5V或USB接口提供稳定电压，保证GPS信息的稳定接收，从而能获取详细的定位信息。通过进一步对程序进行开发，使GPS信息与采集的视频图片相匹配，从而达到记录视频图片详细位置信息的目的。而本发明对显示屏的选择无严格要求，所以随机选择了一个19寸的显示屏。
步骤二：车载视频采集系统的软件开发。本发明采用OpenCV作为辅助软件进行视频采集系统的开发，OpenCV可以为本发明提供计算机视觉应用上的支持，它具备较强的图像处理能力，且还具有多种编程语言的接口，例如C++、C、Python和Java等，并支持Linux、Windows、Android和Mac OS等操作平台。而本发明通过编程实现对OpenCV的调用，使其对摄像头采集的视频信息进行处理后转换为图片并储存于开发板中，而在本发明中，采用Linux作为操作平台并使用C++编程语言对车载视频采集系统进行开发。
软件设计主要是在开发板上进行，将接口连接完毕之后，如图1所示，打开显示屏开机，在Linux系统下运用C++语言对OpenCV的函数进行调用，编译并运行程序，实现其对USB摄像头的读取，并进行视频数据的采集和视频转换图片的存储。采集过程主要是将采集的每一帧视频图像压缩成jpg格式的图片，然后存储下来,同时把GPS信息保存到TXT文件中并使每一条GPS信息与每张图片相匹配。
而在此之前要对串口通信进行编程，串口通信的编程是输入与读取GPS信息中最基础和最重要的一个步骤，对于串口来说，其通信方式大概可以分为两类：并行通信与串行通信。串口通信需要借助三根接线来实现，分别是地线、发送线和接收线。对于两个要在彼此间建立通信关系的设备来说，它们之间串口参数必须一致，从而才能使信息得到传输。而在配置串口时，对串口进行操作按照以下步骤进行：1)打开串口；2)配置串口；3)读写串口；4)关闭串口。而在配置串口时，对一些串口参数进行设置，比如：波特率、数据位数、奇偶校验和停止位等。在读写串口时，使用ReadFile和WriteFile等语句进行串口的读写。
通过对串口通信参数的配置，使得GPS模块能够顺利接收并读取GPS信息。
完成对串口参数进行设置之后，采集平台开始对GPS信息进行接收，GPS的基本功能是可以对全世界的任意地点进行持续不断的实时监控，可以对任意目标进行定位、测速，同时对客户提供导航服务。所以要读取GPS信息需要对GPS的格式进行解析和对实现读取过程进行编程。对GPS格式进行解读后，通过C++语言进行GPS相关代码的编写，实现对GPS信息的读取。
完成以上步骤即可实现对车载视频数据采集系统的开发。
步骤三：对完成的车载视频数据采集系统进行测试。通过将其安装在测试车辆上，调整好摄像头位置，使其监控范围为整个车前方，通过驾驶车辆运行收集数据，得到如图3所示的数据信息，其中采集的视频信息被程序调用的OpenCV转化为图片格式并被储存在开发板中，而与每张图片相对应的GPS信息以TXT格式亦存储在开发板中，且GPS信息与每张图片相对应，从而相关研究人员即可根据GPS信息选择感兴趣的区域进行相关领域的研究。
上述发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种可用于深度学习车辆识别的车载视频数据采集系统，其特征在于包括如下步骤：
(1)车载视频采集系统的硬件选型。选择合适的开发板、GPS模块、高清摄像头和显示屏。
(2)车载视频采集系统的软件开发。使用Linux系统调用OpenCV软件对摄像头采集的视频信息进行处理，并对串口通信进行编程，实现串口信息的读取。而后解析GPS格式并对读取过程进行编程实现。
(3)车载视频采集系统的功能测试。对整个系统进行测试以验证系统的功能。
2.根据权利1要求的一种可用于深度学习车辆识别的车载视频数据采集系统，其特征在于：将采集的每一帧视频图像压缩成jpg格式的图片，然后存储下来,同时把GPS信息保存到TXT文件中并使每一条GPS信息与每张图片相匹配。
3.根据权利1要求的一种可用于深度学习车辆识别的车载视频数据采集系统，其特征在于：采集的视频信息被程序调用的OpenCV转化为图片格式并被储存在开发板中，而与每张图片相对应的GPS信息以TXT格式亦存储在开发板中，且GPS信息与每张图片相对应，从而相关研究人员即可根据GPS信息选择感兴趣的区域进行相关领域的研究。
CN201810907416.XA 2018-08-09 2018-08-09 一种用于深度学习车辆识别的车载视频数据采集系统 Pending CN109308750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810907416.XA CN109308750A (zh) 2018-08-09 2018-08-09 一种用于深度学习车辆识别的车载视频数据采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810907416.XA CN109308750A (zh) 2018-08-09 2018-08-09 一种用于深度学习车辆识别的车载视频数据采集系统

Publications (1)

Publication Number Publication Date
CN109308750A true CN109308750A (zh) 2019-02-05

Family

ID=65223807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810907416.XA Pending CN109308750A (zh) 2018-08-09 2018-08-09 一种用于深度学习车辆识别的车载视频数据采集系统

Country Status (1)

Country Link
CN (1) CN109308750A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310387A (zh) * 2019-06-25 2019-10-08 三明学院 一种基于yolo物象识别的智能行车记录仪、系统及车辆

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2224358B (en) * 1988-10-31 1992-02-26 Michael Jefferson Lawrence Vehicle security camera
EP0550397A1 (de) * 1992-01-02 1993-07-07 Wolfgang Kainz Beobachtungs- und Überwachungseinrichtung an Fahrzeugen od.dgl.
EP1082234A2 (en) * 1998-06-01 2001-03-14 Robert Jeff Scaman Secure, vehicle mounted, incident recording system
CN1858807A (zh) * 2005-04-30 2006-11-08 深圳市思朗科技有限公司 车辆监控信息保全系统
CN105391966A (zh) * 2015-11-30 2016-03-09 四川诚品电子商务有限公司 一种便于查询的车载视频存储方法
CN106210585A (zh) * 2016-08-15 2016-12-07 深圳市华宝电子科技有限公司 一种存储车辆视频录像的方法及装置
CN106228251A (zh) * 2016-07-17 2016-12-14 黑龙江工程学院 汽车维修部件质量可追溯系统
CN106657745A (zh) * 2016-12-30 2017-05-10 北京航空航天大学 一种多源gps数据与单目图像的车载采集系统
US20170337753A1 (en) * 2016-05-17 2017-11-23 International Business Machines Corporation Vehicle accident reporting system
CN107545535A (zh) * 2017-08-11 2018-01-05 深圳市麦道微电子技术有限公司 一种gps坐标信息与实时图像混合的处理系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2224358B (en) * 1988-10-31 1992-02-26 Michael Jefferson Lawrence Vehicle security camera
EP0550397A1 (de) * 1992-01-02 1993-07-07 Wolfgang Kainz Beobachtungs- und Überwachungseinrichtung an Fahrzeugen od.dgl.
EP1082234A2 (en) * 1998-06-01 2001-03-14 Robert Jeff Scaman Secure, vehicle mounted, incident recording system
CN1858807A (zh) * 2005-04-30 2006-11-08 深圳市思朗科技有限公司 车辆监控信息保全系统
CN105391966A (zh) * 2015-11-30 2016-03-09 四川诚品电子商务有限公司 一种便于查询的车载视频存储方法
US20170337753A1 (en) * 2016-05-17 2017-11-23 International Business Machines Corporation Vehicle accident reporting system
CN106228251A (zh) * 2016-07-17 2016-12-14 黑龙江工程学院 汽车维修部件质量可追溯系统
CN106210585A (zh) * 2016-08-15 2016-12-07 深圳市华宝电子科技有限公司 一种存储车辆视频录像的方法及装置
CN106657745A (zh) * 2016-12-30 2017-05-10 北京航空航天大学 一种多源gps数据与单目图像的车载采集系统
CN107545535A (zh) * 2017-08-11 2018-01-05 深圳市麦道微电子技术有限公司 一种gps坐标信息与实时图像混合的处理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
谢琴: "基于GPS与图像处理的公路标牌监管系统研发", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
龙德亮: "基于μC/GUI和FATFS的车载GPS数据显示与存储系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310387A (zh) * 2019-06-25 2019-10-08 三明学院 一种基于yolo物象识别的智能行车记录仪、系统及车辆

Similar Documents

Publication Publication Date Title
US11358545B2 (en) Vehicle activity information system
CN109032102B (zh) 无人驾驶车辆测试方法、装置、设备及存储介质
CN109032103B (zh) 无人驾驶车辆的测试方法、装置、设备及存储介质
US20180322230A1 (en) Driverless vehicle simulation test method and apparatus, device and readable medium
CN111340131B (zh) 图像的标注方法、装置、可读介质和电子设备
CN107766872B (zh) 一种识别光照驾驶场景的方法和装置
CN107305561B (zh) 图像的处理方法、装置、设备及用户界面系统
CN110780608B (zh) 仿真测试方法及装置
CN104494534A (zh) 一种车辆运输管理系统和方法
CN104952273A (zh) 针对车辆行为的告警方法、装置及系统
CN202471975U (zh) 一种车载导航与视频录制一体化设备
CN109308750A (zh) 一种用于深度学习车辆识别的车载视频数据采集系统
CN108986253B (zh) 用于多线程并行处理的存储数据方法和装置
CN205910726U (zh) 一种智慧旅游平台
CN107516354A (zh) 基于规则脚本的驾驶员考试系统、辅助驾驶系统及方法
CN108346294B (zh) 车辆识别系统、方法和装置
CN208126685U (zh) 一种物联网智能学车系统
CN109711340A (zh) 基于行车记录仪的信息匹配方法、装置、仪器及服务器
CN109558505A (zh) 视觉搜索方法、装置、计算机设备及存储介质
CN105761326A (zh) 一种管理车辆行驶数据的方法、装置及设备
KR102101090B1 (ko) 차량 사고 영상 공유 방법 및 그 장치
CN113611007B (zh) 一种数据处理方法及数据采集系统
CN113591744B (zh) 针对危险驾驶行为的标注数据的生成方法及数据采集系统
CN109443377A (zh) 一种图像处理方法、系统、服务器和存储介质
CN106303470A (zh) 基于wcdma的双摄像头一体化驾培计时终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190205

WD01 Invention patent application deemed withdrawn after publication