CN112541531A - 一种道路视频数据的采集处理系统及方法 - Google Patents

一种道路视频数据的采集处理系统及方法 Download PDF

Info

Publication number
CN112541531A
CN112541531A CN202011411634.8A CN202011411634A CN112541531A CN 112541531 A CN112541531 A CN 112541531A CN 202011411634 A CN202011411634 A CN 202011411634A CN 112541531 A CN112541531 A CN 112541531A
Authority
CN
China
Prior art keywords
target
picture
marking
road
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011411634.8A
Other languages
English (en)
Inventor
李森林
周风明
郝江波
姚曦煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Kotei Informatics Co Ltd
Original Assignee
Wuhan Kotei Informatics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Kotei Informatics Co Ltd filed Critical Wuhan Kotei Informatics Co Ltd
Priority to CN202011411634.8A priority Critical patent/CN112541531A/zh
Publication of CN112541531A publication Critical patent/CN112541531A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种道路视频数据的采集处理系统及方法，该采集处理系统中，目标检测模型对道路视频数据包含的图片帧进行实时的道路目标检测并打标；目标检测提醒模块实时显示检测到的道路目标的类型进行提醒；用户命令接收模块接收用户发出的确认命令后，记录保存对应的图片帧的打标信息；图片抽取模块对道路视频数据转换成的图片帧进行图片抽取；利用深度学习技术辅助人工打标，检测到目标时将识别到目标的图像和目标框显示在电脑屏幕上，车上人员通过观察电脑显示器上出现的目标和车外实景判断识别是否正确，正确则自动记录打点记录相应信息，可以减少打标人员走神漏标和误标的情况的发生，提高了打标正确率，减少了漏标率。

Description

一种道路视频数据的采集处理系统及方法
技术领域
本发明涉及数据采集领域，尤其涉及一种道路视频数据的采集处理系统及方法。
背景技术
采集数据作为训练自动驾驶的重要数据来源之一，当前自动驾驶技术更是通过摄像头实时判断目标和场景信息，随着自动驾驶等级的提高，为了让摄像头更加精准的识别到特定目标，对训练数据集图片的要求同样也会迎来数量级的调高，此时就需要更加高效和便捷的方法高效率的获取大量训练图片和对应的打标文件。
传统方法为实车采集，打标人员在副驾驶标记目标类型和时间戳，之后再将采集的视频和打点信息存储在硬盘中寄回后人工对视频中的目标进行筛选、打标，走行过程中走行人员存在遗漏或误标现象，且走行过程中可能遇到堵车、红灯，造成采集到大量重复的场景图片不利于模型的训练，增加人工筛掉重复图片的人力。
发明内容
本发明针对现有技术中存在的技术问题，提供一种道路视频数据的采集处理系统及方法，解决现有技术中问题。
本发明解决上述技术问题的技术方案如下：一种道路视频数据的采集处理系统，包括：目标检测模型、目标检测提醒模块、用户命令接收模块和图片抽取模块；
所述目标检测模型基于深度学习训练得到，对道路视频数据包含的图片帧进行实时的道路目标检测并打标，并在检测到道路目标时将检测到的道路目标的类型发送给所述目标检测提醒模块；
所述目标检测提醒模块包括显示模块，所述显示模块实时显示检测到的道路目标的类型进行提醒；
所述用户命令接收模块接收用户发出的确认命令后，记录保存对应的所述图片帧的打标信息，发出图片抽取命令给所述图片抽取模块；
所述图片抽取模块在收到图片抽取命令后根据所述打标信息对所述道路视频数据转换成的图片帧对进行图片抽取。
一种道路视频数据的采集处理方法，包括：
步骤1，基于深度学习训练得到目标检测模型，通过所述目标检测模型对道路视频数据包含的图片帧进行实时的道路目标检测并打标；
步骤2，通过显示模块实时显示检测到的道路目标的类型对用户进行提醒；
步骤3，接收用户发出的确认命令后，记录保存对应的所述图片帧的打标信息；
步骤4，根据所述打标信息对所述道路视频数据转换成的图片帧对进行图片抽取。
本发明的有益效果是：本发明提出一种道路视频数据的采集处理系统及方法，利用深度学习技术辅助人工打标，其中包含车线、障碍物、信号灯、特殊车辆类型、交通标志牌、道路类型等实时识别打标功能，检测到目标时将识别到目标的图像和目标框显示在电脑屏幕上，车上人员通过观察电脑显示器上出现的目标和车外实景判断识别是否正确，正确则自动记录打点记录相应信息，可以减少打标人员走神漏标和误标的情况的发生，提高了打标正确率，减少了漏标率；同时最终获取的图片，可用于目标检测模型的再训练，不断提升系统的识别能力。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述图片帧的打标信息包括图片帧对应的速度、经纬度信息、时间戳、道路目标的类型和打框位置，所述打标信息以xml文件进行存储；
所述图片帧对应的速度和经纬度信息从所述道路视频数据来源车辆的GPS模块获取；所述图片帧的时间戳、道路目标的类型和目标的打框位置通过所述目标检测模型获取。
进一步，所述目标检测提醒模块还包括语音播报模块，所述语音播报模块存储有与所述道路目标的类型对应的语音信息；
在收到所述目标检测模型发送的所述道路目标的类型后播放对应的语音信息。
进一步，所述采集处理系统还包括人工打标模块；所述人工打标模块接收用户通过打点工具记录的时间戳和目标类型存入该图片帧对应的打标信息中，并发出图片抽取命令给所述图片抽取模块。
进一步，所述图片抽取模块进行图片抽取的过程包括：将道路视频转换成图片帧，根据所述打标信息中的时间进行图片抽取，根据所述打标信息将经纬度一致且速度为0对应的重复图片帧筛掉只保留单张。
进一步，所述图片抽取模块根据所述打标信息中的时间戳进行图片抽取的过程中：
对于所述用户命令接收模块发出的图片抽取命令，抽取时间戳对应的图片；
对于所述人工打标模块发送的图片抽取命令，抽取打点时间前后设定时间范围内的图片，人工筛选剔除不包含道路目标的图片。
进一步，所述采集处理系统还包括标注修正工具；
所述标注修正工具接受用户输入的命令根据所述图片帧和打标信息对所述打标信息那个的目标类型和打框位置进行复审和修正。
进一步，所述图片帧的打标信息包括图片帧对应的速度、经纬度信息、时间戳、道路目标的类型和打框位置，所述打标信息以xml文件进行存储；
所述步骤1之前还包括：从所述道路视频数据来源车辆的GPS模块获取所述图片帧对应的速度和经纬度信息存入所述图片帧对应的xml文件中；
所述步骤1还包括：获取所述图片帧的时间戳、道路目标的类型和目标的打框位置存入所述图片帧对应的xml文件中。
进一步，所述步骤4之前还包括：接收用户通过打点工具记录的时间戳和目标类型存入该图片帧对应的打标信息中；
所述步骤4进行图片抽取的过程包括：将道路视频转换成图片帧；
对于所述用户命令接收模块发出的图片抽取命令，抽取时间戳对应的图片；
对于所述人工打标模块发送的图片抽取命令，抽取打点时间前后设定时间范围内的图片，人工筛选剔除不包含道路目标的图片；
根据所述打标信息中的时间进行图片抽取，根据所述打标信息将经纬度一致且速度为0对应的重复图片帧筛掉只保留单张。
采用上述进一步方案的有益效果是：检测到目标时，触发对应类型标志物的语音播报提示，同时显示模块的屏幕弹出目标画面和框，提示车上打标人员通过显示模块进行确认；融合GPS数据中的位置和速度信息，能够自动化的抽取多样性场景的图片信息，减少在筛选去除重复场景和相似度极高图片上人力的花费，使采集到的场景图片更加多样化；通过标注修正工具接受用户输入的命令根据图片帧和打标信息对打标信息那个的目标类型和打框位置进行复审和修正。
附图说明
图1为本发明提供的一种道路视频数据的采集处理系统的实施例的结构框图；
图2为本发明提供的一种道路视频数据的采集处理方法的实施例的流程图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示为本发明提供的一种道路视频数据的采集处理系统的实施例的结构框图，由图1可知，该采集处理系统包括：目标检测模型、目标检测提醒模块、用户命令接收模块和图片抽取模块。
目标检测模型基于深度学习训练得到，对道路视频数据包含的图片帧进行实时的道路目标检测并打标，并在检测到道路目标时将检测到的道路目标的类型发送给目标检测提醒模块。
该道路目标为道路上的一些标志信息，例如包括：车道线、障碍物、特殊类型、车辆和交通标志牌。
该模型检测模块为训练好的对道路目标进行自动标注的深度学习模型，例如yolov3识别模型，根据公共数据集及公司项目路试采集的图片进行打标。
目标检测提醒模块包括显示模块，显示模块实时显示检测到的道路目标的类型进行提醒。
用户命令接收模块接收用户发出的确认命令后，记录保存对应的图片帧的打标信息，发出图片抽取命令给图片抽取模块。
显示模块向通过显示模块向用户显示目标检测模型自动检测到的道路目标及其类型，用户进行确认是否正确，在用户判断正确后，向用户命令接收模块发出确认命令。
图片抽取模块在收到图片抽取命令后根据打标信息对道路视频数据转换成的图片帧对进行图片抽取。
本发明提出一种道路视频数据的采集处理系统，利用深度学习技术辅助人工打标，其中包含车线、障碍物、信号灯、特殊车辆类型、交通标志牌、道路类型等实时识别打标功能，检测到目标时将识别到目标的图像和目标框显示在电脑屏幕上，车上人员通过观察电脑显示器上出现的目标和车外实景判断识别是否正确，正确则自动记录打点记录相应信息，可以减少打标人员走神漏标和误标的情况的发生，提高了打标正确率，减少了漏标率；同时最终获取的图片，可用于目标检测模型的再训练，不断提升系统的识别能力。
实施例1
本发明提供的实施例1为本发明提供的一种道路视频数据的采集处理系统的实施例，结合图1可知，该采集处理系统的实施例包括：目标检测模型、目标检测提醒模块、用户命令接收模块、人工打标模块、图片抽取模块和标注修正工具。
目标检测模型基于深度学习训练得到，对道路视频数据包含的图片帧进行实时的道路目标检测并打标，并在检测到道路目标时将检测到的道路目标的类型发送给目标检测提醒模块。
该模型检测模块为训练好的对道路目标进行自动标注的深度学习模型，本发明实施例中以yolov3识别模型进行说明。
目标检测提醒模块包括显示模块，显示模块实时显示检测到的道路目标的类型进行提醒。
优选的，该目标检测提醒模块还包括语音播报模块，语音播报模块存储有与道路目标的类型对应的语音信息。
在收到目标检测模型发送的道路目标的类型后播放对应的语音信息。
检测到目标时，触发对应类型标志物的语音播报提示，同时显示模块的屏幕弹出目标画面和框，提示车上打标人员通过显示模块进行确认。
用户命令接收模块接收用户发出的确认命令后，记录保存对应的图片帧的打标信息，发出图片抽取命令给图片抽取模块。
优选的，图片帧的打标信息包括图片帧对应的速度、经纬度信息、时间戳、道路目标的类型和打框位置，打标信息以xml文件进行存储。
图片帧对应的速度和经纬度信息从道路视频数据来源车辆的GPS模块获取；图片帧的时间戳、道路目标的类型和目标的打框位置通过目标检测模型获取。
具体实施过程中，前端的数据采集系统主要包含车载摄像头、车载GPS模块和高性能笔记本电脑，摄像头和GPS模块连接电脑，将画面实时传入训练好的yoloV3识别模型中进行识别。
该道路视频数据的采集处理系统连接道路视频数据来源车辆的摄像头模块和GPS模块到电脑，开始采集。人工和训练好的yolov3识别模型同时对前方道路景象进行监控。
通过电脑读取GPS模块自动记录每帧图片对应的速度和经纬度信息到xml文件，同时将每帧图片传入yolov3识别模型进行检测，检测到目标时提醒工作人员，人工确认识别正确后，记录时间戳、目标类型和打框位置添加到xml文件中。
融合GPS数据中的位置和速度信息，能够自动化的抽取多样性场景的图片信息，减少在筛选去除重复场景和相似度极高图片上人力的花费，使采集到的场景图片更加多样化。
人工打标模块接收用户通过打点工具记录的时间戳和目标类型存入该图片帧对应的打标信息中，并发出图片抽取命令给图片抽取模块。
即具体实施中，目标检测模型未检测到道路目标或检测错误且人工观察到该道路目标或发现该检测错误时，使用人工打点工具记录时间戳和目标类型存入该张图片的对应的xml文件。
图片抽取模块在收到图片抽取命令后根据打标信息对道路视频数据转换成的图片帧对进行图片抽取。
具体的，图片抽取模块进行图片抽取的过程包括：将道路视频转换成图片帧，根据打标信息中的时间进行图片抽取，根据打标信息将经纬度一致且速度为0对应的重复图片帧筛掉只保留单张。
具体实施中，将经纬度一致且速度为0的xml文件对应的图片帧筛掉只保留单张，获得含有道路标志的图片帧和对应的xml文件。
优选的，图片抽取模块根据打标信息中的时间戳进行图片抽取的过程中：
对于用户命令接收模块发出的图片抽取命令，抽取时间戳对应的图片。
即对于自动打点生成的打标信息的xml文件，直接抽取相应帧数时间戳对应的图片。
对于人工打标模块发送的图片抽取命令，抽取打点时间前后设定时间范围内的图片，人工筛选剔除不包含道路目标的图片。
该设定时间范围例如为打点前8秒后3秒内。
即对于人工打点生成的打标信息的xml文件，抽取打点前8秒后3秒内的图片，人工筛选剔除不含道路目标的图片。
完成上述抽取过程后，根据每张图片xml文件中的GPS信息的经纬度和速度自动剔除掉速度为0且经纬度一致的重复图片只保留单张。
标注修正工具接受用户输入的命令根据图片帧和打标信息对打标信息那个的目标类型和打框位置进行复审和修正。
通过标注修正工具读取自动打点并自动剔除重复场景后的图片和xml文件，将目标框的位置显示在图片中，人工使用工具根据图片标志物位置，增加框删除框，调整框大小，移动框位置修改后将框的位置，更新xml文件中目标框的位置信息。
实施例2
本发明提供的实施例2为本发明提供的一种道路视频数据的采集处理方法的实施例，如图2所示为本发明提供的一种道路视频数据的采集处理方法的实施例的流程图，结合图2可知，该采集处理方法的实施例包括：
从道路视频数据来源车辆的GPS模块获取道路视频数据的图片帧对应的速度和经纬度信息存入该图片帧对应的xml文件中。
步骤1，基于深度学习训练得到目标检测模型，通过目标检测模型对道路视频数据包含的图片帧进行实时的道路目标检测并打标。
进一步的，该步骤1还包括获取图片帧的时间戳、道路目标的类型和目标的打框位置存入图片帧对应的xml文件中。
该道路目标为道路上的一些标志信息，例如包括：车道线、障碍物、特殊类型、车辆和交通标志牌。
该模型检测模块为训练好的对道路目标进行自动标注的深度学习模型，例如yolov3识别模型，根据公共数据集及公司项目路试采集的图片进行打标。
步骤2，通过显示模块实时显示检测到的道路目标的类型对用户进行提醒。
优选的，步骤2还包括：语音播放检测到的道路目标的类型对用户进行提醒。
步骤3，接收用户发出的确认命令后，记录保存对应的图片帧的打标信息。
打标信息包括图片帧对应的速度、经纬度信息、时间戳、道路目标的类型和打框位置，打标信息以xml文件进行存储。
显示模块向通过显示模块向用户显示目标检测模型自动检测到的道路目标及其类型，用户进行确认是否正确，在用户判断正确后，向用户命令接收模块发出确认命令。
进一步的，接收用户通过打点工具记录的时间戳和目标类型存入该图片帧对应的打标信息中。
步骤4，根据打标信息对道路视频数据转换成的图片帧对进行图片抽取。
具体的，进行图片抽取的过程包括：
将道路视频转换成图片帧。
对于用户命令接收模块发出的图片抽取命令，抽取时间戳对应的图片。
对于人工打标模块发送的图片抽取命令，抽取打点时间前后设定时间范围内的图片，人工筛选剔除不包含道路目标的图片。
根据打标信息中的时间进行图片抽取，根据打标信息将经纬度一致且速度为0对应的重复图片帧筛掉只保留单张。
优选的，用户还可以通过标注修正工具输入命令根据图片帧和打标信息对打标信息那个的目标类型和打框位置进行复审和修正。
本发明提供的一种道路视频数据的采集处理方法，实时记录下GPS模块中车辆经纬度位置和速度信息写入excel文件中进行保存，打标人员观察前方道路情况是否存在打标点，若发现打点目标，在电脑上按下打点工具上对应不同目标按钮记录的按钮记录下标志物类型和时间点写入xml文件，若目标是持续的则记录开始和结束的打点。同时yoloV3模型也在实时对摄像头的每帧图片进行识别判断，如果发现目标会进行语音提示前方出现的目标类型并在电脑上显示目标画面和目标框，提示打标人员前方存在需要打标的目标，打点人员确认识别正确后，模型会自动对该目标进行打标记录同时记录目标框在画面中的位置生成对应的xml文件进行保存。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种道路视频数据的采集处理系统，其特征在于，所述采集处理系统包括：目标检测模型、目标检测提醒模块、用户命令接收模块和图片抽取模块；
所述目标检测模型基于深度学习训练得到，对道路视频数据包含的图片帧进行实时的道路目标检测并打标，并在检测到道路目标时将检测到的道路目标的类型发送给所述目标检测提醒模块；
所述目标检测提醒模块包括显示模块，所述显示模块实时显示检测到的道路目标的类型进行提醒；
所述用户命令接收模块接收用户发出的确认命令后，记录保存对应的所述图片帧的打标信息，发出图片抽取命令给所述图片抽取模块；
所述图片抽取模块在收到图片抽取命令后根据所述打标信息对所述道路视频数据转换成的图片帧对进行图片抽取。
2.根据权利要求1所述的采集处理系统，其特征在于，所述图片帧的打标信息包括图片帧对应的速度、经纬度信息、时间戳、道路目标的类型和打框位置，所述打标信息以xml文件进行存储；
所述图片帧对应的速度和经纬度信息从所述道路视频数据来源车辆的GPS模块获取；所述图片帧的时间戳、道路目标的类型和目标的打框位置通过所述目标检测模型获取。
3.根据权利要求1所述的方法，其特征在于，所述目标检测提醒模块还包括语音播报模块，所述语音播报模块存储有与所述道路目标的类型对应的语音信息；
在收到所述目标检测模型发送的所述道路目标的类型后播放对应的语音信息。
4.根据权利要求1所述的采集处理系统，其特征在于，所述采集处理系统还包括人工打标模块；所述人工打标模块接收用户通过打点工具记录的时间戳和目标类型存入该图片帧对应的打标信息中，并发出图片抽取命令给所述图片抽取模块。
5.根据权利要求4所述的采集处理系统，其特征在于，所述图片抽取模块进行图片抽取的过程包括：将道路视频转换成图片帧，根据所述打标信息中的时间进行图片抽取，根据所述打标信息将经纬度一致且速度为0对应的重复图片帧筛掉只保留单张。
6.根据权利要求5所述的采集处理系统，其特征在于，所述图片抽取模块根据所述打标信息中的时间戳进行图片抽取的过程中：
对于所述用户命令接收模块发出的图片抽取命令，抽取时间戳对应的图片；
对于所述人工打标模块发送的图片抽取命令，抽取打点时间前后设定时间范围内的图片，人工筛选剔除不包含道路目标的图片。
7.根据权利要求1所述的采集处理系统，其特征在于，所述采集处理系统还包括标注修正工具；
所述标注修正工具接受用户输入的命令根据所述图片帧和打标信息对所述打标信息那个的目标类型和打框位置进行复审和修正。
8.一种道路视频数据的采集处理方法，其特征在于，所述方法包括：
步骤1，基于深度学习训练得到目标检测模型，通过所述目标检测模型对道路视频数据包含的图片帧进行实时的道路目标检测并打标；
步骤2，通过显示模块实时显示检测到的道路目标的类型对用户进行提醒；
步骤3，接收用户发出的确认命令后，记录保存对应的所述图片帧的打标信息；
步骤4，根据所述打标信息对所述道路视频数据转换成的图片帧对进行图片抽取。
9.根据权利要求8所述的采集处理方法，其特征在于，所述图片帧的打标信息包括图片帧对应的速度、经纬度信息、时间戳、道路目标的类型和打框位置，所述打标信息以xml文件进行存储；
所述步骤1之前还包括：从所述道路视频数据来源车辆的GPS模块获取所述图片帧对应的速度和经纬度信息存入所述图片帧对应的xml文件中；
所述步骤1还包括：获取所述图片帧的时间戳、道路目标的类型和目标的打框位置存入所述图片帧对应的xml文件中。
10.根据权利要求9所述的采集处理方法，其特征在于，所述步骤4之前还包括：接收用户通过打点工具记录的时间戳和目标类型存入该图片帧对应的打标信息中；
所述步骤4进行图片抽取的过程包括：将道路视频转换成图片帧；
对于所述用户命令接收模块发出的图片抽取命令，抽取时间戳对应的图片；
对于所述人工打标模块发送的图片抽取命令，抽取打点时间前后设定时间范围内的图片，人工筛选剔除不包含道路目标的图片；
根据所述打标信息中的时间进行图片抽取，根据所述打标信息将经纬度一致且速度为0对应的重复图片帧筛掉只保留单张。
CN202011411634.8A 2020-12-02 2020-12-02 一种道路视频数据的采集处理系统及方法 Pending CN112541531A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011411634.8A CN112541531A (zh) 2020-12-02 2020-12-02 一种道路视频数据的采集处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011411634.8A CN112541531A (zh) 2020-12-02 2020-12-02 一种道路视频数据的采集处理系统及方法

Publications (1)

Publication Number Publication Date
CN112541531A true CN112541531A (zh) 2021-03-23

Family

ID=75016051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011411634.8A Pending CN112541531A (zh) 2020-12-02 2020-12-02 一种道路视频数据的采集处理系统及方法

Country Status (1)

Country Link
CN (1) CN112541531A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792600A (zh) * 2021-08-10 2021-12-14 武汉光庭信息技术股份有限公司 一种基于深度学习的视频抽帧方法和系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339044A (zh) * 2008-08-12 2009-01-07 凯立德欣技术（深圳）有限公司 一种导航系统及导航系统语音提示方法
US20100088031A1 (en) * 2008-10-02 2010-04-08 Certusview Technologies, Llc Methods and apparatus for generating an electronic record of environmental landmarks based on marking device actuations
CN107277103A (zh) * 2017-04-27 2017-10-20 华晓燕 一种基于精确推送的通勤服务系统及实现方法
CN108363044A (zh) * 2018-02-12 2018-08-03 安徽江淮汽车集团股份有限公司 一种bsd场景构建的数据采集及分析系统
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统
CN109017554A (zh) * 2018-07-27 2018-12-18 北京小米移动软件有限公司 行驶提醒方法、装置及计算机可读存储介质
CN109785633A (zh) * 2019-03-14 2019-05-21 百度在线网络技术（北京）有限公司 危险路况提醒方法、装置、车载终端、服务器及介质
CN109974734A (zh) * 2019-04-02 2019-07-05 百度在线网络技术（北京）有限公司 一种用于ar导航的事件上报方法、装置、终端及存储介质
CN110717433A (zh) * 2019-09-30 2020-01-21 华中科技大学 一种基于深度学习的交通违规分析方法及装置
CN111080620A (zh) * 2019-12-13 2020-04-28 中远海运科技股份有限公司 一种基于深度学习的道路病害检测方法
CN111241343A (zh) * 2020-01-07 2020-06-05 西安电子科技大学 一种道路信息监控与分析检测方法、智慧交通控制系统
WO2020192122A1 (zh) * 2019-03-27 2020-10-01 江苏智通交通科技有限公司 一种闯红灯车辆的非现场执法图片智能审核方法和系统
CN111967450A (zh) * 2020-10-21 2020-11-20 宁波均联智行科技有限公司 自动驾驶模型用样本获取方法、训练方法、装置及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339044A (zh) * 2008-08-12 2009-01-07 凯立德欣技术（深圳）有限公司 一种导航系统及导航系统语音提示方法
US20100088031A1 (en) * 2008-10-02 2010-04-08 Certusview Technologies, Llc Methods and apparatus for generating an electronic record of environmental landmarks based on marking device actuations
CN107277103A (zh) * 2017-04-27 2017-10-20 华晓燕 一种基于精确推送的通勤服务系统及实现方法
CN108363044A (zh) * 2018-02-12 2018-08-03 安徽江淮汽车集团股份有限公司 一种bsd场景构建的数据采集及分析系统
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统
CN109017554A (zh) * 2018-07-27 2018-12-18 北京小米移动软件有限公司 行驶提醒方法、装置及计算机可读存储介质
CN109785633A (zh) * 2019-03-14 2019-05-21 百度在线网络技术（北京）有限公司 危险路况提醒方法、装置、车载终端、服务器及介质
WO2020192122A1 (zh) * 2019-03-27 2020-10-01 江苏智通交通科技有限公司 一种闯红灯车辆的非现场执法图片智能审核方法和系统
CN109974734A (zh) * 2019-04-02 2019-07-05 百度在线网络技术（北京）有限公司 一种用于ar导航的事件上报方法、装置、终端及存储介质
CN110717433A (zh) * 2019-09-30 2020-01-21 华中科技大学 一种基于深度学习的交通违规分析方法及装置
CN111080620A (zh) * 2019-12-13 2020-04-28 中远海运科技股份有限公司 一种基于深度学习的道路病害检测方法
CN111241343A (zh) * 2020-01-07 2020-06-05 西安电子科技大学 一种道路信息监控与分析检测方法、智慧交通控制系统
CN111967450A (zh) * 2020-10-21 2020-11-20 宁波均联智行科技有限公司 自动驾驶模型用样本获取方法、训练方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792600A (zh) * 2021-08-10 2021-12-14 武汉光庭信息技术股份有限公司 一种基于深度学习的视频抽帧方法和系统
CN113792600B (zh) * 2021-08-10 2023-07-18 武汉光庭信息技术股份有限公司 一种基于深度学习的视频抽帧方法和系统

Similar Documents

Publication Publication Date Title
US7171046B2 (en) Method and apparatus for portably recognizing text in an image sequence of scene imagery
US11216645B2 (en) Multi-camera multi-face video splicing acquisition device and method thereof
TWI502558B (zh) Traffic Accident Monitoring and Tracking System
US20030202683A1 (en) Vehicle navigation system that automatically translates roadside signs and objects
US8301363B2 (en) System and method for detection of average speed of vehicles for traffic control
CN111767798B (zh) 一种面向室内联网视频监控的智能导播方法及系统
CN108986472A (zh) 一种掉头车辆监控方法及装置
CN110856039A (zh) 视频处理方法及装置、存储介质
TWI430664B (zh) Intelligent Image Monitoring System Object Track Tracking System
CN112541531A (zh) 一种道路视频数据的采集处理系统及方法
CN107730897A (zh) 车辆识别方法和装置
CN110288629B (zh) 基于移动物体检测的目标检测自动标注方法及装置
SG195504A1 (en) Vehicle behavior analysis system, vehicle behavior analysis device, and vehicle behavior analysis program
CN105869406A (zh) 车辆辨识侦测系统、车辆信息搜集方法、车辆信息侦测记录方法以及车辆信息查询方法
CN109655073B (zh) 一种在无或弱信号区域中的地图绘制方法、装置及车辆
CN115394089A (zh) 一种车辆信息融合展示的方法、无感通行系统及存储介质
JPH09163276A (ja) マーキング機能を有する情報記録再生装置
CN107577995A (zh) 图像数据的处理方法及装置
CN114463755A (zh) 基于高精度地图采集图片中敏感信息自动检测脱敏方法
CN114220074A (zh) 一种车辆异常行为状态的识别方法及系统
JP2003284061A (ja) 映像記録装置
US20240142267A1 (en) Vehicular sensing system
CN111833469B (zh) 应用于收费站点的车辆计费方法及系统
CN112819965B (zh) 一种车辆信息的显示方法、装置以及电子设备
AU2021107425A4 (en) Obstacle detection system in hybrid classification of heterogeneous environment using data mining techniques and method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210323

RJ01 Rejection of invention patent application after publication