CN112258843A - 一种应用于高速公路应急车道无人机巡检的图像识别方法 - Google Patents

一种应用于高速公路应急车道无人机巡检的图像识别方法 Download PDF

Info

Publication number
CN112258843A
CN112258843A CN202011226240.5A CN202011226240A CN112258843A CN 112258843 A CN112258843 A CN 112258843A CN 202011226240 A CN202011226240 A CN 202011226240A CN 112258843 A CN112258843 A CN 112258843A
Authority
CN
China
Prior art keywords
video segment
lane
image
video
emergency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011226240.5A
Other languages
English (en)
Inventor
金国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dianchen Aviation Technology Co ltd
Original Assignee
Zhejiang Dianchen Aviation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dianchen Aviation Technology Co ltd filed Critical Zhejiang Dianchen Aviation Technology Co ltd
Priority to CN202011226240.5A priority Critical patent/CN112258843A/zh
Publication of CN112258843A publication Critical patent/CN112258843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种应用于高速公路应急车道无人机巡检的图像识别方法，包括以下步骤：S1、将拍摄装置拍摄的视频按设定时长制成独立的视频段；S2、调用视屏段；S3、提取视频段中的至少一帧图像；S4、对提取到的图像进行语义分割，从该图像上识别出车道区域和背景区域；S5、对车道区域进行车道曲线拟合，模拟出行车道线和应急车道线；S6、通过图形识别，判断应急车道内是否有车辆，如有则执行步骤S7，如无则执行步骤S8；S7、与地面站台通信，将上述视频段传输至地面站台；S8、删除上述视频段。本发明一方面只提取部分帧图片，工作强度低、占用资源少，另一方面，无需对整个视频进行数据传输，也降低了传输成本，降低了数据传输过程中的能源损耗。

Description

一种应用于高速公路应急车道无人机巡检的图像识别方法
技术领域
本发明涉及一种应用于高速公路应急车道无人机巡检的图像识别方法。
背景技术
所谓的应急车道是指位于路面行驶方向最右侧、主要用于发生事故或故障时停车以及专为救险所用的车道，也就是人们通常所说的“硬路肩”。
高速公路应急车道是专门供工程救险、消防救援、医疗救护或民警执行紧急公务等处理应急事务的车辆使用、任何社会车辆禁止驶入或者以各种理由在车道内停留。
近年来，随着车辆保有量的持续上升，道路时常出现拥堵，车辆占用高速公路应急车道。当发生交通事故时，导致救援车辆无法及时到达现场，救援活动无法及时开展，也无法对恶意违法占用应急车道的车辆进行取证和处罚，以遏制该现象的再次发生。
随着无人机快速的发展，无人机被广泛运用于高速公路路况巡航抓拍应急车道违章，但现有技术中的无人机至少存在以下问题：现有技术通常是采用无人机在巡航过程中拍摄高速道路视频传输到地面站台，如果强调实时性，视频数据较大，传输成本高，而且传输过程消耗能源多。如果不要求实时性，其也会产生大量储存数据，一方面需要承担存储成本，另一方面占用无人机资源，影响无人机正常工作和续航。
发明内容
本发明的目的在于提出一种能够有效完成高速公路巡航并且有效降低视频传输成本的无人机系统。
为解决上述问题，本发明提供了一种应用于高速公路应急车道无人机巡检的图像识别方法，其特征在于，包括以下步骤：
S1、将拍摄装置拍摄的视频按设定时长制成独立的视频段；
S2、调用所述视屏段；
S3、提取所述视频段中的至少一帧图像；
S4、对提取到的图像进行语义分割，从该图像上识别出车道区域和背景区域；
S5、对车道区域进行车道曲线拟合，模拟出行车道线和应急车道线，从而划分出行车道区域和应急车道区域；
S6、通过图形识别，判断所述应急车道内是否有车辆，如有车辆则执行步骤S7，如无车辆则执行步骤S8；
S7、 与地面站台通信，将上述视频段传输至地面站台；
S8、 删除上述视频段。
作为本发明的进一步改进，所述步骤S5包括：
S5.1、通过语义分割获取车道区域中的车道线的像素坐标；
S5.2、通过最小二乘法对车道线坐标进行曲线拟合，获得行车道和应急车道的二次抛物线曲线方程；
S5.3、根据获得的二次抛物线方程在图像的车道区域上绘制出拟合出来的行车线和应急车道线；
S5.4、对于应急车道线两侧赋予不同的像素值。
作为本发明的进一步改进，步骤S1-S3由视频处理模块完成，步骤S4-S6由图像识别模块完成。
作为本发明的进一步改进，
还包括步骤S1.5、判断所述图像识别模块工作或空闲，若空闲则执行步骤S2，若工作则将所述视频段进行储存至缓存单元；
所述步骤S2在提取所述视屏段时做如下判断，若所述缓存单元中缓存有视频段则调用所述缓存单元中的视频段，若所述缓存单元中无缓存视频段则调用步骤S1中的视频段。
作为本发明的进一步改进，所述步骤S1.5中，若缓存单元中的视频段数量超过一时，对所述缓存单元中的视频段进行级别定义，缓存越早的视频段优先级越高，所述步骤S2中，优先调用优先级最高的视频段。
本发明的有益效果在于，本发明中将无人机拍摄的视频按时长分割成若干段，在无人机上对每段视频段提取少量帧图像，对该图像进行语义识别从而初步判断是否有车辆占用应急车道，初步判断结果显示有车辆占用时将该上述图像以及视频传输至地面站台，由地面站台做进一步确认，否则删除该视频段，本发明一方面只提取部分帧图片，工作强度低、占用资源少，另一方面，无需对整个视频进行数据传输，也降低了传输成本，降低了数据传输过程中的能源损耗。
附图说明
图1是本发明的结构示意图；
图2是本发明的流程图；
图中：无人机1000、无人机飞行模块1100、机载摄像模块1200、视频处理模块1300、视频段制成单元1302、视频段处理单元1304、视频段缓存单元1306、图像识别模块1400、图像语义分割单元1402、车道曲线拟合单元1404、车辆检测单元1406、视频及图像储存模块1600、通讯模块1800、地面站台2000。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
如图1和2所示，本发明包括无人机1000和地面站台2000，所述无人机设有无人机飞行模块1100、机载摄像模块1200、视频处理模块1300、图像识别模块1400、视频及图像储存模块1600以及通讯模块1800，其中，
所述无人机飞行模块1100用于控制所述无人机的飞行与导航，
所述机载摄像模块1200用于所述无人机飞行时对高速路面进行视频拍摄，其特征在于，
所述视频处理模块1300设有视频段制成单元1302、视频段处理单元1304及视频段缓存单元1306，其中：
-所述视频段制成单元1302与所述机载摄像模块1200通信连接，其将所述机载摄像模块1200摄制的视频按设定时长制成视频段并储存，所述视频段在所述图像识别模块1400空闲时接受所述视频段处理单元1304的调用，在所述图像识别模块1400执行工作时接受所述视频段缓存单元1306的调用，所述视频段在被调用后从所述视频段制成单元1302中删除；
-所述视频段处理单元1304调用所述视频段制成单元1302或者所述视频段缓存单元1306中储存的视频段，并从所述视频段中提取至少一个帧的图像，所述视频段处理单元1304在所述视频段缓存单元1306中储存有所述视频段时优先调用其中的视频段；
-所述视频段缓存单元1306调用所述视频段后对所述视频段临时储存，并接受所述视频段处理单元1304的调用，所述视频段缓存单元1306中缓存的视频段多于一时，所述视频段缓存单元1306对其被调用的优先级进行划分，储存于所述视频段缓存单元1306更早则优先被调用，所述视频段在接受调用后删除；
所述图像识别模块1400用于对所述视频段处理单元1304中提取的图像进行识别，判断该图像中有无车辆占用应急车道，若无则将所述视频段处理单元1304中的所述视频段删除，若有则所述视频段处理单元1304中的视频段以及被识别的图像存储至所述视频及图像储存模块1600中；
通讯模块1800与所述地面站台2000进行通讯，并将所述视频及图像储存模块1600中储存的图像和视频传输至所述地面站台2000。
作为本发明的进一步改进，所述图像识别模块1400包括：
图像语义分割单元1402，与所述视频段处理单元1304通信连接，所述图像语义分割单元1402能够将所述视频段处理单元1304提取的所述图像进行语义分析，从而分割出车道和背景；
车道曲线拟合单元1404，与所述图像语义分割单元1402通信连接，所述车道曲线拟合单元1404对语义分割后的所述图像中上的车道区域进行曲线拟合，获得行车道轮廓线和应急车道轮廓线；
车辆检测单元1406，判断提取的所述图像中，应急车道一侧内是否有车辆通过。
作为本发明的进一步改进，所述车道曲线拟合单元1404获能够取所述图像上的车道区域的车道线的像素坐标，再通过最小二乘法对所述车道线坐标进行曲线拟合，获得行车道和应急车道的二次抛物线曲线方程，最后根据获得的二次抛物线方程在所述帧图像的车道区域上绘制出拟合出来的行车线和应急车道线。
作为本发明的进一步改进，所述车辆检测单元1406还能够获得所述行车道内的车辆数量信息，从而统计车流量。
本发明的具体步骤如下：
（1）无人机1000起飞，根据机载导航对目标高速公路进行巡航；
（2）机载摄像头打开，对高速公路进行视频拍摄；
（3）拍摄的视频由视频段制成单元1302处理后形成视频段，临时储存，如拍摄5分钟后，将该5分钟的视频作为视频段予以临时储存；
（4）检测图像识别模块1400是否空闲，
（5）若图像识别模块1400不空闲，则视频段缓存单元1306调用该视频段制成单元1302中的视频段，被调用后，该视频段从视频段制成单元1302中删除，当视频段缓存单元1306中存储有多个视频段时，对该视频段进行优先级划分，其中，在所述视频缓存单元中先储存的视频段优先级高于后储存的视频段；
（6）若图像识别模块1400空闲，则该视频段处理单元1304对视频段进行调用，该视频段来源于视频段制成单元1302或者视频缓存段缓存单元，当视频段缓存单元1306中缓存有视频段时，优先调用视频段缓存单元1306中的缓存视频段，且该视频段缓存单元1306中优先级高的视频段优先被调用，视频段在被调用后，从视频段制成单元1302或者视频缓存段缓存单元删除；
（7）视频段处理单元1304对调用的视频段进行操作，对于美国视频段提取至少一个帧图像，至于多少帧根据工作需求而定和视频段的长短而定，如果视频段较短或者目的在于应急承担违章抓拍，则提取较少帧图像，如果视频段较长或者目的在于统计实时车流量，则可以提取更多帧图像；
（8）通过图像语义分割单元1402对提取的图像进行语义分割，从而在该图像上获得将车道区域和背景区域，为做区分，可以将赋予车道区域以及背景区域不同的像素值；
（9）车道曲线拟合单元1404获能够取语义分割后的图像上的车道区域的车道线的像素坐标；
（10）通过最小二乘法对车道线坐标进行曲线拟合，获得行车道和应急车道的二次抛物线曲线方程；
（11）根据获得的二次抛物线方程在图像的车道区域上绘制出拟合出来的行车线和应急车道线；
（12）判断是否有车辆在应急车道线的一侧；
（13）如果没有，则删除视频段处理单元1304中储存的视频段，图像识别模块1400处于空闲状态；
（14）如果有，则由视频及图像储存单元调用视频段处理单元1304中储存的视频段提及拟合有车道线的图像，并储存，此时被调用的视频段被删除，图像识别模块1400处于空闲状态；
（15）通过通讯模块1800将上述视频段和图像传输至地面站台2000。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (5)

1.一种应用于高速公路应急车道无人机巡检的图像识别方法，其特征在于，包括以下步骤：
S1、将拍摄装置拍摄的视频按设定时长制成独立的视频段；
S2、调用所述视屏段；
S3、提取所述视频段中的至少一帧图像；
S4、对提取到的图像进行语义分割，从该图像上识别出车道区域和背景区域；
S5、对车道区域进行车道曲线拟合，模拟出行车道线和应急车道线，从而划分出行车道区域和应急车道区域；
S6、通过图形识别，判断所述应急车道内是否有车辆，如有车辆则执行步骤S7，如无车辆则执行步骤S8；
S7、 与地面站台通信，将上述视频段传输至地面站台，并执行步骤S2；
S8、 删除上述视频段，并执行S2。
2.根据权利要求1所述的一种应用于高速公路应急车道无人机巡检的图像识别方法，其特征在于，所述步骤S5包括：
S5.1、通过语义分割获取车道区域中的车道线的像素坐标；
S5.2、通过最小二乘法对车道线坐标进行曲线拟合，获得行车道和应急车道的二次抛物线曲线方程；
S5.3、根据获得的二次抛物线方程在图像的车道区域上绘制出拟合出来的行车线和应急车道线；
S5.4、对于应急车道线两侧赋予不同的像素值。
3.根据权利要求1所述的一种应用于高速公路应急车道无人机巡检的图像识别方法，其特征在于，步骤S1-S3由视频处理模块完成，步骤S4-S6由图像识别模块完成。
4.根据权利要求1所述的一种应用于高速公路应急车道无人机巡检的图像识别方法，其特征在于，
还包括步骤S1.5、判断所述图像识别模块工作或空闲，若空闲则执行步骤S2，若工作则将所述视频段进行储存至缓存单元；
所述步骤S2在提取所述视屏段时做如下判断，若所述缓存单元中缓存有视频段则调用所述缓存单元中的视频段，若所述缓存单元中无缓存视频段则调用步骤S1中的视频段。
5.根据权利要求1所述的一种应用于高速公路应急车道无人机巡检的图像识别方法，其特征在于，所述步骤S1.5中，若缓存单元中的视频段数量超过一时，对所述缓存单元中的视频段进行级别定义，缓存越早的视频段优先级越高，所述步骤S2中，优先调用优先级最高的视频段。
CN202011226240.5A 2020-11-05 2020-11-05 一种应用于高速公路应急车道无人机巡检的图像识别方法 Pending CN112258843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011226240.5A CN112258843A (zh) 2020-11-05 2020-11-05 一种应用于高速公路应急车道无人机巡检的图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011226240.5A CN112258843A (zh) 2020-11-05 2020-11-05 一种应用于高速公路应急车道无人机巡检的图像识别方法

Publications (1)

Publication Number Publication Date
CN112258843A true CN112258843A (zh) 2021-01-22

Family

ID=74268267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011226240.5A Pending CN112258843A (zh) 2020-11-05 2020-11-05 一种应用于高速公路应急车道无人机巡检的图像识别方法

Country Status (1)

Country Link
CN (1) CN112258843A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114415708A (zh) * 2022-01-24 2022-04-29 上海复亚智能科技有限公司 一种道路自巡检方法、装置、无人机及存储介质
CN114495537A (zh) * 2021-12-15 2022-05-13 杨金玲 一种公路工程用应急救援系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105741559A (zh) * 2016-02-03 2016-07-06 安徽清新互联信息科技有限公司 一种基于车道线模型的违法占用应急车道检测方法
CN107240268A (zh) * 2017-07-28 2017-10-10 西安因诺航空科技有限公司 一种面向无人机的高速应急车道违章车辆的检测方法
CN107566803A (zh) * 2017-09-20 2018-01-09 信利光电股份有限公司 一种监控视频的储存方法和监控系统
CN110648540A (zh) * 2019-09-09 2020-01-03 安徽师范大学 基于无人机的高速公路紧急车道占用跟踪系统及方法
CN110782673A (zh) * 2019-10-26 2020-02-11 江苏看见云软件科技有限公司 一种基于无人机拍摄云端计算的车辆违章识别检测系统
CN110967026A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 车道线拟合方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105741559A (zh) * 2016-02-03 2016-07-06 安徽清新互联信息科技有限公司 一种基于车道线模型的违法占用应急车道检测方法
CN107240268A (zh) * 2017-07-28 2017-10-10 西安因诺航空科技有限公司 一种面向无人机的高速应急车道违章车辆的检测方法
CN107566803A (zh) * 2017-09-20 2018-01-09 信利光电股份有限公司 一种监控视频的储存方法和监控系统
CN110967026A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 车道线拟合方法及系统
CN110648540A (zh) * 2019-09-09 2020-01-03 安徽师范大学 基于无人机的高速公路紧急车道占用跟踪系统及方法
CN110782673A (zh) * 2019-10-26 2020-02-11 江苏看见云软件科技有限公司 一种基于无人机拍摄云端计算的车辆违章识别检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵凯迪: "基于无人机的车辆和车道检测系统的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士)·工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495537A (zh) * 2021-12-15 2022-05-13 杨金玲 一种公路工程用应急救援系统
CN114415708A (zh) * 2022-01-24 2022-04-29 上海复亚智能科技有限公司 一种道路自巡检方法、装置、无人机及存储介质

Similar Documents

Publication Publication Date Title
CN107967806B (zh) 车辆套牌检测方法、装置、可读存储介质及电子设备
CN112201051B (zh) 一种无人机端路面车辆违停检测及取证系统和方法
CN110782673A (zh) 一种基于无人机拍摄云端计算的车辆违章识别检测系统
CN112258843A (zh) 一种应用于高速公路应急车道无人机巡检的图像识别方法
CN110837800A (zh) 一种面向港口恶劣天气的目标检测和识别的方法
CN102867417A (zh) 一种出租车防伪系统及方法
CN110033622A (zh) 基于无人机航摄技术的违法抓拍占用应急车道方法
CN108648462A (zh) 一种基于雷达和视觉信息相融合的车辆识别方法
CN113763719A (zh) 一种基于无人机的违法占用应急车道检测方法及系统
CN105894821A (zh) 一种基于高清dsp摄像机的交通综合监测系统
CN112289032B (zh) 一种无人机高速公路自动巡检方法
CN114387785A (zh) 一种基于智慧公路的安全管控方法、系统及可存储介质
CN114915646B (zh) 一种无人驾驶矿车的数据分级上传方法和装置
CN106023599A (zh) 一种超高超宽违法抓拍电子警察系统及其控制方法
CN112258844B (zh) 一种使用无人机对高速公路急车道进行巡检的方法
CN106327876B (zh) 一种基于行车记录仪的套牌车捕捉系统及方法
CN106548627A (zh) 一种基于车联网的rfid传感道路监控系统
CN114419885A (zh) 基于高精定位和车载感知能力的车辆违章抓拍方法及系统
CN112256062A (zh) 一种用于高速公路巡检的无人机
CN208781398U (zh) 一种挂车与牵引车前后车号牌同车识别系统
CN107393311A (zh) 一种车牌篡改识别装置及方法
CN115965926B (zh) 一种车载式道路标志标线巡检系统
WO2022267266A1 (zh) 一种基于视觉识别的列车控制方法及设备
CN113723258B (zh) 危险品车辆图像识别方法及其相关设备
CN116798247A (zh) 事故数据提示的方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210122