CN113192363A - 一种基于人工智能算法的视频数据边缘计算方法 - Google Patents

一种基于人工智能算法的视频数据边缘计算方法 Download PDF

Info

Publication number
CN113192363A
CN113192363A CN202110472085.3A CN202110472085A CN113192363A CN 113192363 A CN113192363 A CN 113192363A CN 202110472085 A CN202110472085 A CN 202110472085A CN 113192363 A CN113192363 A CN 113192363A
Authority
CN
China
Prior art keywords
rectangular frame
data
vehicles
camera
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110472085.3A
Other languages
English (en)
Inventor
陈媛芳
钟哲华
施昕辰
孙振宇
万好祎
姚岑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110472085.3A priority Critical patent/CN113192363A/zh
Publication of CN113192363A publication Critical patent/CN113192363A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Abstract

本发明公开了一种基于人工智能算法的视频数据边缘计算方法,具体步骤如下:S1:采用摄像头采集行车视频流,利用激光测距传感器采集行人、车辆与使用者所在车辆之间的距离;S2:开发板采用YOLO算法对采集到的数据进行处理,将目标物体标注出来;将S1中摄像头采集激光测距传感器检测到的数据以及经S2数据处理后的结果反馈至显示屏和报警装置进行处理。本发明能在汽车行驶中进行车辆、行人、自行车等物体的实时检测,计算出大致的距离,并在近距离时给出声音报警,以辅助驾驶,通过边缘计算实现实时监测、并给出文字信息的提示、计算距离并给出报警等一系列操作,无需将数据上传服务器,以保障所需的实时性。

Description

一种基于人工智能算法的视频数据边缘计算方法
技术领域
本发明涉及一种基于人工智能算法的视频数据边缘计算方法,属于工业物联网安全领域。
背景技术
随着汽车保有量的增加,有效、快速地检测和识别道路交通场景下的车辆、自行车和行人目标,对减少交通事故、保证人们的出行安全具有重要的研究价值与现实意义。因此基于图像视频序列中的场景目标检测一直是计算机视觉领域的研究热点。
随着人工智能快速发展,基于卷积神经网络的目标检测算法逐步取代了采用机器学习的传统目标检测的方法,显著提升了目标检测的精确度和鲁棒性。目前基于深度学习的目标检测任务主要有以下两类检测方法:一类是基于区域建议提取目标候选区域的两步检测网络,通常具有较高的检测精度,如Fast-RCNN,Faster-RCNN,Mask-RCNN等;另一类是基于回归思想的单步检测模型,如YOLO(You Only Look Once),SSD以及在此基础上改进的检测模型。通过在COCO,VOC等公开数据集上的测试分析,单步检测网络虽然在精度上稍逊色,但是,单步检测网络能实现实时检测。相比通用的目标检测任务,交通场景下的车辆行人川流不息,行车安全至关重要,需要快速将车辆、自行车以及行人等目标准确地检测出来,这对目标检测算法的检测速度、精度提出了更高的要求。
对道路交通场景下的车辆、行人等目标的检测任务,采用同时兼顾检测速度和精度的YOLO算法。
发明内容
为解决现有技术中的不足,本发明提供一种基于人工智能算法的视频数据边缘计算方法,能在汽车行驶中进行车辆、行人、自行车等物体的实时检测,计算出大致的距离,并在近距离时给出声音报警以辅助驾驶,通过边缘计算实现实时监测、并给出文字信息的提示、计算距离并给出报警等一系列操作,无需将数据上传服务器,以保障所需的实时性。
本发明中主要采用的技术方案为:
一种基于人工智能算法的视频数据边缘计算方法,具体步骤如下:
S1:采用摄像头采集行车视频流,利用激光测距传感器采集行人、车辆与使用者所在车辆之间的距离;
S2:开发板采用YOLO算法对采集到的数据进行处理,将目标物体标注出来,具体方法如下:
S2-1:读取所述摄像头采集到的行车视频流的第一帧;
S2-2:对当前帧图像进行预处理;
S2-3:将预处理后的图像送入Yolov4神经网络进行正向传播,本发明采用的;
S2-4:接收神经网络的正向传播结果,得到预测物体所在坐标以及置信度;
S2-5:将置信度大于0.5的预测物体筛选出来后,通过坐标绘制矩形框对筛选出来的预测物体的图像进行标注;
S2-6:根据矩形框的位置估算出预测物体与车的距离,根据距离的远近给矩形框上色;
S2-7:读取行车视频流的下一帧,重复上述阶段。
S3:将S1中摄像头采集激光测距传感器检测到的数据以及经S2数据处理后的结果反馈至显示屏和报警装置进行处理。
优选地,所述S2-6中,矩形框上色的具体方案如下:
记帧的高度为H,矩形框的高度为h,则当满足0<h<0.6H时,矩形框颜色为绿,显示屏的提示词为:注意远方;当满足0.6H≤h<0.7H时,,矩形框颜色为黄,显示屏提示词为:注意前方;当满足0.7H≤h时,矩形框颜色为红,显示屏出现红色闪烁,提示词为:请刹车!前方,同时播放语音警报。
有益效果:本发明提供一种基于人工智能算法的视频数据边缘计算方法,能在汽车行驶中进行车辆、行人、自行车等物体的实时检测,计算出大致的距离,并在近距离时给出声音报警,以辅助驾驶,通过边缘计算实现实时监测、并给出文字信息的提示、计算距离并给出报警等一系列操作,无需将数据上传服务器,以保障所需的实时性。
附图说明
图1是该发明的运行界面示意图;
图2是该发明的系统结构框图;
图3是该发明中YOLO算法的网络结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本发明的硬件装置结构具体如下:
如图2所示,采用jetson nano作为开发板,视频数据由IMX219摄像头采集,该摄像头具有800万像素,77度视场角,分辨率为3280×2464,目标物体与车辆的距离由VL53L1X激光测距传感器采集,该激光测距传感器精确测距范围可达4米,快速测距频率可达50Hz,行车视频及算法标注的警报目标会一同在显示屏上传回给使用者;摄像头通过CSI接口连接到jetson nano开发板上,VL53L1X激光测距传感器通过杜邦线连接到jetson nano开发板的40PINGPIO扩展接口上。
一种基于人工智能算法的视频数据边缘计算方法,具体步骤如下:
S1:采用摄像头采集行车视频流,利用激光测距传感器采集行人、车辆与使用者所在车辆之间的距离,用于在车后方主要进行盲区检测;
S2:开发板采用YOLO算法对采集到的数据进行处理,将目标物体标注出来,具体方法如下:
S2-1:读取所述摄像头采集到的行车视频流的第一帧;
S2-2:对当前帧图像进行预处理,本发明中的预处理方式为:对数据进行翻转变换、旋转/反射变换、噪声注入和移动以此增强数据;
S2-3:将预处理后的图像送入Yolov4神经网络进行正向传播,如图3所示为本发明中YOLO算法的网络结构图;
S2-4:接收神经网络的正向传播结果,得到预测物体所在坐标以及置信度;
S2-5:将置信度大于0.5的预测物体筛选出来后,通过坐标绘制矩形框对筛选出来的预测物体的图像进行标注;
S2-6:根据矩形框的位置估算出预测物体与车的距离,根据距离的远近给矩形框上色;
S2-7:读取行车视频流的下一帧,重复上述阶段。
S3:将S1中激光测距传感器检测到的数据以及经S2数据处理后的结果反馈至显示屏和报警装置。
优选地,所述S2-6中,矩形框上色的具体方案如下:
如图1所示,记帧的高度为H,矩形框的高度为h,则当满足0<h<0.6H时,矩形框颜色为绿,显示屏的提示词为:注意远方;当满足0.6H≤h<0.7H时,,矩形框颜色为黄,显示屏提示词为:注意前方;当满足0.7H≤h时,矩形框颜色为红,显示屏出现红色闪烁,提示词为:请刹车!前方,同时播放语音警报。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于人工智能算法的视频数据边缘计算方法,其特征在于,具体步骤如下:
S1:采用摄像头采集行车视频流,利用激光测距传感器采集行人、车辆与使用者所在车辆之间的距离;
S2:开发板采用YOLO算法对采集到的数据进行处理,将目标物体标注出来,具体方法如下:
S2-1:读取所述摄像头采集到的行车视频流的第一帧;
S2-2:对当前帧图像进行预处理;
S2-3:将预处理后的图像送入Yolov4神经网络进行正向传播,本发明采用的;
S2-4:接收神经网络的正向传播结果,得到预测物体所在坐标以及置信度;
S2-5:将置信度大于0.5的预测物体筛选出来后,通过坐标绘制矩形框对筛选出来的预测物体的图像进行标注;
S2-6:根据矩形框的位置估算出预测物体与车的距离,根据距离的远近给矩形框上色;
S2-7:读取行车视频流的下一帧,重复上述阶段;
S3:将S1中摄像头采集激光测距传感器检测到的数据以及经S2数据处理后的结果反馈至显示屏和报警装置进行处理。
2.根据权利要求1所述的一种基于人工智能算法的视频数据边缘计算方法,其特征在于,所述S2-6中,矩形框上色的具体方案如下:
记帧的高度为H,矩形框的高度为h,则当满足0<h<0.6H时,矩形框颜色为绿,显示屏的提示词为:注意远方;当满足0.6H≤h<0.7H时,,矩形框颜色为黄,显示屏提示词为:注意前方;当满足0.7H≤h时,矩形框颜色为红,显示屏出现红色闪烁,提示词为:请刹车!前方,同时播放语音警报。
CN202110472085.3A 2021-04-29 2021-04-29 一种基于人工智能算法的视频数据边缘计算方法 Pending CN113192363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110472085.3A CN113192363A (zh) 2021-04-29 2021-04-29 一种基于人工智能算法的视频数据边缘计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110472085.3A CN113192363A (zh) 2021-04-29 2021-04-29 一种基于人工智能算法的视频数据边缘计算方法

Publications (1)

Publication Number Publication Date
CN113192363A true CN113192363A (zh) 2021-07-30

Family

ID=76980613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110472085.3A Pending CN113192363A (zh) 2021-04-29 2021-04-29 一种基于人工智能算法的视频数据边缘计算方法

Country Status (1)

Country Link
CN (1) CN113192363A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445661A (zh) * 2022-01-24 2022-05-06 电子科技大学 一种基于边缘计算的嵌入式图像识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829403A (zh) * 2019-01-22 2019-05-31 淮阴工学院 一种基于深度学习的车辆防碰撞预警方法及系统
CN110135485A (zh) * 2019-05-05 2019-08-16 浙江大学 单目相机与毫米波雷达融合的物体识别与定位方法和系统
CN110276988A (zh) * 2019-06-26 2019-09-24 重庆邮电大学 一种基于碰撞预警算法的辅助驾驶系统
CN111257892A (zh) * 2020-01-09 2020-06-09 武汉理工大学 一种用于车辆自动驾驶的障碍物检测方法
CN112232139A (zh) * 2020-09-25 2021-01-15 南京理工大学 一种基于Yolo v4与Tof算法相结合的避障方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829403A (zh) * 2019-01-22 2019-05-31 淮阴工学院 一种基于深度学习的车辆防碰撞预警方法及系统
CN110135485A (zh) * 2019-05-05 2019-08-16 浙江大学 单目相机与毫米波雷达融合的物体识别与定位方法和系统
CN110276988A (zh) * 2019-06-26 2019-09-24 重庆邮电大学 一种基于碰撞预警算法的辅助驾驶系统
CN111257892A (zh) * 2020-01-09 2020-06-09 武汉理工大学 一种用于车辆自动驾驶的障碍物检测方法
CN112232139A (zh) * 2020-09-25 2021-01-15 南京理工大学 一种基于Yolo v4与Tof算法相结合的避障方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨露菁 等: "《智能图像处理及应用》", 31 March 2019, 中国铁道出版社 *
马永杰 等: "基于YOLO和嵌入式系统的车流量检测", 《液晶与显示》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445661A (zh) * 2022-01-24 2022-05-06 电子科技大学 一种基于边缘计算的嵌入式图像识别方法
CN114445661B (zh) * 2022-01-24 2023-08-18 电子科技大学 一种基于边缘计算的嵌入式图像识别方法

Similar Documents

Publication Publication Date Title
CN106846359B (zh) 基于视频序列的运动目标快速检测方法
CN104183127B (zh) 交通监控视频检测方法和装置
CN102765365B (zh) 基于机器视觉的行人检测方法及行人防撞预警系统
CN103218816B (zh) 一种基于视频分析的人群密度估计方法与人流量统计方法
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN100545867C (zh) 航拍交通视频车辆快速检测方法
CN105744232A (zh) 一种基于行为分析技术的输电线路视频防外破的方法
CN100435160C (zh) 一种用于交通信息实时采集的视频图像处理方法及系统
CN102496281B (zh) 一种基于跟踪与虚拟线圈结合的车辆闯红灯检测方法
CN103425967A (zh) 一种基于行人检测和跟踪的人流监控方法
CN105809715B (zh) 一种基于帧间累计变化矩阵的视觉运动目标检测方法
CN101393609A (zh) 一种目标检测跟踪方法和装置
CN101022505A (zh) 复杂背景下运动目标自动检测方法和装置
WO2008020598A1 (fr) Dispositif et procédé de détection d'un nombre d'objets
US20210110168A1 (en) Object tracking method and apparatus
Chebrolu et al. Deep learning based pedestrian detection at all light conditions
CN105913454A (zh) 一种视频图像中运动目标的像素坐标轨迹预测方法
CN109263557A (zh) 车辆盲区侦测方法
CN110298300A (zh) 一种检测车辆违章压线的方法
CN106095201A (zh) 一种投影交互系统的双击检测方法
CN113192363A (zh) 一种基于人工智能算法的视频数据边缘计算方法
CN106611165B (zh) 一种基于相关滤波和颜色匹配的汽车车窗检测方法及装置
CN105118073A (zh) 基于Xtion摄像机的人体头部目标识别方法
CN104240268B (zh) 一种基于流形学习与稀疏表示的行人跟踪方法
JP2009205695A (ja) 対象個数検出装置および対象個数検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210730

WD01 Invention patent application deemed withdrawn after publication