CN112818725B - 一种救援车作业识别方法、装置、存储介质和计算机设备 - Google Patents

一种救援车作业识别方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN112818725B
CN112818725B CN201911119547.2A CN201911119547A CN112818725B CN 112818725 B CN112818725 B CN 112818725B CN 201911119547 A CN201911119547 A CN 201911119547A CN 112818725 B CN112818725 B CN 112818725B
Authority
CN
China
Prior art keywords
camera
rescue
rescue vehicle
vehicle
power takeoff
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911119547.2A
Other languages
English (en)
Other versions
CN112818725A (zh
Inventor
崔文慧
邹慧珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Shanghai ICT Co Ltd, CM Intelligent Mobility Network Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201911119547.2A priority Critical patent/CN112818725B/zh
Publication of CN112818725A publication Critical patent/CN112818725A/zh
Application granted granted Critical
Publication of CN112818725B publication Critical patent/CN112818725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本发明实施例提供了一种救援车作业识别方法、装置、存储介质和计算机设备,本发明实施例通过AI识别算法识别出救援车后方放置反光锥动作、开始拖车动作以及上板起托动作,提高了救援车作业识别过程的精准性,减少了救援人员的工作量,提高了救援人员的工作效率;通过对取力器状态信息的数据分析,使得救援车作业识别过程更加精准;根据AI识别算法识别出的动作判断出离开驻点节点、到达现场节点、开始作业节点以及结束作业节点,并将不同的作业节点对应的节点图片上传至救援平台,使救援过程全程可视化、自动化;对救援车到达现场时长以及救援人员的救援作业时长进行计算和统计,有利于实现对救援人员的作业考核,提高了救援行业的服务质量。

Description

一种救援车作业识别方法、装置、存储介质和计算机设备
【技术领域】
本发明涉及通信技术领域,尤其涉及一种救援车作业识别方法、装置、存储介质和计算机设备。
【背景技术】
我国机动车保有量突破3亿辆,汽车保有量达2亿辆,庞大的汽车产业产生了一系列问题,其中,汽车救援行业不断优化,虽然形成了一定的管理模式,但是传统的基于定位服务的管理系统已经无法满足汽车救援行业的需求。
相关技术中,道路救援系统主要依靠救援人员通过手持摄像设备进行拍摄取证,并由救援人员手动记录作业信息和图片并将作业信息和图片上传,这种人工记录的方式给救援人员带来了更多的工作量,降低了救援人员的工作效率。
【发明内容】
有鉴于此,本发明实施例提供了一种救援车作业识别方法、装置、存储介质和计算机设备,用以解决现有技术中的救援车救援人员工作效率低下的问题。
一方面,本发明实施例提供了一种救援车作业识别方法,包括:
根据AI识别算法检测摄像头发送的视频图像中救援车后方是否放置有反光锥;
若能够检测出放置有反光锥,向救援车上的摄像头发送第二抓拍指令,以供摄像头根据第二抓拍指令拍摄第二节点图片;
根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作;
若能够识别出开始拖车动作,向救援车上的摄像头发送第三抓拍指令,以供摄像头根据所述第三抓拍指令拍摄第三节点图片;
根据AI识别算法从摄像头采集到的视频图像中是否能够识别出上板起托动作;
若能够识别出上板起托动作,向救援车上的摄像头发送第四抓拍指令,以供摄像头根据所述第四抓拍指令拍摄第四图片。
可选地,所述根据AI识别算法从摄像头采集到的视频图像中是否能够识别出上板起托动作之前还包括:
根据取力器发送的取力器状态信息检测取力器是否断开;
若检测出取力器断开,继续执行所述根据AI识别算法从摄像头采集到的视频图像中是否能够识别出上板起托动作的步骤;
若检测出取力器未断开,继续执行所述根据取力器发送的取力器状态信息检测取力器是否断开的步骤。
可选地,还包括:
若能够识别出上板起托动作时,根据钥匙门开关状态信息检测救援车是否启动;
若检测出救援车启动,继续执行所述向救援车上的摄像头发送第四抓拍指令的步骤;
若检测出救援车未启动,继续执行所述根据钥匙门开关状态信息检测救援车是否启动的步骤。
可选地,所述根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作之前还包括:
根据取力器发送的取力器状态信息检测取力器是否打开;
若检测出取力器打开,继续执行所述根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作的步骤;
若检测出取力器未打开,继续执行所述根据取力器发送的取力器状态信息检测取力器是否打开的步骤。
可选地,所述根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作之前还包括:
根据钥匙门开关状态信息检测救援车是否熄火;
若检测出救援车熄火,根据AI识别算法检测摄像头发送的视频图像中是否能够识别出救援车车门开启动作。
可选地,所述根据钥匙门开关状态信息检测救援车是否熄火之前还包括:
根据钥匙门开关状态信息检测救援车是否启动;
若检测出救援车启动,判断救援车的位置与驻点位置之间的距离是否大于设定距离;
若判断出大于设定距离,向救援车上的摄像头发送第一抓拍指令,以供摄像头根据第一抓拍指令拍摄第一节点图片。
可选地,若检测出未放置有反光锥,继续执行根据AI识别算法检测摄像头发送的视频图像中救援车后方是否放置有反光锥的步骤。
另一方面,本发明实施例提供了一种救援车作业识别装置,包括:
第一判断模块,用于根据AI识别算法检测摄像头发送的视频图像中救援车后方是否放置有反光锥;
收发模块,用于若能够检测出放置有反光锥,向救援车上的摄像头发送第二抓拍指令,以供摄像头根据第二抓拍指令拍摄第二节点图片;
第二判断模块,用于根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作;
收发模块,用于若能够识别出开始拖车动作,向救援车上的摄像头发送第三抓拍指令,以供摄像头根据所述第三抓拍指令拍摄第三节点图片;
第三判断模块,用于根据AI识别算法从摄像头采集到的视频图像中是否能够识别出上板起托动作;
若第三判断模块能够识别出上板起托动作,继续执行第五判断模块根据钥匙门开关状态信息检测救援车是否启动的步骤。
另一方面,本发明实施例提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述救援车作业识别方法。
另一方面,本发明实施例提供了一种计算机设备,包括存储器和处理器,所述存储器用于存储包括程序指令的信息,所述处理器用于控制程序指令的执行,其特征在于,所述程序指令被处理器加载并执行时实现上述救援车作业识别方法的步骤。
本发明实施例提供的救援车作业识别方法的技术方案中,通过AI识别算法从摄像头采集到的视频图像中是否能够识别出反光锥、开始拖车动作与上板起托动作,若能够识别出反光锥、开始拖车动作与上板起托动作,向救援车上的摄像头发送抓拍指令,以供摄像头根据抓拍指令拍摄图片,本发明实施例中,通过AI识别算法识别出作业节点,能够准确识别出动作信息,减少了救援人员的工作量,提高了救援人员的作业效率。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的救援车作业识别系统的结构示意图;
图2为本发明实施例提供的一种救援车作业识别方法的流程图;
图3为本发明实施例提供的另一种救援车作业识别方法的流程图;
图4a为本发明实施例提供的一种救援车作业识别系统的应用示意图;
图4b为本发明实施例提供的另一种救援车作业识别系统的应用示意图;
图4c为本发明实施例提供的另一种救援车作业识别系统的应用示意图;
图5为本发明实施例提供的一种救援车作业识别装置的结构示意图;
图6为本发明实施例提供的一种计算机设备的示意图。
【具体实施方式】
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,甲和/或乙,可以表示:单独存在甲,同时存在甲和乙,单独存在乙这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
图1为本发明实施例提供的救援车作业识别系统的结构示意图,如图1所示,该结构包括:车载终端1、救援平台2、取力器3和摄像头。
车载终端1和救援平台2连接,车载终端1和取力器3连接,车载终端1和摄像头连接。
摄像头的数量为多个,例如:如图4a所示,摄像头的数量为5个,5个摄像头分别包括摄像头41、摄像头42、摄像头43、摄像头44和摄像头45,摄像头41设置于救援车驾驶舱内、摄像头42设置于救援车左侧位置、摄像头43设置于救援车右侧位置、摄像头44设置于救援车车后方位置以及摄像头45设置于救援车车底,其中,摄像头41朝向救援车驾驶舱内救援车驾驶位置,摄像头42朝向救援车左后向,摄像头43朝向救援车右后向,摄像头44朝向救援车车正后方,摄像头45于救援车底部朝向救援车车正后方。
具体地,摄像头41监测救援车驾驶座位位置情况,摄像头42监测车门、平板和路面情况,摄像头43监测车门、平板和路面情况,摄像头44监测救援车拖车情况,摄像头45监测反光锥情况。
本发明实施例中,车辆救援作业过程包括四个作业节点,四个作业节点包括离开驻点节点、到达现场节点、开始作业节点和结束作业节点。
基于图1中提供的摄像头识别系统,本发明提供了一种救援车作业识别方法。图2为本发明实施例提供的一种救援车作业识别方法的流程图,如图2所示,该方法包括:
步骤101、根据AI识别算法检测摄像头发送的视频图像中救援车后方是否放置有反光锥;
步骤102、若能够检测出放置有反光锥,向救援车上的摄像头发送第二抓拍指令,以供摄像头根据第二抓拍指令拍摄第二节点图片。
步骤103、根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作;
步骤104、若能够识别出开始拖车动作,向救援车上的摄像头发送第三抓拍指令,以供摄像头根据所述第三抓拍指令拍摄第三节点图片;
步骤105、根据AI识别算法从摄像头采集到的视频图像中是否能够识别出上板起托动作;
步骤106、若能够识别出上板起托动作,向救援车上的摄像头发送第四抓拍指令,以供摄像头根据所述第四抓拍指令拍摄第四节点图片。
本发明实施例中,各步骤由车载终端执行。
本实施例提供的救援车作业识别方法的技术方案中,通过AI识别算法从摄像头采集到的视频图像中是否能够识别出反光锥、开始拖车动作与上板起托动作,若能够识别出反光锥、开始拖车动作与上板起托动作,向救援车上的摄像头发送抓拍指令,以供摄像头根据抓拍指令拍摄图片,本发明实施例中,通过AI识别算法识别出作业节点,能够准确识别出动作信息,减少了救援人员的工作量,提高了救援人员的作业效率。
图3为本发明实施例提供的另一种救援车作业识别方法的流程图,如图3所示,该方法包括:
步骤201、车载终端根据钥匙门开关状态信息检测救援车是否启动,若是,执行步骤202;若否,则执行步骤201。
其中,钥匙门开关状态信息包括808部标协议自适应巡航控制(Adaptive CruiseControl,ACC)状态信息。若808部标协议ACC状态信息表示钥匙门开启时,车载终端可检测出救援车启动;若808部标协议ACC状态信息表示钥匙门关闭时,车载终端可检测出救援车未启动。
其中,在救援车启动之前救援人员收到被救车辆的报警信息的时间点为接警时间点。例如:救援人员可通过持有的救援人员终端接收到被救车辆的报警信息。
本步骤中,若车载终端根据钥匙门开关状态信息检测出救援车启动时,表明救援人员已经进入救援车的驾驶舱内并启动救援车,并执行步骤202;若车载终端根据钥匙门开关状态信息检测出救援车未启动时,表明救援人员未进入救援车的驾驶舱内或者表明救援人员已经进入救援车的驾驶舱内但尚未启动救援车,并执行步骤201。
步骤202、车载终端判断救援车的位置与驻点位置之间的距离是否大于设定距离,若是,则执行步骤203;若否,则执行步骤202。
本步骤中,救援车上设置有全球定位系统(Global Positioning System,GPS)模块,该GPS模块用于提供救援车的位置。其中,作为一种可选方案,设定距离包括50米。
若车载终端检测到救援车的位置与驻点位置之间的距离大于设定距离时,表明救援人员已经驾车驶离驻点开往事故地点,并执行步骤206;若车载终端检测到救援车的位置与驻点位置之间的距离小于或等于设定距离时,表明救援人员未驾车驶离驻点,并执行步骤205。
步骤203、车载终端向救援车上的摄像头发送第一抓拍指令,以供摄像头根据第一抓拍指令拍摄第一节点图片。
如图4a所示,当救援车离开驻点设定距离时,救援车上的摄像头41、摄像头42、摄像头43、摄像头44和摄像头45接收到车载终端的第一抓拍指令,根据第一抓拍指令拍摄第一节点图片,并将第一节点图片上传至车载终端。
步骤204、车载终端接收摄像头发送的第一节点图片和所述第一节点图片对应的第一时间点,并将接收到的第一节点图片和第一时间点发送至救援平台。
第一时间点包括拍摄第一节点图片的时间点,救援平台存储接收到的第一节点图片和所述第一节点图片对应的第一时间点。
步骤201至步骤204执行了离开驻点节点。
步骤205、车载终端根据钥匙门开关状态信息检测救援车是否熄火,若是,执行步骤206;若否,则执行步骤205。
钥匙门开关状态信息包括808部标协议ACC状态信息。若808部标协议ACC状态信息表示钥匙门开启时,车载终端可检测出救援车未关闭;若808部标协议ACC状态信息表示钥匙门关闭时,车载终端可检测出救援车熄火。
本步骤中,若车载终端根据钥匙门开关状态信息检测出救援车在行驶中时,表明救援人员在驾驶救援车,并执行步骤206;若车载终端根据钥匙门开关状态信息检测出救援车熄火时,表明救援人员已经将救援车熄火,并执行步骤205。
步骤206、车载终端根据AI识别算法检测摄像头发送的视频图像中是否能够识别出救援车车门开启动作,若是,执行步骤207;若否,则执行步骤206。
其中,人工智能(Artificial Intelligence,AI)算法包括深度学习视频流AI识别算法。
则步骤206车载终端根据AI识别算法检测摄像头发送的视频图像中能够识别出救援车车门开启动作具体包括:车载终端基于得到的视频流通过采样获得多幅原始采样图样本,以及速度采样图样本;对于得到的速度采样图样本进行时空矫正;基于原始采样图和速度采样图,离线训练得到深度学习模型;根据得到的深度学习模型对视频流进行单帧处理并整合视频流单帧数据,得出救援车车门开启动作。
摄像头可将获取并显示的救援地点经纬度、救援车瞬时车速以及摄像头辅助数据发送至车载终端。车载终端在通过深度学习视频流AI识别算法识别救援车车门开启动作的过程中进一步采用救援地点经纬度、救援车瞬时车速以及摄像头辅助数据进行救援车车门开启动作的识别,从而增加了AI识别的准确性。例如,摄像头辅助数据包括摄像头编号。
本步骤中,若车载终端根据AI识别算法检测出救援车车门开启时,表明救援人员已打开救援车车门,并执行步骤207;若车载终端根据AI识别算法检测出救援车车门未开启时,表明救援人员未离开救援车的驾驶舱,并执行步骤206。步骤207、车载终端根据AI识别算法检测摄像头发送的视频图像中救援车后方是否放置有反光锥,若是,执行步骤208;若否,则执行步骤207。
其中,AI识别算法包括深度学习视频流AI识别算法。
则步骤207中车载终端根据AI识别算法检测摄像头发送的视频图像中救援车后方放置有反光锥具体包括:车载终端基于得到的视频流通过采样获得多幅原始采样图样本,以及速度采样图样本;对于得到的速度采样图样本进行时空矫正;基于原始采样图和速度采样图,离线训练得到深度学习模型;根据得到的深度学习模型对视频流进行单帧处理并整合视频流单帧数据,得出救援车后方放置有反光锥动作。
摄像头可将获取并显示的救援地点经纬度、救援车瞬时车速以及摄像头辅助数据发送至车载终端。车载终端在通过深度学习视频流AI识别算法识别救援车后方放置反光锥动作的过程中进一步采用救援地点经纬度、救援车瞬时车速以及摄像头辅助数据进行反光锥动作的识别,从而增加了AI识别的准确性。例如,摄像头辅助数据包括摄像头编号。
本步骤中,若车载终端根据AI识别算法检测出救援车后方放置有反光锥时,表明救援人员已打开救援车车门,手拿反光锥,救援人员于救援车后方放置了反光锥,并执行步骤208;若车载终端根据AI识别算法检测出救援车后方未放置反光锥时,表明救援人员未放置反光锥,并执行步骤207。救援人员于救援车后方放置了反光锥包括:救援人员按照《中华人民共和国道路交通安全法》的相关规定于救援车后方放置反光锥。步骤208、车载终端向救援车上的摄像头发送第二抓拍指令,以供摄像头根据第二抓拍指令拍摄第二节点图片。
如图4a所示,当救援车后方放置有反光锥时,救援车上的摄像头41、摄像头42、摄像头43、摄像头44和摄像头45接收到车载终端的第二抓拍指令,根据第二抓拍指令拍摄第二节点图片,并将第二节点图片上传至车载终端。
步骤209、车载终端接收摄像头发送的第二节点图片和所述第二节点图片对应的第二时间点,并将接收到的第二节点图片和第二时间点发送至救援平台。
第二时间点包括拍摄第二节点图片的时间点,救援平台存储接收到的第二节点图片和所述第二节点图片对应的第二时间点。
步骤205至步骤209执行了到达现场节点。
步骤210、车载终端根据取力器发送的取力器状态信息检测取力器是否打开,若是,执行步骤211;若否,则执行步骤210。
如图4b所示,取力器状态信息包括基于808部标协议补充协议检测取力器的电平信息。当取力器打开时取力器状态信息为低电平;当取力器断开时为高电。
本步骤中,若车载终端根据取力器发送的取力器状态信息检测取力器打开时,表明救援车的上板结构6开始向地面倾斜,并执行步骤211;若车载终端根据取力器发送的取力器状态信息检测取力器断开时,表明救援人员暂未使用取力器,上板结构6仍处于平行于地面的状态,并执行步骤210。
步骤211、车载终端根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作,若是,执行步骤212;若否,则执行步骤211。
其中,AI识别算法包括深度学习视频流AI识别算法。
则步骤211中车载终端根据AI识别算法从摄像头采集到的视频图像中能够识别出开始拖车动作具体包括:车载终端基于得到的视频流通过采样获得多幅原始采样图样本,以及速度采样图样本;对于得到的速度采样图样本进行时空矫正;基于原始采样图和速度采样图,离线训练得到深度学习模型;根据得到的深度学习模型对视频流进行单帧处理并整合视频流单帧数据,得出救援车开始拖车动作。
摄像头可将获取并显示的救援地点经纬度、救援车瞬时车速以及摄像头辅助数据发送至车载终端。车载终端在通过深度学习视频流AI识别算法识别开始拖车动作的过程中进一步采用救援地点经纬度、救援车瞬时车速以及摄像头辅助数据进行开始拖车动作的识别,从而增加了AI识别的准确性。例如,摄像头辅助数据包括摄像头编号。
如图4b所示,开始拖车动作包括上板结构6的一端触碰到地面停止并稳定,上板结构6形成一斜面,被救车辆7驶上上板结构6。若车载终端根据AI识别算法从摄像头采集到的视频图像中能够识别出开始拖车动作,表明救援车已经准备好开始拖车,并执行步骤214;若车载终端根据AI识别算法从摄像头采集到的视频图像中不能够识别出开始拖车动作,表明救援车的上板结构6没有开始倾斜,并执行步骤211。步骤212、车载终端向救援车上的摄像头发送第三抓拍指令,以供摄像头根据第三抓拍指令拍摄第三节点图片。
如图4a所示,当车载终端识别到开始拖车动作时,救援车上的摄像头41、摄像头42、摄像头43、摄像头44和摄像头45接收到车载终端的第三抓拍指令,根据第三抓拍指令拍摄第三节点图片,并将第三节点图片上传至车载终端。
步骤213、车载终端接收摄像头发送的第三节点图片和所述第三节点图片对应的第三时间点,并将接收到的第三节点图片和第三时间点发送至救援平台。
第三时间点包括拍摄第三节点图片的时间点,救援平台存储接收到的第三节点图片和所述第三节点图片对应的第三时间点。
步骤210至步骤213执行了开始作业节点。
步骤214、车载终端根据取力器发送的取力器状态信息检测取力器是否断开,若是,执行步骤215;若否,则执行步骤214。
如图4b所示,取力器状态信息包括基于808部标协议补充协议检测取力器的电平信息。当取力器打开时取力器状态信息为低电平;当取力器断开时取力器状态信息为高电平。
本步骤中,若车载终端根据取力器发送的取力器状态信息检测取力器打开时,表明救援车上板结构6仍处于斜面状态,并执行步骤214;若车载终端根据取力器发送的取力器状态信息检测取力器断开时,表明上板结构6慢慢回落,直至上板结构6回落到与地面平行的状态,执行步骤215。
步骤215、车载终端根据AI识别算法从摄像头采集到的视频图像中是否能够识别出上板起托动作,若是,执行步骤216;若否,则执行步骤215。
其中,AI识别算法包括深度学习视频流AI识别算法。
则步骤215中车载终端根据AI识别算法从摄像头采集到的视频图像中能够识别出上板起托动作具体包括:车载终端基于得到的视频流通过采样获得多幅原始采样图样本,以及速度采样图样本;对于得到的速度采样图样本进行时空矫正;基于原始采样图和速度采样图,离线训练得到深度学习模型;根据得到的深度学习模型对视频流进行单帧处理并整合视频流单帧数据,得出救援车上板起托动作。
摄像头可将获取并显示的救援地点经纬度、救援车瞬时车速以及摄像头辅助数据发送至车载终端。车载终端在通过深度学习视频流AI识别算法识别上板起托动作的过程中进一步采用救援地点经纬度、救援车瞬时车速以及摄像头辅助数据进行上板起托动作的识别,从而增加了AI识别的准确性。例如,摄像头辅助数据包括摄像头编号。
如图4c所示,上板起托动作包括被救车辆在上板结构6上停稳的动作。若车载终端根据AI识别算法从摄像头采集到的视频图像中能够识别出上板起托动作,表明被救车辆已经完成被救援车的上板起托作业,并执行步骤216;若车载终端根据AI识别算法从摄像头采集到的视频图像中不能够识别出上板起托动作,表明被救车辆还未完成被救车辆的上板起托作业,并执行步骤215。步骤216、车载终端根据钥匙门开关状态信息检测救援车是否启动,若是,执行步骤217;若否,则执行步骤216。
钥匙门开关状态信息包括808部标协议ACC状态信息。若808部标协议ACC状态信息表示钥匙门开启时,车载终端可检测出救援车启动;若808部标协议ACC状态信息表示钥匙门关闭时,车载终端可检测出救援车未启动。
本步骤中,若车载终端根据钥匙门开关状态信息检测出救援车启动时,表明救援人员已经进入救援车的驾驶舱内并启动救援车,并执行步骤217;若车载终端在第一设定时间段内根据钥匙门开关状态信息检测出救援车未启动时,表明救援人员未进入救援车的驾驶舱内或者表明救援人员已经进入救援车的驾驶舱内但尚未启动救援车,并执行步骤216。
步骤217、车载终端向救援车上的摄像头发送第四抓拍指令,以供摄像头根据第四抓拍指令拍摄第四节点图片。
如图4a所示,当车载终端识别出上板起托动作时,救援车上的摄像头41、摄像头42、摄像头43、摄像头44和摄像头45接收到车载终端的第四抓拍指令,根据第四抓拍指令拍摄第四节点图片,并将第四节点图片上传至车载终端。
步骤218、车载终端接收摄像头发送的第四节点图片和所述第四节点图片对应的第四时间点,并将接收到的第四节点图片和第四时间点发送至救援平台。
第四时间点包括拍摄第四节点图片的时间点,救援平台存储接收到的第四节点图片和所述第四节点图片对应的第四时间点。
步骤214至步骤218执行了结束作业节点。
步骤219、救援平台计算出接警时间点和第二时间点之间的到达现场时长。
步骤220、救援平台判断到达现场时长是否小于第一超时时长,若小于则确定出救援车到达现场时长未超时,若大于或等于则确定出救援车到达现场时长超时。到达现场时长表明了救援车到达现场所用的时间,救援车接到报警后,越快赶往事故地点,越能体现出救援人员的作业效率,救援平台计算并统计到达现场时长有利于对救援人员的作业考核,便于提升救援人员的作业速度。
步骤221、救援平台计算出救援车取力器打开时间和第四时间点之间的救援作业时长。
救援平台终端可以表格形式显示作业时长,救援平台终端包括救援调度室的显示终端,救援调度室包括救援人员听从调度的场所,其中,救援平台终端可以能够及时准确地实时显示救援车实时视频及第一时间点、第二时间点、第三时间点以及第四时间点中至少一时间点抓拍的图片。
步骤222、救援平台判断救援作业时长是否小于第二超时时长,若小于则确定出救援车作业未超时,若大于或等于则确定出救援车作业超时。
救援平台可以对多个救援人员的多次救援作业超时时长进行统计,本发明实施例中,统计出的数据可以用于判断出救援车到达事故地点是否及时、救援过程是否迅速,便于对救援人员的精准考核。
本发明实施例中,摄像头可显示救援地点经纬度、救援车瞬时车速以及摄像头编号,第一节点图片、第二节点图片、第三节点图片以及第四节点图片中均包括该救援地点经纬度、救援车瞬时车速以及摄像头辅助数据,摄像头可将救援地点经纬度、救援车瞬时车速以及摄像头辅助数据上传至车载终端,救援平台接收到车载终端发送的救援地点经纬度、救援车瞬时车速以及摄像头辅助数据并保存。例如,摄像头辅助数据包括摄像头编号。救援平台部署简单、成本低并且维护方便,本发明实施例可以利用景区车辆客流统计设备和景区现有移动基站,以及运营商现有信令监测采集系统即可,不需要部署大量硬件。
本实施例提供的救援车作业识别方法的技术方案中,通过AI识别算法从摄像头采集到的视频图像中是否能够识别出反光锥、开始拖车动作与上板起托动作,若能够识别出反光锥、开始拖车动作与上板起托动作,向救援车上的摄像头发送抓拍指令,以供摄像头根据抓拍指令拍摄图片,本发明实施例中,通过AI识别算法识别出作业节点,能够准确识别出动作信息,减少了救援人员的工作量,提高了救援人员的作业效率。
本发明实施例提供了一种救援车作业识别装置。图5为本发明实施例提供的一种救援车作业识别装置的结构示意图,如图5所示,该装置包括:第一判断模块11、收发模块12、第二判断模块13和第三判断模块14。
第一判断模块11用于根据AI识别算法检测摄像头发送的视频图像中救援车后方是否放置有反光锥;
收发模块12用于若能够检测出放置有反光锥,向救援车上的摄像头发送第二抓拍指令,以供摄像头根据第二抓拍指令拍摄第二节点图片;
第二判断模块13用于根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作;
收发模块12还用于若能够识别出开始拖车动作,向救援车上的摄像头发送第三抓拍指令,以供摄像头根据所述第三抓拍指令拍摄第三节点图片;
第三判断模块14用于根据AI识别算法从摄像头采集到的视频图像中是否能够识别出上板起托动作;收发模块12还用于若能够识别出上板起托动作,向救援车上的摄像头发送第四抓拍指令,以供摄像头根据所述第四抓拍指令拍摄第四图片。
本发明实施例中,该装置还包括:第四判断模块15。
第四判断模块15根据取力器发送的取力器状态信息检测取力器是否断开;
若第四判断模块16检测出取力器断开,第三判断模块14继续执行所述根据AI识别算法从摄像头采集到的视频图像中是否能够识别出上板起托动作的步骤;
若第四判断模块15检测出取力器未断开,第四判断模块15继续执行所述根据取力器发送的取力器状态信息检测取力器是否断开的步骤。
本发明实施例中,该装置还包括:第五判断模块16。
若第三判断模块14能够识别出上板起托动作时,第五判断模块16根据钥匙门开关状态信息检测救援车是否启动;
若第五判断模块16检测出救援车启动,继续执行收发模块12向救援车上的摄像头发送第四抓拍指令的步骤;;
若第五判断模块16检测出救援车未启动,第五判断模块16继续执行所述根据钥匙门开关状态信息检测救援车是否启动的步骤。
本发明实施例中,该装置还包括:第六判断模块17。
第六判断模块17用于根据取力器发送的取力器状态信息检测取力器是否打开;
若第六判断模块17检测出取力器打开,第二判断模块13继续执行所述根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作的步骤;
若第六判断模块17检测出取力器未打开,第六判断模块继续执行所述根据取力器发送的取力器状态信息检测取力器是否打开的步骤。
本发明实施例中,该装置还包括:第七判断模块18、第八判断模块19。
第七判断模块18用于根据钥匙门开关状态信息检测救援车是否熄火;
若第七判断模块18检测出救援车熄火,第八判断模块19用于根据AI识别算法检测摄像头发送的视频图像中是否能够识别出救援车车门开启动作;
本发明实施例中,该装置还包括:第九判断模块20和第十判断模块21。
第九判断模块20用于根据钥匙门开关状态信息检测救援车是否启动;
若第九判断模块20检测出救援车启动,第十判断模块21用于判断救援车的位置与驻点位置之间的距离是否大于设定距离;
若第十判断模块21判断出大于设定距离,收发模块12用于向救援车上的摄像头发送第一抓拍指令,以供摄像头根据第一抓拍指令拍摄第一节点图片。
若第一判断模块11检测出未放置有反光锥,第一判断模块11继续执行根据AI识别算法检测摄像头发送的视频图像中救援车后方是否放置有反光锥的步骤。
本实施例提供的救援车作业识别装置可用于实现上述图2或图3中的救援车作业识别方法,具体描述可参见上述救援车作业识别方法的实施例,此处不再重复描述。
本实施例提供的救援车作业识别方法的技术方案中,第一判断模块或第二判断模块根据AI识别算法从摄像头采集到的视频图像中识别出开始拖车动作或上板起托动作,收发模块用于向救援车上的摄像头发送抓拍指令,以供摄像头根据抓拍指令拍摄图片,本发明实施例中,通过AI识别算法识别出作业节点,能够准确识别出动作信息,减少了救援人员的工作量,提高了救援人员的作业效率。
本发明实施例提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述救援车作业识别方法的实施例的各步骤,具体描述可参见上述救援车作业识别方法的实施例。
本发明实施例提供了一种计算机设备,包括存储器和处理器,存储器用于存储包括程序指令的信息,处理器用于控制程序指令的执行,程序指令被处理器加载并执行时实现上述救援作业识别方法的实施例的各步骤,具体描述可参见上述救援作业识别方法的实施例。
图6为本发明实施例提供的一种计算机设备的示意图。如图6所示,该实施例的计算机设备30包括:处理器31、存储器32以及存储在存储32中并可在处理器31上运行的计算机程序33,该计算机程序33被处理器31执行时实现实施例中的应用于救援车作业识别方法,为避免重复,此处不一一赘述。或者,该计算机程序被处理器31执行时实现实施例中应用于救援车作业识别装置中各模型/单元的功能,为避免重复,此处不一一赘述。
计算机设备30包括,但不仅限于,处理器31、存储器32。本领域技术人员可以理解,图6仅仅是计算机设备30的示例,并不构成对计算机设备30的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如计算机设备还可以包括输入输出设备、计算机接入设备、总线等。
所称处理器31可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器32可以是计算机设备30的内部存储单元,例如计算机设备30的硬盘或内存。存储器32也可以是计算机设备30的外部存储设备,例如计算机设备30上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器32还可以既包括计算机设备30的内部存储单元也包括外部存储设备。存储器32用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器32还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (10)

1.一种救援车作业识别方法,其特征在于,包括:
根据AI识别算法检测摄像头发送的视频图像中救援车后方是否放置有反光锥;
若能够检测出放置有反光锥,向救援车上的摄像头发送第二抓拍指令,以供摄像头根据第二抓拍指令拍摄第二节点图片;
根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作;
若能够识别出开始拖车动作,向救援车上的摄像头发送第三抓拍指令,以供摄像头根据所述第三抓拍指令拍摄第三节点图片;
根据AI识别算法从摄像头采集到的视频图像中是否能够识别出上板起托动作;
若能够识别出上板起托动作,向救援车上的摄像头发送第四抓拍指令,以供摄像头根据所述第四抓拍指令拍摄第四图片。
2.根据权利要求1所述的救援车作业识别方法,其特征在于,所述根据AI识别算法从摄像头采集到的视频图像中是否能够识别出上板起托动作之前还包括:
根据取力器发送的取力器状态信息检测取力器是否断开;
若检测出取力器断开,继续执行所述根据AI识别算法从摄像头采集到的视频图像中是否能够识别出上板起托动作的步骤;
若检测出取力器未断开,继续执行所述根据取力器发送的取力器状态信息检测取力器是否断开的步骤。
3.根据权利要求2所述的救援车作业识别方法,其特征在于,还包括:
若能够识别出上板起托动作时,根据钥匙门开关状态信息检测救援车是否启动;
若检测出救援车启动,继续执行所述向救援车上的摄像头发送第四抓拍指令的步骤
若检测出救援车未启动,继续执行所述根据钥匙门开关状态信息检测救援车是否启动的步骤。
4.根据权利要求1所述的救援车作业识别方法,其特征在于,所述根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作之前还包括:
根据取力器发送的取力器状态信息检测取力器是否打开;
若检测出取力器打开,继续执行所述根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作的步骤;
若检测出取力器未打开,继续执行所述根据取力器发送的取力器状态信息检测取力器是否打开的步骤。
5.根据权利要求1所述的救援车作业识别方法,其特征在于,所述根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作之前还包括:
根据钥匙门开关状态信息检测救援车是否熄火;
若检测出救援车熄火,根据AI识别算法检测摄像头发送的视频图像中是否能够识别出救援车车门开启动作。
6.根据权利要求5所述的救援车作业识别方法,其特征在于,所述根据钥匙门开关状态信息检测救援车是否熄火之前还包括:
根据钥匙门开关状态信息检测救援车是否启动;
若检测出救援车启动,判断救援车的位置与驻点位置之间的距离是否大于设定距离;
若判断出大于设定距离,向救援车上的摄像头发送第一抓拍指令,以供摄像头根据第一抓拍指令拍摄第一节点图片。
7.根据权利要求1所述的救援车作业识别方法,其特征在于,包括:
若检测出未放置有反光锥,继续执行根据AI识别算法检测摄像头发送的视频图像中救援车后方是否放置有反光锥的步骤。
8.一种救援车作业识别装置,其特征在于,包括:
第一判断模块,用于根据AI识别算法检测摄像头发送的视频图像中救援车后方是否放置有反光锥;
收发模块,用于若能够检测出放置有反光锥,向救援车上的摄像头发送第二抓拍指令,以供摄像头根据第二抓拍指令拍摄第二节点图片;
第二判断模块,用于根据AI识别算法从摄像头采集到的视频图像中是否能够识别出开始拖车动作;
收发模块,用于若能够识别出开始拖车动作,向救援车上的摄像头发送第三抓拍指令,以供摄像头根据所述第三抓拍指令拍摄第三节点图片;
第三判断模块,用于根据AI识别算法从摄像头采集到的视频图像中是否能够识别出上板起托动作;
收发模块,还用于若能够识别出上板起托动作,向救援车上的摄像头发送第四抓拍指令,以供摄像头根据所述第四抓拍指令拍摄第四图片。
9.一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1~7所述的救援车作业识别方法。
10.一种计算机设备,包括存储器和处理器,所述存储器用于存储包括程序指令的信息,所述处理器用于控制程序指令的执行,其特征在于,所述程序指令被处理器加载并执行时实现权利要求1~7所述的救援车作业识别方法的步骤。
CN201911119547.2A 2019-11-15 2019-11-15 一种救援车作业识别方法、装置、存储介质和计算机设备 Active CN112818725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911119547.2A CN112818725B (zh) 2019-11-15 2019-11-15 一种救援车作业识别方法、装置、存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911119547.2A CN112818725B (zh) 2019-11-15 2019-11-15 一种救援车作业识别方法、装置、存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN112818725A CN112818725A (zh) 2021-05-18
CN112818725B true CN112818725B (zh) 2024-03-22

Family

ID=75851666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911119547.2A Active CN112818725B (zh) 2019-11-15 2019-11-15 一种救援车作业识别方法、装置、存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN112818725B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705549B (zh) * 2021-10-29 2022-02-11 中移(上海)信息通信科技有限公司 道路救援工作节点确定方法、装置及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101334672B1 (ko) * 2013-02-26 2013-11-29 배재대학교 산학협력단 구조 서비스 방법 및 그 장치
CN105957336A (zh) * 2016-05-27 2016-09-21 广东省电子技术研究所 道路应急指挥管理系统及方法
CN106488110A (zh) * 2016-03-31 2017-03-08 徐工集团工程机械有限公司 工程作业车辆远程操控系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101334672B1 (ko) * 2013-02-26 2013-11-29 배재대학교 산학협력단 구조 서비스 방법 및 그 장치
CN106488110A (zh) * 2016-03-31 2017-03-08 徐工集团工程机械有限公司 工程作业车辆远程操控系统及方法
CN105957336A (zh) * 2016-05-27 2016-09-21 广东省电子技术研究所 道路应急指挥管理系统及方法

Also Published As

Publication number Publication date
CN112818725A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
EP3965082B1 (en) Vehicle monitoring system and vehicle monitoring method
CN107608388B (zh) 自主警车
CN108765970B (zh) 路边停车自动识别汽车车牌的方法和装置
CN112348992B (zh) 基于车路协同系统的车载视频处理方法、装置及存储介质
CN108537140B (zh) 车内人员识别方法及系统
CN207650996U (zh) 一种基于无人机的自主式巡检违章罚停系统
CN109189019A (zh) 一种机车乘务员值乘标准化监控系统
CN106710291A (zh) 停车场的停车位获取方法及装置
CN105303823B (zh) 车辆违规监控方法和系统
US9418488B1 (en) Driver productivity snapshots and dynamic capture of driver status
CN109421715A (zh) 自适应巡航控制系统中车道条件的检测
CN108604284B (zh) 事故现场还原方法、装置及运动监控设备
CN105329168A (zh) 具有行车记录和驾驶辅助功能的抬头显示系统及方法
CN105632182A (zh) 一种车辆违规行为举证的方法及其系统
WO2017128876A1 (zh) 一种车辆违规加塞的举证方法及其系统
CN106571033A (zh) 酒驾检测方法及装置
CN108197526A (zh) 检测方法、系统及计算机可读存储介质
CN105574684A (zh) 通过管理平台和监控设备监控司机驾驶行为的系统及方法
CN107464416B (zh) 巴士的半自动驾驶方法及系统
CN109035837B (zh) 一种基于无人机的智能交通系统测试方法
CN112306051A (zh) 一种高速公路无人驾驶交警车辆机器人系统
CN111818160A (zh) 一种车机设备
CN113095161B (zh) 危险行为的识别方法、装置、终端设备及计算机存储介质
CN106846819A (zh) 一种基于小型飞行器的航拍罚单生成方法及实现系统
CN112597965A (zh) 一种驾驶行为识别方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant