CN110428583A - 一种基于嵌入式开发和深度学习的叉车实时监控预警系统及方法 - Google Patents

一种基于嵌入式开发和深度学习的叉车实时监控预警系统及方法 Download PDF

Info

Publication number
CN110428583A
CN110428583A CN201910650239.6A CN201910650239A CN110428583A CN 110428583 A CN110428583 A CN 110428583A CN 201910650239 A CN201910650239 A CN 201910650239A CN 110428583 A CN110428583 A CN 110428583A
Authority
CN
China
Prior art keywords
early warning
fork truck
pedestrian
truck
fork
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910650239.6A
Other languages
English (en)
Other versions
CN110428583B (zh
Inventor
李庆利
宗艳宁
尹金涛
盛标胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201910650239.6A priority Critical patent/CN110428583B/zh
Publication of CN110428583A publication Critical patent/CN110428583A/zh
Application granted granted Critical
Publication of CN110428583B publication Critical patent/CN110428583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种基于嵌入式开发和深度学习的叉车实时监控预警系统及方法,其系统包括监控摄像端、嵌入式开发平台、移动用户端及网页用户端,所述监控摄像端与嵌入式开发平台有线连接,嵌入式开发平台与移动用户端无线连接,嵌入式开发平台与网页用户端有线连接;在嵌入式开发平台上搭建深度学习网络,对叉车、行人等实时检测,判断预警类型,预警信息存储到数据库服务器,并通过短信和邮件实时发送给移动终端,网页用户端能够实时查看、检索和统计预警信息;该系统能够自动调整抽帧间隔和用于检测的深度学习网络类型,自监督mAP值,自学习更新叉车、行人等权重。本发明使用灵活方便,减少人工投入,智能可靠。

Description

一种基于嵌入式开发和深度学习的叉车实时监控预警系统及 方法
技术领域
本发明涉及工业作业安全领域,尤其是一种基于嵌入式开发和深度学习的叉车实时监控预警系统及方法。
背景技术
叉车,又称工业搬运车辆,因能够短距离较大量搬运货物而广泛应用在生产生活中。仅在我国,就有290万至350万辆叉车窜梭在各工作场地搬运货物。但在实际驾驶叉车过程中,存在因盲点、疲劳、超速导致相撞、打滚等,进而发生严重事故,造成受伤死亡、巨额赔偿和领导追责等后果。目前,深度学习发展成熟,网络结构实现和训练相对容易,能够方便地应用于目标检测等其他领域。因此,在嵌入式开发平台搭建深度学习网络,不仅方便灵活使用,同样也能够实现高效率叉车行人检测。
发明内容
本发明的目的是提供一种基于嵌入式开发和深度学习的叉车实时监控预警系统。该系统能够移动,方便灵活使用。同时能够判断:叉车货叉是否站人,是否有行人出现在叉车行驶方向内和行人是否靠近叉车,计算叉车和行人之间的距离。
实现本发明目的的具体技术方案是:
一种基于嵌入式开发和深度学习的叉车实时监控预警系统,该系统包括监控摄像端、嵌入式开发平台、移动用户端及网页用户端;监控摄像端与嵌入式开发平台有线连接,嵌入式开发平台与移动用户端无线连接,嵌入式开发平台与网页用户端有线连接;
所述监控摄像端包括摄像镜头、气象传感器及音响;摄像镜头为数个,各自连接嵌入式开发平台;气象传感器及音响分别有线连接嵌入式开发平台;
所述嵌入式开发平台设置有硬件接口模块,具体为:数个视频输入输出HDMI接口模块、网络RJ45接口模块、光纤SFP接口模块、数据总线RS485接口模块、USB2.0接口模块及TYPE-A接口模块;该嵌入式开发平台还设置有GPU处理器及显示器;所述的各硬件接口模块分别与GPU处理器有线连接,数据总线RS485接口模块与显示器有线连接;
所述移动用户端包括WEB服务器及移动终端,WEB服务器与移动终端无线连接;
所述网页用户端包括数个路由器、网络、数据库服务器、WEB服务器和数个主机,数个路由器通过网络连接,其中一路由器与数据库服务器连接,数据库服务器与WEB服务器无线连接,WEB服务器分别与数个主机无线连接;
所述数个摄像镜头与视频输入输出接口模块有线连接,气象传感器与数据总线模块有线连接,音响与USB2.0接口模块有线连接,移动用户端的WEB服务器与网络接口模块无线连接,一路由器与光纤接口模块有线连接。
一种基于所述系统实现叉车实时监控预警的方法,具体包括以下步骤:
步骤1:深度学习网络训练能够检测叉车、行人、叉车司机、叉车货叉和叉车门架各类别的模型;
步骤2:网页用户端选择对指定摄像镜头进行指定预警类型的判断;
步骤3:对指定摄像镜头的监控视频进行所述各类别检测,获取各类别在监控图片中的位置;
步骤4:依据检测结果,判断货叉是否站人,是否有行人出现在叉车行驶方向内和行人是否靠近叉车三个预警类型,计算叉车和行人之间的距离;
步骤5:音响播放警示音乐,将预警图片、预警类型、车人距离、地点和天气发送到移动用户端和网页用户端,进行预警。
进一步,所述步骤1的具体过程为:
在GPU处理器上搭建SSD、Faster RCNN和Mask RCNN深度学习网络;
采集叉车图片,对图片中的叉车、行人、叉车司机、叉车货叉和叉车门架各类别分别进行标注,将标注信息存放到标注文件;
将所述叉车图片和其对应的标注文件输入到深度学习网络中进行迭代训练,得到叉车、行人、叉车司机、叉车货叉和叉车门架各类别的权重。
进一步,所述步骤2的具体过程为:
在WEB服务器上搭建叉车预警服务平台,并将每个摄像镜头按其所监控地点进行编号;
一主机访问叉车预警服务平台WEB页面,根据需要检测预警的地点勾选该地点所对应的数个摄像镜头,并勾选对所述数个摄像镜头需进行判断的预警类型;
勾选完成后,在叉车预警服务平台WEB页面点击运行,开始对所述数个摄像镜头的监控视频进行指定预警类型的判断。
进一步,所述步骤3的具体过程为:
根据网页用户端统计预警信息的结果以及实时的天气,判断是否在所述指定预警类型频发的天气和时间段内;
当在指定预警类型频发的天气和时间段内,设置降低抽帧时间间隔周期t,根据预警类型发生频率高低,设置用于检测的深度学习网络类型,发生频率低时,设置使用SSD和Mask RCNN类型的深度学习网络同时检测图片中的各类别,发生频率较高时,设置使用SSD和Faster RCNN类型的深度学习网络同时检测图片中的各类别,发生频率高时,设置使用SSD深度学习网络检测图片中的各类别;
每间隔时间周期t从所述勾选的数个摄像镜头的监控视频中获取1帧图片;
运行所述设置用于检测的深度学习网络类型的检测程序,利用叉车、行人、叉车司机、叉车货叉和叉车门架各类别权重,对1帧图片进行各类别的检测,检测程序将检测到的类别在1帧图片中用矩形框框出;
获取检测到的类别名称以及其矩形框在1帧图片中的位置坐标,得到检测结果;
将类别名称和位置坐标作为标注信息存放到标注文件,更新各类别的权重;
进一步,所述步骤4的具体过程为:
依据所述网页用户端选择对指定摄像镜头行指定预警类型的判断,对检测结果进行指定预警类型的判断,并计算叉车和行人之间的距离;
判断叉车货叉是否站人时,判断叉车货叉的矩形框和行人的矩形框是否有重叠部分,并且重叠部分超过叉车货叉矩形框宽度的50%;
判断是否有行人出现在叉车行驶方向内时,计算叉车司机和叉车门架两个矩形框中心点确定的直线L方程,并计算行人矩形框内的点是否在这条直线L;
计算叉车和行人之间的距离,先计算叉车和行人两个矩形框的最近点坐标欧氏几何距离,乘以摄影机的参数,得出叉车和行人实际的距离;
判断行人是否靠近叉车时,依据叉车行人之间的距离,判断叉车行人的距离小于叉车宽度的70%。
整理归档预警信息,预警信息包括预警图片、预警类型、车人距离、地点和天气;
进一步,所述步骤5的具体过程为:
音响播放警示音乐;
所述预警信息,通过WEB服务器以短信和邮件形式发送给移动终端;
所述预警信息,通过路由器和网络,存储到数据库服务器,数个主机能够通过WEB服务器查看存储在数据库服务器的预警信息。
更进一步,所述网页用户端统计预警信息的具体过程为:
一主机访问所述叉车预警服务平台WEB页面,检索某个预警类型,并从数据库服务器获取该预警类型的所有预警信息;
统计该预警类型预警低于一百次的天气和一天中的时间段,设置该预警类型在所述天气和一天中的时间段中发生频率低;
统计该预警类型预警超过一百次但不超过一千次的天气和一天中的时间段,设置该预警类型在所述天气和一天中的时间段中发生频率较高;
统计该预警类型预警超过一千次的天气和一天中的时间段,设置该预警类型在所述天气和一天中的时间段中发生频率高;
更进一步,所述将类别名称和位置坐标作为标注信息存放到标注文件,更新各类别的权重,具体步骤为:
修改深度学习检测程序,将检测到的类别名称以及其矩形框在被检测图片中的位置坐标作为标注信息,存放到标注文件;
间隔一段时间T,计算深度学习网络各类别的mAP值,判断mAP值低于0.85否;
mAP值低于0.85时,将这段时间T内的所有被检测图片和其对应标注文件输入到深度学习训练网络中,参与训练迭代,更新网络模型和各类别权重。
本发明所提出的一种基于嵌入式开发和深度学习的叉车实时监控预警系统,软硬件结合,在嵌入式开发平台搭建深度学习网络,对叉车、行人等进行实时高效准确检测,判断预警类型,并将预警信息存储到数据库服务器,网页用户端能够实时查看检索预警信息,以及统计预警信息,预警信息也将通过短信和邮件实时发送给移动终端。本发明成本低,使用灵活方便,该系统能够根据预警信息统计结果,自动调整监控视频抽帧检测的时间间隔和用于检测的深度学习网络类型,并且该系统能够自监督检测的准确率mAP值,自学习更新叉车、行人等类别权重,减少人工投入,智能可靠。
附图说明
图1为本发明结构框图;
图2为本发明的嵌入式开发平台结构框图;
图3为本发明实施例的叉车实时监控预警系统的流程图;
图4为本发明实施例的深度学习训练标注图;
图5为本发明实施例的预警判断的流程图;
图6为本发明实施例的主机查看到的预警图片图。
具体实施方式
为了更加清楚明白地说明本发明所述的技术手段、技术改进及有益效果,以下结合附图及实施例对本发明进行详细的说明。
实施例
参阅图1,本实施例系统包括监控摄像端1、嵌入式开发平台2、移动用户端3及网页用户端4;监控摄像端1与嵌入式开发平台2有线连接,嵌入式开发平台2与移动用户端3无线连接,嵌入式开发平台2与网页用户端4有线连接。
所述监控摄像端1包括摄像镜头11、气象传感器13及音响14;摄像镜头11为数个,各自连接嵌入式开发平台2;气象传感器13及音响14分别有线连接嵌入式开发平台2。
参阅图2,所述嵌入式开发平台2设置有硬件接口模块,具体为:数个视频输入输出HDMI接口模块21、网络RJ45接口模块22、光纤SFP接口模块23、数据总线RS485接口模块25、USB2.0接口模块27及TYPE-A接口模块28;该嵌入式开发平台2还设置有GPU处理器24及显示器26;所述的各硬件接口模块分别与GPU处理器24有线连接,数据总线RS485接口模块25与显示器26有线连接;所述网络RJ45接口模块22兼有POE功能,直接为IPC供电;能够通过WEB页配置嵌入式开发平台2参数。
所述移动用户端3包括WEB服务器31及移动终端32,WEB服务器31与移动终端32无线连接。
所述网页用户端4包括数个路由器41、网络42、数据库服务器44、WEB服务器45和数个主机46,数个路由器41通过网络42连接,其中一路由器与数据库服务器44连接,数据库服务器44与WEB服务器45无线连接,WEB服务器45分别与数个主机46无线连接。
所述数个摄像镜头11与视频输入输出接口模块21有线连接,气象传感器13与数据总线模块25有线连接,音响14与USB2.0接口模块27有线连接,移动用户端3的WEB服务器31与网络接口模块22无线连接,一路由器41与光纤接口模块23有线连接。
参阅图3,采用所述叉车实时监控预警系统实现叉车实时监控预警的方法,具体包括以下步骤:
(1)深度学习网络训练能够检测叉车、行人、叉车司机、叉车货叉和叉车门架各类别的模型;
该步骤具体过程为:
在GPU处理器24上搭建SSD、Faster RCNN和Mask RCNN深度学习网络;对于深度学习网络,目标检测的数度和准确率与卷积层的复杂度成反比;SSD目标检测数度快,卷积层结构简单,Mask RCNN则与SSD相反;
参阅图4,采集叉车图片,对图片中的叉车、行人、叉车司机、叉车货叉和叉车门架各类别分别进行标注,将标注信息存放到标注文件;
将所述叉车图片和其对应的标注文件输入到深度学习网络中进行迭代训练,得到叉车、行人、叉车司机、叉车货叉和叉车门架各类别的权重,本实施例使用Mask RCNN网络训练,共计迭代了80次,损失值下降到0.26。
(2)网页用户端4选择对指定摄像镜头11进行指定预警类型的判断;
在WEB服务器45上搭建叉车预警服务平台,并将每个摄像镜头11按其所监控地点进行编号;
一主机46访问叉车预警服务平台WEB页面,根据需要检测预警的地点勾选该地点所对应的数个摄像镜头11,并勾选对所述数个摄像镜头11需进行判断的预警类型;
勾选完成后,在叉车预警服务平台WEB页面点击运行,开始对所述数个摄像镜头11的监控视频进行指定预警类型的判断。
(3)对指定摄像镜头11的监控视频进行所述各类别检测,获取各类别在监控图片中的位置;
该步骤具体过程为:
根据网页用户端4统计预警信息的结果以及实时的天气,判断是否在所述指定预警类型频发的天气和时间段内;
当在指定预警类型频发的天气和时间段内,设置降低抽帧时间间隔周期t,根据预警类型发生频率高低,设置用于检测的深度学习网络类型,发生频率低时,设置使用SSD和Mask RCNN类型的深度学习网络同时检测图片中的各类别,发生频率较高时,设置使用SSD和Faster RCNN类型的深度学习网络同时检测图片中的各类别,发生频率高时,设置使用SSD深度学习网络检测图片中的各类别;
每间隔时间周期t从所述勾选的数个摄像镜头11的监控视频中获取1帧图片;
运行所述设置用于检测的深度学习网络类型的检测程序,利用叉车、行人、叉车司机、叉车货叉和叉车门架各类别权重,对1帧图片进行各类别的检测,检测程序将检测到的类别在1帧图片中用矩形框框出,其中检测叉车司机是为确认叉车处于行驶状态;
获取检测到的类别名称以及其矩形框在1帧图片中的位置坐标,得到检测结果;
将类别名称和位置坐标作为标注信息存放到标注文件,更新各类别的权重
(4)依据检测结果,判断货叉是否站人,是否有行人出现在叉车行驶方向内和行人是否靠近叉车三个预警类型,计算叉车和行人之间的距离;
参阅图5,该步骤具体过程为:
依据所述网页用户端4选择对指定摄像镜头11进行指定预警类型的判断,对检测结果进行指定预警类型的判断,并计算叉车和行人之间的距离;
判断叉车货叉是否站人时,判断叉车货叉的矩形框和行人的矩形框是否有重叠部分,并且重叠部分超过叉车货叉矩形框宽度的50%;
判断是否有行人出现在叉车行驶方向内时,计算叉车司机和叉车门架两个矩形框中心点确定的直线L方程,并计算行人矩形框内的点是否在这条直线L上;
计算叉车和行人之间的距离,先计算叉车和行人两个矩形框的最近点坐标欧氏几何距离,公式为:
在本实施例中,使用摄像机拍摄的图片为二维(横坐标和纵坐标),故n=2。乘以摄影机的参数,得出叉车和行人实际的距离,本实施例使用公式为:
distance=parameter*dist
判断行人是否靠近叉车时,依据叉车行人之间的距离,判断叉车行人的距离小于叉车宽度的70%。
整理归档预警信息,预警信息包括预警图片、预警类型、车人距离、地点和天气;
(5)音响14播放警示音乐,将预警图片、预警类型、车人距离、地点和天气发送到移动用户端3和网页用户端4,进行预警。
该步骤的具体过程为:
音响14播放警示音乐;
所述预警信息,通过WEB服务器31以短信和邮件形式发送给移动终端32;
所述预警信息,通过路由器41和网络42,存储到数据库服务器44,数个主机46能够通过WEB服务器45查看存储在数据库服务器44的预警信息,参阅图6,在本实施例中利用python flask框架编写的程序将检测结果传送至网页浏览器。运行网页浏览器输出程序,在网页浏览器中输入本实例IP地址http://0.0.0.0:5000,即能够查看到预警图片。
所述网页用户端4统计预警信息的具体过程为:
一主机46访问所述叉车预警服务平台WEB页面,检索某个预警类型,并从数据库服务器44获取该预警类型的所有预警信息;
统计该预警类型预警低于一百次的天气和一天中的时间段,设置该预警类型在所述天气和一天中的时间段中发生频率低;
统计该预警类型预警超过一百次但不超过一千次的天气和一天中的时间段,设置该预警类型在所述天气和一天中的时间段中发生频率较高;
统计该预警类型预警超过一千次的天气和一天中的时间段,设置该预警类型在所述天气和一天中的时间段中发生频率高。
所述将类别名称和位置坐标作为标注信息存放到标注文件,更新各类别的权重,具体步骤为:
修改深度学习检测程序,将检测到的类别名称以及其矩形框在被检测图片中的位置坐标作为标注信息,存放到标注文件;
间隔一段时间T,计算深度学习网络各类别的mAP值,判断mAP值低于0.85否;
mAP值低于0.85时,将这段时间T内的所有被检测图片和其对应标注文件输入到深度学习训练网络中,参与训练迭代,更新网络模型和各类别权重。
本发明所提出的一个基于嵌入式开发和深度学习的叉车实时监控预警系统,软硬件结合,在嵌入式开发平台2搭建深度学习网络,对叉车、行人等进行实时高效准确检测,判断预警类型,并将预警信息存储到数据库服务器44,网页用户端4能够实时查看检索预警信息,以及统计预警信息,预警信息也将通过短信和邮件实时发送给移动终端32。本发明成本低,使用灵活方便,系统能够根据预警信息统计结果,自动调整监控视频抽帧检测的时间间隔和用于检测的深度学习网络类型,并且系统能够自监督检测的准确率mAP值,自学习更新叉车、行人等类别权重,减少人工投入,智能可靠。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于嵌入式开发和深度学习的叉车实时监控预警系统,其特征在于,该系统包括监控摄像端(1)、嵌入式开发平台(2)、移动用户端(3)及网页用户端(4),监控摄像端(1)与嵌入式开发平台(2)有线连接,嵌入式开发平台(2)与移动用户端(3)无线连接,嵌入式开发平台(2)与网页用户端(4)有线连接;
所述监控摄像端(1)包括摄像镜头(11)、气象传感器(13)及音响(14),摄像镜头(11)为数个,各自连接嵌入式开发平台(2);气象传感器(13)及音响(14)分别有线连接嵌入式开发平台(2);
所述嵌入式开发平台(2)设置有硬件接口模块,具体为:数个视频输入输出HDMI接口模块(21)、网络RJ45接口模块(22)、光纤SFP接口模块(23)、数据总线RS485接口模块(25)、USB2.0接口模块(27)及TYPE-A接口模块(28),该嵌入式开发平台(2)还设置有GPU处理器(24)及显示器(26),所述的各硬件接口模块分别与GPU处理器(24)有线连接,数据总线RS485接口模块(25)与显示器(26)有线连接;
所述移动用户端(3)包括WEB服务器(31)及移动终端(32),WEB服务器(31)与移动终端(32)无线连接;
所述网页用户端(4)包括数个路由器(41)、网络(42)、数据库服务器(44)、WEB服务器(45)和数个主机(46),数个路由器(41)通过网络(42)连接,其中一路由器与数据库服务器(44)连接,数据库服务器(44)与WEB服务器(45)无线连接,WEB服务器(45)分别与数个主机(46)无线连接;
所述数个摄像镜头(11)与视频输入输出接口模块(21)有线连接,气象传感器(13)与数据总线模块(25)有线连接,音响(14)与USB2.0接口模块(27)有线连接,移动用户端(3)的WEB服务器(31)与网络接口模块(22)无线连接,一路由器(41)与光纤接口模块(23)有线连接。
2.一种权利要求1所述系统实现叉车实时监控预警的方法,其特征在于,该方法包括以下具体步骤:
步骤1:深度学习网络训练能够检测叉车、行人、叉车司机、叉车货叉和叉车门架各类别的模型;
步骤2:网页用户端(4)选择对指定摄像镜头(11)进行指定预警类型的判断;
步骤3:对指定摄像镜头(11)的监控视频进行所述类别检测,获取各类别在监控图片中的位置;
步骤4:依据检测结果,判断货叉是否站人,是否有行人出现在叉车行驶方向内和行人是否靠近叉车三个预警类型,计算叉车和行人之间的距离;
步骤5:音响(14)播放警示音乐,将预警图片、预警类型、车人距离、地点和天气发送到移动用户端(3)和网页用户端(4),进行预警。
3.如权利要求2所述的叉车实时监控预警的方法,其特征在于,所述步骤1的具体过程为:
在GPU处理器(24)上搭建SSD、Faster RCNN和 Mask RCNN深度学习网络;
采集叉车图片,对图片中的叉车、行人、叉车司机、叉车货叉和叉车门架类别分别进行标注,将标注信息存放到标注文件;
将所述叉车图片和其对应的标注文件输入到深度学习网络中进行迭代训练,得到叉车、行人、叉车司机、叉车货叉和叉车门架各类别的权重。
4.如权利要求2所述的叉车实时监控预警的方法,其特征在于,所述步骤2的具体过程为:
在WEB服务器(45)上搭建叉车预警服务平台,并将每个摄像镜头(11)按其所监控地点进行编号;
一主机(46)访问叉车预警服务平台WEB页面,根据需要检测预警的地点勾选该地点所对应的数个摄像镜头(11),并勾选对所述数个摄像镜头(11)需进行判断的预警类型;
勾选完成后,在叉车预警服务平台WEB页面点击运行,开始对所述数个摄像镜头(11)的监控视频进行指定预警类型的判断。
5.如权利要求2所述的叉车实时监控预警的方法,其特征在于,所述步骤3的具体过程为:
根据网页用户端(4)统计预警信息的结果以及实时的天气,判断是否在所述指定预警类型频发的天气和时间段内;
当在指定预警类型频发的天气和时间段内,设置降低抽帧时间间隔周期t,根据预警类型发生频率高低,设置用于检测的深度学习网络类型,发生频率低时,设置使用SSD和MaskRCNN类型的深度学习网络同时检测图片中的各类别,发生频率较高时,设置使用SSD和Faster RCNN类型的深度学习网络同时检测图片中的各类别,发生频率高时,设置使用SSD深度学习网络检测图片中的各类别;
每间隔时间周期t从所述勾选的数个摄像镜头(11)的监控视频中获取1帧图片;
运行所述设置用于检测的深度学习网络类型的检测程序,利用叉车、行人、叉车司机、叉车货叉和叉车门架各类别权重,对1帧图片进行各类别的检测,检测程序将检测到的类别在1帧图片中用矩形框框出;
获取检测到的类别名称以及其矩形框在1帧图片中的位置坐标,得到检测结果;
将类别名称和位置坐标作为标注信息存放到标注文件,更新各类别的权重。
6.如权利要求2所述的叉车实时监控预警的方法,其特征在于,所述步骤4的具体过程为:
依据所述网页用户端(4)选择对指定摄像镜头(11)进行指定预警类型的判断,对检测结果进行指定预警类型的判断,并计算叉车和行人之间的距离;
判断叉车货叉是否站人时,判断叉车货叉的矩形框和行人的矩形框是否有重叠部分,并且重叠部分超过叉车货叉矩形框宽度的50%;
判断是否有行人出现在叉车行驶方向内时,计算叉车司机和叉车门架两个矩形框中心点确定的直线方程,并计算行人矩形框内的点是否在这条直线
计算叉车和行人之间的距离,先计算叉车和行人两个矩形框的最近点坐标欧氏几何距离,乘以摄影机的参数,得出叉车和行人实际的距离;
判断行人是否靠近叉车时,依据叉车行人之间的距离,判断叉车行人的距离是否小于叉车宽度的70%;
整理归档预警信息,预警信息包括预警图片、预警类型、车人距离、地点和天气。
7.如权利要求2所述的叉车实时监控预警的方法,其特征在于,所述步骤5的具体过程为:
音响(14)播放警示音乐;
所述预警信息,通过WEB服务器(31)以短信和邮件形式发送给移动终端(32);
所述预警信息,通过一路由器(41)和网络(42),存储到数据库服务器(44),数个主机(46)能够通过WEB服务器(45)查看存储在数据库服务器(44)的预警信息。
8.如权利要求5所述的叉车实时监控预警的方法,其特征在于,所述网页用户端(4)统计预警信息的具体过程为:
一主机(46)访问所述叉车预警服务平台WEB页面,检索某个预警类型,并从数据库服务器(44)获取该预警类型的所有预警信息;
统计该预警类型预警低于一百次的天气和一天中的时间段,设置该预警类型在所述天气和一天中的时间段中发生频率低;
统计该预警类型预警超过一百次但不超过一千次的天气和一天中的时间段,设置该预警类型在所述天气和一天中的时间段中发生频率较高;
统计该预警类型预警超过一千次的天气和一天中的时间段,设置该预警类型在所述天气和一天中的时间段中发生频率高。
9.如权利要求5所述的叉车实时监控预警的方法,其特征在于,所述将类别名称和位置坐标作为标注信息存放到标注文件,更新各类别的权重,具体步骤为:
修改深度学习检测程序,将检测到的类别名称以及其矩形框在被检测图片中的位置坐标作为标注信息,存放到标注文件;
间隔一段时间T,计算深度学习网络各类别的mAP值,判断mAP值低于0.85否;
mAP值低于0.85时,将这段时间T内的所有被检测图片和其对应标注文件输入到深度学习训练网络中,参与训练迭代,更新网络模型和各类别权重。
CN201910650239.6A 2019-07-18 2019-07-18 一种基于嵌入式开发和深度学习的叉车实时监控预警系统及方法 Active CN110428583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910650239.6A CN110428583B (zh) 2019-07-18 2019-07-18 一种基于嵌入式开发和深度学习的叉车实时监控预警系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910650239.6A CN110428583B (zh) 2019-07-18 2019-07-18 一种基于嵌入式开发和深度学习的叉车实时监控预警系统及方法

Publications (2)

Publication Number Publication Date
CN110428583A true CN110428583A (zh) 2019-11-08
CN110428583B CN110428583B (zh) 2023-08-18

Family

ID=68411006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910650239.6A Active CN110428583B (zh) 2019-07-18 2019-07-18 一种基于嵌入式开发和深度学习的叉车实时监控预警系统及方法

Country Status (1)

Country Link
CN (1) CN110428583B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064924A (zh) * 2019-11-26 2020-04-24 天津易华录信息技术有限公司 一种基于人工智能的视频监控方法及系统
CN111161558A (zh) * 2019-12-16 2020-05-15 华东师范大学 一种基于深度学习的实时判断叉车行驶位置的方法
CN113365018A (zh) * 2020-03-06 2021-09-07 杭州海康威视数字技术股份有限公司 一种周期调整方法、装置及设备
CN113393703A (zh) * 2020-03-11 2021-09-14 中国石油化工股份有限公司 叉车操作的风险预警方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150294143A1 (en) * 2014-04-10 2015-10-15 GM Global Technology Operations LLC Vision based monitoring system for activity sequency validation
CN205158577U (zh) * 2015-10-28 2016-04-13 江苏省电力公司常州供电公司 一种高压输电线路防外破告警系统
CN107031629A (zh) * 2017-03-10 2017-08-11 上海大学 一种3d机器视觉叉车行驶辅助安全系统及方法
CN108109385A (zh) * 2018-01-18 2018-06-01 南京杰迈视讯科技有限公司 一种输电线防外破的车辆识别与危险行为判别系统与方法
US20180160618A1 (en) * 2016-12-12 2018-06-14 Kubota Corporation Work Vehicle
CN108304807A (zh) * 2018-02-02 2018-07-20 北京华纵科技有限公司 一种基于fpga平台和深度学习的轨道异物检测方法及系统
CN108584832A (zh) * 2018-06-24 2018-09-28 衢州市江氏电子科技有限公司 一种特种车辆作业监控管理系统
CN108646731A (zh) * 2018-04-17 2018-10-12 上海创昂智能技术有限公司 无人驾驶车辆场端控制系统及其控制方法
CN109212520A (zh) * 2018-09-29 2019-01-15 河北德冠隆电子科技有限公司 全方位检测雷达的路况感知异常事件检测报警系统及方法
CN109240311A (zh) * 2018-11-19 2019-01-18 国网四川省电力公司电力科学研究院 基于智能机器人的室外电力场地施工作业监督方法
CN109409336A (zh) * 2018-11-30 2019-03-01 安徽继远软件有限公司 一种基于图像识别的大雾预警系统及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150294143A1 (en) * 2014-04-10 2015-10-15 GM Global Technology Operations LLC Vision based monitoring system for activity sequency validation
CN205158577U (zh) * 2015-10-28 2016-04-13 江苏省电力公司常州供电公司 一种高压输电线路防外破告警系统
US20180160618A1 (en) * 2016-12-12 2018-06-14 Kubota Corporation Work Vehicle
CN107031629A (zh) * 2017-03-10 2017-08-11 上海大学 一种3d机器视觉叉车行驶辅助安全系统及方法
CN108109385A (zh) * 2018-01-18 2018-06-01 南京杰迈视讯科技有限公司 一种输电线防外破的车辆识别与危险行为判别系统与方法
CN108304807A (zh) * 2018-02-02 2018-07-20 北京华纵科技有限公司 一种基于fpga平台和深度学习的轨道异物检测方法及系统
CN108646731A (zh) * 2018-04-17 2018-10-12 上海创昂智能技术有限公司 无人驾驶车辆场端控制系统及其控制方法
CN108584832A (zh) * 2018-06-24 2018-09-28 衢州市江氏电子科技有限公司 一种特种车辆作业监控管理系统
CN109212520A (zh) * 2018-09-29 2019-01-15 河北德冠隆电子科技有限公司 全方位检测雷达的路况感知异常事件检测报警系统及方法
CN109240311A (zh) * 2018-11-19 2019-01-18 国网四川省电力公司电力科学研究院 基于智能机器人的室外电力场地施工作业监督方法
CN109409336A (zh) * 2018-11-30 2019-03-01 安徽继远软件有限公司 一种基于图像识别的大雾预警系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
高海鹏: "叉车安全事故成因分析及预防措施", 《特种设备安全技术》 *
高海鹏: "叉车安全事故成因分析及预防措施", 《特种设备安全技术》, 15 August 2018 (2018-08-15) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064924A (zh) * 2019-11-26 2020-04-24 天津易华录信息技术有限公司 一种基于人工智能的视频监控方法及系统
CN111064924B (zh) * 2019-11-26 2021-05-28 天津易华录信息技术有限公司 一种基于人工智能的视频监控方法及系统
CN111161558A (zh) * 2019-12-16 2020-05-15 华东师范大学 一种基于深度学习的实时判断叉车行驶位置的方法
CN113365018A (zh) * 2020-03-06 2021-09-07 杭州海康威视数字技术股份有限公司 一种周期调整方法、装置及设备
CN113365018B (zh) * 2020-03-06 2022-07-01 杭州海康威视数字技术股份有限公司 一种周期调整方法、装置及设备
CN113393703A (zh) * 2020-03-11 2021-09-14 中国石油化工股份有限公司 叉车操作的风险预警方法及系统

Also Published As

Publication number Publication date
CN110428583B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN110428583A (zh) 一种基于嵌入式开发和深度学习的叉车实时监控预警系统及方法
CN109284739A (zh) 一种基于深度学习的输电线路防外力破坏预警方法及系统
CN108875561A (zh) 一种输电线路监控隐患预警图像的隐患重复判别方法
CN111488799B (zh) 一种基于图像识别的坠落物识别方法及系统
CN104737202A (zh) 火灾检测方法和装置
CN108596028A (zh) 一种基于视频录像中的异常行为检测算法
CN114842560B (zh) 基于计算机视觉的建筑工地人员危险行为识别方法
CN110992305A (zh) 基于深度学习和多目标跟踪技术的包裹计数方法及系统
CN207390860U (zh) 建筑塔吊智能辅助系统
CN108229524A (zh) 一种基于遥感图像的烟囱和冷凝塔检测方法
CN103096121A (zh) 一种摄像头移动检测方法及装置
CN106710137A (zh) 一种基于互联网的危险品运输实时检测预警处理系统
CN112685812A (zh) 一种动态监管方法、装置、设备及存储介质
CN113111771A (zh) 一种发电厂工作人员不安全行为的识别方法
CN108307158B (zh) 人防自动调控方法、装置及系统
CN108108651A (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN107491786A (zh) 一种烟草收购重复过磅行为自动视觉检测与识别方法
CN113869236A (zh) 一种移动式工地安全智慧分析系统和方法
CN106422210B (zh) 一种基于图像处理的人体运动状态检测方法及系统
CN114314347B (zh) 起重机械安全监控管理系统
CN107590936A (zh) 一种基于视频监控的仓库报警系统
CN205405176U (zh) 一种建筑工地管理系统
CN112053339B (zh) 一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备
CN205750887U (zh) 一种车位状态检测系统
CN112653870B (zh) 一种基于大数据的异常行为预警系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant