CN111427354A - 一种基于Kinect的安防巡检AGV小车 - Google Patents

一种基于Kinect的安防巡检AGV小车 Download PDF

Info

Publication number
CN111427354A
CN111427354A CN202010262448.6A CN202010262448A CN111427354A CN 111427354 A CN111427354 A CN 111427354A CN 202010262448 A CN202010262448 A CN 202010262448A CN 111427354 A CN111427354 A CN 111427354A
Authority
CN
China
Prior art keywords
kinect
agv
plc
module
car body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010262448.6A
Other languages
English (en)
Inventor
张良安
王祥
季冉鸣
唐锴
张成鑫
陈洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Technology AHUT
Original Assignee
Anhui University of Technology AHUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Technology AHUT filed Critical Anhui University of Technology AHUT
Priority to CN202010262448.6A priority Critical patent/CN111427354A/zh
Publication of CN111427354A publication Critical patent/CN111427354A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G05D1/0263—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means using magnetic strips
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Analytical Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开一种基于Kinect的安防巡检AGV小车，属于安防巡逻机器人领域。该机器人包括AGV小车本体、语音模块、无线通讯模块、烟雾传感器、控制面板、磁导传感器、超声波传感器、Kinect、三自由度云台、上位机及PLC；运动模块由AGV小车本体、磁导传感器及PLC组成；避障模块由超声波传感器和PLC组成；火警报警模块由烟雾传感器、无线通讯模块和语音模块组成；深度学习检测模块由Kinect、上位机、无线通讯模块和语音模块组成。本发明不仅可以实现正常的安防巡检及火警预警功能，还能通过检测人脸表情及人物手中的物品，对人物进行危险等级评估，能够预防因过激情绪及携带危险物品导致的人身伤害，提高环境的安全性。

Description

一种基于Kinect的安防巡检AGV小车
技术领域：
本发明属于安防巡逻机器人领域，特别涉及一种基于Kinect的安防巡检AGV小车。
背景技术：
随着生活的节奏加快，人们的生活压力变大，情绪也随之增大，经常会发生一些难以挽回的冲动，安防预警刻不容缓，在一些特殊场所及时准确的安防预警可以避免不可挽回的灾难。但现有的安防巡检小车还存在以下问题：功能比较单一，只能做一些实时的监控，与室内的摄像头相比不仅都需要安保人员实时监管，而且增加成本；遇到手持武器的歹徒，需要安保人员及时的从监控中发现，无法做到提前预警；无法自主做到对人员的安全划分等级；在灾后经常会有监控丢失现象，无法获得犯罪人员的相关照片信息；在检测时会因为背景的原因导致拍摄不清晰，在人员无意识被检测时无法定位人员进行检测。
发明内容：
本发明针对现有安防巡检机器人存在的技术问题，提供一种基于Kinect的安防巡检AGV小车。本发明能够提升安防巡检的工作效率，及时准确预判他人是否会带来危险，对一些突发火灾进行快速定位及实时画面传输。能够节省人力资源，并且能够防止不法人员对巡逻人员的人身安全造成威胁，创造更加安全的生活环境。
本发明提供的一种基于Kinect的安防巡检AGV小车包括AGV小车本体1、两个相同的语音模块2、无线通讯模块3、烟雾传感器4、控制面板5、磁导传感器6、超声波传感器7、Kinect8、三自由度云台9、上位机、PLC。
所述两个相同的语音模块2分别安装在所述AGV小车本体1的左右两侧，所述无线通讯模块3安装在所述AGV小车本体1顶部，所述烟雾传感器4安装在所述AGV小车本体1顶部，所述控制面板5通过镶嵌方式安装在所述AGV小车本体1顶部，所述磁导传感器6安装在所述AGV小车本体1前侧底部，所述超声波传感器7安装在所述AGV小车本体1前侧，所述三自由度云台9安装在所述AGV小车本体1顶部，所述Kinect8安装在所述三自由度云台9上，所述上位机安装在所述AGV小车本体1内部，所述PLC安装在所述AGV小车本体1内部。
所述AGV小车本体1、所述磁导传感器6、所述PLC组成所述运动模块，能够控制所述AGV小车本体的运动路线。所述磁导传感器6通过发射信号检测铺设在地面的磁导线，并得到磁导线的反射信号，所述磁导传感器6将信号传递给所述PLC来控制所述AGV小车本体1按照规定的路线运动进行安防巡检。所述AGV小车本体1、所述语音模块2、所述超声波传感器7组成所述避障模块；用于避免所述AGV小车本体1撞上障碍物或行人，并提醒行人及时避让。
所述超声波传感器7在AGV小车巡逻路线上检测到前方有障碍物或行人时，将信号传递给所述PLC，控制所述AGV小车本体1紧急制动避免撞上障碍物，所述PLC开始计时，在1分钟内所述超声波传感器7检测障碍物或行人离开，将信号传递给所述PLC，所述PLC停止计时，并控制所述plc来控制所述AGV小车本体1再次运动；所述PLC计时超过1分钟，所述语音模块2开始工作，提醒行人及时离开或周围人清除障碍物。
所述语音模块2、无线通讯模块3、所述烟雾传感器4、Kinect8、所述PLC组成所述火警报警模块，用于检测火灾的发生，并能实时传输火灾现场图片。
所述烟雾传感器4检测到烟雾时，将信号传递给所述上位机和所述PLC，所述PLC控制所述AGV小车本体紧急制动，所述语音模块2开始工作，提醒周围人员紧急撤离，所述上位机控制所述三自由度云台9按照一定规律调整所述Kinect角度对周围进行全方位拍摄，所述无线通讯模块3将所述Kinect拍摄的现场画面传输给消防人人员，方便消防人员进行出警人员和装备的安排。
所述语音模块2、所述无线通讯模块3、所述Kinect8、所述上位机组成深度学习检测模块，用于人员无意识被检测时达到精确定位人脸和人员双手，实时检测人脸表情和双手所持物品，判断人员是否存在危险。
所述Kinect8采用分割策略高效地将人体从复杂的背景中区分出来，获得深度图像和RGB图像，所述Kinect8采用主动红外技术获取人体骨骼数据序列，并提取头部的和双手骨骼点在Kinect坐标系中的坐标，提取方法为直接提取，利用Kinect SDK提供的API将所获得的头部和双手的坐标其转换到RGB图像中，人脸在头部节点的一定范围内，双手也在双手节点的一定范围内，利用Kinect SDK人脸及双手进行一定范围的扣取，所述上位机对抠取的图片进行数据处理来增加图片的数量，所述上位机保存数据处理后的图片；经过数据处理后的图片不仅能够准确快速的定位需要的需要检测位置还可以提高检测的精度，该方法可以减少图片占用的空间。
所述上位机利用one-stage检测算法中的SSD算法可以实时快速检测，检测精度较高；所述SSD算法需要训练过程，采集大于5000张生气、愤怒等人脸表情图片定义为危险表情及手持管制刀具等危险物品图片输入SSD神经网络模型进行训练；进行数据扩增提升SSD的性能；完成SSD神经网络模型的训练；将所述上位机保存的人脸表情和手持物品图片输入SSD神经网络模型进行检测，所述SSD神经网络检测模型检测危险表情的置信度设置为大于70％，有利于减少对正常严肃表情人员的检测及报警，不经可以减少工作人员的工作量，而且有利于提高检测结果的准确性。
所述SSD神经网络检测模型检测结果分为四种等级，当人脸表情为生气、愤怒等危险表情以及该人员手中持有管制刀具等危险物品时，所述检测结果为最高危险等级，所述上位机发送信号给所述PLC，所述PLC控制所述AGV小车本体1紧急制动，所述语音模块2开始工作，所述无线通讯模块3实时传输所述Kinect8拍摄的最高危险等级人物图片并发送危险警报给安防工作人员；当人脸表情未检测为危险表情但检测到该人员手中持有危险物品时，所述检测结果为高危险等级，所述上位机发送信号给所述PLC，所述PLC控制所述AGV小车本体1紧急制动，所述语音模块2开始工作，所述无线通讯模块3实时传输所述Kinect8拍摄的高危险等级人物图片并发送危险警报给安防工作人员；当人脸表情为危险表情但未检测到该人员手中持有危险物品时，所述检测结果为低危险等级，所述AGV小车本体1继续运动，所述无线通讯模块3实时传输所述Kinect8拍摄的低危险等级人物图片并发送危险警报给安防工作人员，提醒工作人员通过监控设备持续观察低危险等级人物的活动范围；当人脸表情未检测为危险表情同时未检测到该人员手中持有危险物品时，所述检测结果为无危险等级，继续正常巡检工作。
本发明提供的安防巡检AGV小车，不仅能够防止不法人员对巡逻人员的人身安全造成威胁，并且可以将行人进行危险等级划分，提前预防因为一些过激情绪带来的人身伤害的行为。并且通过无线通讯设备可以保存犯罪人员作案前的证据照片不被丢失。避免了室内安装摄像头需要大量人员进行实时监控，无法高效地发现危险人员的存在，并且还存在监控死角的问题。
附图说明：
图1为本发明基于Kinect的安防巡检AGV小车的结构示意图；
图2为本发明中运动模块原理框图；
图3为本发明中紧急制动模块原理框图；
图4为本发明中火警报警模块原理框图；
图5为本发明中深度学习检测模块原理框图。
图中：1：AGV小车本体；2：语音模块；3：无线通讯模块；4：烟雾传感；5：控制面板；6：磁导传感器；7：超声波传感；8：Kinect；9：三自由度云台。
具体实施方式：
下面将结合附图，对本发明进一步清楚完整地描述。
本发明提供的一种基于Kinect的安防巡检AGV小车，如图1所示，包括AGV小车本体1、语音模块2、无线通讯模块3、烟雾传感器4、控制面板5、磁导传感器6、超声波传感器7、Kinect8、三自由度云台9、上位机、PLC。
所述AGV小车本体1、所述磁导传感器6、所述PLC组成所述运动模块，能够控制所述AGV小车本体的运动路线；所述磁导传感器6安装在所述AGV小车本体1前侧底部，所述PLC安装在所述AGV小车本体1内部。
如图2所示，所述磁导传感器6通过发射信号检测铺设在地面的磁导线，并得到磁导线的反射信号，所述磁导传感器6将接收到的信号传递给所述PLC，所述PLC控制所述AGV小车本体1按照规定的路线运动进行安防巡检。
所述AGV小车本体1、所述语音模块2、所述超声波传感器7组成所述避障模块；用于避免所述AGV小车本体1撞上障碍物或行人，并提醒行人及时避让；所述语音模块2安装在所述AGV小车本体1左右两侧，所述超声波传感器7安装在所述AGV小车本体1前侧。
如图3所示，所述超声波传感器7在AGV小车巡逻路线上发射超声波，当前方有障碍物或行人时所述超声波传感器7将接收的信号传递给所述PLC，所述PLC控制所述AGV小车本体1紧急制动避免撞上障碍物，并且所述PLC开始计时，在1分钟内所述超声波传感器7检测障碍物或行人离开，所述超声波传感器7将信号传递给所述PLC，所述PLC停止计时并控制所述AGV小车本体1再次运动；所述PLC计时超过1分钟，所述语音模块2开始工作，提醒行人及时离开或周围人清除障碍物。
所述语音模块2、无线通讯模块3、所述烟雾传感器4、Kinect8、所述PLC组成所述火警报警模块，用于检测火灾的发生，并能实时传输火灾现场画面；所述无线通讯模块3安装在所述AGV小车本体1顶部，所述烟雾传感器4安装在所述AGV小车本体1顶部，所述三自由度云台9安装在所述AGV小车本体1顶部，所述Kinect8安装在所述三自由度云台9上。
如图4所示，所述烟雾传感器4检测到烟雾时，将信号传递给所述上位机和所述PLC，所述PLC控制所述AGV小车本体紧急制动，所述语音模块2开始工作，提醒周围人员紧急撤离，所述上位机控制所述三自由度云台9按照一定规律调整所述Kinect角度对周围进行全方位拍摄，所述无线通讯模块3将所述Kinect拍摄的现场画面传输给消防人员，方便消防人员对火警真实性做出判断并进行出警人员和装备的安排。
所述语音模块2、所述无线通讯模块3、所述Kinect8、所述上位机组成深度学习检测模块，用于人员无意识被检测时达到精确定位人脸和人员双手，实时检测人脸表情和双手所持物品，判断人员是否存在危险；所述上位机安装在所述AGV小车本体1内部。
如图5所示，所述Kinect8采用分割策略高效地将人体从复杂的背景中区分出来，获得深度图像和RGB图像，所述Kinect8采用主动红外技术获取人体骨骼数据序列，并提取头部的和双手骨骼点在Kinect坐标系中的坐标，提取方法为直接提取，利用Kinect SDK提供的API将所获得的头部和双手的坐标其转换到RGB图像中，人脸在头部节点的一定范围内，双手也在双手节点的一定范围内，利用Kinect SDK人脸及双手进行一定范围的扣取，所述上位机对抠取的图片进行数据处理来增加图片的数量，所述上位机保存数据处理后的图片；经过数据处理后的图片不仅能够准确快速的定位需要的需要检测位置还可以提高检测的精度，该方法可以减少图片占用的空间。
如图5所示，所述上位机利用one-stage检测算法中的SSD算法不仅可以实时快速地对所述上位机保存的人员表情和手中物品进行检测，并且检测精度较高；所述SSD算法需要训练过程，采集大于5000张生气、愤怒等人脸表情图片定义为危险表情及手持管制刀具等危险物品图片输入SSD神经网络模型进行训练；添加损失函数；对所述样本图片进行旋转、镜像、高斯模糊等数据处理提升SSD的性能；完成SSD神经网络模型的训练，将所述上位机保存的人脸表情和手持物品图片输入SSD神经网络模型进行检测，所述SSD神经网络检测模型检测危险表情的置信度设置为大于70％，有利于减少对正常严肃表情人员的检测及报警，不经可以减少工作人员的工作量，而且有利于提高检测结果的准确性。
如图5所示，所述SSD神经网络检测模型检测结果分为四种等级，当人脸表情为生气、愤怒等危险表情以及该人员手中持有管制刀具等危险物品时，所述检测结果为最高危险等级，所述上位机发送信号给所述PLC，所述PLC控制所述AGV小车本体1紧急制动，所述语音模块2开始工作，所述无线通讯模块3实时传输所述Kinect8拍摄的最高危险等级人物图片并发送危险警报给安防工作人员；当人脸表情未检测为危险表情但检测到该人员手中持有危险物品时，所述检测结果为高危险等级，所述上位机发送信号给所述PLC，所述PLC控制所述AGV小车本体1紧急制动，所述语音模块2开始工作，所述无线通讯模块3实时传输所述Kinect8拍摄的高危险等级人物图片并发送危险警报给安防工作人员；当人脸表情为危险表情但未检测到该人员手中持有危险物品时，所述检测结果为低危险等级，所述AGV小车本体1继续运动，所述无线通讯模块3实时传输所述Kinect8拍摄的低危险等级人物图片并发送危险警报给安防工作人员，提醒工作人员通过监控设备持续观察低危险等级人物的活动范围；当人脸表情未检测为危险表情同时未检测到该人员手中持有危险物品时，所述检测结果为无危险等级，继续正常巡检工作。

Claims (1)

1.一种基于Kinect的安防巡检AGV小车，其特征在于该安防巡检AGV小车包括AGV小车本体(1)、两个相同的语音模块(2)、无线通讯模块(3)、烟雾传感器(4)、控制面板(5)、磁导传感器(6)、超声波传感器(7)、Kinect(8)、三自由度云台(9)、上位机及PLC；所述两个相同的语音模块(2)分别安装在所述AGV小车本体(1)的左右两侧，所述无线通讯模块(3)安装在所述AGV小车本体(1)顶部，所述烟雾传感器(4)安装在所述AGV小车本体(1)顶部，所述控制面板(5)通过镶嵌方式安装在所述AGV小车本体(1)顶部，所述磁导传感器(6)安装在所述AGV小车本体(1)前侧底部，所述超声波传感器(7)安装在所述AGV小车本体(1)前侧，所述三自由度云台(9)安装在所述AGV小车本体(1)顶部，所述Kinect(8)安装在所述三自由度云台(9)上，所述上位机安装在所述AGV小车本体(1)内部，所述PLC安装在所述AGV小车本体(1)内部；所述AGV小车本体(1)、所述磁导传感器(6)及所述PLC组成运动模块，能够控制所述AGV小车本体的运动路线；所述磁导传感器(6)通过发射信号检测铺设在地面的磁导线，并得到磁导线的反射信号，所述磁导传感器(6)将信号传递给所述PLC来控制所述AGV小车本体(1)按照规定的路线运动进行安防巡检；所述AGV小车本体(1)、所述语音模块(2)、所述超声波传感器(7)组成避障模块，用于避免所述AGV小车本体(1)撞上障碍物或行人，并提醒行人及时避让；所述超声波传感器(7)在AGV小车巡逻路线上检测到前方有障碍物或行人时，将信号传递给所述PLC，控制所述AGV小车本体(1)紧急制动避免撞上障碍物，所述PLC开始计时，在1分钟内所述超声波传感器(7)检测障碍物或行人离开，将信号传递给所述PLC，所述PLC停止计时，并控制所述PLC来控制所述AGV小车本体(1)再次运动；所述PLC计时超过1分钟，所述语音模块(2)开始工作，提醒行人及时离开或周围人清除障碍物；所述语音模块(2)、无线通讯模块(3)、所述烟雾传感器(4)、Kinect(8)及所述PLC组成火警报警模块，用于检测火灾的发生，并能实时传输火灾现场图片；所述烟雾传感器(4)检测到烟雾时，将信号传递给所述上位机和所述PLC，所述PLC控制所述AGV小车本体紧急制动，所述语音模块(2)开始工作，提醒周围人员紧急撤离，所述上位机控制所述三自由度云台(9)按照一定规律调整所述Kinect(8)的角度对周围进行全方位拍摄，所述无线通讯模块(3)将所述Kinect(8)拍摄的现场画面传输给消防人员，方便消防人员进行出警安排；所述语音模块(2)、所述无线通讯模块(3)、所述Kinect(8)、所述上位机组成深度学习检测模块，用于人员无意识被检测时达到精确定位人脸和人员双手，实时检测人脸表情和双手所持物品，判断人员是否存在危险；所述Kinect(8)采用分割策略高效地将人体从复杂的背景中区分出来，并获得深度图像和RGB图像，所述Kinect(8)采用主动红外技术获取人体骨骼数据序列，提取头部的和双手骨骼点在Kinect坐标系中的坐标，提取方法为直接提取，利用KinectSDK提供的API将所获得的头部和双手的坐标其转换到RGB图像中，人脸在头部节点的一定范围内，双手也在双手节点的一定范围内，利用Kinect SDK对人脸及双手进行一定范围的扣取，所述上位机对扣取的图片进行数据处理来增加图片的数量，所述上位机保存数据处理后的图片；所述上位机利用one-stage检测算法中的SSD算法可以实时快速检测，检测精度较高，所述SSD算法需要训练过程，采集大于5000张训练人脸表情图片及手持危险物品图片输入SSD神经网络模型进行训练；进行数据扩增提升SSD的性能；完成SSD神经网络模型的训练；将所述上位机保存的人脸表情和手中物品图片输入SSD神经网络模型进行检测，所述SSD神经网络检测模型检测危险表情的置信度设置为大于70％；所述SSD神经网络检测模型检测结果分为四种等级，当人脸表情为危险表情以及该人员手中持有危险物品时，所述检测结果为最高危险等级，所述上位机发送信号给所述PLC，所述PLC控制所述AGV小车本体(1)紧急制动，所述语音模块(2)开始工作，所述无线通讯模块(3)实时传输所述Kinect(8)拍摄的最高危险等级人物图片并发送危险警报给安防工作人员；当人脸表情未检测为危险表情但检测到该人员手中持有危险物品时，所述检测结果为高危险等级，所述上位机发送信号给所述PLC，所述PLC控制所述AGV小车本体(1)紧急制动，所述语音模块(2)开始工作，所述无线通讯模块(3)实时传输所述Kinect(8)拍摄的高危险等级人物图片并发送危险警报给安防工作人员；当人脸表情为危险表情但未检测到该人员手中持有危险物品时，所述检测结果为低危险等级，所述AGV小车本体(1)继续运动，所述无线通讯模块(3)实时传输所述Kinect(8)拍摄的低危险等级人物图片并发送危险警报给安防工作人员，提醒工作人员通过监控设备持续观察低危险等级人物的活动范围；当人脸表情未检测为危险表情同时未检测到该人员手中持有危险物品时，所述检测结果为无危险等级，继续正常巡检工作。
CN202010262448.6A 2020-04-07 2020-04-07 一种基于Kinect的安防巡检AGV小车 Pending CN111427354A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010262448.6A CN111427354A (zh) 2020-04-07 2020-04-07 一种基于Kinect的安防巡检AGV小车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010262448.6A CN111427354A (zh) 2020-04-07 2020-04-07 一种基于Kinect的安防巡检AGV小车

Publications (1)

Publication Number Publication Date
CN111427354A true CN111427354A (zh) 2020-07-17

Family

ID=71557489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010262448.6A Pending CN111427354A (zh) 2020-04-07 2020-04-07 一种基于Kinect的安防巡检AGV小车

Country Status (1)

Country Link
CN (1) CN111427354A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203048A (zh) * 2020-09-30 2021-01-08 重庆天智慧启科技有限公司 一种智能安防监控系统
CN113573020A (zh) * 2021-07-22 2021-10-29 中数通信息有限公司 一种墓园火情巡查监测系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441798A (zh) * 2008-03-05 2009-05-27 中科院嘉兴中心微系统所分中心 基于无线传感器网络的安全监控与应急指控系统
CN102092354A (zh) * 2009-12-15 2011-06-15 上海工程技术大学 一种基于超声波的小车测距控制系统及其控制方法
CN102541064A (zh) * 2012-03-27 2012-07-04 沈阳中兴电力通信有限公司 磁导航巡检机器人
CN104299351A (zh) * 2014-10-22 2015-01-21 常州大学 智能预警灭火机器人
CN105354956A (zh) * 2015-11-10 2016-02-24 成都智慧数联信息技术有限公司 基于数据挖掘和大数据分析的云计算平台及方法
CN105904468A (zh) * 2016-06-13 2016-08-31 北京科技大学 一种具有自主地图构建和无线充电的多功能巡逻机器人
CN108297058A (zh) * 2017-11-24 2018-07-20 浙江国自机器人技术有限公司 智能安防机器人及其自动巡检方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441798A (zh) * 2008-03-05 2009-05-27 中科院嘉兴中心微系统所分中心 基于无线传感器网络的安全监控与应急指控系统
CN102092354A (zh) * 2009-12-15 2011-06-15 上海工程技术大学 一种基于超声波的小车测距控制系统及其控制方法
CN102541064A (zh) * 2012-03-27 2012-07-04 沈阳中兴电力通信有限公司 磁导航巡检机器人
CN104299351A (zh) * 2014-10-22 2015-01-21 常州大学 智能预警灭火机器人
CN105354956A (zh) * 2015-11-10 2016-02-24 成都智慧数联信息技术有限公司 基于数据挖掘和大数据分析的云计算平台及方法
CN105904468A (zh) * 2016-06-13 2016-08-31 北京科技大学 一种具有自主地图构建和无线充电的多功能巡逻机器人
CN108297058A (zh) * 2017-11-24 2018-07-20 浙江国自机器人技术有限公司 智能安防机器人及其自动巡检方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李淑红，等: "kinect摄像头在快速上肢评估中的应用", 《机械制造》 *
陈庆峰，等: "一种基于多特征多分类器融合的人体行为识别方法", 《河南科技大学学报（自然科学版）》 *
马银忠: "微表情识别在商务谈判中的应用", 《价值工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203048A (zh) * 2020-09-30 2021-01-08 重庆天智慧启科技有限公司 一种智能安防监控系统
CN113573020A (zh) * 2021-07-22 2021-10-29 中数通信息有限公司 一种墓园火情巡查监测系统

Similar Documents

Publication Publication Date Title
CN108227606B (zh) 一种基于多源感知的船舶安防智能管理系统
CN108297058A (zh) 智能安防机器人及其自动巡检方法
CN108297059A (zh) 新型智能安防机器人及其自动巡检方法
CN108335458A (zh) 一种看家看人的家用智能看管系统及其看管方法
JP2021500668A (ja) 監視装置、産業用設備、監視方法及びコンピュータプログラム
CN106341661B (zh) 巡逻机器人
CN108284427A (zh) 安防机器人及其自动巡检方法
TWI694382B (zh) 具深度視覺之煙霧偵測方法
CN112165600B (zh) 一种溺水的识别方法、装置、摄像头及计算机系统
CN109571468A (zh) 安防巡检机器人及安防巡检方法
CN111360818A (zh) 一种通过视觉定位的机械臂控制系统
CN111427354A (zh) 一种基于Kinect的安防巡检AGV小车
CN108259827B (zh) 一种实现安防的方法、装置、ar设备及系统
JP6172958B2 (ja) 撮影システム
Nar et al. Abnormal activity detection for bank ATM surveillance
JP2014146288A (ja) 監視システム
CN115246121A (zh) 巡逻机器人及巡逻机器人系统
CN112286190A (zh) 安防巡视预警方法与系统
JP6195447B2 (ja) 撮影システム
CN114155492A (zh) 高空作业安全带挂绳高挂低用识别方法、装置和电子设备
JPH05261692A (ja) ロボットの作業環境監視装置
CN107351094A (zh) 一种机器人陪伴的方法及装置
CN110075461A (zh) 一种基于无人机和监测机器人的灭火救援方法和装置
CN208256047U (zh) 一种基于探测传感器网络的停车场远程安防监控系统
KR20230080522A (ko) 인공 지능을 이용한 화재 감시 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200717