CN116682162A - 一种基于实时视频流的机器人人员检测算法 - Google Patents

一种基于实时视频流的机器人人员检测算法 Download PDF

Info

Publication number
CN116682162A
CN116682162A CN202310710540.8A CN202310710540A CN116682162A CN 116682162 A CN116682162 A CN 116682162A CN 202310710540 A CN202310710540 A CN 202310710540A CN 116682162 A CN116682162 A CN 116682162A
Authority
CN
China
Prior art keywords
area
target
pixels
real
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310710540.8A
Other languages
English (en)
Inventor
李刚
郭建飞
张连冰
李士坤
李岭昌
谢碧辉
舒阳
杨哲
何磊
曹丰智
冯诗婕
杨时雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway Construction Dawan District Construction Co ltd
Original Assignee
China Railway Construction Dawan District Construction Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway Construction Dawan District Construction Co ltd filed Critical China Railway Construction Dawan District Construction Co ltd
Priority to CN202310710540.8A priority Critical patent/CN116682162A/zh
Publication of CN116682162A publication Critical patent/CN116682162A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于实时视频流的机器人人员检测算法，从采集到的实时拍摄画面中提取人物预测区域后，一方面对人物预测区域进行人脸识别，避免未注册的施工人员进入工地现场；另一方面，通过目标区域与人脸区域的关系，判断人物是否佩戴安全帽或穿戴安全服。本申请具有高效性和实时性的优势，有助于提升工作场所的安全性，并及时采取各种报警措施来保护人员的安全，提高人员在危险情况下的察觉能力。

Description

一种基于实时视频流的机器人人员检测算法
技术领域
本申请涉及机器人技术领域，特别涉及一种基于实时视频流的机器人人员检测算法。
背景技术
在工业和安全领域，人员的安全和准确检测是至关重要的。传统的人员检测方法往往依赖于人工巡视，存在效率低、易疲劳、主观性高等问题。为了解决这些问题，使用计算机视觉和机器学习技术进行安全检测变得越来越普遍。
然而，传统方案是对录制好的现场视频进行安全判断识别，存在一些局限性。例如，无法实时管控现场工作人员，无法实时判断人物是否处于危险状态，无法在判断人物处于危险状态时及时采取报警操作。
发明内容
本申请的目的在于提供一种基于实时视频流的机器人人员检测算法，其能够改善上述问题。
本申请的实施例是这样实现的：
第一方面，本申请提供一种基于实时视频流的机器人人员检测算法，其包括：
S1：获取摄像头采集的实时拍摄画面，通过YOLO模型获取所述实时拍摄画面中的人物预测区域；
S2：提取所述人物预测区域内的人脸区域进行人脸识别；
S3：提取所述人物预测区域中目标颜色像素的聚集区域作为目标区域；
S4：根据所述目标区域与所述人脸区域的关系，判断所述人物预测区域内的人物是否处于危险状态；
S5：在人脸识别失败或判断所述人物预测区域内的人物处于危险状态的情况下执行报警操作。
其中,S1、S2等仅为步骤标识，方法的执行顺序并不一定按照数字由小到大的顺序进行，比如可以是先执行步骤S2再执行步骤S1，本申请不做限制。
可以理解，本申请公开了一种基于实时视频流的机器人人员检测算法，从采集到的实时拍摄画面中提取人物预测区域后，一方面对人物预测区域进行人脸识别，避免未注册的施工人员进入工地现场；另一方面，通过目标区域与人脸区域的关系，判断人物是否佩戴安全帽或穿戴安全服。本申请具有高效性和实时性的优势，有助于提升工作场所的安全性，并及时采取各种报警措施来保护人员的安全，提高人员在危险情况下的察觉能力。
在本申请可选的实施例中，所述报警操作包括以下至少一项：向扬声器发出报警信号，驱动所述扬声器发出报警音频；向显示器发出报警信号，驱动所述显示器显示报警信息；向指示灯发出报警信号，驱动所述指示灯点亮报警信号；通过通信设备向监控终端发出报警信息。
可以理解，本申请的报警操作分为两类，一类是通过现有的报警设备进行报警，比如扬声器、显示器、指示灯等；另一类是通过通信设备向监控终端发出报警信息，即监控人员可以从监控终端上查看实时拍摄画面和报警信息，监控人员可以再通过该通信设备进行机器人的控制，以采取对应的安全措施。
在本申请可选的实施例中，所述步骤S3包括：
S31：去除所述人物预测区域中已知的目标区域，得到待处理区域；
S32：随机选择所述待处理区域中属于所述目标颜色的像素作为目标像素，将所述目标像素划归进新建聚类区域；
S33：将与所述目标像素相邻的像素中属于所述目标颜色的像素也划归进所述新建聚类区域；
S34：继续分析与所述新建聚类区域中各个像素相邻的相邻像素，将所述相邻像素中属于所述目标颜色的像素继续划归进所述新建聚类区域，直到所述新建聚类区域内的像素不再增加为止；
S35：将所述新建聚类区域作为目标区域。
其中，所述目标颜色的数量包括至少一种。
可以理解，获取目标颜色像素的聚集区域的目的是为了识别出人物预测区域中的安全帽区域和安全服元素区域，因此，目标颜色即为安全帽和安全服所使用的的颜色，一般为黄色。本方法统计目标颜色像素的聚集区域，即初步判断出安全帽区域和安全服元素区域的备选区域，进一步的确认，需要根据目标颜色像素的聚集区域与所述人脸区域的位置关系和比例关系来确定。
在本申请可选的实施例中，所述步骤S4包括以下至少一项：
S41：在所述目标区域与所述人脸区域的位置关系和比例关系满足第一预设条件下，判断所述人物预测区域内的人物佩戴有安全帽；
S42：在所述目标区域与所述人脸区域的位置关系和比例关系第二预设条件下，判断所述人物预测区域内的人物穿有安全服；
S43：在判断出所述人物预测区域内的人物未佩戴安全帽或未穿有安全服的情况下，判断所述人物是否处于危险状态。
可以理解，本申请未采用传统思路上的图像识别模型进行安全帽和安全服的识别，而是通过对目标颜色像素聚集区域的统计以及这些聚集区域与人脸区域的位置关系和比例关系，确定人物预测区域中安全帽和安全服元素区域，这大大地减小了计算量和模型训练量，提升了识别效率。
在本申请可选的实施例中，所述第一预设条件包括：所述目标区域内的像素总数与所述人脸区域内的像素总数的比例处于第一比例范围，以及，所述目标区域内存在与所述人脸区域内的像素相邻的N个临近像素，N大于第一阈值。
在本申请可选的实施例中，所述第二预设条件包括：所述目标区域内的像素总数与所述人脸区域内的像素总数的比例处于第二比例范围，以及，所述目标区域与所述人脸区域中心点的最小距离小于第二阈值。
在本申请可选的实施例中，上述基于实时视频流的机器人人员检测算法还包括：
S6：在人脸识别通过的情况下，对所述实时拍摄画面进行手势识别；
S7：在识别到目标手势的情况下，点亮照明设备。
可以理解，在机器人通过人脸识别出目标人物为注册的工地施工人员之后，可以通过施工人员的手势为其开启照明设备，给其夜晚作业提供支持。
第二方面，本申请提供了一种检测机器人，包括机器人底盘、驱动电源、传感器、通信设备、报警设备、照明设备、工控主机，
所述工控主机包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面任一项所述的方法。
其中，工控主机的处理器可以是Intel i7处理器，工控主机使用主流的Linux操作系统进行机器人的控制和数据交互。
所述机器人底盘包括履带式差速线控底盘，具有极强的地形适应能力，能够适应工程建设场景各个建设时期的不同地形，具有优越的攀爬能力，胜任各种复杂环境。
所述通信设备用于与监控终端通信，检测机器人配备有支持弱网聚合的多网网卡，以支持在弱信号区域的稳定通讯。监控人员通过监控终端打开客户端程序直接查看监控界面以及进行机器人的控制。
所述传感器包括摄像头和避障激光雷达，其中，摄像头是检测机器人主要感知设备，此外，检测机器人还可以设置侧向视野的补盲摄像头，以及设置避障能力的单线激光雷达，可以给监控人员的远程遥控提供更加安全保障。
所述报警设备包括扬声器、显示器、指示灯中的至少一种。
所述驱动电源用于为所述传感器、所述通信设备、所述报警设备、所述照明设备和所述处理器供电。驱动电源可以使用大容量的铅酸电池给主控、传感器、以及通讯设备提供能量来源，可以支持5-6小时的连续工作，应对绝大部分巡检需求。
第三方面，本申请提供了一种计算机可读存储介质，该计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第一方面任一项所述的方法。
有益效果：
本申请公开了一种基于实时视频流的机器人人员检测算法，从采集到的实时拍摄画面中提取人物预测区域后，一方面对人物预测区域进行人脸识别，避免未注册的施工人员进入工地现场；另一方面，通过目标区域与人脸区域的关系，判断人物是否佩戴安全帽或穿戴安全服。本申请具有高效性和实时性的优势，有助于提升工作场所的安全性，并及时采取各种报警措施来保护人员的安全，提高人员在危险情况下的察觉能力。
本申请未采用传统思路上的图像识别模型进行安全帽和安全服的识别，而是通过对目标颜色像素聚集区域的统计以及这些聚集区域与人脸区域的位置关系和比例关系，确定人物预测区域中安全帽和安全服元素区域，这大大地减小了计算量和模型训练量，提升了识别效率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举可选实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请提供一种基于实时视频流的机器人人员检测算法的流程示意图；
图2是本申请提供的通过YOLO模型获取实时拍摄画面中的人物预测区域的示意图；
图3是本申请提供的人物预测区域中的人脸区域和各个目标区域的示意图；
图4是本申请提供的目标区域的确认算法的原理示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
第一方面，如图1所示，本申请提供一种基于实时视频流的机器人人员检测算法，其包括：
S1：获取摄像头采集的实时拍摄画面，通过YOLO模型获取实时拍摄画面中的人物预测区域。
YOLO(You Only Look Once)是一种用于目标检测的深度学习模型，它能够快速而准确地在图像中识别和定位多个物体。相比传统的目标检测方法，YOLO具有更高的实时性能，因为它将目标检测任务转化为一个单一的神经网络预测问题。
YOLO模型可以包括输入层、复合隐藏层、预测层和输出层。输入层获取输入图片后，复合隐藏层的多个卷积-池化模块反复对输入图片进行卷积和池化操作，以提取输入图片的特征图像；预测层中的两个全连接层根据特征图像预测输入图片中各个元素的预测框位置信息、预测框可信度得分和类别概率表。经输出层根据预测框位置信息、预测框可信度得分和类别概率表输出预测结果。如图2所示的实时拍摄画面100，经过YOLO模型可以识别出人物预测区域10。
S2：提取人物预测区域内的人脸区域进行人脸识别。
人脸识别模型是一种基于人脸图像的生物特征进行身份识别的技术。其原理是将人脸图像提取出关键特征点，通过对这些特征点的分析和比对，来识别不同人脸之间的差异。人脸识别模型主要分为两个阶段：特征提取和特征匹配。在特征提取阶段，模型会通过算法将人脸图像中的特征点提取出来，并将其转化为数字向量。在特征匹配阶段，模型会将数字向量与存储在数据库中的已知人脸图像的数字向量进行比对，从而识别出人脸的身份。同时，人脸识别模型还可以通过不断学习优化自身的识别能力，提高识别的准确率和速度。
如图3所示，通过人脸识别模型可以从人物预测区域10内提取出人脸区域11。
在本申请时实例中，所有注册的施工人员的人脸图像信息已存入数据库，人脸识别模型根据数据库中的注册人脸图像对人脸区域中的人脸进行验证，如果验证不通过，则说明该人员非注册的施工人员，非法进入工地。
S3：提取人物预测区域中目标颜色像素的聚集区域作为目标区域。
其中，目标颜色的数量包括至少一种。可以理解，获取目标颜色像素的聚集区域的目的是为了识别出人物预测区域中的安全帽区域和安全服元素区域，因此，目标颜色即为安全帽和安全服所使用的的颜色，一般为深黄色、浅黄色等。本方法统计目标颜色像素的聚集区域，即初步判断出安全帽区域和安全服元素区域的备选区域，进一步的确认，需要根据目标颜色像素的聚集区域与人脸区域的位置关系和比例关系来确定。
如图3所示，人物预测区域10中除了包括人脸区域11之外，还可以根据颜色像素判断出第一目标区域12和第二目标区域13，其中第一目标区域12为安全帽像素的聚集区域，第二目标区域13为安全服像素的聚集区域。
S4：根据目标区域与人脸区域的关系，判断人物预测区域内的人物是否处于危险状态。
在本申请可选的实施例中，步骤S4包括以下至少一项：
S41：在目标区域与人脸区域的位置关系和比例关系满足第一预设条件下，判断人物预测区域内的人物佩戴有安全帽。
在本申请可选的实施例中，第一预设条件包括：目标区域内的像素总数与人脸区域内的像素总数的比例处于第一比例范围，以及，目标区域内存在与人脸区域内的像素相邻的N个临近像素，N大于第一阈值。
S42：在目标区域与人脸区域的位置关系和比例关系第二预设条件下，判断人物预测区域内的人物穿有安全服。
在本申请可选的实施例中，第二预设条件包括：目标区域内的像素总数与人脸区域内的像素总数的比例处于第二比例范围，以及，目标区域与人脸区域中心点的最小距离小于第二阈值。
S43：在判断出人物预测区域内的人物未佩戴安全帽或未穿有安全服的情况下，判断人物是否处于危险状态。
可以理解，本申请未采用传统思路上的图像识别模型进行安全帽和安全服的识别，而是通过对目标颜色像素聚集区域的统计以及这些聚集区域与人脸区域的位置关系和比例关系，确定人物预测区域中安全帽和安全服元素区域，这大大地减小了计算量和模型训练量，提升了识别效率。
S5：在人脸识别失败或判断人物预测区域内的人物处于危险状态的情况下执行报警操作。
其中,S1、S2等仅为步骤标识，方法的执行顺序并不一定按照数字由小到大的顺序进行，比如可以是先执行步骤S2再执行步骤S1，本申请不做限制。
可以理解，本申请公开了一种基于实时视频流的机器人人员检测算法，从采集到的实时拍摄画面中提取人物预测区域后，一方面对人物预测区域进行人脸识别，避免未注册的施工人员进入工地现场；另一方面，通过目标区域与人脸区域的关系，判断人物是否佩戴安全帽或穿戴安全服。本申请具有高效性和实时性的优势，有助于提升工作场所的安全性，并及时采取各种报警措施来保护人员的安全，提高人员在危险情况下的察觉能力。
在本申请可选的实施例中，报警操作包括以下至少一项：向扬声器发出报警信号，驱动扬声器发出报警音频；向显示器发出报警信号，驱动显示器显示报警信息；向指示灯发出报警信号，驱动指示灯点亮报警信号；通过通信设备向监控终端发出报警信息。
可以理解，本申请的报警操作分为两类，一类是通过现有的报警设备进行报警，比如扬声器、显示器、指示灯等；另一类是通过通信设备向监控终端发出报警信息，即监控人员可以从监控终端上查看实时拍摄画面和报警信息，监控人员可以再通过该通信设备进行机器人的控制，以采取对应的安全措施。
在本申请可选的实施例中，步骤S3包括：
S31：去除人物预测区域中已知的目标区域，得到待处理区域。
步骤S31至S35是一个循环流程，每一次循环都可以得到一个目标区域，步骤S31的主要目的是去除上次确定的目标区域，得到本次循环的待处理区域。
S32：随机选择待处理区域中属于目标颜色的像素作为目标像素，将目标像素划归进新建聚类区域。
S33：将与目标像素相邻的像素中属于目标颜色的像素也划归进新建聚类区域。
S34：继续分析与新建聚类区域中各个像素相邻的相邻像素，将相邻像素中属于目标颜色的像素继续划归进新建聚类区域，直到新建聚类区域内的像素不再增加为止。
以安全帽像素的聚集区域，即第一目标区域12为例进行说明。为了更好解释说明，如图4所示，选取第一目标区域12的局部进行放大说明，如图4中像素1至像素85均处于待处理区域中，随机选择像素50作为目标像素，将该目标像素50划归进新建聚类区域中；以目标像素50为中心，依次分析与目标像素50相邻的像素35、像素36、像素37、像素51、像素65、像素64、像素63、像素49是否属于目标颜色，在这8个像素都属于目标颜色的情况下将这8个像素都划归进新建聚类区域中，此时新建聚类区域包括像素35、像素36、像素37、像素51、像素65、像素64、像素63、像素49、像素50这9个像素；继续以这9个像素为中心分析相邻像素是否属于目标颜色，如果属于目标颜色则继续将该相邻像素归进新建聚类区域中，直到新建聚类区域内的像素不再增加为止。如图4所示，以属于新建聚类区域的像素67为中心，与其相邻的像素52、像素53、像素66属于目标颜色，而其相邻的像素54、像素68、像素82、像素81和像素80不属于目标颜色。
S35：将新建聚类区域作为目标区域。
对待处理区域执行S32至S34步骤后，将得到整个新建聚类区域，将该新建聚类区域作为一个目标区域。如图3所示，人物预测区域10中除了包括人脸区域11之外，还可以根据颜色像素判断出第一目标区域12和第二目标区域13，其中第一目标区域12为安全帽像素的聚集区域，第二目标区域13为安全服像素的聚集区域。
在本申请可选的实施例中，上述基于实时视频流的机器人人员检测算法还包括：
S6：在人脸识别通过的情况下，对实时拍摄画面进行手势识别。
S7：在识别到目标手势的情况下，点亮照明设备。
可以理解，在机器人通过人脸识别出目标人物为注册的工地施工人员之后，可以通过施工人员的手势为其开启照明设备，给其夜晚作业提供支持。
第二方面，本申请提供一种检测机器人，包括机器人底盘、驱动电源、传感器、通信设备、报警设备、照明设备、工控主机，
工控主机包括处理器和存储器，存储器用于存储计算机程序，计算机程序包括程序指令，处理器被配置用于调用程序指令，执行如第一方面任一项的方法。
其中，工控主机的处理器可以是Intel i7处理器，工控主机使用主流的Linux操作系统进行机器人的控制和数据交互。应当理解，在本发明实施例中，所称处理器还可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
机器人底盘包括履带式差速线控底盘，具有极强的地形适应能力，能够适应工程建设场景各个建设时期的不同地形，具有优越的攀爬能力，胜任各种复杂环境。
通信设备用于与监控终端通信，检测机器人配备有支持弱网聚合的多网网卡，以支持在弱信号区域的稳定通讯。监控人员通过监控终端打开客户端程序直接查看监控界面以及进行机器人的控制。
传感器包括摄像头和避障激光雷达，其中，摄像头是检测机器人主要感知设备，此外，检测机器人还可以设置侧向视野的补盲摄像头，以及设置避障能力的单线激光雷达，可以给监控人员的远程遥控提供更加安全保障。
报警设备包括扬声器、显示器、指示灯中的至少一种。
驱动电源用于为传感器、通信设备、报警设备、照明设备和处理器供电。驱动电源可以使用大容量的铅酸电池给主控、传感器、以及通讯设备提供能量来源，可以支持5-6小时的连续工作，应对绝大部分巡检需求。
第三方面，本发明供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现第一方面任一方法的步骤。
上述计算机可读存储介质可以是前述任一实施例的终端设备的内部存储单元，例如终端设备的硬盘或内存。上述计算机可读存储介质也可以是上述终端设备的外部存储设备，例如上述终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，上述计算机可读存储介质还可以既包括上述终端设备的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述终端设备所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例中方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本公开的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。
当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第三元件)插入在这两者之间。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
以上描述仅为本申请的可选实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
以上描述仅为本申请的可选实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
以上所述仅为本申请的可选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于实时视频流的机器人人员检测算法，其特征在于，包括：
S1：获取摄像头采集的实时拍摄画面，通过YOLO模型获取所述实时拍摄画面中的人物预测区域；
S2：提取所述人物预测区域内的人脸区域进行人脸识别；
S3：提取所述人物预测区域中目标颜色像素的聚集区域作为目标区域；
S4：根据所述目标区域与所述人脸区域的关系，判断所述人物预测区域内的人物是否处于危险状态；
S5：在人脸识别失败或判断所述人物预测区域内的人物处于危险状态的情况下执行报警操作。
2.根据权利要求1所述的基于实时视频流的机器人人员检测算法，其特征在于，
所述报警操作包括以下至少一项：
向扬声器发出报警信号，驱动所述扬声器发出报警音频；
向显示器发出报警信号，驱动所述显示器显示报警信息；
向指示灯发出报警信号，驱动所述指示灯点亮报警信号；
通过通信设备向监控终端发出报警信息。
3.根据权利要求1所述的基于实时视频流的机器人人员检测算法，其特征在于，
所述步骤S3包括：
S31：去除所述人物预测区域中已知的目标区域，得到待处理区域；
S32：随机选择所述待处理区域中属于所述目标颜色的像素作为目标像素，将所述目标像素划归进新建聚类区域；
S33：将与所述目标像素相邻的像素中属于所述目标颜色的像素也划归进所述新建聚类区域；
S34：继续分析与所述新建聚类区域中各个像素相邻的相邻像素，将所述相邻像素中属于所述目标颜色的像素继续划归进所述新建聚类区域，直到所述新建聚类区域内的像素不再增加为止；
S35：将所述新建聚类区域作为目标区域。
4.根据权利要求3所述的基于实时视频流的机器人人员检测算法，其特征在于，
所述目标颜色的数量包括至少一种。
5.根据权利要求1所述的基于实时视频流的机器人人员检测算法，其特征在于，
所述步骤S4包括以下至少一项：
S41：在所述目标区域与所述人脸区域的位置关系和比例关系满足第一预设条件下，判断所述人物预测区域内的人物佩戴有安全帽；
S42：在所述目标区域与所述人脸区域的位置关系和比例关系第二预设条件下，判断所述人物预测区域内的人物穿有安全服；
S43：在判断出所述人物预测区域内的人物未佩戴安全帽或未穿有安全服的情况下，判断所述人物是否处于危险状态。
6.根据权利要求5所述的基于实时视频流的机器人人员检测算法，其特征在于，
所述第一预设条件包括：
所述目标区域内的像素总数与所述人脸区域内的像素总数的比例处于第一比例范围，以及，
所述目标区域内存在与所述人脸区域内的像素相邻的N个临近像素，N大于第一阈值。
7.根据权利要求5所述的基于实时视频流的机器人人员检测算法，其特征在于，
所述第二预设条件包括：
所述目标区域内的像素总数与所述人脸区域内的像素总数的比例处于第二比例范围，以及，
所述目标区域与所述人脸区域中心点的最小距离小于第二阈值。
8.根据权利要求1所述的基于实时视频流的机器人人员检测算法，其特征在于，还包括：
S6：在人脸识别通过的情况下，对所述实时拍摄画面进行手势识别；
S7：在识别到目标手势的情况下，点亮照明设备。
9.一种检测机器人，其特征在于，包括机器人底盘、驱动电源、传感器、通信设备、报警设备、照明设备、工控主机，
所述工控主机包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1至8任一项所述的方法。
10.根据权利要求9所述的检测机器人，其特征在于，
所述机器人底盘包括履带式差速线控底盘；
所述传感器包括摄像头和避障激光雷达；
所述通信设备用于与监控终端通信；
所述报警设备包括扬声器、显示器、指示灯中的至少一种；
所述驱动电源用于为所述传感器、所述通信设备、所述报警设备、所述照明设备和所述处理器供电。
CN202310710540.8A 2023-06-15 2023-06-15 一种基于实时视频流的机器人人员检测算法 Pending CN116682162A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310710540.8A CN116682162A (zh) 2023-06-15 2023-06-15 一种基于实时视频流的机器人人员检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310710540.8A CN116682162A (zh) 2023-06-15 2023-06-15 一种基于实时视频流的机器人人员检测算法

Publications (1)

Publication Number Publication Date
CN116682162A true CN116682162A (zh) 2023-09-01

Family

ID=87787047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310710540.8A Pending CN116682162A (zh) 2023-06-15 2023-06-15 一种基于实时视频流的机器人人员检测算法

Country Status (1)

Country Link
CN (1) CN116682162A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117549330A (zh) * 2024-01-11 2024-02-13 四川省铁路建设有限公司 一种施工安全监测机器人系统及控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130282609A1 (en) * 2012-04-20 2013-10-24 Honeywell International Inc. Image recognition for personal protective equipment compliance enforcement in work areas
CN106503716A (zh) * 2016-09-13 2017-03-15 中国电力科学研究院 一种基于颜色和轮廓特征提取的安全帽识别方法和系统
CN110188724A (zh) * 2019-06-05 2019-08-30 中冶赛迪重庆信息技术有限公司 基于深度学习的安全帽定位与颜色识别的方法及系统
CN112818758A (zh) * 2021-01-14 2021-05-18 广州穗能通能源科技有限责任公司 电力施工现场的监测方法、系统、装置和存储介质
KR20210158584A (ko) * 2020-06-24 2021-12-31 (주)가시 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130282609A1 (en) * 2012-04-20 2013-10-24 Honeywell International Inc. Image recognition for personal protective equipment compliance enforcement in work areas
CN106503716A (zh) * 2016-09-13 2017-03-15 中国电力科学研究院 一种基于颜色和轮廓特征提取的安全帽识别方法和系统
CN110188724A (zh) * 2019-06-05 2019-08-30 中冶赛迪重庆信息技术有限公司 基于深度学习的安全帽定位与颜色识别的方法及系统
KR20210158584A (ko) * 2020-06-24 2021-12-31 (주)가시 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션
CN112818758A (zh) * 2021-01-14 2021-05-18 广州穗能通能源科技有限责任公司 电力施工现场的监测方法、系统、装置和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117549330A (zh) * 2024-01-11 2024-02-13 四川省铁路建设有限公司 一种施工安全监测机器人系统及控制方法
CN117549330B (zh) * 2024-01-11 2024-03-22 四川省铁路建设有限公司 一种施工安全监测机器人系统及控制方法

Similar Documents

Publication Publication Date Title
US8055018B2 (en) Object image detection method
CN109670441A (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
CN109766779B (zh) 徘徊人员识别方法及相关产品
TW201737134A (zh) 用於藉由機器學習訓練物件分類器之系統及方法
CN105868689A (zh) 一种基于级联卷积神经网络的人脸遮挡检测方法
CN106997629A (zh) 门禁控制方法、装置及系统
CN105426820A (zh) 基于安防监控视频数据的多人异常行为检测方法
CN109672863A (zh) 一种基于图像识别的施工人员安全装备智能监测方法
US20190213424A1 (en) Image processing system and image processing method
CN110619277A (zh) 一种多社区智慧布控方法以及系统
CN102542246A (zh) Atm机异常人脸检测方法
CN112487891B (zh) 一种应用于电力作业现场的视觉智能动态识别模型构建方法
CN112163572A (zh) 识别对象的方法和装置
CN113297926B (zh) 行为检测识别方法及系统
CN113989858B (zh) 一种工作服识别方法及系统
CN116682162A (zh) 一种基于实时视频流的机器人人员检测算法
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统
CN102254396B (zh) 基于视频的入侵检测方法及装置
CN116310922A (zh) 石化厂区监控视频风险识别方法、系统、电子设备及存储介质
KR102142315B1 (ko) 영상 분석 기반의 금융자동화기기 보안 시스템 및 그 방법
CN115171006B (zh) 基于深度学习的自动识别人员进入电力危险区的检测方法
CN113420739B (zh) 基于神经网络的智能应急监控方法、系统和可读存储介质
CN112949606B (zh) 工服穿戴状态检测方法、装置、存储介质及电子装置
CN115346170A (zh) 一种燃气设施区域的智能监控方法及装置
CN111985331B (zh) 预防商业秘密被窃照的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination