CN113505704A - 图像识别的人员安全侦测方法、系统、设备及存储介质 - Google Patents

图像识别的人员安全侦测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN113505704A
CN113505704A CN202110789668.9A CN202110789668A CN113505704A CN 113505704 A CN113505704 A CN 113505704A CN 202110789668 A CN202110789668 A CN 202110789668A CN 113505704 A CN113505704 A CN 113505704A
Authority
CN
China
Prior art keywords
image
neural network
safety
recognition
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110789668.9A
Other languages
English (en)
Other versions
CN113505704B (zh
Inventor
谭黎敏
蔡文扬
郭震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Westwell Information Technology Co Ltd
Original Assignee
Shanghai Westwell Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Westwell Information Technology Co Ltd filed Critical Shanghai Westwell Information Technology Co Ltd
Priority to CN202110789668.9A priority Critical patent/CN113505704B/zh
Publication of CN113505704A publication Critical patent/CN113505704A/zh
Application granted granted Critical
Publication of CN113505704B publication Critical patent/CN113505704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了图像识别的人员安全侦测方法、系统、设备及存储介质，该方法包括以下步骤：使用双目摄像装置拍摄彩色图像；根据左图像和右图像计算视差矩阵，获得每个像素点的距离值，生成基于左图像的点云信息；基于左图像输入经过训练的第一神经网络进行行人框选；将图像选框的图像输入一神经网络组合，神经网络组合包括至少一用于识别一种预设安全设备的神经网络；判断每个图像选框的图像是否满足全部神经网络都识别出对应的预设安全设备，若是，则为授权人员，若否，则为非授权人员，生成安全报警信息。本发明能够在各类无人化现场准确地分辨出现场人员是否佩戴安全设备，并自动进行报警告知，有效杜绝安全隐患，提升无人化现场的人身安全。

Description

图像识别的人员安全侦测方法、系统、设备及存储介质
技术领域
本发明涉及人工智能领域，具体地说，涉及用于无人码头场景下的图像识别的人员安全侦测方法、系统、设备及存储介质。
背景技术
无人码头也称之为自动化码头，采用最前沿的科技，让码头作业机器能够在非人工操作的前提下，自行有效运转，主要是由自动化堆场作业机械，自动化岸边作业机械，自动化水平运输机械和自动化控制系统组成，其中自动化控制系统为整个自动化码头的核心。无人码头自动化水平运输机械主要就是集卡、智能AGV和跨运车。
在目前阶段，无人码头还不是真正的完全无人作业，依然会有大量的工作人员行走于其中，装配设备或是操作业务。但由于在无人化的标准下，大量减少了安全监控人员，所以，不佩戴标准安全装备(至少包括安全帽和反光服)的非授权人员行走其中不会再被安全员发现或提醒，这造成了潜在的安全隐患。
因此，本发明提供了一种图像识别的人员安全侦测方法、系统、设备及存储介质。
发明内容
针对现有技术中的问题，本发明的目的在于提供图像识别的人员安全侦测方法、系统、设备及存储介质，克服了现有技术的困难，能够在各类无人化现场准确地分辨出现场人员是否佩戴安全设备，并自动进行报警告知，有效杜绝安全隐患，提升无人化现场的人身安全。
本发明的实施例提供一种图像识别的人员安全侦测方法，包括以下步骤：
S110、使用双目摄像装置拍摄彩色图像；
S120、根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值，生成基于左图像的点云信息；
S130、基于左图像输入经过训练的第一神经网络进行行人框选，获得所述左图像中每个行人的图像选框；
S140、将所述图像选框的图像输入一神经网络组合，所述神经网络组合包括至少一神经网络，每个所述神经网络分别用于识别一种预设安全设备；以及
S150、判断每个所述图像选框的图像是否满足全部所述神经网络都识别出对应的预设安全设备，若是，则标记所述图像选框对应的行人为授权人员，若否，则标记所述图像选框对应的行人为非授权人员，基于所述非授权人员对应的点云信息生成安全报警信息。
优选地，所述步骤S120中，还包括基于点云信息生成一俯视图；
所述步骤S150之后还包括以下步骤：
S160、基于所述非授权人员对应的图像选框的点云信息在俯视图的位置生成一安全报警信息，发送到报警系统。
优选地，所述步骤S110之前，还包括基于预设范围采集移动终端的定位信息；
所述步骤S120中，还包括基于点云信息生成一俯视图；
所述步骤S150之后还包括以下步骤：
S180、基于所述非授权人员对应的图像选框的点云信息在俯视图的位置匹配最近的移动终端，向所述最近的移动终端发送一安全报警信息。
优选地，所述步骤S150之后、步骤S180之前，还包括：
S170、基于所述非授权人员对应的图像选框的图像以及定位信息生成一安全报警信息。
优选地，所述步骤S140中，包括以下步骤：
S141、基于预设比例将所述图像选框的图像进行上下分割，获得原图像上部的第一图片和原图像下部的第二图片；
S142、将第一图片输入一用于识别安全帽的第二神经网络，所述第二神经网络输出所述第一图片中是否识别到安全帽的识别结果；以及
S143、将第二图片输入一用于识别反光衣的第三神经网络，所述第三神经网络输出所述第二图片中是否识别到反光衣的识别结果。
优选地，所述预设比例的取值范围为1/5至1/8。
优选地，所述第二神经网络是经过各类安全帽图片训练获得的。
优选地，所述第三神经网络是经过各类反光衣图片训练获得的。
优选地，所述步骤S140中，包括以下步骤：
S145、基于至少多种预设比例将所述图像选框的图像进行上下分割，获得原图像上部的多个第一图片和原图像下部的多个第二图片；
S146、将所述第一图片分别输入一用于识别安全帽的第二神经网络，所述第二神经网络输出所述第一图片中是否识别到安全帽的识别结果；
S147、汇总所述第二神经网络的识别结果，将概率最大的识别结果作为图像上部的识别结果；
S148、将所述第二图片分别输入一用于识别反光衣的第三神经网络，所述第三神经网络输出所述第二图片中是否识别到反光衣的识别结果；以及
S149、汇总所述第三神经网络的识别结果，将概率最大的识别结果作为图像下部的识别结果。
本发明的实施例还提供一种图像识别的人员安全侦测系统，用于实现上述的图像识别的人员安全侦测方法，图像识别的人员安全侦测系统包括：
图像采集模块，使用双目摄像装置拍摄彩色图像；
点云信息模块，根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值，生成基于左图像的点云信息；
行人框选模块，基于左图像输入经过训练的第一神经网络进行行人框选，获得所述左图像中每个行人的图像选框；
神经网络模块，将所述图像选框的图像输入一神经网络组合，所述神经网络组合包括至少一神经网络，每个所述神经网络分别用于识别一种预设安全设备；以及
授权判定模块，判断每个所述图像选框的图像是否满足全部所述神经网络都识别出对应的预设安全设备，若是，则标记所述图像选框对应的行人为授权人员，若否，则标记所述图像选框对应的行人为非授权人员。
本发明的实施例还提供一种图像识别的人员安全侦测设备，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行上述图像识别的人员安全侦测方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述图像识别的人员安全侦测方法的步骤。
本发明的图像识别的人员安全侦测方法、系统、设备及存储介质，能够在各类无人化现场准确地分辨出现场人员是否佩戴安全设备，并自动进行报警告知，有效杜绝安全隐患，提升无人化现场的人身安全。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的图像识别的人员安全侦测方法的流程图。
图2至7是本发明的图像识别的人员安全侦测方法的实施过程示意图。
图8是本发明的图像识别的人员安全侦测系统的结构示意图。
图9是本发明的图像识别的人员安全侦测设备的结构示意图。以及
图10是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
图1是本发明的图像识别的人员安全侦测方法的流程图。如图1所示，本发明的实施例提供一种图像识别的人员安全侦测方法，本发明的方法包括以下步骤：
S110、使用双目摄像装置拍摄彩色图像。
S120、根据双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值，生成基于左图像的点云信息。
S130、基于左图像输入经过训练的第一神经网络进行行人框选，获得左图像中每个行人的图像选框。
S140、将图像选框的图像输入一神经网络组合，神经网络组合包括至少一神经网络，每个神经网络分别用于识别一种预设安全设备。以及S150、判断每个图像选框的图像是否满足全部神经网络都识别出对应的预设安全设备，若是，则标记图像选框对应的行人为授权人员，若否，则标记图像选框对应的行人为非授权人员，基于非授权人员对应的点云信息生成安全报警信息。
本发明提出一种基于传统方法图像处理算法与基于深度神经网络目标检测算法相结合的设计方案，显著提升目标检测的召回率和精确率。从整体工程设计方案而言，本发明采用分布式容器管理技术，将不同的逻辑功能封装成不同的docker service，从而实现整个工程的分布式服务的创建，运行以及部署。进一步解决了大规模应用场景下服务的集中管理问题。
在一个优选实施例中，步骤S120中，还包括基于点云信息生成一俯视图。
步骤S150之后还包括以下步骤：
S160、基于非授权人员对应的图像选框的点云信息在俯视图的位置生成一安全报警信息，发送到报警系统。
在一个优选实施例中，步骤S110之前，还包括基于预设范围采集移动终端的定位信息。
步骤S120中，还包括基于点云信息生成一俯视图。
步骤S150之后还包括以下步骤：
S170、基于非授权人员对应的图像选框的图像以及定位信息生成一安全报警信息。
S180、基于非授权人员对应的图像选框的点云信息在俯视图的位置匹配最近的移动终端，向最近的移动终端发送一安全报警信息。
在一个优选实施例中，步骤S140中，包括以下步骤：
S141、基于预设比例将图像选框的图像进行上下分割，获得原图像上部的第一图片和原图像下部的第二图片。
S142、将第一图片输入一用于识别安全帽的第二神经网络，第二神经网络输出第一图片中是否识别到安全帽的识别结果。以及
S143、将第二图片输入一用于识别反光衣的第三神经网络，第三神经网络输出第二图片中是否识别到反光衣的识别结果。
在一个优选实施例中，预设比例的取值范围为1/5至1/8，例如：1/5、1/6、1/7、1/8。
在一个优选实施例中，第二神经网络是经过各类安全帽图片训练获得的。
在一个优选实施例中，第三神经网络是经过各类反光衣图片训练获得的。
在一个优选实施例中，步骤S140中，包括以下步骤：
S145、基于至少多种预设比例将图像选框的图像进行上下分割，获得原图像上部的多个第一图片和原图像下部的多个第二图片。
S146、将第一图片分别输入一用于识别安全帽的第二神经网络，第二神经网络输出第一图片中是否识别到安全帽的识别结果。
S147、汇总第二神经网络的识别结果，将概率最大的识别结果作为图像上部的识别结果。
S148、将第二图片分别输入一用于识别反光衣的第三神经网络，第三神经网络输出第二图片中是否识别到反光衣的识别结果。以及
S149、汇总第三神经网络的识别结果，将概率最大的识别结果作为图像下部的识别结果。
目前常见的方法主要有两种：
1.采用直接分类的方式。这种方法主要思路是直接采用目标检测的算法，在训练阶段，直接将训练数据中行人区分为授权人员与非授权人员两个类别。推理阶段直接利用检测算法针对整个行人进行分类。这种直接检测方式在实际应用中出现漏检测的情况比较多。
2.采用人体分割的方式，针对人体的头部和身体进行分割。这种方式计算消耗比较大，并且针对相比比较小的行人很难获取到精确的mask。
针对前面提到的两种方法的缺点，本发明提高行人检测的召回率和精确率；在保证功能实时性的基础上，进一步提升授权人员识别的准确率。并且，进一步优化工程架构，确保在大规模应用场景下，系统能够稳定运行。本发明提出了基于计算机视觉的授权人员检测方案。算法层面，利用传统的图像处理算法与深度学习检测算法相结合的方式提升行人检测的召回率与精确率，并在检测基础上增加授权人员判别算法进一步提升授权人员与非授权人员的识别准确率。工程层面，采用C/S的结构，将整体系统分成主逻辑客户端与算法服务端。从而，实现跨机器的服务调度。并且，利用Docker Swarm实现分布式服务的集中管理。
本发明的图像识别的人员安全侦测方法，能够在各类无人化现场准确地分辨出现场人员是否佩戴安全设备，并自动进行报警告知，有效杜绝安全隐患，提升无人化现场的人身安全。
本发明可以包括基于传统图像处理的运动触发器、基于关键区域的行人检测器以及授权人员判别器。
运动触发器设计目的包括：1).提升行人检测的准确率。2).在画面中没有出现行人的情况下，系统处于睡眠状态，降低系统消耗。运动触发器的设计思路主要是采用前后两帧做帧差，求出差值图片，进行二值化处理，并对图片进行腐蚀膨胀。然后根据腐蚀膨胀后的图片，获取差异点的大致轮廓，从而获取画面中运动目标的大致运动范围。设计流程如下图所示：
行人检测器主要是针对画面中出现的行人进行检测，获取行人检测框。本发明行人检测器主要采用yolov4算法。图片输入尺寸为运动触发器输出的关键区域大小，检测器针对获取的关键区域进行batch推理，获取关键区域内的行人检测框，然后对检测框进行坐标转换，将关键区域内的坐标映射到原始图片上。最终，获取当前画面中出现的行人检测框。
Yolov4检测模型采用CSPDarknet53，SPP作为Neck的附加模块，采用Max Pooling的方式进行多尺度的融合。激活函数采用Mish代替原始的Leaky Relu。损失函数为CIOU，公式如下：
Figure BDA0003160375270000081
Figure BDA0003160375270000082
Figure BDA0003160375270000083
其中，b和bgt分别代表了预测框与真实框的中心，ρ代表的是计算两个重点的欧式距离。c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，α为权重函数，v为用来度量长宽比的相似性。检测器训练数据主要采用实地采集的数据，数据标注类别为行人，并认为引入一些负样本进行训练。从而提升模型判别性。
授权人员判别器主要参考基于深度学习的行人重识别算法PCB。并结合当前的授权人员判别需求进行了改进。算法的核心思路：首先，行人图片输入进行卷积神经网络(此处选择的是ResNet50)进行特征提取，获取最后一层网络输出的feature map，将这个feature map再过一层卷积层，再通过softmax，获取身体不同部位的attention map，然后，将输出的attention map与原始的feature map相乘，获取身体不同部分的输出，最后，通过交叉熵进行分类。在训练阶段，将身体不同部分的loss相加作为整体的损失函数。在推理阶段是将不同部分的输出进行拼接，作为整体算法的输出。
本发明的实际工程架构可以分为2个部分：主逻辑GRPC客户端和算法GRPC服务端。主逻辑主要是针对系统中的各个service进行调度和控制。算法服务端包括了一系列程序接口，主要有：视频解码服务接口，运动触发器服务接口，关键区域行人检测器服务接口，授权人员判别器服务接口等。本发明采用分布式部署以及服务调度架构，在实际工程部署中，利用将docker将系统的各个部分封装成不同的服务，通过docker swarm集中管理各个节点中的docker service。
图2至7是本发明的图像识别的人员安全侦测方法的实施过程示意图。如图2至7所示，本实施例中主要功能是针对码头港区中的行人进行安全帽与反光衣的监控。实时返回当前视频画面中行人安全帽与反光衣的佩戴情况，进一步判断当前行人是否为授权人员。本发明的图像识别的人员安全侦测方法的实施过程如下：
如图2所示，在码头港区采集各个移动终端的定位信息，并使用码头的监控设备，例如：双目摄像装置，拍摄彩色图像。根据双目摄像装置基于同一时刻获得的左图像1和右图像计算视差矩阵，获得每个像素点的距离值，生成基于左图像的点云信息，基于点云信息生成一俯视图3(参见图7)，俯视图3中标注了行人110、120、130的位置。
如图3所示，基于左图像输入经过训练的第一神经网络进行行人框选，获得左图像中每个行人的图像选框。本实施例中，获得三个图像选框11、12、13。在俯视图中对应标注每个行人框选的像素点对应的位置，形成对于每个行人当前位置的定位信息。第一神经网络可以是现有的或是未来发明的自图片中查找全身人像的神经网络，但不以此为限。
判断每个图像选框的图像是否满足全部神经网络都识别出对应的预设安全设备，若是，则标记图像选框对应的行人为授权人员，若否，则标记图像选框对应的行人为非授权人员，基于非授权人员对应的点云信息生成安全报警信息。并且基于非授权人员对应的图像选框的图像以及定位信息生成一安全报警信息。
如图4所示，基于1/6的预设比例将图像选框11的图像进行上下分割，获得原图像上部的第一图片111和原图像下部的第二图片112。将第一图片111输入一用于识别安全帽的第二神经网络21，第二神经网络21输出第一图片中是否识别到安全帽的识别结果，第二神经网络21是经过各类安全帽图片训练获得的。本实施例中，图像选框11具备安全帽。将第二图片112输入一用于识别反光衣的第三神经网络22，第三神经网络22输出第二图片中是否识别到反光衣的识别结果，第三神经网络22是经过各类反光衣图片训练获得的。本实施例中，图像选框11具备反光衣。根据第二神经网络21和第三神经网络22的输出结果获得安全报警信息231：图像选框11为授权人员，无需报警。
如图5所示，基于1/6的预设比例将图像选框12的图像进行上下分割，获得原图像上部的第一图片121和原图像下部的第二图片122。将第一图片121输入一用于识别安全帽的第二神经网络21，第二神经网络21输出第一图片中是否识别到安全帽的识别结果，第二神经网络21是经过各类安全帽图片训练获得的。本实施例中，图像选框12具备安全帽。将第二图片122输入一用于识别反光衣的第三神经网络22，第三神经网络22输出第二图片中是否识别到反光衣的识别结果，第三神经网络22是经过各类反光衣图片训练获得的。本实施例中，图像选框12不具备反光衣。根据第二神经网络21和第三神经网络22的输出结果获得安全报警信息232：图像选框12为非授权人员，需要进行报警。安全报警信息232中包括图像选框12的图像以及图像选框12对应的点云信息在俯视图中的当前位置的定位信息。
如图6所示，基于1/6的预设比例将图像选框13的图像进行上下分割，获得原图像上部的第一图片131和原图像下部的第二图片132。将第一图片131输入一用于识别安全帽的第二神经网络21，第二神经网络21输出第一图片中是否识别到安全帽的识别结果，第二神经网络21是经过各类安全帽图片训练获得的。本实施例中，图像选框13不具备安全帽。将第二图片132输入一用于识别反光衣的第三神经网络22，第三神经网络22输出第二图片中是否识别到反光衣的识别结果，第三神经网络22是经过各类反光衣图片训练获得的。本实施例中，图像选框13不具备反光衣。根据第二神经网络21和第三神经网络22的输出结果获得安全报警信息233：图像选框12为非授权人员，需要进行报警。安全报警信息233中包括图像选框13的图像以及图像选框13对应的点云信息在俯视图中的当前位置的定位信息。
如图7所示，基于安全报警信息232的定位信息与码头港区采集各个移动终端的定位信息进行匹配，获得非授权人员对应的图像选框的点云信息在俯视图的位置匹配最近的移动终端31，向最近的移动终端31发送一安全报警信息232。本实施例中，安全报警信息232对应的行人图片就是移动终端31的用户(行人120)本人的照片，提示该用户(行人120)佩戴反光衣。
基于安全报警信息233的定位信息与码头港区采集各个移动终端的定位信息进行匹配，获得非授权人员对应的图像选框的点云信息在俯视图的位置匹配最近的移动终端32，向最近的移动终端32发送一安全报警信息233。本实施例中，安全报警信息233对应的行人图片就是移动终端32的用户(行人130)本人的照片，提示该用户(行人130)佩戴安全帽和反光衣。
本发明的实施过程中，无需现场安全人员的监督，而是利用码头的监控设备拍摄自行检测行人是否穿戴了安全帽和反光衣，对于非授权人员(没有同时穿戴安全帽和反光衣)的人员的移动终端发出安全报警信息，进行主动提醒，有效杜绝无人化现场的安全隐患，提升无人化现场的人身安全。
图8是本发明的图像识别的人员安全侦测系统的结构示意图。如图8所示，本发明的实施例还提供一种图像识别的人员安全侦测系统5，用于实现上述的图像识别的人员安全侦测方法，图像识别的人员安全侦测系统包括：
终端定位模块50，基于预设范围采集移动终端的定位信息。
图像采集模块51，使用双目摄像装置拍摄彩色图像，并
点云信息模块52，根据双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值，生成基于左图像的点云信息，基于点云信息生成一俯视图。
行人框选模块53，基于左图像输入经过训练的第一神经网络进行行人框选，获得左图像中每个行人的图像选框。
神经网络模块54，将图像选框的图像输入一神经网络组合，神经网络组合包括至少一神经网络，每个神经网络分别用于识别一种预设安全设备。
授权判定模块55，判断每个图像选框的图像是否满足全部神经网络都识别出对应的预设安全设备，若是，则标记图像选框对应的行人为授权人员，若否，则标记图像选框对应的行人为非授权人员。安全报警模块56，基于非授权人员对应的图像选框的点云信息在俯视图的位置生成一安全报警信息，发送到报警系统。
优选地，授权判定模块55还基于非授权人员对应的图像选框的图像以及定位信息生成一安全报警信息。基于非授权人员对应的图像选框的点云信息在俯视图的位置匹配最近的移动终端，向最近的移动终端发送一安全报警信息。
优选地，神经网络模块54基于预设比例将图像选框的图像进行上下分割，获得原图像上部的第一图片和原图像下部的第二图片；将第一图片输入一用于识别安全帽的第二神经网络，第二神经网络输出第一图片中是否识别到安全帽的识别结果；以及将第二图片输入一用于识别反光衣的第三神经网络，第三神经网络输出第二图片中是否识别到反光衣的识别结果。
优选地，预设比例的取值范围为1/5至1/8。
优选地，第二神经网络是经过各类安全帽图片训练获得的。
优选地，第三神经网络是经过各类反光衣图片训练获得的。
优选地，步骤S140也可以基于至少多种预设比例将图像选框的图像进行上下分割，获得原图像上部的多个第一图片和原图像下部的多个第二图片；将第一图片分别输入一用于识别安全帽的第二神经网络，第二神经网络输出第一图片中是否识别到安全帽的识别结果；汇总第二神经网络的识别结果，将概率最大的识别结果作为图像上部的识别结果；将第二图片分别输入一用于识别反光衣的第三神经网络，第三神经网络输出第二图片中是否识别到反光衣的识别结果；以及汇总第三神经网络的识别结果，将概率最大的识别结果作为图像下部的识别结果。
本发明的图像识别的人员安全侦测系统，能够在各类无人化现场准确地分辨出现场人员是否佩戴安全设备，并自动进行报警告知，有效杜绝安全隐患，提升无人化现场的人身安全。
本发明实施例还提供一种图像识别的人员安全侦测设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的图像识别的人员安全侦测方法的步骤。
如上，本发明的图像识别的人员安全侦测设备能够在各类无人化现场准确地分辨出现场人员是否佩戴安全设备，并自动进行报警告知，有效杜绝安全隐患，提升无人化现场的人身安全。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图9是本发明的图像识别的人员安全侦测设备的结构示意图。下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的图像识别的人员安全侦测方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，能够在各类无人化现场准确地分辨出现场人员是否佩戴安全设备，并自动进行报警告知，有效杜绝安全隐患，提升无人化现场的人身安全。
图10是本发明的计算机可读存储介质的结构示意图。参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的图像识别的人员安全侦测方法、系统、设备及存储介质，能够在各类无人化现场准确地分辨出现场人员是否佩戴安全设备，并自动进行报警告知，有效杜绝安全隐患，提升无人化现场的人身安全。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (12)

1.一种图像识别的人员安全侦测方法，其特征在于，包括以下步骤：
S110、使用双目摄像装置拍摄彩色图像；
S120、根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值，生成基于左图像的点云信息；
S130、基于左图像输入经过训练的第一神经网络进行行人框选，获得所述左图像中每个行人的图像选框；
S140、将所述图像选框的图像输入一神经网络组合，所述神经网络组合包括至少一神经网络，每个所述神经网络分别用于识别一种预设安全设备；以及
S150、判断每个所述图像选框的图像是否满足全部所述神经网络都识别出对应的预设安全设备，若是，则标记所述图像选框对应的行人为授权人员，若否，则标记所述图像选框对应的行人为非授权人员，基于所述非授权人员对应的点云信息生成安全报警信息。
2.根据权利要求1所述的图像识别的人员安全侦测方法，其特征在于，所述步骤S120中，还包括基于点云信息生成一俯视图；
所述步骤S150之后还包括以下步骤：
S160、基于所述非授权人员对应的图像选框的点云信息在俯视图的位置生成一安全报警信息，发送到报警系统。
3.根据权利要求1所述的图像识别的人员安全侦测方法，其特征在于，所述步骤S110之前，还包括基于预设范围采集移动终端的定位信息；
所述步骤S120中，还包括基于点云信息生成一俯视图；
所述步骤S150之后还包括以下步骤：
S180、基于所述非授权人员对应的图像选框的点云信息在俯视图的位置匹配最近的移动终端，向所述最近的移动终端发送一安全报警信息。
4.根据权利要求3所述的图像识别的人员安全侦测方法，其特征在于，所述步骤S150之后、步骤S180之前，还包括：
S170、基于所述非授权人员对应的图像选框的图像以及定位信息生成一安全报警信息。
5.根据权利要求1至4中任意一项所述的图像识别的人员安全侦测方法，其特征在于，所述步骤S140中，包括以下步骤：
S141、基于预设比例将所述图像选框的图像进行上下分割，获得原图像上部的第一图片和原图像下部的第二图片；
S142、将第一图片输入一用于识别安全帽的第二神经网络，所述第二神经网络输出所述第一图片中是否识别到安全帽的识别结果；以及
S143、将第二图片输入一用于识别反光衣的第三神经网络，所述第三神经网络输出所述第二图片中是否识别到反光衣的识别结果。
6.根据权利要求5所述的图像识别的人员安全侦测方法，其特征在于，所述预设比例的取值范围为1/5至1/8。
7.根据权利要求5所述的图像识别的人员安全侦测方法，其特征在于，所述第二神经网络是经过各类安全帽图片训练获得的。
8.根据权利要求5所述的图像识别的人员安全侦测方法，其特征在于，所述第三神经网络是经过各类反光衣图片训练获得的。
9.根据权利要求1至4中任意一项所述的图像识别的人员安全侦测方法，其特征在于，所述步骤S140中，包括以下步骤：
S145、基于至少多种预设比例将所述图像选框的图像进行上下分割，获得原图像上部的多个第一图片和原图像下部的多个第二图片；
S146、将所述第一图片分别输入一用于识别安全帽的第二神经网络，所述第二神经网络输出所述第一图片中是否识别到安全帽的识别结果；
S147、汇总所述第二神经网络的识别结果，将概率最大的识别结果作为图像上部的识别结果；
S148、将所述第二图片分别输入一用于识别反光衣的第三神经网络，所述第三神经网络输出所述第二图片中是否识别到反光衣的识别结果；以及
S149、汇总所述第三神经网络的识别结果，将概率最大的识别结果作为图像下部的识别结果。
10.一种图像识别的人员安全侦测系统，其特征在于，用于实现如权利要求1所述的图像识别的人员安全侦测方法，包括：
图像采集模块，使用双目摄像装置拍摄彩色图像；
点云信息模块，根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值，生成基于左图像的点云信息；
行人框选模块，基于左图像输入经过训练的第一神经网络进行行人框选，获得所述左图像中每个行人的图像选框；
神经网络模块，将所述图像选框的图像输入一神经网络组合，所述神经网络组合包括至少一神经网络，每个所述神经网络分别用于识别一种预设安全设备；以及
授权判定模块，判断每个所述图像选框的图像是否满足全部所述神经网络都识别出对应的预设安全设备，若是，则标记所述图像选框对应的行人为授权人员，若否，则标记所述图像选框对应的行人为非授权人员。
11.一种图像识别的人员安全侦测设备，其特征在于，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行权利要求1至9中任意一项所述图像识别的人员安全侦测方法的步骤。
12.一种计算机可读存储介质，用于存储程序，其特征在于，程序被执行时实现权利要求1至9中任意一项所述图像识别的人员安全侦测方法的步骤。
CN202110789668.9A 2021-07-13 2021-07-13 图像识别的人员安全侦测方法、系统、设备及存储介质 Active CN113505704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110789668.9A CN113505704B (zh) 2021-07-13 2021-07-13 图像识别的人员安全侦测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110789668.9A CN113505704B (zh) 2021-07-13 2021-07-13 图像识别的人员安全侦测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113505704A true CN113505704A (zh) 2021-10-15
CN113505704B CN113505704B (zh) 2023-11-10

Family

ID=78012949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110789668.9A Active CN113505704B (zh) 2021-07-13 2021-07-13 图像识别的人员安全侦测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113505704B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332743A (zh) * 2022-03-09 2022-04-12 深圳海润游艇码头工程有限公司 一种游艇码头监控报警方法和系统
WO2023221443A1 (zh) * 2022-05-20 2023-11-23 劢微机器人科技(深圳)有限公司 基于2d相机的安全预警方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015006650A (ja) * 2013-06-26 2015-01-15 須知 晃一 システム構成構造細胞複合諸物体の製造方法と構成材料
CN109766868A (zh) * 2019-01-23 2019-05-17 哈尔滨工业大学 一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法
CN110569722A (zh) * 2019-08-01 2019-12-13 江苏濠汉信息技术有限公司 基于视觉分析的施工人员着装规范检测方法及装置
CN111126325A (zh) * 2019-12-30 2020-05-08 哈尔滨工程大学 一种基于视频的智能人员安防识别统计方法
KR20200094315A (ko) * 2019-01-30 2020-08-07 주식회사 에스와이시큐리티 네트워크를 이용한 무인경비시스템 및 무인경비시스템의 설정방법
CN111563480A (zh) * 2020-06-01 2020-08-21 北京嘀嘀无限科技发展有限公司 冲突行为检测方法、装置、计算机设备和存储介质
CN112001310A (zh) * 2020-08-24 2020-11-27 国网上海市电力公司 基于视觉感知与空间定位的变电站作业现场安全管控系统
CN112364778A (zh) * 2020-11-12 2021-02-12 上海明华电力科技有限公司 一种基于深度学习的电厂安全性行为信息自动检测方法
CN112529020A (zh) * 2020-12-24 2021-03-19 携程旅游信息技术（上海）有限公司 基于神经网络的动物识别方法、系统、设备及存储介质
CN112967283A (zh) * 2021-04-22 2021-06-15 上海西井信息科技有限公司 基于双目摄像头的目标识别方法、系统、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015006650A (ja) * 2013-06-26 2015-01-15 須知 晃一 システム構成構造細胞複合諸物体の製造方法と構成材料
CN109766868A (zh) * 2019-01-23 2019-05-17 哈尔滨工业大学 一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法
KR20200094315A (ko) * 2019-01-30 2020-08-07 주식회사 에스와이시큐리티 네트워크를 이용한 무인경비시스템 및 무인경비시스템의 설정방법
CN110569722A (zh) * 2019-08-01 2019-12-13 江苏濠汉信息技术有限公司 基于视觉分析的施工人员着装规范检测方法及装置
CN111126325A (zh) * 2019-12-30 2020-05-08 哈尔滨工程大学 一种基于视频的智能人员安防识别统计方法
CN111563480A (zh) * 2020-06-01 2020-08-21 北京嘀嘀无限科技发展有限公司 冲突行为检测方法、装置、计算机设备和存储介质
CN112001310A (zh) * 2020-08-24 2020-11-27 国网上海市电力公司 基于视觉感知与空间定位的变电站作业现场安全管控系统
CN112364778A (zh) * 2020-11-12 2021-02-12 上海明华电力科技有限公司 一种基于深度学习的电厂安全性行为信息自动检测方法
CN112529020A (zh) * 2020-12-24 2021-03-19 携程旅游信息技术（上海）有限公司 基于神经网络的动物识别方法、系统、设备及存储介质
CN112967283A (zh) * 2021-04-22 2021-06-15 上海西井信息科技有限公司 基于双目摄像头的目标识别方法、系统、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
C. VISHNU等: "Detection of motorcyclists without helmet in videos using convolutional neural network", 2017 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN), pages 3036 - 3041 *
伍吉修: "面向建筑工地人员安全防护的视觉检测研究", 中国优秀硕士学位论文全文数据库工程科技Ⅰ辑, pages 026 - 24 *
杨欧;: "基于Android平台的视频智能监控报警系统", 中国高新技术企业, no. 20 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332743A (zh) * 2022-03-09 2022-04-12 深圳海润游艇码头工程有限公司 一种游艇码头监控报警方法和系统
WO2023221443A1 (zh) * 2022-05-20 2023-11-23 劢微机器人科技(深圳)有限公司 基于2d相机的安全预警方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113505704B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN109657592B (zh) 一种智能挖掘机的人脸识别方法
KR101877294B1 (ko) 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
US11508157B2 (en) Device and method of objective identification and driving assistance device
US20140369566A1 (en) Perimeter Image Capture and Recognition System
CN109448326B (zh) 一种基于快速图像识别的地质灾害智能群防监测系统
CN109905675A (zh) 一种基于计算机视觉的矿山人员监控系统及方法
CN113505704B (zh) 图像识别的人员安全侦测方法、系统、设备及存储介质
CN113299073A (zh) 识别车辆违章停车的方法、装置、设备和存储介质
CN112528825A (zh) 一种基于图像识别的车站乘客招援服务方法
WO2023104557A1 (en) Machine-learning for safety rule violation determination
EP4071684A1 (en) Warehouse monitoring system
CN113255542A (zh) 一种基于违规行为识别的违规对象身份识别方法
CN112528903B (zh) 人脸图像获取方法、装置、电子设备及介质
CN113128414A (zh) 人员跟踪方法、装置、计算机可读存储介质及电子设备
CN117351462A (zh) 施工作业检测模型训练方法、装置、设备及存储介质
CN117333929A (zh) 基于深度学习实现道路施工下的异常人员识别方法及系统
CN115131826B (zh) 物品检测识别方法、网络模型的训练方法和装置
CN111985331A (zh) 预防商业秘密被窃照的检测方法及装置
CN116311650A (zh) 基于智能门禁的视线跟踪与手势识别的人机交互方法
CN116030412A (zh) 一种扶梯监控视频异常检测方法与系统
CN115953815A (zh) 基建现场的监测方法及装置
CN114708544A (zh) 一种基于边缘计算的违规行为智能监测头盔及其监测方法
KR102141781B1 (ko) 지역적 매칭 방법을 이용한 객체 재식별 장치 및 그 방법
Chen et al. Social distance monitoring of site workers for COVID-19 using context-guided data augmentation, deep learning, and homography transformation
Gao et al. Molten metal hazards monitoring and early warning system based on convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant after: Shanghai Xijing Technology Co.,Ltd.

Address before: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant before: SHANGHAI WESTWELL INFORMATION AND TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant