CN112163497A - 一种基于图像识别的工地事故预测方法及装置 - Google Patents

一种基于图像识别的工地事故预测方法及装置 Download PDF

Info

Publication number
CN112163497A
CN112163497A CN202011002873.8A CN202011002873A CN112163497A CN 112163497 A CN112163497 A CN 112163497A CN 202011002873 A CN202011002873 A CN 202011002873A CN 112163497 A CN112163497 A CN 112163497A
Authority
CN
China
Prior art keywords
face
working time
personnel
local
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011002873.8A
Other languages
English (en)
Other versions
CN112163497B (zh
Inventor
陈润彬
袁浩亮
许方园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202011002873.8A priority Critical patent/CN112163497B/zh
Publication of CN112163497A publication Critical patent/CN112163497A/zh
Application granted granted Critical
Publication of CN112163497B publication Critical patent/CN112163497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于图像识别的工地事故预测方法及装置，通过利用预设的卷积神经网络实时对获取到的视频流数据进行安全装备识别，以获得安全识别结果；以及，实时对该视频流数据进行人脸识别与分析，以获得人脸分析结果；将安全识别结果、人脸分析结果以及工地的气候地理信息输入多元回归方程，以获得工地的事故发生预测数值，以及识别出多元回归方程中权重较大的特征变量作为事故发生原因；从而能够根据历史事故发生数值和历史事故发生预测数值不断地对多元回归方程进行更新，并根据最新的多元回归方程识别出事故发生原因，进而能够对事故根源进行排查，进而从根源上进行工地事故预测。

Description

一种基于图像识别的工地事故预测方法及装置
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种基于图像识别的工地事故预测方法及装置。
背景技术
随着城市建设的蓬勃发展，施工工地也越来越多，但由于施工工地属于高危区域，在施工过程发生事故的案例也很多。因此，对施工工地进行监控和排查，降低事故发生率是非常有必要的。可是，对所有施工工地进行地毯式排查，除了需要耗费大量的人力物力，效率低下，还无法针对性地排查，导致工地中引发事故的根本原因经常被错漏。
目前，在现实中经常应用到深度学习技术，通过训练一个卷积神经网络学习特征，帮助人们完成一些简单的特征识别工作。比如，有些施工工地应用了卷积神经网络，通过目标检测算法检测判断是否有合理佩戴安全防护装备，又有些施工工地应用了卷积神经网络，通过人脸识别判断工人是否为外来人员等。如在中国申请的专利“一种工地现场的安全帽佩戴检测系统及检测方法”(公开日2018.07.24，公开号CN108319926A)以及专利“建筑工地外来人员监测方法、装置及电子设备”(公开日2018.11.23，公开号CN108881858A)。
但是，这些现有技术都是简单地对违规行为进行警报响应，不能对事故根源进行排查，导致无法从根源上进行工地事故预测。
发明内容
本发明为克服上述现有技术存在的缺陷，提供一种基于图像识别的工地事故预测方法及装置，能够对事故根源进行排查，进而从根源上进行工地事故预测。
为解决上述技术问题，本发明的技术方案如下：
本发明第一方面公开一种基于图像识别的工地事故预测方法，包括：
获取工地的视频流数据；
利用预设的卷积神经网络实时对所述视频流数据进行安全装备识别，以获得安全识别结果；
实时对所述视频流数据进行人脸识别与分析，以获得人脸分析结果；
将所述安全识别结果、所述人脸分析结果以及所述工地的气候地理信息输入多元回归方程，以获得所述工地的事故发生预测数值；以及识别出所述多元回归方程中权重较大的特征变量作为事故发生原因；其中，所述多元回归方程是根据最新一段历史时间段内的历史事故发生数值和历史事故发生预测数值而确定的。
进一步地，所述安全识别结果包括工人无正确佩戴安全装备的记录信息；所述人脸分析结果包括外来人员记录信息、本地人员的当前实际工作时长以及工作超时人员数据。
进一步地，所述实时对所述视频流数据进行人脸识别与分析，以获得人脸分析结果，包括：
通过MT-CNN模型对所述视频流数据进行多任务人脸检测，以获得人脸位置定位信息；其中，所述MT-CNN模型包括三层级联架构的卷积神经网络和全连接层；所述人脸位置定位信息包括是否人脸的二分类信息、人脸框的回归以及人脸关键点定位信息；
通过Facenet模型对所述人脸位置定位信息进行身份认证，以获得人脸分析结果。
进一步地，所述通过Facenet模型对所述人脸位置定位信息进行身份认证，以获得人脸分析结果，包括：
将所述人脸位置定位信息输入Facenet模型，以使所述人脸位置定位信息通过所述Facenet模型的CNN子模型，再经过归一化处理，以获得用于表示人脸区域信息的超球面向量；
获取所述超球面向量与预设超球面向量之间的欧式距离；所述预设超球面向量为人脸数据库中的人脸数据经过所述Facenet模型而得到；
若所述欧式距离达到指定距离阈值，判定所述超球面向量对应的人脸为外来人员并进行记录，以获得外来人员记录信息；
若所述欧式距离未达到所述指定距离阈值，判定所述超球面向量对应的人脸为本地人员，并对所述本地人员进行工作计时，以获得所述本地人员的当前实际工作时长；
根据所述本地人员的当前实际工作时长，判断所述本地人员是否工作超时，若是，对所述本地人员进行记录，以获得工作超时人员数据；
将所述外来人员记录信息、所述本地人员的当前实际工作时长以及所述工作超时人员数据作为人脸分析结果。
进一步地，所述对所述本地人员进行工作计时，以获得所述本地人员的当前实际工作时长，包括：
判断所述本地人员是否首次被检测到；
若所述本地人员首次被检测到，初始化启动本地人员的计时器，将所述计时器的计时时长作为所述本地人员的当前实际工作时长；
若所述本地人员非首次被检测到，获取所述本地人员上次被检测到的历史累计工作时长和历史实际工作时长；以及，判断所述历史累计工作时长与所述本地人员的当前累计工作时长的差值是否小于预设时间阈值；若小于，将所述历史累计工作时长与所述当前累计工作时长的差值和所述历史实际工作时长的和值作为所述本地人员的当前实际工作时长；若不小于，将所述历史实际工作时长作为所述本地人员的当前实际工作时长。
进一步地，所述利用预设的卷积神经网络实时对所述视频流数据进行安全装备识别，以获得安全识别结果，包括：
实时将所述视频流数据输入预设的卷积神经网络，以获得所述卷积神经网络中最后三层CNN卷积层输出的特征，经过上采样把最后三层CNN卷积层输出的特征进行融合，以获得具有高层特征的融合特征，再根据所述融合特征对所述视频流数据进行安全装备识别，以获得安全识别结果。
本发明第二方面公开一种基于图像识别的工地事故预测装置，包括：
数据获取单元，用于获取工地的视频流数据；
安全识别单元，用于利用预设的卷积神经网络实时对所述视频流数据进行安全装备识别，以获得安全识别结果；
人脸分析单元，用于实时对所述视频流数据进行人脸识别与分析，以获得人脸分析结果；
预测单元，用于将所述安全识别结果、所述人脸分析结果以及所述工地的气候地理信息输入多元回归方程，以获得所述工地的事故发生预测数值；以及识别出所述多元回归方程中权重较大的特征变量作为事故发生原因；其中，所述多元回归方程是根据最新一段历史时间段内的历史事故发生数值和历史事故发生预测数值而确定的。
进一步地，所述人脸分析单元包括：
检测子单元，用于通过MT-CNN模型对所述视频流数据进行多任务人脸检测，以获得人脸位置定位信息；其中，所述MT-CNN模型包括三层级联架构的卷积神经网络和全连接层；所述人脸位置定位信息包括是否人脸的二分类信息、人脸框的回归以及人脸关键点定位信息；
分析子单元，用于通过Facenet模型对所述人脸位置定位信息进行身份认证，以获得人脸分析结果。
进一步地，所述分析子单元包括：
向量模块，用于将所述人脸位置定位信息输入Facenet模型，以使所述人脸位置定位信息通过所述Facenet模型的CNN子模型，再经过归一化处理，以获得用于表示人脸区域信息的超球面向量；
距离模块，用于获取所述超球面向量与预设超球面向量之间的欧式距离；所述预设超球面向量为人脸数据库中的人脸数据经过所述Facenet模型而得到；
第一判定模块，用于在所述欧式距离达到指定距离阈值时，判定所述超球面向量对应的人脸为外来人员并进行记录，以获得外来人员记录信息；
第二判定模块，用于在所述欧式距离未达到所述指定距离阈值时，判定所述超球面向量对应的人脸为本地人员；
计时模块，用于对所述本地人员进行工作计时，以获得所述本地人员的当前实际工作时长当前实际工作时长；
判断模块，用于根据所述本地人员的当前实际工作时长，判断所述本地人员是否工作超时，若是，对所述本地人员进行记录，以获得工作超时人员数据；
分析模块，用于将所述外来人员记录信息、所述本地人员的当前实际工作时长以及所述工作超时人员数据作为人脸分析结果。
进一步地，所述计时模块具体用于：
判断所述本地人员是否首次被检测到；以及，在所述本地人员首次被检测到时，初始化启动本地人员的计时器，将所述计时器的计时时长作为所述本地人员的当前实际工作时长；以及，在所述本地人员非首次被检测到时，获取所述本地人员上次被检测到的历史累计工作时长和历史实际工作时长，并判断所述历史累计工作时长与所述本地人员的当前累计工作时长的差值是否小于预设时间阈值；若小于，将所述历史累计工作时长与所述当前累计工作时长的差值和所述历史实际工作时长的和值作为所述本地人员的当前实际工作时长；若不小于，将所述历史实际工作时长作为所述本地人员的当前实际工作时长。
进一步地，所述安全识别单元具体用于：
实时将所述视频流数据输入预设的卷积神经网络，以获得所述卷积神经网络中最后三层CNN卷积层输出的特征，经过上采样把最后三层CNN卷积层输出的特征进行融合，以获得具有高层特征的融合特征，再根据所述融合特征对所述视频流数据进行安全装备识别，以获得安全识别结果。
与现有技术相比，本发明技术方案的有益效果是：本发明公开一种基于图像识别的工地事故预测方法及装置，通过利用预设的卷积神经网络实时对获取到的视频流数据进行安全装备识别，以获得安全识别结果；以及，实时对该视频流数据进行人脸识别与分析，以获得人脸分析结果；将安全识别结果、人脸分析结果以及工地的气候地理信息输入多元回归方程，以获得工地的事故发生预测数值，以及识别出多元回归方程中权重较大的特征变量作为事故发生原因；其中，多元回归方程是根据最新一段历史时间段内的历史事故发生数值和历史事故发生预测数值而确定的，从而能够根据历史事故发生数值和历史事故发生预测数值不断地对多元回归方程进行更新，并根据最新的多元回归方程识别出事故发生原因，进而能够对事故根源进行排查，进而从根源上进行工地事故预测。同时，通过根据工人的安全识别结果和人脸分析结果与工地的气候地理信息结合工对事故发生数值进行预测，还可以提高工地事故预测的准确率。
附图说明
图1为实施例1基于图像识别的工地事故预测方法的流程图。
图2为实施例2基于图像识别的工地事故预测装置的示意图。
图3为实施例1卷积神经网络的输入与输出形式。
图4为实施例1获取本地人员的当前实际工作时长的方法流程图。
图5为实施例3基于图像识别的工地事故预测方法的流程图。
其中：201、数据获取单元；202、安全识别单元；203、人脸分析单元；204、预测单元。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，本实施例提供一种基于图像识别的工地事故预测方法，包括如下步骤：
S1：获取工地的视频流数据。
本发明实施例中，可以通过各个工地上的摄像头采集视频流数据。
S2：利用预设的卷积神经网络实时对视频流数据进行安全装备识别，以获得安全识别结果。
其中，安全识别结果包括工人无正确佩戴安全装备的记录信息。
可选地，安全装备包括安全帽和安全带；步骤S2中，对视频流数据进行安全装备识别可以包括：对视频流数据中包括的各个工人进行是否正确佩戴安全装备的识别，若判断出任一工人无正确佩戴安全装备，则对该工人进行正确佩戴安全装备记录，以获得安全识别结果。
进一步可选地，卷积神经网络可以被预先构建并训练好，其可以是基于YOLOv3网络构成的网络，并采用Darknet-53作为骨干网络，包含多层CNN卷积层，同时加入了多尺度预测网络。那么步骤S2中，利用预设的卷积神经网络实时对视频流数据进行安全装备识别可以包括：
实时将视频流数据输入该卷积神经网络，以获得卷积神经网络中最后三层CNN卷积层输出的特征，经过上采样把最后三层CNN卷积层输出的特征进行融合，以获得具有高层特征的融合特征，再根据这一融合特征对视频流数据进行安全装备识别，以获得安全识别结果，进行可以提高安全装备的识别准确率，尤其是提高对远距离工人的安全装备的识别准确率。
请参阅图3，图3是卷积神经网络的输入与输出形式。如图3所示，输入为416*416*3的视频流数据，经过卷积神经网络的多层CNN卷积神经网络分别进行32倍下采样、16倍下采样、8倍下采样之后，分别对应获得维度为13*13*3*(4+1+3)的倒数第三层卷积层输出的特征、26*26*3*(4+1+3)的倒数第二层卷积层输出的特征、26*26*3*(4+1+3)的倒数第一层卷积层输出的特征，然后对倒数第三层卷积层输出的特征进行2倍上采样后与倒数第二层卷积层输出的特征进行融合，融合之后再进行2倍上采样后与倒数第一层卷积层输出的特征进行融合，将最终的融合特征作为输出。
其中，维度中前两个因数表示该卷积层的网格数，第三个因数表示先验框数，即卷积层的每个网格数都有3个先验框，第四个因数(4+1+3)中4是指每个先验框的四个坐标，1是指物体识别的置信度，3是指类别的数量，本发明实施例所需检测的类别有3个，分别为是否为工人、是否正确佩戴安全帽以及是否正确佩戴安全带。
可选地，卷积神经网络在训练的过程中所采用的损失函数可以采用以下公式(1)和(2)表示：
L＝L1+L2-L3-L4-L5 (1)
Figure BDA0002694926800000071
其中，L1表示中心坐标误差，其中λcoord为常数，
Figure BDA0002694926800000072
表示第i个网格的第j个先验框是否负责预测obj物体，是则为1，否则为0，xi、yi表示预测物体的中心坐标值，
Figure BDA0002694926800000073
表示物体的真实中心坐标；L2表示宽高坐标误差wi、hi表示预测物体的高宽，
Figure BDA0002694926800000074
表示物体的真实高宽；L3与L4表示置信度误差，
Figure BDA0002694926800000075
表示预测网格是否有物体的概率，
Figure BDA0002694926800000076
表示网格是否真实有物体，损失函数分为两部分：有物体，没有物体，其中没有物体损失部分增加了λnoord权重系数；L5表示分类误差，
Figure BDA0002694926800000077
表示分类为c类别的概率，
Figure BDA0002694926800000078
表示真实类别。
S3：实时对视频流数据进行人脸识别与分析，以获得人脸分析结果。
其中，人脸分析结果包括外来人员记录信息、本地人员的当前实际工作时长以及工作超时人员数据。
需要说明的是，对本地人员进行工作计时，并记录工作超时人员数据，可以对工作超时的本地人员发出警告提示，防止本地人员长期疲劳工作状态，从而降低事故的发生。
S3.1：通过MT-CNN模型对将视频流数据进行多任务人脸检测，以获得人脸位置定位信息；其中，MT-CNN模型包括三层级联架构的卷积神经网络和全连接层；人脸位置定位信息包括是否人脸的二分类信息、人脸框的回归信息以及人脸关键点定位信息；
可选地，MT-CNN模型是基于深度学习的多任务人脸检测网络，该MT-CNN模型需要训练三个任务，分别为是否人脸的二分类、人脸框的回归以及人脸关键点定位。
任务一：是否人脸的二分类的损失函数可通过以下公式(3)表示：
Figure BDA0002694926800000081
其中，pi表示为网络生成的候选框是人脸的概率，
Figure BDA0002694926800000082
为真实标签。
任务二：人脸框的回归的损失函数可通过以下公式(4)表示：
Figure BDA0002694926800000083
其中，
Figure BDA0002694926800000084
为通过网络预测得到的坐标，
Figure BDA0002694926800000085
为真实背景坐标值，R4表示人脸的四个坐标数据。
任务三：人脸关键点定位的损失函数可通过以下公式(5)表示：
Figure BDA0002694926800000086
式中
Figure BDA0002694926800000087
为通过网络预测得到的人脸关键点坐标，
Figure BDA0002694926800000088
则为真实的人脸关键点坐标。
可选地，由于MT-CNN包括三层级联架构的卷积神经网络，因此训练过程需要最小化约束函数，可通过以下公式(6)表示：
Figure BDA0002694926800000089
式中，N为训练样本数量，αj表示任务的重要性，
Figure BDA00026949268000000810
为样本的标签，
Figure BDA00026949268000000811
为上述的损失函数，usually the model used αdet＝1,αbox＝0.5,αlandmark＝0.5in P-Net and R-Net,whileαdet＝1,αbox＝0.5,αlandmark＝1 in O-Net。
S3.2：通过Facenet模型对人脸位置定位信息进行身份认证，以获得人脸分析结果。
可选地，步骤S3.2可以包括以下步骤：
S3.2.1：将人脸位置定位信息输入Facenet模型，以使人脸位置定位信息通过Facenet模型的CNN子模型，再经过归一化处理，以获得用于表示人脸区域信息的超球面向量。
其中，人脸位置定位信息可以具体为人脸图像，以及步骤S3.2.1可以包括：将人脸图像分Batch经过Inception结构的CNN子模型，再经过L2归一化处理，以获得用于表示人脸区域信息的超球面向量。
S3.2.2：获取超球面向量与预设超球面向量之间的欧式距离。
其中，预设超球面向量为人脸数据库中的人脸数据经过Facenet模型而得到，人脸数据库中可以存储有若干个已录入的人脸图像，将每个已录入的人脸图像经过Facenet模型可以获得对应的预设超球面向量输出。然后可以判断超球面向量与预设超球面向量之间的欧式距离是否达到指定距离阈值，该指定距离阈值可以由开发人员根据实际情况而设定。
S3.2.3：若欧式距离达到指定距离阈值，判定超球面向量对应的人脸为外来人员并进行记录，以获得外来人员记录信息。
可选地，若判定超球面向量对应的人脸为外来人员，还可以向工地的管理人员发出警报信息。
S3.2.4：若欧式距离未达到指定距离阈值，判定超球面向量对应的人脸为本地人员，并对本地人员进行工作计时，以获得本地人员的当前实际工作时长。
作为一种可选的实施方式，步骤S3.2.4可以包括以下步骤：
S3.2.4.1：判断本地人员是否首次被检测到；
S3.2.4.2：若本地人员首次被检测到，初始化启动本地人员的计时器，将计时器的计时时长作为本地人员的当前实际工作时长Ti；
S3.2.4.3：若本地人员非首次被检测到，获取本地人员上次被检测到的历史累计工作时长ti'和历史实际工作时长Ti'；
S3.2.4.4：判断历史累计工作时长ti'与当前累计工作时长ti的差值是否小于预设时间阈值；其中，预设时间阈值可以为15分钟或30分钟等具体的时间。
S3.2.4.5：若小于，将历史累计工作时长ti'与本地人员的当前累计工作时长ti的差值和历史实际工作时长Ti'的和值作为本地人员的当前实际工作时长Ti；
需要说明的是，若历史累计工作时长与当前累计工作时长的差值小于预设时间阈值，则判定该本地人员处于连续工作状态，因此需要对工作时长进行叠加。
S3.2.4.6：若不小于，将历史实际工作时长Ti'作为本地人员的当前实际工作时长Ti。
若历史累计工作时长与当前累计工作时长的差值不小于预设时间阈值，则判定该本地人员已经休息，不处于连续工作状态，因此将上次检测到的历史实际工作时长作为当前实际工作时长。
如图4所示，可以设定ti表示第i个本地人员的计时器计得的当前累计工作时长，若ti不大于0，判定第i个本地人员首次被检测到，则使第i个本地人员的时间计数器从ti＝0开始进行计时；若ti大于0，判定第i个本地人员非首次被检测到，则获取第i个本地人员上次被检测到的历史累计工作时长ti'，并计算历史累计工作时长ti'与当前累计工作时长ti的差值是否小于预设时间阈值；若小于预设时间阈值，将历史累计工作时长ti'与当前累计工作时长ti的差值和上次被检测到的历史实际工作时长Ti'的和作为当前实际工作时长；若不小于预设时间阈值，则将上次被检测到的历史实际工作时长Ti'作为当前实际工作时长Ti。
S3.2.5：根据本地人员的当前实际工作时长，判断本地人员是否工作超时，若是，对本地人员进行记录，以获得工作超时人员数据。
可选地，若本地人员的总工作时长超过预设预警时长，判定为工作超时，并记录工作超时的本地人员数量。
S3.2.6：将外来人员记录信息、本地人员的当前实际工作时长以及工作超时人员数据作为人脸分析结果。
S4：将安全识别结果、人脸分析结果以及工地的气候地理信息输入多元回归方程，以获得工地的事故发生预测数值；以及识别出多元回归方程中权重较大的特征变量作为事故发生原因。其中，多元回归方程是根据最新一段历史时间段内的历史事故发生数值和历史事故发生预测数值而确定的。
需要说明的是，事故风险指数用于指示发生安全事故的风险，其具体可以是预测的事故发生数量。其中，气候地理信息包括但不限于温度、湿度、光照度等。
可选地，工地的气候地理信息可以通过装设在工地上的各个不同传感器采集各个施工工地的环境数据，根据环境数据获得工地的气候地理特征作为气候地理信息。其中，传感器可以包括但不限于温度传感器、湿度传感器、光照传感器等，气候地理特征包括工地的当地气候、经纬度以及降雨量等信息。
可选地，可以将安全识别结果、人脸分析结果以及气候地理信息作为特征变量，输入利用多元回归模型建立的多元回归方程，如以下公式(7)：
Figure BDA0002694926800000111
其中，xi＝1,2,3,4,5,…分别表示各工地的工人佩戴安全帽率、工人佩戴安全带率、工人平均工作时长、外来人员误入数以及气候地理信息中的任一种、……。θ0表示偏置系数，θi＝1,2,3,4，5，Λ表示各个特征变量的权重，hθ(x)表示工地的事故发生预测数值。
其中，特征变量的权重θi＝1,2,3,4，5，Λ可以通过最新一段历史时间段内的历史事故发生数值和历史事故发生预测数值进行数据拟合获得，令历史事故发生预测数值hθ(x(k))与历史事故发生数值y(k)的平方和最小，可得目标函数如下：
Figure BDA0002694926800000112
Figure BDA0002694926800000113
其中，hθ(x(k))表示第k组特征变量(如历史安全识别结果、历史人脸分析结果及历史气候地理信息)经过多元线性回归得出的历史发生事故预测数值，y(k)表示与hθ(x(k))相对应的相同时间段内的历史发生事故数值。
本实施例提供一种基于图像识别的工地事故预测方法，通过利用预设的卷积神经网络实时对获取到的视频流数据进行安全装备识别，以获得安全识别结果；以及，实时对该视频流数据进行人脸识别与分析，以获得人脸分析结果；将安全识别结果、人脸分析结果以及工地的气候地理信息输入多元回归方程，以获得工地的事故发生预测数值，以及识别出多元回归方程中权重较大的特征变量作为事故发生原因；其中，多元回归方程是根据最新一段历史时间段内的历史事故发生数值和历史事故发生预测数值而确定的，从而能够根据历史事故发生数值和历史事故发生预测数值不断地对多元回归方程进行更新，并根据最新的多元回归方程识别出事故发生原因，进而能够对事故根源进行排查，进而从根源上进行工地事故预测。同时，通过根据工人的安全识别结果和人脸分析结果与工地的气候地理信息结合工对事故发生数值进行预测，还可以提高工地事故预测的准确率。
实施例2
如图2所示，本实施例提供一种基于图像识别的工地事故预测装置，包括数据获取单元201、安全识别单元202、人脸分析单元203和预测单元204，其中：
数据获取单元201，用于获取工地的视频流数据；
安全识别单元202，用于利用预设的卷积神经网络实时对视频流数据进行安全装备识别，以获得安全识别结果；安全识别结果包括工人无正确佩戴安全装备的记录信息；
人脸分析单元203，用于实时对视频流数据进行人脸识别与分析，以获得人脸分析结果；人脸分析结果包括外来人员记录信息、本地人员的工作时长记录信息以及工作超时人员数据；
预测单元204，用于将安全识别结果、人脸分析结果以及工地的气候地理信息输入多元回归方程，以获得工地的事故发生预测数值；以及识别出多元回归方程中权重较大的特征变量作为事故发生原因；其中，多元回归方程是根据最新一段历史时间段内的历史事故发生数值和历史事故发生预测数值而确定的。
进一步地，人脸分析单元203包括以下未图示的子单元：
检测子单元，用于通过MT-CNN模型对视频流数据进行多任务人脸检测，以获得人脸位置定位信息；其中，MT-CNN模型包括三层级联架构的卷积神经网络和全连接层；人脸位置定位信息包括是否人脸的二分类信息、人脸框的回归以及人脸关键点定位信息；
分析子单元，用于通过Facenet模型对人脸位置定位信息进行身份认证，以获得人脸分析结果。
进一步地，分析子单元可以包括：
向量模块，用于将人脸位置定位信息输入Facenet模型，以使人脸位置定位信息通过Facenet模型的CNN子模型，再经过归一化处理，以获得用于表示人脸区域信息的超球面向量；
距离模块，用于获取超球面向量与预设超球面向量之间的欧式距离；预设超球面向量为人脸数据库中的人脸数据经过Facenet模型而得到；
第一判定模块，用于在欧式距离达到指定距离阈值时，判定超球面向量对应的人脸为外来人员并进行记录，以获得外来人员记录信息；
第二判定模块，用于在欧式距离未达到指定距离阈值时，判定超球面向量对应的人脸为本地人员；
计时模块，用于对本地人员进行工作计时，以获得本地人员的当前实际工作时长；
判断模块，用于根据本地人员的当前实际工作时长，判断本地人员是否工作超时，若是，对本地人员进行记录，以获得工作超时人员数据；
分析模块，用于将外来人员记录信息、本地人员的当前实际工作时长以及工作超时人员数据作为人脸分析结果。
进一步地，计时模块具体用于：
判断本地人员是否首次被检测到；以及，在本地人员首次被检测到时，初始化启动本地人员的计时器，将计时器的计时时长作为本地人员的当前实际工作时长；以及，在本地人员非首次被检测到时，获取本地人员上次被检测到的历史累计工作时长和历史实际工作时长，并判断历史累计工作时长与本地人员的当前累计工作时长的差值是否小于预设时间阈值；若小于，将历史累计工作时长与当前累计工作时长的差值和历史实际工作时长的和值作为本地人员的当前实际工作时长；若不小于，将历史实际工作时长作为本地人员的当前实际工作时长。
进一步地，安全识别单元202具体用于：
实时将视频流数据输入预设的卷积神经网络，以获得卷积神经网络中最后三层CNN卷积层输出的特征，经过上采样把最后三层CNN卷积层输出的特征进行融合，以获得具有高层特征的融合特征，再根据融合特征对视频流数据进行安全装备识别，以获得安全识别结果。
本实施例提供一种基于图像识别的工地事故预测装置，通过利用预设的卷积神经网络实时对获取到的视频流数据进行安全装备识别，以获得安全识别结果；以及，实时对该视频流数据进行人脸识别与分析，以获得人脸分析结果；将安全识别结果、人脸分析结果以及工地的气候地理信息输入多元回归方程，以获得工地的事故发生预测数值，以及识别出多元回归方程中权重较大的特征变量作为事故发生原因；其中，多元回归方程是根据最新一段历史时间段内的历史事故发生数值和历史事故发生预测数值而确定的，从而能够根据历史事故发生数值和历史事故发生预测数值不断地对多元回归方程进行更新，并根据最新的多元回归方程识别出事故发生原因，进而能够对事故根源进行排查，进而从根源上进行工地事故预测。同时，通过根据工人的安全识别结果和人脸分析结果与工地的气候地理信息结合工对事故发生数值进行预测，还可以提高工地事故预测的准确率。
实施例3
本实施例提供一种基于图像识别的工地事故预测系统，执行图5所示的基于图像识别的工地事故预测方法。如图5所示，该工地事故预测系统包括安全帽、安全带识别单元、人脸识别单元、工地风险评估单元、工人工时判断单元和环境数据采集单元；如图5所示，工地事故预测方法包括：
首先通过各个工地的摄像头获取视频流数据，分别把视频流数据传到安全帽、安全带识别单元中，其中，安全帽、安全带识别单元接收到视频流数据后进行安全帽、安全带的识别，然后对工人是否佩戴了安全装备的识别结果进行判断，若判断出工人正确佩戴了安全装备则无动作，否则对工人进行无佩戴安全装备记录；人脸识别单元在接收到视频流数据后进行人脸识别处理，与本地工人人脸数据库作比较，判断目标工人是否为外来人员，若否说明该目标工人为本地工人，若是说明该目标工人为外来人员并进行记录，工人工时判断单元需要对本地工人需要进行工作时长判断，若工作时长没有超时，则正常进行工时记录，若工作时长超时，则记录工作超时人员数据；最后把无佩戴安全装备记录、外来人员记录以及工作超时人员记录以及环境数据采集单元收集得到的数据传输到工地风险评估单元中进行风险评估。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于图像识别的工地事故预测方法，其特征在于，包括：
获取工地的视频流数据；
利用预设的卷积神经网络实时对所述视频流数据进行安全装备识别，以获得安全识别结果；
实时对所述视频流数据进行人脸识别与分析，以获得人脸分析结果；
将所述安全识别结果、所述人脸分析结果以及所述工地的气候地理信息输入多元回归方程，以获得所述工地的事故发生预测数值；以及识别出所述多元回归方程中权重较大的特征变量作为事故发生原因；其中，所述多元回归方程是根据最新一段历史时间段内的历史事故发生数值和历史事故发生预测数值而确定的。
2.根据权利要求1所述的一种基于图像识别的工地事故预测方法，其特征在于，所述安全识别结果包括工人无正确佩戴安全装备的记录信息；所述人脸分析结果包括外来人员记录信息、本地人员的当前实际工作时长以及工作超时人员数据。
3.根据权利要求1所述的一种基于图像识别的工地事故预测方法，其特征在于，所述实时对所述视频流数据进行人脸识别与分析，以获得人脸分析结果，包括：
通过MT-CNN模型对所述视频流数据进行多任务人脸检测，以获得人脸位置定位信息；其中，所述MT-CNN模型包括三层级联架构的卷积神经网络和全连接层；所述人脸位置定位信息包括是否人脸的二分类信息、人脸框的回归以及人脸关键点定位信息；
通过Facenet模型对所述人脸位置定位信息进行身份认证，以获得人脸分析结果。
4.根据权利要求3所述的一种基于图像识别的工地事故预测方法，其特征在于，所述通过Facenet模型对所述人脸位置定位信息进行身份认证，以获得人脸分析结果，包括：
将所述人脸位置定位信息输入Facenet模型，以使所述人脸位置定位信息通过所述Facenet模型的CNN子模型，再经过归一化处理，以获得用于表示人脸区域信息的超球面向量；
获取所述超球面向量与预设超球面向量之间的欧式距离；所述预设超球面向量为人脸数据库中的人脸数据经过所述Facenet模型而得到；
若所述欧式距离达到指定距离阈值，判定所述超球面向量对应的人脸为外来人员并进行记录，以获得外来人员记录信息；
若所述欧式距离未达到所述指定距离阈值，判定所述超球面向量对应的人脸为本地人员，并对所述本地人员进行工作计时，以获得所述本地人员的当前实际工作时长；
根据所述本地人员的当前实际工作时长，判断所述本地人员是否工作超时，若是，对所述本地人员进行记录，以获得工作超时人员数据；
将所述外来人员记录信息、所述本地人员的当前实际工作时长以及所述工作超时人员数据作为人脸分析结果。
5.根据权利要求4所述的一种基于图像识别的工地事故预测方法，其特征在于，所述对所述本地人员进行工作计时，以获得所述本地人员的当前实际工作时长，包括：
判断所述本地人员是否首次被检测到；
若所述本地人员首次被检测到，初始化启动本地人员的计时器，将所述计时器的计时时长作为所述本地人员的当前实际工作时长；
若所述本地人员非首次被检测到，获取所述本地人员上次被检测到的历史累计工作时长和历史实际工作时长；以及，判断所述历史累计工作时长与所述本地人员的当前累计工作时长的差值是否小于预设时间阈值；若小于，将所述历史累计工作时长与所述当前累计工作时长的差值和所述历史实际工作时长的和值作为所述本地人员的当前实际工作时长；若不小于，将所述历史实际工作时长作为所述本地人员的当前实际工作时长。
6.根据权利要求1至5任一项所述的一种基于图像识别的工地事故预测方法，其特征在于，所述利用预设的卷积神经网络实时对所述视频流数据进行安全装备识别，以获得安全识别结果，包括：
实时将所述视频流数据输入预设的卷积神经网络，以获得所述卷积神经网络中最后三层CNN卷积层输出的特征，经过上采样把最后三层CNN卷积层输出的特征进行融合，以获得具有高层特征的融合特征，再根据所述融合特征对所述视频流数据进行安全装备识别，以获得安全识别结果。
7.一种基于图像识别的工地事故预测装置，其特征在于，包括：
数据获取单元，用于获取工地的视频流数据；
安全识别单元，用于利用预设的卷积神经网络实时对所述视频流数据进行安全装备识别，以获得安全识别结果；
人脸分析单元，用于实时对所述视频流数据进行人脸识别与分析，以获得人脸分析结果；
预测单元，用于将所述安全识别结果、所述人脸分析结果以及所述工地的气候地理信息输入多元回归方程，以获得所述工地的事故发生预测数值；以及识别出所述多元回归方程中权重较大的特征变量作为事故发生原因；其中，所述多元回归方程是根据最新一段历史时间段内的历史事故发生数值和历史事故发生预测数值而确定的。
8.根据权利要求7所述的一种基于图像识别的工地事故预测装置，其特征在于，所述人脸分析单元包括：
检测子单元，用于通过MT-CNN模型对所述视频流数据进行多任务人脸检测，以获得人脸位置定位信息；其中，所述MT-CNN模型包括三层级联架构的卷积神经网络和全连接层；所述人脸位置定位信息包括是否人脸的二分类信息、人脸框的回归以及人脸关键点定位信息；
分析子单元，用于通过Facenet模型对所述人脸位置定位信息进行身份认证，以获得人脸分析结果。
9.根据权利要求8所述的一种基于图像识别的工地事故预测装置，其特征在于，所述分析子单元包括：
向量模块，用于将所述人脸位置定位信息输入Facenet模型，以使所述人脸位置定位信息通过所述Facenet模型的CNN子模型，再经过归一化处理，以获得用于表示人脸区域信息的超球面向量；
距离模块，用于获取所述超球面向量与预设超球面向量之间的欧式距离；所述预设超球面向量为人脸数据库中的人脸数据经过所述Facenet模型而得到；
第一判定模块，用于在所述欧式距离达到指定距离阈值时，判定所述超球面向量对应的人脸为外来人员并进行记录，以获得外来人员记录信息；
第二判定模块，用于在所述欧式距离未达到所述指定距离阈值时，判定所述超球面向量对应的人脸为本地人员；
计时模块，用于对所述本地人员进行工作计时，以获得所述本地人员的当前实际工作时长；
判断模块，用于根据所述本地人员的当前实际工作时长，判断所述本地人员是否工作超时，若是，对所述本地人员进行记录，以获得工作超时人员数据；
分析模块，用于将所述外来人员记录信息、所述本地人员的当前实际工作时长以及所述工作超时人员数据作为人脸分析结果。
10.根据权利要求9所述的一种基于图像识别的工地事故预测装置，其特征在于，所述计时模块具体用于：
判断所述本地人员是否首次被检测到；以及，在所述本地人员首次被检测到时，初始化启动本地人员的计时器，将所述计时器的计时时长作为所述本地人员的当前实际工作时长；以及，在所述本地人员非首次被检测到时，获取所述本地人员上次被检测到的历史累计工作时长和历史实际工作时长，并判断所述历史累计工作时长与所述本地人员的当前累计工作时长的差值是否小于预设时间阈值；若小于，将所述历史累计工作时长与所述当前累计工作时长的差值和所述历史实际工作时长的和值作为所述本地人员的当前实际工作时长；若不小于，将所述历史实际工作时长作为所述本地人员的当前实际工作时长。
CN202011002873.8A 2020-09-22 2020-09-22 一种基于图像识别的工地事故预测方法及装置 Active CN112163497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011002873.8A CN112163497B (zh) 2020-09-22 2020-09-22 一种基于图像识别的工地事故预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011002873.8A CN112163497B (zh) 2020-09-22 2020-09-22 一种基于图像识别的工地事故预测方法及装置

Publications (2)

Publication Number Publication Date
CN112163497A true CN112163497A (zh) 2021-01-01
CN112163497B CN112163497B (zh) 2023-08-04

Family

ID=73862651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011002873.8A Active CN112163497B (zh) 2020-09-22 2020-09-22 一种基于图像识别的工地事故预测方法及装置

Country Status (1)

Country Link
CN (1) CN112163497B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297910A (zh) * 2021-04-25 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业安全带识别方法
CN113449656A (zh) * 2021-07-01 2021-09-28 淮阴工学院 一种基于改进的卷积神经网络的驾驶员状态识别方法
CN114819588A (zh) * 2022-04-20 2022-07-29 南京同筑盛世信息科技有限公司 基于物联网融合5g的施工风险监测调控系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN108597050A (zh) * 2018-04-20 2018-09-28 重庆睿豪科技发展有限公司 基于物联网的建筑工地管理系统
CN109657592A (zh) * 2018-12-12 2019-04-19 大连理工大学 一种智能挖掘机的人脸识别系统及方法
CN110852703A (zh) * 2019-10-22 2020-02-28 佛山科学技术学院 基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质
CN111079625A (zh) * 2019-12-11 2020-04-28 江苏国光信息产业股份有限公司 一种摄像头自动跟随人脸转动的控制方法
CN111460985A (zh) * 2020-03-30 2020-07-28 华中科技大学 基于跨摄像头人体匹配的现场工人轨迹统计方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN108597050A (zh) * 2018-04-20 2018-09-28 重庆睿豪科技发展有限公司 基于物联网的建筑工地管理系统
CN109657592A (zh) * 2018-12-12 2019-04-19 大连理工大学 一种智能挖掘机的人脸识别系统及方法
CN110852703A (zh) * 2019-10-22 2020-02-28 佛山科学技术学院 基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质
CN111079625A (zh) * 2019-12-11 2020-04-28 江苏国光信息产业股份有限公司 一种摄像头自动跟随人脸转动的控制方法
CN111460985A (zh) * 2020-03-30 2020-07-28 华中科技大学 基于跨摄像头人体匹配的现场工人轨迹统计方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
崔法毅;: "色度马氏距离图与灰度图特征自适应融合的彩色人脸识别", 红外与激光工程, no. 04, pages 1 - 5 *
师文喜;王德勇;敖乃翔;连礼泉;赵学义;: "三维人脸识别技术在安防领域的应用研究", 中国公共安全(学术版), no. 02, pages 1 - 4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297910A (zh) * 2021-04-25 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业安全带识别方法
CN113449656A (zh) * 2021-07-01 2021-09-28 淮阴工学院 一种基于改进的卷积神经网络的驾驶员状态识别方法
CN114819588A (zh) * 2022-04-20 2022-07-29 南京同筑盛世信息科技有限公司 基于物联网融合5g的施工风险监测调控系统
CN114819588B (zh) * 2022-04-20 2023-03-07 南京同筑盛世信息科技有限公司 基于物联网融合5g的施工风险监测调控系统

Also Published As

Publication number Publication date
CN112163497B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
US10812761B2 (en) Complex hardware-based system for video surveillance tracking
CN112163497A (zh) 一种基于图像识别的工地事故预测方法及装置
CN111598040B (zh) 一种建筑工人身份识别及安全帽佩戴检测方法及系统
CN111860230B (zh) 一种基于视频监控人员未佩戴口罩行为的自动检测系统及方法
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
CN106951889A (zh) 井下高危区域动目标监测和管理系统
CN114155601A (zh) 一种基于视觉的作业人员危险行为检测方法及系统
KR102369229B1 (ko) 지하공동구 특화 레일로봇 기반 위험예측시스템 및 위험예측방법
CN110728252A (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN110458794B (zh) 用于轨道列车的配件质量检测方法及装置
CN114155614B (zh) 一种作业现场反违章行为识别方法及系统
CN115002150A (zh) 一种智慧社区智能化疫情管控系统及方法
CN112132048A (zh) 一种基于计算机视觉的社区巡更分析方法及系统
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN115620471A (zh) 一种基于大数据筛查的图像识别安防系统
KR102157201B1 (ko) 사고기록정보와 이미지에 기반한 재난 상황 판단 방법 및 시스템
CN117423157A (zh) 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法
CN115953815A (zh) 基建现场的监测方法及装置
CN115116119A (zh) 一种基于数字图像处理技术的人脸识别系统
CN115563652A (zh) 轨迹嵌入预防泄露方法及系统
Susanto et al. The implementation of intelligent systems in automating vehicle detection on the road
CN115410113A (zh) 基于计算机视觉的跌倒检测方法、装置及存储介质
CN113159984A (zh) 一种变电站工作人员工作路径追踪方法
CN113255422A (zh) 一种基于深度学习的工序衔接目标识别管理方法及系统
CN117746338B (zh) 基于人工智能的物业园区安全管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant