CN116311361B - 一种基于像素级标注的危险源室内工作人员定位方法 - Google Patents
一种基于像素级标注的危险源室内工作人员定位方法 Download PDFInfo
- Publication number
- CN116311361B CN116311361B CN202310192131.3A CN202310192131A CN116311361B CN 116311361 B CN116311361 B CN 116311361B CN 202310192131 A CN202310192131 A CN 202310192131A CN 116311361 B CN116311361 B CN 116311361B
- Authority
- CN
- China
- Prior art keywords
- personnel
- person
- frame
- boundary
- box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000002372 labelling Methods 0.000 title claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims description 58
- 238000001914 filtration Methods 0.000 claims description 52
- 238000013135 deep learning Methods 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000010985 leather Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于像素级标注的危险源室内工作人员定位方法,包括以下步骤:从工厂监控系统中获取车间监控视频‑给出危险源区域的坐标范围‑给出员工的二维坐标‑实时获取每位员工在车间中的移动路线‑获取该危险源区域的二维坐标‑得到角度标定物与画面底部的夹角α‑根据夹角α对员工及危险源在y轴方向和x轴方向上的坐标进行修正‑根据修正的二维坐标,采用欧几里得距离公式计算员工到危险源区域的空间距离。本发明采用上述基于像素级标注的危险源室内工作人员定位方法,通过计算车间内员工实时位置及员工与危险源的实时距离,减轻了管理人员的工作量,提高了工厂车间安全管理的效率,对企业的安全和可持续发展有重要意义。
Description
技术领域
本发明涉及一种工厂车间安全管理技术,尤其涉及一种基于像素级标注的危险源室内工作人员定位方法。
背景技术
工厂车间安全管理指的是为了在生产过程中保护劳动者的安全和健康,改善劳动条件,预防工伤事故和职业危害,实现劳逸结合,加强安全生产,使劳动者安全顺利地进行生产所采取的一系列法制措施。因而,基于车间监控视频画面,对其中的人员进行实时识别及追踪,并实时计算人员与车间内危险源的距离(即人员定位),是工厂车间安全管理中的重要工作。
可知,对车间内人员实时识别、追踪及定位的精度直接影响了工厂车间安全管理的效率,准确的识别、追踪及定位可以有效降低安全管理成本,并有效辅助安全管理人员及时发现安全隐患,并采取措施消除安全隐患,避免因安全事故而导致重大资金损失甚至人员伤亡,保证工厂车间安全生产。
发明内容
为解决上述问题,本发明提供了一种基于像素级标注的危险源室内工作人员定位方法,可根据车间监控系统中的监控视频,采用多种人工智能算法,快速、准确地对车间中的人员进行实时识别、追踪,并实时进行人员定位。辅助安全管理人员及时发现安全隐患,提升工厂车间安全管理的水平。
为实现上述目的,本发明提供了一种基于像素级标注的危险源室内工作人员定位方法,包括以下步骤:
S1、从工厂监控系统中获取车间监控视频;
S2、根据对车间的现场实测,对监控视频画面中的危险源区域进行标注,给出危险源区域的坐标范围;
S3、基于深度学习的厂房人员检测模型对监控视频画面中的员工进行识别,给出员工的二维坐标;
S4、根据S3中识别出的车间员工的二维坐标,采用基于卡尔曼滤波的抗遮挡人员轨迹追踪算法,实时获取每位员工在车间中的移动路线,并给每位员工加上唯一编号;
S5、根据S2中得到的危险源区域坐标范围,使用其左上角和右下角坐标的均值,作为该危险源区域的二维坐标;
S6、以车间地面中一条与监控视频头一侧墙面垂直的皮质刻度尺作为角度标定物,使用角度测量仪得到监控视频画面中的角度标定物与画面底部的夹角α;
S7、根据S6中得到的夹角,使用正弦定理对员工/危险源区域在y轴方向上的坐标进行修正;
S8、根据S6中得到的夹角,使用正切定理对员工/危险源区域在x轴方向上的坐标进行修正;
S9、根据S7、S8中得到的员工/危险源区域在x、y轴上修正的二维坐标,采用欧几里得距离公式计算员工到危险源区域的空间距离。
优选的,步骤S3所述的深度学习的厂房人员检测模型包括主干网络backbone和4个输出网络head;
其中,backbone组件为特征提取网络,用于从输入的图像中构建4个不同分辨率下的特征图;
4个输出网络head分别用于识别输入图像中不同大小尺度的人员;最上层第一个head输出大小为(30,30,24)的张量,从输入图像中识别尺寸最大的人员,第二个head和第三个head分别输出大小为(60,60,24)和(120,120,24)的张量,从输入图像中识别尺寸居中的人员,最底层的head输出大小为(240,240,24)的张量,从输入图像中识别尺寸较小的人员;
head组件为输出网络,用于有效地刻画输入图片中的语义信息和位置信息,且head组件采用自顶向下的FPN金字塔结构与自底向上的PAN金字塔结构对输入图片中的信息进行多尺度特征融合,FPN金字塔结构通过自定向下进行上采样,并与下层特征图进行融合,从而将上层特征图较强的人员特征语义信息传递给下层特征图,实现人员的精准识别;PAN金字塔结构通过自底向上进行下采样,并与上层特征图进行融合,从而将底层特征图较强的位置信息传递到高层特征图,实现图像中人员的精准定位;综合FPN和PAN结构,使得不同尺寸的特征图都包含较强的人员语义信息和位置信息,保证了对输入图片中不同尺寸大小的人员的精准识别和定位。
优选的,步骤S3具体包括以下步骤:
S31、基于深度学习的厂房人员检测模型的输入是尺寸为(960,960)的RBG图像,通过多层卷积对图片中的信息进行提取和抽象得到底层大小为(240,240)的特征图,即将输入图片通过多次卷积新型抽象,从而划分为240*240个大小为4*4个像素的方格,在每个方格内进行预测,判断每个方格内是否存在一个中心点在该方格中的人物;
S32、基于深度学习的厂房人员检测模型的输出为(240,240,24)的张量,其前两个维度标识切分得到的240*240个方格,通过这两个维度能够唯一确定输入图像中的一个方格,并将第三个维度的信息拆解为4个6维向量(x,y,w,h,o,p),其中,x,y为人员边界框中心对于所处的方格的相对位置,w为人员边界框的宽度,h为人员边界框的高度,o为预测的人员边界框的置信度,其表示模型预测的当前边界框的可信程度,置信度越大,则表明该边界框约接近目标的真实最小边界,p为预测的边界框内是一名人员图像的估计概率;
其中,考虑在人员较为密集的情况下,出现多个人员边界框中心落在同一个方格内的情况,在每个抽象划分得到的方格内预测4个边界中心,也即每个方框内预测4个6维向量,从而得到基于深度学习的厂房人员检测模型中head输出的第三阶。
优选的,基于深度学习的厂房人员检测模型中的权重参数通过训练误差的反向传播进行更新,其中4个输出网络head,应用了相同的损失函数计算每个head的损失值,得到如下损失函数:
L=Lbox+Lobj+Lclass (1)
公式(1)中,Lbox为定位损失,Lobj为置信度损失,Lclass为分类损失。
优选的,分类损失Lclass用于计算基于深度学习的厂房人员检测模型给出的边界框中的图像是否为人员的概率p的损失,由于其为二分类问题,故采用二元交叉熵计算损失值:
公式(2)中,为模型预测的该边界框内的对象为一个人员的概率;yi为实际的标签,yi∈{0,1},yi=0表示该边界框内没有人员,yi=1表示该边界框内是一名人员,N为head输出的总边界框数量。
优选的,定位损失Lbox用于计算基于深度学习的厂房人员检测模型预测的人员边界框与实际人员边界框之间的损失,其采用一种改进的交并比函数计算损失值:
公式(3)中,B=(x,y,w,h)表示实际的人员边界框;Bgt=(xgt,ygt,wgt,hgt)表示模型预测的人员边界框;C为真实边界框Bgt和预测边界框B的最小外接矩形,且其计算公式为:
公式(4)中,分别表示最小外接矩形C的左x坐标,右x坐标,下y坐标,上y坐标;
IoU(B,Bgt)表示真实边界框和预测边界框的公共区域面积与两者的并集的面积的比值,且其计算公式为:
表示真实边界框Bgt和预测边界框B中心点距离的平方与两者最小外接矩形框C的对角线长度平方的比值,ρ2(B,Bgt)为真实边界框Bgt与预测边界框B的中心点距离,且其计算公式为:
公式(6)中,分别表示预测边界框B的左x坐标,右x坐标,下y坐标,上y坐标;类似的,/>分别表示真实边界框Bgt的左x坐标,右x坐标,下y坐标,上y坐标;
αv表示预测边界框B与真实边界框Bgt的长宽比例,即要求预测边框B的长宽比例尽可能接近Bgt的长宽比例,其中,v为真实边界框Bgt和预测边界框B长宽比例差值的归一化值,其计算方式如下所示:
公式(7)中,通过乘以/>归一化至[0,1]区间范围内;
α为平衡因子,用于权衡Lbox中由长宽比例差异引入的损失值和IoU部分引入的损失值,其计算方式如下所示:
优选的,置信度损失Lobj用于计算基于深度学习的厂房人员检测模型给出的人员边界框的置信度损失,置信度表示模型预测的当前边界框的可信程度,置信度越大,则表明该边界框越接近目标的真实最小边界;
Lobj的计算采用二元交叉熵计算,其计算方式如下所示:
公式(9)中,oi表示为实际人员边界框Bgt与预测边界框B的CIOU值,表示模型预测得到的当前边界框置B信度。
优选的,步骤S4具体包括以下步骤:
S41、人员检测:
通过基于深度学习的厂房人员检测模型获取第i帧视频图像中的人员定位信息,Bi,j表示第i帧图像中人员j的定位信息,即图像中模型检测得到的每个人员的边界框;
S42、移动位置估计:
基于得到的第i帧视频图像中的人员定位信息,采用卡尔曼滤波算法估计每个人员在i+1帧移动后的定位信息,表示由卡尔曼滤波估计得到的人员j在第i+1帧图像中的位置信息,利用卡尔曼滤波对的人员的移动过程进行线性建模,从而利用图像模型检测的人员位置信息和估计得到的人员位置信息对每个人员在下一帧视频出现的位置进行最优估计;
其中,用于人员移动位置估计的卡尔曼滤波中的人员观测向量采用如下公式:
z=[u,v,s,r]T (10)
公式(10)和(11)中,(u,v)表示人员边界框的中西坐标,s表示人员边界框的面积,其通过归一化的宽w和高h相乘计算得出,r表示人员边界框的宽高比例,边界框信息B=[x,y,w,h];
卡尔曼滤波中的状态向量采用如下公式:
公式(12)中,分别是u,v,s的帧变化率;
卡尔曼滤波中的状态过度矩阵F采用如下公式:
卡尔曼滤波中的观测矩阵H将状态向量x转换为观测向量z,即z=Hx,矩阵H采用如下公式:
卡尔曼滤波中测量噪声的协方差矩阵R用于估计基于深度学习的厂房人员检测模型对人员定位的不确定性或误差,其采用如下公式:
卡尔曼滤波中的估计协方差矩阵P用于度量滤波结果的不确定性和误差,随着滤波的迭代进行,不断更新,初始化矩阵P其采用如下公式:
卡尔曼滤波中过程噪声的不确定性矩阵Q衡量卡尔曼滤波过程中噪声的大小,其采用如下公式:
S43、人员位置关联:
将基于深度学习的厂房人员检测模型在i+1帧图像中检测得到的每个人员定位信息Bi+1,j与卡尔曼滤波算法估计得到的第i+1帧图像中的人员定位信息进行相互对应关联,从而进行连续的人员轨迹追踪;
其中关联公式如下:
公式(18)所示在匈牙利算法中通过计算两个Bi+1,j和之间的IoU距离衡量匹配成本,从而将卡尔曼滤波估计的i+1帧图像中人员j的位置,与模型检测到得到的i+1帧中人员的位置进行对应关联,进而将人员检测模型在第i帧和第i+1帧识别得到同一人员进行关联,得到人员j在连续帧上的移动轨迹Bi,j→Bi+1,j;在此过程中,当与所有Bi+1,j的IoU值都小于给定的最小阈值IoUmin时,说明第i帧边界框Bi,k中的人员k在第i+1帧视频中被遮挡或离开厂房;
S44、轨迹更新:
将监控视频图像中的人员轨迹信息根据S43中得到的人员在相邻视频帧之间位置的连续关系,对每个人员的移动轨迹进行更新。
优选的,在步骤S43中为了保证人员轨迹的连续性,避免由于建筑物遮挡或人员重叠等因素导致的人员追踪中断或丢失,在所提出的基于卡尔曼滤波的抗遮挡人员轨迹追踪算法中加入延迟帧数M,且在后续M帧视频中,采用如下判定方法:
当时,表明人员k在第i+1帧图像中未被检测到,则采用人员k在i时刻的卡尔曼滤波状态向量/>对后续M帧视频中人员k所在的位置进行迭代估计,其中ui,k依据其帧变化率/>进行迭代更新;vi,k依据其帧变化率/>进行迭代更新;si,k依据其帧变化率/>进行迭代更新;ri,k是人员边界框的长宽比例,在后续短暂的M帧视频中视可为常量,无需更新;变化率/>在后续短暂的M帧视频中均视为常量,无需更新;据此,能够在基于深度学习的厂房人员检测模型检测不到人员k的情况下,估算出其在接下来M帧监控视频中的大致位置/>
在后续的M帧监控视频内,将估计的人员k所处的位置纳入S43中的位置关联,若在后续M帧以内,得出相邻帧轨迹/>存在,则说明人员k被障碍物遮挡导致短期的跟踪丢失,将其轨迹补全为/>其中[Bstart,k,…,Bi,k]和Bi+m+1,k是厂房人员检测模型从监控视频中实际检测到的人员k的移动轨迹,Bstart,k表示人员k第一次出现在监控视频中时间为第start帧,,/>是人员k被遮挡期间,通过其在第i帧时刻的状态向量zi,k估计得到的近似轨迹;若在后续M帧视频中,没有重新追踪到人员k,则判定其离开监控视频画面,不再继续跟追踪。
优选的,在步骤S7中采用如下公式进行修正:
在步骤步骤S8中采用如下公式进行修正:
在公式(19)和公式(20)中,(x1,y1)为员工的二维坐标,(x2,y2)为危险源区域的二维坐标;
在步骤S9中所述的空间距离采用如下计算公式:
因此,本发明采用上述一种基于像素级标注的危险源室内工作人员定位方法,可根据车间监控系统中的监控视频,采用多种人工智能算法,快速、准确地对车间中的人员进行实时识别、追踪,并实时进行人员定位。辅助安全管理人员及时发现安全隐患,提升工厂车间安全管理的水平。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的整体流程框图;
图2为本发明的遮挡人员轨迹连续追踪流程图;
图3为本发明的厂房人员检测示意图;
图4为本发明的基于深度学习的厂房人员检测模型结构图;
图5为本发明的模型损失计算示意图;
图6为本发明的人员轨迹追踪算法步骤图。
具体实施方式
以下将结合附图对本发明作进一步的描述,需要说明的是,本实施例以本技术方案为前提,给出了详细的实施方式和具体的操作过程,但本发明的保护范围并不限于本实施例。
图1为本发明的整体流程框图,如图1所示,一种基于像素级标注的危险源室内工作人员定位方法,包括以下步骤:
S1、从工厂监控系统中获取车间监控视频;
S2、根据对车间的现场实测,对监控视频画面中的危险源区域进行标注,给出危险源区域的坐标范围;在本实施例中所述的所述“危险源”指的是车间内静态的原材料或关键设备。
S3、基于深度学习的厂房人员检测模型对监控视频画面中的员工进行识别,给出员工的二维坐标;需要说明的是于深度学习的厂房人员检测模型是一种基于深度卷积神经网络的多目标实时检测模型,已经在大规模数据上进行了训练,其识别精度和速度优于大部分同类模型。
图3为本发明的厂房人员检测示意图,如图3所示,算法的目的是从输入图片中找出人员所处的位置,也即方框的边界。算法的输入是大小为960*960的RGB图片。算法的输出是若干个不同大小的3阶张量,用于判定图片中人员的位置及其边界。
图4为本发明的基于深度学习的厂房人员检测模型结构图,如图4所示,优选的,步骤S3所述的深度学习的厂房人员检测模型包括主干网络backbone和4个输出网络head;
其中,backbone组件为特征提取网络,用于从输入的图像中构建4个不同分辨率下的特征图;
4个输出网络head分别用于识别输入图像中不同大小尺度的人员;最上层第一个head输出大小为(30,30,24)的张量,从输入图像中识别尺寸最大的人员(实际场景中距离摄像头较近的人员),第二个head和第三个head分别输出大小为(60,60,24)和(120,120,24)的张量(实际场景中距离摄像头稍远的人员),从输入图像中识别尺寸居中的人员,最底层的head输出大小为(240,240,24)的张量,从输入图像中识别尺寸较小的人员(实际场景中距离摄像头较远的人员,从摄像头远端进入或离开画面的人员)。通过设计4个不同尺度的head,所提出的模型能够有效地从监控视频每一帧的图片中识别出画面中的人员及其所处的位置;
head组件为输出网络,用于有效地刻画输入图片中的语义信息和位置信息,且head组件采用自顶向下的FPN金字塔结构与自底向上的PAN金字塔结构对输入图片中的信息进行多尺度特征融合,其中,上层特征由于网络层数较深,信息的抽象程度更高,从而包含凸显中人员特征的语义信息更加明确,而下层特征由于经过的卷积层数较少,图片中人员的位置信息损失较少。FPN金字塔结构通过自顶向下进行上采样(UpSample结构),并与下层特征图进行融合,从而将上层特征图较强的人员特征语义信息传递给下层特征图,实现人员的精准识别;底层特征图包含更强的人员语义信息,PAN金字塔结构通过自底向上进行下采样(MP-2结构),并与上层特征图进行融合,从而将底层特征图较强的位置信息传递到高层特征图,实现图像中人员的精准定位;综合FPN和PAN结构,使得不同尺寸的特征图都包含较强的人员语义信息和位置信息,保证了对输入图片中不同尺寸大小的人员的精准识别和定位。
在本实施例中,厂房人员检测模型中每个head的输出结构相似,此处以最底层head输出大小为(240,240,24)的三阶张量为例,介绍模型的基本原理以及输出信息构成,其他head的输出及运算过程相同:
优选的,步骤S3具体包括以下步骤:
S31、基于深度学习的厂房人员检测模型的输入是尺寸为(960,960)的RBG图像,通过多层卷积(CBS结构,MP-1结构,ELAN结构)对图片中的信息进行提取和抽象得到底层大小为(240,240)的特征图,即将输入图片通过多次卷积新型抽象,从而划分为240*240个大小为4*4个像素的方格,在每个方格内进行预测,判断每个方格内是否存在一个中心点在该方格中的人物;如附图3所示,矩形为人物边界框,矩形框的中心(边界框对角线的交点)落在某一个方格内。
S32、基于深度学习的厂房人员检测模型的输出为(240,240,24)的张量(矩阵),其前两个维度标识切分得到的240*240个方格,通过这两个维度能够唯一确定输入图像中的一个方格,并将第三个维度的信息拆解为4个6维向量(x,y,w,h,o,p),其中,x,y为人员边界框中心对于所处的方格的相对位置,w为人员边界框的宽度,h为人员边界框的高度,o为预测的人员边界框的置信度,其表示模型预测的当前边界框的可信程度,置信度越大,则表明该边界框约接近目标的真实最小边界,p为预测的边界框内是一名人员图像的估计概率;
其中,考虑在人员较为密集的情况下,出现多个人员边界框中心落在同一个方格内的情况,在每个抽象划分得到的方格内预测4个边界中心,也即每个方框内预测4个6维向量,从而得到基于深度学习的厂房人员检测模型中head输出的第三阶。
图5为本发明的模型损失计算示意图,如图5所示,优选的,基于深度学习的厂房人员检测模型中的权重参数通过训练误差的反向传播进行更新,其中4个输出网络head,应用了相同的损失函数计算每个head的损失值,得到如下损失函数:
L=Lbox+Lobj+Lclass (1)
公式(1)中,Lbox为定位损失,Lobj为置信度损失,Lclass为分类损失。
优选的,分类损失Lclass用于计算基于深度学习的厂房人员检测模型给出的边界框中的图像是否为人员的概率p的损失,由于其为二分类问题,故采用二元交叉熵计算损失值:
公式(2)中,为模型预测的该边界框内的对象为一个人员的概率;yi为实际的标签,yi∈{0,1},yi=0表示该边界框内没有人员,yi=1表示该边界框内是一名人员,N为head输出的总边界框数量。
优选的,定位损失Lbox用于计算基于深度学习的厂房人员检测模型预测的人员边界框与实际人员边界框之间的损失,其采用一种改进的交并比函数计算损失值:
公式(3)中,B=(x,y,w,h)表示实际的人员边界框;Bgt=(xgt,ygt,wgt,hgt)表示模型预测的人员边界框;C为真实边界框Bgt和预测边界框B的最小外接矩形,且其计算公式为:
公式(4)中,分别表示最小外接矩形C的左x坐标,右x坐标,下y坐标,上y坐标;
IoU(B,Bgt)表示真实边界框和预测边界框的公共区域面积与两者的并集的面积的比值,且其计算公式为:
表示真实边界框Bgt和预测边界框B中心点距离的平方与两者最小外接矩形框C的对角线长度平方的比值,ρ2(B,Bgt)为真实边界框Bgt与预测边界框B的中心点距离,且其计算公式为:
公式(6)中,分别表示预测边界框B的左x坐标,右x坐标,下y坐标,上y坐标;类似的,/>分别表示真实边界框Bgt的左x坐标,右x坐标,下y坐标,上y坐标;
αv表示预测边界框B与真实边界框Bgt的长宽比例,即要求预测边框B的长宽比例尽可能接近Bgt的长宽比例,其中,v为真实边界框Bgt和预测边界框B长宽比例差值的归一化值,其计算方式如下所示:
公式(7)中,通过乘以/>归一化至[0,1]区间范围内;
α为平衡因子,用于权衡Lbox中由长宽比例差异引入的损失值和IoU部分引入的损失值,其计算方式如下所示:
/>
优选的,置信度损失Lobj用于计算基于深度学习的厂房人员检测模型给出的人员边界框的置信度损失,置信度表示模型预测的当前边界框的可信程度,置信度越大,则表明该边界框越接近目标的真实最小边界;
Lobj的计算采用二元交叉熵计算,其计算方式如下所示:
公式(9)中,oi表示为实际人员边界框Bgt与预测边界框B的CIOU值,表示模型预测得到的当前边界框置B信度。
图6为本发明的人员轨迹追踪算法步骤图,如图6所示,S4、根据S3中识别出的车间员工的二维坐标,采用基于卡尔曼滤波的抗遮挡人员轨迹追踪算法,实时获取每位员工在车间中的移动路线,并给每位员工加上唯一编号;算法的目的是根据前述基于深度学习的厂房人员检测模型在实时监控视频每一帧图像中得出的人员定位信息,对连续视频帧之间的人员定位信息进行关联,从而实时追踪厂房内人员的移动轨迹。需要说明的是“每位员工在车间中的移动路线”指的是每位员工在连续时间点上二维坐标的变化组成的序列。
优选的,步骤S4具体包括以下步骤:
S41、人员检测:
通过基于深度学习的厂房人员检测模型获取第i帧视频图像中的人员定位信息,Bi,j表示第i帧图像中人员j的定位信息,即图像中模型检测得到的每个人员的边界框;
S42、移动位置估计:
基于得到的第i帧视频图像中的人员定位信息,每个视频帧的时间极短(约为1/31~1/28秒),因而我们可以认为视频中的人员在连续若干帧时间内为匀速运动,故采用卡尔曼滤波算法估计每个人员在i+1帧移动后的定位信息,表示由卡尔曼滤波估计得到的人员j在第i+1帧图像中的位置信息,利用卡尔曼滤波对的人员的移动过程进行线性建模,从而利用图像模型检测的人员位置信息和估计得到的人员位置信息对每个人员在下一帧视频出现的位置进行最优估计;
其中,用于人员移动位置估计的卡尔曼滤波中的人员观测向量采用如下公式:
z=[u,v,s,r]T (10)
公式(10)和(11)中,(u,v)表示人员边界框的中西坐标(归一化),s表示人员边界框的面积,其通过归一化的宽w和高h相乘计算得出,r表示人员边界框的宽高比例,边界框信息B=[x,y,w,h];
卡尔曼滤波中的状态向量采用如下公式:
公式(12)中,分别是u,v,s的帧变化率;
卡尔曼滤波中的状态过度矩阵F采用如下公式:
卡尔曼滤波中的观测矩阵H将状态向量x转换为观测向量z,即z=Hx,矩阵H采用如下公式:
卡尔曼滤波中测量噪声的协方差矩阵R用于估计基于深度学习的厂房人员检测模型对人员定位的不确定性或误差,其采用如下公式:
卡尔曼滤波中的估计协方差矩阵P用于度量滤波结果的不确定性和误差,随着滤波的迭代进行,不断更新,初始化矩阵P其采用如下公式(考虑到滤波过程迭代初期人员移动速度未知,因而初始化设置较大的估计误差):
卡尔曼滤波中过程噪声的不确定性矩阵Q衡量卡尔曼滤波过程中噪声的大小,其采用如下公式:
/>
S43、人员位置关联:
将基于深度学习的厂房人员检测模型在i+1帧图像中检测得到的每个人员定位信息Bi+1,j与卡尔曼滤波算法估计得到的第i+1帧图像中的人员定位信息进行相互对应关联,从而进行连续的人员轨迹追踪;
其中关联公式如下:
公式(18)所示在匈牙利算法中通过计算两个Bi+1,j和之间的IoU距离衡量匹配成本,从而将卡尔曼滤波估计的i+1帧图像中人员j的位置,与模型检测到得到的i+1帧中人员的位置进行对应关联,进而将人员检测模型在第i帧和第i+1帧识别得到同一人员进行关联,得到人员j在连续帧上的移动轨迹Bi,j→Bi+1,j;在此过程中,当/>与所有Bi+1,j的IoU值都小于给定的最小阈值IoUmin时,说明第i帧边界框Bi,k中的人员k在第i+1帧视频中被遮挡或离开厂房;
S44、轨迹更新:
将监控视频图像中的人员轨迹信息根据S43中得到的人员在相邻视频帧之间位置的连续关系,对每个人员的移动轨迹进行更新。
图2为本发明的遮挡人员轨迹连续追踪流程图,如图2所示,优选的,在步骤S43中为了保证人员轨迹的连续性,避免由于建筑物遮挡或人员重叠等因素导致的人员追踪中断或丢失,在所提出的基于卡尔曼滤波的抗遮挡人员轨迹追踪算法中加入延迟帧数M(一般取值为15~30,约为0.5~1.5秒),且在后续M帧视频中,采用如下判定方法:
当时,表明人员k在第i+1帧图像中未被检测到,则采用人员k在i时刻的卡尔曼滤波状态向量/>对后续M帧视频中人员k所在的位置进行迭代估计,其中ui,k依据其帧变化率/>进行迭代更新;vi,k依据其帧变化率/>进行迭代更新;si,k依据其帧变化率/>进行迭代更新;ri,k是人员边界框的长宽比例,在后续短暂的M帧视频中视可为常量,无需更新;变化率/>在后续短暂的M帧视频中均视为常量,无需更新;据此,能够在基于深度学习的厂房人员检测模型检测不到人员k的情况下,估算出其在接下来M帧监控视频中的大致位置/>
在后续的M帧监控视频内,将估计的人员k所处的位置纳入S43中的位置关联,若在后续M帧以内,得出相邻帧轨迹/>存在,则说明人员k被障碍物遮挡导致短期的跟踪丢失,将其轨迹补全为/>其中[Bstart,k,…,Bi,k]和Bi+m+1,k是厂房人员检测模型从监控视频中实际检测到的人员k的移动轨迹,Bstart,k表示人员k第一次出现在监控视频中时间为第start帧,,/>是人员k被遮挡期间,通过其在第i帧时刻的状态向量zi,k估计得到的近似轨迹;若在后续M帧视频中,没有重新追踪到人员k,则判定其离开监控视频画面,不再继续跟追踪。
可知,通过引入M帧的判定延迟,能够确保人员轨迹追踪的连续性,减少人员追踪过程中人员离开厂房的误判,从而有效地追踪被建筑物或障碍物短时遮挡的人员轨迹。
S5、根据S2中得到的危险源区域坐标范围,使用其左上角和右下角坐标的均值,作为该危险源区域的二维坐标;
S6、以车间地面中一条与监控视频头一侧墙面垂直的皮质刻度尺作为角度标定物,使用角度测量仪得到监控视频画面中的角度标定物与画面底部的夹角α;
S7、根据S6中得到的夹角,使用正弦定理对员工/危险源区域在y轴方向上的坐标进行修正;需要说明的是,所述“正弦定理”指的是夹角α的正弦值等于其对边长度比上其斜边长度。
优选的,在步骤S7中采用如下公式进行修正:
S8、根据S6中得到的夹角,使用正切定理对员工/危险源区域在x轴方向上的坐标进行修正;需要说明的是,所述“正切定理”指的是夹角α的正切值等于其对边长度比上其临边长度。
在步骤步骤S8中采用如下公式进行修正:
在公式(19)和公式(20)中,(x1,y1)为员工的二维坐标,(x2,y2)为危险源区域的二维坐标;
S9、根据S7、S8中得到的员工/危险源区域在x、y轴上修正的二维坐标,采用欧几里得距离公式计算员工到危险源区域的空间距离。需要说明的是,所述“欧几里得距离公式”是计算两点之间距离的常用公式,分别对两个二维点在x、y轴上的值做差,求两个差的平方和之后再开平方,即得到两点之间的距离。
在步骤S9中所述的空间距离采用如下计算公式:
因此,本发明采用上述基于像素级标注的危险源室内工作人员定位方法,通过计算车间内员工实时位置及员工与危险源的实时距离,减轻了管理人员对现场作业进行安全管理的工作量,提高了工厂车间安全管理的效率,对企业的安全和可持续发展有重要意义。
最后应说明的是:以上实施例仅用以说明本发明的技术方案而非对其进行限制,尽管参照较佳实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换,而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (8)
1.一种基于像素级标注的危险源室内工作人员定位方法,其特征在于:包括以下步骤:
S1、从工厂监控系统中获取车间监控视频;
S2、根据对车间的现场实测,对监控视频画面中的危险源区域进行标注,给出危险源区域的坐标范围;
S3、基于深度学习的厂房人员检测模型对监控视频画面中的员工进行识别,给出员工的二维坐标;
S4、根据S3中识别出的车间员工的二维坐标,采用基于卡尔曼滤波的抗遮挡人员轨迹追踪算法,实时获取每位员工在车间中的移动路线,并给每位员工加上唯一编号;
S5、根据S2中得到的危险源区域坐标范围,使用其左上角和右下角坐标的均值,作为该危险源区域的二维坐标;
S6、以车间地面中一条与监控视频头一侧墙面垂直的皮质刻度尺作为角度标定物,使用角度测量仪得到监控视频画面中的角度标定物与画面底部的夹角α;
S7、根据S6中得到的夹角,使用正弦定理对员工/危险源区域在y轴方向上的坐标进行修正;
S8、根据S6中得到的夹角,使用正切定理对员工/危险源区域在x轴方向上的坐标进行修正;
S9、根据S7、S8中得到的员工/危险源区域在x、y轴上修正的二维坐标,采用欧几里得距离公式计算员工到危险源区域的空间距离;
步骤S3所述的深度学习的厂房人员检测模型包括主干网络backbone和4个输出网络head;
其中,backbone组件为特征提取网络,用于从输入的图像中构建4个不同分辨率下的特征图;
4个输出网络head分别用于识别输入图像中不同大小尺度的人员;最上层第一个head输出大小为(30,30,24)的张量,从输入图像中识别尺寸最大的人员,第二个head和第三个head分别输出大小为(60,60,24)和(120,120,24)的张量,从输入图像中识别尺寸居中的人员,最底层的head输出大小为(240,240,24)的张量,从输入图像中识别尺寸较小的人员;
head组件为输出网络,用于有效地刻画输入图片中的语义信息和位置信息,且head组件采用自顶向下的FPN金字塔结构与自底向上的PAN金字塔结构对输入图片中的信息进行多尺度特征融合,FPN金字塔结构通过自顶向下进行上采样,并与下层特征图进行融合,从而将上层特征图较强的人员特征语义信息传递给下层特征图,实现人员的精准识别;PAN金字塔结构通过自底向上进行下采样,并与上层特征图进行融合,从而将底层特征图较强的位置信息传递到高层特征图,实现图像中人员的精准定位;综合FPN和PAN结构,使得不同尺寸的特征图都包含较强的人员语义信息和位置信息,保证了对输入图片中不同尺寸大小的人员的精准识别和定位;
步骤S3具体包括以下步骤:
S31、基于深度学习的厂房人员检测模型的输入是尺寸为(960,960)的RBG图像,通过多层卷积对图片中的信息进行提取和抽象得到底层大小为(240,240)的特征图,即将输入图片通过多次卷积新型抽象,从而划分为240*240个大小为4*4个像素的方格,在每个方格内进行预测,判断每个方格内是否存在一个中心点在该方格中的人物;
S32、基于深度学习的厂房人员检测模型的输出为(240,240,24)的张量,其前两个维度标识切分得到的240*240个方格,通过这两个维度能够唯一确定输入图像中的一个方格,并将第三个维度的信息拆解为4个6维向量(x,y,w,h,o,p),其中,x,y为人员边界框中心对于所处的方格的相对位置,w为人员边界框的宽度,h为人员边界框的高度,o为预测的人员边界框的置信度,其表示模型预测的当前边界框的可信程度,置信度越大,则表明该边界框约接近目标的真实最小边界,p为预测的边界框内是一名人员图像的估计概率;
其中,考虑在人员较为密集的情况下,出现多个人员边界框中心落在同一个方格内的情况,在每个抽象划分得到的方格内预测4个边界中心,也即每个方框内预测4个6维向量,从而得到基于深度学习的厂房人员检测模型中head输出的第三阶。
2.根据权利要求1所述的一种基于像素级标注的危险源室内工作人员定位方法,其特征在于:基于深度学习的厂房人员检测模型中的权重参数通过训练误差的反向传播进行更新,其中4个输出网络head,应用了相同的损失函数计算每个head的损失值,得到如下损失函数:
L=Lbox+Lobj+Lclass (1)
公式(1)中,Lbox为定位损失,Lobj为置信度损失,Lclass为分类损失。
3.根据权利要求2所述的一种基于像素级标注的危险源室内工作人员定位方法,其特征在于:分类损失Lclass用于计算基于深度学习的厂房人员检测模型给出的边界框中的图像是否为人员的概率p的损失,由于其为二分类问题,故采用二元交叉熵计算损失值:
公式(2)中,为模型预测的该边界框内的对象为一个人员的概率;yi为实际的标签,yi∈{0,1},yi=0表示该边界框内没有人员,yi=1表示该边界框内是一名人员,N为head输出的总边界框数量。
4.根据权利要求2所述的一种基于像素级标注的危险源室内工作人员定位方法,其特征在于:定位损失Lbox用于计算基于深度学习的厂房人员检测模型预测的人员边界框与实际人员边界框之间的损失,其采用一种改进的交并比函数计算损失值:
公式(3)中,B=(x,y,w,h)表示实际的人员边界框;Bgt=(xgt,ygt,wgt,hgt)表示模型预测的人员边界框;C为真实边界框Bgt和预测边界框B的最小外接矩形,且其计算公式为:
公式(4)中,分别表示最小外接矩形C的左x坐标,右x坐标,下y坐标,上y坐标;
IoU(B,Bgt)表示真实边界框和预测边界框的公共区域面积与两者的并集的面积的比值,且其计算公式为:
表示真实边界框Bgt和预测边界框B中心点距离的平方与两者最小外接矩形框C的对角线长度平方的比值,ρ2(B,Bgt)为真实边界框Bgt与预测边界框B的中心点距离,且其计算公式为:
公式(6)中,分别表示预测边界框B的左x坐标,右x坐标,下y坐标,上y坐标;类似的,/>分别表示真实边界框Bgt的左x坐标,右x坐标,下y坐标,上y坐标;
αv表示预测边界框B与真实边界框Bgt的长宽比例,即要求预测边框B的长宽比例尽可能接近Bgt的长宽比例,其中,v为真实边界框Bgt和预测边界框B长宽比例差值的归一化值,其计算方式如下所示:
公式(7)中,通过乘以/>归一化至[0,1]区间范围内;
α为平衡因子,用于权衡Lbox中由长宽比例差异引入的损失值和IoU部分引入的损失值,其计算方式如下所示:
5.根据权利要求2所述的一种基于像素级标注的危险源室内工作人员定位方法,其特征在于:置信度损失Lobj用于计算基于深度学习的厂房人员检测模型给出的人员边界框的置信度损失,置信度表示模型预测的当前边界框的可信程度,置信度越大,则表明该边界框越接近目标的真实最小边界;
Lobj的计算采用二元交叉熵计算,其计算方式如下所示:
公式(9)中,oi表示为实际人员边界框Bgt与预测边界框B的CIOU值,表示模型预测得到的当前边界框置B信度。
6.根据权利要求1所述的一种基于像素级标注的危险源室内工作人员定位方法,其特征在于:步骤S4具体包括以下步骤:
S41、人员检测:
通过基于深度学习的厂房人员检测模型获取第i帧视频图像中的人员定位信息,Bi,j表示第i帧图像中人员j的定位信息,即图像中模型检测得到的每个人员的边界框;
S42、移动位置估计:
基于得到的第i帧视频图像中的人员定位信息,采用卡尔曼滤波算法估计每个人员在i+1帧移动后的定位信息,表示由卡尔曼滤波估计得到的人员j在第i+1帧图像中的位置信息,利用卡尔曼滤波对的人员的移动过程进行线性建模,从而利用图像模型检测的人员位置信息和估计得到的人员位置信息对每个人员在下一帧视频出现的位置进行最优估计;
其中,用于人员移动位置估计的卡尔曼滤波中的人员观测向量采用如下公式:
z=[u,v,s,r]T (10)
公式(10)和(11)中,(u,v)表示人员边界框的中西坐标,s表示人员边界框的面积,其通过归一化的宽w和高h相乘计算得出,r表示人员边界框的宽高比例,边界框信息B=[x,y,w,h];
卡尔曼滤波中的状态向量采用如下公式:
公式(12)中,分别是u,v,s的帧变化率;
卡尔曼滤波中的状态过度矩阵F采用如下公式:
卡尔曼滤波中的观测矩阵H将状态向量x转换为观测向量z,即z=Hx,矩阵H采用如下公式:
卡尔曼滤波中测量噪声的协方差矩阵R用于估计基于深度学习的厂房人员检测模型对人员定位的不确定性或误差,其采用如下公式:
卡尔曼滤波中的估计协方差矩阵P用于度量滤波结果的不确定性和误差,随着滤波的迭代进行,不断更新,初始化矩阵P其采用如下公式:
卡尔曼滤波中过程噪声的不确定性矩阵Q衡量卡尔曼滤波过程中噪声的大小,其采用如下公式:
S43、人员位置关联:
将基于深度学习的厂房人员检测模型在i+1帧图像中检测得到的每个人员定位信息Bi+1,j与卡尔曼滤波算法估计得到的第i+1帧图像中的人员定位信息进行相互对应关联,从而进行连续的人员轨迹追踪;
其中关联公式如下:
公式(18)所示在匈牙利算法中通过计算两个Bi+1,j和之间的IoU距离衡量匹配成本,从而将卡尔曼滤波估计的i+1帧图像中人员j的位置,与模型检测到得到的i+1帧中人员的位置进行对应关联,进而将人员检测模型在第i帧和第i+1帧识别得到同一人员进行关联,得到人员j在连续帧上的移动轨迹Bi,j→Bi+1,j;在此过程中,当/>与所有Bi+1,j的IoU值都小于给定的最小阈值IoUmin时,说明第i帧边界框Bi,k中的人员k在第i+1帧视频中被遮挡或离开厂房;
S44、轨迹更新:
将监控视频图像中的人员轨迹信息根据S43中得到的人员在相邻视频帧之间位置的连续关系,对每个人员的移动轨迹进行更新。
7.根据权利要求6所述的一种基于像素级标注的危险源室内工作人员定位方法,其特征在于:在步骤S43中为了保证人员轨迹的连续性,避免由于建筑物遮挡或人员重叠等因素导致的人员追踪中断或丢失,在所提出的基于卡尔曼滤波的抗遮挡人员轨迹追踪算法中加入延迟帧数M,且在后续M帧视频中,采用如下判定方法:
当时,表明人员k在第i+1帧图像中未被检测到,则采用人员k在i时刻的卡尔曼滤波状态向量/>对后续M帧视频中人员k所在的位置进行迭代估计,其中ui,k依据其帧变化率/>进行迭代更新;vi,k依据其帧变化率进行迭代更新;si,k依据其帧变化率/>进行迭代更新;ri,k是人员边界框的长宽比例,在后续短暂的M帧视频中视可为常量,无需更新;变化率/>在后续短暂的M帧视频中均视为常量,无需更新;据此,能够在基于深度学习的厂房人员检测模型检测不到人员k的情况下,估算出其在接下来M帧监控视频中的大致位置/>
在后续的M帧监控视频内,将估计的人员k所处的位置纳入S43中的位置关联,若在后续M帧以内,得出相邻帧轨迹/>存在,则说明人员k被障碍物遮挡导致短期的跟踪丢失,将其轨迹补全为/>其中[Bstart,k,…,Bi,k]和Bi+m+1,k是厂房人员检测模型从监控视频中实际检测到的人员k的移动轨迹,Bstart,k表示人员k第一次出现在监控视频中时间为第start帧,,/>是人员k被遮挡期间,通过其在第i帧时刻的状态向量zi,k估计得到的近似轨迹;若在后续M帧视频中,没有重新追踪到人员k,则判定其离开监控视频画面,不再继续跟追踪。
8.根据权利要求6所述的一种基于像素级标注的危险源室内工作人员定位方法,其特征在于:在步骤S7中采用如下公式进行修正:
在步骤步骤S8中采用如下公式进行修正:
在公式(19)和公式(20)中,(x1,y1)为员工的二维坐标,(x2,y2)为危险源区域的二维坐标;
在步骤S9中所述的空间距离采用如下计算公式:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310192131.3A CN116311361B (zh) | 2023-03-02 | 2023-03-02 | 一种基于像素级标注的危险源室内工作人员定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310192131.3A CN116311361B (zh) | 2023-03-02 | 2023-03-02 | 一种基于像素级标注的危险源室内工作人员定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116311361A CN116311361A (zh) | 2023-06-23 |
CN116311361B true CN116311361B (zh) | 2023-09-15 |
Family
ID=86833567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310192131.3A Active CN116311361B (zh) | 2023-03-02 | 2023-03-02 | 一种基于像素级标注的危险源室内工作人员定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116311361B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116503957B (zh) * | 2023-06-26 | 2023-09-15 | 成都千嘉科技股份有限公司 | 一种燃气入户作业行为识别方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111186379A (zh) * | 2020-01-21 | 2020-05-22 | 武汉大学 | 一种基于深度学习的汽车盲区危险物报警方法 |
CN111488804A (zh) * | 2020-03-19 | 2020-08-04 | 山西大学 | 基于深度学习的劳保用品佩戴情况检测和身份识别的方法 |
CN112200043A (zh) * | 2020-09-30 | 2021-01-08 | 中邮通建设咨询有限公司 | 面向室外施工现场的危险源智能识别系统及方法 |
CN113158752A (zh) * | 2021-02-05 | 2021-07-23 | 国网河南省电力公司鹤壁供电公司 | 一种电力员工进场作业智能安全管控系统 |
CN113989335A (zh) * | 2021-10-27 | 2022-01-28 | 南京航空航天大学 | 一种对厂房内工人自动定位的方法 |
CN114140503A (zh) * | 2021-10-21 | 2022-03-04 | 国网河北省电力有限公司石家庄供电分公司 | 基于深度学习的配电网危险区域识别装置及方法 |
CN114245292A (zh) * | 2021-12-01 | 2022-03-25 | 新疆天池能源有限责任公司 | 一种基于人员定位触发的危险源告警方法及系统 |
CN114777772A (zh) * | 2022-04-19 | 2022-07-22 | 广州极踪科技有限公司 | 一种基于红外摄像头与高精度imu的室内定位系统 |
CN114973140A (zh) * | 2022-06-10 | 2022-08-30 | 广西北投公路建设投资集团有限公司 | 基于机器视觉的危险区域人员闯入监测方法及系统 |
CN114995450A (zh) * | 2022-06-21 | 2022-09-02 | 上海托旺数据科技有限公司 | 一种利用多目立体视觉的盲人智慧导航方法及系统 |
CN115035361A (zh) * | 2022-05-11 | 2022-09-09 | 中国科学院声学研究所南海研究站 | 基于注意力机制和特征交叉融合的目标检测方法及系统 |
CN115331172A (zh) * | 2022-08-18 | 2022-11-11 | 江苏大学 | 一种基于监控视频的车间危险行为识别报警方法及系统 |
CN115482277A (zh) * | 2022-07-25 | 2022-12-16 | 中原动力智能机器人有限公司 | 一种社交距离风险预警方法及装置 |
CN115527095A (zh) * | 2022-10-29 | 2022-12-27 | 西安电子科技大学 | 基于联合递归特征金字塔的多尺度目标检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9003416B2 (en) * | 2010-09-29 | 2015-04-07 | International Business Machines Corporation | Predicting resource requirements for a computer application |
JP6888950B2 (ja) * | 2016-12-16 | 2021-06-18 | フォルシアクラリオン・エレクトロニクス株式会社 | 画像処理装置、外界認識装置 |
CN108182454B (zh) * | 2018-01-18 | 2021-07-30 | 南栖仙策(南京)科技有限公司 | 安检识别系统及其控制方法 |
-
2023
- 2023-03-02 CN CN202310192131.3A patent/CN116311361B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111186379A (zh) * | 2020-01-21 | 2020-05-22 | 武汉大学 | 一种基于深度学习的汽车盲区危险物报警方法 |
CN111488804A (zh) * | 2020-03-19 | 2020-08-04 | 山西大学 | 基于深度学习的劳保用品佩戴情况检测和身份识别的方法 |
CN112200043A (zh) * | 2020-09-30 | 2021-01-08 | 中邮通建设咨询有限公司 | 面向室外施工现场的危险源智能识别系统及方法 |
CN113158752A (zh) * | 2021-02-05 | 2021-07-23 | 国网河南省电力公司鹤壁供电公司 | 一种电力员工进场作业智能安全管控系统 |
CN114140503A (zh) * | 2021-10-21 | 2022-03-04 | 国网河北省电力有限公司石家庄供电分公司 | 基于深度学习的配电网危险区域识别装置及方法 |
CN113989335A (zh) * | 2021-10-27 | 2022-01-28 | 南京航空航天大学 | 一种对厂房内工人自动定位的方法 |
CN114245292A (zh) * | 2021-12-01 | 2022-03-25 | 新疆天池能源有限责任公司 | 一种基于人员定位触发的危险源告警方法及系统 |
CN114777772A (zh) * | 2022-04-19 | 2022-07-22 | 广州极踪科技有限公司 | 一种基于红外摄像头与高精度imu的室内定位系统 |
CN115035361A (zh) * | 2022-05-11 | 2022-09-09 | 中国科学院声学研究所南海研究站 | 基于注意力机制和特征交叉融合的目标检测方法及系统 |
CN114973140A (zh) * | 2022-06-10 | 2022-08-30 | 广西北投公路建设投资集团有限公司 | 基于机器视觉的危险区域人员闯入监测方法及系统 |
CN114995450A (zh) * | 2022-06-21 | 2022-09-02 | 上海托旺数据科技有限公司 | 一种利用多目立体视觉的盲人智慧导航方法及系统 |
CN115482277A (zh) * | 2022-07-25 | 2022-12-16 | 中原动力智能机器人有限公司 | 一种社交距离风险预警方法及装置 |
CN115331172A (zh) * | 2022-08-18 | 2022-11-11 | 江苏大学 | 一种基于监控视频的车间危险行为识别报警方法及系统 |
CN115527095A (zh) * | 2022-10-29 | 2022-12-27 | 西安电子科技大学 | 基于联合递归特征金字塔的多尺度目标检测方法 |
Non-Patent Citations (1)
Title |
---|
基于改进的YOLOv3在电力场景中的人群识别;唐标等;电子器件;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116311361A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1879149B1 (en) | method and apparatus for tracking a number of objects or object parts in image sequences | |
CN113450408B (zh) | 一种基于深度相机的非规则物体位姿估计方法及装置 | |
EP2858008B1 (en) | Target detecting method and system | |
US10810442B2 (en) | People flow estimation device, people flow estimation method, and recording medium | |
Teknomo et al. | Tracking system to automate data collection of microscopic pedestrian traffic flow | |
CN113255509A (zh) | 一种基于Yolov3和OpenPose的工地危险行为监控方法 | |
CN116311361B (zh) | 一种基于像素级标注的危险源室内工作人员定位方法 | |
CN112488057A (zh) | 一种利用人头点定位和关节点信息的单相机多目标跟踪方法 | |
CN104376577A (zh) | 基于粒子滤波的多摄像头多目标跟踪算法 | |
CN112541938A (zh) | 一种行人速度测量方法、系统、介质及计算设备 | |
Hossain et al. | Moving object detection for real time video surveillance: An edge based approach | |
CN113721633B (zh) | 一种基于行人轨迹预测的移动机器人路径规划方法 | |
CN110580708B (zh) | 一种快速移动检测方法、装置及电子设备 | |
CN113092807B (zh) | 基于多目标跟踪算法的城市高架道路车辆测速方法 | |
JP5478520B2 (ja) | 人数計測装置、人数計測方法、プログラム | |
JP4020982B2 (ja) | 動画像処理装置 | |
CN113221815A (zh) | 一种基于骨骼关键点自动检测技术的步态鉴定方法 | |
CN113012201B (zh) | 一种基于深度学习的地面无人平台人员跟踪方法 | |
Xiong et al. | Crowd density estimation based on image potential energy model | |
Yaghi et al. | Real-time contact tracing during a pandemic using multi-camera video object tracking | |
WO2022238933A1 (en) | Method to automatically calibrate cameras and generate maps | |
CN114581847A (zh) | 一种基于gam跟踪器的社区行人异常行为检测方法和装置 | |
CN113989335A (zh) | 一种对厂房内工人自动定位的方法 | |
CN112215873A (zh) | 用于对变电站内多目标跟踪定位的方法 | |
JP2021077177A (ja) | 動作認識装置、動作認識方法及び動作認識プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |