CN112396658B - 一种基于视频的室内人员定位方法及定位系统 - Google Patents

一种基于视频的室内人员定位方法及定位系统 Download PDF

Info

Publication number
CN112396658B
CN112396658B CN202011369270.1A CN202011369270A CN112396658B CN 112396658 B CN112396658 B CN 112396658B CN 202011369270 A CN202011369270 A CN 202011369270A CN 112396658 B CN112396658 B CN 112396658B
Authority
CN
China
Prior art keywords
personnel
number plate
image
safety helmet
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011369270.1A
Other languages
English (en)
Other versions
CN112396658A (zh
Inventor
蓝星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji Institute Of Artificial Intelligence Suzhou Co ltd
Original Assignee
Tongji Institute Of Artificial Intelligence Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji Institute Of Artificial Intelligence Suzhou Co ltd filed Critical Tongji Institute Of Artificial Intelligence Suzhou Co ltd
Priority to CN202011369270.1A priority Critical patent/CN112396658B/zh
Publication of CN112396658A publication Critical patent/CN112396658A/zh
Application granted granted Critical
Publication of CN112396658B publication Critical patent/CN112396658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

本发明涉及一种基于视频的室内人员的定位方法，对佩戴安全帽的工作人员识别其安全帽上的身份号码牌，对未佩戴安全帽的工作人员进行人脸检测识别，从而确定待定位人员身份，结合拍摄时间、地点生成人员定位信息。一种基于视频的室内人员的定位系统，包括视频采集端、服务器端，服务器端包括人员侦测模块、人员安全帽佩戴检测模块、人员未佩戴安全帽识别组件、人员佩戴安全帽识别组件以及人员位置时间信息生成模块。本发明克服了工厂室内信号不佳、人工监控和工作人员面部被安全帽遮挡造成无法识别定位的问题，实现了工厂室内环境下的人员定位。

Description

一种基于视频的室内人员定位方法及定位系统
技术领域
本发明涉及人工智能技术领域，特别是涉及一种基于视频的室内人员定位方法及定位系统。
背景技术
在工厂人员管理中，人员的实时位置定位一直是一个备受关注的问题，有着极大的市场需求。在工厂内对人员进行定位，对实现有效的人员管理和保障公共安全具有十分重要的意义：厂区监控人员可以实时获取作业人员的定位信息，同时对滞留、闯入、坠落等危险工况进行报警提醒；同时可实现日常生产中人员调度、考勤管理功能，提高生产效率；在事故发生后，可迅速获取遇难人员的定位位置信息，辅助救援人员搜救；同时可根据人员历史定位数据分析事故原因，优化化工企业应急预案设计等等。
目前，传统的定位方法通过射频定位技术：如WiFi定位、蓝牙定位、RFID定位、GPS定位等，对工厂室外环境下的人员定位有较为理想的效果，但在对工厂室内环境下的人员定位时，因室内环境障碍物多，干扰源复杂，会产生遮蔽效应，进而影响信号强度，精度往往不高，而且很难获得目标位置信息以外的更多信息。除此之外，射频定位技术需要部署大量传感器和信号接收装置，经济效益和执行效率都不高。
视频监控系统已经广泛应用在各类场所中，是目前应用最为广泛的人员管理监控系统，其目的就是对监控区域的目标对象进行识别定位。将人脸识别技术与视频监控系统融合，是目前较成熟的人员识别定位方法：利用工厂室内环境下部署的大量监控摄像头，对摄像头传输的视频图像中的人员目标进行人脸识别，从而确定当前被检测人员身份以及在工厂内部出现的时间地点，实现工厂人员的室内定位。该方法可以降低人工识别定位人员的耗时率和误识别率。但是出于安全考虑，工厂通常规定，当工作人员在工厂内部进行作业时，务必随时佩戴安全帽。因此，受限于监控摄像头的拍摄视角，视频图像中的工作人员面部很容易被佩戴的安全帽遮挡，从而无法通过人脸识别技术确定人员身份，这对基于视频人脸识别的室内人员定位是较大的挑战。
发明内容
本发明的一个目的是提供一种基于视频的室内人员定位方法，针对目前人员视频监控时人员面部可能被安全帽遮挡的问题，结合了基于人脸识别确定身份的定位方式和基于号码牌识别确定身份的定位方式，可对工厂室内环境下的人员进行实时定位。
为达到上述目的，本发明采用的技术方案是：
一种基于视频的室内人员的定位方法，包括：
步骤1：获取工厂室内采集的视频流，
步骤2：对视频流图像进行人员抓拍：当视频流场景中出现满足抓拍条件的人员时，在当前帧的视频流图像上截取包含该人员的局部图像，
步骤3：检测该人员是否佩戴安全帽：若检测到该人员未佩戴安全帽，则执行步骤4，若检测到该人员佩戴了安全帽，则执行步骤6，
步骤4：对提取到人员的局部图像执行人脸检测，并提取出人脸的面部识别标志，将提取的面部识别标志与人脸面部特征库的人脸面部特征进行匹配，通过匹配到的人脸面部特征库中索引确认该人员的身份信息，并执行步骤6，
步骤5：检测并提取人员佩戴的安全帽上的号码牌区域，识别对应号码牌的号码序列，将识别号码牌的号码序列与人员号码牌数据库的号码序列索引进行匹配，确认该人员身份信息，并执行步骤6，
步骤6：将人员身份信息与获取到该人员图像的位置信息以及获取时间进行匹配，得到该名工作人员于该时刻出现于工厂室内该位置的定位信息，并进行存储，
步骤7：生成人员行踪报表，通过各人员在不同时刻的定位信息，按照时间顺序生成工作人员在工厂室内的行踪轨迹报表，实现人员定位。
优选地，在步骤4中：人物面部标识检测匹配包括：获取待检测的单个人员局部图像，将图像输入预训练的人脸检测网络与人脸识别网络，获取当前人脸的特征，与人物面部特征库内预存特征计算特征相似度，采用最近邻搜索得到最优匹配结果，获得该人员身份信息，将该人员身份结果与视频采集端采集的时间及所处位置送入人员位置信息生成模块，生成采集时刻的该人员定位信息，并进行存储。
优选地，人脸特征提取识别神经网络可以为MTCNN+LResnetE1-IR网络等。
优选地，在步骤5中：对提取的号码牌区域进行图像预处理，包括获取号码牌区域的局部图像进行图像增强处理和对倾斜变形进行水平还原，识别号码牌上的号码序列。
进一步优选地，在步骤5中：图像增强包括：滤波（例如图像平滑、图像降噪）、图像边缘锐化（Sobel边缘检测）、图像纹理分析（例如去骨架、连通性）、形态学处理（例如膨胀、腐蚀、开闭操作等）；倾斜还原包括，使用霍夫直线变换识别号码牌的边界，利用仿射变换的方法，选择号码牌上边界线的左右两端点和右边界线的下端点作为仿射变换的控制点得到仿射变换矩阵，对提取的号码牌图像进行仿射变换使其变换为正面朝向的水平号码牌。
优选地，在步骤5中：利用预训练的号码牌神经网络检测模型对提取到人员的局部图像执行检测，提取人员佩戴安全帽的号码牌区域，该模型的获取方法包括：
（1）：获取穿戴上安全帽的人员图像样本，
（2）：对安全帽上的号码牌区域进行人工标注，将标注好的样本随机打乱，按4：1：5比例分为训练集、验证集和测试集，
（3）：将标注信息和图像样本输入到卷积神经网络模型中进行训练，通过标注信息，神经网络模型从图像样本中获取到号码牌区域作为号码牌特征图输入，同时将标注信息中的号码牌位置信息作为模型的期望输出，训练得到安全帽号码牌神经网络检测模型。
优选地，在步骤5中：利用预训练的号码牌识别神经网络模型识别预处理后的号码牌图像，得到对应号码牌图像中的号码序列，该模型的获取方法包括：
（1）：获取安全帽的号码牌样本，
（2）：对安全帽上的号码牌区域进行人工标注，标注信息为号码牌上的数字序列，将标注好的样本随机打乱，按4：1：5比例分为训练集、验证集和测试集，
（3）：将标注信息和样本输入到号码牌识别模型中进行训练，采用卷积神经网络的卷积层和池化层进行预处理，提取图像特征，用循环神经网络，对特征进行序列预测，对上一步序列的预测结果通过转换层得到最终的号码牌字符序列，作为模型的期望输出，训练得到安全帽号码牌神经网络识别模型。
优选地，基于卷积神经网络的安全帽号码牌检测与识别包括：获取待检测的单个人员局部图像，将图像输入预训练的安全帽号码牌检测模型，输出包含号码牌的局部矩形框区域截图，对号码牌矩形框区域截图执行图像增强处理和倾斜变形水平还原处理，得到水平号码牌；将水平号码牌输入预训练的安全帽号码牌识别模型，获取号码牌上的数字序列，将识别结果与人员号码数据库索引进行匹配，得到该人员身份信息，将该人员身份与视频采集端采集的时间及所处位置送入人员位置信息生成模块，生成采集时刻的该人员定位信息，并进行存储。
优选地，安全帽号码牌检测神经网络可以为CTPN网络、SegLink网络、TextBoxes网络等，安全帽号码牌识别神经网络可以为CRNN网络、seq2seq网络等。
本发明的另一个目的是提供一种基于视频的室内人员定位系统。
为达到上述目的，本发明采用的技术方案是：
一种基于视频的室内人员定位系统，包括视频采集端、与所述的视频采集端相连接的服务器端，所述的服务器端包括：
人员侦测模块：用于侦测是否有人员到达抓拍触发位置；
人员安全帽佩戴检测模块：用于检测人员图像中人员佩戴安全帽的情况；
人员未佩戴安全帽识别组件：用于对未佩戴安全帽人员进行身份信息的获取；
人员佩戴安全帽识别组件：用于对佩戴安全帽人员进行身份信息的获取；
人员位置时间信息生成模块：包括用于记录视频采集端位置坐标的定位数据库、用于将视频采集端的位置坐标、时间和人员身份信息进行匹配的位置匹配库、用于生成人员行踪报表的报表生成库。
优选地，所述的人员未佩戴安全帽识别组件包括：
人物面部提取模块：用于对所述的人员侦测模块采集到的人员图像执行人脸检测，同时分割出人脸面部特征，分析出人员对应的面部识别标志；
人物面部特征库：用于预存工厂中每名工作人员的人脸面部特征和其对应的身份信息的数据库；
人物面部匹配模块：用于将所述的人脸面部特征库的人脸面部特征与所述的人物面部提取模块获取的面部识别标志进行匹配，得到人物身份信息。
优选地，所述的人员佩戴安全帽识别组件包括：
人员号码牌提取模块：用于从所述的人员侦测模块采集到的人员图像中分割出安全帽上的号码牌区域，并对号码牌区域进行识别，提取号码牌对应的号码序列；
人员号码牌数据库：用于预存工厂中每名工作人员的身份信息和其对应的安全帽上号码牌的号码序列索引；
人员号码匹配模块：用于将所述的人员号码牌数据库的人员号码序列与所述的人员号码提取模块提取的号码序列进行匹配，得到人员身份信息。
优选地，所述的视频采集端包括多个监控摄像头，多个所述的监控摄像头组成视频采集网。
进一步优选地，所述的监控摄像头选用清晰度在1080p以上的彩色RGB监控摄像头、或者红外监控摄像头。
优选地，所述的视频采集端具有用于与所述的服务器端进行图像传输的传输部件，所述的传输部件包括网线、路由器、网络交换机。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：
本发明通过确定监控视频中工厂室内的人员身份，从而判断人员各时刻所处位置，克服了工厂室内信号不佳、人工监控和工作人员面部被安全帽遮挡造成无法识别定位的问题，实现了工厂室内环境下的人员定位。
附图说明
附图1为本实施例中系统的示意图；
附图2为本实施例中系统服务器端的模块结构图；
附图3为本实施例中人员定位流程图；
附图4为本实施例中人员识别程序流程图。
其中：1、监控摄像头；2、人员；3、服务器端。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1、2所示的一种基于视频的室内人员定位系统，包括视频采集端、与视频采集端相连接的服务器端。其中：
视频采集端，用于采集视频信息，获得工厂室内环境人员图像。视频采集端为若干监控摄像头组成的视频采集网络，包括监控摄像头，可以且不仅限为清晰度1080p以上的彩色RGB监控摄像头、红外监控摄像头，同时应具有网线、路由器、网络交换机等用于传输图像的传输部件。
服务器端具有一个或多个CPU及GPU，服务器端应具有一定的深度学习运算能力，同时应具有可读写存储器，用于存储历史视频、程序、数据库、临时文件和结果等。具体包括以下模块：
人员侦测模块：用于侦测是否有人员到达抓拍触发位置，若侦测到人员，则对视频采集端接受的视频流进行抓拍，并获得当前帧图像中的人员的局部图。
人员安全帽佩戴检测模块：用于检测人员图像中人员佩戴安全帽的情况，判断人员是否佩戴了安全帽，造成面部遮挡。
人员未佩戴安全帽识别组件：用于对未佩戴安全帽人员进行身份信息的获取，具体包括：
人物面部提取模块：用于对人员侦测模块采集到的人员图像执行人脸检测，同时分割出人脸面部特征，分析出人员对应的面部识别标志；
人物面部特征库：用于预存工厂中每名工作人员的人脸面部特征和其对应的身份信息的数据库；
人物面部匹配模块：用于将人脸面部特征库的人脸面部特征与人物面部提取模块获取的面部识别标志进行匹配，得到人物身份信息。
人员佩戴安全帽识别组件：用于对佩戴安全帽人员进行身份信息的获取，具体包括：
人员号码牌提取模块：用于从人员侦测模块采集到的人员图像中分割出安全帽上的号码牌区域，并对号码牌区域进行识别，提取号码牌对应的号码序列；
人员号码牌数据库：用于预存工厂中每名工作人员的身份信息和其对应的安全帽上号码牌的号码序列索引；
人员号码匹配模块：用于将人员号码牌数据库的人员号码序列与人员号码提取模块提取的号码序列进行匹配，得到人员身份信息。
人员位置时间信息生成模块：包括用于记录视频采集端位置坐标的定位数据库、用于将视频采集端的位置坐标、时间和人员身份信息进行匹配的位置匹配库、用于生成人员行踪报表的报表生成库。
以下具体阐述下本实施例的定位方法：
步骤1：分布在工厂内各地点的视频采集端实时获取监控视频流，并通过视频流传输部件将各视频采集端视频信息传输到服务器端，进行集中分析。
步骤2：当出现室内待定位人员到达图1中标识2人员位置时，系统自动侦测到人员在该地出没，并且满足抓拍条件，获取当前帧图像并截取该帧图像中拍摄到的待定位人员的局部图像，同时记录该帧图像的抓拍时间和视频采集端的位置信息。
步骤3：待定位人员图像传输至服务器端进行处理，服务器端保存并运行着人脸识别和安全帽号码牌识别程序，当图像传输完成时，根据图3所示的人员识别程序流程图，首先对待定位人员图像执行人员安全帽佩戴检测，若待定位人员没有佩戴安全帽，则进行人脸识别特征匹配，确定待定位人员身份信息；若待定位人员头部佩戴了安全帽，则对安全帽上的号码牌进行检测并提取，对提取的号码牌区域进行图像预处理，识别号码牌得到号码序列并匹配，确定待定位人员身份信息。
具体的说：
若待定位人员没有佩戴安全帽则：利用人脸识别神经网络模型对提取到的人员局部图像执行人脸检测，并提取出人脸的特征标识，然后将人物面部特征库的人物面部特征与待识别人员的人脸特征标识进行一一匹配，通过匹配到的特征库索引确认该人员身份信息；
若待定位人员头部佩戴了安全帽则：利用预训练的安全帽号码牌神经网络检测模型对提取到的人员局部图像执行号码牌检测，检测并提取人员佩戴的安全帽上的号码牌区域，对提取的号码牌区域进行图像预处理，对获取的号码牌区域局部图像进行图像增强处理和对倾斜变形进行水平还原，以便识别号码牌上的身份号码，利用预训练的号码牌识别神经网络模型识别预处理后的号码牌图像，得到对应号码牌图像中的身份号码序列。将识别出的号码序列与人员号码牌数据库的号码索引进行匹配，从而得到该人员身份信息。
步骤4：将待定位人员身份信息和抓取时间与位置信息送入如图4所示的人员位置时间信息生成模块中，得到待定位人员于该时刻出现于工厂室内该位置的定位信息，进行存储。同理，系统对每一个抓取到的待定位人员图像都进行身份识别、生成定位信息、存储该定位信息。
步骤5：将属于同一名工作人员的在不同时刻存储的定位信息进行归类，并按照时间顺序，生成每名工厂人员在工厂室内的行踪轨迹报表。
上述步骤是整个系统的工作流程，实现了工厂室内环境下的人员定位。
在一些具体实施例中，当前帧的视频采集端图像中会出现不止一名工作人员被检测并提取到，此时，将提取到的每个人员图像分别进行识别定位，确定各人身份后，分别生成各人员的当前时刻定位信息。
安全帽佩戴检测功能主体是一个开源的目标检测算法库中的深度学习安全帽检测算法，包含了如下最新的算法框架：YOLO V4、YOLO V5、SSD等。对输入人员图像进行安全帽检测，检测对象为人员头部区域。网络输出两个类别，一种是佩戴了安全帽的人员头部，一种是未佩戴安全帽的人员头部，从而实现了人员安全帽佩戴情况检测。
人脸的特征提取识别功能主体是一个开源的深度学习算法库中的深度学习神经网络人脸识别算法，包含了如下最新的算法框架：Seetaface6.0、MTCNN、LResnet100E-IR、LResnet50E X 2、Insightface等。当输入人员图像后，首先检测人员面部区域，然后对人脸进行特征点检测；将识别到的特征点在人物面部特征库中进行最优匹配，从而确定人员身份。
人物面部特征库的各人员面部特征同样通过该开源算法库中的人脸识别算法提取并存储，同时对每个人的人脸特征标识添加个人身份信息索引。
安全帽上的号码牌的检测执行主体是一个预训练的号码牌神经网络检测模型，该检测模型是通过如下方式得到的：
（1）：获取穿戴上安全帽的人员图像样本；
（2）：对安全帽上的号码牌区域进行人工标注；将标注好的样本随机打乱，按4：1：5比例分为训练集、验证集和测试集；
（3）：将标注信息和图像输入到卷积神经网络模型中进行训练，通过标注信息，神经网络模型从图像中获取到安全帽号码牌区域作 为号码牌特征图输入，同时将标注信息中的号码牌位置信息作为模型的期望输出，训练得到安全帽号码牌神经网络检测模型。
进行号码牌检测时，将待检测的人员局部图像输入到预训练完毕的安全帽号码牌神经网络检测模型中，则可以得到号码牌的位置和包含号码牌的矩形方框截图，达到号码牌检测目的。
在实际场景中，由于人员移动导致的号码牌倾斜、视频模糊、光照过曝等问题。对提取到的号码牌区域图像采用了以下多种图像处理的方法，提高了号码牌区域的图像质量：滤波（例如图像平滑、图像降噪）、图像增强、图像边缘锐化（Sobel边缘检测）、图像纹理分析（例如去骨架、连通性）、形态学处理（例如膨胀、腐蚀、开闭操作等）。针对号码牌倾斜问题，使用霍夫直线变换识别号码牌的边界。再利用仿射变换的方法，选择号码牌上边界线的左右两端点和右边界线的下端点作为仿射变换的控制点得到仿射变换矩阵，对提取的号码牌图像进行仿射变换使其变换为正面朝向的水平号码牌。
安全帽上的号码牌的识别执行主体是一个预训练的号码牌神经网络检测模型，该识别模型是通过如下方式得到的：
（1）：获取预处理后的水平安全帽号码牌样本；
（2）：对安全帽上的号码牌区域进行人工标注，标注信息为号码牌上的数字序列；将标注好的样本随机打乱，按4：1：5比例分为训练集、验证集和测试集；
（3）：将标注信息和图像输入到号码牌识别模型中进行训练，由于号码牌的形变会导致号码字符粘连，这对字符分割造成了极大的挑战，而字符分割的效果又直接影响到识别效果，本发明采用一种编码器加解码器的方法，无须进行字符分割。首先直接采用卷积神经网络的卷积层和池化层进行预处理，提取图像特征；然后用循环神经网络，对特征进行序列预测，最后对上一步序列的预测结果通过转换层得到最终的号码牌字符序列，作为模型的期望输出，训练得到安全帽号码牌神经网络识别模型。
在一些具体实施例中，需要根据图像样本的数量质量等调整初始神经网络模型的参数；训练预设结束条件可以包括但不限于以下中的至少一项：实际训练时间超过预设训练时间；实际训练次数超过预设训练次数；损失函数计算所的差异小于预设差异阈值。
在实施例中，经实验测试得到，本实施例的人员检测率达到了99%，漏检率为1%；人员头盔佩戴情况检测正确率达到了99%，错检率为1%；人脸身份识别的正确率达到99%，误识别率为1%；安全帽号码牌数字序列的识别正确率均达到98.1%，误识别率小于2%。同时，经实验测试得到，识别并定位室内的单个工作人员，程序用时均小于0.25s，所以本发明实施例提出的基于视频人脸识别与号码牌识别的工厂室内人员定位系统达到了工厂室内环境的人员实时定位的目的。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于视频的室内人员的定位方法，其特征在于：包括：
步骤1：获取工厂室内采集的视频流，
步骤2：对视频流图像进行人员抓拍：当视频流场景中出现满足抓拍条件的人员时，在当前帧的视频流图像上截取包含该人员的局部图像，
步骤3：检测该人员是否佩戴安全帽：若检测到该人员未佩戴安全帽，则执行步骤4，若检测到该人员佩戴了安全帽，则执行步骤6，
步骤4：对提取到人员的局部图像执行人脸检测，并提取出人脸的面部识别标志，将提取的面部识别标志与人脸面部特征库的人脸面部特征进行匹配，通过匹配到的人脸面部特征库中索引确认该人员的身份信息，并执行步骤6，
步骤5：检测并提取人员佩戴的安全帽上的号码牌区域，识别对应号码牌的号码序列，将识别号码牌的号码序列与人员号码牌数据库的号码序列索引进行匹配，确认该人员身份信息，并执行步骤6，
步骤6：将人员身份信息与获取到该人员图像的位置信息以及获取时间进行匹配，得到该名工作人员于该时刻出现于工厂室内该位置的定位信息，并进行存储，
步骤7：生成人员行踪报表，通过各人员在不同时刻的定位信息，按照时间顺序生成工作人员在工厂室内的行踪轨迹报表，实现人员定位。
2.根据权利要求1所述的基于视频的室内人员的定位方法，其特征在于：在步骤5中：对提取的号码牌区域进行图像预处理，包括获取号码牌区域的局部图像进行图像增强处理和对倾斜变形进行水平还原，识别号码牌上的号码序列。
3.根据权利要求2所述的基于视频的室内人员的定位方法，其特征在于：在步骤5中：图像增强包括：滤波、图像边缘锐化、图像纹理分析、形态学处理；倾斜还原包括，使用霍夫直线变换识别号码牌的边界，利用仿射变换的方法，选择号码牌上边界线的左右两端点和右边界线的下端点作为仿射变换的控制点得到仿射变换矩阵，对提取的号码牌图像进行仿射变换使其变换为正面朝向的水平号码牌。
4.根据权利要求1所述的基于视频的室内人员的定位方法，其特征在于：在步骤5中：利用预训练的号码牌神经网络检测模型对提取到人员的局部图像执行检测，提取人员佩戴安全帽的号码牌区域，该模型的获取方法包括：
（1）：获取穿戴上安全帽的人员图像样本，
（2）：对安全帽上的号码牌区域进行人工标注，将标注好的样本随机打乱，按4：1：5比例分为训练集、验证集和测试集，
（3）：将标注信息和图像样本输入到卷积神经网络模型中进行训练，通过标注信息，神经网络模型从图像样本中获取到号码牌区域作为号码牌特征图输入，同时将标注信息中的号码牌位置信息作为模型的期望输出，训练得到安全帽号码牌神经网络检测模型。
5.根据权利要求1所述的基于视频的室内人员的定位方法，其特征在于：在步骤5中：利用预训练的号码牌识别神经网络模型识别预处理后的号码牌图像，得到对应号码牌图像中的号码序列，该模型的获取方法包括：
（1）：获取安全帽的号码牌样本，
（2）：对安全帽上的号码牌区域进行人工标注，标注信息为号码牌上的数字序列，将标注好的样本随机打乱，按4：1：5比例分为训练集、验证集和测试集，
（3）：将标注信息和样本输入到号码牌识别模型中进行训练，采用卷积神经网络的卷积层和池化层进行预处理，提取图像特征，用循环神经网络，对特征进行序列预测，对上一步序列的预测结果通过转换层得到最终的号码牌字符序列，作为模型的期望输出，训练得到安全帽号码牌神经网络识别模型。
6.一种实现权利要求1-5中任意一项权利要求所述的定位方法的定位系统，包括视频采集端、与所述的视频采集端相连接的服务器端，其特征在于：所述的服务器端包括：
人员侦测模块：用于侦测是否有人员到达抓拍触发位置；
人员安全帽佩戴检测模块：用于检测人员图像中人员佩戴安全帽的情况；
人员未佩戴安全帽识别组件：用于对未佩戴安全帽人员进行身份信息的获取；
人员佩戴安全帽识别组件：用于对佩戴安全帽人员进行身份信息的获取；
人员位置时间信息生成模块：包括用于记录视频采集端位置坐标的定位数据库、用于将视频采集端的位置坐标、时间和人员身份信息进行匹配的位置匹配库、用于生成人员行踪报表的报表生成库。
7.根据权利要求6所述的定位系统，其特征在于：所述的人员未佩戴安全帽识别组件包括：
人物面部提取模块：用于对所述的人员侦测模块采集到的人员图像执行人脸检测，同时分割出人脸面部特征，分析出人员对应的面部识别标志；
人物面部特征库：用于预存工厂中每名工作人员的人脸面部特征和其对应的身份信息的数据库；
人物面部匹配模块：用于将所述的人脸面部特征库的人脸面部特征与所述的人物面部提取模块获取的面部识别标志进行匹配，得到人物身份信息。
8.根据权利要求6所述的定位系统，其特征在于：所述的人员佩戴安全帽识别组件包括：
人员号码牌提取模块：用于从所述的人员侦测模块采集到的人员图像中分割出安全帽上的号码牌区域，并对号码牌区域进行识别，提取号码牌对应的号码序列；
人员号码牌数据库：用于预存工厂中每名工作人员的身份信息和其对应的安全帽上号码牌的号码序列索引；
人员号码匹配模块：用于将所述的人员号码牌数据库的人员号码序列与所述的人员号码提取模块提取的号码序列进行匹配，得到人员身份信息。
9.根据权利要求6所述的定位系统，其特征在于：所述的视频采集端包括多个监控摄像头，多个所述的监控摄像头组成视频采集网。
10.根据权利要求6所述的定位系统，其特征在于：所述的视频采集端具有用于与所述的服务器端进行图像传输的传输部件，所述的传输部件包括网线、路由器、网络交换机。
CN202011369270.1A 2020-11-30 2020-11-30 一种基于视频的室内人员定位方法及定位系统 Active CN112396658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011369270.1A CN112396658B (zh) 2020-11-30 2020-11-30 一种基于视频的室内人员定位方法及定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011369270.1A CN112396658B (zh) 2020-11-30 2020-11-30 一种基于视频的室内人员定位方法及定位系统

Publications (2)

Publication Number Publication Date
CN112396658A CN112396658A (zh) 2021-02-23
CN112396658B true CN112396658B (zh) 2024-03-19

Family

ID=74604786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011369270.1A Active CN112396658B (zh) 2020-11-30 2020-11-30 一种基于视频的室内人员定位方法及定位系统

Country Status (1)

Country Link
CN (1) CN112396658B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949486B (zh) * 2021-03-01 2022-05-17 八维通科技有限公司 基于神经网络的智能交通数据处理方法及装置
CN112884444B (zh) * 2021-03-10 2023-07-18 苏州思萃融合基建技术研究所有限公司 一种基于数字孪生技术的施工现场人员管理的智能系统
CN113076808B (zh) * 2021-03-10 2023-05-26 海纳云物联科技有限公司 一种通过图像算法精准获取双向人流量的方法
CN113315952B (zh) * 2021-06-02 2023-05-05 云南电网有限责任公司电力科学研究院 一种配电网作业现场安全监控方法及系统
CN113920478A (zh) * 2021-12-16 2022-01-11 国能龙源电力技术工程有限责任公司 一种基于视频的安全监控方法和系统
CN115077488B (zh) * 2022-05-26 2023-04-28 燕山大学 一种基于数字孪生的厂区人员实时定位监测系统和方法
CN116206255B (zh) * 2023-01-06 2024-02-20 广州纬纶信息科技有限公司 基于机器视觉的危险区域人员监控方法与装置
CN116978152B (zh) * 2023-06-16 2024-03-01 三峡高科信息技术有限责任公司 一种基于射频识别技术的无感安全监控方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200345277Y1 (ko) * 2003-12-29 2004-03-18 김동기 신분식별이 용이한 안전모
WO2019136918A1 (zh) * 2018-01-11 2019-07-18 华为技术有限公司 一种室内定位的方法、服务器及定位系统
CN110309719A (zh) * 2019-05-27 2019-10-08 安徽继远软件有限公司 一种电网作业人员安全帽佩戴管理控制方法和系统
CN110852283A (zh) * 2019-11-14 2020-02-28 南京工程学院 一种基于改进YOLOv3的安全帽佩戴检测与跟踪方法
CN111598040A (zh) * 2020-05-25 2020-08-28 中建三局第二建设工程有限责任公司 一种建筑工人身份识别及安全帽佩戴检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200345277Y1 (ko) * 2003-12-29 2004-03-18 김동기 신분식별이 용이한 안전모
WO2019136918A1 (zh) * 2018-01-11 2019-07-18 华为技术有限公司 一种室内定位的方法、服务器及定位系统
CN110309719A (zh) * 2019-05-27 2019-10-08 安徽继远软件有限公司 一种电网作业人员安全帽佩戴管理控制方法和系统
CN110852283A (zh) * 2019-11-14 2020-02-28 南京工程学院 一种基于改进YOLOv3的安全帽佩戴检测与跟踪方法
CN111598040A (zh) * 2020-05-25 2020-08-28 中建三局第二建设工程有限责任公司 一种建筑工人身份识别及安全帽佩戴检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴冬梅 ; 王慧 ; 李佳 ; .基于改进Faster RCNN的安全帽检测及身份识别.信息技术与信息化.2020,(第01期),全文. *

Also Published As

Publication number Publication date
CN112396658A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN110738127B (zh) 基于无监督深度学习神经网络算法的安全帽识别方法
CN109117827B (zh) 基于视频的工服工帽穿戴状态自动识别方法与报警系统
CN111191586B (zh) 一种施工现场人员安全帽佩戴情况巡检方法及系统
CN110188724A (zh) 基于深度学习的安全帽定位与颜色识别的方法及系统
KR101215948B1 (ko) 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
CN109298785A (zh) 一种监测设备的人机联控系统及方法
CN110309719A (zh) 一种电网作业人员安全帽佩戴管理控制方法和系统
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
CN104361327A (zh) 一种行人检测方法和系统
CN106951889A (zh) 井下高危区域动目标监测和管理系统
CN111898514A (zh) 一种基于目标检测与动作识别的多目标视觉监管方法
CN106446926A (zh) 一种基于视频分析的变电站工人安全帽佩戴检测方法
CN110728252B (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN103942850A (zh) 基于视频分析和rfid技术的医护人员在岗监测方法
CN113903081A (zh) 一种水电厂图像视觉识别人工智能报警方法及装置
CN110991315A (zh) 一种基于深度学习的安全帽佩戴状态实时检测方法
CN111126219A (zh) 一种基于人工智能的变电站人员的身份识别系统和方法
CN110633612A (zh) 一种巡检机器人的监控方法及系统
CN112287823A (zh) 一种基于视频监控的面部口罩识别方法
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN115035088A (zh) 一种基于yolov5和姿态估计的安全帽佩戴检测方法
CN111401310B (zh) 基于人工智能的厨房卫生安全监督管理方法
CN112800975A (zh) 一种基于图像处理的安检通道内行为识别方法
CN113111771A (zh) 一种发电厂工作人员不安全行为的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant