CN114897499A - 一种景区员工工作状态判断的方法及装置 - Google Patents
一种景区员工工作状态判断的方法及装置 Download PDFInfo
- Publication number
- CN114897499A CN114897499A CN202210495630.5A CN202210495630A CN114897499A CN 114897499 A CN114897499 A CN 114897499A CN 202210495630 A CN202210495630 A CN 202210495630A CN 114897499 A CN114897499 A CN 114897499A
- Authority
- CN
- China
- Prior art keywords
- staff
- employee
- data
- work
- judging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000009471 action Effects 0.000 claims abstract description 51
- 238000012544 monitoring process Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 8
- 230000006399 behavior Effects 0.000 claims description 36
- 238000013500 data storage Methods 0.000 claims description 27
- 230000036760 body temperature Effects 0.000 claims description 22
- 230000036541 health Effects 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 210000002569 neuron Anatomy 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 11
- 210000000707 wrist Anatomy 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000000391 smoking effect Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 201000010099 disease Diseases 0.000 claims description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 4
- 230000000593 degrading effect Effects 0.000 claims description 3
- 230000002085 persistent effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000004080 punching Methods 0.000 claims description 3
- 238000001931 thermography Methods 0.000 claims description 3
- 238000013518 transcription Methods 0.000 claims description 3
- 230000035897 transcription Effects 0.000 claims description 3
- 206010003119 arrhythmia Diseases 0.000 claims 1
- 230000006793 arrhythmia Effects 0.000 claims 1
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 208000007888 Sinus Tachycardia Diseases 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 206010002660 Anoxia Diseases 0.000 description 1
- 241000976983 Anoxia Species 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 206010020850 Hyperthyroidism Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 206010040741 Sinus bradycardia Diseases 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 208000007502 anemia Diseases 0.000 description 1
- 230000007953 anoxia Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/105—Human resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Operations Research (AREA)
- Molecular Biology (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供一种景区员工工作状态判断的方法及装置，涉及工作状态判断技术领域，所述景区员工工作状态判断的方法包括如下步骤：S1，获取影像，员工在工作区域工作的过程中，实时获取员工所在工作区域的工作录像数据，从而保证后续步骤的正常判定；S2，判定违规动作，然后根据所述工作录像数据，并通过YOLOv5算法对所述员工工作录像数据进行标记判定。本发明通过YOLOv5算法来训练违规行为判定模型，YOLOv5算法具有准确率高和速度快的特点，可以准确的判定员工的行为特征，从而避免员工消极工作，同时在YOLOv5算法判定员工出现违规动作后，可及时通知监控台进行人工复核，从而避免YOLOv5算法判定时出现误差，同时还可以降低后台工作人员的工作负担。
Description
技术领域
本发明涉及工作状态判断技术领域，尤其涉及一种景区员工工作状态判断的方法及装置。
背景技术
目前在景区运营中，管理者难以全面实时掌握员工日常工作行为，员工日常的一些不规范行为往往会给景区带来景区资产、口碑名誉损失，增加景区运维管理成本，而现有技术往往只能够通过监控摄像头来对员工进行监控，但是这种方式往往需要配备多名监控人员进行实时监视，人力耗费较大，同时人工监视还容易存在漏判误判的问题，实用性较差，需要进行改进。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种景区员工工作状态判断的方法及装置。
为了实现上述目的，本发明采用了如下技术方案：一种景区员工工作状态判断的方法，所述景区员工工作状态判断的方法包括如下步骤：
S1，获取影像，员工在工作区域工作的过程中，实时获取员工所在工作区域的工作录像数据，从而保证后续步骤的正常判定；
S2，判定违规动作，然后根据所述工作录像数据，并通过YOLOv5算法对所述员工工作录像数据进行标记判定，若员工出现违规动作，则标记员工并将违规动作视频片段保存；
S3，人脸识别，根据所述违规动作视频片段进行人脸识别，其中人脸识别接口采用ArcFaceGo识别接口，从而准确获取违规动作视频片段的身份；
S4，语音识别，然后获取所述员工的工作录音，并对工作录音进行语音转写，得到文字录音信息，随后通过匹配中文敏感词库，随后获取匹配结果，若文字录音信息匹配上中文敏感词库中内容，则判定员工言语不当；
S5，心率判断，并且在员工工作过程中，每隔十分钟定时获取员工当前的心率，而在心率异常时，可以及时发出警告提醒员工，从而降低健康风险，保证了员工的身体健康，避免了带病工作的情况；
S6，员工下班，员工下班时，获取员工的身体温度，若员工体温正常，则让员工正常下班，若员工体温异常，则将员工送入医院进行检查；
S7，总结员工工作状态，获取员工今日的位置轨迹，然后对比所述员工位置轨迹和员工被分配的工作区域，若员工位置轨迹超出被分配的工作区域，则判定为脱岗，否则判定为到岗，同时调取在S3步骤中得到的违规动作视频片段，进行人工复核来判断员工是否违规，从而总结员工每日的工作状态。
为了准确定义违规动作，本发明改进有，在S2步骤中，所述违规动作包括抽烟、玩手机、睡觉、坐地上以及与顾客争辩，在S1步骤之前还包括：员工在上班时，首先穿戴好工作服，随后赶往工作区域，随后开始对员工进行监测。
为了提高YOLOv5算法判定的准确性，本发明改进有，在S2步骤中，所述YOLOv5算法中内置违规行为判定模型，其中违规行为判定模型的训练方法包括如下步骤：
首先获取员工违规动作图片素材，员工违规动作图片素材主要为员工正在抽烟、玩手机、睡觉、坐地上以及与顾客争辩的图片数据；
再通过Image Labeler应用将所述员工违规动作图片素材全部手动标记示出；
然后将Image Labeler应用标记出的参数导入到YOLOv5算法中进行训练，得到违规行为判定模型，并将违规行为判定模型内置YOLOv5算法内即可。
为了避免因定位误差而发生误判，本发明改进有，在S6步骤中，员工位置轨迹超出被分配的工作区域50m判定为脱岗，否则判定为定位误差。
为了能够科学判断心率异常，本发明改进有，在S4步骤中，所述心率异常的判定标准为：心率小于55或心率大于100。
为了确定员工身份，本发明改进有，在S3步骤中，若所述违规动作视频片段含有员工正脸图像，则获取正脸图像截图，随后提取景区内员工人脸图像集，再将所述正脸图像截图与所述员工人脸图像集进行查找对比，进而确定违规动作视频片段的身份；
若所述违规动作视频片段中不存在员工正脸图像，则获取员工衣服后二维码图像数据，并识别所述二维码图像数据从而读取员工身份，进而确定违规动作视频片段的员工身份。
为了提高清晰度，本发明改进有，所述正脸图像截图的清晰度若无法满足人脸识别条件，则采用图像超分辨率重建方法进行处理，从而得到高分辨率图像。
为了有效提高图像的清晰度，本发明改进有，所述图像超分辨率重建方法包括如下步骤：
步骤一，首先将所述正脸图像截图导入ELM极限学习网络，得到正脸图像截图的特征点神经元值图；
步骤二，随后将所述特征点神经元值图降质至普通图像标准，得到低分辨率特征点神经元值图；
步骤三，然后将所述低分辨率特征点神经元值图导入卷积神经网络中进行重建，输出超分辨率图像，从而提高所述正脸图像截图的清晰度。
一种景区员工工作状态判断的装置，所述景区员工工作状态判断的装置包括：
数据存储单元，用于存储需要持久化保存的数据，例如音频数据、视频数据、打卡记录数据、员工体温数据、员工位置数据、健康数据，从而方便事后回溯查看员工的工作状况，同时方便后续统计；
无线通信单元，用于进行无线中继，使得各单元模块之间可以相互通信，相互传输数据，保证了各单元模块的通信质量；
行为分析单元，与所述数据存储单元相连接，内置采用YOLOv5算法的违规行为判定模型，违规行为判定模型用来判断员工的违规动作，这样可以对收到的视频数据进行标记和判定，同时存储被标记的视频数据到所述数据存储单元内，从而方便后续统计；
监控单元，与所述行为分析单元相连接，采用全景摄像头实时获取各个员工的工作视频数据，同时将所述视频数据传递给行为分析单元进行违规动作的判定，从而保证工作效率；
位置定位单元，与所述数据存储单元相连接，内置GPS模块，员工需要随身携带所述位置定位单元，而所述位置定位单元则可以通过所述GPS模块获取员工当前位置，同时所述位置定位单元可以实时的将员工位置数据保存至数据存储单元；
监控台，与所述行为分析单元和监控单元相连接，用于随时监控员工的工作状态，同时通过所述行为分析单元可以辅助后台工作人员进行判断，从而提高后台工作人员的工作效率。
一种景区员工工作状态判断的装置，所述景区员工工作状态判断的装置还包括：
热成像测温仪，与所述数据存储单元和监控台相连接，用于对员工的体温进行实时监测，并将员工体温数据传入所述数据存储单元内进行持久化保存，同时在员工体温异常时，可以提醒监控台进行复核检查；
心率腕带，与所述数据存储单元相连接，所述心率腕带佩戴在员工手腕上，用于监测员工的心率状态，同时可以将健康数据存入数据存储单元内，这样可以方便判定员工的身体健康。
相比于现有技术，本发明通过YOLOv5算法来训练违规行为判定模型，YOLOv5算法具有准确率高和速度快的特点，可以准确的判定员工的行为特征，从而避免员工消极工作，同时在YOLOv5算法判定员工出现违规动作后，可及时通知监控台进行人工复核，从而避免YOLOv5算法判定时出现误差，同时还可以降低后台工作人员的工作负担，因为这样后台工作人员只需要对YOLOv5算法判定的违规动作进行复核，无需时时刻刻紧盯监控台，减轻了人力成本，而通过人脸识别则可以准确的准确员工身份信息，同时在员工背对摄像头时，也可以通过二维码来识别员工身份，并且通过图像超分辨率重建方法还可以提高正脸图像截图清晰度，保证了人脸识别的正常进行，而通过对员工工作录音进行语音识别则可以避免员工言语不当，通过设置的位置定位单元则可以在员工超出监控范围后，对员工的位置进行跟踪，从而避免员工脱离监控范围后脱岗，进步性显著，适合推广使用。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提出一种景区员工工作状态判断的方法流程示意图；
图2为本发明提出一种景区员工工作状态判断的装置架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参阅图1，一种景区员工工作状态判断的方法，景区员工工作状态判断的方法包括如下步骤：
S1，获取影像，员工在工作区域工作的过程中，实时获取员工所在工作区域的工作录像数据，从而保证后续步骤的正常判定；
具体而言，通过获取员工工作录像数据，可以方便监视员工，同时也可以提供给YOLOv5算法足够的数据进行协助判断。
S2，判定违规动作，然后根据工作录像数据，并通过YOLOv5算法对员工工作录像数据进行标记判定，若员工出现违规动作，则标记员工并将违规动作视频片段保存；
具体而言，YOLO算法是将对象检测重新定义为一个回归问题，它将单个卷积神经网络(CNN)应用于整个图像，将图像分成网格，并预测每个网格的类概率和边界框，具有效率极高的特点。
S3，人脸识别，根据违规动作视频片段进行人脸识别，其中人脸识别接口采用ArcFaceGo识别接口，从而准确获取违规动作视频片段的身份；
若违规动作视频片段含有员工正脸图像，则获取正脸图像截图，随后提取景区内员工人脸图像集，再将正脸图像截图与员工人脸图像集进行查找对比，进而确定违规动作视频片段的身份；
违规动作视频片段中不存在员工正脸图像，则获取员工衣服后二维码图像数据，并识别二维码图像数据从而读取员工身份，进而确定违规动作视频片段的员工身份；
若正脸图像截图的清晰度若无法满足人脸识别条件，则采用图像超分辨率重建方法进行处理，从而得到高分辨率图像；
图像超分辨率重建方法包括如下步骤：
步骤一，首先将正脸图像截图导入ELM极限学习网络，得到正脸图像截图的特征点神经元值图；
具体而言，ELM极限学习网络由输入层对正脸图像截图中的对象以及图像中的各目标分类并对各目标特征点进行识别分类，其中输入层拥有和目标图像相同大小尺寸的卷积结构，处理目标图像中n个特征点，调整图像预处理的特征数量，所识别得到图像特征，从而得到正脸图像截图的特征点神经元值图；
步骤二，随后将特征点神经元值图降质至普通图像标准，得到低分辨率特征点神经元值图；
步骤三，然后将低分辨率特征点神经元值图导入卷积神经网络中进行重建，输出超分辨率图像，从而提高正脸图像截图的清晰度。
具体而言，卷积神经网络基于普通网络结构，并构建三层卷积网络模型；从而得到初始网络结构，然后对初始网络结构进行优化训练，得到卷积神经网络；
具体而言，ArcFaceGo人脸识别应用套件是在Arcface基础上开发的门禁场景的应用，适合安装在Android系统的门口机、闸机头、Pad等设备上，旨在助力广大开发者快速将虹软人脸识别算法直接应用到设备上，成本低廉，能够快速部署。
S4，语音识别，然后获取员工的工作录音，并对工作录音进行语音转写，得到文字录音信息，随后通过匹配中文敏感词库，随后获取匹配结果，若文字录音信息匹配上中文敏感词库中内容，则判定员工言语不当。
具体而言，通过中文敏感词库的匹配，可以对员工的言语进行规范，避免员工发出不当言论而影响景区形象。
S5，心率判断，并且在员工工作过程中，每隔十分钟定时获取员工当前的心率，而在心率异常时，可以及时发出警告提醒员工，从而降低健康风险，保证了员工的身体健康，避免了带病工作的情况；
具体而言，心率是指正常人安静状态下每分钟心跳的次数，也叫安静心率，一般为60-100次/分，可因年龄、性别或其他生理因素产生个体差异；
而成人安静时心率超过100次/分钟时，称为窦性心动过速，常见于兴奋、激动、吸烟、饮酒、喝浓茶或咖啡后，或见于感染、发热、休克、贫血、缺氧、甲亢、心力衰竭等病理状态下，而成人安静时心率低于60次/分钟时，称为窦性心动过缓；
在心率异常时，可以及时的对员工进行警告提醒，避免了员工带病上班的情况发生，提高了员工的安全性。
S6，员工下班，员工下班时，获取员工的身体温度，若员工体温正常，则让员工正常下班，若员工体温异常，则将员工送入医院进行检查；
具体而言，这样在景区这种人流量巨大的公共场所，能够精准识别体温异常的员工，利于疫情防控。
S7，总结员工工作状态，获取员工今日的位置轨迹，然后对比员工位置轨迹和员工被分配的工作区域，若员工位置轨迹超出被分配的工作区域，则判定为脱岗，否则判定为到岗，同时调取在S3步骤中得到的违规动作视频片段，进行人工复核来判断员工是否违规，从而总结员工每日的工作状态；
具体而言，这样可以有效监控员工的位置，在员工脱离监控的范围后，还可以获取到员工的位置信息来进行脱岗判断，提高了泛用性。
实施例二
参阅图2，一种景区员工工作状态判断的装置，景区员工工作状态判断的装置包括：
数据存储单元，用于存储需要持久化保存的数据，例如音频数据、视频数据、打卡记录数据、员工体温数据、员工位置数据、健康数据，从而方便事后回溯查看员工的工作状况，同时方便后续统计；
无线通信单元，用于进行无线中继，使得各单元模块之间可以相互通信，相互传输数据，保证了各单元模块的通信质量，无线通信单元采用的无线通信方式为WIFI、4G和5G中的任意一种或两种，无线通信单元采用的WIFI模块为ZBT-WM8302RT，无线通信单元采用的4G模块为SIM7500E，无线通信单元采用的5G模块为Qualcomm SDX55；
行为分析单元，与数据存储单元相连接，内置采用YOLOv5算法的违规行为判定模型，违规行为判定模型用来判断员工的违规动作，这样可以对收到的视频数据进行标记和判定，同时存储被标记的视频数据到数据存储单元内，从而方便后续统计；
监控单元，与行为分析单元元相连接，采用全景摄像头实时获取各个员工的工作视频数据，同时将视频数据传递给行为分析单元进行违规动作的判定，从而保证工作效率；
位置定位单元，与数据存储单元相连接，内置GPS模块，员工需要随身携带位置定位单元，而位置定位单元则可以通过GPS模块获取员工当前位置，同时位置定位单元可以实时的将员工位置数据保存至数据存储单元；
监控台，与行为分析单元和监控单元相连接，用于随时监控员工的工作状态，同时通过行为分析单元可以辅助后台工作人员进行判断，从而提高后台工作人员的工作效率；
热成像测温仪，与数据存储单元和监控台相连接，用于对员工的体温进行实时监测，并将员工体温数据传入数据存储单元内进行持久化保存，同时在员工体温异常时，可以提醒监控台进行复核检查；
心率腕带，与数据存储单元相连接，心率腕带佩戴在员工手腕上，用于监测员工的心率状态，同时可以将健康数据存入数据存储单元内，这样可以方便判定员工的身体健康，心率腕带内置有光学心率传感器，用于准确测量员工的心率。
从上述实施例可以看出，本发明通过YOLOv5算法来训练违规行为判定模型，YOLOv5算法具有准确率高和速度快的特点，可以准确的判定员工的行为特征，从而避免员工消极工作，同时在YOLOv5算法判定员工出现违规动作后，可及时通知监控台进行人工复核，从而避免YOLOv5算法判定时出现误差，同时还可以降低后台工作人员的工作负担，因为这样后台工作人员只需要对YOLOv5算法判定的违规动作进行复核，无需时时刻刻紧盯监控台，减轻了人力成本，而通过人脸识别则可以准确的准确员工身份信息，同时在员工背对摄像头时，也可以通过二维码来识别员工身份，并且通过图像超分辨率重建方法还可以提高正脸图像截图清晰度，保证了人脸识别的正常进行，而通过对员工工作录音进行语音识别则可以避免员工言语不当，通过设置的位置定位单元则可以在员工超出监控范围后，对员工的位置进行跟踪，从而避免员工脱离监控范围后脱岗，进步性显著，适合推广使用。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种景区员工工作状态判断的方法，其特征在于，所述景区员工工作状态判断的方法包括如下步骤：
S1，获取影像，员工在工作区域工作的过程中，实时获取员工所在工作区域的工作录像数据，从而保证后续步骤的正常判定；
S2，判定违规动作，然后根据所述工作录像数据，并通过YOLOv5算法对所述员工工作录像数据进行标记判定，若员工出现违规动作，则标记员工并将违规动作视频片段保存；
S3，人脸识别，根据所述违规动作视频片段进行人脸识别，其中人脸识别接口采用ArcFaceGo识别接口，从而准确获取违规动作视频片段的身份；
S4，语音识别，然后获取所述员工的工作录音，并对工作录音进行语音转写，得到文字录音信息，随后通过匹配中文敏感词库，随后获取匹配结果，若文字录音信息匹配上中文敏感词库中内容，则判定员工言语不当；
S5，心率判断，并且在员工工作过程中，每隔十分钟定时获取员工当前的心率，而在心率异常时，可以及时发出警告提醒员工，从而降低健康风险，保证了员工的身体健康，避免了带病工作的情况；
S6，员工下班，员工下班时，获取员工的身体温度，若员工体温正常，则让员工正常下班，若员工体温异常，则将员工送入医院进行检查；
S7，总结员工工作状态，获取员工今日的位置轨迹，然后对比所述员工位置轨迹和员工被分配的工作区域，若员工位置轨迹超出被分配的工作区域，则判定为脱岗，否则判定为到岗，同时调取在S3步骤中得到的违规动作视频片段，进行人工复核来判断员工是否违规，从而总结员工每日的工作状态。
2.根据权利要求1所述的景区员工工作状态判断的方法，其特征在于：在S2步骤中，所述违规动作包括抽烟、玩手机、睡觉、坐地上以及与顾客争辩，在S1步骤之前还包括：员工在上班时，首先穿戴好工作服，随后赶往工作区域，随后开始对员工进行监测。
3.根据权利要求1所述的景区员工工作状态判断的方法，其特征在于：在S2步骤中，所述YOLOv5算法中内置违规行为判定模型，其中违规行为判定模型的训练方法包括如下步骤：
首先获取员工违规动作图片素材，员工违规动作图片素材主要为员工正在抽烟、玩手机、睡觉、坐地上以及与顾客争辩的图片数据；
再通过Image Labeler应用将所述员工违规动作图片素材全部手动标记示出；
然后将Image Labeler应用标记出的参数导入到YOLOv5算法中进行训练，得到违规行为判定模型，并将违规行为判定模型内置YOLOv5算法内即可。
4.根据权利要求1所述的景区员工工作状态判断的方法，其特征在于：在S7步骤中，员工位置轨迹超出被分配的工作区域50m判定为脱岗，否则判定为定位误差。
5.根据权利要求1所述的景区员工工作状态判断的方法，其特征在于：在S5步骤中，所述心率异常的判定标准为：心率小于55或心率大于100。
6.根据权利要求1所述的景区员工工作状态判断的方法，其特征在于：在S3步骤中，若所述违规动作视频片段含有员工正脸图像，则获取正脸图像截图，随后提取景区内员工人脸图像集，再将所述正脸图像截图与所述员工人脸图像集进行查找对比，进而确定违规动作视频片段的身份；
若所述违规动作视频片段中不存在员工正脸图像，则获取员工衣服后二维码图像数据，并识别所述二维码图像数据从而读取员工身份，进而确定违规动作视频片段的员工身份。
7.根据权利要求6所述的景区员工工作状态判断的方法，其特征在于：所述正脸图像截图的清晰度若无法满足人脸识别条件，则采用图像超分辨率重建方法进行处理，从而得到高分辨率图像。
8.根据权利要求7所述的景区员工工作状态判断的方法，其特征在于：所述图像超分辨率重建方法包括如下步骤：
步骤一，首先将所述正脸图像截图导入ELM极限学习网络，得到正脸图像截图的特征点神经元值图；
步骤二，随后将所述特征点神经元值图降质至普通图像标准，得到低分辨率特征点神经元值图；
步骤三，然后将所述低分辨率特征点神经元值图导入卷积神经网络中进行重建，输出超分辨率图像，从而提高所述正脸图像截图的清晰度。
9.一种景区员工工作状态判断的装置，其特征在于，所述景区员工工作状态判断的装置包括：
数据存储单元，用于存储需要持久化保存的数据，例如音频数据、视频数据、打卡记录数据、员工体温数据、员工位置数据、健康数据，从而方便事后回溯查看员工的工作状况，同时方便后续统计；
无线通信单元，用于进行无线中继，使得各单元模块之间可以相互通信，相互传输数据，保证了各单元模块的通信质量；
行为分析单元，与所述数据存储单元相连接，内置采用YOLOv5算法的违规行为判定模型，违规行为判定模型用来判断员工的违规动作，这样可以对收到的视频数据进行标记和判定，同时存储被标记的视频数据到所述数据存储单元内，从而方便后续统计；
监控单元，与所述行为分析单元相连接，采用全景摄像头实时获取各个员工的工作视频数据，同时将所述视频数据传递给行为分析单元进行违规动作的判定，从而保证工作效率；
位置定位单元，与所述数据存储单元相连接，内置GPS模块，员工需要随身携带所述位置定位单元，而所述位置定位单元则可以通过所述GPS模块获取员工当前位置，同时所述位置定位单元可以实时的将员工位置数据保存至数据存储单元；
监控台，与所述行为分析单元和监控单元相连接，用于随时监控员工的工作状态，同时通过所述行为分析单元可以辅助后台工作人员进行判断，从而提高后台工作人员的工作效率。
10.根据权利要求9所述的景区员工工作状态判断的装置，其特征在于，所述景区员工工作状态判断的装置还包括：
热成像测温仪，与所述数据存储单元和监控台相连接，用于对员工的体温进行实时监测，并将员工体温数据传入所述数据存储单元内进行持久化保存，同时在员工体温异常时，可以提醒监控台进行复核检查；
心率腕带，与所述数据存储单元相连接，所述心率腕带佩戴在员工手腕上，用于监测员工的心率状态，同时可以将健康数据存入数据存储单元内，这样可以方便判定员工的身体健康。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210495630.5A CN114897499A (zh) | 2022-04-24 | 2022-04-24 | 一种景区员工工作状态判断的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210495630.5A CN114897499A (zh) | 2022-04-24 | 2022-04-24 | 一种景区员工工作状态判断的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114897499A true CN114897499A (zh) | 2022-08-12 |
Family
ID=82720980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210495630.5A Pending CN114897499A (zh) | 2022-04-24 | 2022-04-24 | 一种景区员工工作状态判断的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114897499A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116050957A (zh) * | 2023-02-23 | 2023-05-02 | 南京未来物联科技有限公司 | 一种结合图像识别和人员定位的仓储物流管理系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807367A (zh) * | 2019-10-05 | 2020-02-18 | 上海淡竹体育科技有限公司 | 一种动态识别运动中人员号码的方法 |
| CN113012311A (zh) * | 2021-02-24 | 2021-06-22 | 湖南汽车工程职业学院 | 一种基于智能控制的人事考勤管理系统 |
| CN113628627A (zh) * | 2021-08-11 | 2021-11-09 | 广东电网有限责任公司广州供电局 | 一种基于结构化语音分析的电力行业客户服务质检系统 |
| CN113850183A (zh) * | 2021-09-23 | 2021-12-28 | 安徽数据堂科技有限公司 | 一种基于人工智能技术判断视频中行为的方法 |
-
2022
- 2022-04-24 CN CN202210495630.5A patent/CN114897499A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807367A (zh) * | 2019-10-05 | 2020-02-18 | 上海淡竹体育科技有限公司 | 一种动态识别运动中人员号码的方法 |
| CN113012311A (zh) * | 2021-02-24 | 2021-06-22 | 湖南汽车工程职业学院 | 一种基于智能控制的人事考勤管理系统 |
| CN113628627A (zh) * | 2021-08-11 | 2021-11-09 | 广东电网有限责任公司广州供电局 | 一种基于结构化语音分析的电力行业客户服务质检系统 |
| CN113850183A (zh) * | 2021-09-23 | 2021-12-28 | 安徽数据堂科技有限公司 | 一种基于人工智能技术判断视频中行为的方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116050957A (zh) * | 2023-02-23 | 2023-05-02 | 南京未来物联科技有限公司 | 一种结合图像识别和人员定位的仓储物流管理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11935301B2 (en) | Information processing method, recording medium, and information processing system | |
| CN110533811A (zh) | 基于ssd实现安全帽检查的方法及装置与系统和存储介质 | |
| CN111563396A (zh) | 在线识别异常行为的方法、装置、电子设备及可读存储介质 | |
| CN106169071A (zh) | 一种基于动态人脸与胸卡识别的考勤方法及系统 | |
| CN112562836A (zh) | 医生推荐方法、装置、电子设备及存储介质 | |
| CN209543514U (zh) | 基于人脸识别的监控与报警系统 | |
| WO2022262257A1 (zh) | 一种检察领域值班人员睡觉行为识别方法 | |
| CN109543607A (zh) | 目标物异常状态检测方法、系统、监护系统及存储介质 | |
| CN109635631A (zh) | 一种基于人工智能的消防值班室人员在岗识别方法 | |
| CN113411542A (zh) | 一种智能化的工作状况监测设备 | |
| CN112163497B (zh) | 一种基于图像识别的工地事故预测方法及装置 | |
| EP3557479A1 (en) | Adaptive artificial intelligence system for identifying behaviors associated with mental illness and modifying treatment plans based on emergent recognition of aberrant reactions | |
| CN106845916A (zh) | 一种基于净水器的智能app考勤管理及状态监控方法 | |
| CN114898261A (zh) | 一种基于视频和生理数据融合的睡眠质量评估方法及系统 | |
| CN114897499A (zh) | 一种景区员工工作状态判断的方法及装置 | |
| KR102188981B1 (ko) | 스마트 고독사 방지 시스템 및 그 방법 | |
| CN110755091A (zh) | 一种个人心理健康监测系统及方法 | |
| CN110246292A (zh) | 家庭视频监控方法、装置及存储介质 | |
| CN113314230A (zh) | 基于大数据的智能防疫方法、装置、设备及存储介质 | |
| CN109801394B (zh) | 一种工作人员考勤方法及装置、电子设备和可读存储介质 | |
| CN110175522A (zh) | 考勤方法、系统及相关产品 | |
| CN113923403A (zh) | 一种人员缺岗到岗检测方法 | |
| CN116097321A (zh) | 用于面部特征信息生成的方法和系统 | |
| CN113468948A (zh) | 基于视图数据的治安防控方法、模块、设备及存储介质 | |
| CN110290354A (zh) | 一种无纸化考场考试监控数据管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220812 |