CN112528952B - 一种电力营业厅人员的工作状态智能识别系统 - Google Patents
一种电力营业厅人员的工作状态智能识别系统 Download PDFInfo
- Publication number
- CN112528952B CN112528952B CN202011561507.6A CN202011561507A CN112528952B CN 112528952 B CN112528952 B CN 112528952B CN 202011561507 A CN202011561507 A CN 202011561507A CN 112528952 B CN112528952 B CN 112528952B
- Authority
- CN
- China
- Prior art keywords
- video
- module
- image
- data
- working state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 238000003062 neural network model Methods 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 238000013500 data storage Methods 0.000 claims abstract description 22
- 238000007726 management method Methods 0.000 claims abstract description 17
- 230000002159 abnormal effect Effects 0.000 claims description 45
- 238000012216 screening Methods 0.000 claims description 33
- 230000009471 action Effects 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000013441 quality evaluation Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000001303 quality assessment method Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 8
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 239000000463 material Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063114—Status monitoring or status determination for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
Abstract
本发明公开了一种电力营业厅人员的工作状态智能识别系统，涉及供电服务技术领域，解决了供电营业厅工作人员的工作状态识别方法单一且精度不高的技术问题；包括中央处理器、数据发布模块、管理监督模块、数据存储模块、数据采集模块、状态分析模块和状态预警模块；本发明设置了数据采集模块，该设置通过电子写字板的配合，能够保证视频数据采集的针对性，有助于提高工作人员工作状态监测的准确性；本发明设置了状态分析模块，该设置中神经网络模型即可以单独使用，也可以与生理监测方法配合使用，为管理人员能提供了更多的选择，有助于提高本发明的监测效率和识别精度。
Description
技术领域
本发明属于供电服务领域，涉及智能识别技术，具体是一种电力营业厅人员的工作状态智能识别系统。
背景技术
随着经济的发展，电力负荷需求急剧增长，相关业务的办理量增幅明显。供电营业厅作为对民的服务窗口，该场景在的视频监控系统规模日益增大，其所暴露出的营业厅供电服务质量日趋严重，如员工是否在岗、工牌摆放是否正确等。目前，已经制定了相应的工作服务规范，但是由于没有有效的监督手段，难以对工作人员的工作状态进行有效监督。
公开号为CN111339927A的发明专利公开了一种电力营业厅人员工作状态智能识别系统，包括采集模块、训练模块、预处理模块、目标监测模块、逻辑判断模块和输出报警模块，所述采集模块用于采集营业厅内的视频，并从中截取含有有效信息的图片进行标注；所述训练模块用于对采集的图片数据增强并用增强后的图片数据训练深度网络。
上述方案通过图像识别的方式检测到营业厅人员工作状态有误时，发送异常信息，提醒管理人员及时督促员工纠正；但是，上述方案只能通过监控视频来对单一营业厅进行监测，没有考虑到工作人员的身体状态；因此，上述方案仍需进一步改进。
发明内容
为了解决上述方案存在的问题，本发明提供了一种电力营业厅人员的工作状态智能识别系统。
本发明的目的可以通过以下技术方案实现：一种电力营业厅人员的工作状态智能识别系统，包括中央处理器、数据发布模块、管理监督模块、数据存储模块、数据采集模块、状态分析模块和状态预警模块；
所述数据采集模块用于获取营业厅的视频数据，并对视频数据进行初筛处理获取初筛视频，所述视频数据包括监控视频和反馈视频；所述数据采集模块至少与一套物联设备通信连接，所述物联设备包括图像采集单元和电子写字板；所述图像采集单元包括动作云台和高清摄像头；所述动作云台与高清摄像头组合使用；
所述状态分析模块通过分析初筛数据获取工作人员的工作状态；
所述状态预警模块用于对工作人员的工作状态进行实时预警；
所述数据发布模块定期获取工作人员的工作状态记录，根据工作状态记录进行统计分析获取统计结果，并根据统计结果做出处罚，所述处罚包括开除、留职察看、严重警告和口头警告。
优选的，所述电子写字板用于获取反馈信息，包括：
通过电子写字板获取客户的反馈信息；所述反馈信息包括反馈时间、工作人员编号和反馈内容；
将反馈信息发送至数据采集模块；所述数据采集模块接收到反馈信息之后通过反馈关键词对反馈信息进行提取并将提取结果标记为TJ；所述反馈关键词包括玩手机、睡觉、聊天和不在工位；
当提取结果TJ＝0时，则动作云台不动作；当提取结果TJ＝1时，发送实时拍摄信号和工作人员编号至图像采集单元。
优选的，所述图像采集单元用于获取监控视频并对监控视频进行筛选，包括：
当图像采集单元接收到实时拍摄信号和工作人员编号时，立即控制动作云台使高清摄像头拍摄对应工位获取反馈视频；所述对应工位为工作人员编号对应的工位，所述反馈视频的时长至少超过5秒；
当图像采集单元未接收到实时拍摄信号和工作人员编号时，则控制动作云台按照预设角度和预设范围实时获取监控视频；
将监控视频和反馈视频发送至数据采集模块。
优选的，所述数据采集模块对视频数据进行初筛处理获取初筛视频，包括：
将视频数据逐帧分解成图像并标记为视频图像；
对视频图像进行图像预处理；所述图像预处理包括图像分割、图像去噪和灰度变化；
获取经过图像预处理之后的视频图像的灰度平均值、灰度最大差值和灰度最小差值；所述灰度最大差值和灰度最小差值为视频图像灰度平均值与后一帧视频图像灰度平均值的最大差值和最小差值；并将灰度最大差值和灰度最小差值分别标记为HDC和HXC；
通过公式SPPX＝α1×(HDC-HXC)2获取视频图像评估系数SPPX；其中α1为预设比例系数，且α1为大于0的实数；
当视频图像评估系数SPPX满足SPPX＞L1时，则判定视频图像质量不合格；当视频图像评估系数SPPX满足SPPX≤L1时，则判定视频图像质量合格；其中L1为预设视频图像评估系数阈值，且L1＞0.5；
获取质量合格的视频图像总数并标记为HGZ，获取质量不合格的视频图像总数并标记为BGZ；
通过公式
获取质量评估系数ZPX；其中α2和α3为预设比例系数，且α2和α3均为大于0的实数；
当质量评估系数ZPX满足L2≤ZPX时，则判定视频数据合格；当质量评估系数ZPX满足0＜ZPX＜L2时，则判定视频数据不合格；其中L2为预设质量评估系数阈值，且L2＞0；
对合格的视频数据进行视频降噪获取初筛视频，通过中央处理器将初筛视频分别发送至状态分析模块和数据存储模块。
优选的，所述状态分析模块通过初筛视频分析工作人员的工作状态，包括：
获取数据存储模块中的历史图像；所述历史图像为营业厅日常营业中高清摄像头获取的视频数据分解得到的图像；
利用图像标注工具LabelImg对历史数据进行标注，并通过图像标注工具LabelImg对每个历史图像标注，得到历史图像的XML标注文件；将历史图像按照预设比例随机选取训练集、验证集和测试集；所述标注文件中的标注类型包括玩手机、睡觉、聊天和不在工位；
构建神经网络模型；所述神经网络模型包括误差前向传播神经网络和RBF神经网络；
通过训练集、验证集和测试机对神经网络模型进行训练，当神经网络模型的学习精度和学习次数满足要求时，则判定神经网络模型训练成功并标记为智能模型；
获取初筛视频，将初筛视频分解成单帧图像，将分解之后的图像输入至智能模型的输入层，通过智能模型的输出层获取输出数据；
将输出数据与标注类型进行匹配，当匹配成功时，则将输出数据标记异常工作状态，通过中央处理器将工作状态异常信号发送至状态预警模块；所述匹配成功是指输出数据至少与标注类型中的一个匹配成功；
将工作状态异常信号发送记录通过中央处理器发送至数据存储模块进行存储。
优选的，所述状态预警模块与营业厅负责人的智能终端通信连接；当状态预警模块接收到工作状态异常信号之后，将异常工作状态及其对应的监控视频发送至对应营业厅负责人的智能终端；所述智能终端包括智能手机、笔记本电脑和平板电脑。
优选的，所述数据发布模块定期分析工作状态记录，根据工作状态记录获取统计结果，包括：
通过中央处理器获取数据存储模块中的工作状态记录；所述工作状态记录包括营业厅编号和工作人员异常工作状态；所述工作人员异常工作状态包括玩手机、睡觉、聊天和不在工位；所述营业厅编号为i，i＝1，2，……，n；
获取营业厅i中工作人员异常工作状态平均次数并标记为YPCi；
以营业厅i为横坐标，以工作人员异常工作状态平均次数YPCi为纵坐标生成工作状态柱形图；将工作状态柱形图通过中央处理器发送至管理监督模块。
优选的，所述管理监督模块用于根据工作状态柱形图对营业厅以及工作人员进行约谈，包括：
当异常工作状态平均次数YPCi满足K2≤YPCi时，则判定编号i对应的营业厅日常工作状态异常；当异常工作状态平均次数YPCi满足K1≤YPCi＜K2时，则判定编号i对应的营业厅日常工作状态不良；当异常工作状态平均次数YPCi满足0≤YPCi＜K1时，则判定编号i对应的营业厅日常工作状态正常；其中K1和K2均为大于0的预设异常工作状态平均次数阈值；
通过管理调度模块派遣调查人员对工作状态异常和工作状态不良的营业厅负责人进行约谈。
与现有技术相比，本发明的有益效果是：
1、本发明设置了数据采集模块，该设置对视频数据进行初筛处理获取初筛视频；通过高清摄像头和电子写字板配合获取营业厅内的视频数据，并对视频数据进行处理获取初筛视频；数据采集模块通过电子写字板的配合，能够保证视频数据采集的针对性，有助于提高工作人员工作状态监测的准确性；
2、本发明设置了状态分析模块，该设置通过初筛视频分析工作人员的工作状态；通过神经网络模型和生理监测方法配合，获取初筛视频中工作人员的工作状态；状态分析模块中神经网络模型即可以单独使用，也可以与生理监测方法配合使用，为管理人员能提供了更多的选择，有助于提高本发明的监测效率和识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的原理示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明提供两种实施例：
实施例一：
一种电力营业厅人员的工作状态智能识别系统，包括中央处理器、数据发布模块、管理监督模块、数据存储模块、数据采集模块、状态分析模块和状态预警模块；
数据采集模块用于获取营业厅的视频数据，并对视频数据进行初筛处理获取初筛视频，视频数据包括监控视频和反馈视频；数据采集模块至少与一套物联设备通信连接，物联设备包括图像采集单元和电子写字板；图像采集单元包括动作云台和高清摄像头；动作云台与高清摄像头组合使用；
状态分析模块通过分析初筛数据获取工作人员的工作状态；
状态预警模块用于对工作人员的工作状态进行实时预警；
数据发布模块定期获取工作人员的工作状态记录，根据工作状态记录进行统计分析获取统计结果，并根据统计结果做出处罚，处罚包括开除、留职察看、严重警告和口头警告。
进一步地，电子写字板用于获取反馈信息，包括：
通过电子写字板获取客户的反馈信息；反馈信息包括反馈时间、工作人员编号和反馈内容；
将反馈信息发送至数据采集模块；数据采集模块接收到反馈信息之后通过反馈关键词对反馈信息进行提取并将提取结果标记为TJ；反馈关键词包括玩手机、睡觉、聊天和不在工位；
当提取结果TJ＝0时，则动作云台不动作；当提取结果TJ＝1时，发送实时拍摄信号和工作人员编号至图像采集单元。
进一步地，图像采集单元用于获取监控视频并对监控视频进行筛选，包括：
当图像采集单元接收到实时拍摄信号和工作人员编号时，立即控制动作云台使高清摄像头拍摄对应工位获取反馈视频；对应工位为工作人员编号对应的工位，反馈视频的时长至少超过5秒；
当图像采集单元未接收到实时拍摄信号和工作人员编号时，则控制动作云台按照预设角度和预设范围实时获取监控视频；
将监控视频和反馈视频发送至数据采集模块。
进一步地，数据采集模块对视频数据进行初筛处理获取初筛视频，包括：
将视频数据逐帧分解成图像并标记为视频图像；
对视频图像进行图像预处理；图像预处理包括图像分割、图像去噪和灰度变化；
获取经过图像预处理之后的视频图像的灰度平均值、灰度最大差值和灰度最小差值；灰度最大差值和灰度最小差值为视频图像灰度平均值与后一帧视频图像灰度平均值的最大差值和最小差值；并将灰度最大差值和灰度最小差值分别标记为HDC和HXC；
通过公式SPPX＝α1×(HDC-HXC)2获取视频图像评估系数SPPX；其中α1为预设比例系数，且α1为大于0的实数；
当视频图像评估系数SPPX满足SPPX＞L1时，则判定视频图像质量不合格；当视频图像评估系数SPPX满足SPPX≤L1时，则判定视频图像质量合格；其中L1为预设视频图像评估系数阈值，且L1＞0.5；
获取质量合格的视频图像总数并标记为HGZ，获取质量不合格的视频图像总数并标记为BGZ；
通过公式
获取质量评估系数ZPX；其中α2和α3为预设比例系数，且α2和α3均为大于0的实数；
当质量评估系数ZPX满足L2≤ZPX时，则判定视频数据合格；当质量评估系数ZPX满足0＜ZPX＜L2时，则判定视频数据不合格；其中L2为预设质量评估系数阈值，且L2＞0；
对合格的视频数据进行视频降噪获取初筛视频，通过中央处理器将初筛视频分别发送至状态分析模块和数据存储模块。
进一步地，状态分析模块通过初筛视频分析工作人员的工作状态，包括：
获取数据存储模块中的历史图像；历史图像为营业厅日常营业中高清摄像头获取的视频数据分解得到的图像；
利用图像标注工具LabelImg对历史数据进行标注，并通过图像标注工具LabelImg对每个历史图像标注，得到历史图像的XML标注文件；将历史图像按照预设比例随机选取训练集、验证集和测试集；标注文件中的标注类型包括玩手机、睡觉、聊天和不在工位；
构建神经网络模型；神经网络模型包括误差前向传播神经网络和RBF神经网络；
通过训练集、验证集和测试机对神经网络模型进行训练，当神经网络模型的学习精度和学习次数满足要求时，则判定神经网络模型训练成功并标记为智能模型；
获取初筛视频，将初筛视频分解成单帧图像，将分解之后的图像输入至智能模型的输入层，通过智能模型的输出层获取输出数据；
将输出数据与标注类型进行匹配，当匹配成功时，则将输出数据标记异常工作状态，通过中央处理器将工作状态异常信号发送至状态预警模块；匹配成功是指输出数据至少与标注类型中的一个匹配成功；
将工作状态异常信号发送记录通过中央处理器发送至数据存储模块进行存储。
进一步地，状态预警模块与营业厅负责人的智能终端通信连接；当状态预警模块接收到工作状态异常信号之后，将异常工作状态及其对应的监控视频发送至对应营业厅负责人的智能终端；智能终端包括智能手机、笔记本电脑和平板电脑。
进一步地，数据发布模块定期分析工作状态记录，根据工作状态记录获取统计结果，包括：
通过中央处理器获取数据存储模块中的工作状态记录；工作状态记录包括营业厅编号和工作人员异常工作状态；工作人员异常工作状态包括玩手机、睡觉、聊天和不在工位；营业厅编号为i，i＝1，2，……，n；
获取营业厅i中工作人员异常工作状态平均次数并标记为YPCi；
以营业厅i为横坐标，以工作人员异常工作状态平均次数YPCi为纵坐标生成工作状态柱形图；将工作状态柱形图通过中央处理器发送至管理监督模块。
进一步地，管理监督模块用于根据工作状态柱形图对营业厅以及工作人员进行约谈，包括：
当异常工作状态平均次数YPCi满足K2≤YPCi时，则判定编号i对应的营业厅日常工作状态异常；当异常工作状态平均次数YPCi满足K1≤YPCi＜K2时，则判定编号i对应的营业厅日常工作状态不良；当异常工作状态平均次数YPCi满足0≤YPCi＜K1时，则判定编号i对应的营业厅日常工作状态正常；其中K1和K2均为大于0的预设异常工作状态平均次数阈值；
通过管理调度模块派遣调查人员对工作状态异常和工作状态不良的营业厅负责人进行约谈。
进一步地，定期是指预设周期，预设周期包括每个月和每个季度。
进一步地，神经网络模型为单隐含层结构，其中隐含层节点数的取值范围为[5，20]。
进一步地，反馈信息的提取具体包括：
提取反馈信息中的反馈时间和工作人员编号；
对反馈内容进行关键词提取并将提取的关键词标记为验证关键词；将验证关键词与反馈关键词进行匹配；当匹配成功时，将提取结果标记为1，当匹配失败时，将提取结果标记为0。
进一步地，中央处理器分别与数据发布模块、管理监督模块、数据存储模块、数据采集模块、状态分析模块和状态预警模块通信连接，数据存储模块与管理监督模块通信连接。
实施例二：
一种电力营业厅人员的工作状态智能识别系统，包括中央处理器、数据发布模块、管理监督模块、数据存储模块、数据采集模块、状态分析模块和状态预警模块；
状态分析模块还可通过生理监测法分析工作人员的工作状态，包括：
获取工作人员的心率并标记为XL；获取工作人员的体表温度和工作环境温度，并分别标记为TW和SW；
通过公式
获取工作状态评估系数GZPX；其中γ1和Y2为预设比例系数，且γ1和γ2均为大于0的实数；
当工作状态评估系数GZPX满足GZPX＜J1时，则判定工作人员的工作状态异常；工作人员的工作状态异常包括睡觉和玩手机。
进一步地，生理监测法与神经网络模型可以配合使用。
上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况设定。
本发明的工作原理：
通过电子写字板获取客户的反馈信息；将反馈信息发送至数据采集模块；数据采集模块接收到反馈信息之后通过反馈关键词对反馈信息进行提取并将提取结果标记为TJ；当提取结果TJ＝0时，则动作云台不动作；当提取结果TJ＝1时，发送实时拍摄信号和工作人员编号至图像采集单元；当图像采集单元接收到实时拍摄信号和工作人员编号时，立即控制动作云台使高清摄像头拍摄对应工位获取反馈视频；当图像采集单元未接收到实时拍摄信号和工作人员编号时，则控制动作云台按照预设角度和预设范围实时获取监控视频；
将视频数据逐帧分解成图像并标记为视频图像；对视频图像进行图像预处理；获取经过图像预处理之后的视频图像的灰度平均值、灰度最大差值和灰度最小差值；并将灰度最大差值和灰度最小差值分别标记为HDC和HXC；获取视频图像评估系数SPPX；当视频图像评估系数SPPX满足SPPX＞L1时，则判定视频图像质量不合格；当视频图像评估系数SPPX满足SPPX≤L1时，则判定视频图像质量合格；获取质量合格的视频图像总数并标记为HGZ，获取质量不合格的视频图像总数并标记为BGZ；获取质量评估系数ZPX；当质量评估系数ZPX满足L2≤ZPX时，则判定视频数据合格；当质量评估系数ZPX满足0＜ZPX＜L2时，则判定视频数据不合格；对合格的视频数据进行视频降噪获取初筛视频，通过中央处理器将初筛视频分别发送至状态分析模块和数据存储模块；
获取数据存储模块中的历史图像；利用图像标注工具LabelImg对历史数据进行标注，并通过图像标注工具LabelImg对每个历史图像标注，得到历史图像的XML标注文件；将历史图像按照预设比例随机选取训练集、验证集和测试集；构建神经网络模型；通过训练集、验证集和测试机对神经网络模型进行训练，当神经网络模型的学习精度和学习次数满足要求时，则判定神经网络模型训练成功并标记为智能模型；获取初筛视频，将初筛视频分解成单帧图像，将分解之后的图像输入至智能模型的输入层，通过智能模型的输出层获取输出数据；将输出数据与标注类型进行匹配，当匹配成功时，则将输出数据标记异常工作状态，通过中央处理器将工作状态异常信号发送至状态预警模块；
通过中央处理器获取数据存储模块中的工作状态记录；获取营业厅i中工作人员异常工作状态平均次数并标记为YPCi；以营业厅i为横坐标，以工作人员异常工作状态平均次数YPCi为纵坐标生成工作状态柱形图；将工作状态柱形图通过中央处理器发送至管理监督模块。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (6)
1.一种电力营业厅人员的工作状态智能识别系统，其特征在于，包括中央处理器、数据发布模块、管理监督模块、数据存储模块、数据采集模块、状态分析模块和状态预警模块；
所述数据采集模块用于获取营业厅的视频数据，并对视频数据进行初筛处理获取初筛视频，所述视频数据包括监控视频和反馈视频；所述数据采集模块至少与一套物联设备通信连接，所述物联设备包括图像采集单元和电子写字板；所述图像采集单元包括动作云台和高清摄像头；所述动作云台与高清摄像头组合使用；
所述状态分析模块通过分析初筛数据获取工作人员的工作状态；
所述状态预警模块用于对工作人员的工作状态进行实时预警；
所述数据发布模块定期获取工作人员的工作状态记录，根据工作状态记录进行统计分析获取统计结果，并根据统计结果做出处罚，所述处罚包括开除、留职察看、严重警告和口头警告；
所述电子写字板用于获取反馈信息，包括：
通过电子写字板获取客户的反馈信息；所述反馈信息包括反馈时间、工作人员编号和反馈内容；
将反馈信息发送至数据采集模块；所述数据采集模块接收到反馈信息之后通过反馈关键词对反馈信息进行提取并将提取结果标记为TJ；所述反馈关键词包括玩手机、睡觉、聊天和不在工位；
当提取结果TJ＝0时，则动作云台不动作；当提取结果TJ＝1时，发送实时拍摄信号和工作人员编号至图像采集单元。
2.根据权利要求1所述的一种电力营业厅人员的工作状态智能识别系统，其特征在于，所述图像采集单元用于获取监控视频并对监控视频进行筛选，包括：
当图像采集单元接收到实时拍摄信号和工作人员编号时，立即控制动作云台使高清摄像头拍摄对应工位获取反馈视频；所述对应工位为工作人员编号对应的工位，所述反馈视频的时长至少超过5秒；
当图像采集单元未接收到实时拍摄信号和工作人员编号时，则控制动作云台按照预设角度和预设范围实时获取监控视频；
将监控视频和反馈视频发送至数据采集模块。
3.根据权利要求1所述的一种电力营业厅人员的工作状态智能识别系统，其特征在于，所述数据采集模块对视频数据进行初筛处理获取初筛视频，包括：
将视频数据逐帧分解成图像并标记为视频图像；
对视频图像进行图像预处理；所述图像预处理包括图像分割、图像去噪和灰度变化；
获取经过图像预处理之后的视频图像的灰度平均值、灰度最大差值和灰度最小差值；所述灰度最大差值和灰度最小差值为视频图像灰度平均值与后一帧视频图像灰度平均值的最大差值和最小差值；并将灰度最大差值和灰度最小差值分别标记为HDC和HXC；
通过公式SPPX＝α1×(HDC-HXC)2获取视频图像评估系数SPPX；其中α1为预设比例系数，且α1为大于0的实数；
当视频图像评估系数SPPX满足SPPX>L1时，则判定视频图像质量不合格；当视频图像评估系数SPPX满足SPPX≤L1时，则判定视频图像质量合格；其中L1为预设视频图像评估系数阈值，且L1>0.5；
获取质量合格的视频图像总数并标记为HGZ，获取质量不合格的视频图像总数并标记为BGZ；
通过公式
获取质量评估系数ZPX；其中α2和α3为预设比例系数，且α2和α3均为大于0的实数；
当质量评估系数ZPX满足L2≤ZPX时，则判定视频数据合格；当质量评估系数ZPX满足0<ZPX<L2时，则判定视频数据不合格；其中L2为预设质量评估系数阈值，且L2>0；
对合格的视频数据进行视频降噪获取初筛视频，通过中央处理器将初筛视频分别发送至状态分析模块和数据存储模块。
4.根据权利要求1所述的一种电力营业厅人员的工作状态智能识别系统，其特征在于，所述状态分析模块通过初筛视频分析工作人员的工作状态，包括：
获取数据存储模块中的历史图像；所述历史图像为营业厅日常营业中高清摄像头获取的视频数据分解得到的图像；
利用图像标注工具Label Img对历史数据进行标注，并通过图像标注工具Label Img对每个历史图像标注，得到历史图像的XML标注文件；将历史图像按照预设比例随机选取训练集、验证集和测试集；所述标注文件中的标注类型包括玩手机、睡觉、聊天和不在工位；
构建神经网络模型；所述神经网络模型包括误差前向传播神经网络和RBF神经网络；
通过训练集、验证集和测试集对神经网络模型进行训练，当神经网络模型的学习精度和学习次数满足要求时，则判定神经网络模型训练成功并标记为智能模型；
获取初筛视频，将初筛视频分解成单帧图像，将分解之后的图像输入至智能模型的输入层，通过智能模型的输出层获取输出数据；
将输出数据与标注类型进行匹配，当匹配成功时，则将输出数据标记异常工作状态，通过中央处理器将工作状态异常信号发送至状态预警模块；所述匹配成功是指输出数据至少与标注类型中的一个匹配成功；
将工作状态异常信号发送记录通过中央处理器发送至数据存储模块进行存储。
5.根据权利要求1所述的一种电力营业厅人员的工作状态智能识别系统，其特征在于，所述状态预警模块与营业厅负责人的智能终端通信连接；当状态预警模块接收到工作状态异常信号之后，将异常工作状态及其对应的监控视频发送至对应营业厅负责人的智能终端；所述智能终端包括智能手机、笔记本电脑和平板电脑。
6.根据权利要求1所述的一种电力营业厅人员的工作状态智能识别系统，其特征在于，所述数据发布模块定期分析工作状态记录，根据工作状态记录获取统计结果，包括：
通过中央处理器获取数据存储模块中的工作状态记录；所述工作状态记录包括营业厅编号和工作人员异常工作状态；所述工作人员异常工作状态包括玩手机、睡觉、聊天和不在工位；所述营业厅编号为i，i＝1，2，……，n；
获取营业厅i中工作人员异常工作状态平均次数并标记为YPCi；
以营业厅i为横坐标，以工作人员异常工作状态平均次数YPCi为纵坐标生成工作状态柱形图；将工作状态柱形图通过中央处理器发送至管理监督模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011561507.6A CN112528952B (zh) | 2020-12-25 | 2020-12-25 | 一种电力营业厅人员的工作状态智能识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011561507.6A CN112528952B (zh) | 2020-12-25 | 2020-12-25 | 一种电力营业厅人员的工作状态智能识别系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112528952A CN112528952A (zh) | 2021-03-19 |
| CN112528952B true CN112528952B (zh) | 2022-02-11 |
Family
ID=74976399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011561507.6A Active CN112528952B (zh) | 2020-12-25 | 2020-12-25 | 一种电力营业厅人员的工作状态智能识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528952B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063016B (zh) * | 2022-07-04 | 2023-07-14 | 华贸云(北京)科技有限公司 | 一种基于智慧办公的数据分析方法、系统及存储介质 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102882919A (zh) * | 2011-07-15 | 2013-01-16 | 中国科学院深圳先进技术研究院 | 隧道施工监控系统 |
| CN103916638A (zh) * | 2014-04-18 | 2014-07-09 | 山东科技大学 | 煤矿安全综合监控平台 |
| CN106570467A (zh) * | 2016-10-25 | 2017-04-19 | 南京南瑞集团公司 | 一种基于卷积神经网络的人员离岗检测方法 |
| CN106941602A (zh) * | 2017-03-07 | 2017-07-11 | 中国铁道科学研究院 | 机车司机行为识别方法、装置及系统 |
| CN109987102A (zh) * | 2018-01-03 | 2019-07-09 | 田文洪 | 一种基于卷积神经网络的高精度自动识别驾驶员不安全行为的方法与装置 |
| CN110544444A (zh) * | 2019-08-08 | 2019-12-06 | 国网山东省电力公司济南市历城区供电公司 | 一种营业厅柜台感应翻牌装置 |
| CN110738178A (zh) * | 2019-10-18 | 2020-01-31 | 思百达物联网科技(北京)有限公司 | 园区施工安全检测方法、装置、计算机设备及存储介质 |
| CN110795989A (zh) * | 2019-08-28 | 2020-02-14 | 广东电网有限责任公司 | 一种电力作业智能安全监督系统及其监督方法 |
| CN110826538A (zh) * | 2019-12-06 | 2020-02-21 | 合肥科大智能机器人技术有限公司 | 一种用于电力营业厅的异常离岗识别系统 |
| CN111339927A (zh) * | 2020-02-25 | 2020-06-26 | 国网江苏省电力有限公司扬州供电分公司 | 一种电力营业厅人员工作状态智能识别系统 |
| CN111353338A (zh) * | 2018-12-21 | 2020-06-30 | 国家电网有限公司客户服务中心 | 一种基于营业厅视频监控的能效改进方法 |
| CN111353343A (zh) * | 2018-12-21 | 2020-06-30 | 国家电网有限公司客户服务中心 | 一种基于视频监控的营业厅服务规范质检方法 |
| CN111401169A (zh) * | 2020-03-06 | 2020-07-10 | 国网湖南省电力有限公司 | 基于监控视频信息的供电营业厅服务人员行为识别方法 |
| CN111597999A (zh) * | 2020-05-18 | 2020-08-28 | 常州工业职业技术学院 | 一种基于视频检测的4s店销售服务管理方法和系统 |
| CN111767823A (zh) * | 2020-06-23 | 2020-10-13 | 京东数字科技控股有限公司 | 一种睡岗检测方法、装置、系统及存储介质 |
| CN111967410A (zh) * | 2020-08-20 | 2020-11-20 | 倪慧珍 | 一种基于大数据的物业智能管理调配系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105094305B (zh) * | 2014-05-22 | 2018-05-18 | 华为技术有限公司 | 识别用户行为的方法、用户设备及行为识别服务器 |
| CN104618685A (zh) * | 2014-12-29 | 2015-05-13 | 国家电网公司 | 一种用于供电营业厅视频监控中的图像智能分析方法 |
| JP2021530069A (ja) * | 2018-06-26 | 2021-11-04 | カッツ，イテイ | 状況的ドライバ監視システム |
| CN109300471B (zh) * | 2018-10-23 | 2021-09-14 | 中冶东方工程技术有限公司 | 融合声音采集识别的场区智能视频监控方法、装置及系统 |
| CN110705482A (zh) * | 2019-10-08 | 2020-01-17 | 中兴飞流信息科技有限公司 | 一种基于视频ai智能分析的人员行为告警提示系统 |
| CN111310612A (zh) * | 2020-01-22 | 2020-06-19 | 中国建设银行股份有限公司 | 行为督导方法和装置 |
-
2020
- 2020-12-25 CN CN202011561507.6A patent/CN112528952B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102882919A (zh) * | 2011-07-15 | 2013-01-16 | 中国科学院深圳先进技术研究院 | 隧道施工监控系统 |
| CN103916638A (zh) * | 2014-04-18 | 2014-07-09 | 山东科技大学 | 煤矿安全综合监控平台 |
| CN106570467A (zh) * | 2016-10-25 | 2017-04-19 | 南京南瑞集团公司 | 一种基于卷积神经网络的人员离岗检测方法 |
| CN106941602A (zh) * | 2017-03-07 | 2017-07-11 | 中国铁道科学研究院 | 机车司机行为识别方法、装置及系统 |
| CN109987102A (zh) * | 2018-01-03 | 2019-07-09 | 田文洪 | 一种基于卷积神经网络的高精度自动识别驾驶员不安全行为的方法与装置 |
| CN111353338A (zh) * | 2018-12-21 | 2020-06-30 | 国家电网有限公司客户服务中心 | 一种基于营业厅视频监控的能效改进方法 |
| CN111353343A (zh) * | 2018-12-21 | 2020-06-30 | 国家电网有限公司客户服务中心 | 一种基于视频监控的营业厅服务规范质检方法 |
| CN110544444A (zh) * | 2019-08-08 | 2019-12-06 | 国网山东省电力公司济南市历城区供电公司 | 一种营业厅柜台感应翻牌装置 |
| CN110795989A (zh) * | 2019-08-28 | 2020-02-14 | 广东电网有限责任公司 | 一种电力作业智能安全监督系统及其监督方法 |
| CN110738178A (zh) * | 2019-10-18 | 2020-01-31 | 思百达物联网科技(北京)有限公司 | 园区施工安全检测方法、装置、计算机设备及存储介质 |
| CN110826538A (zh) * | 2019-12-06 | 2020-02-21 | 合肥科大智能机器人技术有限公司 | 一种用于电力营业厅的异常离岗识别系统 |
| CN111339927A (zh) * | 2020-02-25 | 2020-06-26 | 国网江苏省电力有限公司扬州供电分公司 | 一种电力营业厅人员工作状态智能识别系统 |
| CN111401169A (zh) * | 2020-03-06 | 2020-07-10 | 国网湖南省电力有限公司 | 基于监控视频信息的供电营业厅服务人员行为识别方法 |
| CN111597999A (zh) * | 2020-05-18 | 2020-08-28 | 常州工业职业技术学院 | 一种基于视频检测的4s店销售服务管理方法和系统 |
| CN111767823A (zh) * | 2020-06-23 | 2020-10-13 | 京东数字科技控股有限公司 | 一种睡岗检测方法、装置、系统及存储介质 |
| CN111967410A (zh) * | 2020-08-20 | 2020-11-20 | 倪慧珍 | 一种基于大数据的物业智能管理调配系统 |
Non-Patent Citations (2)
| Title |
|---|
| Design and Implementation of Behavior Recognition System Based on Convolutional Neural Network;Bo YU;《ITM Web of Conferences 12》;20171231;第12卷;第1-5页 * |
| 基于多模态深度学习的离岗智能检测;李林等;《电工技术》;20200531(第10期);第30-33页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112528952A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110826538B (zh) | 一种用于电力营业厅的异常离岗识别系统 | |
| CN109299683B (zh) | 一种基于人脸识别和行为大数据的安防评估系统 | |
| CN110191317B (zh) | 一种基于图像识别的电子监控系统 | |
| CN113411542A (zh) | 一种智能化的工作状况监测设备 | |
| CN109543986A (zh) | 基于用户画像的监狱罪犯三预风险评估方法及系统 | |
| CN112528952B (zh) | 一种电力营业厅人员的工作状态智能识别系统 | |
| CN108288025A (zh) | 一种车载视频监控方法、装置及设备 | |
| CN111444389A (zh) | 一种基于目标检测的会议视频分析方法及系统 | |
| CN116580350A (zh) | 一种实验室安全监测预警方法及系统 | |
| CN114420302A (zh) | 一种企事业单位智能防疫控制系统 | |
| CN113849737A (zh) | 一种画像数据处理方法 | |
| CN106971150B (zh) | 基于逻辑回归的排队异常检测方法及装置 | |
| CN108537184A (zh) | 一种适用市场调查的人流统计系统 | |
| CN109801394B (zh) | 一种工作人员考勤方法及装置、电子设备和可读存储介质 | |
| CN116681256A (zh) | 基于实时事件驱动模式的可视化数据流处理平台 | |
| CN115909212A (zh) | 一种电力作业典型违章行为实时预警方法 | |
| CN110309737A (zh) | 一种应用于香烟柜台的信息处理方法、装置及系统 | |
| CN115829234A (zh) | 基于课堂检测的自动化督导系统及其工作方法 | |
| CN117350686A (zh) | 一种基于智慧办公的行为数据智能分析预警方法 | |
| CN109409295A (zh) | 多终端立体化智能人证核验系统 | |
| CN113222464A (zh) | 一种车间人员行为分析管控系统与管控方法 | |
| CN109376635B (zh) | 一种护理质量考核系统及安全事件上报方法 | |
| CN113128452A (zh) | 一种基于图像识别的绿化满意度采集方法和系统 | |
| CN211699066U (zh) | 一种基于人脸识别的身份标注装置 | |
| CN117558035B (zh) | 一种基于图像技术的人物身份识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 230000 room B-204, University Science Park, 602 Huangshan Road, high tech Zone, Hefei, Anhui Province Patentee after: Hefei Chengji Information Technology Co.,Ltd. Address before: 235000 No.39 Longwang Road, Longhu Industrial Park, Huaibei Economic Development Zone, Anhui Province Patentee before: Hefei Chengji Information Technology Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240115 Address after: 230000, Building D2, Phase I of Chuanggu Science and Technology Park, No. 900 Wangjiang West Road, High tech Zone, Hefei City, Anhui Province, China (Anhui) Pilot Free Trade Zone Patentee after: HEFEI D2S SOFT INFORMATION TECHNOLOGY Co.,Ltd. Address before: 230000 room B-204, University Science Park, 602 Huangshan Road, high tech Zone, Hefei, Anhui Province Patentee before: Hefei Chengji Information Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |