CN110826538B - 一种用于电力营业厅的异常离岗识别系统 - Google Patents

Abstract

一种用于电力营业厅的异常离岗识别系统，可解决人工岗位考勤效率低，自动化程度不高的技术问题。本发明能够通过柜台前端网络摄像头采集柜台区域人员信息、柜台顶端服务牌信息，进行数据处理、分析，作为柜台职工是否异常离岗的依据，能够实时监控上班期间，服务柜台区域内职工人员信息、是否异常离岗信息的检测与识别，监测过程中实时显示监测区域内的职工出勤信息、在\离岗时间信息，能够基于图像和文字信息的检测与识别，给出电力营业厅柜台职工的精确出勤、在\离岗信息，具备职工在岗服务期间监测与提醒功能，同时对职工在岗服务期间进行信息存储；通过通信接口模块与电力营业厅中心控制模块进行连接，接受中心系统的管理和控制；该方法可以有效提升检测准确率、实时性强，提升电力营业厅监管部门的动态监控及预警能力。

Description

一种用于电力营业厅的异常离岗识别系统

技术领域

本发明涉及机器学习技术领域，具体涉及一种用于电力营业厅的异常离岗识别系统。

背景技术

考勤系统，是指针对企事业单位、公司职工的上下班考勤记录等相关情况的管理系统，是考勤软件与考勤硬件结合的产品，一般为HR部门使用，掌握并管理员工出勤动态。

目前，现有的考勤技术系统较为成熟，相应的考勤设备也日益更新，并逐渐地应用于企事业单位、高铁站、商场、地铁站等众多场景，对本单位员工进行出勤数据统计。其中，应用在电力营业厅职工上班出勤数据监测技术与设备也比较广泛，如常见的指纹识别、人脸识别等，这些设备及技术目前只针对于职工的上下班时间出勤记录，而对职工上班过程中是否出现缺勤、中途异常离岗行为无法实现有效的监控和管理，现有的关于电力营业厅场景中同时满足柜台职工的上班实时监控以及离岗检测与识别的任务需求。

现有的关于电力营业厅场景中柜台职工实时监控及中途异常离岗行为检测技术，存在如下不足：

第一，实时性不足，现有的对于柜台职工的监控都是“人为监控”，通过数据传输显示及存储设备，监管人员主动地进行人工监视和排查，成本高且效率低，自动化程度不高；第二，对于柜台职工上班中途出现异常离岗行为，不能及时预警，目前常见的预警监测技术很常见，但是在电力营业厅柜台场景中进行的就很少了，实现电力营业厅柜台职工实时监控、异常离岗行为实时预警结合的基本就没有了。

发明内容

本发明提出的一种用于电力营业厅的异常离岗识别系统，可解决人工岗位考勤效率低，自动化程度不高的技术问题。

为实现上述目的，本发明采用了以下技术方案：

一种用于电力营业厅的异常离岗识别系统，包括：

基于数据处理模块，以及分别与数据处理模块通信连接的摄像头设备、电力营业厅中心控制系统、数据存储模块及信息显示模块；其特征在于：

其中，

摄像头设备布置在电力营业厅柜台服务区域，该摄像头与电力营业厅中心控制系统相连，将采集到的图像数据传输到数据处理模块，分别进行人脸检测与识别、文本检测与识别；所述的监控摄像头采集目标区域内的图像信息；

所述数据处理模块包括人脸检测与识别单元、文本检测与识别单元、融合判定单元；

具体步骤如下：

1、利用监控摄像头对营业厅值班人员的服务区域进行图像采集，获取到视频流中的实时图像；进行软件标注，构建具有多张人脸的人脸检测训练集和人脸识别训练集；

2、构建深度学习MTCNN人脸检测神经网络模型和Insightface人脸识别模型；

3、将已标注好的人脸检测训练样本集输入人脸检测网络，进行人脸检测模型的训练，得到训练好的人脸框检测模型；

4、将已标注好的人脸识别训练样本集输入到人脸识别模型Insightface当中进行训练，得到训练好的人脸识别模型；

5、最终验证时，待测样本依次通过训练好的人脸框检测模型，输出人脸信息，将人脸信息输入到训练好的人脸识别模型，对人脸进行分类识别。

进一步地，所述步骤1进一步具体为：在值班人员工作时间内，利用监控服务柜台的摄像头对职工所在区域进行图像采集，主要包括值班人员办公区域和服务牌公告区域(为后续文本检测识别提供数据样本)；

进一步地，所属步骤2进一步具体为：在目前主流的开源深度学习平台TensorFlow上，搭建MTCNN人脸检测网络和Insightface人脸识别网络，针对营业厅场景图像的特殊性，进行相应的网络结构调整；

进一步地，所属步骤5进一步具体为：将待检测样本首先输入到训练好的人脸检测模型当中，判断待检测图像中是否出现人脸，若有，则进一步提取人脸框位置信息，为后续人脸识别提供数据；若无，则直接判定当前图像中无值班人员。将人脸检测模型的输出人脸位置信息输入到人脸识别模型当中进行分类识别，输出结果为具体的值班人员人脸标签，如王某某、李某某，作为后续值班人员是否异常离岗的判别依据之一。

进一步的，还包括一种基于Mask R-CNN实例分割的文本检测与识别的端对端方法，模型同时包含文本检测定位和文本识别功能，可以对目标场景内的服务公告牌上的本文信息进行有效准确提取和识别，其结果同样作为值班人员是否异常离岗的判据之一，具体步骤如下：

1、利用上述所采集到的实时监控图像；对服务公告牌区域进行文本信息(本发明中营业厅场景只涉及“欢迎”“暂停”字样)标注，构建文本训练集；

2、构建深度学习Mask R-CNN文本检测与识别网络；

3、将已标注好的文本样本集输入到Mask R-CNN模型中进行训练，得到训练好的文本检测定位与识别模型；

4、最终验证时，待测样本通过训练好的Mask R-CNN模型，输出文本检测信息。

进一步地，所述步骤2进一步具体为：在目前主流的开源深度学习平台TensorFlow上，搭建Mask R-CNN网络，针对营业厅场景图像的特殊性，进行相应的网络结构调整以适应服务公告牌文本数据集；

进一步地，所述步骤4进一步具体为：将待测样本首先输入到训练好的Mask R-CNN模型当中，提取服务公告牌文本字样的位置信息和识别结果，作为后续值班人员是否异常离岗的判别依据，若结果为“欢迎”字样，则表明此时应当是正在服务时间；若为“暂停”字样，则表明此时该服务区域暂停对外服务。

基于以上人脸检测与识别单元和文本检测单元，利用两部分输出的结果进行信息融合，其中融合判定策略，具体如下：

1、若监控图像中未检测出人脸，文本检测结果为“欢迎”，则表明当前出现异常离岗行为；

2、若监控图像中未检测出人脸，文本检测结果为“暂停”，则表明当前出现正常离岗行为；

3、若监控图像中检测并识别出人脸，文本检测结果为“欢迎”，则表明当前该值班人员正常在岗；

4、若监控图像中检测并识别出人脸，文本检测结果为“暂停”，则表明当前该值班人员正常在岗，但暂停服务。

由上述技术方案可知，本发明公开了一种用于电力营业厅的异常离岗识别预警方法，能够通过柜台前端网络摄像头采集柜台区域人员信息、柜台顶端服务牌信息，进行数据处理、分析，作为柜台职工是否异常离岗的依据，能够实时监控上班期间，服务柜台区域内职工人员信息、是否异常离岗信息的检测与识别，监测过程中实时显示监测区域内的职工出勤信息、在\离岗时间信息，能够基于图像和文字信息的检测与识别，给出电力营业厅柜台职工的精确出勤、在\离岗信息，具备职工在岗服务期间监测与提醒功能，同时对职工在岗服务期间进行信息存储；通过通信接口模块与电力营业厅中心控制模块进行连接，接受中心系统的管理和控制。

本发明可针对营业厅值班人员在工作时间内可能出现的在、离岗行为提供一个实时检测与识别的方法。该方法可以有效避免了传统视频记录、人工巡逻排查的低效率，自动化程度不高等技术问题，可实现实时的行为预警，提升营业厅服务质量，减少服务故障。该方法可以有效提升检测准确率、实时性强，提升电力营业厅监管部门的动态监控及预警能力。

附图说明

图1是本发明的结构示意图；

图2是本发明的数据处理流程示意图；

图3是本发明的数据融合策略示意图；

图4是本发明的人脸检测网络模型示意图；

图5是本发明的人脸检测与识别单元示意图；

图6是本发明的文本检测与识别单元示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

为了加强电力营业厅柜台工作人员管理制度，严格劳动纪律，健全考勤制度，实现员工日常上班考勤数据的统一管理，本发明旨在解决电力营业厅监控系统下智能检测与识别出电力营业厅柜台工作人员出勤与离岗，依托电力营业厅柜台监控摄像头，提出一种基于深度学习智能算法的异常离岗识别技术，可以有效提升检测准确率和提升考勤效率，实现电力营业厅监管部门的动态监控及预警体系。

如图1-图6所示，本实施例所述的用于电力营业厅的异常离岗识别系统，基于数据处理模块，以及分别与数据处理模块通信连接的摄像头设备、电力营业厅中心控制模块、数据存储模块及信息显示模块；

其中，

在电力营业厅柜台服务区域布置监控摄像头，该摄像头与电力营业厅中心控制系统相连，将采集到的图像数据传输到数据处理模块(包括人脸检测与识别单元、文本检测与识别单元)，分别进行人脸检测与识别、文本检测与识别；所述的监控摄像头采集目标区域内的图像信息(包括服务场景内人员信息、服务公告牌文本信息)；

所述的数据处理模块中的人脸检测与识别单元，通过本地构建营业厅职工人脸检测数据库和人脸识别数据库，在主流深度学习平台上构建人脸检测网络MTCNN和人脸识别网络Insightface模型，基于所构建数据库进行算法模型的训练和验证；将训练好的模型部署在识别终端(如监控室主机、营业厅内网计算机等等)，实时对监控摄像头采集回来的图像信息进行数据分析和处理，得出人脸检测识别结果；

所述的数据处理模块中的文本检测与识别单元，通过本地构建营业厅柜台服务牌图像包含“欢迎”“暂停”字样的数码文本数据库，在主流深度学习平台上构建深度学习文本检测算法MaskR-CNN网络模型，基于所构建数据库进行算法模型的训练和验证，将训练好的模型部署识别终端(如监控室主机、营业厅内网计算机等等)，实时对监控摄像头采集回来的图像信息进行服务牌文本检测和定位，得出数码文本检测识别结果；

所述的数据处理模块中的融合判定单元，主要基于人脸检测与识别单元和文本检测与识别单元所返回的预测信息，对两部分结果进行信息融合，最终给出值班人员是否正常在岗、异常离岗的判别。

如图3所示的融合策略示意图，其中人脸检测与识别单元，将待检测样本首先输入到训练好的人脸检测模型当中，判断待检测图像中是否出现人脸，若有，则进一步提取人脸框位置信息，为后续人脸识别提供数据；若无，则直接判定当前图像中无值班人员。将人脸检测模型的输出人脸位置信息输入到人脸识别模型当中进行分类识别，输出结果为具体的值班人员标签，如王某某、李某某，将上述信息进行储存，作为后续值班人员是否异常离岗的判别依据；

文本检测与识别单元，将待测样本首先输入到训练好的Mask R-CNN模型当中，提取服务公告牌文本字样的位置信息和识别结果，作为后续值班人员是否异常离岗的判别依据，若结果为“欢迎”字样，则表明此时应当是正在服务时间；若为“暂停”字样，则表明此时该服务区域暂停对外服务。

对两部分信息进行融合，在当前图像中，若人脸检测与识别单元检测出人脸并识别出值班人员，文本检测结果为“欢迎”，表明此时值班人员正常在岗；若人脸单元检测出人脸并识别出值班人员，文本检测结果为“暂停”，表明此时值班人员正常在岗；若人脸单元检未测出人脸，文本检测结果为“暂停”，表明此时值班人员正常离岗，暂停服务；若人脸单元检未测出人脸，文本检测结果为“欢迎”，表明此时值班人员出现异常离岗。

所述的人脸检测与识别模块，本发明实施例中采用基于MTCNN和Insightface的人脸检测与识别方法，包含以下步骤：

1)第一阶段人脸框检测，利用MTCNN算法对采集到的图像进行人脸关键点分析匹配，得出人脸检测框结果；主要包括将原图重采样(resample)，得到一系列尺寸的待检测图。对于每一张待检测图，依次输入到如图3MTCNN结构中的PNet、RNet、ONet三个单元网络，返回一系列检测框boundingbox，去掉那些得分(score)不达标的box，并用非极大值抑制(nms)技术再去掉一部分box，将所有box集合合并，再用nms去除一部分box，余下的就是最终的输出人脸检测框。

深度学习模型，训练目标主要是模型总体的损失函数，MTCNN网络中包含两部分，一是判定是否为人脸的交叉熵损失函数，如下：

p_i为通过神经网络预测出的样本，x_i为人脸的概率，

为ground truth，取值范围{0，1}。

二是用来回归输出人脸预测框坐标的平方损失函数，如下

代表从网络中获得的回归目标，

是ground truth坐标。Facial Landmark Localization输出的是人脸关键点位置坐标，其损失函数和边框回归类似。

2)将已标注好的人脸检测训练样本集输入人脸检测网络，进行人脸检测模型的训练，得到训练好的人脸框检测模型；

3)第二阶段人脸识别，基于训练好的人脸框检测模型输出的人脸检测框进行人脸位置图像截取，并输入到人脸识别模型Insightface中，得出识别；主要包括，利用深度神经网络ResNet50进行人脸的特征提取，基于其独有的角边缘损失函数，如下所示，

在计算向量距离时，InsightFace不是采用传统的余弦距离，而是采取角度距离，更利于优化损失函数，有效地提高人脸识别的识别能力。

4)利用构建好的人脸检测数据库和人脸识别数据库，分别对人脸检测模型MTCNN、人脸识别模型Insightface进行训练，得到训练好的检测与识别网络；

5)利用训练好的模型，对实时采集到的人脸图像数据进行人脸检测与识别，得出结果，作为最终在、离岗的判别依据之一。

所述的文本检测与识别模块，本发明中采用基于端对端方式的深度学习文本检测识别方法MaskR-CNN，集成了目标检测和实例分割两部分功能，具体包含以下步骤：

1)基于营业厅场景数码文本数据集，构建深度学习MaskR-CNN网络模型；

2)第一阶段，基于模型中基础卷积神经网络结构(如ResNet50和ResNet101)，作为特征提取器，获取到特征图，即可能包含目标的区域位置信息；对每个特征图中的每一个点预设定n个感兴趣区域(即ROI)，从而获得多个候选框区域；

3)第二阶段，Mask R-CNN对所获特征图信息进行分类、提议并生成边界框和掩码(Mask)信息；将这些候选框区域输入到MaskR-CNN网络中的RPN结构单元中，进行二值分类(即区分前景或背景)，以及目标边界框的回归预测，过滤到一部分候选框区域；

4)基于剩下的ROI进行ROIAlign操作(即先将原图和feature map的pixel对应起来，然后将feature map和固定的feature对应起来)，公式如下所示；

5)最后，对这些ROI进行分类(N类别分类)、目标边界框回归和Mask生成(在每一个ROI里面进行全连接卷积操作)。

6)利用所构建的数码文本数据库进行模型的训练，得到训练好的深度神经网络模型；

7)利用训练好的模型，对实时采集到的图像数据进行文本检测、定位与识别，得出准确结果，作为最终在、离岗的判别依据之一。

本发明实施例所采用的文本识别和人脸识别二者融合异常离岗融合预警策略，利用文本信息和图像信息进行多模态数据的融合，实现对柜台职工异常离岗的识别。

结合图1可知，本发明的一种用于电力营业厅的异常离岗识别，能够通系统过柜台服务区域监控摄像头对柜台服务区域场景内进行图像采集，利用深度学习人脸识别、文本检测等智能算法进行数据处理，基于所采集到的数据进行模型训练，实现对服务区域内职工信息的数据获取，进而融合相应的文本信息，进行集成判别。

以下具体说明：

图5为本发明中数据处理模块之一人脸检测与识别方案流程示意图，作为营业厅值班人员异常离岗检测方法的重要组成部分，其是一套基于监控摄像头视频中人脸框检测、图像预处理、人脸特征提取及匹配，是人脸识别技术在智能视频监控领域内应用的产物。利用摄像机对目标区域内进行图像采集，利用检测算法对其进行人脸检测和定位，即检测所采集图像中有没有人脸的存在，若没有，则判别输出信息此时服务柜台区域没有值班人员在服务，以此作为后续值班人员是否异常离岗的判别依据之一；若有则将人脸标示并截取人脸部分图像传输到人脸识别单元，利用识别分类算法对人脸图像进行分类识别，并与员工信息匹配，记录在库，作为职工上班考勤、绩效等评估依据。

图6是本发明中数据处理模块之一文本识别方案流程示意图，本发明实施例的一种用于电力营业厅的异常离岗识别预警方法，能够通过柜台服务区域监控摄像头对柜台服务公告牌上“暂停”和“欢迎”字样信息进行图像采集，基于深度学习文本检测算法实现对目标图像数码文本区域进行检测定位，继而识别文本字样，其输出结果同样作为值班人员是否异常离岗的判别依据之一。如上图所示，利用监控摄像机对目标区域数码文本信息进行图像采集，传输到深度学习文本检测单元进行实例分割、背景提取，将处理好的图像传输到所构建的文本检测识别深度学习模型，进行训练和测试，得出识别结果。

图3为异常离岗判定策略示意图，该判定策略利用人脸检测与识别结果，结合实时文本检测信息，实现值班人员是否正常在岗、异常离岗的判别。

综上，本发明实施例的用于电力营业厅的异常离岗识别方法能够给出基于柜台服务区域监控摄像头采集到的图像和文字信息，利用深度学习智能算法进行数据处理，进而给出柜台值班人员是否正常在岗、异常离岗精准的判别，用于营业厅职工的日常工作监督和工作考核管理等工作。

本发明实施例可应用于电力营业厅场景中，对工作时间内柜台职工进行实时监控、中途异常离岗行为的检测与识别，在对场景监控的同时，实现对电力营业厅职工上班中途是否出现异常离岗行为的监测。

本发明利用监控摄像头实时获取电力营业厅场景下的值班人员信息和服务公告牌文本信息，通过判断人员是否在服务区域以及服务牌显示的文字“欢迎”或“暂停”等字样，融合判定柜台值班人员在上班时间内是否存在异常离岗的行为；更加高效、科学，省去了后续人工重看监控记录的繁琐的过程，提高自动化性。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种用于电力营业厅的异常离岗识别系统，基于数据处理模块，以及分别与数据处理模块通信连接的摄像头设备、电力营业厅中心控制系统、数据存储模块及信息显示模块；其特征在于：

其中，

摄像头设备布置在电力营业厅柜台服务区域，该摄像头与电力营业厅中心控制系统相连，将采集到的图像数据传输到数据处理模块，分别进行人脸检测与识别、文本检测与识别；所述的监控摄像头采集目标区域内的图像信息；

所述数据处理模块包括人脸检测与识别单元、文本检测与识别单元、融合判定单元；

所述人脸检测与识别单元，通过本地构建营业厅职工人脸检测数据库和人脸识别数据库，在深度学习平台上构建人脸检测网络模型和人脸识别网络模型，基于所构建数据库进行算法模型的训练和验证；将训练好的模型部署在识别终端，实时对监控摄像头采集回来的图像信息进行数据分析和处理，得出人脸检测识别结果；

所述文本检测与识别单元，通过本地构建营业厅柜台服务牌图像包含“欢迎”“暂停”字样的数码文本数据库，在深度学习平台上构建深度学习文本检测算法网络模型，基于所构建数据库进行算法模型的训练和验证，将训练好的模型部署识别终端，实时对监控摄像头采集回来的图像信息进行服务牌文本检测和定位，得出数码文本检测识别结果；

所述融合判定单元，基于人脸检测与识别单元和文本检测与识别单元所返回的预测信息，对两部分结果进行信息融合，最终给出值班人员是否正常在岗、异常离岗的判别；

所述融合判定单元步骤如下：

其中人脸检测与识别单元，将待检测样本首先输入到训练好的人脸检测模型当中，判断待检测图像中是否出现人脸，若有，则进一步提取人脸框位置信息，为后续人脸识别提供数据；若无，则直接判定当前图像中无值班人员；将人脸检测模型的输出人脸位置信息输入到人脸识别模型当中进行分类识别，输出结果为具体的值班人员标签，将上述信息进行储存，作为后续值班人员是否异常离岗的判别依据；

文本检测与识别单元将待测样本首先输入到训练好的Mask R-CNN模型当中，提取服务公告牌文本字样的位置信息和识别结果，作为后续值班人员是否异常离岗的判别依据，若结果为“欢迎”字样，则表明此时应当是正在服务时间；若为“暂停”字样，则表明此时该服务区域暂停对外服务；

对两部分信息进行融合，在当前图像中，若人脸检测与识别单元检测出人脸并识别出值班人员，文本检测结果为“欢迎”，表明此时值班人员正常在岗；若人脸单元检测出人脸并识别出值班人员，文本检测结果为“暂停”，表明此时值班人员正常在岗；若人脸单元检未测出人脸，文本检测结果为“暂停”，表明此时值班人员正常离岗，暂停服务；若人脸单元检未测出人脸，文本检测结果为“欢迎”，表明此时值班人员出现异常离岗。

2.根据权利要求1所述的用于电力营业厅的异常离岗识别系统，其特征在于：所述人脸检测与识别单元的具体步骤如下：

1)第一阶段人脸框检测，利用MTCNN算法对采集到的图像进行人脸关键点分析匹配，得出人脸检测框结果；

其中深度学习模型的训练目标是模型总体的损失函数，MTCNN网络中包含两部分，一是判定是否为人脸的交叉熵损失函数，如下：

p_i为通过神经网络预测出的样本，x_i为人脸的概率，

为ground truth，取值范围{0，1}；

二是用来回归输出人脸预测框坐标的平方损失函数，如下

代表从网络中获得的回归目标，

是ground truth坐标；facial landmarklocalization输出的是人脸关键点位置坐标，其损失函数和边框回归类似；

2)将已标注好的人脸检测训练样本集输入人脸检测网络，进行人脸检测模型的训练，得到训练好的人脸框检测模型；

3)第二阶段人脸识别，基于训练好的人脸框检测模型输出的人脸检测框进行人脸位置图像截取，并输入到人脸识别模型Insightface中，得出识别；包括利用深度神经网络ResNet50进行人脸的特征提取，基于其独有的角边缘损失函数，如下所示，

在计算向量距离时，InsightFace不是采用传统的余弦距离，而是采取角度距离，更利于优化损失函数，有效地提高人脸识别的识别能力；

4)利用构建好的人脸检测数据库和人脸识别数据库，分别对人脸检测模型MTCNN、人脸识别模型Insightface进行训练，得到训练好的检测与识别网络；

5)利用训练好的模型，对实时采集到的人脸图像数据进行人脸检测与识别，得出结果，作为最终在、离岗的判别依据之一。

3.根据权利要求2所述的用于电力营业厅的异常离岗识别系统，其特征在于：所述人脸框检测包括原图重采样(resample)，得到尺寸的待检测图；

对于每一张待检测图，依次输入到PNet、RNet、ONet三个单元网络，返回检测框bounding box，去掉得分(score)不达标的box，并用非极大值抑制(nms)方法再去掉一定的box，将所有box集合合并，再用非极大值抑制(nms)方法去除一定box，余下的就是最终的输出人脸检测框。

4.根据权利要求1所述的用于电力营业厅的异常离岗识别系统，其特征在于：所述文本检测与识别单元步骤如下：

1)基于营业厅场景数码文本数据集，构建深度学习Mask R-CNN网络模型；

2)第一阶段，基于模型中基础卷积神经网络结构，作为特征提取器，获取到特征图，即可能包含目标的区域位置信息；对每个特征图中的每一个点预设定n个感兴趣区域即ROI，从而获得多个候选框区域；

3)第二阶段，Mask R-CNN网络模型对所获特征图信息进行分类、提议并生成边界框和掩码(Mask)信息；将这些候选框区域输入到Mask R-CNN网络中的RPN结构单元中，进行二值分类即区分前景或背景，以及目标边界框的回归预测，过滤到一定候选框区域；

4)基于剩下的ROI进行ROIAlign操作即先将原图和特征图(feature map)的像素(pixel)对应起来，然后将feature map和固定的feature对应起来，公式如下所示；

5)最后，对这些ROI进行分类、目标边界框回归和Mask生成即在每一个ROI里面进行全连接卷积操作；

6)利用所构建的数码文本数据库进行模型的训练，得到训练好的深度神经网络模型；

7)利用训练好的模型，对实时采集到的图像数据进行文本检测、定位与识别，得出准确结果，作为最终在、离岗的判别依据之一。

Images