CN112883932A - 员工异常行为检测方法、装置及系统 - Google Patents

员工异常行为检测方法、装置及系统 Download PDF

Info

Publication number
CN112883932A
CN112883932A CN202110338406.0A CN202110338406A CN112883932A CN 112883932 A CN112883932 A CN 112883932A CN 202110338406 A CN202110338406 A CN 202110338406A CN 112883932 A CN112883932 A CN 112883932A
Authority
CN
China
Prior art keywords
result
abnormal
personnel
recognition result
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110338406.0A
Other languages
English (en)
Inventor
高伟
吴蕃
杜媛媛
宋宇诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110338406.0A priority Critical patent/CN112883932A/zh
Publication of CN112883932A publication Critical patent/CN112883932A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Image Analysis (AREA)

Abstract

一种员工异常行为检测方法、装置及系统，可用于金融领域或其他领域。所述方法包括：获取工位视频数据、区域视频数据及人员语音数据，解析工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组；对工位图片组及区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果，并对人员语音数据进行识别，得到多个语音识别结果；根据人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果。本发明通过实时采集员工作时的音视频数据，并对人员现场工作行为进行实时识别与检测，不仅可以提高现场检测自动化水平，而且可以保证员工情绪稳定，提升员工工作质量，助力企业业务快速发展。

Description

员工异常行为检测方法、装置及系统
技术领域
本发明涉及行为检测技术领域，尤指一种员工异常行为检测方法、装置及系统。
背景技术
目前，很多行业由于其自身的特点，企业员工在工作现场的行为举止，会直接影响企业业绩，甚至影响企业的发展。例如，客服人员以及催收人员这样处理特殊问题的行业，员工需要严格遵守现场工作行为准则，但常常面临情绪干扰等问题。若无法及时检测到员工的异常行为及异常情绪，会对员工身心，甚至企业发展有重大影响。但是，目前各行业中，无法全面、准确且及时的检测员工异常行为。
发明内容
针对现有技术中存在的问题，本发明实施例的主要目的在于提供一种员工异常行为检测方法、装置及系统，实现对员工异常行为及异常情绪进行全面、准确且及时的检测。
为了实现上述目的，本发明实施例提供一种员工异常行为检测方法，所述方法包括：
获取工位视频数据、区域视频数据及人员语音数据，解析所述工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组；
对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果，并对所述人员语音数据进行识别，得到多个语音识别结果；
根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果。
可选的，在本发明一实施例中，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果包括：
对所述区域图片组中多个人员的移动轨迹进行识别，得到轨迹距离识别结果及人员走动识别结果；其中，所述轨迹距离识别结果及人员走动识别结果属于所述人员行为识别结果。
可选的，在本发明一实施例中，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果包括：
若根据所述行为规则参数中的人员距离阈值，获知所述轨迹距离识别结果中的人员距离最小值小于所述人员距离阈值，则判断所述轨迹距离识别结果中的人员聚集时间是否大于所述行为规则参数中的聚集时间阈值，若是，则根据所述人员聚集时间生成人员聚集异常结果；其中，所述人员聚集异常结果属于所述异常行为检测结果；
若根据所述行为规则参数中的移动范围阈值，获知所述人员走动识别结果中的人员走动范围超过所述移动范围阈值，则判断所述人员走动识别结果中的人员走动时间是否大于所述行为规则参数中的走动时间阈值，若是，则根据所述人员走动时间生成人员走动异常结果；其中，所述人员走动异常结果属于所述异常行为检测结果。
可选的，在本发明一实施例中，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果还包括：
对所述工位图片组中的人员进行人脸识别，得到离岗识别结果及坐席变更识别结果；其中，所述离岗识别结果及坐席变更识别结果属于所述人员行为识别结果。
可选的，在本发明一实施例中，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
若根据所述行为规则参数中的离岗时间阈值，获知所述离岗识别结果中的人员离岗时间超过所述离岗时间阈值，则根据所述离岗时间阈值生成人员离岗异常结果；其中，所述人员离岗异常结果属于所述异常行为检测结果；
若根据所述行为规则参数中的人员面部特征信息，获知所述坐席变更识别结果中的面部识别特征信息与所述人员面部特征信息不一致，则判断所述坐席变更识别结果中的坐席变更时间是否大于所述行为规则参数中的变更时间阈值，若是，则根据所述坐席变更时间生成坐席变更异常结果；其中，所述坐席变更异常结果属于所述异常行为检测结果。
可选的，在本发明一实施例中，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果还包括：
对所述区域图片组中人员的步态进行识别，得到人员步态识别结果；其中，所述人员步态识别结果属于所述人员情绪识别结果。
可选的，在本发明一实施例中，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
若所述人员步态识别结果中的步态情绪结果为异常，则判断所述人员步态识别结果中的步态异常时间是否大于所述行为规则参数中的步态时间阈值，若是，则根据所述步态异常时间生成步态异常识别结果；其中，所述步态异常识别结果属于所述异常行为检测结果。
可选的，在本发明一实施例中，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果还包括：
对所述工位图片组中的人员进行面部表情识别，得到人员表情识别结果；其中，所述人员表情识别结果属于所述人员情绪识别结果。
可选的，在本发明一实施例中，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
若所述人员表情识别结果中的面部表情结果为异常，则判断所述人员表情识别结果中的表情异常时间是否大于所述行为规则参数中的表情时间阈值，若是，则根据所述表情异常时间生成表情异常识别结果；其中，所述表情异常识别结果属于所述异常行为检测结果。
可选的，在本发明一实施例中，所述对所述人员语音数据进行识别，得到多个语音识别结果包括：
对所述人员语音数据进行语音识别，得到文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果；其中，所述文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果属于所述语音识别结果。
可选的，在本发明一实施例中，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
若根据所述行为规则参数中的违禁语信息，获知所述文本词汇识别结果中包括所述违禁语信息中的违禁词汇，则根据所述文本词汇识别结果生成违禁语异常结果；其中，所述违禁语异常结果属于所述异常行为检测结果；
若所述文本情绪识别结果中的文本情绪结果为异常，则判断所述文本情绪识别结果中的文本异常时间是否大于所述行为规则参数中的文本时间阈值，若是，则根据所述文本异常时间生成文本异常识别结果；其中，所述文本异常识别结果属于所述异常行为检测结果；
若根据所述行为规则参数中的人员语速阈值，获知所述语速识别结果中的人员语速最大值大于所述人员语速阈值，则判断所述语速识别结果中的人员语速时间是否大于所述行为规则参数中的超速时间阈值，若是，则根据所述人员语速时间生成人员语速异常结果；其中，所述人员语速异常结果属于所述异常行为检测结果；
若根据所述行为规则参数中的人员音量阈值，获知所述音量识别结果中的人员音量最大值大于所述人员音量阈值，则判断所述音量识别结果中的人员音量时间是否大于所述行为规则参数中的音量时间阈值，若是，则根据所述人员音量时间生成人员音量异常结果；其中，所述人员音量异常结果属于所述异常行为检测结果。
本发明实施例还提供一种员工异常行为检测装置，所述装置包括：
数据采集模块，用于获取工位视频数据、区域视频数据及人员语音数据，解析所述工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组；
数据识别模块，用于对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果，并对所述人员语音数据进行识别，得到多个语音识别结果；
检测结果模块，用于根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果。
可选的，在本发明一实施例中，所述数据识别模块还用于对所述区域图片组中多个人员的移动轨迹进行识别，得到轨迹距离识别结果及人员走动识别结果；其中，所述轨迹距离识别结果及人员走动识别结果属于所述人员行为识别结果。
可选的，在本发明一实施例中，所述检测结果模块包括：
聚集检测单元，用于若根据所述行为规则参数中的人员距离阈值，获知所述轨迹距离识别结果中的人员距离最小值小于所述人员距离阈值，则判断所述轨迹距离识别结果中的人员聚集时间是否大于所述行为规则参数中的聚集时间阈值，若是，则根据所述人员聚集时间生成人员聚集异常结果；其中，所述人员聚集异常结果属于所述异常行为检测结果；
走动检测单元，用于若根据所述行为规则参数中的移动范围阈值，获知所述人员走动识别结果中的人员走动范围超过所述移动范围阈值，则判断所述人员走动识别结果中的人员走动时间是否大于所述行为规则参数中的走动时间阈值，若是，则根据所述人员走动时间生成人员走动异常结果；其中，所述人员走动异常结果属于所述异常行为检测结果。
可选的，在本发明一实施例中，所述数据识别模块还用于对所述工位图片组中的人员进行人脸识别，得到离岗识别结果及坐席变更识别结果；其中，所述离岗识别结果及坐席变更识别结果属于所述人员行为识别结果。
可选的，在本发明一实施例中，所述检测结果模块还包括：
离岗检测单元，用于若根据所述行为规则参数中的离岗时间阈值，获知所述离岗识别结果中的人员离岗时间超过所述离岗时间阈值，则根据所述离岗时间阈值生成人员离岗异常结果；其中，所述人员离岗异常结果属于所述异常行为检测结果；
坐席检测单元，用于若根据所述行为规则参数中的人员面部特征信息，获知所述坐席变更识别结果中的面部识别特征信息与所述人员面部特征信息不一致，则判断所述坐席变更识别结果中的坐席变更时间是否大于所述行为规则参数中的变更时间阈值，若是，则根据所述坐席变更时间生成坐席变更异常结果；其中，所述坐席变更异常结果属于所述异常行为检测结果。
可选的，在本发明一实施例中，所述数据识别模块还用于对所述区域图片组中人员的步态进行识别，得到人员步态识别结果；其中，所述人员步态识别结果属于所述人员情绪识别结果。
可选的，在本发明一实施例中，所述检测结果模块还用于若所述人员步态识别结果中的步态情绪结果为异常，则判断所述人员步态识别结果中的步态异常时间是否大于所述行为规则参数中的步态时间阈值，若是，则根据所述步态异常时间生成步态异常识别结果；其中，所述步态异常识别结果属于所述异常行为检测结果。
可选的，在本发明一实施例中，所述数据识别模块还用于对所述工位图片组中的人员进行面部表情识别，得到人员表情识别结果；其中，所述人员表情识别结果属于所述人员情绪识别结果。
可选的，在本发明一实施例中，所述检测结果模块还用于若所述人员表情识别结果中的面部表情结果为异常，则判断所述人员表情识别结果中的表情异常时间是否大于所述行为规则参数中的表情时间阈值，若是，则根据所述表情异常时间生成表情异常识别结果；其中，所述表情异常识别结果属于所述异常行为检测结果。
可选的，在本发明一实施例中，所述数据识别模块还用于对所述人员语音数据进行语音识别，得到文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果；其中，所述文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果属于所述语音识别结果。
可选的，在本发明一实施例中，所述检测结果模块还包括：
违禁语检测单元，用于若根据所述行为规则参数中的违禁语信息，获知所述文本词汇识别结果中包括所述违禁语信息中的违禁词汇，则根据所述文本词汇识别结果生成违禁语异常结果；其中，所述违禁语异常结果属于所述异常行为检测结果；
文本检测单元，用于若所述文本情绪识别结果中的文本情绪结果为异常，则判断所述文本情绪识别结果中的文本异常时间是否大于所述行为规则参数中的文本时间阈值，若是，则根据所述文本异常时间生成文本异常识别结果；其中，所述文本异常识别结果属于所述异常行为检测结果；
语速检测单元，用于若根据所述行为规则参数中的人员语速阈值，获知所述语速识别结果中的人员语速最大值大于所述人员语速阈值，则判断所述语速识别结果中的人员语速时间是否大于所述行为规则参数中的超速时间阈值，若是，则根据所述人员语速时间生成人员语速异常结果；其中，所述人员语速异常结果属于所述异常行为检测结果；
音量检测单元，用于若根据所述行为规则参数中的人员音量阈值，获知所述音量识别结果中的人员音量最大值大于所述人员音量阈值，则判断所述音量识别结果中的人员音量时间是否大于所述行为规则参数中的音量时间阈值，若是，则根据所述人员音量时间生成人员音量异常结果；其中，所述人员音量异常结果属于所述异常行为检测结果。
本发明实施例还提供一种员工异常行为检测系统，所述系统包括：工位摄像机、区域摄像机、麦克风及主控模块；
所述主控模块接收所述工位摄像机采集的工位视频数据、区域摄像机采集的区域视频数据及麦克风采集的人员语音数据，并解析所述工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组；
所述主控模块对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果，并对所述人员语音数据进行识别，得到多个语音识别结果；根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明通过实时采集员工作时的音视频数据，并对人员现场工作行为进行实时识别与检测，不仅可以提高现场检测自动化水平，而且也可以保证员工情绪稳定，提升员工工作质量，助力企业业务快速发展。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种员工异常行为检测方法的流程图；
图2为本发明实施例中异常行为检测的流程图；
图3为本发明一具体实施例中异常行为检测的流程图；
图4为本发明另一具体实施例中异常行为检测的流程图；
图5为本发明实施例一种员工异常行为检测系统的结构示意图；
图6为本发明实施例中员工异常行为检测系统的工作流程图；
图7为本发明实施例中员工异常行为检测系统的异常行为检测流程图；
图8为本发明实施例中员工异常行为检测系统的异常情绪检测流程图；
图9为本发明实施例一种员工异常行为检测装置的结构示意图；
图10为本发明实施例中检测结果模块的结构示意图；
图11为本发明一具体实施例中检测结果模块的结构示意图；
图12为本发明另一具体实施例中检测结果模块的结构示意图；
图13为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
本发明实施例提供一种员工异常行为检测方法、装置及系统，可用于金融领域或其他领域，需要说明的是，本发明的员工异常行为检测方法、装置及系统可用于金融领域，也可用于除金融领域之外的任意领域，本发明的员工异常行为检测方法、装置及系统应用领域不做限定。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示为本发明实施例一种员工异常行为检测方法的流程图，本发明实施例提供的员工异常行为检测方法的执行主体包括但不限于计算机。图中所示方法包括：
步骤S1，获取工位视频数据、区域视频数据及人员语音数据，解析所述工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组。
其中，工位视频数据、区域视频数据及人员语音数据可以分别通过员工工位的工位摄像机、办公区域的区域摄像机以及员工工位的麦克风来获取。对工位视频数据及区域视频数据进行解析，具体的，可以采用常规技术手段进行视频流解析，将工位视频数据及区域视频数据解析为连续图片组，得到工位图片组及区域图片组。
步骤S2，对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果，并对所述人员语音数据进行识别，得到多个语音识别结果。
其中，采用现有人工智能识别技术，例如，RetinaFace算法、FastReID算法、FaceNet算法，以及Resnet18模型、EWalk数据集的LSTM+随机分类器等，对工位图片组及区域图片组进行识别，得到多个人员情绪识别结果以及多个人员行为识别结果。具体的，人员行为识别结果包括轨迹距离识别结果、人员走动识别结果、离岗识别结果及坐席变更识别结果，人员情绪识别结果包括人员步态识别结果及人员表情识别结果。
进一步的，采用现有的语音识别技术，对人员语音数据进行识别，具体的，将人员语音数据转换为文本数据，并检测人员语音数据的语速及音量。其中，得到的文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果均属于语音识别结果。
步骤S3，根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果。
其中，预设的行为参数包括人员距离阈值、聚集时间阈值、离岗时间阈值、面部识别特征信息、变更时间阈值、违禁语信息、步态时间阈值、表情时间阈值、文本时间阈值、人员语速阈值、超速时间阈值、人员音量阈值及音量时间阈值等。利用预设的行为参数，以及人员行为识别结果、人员情绪识别结果及语音识别结果，得到异常行为检测结果。具体的，异常行为检测结果包括人员聚集异常结果、人员走动异常结果、人员离岗异常结果、坐席变更异常结果、违禁语异常结果、态异常识别结果、表情异常识别结果、文本异常识别结果、人员语速异常结果及人员音量异常结果。其中，异常行为检测结果代表了人员出现聚集、四处走动、离岗、私下变更坐席、使用违禁语的情况，以及人员出现难过、愤怒、悲伤、生气、不满等情绪波动的情况。
进一步的，当检测到人员出现异常情绪及异常行为时，生成预警信息，并发送至对应的异常情况处理人员，及时处理人员的异常情绪及异常行为，并及时对人员进行安抚。
作为本发明的一个实施例，对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果包括：对所述区域图片组中多个人员的移动轨迹进行识别，得到轨迹距离识别结果及人员走动识别结果；其中，所述轨迹距离识别结果及人员走动识别结果属于所述人员行为识别结果。
其中，对连续的区域图片组进行人员移动轨迹识别，分析是否有异常的轨迹，轨迹算法可采用FastReID算法实现。进一步的，得到多个人员的移动轨迹，并计算各轨迹之间的距离，确定人员轨迹最小距离，以及人员轨迹对应的时间与轨迹最小距离持续的时长。具体的，人员轨迹对应的时间为人员走动时间，具体可以由人员出现在区域图片中的时刻到人员离开区域图片中的时刻得到。人员聚集时间为轨迹最小距离在预设范围内(如1米)变动时，对应的持续时长。
在本实施例中，如图2所示，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果包括：
步骤S21，若根据所述行为规则参数中的人员距离阈值，获知所述轨迹距离识别结果中的人员距离最小值小于所述人员距离阈值，则判断所述轨迹距离识别结果中的人员聚集时间是否大于所述行为规则参数中的聚集时间阈值，若是，则根据所述人员聚集时间生成人员聚集异常结果；其中，所述人员聚集异常结果属于所述异常行为检测结果。
其中，预设的行为规则参数中包括人员距离阈值，例如0.5米，当轨迹距离识别结果中的人员距离最小值小于人员距离阈值时，判断轨迹距离识别结果中的人员聚集时间是否大于行为规则参数中的聚集时间阈值，例如5分钟。若是，则说明人员出现异常聚集情况。
进一步的，根据人员聚集时间生成人员聚集异常结果，具体的，人员聚集异常结果包括人员聚集的具体时间(起始时间点及结束时间点)及持续时长、聚集地点等信息。此外，还可以结合人脸识别技术，确定聚集人员的身份。
步骤S22，若根据所述行为规则参数中的移动范围阈值，获知所述人员走动识别结果中的人员走动范围超过所述移动范围阈值，则判断所述人员走动识别结果中的人员走动时间是否大于所述行为规则参数中的走动时间阈值，若是，则根据所述人员走动时间生成人员走动异常结果；其中，所述人员走动异常结果属于所述异常行为检测结果。
其中，预设的行为规则参数中包括人员的移动范围阈值，若区域图片组中识别出的人员移动轨迹对应的人员走动范围超过了移动范围阈值，则判断人员走动时间是否超过了行为规则参数中走动时间阈值。若是，根据人员走动时间生成人员走动异常结果，具体的，人员走动异常结果包括人员走动具体时间点(起始时间点及结束时间点)及持续时长。此外，还可以结合人脸识别技术，确定走动人员的身份。
进一步的，人员聚集异常结果及人员走动异常结果均属于异常行为检测结果，当检测到出现异常行为检测结果时，生成预警信息，并发送至对应的异常情况处理人员，及时处理人员的异常行为。
作为本发明的一个实施例，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果还包括：对所述工位图片组中的人员进行人脸识别，得到离岗识别结果及坐席变更识别结果；其中，所述离岗识别结果及坐席变更识别结果属于所述人员行为识别结果。
其中，对连续对工位图片进行人脸识别，具体可以采用Faster R-CNN算法。具体的，若无法识别到人脸信息，则说明可能出现人员离岗的情况。记录人员离岗的具体时间点及持续时间作为离岗识别结果。
进一步的，将通过人脸识别得到的面部识别特征信息作为坐席变更识别结果，坐席变更识别结果中还包括识别到面部识别特征信息对应的具体时间及持续时长。坐席变更识别结果用以与已登记录入的本人面部特征信息进行对比，来判断人员是否出现人员坐席变更情况。
在本实施例中，如图3所示，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
步骤S31，若根据所述行为规则参数中的离岗时间阈值，获知所述离岗识别结果中的人员离岗时间超过所述离岗时间阈值，则根据所述离岗时间阈值生成人员离岗异常结果；其中，所述人员离岗异常结果属于所述异常行为检测结果。
其中，判断离岗识别结果中的人员离岗时间是否超过行为规则参数中的离岗时间阈值，例如20分钟。若是，则说明的确出现了人员离岗情况。将人员离岗的具体时间(起始时间点及结束时间点)，以及离岗持续时长，作为人员离岗异常结果。
步骤S32，若根据所述行为规则参数中的人员面部特征信息，获知所述坐席变更识别结果中的面部识别特征信息与所述人员面部特征信息不一致，则判断所述坐席变更识别结果中的坐席变更时间是否大于所述行为规则参数中的变更时间阈值，若是，则根据所述坐席变更时间生成坐席变更异常结果；其中，所述坐席变更异常结果属于所述异常行为检测结果。
其中，行为规则参数中包括人员面部特征信息，人员面部特征信息为人员预先录入的本人人脸信息，识别判断当前工位上人员的人脸识别信息，即坐席变更识别结果中的面部识别特征信息，与本人人脸信息是否一致，若不一致，则说明可能出现了坐席变更情况。
进一步的，判断记录下的坐席变更情况的坐席变更时间是否超过行为规则参数中的变更时间阈值。若是，则说明的确发生了人员坐席变更情况，将坐席变更情况的坐席变更具体时间作为坐席变更异常结果。此外，还可以结合已登记录入的人员人脸信息，确定坐席变更的人员身份。
进一步的，人员离岗异常结果及坐席变更异常结果均属于异常行为检测结果，当检测到出现异常行为检测结果时，生成预警信息，并发送至对应的异常情况处理人员，及时处理人员的异常行为。
作为本发明的一个实施例，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果还包括：对所述区域图片组中人员的步态进行识别，得到人员步态识别结果；其中，所述人员步态识别结果属于所述人员情绪识别结果。
其中，对连续的区域图片组中人员的步态进行识别，具体可以采用EWalk数据集的LSTM+随机分类器进行检测识别。检测识别的人员步态识别结果包括人员步态所呈现的人员情绪为难过、愤怒、平静及欢快等步态情绪结果。具体的，步态情绪结果为悲伤、难过、生气或愤怒时，则判定步态情绪结果为异常。此外，人员步态识别结果还包括不同的异常情绪对应的具体时间及持续时长，即步态异常时间。
在本实施例中，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：若所述人员步态识别结果中的步态情绪结果为异常，则判断所述人员步态识别结果中的步态异常时间是否大于所述行为规则参数中的步态时间阈值，若是，则根据所述步态异常时间生成步态异常识别结果；其中，所述步态异常识别结果属于所述异常行为检测结果。
其中，若人员步态识别结果中的步态情绪结果为悲伤、难过、生气或愤怒，则认为步态情绪结果为异常。若人员步态识别结果中的步态情绪结果为异常，则判断步态异常时间是否大于行为规则参数中的步态时间阈值(例如30秒)。若是，则说明人员出现了异常情绪的情况。根据步态异常时间生成步态异常识别结果，具体的，步态异常识别结果包括人员身份、步态情绪结果(愤怒、悲伤等)，以及步态情绪结果对应的具体时间及持续的时长(步态异常时间)。
进一步的，步态异常识别结果属于异常行为检测结果，当检测到出现异常行为检测结果时，生成预警信息，并发送至对应的异常情况处理人员，及时处理人员的异常情绪，对人员进行安抚。
作为本发明的一个实施例，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果还包括：对所述工位图片组中的人员进行面部表情识别，得到人员表情识别结果；其中，所述人员表情识别结果属于所述人员情绪识别结果。
其中，采用Resnet18模型对连续的工位图片组中的人员进行面部表情识别，得到人员表情识别结果。具体的，人员表情识别结果包括面部表情结果及其对应的表情异常时间，面部表情结果包括开心、生气、难过、愤怒等。其中，当面部表情结果为悲伤、生气、难过或愤怒时，则判定面部表情结果为异常。面部表情结果为异常时对应的具体时间，以及持续的时长为表情异常时间。
在本实施例中，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：若所述人员表情识别结果中的面部表情结果为异常，则判断所述人员表情识别结果中的表情异常时间是否大于所述行为规则参数中的表情时间阈值，若是，则根据所述表情异常时间生成表情异常识别结果；其中，所述表情异常识别结果属于所述异常行为检测结果。
其中，若人员表情识别结果中的面部表情结果为悲伤、生气、难过或愤怒时，则判定面部表情结果为异常。若面部表情结果为异常，则判断对应的表情异常时间是否大于行为规则参数中的表情时间阈值(例如30秒)。若是，则说明人员出现了异常情绪的情况。根据表情异常时间生成表情异常识别结果，具体的，表情异常识别结果包括人员身份、面部表情结果(愤怒、难过等)，以及面部表情结果对于的具体时间及持续时长。
进一步的，表情异常识别结果属于异常行为检测结果，当检测到出现异常行为检测结果时，生成预警信息，并发送至对应的异常情况处理人员，及时处理人员的异常情绪，对人员进行安抚。
作为本发明的一个实施例，所述对所述人员语音数据进行识别，得到多个语音识别结果包括：对所述人员语音数据进行语音识别，得到文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果；其中，所述文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果属于所述语音识别结果。
其中，采用现有的语音识别技术，对采集到的人员语音数据进行话术识别。得到的多个语音识别结果包括文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果。具体的，文本词汇识别结果为语音数据中的人员讲话内容，文本情绪识别结果为语音数据中的人员讲话内容所呈现的人员情绪(如愤怒、悲伤等)、对应的具体时间以及持续时长(文本异常时间)，可以采用现有的人工智能识别工具(如百度AI开发平台)对人员语音数据进行情绪识别。语速识别结果包括人员语速的最大值，以及最大语速值持续的时长。具体的，可以为最大语速值在预设误差范围内变化时持续的时长，由此得到人员语速时间。此外，音量识别结果为人员讲话时的最大音量值，以及最大音量值持续的时长。具体的，可以为最大音量值在预设误差范围内(如2分贝)变化时持续的时长，由此得到人员音量时间。
在本实施例中，如图4所示，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
步骤S41，若根据所述行为规则参数中的违禁语信息，获知所述文本词汇识别结果中包括所述违禁语信息中的违禁词汇，则根据所述文本词汇识别结果生成违禁语异常结果；其中，所述违禁语异常结果属于所述异常行为检测结果。
其中，行为规则参数中的违禁语信息具体可以为记录了违禁词汇的列表，判断文本识别结果中是否包括违禁语信息中的违禁词汇。若是，则说明出现人员使用违禁语的情况，根据使用的违禁语，生成违禁语异常结果。具体的，违禁语异常结果中包括人员身份，及其使用的违禁语。
步骤S42，若所述文本情绪识别结果中的文本情绪结果为异常，则判断所述文本情绪识别结果中的文本异常时间是否大于所述行为规则参数中的文本时间阈值，若是，则根据所述文本异常时间生成文本异常识别结果；其中，所述文本异常识别结果属于所述异常行为检测结果。
其中，若文本情绪结果为难过、生气、愤怒或悲伤，则判断文本情绪结果为异常。若文本情绪结果为异常，则判断文本情绪识别结果中的文本异常时间是否大于行为规则参数中的文本时间阈值(例如30秒)。若是，则说明出现了人员情绪异常的情况。根据文本异常时间生成文本异常识别结果，具体的，文本异常识别结果包括人员身份、文本情绪结果(难过、生气、愤怒或悲伤)，以及对应的具体时间与持续时长。
步骤S43，若根据所述行为规则参数中的人员语速阈值，获知所述语速识别结果中的人员语速最大值大于所述人员语速阈值，则判断所述语速识别结果中的人员语速时间是否大于所述行为规则参数中的超速时间阈值，若是，则根据所述人员语速时间生成人员语速异常结果；其中，所述人员语速异常结果属于所述异常行为检测结果。
其中，行为规则参数包括人员语速阈值，可以为例如5字/秒等。判断人员语速最大值是否大于人员语速阈值，若是，则说明可能出现了人员语速超速的情况。判断语速识别结果中的人员语速时间是否大于行为规则参数中的超速时间阈值，若是，则说明的确发生了人员语速超速的情况。根据人员语速时间，即人员语速超速的具体时间，生成人员语速异常结果。具体的，人员语速异常结果包括人员身份，及其语速超速的具体时间。
步骤S44，若根据所述行为规则参数中的人员音量阈值，获知所述音量识别结果中的人员音量最大值大于所述人员音量阈值，则判断所述音量识别结果中的人员音量时间是否大于所述行为规则参数中的音量时间阈值，若是，则根据所述人员音量时间生成人员音量异常结果；其中，所述人员音量异常结果属于所述异常行为检测结果。
其中，行为规则参数包括人员音量阈值，可以为例如20分贝等。判断音量识别结果中的人员音量最大值是否大于人员音量阈值，若是，则说明可能出现了人员音量过大的情况。进一步的，判断音量识别结果中的人员音量时间，即音量过大持续的时间，是否大于行为规则参数中的音量时间阈值，若是，则说明的确出现了人员音量过大的情况。根据人员音量时间生成人员音量异常结果，具体的，人员音量异常结果包括人员身份，及音量过大的具体时间。
进一步的，违禁语异常结果、文本异常识别结果、人员语速异常结果及人员音量异常结果均属于异常行为检测结果，当检测到出现异常行为检测结果时，生成预警信息，并发送至对应的异常情况处理人员，及时处理人员的异常行为及异常情绪，对人员进行安抚。
本发明通过实时采集员工作时的音视频数据，并对人员现场工作行为进行实时识别与检测，不仅可以提高现场检测自动化水平，而且也可以保证员工情绪稳定，提升员工工作质量，助力企业业务快速发展。
如图5所示本发明实施例一种员工异常行为检测系统的结构示意图，图中所示系统包括：工位摄像机、区域摄像机、麦克风及主控模块；
主控模块接收所述工位摄像机采集的工位视频数据、区域摄像机采集的区域视频数据及麦克风采集的人员语音数据，并解析所述工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组；
主控模块对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果，并对所述人员语音数据进行识别，得到多个语音识别结果；根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果。
在本实施例中，如图5所示的系统包括总体结构框图包括工位摄像机、区域摄像机、麦克风、主控模块。主控模块包括违禁物检测单元、人员行为检测单元、违禁语检测单元、在岗合规性检测单元、工位整洁度检测单元、人员情绪检测单元、参数维护单元、通知显示单元及数据存储单元。具体说明如下：
工位摄像头用于安装在工位上，用于拍摄人员日常工作情况，每个工位一个。
区域摄像机用于安装在工作场所天花板上，对办公区域进行全视角拍摄，包括办公区域入口、出口、以及整个办公场所。
麦克风用于录取人员工作时的话术，可复用现有麦克风，每个工位一个。
主控模块用于控制系统的运行和调度，以及与工位摄像头、区域摄像头及麦克风进行交互。
违禁物检测检测单元用于检测工位上是否有手机、PAD、相机等违禁可拍照的物品，检测算法可采用yolo v4算法。
人员行为检测单元用于对人员的日常行为进行检测。
违禁语检测单元用于对人员的工作话术进行检测，采用NLP和正则匹配方法进行检测。
在岗合规性检测单元用于检测人员在岗的合规性，比如是否离岗、是否变更坐席位置等。
工位整洁度检测单元用于人员下班后，是否把相应物品进行归位，以及是否有其他杂物，检测方式是先以标准归位后的照片作为基准，比较两者之间照片的相似度，相识度低于某个数值即预警。
人员情绪检测单元用于检测人员在工作期间的情绪变化，当出现愤怒异常行为时，及时通知主管对其进行安抚。
参数维护单元用于维护检查的参数，即行为规则参数，比如人员排班表、以及人员办公位置等，详细参数信息如表1所示。
表1
Figure BDA0002998441320000161
Figure BDA0002998441320000171
通知显示单元用于当出现违反工作准则时，通过消息终端(包括手环、web电脑、pad等)及时通知相关负责人，负责人获得消息后做相应的处理。
存储单元用于存储违反工作准则信息，包括视频、图片、文本等，便于后续查阅验证，提高查看视频效率。
在本实施例中，人员行为检测单元包括趴桌子睡觉检测单元、四处走动检测单元、人员扎堆检测单元及吃零食检测单元。具体说明如下：
趴桌子睡觉检测单元用于在办公时间段，检测人员是否在趴在桌子睡觉，检测规则是通过对工位摄像机的视频流进行分析，当超过一定时间(比如20分钟)无法检测到人员的脸部，可采用RetinaFace算法实现。
四处走动检测单用于在办公时间段，检测人员是否在四处走动，实现逻辑是通过对区域摄像头拍摄的视频流进行处理，得到每个人员的运动轨迹，然后分析是否有异常的轨迹，轨迹算法可采用FastReID算法实现。
人员扎堆检测单元用于在办公时间段，检测人员是否在聚集或扎堆，实现逻辑首先得到每个人员的运动轨迹，然后判断两条轨迹之间的距离小于一定范围(0.5m)超过一定时间(如10分钟)，轨迹算法可采用FastReID算法实现。
吃零食检测单元用于在办公时间段，检测人员是否在吃零食，实现逻辑是通过对工位摄像机的视频流进行分析，当检测到手部关键点在嘴巴附近，且有零食出现时判断为正在吃零食，手部关键点可采用openpose算法实现，零食检测可采用RefineDet算法，然后通过对常用零食标注训练实现。
在本实施例中，在岗合规性检测单元包括长时间离岗检测单元、私下变更坐席检测单元及非正常上班时间检测单元。具体来说：
长时间离岗检测单元用于在上班时间，检测人员是否长时间(如15分钟)离岗，正常规定离岗时间为10分钟，通过对工位摄像头的视频流进行分析获得，算法可采用FasterR-CNN。
私下变更坐席检测单元用于在上班时间，检测人员是否按要求在自己的工位上进行作业，通过工位摄像机采集人员的人脸和工位摄像机ID，然后通过人脸识别比对以及工位摄像机ID比对，来判断是否私下变更坐席。人脸识别检测算法可采用FaceNet。
非正常上班时间检测单元用于检测非正常工作时间出现未报备人员私自作业，即人员未报备加班而出现加班的情况，判断逻辑是基于排班表，通过人脸识别比对来实现。
在本实施例中，人员情绪检测单元包括表情识别单元、文本情绪识别单元、语速音量检测单元及步态情绪识别单元。具体说明如下：
表情识别单元用于在上班时间，检测人员的人脸表情变化，当出现愤怒时及时预警通知主管，通过对工位摄像头的视频流进行分析获得，算法可采用Resnet18模型实现。
文本情绪识别单元用于对人员的外呼语音进行文本情绪检测，首先对语音进行转文字，然后对文字进行情绪检测，检测是否出现愤怒的情绪，检测算法可使用百度ai开放平台的对话情绪识别功能。
语速音量检测单元用于检测人员外呼时，说话的语速(每分钟说话字数)，以正常语速为基准，当超出正常语速时，判为不正常，及时预警。
步态情绪识别单元用于检测人员进入办公区域时的步态，通过步态情绪识别出人员的情绪，当情绪为愤怒时及时预警，检测算法可使用基于EWalk数据集的LSTM+随机分类器训练获得。
在本实施例中，如图6所示的员工异常行为检测系统的工作流程具体包括：
步骤S101：企业负责人根据自身管理要求，设置各种参数。
步骤S102：主控模块根据排班表，根据时间戳判断此时是否有人员上班，如果有则执行S103，如果没有，则结束。
步骤S103：主控模块读取配置的参数，然后开始拉去对应摄像头(工位和区域)的视频流和麦克风的音频流。
步骤S104：主控模块开始解析视频流和音频流，然后根据参数配置调用相应的检测单元进行异常检测，比如人员行为检测单元检测人员的情绪。
步骤S105：当检测结果与设定的规则不一致时，表明存在异常行为，则执行S106；否则执行S104。
步骤S106：当检测结果与设定的规则不一致时，表明存在异常行为，此时主控模块发送预警信息给通知显示单元，并把相关异常的图片或视频存在存储单元中。
步骤S107：企业负责人收到通知信息后，及时做相应处理，比如当检测到有人员出现愤怒情绪时，及时进行安抚。
在本实施例中，图7为异常行为检测处理流程图，包括以下步骤：
步骤S201：主控模块拉去对应工位和区域视频流，然后对视频流进行解析。
步骤S202：主控模块调用人员行为检测单元开始进行人员行为异常检测。
步骤S203：对工位视频流解析后的图片进行检测，调用趴桌子睡觉检测算法和吃零食检测算法。
步骤S204：对区域视频流解析后的连续图片进行检测，调用四处走动和人员扎堆检测算法进行处理。
步骤S205：当检测结果与设定的规则不一致时，表明存在异常行为，则执行S206；否则执行S202。
步骤S206：当检测结果与设定的规则不一致时，表明存在异常行为，此时主控单元14发送预警信息给通知显示单元，并把相关异常的图片或视频存在存储单元中。
步骤S207：企业负责人收到通知信息后，及时做相应处理，比如当检测到有人员出现愤怒情绪时，及时进行安抚。
在本实施例中，图8为异常情绪检测处理流程图，包括以下步骤：
步骤S301：主控模块拉去办公区域入口视频流、工位视频流和音频流，然后对其进行解析。
步骤S302：主控模块调用人员情绪检测单元开始进行人员情绪异常检测。
步骤S303：对办公区域入口视频流解析后的图片进行检测，调用步态清楚识别单元进行识别。
步骤S304：对工位视频流解析后的图片进行检测，调用人脸表情识别单元进行识别处理。
步骤S305：对音频流进行语音识别，转为文本后，调用文本情绪识别单元和语速检测单元进行异常情绪检测。
步骤S306：当检测存在愤怒情绪时，表明存在异常行为，则执行S306；否则执行S302。
步骤S307：当检测人员存在愤怒情绪时，表明存在异常行为，此时主控模块发送预警信息给通知显示单元，并把相关异常的图片或视频存在存储单元中。
步骤S308：企业负责人收到通知信息后，及时做相应处理，比如当检测到有人员出现愤怒情绪时，及时进行安抚并停止作业。
本发明通过实时采集员工作时的音视频数据，并对人员现场工作行为进行实时识别与检测，不仅可以提高现场检测自动化水平，而且也可以保证员工情绪稳定，提升员工工作质量，助力企业业务快速发展。
如图9所示为本发明实施例一种员工异常行为检测装置的结构示意图，图中所示装置包括：
数据采集模块10，用于获取工位视频数据、区域视频数据及人员语音数据，解析所述工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组。
其中，工位视频数据、区域视频数据及人员语音数据可以分别通过员工工位的工位摄像机、办公区域的区域摄像机以及员工工位的麦克风来获取。对工位视频数据及区域视频数据进行解析，具体的，可以采用常规技术手段进行视频流解析，将工位视频数据及区域视频数据解析为连续图片组，得到工位图片组及区域图片组。
数据识别模块20，用于对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果，并对所述人员语音数据进行识别，得到多个语音识别结果。
其中，采用现有人工智能识别技术，例如，RetinaFace算法、FastReID算法、FaceNet算法，以及Resnet18模型、EWalk数据集的LSTM+随机分类器等，对工位图片组及区域图片组进行识别，得到多个人员情绪识别结果以及多个人员行为识别结果。具体的，人员行为识别结果包括轨迹距离识别结果、人员走动识别结果、离岗识别结果及坐席变更识别结果，人员情绪识别结果包括人员步态识别结果及人员表情识别结果。
进一步的，采用现有的语音识别技术，对人员语音数据进行识别，具体的，将人员语音数据转换为文本数据，并检测人员语音数据的语速及音量。其中，得到的文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果均属于语音识别结果。
检测结果模块30，用于根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果。
其中，预设的行为参数包括人员距离阈值、聚集时间阈值、离岗时间阈值、面部识别特征信息、变更时间阈值、违禁语信息、步态时间阈值、表情时间阈值、文本时间阈值、人员语速阈值、超速时间阈值、人员音量阈值及音量时间阈值等。利用预设的行为参数，以及人员行为识别结果、人员情绪识别结果及语音识别结果，得到异常行为检测结果。具体的，异常行为检测结果包括人员聚集异常结果、人员走动异常结果、人员离岗异常结果、坐席变更异常结果、违禁语异常结果、态异常识别结果、表情异常识别结果、文本异常识别结果、人员语速异常结果及人员音量异常结果。其中，异常行为检测结果代表了人员出现聚集、四处走动、离岗、私下变更坐席、使用违禁语的情况，以及人员出现难过、愤怒、悲伤、生气、不满等情绪波动的情况。
进一步的，当检测到人员出现异常情绪及异常行为时，生成预警信息，并发送至对应的异常情况处理人员，及时处理人员的异常情绪及异常行为，并及时对人员进行安抚。
作为本发明的一个实施例，所述数据识别模块还用于对所述区域图片组中多个人员的移动轨迹进行识别，得到轨迹距离识别结果及人员走动识别结果；其中，所述轨迹距离识别结果及人员走动识别结果属于所述人员行为识别结果。
在本实施例中，如图10所示，所述检测结果模块30包括：
聚集检测单元31，用于若根据所述行为规则参数中的人员距离阈值，获知所述轨迹距离识别结果中的人员距离最小值小于所述人员距离阈值，则判断所述轨迹距离识别结果中的人员聚集时间是否大于所述行为规则参数中的聚集时间阈值，若是，则根据所述人员聚集时间生成人员聚集异常结果；其中，所述人员聚集异常结果属于所述异常行为检测结果；
走动检测单元32，用于若根据所述行为规则参数中的移动范围阈值，获知所述人员走动识别结果中的人员走动范围超过所述移动范围阈值，则判断所述人员走动识别结果中的人员走动时间是否大于所述行为规则参数中的走动时间阈值，若是，则根据所述人员走动时间生成人员走动异常结果；其中，所述人员走动异常结果属于所述异常行为检测结果。
作为本发明的一个实施例，所述数据识别模块还用于对所述工位图片组中的人员进行人脸识别，得到离岗识别结果及坐席变更识别结果；其中，所述离岗识别结果及坐席变更识别结果属于所述人员行为识别结果。
在本实施例中，如图11所示，所述检测结果模块30还包括：
离岗检测单元33，用于若根据所述行为规则参数中的离岗时间阈值，获知所述离岗识别结果中的人员离岗时间超过所述离岗时间阈值，则根据所述离岗时间阈值生成人员离岗异常结果；其中，所述人员离岗异常结果属于所述异常行为检测结果；
坐席检测单元34，用于若根据所述行为规则参数中的人员面部特征信息，获知所述坐席变更识别结果中的面部识别特征信息与所述人员面部特征信息不一致，则判断所述坐席变更识别结果中的坐席变更时间是否大于所述行为规则参数中的变更时间阈值，若是，则根据所述坐席变更时间生成坐席变更异常结果；其中，所述坐席变更异常结果属于所述异常行为检测结果。
作为本发明的一个实施例，所述数据识别模块还用于对所述区域图片组中人员的步态进行识别，得到人员步态识别结果；其中，所述人员步态识别结果属于所述人员情绪识别结果。
在本实施例中，所述检测结果模块还用于若所述人员步态识别结果中的步态情绪结果为异常，则判断所述人员步态识别结果中的步态异常时间是否大于所述行为规则参数中的步态时间阈值，若是，则根据所述步态异常时间生成步态异常识别结果；其中，所述步态异常识别结果属于所述异常行为检测结果。
作为本发明的一个实施例，所述数据识别模块还用于对所述工位图片组中的人员进行面部表情识别，得到人员表情识别结果；其中，所述人员表情识别结果属于所述人员情绪识别结果。
在本实施例中，所述检测结果模块还用于若所述人员表情识别结果中的面部表情结果为异常，则判断所述人员表情识别结果中的表情异常时间是否大于所述行为规则参数中的表情时间阈值，若是，则根据所述表情异常时间生成表情异常识别结果；其中，所述表情异常识别结果属于所述异常行为检测结果。
作为本发明的一个实施例，所述数据识别模块还用于对所述人员语音数据进行语音识别，得到文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果；其中，所述文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果属于所述语音识别结果。
在本实施例中，如图12所示，所述检测结果模块30还包括：
违禁语检测单元35，用于若根据所述行为规则参数中的违禁语信息，获知所述文本词汇识别结果中包括所述违禁语信息中的违禁词汇，则根据所述文本词汇识别结果生成违禁语异常结果；其中，所述违禁语异常结果属于所述异常行为检测结果；
文本检测单元36，用于若所述文本情绪识别结果中的文本情绪结果为异常，则判断所述文本情绪识别结果中的文本异常时间是否大于所述行为规则参数中的文本时间阈值，若是，则根据所述文本异常时间生成文本异常识别结果；其中，所述文本异常识别结果属于所述异常行为检测结果；
语速检测单元37，用于若根据所述行为规则参数中的人员语速阈值，获知所述语速识别结果中的人员语速最大值大于所述人员语速阈值，则判断所述语速识别结果中的人员语速时间是否大于所述行为规则参数中的超速时间阈值，若是，则根据所述人员语速时间生成人员语速异常结果；其中，所述人员语速异常结果属于所述异常行为检测结果；
音量检测单元38，用于若根据所述行为规则参数中的人员音量阈值，获知所述音量识别结果中的人员音量最大值大于所述人员音量阈值，则判断所述音量识别结果中的人员音量时间是否大于所述行为规则参数中的音量时间阈值，若是，则根据所述人员音量时间生成人员音量异常结果；其中，所述人员音量异常结果属于所述异常行为检测结果。
基于与上述一种员工异常行为检测方法相同的申请构思，本发明还提供了上述一种员工异常行为检测装置。由于该一种员工异常行为检测装置解决问题的原理与一种员工异常行为检测方法相似，因此该一种员工异常行为检测装置的实施可以参见一种员工异常行为检测方法的实施，重复之处不再赘述。
本发明通过实时采集员工作时的音视频数据，并对人员现场工作行为进行实时识别与检测，不仅可以提高现场检测自动化水平，而且也可以保证员工情绪稳定，提升员工工作质量，助力企业业务快速发展。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图13所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图13中所示的所有部件；此外，电子设备600还可以包括图13中没有示出的部件，可以参考现有技术。
如图13所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (25)

1.一种员工异常行为检测方法，其特征在于，所述方法包括：
获取工位视频数据、区域视频数据及人员语音数据，解析所述工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组；
对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果，并对所述人员语音数据进行识别，得到多个语音识别结果；
根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果包括：
对所述区域图片组中多个人员的移动轨迹进行识别，得到轨迹距离识别结果及人员走动识别结果；其中，所述轨迹距离识别结果及人员走动识别结果属于所述人员行为识别结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果包括：
若根据所述行为规则参数中的人员距离阈值，获知所述轨迹距离识别结果中的人员距离最小值小于所述人员距离阈值，则判断所述轨迹距离识别结果中的人员聚集时间是否大于所述行为规则参数中的聚集时间阈值，若是，则根据所述人员聚集时间生成人员聚集异常结果；其中，所述人员聚集异常结果属于所述异常行为检测结果；
若根据所述行为规则参数中的移动范围阈值，获知所述人员走动识别结果中的人员走动范围超过所述移动范围阈值，则判断所述人员走动识别结果中的人员走动时间是否大于所述行为规则参数中的走动时间阈值，若是，则根据所述人员走动时间生成人员走动异常结果；其中，所述人员走动异常结果属于所述异常行为检测结果。
4.根据权利要求1所述的方法，其特征在于，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果还包括：
对所述工位图片组中的人员进行人脸识别，得到离岗识别结果及坐席变更识别结果；其中，所述离岗识别结果及坐席变更识别结果属于所述人员行为识别结果。
5.根据权利要求4所述的方法，其特征在于，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
若根据所述行为规则参数中的离岗时间阈值，获知所述离岗识别结果中的人员离岗时间超过所述离岗时间阈值，则根据所述离岗时间阈值生成人员离岗异常结果；其中，所述人员离岗异常结果属于所述异常行为检测结果；
若根据所述行为规则参数中的人员面部特征信息，获知所述坐席变更识别结果中的面部识别特征信息与所述人员面部特征信息不一致，则判断所述坐席变更识别结果中的坐席变更时间是否大于所述行为规则参数中的变更时间阈值，若是，则根据所述坐席变更时间生成坐席变更异常结果；其中，所述坐席变更异常结果属于所述异常行为检测结果。
6.根据权利要求1所述的方法，其特征在于，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果还包括：
对所述区域图片组中人员的步态进行识别，得到人员步态识别结果；其中，所述人员步态识别结果属于所述人员情绪识别结果。
7.根据权利要求6所述的方法，其特征在于，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
若所述人员步态识别结果中的步态情绪结果为异常，则判断所述人员步态识别结果中的步态异常时间是否大于所述行为规则参数中的步态时间阈值，若是，则根据所述步态异常时间生成步态异常识别结果；其中，所述步态异常识别结果属于所述异常行为检测结果。
8.根据权利要求1所述的方法，其特征在于，所述对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果还包括：
对所述工位图片组中的人员进行面部表情识别，得到人员表情识别结果；其中，所述人员表情识别结果属于所述人员情绪识别结果。
9.根据权利要求8所述的方法，其特征在于，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
若所述人员表情识别结果中的面部表情结果为异常，则判断所述人员表情识别结果中的表情异常时间是否大于所述行为规则参数中的表情时间阈值，若是，则根据所述表情异常时间生成表情异常识别结果；其中，所述表情异常识别结果属于所述异常行为检测结果。
10.根据权利要求1所述的方法，其特征在于，所述对所述人员语音数据进行识别，得到多个语音识别结果包括：
对所述人员语音数据进行语音识别，得到文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果；其中，所述文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果属于所述语音识别结果。
11.根据权利要求10所述的方法，其特征在于，所述根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果还包括：
若根据所述行为规则参数中的违禁语信息，获知所述文本词汇识别结果中包括所述违禁语信息中的违禁词汇，则根据所述文本词汇识别结果生成违禁语异常结果；其中，所述违禁语异常结果属于所述异常行为检测结果；
若所述文本情绪识别结果中的文本情绪结果为异常，则判断所述文本情绪识别结果中的文本异常时间是否大于所述行为规则参数中的文本时间阈值，若是，则根据所述文本异常时间生成文本异常识别结果；其中，所述文本异常识别结果属于所述异常行为检测结果；
若根据所述行为规则参数中的人员语速阈值，获知所述语速识别结果中的人员语速最大值大于所述人员语速阈值，则判断所述语速识别结果中的人员语速时间是否大于所述行为规则参数中的超速时间阈值，若是，则根据所述人员语速时间生成人员语速异常结果；其中，所述人员语速异常结果属于所述异常行为检测结果；
若根据所述行为规则参数中的人员音量阈值，获知所述音量识别结果中的人员音量最大值大于所述人员音量阈值，则判断所述音量识别结果中的人员音量时间是否大于所述行为规则参数中的音量时间阈值，若是，则根据所述人员音量时间生成人员音量异常结果；其中，所述人员音量异常结果属于所述异常行为检测结果。
12.一种员工异常行为检测装置，其特征在于，所述装置包括：
数据采集模块，用于获取工位视频数据、区域视频数据及人员语音数据，解析所述工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组；
数据识别模块，用于对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果，并对所述人员语音数据进行识别，得到多个语音识别结果；
检测结果模块，用于根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果。
13.根据权利要求12所述的装置，其特征在于，所述数据识别模块还用于对所述区域图片组中多个人员的移动轨迹进行识别，得到轨迹距离识别结果及人员走动识别结果；其中，所述轨迹距离识别结果及人员走动识别结果属于所述人员行为识别结果。
14.根据权利要求13所述的装置，其特征在于，所述检测结果模块包括：
聚集检测单元，用于若根据所述行为规则参数中的人员距离阈值，获知所述轨迹距离识别结果中的人员距离最小值小于所述人员距离阈值，则判断所述轨迹距离识别结果中的人员聚集时间是否大于所述行为规则参数中的聚集时间阈值，若是，则根据所述人员聚集时间生成人员聚集异常结果；其中，所述人员聚集异常结果属于所述异常行为检测结果；
走动检测单元，用于若根据所述行为规则参数中的移动范围阈值，获知所述人员走动识别结果中的人员走动范围超过所述移动范围阈值，则判断所述人员走动识别结果中的人员走动时间是否大于所述行为规则参数中的走动时间阈值，若是，则根据所述人员走动时间生成人员走动异常结果；其中，所述人员走动异常结果属于所述异常行为检测结果。
15.根据权利要求12所述的装置，其特征在于，所述数据识别模块还用于对所述工位图片组中的人员进行人脸识别，得到离岗识别结果及坐席变更识别结果；其中，所述离岗识别结果及坐席变更识别结果属于所述人员行为识别结果。
16.根据权利要求15所述的装置，其特征在于，所述检测结果模块还包括：
离岗检测单元，用于若根据所述行为规则参数中的离岗时间阈值，获知所述离岗识别结果中的人员离岗时间超过所述离岗时间阈值，则根据所述离岗时间阈值生成人员离岗异常结果；其中，所述人员离岗异常结果属于所述异常行为检测结果；
坐席检测单元，用于若根据所述行为规则参数中的人员面部特征信息，获知所述坐席变更识别结果中的面部识别特征信息与所述人员面部特征信息不一致，则判断所述坐席变更识别结果中的坐席变更时间是否大于所述行为规则参数中的变更时间阈值，若是，则根据所述坐席变更时间生成坐席变更异常结果；其中，所述坐席变更异常结果属于所述异常行为检测结果。
17.根据权利要求12所述的装置，其特征在于，所述数据识别模块还用于对所述区域图片组中人员的步态进行识别，得到人员步态识别结果；其中，所述人员步态识别结果属于所述人员情绪识别结果。
18.根据权利要求17所述的装置，其特征在于，所述检测结果模块还用于若所述人员步态识别结果中的步态情绪结果为异常，则判断所述人员步态识别结果中的步态异常时间是否大于所述行为规则参数中的步态时间阈值，若是，则根据所述步态异常时间生成步态异常识别结果；其中，所述步态异常识别结果属于所述异常行为检测结果。
19.根据权利要求12所述的装置，其特征在于，所述数据识别模块还用于对所述工位图片组中的人员进行面部表情识别，得到人员表情识别结果；其中，所述人员表情识别结果属于所述人员情绪识别结果。
20.根据权利要求19所述的装置，其特征在于，所述检测结果模块还用于若所述人员表情识别结果中的面部表情结果为异常，则判断所述人员表情识别结果中的表情异常时间是否大于所述行为规则参数中的表情时间阈值，若是，则根据所述表情异常时间生成表情异常识别结果；其中，所述表情异常识别结果属于所述异常行为检测结果。
21.根据权利要求12所述的装置，其特征在于，所述数据识别模块还用于对所述人员语音数据进行语音识别，得到文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果；其中，所述文本词汇识别结果、文本情绪识别结果、语速识别结果及音量识别结果属于所述语音识别结果。
22.根据权利要求21所述的装置，其特征在于，所述检测结果模块还包括：
违禁语检测单元，用于若根据所述行为规则参数中的违禁语信息，获知所述文本词汇识别结果中包括所述违禁语信息中的违禁词汇，则根据所述文本词汇识别结果生成违禁语异常结果；其中，所述违禁语异常结果属于所述异常行为检测结果；
文本检测单元，用于若所述文本情绪识别结果中的文本情绪结果为异常，则判断所述文本情绪识别结果中的文本异常时间是否大于所述行为规则参数中的文本时间阈值，若是，则根据所述文本异常时间生成文本异常识别结果；其中，所述文本异常识别结果属于所述异常行为检测结果；
语速检测单元，用于若根据所述行为规则参数中的人员语速阈值，获知所述语速识别结果中的人员语速最大值大于所述人员语速阈值，则判断所述语速识别结果中的人员语速时间是否大于所述行为规则参数中的超速时间阈值，若是，则根据所述人员语速时间生成人员语速异常结果；其中，所述人员语速异常结果属于所述异常行为检测结果；
音量检测单元，用于若根据所述行为规则参数中的人员音量阈值，获知所述音量识别结果中的人员音量最大值大于所述人员音量阈值，则判断所述音量识别结果中的人员音量时间是否大于所述行为规则参数中的音量时间阈值，若是，则根据所述人员音量时间生成人员音量异常结果；其中，所述人员音量异常结果属于所述异常行为检测结果。
23.一种员工异常行为检测系统，其特征在于，所述系统包括：工位摄像机、区域摄像机、麦克风及主控模块；
所述主控模块接收所述工位摄像机采集的工位视频数据、区域摄像机采集的区域视频数据及麦克风采集的人员语音数据，并解析所述工位视频数据及所述区域视频数据，分别得到工位图片组及区域图片组；
所述主控模块对所述工位图片组及所述区域图片组进行识别，得到多个人员情绪识别结果及多个人员行为识别结果，并对所述人员语音数据进行识别，得到多个语音识别结果；根据所述人员情绪识别结果、人员行为识别结果、语音识别结果及预设的行为规则参数，生成异常行为检测结果。
24.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11任一项所述方法。
25.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至11任一项所述方法的计算机程序。
CN202110338406.0A 2021-03-30 2021-03-30 员工异常行为检测方法、装置及系统 Pending CN112883932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110338406.0A CN112883932A (zh) 2021-03-30 2021-03-30 员工异常行为检测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110338406.0A CN112883932A (zh) 2021-03-30 2021-03-30 员工异常行为检测方法、装置及系统

Publications (1)

Publication Number Publication Date
CN112883932A true CN112883932A (zh) 2021-06-01

Family

ID=76039994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110338406.0A Pending CN112883932A (zh) 2021-03-30 2021-03-30 员工异常行为检测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN112883932A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421590A (zh) * 2021-06-30 2021-09-21 平安科技（深圳）有限公司 异常行为检测方法、装置、设备及存储介质
WO2022262257A1 (zh) * 2021-06-18 2022-12-22 中电科大数据研究院有限公司 一种检察领域值班人员睡觉行为识别方法
CN117622809A (zh) * 2024-01-25 2024-03-01 太仓武港码头有限公司 一种斗轮机运行ai监护方法和服务器

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262257A1 (zh) * 2021-06-18 2022-12-22 中电科大数据研究院有限公司 一种检察领域值班人员睡觉行为识别方法
CN113421590A (zh) * 2021-06-30 2021-09-21 平安科技（深圳）有限公司 异常行为检测方法、装置、设备及存储介质
CN113421590B (zh) * 2021-06-30 2024-02-06 平安科技（深圳）有限公司 异常行为检测方法、装置、设备及存储介质
CN117622809A (zh) * 2024-01-25 2024-03-01 太仓武港码头有限公司 一种斗轮机运行ai监护方法和服务器
CN117622809B (zh) * 2024-01-25 2024-03-29 太仓武港码头有限公司 一种斗轮机运行ai监护方法和服务器

Similar Documents

Publication Publication Date Title
CN112883932A (zh) 员工异常行为检测方法、装置及系统
US7801055B1 (en) Systems and methods for analyzing communication sessions using fragments
JP6341092B2 (ja) 表現分類装置、表現分類方法、不満検出装置及び不満検出方法
US8798255B2 (en) Methods and apparatus for deep interaction analysis
US9093081B2 (en) Method and apparatus for real time emotion detection in audio interactions
US20190253558A1 (en) System and method to automatically monitor service level agreement compliance in call centers
US20080040110A1 (en) Apparatus and Methods for the Detection of Emotions in Audio Interactions
US10069971B1 (en) Automated conversation feedback
US8306814B2 (en) Method for speaker source classification
US8676586B2 (en) Method and apparatus for interaction or discourse analytics
KR101753509B1 (ko) 소셜 그래프들, 스피치 모델들, 및 사용자 콘텍스트를 통해 모바일 디바이스 사용자에 근접한 사람들을 식별하는 것
US9300790B2 (en) Multi-party conversation analyzer and logger
US7596498B2 (en) Monitoring, mining, and classifying electronically recordable conversations
US11245791B2 (en) Detecting robocalls using biometric voice fingerprints
US20120027195A1 (en) Automatic Editing out of Sensitive Information in Multimedia Prior to Monitoring and/or Storage
US20180122383A1 (en) Analyzing conversations to automatically identify action items
CN103530912A (zh) 一种具有情绪识别功能的考勤系统及方法
KR101559364B1 (ko) 페이스 투 페이스 인터랙션 모니터링을 수행하는 모바일 장치, 이를 이용하는 인터랙션 모니터링 방법, 이를 포함하는 인터랙션 모니터링 시스템 및 이에 의해 수행되는 인터랙션 모니터링 모바일 애플리케이션
CN110349586B (zh) 电信诈骗检测方法及装置
Pappas et al. Anger detection in call center dialogues
KR20160040954A (ko) 긴급 재난신고를 판단하는 방법 및 장치
CN110166642A (zh) 一种预测式外呼方法及设备
CN112861816A (zh) 异常行为检测方法及装置
JP5803617B2 (ja) 音声情報解析装置および音声情報解析プログラム
JP2021078012A (ja) 留守番電話判定装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination