CN113850183A - 一种基于人工智能技术判断视频中行为的方法 - Google Patents

Abstract

本发明公开了一种基于人工智能技术判断视频中行为的方法，涉及行为识别技术领域，包括：利用监控摄像头实时采集服务区内部场景的视频数据；从视频流中分拣出特征视频，并实时分析检测特征视频中的行为动作，判断是否为异常行为，对视频流进行初步筛选，能够减少识别工作量，更精确更快的识别出员工的异常行为，提高识别效率；当识别到异常行为时，根据该异常行为的持续时长判断员工是否处于消极状态，若是，则通过语音专线提醒员工纠正异常行为，端正服务态度；根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，判断是否需要对员工重新进行服务素养和业务操作培训，从而提高服务质量。

Description

一种基于人工智能技术判断视频中行为的方法

技术领域

本发明涉及行为识别技术领域，具体是一种基于人工智能技术判断视频中行为的方法。

背景技术

一般，在银行网点中，都是由专职员工为来访的客户提供各种各样的服务，例如，开卡、修改密码、注销卡片、办理贷款等等；对待同样的服务，有的员工服务的认真细致，有的员工服务的马虎简单，这些员工对客户服务的好坏直接影响客户对银行业务和形象的认同感；

随着银行营业厅服务规范化的不断深入，客户对窗口服务工作的要求不断提高；因此，在监控营业厅窗口人员服务方面也存在更高、更准确的要求，为此，我们提出一种基于人工智能技术判断视频中行为的方法，对窗口服务人员的异常行为进行识别，并及时予以提示。

发明内容

为了解决上述方案存在的问题，本发明提供了一种基于人工智能技术判断视频中行为的方法。

本发明的目的可以通过以下技术方案实现：

一种基于人工智能技术判断视频中行为的方法，包括如下步骤：

步骤一：利用监控摄像头实时采集服务区内部场景的视频数据，使用智能盒子对接摄像头视频流，在本地进行计算和存储；

步骤二：从视频流中分拣出特征视频，并实时分析检测特征视频中的行为动作，判断是否为异常行为；

步骤三：当识别到异常行为时，根据该异常行为的持续时长判断员工是否处于消极状态；若处于消极状态，则通过语音专线提醒员工纠正异常行为，端正服务态度；

步骤四：根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，若服务质量分＜预设质量分阈值，则对该员工重新进行服务素养和业务操作培训。

进一步地，从视频流中分拣出特征视频，具体包括：

将视频流处理成为图像帧，对图像帧进行检测，使用主干网络提取人体的特征图，若检测到人体，则将对应的图像帧标记为待分析图像帧；

提取待分析图像帧中的人脸图像信息，将提取的人脸图像信息与员工库中存储的合法人脸图像信息相匹配；若匹配一致，则将对应的图像帧通过唯一id进行标识，形成特征图像帧，将同一id标识的特征图像帧进行融合，得到特征视频。

进一步地，所述步骤二中实时分析检测特征视频中的行为动作，判断是否为异常行为；具体包括：

根据特征视频自动对员工的躯干19个关节骨骼点进行识别追踪，对特征视频进行每帧实时分析，每帧照片大小由摄像头分辨率决定，分析时以1920数值为Y轴，1080数值为X轴建立二维坐标系；

对员工的躯干进行三维分析，得到视频分析结果，将视频分析结果作为输入数据，使用机器学习分类算法判断是否为异常行为。

进一步地，根据该异常行为的持续时长判断员工是否处于消极状态，具体包括：

若异常行为的持续时长≥对应的违规时长阈值，则判定员工处于消极状态；若异常行为的持续时长＜对应的违规时长阈值，则判定员工处于疑似消极状态；其中，数据库中存储有各种异常行为和对应的违规时长阈值；

当员工处于疑似消极状态，统计第一预设时间T1内对应员工所有的疑似消极状态信息；其中T1为预设值；

将员工处于疑似消极状态的次数标记为疑似消极频次P1，将员工每次处于疑似消极状态的持续时长进行求和得到疑似消极总时长P2；

利用公式WX＝P1×b1+P2×b2计算得到员工的疑似消极系数WX，其中b1、b2为系数因子；若WX≥预设系数阈值，则判定员工处于消极状态。

进一步地，所述步骤三还包括：若员工在预设时间内未纠正异常行为，则执行超时处理措施；所述超时处理措施为对员工进行通报批评，并临时更换其他员工继续处理对应服务区窗口的业务。

进一步地，根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，具体评估方法为：

在最近一个月内，统计员工的评价数据，所述评价数据包括好评数和好评率；根据评价数据，计算得到员工的服务评分Qs；

统计员工接收到语音专线提醒的次数为提醒频次C1；统计员工接收到通报批评的次数为批评频次C2；利用公式FZ＝(Qs×a1)/(C1×a2+C2×a3)计算得到员工的服务质量分FZ，其中a1、a2、a3均为系数因子。

进一步地，其中，对无法确定的行为动作，将其保存到可疑行为库中；管理人员定期访问可疑行为库，对可疑行为库中存储的行为动作进行删选，将其添加至标准行为库或异常行为库；其中，所述标准行为库存储有各种标准行为；所述异常行为库中存储有各种异常行为。

进一步地，所述人脸图像信息包括正面脸部图像信息、左侧面脸部图像信息、右侧面脸部图像信息；每个员工都有一个对应的唯一id。

与现有技术相比，本发明的有益效果是：

1、本发明中将视频流处理成为图像帧，基于人脸识别技术从中分拣出与员工相关的图像帧作为特征图像帧，将同一id标识的特征图像帧进行融合，得到特征视频，然后针对特征视频中员工的行为动作进行识别，减少识别工作量，能更精确更快的识别出员工的异常行为，提高识别效率；

2、本发明利用成熟的人工智能人体行为建模和识别技术，通过对分拣出的特征视频进行建模和分析，识别出员工在工作过程中的各种异常行为，对无法确定的行为动作，将其保存到可疑行为库中，供管理人员调阅和进行人工分析，及时更新标准行为库或异常行为库，提高行为识别的准确性；

3、当识别到异常行为时，判断员工是否处于消极状态，及时通过语音专线提醒员工纠正异常行为，端正服务态度；有利于保障服务质量，提高客户对银行业务和形象的认同感；之后根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，若服务质量分＜预设质量分阈值，则对该员工重新进行服务素养和业务操作培训，从而提高服务质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的原理框图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，一种基于人工智能技术判断视频中行为的方法，包括如下步骤：

步骤一：利用监控摄像头实时采集服务区内部场景的视频数据，使用智能盒子对接摄像头视频流，在本地进行计算和存储；其中监控摄像头分布在服务区各处，且能够覆盖服务区；

步骤二：从视频流中分拣出特征视频，并实时分析检测特征视频中的行为动作，判断是否为异常行为；具体包括：

S21：将视频流处理成为图像帧，对图像帧进行检测，从中分拣出特征视频，具体为：

使用主干网络提取人体的特征图，若检测到人体，则将对应的图像帧标记为待分析图像帧；

提取待分析图像帧中的人脸图像信息，人脸图像信息包括正面脸部图像信息、左侧面脸部图像信息、右侧面脸部图像信息；将提取的人脸图像信息与员工库中存储的合法人脸图像信息相匹配，若匹配一致，将对应的图像帧通过唯一id进行标识，形成特征图像帧，其中每个员工都有一个对应的唯一id；其中合法人脸图像信息表示为服务区员工的标准人脸图像信息；

将同一id标识的特征图像帧进行融合，得到特征视频；

本发明能够基于人脸识别技术从摄像头视频流中分拣出与员工相关的视频作为特征视频，然后针对特征视频中员工的行为动作进行识别，减少识别工作量，能更精确更快的识别出员工的异常行为，提高识别效率；

S22：根据特征视频自动对员工的躯干19个关节骨骼点进行识别追踪，对特征视频进行每帧实时分析，每帧照片大小由摄像头分辨率决定，分析时以1920数值为Y轴，1080数值为X轴建立二维坐标系；

S23：对员工的躯干进行三维分析，得到视频分析结果；视频分析结果为检测到的员工躯干19个关节骨骼点，将视频分析结果作为输入数据，使用机器学习分类算法判断是否为异常行为；异常行为包括撑头、靠椅背、转笔以及趴桌；

其中，对无法确定的行为动作，将其保存到可疑行为库中；其中无法确定的行为动作表现为：既不在标准行为库，也不在异常行为库；标准行为库存储有各种标准行为；异常行为库中存储有各种异常行为；

管理人员定期访问可疑行为库，对可疑行为库中存储的行为动作进行删选，将其添加至标准行为库或异常行为库；

本发明利用成熟的人工智能人体行为建模和识别技术，通过对分拣出的特征视频进行建模和分析，识别出员工在工作过程中的各种异常行为，对无法确定的行为动作，将其保存到可疑行为库中，供管理人员调阅和进行人工分析，及时更新标准行为库或异常行为库，提高行为识别的准确性；

步骤三：当识别到异常行为时，记录该异常行为的持续时长；

根据该异常行为的持续时长判断员工是否处于消极状态；具体为：

S31：将异常行为的持续时长与对应的违规时长阈值相比较，其中，数据库中存储有各种异常行为和对应的违规时长阈值；

S32：若异常行为的持续时长≥对应的违规时长阈值，则判定员工处于消极状态；若异常行为的持续时长＜对应的违规时长阈值，则判定员工处于疑似消极状态；

S33：当员工处于疑似消极状态，统计第一预设时间T1内对应员工所有的疑似消极状态信息；其中T1为预设值；

将员工处于疑似消极状态的次数标记为疑似消极频次P1，将员工每次处于疑似消极状态的持续时长进行求和得到疑似消极总时长P2；

将疑似消极频次、疑似消极总时长进行归一化处理并取其数值；

利用公式WX＝P1×b1+P2×b2计算得到员工的疑似消极系数WX，其中b1、b2为系数因子；

将疑似消极系数WX与预设系数阈值相比较；

若WX≥预设系数阈值，则判定员工处于消极状态；

S34：若员工处于消极状态，则通过语音专线提醒员工纠正异常行为，端正服务态度；若员工在预设时间内未纠正异常行为，则执行超时处理措施；超时处理措施为对员工进行通报批评，并临时更换其他员工继续处理对应服务区窗口的业务，有利于保障服务质量，提高客户对银行业务和形象的认同感；

步骤四：根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，若服务质量分＜预设质量分阈值，则该员工需重新进行服务素养和业务操作培训，从而提高服务质量；具体评估方法为：

S41：在最近一个月内，统计员工的评价数据，评价数据包括好评数和好评率；根据评价数据，计算得到员工的服务评分Qs；

S42：统计员工接收到语音专线提醒的次数并标记为提醒频次C1；统计员工接收到通报批评的次数并标记为批评频次C2；

将服务评分、提醒频次、批评频次进行归一化处理并取其数值；利用公式FZ＝(Qs×a1)/(C1×a2+C2×a3)计算得到员工的服务质量分FZ，其中a1、a2、a3均为系数因子。

上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。

本发明的工作原理：

一种基于人工智能技术判断视频中行为的方法，在工作时，首先利用监控摄像头实时采集服务区内部场景的视频数据，使用智能盒子对接摄像头视频流，在本地进行计算和存储；将视频流处理成为图像帧，对图像帧进行检测，从中分拣出特征视频，然后针对特征视频中员工的行为动作进行识别，减少识别工作量，能更精确更快的识别出员工的异常行为，提高识别效率；对无法确定的行为动作，将其保存到可疑行为库中，供管理人员调阅和进行人工分析，及时更新标准行为库或异常行为库，提高行为识别的准确性；

当识别到异常行为时，根据该异常行为的持续时长判断员工是否处于消极状态；若员工处于消极状态，则通过语音专线提醒员工纠正异常行为，端正服务态度；若员工在预设时间内未纠正异常行为，则执行超时处理措施，有利于保障服务质量，提高客户对银行业务和形象的认同感；之后根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，若服务质量分＜预设质量分阈值，则对该员工重新进行服务素养和业务操作培训，从而提高服务质量。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.一种基于人工智能技术判断视频中行为的方法，其特征在于，包括如下步骤：

步骤一：利用监控摄像头实时采集服务区内部场景的视频数据，使用智能盒子对接摄像头视频流，在本地进行计算和存储；

步骤二：从视频流中分拣出特征视频，并实时分析检测特征视频中的行为动作，判断是否为异常行为；

步骤三：当识别到异常行为时，根据该异常行为的持续时长判断员工是否处于消极状态；若处于消极状态，则通过语音专线提醒员工纠正异常行为，端正服务态度；

步骤四：根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，若服务质量分＜预设质量分阈值，则对该员工重新进行服务素养和业务操作培训。

2.根据权利要求1所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，从视频流中分拣出特征视频，具体包括：

将视频流处理成为图像帧，对图像帧进行检测，使用主干网络提取人体的特征图，若检测到人体，则将对应的图像帧标记为待分析图像帧；

提取待分析图像帧中的人脸图像信息，将提取的人脸图像信息与员工库中存储的合法人脸图像信息相匹配；若匹配一致，则将对应的图像帧通过唯一id进行标识，形成特征图像帧，将同一id标识的特征图像帧进行融合，得到特征视频。

3.根据权利要求2所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，所述步骤二中实时分析检测特征视频中的行为动作，判断是否为异常行为；具体包括：

根据特征视频自动对员工的躯干19个关节骨骼点进行识别追踪，对特征视频进行每帧实时分析，每帧照片大小由摄像头分辨率决定，分析时以1920数值为Y轴，1080数值为X轴建立二维坐标系；

对员工的躯干进行三维分析，得到视频分析结果，将视频分析结果作为输入数据，使用机器学习分类算法判断是否为异常行为。

4.根据权利要求1所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，根据该异常行为的持续时长判断员工是否处于消极状态，具体包括：

若异常行为的持续时长≥对应的违规时长阈值，则判定员工处于消极状态；若异常行为的持续时长＜对应的违规时长阈值，则判定员工处于疑似消极状态；其中，数据库中存储有各种异常行为和对应的违规时长阈值；

当员工处于疑似消极状态，统计第一预设时间T1内对应员工所有的疑似消极状态信息；其中T1为预设值；

将员工处于疑似消极状态的次数标记为疑似消极频次P1，将员工每次处于疑似消极状态的持续时长进行求和得到疑似消极总时长P2；

利用公式WX＝P1×b1+P2×b2计算得到员工的疑似消极系数WX，其中b1、b2为系数因子；若WX≥预设系数阈值，则判定员工处于消极状态。

5.根据权利要求1所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，所述步骤三还包括：若员工在预设时间内未纠正异常行为，则执行超时处理措施；所述超时处理措施为对员工进行通报批评，并临时更换其他员工继续处理对应服务区窗口的业务。

6.根据权利要求5所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，具体评估方法为：

在最近一个月内，统计员工的评价数据，所述评价数据包括好评数和好评率；根据评价数据，计算得到员工的服务评分Qs；

统计员工接收到语音专线提醒的次数为提醒频次C1；统计员工接收到通报批评的次数为批评频次C2；利用公式FZ＝(Qs×a1)/(C1×a2+C2×a3)计算得到员工的服务质量分FZ，其中a1、a2、a3均为系数因子。

7.根据权利要求3所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，其中，对无法确定的行为动作，将其保存到可疑行为库中；管理人员定期访问可疑行为库，对可疑行为库中存储的行为动作进行删选，将其添加至标准行为库或异常行为库；其中，所述标准行为库存储有各种标准行为；所述异常行为库中存储有各种异常行为。

8.根据权利要求2所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，所述人脸图像信息包括正面脸部图像信息、左侧面脸部图像信息、右侧面脸部图像信息；每个员工都有一个对应的唯一id。

Images