CN111401296B - 一种行为分析方法、设备及装置 - Google Patents

Abstract

本申请公开了一种行为分析方法、设备及装置。该方法包括：获取对设定区域进行不同时刻采集得到的多帧原始图像；对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象；对多帧原始图像中的目标对象进行分析，确定目标对象是否属于异常行为。通过上述方式，本申请能够实现自动检测异常行为，提高异常行为判断的准确率。

Description

一种行为分析方法、设备及装置

技术领域

本申请涉及安防技术领域，特别是涉及一种行为分析方法、设备及装置。

背景技术

目前在安防领域中，一般通过摄像头检测当前区域内的事件，如检测监控区域中活动的人或物。但是现有的检测技术只能拍摄图像的内容，不能对图像的内容做进一步的分析，在监控区域出现人员摔倒、聚集打斗等异常行为时，工作人员无法及时发现和控制，特别是在金融(银行)安防监控区域中，存在着很高的安全隐患。

发明内容

本申请主要解决的技术问题是提供一种行为分析方法、设备及装置，能够实现自动检测异常行为，提高异常行为的判断准确率。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种行为分析方法，包括：获取对设定区域进行不同时刻采集得到的多帧原始图像；对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象；对多帧原始图像中的目标对象进行分析，确定目标对象是否属于异常行为。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机设备，包括处理器、存储器及其存储的指令，处理器执行指令时实现如前述方法的步骤。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种具有存储功能的装置，装置上存储有指令，指令被处理器执行时实现前述方法的步骤。

本申请的有益效果是：区别于现有技术的情况，本申请通过获取对设定区域进行不同时刻采集得到的多帧原始图像，对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象，对多帧原始图像中的目标对象进行分析，能够在没有监督者参与的情况下，自动确定目标对象是否属于异常行为，由于没有监督者参与，可以减少运行成本，其次由于监督者对异常行为的判断实时性较低，且人的主观性会使得判断准确率不稳定，而通过本申请的上述方式还可以提高异常行为判断实时性和准确率。

附图说明

图1是本申请行为分析方法一实施例的流程示意图；

图2是本申请行为分析方法另一实施例的流程示意图；

图3是图2中步骤S22的流程示意图；

图4是本申请行为分析方法又一实施例的流程示意图；

图5是图4中步骤S32的流程示意图；

图6是图5中步骤S322的流程示意图；

图7是本申请行为分析方法又一实施例的示意图；

图8是本申请计算机设备一实施例的结构示意图；

图9是本申请具有存储功能的装置一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1是本申请行为分析方法一实施例的流程示意图。

该行为分析方法可以包括以下步骤：

步骤S10：获取对设定区域进行不同时刻采集得到的多帧原始图像。

设定区域可以是银行办公区域。银行办公区域可以是银行大厅、会议室、行长办公室、普通员工办公区域。其中，银行大厅可以包括自助业务区、人工业务区、等候区以及咨询区等等。银行是依法成立的经营货币信贷业务的金融机构。一般地，银行具有存款、取款、贷款、汇兑等多种业务，其中大多数业务需要本人亲自在银行大厅进行办理，所以往往银行大厅客流量较大，在节假日期间，银行大厅还会格外拥挤。此外，银行大厅是对外开放的一个场所，进入银行大厅的门槛较低，所以银行大厅内的人员身份相对复杂，其中难免会混入闲杂人等或不法分子，例如外来推销人员、小偷、碰瓷人员等等；而往往这些人会表现出不同的异常行为，例如推销人员和小偷一般都会出现滞留行为和异常间距行为，碰瓷人员一般会出现滞留行为和跌倒行为。此外，银行大厅内出现人数异常行为、滞留行为等异常行为还可能与银行的规模、业务办理效率等因素相关，如银行规模较小可能会使得某时间范围内新增的需要办理业务的客户的数量大于完成办理业务的客户的数量，从而会导致银行大厅内人员数量增加，进而出现人数异常行为和滞留行为。由此，对银行大厅内人员的行为进行实时监控，自动分析出各类异常行为变得尤为重要。然而目前对于银行大厅的监控主要还是采取人工巡逻、多传感器检测以及传统聚类等方法，此类方法存在准确率低、运行成本高、实时性较低。

原始图像可以为利用双目相机采集得到的双目图像。双目图像可以包括左目原图和右目原图。双目相机是一种能够提供立体视觉的成像设备。双目相机可以包括两个摄像头模组，且两个摄像模组之间具有一定的距离，形成类似人眼的双目架构，当双目相机进行拍摄时，两个摄像头模组可以同时进行工作，对应得到同时刻下的两帧双目图像，即左目原图和右目原图。左目原图和右目原图为平面图像。基于两个摄像头模组同时拍摄得到的双目图像，根据视差原理能够计算得到摄像头模组所拍摄到的物体相对于摄像头模组的三维空间位置。具体地，双目相机内置有芯片，拍摄得到的左目原图和右目原图经过芯片的处理可以获得对应左视差图和右视差图以及深度图，从而能够通过视差图和深度图还原物体的三维坐标。其中，视差图记录了同一个场景在两个摄像头模组下成像的像素的位置偏差，因为通常下两个摄像头模组是水平放置的，所以该位置偏差一般体现在水平方向。比如场景中的X点在左摄像头模组是x坐标，那么在右摄像头模组成像则是（x+d）坐标。其中的d就是视差图中x坐标点的值。深度图则记录了场景中每个点离摄像头模组的距离。由于在摄像头成像过程中可能会存在畸变等异常情况，所以本实施例通过左视差图和右视差图获得深度图，从而可以消除畸变等异常情况，提高物体的真实三维坐标还原的精准度。

可选地，可以在双目相机每完成一次拍摄后就进行获取视差图和深度图的步骤，或可以在双目相机完成多次拍摄后再一起进行获取视差图和深度图的步骤。

举例说明，银行大厅内设置有一双目相机，该双目相机每秒可以拍摄15次，每次拍摄可以获得两帧双目图像，即左目原图和右目原图，从而对应可以获得30帧双目图像，该30帧双目图像包括15帧左目原图和15帧右目原图。获取视差图和深度图，可以是在双目相机每完成一次拍摄后，将一次拍摄获得两帧双目图像经过芯片处理得到对应的1帧左视差图和1帧右视差图，然后将1帧左视差图和1帧右视差图再经过芯片处理得到1帧深度图，或可以是在双目相机完成15次拍摄后，将进行存储的15帧左目原图和15帧右目原图，分别进行芯片处理，对应得到15帧左视差图和15帧右视差图，然后将15帧左视差图和15帧右视差图分别再经过芯片处理得到15帧深度图。

其中，双目相机能够全程监控在设定区域进出的所有人或物。在一些实施方式中，可以是一部双目相机负责整个设定区域的监控。在另一些实施方式中，或者可以将设定区域分为多个子区域，每个子区域分配一部双目相机进行监控，以实现更加精准的监控和分析。例如，可以将银行大厅分为自助业务区和人工业务区，一部双目相机负责自助业务区的监控，另一部双目相机负责人工业务区的监控。

具体地，可以在预设时间范围内通过双目相机实时对银行大厅进行拍摄，以得到多帧原始图像。预设时间范围可以由用户根据实际情况进行选择，此处不做限定。示例性地，预设时间范围可以是10分钟、4小时或24小时，例如可以是在上午九点钟到下午5点这8小时范围内通过双目相机实时对银行大厅进行拍摄。其中双目相机拍摄的频率可以由双目相机本身的情况决定，不同双目相机拍摄频率可能不同。可选地，双目相机可以设置有多种拍摄频率供用户选择。拍摄频率例如可以为1次/秒、10次/秒或20次/秒。拍摄频率越快，在一定的预设时间范围内得到原始图像的数量就越多，从而根据该原始图像进行分析得到的结果就更加准确。若不可以选择拍摄频率，则可以根据相机拍摄的频率选择部分或全部的原始图像。例如如果相机的拍摄频率小于预设拍摄频率，则可以将相机采集得到的所有图像都进行处理分析，如果相机的拍摄频率大于预设拍摄频率，例如该相机拍摄频率为25次/秒，预设拍摄频率为20次/秒，则可以最多选择20次拍摄的原始图像进行分析，以避免每次计算的数据量过大。其中，选择可以是均匀间隔选取，例如从25次中获取第0、2、4、6……次。

步骤S11：对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象。

目标对象可以为人或物。通过深度学习算法可以对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象。例如，通过深度学习算法对每帧原始图像中的人进行检测，得到每帧原始图像中的人员信息。其中，人员信息包括人员的身体部位以及人员数量等等。其中，对每帧原始图像进行目标检测可以对左目原图或右目原图进行目标检测。本实施例，是以右目原图为例，对右目原图进行目标检测。当然，与视差图和深度图一样，可以是就进行目标检测的步骤，或是在双目相机完成多次拍摄后再一起进行目标检测的步骤。其中，可以将进行储存，采集到的信息可以包括原始图像视差图、深度图和三维信息等。当储存的信息接近或等于储存阈值时，手动或自动进行删减，例如可以先删除日期靠前的信息。

例如每进行一次行为分析需要双目相机拍摄10次，那么在一些实施方式中，行为分析可以是在双目相机每完成一次拍摄后就进行一次行为分析，即是将本次采集的信息与存储的前九次拍摄对应的信息结合进行行为分析；在另一些实施方式中，还可以是每10次拍摄完成后再进行一次行为分析，即是根据该10次拍摄存储的信息进行异常行为分析。

可选地，在得到每帧原始图像中的目标对象之后可以在原始图像中将目标对象标出，例如可以通过框架将目标对象框住，以便于后面确定目标对象的数量以及计算目标对象的真实高度，例如可以将每个框架的中心点作为每个目标对象测量真实高度的基准点，计算基准点到真实地面的高度，即为目标对象到真实地面的高度。

在一些实施方式中，对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象可以是对每帧原始图像进行目标检测，得到每帧原始图像中位于目标分析区域内且属于目标对象的特征部位。目标分析区域是原始图像中的一个区域。可选地，目标分析区域可以是一个或多个，预设区域的尺寸可以等于或小于原始图像，其位置可以为图像中的任意位置，例如为图像的中心位置，其形状可以为矩形、圆形等任意形状。目标分析区域可以由用户进行设定。一般地，同一双目相机拍摄得到的左目原图和右目原图的目标分析区域是相同的。

具体地，对每帧原始图像进行目标检测时，可以仅对每帧原始图像的目标分析区域进行目标检测，得到每帧原始图像中位于目标分析区域内且属于目标对象的特征部位，或者还可以是对每帧完整的原始图像进行目标检测，选择目标分析区域中目标对象的特征部位。

对应地，当得到的是每帧原始图像中位于目标分析区域内且属于目标对象的特征部位时，步骤S12中的对多帧原始图像中的目标对象进行分析，确定目标对象是否属于异常行为即是对多帧原始图像中位于目标分析区域内的特征部位进行分析，确定位于目标分析区域内的目标对象是否属于异常行为。

步骤S12：对多帧原始图像中的目标对象进行分析，确定目标对象是否属于异常行为。

多帧原始图像的深度信息可以根据前面的视差图和深度图获得，可以参照步骤S10中关于视差图和深度图的论述，此处不再赘述。具体地，对多帧原始图像中的目标对象进行分析可以是利用目标检测出的目标对象结合多帧原始图像对应的视差图和深度图中记录的该目标对象的深度信息，对多帧原始图像中的目标对象进行分析。其中，多帧可以是大于1帧，例如2帧、10帧、50帧等等。一般地，参与分析的原始图像的数量越多，拍摄的时间间隔越短，分析结果的准确度越高。

根据多帧原始图像进行分析，由于相邻两帧原始图像之间的时间间隔较小，其中的目标对象的移动距离也可能较小，所以可以根据多帧原始图像对图像中的目标对象进行跟踪，或还可以结合目标对象的外貌信息进行辅助跟踪，然后通过分析目标对象的特征信息，确定目标对象是否属于异常行为。特征信息可以是数量、运动轨迹、停留时间等等，根据多种特征信息进行分析可以确定多种异常行为。例如，通过分析不同时刻拍摄的多帧原始图像中同一目标对象真实三维坐标信息的变化，发现一目标对象的真实高度发生下降，且下降到一定高度后未上升，则可以确定该目标对象属于异常行为。

在此实施例中，通过获取对设定区域进行不同时刻采集得到的多帧原始图像，对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象，对多帧原始图像中的目标对象进行分析，能够在没有监督者参与的情况下，自动确定目标对象是否属于异常行为，由于没有监督者参与，可以减少运行成本，其次由于监督者对异常行为的判断实时性较低，且人的主观性会使得判断准确率不稳定，而通过本申请的上述方式还可以提高异常行为判断实时性和准确率。

请参阅图2至图3，图2是本申请行为分析方法另一实施例的流程示意图，图3是图2中步骤S22的流程示意图。

该行为分析方法可以包括以下步骤：

步骤S20：获取对设定区域进行不同时刻采集得到的多帧原始图像。

步骤S21：对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象。

对于步骤S20和S21的阐述可以参照行为分析方法一实施例中相应位置阐述，此处不再赘述。

步骤S22：对多帧原始图像中的目标对象进行分析，确定目标对象是否属于异常行为。

步骤S22进一步包括三组子步骤：（1）S221、（2）S222、（3）S223共三组，每组用于确定一种异常行为。各组子步骤之间并无固定的先后关系，图中所画仅为示意。本实施例中，异常行为可以包括滞留行为、异常数目行为和剧烈运动行为。

步骤S221：判断在连续第一预设数量帧原始图像中是否均存在同一目标对象的特征部位。

若是，则确定该目标对象属于滞留行为。

否则，则确定该目标对象不属于滞留行为。

在一些实施方式中，目标对象的特征部位可以是人头。由于人头的运动幅度小，且易识别和跟踪，将人头作为目标对象的特征部位进行检测和分析可以提高异常行为判断的准确率。在另一些实施方式中，目标对象的特征部位还可以是人脸、手、脚。本实施例中，通过检测目标对象的特征部位来代表目标对象，可以降低检测难度，提高检测效率和准确度。第一预设数量可以根据实际情况进行选择，此处不做限定。可选地，第一预设数量可以为10、50、100。

具体地，如果在连续第一预设数量帧原始图像中均存在同一目标对象的头部，则确定该目标对象属于滞留行为，否则，则确定该目标对象不属于滞留行为。其中，若该目标对象不属于某种异常行为（如滞留行为），但是并不能排除该目标对象属于其他异常行为的可能。

在一应用场景中，节假日期间，银行大厅内办理业务的人数增加，但是由于银行设备及人力资源有限，所以来办理业务的人会在银行大厅等待一段时间，但是这种等待行为是一种正常的行为。因此，可以选择将每种业务办理完成所需时间的最大值作为，由此可以避免将正常的等待行为判断为滞留行为。本申请其他实施例中的滞留时间阈值，预设时间范围，第一预设数量和第二预设数量等预设数量也都可以由用户设定，不再赘述。第一预设数量可以为预设时间范围内的原始图像的数量。例如，滞留时间阈值为1分钟，相机拍摄频率为1次/秒，则一分钟内连续获得的第一预设数量为60。若同一个人的头部出现在连续的60帧原始图像中或者原始图像的目标分析区域中，则说明连续的60帧原始图像对应的拍摄时间段内，这个人一直在设定区域中，则可以确认该人员属于滞留行为，由于60帧原始图像对应的时间段为一分钟达到了滞留时间阈值，所以可以避免将正常等待行为判断为滞留行为，从而可以提高滞留行为判断的准确度。

需要说明的是，一般判断滞留行为是根据时间段进行判断，例如1分钟内是否一直出现在某一区域，而本实施例通过第一预设数量帧原始图像与拍摄频率和选取的间隔可以得到对应的时间段。例如，滞留行为对应的时间段为1分钟，而相机的拍摄频率为1次/秒，选取的时间间隔为4秒，那么第一预设数量就为18，当检测到18帧原始图像中一直存在同一目标对象时，则说明该对象属于滞留行为。

在一些实施方式中，当步骤S21：对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象为对每帧原始图像进行目标检测，得到每帧原始图像中位于目标分析区域内且属于目标对象的特征部位时，对应地，将采用目标分析区域内的目标对象的特征部位进行滞留行为的判断。步骤S222：判断在连续第二预设数量帧原始图像中的目标对象的数量是否均大于预设数目阈值。

若是，则确定目标对象属于异常数目行为。

否则，则确定目标对象不属于异常数目行为。

同理，第二预设数量可以根据实际情况进行选择，此处不做限定。具体阐述可以参见对第一预设数量的阐述，此处不再赘述。在一些实施方式中，判断在连续第二预设数量帧原始图像中的目标对象的数量是否均大于预设数目阈值可以是分别判断每帧原始图像中的目标对象的数量是否大于预设数目阈值。在其他实施方式中，判断在连续第二预设数量帧原始图像中的目标对象的数量是否均大于预设数目阈值可以是判断第二预设数量帧原始图像中的目标对象的数量之和是否大于预设数目阈值。

可选地，可以通过人头的数量代表目标对象的数量。具体地，若在连续第二预设数量帧原始图像中的人头的数量均大于预设数目阈值，则确定目标对象属于异常数目行为，否则确定目标对象不属于异常数目行为。

预设数目阈值可以是预先设定的一个数值。例如，预设数目阈值可以根据实际情况进行选择。例如，预设数目阈值可以根据该银行的规模进行设定，还可以根据营业时间、营业地点以及周围银行数量等外在因素进行设定。一般地，银行规模越大，预设数目阈值就越大；营业时间处于9:00am-11:00am和14:00pm-16pm时的预设数目阈值较大；营业地点越繁华，预设数目阈值就越大；周围银行数目约少，预设数目阈值就越大。可选地，预设数目阈值可以是100、500。

在一个应用场景中，非节假日期间，某村镇银行的银行大厅接待人数最多的时候为30人，此时可以设置目标对象的预设数目阈值为30。第二预设数量帧原始图像可以为20帧原始图像。若在连续20帧原始图像中的人头的数量均大于30，则确定目标对象属于异常数目行为，否则确定目标对象不属于异常数目行为。

银行大厅出现异常数目的原因有多种，其中可能是银行业务办理效率低，或者当前银行的规模已经不足以满足客户的需求，再者可能是出现了其他不正常的聚集行为。在本实施例中，通过检测原始图像中的目标对象的数量，判断其是否超过预设数量阈值来确定设定区域中是否发生异常数目行为，若发生异常行为则可以采取相应的措施进行处理。

在一些实施方式中，当步骤S21：对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象为对每帧原始图像进行目标检测，得到每帧原始图像中位于目标分析区域内且属于目标对象的特征部位时，对应地，将采用目标分析区域内的目标对象的特征部位进行异常数目行为的判断。

步骤S223：判断连续第三预设数量帧原始图像中同一目标对象的肢体运动幅度是否大于预设幅度值。

若是，则确定目标对象属于剧烈运动行为，并执行步骤S224。

否则，则确定目标对象不属于剧烈运动行为。

同理，第三预设数量可以根据实际情况进行选择，此处不做限定。具体阐述可以参见对第一预设数量的阐述，此处不再赘述。可选地，第三预设数量可以等于第二预设数量和第一预设数量。运动幅度是指身体或某一部分在一定的基准点距离或角度（可用测量的度数、尺度和线段单位来确定或表示）之间移动的值。本实施例，可以是将第一帧原始图像中某一肢体作为基准点，分别将后续的多帧原始图像中该肢体位置与该基准点的真实距离或真实角度作为幅度值。其中，预设幅度值可以根据实际情况进行设定，例如可以是20cm或180°。肢体可以是上肢、下肢、左肢或右肢。进行判断的同一目标对象的肢体运动幅度为该目标对象同一肢体的运动幅度，例如是右上肢的运动幅度。

肢体运动幅度可以根据光流法测得。具体地，可以光流法得到每帧原始图像的光流信息，然后根据相邻帧原始图像的光流信息的运动场，确定肢体运动幅度。光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。其中，具体计算方法不做限定。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。本实施例中，由于相机的位置是固定的，所以光流仅是由于设定区域中目标对象的移动产生的。

在一个应用场景中，若连续30帧原始图像中同一目标对象的肢体运动幅度大于预设幅度值20cm，则确定目标对象属于剧烈运动行为，否则，则确定目标对象不属于剧烈运动行为。其中，肢体运动幅度可以是任一种肢体的运动幅度。

剧烈运动行为进一步可以包括打架斗殴行为和打砸设备行为。步骤S224和S225分别对应判断打架斗殴行为和打砸设备行为。步骤S224和S225之间并无一定的先后关系。其中，本实施例将剧烈运动行为进一步分为打架斗殴行为和打砸设备行为可以提高剧烈运动判断的准确度。例如，一清洁阿姨出现在连续第三预设数量帧原始图像中且肢体运动幅度是否大于预设幅度值会被误判为属于剧烈运动行为，但是进一步将剧烈运动行为分为打架斗殴行为和打砸设备后，由于清洁阿姨是一个人所以不属于打架斗殴行为，且在第三预设数量帧原始图像对应的时间段内，清洁阿姨与预设设备之间的真实水平距离一般不会一直小于第四预设距离阈值，所以清洁阿姨也不会被判断为打砸设备行为，所以可以避免将清洁阿姨判断为，从而可以提高剧烈运动行为判断的准确度。

步骤S224：判断肢体运动幅度大于预设幅度值的目标对象是否多于一个，且目标对象之间的真实水平距离小于第三距离阈值。

若是，则确定目标对象属于打架斗殴行为。

否则，则确定目标对象不属于打架斗殴行为。

打架斗殴行为是需要至少两个人参与才能进行的一种行为，且参与打架斗殴的多个人中，至少有两个人之间的距离小于正常距离。一般地，陌生人之间应该保持一定的距离，即正常距离。第三距离阈值可以小于或等于正常距离，具体数值可以根据实际情况进行设定，此处不做限定。例如，人与人之间的正常距离可以是50cm，那么第三距离阈值可以设定为30cm。目标对象人头的真实水平距离可以代表目标对象之间的真实水平距离。通过原始图像算法可以获得至少两个目标对象人头之间的真实水平距离，从而可以得到目标对象之间的真实水平距离。

在一个应用场景中，通过光流法获得目标对象的肢体运动幅度，判断多帧原始图像中目标对象的肢体运动幅度是否均大于预设幅度值20cm，若是，则判断为剧烈运动行为；并继续判断肢体运动幅度大于预设幅度值的目标对象是否多于一个，且目标对象之间的真实水平距离小于第三距离阈值30cm，若是确定目标对象属于打架斗殴行为。

步骤S225：从原始图像中检测出设定区域中的预设设备，判断肢体运动幅度大于预设幅度值的目标对象与预设设备之间的真实水平距离是否小于第四预设距离阈值。

若是，则确定目标对象属于打砸设备行为。

否则，则确定目标对象不属于打砸设备行为。

预设设备可以是ATM机，设定区域可以是银行大厅。ATM机可以设置于银行大厅中，从而可以从原始图像中检测出银行大厅中的ATM机。一般地，打砸设备行为主要发生在ATM机附近。正常地，在ATM机前面办理业务的人员肢体运动幅度较小，而打砸设备的人肢体运动幅度较大，且距离ATM机的较近，所以本实施例通过判断肢体运动幅度大于预设幅度值的目标对象与预设设备之间的真实水平距离是否小于第四预设距离阈值。第四预设距离阈值可以根据实际情况进行设定，此处不做限定。示例性地，第四预设距离阈值可以为10cm、20cm、30cm。

在一个应用场景中，检测出肢体运动幅度为30cm，预设幅度值为20cm，可见肢体运动幅度大于预设幅度值。肢体运动幅度大于预设幅度值的目标对象与ATM机之间的真实水平距离为15cm小于第四预设距离阈值25cm，则可以确定该目标对象属于打砸设备行为。

在一些实施方式中，当步骤S21：对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象为对每帧原始图像进行目标检测，得到每帧原始图像中位于目标分析区域内且属于目标对象的特征部位时，对应地，将采用目标分析区域内的目标对象的特征部位进行剧烈运动行为、打架斗殴行为和打砸设备行为的判断。

步骤S23：标记属于异常行为的目标对象，并获取目标对象的身份信息。

每种异常行为对应有产生该异常行为的目标对象。其中，产生异常行为的目标对象可能有多个，例如异常数目行为对应的目标对象有多个，将多个目标对象都进行标记。此外，由于目标对象可能同时属于多种异常行为，例如某目标对象A属于滞留行为和异常数目行为，则基于不同的异常行为对该目标对象进行标记，如A（滞留行为，异常数目行为）。获取目标对象的身份信息可以是获取目标对象的身高、体型、衣着或其他信息。

步骤S24：将目标对象的身份信息上传给服务器，以由服务器保存身份信息和/或控制设定区域中的警报设备进行警报。

服务器保存身份信息和服务器控制设定区域中的警报设备进行警报并没有一定的先后关系。在确定目标对象属于异常行为时，服务器就可以控制设定区域中的警报设备进行警报。

警报设备是一种为防止或预防某事件发生所造成的后果，以声音、光、气压等形式来提醒或警示我们应当采取某种行动的电子产品。警报设备可以是声音报警器、光报警器或震动报警器中一种或多种的组合。其中，声音报警器内置讯响器（喇叭），具有报警功能，只需连接电源即可使用。声音报警器工作稳定、寿命长，且发出报警声音洪亮。通过声音报警器可以预先设置报警内容，当出现异常行为时，人们可以根据报警内容做出相应的措施。光报警器可以发出光线，直接在视觉上进行提醒。此外，警报设备可以是结合了声音报警和光报警的声光报警器。震动报警器可以进行震动报警，由于震动的声音很小一般只有靠近震动报警器的人才可以察觉。不同的报警方式有不同的优点，警报方式可以根据实际情况进行设定。警报设备还通过工作人员随身携带的手机、智能手表等通讯工具进行提醒，具体可以是发信息或打电话的方式，此处不做限定。

在一些实施方式中，为了避免打草惊蛇，需要警报设备仅为工作人员提供警报。例如，工作人员可以随身携带震动报警器，当出现异常行为时，警报设备通过震动进行报警，由于震动频率较小，只有该工作人员才会发现，从而能够避免惊动属于异常行为的目标对象，使得工作人员能够更好的采取相应的措施。在另一些实施方式中，为了提醒设定区域内的所有人员，并让除目标对象以外的其他人员能够根据警报消息做出相应的措施且该警报消息也能够提醒工作人员，让工作人员也做出相应的措施，可以将声音报警器设置于设定区域内，通过声音报警器进行报警。其中，还可以根据实际情况设置每种异常行为对应的警报方式。

此外，将属于异常行为的目标对象的身份信息上传给服务器，服务器可以根据该身份信息对该目标对象进行身份识别。例如，可以根据人脸识别技术获得属于异常行为的目标对象的真实身份信息，从而可以确认该目标对象是否是在逃罪犯或有无犯罪前科，根据不同结果可以采取不同的应对措施。此外，服务器还可以获取属于异常行为的目标对象所在设定区域的地点信息。例如，若目标对象是在逃罪犯，则可以直接向公安局进行报警，警察可以根据地点信息及时到达设定区域进行处理。

可选地，可以将目标对象的身份信息保存在本地存储器，由本地处理器控制设定区域中的警报设备进行警报，这样即便是在断网的情况下，也可以实现目标对象身份信息的保存。本实施例，通过将属于异常行为的目标对象进行标记，并保存目标对象的身份信息，可以便于后期回顾、查证。

在此实施例中，通过预设数量帧原始图像进行异常行为的判断，其中，异常行为包括滞留行为、异常数目行为和剧烈运动行为，剧烈运动行为又包括打架斗殴行为和打砸设备行为，根据每种异常行为的特点设置不同的判断方法，可以对设定区域中同时出现的多种异常行为进行判断，避免了人工巡逻对异常行为判断的单一性；其次，通过设定区域中的警报设备可以在出现异常行为时进行报警；再次，通过将属于异常行为的目标对象进行标记，并保存目标对象的身份信息，可以便于后期回顾、查证。

请参阅图4至图7，图4是本申请行为分析方法又一实施例的流程示意图，图5是图4中步骤S32的流程示意图，图6是图5中步骤S322的流程示意图，图7是本申请行为分析方法又一实施例的示意图。

该行为分析方法可以包括以下步骤：

步骤S30：获取对设定区域进行不同时刻采集得到的多帧原始图像。

步骤S31：对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象。

对于步骤S30和S31的阐述可以参照行为分析方法一实施例中相应位置阐述，此处不再赘述。

步骤S32：对多帧原始图像中的目标对象进行分析，确定目标对象是否属于异常行为。

步骤S32可以进一步包括子步骤S321和S322。

步骤S321：基于每帧原始图像中的深度信息，确定每帧原始图像的目标对象的特征部位在预设区域的真实位置信息。

具体地，利用双目相机采集得到的双目图像可以是对物体上一个特征点，通过固定于不同位置的两个摄像头在同一时间拍摄得到的该物体的两张图像。双目相机能够分别获得该特征点在两张图像平面上的坐标，由于知道两个摄像头的相对位置关系，就可用几何的方法得到该特征点在固定一摄像头的坐标系中的坐标，从而可以确定该特征点的真实位置信息。

在一些实施方式中，当步骤S31：对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象为对每帧原始图像进行目标检测，得到每帧原始图像中位于目标分析区域内且属于目标对象的特征部位时，对应地，基于每帧原始图像中的深度信息，确定每帧原始图像的目标对象的特征部位在预设区域的真实位置信息为确定每帧原始图像中目标分析区域内的目标对象的特征部位在预设区域的真实位置信息。

步骤S322：基于目标对象的特征部位在设定区域的真实位置信息变化，确定目标对象是否属于异常行为。

步骤S322进一步包括三组子步骤：（1）S3221、（2）S3222、（3）S3223共三组，每组用于确定一种异常行为。各组子步骤之间并无固定的先后关系，图中所画仅为示意。本实施例中，异常行为可以包括跌倒行为、异常间距行为和异常奔跑行为，且该三种异常行为都需要基于目标对象的真实位置信息进行判断。

步骤S3221：判断在两帧原始图像中是否存在同一目标对象的特征部位的真实高度差大于预设高度阈值。

若存在，执行步骤S3222或直接执行步骤S3223。

若不存在，则确定目标对象属于不跌倒行为。

具体地，若在两帧原始图像中存在同一目标对象的特征部位的真实高度差大于预设高度阈值，则确定目标对象可能属于跌倒行为。由于目标对象的特征部位可能处于图像边缘，若目标对象处于图像边缘可能会导致真实高度差测量不准确，从而影响跌倒行为判断的准确率，所以可以进一步执行步骤S3222或直接执行步骤S3223，通过图像边缘检测或姿态检测可以排除目标对象处于图像边缘对异常行为判断准确性的影响。

其中，目标对象可以是人，特征部位可以是人头。测量目标对象的特征部位的真实高度差时，可以基于人头的中心点进行测量。预设高度阈值可以根据实际情况进行设定。可选地，以一个小孩摔倒为例，摔倒前的真实高度为140cm，摔倒后的真实高度为90cm，得到真实高度差为50cm，当然一般情况下大人摔倒的真实高度差要大于小孩子的摔倒的真实高度差，所以可以将50cm作为预设高度阈值，若测得的真实高度差大于50cm，则确定目标对象可能属于跌倒行为。此外，若人头处于图像边缘，可能会导致人头中心点的确定不准确，从而会导致跌倒行为的判断不准确。

步骤S3222：判断两帧原始图像中的目标对象是否处于图像边缘。

若是，则确定两帧原始图像中的目标对象处于图像边缘，进一步执行步骤S3223。

否则，则确定两帧原始图像中的目标对象未处于图像边缘，可直接确定目标对象属于跌倒行为。

可选地，若两帧原始图像中的至少一帧原始图像的目标对象的特征部位处于图像边缘，则确定两帧原始图像中的目标对象处于图像边缘。在一些实施方式中，人头中心点距离图像边小于设定数值个像素点时则确定该目标对象处于图像边缘，此时可以直接用姿态检测模型的检测结果作为最终行为确认结果，其中，该设定数据可根据实际情况进行设置，例如可以但不限为50、100等；在另一些实时方式中，若检测出人头不完全或人头边缘与图像边缘有交点，则可以确定人头处于图像边缘。本实施例对判断两帧原始图像中的目标对象的特征部位是否处于图像边缘的具体方法不做限定，可以根据实际情况进行选择。

步骤S3223：利用姿态检测模型对两帧原始图像中的目标对象进行姿态检测得到姿态检测结果，判断姿态检测结果是否为跌倒姿态。

若是，则确定目标对象属于跌倒行为。

否则，则确定目标对象不属于跌倒行为。

其中，跌倒姿态可以是单腿弯曲站立，双臂张开等，不限于此。

具体地，可以利用卷积神经网络（CNN）对目标对象的姿态进行分类，具体分类方法不做赘述。

可选地，若在两帧原始图像中存在同一目标对象的特征部位的真实高度差大于预设高度阈值，确定目标对象属于异常行为，可以在该两帧原始图像之后的一段时间内以相同的时间间隔再采集数帧（如两帧）原始图像再次进行分析，若得到的分析结果仍是属于同一异常行为，如跌倒行为，则可以确定该异常行为持续时间较长，情况比较严重，从而可以进一步采取其他措施进行处理。

在一些实施方式中，当步骤S31：对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象为对每帧原始图像进行目标检测，得到每帧原始图像中位于目标分析区域内且属于目标对象的特征部位时，对应地，将采用目标分析区域内的目标对象的特征部位进行图像边缘检测、姿态检测和跌倒行为的判断。

步骤S3224：从原始图像中检测出设定区域中的关注区域，判断原始图像的关注区域中是否存在至少两个目标对象的特征部位之间真实水平距离小于第一预设距离阈值。

若是，则确定目标对象属于异常间距行为。

否则，则确定目标对象不属于异常间距行为。

关注区域可以是自助业务区域，具体可以是ATM机所在的区域。正常地，自助业务区域中下一个办理业务的人应该与正在办理业务的人保持一定的距离，一般下一个办理业务的人应该站于黄线外侧，以防止其偷窥正在办理业务人的隐私信息，但是也可能存在人员无意或有意跨越黄线的现象，通过异常间距行为的检测，可以确定出该行为，进而采取相应的措施进行处理。第一预设距离阈值可以根据实际情况进行设定。示例性地第一预设距离阈值可以为50cm。具体地，若原始图像的自助业务区域中存在至少两个人头之间真实水平距离小于50cm，则确定目标对象属于异常间距行为，否则，则确定目标对象不属于异常间距行为。

如图6所示，左图为N时刻的原始图像，其中包括了不同目标对象的人头4a_1和4b_1。在N时刻，人头4a_1的真实高度为H1=165cm，人头4b_1的真实高度为H4=155cm，且人头4b_1处于原始图像边缘。右图为N+1时刻的原始图像，其中包括了不同目标对象的人头4a_2和4b_2。在N+1时刻，人头4a_2和4b_2的真实高度都为H2=90cm。4a_1和4a_2为同一目标对象的人头4a在不同时刻图像中的位置。同样，4b_1和4b_2为同一目标对象人头4b在不同时刻图像中的位置。

具体地，判断N时刻和N+1时刻获得的两帧原始图像中是否存在同一目标对象的人头的真实高度差大于预设高度阈值，此处设定预设高度阈值可以为60cm。可见，人头4a_1和4a_2的高度差H3=75cm，人头4b_1和4b_2的高度差H5=65cm，均大于预设高度阈值60cm，则可以确定人头4a和4b分别对应的目标对象都属于跌倒行为。此时可以进一步判断4a_1和4b_1是否处于图像边缘，经过判断4a_1在N时刻和N+1时刻都未处于图像边缘，则可以直接确定人头4a对应的目标对象属于跌倒行为。由于4b_1在N时刻处于图像边缘，为了消除图像边缘对跌倒行为判断的影响，可以进一步对目标对象进行姿态检测，若目标对象为跌倒姿态，则可以确定该目标对象属于跌倒行为，否则，则确定该目标对象不为跌倒行为。

从N+1时刻原始图像中检测出设定区域中的关注区域，人头4a_2和4b_2的真实水平距离W=40cm，第一预设距离阈值为50cm，由于人头4a_2和4b_2的真实水平距离小于第一预设距离阈值，则可以确定人头4a_2和4b_2对应的两个目标对象属于异常间距行为，在其他实施方式中，也可以进一步对两个目标对象进行图像边缘检测和人体姿态检测，以对该两个目标对象属于异常间距行为的判断进行验证。

在一些实施方式中，当步骤S31：对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象为对每帧原始图像进行目标检测，得到每帧原始图像中位于目标分析区域内且属于目标对象的特征部位时，对应地，将采用目标分析区域内的目标对象的特征部位进行异常间距行为的判断。

步骤S3225：判断在预设时间内采集的两帧原始图像中是否存在同一目标对象的特征部位的真实水平距离大于第二预设距离阈值。

若是，则确定目标对象属于异常奔跑行为。

否则，则确定目标对象不属于异常奔跑行为。

其中，预设时间和第二预设距离阈值可以根据实际情况进行设定。例如，人正常走路1s可以移动0.5m。示例性地，预设时间可以是1s，第二预设距离阈值可以是2m，则异常奔跑行为需要满足1s可以移动2m。

在一个应用场景中，在1s前采集了第一帧原始图像，1s后采集了第二帧原始图像，在预设时间1s内采集的两帧原始图像中同一目标对象的特征部位的真实水平距离为2.5m，大于第二预设距离阈值2m，则可以确定目标对象属于异常奔跑行为。

在其他实施方式中，由于相邻的两帧原始图像中的目标对象的位置变化可能极小或无变化，所以对于某些异常行为（如异常奔跑行为）可以根据实际情况增加参与分析的原始图像的数量，以提高分析结果的准确度。例如，根据四帧原始图像检测其中的目标对象是否属于异常奔跑行为，将第一帧中目标对象的真实位置作为初始位置，第二帧中该目标对象与第一帧中该目标对象的真实水平距离为1米，第三帧中该目标对象与第一帧中该目标对象的真实水平距离为2.5米，第四帧中该目标对象与第一帧中该目标对象的真实水平距离为5米，可见，随着时间的增长，四帧原始图像中每帧原始图像中目标对象距离初始位置的真实水平距离不断增加，且两两相邻的两帧原始图像中目标对象的真实水平距离差值逐渐增大，由此可以确定该目标对象属于异常奔跑行为。

在一些实施方式中，当步骤S31：对每帧原始图像进行目标检测，得到每帧原始图像中的目标对象为对每帧原始图像进行目标检测，得到每帧原始图像中位于目标分析区域内且属于目标对象的特征部位时，对应地，将采用目标分析区域内的目标对象的特征部位进行异常奔跑的判断。

步骤S33：标记属于异常行为的目标对象，并获取目标对象的身份信息。

步骤S34：将目标对象的身份信息上传给服务器，以由服务器保存身份信息和/或控制设定区域中的警报设备进行警报。

对于步骤S33和S34的阐述可以参照行为分析方法另一实施例中相应位置阐述，此处不再赘述。

在此实施例中，通过预设数量帧原始图像进行异常行为的判断，其中，异常行为包括跌倒行为、异常间距行为和异常奔跑行为，根据每种异常行为的特点设置不同的判断方法，其中，上述三种异常行为都需要基于目标对象的真实位置信息进行判断。本实施例，可以对设定区域中同时出现的多种异常行为进行判断，避免了人工巡逻对异常行为判断的单一性；其次，通过图像边缘检测和姿态检测可以增加异常行为判断的准确度。

请参阅图8，图8是本申请计算机设备一实施例的结构示意图。本申请实施例中的计算机设备800包括：包括处理器801、存储器802及其存储的指令。处理器801执行指令时实现如上述任一实施例方法的步骤。

处理器801还可以称为CPU（Central Processing Unit，中央处理单元）。处理器801还可能是一种集成电路芯片，具有信号的处理能力。处理器801还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

请参阅图9，图9是本申请具有存储功能的装置一实施例的结构示意图。该具有存储功能的装置900，存储有指令901，指令901被执行时实现上述任一实施例中的方法。

该具有存储功能的装置900具体可以为U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等可以存储程序指令的介质，或者也可以为存储有该程序指令的服务器，该服务器可将存储的程序指令发送给其他设备运行，或者也可以自运行该存储的程序指令。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种行为分析方法，其特征在于，包括：

获取对设定区域进行不同时刻采集得到的多帧原始图像，所述原始图像为利用双目相机采集得到的双目图像，所述双目图像包括左目原图和右目原图；

对每帧所述原始图像进行目标检测，得到每帧所述原始图像中的目标对象；

对所述多帧原始图像中的目标对象进行分析，确定所述目标对象是否属于异常行为；

其中，所述对所述多帧原始图像中的目标对象进行分析，确定所述目标对象是否属于异常行为，包括：基于每帧所述原始图像中的深度信息，确定每帧所述原始图像的目标对象的特征部位在所述设定区域的真实位置信息；所述深度信息是利用所述原始图像的视差图和深度图获得，所述视差图和深度图是对所述左目原图和右目原图处理得到的；基于所述目标对象的特征部位在所述设定区域的真实位置信息变化，确定所述目标对象是否属于异常行为；

所述基于所述目标对象的特征部位在所述设定区域的真实位置信息变化，确定所述目标对象是否属于异常行为，包括：

判断在两帧所述原始图像中是否存在同一目标对象的特征部位的真实高度差大于预设高度阈值；若存在，则判断所述两帧原始图像中的所述目标对象是否处于图像边缘，若是，则利用姿态检测模型对所述两帧原始图像中的所述目标对象进行姿态检测得到姿态检测结果，且若所述姿态检测结果为跌倒姿态，则确定所述目标对象属于跌倒行为，若否，则直接确定所述目标对象属于跌倒行为；其中，所述特征部位为头部。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象的特征部位在所述设定区域的真实位置信息变化，确定所述目标对象是否属于异常行为，还包括：

从所述原始图像中检测出所述设定区域中的关注区域；判断所述原始图像的所述关注区域中是否存在至少两个所述目标对象的特征部位之间真实水平距离小于第一预设距离阈值；若存在，则确定所述目标对象属于异常间距行为；

和/或，判断在预设时间内采集的两帧所述原始图像中是否存在同一目标对象的特征部位的真实水平距离大于第二预设距离阈值；若存在，则确定所述目标对象属于异常奔跑行为。

3.根据权利要求1所述的方法，其特征在于，所述对所述多帧原始图像中的目标对象进行分析，确定所述目标对象是否属于异常行为，还包括：

判断在连续第一预设数量帧原始图像中是否均存在同一目标对象的特征部位；若是，则确定所述目标对象属于滞留行为；

和/或，判断在连续第二预设数量帧原始图像中的目标对象的数量是否均大于预设数目阈值；若是，则确定所述目标对象属于异常数目行为；

和/或，判断连续第三预设数量帧原始图像中同一目标对象的肢体运动幅度是否大于预设幅度值；若大于所述预设幅度值，则确定所述目标对象属于剧烈运动行为。

4.根据权利要求3所述的方法，其特征在于，所述剧烈运动行为包括打架斗殴行为；所述若大于所述预设幅度值，则确定所述目标对象属于剧烈运动行为，包括：

若大于所述预设幅度值，则判断所述肢体运动幅度大于所述预设幅度值的目标对象是否多于一个，且所述目标对象之间的真实水平距离小于第三距离阈值；

若是，则确定所述目标对象属于打架斗殴行为；

和/或，所述剧烈运动行为包括打砸设备行为；所述若大于所述预设幅度值，则确定所述目标对象属于剧烈运动行为，包括：

若大于所述预设幅度值，则从所述原始图像中检测出所述设定区域中的预设设备；

判断所述肢体运动幅度大于所述预设幅度值的目标对象与所述预设设备之间的真实水平距离是否小于第四预设距离阈值；

若是，则确定所述目标对象属于打砸设备行为。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

标记属于异常行为的所述目标对象，并获取所述目标对象的身份信息；

将所述目标对象的身份信息上传给服务器，以由所述服务器保存所述身份信息和/或控制所述设定区域中的警报设备进行警报。

6.根据权利要求1所述的方法，其特征在于，所述对每帧所述原始图像进行目标检测，得到每帧所述原始图像中的目标对象，包括：

对每帧所述原始图像进行目标检测，得到每帧所述原始图像中位于目标分析区域内且属于目标对象的特征部位；

所述对所述多帧原始图像中的目标对象进行分析，确定所述目标对象是否属于异常行为，还包括：

对所述多帧原始图像中位于目标分析区域内的所述特征部位进行分析，确定位于所述目标分析区域内的所述目标对象是否属于异常行为；

所述目标对象为人，所述设定区域为银行办公区域。

7.一种计算机设备，其特征在于，包括处理器、存储器及其存储的指令，所述处理器执行所述指令时实现如权利要求1至6任一项所述方法的步骤。

8.一种具有存储功能的装置，其特征在于，所述装置上存储有指令，所述指令被处理器执行时实现权利要求1至6任一项所述方法的步骤。