CN109830078B - 适用于狭小空间的智能行为分析方法及智能行为分析设备 - Google Patents

Abstract

本发明公开了一种适用于狭小空间的智能行为分析方法，用于在狭小空间内对人的行为动作进行识别分析，包括以下步骤：步骤S1：利用深度相机获取狭小空间内的深度图像；步骤S2：基于深度图像将人体分为多个身体组件；步骤S3：基于多个身体组件分别进行分类判断并生成人体骨架系统；步骤S4：对人体骨架系统的运动轨迹进行跟踪分析以识别出人体的行为状态；及步骤S5：根据识别结果判断是否产生预警。本发明的适用于狭小空间的智能行为分析方法及设备，可以在狭小空间内针对多个目标人物的行为状态进行准确识别分析，识别准确度很高，在识别完成之后在设备端即可完成预警，无需传输至后台服务器处理之后再进行预警，时效性更好。

Description

适用于狭小空间的智能行为分析方法及智能行为分析设备

技术领域

本发明涉及行为分析技术领域，特别地，涉及一种适用于狭小空间的智能行为分析方法及智能行为分析设备。

背景技术

目前，各个银行有大量的ATM机在运行。随着ATM的大量使用，银行都建立了专用的ATM存取款室来保障安全。为此基于ATM存取款室环境下的视频安全监控成为了一项重要的需求。ATM存取款室有着自身独特的环境特点，首先，存取款室的空间一般比较狭小，人物在其中重叠的几率很大，行为识别难度大；其次，ATM存取款室内光线相对均衡，虽然不会出现局部强光，但有可能整体较暗，环境光的影响可能会导致行为识别分析的准确度差；再次，能够容纳的人物数量有限，但需要检测的动作较多，比如，需要区分跑步、跌倒、剧烈运动等，无法做到准确识别人的行为动作；最后，需要布防的网点很多，而且实时性要求很高，这就要求报警判断在前端完成，而不能以服务器方式实现。由于ATM存取款室的独特环境特点，现有的ATM存取款室内的视频安全监控存在对人的行为状态识别准确度差、无法实现实时检测分析的问题。另外，类似于ATM存取款室的需要视频监控的其它狭小空间同样也存在上述问题。

发明内容

本发明提供了一种适用于狭小空间的智能行为分析方法及智能行为分析设备，以解决现有的狭小空间内的视频安全监控存在的对人的行为状态识别准确度差、无法实现实时检测分析的技术问题。

根据本发明的一个方面，提供一种适用于狭小空间的智能行为分析方法，用于在狭小空间内对人的行为动作进行识别分析，包括以下步骤：

步骤S1：利用深度相机获取狭小空间内的深度图像；

步骤S2：基于深度图像将人体分为多个身体组件；

步骤S3：基于多个身体组件分别进行分类判断并生成人体骨架系统；

步骤S4：对人体骨架系统的运动轨迹进行跟踪分析以识别出人体的行为状态；及

步骤S5：根据识别结果判断是否产生预警。

进一步地，所述步骤S3包括以下步骤：

步骤S31：利用随机决策森林分类器对多个身体组件分别进行分类判断；

步骤S32：利用重投影分类器对分类结果进行评估以生成多个人体关节点，并基于多个人体关节点生成人体骨架系统。

进一步地，所述步骤S4具体包括以下步骤：

步骤S41：对每个骨架系统赋予一个ID作为该人体目标的唯一标识；

步骤S42：计算得到每个人体目标的重心坐标位置；及

步骤S43：基于每个人体目标的重心坐标位置进行人体行为状态分析。

进一步地，所述步骤S42具体为

根据每个人体目标的多个关节点之间的距离和分布关系赋予不同的权重因子，将不同关节点坐标位置与权重因子做加权求和以得到每个人体目标的重心坐标位置。

进一步地，所述步骤S43具体包括以下内容：

预先设定一条或多条检测线，判断人体目标重心坐标与检测线之间的位置关系，当人体目标重心位置通过检测线，则视为越线；和/或

预先设定一个多边形区域作为检测区域，判断人体目标的重心坐标与多边形区域之间的位置关系，当重心坐标在检测区域内超过固定时长，则视为区域入侵；和/或

预先设定一个多边形区域作为检测区域，并设定检测区域内最大允许人数，判断人体目标重心位置是否进入检测区域，当人体目标重心坐标进入检测区域内的数目超过最大允许人数，则视为区域人数异常。

进一步地，所述步骤S43包括以下内容：

预先设定一个轨迹长度阈值，对监控区域内每个人体目标的重心位置的运动轨迹进行累加，当累计轨迹长度达到轨迹长度阈值时，则视为行程过长；和

预先设定一个停留时间阈值，对监控区域内每个人体目标的停留时间进行累加，当累计时长达到停留时间阈值，则视为逗留过久；和

预先设定一个区域运动速度阈值，分别累计监控区域内每个人体目标的轨迹长度和停留时间，统计所有人体目标的单位时间内的平均目标轨迹长度，当单位时间内的平均目标轨迹长度超过区域运动速度阈值，则视为运动过快。

进一步地，所述步骤S43包括以下内容：

预先设定第一距离阈值和第二距离阈值，对监控区域内单个人体目标的各个关节的坐标位置进行规则判断，当头部关节和脚部关节的距离小于第一阈值，且所有关节距离重心坐标距离也小于第二距离阈值，则视为目标跌倒。

进一步地，预先设定一个单体速度阈值，对监控区域内单个人体目标的各个关节的进行轨迹跟踪，统计在单位时间内目标的各个关节点的轨迹长度，当单位时间内的轨迹长度超过单体速度阈值，则视为剧烈运动。

进一步地，所述适用于狭小空间的智能行为分析方法还包括以下步骤：

检测深度图像中各个点的深度平均值和各个点的方差，若各个点的深度平均值小于阈值，且各个点的方差也小于阈值，则视为镜头异常。

本发明还提供一种适用于狭小空间的智能行为分析设备，采用如上所述的智能行为分析方法，

包括

深度相机，用于拍摄狭小空间内的深度图像；

深度图像处理模块，用于将人体分为多个身体组件；

人体骨架生成模块，用于对多个身体组件分别进行分类判断并生成人体骨架系统；

跟踪分析模块，用于对人体骨架系统的运动轨迹进行跟踪分析以识别出人体的行为状态；

预警模块，用于根据所述分析模块的识别结果判断是否产生预警。

本发明具有以下有益效果：

本发明的适用于狭小空间的智能行为分析方法，通过深度相机来获取深度图像，并且将人体目标分为了多个身体组件，并对多个身体组件分别进行分类判断并生成人体骨架系统，将复杂的身体目标姿势识别问题转换为较为简便的逐像素分类问题，极大程度地减少了计算量，提高了分析处理速度，并且在分类判断过程中是针对每个像素逐一进行分类判断的，识别准确度很高，然后再基于人体骨架系统的运动轨迹进行跟踪分析从而识别出人体目标的行为状态，并根据识别结果判断是否产生预警。本发明的适用于狭小空间的智能行为分析方法，可以在狭小空间内针对多个目标人物的行为状态进行准确识别分析，在识别完成之后在设备端即可完成预警，无需传输至后台服务器处理之后再进行预警，时效性更好。

另外，本发明的适用于狭小空间的智能行为分析设备同样具有上述优点。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例的适用于狭小空间的智能行为分析方法的流程示意图。

图2是本发明优选实施例的图1中的步骤S3的子流程示意图。

图3是本发明优选实施例的图1中的步骤S4的子流程示意图。

图4是本发明另一实施例的适用于狭小空间的智能行为分析设备的模块结构示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由下述所限定和覆盖的多种不同方式实施。

如图1所示，本发明的优选实施例提供一种适用于狭小空间的智能行为分析方法，用于在狭小空间内对人的行为状态进行识别分析，具有识别准确度高的优点，而且可以进行实时预警，无需在后台服务器处理后才进行预警，时效性强。所述适用于狭小空间的智能行为分析方法包括以下步骤：

步骤S1：利用深度相机获取狭小空间内的深度图像；

步骤S2：基于深度图像将人体分为多个身体组件；

步骤S3：基于多个身体组件分别进行分类判断并生成人体骨架系统；

步骤S4：对人体骨架系统的运动轨迹进行跟踪分析以识别出人体的行为状态；及

步骤S5：根据识别结果判断是否产生预警。

可以理解，在所述步骤S1中，利用深度相机对狭小空间的监控区域进行拍摄以得到深度图像。本发明所采用的深度相机可以是结构光相机、RGB双目相机和TOF(Time offlight飞行时间)相机中的任一种，优选采用结构光相机。具体工作原理为，结构光相机三维成像的硬件主要包括相机和投射器，相机包括可见光相机和红外相机，结构光是通过投射器投射到被测物体表面的主动结构信息，如激光条纹、格雷码、正弦条纹等；然后，通过单个或多个相机拍摄被测物体表面即得结构光图像；最后，基于三角测量原理经过图像三维解析计算从而实现三维重建。其中，所谓的三角测量原理是空间的两个相交的直线确定空间一点，需要找出每一个点所在的两条直线，而为了找出这两条直线，才利用已知的图案区透射被测物体表面。作为进一步优选的，结构光相机使用主动红外光，因此得到的深度图像在弱光或无环境光的条件下，对成像质量没有影响。

可以理解，在所述步骤S2中，采用了物体识别方法来将人体分成多个身体组件。具体地，检测人体目标的各个生物特征信息从而将人体拆分成多个身体组件，例如，基于人体不同部位的生物特征信息将人体拆分成头部、耳朵、躯干、四肢、脚部、手部等。

可以理解，如图2所示，所述步骤S3包括以下步骤：

步骤S31：利用随机决策森林分类器对多个身体组件分别进行分类判断；

步骤S32：利用重投影分类器对分类结果进行评估以生成多个人体关节点，并基于多个人体关节点生成人体骨架系统。

可以理解，在所述步骤S31中，是基于分割后的多个身体组件进行逐像素分类处理，相比于人体目标整体姿势进行分析更加简单，而且避免了不同身体关节之间的组合搜索，降低了运算量，提高了分析处理速度。其中，所述随机决策森林分类器是通过从运动捕捉数据库中采样出不同身材和体型的人物的各种姿势，然后合成深度图像作为训练数据进行训练得到的。采用随机决策森林分类器对多个身体组件进行逐像素分类判断时具有姿势、身材、衣着等不变形，维持了计算的高效性，提高了分析处理速度。

可以理解，在所述步骤S32中，利用重投影分类器对分类结果进行评估以推理出逐像素分布的空间模式，并使用mean shift(均值偏移)算法进行计算，从而得到多个人体关节点，并基于多个人体关节点生成人体骨架系统。通过对每个像素都进行分类判断后进行计算分析，可以基于充分的信息最准确地评估人体目标的行为状态，识别准确度高。

可以理解，如图3所示，所述步骤S4具体包括以下步骤：

步骤S41：对每个骨架系统赋予一个ID作为该人体目标的唯一标识；

步骤S42：计算得到每个人体目标的重心坐标位置；及

步骤S43：基于每个人体目标的重心坐标位置进行人体行为状态分析。

可以理解，在所述步骤S41中，采用推理出的逐像素的空间分布连接形成20个关节点的人体骨架系统，对每一个骨架系统都赋予一个ID作为该人体目标的唯一标识，从而可以有效区分不同人体目标的差异性，进一步提高了识别的准确度。

可以理解，在所述步骤S42中，对每个人体目标的重心进行评估，具体地，根据每个人体目标的多个关节点之间的距离和分布关系赋予不同的权重因子，将不同关节点坐标位置与权重因子做加权求和以得到每个人体目标的重心坐标位置。

可以理解，在所述步骤S43具体包括以下内容：

预先设定一条或多条检测线，判断人体目标重心坐标与检测线之间的位置关系，当人体目标重心位置通过检测线，则视为越线，例如当前一个人体目标在ATM机上进行存取款作业时，如果后一人体目标出现越线行为，则会发出预警以提醒前一人体目标，防止后一人体目标窥视前一人体目标的银行卡输入密码，或者盗窃前一人体目标的财物等其它不当行为动作；和/或

预先设定一个多边形区域作为检测区域，判断人体目标的重心坐标与多边形区域之间的位置关系，当重心坐标在检测区域内超过固定时长，则视为区域入侵，例如当前一个人体目标在ATM机上进行存取款作业时，如果后一人体目标入侵了检测区域，即后一人体目标距离前一人体目标距离较近，则会发出预警以提醒前一人体目标，防止后一人体目标窥视前一人体目标的银行卡输入密码，或者盗窃前一人体目标的财物等其它不当行为动作；和/或

预先设定一个多边形区域作为检测区域，并设定检测区域内最大允许人数，判断人体目标重心位置是否进入检测区域，当人体目标重心坐标进入检测区域内的数目超过最大允许人数，则视为区域人数异常，若出现区域人数异常则会发出预警，从而确保了狭小空间内每个目标人物在活动区域内的私密性，例如某一人体目标在进行存取款作业时，仅允许ATM操作范围内站立一人，当他人进入操作范围时则会发生预警，从而确保了人体目标的财产安全。

可以理解，作为另一种选择，所述步骤S43也可以包括以下内容：

预先设定一个轨迹长度阈值，对监控区域内每个人体目标的重心位置的运动轨迹进行累加，当累计轨迹长度达到轨迹长度阈值时，则视为行程过长；和

预先设定一个停留时间阈值，对监控区域内每个人体目标的停留时间进行累加，当累计时长达到停留时间阈值，则视为逗留过久，若判定逗留过久则发出预警，防止该逗留过久的目标人物做出不当行为；和

预先设定一个区域运动速度阈值，分别累计监控区域内每个人体目标的轨迹长度和停留时间，统计所有人体目标的单位时间内的平均目标轨迹长度，当单位时间内的平均目标轨迹长度超过区域运动速度阈值时，则视为运动过快，若判定出运动过快则发出预警，例如针对在狭小空间内突发意外事故，人们由于恐慌而导致慌乱的情况，可以进行有效预警。

可以理解，作为另一种选择，所述步骤S43包括以下内容：

预先设定第一距离阈值和第二距离阈值，对监控区域内单个人体目标的各个关节点的坐标位置进行规则判断，当头部关节和脚部关节的距离小于第一阈值，且所有关节距离重心坐标距离也小于第二距离阈值，则视为目标跌倒。当判定为目标跌倒时可以及时发出预警，便于做出快速反应。

可以理解，作为另一种选择，所述步骤S43包括以下内容：

预先设定一个单体速度阈值，对监控区域内单个人体目标的各个关节点的进行轨迹跟踪，统计在单位时间内目标的各个关节点的轨迹长度，当单位时间内的轨迹长度超过单体速度阈值，则视为剧烈运动。当判定为剧烈运动时则发出预警，从而可以针对人体目标做出任何激烈的不当行为时可以做出快速反应。

可以理解，作为优选的，所述适用于狭小空间的智能行为分析方法还包括以下步骤：

检测深度图像中各个点的深度平均值和各个点的方差测，若各个点的深度平均值小于阈值，且各个点的方差也小于阈值，则视为镜头异常。通过该检测步骤，可以有效地检测出完全遮挡可见光相机、利用场景照片来代替可见光相机和遮挡结构光相机三种情形。其中，当可见光相机被单独完全遮挡时，可见光相机为全黑，因此得到的可见光图像的灰度平均值和方差均小于阈值，则视为镜头异常；当结构光相机被单独完全遮挡时，得到的深度信息基本为零，因此深度图像的深度平均值和方差均小于阈值，则视为镜头异常；当利用场景照片虚拟场景时，可见光相机容易被欺骗，但是深度相机由于和可见光相机成像在出厂时就配准过的，因此可见光相机成像位置能通过深度相机得到对应的深度值，当利用场景照片遮挡可见光相机时，深度相机测得对应的各个位置的深度值非常接近，因此各个位置的方差会小于阈值，则也视为镜头异常。

本发明的适用于狭小空间的智能行为分析方法，通过深度相机来获取深度图像，并且将人体目标分为了多个身体组件，并对多个身体组件分别进行分类判断并生成人体骨架系统，将复杂的身体目标姿势识别问题转换为较为简便的逐像素分类问题，极大程度地减少了计算量，提高了分析处理速度，并且在分类判断过程中是针对每个像素逐一进行分类判断的，识别准确度很高，然后再基于人体骨架系统的运动轨迹进行跟踪分析从而识别出人体目标的行为状态，并根据识别结果判断是否产生预警。本发明的适用于狭小空间的智能行为分析方法，可以在狭小空间内针对多个目标人物的行为状态进行准确识别分析，可以检测出目标人物一系列的行为动作，而且，在识别完成之后在设备端即可完成预警，无需传输至后台服务器处理之后再进行预警，时效性更好。

可以理解，如图4所示，在本发明的另一实施例中，还提供一种适用于狭小空间的智能行为分析设备，其优选采用如上所述的智能行为分析方法，所述智能行为分析设备包括

深度相机11，用于拍摄狭小空间内的深度图像；

深度图像处理模块13，用于将人体分为多个身体组件；

人体骨架生成模块15，用于对多个身体组件分别进行分类判断并生成人体骨架系统；

跟踪分析模块17，用于对人体骨架系统的运动轨迹进行跟踪分析以识别出人体的行为状态；

预警模块19，用于根据所述分析模块17的识别结果判断是否产生预警。

其中，所述深度图像处理模块13分别与深度相机11和人体骨架生成模块15连接，所述跟踪分析模块17分别与人体骨架生成模块15和预警模块19连接。所述深度相机11可以是结构光相机、RGB双目相机和TOF相机中的任一种，优选采用结构光相机。

本发明的适用于狭小空间的智能行为分析系统，通过深度相机来获取深度图像，并且将人体目标分为了多个身体组件，并对多个身体组件分别进行分类判断并生成人体骨架系统，将复杂的身体目标姿势识别问题转换为较为简便的逐像素分类问题，极大程度地减少了计算量，提高了分析处理速度，并且在分类判断过程中是针对每个像素逐一进行分类判断的，识别准确度很高，然后再基于人体骨架系统的运动轨迹进行跟踪分析从而识别出人体目标的行为状态，并根据识别结果判断是否产生预警。本发明的适用于狭小空间的智能行为分析系统，可以在狭小空间内针对多个目标人物的行为状态进行准确识别分析，可以检测出目标人物一系列的行为动作，而且，在识别完成之后在设备端即可完成预警，无需传输至后台服务器处理之后再进行预警，时效性更好。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种适用于狭小空间的智能行为分析方法，用于在狭小空间内对人的行为动作进行识别分析，其特征在于，

包括以下步骤：

步骤S1：利用深度相机获取狭小空间内的深度图像；

步骤S2：基于深度图像将人体分为多个身体组件；

步骤S3：基于多个身体组件分别进行分类判断并生成人体骨架系统；

步骤S4：对人体骨架系统的运动轨迹进行跟踪分析以识别出人体的行为状态；及

步骤S5：根据识别结果判断是否产生预警；

所述步骤S3包括以下步骤：

步骤S31：利用随机决策森林分类器对多个身体组件分别进行逐像素分类处理；

步骤S32：利用重投影分类器对分类结果进行评估以推理出逐像素分布的空间模式，并使用mean shift算法进行计算，从而得到多个人体关节点，并基于多个人体关节点生成人体骨架系统；

所述步骤S4具体包括以下步骤：

步骤S41：采用推理出的逐像素的空间分布连接形成20个关节点的人体骨架系统，对每一个骨架系统都赋予一个ID作为该人体目标的唯一标识；

步骤S42：计算得到每个人体目标的重心坐标位置；及

步骤S43：基于每个人体目标的重心坐标位置进行人体行为状态分析；

所述步骤S43包括以下内容：

预先设定第一距离阈值和第二距离阈值，对监控区域内单个人体目标的各个关节点的坐标位置进行规则判断，当头部关节和脚部关节的距离小于第一阈值，且所有关节距离重心坐标距离也小于第二距离阈值，则视为目标跌倒。

2.如权利要求1所述的智能行为分析方法，其特征在于，

所述步骤S42具体为

根据每个人体目标的多个关节点之间的距离和分布关系赋予不同的权重因子，将不同关节点坐标位置与权重因子做加权求和以得到每个人体目标的重心坐标位置。

3.如权利要求1所述的智能行为分析方法，其特征在于，

所述步骤S43具体包括以下内容：

预先设定一条或多条检测线，判断人体目标重心坐标与检测线之间的位置关系，当人体目标重心位置通过检测线，则视为越线；和/或

预先设定一个多边形区域作为检测区域，判断人体目标的重心坐标与多边形区域之间的位置关系，当重心坐标在检测区域内超过固定时长，则视为区域入侵；和/或

预先设定一个多边形区域作为检测区域，并设定检测区域内最大允许人数，判断人体目标重心位置是否进入检测区域，当人体目标重心坐标进入检测区域内的数目超过最大允许人数，则视为区域人数异常。

4.如权利要求1所述的智能行为分析方法，其特征在于，

所述步骤S43包括以下内容：

预先设定一个轨迹长度阈值，对监控区域内每个人体目标的重心位置的运动轨迹进行累加，当累计轨迹长度达到轨迹长度阈值时，则视为行程过长；和

预先设定一个停留时间阈值，对监控区域内每个人体目标的停留时间进行累加，当累计时长达到停留时间阈值，则视为逗留过久；和

预先设定一个区域运动速度阈值，分别累计监控区域内每个人体目标的轨迹长度和停留时间，统计所有人体目标的单位时间内的平均目标轨迹长度，当单位时间内的平均目标轨迹长度超过区域运动速度阈值，则视为运动过快。

5.如权利要求1所述的智能行为分析方法，其特征在于，

预先设定一个单体速度阈值，对监控区域内单个人体目标的各个关节点的进行轨迹跟踪，统计在单位时间内目标的各个关节点的轨迹长度，当单位时间内的轨迹长度超过单体速度阈值，则视为剧烈运动。

6.如权利要求1所述的智能行为分析方法，其特征在于，

所述适用于狭小空间的智能行为分析方法还包括以下步骤：

检测深度图像中各个点的深度平均值和各个点的方差，若各个点的深度平均值小于阈值，且各个点的方差也小于阈值，则视为镜头异常。

7.一种适用于狭小空间的智能行为分析设备，采用如权利要求1～6任一项所述的智能行为分析方法，其特征在于，

包括

深度相机(11)，用于拍摄狭小空间内的深度图像；

深度图像处理模块(13)，用于将人体分为多个身体组件；

人体骨架生成模块(15)，用于对多个身体组件分别进行分类判断并生成人体骨架系统；

跟踪分析模块(17)，用于对人体骨架系统的运动轨迹进行跟踪分析以识别出人体的行为状态；

预警模块(19)，用于根据所述分析模块(17)的识别结果判断是否产生预警。

Images