CN114463838A - 人体行为识别方法、系统、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种人体行为识别方法、系统、电子装置和存储介质，其中，该人体行为识别方法包括：获取扶梯场景下的待检测图像，根据该待检测图像确定位于扶梯上的各个人体目标；获取该扶梯场景下的人体运动检测角度，基于该人体运动检测角度计算该人体目标对应的当前行为特征，从该人体目标中筛选出该当前行为特征符合预设倒地特征的目标作为待检测目标；其中，该预设倒地特征用于指示该人体目标在倒地状态下的行为特征；获取该待检测目标的姿态信息，根据该姿态信息确定该待检测目标是否存在倒地行为。通过本申请，解决了扶梯场景下倒地行为识别的准确性和效率低的问题。

Description

人体行为识别方法、系统、电子装置和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及人体行为识别方法、系统、电子装置和存储介质。

背景技术

电动扶梯的应用十分广泛，在大型商场，地铁站，办公大楼都能看见电动扶梯的使用，但是行人在乘坐电动扶梯时，因为扶梯上下移动，当行人不注意时会发生跌倒的情况，从而造成不必要的人员伤亡。从安全角度来讲，当发生有人员跌倒事件的时候，电梯应该紧急制动，但是这种联动策略是以准确的跌倒检测为前提条件的。

在相关技术中，扶梯人员异常行为监控通常是使用设置摄像头对扶梯进行拍摄，然后再由相关人员进行行为监控，这种方法虽然可以对异常行为进行监控判断，但需要耗费大量的人力资源，而且当人眼疲劳时会出现异常行为的误判，不能有效及时的阻止事故的发生，导致扶梯场景下倒地行为识别的准确性和效率较低。

目前针对相关技术中扶梯场景下倒地行为识别的准确性和效率低的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种人体行为识别方法、系统、电子装置和存储介质，以至少解决相关技术中扶梯场景下倒地行为识别的准确性和效率低的问题。

第一方面，本申请实施例提供了一种人体行为识别方法，所述方法包括：

获取扶梯场景下的待检测图像，根据所述待检测图像确定位于扶梯上的各个人体目标；

获取所述扶梯场景下的人体运动检测角度，基于所述人体运动检测角度计算所述人体目标对应的当前行为特征，从所述人体目标中筛选出所述当前行为特征符合预设倒地特征的目标作为待检测目标；其中，所述预设倒地特征用于指示所述人体目标在倒地状态下的行为特征；

获取所述待检测目标的姿态信息，根据所述姿态信息确定所述待检测目标是否存在倒地行为。

在其中一些实施例中，所述根据所述待检测图像确定位于扶梯上的多个人体目标包括：

获取至少一帧历史图像，并将所述历史图像和所述待检测图像依次输入至预先训练的人体检测模型，以输出人体部位信息；

利用目标跟踪算法，针对多张所述帧图片中的所述人体部位信息分别进行深度特征信息提取，以得到每张所述帧图像中对应于所述人体部位信息的的目标框结果；

根据所有所述目标框结果之间的关联信息，确定所述人体目标。

在其中一些实施例中，所述根据所有所述目标框结果之间的关联信息，确定所述人体目标包括：

获取所有所述深度特征信息之间的两两匹配结果，在所述两两匹配结果指示匹配成功的情况下，检测所述深度特征信息对应的目标框之间的交并比信息；

在所述交并比信息达到预设的交并比阈值的情况下，利用所述目标跟踪算法生成所述目标框结果对应的唯一标识，并根据所述目标框结果和所述唯一标识确定所述人体目标。

在其中一些实施例中，在所述人体运动检测角度包括人体比例的情况下，所述基于所述人体运动检测角度计算所述人体目标对应的当前行为特征，从所述人体目标中筛选出所述当前行为特征符合预设倒地特征的目标作为待检测目标包括：

获取至少一帧历史图像；

根据所述人体运动检测角度计算每张所述待检测图像中用于表征每个所述人体目标对应的人体比例的第一当前行为特征；

在所述历史图像的帧数小于预设的第一帧数阈值的情况下，将预设的第一人体比例阈值作为对应于所述第一当前行为特征的第一预设倒地特征；

在所述历史图像的帧数大于或等于所述第一帧数阈值的情况下，计算每帧所述历史图像中每个人体目标对应的人体比例的历史行为特征，根据所有所述历史行为特征的均值统计结果获取第二人体比例阈值，将所述第二人体比例阈值作为所述第一预设倒地特征；

根据所述第一当前行为特征与所述第一预设倒地特征之间的比较结果，得到人体比例筛选结果；

根据所述人体比例筛选结果得到所述待检测目标。

在其中一些实施例中，在所述人体运动检测角度还包括运动轨迹的情况下，所述根据所述人体比例筛选结果得到所述待检测目标包括：

根据所述人体运动检测角度计算所述待检测图像中所述人体目标在预设特征方向上的实时坐标以得到第二当前行为特征；

获取所述历史图像中各个所述人体目标在所述预设特征方向上的运动轨迹，并根据所述运动轨迹获取对应于所述第二当前行为特征的第二预设倒地特征；

根据所述第二当前行为特征与所述第二预设倒地特征之间的距离计算结果，得到运动轨迹筛选结果；

根据所述人体比例筛选结果和所述运动轨迹筛选结果得到所述待检测目标。

在其中一些实施例中，在所述人体运动检测角度还包括人体特征直线的情况下，所述根据所述人体比例筛选结果和所述运动轨迹筛选结果得到所述待检测目标包括：

根据所述人体运动检测角度计算所述人体目标中至少两条中心特征直线之间的角度以得到第三当前行为特征，将预设的角度阈值作为对应于所述第三当前行为特征的第三预设倒地特征，并根据所述第三当前行为特征与所述第三预设倒地特征之间的比较结果，得到特征直线筛选结果；

根据所述人体比例筛选结果、所述运动轨迹筛选结果和所述特征直线筛选结果得到所述待检测目标。

在其中一些实施例中，所述获取所述待检测目标的姿态信息包括：

将所述待检测目标输入至预先训练的姿态估计模型，以输出人体关键点和姿态分类结果；

根据所述人体关键点得到人体特征直线信息，并根据所述人体特征直线信息以及预设的特征阈值确定关键点检测结果；

根据所述姿态分类结果和所述关键点检测结果确定所述姿态信息。

在其中一些实施例中，所述确定所述待检测目标是否存在倒地行为之后，所述方法还包括：

获取至少一帧历史图像；

获取在预设时间范围内的所述历史图像和所述待检测图像中确定存在所述倒地行为的数量；

在所述数量达到预设的第二帧数阈值的情况下判断倒地事件发生，并响应于所述倒地事件，发送报警信息至报警设备进行报警。

第二方面，本申请实施例提供了一种人体行为识别系统，所述系统包括：图像采集设备和主控装置；其中，所述图像采集设备和所述主控装置连接；

所述图像采集设备用于采集扶梯场景下的视频流信息，并将所述视频流信息发送至所述主控装置；

所述主控装置用于执行如上述第一方面所述的人体行为识别方法。

第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的人体行为识别方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的人体行为识别方法。

相比于相关技术，本申请实施例提供的人体行为识别方法、系统、电子装置和存储介质，通过获取扶梯场景下的待检测图像，根据该待检测图像确定位于扶梯上的多个人体目标；获取该扶梯场景下的人体运动检测角度，基于该人体运动检测角度计算该人体目标对应的当前行为特征，从该人体目标中筛选出该当前行为特征符合预设倒地特征的目标作为待检测目标；其中，该预设倒地特征用于指示该人体目标在倒地状态下的行为特征；获取该待检测目标的姿态信息，根据该姿态信息确定该待检测目标是否存在倒地行为，解决了扶梯场景下倒地行为识别的准确性和效率低的问题。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种人体行为识别方法的应用环境图；

图2是根据本申请实施例的一种人体行为识别方法的流程图；

图3是根据本申请实施例的另一种人体行为识别方法的流程图；

图4是根据本申请实施例的一种人体行为识别装置的结构框图；

图5是根据本申请实施例的一种人体行为识别系统的结构框图；

图6是根据本申请实施例的一种计算机设备内部的结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请实施例提供的人体行为识别方法，可以应用于如图1所示的应用环境中。其中，图像采集设备12通过网络与服务器设备14进行通信。服务器设备14通过图像采集设备12获取扶梯场景下的待检测图像，根据待检测图像确定位于扶梯上的各个人体目标，从人体目标中筛选出当前行为特征符合预设倒地特征的目标作为待检测目标，并获取待检测目标的姿态信息，最终根据物姿态信息确定该待检测目标是否存在倒地行为。其中，该图像采集设备12可以但不限于是各种双目相机、球机或其他用于采集图像的设备，该服务器设备14可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

本实施例提供了一种人体行为识别方法，图2是根据本申请实施例的一种人体行为识别方法的流程图，如图2所示，该流程包括如下步骤：

步骤S220，获取扶梯场景下的待检测图像，根据该待检测图像确定位于扶梯上的各个人体目标。

其中，上述待检测图像是指由安装部署在扶梯场景下的上述图像采集设备采集到的图像。该待检测图像可以由上述服务器设备、个人计算机、笔记本电脑或处理芯片等主控装置从图像采集设备监控的实时视频流中提取当前帧图片得到。具体地，在获取到待检测图像之后，可以由该主控装置通过人体检测等算法对该待检测图像进行人体检测，以得到上述各个人体目标。可以理解的是，本实施例中针对当前帧的待检测图像检测到的人体目标可以为多个，也可以为一个或者未检测到人体目标；当该主控装置未检测到人体目标时，可以由该主控装置继续从上述实时视频流中提取下一帧图像作为待检测图像并对其进行人体检测。

步骤S240，获取该扶梯场景下的人体运动检测角度，基于该人体运动检测角度计算该人体目标对应的当前行为特征，从该人体目标中筛选出该当前行为特征符合预设倒地特征的目标作为待检测目标；其中，该预设倒地特征用于指示该人体目标在倒地状态下的行为特征。

其中，上述人体运动检测角度用于指示从扶梯场景下的对应角度对待检测图像中的各人体目标进行检测以获取得到上述当前行为特征；例如，用户可以预先将该人体运动检测角度设置为在扶梯场景下的人体比例检测，则在后续的检测步骤中，主控装置可以采用与人体比例检测对应的检测机制检测每个人体目标的当前行为特征。该当前行为特征是指上述多个人体目标各自的运动速度、人体比例或人体特征直线等用于表征实时行为特征的数据。上述预设倒地特征是指与该当前行为特征相匹配，且预先设置好的处于异常状态下的人体目标对应的当前行为特征的阈值范围；例如，该当前行为特征为各人体目标对应的人体比例计算结果，则与该当前行为特征的预设倒地特征为该人体目标在倒地状态下的人体比例范围值。具体地，可以由上述主控装置针对多个人体目标一一计算对应的一个或多个当前行为特征，并将各人体目标的当前行为特征与该预设倒地特征进行比较，若符合对应的预设倒地特征则说明此时人体目标出现异常，需要对异常状态的人体目标进行筛除，以避免由于不必要的姿态检测导致的计算资源浪费，并提高识别效率；否则说明未出现异常，可以将该人体目标作为待检测目标进行进一步姿态检测。

步骤S260，获取该待检测目标的姿态信息，根据该姿态信息确定该待检测目标是否存在倒地行为。

具体地，可以利用深度神经网口对该待检测目标回归得到头部、颈部和四肢等主要关节部位的人体关键点，将该人体关键点进行链接从而形成人体骨架，将人体骨架作为骨架模型的输入，以人体姿态作为监督，最终输出姿态信息，并根据输出的姿态信息的类别判定视频流信息中对应的待检测目标的行为特征，以确定上述扶梯场景下的待检测目标是否存在倒地行为。

通过上述步骤S220至步骤S260，通过扶梯场景下的待检测图像确定位于扶梯上的各人体目标并进行初筛选处理，最终基于筛选得到的待检测目标确定在扶梯场景下是否存在倒地行为，因此通过初步筛选处理保证了跌倒估计的准确性，同时由于跌倒为小概率事件，可以只针对筛选后的目标进行进一步的跌倒检测以提高检测的实时性，节约了计算资源，从而解决了扶梯场景下倒地行为识别的准确性和效率低的问题。

在其中一些实施例中，上述根据该视频流信息确定位于扶梯上的多个人体目标还包括如下步骤：

步骤S221，获取至少一帧历史图像，并将该历史图像和该待检测图像依次输入至预先训练的人体检测模型，以输出人体部位信息。

其中，上述人体检测模型可以由上述主控装置通过ResNet或YOLOV5等目标检测网络训练生成。例如，该主控装置获取多张已知人体目标的待训练图像，对该待训练图像进行预处理得到训练集，并将该训练集输入至YOLOV5神经网络进行训练，最终生成该人体检测模型。则上述由视频流信息分解得到的多帧历史图像、待检测图像依次输入至该人体检测模型，以对各张帧图片的人体、头肩等特征部位进行检测；例如，采用适用于扶梯角度的人体和头肩目标框的比例大小，分别可检测出人体部位和头肩部位。该主控装置还可以设定类别置信阈值，当该人体检测模型输出的类别置信度大于设定的类别置信阈值，则判定当前目标为人体或头肩，进而得到各张帧图片中与各人体或头肩相对应的目标框、目标区域坐标和类型等人体部位信息。

步骤S222，利用目标跟踪算法，针对该历史图像和该待检测图像中的该人体部位信息分别进行深度特征信息提取，以得到每帧该历史图像和该待检测图像中对应于该人体部位信息的的目标框结果。

其中，通过上述目标跟踪算法，可以对上述各帧历史图像和该待检测图像中所有人体目标进行跟踪，以得到各人体目标对应的目标框。具体地，可以由上述主控装置使用目标跟踪算法，对由上述步骤S211已确定的人体目标进行跟踪，在时间帧数序列上建立跟踪模型，并在连续帧中利用所建立的跟踪模型针对不同人体目标进行深度特征信息提取，得到目标框结果。需要补充说明的是，为了避免通过上述人体检测模型得到的检测结果出现误检、漏检的现象，本实施例还可以利用上述目标跟踪算法针对上述帧图片中是否还存在未检测到的人体目标进行二次检测；例如，可以通过背景差分法或帧间差分法检测帧图片，在此不再赘述。

步骤S223，根据所有该目标框结果之间的关联信息，确定该人体目标。

其中，若各连续帧图片中存在相互匹配的目标框结果，则将该目标框结果对应的人体目标作为同一个目标进行后续检测分析，以便对多个人体目标进行统一管理。

通过上述步骤S221至步骤S223，利用训练完备的人体检测模型依次对各帧历史图像和待检测图像进行训练得到人体部位信息，并利用目标跟踪算法对检测得到的人体目标进一步跟踪，从而实现了对扶梯场景下多个人体目标的统一管理，避免了视频流信息中检测到多个人体目标导致的识别结果匹配错误，有效提高了扶梯场景下倒地行为识别的准确性。

在其中一些实施例中，上述根据所有该目标框结果之间的关联信息，确定该人体目标还包括如下步骤：

步骤S224，获取所有该深度特征信息之间的两两匹配结果，在该两两匹配结果指示匹配成功的情况下，检测该深度特征信息对应的目标框之间的交并比信息。

具体地，可以由上述主控装置对上述步骤S222提取得到的连续帧中的深度特征信息进行两两匹配，若每两帧中的人体目标的深度特征信息相匹配则说明匹配成功，再由该主控装置对每两帧之间的人体目标对应的目标框进行交并比计算，即根据两个目标框的交集除以并集的百分比互相计算以得到交并比信息。

步骤S225，在该交并比信息达到预设的交并比阈值的情况下，利用该目标跟踪算法生成该目标框结果对应的唯一标识，并根据该目标框结果和该唯一标识确定该人体目标。

其中，上述交并比阈值可以由用户预先进行设置，例如可以设置为0.5。则当上述步骤S224计算得到的交并比信息达到该交并比阈值时，说明此时两个目标框重叠率较高，属于同一人体目标，因此该目标可以被跟踪。然后，上述主控装置还可以再利用上述目标跟踪算法，针对上述目标框进行检测，进而分别给每个目标框均指定一个唯一标识，例如对应人体的头肩目标可标上与人体相同的唯一标识，以便对每个人体目标进行管理。该唯一标识可以包括目标ID号或者标识符等等。

通过上述步骤S224至步骤S225，若每两帧人员的特征相匹配且每两帧之间目标框的交并比达到阈值，则能判定该目标可被跟踪，并标上相应的ID记录轨迹，从而通过进一步进行目标跟踪，提高了扶梯场景下倒地行为识别的准确性，同时有效加强了针对视频流信息中多个人体目标的管理，提高了效率。

在其中一些实施例中，提供了一种人体行为识别方法，图3是根据本申请实施例的另一种人体行为识别方法的流程图，如图3所示，该流程包括图2所示的步骤S220、步骤S260，此外在上述人体运动检测角度包括人体比例的情况下，还包括如下步骤：

步骤S310，获取至少一帧历史图像；根据该人体运动检测角度计算该待检测图像中用于表征每个该人体目标对应的人体比例的第一当前行为特征。

其中，上述人体比例是指人体各特征之间的比值关系，例如人体长宽比等。具体地，上述主控装置可以基于上述指示人体比例检测的人体运动检测角度，对上述步骤检测到的人体目标对应的目标框进行长度和宽度的提取，进而计算得到作为第一当前行为特征的目标框长宽比数值。

步骤S320，在该历史图像的帧数小于预设的第一帧数阈值的情况下，将预设的第一人体比例阈值作为对应于该第一当前行为特征的第一预设倒地特征。

其中，上述第一帧数阈值可以由用户预先进行设置，例如设置为10帧；该第一帧数阈值可以用n表示，且n为正整数。则当上述主控装置检测到上述历史图像的帧数小于该第一帧数阈值时，说明检测人体目标的帧数较少，需要依靠预设的经验值即上述预设的第一人体比例阈值进行后续的异常判断筛选，则此时可以基于大数据统计得出的先验知识预先确定上述第一人体比例阈值，并作为上述第一预设倒地特征。例如，当人体处于正常状态下，长宽比例通常为8:1，该第一人体比例阈值可以为7，基于该第一人体比例阈值得到0～7范围的第一预设倒地特征。

步骤S330，在该历史图像的帧数大于或等于该第一帧数阈值的情况下，计算每帧该历史图像中每个人体目标对应的人体比例的历史行为特征，根据所有该历史行为特征的均值统计结果获取第二人体比例阈值，将该第二人体比例阈值作为该第一预设倒地特征。

其中，当上述主控装置检测到上述历史图像的帧数大于或等于上述第一帧数阈值时，说明检测人体目标的帧数较多，可以通过历史图像对应的历史行为特征的累计值不断计算调整上述第二人体比例阈值的计算结果，以使得该计算结果逐渐趋于准确，即此时可以基于各帧历史图像中历史行为特征的累计值计算得到上述第二人体比例阈值。具体地，可以由该主控装置计算上述图像采集设备监控范围内人体出现n帧历史图像的长宽比的均值和方差等累计值统计结果，并作为上述第一预设倒地特征。例如，若针对n帧的人体目标检测到的长宽比的累计均值为6.5:1，说明该人体目标可能为少儿，此时可以对应生成0～6.5的第一预设倒地特征，以判断当前帧的的长宽比是否小于累计长宽比均值；此外还可以比较该当前帧的方差是否远大于累计帧的平均方差，或比较其他统计数值，在此不再赘述。

步骤S340，根据该第一当前行为特征与该第一预设倒地特征之间的比较结果，得到人体比例筛选结果。

具体地，当人体在自动扶梯上正常运行时，人体的长宽比等比例是在某一范围内变化的，而当人体出现摔倒等异常状况时，人体高度会发生突变，导致人体的长宽比也会发生变化，因此当人体比例小于正常阈值范围内，或者说处于异常阈值范围内，则可以初步判断人体出现了异常。通过上述步骤S320和步骤S330，在不同情况下基于经验值或累计值得到了上述第一预设倒地特征之后，可以由上述主控装置比较上述第一当前行为特征和该第一预设倒地特征，若针对当前帧实时检测到的第一当前行为特征突变为符合第一预设倒地特征，则说明此时人体可能出现了倒地的异常状态，可以存放至人体比例筛选结果中进行后续检测；否则，说明对应的人体目标运动稳定，无异常状态，因此可以进行筛除。

步骤S350，根据该人体比例筛选结果得到该待检测目标。

通过上述步骤S310至步骤S350，通过人体比例检测对人体目标进行姿态初步筛选，能够有效保证视频识别过程中初步筛选的准确性，从而提高了扶梯场景下倒地行为识别的准确性和效率。

在其中一些实施例中，在上述人体运动检测角度还包括运动轨迹的情况下，上述根据该人体比例筛选结果得到该待检测目标还包括如下步骤：

步骤S351，根据该人体运动检测角度计算该待检测图像中该人体目标在预设特征方向上的实时坐标以得到第二当前行为特征。

其中，上述预设特征方向可以预先进行设置，例如可以设置为图像中的横坐标方向或纵坐标方向。具体地，上述主控装置可以基于上述人体运动检测角度中指示运动轨迹的检测机制，对上述待检测图像中各人体目标在预设特征方向上的坐标分别进行实时检测，得到与该运动轨迹检测相对应的上述第二当前行为特征；例如，该第二当前行为特征可以为图像中纵坐标方向上的实时坐标。

步骤S352，获取该历史图像中各个该人体目标在该预设特征方向上的运动轨迹，并根据该运动轨迹获取对应于该第二当前行为特征的第二预设倒地特征。

其中，当人体处在扶梯时，扶梯的运动方向和速度是匀速不变的，因此人体运动轨迹在预设特征方向上分量也是保持匀速变化，因此可以先计算前n帧历史图像在该预设特征方向上的运动轨迹，再由前n帧运动轨迹计算出n+1帧时预定的人体轨迹在预设特征方向上的坐标，即计算得到上述第二预设倒地特征。

步骤S353，根据该第二当前行为特征与该第二预设倒地特征之间的距离计算结果，得到运动轨迹筛选结果。

其中，当在上述预设特征方向上，当前帧图片上的人体目标的实时坐标与上述第二预设倒地特征中预定轨迹坐标之间的欧氏距离大于设定的正常阈值时，此时可以判断人体目前可能处于异常状态，可以存放至运动轨迹筛选结果中进行后续检测；否则，说明对应的人体目标运动稳定，无异常状态，因此可以进行筛除。

步骤S354，根据该人体比例筛选结果和该运动轨迹筛选结果得到该待检测目标。

具体地，可以由上述主控装置将上述人体比例筛选结果中的人体目标，与上述运动轨迹筛选结果中的人体目标进行匹配，进而将重复的人体目标作为上述待检测目标，从而实现了将同时满足上述人体比例筛选和上述运动轨迹筛选的人体目标初步判定为该时刻该ID人体可能出现倒地状态的初步筛选方法。

通过上述步骤S351至步骤S354，利用在特定方向上的人体运动轨迹进行运动轨迹检测，并结合人体框比例检测进行姿态初步筛选，从而保证了人体行为识别过程中初步筛选的准确性，进一步提高了扶梯场景下倒地行为识别的准确性和效率。

在其中一些实施例中，在上述人体运动检测角度还包括人体特征直线的情况下，上述根据该人体比例筛选结果和该运动轨迹筛选结果得到该待检测目标还包括如下步骤：计算该人体目标中至少两条中心特征直线之间的角度以得到第三当前行为特征，将预设的角度阈值作为对应于该第三当前行为特征的第三预设倒地特征，并根据该第三当前行为特征与该第三预设倒地特征之间的比较结果，得到特征直线筛选结果；根据该人体比例筛选结果、该运动轨迹筛选结果和该特征直线筛选结果得到该待检测目标。

其中，当人体在扶梯正常上下时，人体是处于直立状态，其头部中心直线与人体中心直线的夹角理论情况为180度，考虑现实中会有误差情况，去除误差角度，当人体头肩夹角小于该阈值角度则认定人体出现了异常情况，可以存放至特征直线筛选结果中进行后续检测。因此，可以由上述主控装置基于上述人体运动检测角度中指示人体特征直线的检测机制，计算每个人体目标的指定的中心特征直线之间的角度；该中心特征直线可以是头部中心直线、人体中心直线或背部中心直线等，只要能够表征人体状态即可。例如，该主控装置可以响应于该人体运动检测角度检测头部中心直线与人体中心直线之间的夹角并作为上述第三当前行为特征，并将上述角度阈值预先设置为人体未处于直立状态时头部中心直线与人体中心直线的夹角，即0至180度，该角度阈值即为上述第三预设倒地特征。则当该主控装置检测到该第三当前行为特征符合该第三预设倒地特征时，说明此时对于的人体目标处于异常状态下，可以存放至特征直线筛选结果中进行后续检测；否则，说明对应的人体目标运动稳定，无异常状态，因此可以进行筛除。该主控装置将上述人体比例筛选结果中的人体目标、上述运动轨迹筛选结果中的人体目标，以及该特征直线筛选结果中的进行匹配，进而将重复的人体目标作为上述待检测目标，从而实现了将同时满足上述人体比例筛选、上述运动轨迹筛选和角度筛选的人体目标初步判定为该时刻该ID人体可能出现倒地状态的初步筛选方法。通过上述实施例，利用头肩与人体夹角进行角度检测，并结合人体框比例检测和运动轨迹检测进行姿态初步筛选，进一步提高了姿态初步筛选的准确性。

在其中一些实施例中，上述获取该待检测目标的姿态信息还包括如下步骤：

步骤S261，将该待检测目标输入至预先训练的姿态估计模型，以输出人体关键点和姿态分类结果。

其中，上述姿态估计模型可以由上述主控装置通过DeepPose等神经网络训练生成。例如，该主控装置获取多张已知人体姿态类别的待训练图像，对该待训练图像进行预处理得到训练集，并将该训练集输入至DeepPose神经网络进行训练，最终生成该姿态估计模型。则将上述待检测目标输入至该姿态估计模块，可以输出得到人体的关键点姿态分类。

步骤S262，根据该人体关键点得到人体特征直线信息，并根据该人体特征直线信息以及预设的特征阈值确定关键点检测结果。

具体地，可以由上述主控装置对人体关键点的坐标输出做进一步判断。其中，针对扶梯上行为倒地行为识别这一过程，主要的判断信息来自于人体的下半身，该主控装置统计人体的左臀、右臀、左膝、右膝、左脚踝和右脚踝的关键点坐标，可以计算出人体左大腿、左小腿、右大腿和及右小腿的长度，以及大腿和小腿之间的角度关系，即上述人体特征直线信息。当人体正常站立时，大腿和小腿的角度往往为180度，同时大腿长度与小腿的长度比值为1:1，当人体跌倒时，该角度和比值都会发生变化，则上述特征阈值可以设置为180度和1:1比值。该主控装置可以将上述人体特征直线信息中实时检测到的角度和比值分别与该特征阈值进行比较，得到上述关键点检测结果。

步骤S263，根据该姿态分类结果和该关键点检测结果确定该姿态信息。

其中，可以由上述主控装置将上述姿态分类结果和上述关键点检测结果均存储为上述姿态信息，以判断扶梯场景下是否存在倒地行为。具体地，当上述步骤S261中的姿态分类结果指示关键点姿态分类为跌倒，且上述关键点检测结果指示上述实时检测到的角度和比值均达到设定的特征阈值时，可以确定当前帧中对应的人体目标发生的跌倒动作。

通过上述步骤S261至步骤S263，通过关键点姿态估计和人体关键点角度分析作为人体跌倒的二次判断，可以有效的判断出当前人体是否处在跌倒状态，进一步提升了扶梯场景下倒地行为识别的准确性。

在其中一些实施例中，上述确定该待检测目标是否存在倒地行为之后，上述人体行为识别方法还包括如下步骤：

步骤S281，获取至少一帧历史图像；获取在预设时间范围内的该历史图像和该待检测图像中确定存在该倒地行为的数量；在该数量达到预设的第二帧数阈值的情况下判断倒地事件发生，并响应于该倒地事件，发送报警信息至报警设备进行报警。具体地，如果同一ID的人体目标在某时间范围T内达到N帧都为倒地状态，则针对该ID的目标发出倒地报警信息至报警设备进行报警。其中，N为大于1的正整数。该报警设备为显示屏、发光二级管、扬声器或个人计算机等用于报警设备。

通过上述步骤S281，在连续多帧识别都为倒地状态下控制报警设备报警，保证了安全性，且避免了只用单帧图像进行判断人体是否跌倒带来的误检漏检问题，进一步提高了扶梯场景下倒地行为识别的准确性。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，图3中的步骤S310至步骤S340中人体比例筛选结果的获取流程，可以与上述步骤S351至步骤S354中运动轨迹筛选结果的获取流程同时执行，也可以先后执行。

本实施例还提供了一种人体行为识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本申请实施例的一种人体行为识别装置的结构框图，如图4所示，该装置包括：获取模块42、筛选模块44和倒地识别模块46；该获取模块42，用于获取扶梯场景下的待检测图像，根据该待检测图像确定位于扶梯上的各个人体目标；该筛选模块44，用于获取该扶梯场景下的人体运动检测角度，基于该人体运动检测角度计算该人体目标对应的当前行为特征，从该人体目标中筛选出该当前行为特征符合预设倒地特征的目标作为待检测目标；其中，该预设倒地特征用于指示该人体目标在倒地状态下的行为特征；该倒地识别模块46，用于获取该待检测目标的姿态信息，根据该姿态信息确定该待检测目标是否存在倒地行为。

通过上述实施例，筛选模块44通过扶梯场景下的待检测图像确定位于扶梯上的各人体目标并进行初筛选处理，倒地识别模块46基于筛选得到的待检测目标确定在扶梯场景下是否存在倒地行为，因此通过初步筛选处理保证了跌倒估计的准确性，同时由于跌倒为小概率事件，可以只针对筛选后的目标进行进一步的跌倒检测以提高检测的实时性，节约了计算资源，从而解决了扶梯场景下倒地行为识别的准确性和效率低的问题。

在其中一些实施例中，上述获取模块42还用于获取至少一帧历史图像，并将该历史图像和该待检测图像依次输入至预先训练的人体检测模型，以输出人体部位信息；该获取模块42利用目标跟踪算法，针对该历史图像和该待检测图像中的该人体部位信息分别进行深度特征信息提取，以得到每张该帧图像中对应于该人体部位信息的的目标框结果；该获取模块42根据所有该目标框结果之间的关联信息，确定该人体目标。

在其中一些实施例中，上述获取模块42还用于获取所有该深度特征信息之间的两两匹配结果，在该两两匹配结果指示匹配成功的情况下，检测该深度特征信息对应的目标框之间的交并比信息；该获取模块42在该交并比信息达到预设的交并比阈值的情况下，利用该目标跟踪算法生成该目标框结果对应的唯一标识，并根据该目标框结果和该唯一标识确定该人体目标。

在其中一些实施例中，上述筛选模块44还用于在上述人体运动检测角度包括人体比例的情况下，获取至少一帧历史图像；根据该人体运动检测角度计算该待检测图像中用于表征每个该人体目标对应的人体比例的第一当前行为特征；该筛选模块44在该历史图像的帧数小于预设的第一帧数阈值的情况下，将预设的第一人体比例阈值作为对应于该第一当前行为特征的第一预设倒地特征；该筛选模块44在该历史图像的帧数大于或等于该第一帧数阈值的情况下，计算每帧该历史图像中每个人体目标对应的人体比例的历史行为特征，根据所有该历史行为特征的均值统计结果获取第二人体比例阈值，将该第二人体比例阈值作为该第一预设倒地特征；该筛选模块44根据该第一当前行为特征与该第一预设倒地特征之间的比较结果，得到人体比例筛选结果；该筛选模块根据该人体比例筛选结果得到该待检测目标。

在其中一些实施例中，上述筛选模块44还用于在上述人体运动检测角度还包括运动轨迹的情况下，根据该人体运动检测角度计算该待检测图像中该人体目标在预设特征方向上的实时坐标以得到第二当前行为特征；该筛选模块44获取该历史图像中各个该人体目标在该预设特征方向上的运动轨迹，并将该运动轨迹作为对应于该第二当前行为特征的第二预设倒地特征；该筛选模块44根据该第二当前行为特征与该第二预设倒地特征之间的距离计算结果，得到运动轨迹筛选结果；该筛选模块44根据该人体比例筛选结果和该运动轨迹筛选结果得到该待检测目标。

在其中一些实施例中，上述筛选模块44还用于在上述人体运动检测角度还包括人体特征直线的情况下，根据该人体运动检测角度计算该人体目标中至少两条中心特征直线之间的角度以得到第三当前行为特征，将预设的角度阈值作为对应于该第三当前行为特征的第三预设倒地特征，并根据该第三当前行为特征与该第三预设倒地特征之间的比较结果，得到特征直线筛选结果；该筛选模块44根据该人体比例筛选结果、该运动轨迹筛选结果和该特征直线筛选结果得到该待检测目标。

在其中一些实施例中，上述倒地识别模块46还用于将该待检测目标输入至预先训练的姿态估计模型，以输出人体关键点和姿态分类结果；该倒地识别模块46根据该人体关键点得到人体特征直线信息，并根据该人体特征直线信息以及预设的特征阈值确定关键点检测结果；该倒地识别模块46根据该姿态分类结果和该关键点检测结果确定该姿态信息。

在其中一些实施例中，上述人体行为识别装置还包括报警模块；该报警模块用于获取至少一帧历史图像；该报警模块获取在预设时间范围内的该历史图像和该待检测图像中确定存在该倒地行为的数量；该报警模块在该数量达到预设的第二帧数阈值的情况下判断倒地事件发生，并响应于该倒地事件，发送报警信息至报警设备进行报警。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本实施例还提供了一种人体行为识别系统，图5是根据本申请实施例的一种人体行为识别系统的结构框图，如图5所示，该系统包括：图像采集设备12和主控装置52；其中，该图像采集设备12和该主控装置52连接；该图像采集设备12用于采集扶梯场景下的待检测图像，并将该待检测图像发送至该主控装置52；该主控装置52用于获取该待检测图像，根据该待检测图像确定位于扶梯上的各个人体目标；该主控装置52获取该扶梯场景下的人体运动检测角度，基于该人体运动检测角度计算该人体目标对应的当前行为特征，从该人体目标中筛选出该当前行为特征符合预设倒地特征的目标作为待检测目标；其中，该预设倒地特征用于指示该人体目标在倒地状态下的行为特征；该主控装置52获取该待检测目标的姿态信息，根据该姿态信息确定该待检测目标是否存在倒地行为。

通过上述实施例，主控装置通过扶梯场景下的待检测图像确定位于扶梯上的各个人体目标并进行初筛选处理，最终基于筛选得到的待检测目标确定在扶梯场景下是否存在倒地行为，因此通过初步筛选处理保证了跌倒估计的准确性，同时由于跌倒为小概率事件，可以只针对筛选后的目标进行进一步的跌倒检测以提高检测的实时性，节约了计算资源，从而解决了扶梯场景下倒地行为识别的准确性和效率低的问题。

在其中一些实施例中，上述人体行为识别系统还包括报警设备，该报警设备连接至上述主控装置52；该主控装置52还用于获取至少一帧历史图像；该主控装置52获取在预设时间范围内的该历史图像和该待检测图像中确定存在该倒地行为的数量；该主控装置52在该数量达到预设的第二帧数阈值的情况下判断倒地事件发生，并响应于该倒地事件，发送报警信息至该报警设备进行报警。

在其中一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，图6是根据本申请实施例的一种计算机设备内部的结构图，如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储姿态信息。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述人体行为识别方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取扶梯场景下的待检测图像，根据该待检测图像确定位于扶梯上的各个人体目标。

S2，获取该扶梯场景下的人体运动检测角度，基于该人体运动检测角度计算该人体目标对应的当前行为特征，从该人体目标中筛选出该当前行为特征符合预设倒地特征的目标作为待检测目标；其中，该预设倒地特征用于指示该人体目标在倒地状态下的行为特征。

S3，获取该待检测目标的姿态信息，根据该姿态信息确定该待检测目标是否存在倒地行为。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的人体行为识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种人体行为识别方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种人体行为识别方法，其特征在于，所述方法包括：

获取扶梯场景下的待检测图像，根据所述待检测图像确定位于扶梯上的各个人体目标；

获取所述扶梯场景下的人体运动检测角度，基于所述人体运动检测角度计算所述人体目标对应的当前行为特征，从所述人体目标中筛选出所述当前行为特征符合预设倒地特征的目标作为待检测目标；其中，所述预设倒地特征用于指示所述人体目标在倒地状态下的行为特征；

获取所述待检测目标的姿态信息，根据所述姿态信息确定所述待检测目标是否存在倒地行为。

2.根据权利要求1所述的人体行为识别方法，其特征在于，所述根据所述待检测图像确定位于扶梯上的各个人体目标包括：

获取至少一帧历史图像，并将所述历史图像和所述待检测图像依次输入至预先训练的人体检测模型，以输出人体部位信息；

利用目标跟踪算法，针对所述历史图像和所述待检测图像中的所述人体部位信息分别进行深度特征信息提取，以得到每帧所述历史图像和所述待检测图像中对应于所述人体部位信息的的目标框结果；

根据所有所述目标框结果之间的关联信息，确定所述人体目标。

3.根据权利要求2所述的人体行为识别方法，其特征在于，所述根据所有所述目标框结果之间的关联信息，确定所述人体目标包括：

获取所有所述深度特征信息之间的两两匹配结果，在所述两两匹配结果指示匹配成功的情况下，检测所述深度特征信息对应的目标框之间的交并比信息；

在所述交并比信息达到预设的交并比阈值的情况下，利用所述目标跟踪算法生成所述目标框结果对应的唯一标识，并根据所述目标框结果和所述唯一标识确定所述人体目标。

4.根据权利要求1所述的人体行为识别方法，其特征在于，在所述人体运动检测角度包括人体比例的情况下，所述基于所述人体运动检测角度计算所述人体目标对应的当前行为特征，从所述人体目标中筛选出所述当前行为特征符合预设倒地特征的目标作为待检测目标包括：

获取至少一帧历史图像；

根据所述人体运动检测角度计算所述待检测图像中用于表征每个所述人体目标对应的人体比例的第一当前行为特征；

在所述历史图像的帧数小于预设的第一帧数阈值的情况下，将预设的第一人体比例阈值作为对应于所述当前行为特征的第一预设倒地特征；

在所述历史图像的帧数大于或等于所述第一帧数阈值的情况下，计算每帧所述历史图像中每个人体目标对应的人体比例的历史行为特征，根据所有所述历史行为特征的均值统计结果获取第二人体比例阈值，将所述第二人体比例阈值作为所述第一预设倒地特征；

根据所述第一当前行为特征与所述第一预设倒地特征之间的比较结果，得到人体比例筛选结果；

根据所述人体比例筛选结果得到所述待检测目标。

5.根据权利要求4所述的人体行为识别方法，其特征在于，在所述人体运动检测角度还包括运动轨迹的情况下，所述根据所述人体比例筛选结果得到所述待检测目标包括：

根据所述人体运动检测角度计算所述待检测图像中所述人体目标在预设特征方向上的实时坐标以得到第二当前行为特征；

获取所述历史图像中各个所述人体目标在所述预设特征方向上的运动轨迹，并根据所述运动轨迹获取对应于所述第二当前行为特征的第二预设倒地特征；

根据所述第二当前行为特征与所述第二预设倒地特征之间的距离计算结果，得到运动轨迹筛选结果；

根据所述人体比例筛选结果和所述运动轨迹筛选结果得到所述待检测目标。

6.根据权利要求5所述的人体行为识别方法，其特征在于，在所述人体运动检测角度还包括人体特征直线的情况下，所述根据所述人体比例筛选结果和所述运动轨迹筛选结果得到所述待检测目标包括：

根据所述人体运动检测角度计算所述人体目标中至少两条中心特征直线之间的角度以得到第三当前行为特征，将预设的角度阈值作为对应于所述第三当前行为特征的第三预设倒地特征，并根据所述第三当前行为特征与所述第三预设倒地特征之间的比较结果，得到特征直线筛选结果；

根据所述人体比例筛选结果、所述运动轨迹筛选结果和所述特征直线筛选结果得到所述待检测目标。

7.根据权利要求1所述的人体行为识别方法，其特征在于，所述获取所述待检测目标的姿态信息包括：

将所述待检测目标输入至预先训练的姿态估计模型，以输出人体关键点和姿态分类结果；

根据所述人体关键点得到人体特征直线信息，并根据所述人体特征直线信息以及预设的特征阈值确定关键点检测结果；

根据所述姿态分类结果和所述关键点检测结果确定所述姿态信息。

8.根据权利要求1至7任一项所述的人体行为识别方法，其特征在于，所述确定所述待检测目标是否存在倒地行为之后，所述方法还包括：

获取至少一帧历史图像；

获取在预设时间范围内的所述历史图像和所述待检测图像中确定存在所述倒地行为的数量；

在所述数量达到预设的第二帧数阈值的情况下判断倒地事件发生，并响应于所述倒地事件，发送报警信息至报警设备进行报警。

9.一种人体行为识别系统，其特征在于，所述系统包括：图像采集设备和主控装置；其中，所述图像采集设备和所述主控装置连接；

所述图像采集设备用于采集扶梯场景下的待检测图像，并将所述待检测图像发送至所述主控装置；

所述主控装置用于执行如权利要求1至8中任一项所述的人体行为识别方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至8中任一项所述的人体行为识别方法。

11.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至8中任一项所述的人体行为识别方法。

Images