CN114360055A - 基于人工智能的行为检测方法、设备及存储介质 - Google Patents

Abstract

本发明公开一种基于人工智能的行为检测方法、设备及存储介质。本发明通过获取待处理视频对应的图像帧，然后对图像帧进行图像分割，获得图像帧中的乘客信息，再根据乘客信息获得人体各部位关键点信息，并将人体各部位关键点信息传输至云端服务器，以使云端服务器根据所述人体各部位关键点信息进行异常行为预警。本发明通过对图像帧进行图像分割，获得乘客信息，然后根据乘客信息获得人体各部位关键点信息，能够对图像帧进行精准识别，获得人体各部位关键点信息，以使云端服务器进行异常行为预警，相较于现有的需要人为对监控视频进行实时监控，本发明能够根据待处理视频对存在异常行为的乘客进行准确识别，并进行异常行为预警。

Description

基于人工智能的行为检测方法、设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于人工智能的行为检测方法、设备及存储介质。

背景技术

近年来，随着高层建筑的增多，人们对电梯的依赖越来越强。如今轿厢式电梯内老人单独乘坐电梯后由于摔倒，而无法被及时发现就医的案例屡屡可见。大部分电梯轿厢内安装了监控摄像头，但传统视频监控系统需要人为对监控视频进行实时监视，容易误判和漏判。因此，如何对存在异常行为的乘客进行准确识别，成为一个亟待解决的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种基于人工智能的行为检测方法、设备及存储介质，旨在解决现有技术无法对存在异常行为的乘客进行准确识别的技术问题。

为实现上述目的，本发明提供了一种基于人工智能的行为检测方法，应用于终端，所述基于人工智能的行为检测方法包括：

获取待处理视频对应的图像帧；

对所述图像帧进行图像分割，获得所述图像帧中的乘客信息；

根据所述乘客信息获得人体各部位关键点信息，并将所述人体各部位关键点信息传输至云端服务器，以使所述云端服务器根据所述人体各部位关键点信息进行异常行为预警。

可选地，所述根据所述乘客信息获得人体各部位关键点信息，并将所述人体各部位关键点信息传输至云端服务器，以使所述云端服务器根据所述人体各部位关键点信息进行异常行为预警的步骤，具体包括：

获取所述乘客信息中的乘客标识信息和乘客人体轮廓信息；

对所述乘客人体轮廓信息进行姿态估计，获得人体各部位关键点信息；

将所述乘客标识信息和所述人体各部位关键点信息传输至云端服务器，以使云端服务器根据所述乘客标识信息和所述人体各部位关键点信息确定异常行为信息，并基于所述异常行为信息进行异常行为预警。

可选地，所述对所述图像帧进行图像分割，获得所述图像帧中的乘客信息的步骤，具体包括：

为所述图像帧中的乘客添加标识，获得乘客标识信息；

对所述图像帧进行图像分割，获得分割后的区域，并从所述分割后的区域中提取人体感兴趣区域；

通过预设神经网络对所述人体感兴趣区域进行边缘提取，获得所述图像帧中的乘客人体轮廓信息。

为实现上述目的，本发明提供了一种基于人工智能的行为检测方法，应用于云端服务器，所述基于人工智能的行为检测方法包括：

获取待监控电梯中当前乘客的乘客特征信息；

根据所述乘客特征信息和预设时空融合模型确定乘客行为融合特征；

对所述乘客行为融合特征进行行为分析，获得乘客行为分析结果，并基于所述乘客行为分析结果进行异常行为预警。

可选地，所述乘客特征信息包括乘客标识信息和人体各部位关键点信息；

所述根据所述乘客特征信息和预设时空融合模型确定乘客行为融合特征的步骤，具体包括：

根据所述人体各部位关键点信息和所述乘客标识信息确定同一乘客在连续图像帧中的人体各部位关键点信息和不同乘客在同一图像帧中的人体各部位关键点信息；

将所述同一乘客在连续图像帧中的人体各部位关键点信息和所述不同乘客在同一图像帧中的人体各部位关键点信息输入至预设时空融合模型中，获得乘客行为融合特征。

可选地，所述预设时空融合模型包括：预设长短期记忆网络、预设卷积神经网络以及预设特征融合神经网络；

所述将所述同一乘客在连续图像帧中的人体各部位关键点信息和所述不同乘客在同一图像帧中的人体各部位关键点信息输入至预设时空融合模型中，获得乘客行为融合特征的步骤，具体包括：

将所述同一乘客在连续图像帧中的人体各部位关键点信息输入至所述预设长短期记忆网络中，获得第一乘客行为特征；

将所述不同乘客在同一图像帧中的人体各部位关键点信息输入至所述预设卷积神经网络中，获得第二乘客行为特征；

将所述第一乘客行为特征和所述第二乘客行为特征输入至所述预设特征融合神经网络中，获得乘客行为融合特征。

可选地，所述对所述乘客行为融合特征进行行为分析，获得乘客行为分析结果，并基于所述乘客行为分析结果进行异常行为预警的步骤，具体包括：

对所述乘客行为融合特征进行分类，获得不同类型的乘客行为融合特征；

将所述不同类型的乘客行为融合特征与异常类型的乘客行为融合特征进行匹配；

根据匹配结果确定异常乘客行为融合特征，并基于所述异常乘客行为融合特征进行异常行为预警。

可选地，所述根据匹配结果确定异常乘客行为融合特征，并基于所述异常乘客行为融合特征进行异常行为预警的步骤，具体包括：

根据匹配结果确定异常乘客行为融合特征，并根据所述异常乘客行为融合特征确定异常行为；

获取在预设时长内的所述异常行为的发生次数，并在所述发生次数大于预设次数时，确定所述异常行为对应的异常乘客；

基于所述异常乘客进行异常行为预警。

此外，为实现上述目的，本发明还提出一种基于人工智能的行为检测设备，所述基于人工智能的行为检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于人工智能的行为检测程序，所述基于人工智能的行为检测程序配置为实现如上文所述的基于人工智能的行为检测方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于人工智能的行为检测程序，所述基于人工智能的行为检测程序被处理器执行时实现如上文所述的基于人工智能的行为检测方法的步骤。

本发明通过获取待处理视频对应的图像帧，然后对图像帧进行图像分割，获得图像帧中的乘客信息，再根据乘客信息获得人体各部位关键点信息，并将人体各部位关键点信息传输至云端服务器，以使云端服务器根据所述人体各部位关键点信息进行异常行为预警。本发明通过对图像帧进行图像分割，获得乘客信息，然后根据乘客信息获得人体各部位关键点信息，能够对图像帧进行精准识别，获得人体各部位关键点信息，以使云端服务器根据人体各部位关键点信息进行异常行为预警，相较于现有的需要人为对监控视频进行实时监控，本发明上述方式能够根据待处理视频对存在异常行为的乘客进行准确识别，并进行异常行为预警。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的基于人工智能的行为检测设备的结构示意图；

图2为本发明基于人工智能的行为检测方法第一实施例的流程示意图；

图3为本发明基于人工智能的行为检测系统的结构示意图；

图4为本发明基于人工智能的行为检测方法第二实施例的流程示意图；

图5为本发明基于人工智能的行为检测方法第三实施例的流程示意图；

图6为本发明基于人工智能的行为检测方法第四实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于人工智能的行为检测设备结构示意图。

如图1所示，该基于人工智能的行为检测设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对基于人工智能的行为检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于人工智能的行为检测程序。

在图1所示的基于人工智能的行为检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于人工智能的行为检测设备中的处理器1001、存储器1005可以设置在基于人工智能的行为检测设备中，所述基于人工智能的行为检测设备通过处理器1001调用存储器1005中存储的基于人工智能的行为检测程序，并执行本发明实施例提供的基于人工智能的行为检测方法。

本发明实施例提供了一种基于人工智能的行为检测方法，参照图2，图2为本发明基于人工智能的行为检测方法第一实施例的流程示意图。

本实施例中，所述基于人工智能的行为检测方法包括以下步骤：

步骤S10：获取待处理视频对应的图像帧；

需要说明的是，本实施例的执行主体可以是终端，例如边缘计算装置，该装置可以对图像进行处理，例如图像分割，图像去噪。

进一步地，本实施例还提供一种基于人工智能的行为检测系统，该系统可以实现本实施例中的基于人工智能的行为检测方法。参照图3，图3为本发明基于人工智能的行为检测系统的结构示意图。

如图3所示，基于人工智能的行为检测系统由1为云端服务器，2为云端服务器数据库，3和7为一种通用边缘计算装置，4和8为本地数据库，5和6为摄像头，9为物业终端电脑构成。云端服务器1分别与云端数据库2、边缘计算装置3和边缘计算装置7相连；所述的边缘计算装置3分别与本地数据库4、电梯摄像头5、电梯摄像头6相连；所述的边缘计算装置7分别与本地数据库8、物业终端电脑9相连。

可理解的是，当用户通过物业终端电脑9的网络远程访问云端服务器对摄像头5的状态进行访问时，云端服务器1向边缘计算装置3和边缘计算装置7广播访问指令，边缘计算装置3和边缘计算装置7对访问指令进行匹配；边缘计算装置3的外设接口或者网络模块接收到访问指令后，通过边缘计算装置3对应的摄像头5和摄像头6进行数据采集。

在具体实现中，可通过摄像头采集电梯中的待处理视频，并通过网络逐帧上传到本地数据库进行存储，然后通过边缘计算装置获取本地数据库中的待处理视频对应的图像帧。

步骤S20：对所述图像帧进行图像分割，获得所述图像帧中的乘客信息；

需要说明的是，乘客信息是指图像帧中的乘客对应的信息，具体可包括乘客标识信息、乘客行为信息等，本实施例对此不做具体限制。

可理解的是，图像分割是指把图像帧分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。具体的图像分割方法可包括基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。

步骤S30：根据所述乘客信息获得人体各部位关键点信息，并将所述人体各部位关键点信息传输至云端服务器，以使所述云端服务器根据所述人体各部位关键点信息进行异常行为预警。

需要说明的是，人体各部位关键点信息是指乘客人体各部位关键点的位置信息，具体可包括手部信息、头部信息、腿部信息等，本实施例对此不做具体限制。

在具体实现中，在云端服务器接收到边缘计算装置传输的人体各部位关键点信息后，可以准确识别异常行为，并进行异常行为预警。

本实施例通过获取待处理视频对应的图像帧，然后对图像帧进行图像分割，获得图像帧中的乘客信息，再根据乘客信息获得人体各部位关键点信息，并将人体各部位关键点信息传输至云端服务器，以使云端服务器根据所述人体各部位关键点信息进行异常行为预警。本实施例通过对图像帧进行图像分割，获得乘客信息，然后根据乘客信息获得人体各部位关键点信息，能够对图像帧进行精准识别，获得人体各部位关键点信息，以使云端服务器根据人体各部位关键点信息进行异常行为预警，相较于现有的需要人为对监控视频进行实时监控，本实施例上述方式能够根据待处理视频对存在异常行为的乘客进行准确识别，并进行异常行为预警。

参考图4，图4为本发明基于人工智能的行为检测方法第二实施例的流程示意图。

基于上述第一实施例，在本实施例中，所述步骤S30包括：

步骤S301：获取所述乘客信息中的乘客标识信息和乘客人体轮廓信息；

需要说明的是，乘客标识信息是指对乘客进行标识的信息，通过乘客标识信息可确定具体是哪一个乘客。乘客人体轮廓信息是指乘客人体的轮廓构成的信息，根据乘客人体轮廓信息可确定乘客的动作、行为等。

步骤S302：对所述乘客人体轮廓信息进行姿态估计，获得人体各部位关键点信息；

可理解的是，通过姿态估计可以确定某一三维目标物体的方位指向，本实施例中可以对乘客人体轮廓信息进行姿态估计，获得人体各部位关键点信息，即各部位关键点的三维坐标信息，具体可通过区域多人姿态估计(Regional Multi-person PoseEstimation，RMPE)对乘客人体轮廓信息进行姿态估计，还可通过其他的方法进行姿态估计，本实施例对此不做具体限制。

步骤S303：将所述乘客标识信息和所述人体各部位关键点信息传输至云端服务器，以使云端服务器根据所述乘客标识信息和所述人体各部位关键点信息确定异常行为信息，并基于所述异常行为信息进行异常行为预警。

在具体实现中，在云端服务器接收到边缘计算装置传输的人体各部位关键点信息和乘客标识信息后，可以准确识别异常行为并确定异常行为对应的乘客，基于异常行为和对应的乘客进行异常行为预警。

进一步地，在本实施例中，所述步骤S20包括：

步骤S201：为所述图像帧中的乘客添加标识，获得乘客标识信息；

可理解的是，为图像帧中的乘客添加标识，可获得乘客标识信息，并且同一乘客对应的乘客标识信息是相同的。

步骤S202：对所述图像帧进行图像分割，获得分割后的区域，并从所述分割后的区域中提取人体感兴趣区域；

需要说明的是，人体感兴趣区域是指在图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。

在具体实现中，在对图像帧进行图像分割后，可以得到多个分割后的区域，然后从分割后的区域中提取人体感兴趣区域。

步骤S203：通过预设神经网络对所述人体感兴趣区域进行边缘提取，获得所述图像帧中的乘客人体轮廓信息。

可理解的是，边缘提取是指在数字图像处理中，对于图片轮廓的一个处理，边缘的定义是图像灰度变化率最大的地方，也就是图像灰度值变化最剧烈的地方。

在具体实现中，可通过预设神经网络对人体感兴趣区域进行边缘提取，得到乘客人体轮廓信息。

本实施例通过获取乘客信息中的乘客标识信息和乘客人体轮廓信息，然后对乘客人体轮廓信息进行姿态估计，获得人体各部位关键点信息，再将乘客标识信息和人体各部位关键点信息传输至云端服务器，以使云端服务器根据乘客标识信息和人体各部位关键点信息确定异常行为信息，并所述异常行为信息进行异常行为预警。本实施例通过将乘客标识信息和人体各部位关键点信息确定异常行为信息，并基于异常行为信息进行异常行为预警，能够对存在异常行为的乘客进行准确识别，得到异常行为信息和异常行为信息对应的乘客，从而进行异常行为预警。

参考图5，图5为本发明基于人工智能的行为检测方法第三实施例的流程示意图。

在本实施例中，所述基于人工智能的行为检测方法包括：

步骤S100：获取待监控电梯中当前乘客的乘客特征信息；

需要说明的是，本实施例的执行主体可为云端服务器。

可理解的是，本实施例中的乘客特征信息可包括乘客标识信息和人体各部位关键点信息，具体可从边缘检测装置中获取。

步骤S200：根据所述乘客特征信息和预设时空融合模型确定乘客行为融合特征；

需要说明的是，预设时空融合模型是指预先设置的对乘客的特征进行融合的模型，通过该模型可以得到不同乘客在连续图像帧的行为特征，即乘客行为融合特征。

步骤S300：对所述乘客行为融合特征进行行为分析，获得乘客行为分析结果，并基于所述乘客行为分析结果进行异常行为预警。

可理解的是，通过对乘客行为融合特征进行分析，可获得乘客行为分析结果，即乘客当前的行为，在乘客当前的行为异常时，进行异常行为预警。

进一步的，为了精确进行异常行为预警，在本实施例中，所述步骤S300包括：对所述乘客行为融合特征进行分类，获得不同类型的乘客行为融合特征；将所述不同类型的乘客行为融合特征与异常类型的乘客行为融合特征进行匹配；根据匹配结果确定异常乘客行为融合特征，并基于所述异常乘客行为融合特征进行异常行为预警。

需要说明的是，异常类型的乘客行为融合特征可预先根据实际情况进行设置，具体可包括乘客扒电梯门、乘客在电梯内跳动，还可包括其他异常行为，本实施例对此不做具体限制。

可理解的是，可通过支持向量机(support vector machine，SVM)分类器对乘客行为融合特征进行分类，并且SVM分类器的数量与需要判别的乘客行为融合特征的类别数量相同。

在具体实现中，在匹配结果为匹配成功时，异常乘客行为融合特征为异常类型的乘客行为特征；在匹配结果为匹配失败时，说明没出现异常乘客行为融合特征。

进一步地，在本实施例中，所述根据匹配结果确定异常乘客行为融合特征，并基于所述异常乘客行为融合特征进行异常行为预警的步骤，具体包括：根据匹配结果确定异常乘客行为融合特征，并根据所述异常乘客行为融合特征确定异常行为；获取在预设时长内的所述异常行为的发生次数，并在所述发生次数大于预设次数时，确定所述异常行为对应的异常乘客；基于所述异常乘客进行异常行为预警。

可理解的是，本实施例可根据异常乘客行为融合特征确定异常行为，然后获取在预设时长内异常行为的发生次数，预设时长可根据实际情况自行设置，例如：10秒、15秒等，本实施例对此不做具体限制。

在具体实现中，只有异常行为的发生次数大于预设次数时，才确定该异常行为对应的异常乘客，具体可通过乘客标识信息确定对应的异常乘客预设次数可为3次、4次等，本实施例对此不做具体限制。在确定异常乘客后，获得该异常乘客所处的电梯号，管理人员可根据电梯号采取应对措施。

本实施例通过获取待监控电梯中当前乘客的乘客特征信息，然后根据乘客特征信息和预设时空融合模型确定乘客行为融合特征，再对乘客行为融合特征进行行为分析，获得乘客行为分析结果，并基于乘客行为分析结果进行异常行为预警。

参考图6，图6为本发明基于人工智能的行为检测方法第四实施例的流程示意图。

基于上述第三实施例，在本实施例中，所述步骤S200包括：

步骤S2001：根据所述人体各部位关键点信息和所述乘客标识信息确定同一乘客在连续图像帧中的人体各部位关键点信息和不同乘客在同一图像帧中的人体各部位关键点信息；

可理解的是，同一乘客在连续图像帧中的人体各部位关键点信息是指同一乘客在连续时间的人体各部位关键点信息，不同乘客在同一图像帧中的人体各部位关键点信息是指同一图像帧中不同乘客的人体各部位关键点信息。

步骤S2002：将所述同一乘客在连续图像帧中的人体各部位关键点信息和所述不同乘客在同一图像帧中的人体各部位关键点信息输入至预设时空融合模型中，获得乘客行为融合特征。

可理解的是，预设时空融合模型包括：预设长短期记忆网络、预设卷积神经网络以及预设特征融合神经网络。预设长短期记忆网络是时间维度的神经网络，预设卷积神经网络是空间维度的神经网络，预设时空融合模型可由预设长短期记忆网络和预设卷积神经网络并联后，再串联预设特征融合神经网络构建。

进一步地，为了精确确定乘客行为融合特征，在本实施例中，所述步骤S2002包括：将所述同一乘客在连续图像帧中的人体各部位关键点信息输入至所述预设长短期记忆网络中，获得第一乘客行为特征；将所述不同乘客在同一图像帧中的人体各部位关键点信息输入至所述预设卷积神经网络中，获得第二乘客行为特征；将所述第一乘客行为特征和所述第二乘客行为特征输入至所述预设特征融合神经网络中，获得乘客行为融合特征。

需要说明的是，第一乘客行为特征是指图像帧中的同一乘客在连续时间的行为特征，第二乘客行为特征是指图像帧中的不同乘客在同一时间的行为特征。

可理解的是，将第一第一乘客行为特征和第二乘客行为特征输入至预设特征融合神经网络中，可获得乘客行为融合特征，即不同乘客在连续时间的行为特征。

本实施例通过根据人体各部位关键点信息和乘客标识信息确定同一乘客在连续图像帧中的人体各部位关键点信息和不同乘客在同一图像帧中的人体各部位关键点信息，然后将同一乘客在连续图像帧中的人体各部位关键点信息和不同乘客在同一图像帧中的人体各部位关键点信息输入至预设时空融合模型中，获得乘客行为融合特征。本实施例通过将同一乘客在连续图像帧中的人体各部位关键点信息和不同乘客在同一图像帧中的人体各部位关键点信息输入至预设时空融合模型中，获得乘客行为融合特征，即不同乘客在连续时间的行为特征，从而能够对存在异常行为的乘客进行准确识别。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于人工智能的行为检测程序，所述基于人工智能的行为检测程序被处理器执行时实现如上文所述的基于人工智能的行为检测方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于人工智能的行为检测方法，应用于终端，其特征在于，所述基于人工智能的行为检测方法包括：

获取待处理视频对应的图像帧；

对所述图像帧进行图像分割，获得所述图像帧中的乘客信息；

根据所述乘客信息获得人体各部位关键点信息，并将所述人体各部位关键点信息传输至云端服务器，以使所述云端服务器根据所述人体各部位关键点信息进行异常行为预警。

2.如权利要求1所述的基于人工智能的行为检测方法，其特征在于，所述根据所述乘客信息获得人体各部位关键点信息，并将所述人体各部位关键点信息传输至云端服务器，以使所述云端服务器根据所述人体各部位关键点信息进行异常行为预警的步骤，具体包括：

获取所述乘客信息中的乘客标识信息和乘客人体轮廓信息；

对所述乘客人体轮廓信息进行姿态估计，获得人体各部位关键点信息；

将所述乘客标识信息和所述人体各部位关键点信息传输至云端服务器，以使云端服务器根据所述乘客标识信息和所述人体各部位关键点信息确定异常行为信息，并基于所述异常行为信息进行异常行为预警。

3.如权利要求2所述的基于人工智能的行为检测方法，其特征在于，所述对所述图像帧进行图像分割，获得所述图像帧中的乘客信息的步骤，具体包括：

为所述图像帧中的乘客添加标识，获得乘客标识信息；

对所述图像帧进行图像分割，获得分割后的区域，并从所述分割后的区域中提取人体感兴趣区域；

通过预设神经网络对所述人体感兴趣区域进行边缘提取，获得所述图像帧中的乘客人体轮廓信息。

4.一种基于人工智能的行为检测方法，应用于云端服务器，其特征在于，所述基于人工智能的行为检测方法包括：

获取待监控电梯中当前乘客的乘客特征信息；

根据所述乘客特征信息和预设时空融合模型确定乘客行为融合特征；

对所述乘客行为融合特征进行行为分析，获得乘客行为分析结果，并基于所述乘客行为分析结果进行异常行为预警。

5.如权利要求4所述的基于人工智能的行为检测方法，其特征在于，所述乘客特征信息包括乘客标识信息和人体各部位关键点信息；

所述根据所述乘客特征信息和预设时空融合模型确定乘客行为融合特征的步骤，具体包括：

根据所述人体各部位关键点信息和所述乘客标识信息确定同一乘客在连续图像帧中的人体各部位关键点信息和不同乘客在同一图像帧中的人体各部位关键点信息；

将所述同一乘客在连续图像帧中的人体各部位关键点信息和所述不同乘客在同一图像帧中的人体各部位关键点信息输入至预设时空融合模型中，获得乘客行为融合特征。

6.如权利要求5所述的基于人工智能的行为检测方法，其特征在于，所述预设时空融合模型包括：预设长短期记忆网络、预设卷积神经网络以及预设特征融合神经网络；

所述将所述同一乘客在连续图像帧中的人体各部位关键点信息和所述不同乘客在同一图像帧中的人体各部位关键点信息输入至预设时空融合模型中，获得乘客行为融合特征的步骤，具体包括：

将所述同一乘客在连续图像帧中的人体各部位关键点信息输入至所述预设长短期记忆网络中，获得第一乘客行为特征；

将所述不同乘客在同一图像帧中的人体各部位关键点信息输入至所述预设卷积神经网络中，获得第二乘客行为特征；

将所述第一乘客行为特征和所述第二乘客行为特征输入至所述预设特征融合神经网络中，获得乘客行为融合特征。

7.如权利要求4所述的基于人工智能的行为检测方法，其特征在于，所述对所述乘客行为融合特征进行行为分析，获得乘客行为分析结果，并基于所述乘客行为分析结果进行异常行为预警的步骤，具体包括：

对所述乘客行为融合特征进行分类，获得不同类型的乘客行为融合特征；

将所述不同类型的乘客行为融合特征与异常类型的乘客行为融合特征进行匹配；

根据匹配结果确定异常乘客行为融合特征，并基于所述异常乘客行为融合特征进行异常行为预警。

8.如权利要求7所述的基于人工智能的行为检测方法，其特征在于，所述根据匹配结果确定异常乘客行为融合特征，并基于所述异常乘客行为融合特征进行异常行为预警的步骤，具体包括：

根据匹配结果确定异常乘客行为融合特征，并根据所述异常乘客行为融合特征确定异常行为；

获取在预设时长内的所述异常行为的发生次数，并在所述发生次数大于预设次数时，确定所述异常行为对应的异常乘客；

基于所述异常乘客进行异常行为预警。

9.一种基于人工智能的行为检测设备，其特征在于，所述基于人工智能的行为检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于人工智能的行为检测程序，所述基于人工智能的行为检测程序配置为实现如权利要求1至3，或4至8中任一项所述的基于人工智能的行为检测方法。

10.一种存储介质，其特征在于，所述存储介质上存储有基于人工智能的行为检测程序，所述基于人工智能的行为检测程序被处理器执行时实现如权利要求1至3，或4至8中任一项所述的基于人工智能的行为检测方法。

Images