CN111291718B - 行为预测方法及装置、步态识别方法及装置 - Google Patents

行为预测方法及装置、步态识别方法及装置 Download PDF

Info

Publication number
CN111291718B
CN111291718B CN202010129936.XA CN202010129936A CN111291718B CN 111291718 B CN111291718 B CN 111291718B CN 202010129936 A CN202010129936 A CN 202010129936A CN 111291718 B CN111291718 B CN 111291718B
Authority
CN
China
Prior art keywords
information
target
target object
key point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010129936.XA
Other languages
English (en)
Other versions
CN111291718A (zh
Inventor
邱丰
汪旻
刘文韬
钱晨
马利庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010129936.XA priority Critical patent/CN111291718B/zh
Publication of CN111291718A publication Critical patent/CN111291718A/zh
Priority to JP2021573491A priority patent/JP7311640B2/ja
Priority to PCT/CN2021/077297 priority patent/WO2021169924A1/zh
Priority to KR1020217039317A priority patent/KR20220008843A/ko
Priority to EP21760041.0A priority patent/EP3979122A4/en
Priority to TW110106421A priority patent/TW202133036A/zh
Priority to US17/559,119 priority patent/US20220114839A1/en
Application granted granted Critical
Publication of CN111291718B publication Critical patent/CN111291718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本公开提供了一种步态识别方法及装置、行为预测方法及装置，其中，本公开首先获取目标视频片段，该目标视频片段中包括目标图像和目标图像的前N帧图像；其中，N为正整数；之后，基于目标对象在目标视频片段的每帧图像中的多个二维关键点信息和目标对象在所述目标图像中的多个三维关键点信息，确定目标对象在所述目标图像中的步态数据和/或目标重心坐标；基于步态数据和/或目标重心坐标，预测目标对象在预设时间段内的行为特征信息；最后，基于行为特征信息，确定目标对象在预设时间段内的安全特征信息以及与安全特征信息匹配的安全处置策略。

Description

行为预测方法及装置、步态识别方法及装置
技术领域
本公开涉及计算机视觉技术领域，具体而言，涉及一种步态识别方法及装置、行为预测方法及装置、电子设备、计算机可读存储介质。
背景技术
对对象进行行为分析和识别是人工智能领域中的一种基本需求。现有技术中在进行行为分析和识别时，一般通过多阶段三维人体姿态识别，并且需要依赖拍摄对象视频的相机的参数或限制相机的拍摄视角等。上述行为分析和识别的方式存在识别准确度和成功率均较低，并且限制性较强、泛化能力较差的缺陷。
发明内容
有鉴于此，本公开至少提供一种行为预测方案以及步态识别方案。
第一方面，本公开提供了一种行为预测方法于，包括：获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数；基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象在所述目标图像中的步态数据和/或目标重心坐标；基于所述步态数据和/或所述目标重心坐标，预测所述目标对象在预设时间段内的行为特征信息；基于所述行为特征信息，确定所述目标对象在所述预设时间段内的安全特征信息以及与所述安全特征信息匹配的安全处置策略。
本方面中，基于每帧图像中的二维关键点信息和目标图像中的三维关键点信息，能够提高预测得到的步态数据和目标重心坐标的准确度；基于较为准确的步态数据和目标重心坐标能够提高预测得到的安全特征信息和确定的安全处置策略的准确性，从而能够有效保障目标对象的安全。
在一种可能的实施方式中，所述基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象在所述目标图像中的步态数据，包括：基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象在所述目标图像中的多个三维关键点信息；基于所述多个三维关键点信息，确定所述目标对象的前进方向；基于所述多个三维关键点信息和所述前进方向，识别所述目标对象在所述目标图像中的步态数据。
本实施方式中，利用目标对象在视频片段的每帧图像中的多个二维关键点信息，来确定目标对象在视频片段的最后一帧图像中的三维关键点信息，能够避免确定的每个三维关键点信息出现多值歧义的问题，从而能够提高基于三维关键点信息进行步态分析和识别的成功率和准确率；另外，本方面中，在确定了目标对象的多个三维关键点信息之后，利用三维关键点信息来确定目标对象的前进方向，并基于确定的前进方向和三维关键点信息来对目标对象进行步态分析和识别，确定目标对象的步态数据，并未依赖拍摄视频片段所使用的相机的相机参数，克服了步态分析和识别中存在的对其他数据或设备依赖性较强、泛化能力较差的缺陷。
在一种可能的实施方式中，所述基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象在所述目标图像中的目标重心坐标，包括：基于目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象的第一重心坐标以及确定所述目标对象在所述目标图像中的多个三维关键点信息；基于所述目标对象在目标图像中的多个二维关键点信息和所述多个三维关键点信息，确定所述目标对象的第二重心坐标；基于所述第一重心坐标和所述第二重心坐标，确定所述目标对象在所述目标图像中的目标重心坐标。
本实施方式中，利用结合确定的两个重心坐标，能够更加准确的确定目标对象的最终的目标重心坐标。
在一种可能的实施方式中，所述确定所述目标对象在所述目标图像中的多个三维关键点信息，包括：针对所述目标视频片段中的每帧图像，基于所述目标对象在该帧图像中的多个二维关键点信息，确定所述目标对象在该帧图像中的检测框；基于所述检测框的尺寸信息、所述检测框的中心点的坐标，对该帧图像中的每个二维关键点信息对应的坐标信息进行归一化处理，得到目标对象在该帧图像中的多个目标二维关键点信息；基于目标对象在所述每帧图像中的多个目标二维关键点信息，确定所述目标对象在所述目标图像中多个三维关键点信息。
本实施方式中，首先利用目标对象在图像中的二维关键点信息确定目标对象的检测框，之后利用检测框的尺寸信息和中心点坐标等来对二维关键点信息对应的坐标信息进行归一化处理，不依赖于拍摄视频片段的相机的相机参数或图像的对应原始图像的尺寸信息，摆脱了对相机参数的依赖，对于经裁切的图像依然具有较好的泛用性。
在一种可能的实施方式中，所述基于目标对象在所述每帧图像中的多个目标二维关键点信息，确定所述目标对象在所述目标图像中多个三维关键点信息，包括：将所述目标对象在所述每帧图像中的多个目标二维关键点信息，输入训练好的第一神经网络，经过所述第一神经网络对输入的多个目标二维关键点信息进行处理，确定所述目标对象在所述目标图像中多个三维关键点信息。
本实施方式中，利用训练好的神经网络来确定三维关键点信息，能够提高信息处理和确定的自动化程度，提高信息处理和确定的准确度。
在一种可能的实施方式中，上述行为预测方法还包括训练所述第一神经网络的步骤：获取包括第一样本图像的第一样本视频片段，和第一样本对象在所述第一样本图像中的多个标准三维关键点信息，其中，所述第一样本视频片段还包括所述第一样本图像的前N帧图像；基于所述多个标准三维关键点信息，确定所述第一样本对象在所述第一样本视频片段的每帧图像中的多个样本二维关键点信息；将确定的所述多个样本二维关键点信息输入待训练的第一初始神经网络，经过所述第一初始神经网络对输入的多个样本二维关键点信息进行处理，确定所述第一样本对象在所述第一样本图像中的多个预测三维关键点信息；基于所述多个预测三维关键点信息与所述多个标准三维关键点信息之间的误差信息，调整所述第一初始神经网络的网络参数；在训练完成后得到所述第一神经网络。
本实施方式中，基于多个标准三维关键点信息反投影确定多个样本二维关键点信息，能够提高确定的样本二维关键点信息的准确度。
在一种可能的实施方式中，所述确定所述第一样本对象在所述第一样本视频片段的每帧图像中的多个样本二维关键点信息，包括：获取拍摄所述第一样本视频片段的拍摄设备的设备参数信息；基于所述设备参数信息和所述多个标准三维关键点，分别确定所述第一样本对象在所述第一样本视频片段的每帧图像中的多个样本二维关键点信息。
本实施方式中，结合拍摄设备的设备参数信息和多个标准三维关键点，能够较为准确的确定多个样本二维关键点信息。
在一种可能的实施方式中，所述基于所述多个预测三维关键点信息与所述多个标准三维关键点信息之间的误差信息，调整所述第一初始神经网络的网络参数，包括：获取所述第一样本对象的物理尺寸信息；基于所述第一样本对象的物理尺寸信息，分别确定每个标准三维关键点信息对应于网络尺度空间的目标标准三维关键点信息；基于所述多个预测三维关键点信息与多个所述目标标准三维关键点信息之间的误差信息，调整所述第一初始神经网络的网络参数。
本实施方式中，利用样本对象的物理尺寸信息，将物理尺度空间的标准三维关键点信息变换到网络尺度空间的目标标准三维关键点信息，基于网络尺度空间的目标标准三维关键点信息训练得到的神经网络能够确定网络尺度空间的三维关键点信息，即，能够克服目标对象大小对确定三维关键点信息的影响，有利于提高步态识别的准确度。
在一种可能的实施方式中，所述基于所述多个三维关键点信息，确定所述目标对象的前进方向，包括：基于所述多个三维关键点信息，确定所述目标对象的两个胯骨之间的第一连线和所述目标对象的两个肩骨之间的第二连线；确定所述第一连线和所述第二连线之间的最小误差平面；基于所述最小误差平面和水平面之间的相交线，确定所述目标对象的前进方向；或者，基于所述多个三维关键点信息，确定所述目标对象的两个胯骨之间的第三连线、所述目标对象的两个肩骨之间的第四连线和所述目标对象的盆骨点与颈椎点之间的第五连线；基于所述第三连线和所述第四连线，确定所述目标对象相对于水平面的第一躯干方向；基于所述第五连线，确定所述目标对象相对于竖直面的第二躯干方向；基于所述第一躯干方向和所述第二躯干方向，确定所述目标对象的前进方向。
本实施方式中，仅利用三维关键点信息来确定第一连线、第二连线以及第一连线和第二连线之间的最小误差平面，进而利用最小误差平面和水平面之间的相交线来确定目标对象的前进方向，并未基于拍摄设备的设备参数来确定前进方向，即未基于拍摄设备的设备参数来进行步态分析和识别，克服了步态分析和识别中存在的对其他数据或设备依赖性较强、泛化能力较差的缺陷。
另外，本实施方式中，仅利用三维关键点信息来确定多条连线，之后，利用确定的各个连线确定目标对象相对于水平面的第一躯干方向、目标对象相对于竖直面的第二躯干方向，最后利用第一躯干方向和第二躯干方向来确定目标对象的前进方向，并未基于拍摄设备的设备参数来确定前进方向，即未基于拍摄设备的设备参数来进行步态分析和识别，克服了步态分析和识别中存在的对其他数据或设备依赖性较强、泛化能力较差的缺陷。
在一种可能的实施方式中，所述步态数据包括所述目标对象的步长信息；所述基于所述多个三维关键点信息和所述前进方向，识别所述目标对象在所述目标图像中的步态数据，包括：基于所述多个三维关键点信息，确定所述目标对象的两脚之间的连线在所述前进方向上的第一投影；基于所述第一投影的长度信息，确定所述目标对象的步长信息；和/或，所述步态数据包括所述目标对象的步宽信息；所述基于所述多个三维关键点信息和所述前进方向，识别所述目标对象在所述目标图像中的步态数据，包括：基于所述多个三维关键点信息，确定所述目标对象的两脚之间的连线在与所述前进方向相垂直的方向上的第二投影；基于所述第二投影的长度信息，确定所述目标对象的步宽信息。
上述两种实施方式中，仅利用三维关键点信息确定的目标对象的两脚之间的连线和三维关键点信息确定的目标对象的前进方向来确定目标对象的步长信息和步宽信息，而不依赖拍摄设备的设备参数来确定上述步长信息和步宽信息，克服了步态分析和识别中存在的对其他数据或设备依赖性较强、泛化能力较差的缺陷。
在一种可能的实施方式中，所述基于目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象的第一重心坐标，包括：将所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，输入训练好的第二神经网络，经过所述第二神经网络对输入的多个二维关键点信息进行处理，确定所述目标对象的第一重心坐标。
本实施方式中，利用训练好的神经网络来确定重心坐标，能够提高信息处理和确定的自动化程度，提高信息处理和确定的准确度。
在一种可能的实施方式中，上述行为预测方法还包括训练所述第二神经网络的步骤：获取包括第二样本图像的第二样本视频片段，和第二样本对象在所述第二样本图像中的多个标准三维关键点信息，其中，所述第二样本视频片段还包括所述第二样本图像的前N帧图像；确定所述第二样本对象在所述第二样本视频片段的每帧图像中的多个样本二维关键点信息；基于所述多个标准三维关键点信息，确定所述第二样本对象的标准重心坐标；将确定的所述多个样本二维关键点信息输入待训练的第二初始神经网络，经过所述第二初始神经网络对输入的多个样本二维关键点信息进行处理，输出所述第二样本对象在所述第二样本图像中的预测重心坐标；基于所述预测重心坐标与所述标准重心坐标之间的误差信息，调整所述第二初始神经网络的网络参数，在训练完成后得到所述第二神经网络。
本实施方式中，基于多个标准三维关键点信息反投影确定多个样本二维关键点信息以，能够提高确定的样本二维关键点信息的准确度。
第二方面，本公开提供了一种步态识别方法，包括：获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数；基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象在所述目标图像中的多个三维关键点信息；基于所述多个三维关键点信息，确定所述目标对象的前进方向；基于所述多个三维关键点信息和所述前进方向，识别所述目标对象在所述目标图像中的步态数据。
在一种可能的实施方式中，在基于所述多个三维关键点信息，确定所述目标对象的前进方向之前，上述步态识别方法还包括：获取所述目标对象的物理尺寸信息；基于所述目标对象的物理尺寸信息，将网络尺度空间的三维关键点信息更新为物理尺度空间的三维关键点信息。
本实施方式中，在确定了网络尺度空间的三维关键点信息之后，为了准确的确定目标对象在物理空间中的步态数据，需要将网络尺度空间的三维关键点信息更新为物理尺度空间的三维关键点信息。
在一种可能的实施方式中，所述基于所述多个三维关键点信息，确定所述目标对象的前进方向，包括：基于所述多个三维关键点信息，确定所述目标对象的两个胯骨之间的第一连线和所述目标对象的两个肩骨之间的第二连线；确定所述第一连线和所述第二连线之间的最小误差平面；基于所述最小误差平面和水平面之间的相交线，确定所述目标对象的前进方向；或者，基于所述多个三维关键点信息，确定所述目标对象的两个胯骨之间的第三连线、所述目标对象的两个肩骨之间的第四连线和所述目标对象的盆骨点与颈椎点之间的第五连线；基于所述第三连线和所述第四连线，确定所述目标对象相对于水平面的第一躯干方向；基于所述第五连线，确定所述目标对象相对于竖直面的第二躯干方向；基于所述第一躯干方向和所述第二躯干方向，确定所述目标对象的前进方向。
在一种可能的实施方式中，所述步态数据包括所述目标对象的步长信息；所述基于所述多个三维关键点信息和所述前进方向，识别所述目标对象在所述目标图像中的步态数据，包括：基于所述多个三维关键点信息，确定所述目标对象的两脚之间的连线在所述前进方向上的第一投影；基于所述第一投影的长度信息，确定所述目标对象的步长信息；和/或，所述步态数据包括所述目标对象的步宽信息；所述基于所述多个三维关键点信息和所述前进方向，识别所述目标对象在所述目标图像中的步态数据，包括：基于所述多个三维关键点信息，确定所述目标对象的两脚之间的连线在与所述前进方向相垂直的方向上的第二投影；基于所述第二投影的长度信息，确定所述目标对象的步宽信息。
第三方面，本公开提供了一种步态识别装置，包括：
视频获取模块，用于获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数；
关键点处理模块，用于基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象在所述目标图像中的多个三维关键点信息；
前进方向确定模块，用于基于所述多个三维关键点信息，确定所述目标对象的前进方向；
步态识别模块，用于基于所述多个三维关键点信息和所述前进方向，识别所述目标对象在所述目标图像中的步态数据。
第四方面，本公开提供了一种行为预测装置，包括：
图像获取模块，用于获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数；
图像处理模块，用于基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象在所述目标图像中的步态数据和/或目标重心坐标；
预测模块，用于基于所述步态数据和/或所述目标重心坐标，预测所述目标对象在预设时间段内的行为特征信息；
信息处理模块，用于基于所述行为特征信息，确定所述目标对象在所述预设时间段内的安全特征信息以及与所述安全特征信息匹配的安全处置策略。
第五方面，本公开提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述步态识别方法的步骤或行为预测方法的步骤。
第六方面，本公开还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述步态识别方法的步骤或行为预测方法的步骤。
本公开上述装置、电子设备、和计算机可读存储介质，至少包含与本公开上述方法的任一方面或任一方面的任一实施方式的技术特征实质相同或相似的技术特征，因此关于上述装置、电子设备、和计算机可读存储介质的效果描述，可以参见上述方法内容的效果描述，这里不再赘述。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例提供的一种行为预测方法的流程图；
图2示出了本公开实施例提供的另一种行为预测方法中确定目标对象在目标图像中的多个三维关键点信息的流程图；
图3示出了本公开实施例提供的再一种行为预测方法中检测框的示意图；
图4示出了本公开实施例提供的再一种行为预测方法中确定前进方向的示意图；
图5示出了本公开实施例提供的一种重心预测方法的流程图；
图6A示出了现有技术中的时序空洞卷积神经网络的结构示意图；
图6B示出了简化后的时序空洞卷积神经网络的结构示意图；
图7示出了本公开实施例提供的一种步态识别方法的流程图；
图8示出了本公开实施例提供的一种行为预测装置的结构示意图；
图9示出了本公开实施例提供的一种步态识别装置的结构示意图；
图10示出了本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，应当理解，本公开中附图仅起到说明和描述的目的，并不用于限定本公开的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本公开中使用的流程图示出了根据本公开的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本公开内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，本公开实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
本公开提供了一种行为预测方案。其中，本公开基于每帧图像中的二维关键点信息和目标图像中的三维关键点信息，能够提高预测得到的步态数据和目标重心坐标的准确度；基于较为准确的步态数据和目标重心坐标能够提高预测得到的安全特征信息和确定的安全处置策略的准确性，从而能够有效保障目标对象的安全。
另外，本公开还提供了一种步态识别方法及装置。其中，本公开利用目标对象在视频片段的每帧图像中的多个二维关键点信息，来确定目标对象在视频片段的最后一帧图像中的三维关键点信息，能够避免确定的三维关键点信息出现多值歧义的问题，从而能够提高基于三维关键点信息进行步态分析和识别的成功率和准确率；另外，本公开利用三维关键点信息来确定目标对象的前进方向，并基于确定的前进方向和三维关键点信息来对目标对象进行步态分析和识别，确定目标对象的步态数据，并未依赖拍摄视频片段所使用的相机的相机参数，克服了步态分析和识别中存在的对其他数据或设备依赖性较强、泛化能力较差的缺陷。
下面通过具体的实施例对本公开的行为预测方法及装置、步态识别方法及装置、电子设备、计算机可读存储介质进行说明。
本公开实施例提供了一种行为预测方法，该方法应用于对目标对象进行行为预测的终端设备或服务器等。具体地，如图1所示，本公开实施例提供的行为预测方法包括如下步骤：
S110、获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数。
这里目标图像是待进行行为预测的图像，本实施例可以确定目标对象在目标图像中的行为特征信息、安全特征信息等。
目标视频片段可以是进行行为预测的终端设备利用其自身的摄像头等拍摄设备拍摄的，也可以是其他拍摄设备拍摄的，其他拍摄设备拍摄后，将目标视频片段传递给进行行为预测的终端设备或服务器即可。
S120、基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象在所述目标图像中的步态数据和/或目标重心坐标。
这里，可以首先利用目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息预测所述目标对象在所述目标图像中的多个三维关键点信息，之后，利用目标对象在所述目标图像中的多个三维关键点信息确定目标对象在所述目标图像中的步态数据；利用目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象在所述目标图像中的目标重心坐标。
示例性的，上述步态数据可以包括目标对象的步长信息和/或步宽信息。
S130、基于所述步态数据和/或所述目标重心坐标，预测所述目标对象在预设时间段内的行为特征信息。
这里，在确定了目标对象在多个连续的时刻的步态数据之后，可以基于得到的步态数据监控和预测目标对象在预设时间段的行为。在得到的目标对象在多个连续的时刻的目标重心坐标之后，可以预测目标对象在预设时间段的运动轨迹。之后综合预测得到的目标对象的行为和运动轨迹，确定目标对象在预设时间段内的行为特征信息。
示例性的，上述行为特征信息包括目标对象在预设时间段内的轨迹特征和行为特征，例如，行为特征信息具体包括目标对象在预设时间段内的具体的运动轨迹坐标、目标对象在预设时间段内的具体运动的步长和步宽等。
在一些实施例中，可以利用得到的步态数据远程监控和预测儿童、患有认知障碍的老人的行为，以保障儿童、患有认知障碍的老人的人身安全。另外，综合目前儿童、患有认知障碍的老人的预测行为和预测的运动轨迹，能够预测儿童、患有认知障碍的老人接下来的行为的行为特征信息，该行为特征信息能够指示或用于确定儿童、患有认知障碍的老人接下来的行为是否会发生危险，以实施相匹配的安全处置策略。
S140、基于所述行为特征信息，确定所述目标对象在所述预设时间段内的安全特征信息以及与所述安全特征信息匹配的安全处置策略。
上述安全特征信息用于指示目标对象在预设时间段内的运动是否会发生危险以及发生何种危险等。例如安全特征信息指示目标对象在预设时间段内的运动步伐太大、会碰撞其他物体、发生摔倒等危险状况。
上述安全处置策略是预先设定的，并且与安全特征信息存在映射关系。基于该映射关系和确定的安全特征信息，能够确定对目标对象实施的安全处置策略。该安全处置策略可以是对目标对象或目标对象的监护人发出提醒等。例如，在目标对象由于步伐过大可能发生摔倒的状况时，向目标对象或目标对象的监护人发出预防摔倒的提醒；在目标对象可能发生碰撞的状况时，向目标对象或目标对象的监护人发出预防碰撞的提醒。
本实施例中，基于每帧图像中的二维关键点信息和目标图像中的三维关键点信息，能够提高预测得到的步态数据和目标重心坐标的准确度；基于较为准确的步态数据和目标重心坐标能够提高预测得到的安全特征信息和确定的安全处置策略的准确性，从而能够有效保障目标对象的安全。
在一些实施例中，本公开对目标图像中的步态数据的识别过程可以包括如下步骤：
步骤一、基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象在所述目标图像中的多个三维关键点信息。
在执行此步骤之前，首先需要确定目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，在具体实施时，可以利用现有的方法或二维关键点检测网络对每帧图像进行检测，确定每帧图像中的多个二维关键点信息。
在确定了目标对象在每帧图像中的多个二维关键点信息之后，具体可以利用时序空洞卷积神经网络，基于确定的多个二维关键点信息，确定目标对象在目标图像中的多个三维关键点信息。
利用目标对象在视频片段的每帧图像中的多个二维关键点信息，来确定目标对象在视频片段的最后一帧图像中的三维关键点信息，能够避免利用单帧图像的二维关键点信息确定三维关键点信息时容易出现的多值歧义的问题，获得了更好的时序连贯性和预测三维关键点信息的稳定性，从而能够提高基于三维关键点信息进行步态分析和识别的成功率和准确率。
步骤二、基于所述多个三维关键点信息，确定所述目标对象的前进方向。
示例性的，可以利用三维关键点信息中目标对象的胯骨、肩骨、盆骨等对应的是三维关键点信息来确定目标对象的前进方向，而不必依赖拍摄目标视频片段的拍摄设备的设备参数。
上述前进方向是目标对象在物理尺度空间中的前进方向；三维关键点信息既可以是目标对象在网络尺度空间中的信息，也可以是目标对象在物理尺度空间中的信息，如果三维关键点信息是目标对象在网络尺度空间中的信息，则首先需要将网络尺度空间中的三维关键点信息变换到物理尺度空间中。
其中，上述物理尺度空间即为真实世界中的物理尺度，单位可以是国际单位制中的长度标准单位米。网络尺度空间即为人为定义的一个算术尺度，单位是1，目的是去除对象自身尺寸对相关计算的影响，简化计算。两者的量纲不同。
步骤三、基于所述多个三维关键点信息和所述前进方向，识别所述目标对象在所述目标图像中的步态数据。
这里，上述步态数据可以包括目标对象的步长信息和/或步宽信息。
同样，本步骤中的三维关键点信息既可以是目标对象在网络尺度空间中的信息，也可以是目标对象在物理尺度空间中的信息，如果三维关键点信息是目标对象在网络尺度空间中的信息，则首先需要将网络尺度空间中的三维关键点信息变换到物理尺度空间中。
在确定了目标对象的前进方向之后，可以利用三维关键点信息中目标对象的脚部对应的三维关键点信息来确定目标对象的步态数据。
在具体实施时，可以利用如下子步骤确定目标对象在目标图像的步态数据中的步长信息：
基于所述多个三维关键点信息，确定所述目标对象的两脚之间的连线在所述前进方向上的第一投影；基于所述第一投影的长度信息，确定所述目标对象的步长信息。
在具体实施时，可以利用如下子步骤确定目标对象在目标图像的步态数据中的步宽信息：基于所述多个三维关键点信息，确定所述目标对象的两脚之间的连线在与所述前进方向相垂直的方向上的第二投影；基于所述第二投影的长度信息，确定所述目标对象的步宽信息。
上述是将两脚之间的连线投影到目标对象的前进方向上以及与前进方向相垂直的方向上，之后基于投影的长度确定目标对象的步长信息和步宽信息。具体地，在三维关键点信息为物理尺度中的信息时，可以直接将第一投影的长度信息，作为所述目标对象的步长信息，将第二投影的长度信息，作为所述目标对象的步宽信息。另外，在三维关键点信息不为物理尺度中的信息系时，在得到第一投影和第二投影后，需要将第一投影的长度信息和第二投影的长度信息转换到物理尺度空间，并将物理尺度空间中第一投影的长度信息和第二投影的长度信息分别作为步长信息和步宽信息。在空间转换的过程中，可以将直接确定的第一投影的长度信息与空间转换的预设比例进行相乘，得到转换后的物理尺度空间中的步长信息，将直接确定的第二投影的长度信息与空间转换的预设比例进行相乘，得到转换后的物理尺度空间中的步宽信息。
上述仅利用三维关键点信息确定的目标对象的两脚之间的连线和三维关键点信息确定的目标对象的前进方向来确定目标对象的步长信息和步宽信息，而不依赖拍摄设备的设备参数来确定上述步长信息和步宽信息，克服了步态分析和识别中存在的对其他数据或设备依赖性较强、泛化能力较差的缺陷。
本实施例，在确定了目标对象的多个三维关键点信息之后，利用三维关键点信息来确定目标对象的前进方向，并基于确定的前进方向和三维关键点信息来对目标对象进行步态分析和识别，确定目标对象的步态数据，并未依赖拍摄视频片段所使用的相机的相机参数，克服了步态分析和识别中存在的对其他数据或设备依赖性较强、泛化能力较差的缺陷。
在一些实施例中，如图2所示，上述基于目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象在所述目标图像中的多个三维关键点信息，具体可以利用如下步骤实现：
S210、针对所述目标视频片段中的每帧图像，基于所述目标对象在该帧图像中的多个二维关键点信息，确定所述目标对象在该帧图像中的检测框。
这里首先可以利用现有的二维关键点检测网络，确定目标对象在每帧图像中的多个二维关键点信息。
基于多个二维关键点信息中的关键点坐标，可以确定一个包围目标对象的检测框，如图3中的检测框31，图中，wd表示检测框的宽度，hd表示检测框的高度。
S220、基于所述检测框的尺寸信息、所述检测框的中心点的坐标，对该帧图像中的每个二维关键点信息对应的坐标信息进行归一化处理，得到目标对象在该帧图像中的多个目标二维关键点信息。
在归一化处理时，可以基于检测框的尺寸信息，即检测框的宽度和检测框的高度确定一个较大的正方形框32，之后利用该正方形框32进行归一化处理，该正方形框32的边长为m×max{wd，hd}。m根据实际应用场景取值，例如可以取值为1.2。其中，正方形框32和检测框31的中心重合。
在具体实施时，可以利用如下公式进行归一化处理：
Figure BDA0002395511660000131
式中，
Figure BDA0002395511660000132
表示归一化处理后的二维关键点信息，即为上述目标二维关键点信息对应的坐标，
Figure BDA0002395511660000133
表示二维关键点信息对应的坐标，
Figure BDA0002395511660000134
表示检测框的中心点坐标。
S230、基于目标对象在所述每帧图像中的多个目标二维关键点信息，确定所述目标对象在所述目标图像中多个三维关键点信息。
本实施例中，首先利用目标对象在图像中的二维关键点信息确定目标对象的检测框，之后利用检测框的尺寸信息和中心点坐标等来对二维关键点信息对应的坐标信息进行归一化处理，不依赖于拍摄视频片段的相机的相机参数或图像的对应原始图像的尺寸信息，摆脱了对相机参数的依赖，对于经裁切的图像依然具有较好的泛用性。
上述，在对二维关键点信息进行归一化处理之后，可以将归一化处理之后的二维关键点信息输入训练好的第一神经网络，例如训练好的时序空洞卷积神经网络来确定三维关键点信息。
利用训练好的第一神经网络来确定三维关键点信息，能够提高信息处理和确定的自动化程度，提高信息处理和确定的准确度。
在具体实施时，可以利用如下步骤训练上述第一神经网络：
步骤一、获取包括第一样本图像的第一样本视频片段，和第一样本对象在所述第一样本图像中的多个标准三维关键点信息，其中，所述第一样本视频片段还包括所述第一样本图像的前N帧图像。
这里第一样本图像是要进行步态识别的图像。上述标准三维关键点信息作为样本标注信息使用。
在具体实施时，可以利用现有的方法或神经网络确定第一样本对象在所述第一样本图像中的多个标准三维关键点信息。该多个标准三维关键点信息具体可以是包括17个关键点的信息的对象骨架。
步骤二、基于所述多个标准三维关键点信息，确定所述第一样本对象在所述第一样本视频片段的每帧图像中的多个样本二维关键点信息。
这里，是利用标准三维关键点信息反投影得到样本二维关键点信息。具体可以利用如下步骤进行反投影处理：
获取拍摄所述第一样本视频片段的拍摄设备的设备参数信息，以及第一样本视频片段中每个图像的RGB画面；基于所述设备参数信息、每个RGB画面和所述多个标准三维关键点，分别确定所述第一样本对象在所述第一样本视频片段的每帧图像中的多个样本二维关键点信息。
基于多个标准三维关键点信息反投影确定多个样本二维关键点信息，能够提高确定的样本二维关键点信息的准确度。
另外，在具体实施时，也可以不利用反投影处理得到样本二维关键点信息，例如，可以直接利用现有的方法或二维关键点检测网络来对每帧图像中的第一样本对象进行检测，得到第一样本对象在所述第一样本视频片段的每帧图像中的多个样本二维关键点信息。
在得到样本二维关键点信息之后，并且在利用样本二维关键点信息进行第一初始神经网络的训练之前，需要对样本二维关键点信息对应的坐标信息进行归一化处理，该归一化处理的方法与上述实施例中的对二维关键点信息对应的坐标信息进行归一化处理的方法相同，同样是：针对所述第一样本视频片段中的每帧图像，基于所述第一样本对象在该帧图像中的多个样本二维关键点信息，确定所述第一样本对象在该帧图像中的样本检测框；基于所述样本检测框的尺寸信息、所述样本检测框的中心点的坐标，对该帧图像中的每个样本二维关键点信息对应的坐标信息进行归一化处理。
步骤三、将上述多个样本二维关键点信息输入待训练的第一初始神经网络，经过所述第一初始神经网络对输入的多个样本二维关键点信息进行处理，确定所述第一样本对象在所述第一样本图像中的多个预测三维关键点信息。
步骤四、基于所述多个预测三维关键点信息与所述多个标准三维关键点信息之间的误差信息，调整所述第一初始神经网络的网络参数，在训练完成后得到所述第二神经网络。
上述，步骤一中的多个标准三维关键点信息是物理尺度空间的信息，在获取到该物理尺度空间的标准三维关键点信息之后，可以直接利用物理尺度空间的标准三维关键点信息与所述多个标准三维关键点信息之间的误差信息，调整所述第一初始神经网络的网络参数，这样训练好后的第一神经网络在使用时，直接预测得到的三维关键点信息也是物理尺度空间的信息。那么在利用预测得到的三维关键点信息确定目标对象的步态数据的时候，不必进行物理尺度空间的转换。
当然，还可以将骤一中的物理尺度空间的标准三维关键点信息转换为网络尺度空间中的信息，之后，利用网络尺度空间的标准三维关键点信息与多个预测三维关键点信息之间的误差信息，调整所述第一初始神经网络的网络参数。这样训练好后的第一神经网络在使用时，直接预测得到的三维关键点信息也是网络尺度空间的信息。那么在利用预测到的三维关键点信息确定目标对象的步态数据的时候，需要将网络尺度空间的三维关键点信息变换为物理尺度空间中的三维关键点信息。
在具体实施时，可以利用如下步骤将物理尺度空间的标准三维关键点信息转换为网络尺度空间中的信息：获取所述第一样本对象的物理尺寸信息；基于所述第一样本对象的物理尺寸信息，分别将物理尺度空间的标准三维关键点信息转换为网络尺度空间中的信息。
在获取得到了第一样本对象的物理尺寸信息之后，可以利用物理尺度空间的标准三维关键点信息中的坐标信息除以物理尺寸信息，得到的信息即为物理尺度空间的标准三维关键点信息转换后的网络尺度空间中的信息。
具体地，上述物理尺寸信息可以是一个人物的身高信息等。
上述利用样本对象的物理尺寸信息，将物理尺度空间的标准三维关键点信息变换到网络尺度空间的信息，基于网络尺度空间的信息训练得到的神经网络能够确定网络尺度空间的三维关键点信息，即，能够消除尺度多样性，克服目标对象大小对确定三维关键点信息的影响，有利于提高步态识别的准确度。
若第一神经网络预测得到的三维关键点信息为网络尺度空间中的信息，那么在利用预测得到的三维关键点信息进行步态分析，即确定前进方向和步态数据之前，需要将网络尺度空间中的三维关键点信息变换为物理尺度空间中的信息，具体可以利用如下步骤进行变换：
获取所述目标对象的物理尺寸信息；基于所述目标对象的物理尺寸信息，将网络尺度空间的三维关键点信息更新为物理尺度空间的三维关键点信息。
上述在获取得到了目标对象的物理尺寸信息之后，可以利用网络尺度空间的三维关键点信息中的坐标信息乘以物理尺寸信息，得到的信息即为网络尺度空间的三维关键点信息转换后的物理尺度空间中的信息。
具体地，上述物理尺寸信息可以是一个人物的身高信息等。
在确定了网络尺度空间的三维关键点信息之后，为了准确的确定目标对象在物理空间中的步态数据，需要将网络尺度空间的三维关键点信息更新为物理尺度空间的三维关键点信息。
在一些实施例中，上述基于所述多个三维关键点信息，确定所述目标对象的前进方向，具体可以利用如下步骤实现：
基于所述多个三维关键点信息，确定所述目标对象的两个胯骨之间的第一连线和所述目标对象的两个肩骨之间的第二连线；确定所述第一连线和所述第二连线之间的最小误差平面；基于所述最小误差平面和水平面之间的相交线，确定所述目标对象的前进方向。
上述确定第一连线和第二连线的三维关键点信息为物理尺度空间中的是三维位关键点信息。
如图4所示，在具体实施时，确定第一连线L2和第二连线L1之间的最小误差平面之后，确定最小误差平面和水平面之间的相交线L0，并将该相交线L0的法线C0的作为目标对象的前进方向。
上述仅利用三维关键点信息来确定第一连线、第二连线以及第一连线和第二连线之间的最小误差平面，进而利用最小误差平面和水平面之间的相交线来确定目标对象的前进方向，并未基于拍摄设备的设备参数来确定前进方向，即未基于拍摄设备的设备参数来进行步态分析和识别，克服了步态分析和识别中存在的对其他数据或设备依赖性较强、泛化能力较差的缺陷。
在一些实施例中，上述基于所述多个三维关键点信息，确定所述目标对象的前进方向，具体还可以利用如下步骤实现：
基于所述多个三维关键点信息，确定所述目标对象的两个胯骨之间的第三连线、所述目标对象的两个肩骨之间的第四连线和所述目标对象的盆骨点与颈椎点之间的第五连线；基于所述第三连线和所述第四连线，确定所述目标对象相对于水平面的第一躯干方向；基于所述第五连线，确定所述目标对象相对于竖直面的第二躯干方向；基于所述第一躯干方向和所述第二躯干方向，确定所述目标对象的前进方向。
上述确定各个连线的三维关键点信息为物理尺度空间中的信息。
在具体实施时，可以将上述第三连线和第四连线形成的角的平分线的方向为目标对象的左右方向，即上述第一躯干方向，将第五连线的方向作为目标对象的上下方向，即上述第二躯干方向。之后将第一躯干方向和第二躯干方向的叉乘的作为目标对象的前进方向。
上述仅利用三维关键点信息来确定多条连线，之后，利用确定的各个连线确定目标对象相对于水平面的第一躯干方向、目标对象相对于竖直面的第二躯干方向，最后利用第一躯干方向和第二躯干方向来确定目标对象的前进方向，并未基于拍摄设备的设备参数来确定前进方向，即未基于拍摄设备的设备参数来进行步态分析和识别，克服了步态分析和识别中存在的对其他数据或设备依赖性较强、泛化能力较差的缺陷。
基于上述实施例，在识别得到目标对象在多个连续的时刻的步态数据之后，可以基于识别得到步态数据监控和预测目标对象的行为，在具体应用中，可以利用识别得到的步态数据远程监控和预测儿童、患有认知障碍的老人的行为，以保障儿童、患有认知障碍的老人的人身安全。
本公开还提供了一种重心预测方法，该方法可以应用于对目标对象进行重心预测的单独的终端设备或服务器上，当然也可以应用于上述进行行为预测的终端设备或服务器上，如图5所示，本公开提供的重心预测方还可以包括如下步骤：
S510、基于目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象的第一重心坐标以及确定所述目标对象在所述目标图像中的多个三维关键点信息。
这里，基于目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象在所述目标图像中的多个三维关键点信息，与上述实施例中的方法相同，这里不再进行赘述。
这里，具体可以利用训练好的时序空洞卷积神经网络来确定第一重心坐标。这里的时序空洞卷积神经网络与上述确定三维关键点信息的时序空洞卷积神经网络不同，需要重新训练。
在利用时序空洞卷积神经网络来确定第一重心坐标时，不需要对输入的二维关键点信息进行归一化处理。同样，在训练该时序空洞卷积神经网络的时候，不要对样本二维关键点信息进行归一化处理。
本步骤利用训练好的神经网络来确定重心坐标，能够提高信息处理和确定的自动化程度，提高信息处理和确定的准确度。
由于上述时序空洞卷积神经确定的第一重心坐标在深度方向上确定的坐标较为准确，因此，在基于第一重心坐标确定目标重心坐标时，可以只取第一重心坐标在深度方向上坐标。
S520、基于所述目标对象在目标图像中的多个二维关键点信息和所述多个三维关键点信息，确定所述目标对象的第二重心坐标。
这里，可以利用现有的方法基于二维关键点信息和三维关键点信息确定第二重心坐标，例如可以利用SolvePnP算法确定第二重心坐标。由于上述算法确定的第二重心坐标在水平方向和竖直方向上确定的坐标较为准确，因此，在基于第二重心坐标确定目标重心坐标时，可以只取第二重心坐标在水平方向和竖直方向上坐标。
上述三维关键点信息为物理尺度空间的信息。
S530、基于所述第一重心坐标和所述第二重心坐标，确定所述目标对象在所述目标图像中的目标重心坐标。
这里，具体地可以取第一重心坐标在深度方向上坐标、第二重心坐标在水平方向和竖直方向上坐标作为目标对象在所述目标图像中的目标重心坐标。
本实施例中，利用结合确定的两个重心坐标，能够更加准确的确定目标对象的最终的目标重心坐标。
在确定了目标对象在连续的多个时刻上的目标重心坐标之后，可以基于确定的多个目标重心坐标，确定目标对象在该多个时刻上的位移估计结果。
在确定了目标对象的位移估计结果(运动轨迹)之后，可以基于该位移估计结果预测目标对象的后续的运动轨迹。在具体应用中，可以利用篮球运动员当前的运动轨迹，预测该篮球运动员后续的运动轨迹，以制定对抗战术。或者，可以在篮球比赛之后，分析某一位篮球运动员的运动轨迹，利用该运动轨迹对该篮球运动员的战术进行分析、总结，以及制定对抗战术等。
另外，利用上述实施例得到目标对象的步态数据确定了目标对象的行为，利用上述实施例得到的目标对象的重心坐标预测了目标对象的运动轨迹之后，可以综合目标对象的行为和预测的运动轨迹，预测目标对象接下来的行为是否会发生危险，例如，综合目前儿童的行为和预测的运动轨迹，预测儿童接下来的行为的行为特征信息，并根据该行为特征信息确定儿童接下来的行为是否会发生危险，以实施相匹配的安全处置策略。
上述用于确定目标对象的重心坐标的神经网络可以作为第二神经网络，在具体实施时，可以利用如下步骤训练所述第二神经网络的步骤：
步骤一、获取包括第二样本图像的第二样本视频片段，和第二样本对象在所述第二样本图像中的多个标准三维关键点信息，其中，所述第二样本视频片段还包括所述第二样本图像的前N帧图像。
这里第二样本图像是要确定重心坐标的图像。上述标准三维关键点信息作为样本标注信息使用。
在具体实施时，可以利用现有的方法或神经网络确定第二样本对象在所述第二样本图像中的多个标准三维关键点信息。该多个标准三维关键点信息具体可以是包括17个关键点的信息的对象骨架，是物理尺度空间中的信息。
步骤二、确定所述第二样本对象在所述第二样本视频片段的每帧图像中的多个样本二维关键点信息。
这里，可以是利用上述标准三维关键点信息反投影得到样本二维关键点信息。具体地可以利用如下步骤进行反投影处理：
获取拍摄所述第二样本视频片段的拍摄设备的设备参数信息，以及第二样本视频片段中每个图像的RGB画面；基于所述设备参数信息、每个RGB画面和所述多个标准三维关键点，分别确定所述第二样本对象在所述第二样本视频片段的每帧图像中的多个样本二维关键点信息。
基于多个标准三维关键点信息反投影确定多个样本二维关键点信息，能够提高确定的样本二维关键点信息的准确度。
另外，在具体实施时，也可以不利用反投影处理得到样本二维关键点信息，例如，可以直接利用现有的方法或二维关键点检测网络来对每帧图像中的第二样本对象进行检测，得到第二样本对象在所述第二样本视频片段的每帧图像中的多个样本二维关键点信息。
步骤三、基于所述多个标准三维关键点信息，确定所述第二样本对象的标准重心坐标。
步骤四、将确定的所述多个样本二维关键点信息输入待训练的第二初始神经网络，经过所述第二初始神经网络对输入的多个样本二维关键点信息进行处理，输出所述第二样本对象在所述第二样本图像中的预测重心坐标。
步骤五、基于所述预测重心坐标与所述标准重心坐标之间的误差信息，调整所述第二初始神经网络的网络参数，在训练完成后得到所述第二神经网络。
上述，步骤一中的多个标准三维关键点信息是物理尺度空间的信息，在获取到该物理尺度空间的标准三维关键点信息之后，可以直接利用物理尺度空间的标准三维关键点信息确定物理尺度空间的标准重心坐标，并利用所述预测重心坐标与物理尺度空间的标准重心坐标之间的误差信息，调整所述第二初始神经网络的网络参数。这样训练好后的第二神经网络在使用时，直接预测得到的重心坐标也是物理尺度空间的信息。
在一些实施例中，上述第一神经网络可以包括时序空洞卷积神经网络；所述第一神经网络中去除了不用于确定目标图像中的所述三维关键点信息的神经元。
利用时序空洞卷积神经网络来确定三维关键点信息，能够克服单帧图像检测中从二维关键点信息变换到三维关键信息中容易出现的多值歧义的缺陷，并且本实施例中，对时序空洞卷积神经网络进行了简化，去除了其中不用于确定目标图像中的三维关键点信息的神经元，能够提高从二维关键点信息变换到三维关键信息中存在的耗时久、实时性差的缺陷，有利于提高步态分析和识别的效率。
另外，上述第二神经网络可以包括时序空洞卷积神经网络；所述第二神经网络中去除了不用于确定目标图像中的重心坐标的神经元。
上述对时序空洞卷积神经网络进行了简化，去除了其中不用于确定目标图像中的重心坐标的神经元，能够确定重心坐标过程中存在的耗时久、实时性差的缺陷。具体地，本公开中的简化后的时序空洞卷积神经网络在家用型计算机上，对于720P的每帧图像，可以在10毫秒内完成从二维关键点信息到是三维关键点信息的转换。
另外，还可以不去除第一神经网络和第二神经网络中的神经元，只是利用其中用于确定三维关键点信息和重心坐标的神经元进行数据处理，其他神经元并不使用。如图6A所示的时序空洞卷积神经网络利用了所有的神经元来确定三维关键点信息，如图6B所示的时序空洞卷积神经网络只利用了用于确定目标图像中的所述三维关键点信息的神经元来确定三维关键点信息。
本公开实施例还提供了一种步态识别方法，该方法应用于对目标对象进行步态识别的终端设备或服务器。具体地，如图7所示，本公开实施例提供的步态识别方法包括如下步骤：
S710、获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数。
这里，目标图像是待进行步态识别的图像，即本实施例可以确定目标对象在目标图像中的步态数据。
目标视频片段可以是进行步态识别的终端设备利用其自身的摄像头等拍摄设备拍摄的，也可以是其他拍摄设备拍摄的，其他拍摄设备拍摄后，将目标视频片段传递给进行步态识别的终端设备即可。
上述N可以基于具体的应用场景灵活设定，例如可以设置为27。
S720、基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象在所述目标图像中的多个三维关键点信息。
在执行此步骤之前，首先需要确定目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，在具体实施时，可以利用现有的方法或二维关键点检测网络对每帧图像进行检测，确定每帧图像中的多个二维关键点信息。
在确定了目标对象在每帧图像中的多个二维关键点信息之后，具体可以利用时序空洞卷积神经网络，基于确定的多个二维关键点信息，确定目标对象在目标图像中的多个三维关键点信息。
利用目标对象在视频片段的每帧图像中的多个二维关键点信息，来确定目标对象在视频片段的最后一帧图像中的三维关键点信息，能够避免利用单帧图像的二维关键点信息确定三维关键点信息时容易出现的多值歧义的问题，获得了更好的时序连贯性和预测三维关键点信息的稳定性，从而能够提高基于三维关键点信息进行步态分析和识别的成功率和准确率。
S730、基于所述多个三维关键点信息，确定所述目标对象的前进方向。
这里，具体可以利用三维关键点信息中目标对象的胯骨、肩骨、盆骨等对应的是三维关键点信息来确定目标对象的前进方向，而不必依赖拍摄目标视频片段的拍摄设备的设备参数。
上述前进方向是目标对象在物理尺度空间中的前进方向；三维关键点信息既可以是目标对象在网络尺度空间中的信息，也可以是目标对象在物理尺度空间中的信息，如果三维关键点信息是目标对象在网络尺度空间中的信息，则首先需要将网络尺度空间中的三维关键点信息变换到物理尺度空间中。
其中，上述物理尺度空间即为真实世界中的物理尺度，单位可以是国际单位制中的长度标准单位米。网络尺度空间即为人为定义的一个算术尺度，单位是1，目的是去除对象自身尺寸对相关计算的影响，简化计算。两者的量纲不同。
S740、基于所述多个三维关键点信息和所述前进方向，识别所述目标对象在所述目标图像中的步态数据。
在一些本实施例中，在基于所述多个三维关键点信息，确定所述目标对象的前进方向之前，上述步态识别方法还包括如下步骤：获取所述目标对象的物理尺寸信息；基于所述目标对象的物理尺寸信息，将网络尺度空间的三维关键点信息更新为物理尺度空间的三维关键点信息。
上述步态识别方法的实施例中，多个三维关键点信息、目标对象的前进方向、步态数据等的实现方案与上述行为预测方法实施例中的对应的实现方案相同，取得的技术效果也相同，这里不再进行赘述。
对应于上述行为预测方法，本公开还提供了一种行为预测装置，该装置应用于进行行为预测的终端设备或服务器上，并且各个模块能够实现与上述方法中相同的方法步骤以及取得相同的有益效果，因此对于其中相同的部分，本公开不再进行赘述。
如图8所示，本公开提供的一种行为预测装置可以包括：
图像获取模块810，用于获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数。
图像处理模块820，用于基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象在所述目标图像中的步态数据和/或目标重心坐标。
预测模块830，用于基于所述步态数据和/或所述目标重心坐标，预测所述目标对象在预设时间段内的行为特征信息。
信息处理模块840，用于基于所述行为特征信息，确定所述目标对象在所述预设时间段内的安全特征信息以及与所述安全特征信息匹配的安全处置策略。
对应于上述步态识别方法，本公开还提供了一种步态识别装置，该装置应用于进行步态识别的终端设备或服务器上，并且各个模块能够实现与上述方法中相同的方法步骤以及取得相同的有益效果，因此对于其中相同的部分，本公开不再进行赘述。
具体的，如图9所示，本公开提供的一种步态识别装置可以包括：
视频获取模块910，用于获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数。
关键点处理模块920，用于基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象在所述目标图像中的多个三维关键点信息。
前进方向确定模块930，用于基于所述多个三维关键点信息，确定所述目标对象的前进方向。
步态识别模块940，用于基于所述多个三维关键点信息和所述前进方向，识别所述目标对象在所述目标图像中的步态数据。
本公开实施例公开了一种电子设备，如图10所示，包括：处理器1001、存储器1002和总线1003，所述存储器1002存储有所述处理器1001可执行的机器可读指令，当电子设备运行时，所述处理器1001与所述存储器1002之间通过总线1003通信。
所述机器可读指令被所述处理器1001执行时执行以下行为预测方法的步骤：
获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数；
基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象在所述目标图像中的步态数据和/或目标重心坐标；
基于所述步态数据和/或所述目标重心坐标，预测所述目标对象在预设时间段内的行为特征信息；
基于所述行为特征信息，确定所述目标对象在所述预设时间段内的安全特征信息以及与所述安全特征信息匹配的安全处置策略。
或者，所述机器可读指令被所述处理器1001执行时执行以下步态识别方法的步骤：
获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数；
基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象在所述目标图像中的多个三维关键点信息；
基于所述多个三维关键点信息，确定所述目标对象的前进方向；
基于所述多个三维关键点信息和所述前进方向，识别所述目标对象在所述目标图像中的步态数据。
除此之外，机器可读指令被处理器1001执行时，还可以执行上述方法部分描述的任一实施方式中的方法内容，这里不再赘述。
本公开实施例还提供的一种对应于上述方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，本文不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本公开中不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种行为预测方法，其特征在于，包括：
获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数；
基于目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象在所述目标图像中的多个三维关键点信息；
基于所述多个三维关键点信息，确定所述目标对象的前进方向；
基于所述多个三维关键点信息和所述前进方向，确定所述目标对象在所述目标图像中的步态数据；以及，基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象的第一重心坐标以及确定所述目标对象在所述目标图像中的多个三维关键点信息；
基于所述目标对象在目标图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象的第二重心坐标；
基于所述第一重心坐标和所述第二重心坐标，确定所述目标对象在所述目标图像中的目标重心坐标；
基于所述步态数据和所述目标重心坐标，预测所述目标对象在预设时间段内的行为特征信息；
基于所述行为特征信息，确定所述目标对象在所述预设时间段内的安全特征信息以及与所述安全特征信息匹配的安全处置策略。
2.根据权利要求1所述的行为预测方法，其特征在于，所述确定所述目标对象在所述目标图像中的多个三维关键点信息，包括：
针对所述目标视频片段中的每帧图像，基于所述目标对象在该帧图像中的多个二维关键点信息，确定所述目标对象在该帧图像中的检测框；
基于所述检测框的尺寸信息、所述检测框的中心点的坐标，对该帧图像中的每个二维关键点信息对应的坐标信息进行归一化处理，得到目标对象在该帧图像中的多个目标二维关键点信息；
基于目标对象在所述每帧图像中的多个目标二维关键点信息，确定所述目标对象在所述目标图像中多个三维关键点信息。
3.根据权利要求2所述的行为预测方法，其特征在于，所述基于目标对象在所述每帧图像中的多个目标二维关键点信息，确定所述目标对象在所述目标图像中多个三维关键点信息，包括：
将所述目标对象在所述每帧图像中的多个目标二维关键点信息，输入训练好的第一神经网络，经过所述第一神经网络对输入的多个目标二维关键点信息进行处理，确定所述目标对象在所述目标图像中多个三维关键点信息。
4.根据权利要求3所述的行为预测方法，其特征在于，还包括训练所述第一神经网络的步骤：
获取包括第一样本图像的第一样本视频片段，和第一样本对象在所述第一样本图像中的多个标准三维关键点信息，其中，所述第一样本视频片段还包括所述第一样本图像的前N帧图像；
基于所述多个标准三维关键点信息，确定所述第一样本对象在所述第一样本视频片段的每帧图像中的多个样本二维关键点信息；
将确定的所述多个样本二维关键点信息输入待训练的第一初始神经网络，经过所述第一初始神经网络对输入的多个样本二维关键点信息进行处理，确定所述第一样本对象在所述第一样本图像中的多个预测三维关键点信息；
基于所述多个预测三维关键点信息与所述多个标准三维关键点信息之间的误差信息，调整所述第一初始神经网络的网络参数；
在训练完成后得到所述第一神经网络。
5.根据权利要求4所述的行为预测方法，其特征在于，所述确定所述第一样本对象在所述第一样本视频片段的每帧图像中的多个样本二维关键点信息，包括：
获取拍摄所述第一样本视频片段的拍摄设备的设备参数信息；
基于所述设备参数信息和所述多个标准三维关键点，分别确定所述第一样本对象在所述第一样本视频片段的每帧图像中的多个样本二维关键点信息。
6.根据权利要求4所述的行为预测方法，其特征在于，所述基于所述多个预测三维关键点信息与所述多个标准三维关键点信息之间的误差信息，调整所述第一初始神经网络的网络参数，包括：
获取所述第一样本对象的物理尺寸信息；
基于所述第一样本对象的物理尺寸信息，分别确定每个标准三维关键点信息对应于网络尺度空间的目标标准三维关键点信息；
基于所述多个预测三维关键点信息与多个所述目标标准三维关键点信息之间的误差信息，调整所述第一初始神经网络的网络参数。
7.根据权利要求1所述的行为预测方法，其特征在于，所述基于所述多个三维关键点信息，确定所述目标对象的前进方向，包括：
基于所述多个三维关键点信息，确定所述目标对象的两个胯骨之间的第一连线和所述目标对象的两个肩骨之间的第二连线；确定所述第一连线和所述第二连线之间的最小误差平面；基于所述最小误差平面和水平面之间的相交线，确定所述目标对象的前进方向；或者，
基于所述多个三维关键点信息，确定所述目标对象的两个胯骨之间的第三连线、所述目标对象的两个肩骨之间的第四连线和所述目标对象的盆骨点与颈椎点之间的第五连线；基于所述第三连线和所述第四连线，确定所述目标对象相对于水平面的第一躯干方向；基于所述第五连线，确定所述目标对象相对于竖直面的第二躯干方向；基于所述第一躯干方向和所述第二躯干方向，确定所述目标对象的前进方向。
8.根据权利要求1或7所述的行为预测方法，其特征在于，所述步态数据包括所述目标对象的步长信息；
所述基于所述多个三维关键点信息和所述前进方向，确定所述目标对象在所述目标图像中的步态数据，包括：基于所述多个三维关键点信息，确定所述目标对象的两脚之间的连线在所述前进方向上的第一投影；基于所述第一投影的长度信息，确定所述目标对象的步长信息；
和/或，所述步态数据包括所述目标对象的步宽信息；
所述基于所述多个三维关键点信息和所述前进方向，确定所述目标对象在所述目标图像中的步态数据，包括：基于所述多个三维关键点信息，确定所述目标对象的两脚之间的连线在与所述前进方向相垂直的方向上的第二投影；基于所述第二投影的长度信息，确定所述目标对象的步宽信息。
9.根据权利要求1所述的行为预测方法，其特征在于，所述基于目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象的第一重心坐标，包括：
将所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，输入训练好的第二神经网络，经过所述第二神经网络对输入的多个二维关键点信息进行处理，确定所述目标对象的第一重心坐标。
10.根据权利要求9所述的行为预测方法，其特征在于，还包括训练所述第二神经网络的步骤：
获取包括第二样本图像的第二样本视频片段，和第二样本对象在所述第二样本图像中的多个标准三维关键点信息，其中，所述第二样本视频片段还包括所述第二样本图像的前N帧图像；
确定所述第二样本对象在所述第二样本视频片段的每帧图像中的多个样本二维关键点信息；
基于所述多个标准三维关键点信息，确定所述第二样本对象的标准重心坐标；
将确定的所述多个样本二维关键点信息输入待训练的第二初始神经网络，经过所述第二初始神经网络对输入的多个样本二维关键点信息进行处理，输出所述第二样本对象在所述第二样本图像中的预测重心坐标；
基于所述预测重心坐标与所述标准重心坐标之间的误差信息，调整所述第二初始神经网络的网络参数，在训练完成后得到所述第二神经网络。
11.一种行为预测装置，其特征在于，包括：
图像获取模块，用于获取目标视频片段，所述目标视频片段中包括目标图像和所述目标图像的前N帧图像；其中，N为正整数；
图像处理模块，用于基于目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象在所述目标图像中的多个三维关键点信息；基于所述多个三维关键点信息，确定所述目标对象的前进方向；基于所述多个三维关键点信息和所述前进方向，确定所述目标对象在所述目标图像中的步态数据；以及，基于所述目标对象在所述目标视频片段的每帧图像中的多个二维关键点信息，确定所述目标对象的第一重心坐标以及确定所述目标对象在所述目标图像中的多个三维关键点信息；基于所述目标对象在目标图像中的多个二维关键点信息和所述目标对象在所述目标图像中的多个三维关键点信息，确定所述目标对象的第二重心坐标；基于所述第一重心坐标和所述第二重心坐标，确定所述目标对象在所述目标图像中的目标重心坐标；
预测模块，用于基于所述步态数据和所述目标重心坐标，预测所述目标对象在预设时间段内的行为特征信息；
信息处理模块，用于基于所述行为特征信息，确定所述目标对象在所述预设时间段内的安全特征信息以及与所述安全特征信息匹配的安全处置策略。
12.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1~10任一所述的行为预测方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1~10任一所述的行为预测方法。
CN202010129936.XA 2020-02-28 2020-02-28 行为预测方法及装置、步态识别方法及装置 Active CN111291718B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN202010129936.XA CN111291718B (zh) 2020-02-28 2020-02-28 行为预测方法及装置、步态识别方法及装置
JP2021573491A JP7311640B2 (ja) 2020-02-28 2021-02-22 行動予測方法及び装置、歩容認識方法及び装置、電子機器並びにコンピュータ可読記憶媒体
PCT/CN2021/077297 WO2021169924A1 (zh) 2020-02-28 2021-02-22 行为预测方法及装置、步态识别方法及装置、电子设备和计算机可读存储介质
KR1020217039317A KR20220008843A (ko) 2020-02-28 2021-02-22 행위 예측 방법 및 장치, 걸음걸이 인식 방법 및 장치, 전자 장비 및 컴퓨터 판독 가능 저장 매체
EP21760041.0A EP3979122A4 (en) 2020-02-28 2021-02-22 BEHAVIOR PREDICTION METHOD AND APPARATUS, GEAR RECOGNITION METHOD AND APPARATUS, ELECTRONIC DEVICE AND COMPUTER READABLE STORAGE MEDIUM
TW110106421A TW202133036A (zh) 2020-02-28 2021-02-24 行為預測方法及裝置、步態識別方法及裝置、電子設備和電腦可讀存儲介質
US17/559,119 US20220114839A1 (en) 2020-02-28 2021-12-22 Behavior prediction method and apparatus, gait recognition method and apparatus, electronic device, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010129936.XA CN111291718B (zh) 2020-02-28 2020-02-28 行为预测方法及装置、步态识别方法及装置

Publications (2)

Publication Number Publication Date
CN111291718A CN111291718A (zh) 2020-06-16
CN111291718B true CN111291718B (zh) 2022-06-03

Family

ID=71022337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010129936.XA Active CN111291718B (zh) 2020-02-28 2020-02-28 行为预测方法及装置、步态识别方法及装置

Country Status (7)

Country Link
US (1) US20220114839A1 (zh)
EP (1) EP3979122A4 (zh)
JP (1) JP7311640B2 (zh)
KR (1) KR20220008843A (zh)
CN (1) CN111291718B (zh)
TW (1) TW202133036A (zh)
WO (1) WO2021169924A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291718B (zh) * 2020-02-28 2022-06-03 上海商汤智能科技有限公司 行为预测方法及装置、步态识别方法及装置
CN112597903B (zh) * 2020-12-24 2021-08-13 珠高电气检测有限公司 基于步幅测量的电力人员安全状态智能识别方法及介质
US11475628B2 (en) * 2021-01-12 2022-10-18 Toyota Research Institute, Inc. Monocular 3D vehicle modeling and auto-labeling using semantic keypoints
CN112907892A (zh) * 2021-01-28 2021-06-04 上海电机学院 基于多视图的人体跌倒报警方法
CN113015022A (zh) * 2021-02-05 2021-06-22 深圳市优必选科技股份有限公司 行为识别方法、装置、终端设备及计算机可读存储介质
CN114821805B (zh) * 2022-05-18 2023-07-18 湖北大学 一种危险行为预警方法、装置和设备
KR102476777B1 (ko) * 2022-05-25 2022-12-12 주식회사 유투에스알 인공지능 기반 경로 예측시스템
CN114818989B (zh) * 2022-06-21 2022-11-08 中山大学深圳研究院 基于步态的行为识别方法、装置、终端设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004028757A1 (ja) * 2002-09-26 2004-04-08 National Institute Of Advanced Industrial Science And Technology 歩行ロボットの歩行歩容生成装置
CN101558996A (zh) * 2009-05-15 2009-10-21 天津大学 基于人体运动结构正投影三维重建的步态识别方法
CN102697508A (zh) * 2012-04-23 2012-10-03 中国人民解放军国防科学技术大学 采用单目视觉的三维重建来进行步态识别的方法
CN108229355A (zh) * 2017-12-22 2018-06-29 北京市商汤科技开发有限公司 行为识别方法和装置、电子设备、计算机存储介质、程序
CN108694369A (zh) * 2017-04-07 2018-10-23 奥多比公司 基于图形图像来预测多个姿势
CN109214282A (zh) * 2018-08-01 2019-01-15 中南民族大学 一种基于神经网络的三维手势关键点检测方法和系统
CN109840500A (zh) * 2019-01-31 2019-06-04 深圳市商汤科技有限公司 一种三维人体姿态信息检测方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6334925B2 (ja) 2013-01-18 2018-05-30 キヤノンメディカルシステムズ株式会社 動作情報処理装置及び方法
CN107392097B (zh) 2017-06-15 2020-07-07 中山大学 一种单目彩色视频的三维人体关节点定位方法
WO2019216593A1 (en) * 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for pose processing
CN111291718B (zh) * 2020-02-28 2022-06-03 上海商汤智能科技有限公司 行为预测方法及装置、步态识别方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004028757A1 (ja) * 2002-09-26 2004-04-08 National Institute Of Advanced Industrial Science And Technology 歩行ロボットの歩行歩容生成装置
CN101558996A (zh) * 2009-05-15 2009-10-21 天津大学 基于人体运动结构正投影三维重建的步态识别方法
CN102697508A (zh) * 2012-04-23 2012-10-03 中国人民解放军国防科学技术大学 采用单目视觉的三维重建来进行步态识别的方法
CN108694369A (zh) * 2017-04-07 2018-10-23 奥多比公司 基于图形图像来预测多个姿势
CN108229355A (zh) * 2017-12-22 2018-06-29 北京市商汤科技开发有限公司 行为识别方法和装置、电子设备、计算机存储介质、程序
CN109214282A (zh) * 2018-08-01 2019-01-15 中南民族大学 一种基于神经网络的三维手势关键点检测方法和系统
CN109840500A (zh) * 2019-01-31 2019-06-04 深圳市商汤科技有限公司 一种三维人体姿态信息检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
3D Keypoint Detection Based on Deep Neural Network with Sparse Autoencoder;Xinyu Lin et al;《arXiv》;20160430;全文 *
基于三维步态特征的步态识别方法;邓秀春等;《计算机仿真》;20110430;第28卷(第4期);第279-282页 *
智能空间中人的行为识别与理解;黄彬;《中国博士学位论文全文数据库信息科技辑》;20100815;第74-92页 *
邓秀春等.基于三维步态特征的步态识别方法.《计算机仿真》.2011,第28卷(第4期), *

Also Published As

Publication number Publication date
EP3979122A1 (en) 2022-04-06
WO2021169924A1 (zh) 2021-09-02
TW202133036A (zh) 2021-09-01
JP2022536354A (ja) 2022-08-15
EP3979122A4 (en) 2022-10-12
CN111291718A (zh) 2020-06-16
JP7311640B2 (ja) 2023-07-19
US20220114839A1 (en) 2022-04-14
KR20220008843A (ko) 2022-01-21

Similar Documents

Publication Publication Date Title
CN111291718B (zh) 行为预测方法及装置、步态识别方法及装置
KR102106135B1 (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
CN110448870B (zh) 一种人体姿态训练方法
CN110546644B (zh) 识别装置、识别方法以及记录介质
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN109887040A (zh) 面向视频监控的运动目标主动感知方法及系统
CN111881853B (zh) 一种超大桥隧中异常行为识别方法和装置
JP5598751B2 (ja) 動作認識装置
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
WO2008057107A2 (en) Method and system for object surveillance and real time activity recognition
CN111402294A (zh) 目标跟踪方法、装置、计算机可读存储介质和计算机设备
CN110991274B (zh) 一种基于混合高斯模型和神经网络的行人摔倒检测方法
CN108875586B (zh) 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
CN115427982A (zh) 用于使用卷积神经网络标识数字视频中的人体行为的方法、系统和介质
CN109740659B (zh) 一种图像匹配方法及装置、电子设备、存储介质
CN114894337B (zh) 一种用于室外人脸识别测温方法及装置
CN115188066A (zh) 基于协同注意力和多尺度融合的运动目标检测系统及方法
CN111353429A (zh) 基于眼球转向的感兴趣度方法与系统
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
JP2021149687A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
CN114639168B (zh) 一种用于跑步姿态识别的方法和系统
JP2019012497A (ja) 部位認識方法、装置、プログラム、及び撮像制御システム
CN116778550A (zh) 施工区域的人员追踪方法、装置、设备以及存储介质
US20230005162A1 (en) Image processing system, image processing method, and storage medium
Li et al. Learning State Assessment in Online Education Based on Multiple Facial Features Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030517

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant