CN114495257A - 险态工况下融合行为机制的姿态预测方法和装置 - Google Patents

Abstract

本申请涉及一种险态工况下融合行为机制的姿态预测方法和装置。所述方法包括：获取样本图像数据集和影响因素数据集，所述样本图像数据集包含各样本对象在主动应激时段的状态图像，所述影响因素数据集包含各个状态图像所对应的行为机制影响因素；根据所述行为机制影响因素，通过控制变量法确定行为机制模型；根据所述行为机制影响因素、姿态识别算法和各所述样本对象在主动应激时段的状态图像，确定各所述样本对象在主动应激时段的姿态信息；根据各所述样本对象在主动应激时段的姿态信息和所述行为机制模型，生成姿态预测模型。采用本方法确保了险态工况下样本对象的姿态识别和预测与实际情况更加接近。

Description

险态工况下融合行为机制的姿态预测方法和装置

技术领域

本申请涉及道路交通安全领域，特别是涉及一种险态工况下融合行为机制的姿态预测方法和装置。

背景技术

随着道路交通安全技术的发展，出现了计算机视觉领域和机器学习算法，以道路交通中的车辆在紧急危险情况(即险态工况)下目标对象在发现危险时刻到碰撞零时刻时(即预碰撞阶段)姿态变化为研究对象，提出了一种融合目标对象行为机制的预碰撞阶段目标对象姿态预测方法，实现了目标对象险态工况下预碰撞阶段的姿态量化表征，为车辆主被动安全的开发提供了新的途径。

现有姿态识别算法的研究集中在车辆正常驾驶情况下，没有针对险态工况目标对象姿态识别和预测的研究，导致险态工况下样本对象的姿态识别和预测与实际情况明显不符。

发明内容

基于此，有必要针对上述技术问题，提供一种险态工况下融合行为机制的姿态预测方法和装置。

第一方面，本申请提供了一种险态工况下融合行为机制的姿态预测方法。

所述方法包括：

获取样本图像数据集和影响因素数据集，所述样本图像数据集包含各样本对象在主动应激时段的状态图像，所述影响因素数据集包含各个状态图像所对应的行为机制影响因素；

根据所述行为机制影响因素，通过控制变量法确定行为机制模型；

根据所述行为机制影响因素、姿态识别算法和各所述样本对象在主动应激时段的状态图像，确定各所述样本对象在主动应激时段的姿态信息；

根据各所述样本对象在主动应激时段的姿态信息和所述行为机制模型，生成姿态预测模型。

可选的，所述根据所述行为机制影响因素，通过控制变量法确定行为机制模型，包括：

对所述影响因素数据集的各所述行为机制影响因素分类，得到各类型的行为机制影响因素对应的子数据集；

在各类型的行为机制影响因素中，选取目标类型的行为机制影响因素对应的目标子数据集；

根据所述目标子数据集和其他类型的行为机制影响因素的预设数据，确定所述目标类型的行为机制影响因素的函数关系式；

在存在未确定函数关系式的第一类型的行为机制影响因素的情况下，在所述第一类型的行为机制影响因素中，重新选取目标类型的行为机制影响因素对应的目标子数据集，返回执行所述根据所述目标子数据集和预设的其他类型的行为机制影响因素的数据，确定所述目标类型的行为机制影响因素的函数关系式步骤，直到确定出所有类型的行为机制影响因素的函数关系式；

根据所述所有类型的行为机制影响因素的函数关系式，确定行为机制模型。

可选的，所述根据所述行为机制影响因素、姿态识别算法和各所述样本对象在主动应激时段的状态图像，确定各所述样本对象在主动应激时段的姿态信息，包括：

针对每个所述状态图像，通过所述姿态识别算法识别所述状态图像包含的各关键点信息，所述关键点信息包含关键点置信度向量和亲和度向量；

根据所述状态图像对应的行为机制影响因素的数据和各所述关键点信息进行卷积运算，得到各所述关键点信息对应的骨骼关节点信息，所述骨骼关节点信息包含骨骼关节点的三维坐标信息；

将各所述骨骼关节点信息相连接，得到所述样本对象在主动应激时段的姿态信息，所述样本对象在主动应激时段的姿态信息包含样本对象在险态工况开始时刻到碰撞零时刻的姿态信息。

可选的，所述根据所述状态图像对应的行为机制影响因素的数据和各所述关键点信息进行卷积运算，得到各所述关键点信息对应的骨骼关节点信息，包括：

针对每个关键点信息，按照预设的数据轮询顺序，在所述状态图像对应的各行为机制影响因素的数据中选取目标数据；

将所述目标数据与所述关键点信息作为输入量，输入至卷积计算模型中，得到卷积运算结果；并将所述卷积运算结果与下一次选取的数据作为输入量，输入至所述卷积计算模型中，直到得到最后一次选取的数据对应的卷积运算结果；

将所述最后一次选取的数据对应卷积运算结果确定为骨骼关节点信息。

第二方面，本申请提供了一种姿态信息预测的方法。所述方法包括：

根据行为机制影响因素、姿态识别算法和目标对象在险态工况开始时刻的状态图像，识别目标对象在险态工况开始时刻的姿态信息；

将所述目标对象在险态工况开始时刻的姿态信息、以及所述目标对象对应的行为机制模型的数据输入到姿态预测模型中，得到目标对象在碰撞零时刻的姿态信息；

确定所述目标对象在碰撞零时刻的姿态信息对应的主动应激行为；

其中，所述姿态预测模型通过权利要求1至4中任一项所述的险态工况下融合行为机制的姿态预测方法训练得到。

第三方面，本申请提供了一种险态工况下融合行为机制的姿态预测装置。

所述装置包括：

获取模块，用于获取样本图像数据集和影响因素数据集，所述样本图像数据集包含各样本对象在主动应激时段的状态图像，所述影响因素数据集包含各个状态图像所对应的行为机制影响因素；

第一确定模块，用于根据所述行为机制影响因素，通过控制变量法确定行为机制模型；

第二确定模块，用于根据所述行为机制影响因素、姿态识别算法和各所述样本对象在主动应激时段的状态图像，确定各所述样本对象在主动应激时段的姿态信息；

生成模块，用于根据各所述样本对象在主动应激时段的姿态信息和所述行为机制模型，生成姿态预测模型。

可选的，所述第一确定模块，具体用于：

对所述影响因素数据集的各所述行为机制影响因素分类，得到各类型的行为机制影响因素对应的子数据集；

在各类型的行为机制影响因素中，选取目标类型的行为机制影响因素对应的目标子数据集；

根据所述目标子数据集和其他类型的行为机制影响因素的预设数据，确定所述目标类型的行为机制影响因素的函数关系式；

在存在未确定函数关系式的第一类型的行为机制影响因素的情况下，在所述第一类型的行为机制影响因素中，重新选取目标类型的行为机制影响因素对应的目标子数据集，返回执行所述根据所述目标子数据集和预设的其他类型的行为机制影响因素的数据，确定所述目标类型的行为机制影响因素的函数关系式步骤，直到确定出所有类型的行为机制影响因素的函数关系式；

根据所述所有类型的行为机制影响因素的函数关系式，确定行为机制模型。

可选的，所述第二确定模块，具体用于：

针对每个所述状态图像，通过所述姿态识别算法识别所述状态图像包含的各关键点信息，所述关键点信息包含关键点置信度向量和亲和度向量；

根据所述状态图像对应的行为机制影响因素的数据和各所述关键点信息进行卷积运算，得到各所述关键点信息对应的骨骼关节点信息，所述骨骼关节点信息包含骨骼关节点的三维坐标信息；

将各所述骨骼关节点信息相连接，得到所述样本对象在主动应激时段的姿态信息，所述样本对象在主动应激时段的姿态信息包含样本对象在险态工况开始时刻到碰撞零时刻的姿态信息。

可选的，所述第二确定模块，具体用于：

针对每个关键点信息，按照预设的数据轮询顺序，在所述状态图像对应的各行为机制影响因素的数据中选取目标数据；

将所述目标数据与所述关键点信息作为输入量，输入至卷积计算模型中，得到卷积运算结果；并将所述卷积运算结果与下一次选取的数据作为输入量，输入至所述卷积计算模型中，直到得到最后一次选取的数据对应的卷积运算结果；

将所述最后一次选取的数据对应卷积运算结果确定为骨骼关节点信息。

第四方面，本申请提供了一种姿态信息预测装置。所述装置包括：

识别模块，用于根据行为机制影响因素、姿态识别算法和目标对象在险态工况开始时刻的状态图像，识别目标对象在险态工况开始时刻的姿态信息；

输出模块，将所述目标对象在险态工况开始时刻的姿态信息、以及目标对象对应的行为机制模型的数据输入到姿态预测模型中，得到目标对象在碰撞零时刻的姿态信息；

第一确定模块，用于确定所述目标对象在碰撞零时刻的姿态信息对应的主动应激行为；

其中，所述姿态预测模型通过权利要求1至4中任一项所述的险态工况下融合行为机制的姿态预测方法训练得到。

第五方面，本申请提供了一种计算机设备。所述计算机设备包括：存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现第一方面或第二方面中任一项所述的方法的步骤。

第六方面，本申请提供了一种计算机可读存储介质。所述存储介质包括：其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第一方面或第二方面中任一项所述的方法的步骤。

第七方面，本申请提供了一种计算机程序产品。所述计算机程序产品包括：计算机程序，其特征在于，该计算机程序被处理器执行时实现第一方面或第二方面中任一项所述的方法的步骤

上述险态工况下融合行为机制的姿态预测方法和装置，包括获取样本图像数据集和影响因素数据集，所述样本图像数据集包含各样本对象在主动应激时段的状态图像，所述影响因素数据集包含各个状态图像所对应的行为机制影响因素；根据所述行为机制影响因素，通过控制变量法确定行为机制模型；根据所述行为机制影响因素、姿态识别算法和各所述样本对象在主动应激时段的状态图像，确定各所述样本对象在主动应激时段的姿态信息；根据所述样本对象在主动应激时段的姿态信息对所述行为机制模型进行训练，得到姿态预测模型。通过样本对象的行为机制模型来优化姿态识别算法，获取到姿态信息，从而通过姿态信息对行为机制模型进行训练得到姿态预测模型，确保了险态工况下样本对象的姿态识别和预测与实际情况更加接近。

附图说明

图1为一个实施例中险态工况下融合行为机制的姿态预测方法流程示意图；

图2为一个实施例中行为机制模型建模流程示意图

图3为一个实施例中样本对象的状态图像对应的姿态信息识别流程示意图；

图4为一个实施例中获取骨骼关节点信息的流程示意图；

图5为一个实施例中姿态信息预测的方法的流程示意图；

图6为另一个实施例中险态工况下融合行为机制的姿态预测方法流程示意图；

图7为一个实施例中险态工况下融合行为机制的姿态预测装置流程示意图

图8为一个实施例中姿态信息预测的装置流程示意图

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的险态工况下融合行为机制的姿态预测方法，可以应用于终端中，也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以包括但不限于是各种个人计算机、笔记本电脑、平板电脑等。该终端用于获取样本图像数据集和样本因素数据集，通过样本因素数据集建立行为机制模型，并通过姿态识别算法及样本对象的行为机制影响因素的数据，识别样本对象的状态图像的姿态信息。通过样本对象的状态图像的姿态信息和样本对象的行为机制模型的数据，建立姿态预测模型。

在一个实施例中，如图1所示，提供了一种险态工况下融合行为机制的姿态预测方法，本实施例以该方法应用于终端进行举例说明，该方法包括以下步骤：

步骤S101，获取样本图像数据集和影响因素数据集。

其中，样本图像数据集包含各样本对象在主动应激时段的状态图像，影响因素数据集包含各个状态图像所对应的行为机制影响因素。

本实施例中，样本对象为在车辆行驶期间驾驶车辆的对象，主动应激时段包括险态工况开始时刻到零碰撞时刻的时间区段，状态图像至少包含样本对象在驾驶室内的完整躯干的驾驶状态图像，行为机制影响因素包括样本对象的体征及驾驶环境因素。

终端可以通过记录样本对象实验前的行为机制影响因素的数据，将相关数据进行量化，获取到样本对象的影响因素数据集。通过录像或照片的方式，记录样本对象实验中的场景碰撞时，样本对象在主动应激时段内持续采集得到的状态图像，获取到样本对象的样本图像数据集。例如，在VR模拟实验环境条件下，终端在记录了样本对象实验前的行为机制影响因素的数据后，将相关数据进行量化，获取到样本对象的影响因素数据集。模拟实验室通过VR环境模拟车辆碰撞场景，模拟实验室为记录样本对象所采取的行为，将通过在各个角度摆设摄像机的方式进行记录。终端通过摄像机记录的样本对象在主动应激时段内持续采集得到的状态图像，获取到样本对象的样本图像数据集。

步骤S102，根据行为机制影响因素，通过控制变量法确定行为机制模型。

本实施例中，行为机制影响因素包括三种因素，分别为内在因素、外在因素和驾驶环境因素。内在因素可以是血压、血氧、健康状况等，外在因素可以是身高、年龄、体重、性别等，驾驶环境因素可以是天气、车辆老化或磨损程度、方向盘位置、驾驶座椅高低等因素。终端根据所获得的影响因素数据集，确定样本对象在内在因素、外在因素及驾驶环境因素影响下的行为机制函数关系式，并通过影响因素数据集中的各个数据对该行为机制函数关系式进行训练，得到行为机制模型。

步骤S103，根据行为机制影响因素、姿态识别算法和各样本对象在主动应激时段的状态图像，确定各样本对象在主动应激时段的姿态信息。

本实施例中，终端通过姿态识别算法对样本对象在主动应激时段的状态图像进行识别，得到关键点信息。再通过该状态图像的行为机制影响因素所对应的数据对关键点信息进行优化计算，得到骨骼关节点信息。终端通过将各个骨骼关节点信息相连接，得到状态图像的姿态信息。针对每个状态图像的姿态信息，将样本对象在主动应激时段的所有状态图像的姿态信息汇总，得到样本对象在主动应激时段的姿态信息。

步骤S104，根据各样本对象在主动应激时段的姿态信息和所述行为机制模型，生成姿态预测模型。

本实施例中，终端可以通过样本对象在主动应激时段的姿态信息，确定样本对象在主动应激时段的姿态变化情况、以及样本对象在主动应激时段的姿态信息中的各个骨骼关节点信息。根据各个骨骼关节点信息在主动应激时段的开始时刻和结束时刻的映射关系，以及样本对象的行为机制影响因素对应的数据，确定各个骨骼关节点的姿态预测函数关系式，通过将各个骨骼关节点的姿态预测函数关系式集合，建立姿态预测函数关系式。通过将各个样本对象在主动应激时段的姿态信息代入到该姿态信息对应的姿态预测函数关系式中进行训练，得到姿态预测模型。

以样本对象在主动应激时段的姿态信息中的胸部中心关节点的位置预测为例，假设胸部中心关节点在险态工况开始时刻和碰撞零时刻的位置分别为M(X₁，Y₁，Z₁)和N(X₂，Y₂，Z₂)，则通过该样本对象在主动应激时段的开始时刻和结束时刻的映射关系、以及行为机制模型，建立从点M到点N的姿态预测函数关系式。具体函数关系式如下：

上式中，ɑ为衡量自变量对因变量影响程度的参数，f(X₁)可以通过数据训练得到。f(X₁)为拟合从变量X₁到变量X₂的映射函数，拟合方程的具体形式可利用统计学的方法通过包括但不限于R²的方法得到(R²，通过定义因变量拟合值与真实值之间的差异定义的系数，越接近1表明函数拟合效果越好)。同理Y₁和Y₂，以及Z₁和Z₂的姿态预测函数关系式也可以通过类似方法得到。通过将其他样本对象在主动应激时段的开始时刻和结束时刻的胸部中心关节点信息代入该姿态预测函数关系式进行训练，得到样本对象关于胸部中心关节点的姿态预测模型。

通过上述步骤，可以得到姿态信息中的各个骨骼关节点的姿态预测函数关系式，通过将各个姿态预测关系式合并，得到最终的姿态预测模型，具体模型如下：

M(H₂)＝M’(H₁)

H_i＝Σ(X_i,Y_i,Z_i)

上式中，M(H₂)为样本对象在碰撞零时刻的状态图像对应的姿态信息，M’(H₁)为样本对象在险态工况开始时刻的状态图像对应的姿态信息的姿态预测函数关系式集合，H₁为样本对象在险态工况开始时刻的状态图像对应的姿态信息中各个骨骼关节点信息的三维坐标信息的集合，Z₂为样本对象在碰撞零时刻的状态图像对应的姿态信息中各个骨骼关节点信息的三维坐标信息的集合，X_i,Y_i,Z_i为样本对象在险态工况开始时刻或碰撞零时刻的状态图像对应的姿态信息中的骨骼关节点信息中任意一个骨骼关节点的三维坐标信息。

基于上述方案，通过样本对象的行为机制模型来优化姿态识别算法，获取到姿态信息，从而通过姿态信息对行为机制模型进行训练得到姿态预测模型，确保了险态工况下样本对象的姿态识别和预测与实际情况更加接近。

可选的，如图2所示，根据行为机制影响因素，通过控制变量法确定行为机制模型，包括：

步骤S201，对影响因素数据集的各行为机制影响因素分类，得到各类型的行为机制影响因素对应的子数据集。

本实施例中，行为机制影响因素包括三种因素，分别为内在因素、外在因素和驾驶环境因素，而每个因素包含多个子因素，每个子因素代表一个行为机制影响因素的类型。终端先对获取到的影响因素数据集进行分类，分为外在因素(f₁)数据集、内在因素(f₂)数据集和驾驶环境因素(f₃)数据集，再将各个影响因素数据集划为各类型的行为机制影响因素对应的子数据集。例如，外在因素(f₁)可以细分为年龄、身高、体重、性别等，其中年龄(x₁)、身高(x₂)、体重(x₃)，性别(x₄)。

步骤S202，在各类型的行为机制影响因素中，选取目标类型的行为机制影响因素对应的目标子数据集。

在实施例中，终端随机选取一个行为机制影响因素对应的子数据集作为目标类型的行为机制影响因素对应的目标子数据集，该目标子数据集包含该类型的行为机制影响因素所对应的所有数据。

步骤S203，根据目标子数据集和其他类型的行为机制影响因素的预设数据，确定目标类型的行为机制影响因素的函数关系式。

本实施例中，函数关系式为上述行为机制函数关系式，终端通过选取的目标类型的行为机制影响因素，建立该行为机制影响因素与其他所有类型的行为机制影响因素的行为机制函数关系式，具体关系式如下：

F＝F(f₁，f₂，f₃)

通过运用控制变量法，在除目标类型的行为机制影响因素以外的其他所有类型的行为机制影响因素对应的数据集中，随机选取一个数据作为预设数据，将该预设数据代入该行为机制函数关系式作为常量。通过将目标类型的行为机制影响因素对应的数据集代入该行为机制函数关系式进行训练，得到该目标类型的行为机制影响因素的函数关系式。例如，在行为机制只有外在因素(f₁)的情况下，以外在因素(f₁)中的年龄(x₁)为例，首先建立行为机制影响因素的行为机制函数关系式，具体如下：

f₁＝f(x₁，x₂，x₃，x₄)

运用控制变量法，选取身高(x₂)、体重(x₃)，性别(x₄)数据集中的一个数据作为常量，则可以确定年龄(x₁)的行为机制函数关系式，具体如下：

其中c为常量，是身高(x₂)、体重(x₃)，性别(x₄)所选取的数据的集合，通过将年龄(x₁)数据集中的各个数据代入行为机制函数关系式中，可以得到各个年龄(x₁)数据所对应的行为机制函数关系式，将各个行为机制函数关系式拟合后，可以确定a与b的具体值。

步骤S204，在存在未确定函数关系式的第一类型的行为机制影响因素的情况下，在第一类型的行为机制影响因素中，重新选取目标类型的行为机制影响因素对应的目标子数据集，返回执行步骤S202，直到确定出所有类型的行为机制影响因素的函数关系式。

本实施例中，终端判断行为机制影响因素是否存在没有生成与其他类型的行为机制影响因素对应的行为机制函数关系式的子因素。在存在没有生成与其他类型的行为机制影响因素对应的行为机制函数关系式的子因素的情况下，终端在除了已有与其他类型的行为机制影响因素对应的行为机制函数关系式的子因素外，选取其他类型的行为机制影响因素对应的子数据集，作为目标类型的行为机制影响因素对应的目标子数据集，并返回执行步骤203。在不存在没有生成与其他类型的行为机制影响因素对应的行为机制函数关系式的子因素的情况下，停止返回执行步骤S203操作。

例如，在行为机制只有外在因素(f₁)的情况下，通过步骤203已经得到年龄(x₁)和其他外在因素(f₁)的行为机制函数关系式后，终端判断身高(x₂)、体重(x₃)，性别(x₄)是否有对应的行为机制函数关系式，在存在子因素没有对应的行为机制函数关系式的情况下，随机在身高(x₂)、体重(x₃)，性别(x₄)三个子因素的数据集中选取一个子因素的数据集，作为目标子数据集，返回执行步骤S203。在不存在子因素没有对应的行为机制函数关系式的情况下，停止返回执行步骤S203操作。

步骤S205，根据所有类型的行为机制影响因素的函数关系式，确定行为机制模型。

在本实施例中，终端通过步骤S204确定了所有子因素对应的行为机制函数关系式后，将所有行为机制函数关系式合并，形成行为机制模型，具体行为机制模型的建模如下：

上式中，f_i为行为机制影响因素中外在因素(f₁)、内在因素(f₂)或驾驶环境因素(f₃)所对应的行为机制函数关系式。

例如，在行为机制只有外在因素(f₁)的情况下，通过步骤204确定了年龄(x₁)、身高(x₂)、体重(x₃)，性别(x₄)的行为机制函数关系式后，将各个子因素对应的函数关系式合并，确定该行为机制模型的建模为：

上式中，x_i为外在因素(f₁)中年龄(x₁)、身高(x₂)、体重(x₃)，性别(x₄)所对应的行为机制函数关系式。

基于上述方案，通过对行为机制影响因素对应的数据进行训练，得到行为机制模型，从而为之后姿态预测模型提供了运算基础，并使得姿态预测模型预测出的情况与实际情况更加相符。

可选的，如图3所示，根据行为机制影响因素、姿态识别算法和各样本对象在主动应激时段的状态图像，确定各样本对象在主动应激时段的姿态信息，包括：

步骤S301，针对每个状态图像，通过姿态识别算法识别状态图像包含的各关键点信息。

其中，关键点信息包含关键点置信度向量和亲和度向量。

本实施例中，终端根据获取的各样本对象在主动应激时段的状态图像，利用神经网络模型VGG对状态图像进行训练，得到不同的网络预测关节点信息。任意选取其中一个网络预测关节点信息作为目标网络预测关节点信息，该目标网络预测关节点信息为初始骨骼关节点信息，且网络预测关节点信息为在车辆坐标系下的关节点的三维坐标值。将其他网络预测关节点信息分别与该网络预测关节点信息进行卷积运算。每次进行卷积运算后，将卷积运算得到的关节点信息作为下一次卷积运算的目标网络预测关节点信息，直到所有网络预测关节点信息均与该目标网络预测关节点信息完成卷积运算后，输出最后一次卷积运算的结果为关键点信息。同理，将样本对象在主动应激时段中各个时刻的状态图像均通过上述步骤进行运算，得到样本对象在主动应激时段中各个时刻的关键点信息。

步骤S302，根据状态图像对应的行为机制影响因素的数据和各关键点信息进行卷积运算，得到各关键点信息对应的骨骼关节点信息。

其中，骨骼关节点信息包含骨骼关节点的三维坐标信息。

本实施例中，骨骼关节点的三维坐标信息为在车辆坐标系下的骨骼关节点的三维坐标值，并为对初始骨骼关节点信息进行优化后得到的骨骼关节点信息终端将状态图像所对应的行为机制影响因素的各个数据，分别与状态图像所对应的关键点信息进行卷积运算，并将每次卷积运算得到的关键点信息作为下一次卷积运算的关键点信息，直到状态图像所对应的行为机制影响因素的各个数据均完成卷积运算后，输出最后一次卷积运算的结果为骨骼关节点信息，同理将样本对象在主动应激时段中各个时刻的状态图像均通过上述步骤进行运算，得到样本对象在主动应激时段中各个时刻的骨骼关节点信息。

步骤S303，将各骨骼关节点信息相连接，得到样本对象在主动应激时段的姿态信息，样本对象在主动应激时段的姿态信息包含样本对象在险态工况开始时刻到碰撞零时刻的姿态信息。

本实施例中，每个状态图像的骨骼关节点信息包含各个骨骼关节点的三维坐标信息，将各个骨骼关节点的三维坐标信息分别按照对应的坐标位置关系，首位相连，拼装成完整的骨架信息，确定该骨架信息为该状态图像的姿态信息，骨架信息用于反映在状态图像中样本对象的骨架图像信息。同理将样本对象在主动应激时段中各个时刻的状态图像均通过上述步骤进行连接，得到样本对象在主动应激时段中各个时刻的姿态信息。

基于上述方案，通过在传统姿态识别算法的基础上，对网络结构进行优化改进，考虑影响驾驶员行为机制的因素，从而得到样本对象在主动应激时段中各个时刻的姿态信息，为之后训练姿态预测模型提供数据基础，进一步保证了姿态预测模型预测出的情况与实际情况更加相符。

可选的，如图4所示，根据状态图像对应的行为机制影响因素的数据和各关键点信息进行卷积运算，得到各关键点信息对应的骨骼关节点信息，包括：

步骤S401，针对每个关键点信息，按照预设的数据轮询顺序，在状态图像对应的各行为机制影响因素的数据中选取目标数据。

本实施例中，终端将状态图像对应的各行为机制影响因素中的数据按照行为机制影响因素的类别进行分类，确定各个类别的行为机制影响因素对应的数据。通过随机选取的方式从各个类别的行为机制影响因素对应的数据中，选取一个类别的行为机制影响因素对应的数据作为目标类别的行为机制影响因素对应的目标数据。

步骤S402，将目标数据与关键点信息作为输入量，输入至卷积计算模型中，得到卷积运算结果；并将卷积运算结果与下一次选取的数据作为输入量，输入至卷积计算模型中，直到得到最后一次选取的数据对应的卷积运算结果。

在本实施例中，终端将目标类别的行为机制影响因素对应的目标数据和状态图像对应的关键点信息作为输入量，带入到卷积运算中，得到新的关键点信息。终端判断是否所有类别的行为机制影响因素所对应的数据都完成了卷积运算，在存在行为机制影响因素所对应的数据未进行卷积运算的情况下，终端将上一次卷积运算得到的新的关键点信息，作为下一次卷积运算的关键点信息。重新在未进行卷积运算的行为机制影响因素所对应的数据中，选取一个类别的行为机制影响因素对应的数据，作为目标类别的行为机制影响因素对应的目标数据。将目标类别的行为机制影响因素对应的目标数据和关键点信息作为输入量，带入到卷积运算中得到新的关键点信息。在不存在行为机制影响因素所对应的数据未进行卷积运算的情况下，将最后一次卷积运算得到的新的关键点信息作为输出量。

步骤S403，将最后一次选取的数据对应卷积运算结果确定为骨骼关节点信息。

本实施例中，终端将最后一次卷积运算得到的输出量，确定为状态图像的骨骼关节点信息。

基于上述方案，通过考虑驾驶员行为机制因素，对关键点信息进行优化，提升了姿态识别算法的鲁棒性，确保了姿态识别算法得到的姿态信息与实际信息偏差更小，可解释性更高。

在一个实施例中，如图5所示，本申请提供了一种姿态信息预测的方法，该方法包括以下步骤：

步骤S501，根据行为机制影响因素、姿态识别算法和目标对象在险态工况开始时刻的状态图像，识别目标对象在险态工况开始时刻的姿态信息。

本实施例中，终端在获取到的目标对象在主动应激时段的状态图像中，选取目标对象在险态工况开始时刻的状态图像，以及该状态图像的行为机制影响因素所对应的数据作为输入量，代入姿态识别算法中进行运算，通过姿态识别算法确定目标对象在险态工况开始时刻的状态图像所对应的姿态信息。

步骤S502，将目标对象在险态工况开始时刻的姿态信息、以及目标对象对应的行为机制模型的数据输入到姿态预测模型中，得到目标对象在碰撞零时刻的姿态信息。

本实施例中，终端先将目标对象的行为机制影响因素所对应的数据代入行为机制模型中，得到目标对象所对应的行为机制模型的数据，将目标对象所对应的行为机制模型的数据代入到姿态预测模型中，并将该姿态信息的骨骼关节点置信度和亲和度向量数据分别代入到姿态预测模型中，得到目标对象在碰撞零时刻的骨骼关节点信息的置信度和亲和度向量，从而确定目标对象在碰撞零时刻的姿态信息。

步骤S503，确定目标对象在碰撞零时刻的姿态信息对应的主动应激行为。

其中，姿态预测模型通过险态工况下融合行为机制的姿态预测方法中任一项的险态工况下融合行为机制的姿态预测方法训练得到。

本实施例中，终端获取样本对象在险态工况下的主动应激行为，主动应激行为包括主动行为，以及与主动行为对应的应激行为。通过将主动行为与应激行为通过一对一或者一对多的方式，组合成各种主动应激行为。主动行为可以包括转动方向盘、脚踩制动、转动方向盘同时脚踩制动和无决策行为，应激反应行为可以包括身体躯干后倾、双臂撑紧方向盘、伸展下肢脚踩车辆底板和无应激行为。根据目标对象在碰撞零时刻的姿态信息，确定该目标对象在碰撞零时刻所采取的主动应激行为。

基于上述方案，通过输入目标对象在险态工况开始时刻的姿态信息，通过姿态预测模型，预测得到该目标对象在碰撞零时刻的姿态信息，以及该姿态信息对应的主动应激行为，扩大了目标对象在险态工况下的姿态识别和预测的可能性。

本申请还提供了一种态预测模型的训练的示例，如图6所示，具体处理过程包括以下步骤：

步骤601，获取样本图像数据集和影响因素数据集，样本图像数据集包含各样本对象在主动应激时段的状态图像，影响因素数据集包含各个状态图像所对应的行为机制影响因素。

步骤602，对影响因素数据集的各行为机制影响因素分类，得到各类型的行为机制影响因素对应的子数据集。

步骤603，在各类型的行为机制影响因素中，选取目标类型的行为机制影响因素对应的目标子数据集。

步骤604，根据目标子数据集和其他类型的行为机制影响因素的预设数据，确定目标类型的行为机制影响因素的函数关系式。

步骤605，判断是否存在未确定函数关系式的第一类型的行为机制影响因素。

如果是，则重新选取目标类型的行为机制影响因素对应的目标子数据集，返回执行步骤603；如果否，则执行步骤607。

步骤606，根据所有类型的行为机制影响因素的函数关系式，确定行为机制模型。

步骤607，针对每个状态图像，通过姿态识别算法识别状态图像包含的各关键点信息，关键点信息包含关键点置信度向量和亲和度向量。

步骤608，针对每个关键点信息，按照预设的数据轮询顺序，在状态图像对应的各行为机制影响因素的数据中选取目标数据。

步骤609，将目标数据与关键点信息作为输入量，输入至卷积计算模型中，得到卷积运算结果；并将卷积运算结果与下一次选取的数据作为输入量，输入至卷积计算模型中，直到得到最后一次选取的数据对应的卷积运算结果。

步骤610，将最后一次选取的数据对应卷积运算结果确定为骨骼关节点信息。

步骤611，将各骨骼关节点信息相连接，得到样本对象在主动应激时段的姿态信息，样本对象在主动应激时段的姿态信息包含样本对象在险态工况开始时刻到碰撞零时刻的姿态信息。

步骤612，根据各所述样本对象在主动应激时段的姿态信息和所述行为机制模型，生成姿态预测模型。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的险态工况下融合行为机制的姿态预测方法和的装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个险态工况下融合行为机制的姿态预测装置实施例中的具体限定可以参见上文中对于险态工况下融合行为机制的姿态预测方法的限定，在此不再赘述。

在一个实施例中，如图7所示，提供了一种险态工况下融合行为机制的姿态预测装置，包括获取模块710、第一确定模块720、第二确定模块730、生成模块740，其中：

获取模块710，用于获取样本图像数据集和影响因素数据集，样本图像数据集包含各样本对象在主动应激时段的状态图像，影响因素数据集包含各个状态图像所对应的行为机制影响因素。

第一确定模块720，用于根据行为机制影响因素，通过控制变量法确定行为机制模型。

第二确定模块730，用于根据行为机制影响因素、姿态识别算法和各样本对象在主动应激时段的状态图像，确定各样本对象在主动应激时段的姿态信息。

生成模块740，用于根据各样本对象在主动应激时段的姿态信息和行为机制模型，生成姿态预测模型。

可选的，第一确定模块720，具体用于：

对影响因素数据集的各行为机制影响因素分类，得到各类型的行为机制影响因素对应的子数据集。

在各类型的行为机制影响因素中，选取目标类型的行为机制影响因素对应的目标子数据集。

根据目标子数据集和其他类型的行为机制影响因素的预设数据，确定目标类型的行为机制影响因素的函数关系式。

在存在未确定函数关系式的第一类型的行为机制影响因素的情况下，在第一类型的行为机制影响因素中，重新选取目标类型的行为机制影响因素对应的目标子数据集，返回执行根据目标子数据集和预设的其他类型的行为机制影响因素的数据，确定目标类型的行为机制影响因素的函数关系式步骤，直到确定出所有类型的行为机制影响因素的函数关系式。

根据所有类型的行为机制影响因素的函数关系式，确定行为机制模型。

可选的，第二确定模块730，具体用于：

针对每个状态图像，通过姿态识别算法识别状态图像包含的各关键点信息，关键点信息包含关键点置信度向量和亲和度向量。

根据状态图像对应的行为机制影响因素的数据和各关键点信息进行卷积运算，得到各关键点信息对应的骨骼关节点信息，骨骼关节点信息包含骨骼关节点的三维坐标信息。

将各骨骼关节点信息相连接，得到样本对象在主动应激时段的姿态信息，样本对象在主动应激时段的姿态信息包含样本对象在险态工况开始时刻到碰撞零时刻的姿态信息。

可选的，第二确定模块730，具体用于：

针对每个关键点信息，按照预设的数据轮询顺序，在状态图像对应的各行为机制影响因素的数据中选取目标数据。

将目标数据与关键点信息作为输入量，输入至卷积计算模型中，得到卷积运算结果；并将卷积运算结果与下一次选取的数据作为输入量，输入至卷积计算模型中，直到得到最后一次选取的数据对应的卷积运算结果。

将最后一次选取的数据对应卷积运算结果确定为骨骼关节点信息。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的姿态信息预测方法的装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个姿态信息预测装置实施例中的具体限定可以参见上文中对于姿态信息预测方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种姿态信息预测装置，包括：识别模块810、输出模块820、第一确定模块830，其中：

识别模块810，用于根据行为机制影响因素、姿态识别算法和目标对象在险态工况开始时刻的状态图像，识别目标对象在险态工况开始时刻的姿态信息；

输出模块820，用于将目标对象在险态工况开始时刻的姿态信息、以及目标对象对应的行为机制模型的数据输入到姿态预测模型中，得到目标对象在碰撞零时刻的姿态信息；

第一确定模块830，用于确定目标对象在碰撞零时刻的姿态信息对应的主动应激行为；

其中，姿态预测模型通过前述任一项险态工况下融合行为机制的姿态预测方法训练得到。

上述险态工况下融合行为机制的姿态预测装置和姿态信息预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种险态工况下融合行为机制的姿态预测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(MagnetoresistiveRandomAccessMemory，MRAM)、铁电存储器(FerroelectricRandomAccessMemory，FRAM)、相变存储器(PhaseChangeMemory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccessMemory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(StaticRandomAccessMemory，SRAM)或动态随机存取存储器(DynamicRandomAccessMemory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种险态工况下融合行为机制的姿态预测方法，其特征在于，所述方法包括：

获取样本图像数据集和影响因素数据集，所述样本图像数据集包含各样本对象在主动应激时段的状态图像，所述影响因素数据集包含各个状态图像所对应的行为机制影响因素；

根据所述行为机制影响因素，通过控制变量法确定行为机制模型；

根据所述行为机制影响因素、姿态识别算法和各所述样本对象在主动应激时段的状态图像，确定各所述样本对象在主动应激时段的姿态信息；

根据各所述样本对象在主动应激时段的姿态信息和所述行为机制模型，生成姿态预测模型。

2.根据权利要求1所述的方法，其特征在于，所述根据行为机制影响因素，通过控制变量法确定行为机制模型，包括：

对所述影响因素数据集的各所述行为机制影响因素分类，得到各类型的行为机制影响因素对应的子数据集；

在各类型的行为机制影响因素中，选取目标类型的行为机制影响因素对应的目标子数据集；

根据所述目标子数据集和其他类型的行为机制影响因素的预设数据，确定所述目标类型的行为机制影响因素的函数关系式；

在存在未确定函数关系式的第一类型的行为机制影响因素的情况下，在所述第一类型的行为机制影响因素中，重新选取目标类型的行为机制影响因素对应的目标子数据集，返回执行所述根据所述目标子数据集和预设的其他类型的行为机制影响因素的数据，确定所述目标类型的行为机制影响因素的函数关系式步骤，直到确定出所有类型的行为机制影响因素的函数关系式；

根据所述所有类型的行为机制影响因素的函数关系式，确定行为机制模型。

3.根据权利要求1所述的方法，其特征在于，所述根据所述行为机制影响因素、姿态识别算法和各所述样本对象在主动应激时段的状态图像，确定各所述样本对象在主动应激时段的姿态信息，包括：

针对每个所述状态图像，通过所述姿态识别算法识别所述状态图像包含的各关键点信息，所述关键点信息包含关键点置信度向量和亲和度向量；

根据所述状态图像对应的行为机制影响因素的数据和各所述关键点信息进行卷积运算，得到各所述关键点信息对应的骨骼关节点信息，所述骨骼关节点信息包含骨骼关节点的三维坐标位置信息；

将各所述骨骼关节点信息相连接，得到所述样本对象在主动应激时段的姿态信息，所述样本对象在主动应激时段的姿态信息包含样本对象在险态工况开始时刻到碰撞零时刻的姿态信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述状态图像对应的行为机制影响因素的数据和各所述关键点信息进行卷积运算，得到各所述关键点信息对应的骨骼关节点信息，包括：

针对每个关键点信息，按照预设的数据轮询顺序，在所述状态图像对应的各行为机制影响因素的数据中选取目标数据；

将所述目标数据与所述关键点信息作为输入量，输入至卷积计算模型中，得到卷积运算结果；并将所述卷积运算结果与下一次选取的数据作为输入量，输入至所述卷积计算模型中，直到得到最后一次选取的数据对应的卷积运算结果；

将所述最后一次选取的数据对应卷积运算结果确定为骨骼关节点信息。

5.一种姿态信息预测的方法，其特征在于，所述方法包括：

根据行为机制影响因素、姿态识别算法和目标对象在险态工况开始时刻的状态图像，识别目标对象在险态工况开始时刻的姿态信息；

将所述目标对象在险态工况开始时刻的姿态信息、以及所述目标对象对应的行为机制模型的数据输入到姿态预测模型中，得到目标对象在碰撞零时刻的姿态信息；

确定所述目标对象在碰撞零时刻的姿态信息对应的主动应激行为；

其中，所述姿态预测模型通过权利要求1至4中任一项所述的险态工况下融合行为机制的姿态预测方法训练得到。

6.一种险态工况下融合行为机制的姿态预测装置，其特征在于，所述装置包括：

获取模块，用于获取样本图像数据集和影响因素数据集，所述样本图像数据集包含各样本对象在主动应激时段的状态图像，所述影响因素数据集包含各个状态图像所对应的行为机制影响因素；

第一确定模块，用于根据行为机制影响因素，通过控制变量法确定行为机制模型；

第二确定模块，用于根据所述行为机制影响因素、姿态识别算法和各所述样本对象在主动应激时段的状态图像，确定各所述样本对象在主动应激时段的姿态信息；

生成模块，用于根据所述样本对象在主动应激时段的姿态信息对所述行为机制模型进行训练，得到姿态预测模型。

7.一种姿态信息预测装置，其特征在于，所述装置包括：

识别模块，用于根据行为机制影响因素、姿态识别算法和目标对象在险态工况开始时刻的状态图像，识别目标对象在险态工况开始时刻的姿态信息；

输出模块，用于将所述目标对象在险态工况开始时刻的姿态信息、以及所述目标对象对应的行为机制模型的数据输入到姿态预测模型中，得到目标对象在碰撞零时刻的姿态信息；

第一确定模块，用于确定所述目标对象在碰撞零时刻的姿态信息对应的主动应激行为；

其中，所述姿态预测模型通过权利要求1至4中任一项所述的险态工况下融合行为机制的姿态预测方法训练得到。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4或权利要求5中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4或权利要求5中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4或权利要求5中任一项所述的方法的步骤。

Images