CN111814731A - 一种坐姿检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了一种坐姿检测方法、装置、设备及存储介质，其中，坐姿检测方法包括：获取目标对象的图像序列，根据目标对象的图像序列确定目标对象的标准三维基元，根据目标对象的图像序列和标准三维基元确定目标对象的坐姿检测特征，根据目标对象的坐姿检测特征确定目标对象的坐姿是否规范。本申请提供的坐姿检测检测方法可实现坐姿规范与否的检测，这使得当目标对象出现不规范坐姿时能够给予提醒，从而能够避免或改善因坐姿不规范所带来的一系列问题。

Description

一种坐姿检测方法、装置、设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种坐姿检测方法、装置、设备及存储介质。

背景技术

随着人工智能相关技术的日趋成熟，以及社会生活水平的不断提高，人们越来越多地习惯于使用智能设备完成日常生活中的各种需求，而为了满足人们的各种需求，智能设备被赋予越来越多的功能。

目前，随着孩子的学习负担逐步加重，而家长忙于工作，陪同孩子完成家庭作业的时间越来越少，对孩子的监督看护略有不足，随之带来的是，孩子坐姿长期不规范，而孩子坐姿长期不规范会带来近视率提升、近视低龄化、骨骼发育不良等问题。目前，类似学习机、智能陪护机器人等智能设备已成为学生课后学习必不可少的工具，若这些智能设备能够在孩子坐姿不规范的时候给予提醒，能在一定程度上改善因孩子坐姿不规范所带来的问题。

可以理解的是，若使智能设备在使用者坐姿不规范的时候给予提醒，就要求智能设备能够检测出使用者的坐姿是否规范，而如何检测出使用者的坐姿是否规范是目前亟需解决的问题。

发明内容

有鉴于此，本申请提供了一种坐姿检测方法、装置、设备及存储介质，用以检测目标对象的坐姿是否规范，其技术方案如下：

一种坐姿检测方法，其特征在于，包括：

获取目标对象的图像序列；

根据所述图像序列，确定所述目标对象的标准三维基元，其中，所述标准三维基元为所述目标对象的坐姿为标准坐姿时，所述目标对象的三维人体信息；

根据所述图像序列和所述标准三维基元，确定所述目标对象的坐姿检测特征，其中，所述坐姿检测特征为能够反映所述目标对象在所述图像序列中相邻两帧图像间坐姿变化情况的特征；

根据所述坐姿检测特征，确定所述目标对象的坐姿是否规范。

可选的，根据所述图像序列，确定所述目标对象的标准三维基元，包括：

根据所述图像序列、预先获得的参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述目标对象的标准参考基元；

其中，每个参考三维基元对应有人体属性信息，不同参考三维基元对应的人体属性信息不同，所述基元形变向量用于对对应的参考三维基元进行形变。

可选的，获得所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，包括：

获取预先采集的多个三维人体信息和所述多个三维人体信息分别对应的二维人体图像；

根据所述多个三维人体信息分别对应的二维人体图像，确定所述多个三维人体信息分别对应的人体属性信息；

根据所述多个三维人体信息分别对应的人体属性信息，对所述多个三维人体信息进行分组；

根据每组三维人体信息以及每组三维人体信息中每个三维人体信息对应的二维人体图像，确定每组三维人体信息对应的参考三维基元和基元形变向量，以得到由确定出的参考三维基元组成的参考三维基元集合，以及所述参考三维基元集合中每个参考三维基元对应的基元形变向量，其中，一参考三维基元对应的人体属性信息为该参考三维基元对应的三维人体信息所对应的人体属性信息。

可选的，所述根据所述图像序列、预先获得的参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述目标对象的标准参考基元，包括：

利用所述图像序列，对预先确定的、所述目标对象的粗三维基元进行细化，得到所述目标对象的标准三维基元，其中，所述粗三维基元根据所述目标对象的一帧图像、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量确定；

或者，

先根据所述图像序列中的一帧图像、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述目标对象的粗三维基元，再利用所述图像序列中的其它图像，对所述目标对象的粗三维基元进行细化，得到所述目标对象的标准三维基元。

可选的，根据一帧图像、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述目标对象的粗三维基元，包括：

从该帧图像中获取所述目标对象的人体特征点和人体属性信息；

从所述多个参考三维基元中确定，对应的人体属性信息与所述目标对象的人体属性信息一致的参考三维基元，作为目标参考三维基元；

根据所述目标对象的人体特征点和所述目标参考三维基元，确定形变系数；

根据所述形变系数和所述目标参考三维基元对应的基元形变向量，确定所述目标对象的粗三维基元。

可选的，对所述目标对象的粗三维基元进行细化，得到所述目标对象的标准参考基元，包括：

根据图像集合中的每帧图像、所述目标对象的粗三维基元、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述图像集合中每帧图像对应的细化后三维基元，其中，所述图像集合为用于对所述目标对象的粗三维基元进行细化的图像所组成的集合；

根据所述图像集合中每一帧图像对应的细化后三维基元，确定所述目标对象的标准参考基元。

可选的，根据图像集合中的每帧图像、所述目标对象的粗三维基元、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述图像集合中每帧图像对应的细化后三维基元，包括：

针对所述图像集合中的每帧图像：

根据该帧图像、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定该帧图像对应的三维姿态信息；

根据所述目标对象的粗三维基元中每个人体部件的部分信息，以及该图像帧对应的三维姿态信息中每个人体部件的部分信息，确定每个人体部件对应的空间刚性变换矩阵；

利用每个人体部件对应的空间刚性变换矩阵，对该帧图像对应的三维姿态信息中对应人体部件的信息进行变换，得到每个人体部件对应的变换后信息；由各个人体部件对应的变换后信息组成该帧图像对应的细化后三维基元。

可选的，所述根据所述图像序列和所述标准三维基元，确定所述目标对象的坐姿检测特征，包括：

根据所述标准三维基元，获取所述目标对象的三维人体特征点；

根据所述三维人体特征点，构建三维空间中的三角网格单元，其中，三维空间中的一个三角网格单元由一个三维人体特征点以及与该三维人体特征点距离最近的两个三维人体特征点构建；

根据所述图像序列、所述目标对象的标准三维基元以及所述三维空间中的三角网格单元，确定所述目标对象的坐姿检测特征。

可选的，所述根据所述图像序列、所述目标对象的标准三维基元以及所述三维空间中的三角网格单元，确定所述目标对象的坐姿检测特征，包括：

从所述三维空间中的三角网格单元中确定出受坐姿改变影响的三角网格单元，作为目标三角网格单元；

根据所述目标三角网格单元和所述目标对象的标准三维基元，确定所述目标三角网格单元对应的肢体体素块，其中，一个目标三角网格单元对应一个肢体体素块，一个肢体体素块通过所述目标对象的标准三维基元中、由对应的目标三角网格单元确定的人体部件上的点云信息表征；

根据所述图像序列、所述目标三角网格单元以及所述目标三角网格单元对应的肢体体素块，确定所述目标对象的坐姿检测特征。

可选的，所述根据所述图像序列、所述目标三角网格单元以及所述目标三角网格单元对应的肢体体素块，确定所述目标对象的坐姿检测特征，包括：

针对所述图像序列中的每帧图像，以所述目标三角网格单元为依据，根据从该帧图像中确定的人体特征点，构建二维空间中、与所述目标三角网格单元对应的的三角网格单元，作为该帧图像对应的初始骨架面，其中，二维空间中的一个三角网格单元作为一个初始骨架面；

根据所述图像序列中每帧图像对应的初始骨架面，以及所述目标三角网格单元对应的肢体体素块，确定所述目标对象的坐姿检测特征。

可选的，所述根据所述图像序列中每帧图像对应的初始骨架面，以及所述目标三角网格单元对应的肢体体素块，确定所述目标对象的坐姿检测特征，包括：

对于所述图像序列中每帧图像对应的每个初始骨架面：

以根据该初始骨架面构建的基准坐标系为依据，旋转该初始骨架面对应的目标三角网格单元所对应的肢体体素块，使得旋转后体素块与该初始骨架面适配；

将所述旋转后体素块的二维空间投影，确定为该帧图像对应的一个目标骨架面；

获取所述目标骨架面的法向量以及所述旋转后体素块的空间位置信息，作为所述目标骨架面对应的坐姿检测参数；

由该帧图像对应的所有目标骨架面分别对应的坐姿检测参数组成该帧图像对应的坐姿检测参数；

根据所述图像序列中每帧图像对应的坐姿检测参数，确定所述目标对象的坐姿检测特征。

可选的，所述根据所述图像序列中每帧图像对应的坐姿检测参数，确定所述目标对象的坐姿检测特征，包括：

根据图像序列中相邻图像分别对应的坐姿检测参数，确定相邻图像间目标骨架面的法向量变化，以及肢体体素块的运动矢量，作为所述目标对象的坐姿检测特征。

一种坐姿检测装置，包括：图像获取模块、标准三维基元确定模块、坐姿检测特征确定模块和坐姿检测模块；

所述图像获取模块，用于获取目标对象的图像序列；

所述标准三维基元确定模块，用于根据所述图像序列，确定所述目标对象的标准三维基元，其中，所述标准三维基元为所述目标对象的坐姿为标准坐姿时，所述目标对象的三维人体信息；

所述坐姿检测特征确定模块，用于根据所述图像序列和所述标准三维基元，确定所述目标对象的坐姿检测特征，其中，所述坐姿检测特征为能够反映所述目标对象在所述图像序列中相邻两帧图像间坐姿变化情况的特征；

所述坐姿检测模块，用于根据所述坐姿检测特征，确定所述目标对象的坐姿是否规范。

一种坐姿检测设备，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现上述任一项所述的坐姿检测方法的各个步骤。

一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的坐姿检测方法的各个步骤。

经由上述方案可知，本申请提供的坐姿检测方法、装置、设备及存储介质，首先获取目标对象的图像序列，然后根据目标对象的图像序列确定目标对象的标准三维基元，接着根据目标对象的图像序列和标准三维基元确定目标对象的坐姿检测特征，最后根据目标对象的坐姿检测特征确定目标对象的坐姿是否规范。由此可见，本申请提供的坐姿检测检测方法可根据目标对象的图像序列和目标对象的标准三维基元，确定能够反映目标对象在图像序列中相邻两帧图像间坐姿变化情况的坐姿检测特征，进而根据坐姿检测特征确定目标对象的坐姿是否规范，即本申请可实现坐姿规范与否的检测，这使得当目标对象出现不规范坐姿时能够给予提醒，从而能够避免或改善因坐姿不规范所带来的一系列问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的坐姿检测方法的流程示意图；

图2为本申请实施例提供的获得参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量的流程示意图；

图3为本申请实施例提供的人体属性树的一示例的示意图；

图4为本申请实施例提供的根据一帧图像、参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，确定目标对象的粗三维基元的流程示意图；

图5为本申请实施例提供的利用图像集合对目标对象的粗三维基元进行细化的流程示意图；

图6为本申请实施例提供的根据目标对象的图像序列和标准三维基元，确定目标对象的坐姿检测特征的流程示意图；

图7本申请实施例提供的根据图像序列、目标对象的标准三维基元以及三维空间中的三角网格单元，确定目标对象的坐姿检测特征的流程示意图；

图8为本申请实施例提供的根据图像序列、目标三角网格单元以及目标三角网格单元对应的肢体体素块，确定目标对象的坐姿检测特征的流程示意图；

图9为本申请实施例提供的根据图像序列中每帧图像对应的初始骨架面，以及目标三角网格单元对应的肢体体素块，确定目标对象的坐姿检测特征的流程示意图；

图10为本申请实施例提供的坐姿检测装置的结构示意图；

图11为本申请实施例提供的坐姿检测设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本案发明人在实现本案的过程中发现，现有技术中存在一些坐姿检测方法，已有的坐姿检测方法进行坐姿检测的大致思路为，通过摄像头获取目标对象的图像，并利用人脸关键点定位、人体姿态估计等方法对获取到的图像提取人脸关键点、人体骨骼关键点等坐标信息，然后直接利用分类器进行分类，从而判断目标对象的坐姿规范与否。

本案发明人通过研究发现，已有方案根据人体骨骼关键点的坐标信息进行检测，检测精度不足以满足需求，主要原因如下：首先，人体骨骼关键点在图像平面上的坐标为三维空间投影到二维平面得到，在投影过程中已经损失了深度信息，存在较多的歧义性，该歧义性会导致后续坐姿检测的效果受到影响；其次，由于缺乏距离信息，目标对象的体型(如胖瘦)对坐姿规范与否的判断也会存在干扰；最后，针对坐姿不规范的判断只能依照骨架点位置，而骨架点位置对运动的描述能力不足，特别是对异常运动的描述能力不足。

鉴于现有的坐姿检测方法检测精度不足而无法满足应该需求，本案发明进行了深入研究，最终提出了一种能够准确检测出目标对象的坐姿是否规范的坐姿检测方法，该坐姿检测方法适用于任何需要进行坐姿检测的应用场景，该坐姿检测方法可应用于智能设备，比如学习机、智能陪护机器人等，智能设备可基于视觉传感器获取目标对象的图像序列，根据目标对象的图像序列确定目标对象的坐姿是否规范，进一步地，在目标对象的坐姿不规范时，可输出提示信息对目标对象进行提醒，该坐姿检测方法还可应用于可与智能设备进行通信的服务器，服务器获取智能设备获取的目标对象的图像序列，根据目标对象的图像序列确定目标对象的坐姿是否规范，若目标对象的坐姿不规范，则向智能设备发送提示信息，以使智能设备输出提示信息对目标对象进行提醒。接下来通过下述实施例对本申请提供的坐姿检测方法进行介绍。

第一实施例

请参阅图1，示出了本申请实施例提供的坐姿检测方法的流程示意图，可以包括：

步骤S101：获取目标对象的图像序列。

其中，目标对象的图像序列为采用视觉传感器针对目标对象采集的多帧图像，优选的，目标对象的图像序列中目标对象的肢体或面部有不同幅度的运动或旋转。

本实施例中，目标对象的图像序列中的各帧图像按采集时间先后顺序排列，比如，目标对象的图像序列包括N帧图像，其中，第1帧图像的采集时间早于第2帧图像的采集时间，第2帧图像的采集时间早于第3帧图像的采集时间，…第N-1帧图像的采集时间早于第N帧图像的采集时间。

步骤S102：根据目标对象的图像序列，确定目标对象的标准三维基元。

其中，目标对象的标准三维基元为目标对象的坐姿为标准坐姿时，目标对象的三维人体信息。

需要说明的是，本步骤实质是根据目标对象的图像序列重构出目标对象的三维人体信息。

步骤S103：根据目标对象的图像序列和标准三维基元，确定目标对象的坐姿检测特征。

其中，目标对象的坐姿检测特征为能够反映目标对象在图像序列中相邻两帧图像间坐姿变化情况的特征。

示例性的，目标对象的图像序列包括N帧图像，则目标对象的坐姿检测特征能够反映目标对象在第1帧图像与第2帧图像间的坐姿变化情况、目标对象在第2帧图像与第3帧图像间的坐姿变化情况、…、目标对象在第N-1帧图像与第N帧图像间的坐姿变化情况。

步骤S104：根据目标对象的坐姿检测特征，确定目标对象的坐姿是否规范。

可选的，可利用目标对象的坐姿检测特征，以及预先建立的坐姿分类器，确定目标对象的坐姿是否规范。具体的，可将目标对象的坐姿检测特征输入预先建立的坐姿分类器，以得到坐姿分类器输出的坐姿分类结果，其中，坐姿分类结果为规范坐姿和非规范坐姿中的一种。

其中，坐姿分类器采用大量标注有坐姿类别的坐姿检测特征训练得到，其中，坐姿类别即包括上述的规范坐姿和非规范坐姿。

本申请实施例提供的坐姿检测检测方法，可根据目标对象的图像序列构建出目标对象的标准三维基元，进而可根据目标对象的图像序列和目标对象的标准三维基元确定能够反映目标对象在图像序列中相邻两帧图像间坐姿变化情况的坐姿检测特征，从而可根据坐姿检测特征确定目标对象的坐姿是否规范，即本申请实施例可实现坐姿规范与否的检测，这使得当目标对象出现不规范坐姿时能够给予提醒，从而能够避免或改善因坐姿不规范所带来的一系列问题。

第二实施例

本实施例对上述实施例中的“步骤S102：根据目标对象的图像序列，确定目标对象的标准三维基元”进行介绍。

根据目标对象的图像序列，确定目标对象的标准三维基元的过程可以包括：根据目标对象的图像序列，以及预先获得的参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，确定目标对象的标准参考基元。

其中，一个参考三维基元对应的基元形变向量用于对该参考三维基元进行形变，基于形变向量可以将对应的参考三维基元变形为任意姿态、表情的人体。

其中，参考三维基元集合中的每个参考三维基元对应有人体属性信息，不同参考三维基元对应的人体属性信息不同。

由于确定目标对象的标准参考基元时，会利用预先获得的参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，接下来对获得参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量的过程进行介绍。

请参阅图2，示出了获得参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量的流程示意图，可以包括：

步骤S201：获取预先采集的多个三维人体信息和多个三维人体信息分别对应的二维人体图像。

其中，三维人体信息应同时包含面部三维信息与肢体三维信息，三维人体信息的采集环境最好包含不同场景、不同距离、人脸不同表情和人体不同姿态。采集后，需要对采集得到的三维人体信息进行规整处理，保证所有三维人体点云能够形成稠密对应，即给定某个空间点(比如眼角点)的编号，其在任意三维人体信息中的位置是确定的。

步骤S202：根据多个三维人体信息分别对应的二维人体图像，确定多个三维人体信息分别对应的人体属性信息。

具体的，根据一三维人体信息对应的二维人体图像，确定该三维人体信息对应的人体属性信息的过程可以包括：从该三维人体信息对应的二维人体图像中提取预先设定好的人体属性集合中各人体属性分别对应的属性值，将人体属性集合中各人体属性分别对应的属性值确定为该三维人体信息对应的人体属性信息。可选的，可利用预先建立的人体属性提取模型对二维人体图像进行人体属性信息的提取，其中，人体属性提取模型采用标注有人体属性信息的二维人体图像训练得到。

示例性的，可预先设定人体属性集合中包括年龄、性别、表情、种族这四种属性，其中，年龄这一属性的属性值可以包括“幼儿”、“少年”、“青年”、“中年”、“老年”，性别这一属性的属性值可以包括“男”、“女”，表情这一属性的属性值可以包括“中性表情”、“弱表情”、“夸张表情”，种族这一属性的属性值可以包括“黑人”、“白人”、“亚裔”，假设一三维人体信息对应的二维人体图像中的对象为有着夸张表情的亚裔男青年，则以预先设定好的人体属性集合为依据，从该三维人体信息对应的二维人体图像中提取出的属性值为{青年，男，夸张表情，亚裔}，则{青年，男，夸张表情，亚裔}即为该三维人体信息对应的人体属性信息。

需要说明的是，上述提及的“人体属性集合”中的人体属性可根据实际情况设定，上述内容提及的“人体属性集合中包括年龄、性别、表情、种族这四种属性”仅为示例，本实施例并不限定于此。

步骤S203：根据多个三维人体信息分别对应的人体属性信息，对多个三维人体信息进行分组。

具体的，可首先根据预先设定好的人体属性集合中的各种人体属性以及人体属性集合中各种人体属性所包括的属性值构建人体属性树，然后根据人体属性树和多个三维人体信息分别对应的人体属性信息，对多个三维人体信息进行分组。

请参阅图3，示出了人体属性树的一示例，图3示出的人体属性树根据年龄、性别、表情、种族这四种属性，以及这四种属性分别包括的属性值构建，在根据图3示出的人体属性树对多个三维人体信息进行分组时，会将人体属性信息为{男，黑人，青年，中性表情}的三维人体信息划分为一组，将人体属性信息为{男，黑人，青年，弱表情}的三维人体信息划分为一组，将人体属性信息为{女，白人，少年，中性表情}的三维人体信息划分为一组，其它以此类推，如此会得到多组三维人体信息。

步骤S204：根据每组三维人体信息以及每组三维人体信息中每个三维人体信息对应的二维人体图像，确定每组三维人体信息对应的参考三维基元和基元形变向量，以得到由确定出的参考三维基元组成的参考三维基元集合，以及参考三维基元集合中每个参考三维基元对应的基元形变向量。

具体的，对于每组三维人体信息，根据该组三维人体信息确定该组三维人体信息对应的参考三维基元；根据该组三维人体信息和该组三维人体信息中每个三维人体信息对应的二维人体图像，确定该组三维人体信息对应的基元形变向量；以得到每组三维人体信息对应的参考三维基元和基元形变向量。

可选的，根据该组三维人体信息确定该组三维人体信息对应的参考三维基元的过程可以包括：将该组三维人体信息求均值，求得到的均值作为该组三维人体信息对应的参考三维基元。

需要说明的是，本申请将一组三维人体信息对应的基元形变向量，作为该组三维人体信息对应的参考三维基元所对应的基元形变向量，将一组三维人体信息对应的人体属性信息作为该组三维人体信息对应的参考三维基元所对应的人体属性信息。示例性的，一三维人体信息组S对应的人体属性信息为{男，黑人，青年，弱表情}，假设该三维人体信息组S对应的参考三维基元为X，对应的基元形变向量为Y，则将基元形变向量Y作为参考三维基元X对应的基元形变向量，将三维人体信息组S对应的人体属性信息{男，黑人，青年，弱表情}作为参考三维基元X对应的人体属性信息。

经由上述过程可获得由确定出所有参考三维基元组成的参考三维基元集合，以及参考三维基元集合中每个参考三维基元对应的基元形变向量，并且，参考三维基元集合中的每个参考三维基元对应有一属性信息，不同参考三维基元对应的属性信息不同。

第三实施例

本实施例对第二实施例中的“根据目标对象的图像序列，以及预先获得的参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，确定目标对象的标准参考基元”进行介绍。

根据目标对象的图像序列，以及预先获得的参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，确定目标对象的标准参考基元的实现方式有多种，以下给出两种的实现方式：

第一种实现方式为：利用目标对象的图像序列，对预先确定的、目标对象的粗三维基元进行细化，得到目标对象的标准三维基元。其中，目标对象的粗三维基元根据目标对象的一帧图像，以及参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量确定。

第二种实现方式为：先根据目标对象的图像序列中的一帧图像(可以为任意一帧)，以及参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，确定目标对象的粗三维基元，再利用目标对象的图像序列中的其它图像，对目标对象的粗三维基元进行细化，得到目标对象的标准三维基元。

假设目标对象的图像序列包括N帧图像，第一种实现方式是预先确定出目标对象的粗三维基元，利用N帧图像对预先确定出的粗三维基元进行细化，第二实现方式是利用N帧图像中的一帧图像确定出目标对象的粗三维基元，再利用其余N-1帧图像对目标对象的粗三维基元进行细化，即，第一种实现方式是在进行坐姿检测前就已经确定好了目标对象的粗三维基元，第二种实现方式是在坐姿检测的过程中确定目标对象的粗三维基元。

虽然上述两种实现方式存在差异，但是第一种实现方式中预先根据目标对象的一帧图像，以及参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，确定目标对象的标准三维基元的过程，与第二种实现方式中，根据目标对象的图像序列中的一帧图像，以及参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，确定目标对象的粗三维基元的过程相同，并且，第一种实现方式中利用目标对象的图像序列，对目标对象的粗三维基元进行细化的过程，与第二种实现方式中利用目标对象的图像序列中的其它图像，对目标对象的粗三维基元进行细化的过程相同。

接下来，首先对根据一帧图像(该帧图像可以为预先针对目标对象采集的一帧图像，也可以为目标对象的图像序列中的一帧图像)，以及参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，确定目标对象的粗三维基元的过程进行介绍。

请参阅图4，示出了根据一帧图像，以及参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，确定目标对象的粗三维基元的流程示意图，可以包括：

步骤S401：从该帧图像中获取目标对象的人体特征点和人体属性信息。

其中，从该帧图像中获取目标对象的人体特征点的过程包括：对该帧图像进行人形检测，根据检测出的人形定位出人体特征点，其中，人体特征点包括眼睛、鼻子等脸部关键点，以及躯干、四肢、外轮廓等身体特征点。

其中，从该帧图像中获取目标对象的人体属性信息的过程可以包括：以上述实施例提及的人体属性集合为依据，采用上述实施例提及的人体属性提取模型，从该帧图像中提取出目标对象的人体属性信息。

步骤S402：从多个参考三维基元中确定，对应的人体属性信息与目标对象的人体属性信息一致的参考三维基元，作为目标参考三维基元。

示例性，目标对象的人体属性信息为{男，黑人，青年，弱表情}，则从多个参考三维基元中确定出对应的人体属性信息为{男，黑人，青年，弱表情}的参考三维基元，将其作为目标参考三维基元。

步骤S403：根据目标对象的人体特征点和目标参考三维基元，确定形变系数。

具体的，根据目标对象的人体特征点，以及由目标参考三维基元确定的人体特征点，确定形变系数。

步骤S404：根据形变系数和目标参考三维基元对应的基元形变向量，确定目标对象的粗三维基元。

需要说明的是，上述提及的“目标对象的人体特征点”为二维空间的人体特征点，而由目标参考三维基元确定的人体特征点为三维空间中的人体特征点，即，形变系数根据二维空间的人体特征点和三维空间中的人体特征点确定，利用这样的形变系数确定出的三维人体信息误差较大，因此将根据该形变系数确定出的三维人体信息作为目标对象的粗三维基元。

为了获得较为精准的三维基元，本申请在获得目标对象的粗三维基元后，进一步对目标对象的粗三维基元进行细化。接下来对利用图像集合，对目标对象的粗三维基元进行细化，以得到目标对象的标准三维基元的过程进行介绍。需要说明的是，若采用上述实施例中的第一种方式确定目标对象的标准三维基元，则本实施例提及的“图像集合”中的图像为目标对象的图像序列中的所有图像，若采用上述实施例中的第二种方式确定目标对象的标准三维基元，则本实施例提及的“图像集合”中的图像为上述实施例中提及的“目标对象的图像序列中的其它图像”，即，目标对象的图像序列中、除用于确定目标对象的粗三维基元的那帧图像之外的所有图像。

请参阅图5，示出了利用图像集合，对目标对象的粗三维基元进行细化，得到目标对象的标准参考基元的流程示意图，可以包括：

步骤S501：根据图像集合、目标对象的粗三维基元、参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，确定图像集合中每一帧图像对应的细化后三维基元。

具体的，对于图像集合中每帧图像执行如下步骤：

步骤S5011、根据该帧图像，以及参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，确定该帧图像对应的三维姿态信息。

具体的，根据该帧图像，以及参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，确定该帧图像对应的三维姿态信息的过程包括：从该帧图像中获取目标对象的人体特征点和人体属性信息；从多个参考三维基元中确定，对应的人体属性信息与目标对象的人体属性信息一致的参考三维基元；根据目标对象的人体特征点和确定出的参考三维基元，确定形变系数；根据该形变系数和确定出的参考三维基元，确定该帧图像对应的三维姿态信息。

步骤S5012、根据目标对象的粗三维基元中每个人体部件的部分信息，以及该图像帧对应的三维姿态信息中每个人体部件的部分信息，确定每个人体部件对应的空间刚性变换矩阵。

假设该帧图像对应的三维姿态信息为A，考虑到人体整体姿态的形变空间自由度较高，本申请提出可将整体姿态信息A拆分为不同的人体部件，比如，胳膊、小腿、眼睛等，人体部件姿态信息可以表示为Ap(p＝1,2,…,m),m为人体部件的数量，Ap即为该帧图像对应的三维姿态信息A中第p个人体部件的信息。

每个人体部件可视为刚体，仅存在刚性变换(比如旋转、平移等)。由于不同人体姿态的点云已经形成稠密对应，因此，对于该帧图像的第p个人体部件存在空间刚性变换矩阵Tp，使得Tp·Ap＝Bp，Bp为第p个人体部件经Tp变换后的信息，其为该帧图像对应的细化后三维基元中第p个人体部件的信息，也就是说，通过该帧图像对应的三维姿态信息A中每个部件的信息以及每个部件对应的空间刚性变换矩阵，便可求得该帧图像对应的细化后三维基元中每个人体部件的信息，进而可得到该帧图像对应的细化后三维基元。

由于Tp·Ap＝Bp中T_p未知，若要求得Bp，首先需要求得Tp，假设第p个人体部件为b，可根据目标对象的粗三维基元中人体部件b的部分特征点以及该帧图像对应的三维姿态信息中人体部件b的对应特征点，确定人体部件b对应的空间刚性变换矩阵。

步骤S5013、利用每个人体部件对应的空间刚性变换矩阵，对该帧图像对应的三维姿态信息中对应人体部件的信息进行变换，得到每个人体部件的变换后信息，由各个人体部件的变换后信息组成该帧图像对应的细化后三维基元。

步骤S5012求得每个人体部件对应的空间刚性变换矩阵后，便可利用求得的矩阵对该帧图像对应的三维姿态信息中对应人体部件的信息进行变换，从而得到每个人体部件的变换后信息，一人体部件的变换后信息即为该帧图像对应的细化后三维基元中该人体部件的信息，将各个人体部件的变换后信息组合，便可得到该帧图像对应的细化后三维基元。

经由上述过程可得到图像集合中每一帧图像对应的细化后三维基元。

步骤S502：根据图像集合中每一帧图像对应的细化后三维基元，确定目标对象的标准参考基元。

具体的，可对图像集合中各帧图像分别对应的细化后三维基元加权求和，加权求和后得到的三维基元，作为目标对象的标准参考基元。其中，各细化后三维基元分别对应的权重可以不同，也可以相同，若各细化后三维基元分别对应的权重相同，则目标对象的标准参考基元即为各细化后三维基元的均值。

第四实施例

本实施例对第一实施例中的“步骤S103：根据目标对象的图像序列和标准三维基元，确定目标对象的坐姿检测特征”进行介绍。

请参阅图6，示出了根据目标对象的图像序列和标准三维基元，确定目标对象的坐姿检测特征的流程示意图，可以包括：

步骤S601：根据目标对象的标准三维基元，获取目标对象的三维人体特征点。

需要说明的是，目标对象的三维人体特征点与从目标对象的图像序列中任一帧中提取出的二维人体特征点是一一对应的。

步骤S602：根据目标对象的三维人体特征点，构建三维空间中的三角网格单元。

具体的，根据目标对象的三维人体特征点，构建三维空间中的三角网格单元的过程可以包括：对于目标对象的每个三维人体特征点，根据该三维人体特征点以及与该三维人体特征点距离最近的两个三维人体特征点构建三角网格单元，也就是说，三维空间中的一个三角网格单元由目标对象的一个三维人体特征点，以及与该三维人体特征点距离最近的两个三维人体特征点构建。

步骤S603：根据图像序列、目标对象的标准三维基元以及三维空间中的三角网格单元，确定目标对象的坐姿检测特征。

请参阅图7，示出了根据图像序列、目标对象的标准三维基元以及三维空间中的三角网格单元，确定目标对象的坐姿检测特征的流程示意图，可以包括：

步骤S701：从三维空间中的三角网格单元中确定出受坐姿改变影响的三角网格单元，作为目标三角网格单元。

可以理解的是，在目标对象的坐姿改变时，有些特征点的位置是不发生改变的，由于三维空间中的三角网格单元根据目标对象的三维人体特征点构建，因此，三维空间中的三角网格单元通常并非都是相关的三角网格单元，为了降低运算量，从而提高坐姿检测效率，本实施例优选为从三维空间中的三角网格单元中确定出受坐姿改变影响的三角网格单元，作为目标三角网格单元。当然，本申请也可将所有的三角网格单元均作为目标三角网格单元进行后续操作。

步骤S702：根据目标三角网格单元和目标对象的标准三维基元，确定目标三角网格单元对应的肢体体素块。

其中，一个目标三角网格单元代表了一组人体部件的运动相关关系，比如，根据人体胳膊上的三个三维特征点构建的三角网格单元代表了大臂和小臂的运动关系，由此可见，由一个目标三角网格单元可确定一组人体部件，本申请用一个目标三角网格单元确定的人体部件上的点云信息表征一个肢体体素块，即一个肢体体素块通过目标对象的标准三维基元中、由对应的目标三角网格单元确定的人体部件上的点云信息表征，由于根据一个目标三角网格单元可确定一个肢体体素块，因此，最终获得的肢体体素块的数量与目标三角网格单元的数量相同。

步骤S703：根据图像序列、目标三角网格单元以及目标三角网格单元对应的肢体体素块，确定目标对象的坐姿检测特征。

请参阅图8，示出了根据图像序列、目标三角网格单元以及目标三角网格单元对应的肢体体素块，确定目标对象的坐姿检测特征的流程示意图，可以包括：

步骤S801：根据图像序列和目标三角网格单元，确定图像序列中每帧图像对应的初始骨架面。

具体的，针对图像序列中的每帧图像，以目标三角网格单元为依据，根据从该帧图像中确定的人体特征点，构建该帧图像对应的初始骨架面，以得到图像序列中每帧图像对应的初始骨架面。其中，二维空间中的一个三角网格单元作为一个初始骨架面。

假设三维空间中的一目标三角网格单元g由三维人体特征点a、b、c构建，则将从该帧图像中确定的二维人体特征点中，与三维人体特征点a对应的二维人体特征点a′、与三维人体特征点b对应的二维人体特征点b′，以及与三维人体特征点c对应的二维人体特征点c′构建二维空间中的三角网格单元g′，将二维空间中的三角网格单元g′作为二维空间中的一个初始骨架面。

由于二维空间中的三角网格单元以三维空间中的目标三角网格单元为依据，按上述方式构建，因此，对于三维空间中的每个目标三角网格单元，均建立了其在二维空间对应的三角网格单元，即，在二维空间中构建的三角网格单元的数量与三维空间中目标三角网格单元的数量相同，由于二维空间中的一个三角网格单元作为二维空间中的一个初始骨架面，因此二维空间中初始骨架面的数量与三维空间中目标三角网格单元的数量相同。

步骤S802：根据图像序列中每帧图像对应的初始骨架面，以及目标三角网格单元对应的肢体体素块，确定目标对象的坐姿检测特征。

请参阅图9，示出了根据图像序列中每帧图像对应的初始骨架面，以及目标三角网格单元对应的肢体体素块，确定目标对象的坐姿检测特征的流程示意图，可以包括：

步骤S901：根据图像序列中每帧图像对应的初始骨架面，以及目标三角网格单元对应的肢体体素块，确定图像序列中每帧图像对应的坐姿检测参数。

具体的，针对图像序列中每帧图像对应的每个初始骨架面执行如下步骤：

步骤S9011：以根据该初始骨架面构建的基准坐标系为依据，旋转该初始骨架面对应的肢体体素块，使得旋转后体素块与该初始骨架面适配。

其中，该初始骨架面对应的肢体体素块即为该初始骨架面对应的目标三角网格单元所对应的肢体体素块。

具体的，步骤S9011的实现过程可以包括：

步骤a1、将该初始骨架面作为空间中的基平面(z＝0)，将该基平面与其法向量共同构建基准坐标系。

步骤a2、对于该初始骨架面对应的肢体体素块上的每个点，将其经旋转矩阵R旋转，以将其坐标系校正到基准坐标系下，并求得旋转后的每个点到基平面的垂直符号距离。

其中，一个点到基平面的垂直符号距离可表征该点处于正半轴(基平面的上方)或负半轴(基平面的下方)，比如，可设定一个点到基平面的垂直符号距离为1或-1，若一个点到基平面的垂直符号距离为1，则说明该点处于正半轴，若一个点到基平面的垂直符号距离为-1，则说明该点处于负半轴。

需要说明的是，可令肢体体素块所有点旋转后到基平面的垂直符号距离之和为0，反向求取旋转矩阵R，可选的，可采用最小二乘法求取旋转矩阵R。

步骤a3、计算所有旋转后的点到基平面的垂直符号距离之和，判断计算得到的距离和是否小于预设的距离阈值，若是，则执行后续的步骤S9012，若否，则转入步骤a1。

步骤S9012：将最后一次旋转后的肢体体素块的二维空间投影，确定为目标骨架面。

步骤S9013：获取目标骨架面的法向量，以及最后一次旋转后的肢体体素块的空间位置信息，作为目标骨架面对应的坐姿检测参数。

其中，最后一次旋转后的肢体体素块的空间位置信息指的是最后一次旋转后的肢体体素块中各点的位置信息。

经由上述步骤可获得图像序列中每帧图像对应的每个目标骨架面所对应的坐姿检测参数。

需要说明的是，本实施例针对图像序列中的每帧图像可能会获得多个目标骨架面，针对每个目标骨架面会获得一组坐姿检测参数，每帧图像对应的坐姿检测参数由每帧图像对应的各个目标骨架面分别对应的坐姿检测参数组成。

步骤S902：根据图像序列中每帧图像对应的坐姿检测参数，确定坐姿检测特征。

具体的，根据图像序列中每帧图像对应的坐姿检测参数，确定坐姿检测特征的过程可以包括：根据图像序列中相邻图像分别对应的坐姿检测参数，确定相邻图像间目标骨架面的法向量变化，以及肢体体素块的运动矢量，作为坐姿检测特征。

示例性的，图像序列包括5帧图像，针对每帧图像获得5个目标骨架面，每帧图像对应的每个目标骨架面都对应一组坐姿检测参数，对于第1帧图像和第2帧图像而言，假设第1帧图像的第1个目标骨架面m1对应的坐姿检测参数为

(

为目标骨架面m1的法向量，p1为肢体体素块的位置信息)，第1帧图像的第2个目标骨架面m2对应的坐姿检测参数为

…，第1帧图像的第5个目标骨架面m5对应的坐姿检测参数为

第2帧图像的第1个目标骨架面m1′对应的坐姿检测参数为

第2帧图像的第2个目标骨架面m2′对应的坐姿检测参数为

…，第2帧图像的第5个目标骨架面m5′对应的坐姿检测参数为

将

与

作差得到的法向量变化值、根据p1和p1′确定的运动矢量、

与

作差得到的法向量变化值、根据p2和p2′确定的运动矢量、…、

与

作差得到的法向量变化值、根据p5和p5′确定的运动矢量，作为能够反映目标对象在第1帧图像与第2帧图像间坐姿变化的坐姿检测特征，同样的方式可获得目标对象在第2帧图像与第3帧图像间坐姿变化的坐姿检测特征、…、目标对象在第4帧图像与第5帧图像间坐姿变化的坐姿检测特征。

需要说明的是，由于肢体体素块中每个点的空间运动是三维的，比如某点在空间中从A处运动到B处，是发生了三个方向的变化，本实施例可将该点的每个运动方向按照角度离散化到预设的N个区间中，如此，点的运动就可以用N×3个子集表示。

在获得坐姿检测特征后，便可根据坐姿检测特征确定目标对象的坐姿是否规范，并可在目标对象的坐姿不规范时，输出坐姿不规范的提示信息，该提示信息可以为语音提示信息，也可以为文本提示信息。

第五实施例

本申请实施例还提供了一种坐姿检测装置，下面对本申请实施例提供的坐姿检测装置进行描述，下文描述的坐姿检测装置与上文描述的坐姿检测方法可相互对应参照。

请参阅图10，示出了本申请实施例提供的坐姿检测装置的结构示意图，可以包括：图像获取模块1001、标准三维基元确定模块1002、坐姿检测特征确定模块1003和坐姿检测模块1004。

图像获取模块1001，用于获取目标对象的图像序列；

标准三维基元确定模块1002，用于根据目标对象的图像序列，确定目标对象的标准三维基元。

其中，目标对象的标准三维基元为目标对象的坐姿为标准坐姿时，目标对象的三维人体信息。

坐姿检测特征确定模块1003，用于根据目标对象的图像序列和目标对象的标准三维基元，确定目标对象的坐姿检测特征。

其中，目标对象的坐姿检测特征为能够反映目标对象在所述图像序列中相邻两帧图像间坐姿变化情况的特征。

坐姿检测模块1004，用于根据目标对象的坐姿检测特征，确定目标对象的坐姿是否规范。

可选的，标准三维基元确定模块1002，具体用于根据所述图像序列、预先获得的参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述目标对象的标准参考基元。

其中，每个参考三维基元对应有人体属性信息，不同参考三维基元对应的人体属性信息不同，所述基元形变向量用于对对应的参考三维基元进行形变。

可选的，本申请实施例提供的坐姿检测装置还可以包括：参考信息获取模块。参考信息获取模块包括：三维及二维信息获取模块、人体属性确定模块、三维信息分组模块和参考基元及向量确定模块。

三维及二维信息获取模块，用于获取预先采集的多个三维人体信息和所述多个三维人体信息分别对应的二维人体图像。

人体属性确定模块，用于根据所述多个三维人体信息分别对应的二维人体图像，确定所述多个三维人体信息分别对应的人体属性信息。

三维信息分组模块，用于根据所述多个三维人体信息分别对应的人体属性信息，对所述多个三维人体信息进行分组。

参考基元及向量确定模块，用于根据每组三维人体信息以及每组三维人体信息中每个三维人体信息对应的二维人体图像，确定每组三维人体信息对应的参考三维基元和基元形变向量，以得到由确定出的参考三维基元组成的参考三维基元集合，以及所述参考三维基元集合中每个参考三维基元对应的基元形变向量，其中，一参考三维基元对应的人体属性信息为该参考三维基元对应的三维人体信息所对应的人体属性信息。

可选的，标准三维基元确定模块1002，具体用于利用所述图像序列，对预先确定的、所述目标对象的粗三维基元进行细化，得到所述目标对象的标准三维基元。

其中，所述粗三维基元根据所述目标对象的一帧图像、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量确定。

可选的，标准三维基元确定模块1002，具体用于先根据所述图像序列中的一帧图像、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述目标对象的粗三维基元，再利用所述图像序列中的其它图像，对所述目标对象的粗三维基元进行细化，得到所述目标对象的标准三维基元。

可选的，标准三维基元确定模块1002在根据一帧图像、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述目标对象的粗三维基元时，具体用于从该帧图像中获取所述目标对象的人体特征点和人体属性信息，从所述多个参考三维基元中确定，对应的人体属性信息与所述目标对象的人体属性信息一致的参考三维基元，作为目标参考三维基元，根据所述目标对象的人体特征点和所述目标参考三维基元，确定形变系数；根据所述形变系数和所述目标参考三维基元对应的基元形变向量，确定所述目标对象的粗三维基元。

可选的，标准三维基元确定模块1002在对目标对象的粗三维基元进行细化，以得到目标对象的标准参考基元时，具体用于根据图像集合中的每帧图像、目标对象的粗三维基元、参考三维基元集合和参考三维基元集合中每个参考三维基元对应的基元形变向量，确定图像集合中每帧图像对应的细化后三维基元，根据图像集合中每一帧图像对应的细化后三维基元，确定目标对象的标准参考基元。其中，图像集合为用于对目标对象的粗三维基元进行细化的图像所组成的集合；

可选的，标准三维基元确定模块1002在根据图像集合中的每帧图像、所述目标对象的粗三维基元、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述图像集合中每帧图像对应的细化后三维基元时，具体用于针对所述图像集合中的每帧图像：根据该帧图像、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定该帧图像对应的三维姿态信息；根据所述目标对象的粗三维基元中每个人体部件的部分信息，以及该图像帧对应的三维姿态信息中每个人体部件的部分信息，确定每个人体部件对应的空间刚性变换矩阵；利用每个人体部件对应的空间刚性变换矩阵，对该帧图像对应的三维姿态信息中对应人体部件的信息进行变换，得到每个人体部件对应的变换后信息；由各个人体部件对应的变换后信息组成该帧图像对应的细化后三维基元。

可选的，坐姿检测特征确定模块1003包括：三维人体特征点获取子模块、三角网格单元构建子模块、坐姿检测特征确定子模块。

三维人体特征点获取子模块，用于根据所述标准三维基元，获取所述目标对象的三维人体特征点。

三角网格单元构建子模块，用于根据所述三维人体特征点，构建三维空间中的三角网格单元。其中，三维空间中的一个三角网格单元由一个三维人体特征点以及与该三维人体特征点距离最近的两个三维人体特征点构建；

坐姿检测特征确定子模块，用于根据所述图像序列、所述目标对象的标准三维基元以及所述三维空间中的三角网格单元，确定所述目标对象的坐姿检测特征。

可选的，坐姿检测特征确定子模块，具体用于根据所述目标三角网格单元和所述目标对象的标准三维基元，确定所述目标三角网格单元对应的肢体体素块，根据所述图像序列、所述目标三角网格单元以及所述目标三角网格单元对应的肢体体素块，确定所述目标对象的坐姿检测特征。

其中，一个目标三角网格单元对应一个肢体体素块，一个肢体体素块通过所述目标对象的标准三维基元中、由对应的目标三角网格单元确定的人体部件上的点云信息表征。

可选的，坐姿检测特征确定子模块在根据所述图像序列、所述目标三角网格单元以及所述目标三角网格单元对应的肢体体素块，确定所述目标对象的坐姿检测特征时，具体用于针对所述图像序列中的每帧图像，以所述目标三角网格单元为依据，根据从该帧图像中确定的人体特征点，构建二维空间中、与所述目标三角网格单元对应的的三角网格单元，作为该帧图像对应的初始骨架面，其中，二维空间中的一个三角网格单元作为一个初始骨架面；根据所述图像序列中每帧图像对应的初始骨架面，以及所述目标三角网格单元对应的肢体体素块，确定所述目标对象的坐姿检测特征。

可选的，坐姿检测特征确定子模块在根据所述图像序列中每帧图像对应的初始骨架面，以及所述目标三角网格单元对应的肢体体素块，确定所述目标对象的坐姿检测特征时，具体用于对于所述图像序列中每帧图像对应的每个初始骨架面：以根据该初始骨架面构建的基准坐标系为依据，旋转该初始骨架面对应的目标三角网格单元所对应的肢体体素块，使得旋转后体素块与该初始骨架面适配；将所述旋转后体素块的二维空间投影，确定为该帧图像对应的一个目标骨架面；获取所述目标骨架面的法向量以及所述旋转后体素块的空间位置信息，作为所述目标骨架面对应的坐姿检测参数；由该帧图像对应的所有目标骨架面分别对应的坐姿检测参数组成该帧图像对应的坐姿检测参数；根据所述图像序列中每帧图像对应的坐姿检测参数，确定所述目标对象的坐姿检测特征。

可选的，坐姿检测特征确定子模块在根据所述图像序列中每帧图像对应的坐姿检测参数，确定所述目标对象的坐姿检测特征时，具体用于根据图像序列中相邻图像分别对应的坐姿检测参数，确定相邻图像间目标骨架面的法向量变化，以及肢体体素块的运动矢量，作为所述目标对象的坐姿检测特征。

本申请实施例提供的坐姿检测检测装置，可根据目标对象的图像序列构建出目标对象的标准三维基元，进而可根据目标对象的图像序列和目标对象的标准三维基元确定能够反映目标对象在图像序列中相邻两帧图像间坐姿变化情况的坐姿检测特征，从而可根据坐姿检测特征确定目标对象的坐姿是否规范，即本申请实施例可实现坐姿规范与否的准确检测，这使得当目标对象出现不规范坐姿时能够给予提醒，从而能够避免或改善因坐姿不规范所带来的一系列问题。

第六实施例

本申请实施例还提供了一种坐姿检测设备，请参阅图11，示出了该坐姿检测设备的结构示意图，该设备可以包括：至少一个处理器1101，至少一个通信接口1102，至少一个存储器1103和至少一个通信总线1104；

在本申请实施例中，处理器1101、通信接口1102、存储器1103、通信总线1104的数量为至少一个，且处理器1101、通信接口1102、存储器1103通过通信总线1104完成相互间的通信；

处理器1101可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；

其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：

获取目标对象的图像序列；

根据目标对象的图像序列，确定目标对象的标准三维基元，其中，目标对象的标准三维基元为目标对象的坐姿为标准坐姿时，目标对象的三维人体信息；

根据目标对象的图像序列和目标对象的标准三维基元，确定目标对象的坐姿检测特征，其中，目标对象的坐姿检测特征为能够反映目标对象在图像序列中相邻两帧图像间坐姿变化情况的特征；

根据目标对象的坐姿检测特征，确定目标对象的坐姿是否规范。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

第七实施例

本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：

获取目标对象的图像序列；

根据目标对象的图像序列，确定目标对象的标准三维基元，其中，目标对象的标准三维基元为目标对象的坐姿为标准坐姿时，目标对象的三维人体信息；

根据目标对象的图像序列和目标对象的标准三维基元，确定目标对象的坐姿检测特征，其中，目标对象的坐姿检测特征为能够反映目标对象在图像序列中相邻两帧图像间坐姿变化情况的特征；

根据目标对象的坐姿检测特征，确定目标对象的坐姿是否规范。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种坐姿检测方法，其特征在于，包括：

获取目标对象的图像序列；

根据所述图像序列，确定所述目标对象的标准三维基元，其中，所述标准三维基元为所述目标对象的坐姿为标准坐姿时，所述目标对象的三维人体信息；

根据所述图像序列和所述标准三维基元，确定所述目标对象的坐姿检测特征，其中，所述坐姿检测特征为能够反映所述目标对象在所述图像序列中相邻两帧图像间坐姿变化情况的特征；

根据所述坐姿检测特征，确定所述目标对象的坐姿是否规范。

2.根据权利要求1所述的坐姿检测方法，其特征在于，所述根据所述图像序列，确定所述目标对象的标准三维基元，包括：

根据所述图像序列、预先获得的参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述目标对象的标准参考基元；

其中，每个参考三维基元对应有人体属性信息，不同参考三维基元对应的人体属性信息不同，所述基元形变向量用于对对应的参考三维基元进行形变。

3.根据权利要求2所述的坐姿检测方法，其特征在于，获得所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，包括：

获取预先采集的多个三维人体信息和所述多个三维人体信息分别对应的二维人体图像；

根据所述多个三维人体信息分别对应的二维人体图像，确定所述多个三维人体信息分别对应的人体属性信息；

根据所述多个三维人体信息分别对应的人体属性信息，对所述多个三维人体信息进行分组；

根据每组三维人体信息以及每组三维人体信息中每个三维人体信息对应的二维人体图像，确定每组三维人体信息对应的参考三维基元和基元形变向量，以得到由确定出的参考三维基元组成的参考三维基元集合，以及所述参考三维基元集合中每个参考三维基元对应的基元形变向量，其中，一参考三维基元对应的人体属性信息为该参考三维基元对应的三维人体信息所对应的人体属性信息。

4.根据权利要求2所述的坐姿检测方法，其特征在于，所述根据所述图像序列、预先获得的参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述目标对象的标准参考基元，包括：

利用所述图像序列，对预先确定的、所述目标对象的粗三维基元进行细化，得到所述目标对象的标准三维基元，其中，所述粗三维基元根据所述目标对象的一帧图像、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量确定；

或者，

先根据所述图像序列中的一帧图像、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述目标对象的粗三维基元，再利用所述图像序列中的其它图像，对所述目标对象的粗三维基元进行细化，得到所述目标对象的标准三维基元。

5.根据权利要求4所述的坐姿检测方法，其特征在于，根据一帧图像、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述目标对象的粗三维基元，包括：

从该帧图像中获取所述目标对象的人体特征点和人体属性信息；

从所述多个参考三维基元中确定，对应的人体属性信息与所述目标对象的人体属性信息一致的参考三维基元，作为目标参考三维基元；

根据所述目标对象的人体特征点和所述目标参考三维基元，确定形变系数；

根据所述形变系数和所述目标参考三维基元对应的基元形变向量，确定所述目标对象的粗三维基元。

6.根据权利要求4所述的坐姿检测方法，其特征在于，对所述目标对象的粗三维基元进行细化，得到所述目标对象的标准参考基元，包括：

根据图像集合中的每帧图像、所述目标对象的粗三维基元、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述图像集合中每帧图像对应的细化后三维基元，其中，所述图像集合为用于对所述目标对象的粗三维基元进行细化的图像所组成的集合；

根据所述图像集合中每一帧图像对应的细化后三维基元，确定所述目标对象的标准参考基元。

7.根据权利要求6所述的坐姿检测方法，其特征在于，所述根据图像集合中的每帧图像、所述目标对象的粗三维基元、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定所述图像集合中每帧图像对应的细化后三维基元，包括：

针对所述图像集合中的每帧图像：

根据该帧图像、所述参考三维基元集合和所述参考三维基元集合中每个参考三维基元对应的基元形变向量，确定该帧图像对应的三维姿态信息；

根据所述目标对象的粗三维基元中每个人体部件的部分信息，以及该图像帧对应的三维姿态信息中每个人体部件的部分信息，确定每个人体部件对应的空间刚性变换矩阵；

利用每个人体部件对应的空间刚性变换矩阵，对该帧图像对应的三维姿态信息中对应人体部件的信息进行变换，得到每个人体部件对应的变换后信息；由各个人体部件对应的变换后信息组成该帧图像对应的细化后三维基元。

8.根据权利要求1～7中任一项所述的坐姿检测方法，其特征在于，所述根据所述图像序列和所述标准三维基元，确定所述目标对象的坐姿检测特征，包括：

根据所述标准三维基元，获取所述目标对象的三维人体特征点；

根据所述三维人体特征点，构建三维空间中的三角网格单元，其中，三维空间中的一个三角网格单元由一个三维人体特征点以及与该三维人体特征点距离最近的两个三维人体特征点构建；

根据所述图像序列、所述目标对象的标准三维基元以及所述三维空间中的三角网格单元，确定所述目标对象的坐姿检测特征。

9.根据权利要求8所述的坐姿检测方法，其特征在于，所述根据所述图像序列、所述目标对象的标准三维基元以及所述三维空间中的三角网格单元，确定所述目标对象的坐姿检测特征，包括：

从所述三维空间中的三角网格单元中确定出受坐姿改变影响的三角网格单元，作为目标三角网格单元；

根据所述目标三角网格单元和所述目标对象的标准三维基元，确定所述目标三角网格单元对应的肢体体素块，其中，一个目标三角网格单元对应一个肢体体素块，一个肢体体素块通过所述目标对象的标准三维基元中、由对应的目标三角网格单元确定的人体部件上的点云信息表征；

根据所述图像序列、所述目标三角网格单元以及所述目标三角网格单元对应的肢体体素块，确定所述目标对象的坐姿检测特征。

10.根据权利要求9所述的坐姿检测方法，其特征在于，所述根据所述图像序列、所述目标三角网格单元以及所述目标三角网格单元对应的肢体体素块，确定所述目标对象的坐姿检测特征，包括：

针对所述图像序列中的每帧图像，以所述目标三角网格单元为依据，根据从该帧图像中确定的人体特征点，构建二维空间中、与所述目标三角网格单元对应的的三角网格单元，作为该帧图像对应的初始骨架面，其中，二维空间中的一个三角网格单元作为一个初始骨架面；

根据所述图像序列中每帧图像对应的初始骨架面，以及所述目标三角网格单元对应的肢体体素块，确定所述目标对象的坐姿检测特征。

11.根据权利要求10所述的坐姿检测方法，其特征在于，所述根据所述图像序列中每帧图像对应的初始骨架面，以及所述目标三角网格单元对应的肢体体素块，确定所述目标对象的坐姿检测特征，包括：

对于所述图像序列中每帧图像对应的每个初始骨架面：

以根据该初始骨架面构建的基准坐标系为依据，旋转该初始骨架面对应的目标三角网格单元所对应的肢体体素块，使得旋转后体素块与该初始骨架面适配；

将所述旋转后体素块的二维空间投影，确定为该帧图像对应的一个目标骨架面；

获取所述目标骨架面的法向量以及所述旋转后体素块的空间位置信息，作为所述目标骨架面对应的坐姿检测参数；

由该帧图像对应的所有目标骨架面分别对应的坐姿检测参数组成该帧图像对应的坐姿检测参数；

根据所述图像序列中每帧图像对应的坐姿检测参数，确定所述目标对象的坐姿检测特征。

12.根据权利要求11所述的坐姿检测方法，其特征在于，所述根据所述图像序列中每帧图像对应的坐姿检测参数，确定所述目标对象的坐姿检测特征，包括：

根据图像序列中相邻图像分别对应的坐姿检测参数，确定相邻图像间目标骨架面的法向量变化，以及肢体体素块的运动矢量，作为所述目标对象的坐姿检测特征。

13.一种坐姿检测装置，其特征在于，包括：图像获取模块、标准三维基元确定模块、坐姿检测特征确定模块和坐姿检测模块；

所述图像获取模块，用于获取目标对象的图像序列；

所述标准三维基元确定模块，用于根据所述图像序列，确定所述目标对象的标准三维基元，其中，所述标准三维基元为所述目标对象的坐姿为标准坐姿时，所述目标对象的三维人体信息；

所述坐姿检测特征确定模块，用于根据所述图像序列和所述标准三维基元，确定所述目标对象的坐姿检测特征，其中，所述坐姿检测特征为能够反映所述目标对象在所述图像序列中相邻两帧图像间坐姿变化情况的特征；

所述坐姿检测模块，用于根据所述坐姿检测特征，确定所述目标对象的坐姿是否规范。

14.一种坐姿检测设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如权利要求1～12中任一项所述的坐姿检测方法的各个步骤。

15.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1～12中任一项所述的坐姿检测方法的各个步骤。

Images