CN115661862A - 一种基于压力视觉卷积模型的坐姿样本集自动标注方法 - Google Patents

一种基于压力视觉卷积模型的坐姿样本集自动标注方法 Download PDF

Info

Publication number
CN115661862A
CN115661862A CN202211318914.3A CN202211318914A CN115661862A CN 115661862 A CN115661862 A CN 115661862A CN 202211318914 A CN202211318914 A CN 202211318914A CN 115661862 A CN115661862 A CN 115661862A
Authority
CN
China
Prior art keywords
pressure
sitting posture
model
vision
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211318914.3A
Other languages
English (en)
Inventor
周佳裕
蔡晋辉
景江兴
曾九孙
李立新
祝冬杰
孙蔡霞
郑台台
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202211318914.3A priority Critical patent/CN115661862A/zh
Publication of CN115661862A publication Critical patent/CN115661862A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于压力视觉卷积模型的坐姿样本集自动标注方法，包括仅依靠压力实现坐姿姿态估计的模型训练系统和基于数值分析的自动标注标签系统，训练系统包括利用压力‑视觉同步采集系统获取坐姿下同步的椅面压力图像和人体姿态的视觉图像，对包含人体姿态的相机图像和椅面压力图像进行预处理，预处理得到人体关键点坐标‑压力图像数据对的数据集，设计并训练基于卷积神经网络的压力‑视觉跨域人体坐姿姿态估计模型，模型输出人体骨骼关键点坐标，自动标注系统是将压力图像输入训练得到的姿态估计模型。本发明目的在于克服现有技术上的不足，避免现在深度学习数据集的收集往往需要采用人工标注，效率低、标准不统一的问题。

Description

一种基于压力视觉卷积模型的坐姿样本集自动标注方法
技术领域
本发明涉及计算机视觉技术、人体姿态估计技术领域，具体为一种基于压力视觉卷积模型的坐姿样本集自动标注方法。
背景技术
人体姿态估计在动作识别、游戏、医疗保健和机器人中至关重要。通过从图像和视频中提取骨骼运动学来估计人体姿态已经取得了重大进展。人体姿态估计也被称为人体关键点检测，是指获取图片中人体关节点的位置的一种方法，目前的姿态估计方法中主要是通过视觉相机获取的图像，通过深度学习的方法对图片特征进行学习。
估计人体姿势是计算机视觉中的一项重要任务，可应用于监视、活动识别、游戏等领域。基于相机获取的图像进行姿态估计，在日常生活中的应用中，不可避免的会受到遮挡的影响，表示能力有限，多视角姿态信息融合的方法虽然能较为准确的估计出姿态结果，但计算量大，实时性差，并且深度传感器或摄像机等传感器需要校准或特定的条件，因此无法轻松安装在环境中，随之而产生了一系列基于非视觉的姿态估计方法，例如利用无线电反射进行3D姿态追踪，利用WiFi频率中的无线信号穿过墙壁并反射到人体上这一事实实现无线信号的二维姿态估计。
发明内容
为解决上述背景技术中提出的问题，本发明的目的在于提供一种基于压力视觉卷积模型的坐姿样本集自动标注方法，具备避免现在深度学习数据集的收集往往需要采用人工标注，效率低、标准不统一的优点，解决了计算量大，实时性差，并且深度传感器或摄像机等传感器需要校准或特定的条件，因此无法轻松安装在环境中的问题。
为实现上述目的，本发明提供如下技术方案：一种基于压力视觉卷积模型的坐姿样本集自动标注方法，包括仅依靠压力实现坐姿姿态估计的模型训练系统和基于数值分析的自动标注标签系统，训练系统包括利用压力-视觉同步采集系统获取坐姿下同步的椅面压力图像和人体姿态的视觉图像，对包含人体姿态的相机图像和椅面压力图像进行预处理，预处理得到人体关键点坐标-压力图像数据对的数据集，设计并训练基于卷积神经网络的压力-视觉跨域人体坐姿姿态估计模型，模型输出人体骨骼关键点坐标，自动标注系统是将压力图像输入训练得到的姿态估计模型，预测关键点坐标，利用关键点连线计算肢体间角度来确定坐姿类型，自动标注。
作为本发明优选的，包括压力采集端和图像采集端，压力采集端包括阵列式压力传感器、数据采集模块、MCU和供电模块，阵列式压力传感器采用MF-6060阵列式柔性薄膜压力传感器，由60行*60列的压力传感器阵列组成3600个压力敏感点，数据采集模块通过行、列选择模块选中阵列中的一个压敏单元，通过解耦电路、信号处理电路将电阻值转换成电压值，由STM32单片机采用双ADC并行采集，提高采集速度，蓝牙模组发送每一组3600个压力点的数据，并在PC端接收数据。
作为本发明优选的，所述一套基于压力-视觉同步采集系统，利用该系统收集压力和视觉同步数据对，实现对正坐、翘二郎腿、前倾、左倾、右倾、后倾、前倾、左右转动等各种静态坐姿及其相互变换过程坐姿的收集，即收集的坐姿不仅限于上述8种类型，而是动态任意变换的坐姿。
作为本发明优选的，所述预处理方法分为标定相机和识别关键点，相机标定包括：1、双目相机标定，确定相机的内参矩阵和两个相机间的旋转及平移矩阵/2、标定左相机与阵列式压力传感器之间的位姿，将坐标系建立在基于阵列式压力传感器的物体坐标系上，建立压力-视觉的跨域联系，识别关键点包括1、OpenPose识别RGB图像中的二维关键点的图像坐标，2、利用两个相机中二维关键点坐标通过三角测量求关键点的三维坐标，3、随机梯度下降算法最小化损失函数优化关键点位置，4、坐标系转换。
作为本发明优选的，所述相机标定包括：1、双目标定，采用张正友棋盘格标定法，拍摄16～24组棋盘格标定板，利用Matlab工具箱依次进行单目标定和双目标定，得到左、右相机的内参矩阵和两个相机间的旋转及平移矩阵，建立人体关键点二维像素坐标和左相机坐标系的映射关系，2、建立阵列式压力传感器的物体坐标系，阵列式传感器所在平面为X-Y平面、垂直于该平面的方向为Z轴的笛卡尔直角坐标系，识别阵列式传感器上的棋盘格角点，利用solve PNP迭代法求解左相机坐标系到阵列式传感器物体坐标系的旋转和平移矩阵。
作为本发明优选的，所述OpenPose姿态估计，是由卡耐基梅隆大学感知实验室发布的一个以OpenCV和Caffe为框架的基于卷积神经网络和监督学习的实时姿态估计方法，输出记录关键点之间的位置信息和方向信息，成熟的视觉姿态估计框架，关键点识别准确率高，具有较高的精度，基本可以认为识别得到的关键点坐标是真实的。
作为本发明优选的，所述三角测量法，由于两个视角的图像利用OpenPose识别同一个关键点存在一定的偏差，因此两个视角识别的该点投影到三维空间中时，不一定是重合的，为估计关键点的三维坐标，采用cv2.triangulatePoints()函数实现三角测量。
作为本发明优选的，所述随机梯度下降算法最小化损失函数优化关键点位置的方法，其损失函数为：
Figure BDA0003909520340000031
其中，N＝19，表示关键点个数，PL和PR分别表示3D关键点投影到左、右相机的2D图像帧上的投影矩阵，pk＝{xk,yk,zk},表示位于相机坐标系下的三维空间坐标，qk＝(uk,vk)表示关键点在图像中的像素坐标，
Figure BDA0003909520340000041
表示骨架长度的中位值，K表示三角测量得到的骨架长度。
作为本发明优选的，所述基于卷积神经网络的跨域人体坐姿姿态估计模型，它是基于完全的卷积神经网络的，利用视觉图像的经OpenPose姿态估计等识别处理的结果作为监督，以时间上连续的多帧压力分布图作为网络的输入，经过多层卷积网络处理，为了回归得到3D空间中关键点，在网络中添加一个新的维度扩展至三维空间，同时添加一个通道来表征高度z轴，然后利用多层三维卷积对特征进行处理，预测得到与中间帧相对应的19个关键点的置信度图。
作为本发明优选的，所述跨域人体坐姿姿态估计模型，采用Adam优化器最小化预测关键点置信度图和真实情况下的关键点置信度图之间的均方误差(MSE)来优化模型，同时，添加了两部分损失项，一是为了保证输出的骨骼长度符合正常人体，计算骨骼长度使其位于样本对象人体骨骼长度百分位3和百分位97之间，二是为准确关联坐姿变化，加入能充分体现坐姿变换的肢体间角度误差，损失函数的定义为：
Figure BDA0003909520340000042
其中Hi和
Figure BDA0003909520340000043
分别表示真实情况下的和模型预测得到的关键点置信度图；θi和
Figure BDA0003909520340000044
分别表示真实情况下的和模型预测得到的相连接骨骼所成角度Lj表示第j个骨骼长度损失，定义为：
Figure BDA0003909520340000051
其中
Figure BDA0003909520340000052
表示模型预测得到的骨骼长度，
Figure BDA0003909520340000053
和
Figure BDA0003909520340000054
分别表示训练集中样本的百分位3和百分位97的骨骼长度。
作为本发明优选的，所述利用关键点连线计算肢体间角度来确定坐姿类型。
作为本发明优选的，所述跨域人体坐姿姿态估计模型采用python语言、Pytorch深度学习库进行设计与训练。
作为本发明优选的，一种基于阵列式压力传感器的人体姿态估计方法，贡献了一种跨域的人体姿态估计方法，使用同步的压力图像和视觉预处理结果作为输入，一旦经过训练，网络只使用压力图像就能进行坐姿姿态估计。
与现有技术相比，本发明的有益效果如下：
1、本发明目的在于克服现有技术上的不足，避免现在深度学习数据集的收集往往需要采用人工标注，效率低、标准不统一的问题。
附图说明
图1为本发明训练系统及标注系统整体系统示意图；
图2为本发明压力-视觉同步采集系统的总体机械示意图；
图3本发明基于阵列式压力传感器的压力采集端的硬件示意图；
图4为本发明相机标定和相机图像处理流程示意图；
图5为本发明二维人体关键点示意图；
图6为本发明跨域坐姿姿态估计模型示意图；
图7为本发明坐姿类型肢体角度分析示意图。
图中：1、人体；2、海康机器人MV-CA050-12GC相机(右)；3、相机云台(右)；4、铝型材支架(右)；5、座椅；6、阵列式压力传感器；7、海康机器人MV-CA050-12GC相机(左)；8、相机云台(左)；9、铝型材支架(左)。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供的一种基于压力视觉卷积模型的坐姿样本集自动标注方法，包括仅依靠压力实现坐姿姿态估计的模型训练系统和基于数值分析的自动标注标签系统，训练系统包括利用压力-视觉同步采集系统获取坐姿下同步的椅面压力图像和人体姿态的视觉图像，对包含人体姿态的相机图像和椅面压力图像进行预处理，预处理得到人体关键点坐标-压力图像数据对的数据集，设计并训练基于卷积神经网络的压力-视觉跨域人体坐姿姿态估计模型，模型输出人体骨骼关键点坐标，自动标注系统是将压力图像输入训练得到的姿态估计模型，预测关键点坐标，利用关键点连线计算肢体间角度来确定坐姿类型，自动标注。
本发明进一步设置为：包括压力采集端和图像采集端，压力采集端包括阵列式压力传感器、数据采集模块、MCU和供电模块，阵列式压力传感器采用MF-6060阵列式柔性薄膜压力传感器，由60行*60列的压力传感器阵列组成3600个压力敏感点，数据采集模块通过行、列选择模块选中阵列中的一个压敏单元，通过解耦电路、信号处理电路将电阻值转换成电压值，由STM32单片机采用双ADC并行采集，提高采集速度，蓝牙模组发送每一组3600个压力点的数据，并在PC端接收数据。
本发明进一步设置为：一套基于压力-视觉同步采集系统，利用该系统收集压力和视觉同步数据对实现对正坐、翘二郎腿、前倾、左倾、右倾、后倾、前倾、左右转动等各种静态坐姿及其相互变换过程坐姿的收集，即收集的坐姿不仅限于上述8种类型，而是动态任意变换的坐姿。
本发明进一步设置为：预处理方法分为标定相机和识别关键点，相机标定包括：1、双目相机标定，确定相机的内参矩阵和两个相机间的旋转及平移矩阵/2、标定左相机与阵列式压力传感器之间的位姿，将坐标系建立在基于阵列式压力传感器的物体坐标系上，建立压力-视觉的跨域联系，识别关键点包括1、OpenPose识别RGB图像中的二维关键点的图像坐标，2、利用两个相机中二维关键点坐标通过三角测量求关键点的三维坐标，3、随机梯度下降算法最小化损失函数优化关键点位置，4、坐标系转换。
本发明进一步设置为：相机标定包括：1、双目标定，采用张正友棋盘格标定法，拍摄16～24组棋盘格标定板，利用Matlab工具箱依次进行单目标定和双目标定，得到左、右相机的内参矩阵和两个相机间的旋转及平移矩阵，建立人体关键点二维像素坐标和左相机坐标系的映射关系，2、建立阵列式压力传感器的物体坐标系，阵列式传感器所在平面为X-Y平面、垂直于该平面的方向为Z轴的笛卡尔直角坐标系，识别阵列式传感器上的棋盘格角点，利用solve PNP迭代法求解左相机坐标系到阵列式传感器物体坐标系的旋转和平移矩阵。
本发明进一步设置为：OpenPose姿态估计，是由卡耐基梅隆大学感知实验室发布的一个以OpenCV和Caffe为框架的基于卷积神经网络和监督学习的实时姿态估计方法，输出记录关键点之间的位置信息和方向信息，成熟的视觉姿态估计框架，关键点识别准确率高，具有较高的精度，基本可以认为识别得到的关键点坐标是真实的。
本发明进一步设置为：三角测量法，由于两个视角的图像利用OpenPose识别同一个关键点存在一定的偏差，因此两个视角识别的该点投影到三维空间中时，不一定是重合的，为估计关键点的三维坐标，采用cv2.triangulatePoints()函数实现三角测量。
本发明进一步设置为：随机梯度下降算法最小化损失函数优化关键点位置的方法，其损失函数为：
Figure BDA0003909520340000081
其中，N＝19，表示关键点个数，PL和PR分别表示3D关键点投影到左、右相机的2D图像帧上的投影矩阵，pk＝{xk,yk,zk},表示位于左相机的相机坐标系下的三维空间坐标，qk＝(uk,vk)表示关键点在图像中的像素坐标，
Figure BDA0003909520340000082
表示骨架长度的中位值，K表示三角测量得到的骨架长度。
本发明进一步设置为：基于卷积神经网络的跨域人体坐姿姿态估计模型，它是基于完全的卷积神经网络的，利用视觉图像的经OpenPose姿态估计等识别处理的结果作为监督，以时间上连续的多帧压力分布图作为网络的输入，经过多层卷积网络处理，为了回归得到3D空间中关键点，在网络中添加一个新的维度扩展至三维空间，同时添加一个通道来表征高度z轴，然后利用多层三维卷积对特征进行处理，预测得到与中间帧相对应的19个关键点的置信度图。
本发明进一步设置为：跨域人体坐姿姿态估计模型，采用Adam优化器最小化预测关键点置信度图和真实情况下的关键点置信度图之间的均方误差(MSE)来优化模型，同时，添加了两部分损失项，一是为了保证输出的骨骼长度符合正常人体，计算骨骼长度使其位于样本对象人体骨骼长度百分位3和百分位97之间，二是为准确关联坐姿变化，加入能充分体现坐姿变换的肢体间角度误差，损失函数的定义为：
Figure BDA0003909520340000091
其中Hi和
Figure BDA0003909520340000092
分别表示真实情况下的和模型预测得到的关键点置信度图；θi和
Figure BDA0003909520340000093
分别表示真实情况下的和模型预测得到的相连接骨骼所成角度Lj表示第j个骨骼长度损失，定义为：
Figure BDA0003909520340000094
其中
Figure BDA0003909520340000095
表示模型预测得到的骨骼长度，
Figure BDA0003909520340000096
和
Figure BDA0003909520340000097
分别表示训练集中样本的百分位3和百分位97的骨骼长度。
本发明进一步设置为：利用关键点连线计算肢体间角度来确定坐姿类型。
本发明进一步设置为：跨域人体坐姿姿态估计模型采用python语言、Pytorch深度学习库进行设计与训练。
本发明进一步设置为：一种基于阵列式压力传感器的人体姿态估计方法，贡献了一种跨域的人体姿态估计方法，使用同步的压力图像和视觉预处理结果作为输入，一旦经过训练，网络只使用压力图像就能进行坐姿姿态估计。
使用过程及工作原理：首先搭建一套基于阵列式压力传感器和双目相机的实时采集系统，该系统包括：压力采集端、RGB图像采集端和PC数据接收处理端，PC端采用多进程方式实时读取压力和图像数据，同时为每一帧数据添加时间戳，用于匹配时间上同步的压力和图像数据对，其次，对采集到的同步压力数据流和图像视频流进行处理，压力数据流的处理包括图像去噪和数据归一化；图像视频流的处理包括OpenPose识别图像获取二维关键点的图像坐标，双目标定、三角测量和关键点坐标优化实现二维关键点到三维关键点的转换，坐标系的转换以及置信度图的生成，进一步地，建立跨域的多层卷积神经网络模型，以基于OpenPose获取的人体三维姿态作为监督，输入时间序列上连续的多帧压力图像，采集了75000对同步数据对，采用60000对同步数据进行模型训练，经训练后的模型，仅需使用压力图像就能实现对人体三维姿态的估计，最后，对压力-视觉跨域模型的输出关键点进行数值分析，分析肢体间的角度以确定坐姿类型，从而实现自动化标注。
如图1是训练系统及标注系统整体系统示意图，训练系统包括了压力-视觉同步采集系统，获取压力图像和视觉图像；压力图像去噪、视觉图像经姿态估计等步骤获取3D坐姿姿态，组成数据集；利用数据集训练压力-视觉跨域的卷积神经网络模型，得到仅靠压力实现的姿态估计模型，自动标注系统包括将压力图像输入训练所得的姿态估计模型，预测得到19个3D关键点，关键点经肢体分析的数值运算，自动判别坐姿类型，生成压力图像对应的坐姿类型标签。
如图2是压力-视觉同步采集系统的总体机械示意图，图像采集端采用海康机器人MV-CA050-12GC相机(右)2和海康机器人MV-CA050-12GC相机(左)，分别安装在铝型材支架8和9上，通过相机云台3和4调节相机的角度，两相机布置在距离座椅5约2米远、距离地面2米高，相互间距离1.2米的位置，保证座椅5和人体1都能同时出现在两个相机的视场内，相机通过GigE接口与PC端相连读取数据，同时，压力采集端由阵列式压力传感器6感应坐姿变换时的压力信息，通过转换电路、微处理器、传输电路等功能模块实现对压力信号的采集。
如图3所示是具体压力采集端的硬件设计图，压力采集端包括阵列式压力传感器、数据采集模块、MCU和供电模块，阵列式压力传感器采用MF-6060阵列式柔性薄膜压力传感器，是压阻式的，60行*60列的压力传感器阵列形成3600个压力敏感点，压力传感器的阻值随着感应面受到的压力的增加而减小，电阻的倒数与其受到的压力值是一种近似的线性关系，原始输出为电阻值的变化，需要设计数据采集电路将电阻值的变化转换成电压变化，数据采集模块通过行、列选择模块选中阵列中的一个压敏单元，通过解耦电路、信号处理电路将电阻值转换成电压值，由STM32单片机进行ADC采集，STM32单片机采用双ADC并行采集，提高采集速度，蓝牙模块发送每一组3600个压力点的数据，在PC端蓝牙接收数据。
阵列式压力传感器会记录一些噪音，传感器记录的这些噪声由闪烁噪声、机械和拉伸刺激、温度变化和校准误差引起，采用中值滤波算法对压力图像去噪。
如图4是相机标定和相机图像处理流程示意图，目的是获取人体3D关键点，其包括以下步骤：
(1)对双目相机进行标定：平移、旋转棋盘格标定板，采集10-20组不同方位的棋盘格标定板的左、右图像；运用MATLAB的“Camera Calibration Toolbox”标定工具箱，分别对左、右相机进行单目标定，获得左、右相机的内参矩阵、外参矩阵以及畸变系数；运用MATLAB的“Stereo Camera Calibration Toolbox”标定工具箱，导入单目标定所得的相机参数文件，进行双目标定，得到双目相机之间的旋转矩阵和平移向量；
(2)为了建立人体三维姿态和压力图像的跨域联系，将三维关键点坐标所在坐标系从左相机坐标系转换到以阵列式传感器所在平面为X-Y平面、垂直于该平面的方向为Z轴的笛卡尔直角坐标系，在阵列式压力传感器上粘贴方格边长为8cm的5*5棋盘格，识别棋盘格角点，使用solve PNP迭代法求解；
(3)使用成熟的OpenPose开源姿态估计模型从RGB图像中得到二维关键点的图像坐标，选择19个主要关键点；
(4)求解关键点的三维坐标：使用来自两个相机的二维关键点的图像坐标，以及相机参数，包括两个相机各自的内参矩阵和相互间的旋转矩阵和平移向量，通过三角化求取三维坐标；
(5)双目相机拍摄并不能做到拍摄无死角，有些人体关键点并不能出现在视觉图像中；Openpose对于运动模糊和亮度低的区域，识别能力弱，误差大，为此，提出采用随机梯度下降算法优化人体关键点，损失函数为：
Figure BDA0003909520340000121
其中，N＝19，表示关键点个数，PL和PR分别表示3D关键点投影到左、右相机的2D图像帧上的投影矩阵，pk＝{xk,yk,zk},表示位于相机坐标系下的三维空间坐标，qk＝(uk,vk)表示关键点在图像中的像素坐标，
Figure BDA0003909520340000122
表示骨架长度的中位值，K表示三角测量得到的骨架长度。
如图5是二维人体关键点图，其中左图是通过OpenPose模型识别得到的25个人体关键点，考虑到坐姿姿态估计的应用场景和模型运算能力，剔除了部分冗余的人体关键点，遴选出右图所示的19个人体关键点。
如图6是跨域坐姿姿态估计模型的结构图，以连续采样的M帧压力图像作为模型的输入，经过多层卷积网络处理，为了回归得到3D空间中关键点，在网络中添加一个新的维度扩展至三维空间，同时添加一个通道来表征高度z轴，然后利用多层三维卷积对特征进行处理，预测得到19个关键点的置信度图。
跨域坐姿姿态估计模型的训练中，采用Adam优化器最小化预测关键点置信度图和真实情况下的关键点置信度图之间的均方误差(MSE)来优化模型，同时，添加了两部分损失项，一是为了保证输出的骨骼长度符合正常人体，计算骨骼长度使其位于样本对象人体骨骼长度百分位3和百分位97之间，二是为准确关联坐姿变化，加入能充分体现坐姿变换的肢体间角度误差，使用softmax将置信度图转为关键点三维坐标，损失函数的定义为：
Figure BDA0003909520340000131
其中Hi和
Figure BDA0003909520340000132
分别表示真实情况下的和模型预测得到的关键点置信度图；θi和
Figure BDA0003909520340000133
分别表示真实情况下的和模型预测得到的相连接骨骼所成角度Lj表示第j个骨骼长度损失，定义为：
Figure BDA0003909520340000134
其中
Figure BDA0003909520340000135
表示模型预测得到的骨骼长度，
Figure BDA0003909520340000136
和
Figure BDA0003909520340000137
分别表示训练集中样本的百分位3和百分位97的骨骼长度。
如图7是以左倾为例的坐姿类型肢体角度分析图，关键点p1(x1,y1,z1)和关键点p2(x2,y2,z2)分别为脖子关键点、中间臀部关键点，p1p2向量很好的表征了坐姿左倾的程度，计算p1p2向量在y轴方向的角度，即可求得左倾角度，设定左倾的阈值范围，即可判断是否是左倾，实现自动标注左倾类型，同理，采用此方法可以标注前倾、后倾等各种坐姿类型，实现数据集样本标签的自动化标注。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (13)

1.一种基于压力视觉卷积模型的坐姿样本集自动标注方法，其特征在于：包括仅依靠压力实现坐姿姿态估计的模型训练系统和基于数值分析的自动标注标签系统，训练系统包括利用压力-视觉同步采集系统获取坐姿下同步的椅面压力图像和人体姿态的视觉图像，对包含人体姿态的相机图像和椅面压力图像进行预处理，预处理得到人体关键点坐标-压力图像数据对的数据集，设计并训练基于卷积神经网络的压力-视觉跨域人体坐姿姿态估计模型，模型输出人体骨骼关键点坐标，自动标注系统是将压力图像输入训练得到的姿态估计模型，预测关键点坐标，利用关键点连线计算肢体间角度来确定坐姿类型，自动标注。
2.根据权利要求1所述的一种基于压力视觉卷积模型的坐姿样本集自动标注方法，其特征在于：包括压力采集端和图像采集端，压力采集端包括阵列式压力传感器、数据采集模块、MCU和供电模块，阵列式压力传感器采用MF-6060阵列式柔性薄膜压力传感器，由60行*60列的压力传感器阵列组成3600个压力敏感点，数据采集模块通过行、列选择模块选中阵列中的一个压敏单元，通过解耦电路、信号处理电路将电阻值转换成电压值，由STM32单片机采用双ADC并行采集，提高采集速度，蓝牙模组发送每一组3600个压力点的数据，并在PC端接收数据。
3.根据权利要求2所述的一种基于压力视觉卷积模型的坐姿样本集自动标注方法，其特征在于：所述一套基于压力-视觉同步采集系统，利用该系统收集压力和视觉同步数据对实现对正坐、翘二郎腿、前倾、左倾、右倾、后倾、前倾、左右转动等各种静态坐姿及其相互变换过程坐姿的收集，即收集的坐姿不仅限于上述8种类型，而是动态任意变换的坐姿。
4.根据权利要求1所述的一种基于压力视觉卷积模型的坐姿样本集自动标注方法，其特征在于：所述预处理方法分为标定相机和识别关键点，相机标定包括:1、双目相机标定，确定相机的内参矩阵和两个相机间的旋转及平移矩阵；2、标定左相机与阵列式压力传感器之间的位姿，将坐标系建立在基于阵列式压力传感器的物体坐标系上，建立压力-视觉的跨域联系，识别关键点包括1、OpenPose识别RGB图像中的二维关键点的图像坐标，2、利用两个相机中二维关键点坐标通过三角测量求关键点的三维坐标，3、随机梯度下降算法最小化损失函数优化关键点位置，4、坐标系转换。
5.根据权利要求4所述的一种基于压力视觉卷积模型的坐姿样本集自动标注方法，其特征在于：所述相机标定包括：1、双目标定，采用张正友棋盘格标定法，拍摄16～24组棋盘格标定板，利用Matlab工具箱依次进行单目标定和双目标定，得到左、右相机的内参矩阵和两个相机间的旋转及平移矩阵，建立人体关键点二维像素坐标和左相机坐标系的映射关系，2、建立阵列式压力传感器的物体坐标系，阵列式传感器所在平面为X-Y平面、垂直于该平面的方向为Z轴的笛卡尔直角坐标系，识别阵列式传感器上的棋盘格角点，利用solvePNP迭代法求解左相机坐标系到阵列式传感器物体坐标系的旋转和平移矩阵。
6.根据权利要求4所述的一种基于压力视觉卷积模型的坐姿样本集自动标注方法，其特征在于：所述OpenPose姿态估计，是由卡耐基梅隆大学感知实验室发布的一个以OpenCV和Caffe为框架的基于卷积神经网络和监督学习的实时姿态估计方法，输出记录关键点之间的位置信息和方向信息，成熟的视觉姿态估计框架，关键点识别准确率高，具有较高的精度，基本可以认为识别得到的关键点坐标是真实的。
7.根据权利要求4所述的一种基于压力视觉卷积模型的坐姿样本集自动标注方法，其特征在于：所述三角测量法，由于两个视角的图像利用OpenPose识别同一个关键点存在一定的偏差，因此两个视角识别的该点投影到三维空间中时，不一定是重合的，为估计关键点的三维坐标，采用cv2.triangulatePoints()函数实现三角测量。
8.根据权利要求4所述的一种基于压力视觉卷积模型的坐姿样本集自动标注方法，其特征在于：所述随机梯度下降算法最小化损失函数优化关键点位置的方法，其损失函数为：
Figure FDA0003909520330000031
其中，N＝19，表示关键点个数，PL和PR分别表示3D关键点投影到左、右相机的2D图像帧上的投影矩阵，pk＝{xk,yk,zk},表示位于左相机的相机坐标系下的三维空间坐标，qk＝(uk,vk)表示关键点在图像中的像素坐标，
Figure FDA0003909520330000032
表示骨架长度的中位值，K表示三角测量得到的骨架长度。
9.根据权利要求1所述的一种基于压力视觉卷积模型的坐姿样本集自动标注方法，其特征在于：所述基于卷积神经网络的跨域人体坐姿姿态估计模型，它是基于完全的卷积神经网络的，利用视觉图像的经OpenPose姿态估计等识别处理的结果作为监督，以时间上连续的多帧压力分布图作为网络的输入，经过多层卷积网络处理，为了回归得到3D空间中关键点，在网络中添加一个新的维度扩展至三维空间，同时添加一个通道来表征高度z轴，然后利用多层三维卷积对特征进行处理，预测得到与中间帧相对应的19个关键点的置信度图。
10.根据权利要求1和权利要求5所述的一种基于压力视觉卷积模型的坐姿样本集自动标注方法，其特征在于：所述跨域人体坐姿姿态估计模型，采用Adam优化器最小化预测关键点置信度图和真实情况下的关键点置信度图之间的均方误差(MSE)来优化模型，同时，添加了两部分损失项，一是为了保证输出的骨骼长度符合正常人体，计算骨骼长度使其位于样本对象人体骨骼长度百分位3和百分位97之间，二是为准确关联坐姿变化，加入能充分体现坐姿变换的肢体间角度误差，损失函数的定义为：
Figure FDA0003909520330000041
其中Hi和
Figure FDA0003909520330000042
分别表示真实情况下的和模型预测得到的关键点置信度图；θi和
Figure FDA0003909520330000043
分别表示真实情况下的和模型预测得到的相连接骨骼所成角度Lj表示第j个骨骼长度损失，定义为：
Figure FDA0003909520330000044
其中
Figure FDA0003909520330000045
表示模型预测得到的骨骼长度，
Figure FDA0003909520330000046
和
Figure FDA0003909520330000047
分别表示训练集中样本的百分位3和百分位97的骨骼长度。
11.根据权利要求1所述的一种基于压力视觉卷积模型的坐姿样本集自动标注方法，其特征在于：所述利用关键点连线计算肢体间角度来确定坐姿类型。
12.根据权利要求权利要求5和权利要求6所述的一种基于压力视觉卷积模型的坐姿样本集自动标注方法，其特征在于：所述跨域人体坐姿姿态估计模型采用python语言、Pytorch深度学习库进行设计与训练。
13.根据权利要求1至权利要求6所述的一种基于压力视觉卷积模型的坐姿样本集自动标注方法，其特征在于：一种基于阵列式压力传感器的人体姿态估计方法，贡献了一种跨域的人体姿态估计方法，使用同步的压力图像和视觉预处理结果作为输入，一旦经过训练，网络只使用压力图像就能进行坐姿姿态估计。
CN202211318914.3A 2022-10-26 2022-10-26 一种基于压力视觉卷积模型的坐姿样本集自动标注方法 Pending CN115661862A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211318914.3A CN115661862A (zh) 2022-10-26 2022-10-26 一种基于压力视觉卷积模型的坐姿样本集自动标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211318914.3A CN115661862A (zh) 2022-10-26 2022-10-26 一种基于压力视觉卷积模型的坐姿样本集自动标注方法

Publications (1)

Publication Number Publication Date
CN115661862A true CN115661862A (zh) 2023-01-31

Family

ID=84990797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211318914.3A Pending CN115661862A (zh) 2022-10-26 2022-10-26 一种基于压力视觉卷积模型的坐姿样本集自动标注方法

Country Status (1)

Country Link
CN (1) CN115661862A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984972A (zh) * 2023-03-20 2023-04-18 乐歌人体工学科技股份有限公司 基于运动视频驱动的人体姿态识别方法
CN117577332A (zh) * 2024-01-16 2024-02-20 中航创世机器人(西安)有限公司 一种基于视觉分析的康复评估方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984972A (zh) * 2023-03-20 2023-04-18 乐歌人体工学科技股份有限公司 基于运动视频驱动的人体姿态识别方法
CN115984972B (zh) * 2023-03-20 2023-08-11 乐歌人体工学科技股份有限公司 基于运动视频驱动的人体姿态识别方法
CN117577332A (zh) * 2024-01-16 2024-02-20 中航创世机器人(西安)有限公司 一种基于视觉分析的康复评估方法及系统
CN117577332B (zh) * 2024-01-16 2024-04-02 中航创世机器人(西安)有限公司 一种基于视觉分析的康复评估方法及系统

Similar Documents

Publication Publication Date Title
CN115661862A (zh) 一种基于压力视觉卷积模型的坐姿样本集自动标注方法
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN107229920B (zh) 基于整合深度典型时间规整及相关修正的行为识别方法
CN109758756B (zh) 基于3d相机的体操视频分析方法及系统
CN112308932B (zh) 一种注视检测方法、装置、设备及存储介质
CN114529605A (zh) 一种基于多视图融合的人体三维姿态估计方法
CN111062326A (zh) 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
CN111881773A (zh) 一种基于位置偏移的事件相机人体姿态估计方法及系统
CN114119739A (zh) 一种基于双目视觉的手部关键点空间坐标获取方法
CN110060304B (zh) 一种生物体三维信息采集方法
CN110065068A (zh) 一种基于逆向工程的机器人装配作业演示编程方法及装置
CN111399634B (zh) 一种手势引导物体识别的方法及装置
CN111914618A (zh) 基于对抗式相对深度约束网络的三维人体姿态估计方法
CN112184898A (zh) 一种基于动作识别的数字人体建模方法
CN115376034A (zh) 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置
CN116129037A (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN113065532B (zh) 一种基于rgbd图像的坐姿几何参数检测方法及系统
CN113989936A (zh) 一种可识别儿童坐姿并自动语音纠正的台灯
CN116580169B (zh) 一种数字人驱动方法及装置、电子设备和存储介质
CN111563880B (zh) 一种基于目标检测与聚类的横突棘突检测定位方法
CN109740458B (zh) 一种基于视频处理的体貌特征测量方法及系统
Salfelder et al. Markerless 3D spatio-temporal reconstruction of microscopic swimmers from video
CN111950639B (zh) 一种同步实时显示超声与断层解剖图像的成像方法
CN115082555A (zh) 一种rgbd单目相机的高精度位移实时测量系统及方法
CN113786179A (zh) 红外与光学图像融合的人体血压实时测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination