CN115424346A - 一种人体坐姿检测方法、装置、计算机设备及系统 - Google Patents

一种人体坐姿检测方法、装置、计算机设备及系统 Download PDF

Info

Publication number
CN115424346A
CN115424346A CN202211067957.9A CN202211067957A CN115424346A CN 115424346 A CN115424346 A CN 115424346A CN 202211067957 A CN202211067957 A CN 202211067957A CN 115424346 A CN115424346 A CN 115424346A
Authority
CN
China
Prior art keywords
sitting posture
posture detection
key point
data
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211067957.9A
Other languages
English (en)
Inventor
孟娟
刘白皓
李辉武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Zero Boundary Integrated Circuit Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Zero Boundary Integrated Circuit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Zero Boundary Integrated Circuit Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202211067957.9A priority Critical patent/CN115424346A/zh
Publication of CN115424346A publication Critical patent/CN115424346A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人体坐姿检测方法、装置、计算机设备及系统，该方法包括获取目标图片数据；将所述目标图片数据输入预先训练的坐姿检测神经网络模型，得到输出数据，所述输出数据包括姿态对象和关键点对象；将所述姿态对象和所述关键点对象进行数据融合，得到人体坐姿检测结果。本发明提供的人体坐姿检测方法能够利用坐姿检测神经网络模型对普通的图片数据进行分析，得到人体坐姿检测结果，降低人体坐姿检测的成本同时提高检测结果的可靠性和准确性。

Description

一种人体坐姿检测方法、装置、计算机设备及系统
技术领域
本申请涉及技术领域，特别涉及一种人体坐姿检测方法、装置、计算机设备及系统。
背景技术
在人们的工作和学习中，长时间的不良坐姿会引起颈椎病、近视等各种疾病。为了督促人们坚持正确的坐姿，可以使用不良坐姿检测的方法对用户进行监测和提示。
目前的坐姿检测技术包括穿戴式传感器检测和深度实感相机检测。其中穿戴式传感器检测基于压力传感器等硬件设备识别人体骨骼点，从而判断用户处于何种姿态。但随着使用时间的增加，设备容易出现磨损等问题导致精度变差，另一方面穿戴式设备的灵活性也较差，用户使用不便。深度实感相机可以对人体骨骼点进行识别，然而此类设备价格昂贵，不适于广泛使用。
发明内容
为解决现有坐姿检测方法价格高昂应用受限的问题，本申请提供一种人体坐姿检测方法、装置、计算机设备及系统，能够基于普通摄像设备准确可靠的实现人体坐姿的检测。
一方面，提供了一种人体坐姿检测方法，包括：
获取目标图片数据；
将所述目标图片数据输入预先训练的坐姿检测神经网络模型，得到输出数据，所述输出数据包括姿态对象和关键点对象；
将所述姿态对象和所述关键点对象进行数据融合，得到人体坐姿检测结果。。
另一方面，提供了一种人体坐姿检测装置，所述装置包括：
图片获取模块，用于获取目标图片数据；
检测计算模块，用于将所述目标图片数据输入预先训练的坐姿检测神经网络模型，得到输出数据，所述输出数据包括姿态对象和关键点对象；
数据融合模块，用于将所述姿态对象和所述关键点对象进行数据融合，得到人体坐姿检测结果。
另一方面，提供了一种计算机设备，计算机设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，处理器可加载并执行至少一条指令、至少一段程序、代码集或指令集，以实现上述申请实施例中提供的人体坐姿检测方法。
另一方面，提供一种人体坐姿检测系统，包括摄像设备和如权利要求9所述的计算机设备。
另一方面，提供了一种计算机可读存储介质，可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，处理器可加载并执行至少一条指令、至少一段程序、代码集或指令集，以实现上述本申请实施例中提供的人体坐姿检测方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产权或计算机程序包括计算机程序指令，该计算机程序指令存储于计算机可读存储介质中。处理器从计算机可读存储介质读取该计算机指令，并执行还计算机指令，使得该计算机设备执行上述实施例中任一所述的人体坐姿检测方法。
本申请提供的技术方案带来的有益效果至少包括：本发明实施例提供了一种人体坐姿检测方法、装置、计算机设备及系统，所述方法包括获取目标图片数据；将所述目标图片数据输入预先训练的坐姿检测神经网络模型，得到输出数据，所述输出数据包括姿态对象和关键点对象；将所述姿态对象和所述关键点对象进行数据融合，得到人体坐姿检测结果。本发明实施例提供的人体坐姿检测方法能够利用坐姿检测神经网络模型对普通的图片数据进行分析，得到人体坐姿检测结果，降低人体坐姿检测的成本同时提高检测结果的可靠性和准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例提供的一种人体坐姿检测方法的实现流程示意图；
图2示出了本申请一个示例性实施例提供的一种人体坐姿检测方法的检测结果；
图3示出了本申请一个示例性实施例提供的一种人体坐姿检测方法中神经网络结构示意图；
图4示出了本申请一个示例性实施例提供的一种人体坐姿检测方法的又一实现流程；
图5示出了本申请一个示例性实施例提供的人体坐姿检测装置的结构图；
图6示出了本申请一个示例性实施例提供的一种人体坐姿检测方法对应的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将接合附图对本申请实施方式作进一步地详细描述。
本申请提供的人体坐姿检测方法，可以基于普通的摄像摄影装置获取图像并得到人体坐姿检测结果，降低检测成本提高检测可靠性。
实施例一、
图1示出了本发明实施例提供的人体坐姿检测方法的实现流程示意图。
参见图1，本申请提供的人体坐姿检测方法可以包括步骤101至步骤103。
步骤101：获取目标图片数据。
本发明实施例提供的人体坐姿检测方法可以直接使用普通摄像摄影设备采集到的图片数据。
步骤102：将所述目标图片数据输入预先训练的坐姿检测神经网络模型，得到输出数据，所述输出数据包括姿态对象和关键点对象。
在一些实施例中，所述预先训练的坐姿检测神经网络模型为改进的YOLOv3神经网络模型，所述坐姿检测网络模型的预测层用于进行关键点预测。
在一个具体的示例中，坐姿检测网络模型的最后一层预测层用于进行关键点检测。
在一些实施例中，所述将所述目标图片数据输入预先训练的坐姿检测神经网络模型，得到输出数据包括框的预测过程。
具体的，通过特征提取网络提取不同尺度的目标特征图，在训练前利用训练数据集进行K-means聚类获得8个锚框(Anchors box)，每个尺度下对应4个Anchors box，将特征图划分成大小相同的网格(gridcell)，不同尺度的特征图网格大小均不同，每个网格都会有4个Anchor box进行预测，通过计算锚框与每个网格的IOU(交并比)值，找出满足IOU阈值的Anchor box，给出相应的偏移值(offset)，即tx、ty、tw、th，其中tx、ty为预测的中心点坐标的偏移值，tw、th为尺度缩放。
预测人体边界框的计算式包括：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0003828721440000051
Figure BDA0003828721440000052
其中，b＝(bx,by,bw,bh)表示预测边界框的中心点坐标及宽和高，pw，ph表示Anchorbox的宽和高，σ(tx),σ(ty)为sigmoid函数，(cx,cy)表示中心点所在gridcell的左上角的坐标。
所述将所述目标图片数据输入预先训练的坐姿检测神经网络模型，得到输出数据包括：
基于关键点预测式计算关键点坐标；
所述关键点预测式包括：
Figure BDA0003828721440000053
Figure BDA0003828721440000054
其中
Figure BDA0003828721440000055
为关键点坐标，g∈{g1,g2}为网格单元大小，σ为sigmoid函数，sxp和syp为中心点坐标，pw和ph表示Anchor box的宽和高。
最终，每个网格的输出值为yg＝[q0,tx,ty,tw,th,c1,c2,...,c8,vx1,vy1,...,vx7,vy7]，其中q0为每个gridcell中存在物体的概率，c1判断是否为人，即用于姿态对象，其余用来确定是哪类关键点，可表示为c＝(c1,c2,...,c8)。
当预测结果为姿态对象时，c1的值为1，输出的所有值都需要计算损失。
当预测结果为关键点对象时，由于关键点对象包含在一个框中，该框的中心即为关键点对象的位置，则后面姿态对象的关键点坐标值不需要计算损失。
当没有物体时，c1为0，后面所有值都不需要计算。
步骤103：将所述姿态对象和所述关键点对象进行数据融合，得到人体坐姿检测结果。
坐姿检测神经网络模型输出的结果存在冗余，会检测出多个框和关键点。为了消除冗余数据，在一些实施例中，步骤103包括：
采用非极大值抑制(NMS)分别对姿态对象和关键点对象进行处理：
Figure BDA0003828721440000061
Figure BDA0003828721440000062
其中，τbp,τbk为姿态对象和关键点对象的阈值。
通过非极大值抑制处理之后，姿态对象中的边界框为最终预测的人体框。
进一步的，对于关键点的值需要将姿态对象和关键点对象进行融合，才可以得到最终的结果。
在一些实施例中，步骤103包括：
遍历所述姿态对象得到对象置信度和第一坐标数据；
遍历所述关键点对象得到关键点置信度和第二坐标数据；
当所述对象置信度和所述关键点置信度满足预设置信度条件时，计算所述第一坐标数据和第二坐标数据中各对应点的欧氏距离；
当所述欧氏距离小于距离阈值时，将所述第二坐标数据作为关键点值。
在一个具体的示例中，姿态对象和关键点对象融合得到关键点值的过程包括：
首先遍历候选姿态对象，获取其置信度
Figure BDA0003828721440000063
并遍历姿态对象中的各个类型的关键点，得到每一类关键点坐标值。
定义融合阈值为τfc，当
Figure BDA0003828721440000064
时，且候选关键点对象不为空时，开始融合。
遍历候选关键点对象，获取每一类型关键点坐标及其置信度Ck。
计算以上对应类型的关键点坐标的欧氏距离d，得到最小的距离为dmin；
当dmin<τfd且
Figure BDA0003828721440000065
时，则将姿态对象中的对应关键点坐标替换成关键点对象中的关键点坐标。
在一些实施例中，所述人体坐姿检测结果包括人体框坐标、关键点坐标、关键点坐标连线中的至少一种。
在一些实施例中，本发明实施例提供的人体坐姿检测方法还包括：
基于所述人体坐姿检测结果确定检测目标的坐姿等级，若检测目标的坐姿等级过低，则证明检测目标的坐姿不当不当，相应发出告警提示。
图2示出了本发明实施例提供的人体坐姿检测方法中检测结果的示意图。
参见图2，本发明实施例提供的人体坐姿检测方法得到的结果为人体框坐标和关键点坐标，其中人体框坐标的具体形式为边界框的中心点坐标、框的宽度和高度；关键点坐标为左眼、右眼、左耳、右耳、鼻子、左肩膀和右肩膀七个点的坐标。进一步的，还可以包括关键点之间的连线，例如左右肩膀之间的连线，左眼与左耳的连线，右眼与右耳的连线，以及左右眼分别与鼻子的连线。通过以上框坐标、关键点坐标以及连线数据，可以得到目标人员当前的坐姿情况，以对人员进行提示，避免不良坐姿造成损害。
本发明实施例提供的人体坐姿检测算法在YOLOv3算法的基础上增加关键点检测功能，可以充分利用YOLOv3算法在目标检测领域的检测精度和速度。本发明实施例提供的方法在输出人体框的同时输出关键点坐标，基于检测到的关键点坐标与标准坐姿中的关键点的欧式距离及角度关系，即可确定不同场景中的坐姿检测结果。
实施例二、
图3示出了本发明实施例提供的人体坐姿检测方法中坐姿检测神经网络模型的结构示意图。
参见图3，本申请提供的方法中坐姿检测神经网络包括DBL(Darknet conv2D_BN_Leaky)模块，其中Darknet Conv2D为卷积网络，BN表示批标准化(Batch Normal)、LeakyReLU为激活函数；上采样模块、融合模块(concatenate)以及卷积模块(Conv)
本发明实施例提供的人体坐姿方法能够在YOLOv3算法的基础上增加七个关键点检测功能，增加关键点预测函数即关键点损失函数，使得其检测精度与框的检测精度一样高。
本发明实施例提供的人体坐姿检测方法还包括：
获取第一数量的训练样本和第二数量的测试样本。
基于所述训练样本和所述测试样本训练所述坐姿检测神经网络模型。
在一些实施例中，训练模型时的输入值即为训练数据集的标签，标签包括姿态对象和关键点对象，两者的维度保持一致。
姿态对象：
Figure BDA0003828721440000081
关键点对象
Figure BDA0003828721440000082
其中f0为0，代表检测类型为人体框，(bx,by)为人体框中心点坐标，(bw,bh)为人体框的宽和高，(k1x,k1y,...,k7x,k7y)为所有关键点的坐标，p0为检测到的关键点类型，即不同部位关键点对应不同的类型值。
关键点的标签值通常定义为关键点的xy坐标值，但是由于关键点的弱局部特征性，其检测精度较低。
可选的，将关键点标签值定义为关键点框，即以关键点坐标为中心点坐标(sxp,syp)构建一个小边界框，该边界框的宽高为(swp,shp)，小边界框定义太大或者太小会影响最终的精度。
可选的，小边界框的大小定义为输入图片宽高的5％。
检测结果为姿态对象和关键点对象进行融合
Figure BDA0003828721440000083
在一些实施例中，训练所述坐姿检测神经网络模型包括：
构建多任务损失函数，基于所述多任务损失函数计算式、所述训练样本以及所述测试样本训练所述坐姿检测神经网络模型。
由于模型预测值和标签的真实值存在差距的，因此需要通过计算损失函数进行梯度回传，以误差最小为目标对模型进行训练。
所述多任务损失函数计算式包括：
L＝Nb(λobjLobj+λboxLbox+λclsLcls+λkpsLkps)
其中，L为损失值，Nb为训练样本数量，Lobj为存在概率损失值，Lbox为边界框损失值，Lcls为类别分数损失值，Lkps为关键点对象损失值，λobj、λbox、λcls、λkps为权重值。
具体的，
Figure BDA0003828721440000091
其中，
Figure BDA0003828721440000092
为物体存在概率，
Figure BDA0003828721440000093
为边界框，
Figure BDA0003828721440000094
为类别分数，
Figure BDA0003828721440000095
为关键点对象坐标，ωg为gridcell的权值，n表示个数，BCE为二元交叉熵，IOU使用CIOU，||*||2为欧氏距离，Gg为每个尺寸的特征图所有网格的输出结果。
本发明实施例提供的方法能够将现有的YOLOv3模型进行轻量化改进，在网络预测层增加关键点预测函数，改进人体框的损失函数，同时设计恰当的关键点损失函数对模型进行进行训练。
具体的，训练后的坐姿检测神经网络模型在输入图片后的输出值为：
y＝[bx,by,bw,bh,conf,c1,c2,...,c8,vx1,vy1,...,vx7,vy7]；
其中，conf为置信度值。
本发明实施例提供的人体坐姿检测方法使用轻量化改进后的YOLOv3模型。改进前的YOLOv3网络结构模型有160多层，约200M，占用空间及数据量大，不利于进行嵌入式设置。而轻量化改进后的YOLOv3模型主要针对人体检测及关键点检测，可以设置为50层，将其大小压缩至10M，从而便于嵌入网络处理器硬件中应用。
本发明实施例提供的模型训练方法根据关键点的弱局部性进行重新建模，采用关键点框的方式对关键点进行预测，不同于其他算法中直接采用关键点坐标的建模方式，可以提高关键点的检测精度。
基于本发明实施例提供的模型训练方法得到模型便于进行模型部署，检测精度高、速度快，可以充分满足实时要求。
实施例三、
图4示出了本发明实施例提供的人体坐姿检测方法的又一实现流程示意图。
参见图4，在一个具体的示例中，本发明提供的人体坐姿检测方法包括数据处理与模型训练部分和模型部署部分。
数据预处理与模型训练部分具体包括输入数据、数据预处理、模型训练及测试、输出最优模型的步骤。具体的，输入数据为数据集形式；数据预处理包括将数据集信息转换为标签，使用轻量化模型并补充规范数据。模型训练过程包括基于样本数据得到训练数据，利用训练数据得到模型，再使用测试数据对模型进行测试。重复进行上述训练及测试过程进行评估优化，输出训练得到的最优模型。
模型部署部分具体包括神经网络编译、嵌入式平台运行，最终得到检测结果。
以一个具体示例对本发明提供的方法的实现过程和有益效果进行进一步说明。
综上所述，本发明实施例提供的人体坐姿检测方法利用关键点实现检测功能，通过关键点预测函数和关键点损失函数的改进，避免关键点的弱局部性导致检测精度低的问题，提高关键点击人体框的检测精度。本方法在降低软硬件成本的基础上，利用深度学习的方法可有效提高关键点及人体框的检测精度，同时可以结合现有嵌入式平台的特性，实现模型的部署和应用。
实施例四、
图5示出了本发明实施例提供的人体坐姿检测装置示意图。
参见图5，本发明实施例提供的人体坐姿检测装置包括：
图片获取模块201，用于获取目标图片数据；
检测计算模块202，用于将所述目标图片数据输入预先训练的坐姿检测神经网络模型，得到输出数据，所述输出数据包括姿态对象和关键点对象；
数据融合模块203，用于将所述姿态对象和所述关键点对象进行数据融合，得到人体坐姿检测结果。
在一些实施例中，所述人体坐姿检测结果包括人体框坐标、关键点坐标、关键点坐标连线中的至少一种。
在一些实施例中，所述预先训练的坐姿检测神经网络模型为改进的YOLOv3神经网络模型，所述坐姿检测网络模型的预测层用于进行关键点预测；
在一些实施例中，检测计算模块202具体用于：
基于关键点预测式计算关键点坐标；
所述关键点预测式包括：
Figure BDA0003828721440000111
Figure BDA0003828721440000112
其中
Figure BDA0003828721440000113
为关键点坐标，g∈{g1,g2}为网格单元大小，σ为sigmoid函数，sxp和syp为中心点坐标，pw和ph为为锚框的宽和高。
在一些实施例中，本发明实施例提供的人体坐姿检测装置还包括：
训练模块，用于获取第一数量的训练样本和第二数量的测试样本；
基于所述训练样本和所述测试样本训练所述坐姿检测神经网络模型。
在一些实施例中，所述基于所述训练样本和所述测试样本训练所述坐姿检测神经网络模型，包括：
构建多任务损失函数，基于所述多任务损失函数计算式、所述训练样本以及所述测试样本训练所述坐姿检测神经网络模型；
所述多任务损失函数计算式包括：
L＝Nb(λobjLobj+λboxLbox+λclsLcls+λkpsLkps)
其中，L为损失值，Nb为训练样本数量，Lobj为存在概率损失值，Lbox为边界框损失值，Lcls为类别分数损失值，Lkps为关键点对象损失值，λobj、λbox、λcls、λkps为权重值。
在一些实施例中，数据融合模块203具体用于：
遍历所述姿态对象得到对象置信度和第一坐标数据；
遍历所述关键点对象得到关键点置信度和第二坐标数据；
当所述对象置信度和所述关键点置信度满足预设置信度条件时，计算所述第一坐标数据和第二坐标数据中各对应点的欧氏距离；
当所述欧氏距离小于距离阈值时，将所述第二坐标数据作为关键点值。
综上所述，本发明实施例提供的人体坐姿检测装置能够利用坐姿检测神经网络模型对普通的图片数据进行分析，得到人体坐姿检测结果，降低人体坐姿检测的成本同时提高检测结果的可靠性和准确性。
实施例五、
图6示出了本申请一个示例性实施例提供的计算机设备的结构示意图，该计算机设备包括：
处理器301，包括一个或者一个以上处理核心，处理器301通过运行软件程序以及模块，从而执行各种功能应用以及数据处理。
接收器302和发射器303可以实现为一个通信组件，该通信组件可以是一块通信芯片。可选地，该通信组件可以实现包括信号传输功能。也即，发射器303可以用于发射控制信号至图像采集设备以及扫描设备中，接收器302可以用于接收对应的反馈指令。
存储器304通过总线305与处理器301相连。
存储器304可用于存储至少一个指令，处理器301用于执行该至少一个指令，以实现上述人体坐姿检测方法实施例中的步骤101至步骤103。
实施例六、
本申请实施例提供一种人体坐姿检测系统，包括摄像设备和上所述的计算机设备。
可选的，摄像设备包括但不限于手机、平板电脑等移动终端的设备设备，或独立的人体坐姿检测系统中的摄像设备。
实施例七、
本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，以由处理器加载并执行以实现上述人体坐姿检测方法。
实施例八、
本申请还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行给计算机指令，使得该计算机设备执行上述实施例中任一所述的人体坐姿检测方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、固态硬盘(SSD,Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM,Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种人体坐姿检测方法，其特征在于，包括：
获取目标图片数据；
将所述目标图片数据输入预先训练的坐姿检测神经网络模型，得到输出数据，所述输出数据包括姿态对象和关键点对象；
将所述姿态对象和所述关键点对象进行数据融合，得到人体坐姿检测结果。
2.根据权利要求1所述的方法，其特征在于，所述人体坐姿检测结果包括人体框坐标、关键点坐标、关键点坐标连线中的至少一种。
3.根据权利要求2所述的方法，其特征在于，所述预先训练的坐姿检测神经网络模型为改进的YOLOv3神经网络模型，所述坐姿检测网络模型的预测层用于进行关键点预测；
所述将所述目标图片数据输入预先训练的坐姿检测神经网络模型，得到输出数据包括：
基于关键点预测式计算关键点坐标；
所述关键点预测式包括：
Figure FDA0003828721430000011
Figure FDA0003828721430000012
其中
Figure FDA0003828721430000013
为关键点坐标，g∈{g1,g2}为网格单元大小，σ为sigmoid函数，sxp和syp为中心点坐标，pw和ph为锚框的宽和高。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第一数量的训练样本和第二数量的测试样本；
基于所述训练样本和所述测试样本训练所述坐姿检测神经网络模型。
5.根据权利要求4所述的方法，其特征在于，所述基于所述训练样本和所述测试样本训练所述坐姿检测神经网络模型，包括：
构建多任务损失函数，基于所述多任务损失函数计算式、所述训练样本以及所述测试样本训练所述坐姿检测神经网络模型；
所述多任务损失函数计算式包括：
L＝Nb(λobjLobj+λboxLbox+λclsLcls+λkpsLkps)
其中，L为损失值，Nb为训练样本数量，Lobj为存在概率损失值，Lbox为边界框损失值，Lcls为类别分数损失值，Lkps为关键点对象损失值，λobj、λbox、λcls、λkps为权重值。
6.根据权利要求1所述的方法，其特征在于，所述将所述姿态对象和所述关键点对象进行数据融合，得到人体坐姿检测结果，包括：
遍历所述姿态对象得到对象置信度和第一坐标数据；
遍历所述关键点对象得到关键点置信度和第二坐标数据；
当所述对象置信度和所述关键点置信度满足预设置信度条件时，计算所述第一坐标数据和第二坐标数据中各对应点的欧氏距离；
当所述欧氏距离小于距离阈值时，将所述第二坐标数据作为关键点值。
7.一种人体坐姿检测装置，其特征在于，所述装置包括：
图片获取模块，用于获取目标图片数据；
检测计算模块，用于将所述目标图片数据输入预先训练的坐姿检测神经网络模型，得到输出数据，所述输出数据包括姿态对象和关键点对象；
数据融合模块，用于将所述姿态对象和所述关键点对象进行数据融合，得到人体坐姿检测结果。
8.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如权利要求1至6任一项所述的人体坐姿检测方法。
9.一种人体坐姿检测系统，其特征在于，包括摄像设备和如权利要求8所述的计算机设备。
10.一种计算机可读存储介质，其特征在于，所述可读存储器介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1至6任一项所述的人体坐姿检测方法。
CN202211067957.9A 2022-09-01 2022-09-01 一种人体坐姿检测方法、装置、计算机设备及系统 Pending CN115424346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211067957.9A CN115424346A (zh) 2022-09-01 2022-09-01 一种人体坐姿检测方法、装置、计算机设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211067957.9A CN115424346A (zh) 2022-09-01 2022-09-01 一种人体坐姿检测方法、装置、计算机设备及系统

Publications (1)

Publication Number Publication Date
CN115424346A true CN115424346A (zh) 2022-12-02

Family

ID=84202563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211067957.9A Pending CN115424346A (zh) 2022-09-01 2022-09-01 一种人体坐姿检测方法、装置、计算机设备及系统

Country Status (1)

Country Link
CN (1) CN115424346A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645721A (zh) * 2023-04-26 2023-08-25 贵州大学 基于深度学习的坐姿识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645721A (zh) * 2023-04-26 2023-08-25 贵州大学 基于深度学习的坐姿识别方法及系统
CN116645721B (zh) * 2023-04-26 2024-03-15 贵州大学 基于深度学习的坐姿识别方法及系统

Similar Documents

Publication Publication Date Title
CN111476306A (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
CN112164002B (zh) 人脸矫正模型的训练方法、装置、电子设备及存储介质
CN111310770B (zh) 目标检测方法和装置
CN110728319B (zh) 一种图像生成方法、装置以及计算机存储介质
CN114402369A (zh) 人体姿态的识别方法、装置、存储介质及电子设备
CN112926462B (zh) 训练方法、装置、动作识别方法、装置及电子设备
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN111797854A (zh) 场景模型建立方法、装置、存储介质及电子设备
CN115131849A (zh) 图像生成方法以及相关设备
CN113516113A (zh) 一种图像内容识别方法、装置、设备及存储介质
CN114170688B (zh) 人物交互关系识别方法、装置、电子设备
CN113569607A (zh) 动作识别方法、装置、设备以及存储介质
CN115424346A (zh) 一种人体坐姿检测方法、装置、计算机设备及系统
CN111444802A (zh) 一种人脸识别方法、装置及智能终端
CN111126358A (zh) 人脸检测方法、装置、存储介质及设备
CN114677350A (zh) 连接点提取方法、装置、计算机设备及存储介质
CN112037305B (zh) 对图像中的树状组织进行重建的方法、设备及存储介质
CN113837257A (zh) 一种目标检测方法及装置
CN113516665A (zh) 图像分割模型的训练方法、图像分割方法、装置、设备
US20230177800A1 (en) Handheld Object Recognition Method and Apparatus
CN111797986A (zh) 数据处理方法、装置、存储介质及电子设备
CN115937991A (zh) 人体摔倒识别方法、装置、计算机设备及存储介质
CN113902995B (zh) 一种多模态人体行为识别方法及相关设备
KR102299902B1 (ko) 증강현실을 제공하기 위한 장치 및 이를 위한 방법
CN114511877A (zh) 一种行为识别方法、装置、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination