CN113361342B - 一种基于多模态的人体坐姿检测方法及装置 - Google Patents

一种基于多模态的人体坐姿检测方法及装置 Download PDF

Info

Publication number
CN113361342B
CN113361342B CN202110552573.5A CN202110552573A CN113361342B CN 113361342 B CN113361342 B CN 113361342B CN 202110552573 A CN202110552573 A CN 202110552573A CN 113361342 B CN113361342 B CN 113361342B
Authority
CN
China
Prior art keywords
sitting posture
human body
human
depth
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110552573.5A
Other languages
English (en)
Other versions
CN113361342A (zh
Inventor
胡东明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Haoxuetong Technology Co ltd
Original Assignee
Hangzhou Haoxuetong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Haoxuetong Technology Co ltd filed Critical Hangzhou Haoxuetong Technology Co ltd
Priority to CN202110552573.5A priority Critical patent/CN113361342B/zh
Publication of CN113361342A publication Critical patent/CN113361342A/zh
Application granted granted Critical
Publication of CN113361342B publication Critical patent/CN113361342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/20—Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress
    • G01L1/22—Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress using resistance strain gauges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提出一种基于多模态的人体坐姿检测方法及装置，包括以下步骤：在设定时间间隔内获取人体坐姿的上半身的RGB图像和深度图像，获取人体坐姿的下半身的压力热力图；计算获得人体坐姿的上半身端正的类别阈值thrgb、人体坐姿的上半身的端正度概率thdepth和人体坐姿的下半身的端正度概率thhot，再计算坐姿判断值Th，最后根据坐姿判断值Th判定当前人体坐姿是否端正。本发明基于图像信息，TOF深度信息以及压力传感器信息等多种模态相结合的方法和装置，来分析学生坐姿，较大程度提高了坐姿算法的准确度，帮助学生矫正坐姿，帮助学生远离近视、脊柱发育不良等的身体健康问题。

Description

一种基于多模态的人体坐姿检测方法及装置
技术领域
本发明涉及人体坐姿检测技术领域，尤其是一种基于多模态的人体坐姿检测方法及装置。
背景技术
中小学生在成长发育期间，如果坐姿不对将带来很多身体问题，其中严重的包括：近视、脊柱侧弯、颈椎问题等。
目前，市面上矫正学生坐姿的设备大部分是基于人体工学结构来对学生坐姿起到弱约束，对于学生的坐姿矫正效果不高，小部分强约束的设备则大致分为三类：穿戴式、座椅式以及台灯式。
第一类：穿戴式，通过固定结构设计穿戴在学生身上，起到强行约束学生坐姿的作用，缺陷是极大的限制了学生的活动，并且一定程度上妨碍视线，影响学习效果；
第二类：座椅式，通过在椅子坐垫及靠背上安装元器件如压敏电阻等，在弥补了第一类的不人性化和呆板僵硬后，导致的缺陷是电子元器件受到环境、个体差异等一系列因素的影响导致数据不准确，纠正学生坐姿效果不理想；
最后一类：台灯式，通过在台灯上添加摄像头，依据图像来判断学生坐姿，能够在桌面上自由摆放，给予了用户更加人性化的体验，缺点是摄像头拍摄的视野小，能够判断的不良坐姿类别少，例如：“撑手、肩高”等，基本无法识别，少部分识别不精确，无法准确分析学生的坐姿状态。
发明内容
本发明解决了现有技术无法准确分析学生的坐姿状态的问题，提出一种基于多模态的人体坐姿检测方法及装置，基于图像信息，TOF深度信息以及压力传感器信息等多种模态相结合的方法和装置，来分析学生坐姿，较大程度提高了坐姿算法的准确度，帮助学生矫正坐姿，帮助学生远离近视、脊柱发育不良等的身体健康问题。
为实现上述目的，提出以下技术方案：
一种基于多模态的人体坐姿检测方法，包括以下步骤：
S1，在设定时间间隔内获取人体坐姿的上半身的RGB图像和深度图像，获取人体坐姿的下半身的压力热力图；
S2，根据RGB图像坐姿识别算法处理RGB图像，获得人体坐姿的上半身端正的类别阈值thrgb；
S3，根据深度图像坐姿判断算法处理深度图像，获得人体坐姿的上半身的端正度概率thdepth；
S4，根据压力图坐姿判断算法处理压力热力图，获得人体坐姿的下半身的端正度概率thhot；
S5，根据人体坐姿的上半身端正的类别阈值thrgb、人体坐姿的上半身的端正度概率thdepth和人体坐姿的下半身的端正度概率thhot计算坐姿判断值Th，具体计算公式如下：
Th＝α*thrgb+β*thdepth+χ*thhot；
其中，α、β和x为调节参数；
S6、判断坐姿判断值Th是否大于设定的坐姿端正阈值，若是，则判定当前人体坐姿端正，返回S1，若否，则判定当前人体坐姿不端正并发出调整坐姿提示。
本发明整合了RGB图像信息处理、深度图像信息处理和压力传感器信息处理，全面获取人体坐姿的肢体信息，通过多种模态相结合的方式，综合分析学生坐姿，较大程度提高了坐姿算法的准确度，帮助学生矫正坐姿，帮助学生远离近视、脊柱发育不良等的身体健康问题。
作为优选，所述S2具体包括以下步骤：
S201，将RGB图像输入到人体检测算法，提取图片中检测到的人体部分的RGB特征；
S202，将人体部分的特征输入到坐姿识别算法中，得到端正的类别阈值thrgb；
作为优选，所述人体检测算法和坐姿识别算法采用深度学习开源框架darknet训练得到；所述人体检测算法采用yolov3算法或faster RCNN算法或SSD算法等替代；所述坐姿识别算法采用darknet19或darknet53或VGG16或Resnet18或Resnet34或Resnet50分类算法。
作为优选，所述S3具体包括以下步骤：
S301，利用深度图像根据人形检测算法检测到的人形位置信息，提取人体部分的深度特征；
S302，计算人体部分的深度特征的均值和方差，具体计算公式如下：
Figure GDA0003759241860000031
Figure GDA0003759241860000032
其中：E(X)表示深度特征的均值,D(X)表示深度特征的方差，i、j表示坐标值，xij表示深度图像在坐标(i，j)处的像素值，w、h表示人体的宽和高；
S303，根据均值和方差计算人体坐姿的上半身的端正度概率thdepth，具体计算公式，如下：
Figure GDA0003759241860000033
其中：μ、σ为调整参数。
通过深度算法，将人形检测算法检测到的人形框内的人形深度信息进行灰度处理，将人形深度信息按照灰度标注展示，同时将人形框内的背景环境全部加黑屏蔽，通过人形检测和深度算法将环境的影响降到最低，然后将处理后的灰度图输入坐姿识别算法，识别人体坐姿。
作为优选，所述S4具体包括以下步骤：
S401，从压力传感器获取到压力热力图；
S402，找到压力热力图的中心点及最小外接矩形框，计算压力热力图的左右部分特征的均值，
左部分特征均值El：
Figure GDA0003759241860000041
右部分特征均值Er：
Figure GDA0003759241860000042
其中：i、j表示坐标值，Xij表示压力热力图在坐标(i，j)处的压力值，W、H表示最小外接矩形框的宽和高；
S403，计算左右两边的差值的绝对值Dis＝|El-Er|，然后计算人体坐姿的下半身的端正度概率thhot：
thhot＝(EL+ER-Dis)/(EL+ER)。
一种基于多模态的人体坐姿检测装置，适用于上述的一种基于多模态的人体坐姿检测方法，包括主控芯片，所述主控芯片通过视频输入处理模块连接有摄像头，所述主控芯片通过TOF模块连接有TOF传感器，所述主控芯片通过压力传感处理模块连接有压力传感器。
所述视频输入处理模块将摄像头获取的RGB图像转化为数字信号信息发送到主控芯片，所述TOF模块将TOF传感器获取的深度图像转化为数字信号信息发送到主控芯片，所述压力传感处理模块将压力传感器获取的压力信号值转化为压力热力图，并将压力热力图以数字信号形式传输到主控芯片，所述主控芯片根据接收的各项数据进行运算得出检测结果。
通过在学习桌正面安装摄像头和TOF传感器，捕捉学生一段时间内的上半身坐姿信息，并将数据传入硬件处理分析模块包括视频输入处理模块和TOF模块；以及在学习椅上部署压力传感器，通过配套的通讯模块将学习椅一段时间内产生的数据传入压力传感处理模块。主控芯片通过相应的硬件模块包括扬声器、指示灯、按键、wifi通讯模块等，播报相应的坐姿状态，提醒学生保持端正坐姿，最终形成一套多模态的学生坐姿分析装置。
作为优选，所述主控芯片通过音频处理模块连接有喇叭。所述主控芯片将提示音信息发送到音频处理模块，音频处理模块将提示音信息转化为控制信号，通过控制信号控制喇叭播报提示音。
作为优选，所述压力传感器包括上下2个基板，所述基板上设有压力传感应变片，压力传感应变片上设有若干凸条，所述凸条通过导线连接到压力传感处理模块，其中位于上方的凸条为横向的，位于下方的凸条为纵向的，上方的凸条和下方的凸条纵横交错，每一个纵横交错的地方作为一个感测点，所有感测点形成感测区域。
本发明的有益效果是：整合了RGB图像信息处理、深度图像信息处理和压力传感器信息处理，全面获取人体坐姿的肢体信息，通过多种模态相结合的方式，综合分析学生坐姿，较大程度提高了坐姿算法的准确度，帮助学生矫正坐姿，帮助学生远离近视、脊柱发育不良等的身体健康问题。
附图说明
图1是实施例的装置总体结构示意图；
图2是实施例的压力传感器的结构示意图；
图3是实施例的端正坐姿检测图；
图4是实施例的上半身非端正下半身端正检测图；
图5是实施例的上半身端正下半身非端正检测图；
其中：1、主控芯片 2、摄像头 3、TOF传感器 4、压力传感器 5、视频输入处理模块6、TOF模块 7、压力传感处理模块 8、喇叭 9、音频处理模块 41、基板 42、压力传感应变片43、导线 44、凸条。
具体实施方式
实施例：
本实施例提出一种基于多模态的人体坐姿检测方法，包括以下步骤：
S1，在设定时间间隔内获取人体坐姿的上半身的RGB图像和深度图像，获取人体坐姿的下半身的压力热力图；
S2，根据RGB图像坐姿识别算法处理RGB图像，获得人体坐姿的上半身端正的类别阈值thrgb；S2具体包括以下步骤：
S201，将RGB图像输入到人体检测算法，提取图片中检测到的人体部分的RGB特征；
S202，将人体部分的特征输入到坐姿识别算法中，得到端正的类别阈值thrgb；
人体检测算法和坐姿识别算法采用深度学习开源框架darknet训练得到；人体检测算法采用yolov3算法或faster RCNN算法或SSD算法等替代；坐姿识别算法采用darknet19或darknet53或VGG16或Resnet18或Resnet34或Resnet50分类算法。
S3，根据深度图像坐姿判断算法处理深度图像，获得人体坐姿的上半身的端正度概率thdepth；S3具体包括以下步骤：
S301，利用深度图像根据人形检测算法检测到的人形位置信息，提取人体部分的深度特征；
S302，计算人体部分的深度特征的均值和方差，具体计算公式如下：
Figure GDA0003759241860000061
Figure GDA0003759241860000062
其中：E(X)表示深度特征的均值,D(X)表示深度特征的方差，i、j表示坐标值，xij表示深度图像在坐标(i，j)处的像素值，w、h表示人体的宽和高；
S303，根据均值和方差计算人体坐姿的上半身的端正度概率thdepth，具体计算公式，如下：
Figure GDA0003759241860000071
其中：μ、σ为调整参数，μ＝45，σ＝2。
通过深度算法，将人形检测算法检测到的人形框内的人形深度信息进行灰度处理，将人形深度信息按照灰度标注展示，同时将人形框内的背景环境全部加黑屏蔽，通过人形检测和深度算法将环境的影响降到最低，然后将处理后的灰度图输入坐姿识别算法，识别人体坐姿。
S4，根据压力图坐姿判断算法处理压力热力图，获得人体坐姿的下半身的端正度概率thhot；S4具体包括以下步骤：
S401，从压力传感器获取到压力热力图；
S402，找到压力热力图的中心点及最小外接矩形框，计算压力热力图的左右部分特征的均值，
左部分特征均值El：
Figure GDA0003759241860000072
右部分特征均值Er：
Figure GDA0003759241860000073
其中：i、j表示坐标值，Xij表示压力热力图在坐标(i，j)处的压力值，W、H表示最小外接矩形框的宽和高；
S403，计算左右两边的差值的绝对值Dis＝|El-Er|，然后计算人体坐姿的下半身的端正度概率thhot：
thhot＝(EL+ER-Dis)/(EL+ER)。
S5，根据人体坐姿的上半身端正的类别阈值thrgb、人体坐姿的上半身的端正度概率thdepth和人体坐姿的下半身的端正度概率thhot计算坐姿判断值Th，具体计算公式如下：
Th＝α*thrgb+β*thdepth+χ*thhot；
其中，α、β和x为调节参数，α＝0.3，β＝0.3，χ＝0.4。
S6、判断坐姿判断值Th是否大于设定的坐姿端正阈值，若是，则判定当前人体坐姿端正，返回S1，若否，则判定当前人体坐姿不端正并发出调整坐姿提示。
本发明整合了RGB图像信息处理、深度图像信息处理和压力传感器信息处理，全面获取人体坐姿的肢体信息，通过多种模态相结合的方式，综合分析学生坐姿，较大程度提高了坐姿算法的准确度，帮助学生矫正坐姿，帮助学生远离近视、脊柱发育不良等的身体健康问题。
本实施例还提出一种基于多模态的人体坐姿检测装置，适用于上述的一种基于多模态的人体坐姿检测方法，参考图1和图2，包括主控芯片1，主控芯片1通过视频输入处理模块5连接有摄像头2，主控芯片1通过TOF模块6连接有TOF传感器3，主控芯片1通过压力传感处理模块7连接有压力传感器4。主控芯片1通过音频处理模块9连接有喇叭8。主控芯片1将提示音信息发送到音频处理模块9，音频处理模块9将提示音信息转化为控制信号，通过控制信号控制喇叭8播报提示音。压力传感器4包括上下2个基板41，基板41上设有压力传感应变片42，压力传感应变片42上设有若干凸条44，凸条44通过导线43连接到压力传感处理模块7，其中位于上方的凸条44为横向的，位于下方的凸条44为纵向的，上方的凸条44和下方的凸条44纵横交错，每一个纵横交错的地方作为一个感测点，所有感测点形成感测区域。上方的凸条44和下方的凸条44各有44条，形成的感测区域内共有1936个感测点。
视频输入处理模块5将摄像头2获取的RGB图像转化为数字信号信息发送到主控芯片1，TOF模块6将TOF传感器3获取的深度图像转化为数字信号信息发送到主控芯片1，压力传感处理模块7将压力传感器4获取的压力信号值转化为压力热力图，并将压力热力图以数字信号形式传输到主控芯片1，主控芯片1根据接收的各项数据进行运算得出检测结果。
通过在学习桌正面安装摄像头和TOF传感器，捕捉学生一段时间内的上半身坐姿信息，并将数据传入硬件处理分析模块包括视频输入处理模块5和TOF模块6；以及在学习椅上部署压力传感器，通过配套的通讯模块将学习椅一段时间内产生的数据传入压力传感处理模块7。主控芯片1通过相应的硬件模块包括扬声器、指示灯、按键、wifi通讯模块等，播报相应的坐姿状态，提醒学生保持端正坐姿，最终形成一套多模态的学生坐姿分析装置。
摄像头以及TOF传感器一同安装在学习桌书架的正面，距离桌面高度45cm，距离桌沿40cm。捕捉学生一段时间内的上半身坐姿信息，并将数据传入硬件处理分析模块；如图2所示，压力传感器布置在学习椅坐垫上，覆盖于学习椅坐垫的表面。
本发明的硬件设备选取如下：
主控芯片设备选取海思hi3516芯片或瑞芯微RV1109芯片；
TOF传感器设备选取德国GWU公司的versaScanl20型OPO可调谐激光器，波长调谐范围为410-2500nm，脉宽为3ns，重复频率为100Hz，或选取双波长脉冲激光二极管，型号PL520，欧司朗或型号MLlOlJ23，三菱，波长分别为520nm和650nm，输出功率分别为50mW和150mW，可调脉宽均为1-1OOOns，可调重复频率均为l-30KHz；
压力传感器设备选取方形5101型号感测片或柔性压力传感器。
本装置的使用流程：
步骤一：为装置插上电源，打开硬件装置；
步骤二：打开摄像头、TOF传感器以及学习椅上的压力传感器设备，激活装置功能；
步骤三：根据三种模块产生的数据进行处理，得到三种模块下得到的单独数据结果；
摄像头采集处理得到RGB图像，然后输入主控芯片设备中，通过坐姿识别算法，得到摄像头端的坐姿信息，识别如：离开、趴桌、低头、倾斜、偏头、侧脸等不良坐姿；
TOF传感器采集处理得到深度图像，然后输入主控芯片设备中，通过深度图像坐姿判断算法，得到TOF传感器端的坐姿信息，识别如：弓背、低头、离开、前倾、后躺等不良坐姿；
压力传感器采集处理得到压力热力图，然后输入主控芯片设备中，通过压力图坐姿判断算法，得到压力传感器端的坐姿信息，识别如：翘腿、盘腿、侧坐等不良坐姿。
步骤四：将三种模块下得到的单独数据结果通过最后的逻辑处理算法，判断出学生一段时间内的坐姿状态；
步骤五：根据步骤四中得到的坐姿状态，当学生出现不良坐姿时，装置播报相应的不良坐姿语音，提醒学生端正坐姿。
本发明的实施效果如下：
一、端正坐姿时，参考图3，图中(a)坐姿示意图；(b)RGB图像；(c)TOF深度信息图；(d)压力热力图；
当坐姿端正时，thrgb＝0.89，thdepth＝0.83，thhot＝0.78，Th＝0.88，坐姿判断为端正。
二、上半身非端正下半身端正时，参考图4，图中(a)坐姿示意图；(b)RGB图像；(c)TOF深度信息图；(d)压力热力图；
当前倾时，thrgb＝0.35，thdepth＝0.37，thhot＝0.78，Th＝0.528，坐姿判断为非端正。
三、上半身端正下半身非端正时，参考图5，图中(a)坐姿示意图；(b)RGB图像；(c)TOF深度信息图；(d)压力热力图；
当翘腿时，thrgb＝0.89，thdepth＝0.83，thdepth＝0.26，Th＝0.62坐姿判断为非端正。

Claims (7)

1.一种基于多模态的人体坐姿检测方法，其特征是，包括以下步骤：
S1，在设定时间间隔内获取人体坐姿的上半身的RGB图像和深度图像，获取人体坐姿的下半身的压力热力图；
S2，根据RGB图像坐姿识别算法处理RGB图像，获得人体坐姿的上半身端正的类别阈值thrgb；
S3，根据深度图像坐姿判断算法处理深度图像，获得人体坐姿的上半身的端正度概率thdepth；
S4，根据压力图坐姿判断算法处理压力热力图，获得人体坐姿的下半身的端正度概率thhot；所述S4具体包括以下步骤：
S401，从压力传感器获取到压力热力图；
S402，找到压力热力图的中心点及最小外接矩形框，计算压力热力图的左右部分特征的均值，
左部分特征均值El：
Figure FDA0003730140000000011
右部分特征均值Er：
Figure FDA0003730140000000012
其中：i、j表示坐标值，Xij表示压力热力图在坐标(i，j)处的压力值，W、H表示最小外接矩形框的宽和高；
S403，计算左右两边的差值的绝对值Dis＝|El-Er|，然后计算人体坐姿的下半身的端正度概率thhot：
thhot＝(EL+ER-Dis)/(EL+ER)；
S5，根据人体坐姿的上半身端正的类别阈值thrgb、人体坐姿的上半身的端正度概率thdepth和人体坐姿的下半身的端正度概率thhot计算坐姿判断值Th，具体计算公式如下：
Th＝α*thrgb+β*thdepth+χ*thhot；
其中，α、β和x为调节参数；
S6、判断坐姿判断值Th是否大于设定的坐姿端正阈值，若是，则判定当前人体坐姿端正，返回S1，若否，则判定当前人体坐姿不端正并发出调整坐姿提示。
2.根据权利要求1所述的一种基于多模态的人体坐姿检测方法，其特征是，所述S2具体包括以下步骤：
S201，将RGB图像输入到人体检测算法，提取图片中检测到的人体部分的RGB特征；
S202，将人体部分的特征输入到坐姿识别算法中，得到端正的类别阈值thrgb。
3.根据权利要求2所述的一种基于多模态的人体坐姿检测方法，其特征是，所述人体检测算法和坐姿识别算法采用深度学习开源框架darknet训练得到；所述人体检测算法采用yolov3算法或faster RCNN算法或SSD算法替代；所述坐姿识别算法采用darknet19或darknet53或VGG16或Resnet18或Resnet34或Resnet50分类算法。
4.根据权利要求1所述的一种基于多模态的人体坐姿检测方法，其特征是，所述S3具体包括以下步骤：
S301，利用深度图像根据人形检测算法检测到的人形位置信息，提取人体部分的深度特征；
S302，计算人体部分的深度特征的均值和方差，具体计算公式如下：
Figure FDA0003730140000000031
Figure FDA0003730140000000032
其中：E(X)表示深度特征的均值,D(X)表示深度特征的方差，i、j表示坐标值，xij表示深度图像在坐标(i，j)处的像素值，w、h表示人体的宽和高；
S303，根据均值和方差计算人体坐姿的上半身的端正度概率thdepth，具体计算公式，如下：
Figure FDA0003730140000000033
其中：μ、σ为调整参数。
5.一种基于多模态的人体坐姿检测装置，适用于权利要求1所述的一种基于多模态的人体坐姿检测方法，其特征是，包括主控芯片(1)，所述主控芯片(1)通过视频输入处理模块(5)连接有摄像头(2)，所述主控芯片(1)通过TOF模块(6)连接有TOF传感器(3)，所述主控芯片(1)通过压力传感处理模块(7)连接有压力传感器(4)。
6.根据权利要求5所述的一种基于多模态的人体坐姿检测装置，其特征是，所述主控芯片(1)通过音频处理模块(9)连接有喇叭(8)。
7.根据权利要求5或6所述的一种基于多模态的人体坐姿检测装置，其特征是，所述压力传感器(4)包括上下2个基板(41)，所述基板(41)上设有压力传感应变片(42)，压力传感应变片(42)上设有若干凸条(44)，所述凸条(44)通过导线(43)连接到压力传感处理模块(7)，其中位于上方的凸条(44)为横向的，位于下方的凸条(44)为纵向的，上方的凸条(44)和下方的凸条(44)纵横交错，每一个纵横交错的地方作为一个感测点，所有感测点形成感测区域。
CN202110552573.5A 2021-05-20 2021-05-20 一种基于多模态的人体坐姿检测方法及装置 Active CN113361342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110552573.5A CN113361342B (zh) 2021-05-20 2021-05-20 一种基于多模态的人体坐姿检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110552573.5A CN113361342B (zh) 2021-05-20 2021-05-20 一种基于多模态的人体坐姿检测方法及装置

Publications (2)

Publication Number Publication Date
CN113361342A CN113361342A (zh) 2021-09-07
CN113361342B true CN113361342B (zh) 2022-09-20

Family

ID=77527001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110552573.5A Active CN113361342B (zh) 2021-05-20 2021-05-20 一种基于多模态的人体坐姿检测方法及装置

Country Status (1)

Country Link
CN (1) CN113361342B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419676A (zh) * 2022-01-24 2022-04-29 平安国际智慧城市科技股份有限公司 基于人工智能的坐姿分析方法、装置、计算机设备及介质
CN116884083B (zh) * 2023-06-21 2024-05-28 圣奥科技股份有限公司 一种基于人体关键点的坐姿检测方法、介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022378A (zh) * 2016-05-23 2016-10-12 武汉大学 基于摄像头与压力传感器的颈椎病识别方法
CN107169456A (zh) * 2017-05-16 2017-09-15 湖南巨汇科技发展有限公司 一种基于坐姿深度图像的坐姿检测方法
WO2018164157A1 (ja) * 2017-03-08 2018-09-13 国立大学法人お茶の水女子大学 歩行・足部評価方法、歩行・足部評価プログラムおよび歩行・足部評価装置
CN110309787A (zh) * 2019-07-03 2019-10-08 电子科技大学 一种基于深度相机的人体坐姿检测方法
CN112137292A (zh) * 2020-09-17 2020-12-29 方翊霖 一种坐姿不正智能提醒装置控制系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106887019B (zh) * 2017-02-23 2020-04-21 大连海事大学 一种足迹压力分布特征表示方法
CN110946584A (zh) * 2019-10-18 2020-04-03 沈阳大学 一种利用压阻式薄膜压力传感器组对人体坐姿识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022378A (zh) * 2016-05-23 2016-10-12 武汉大学 基于摄像头与压力传感器的颈椎病识别方法
WO2018164157A1 (ja) * 2017-03-08 2018-09-13 国立大学法人お茶の水女子大学 歩行・足部評価方法、歩行・足部評価プログラムおよび歩行・足部評価装置
CN107169456A (zh) * 2017-05-16 2017-09-15 湖南巨汇科技发展有限公司 一种基于坐姿深度图像的坐姿检测方法
CN110309787A (zh) * 2019-07-03 2019-10-08 电子科技大学 一种基于深度相机的人体坐姿检测方法
CN112137292A (zh) * 2020-09-17 2020-12-29 方翊霖 一种坐姿不正智能提醒装置控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于压力传感器与摄像头的颈椎病预防系统;朱卫平，尹韶升，刘国檩;《计算机系统应用》;20171031;241-245页 *

Also Published As

Publication number Publication date
CN113361342A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN113361342B (zh) 一种基于多模态的人体坐姿检测方法及装置
WO2020186480A1 (zh) 近视预测系统及方法
CN109785396B (zh) 基于双目相机的写字姿态监测方法、系统、装置
CN110934591B (zh) 一种坐姿检测方法及装置
US10198813B2 (en) Posture estimation device, posture estimation system, posture estimation method, posture estimation program, and computer-readable recording medium on which posture estimation program is recorded
CN107169456A (zh) 一种基于坐姿深度图像的坐姿检测方法
CN104503537B (zh) 一种带有预防近视和腰椎脊椎疾病的电脑显示器
CN110309787B (zh) 一种基于深度相机的人体坐姿检测方法
CN111289076B (zh) 自动采集人体基础数据的人体生理实验系统
CN103908064A (zh) 一种矫正坐姿的智能书桌及其矫正方法
CN103908065A (zh) 一种矫正坐姿的智能书桌及其矫正方法
CN110251070B (zh) 一种用眼健康情况监测方法及系统
CA2830889C (en) Non-contact measuring method and apparatus in pediatrics
CN114120357B (zh) 一种基于神经网络的防近视方法和装置
CN111734974B (zh) 一种具有坐姿提醒功能的智能台灯
US20180089851A1 (en) Distance measuring device for human body features and method thereof
CN106529449A (zh) 自动调整显示画面比例的方法及其显示装置
CN114973423A (zh) 用于儿童学习桌的坐姿监测的警示方法及系统
CN214619150U (zh) 一种用于坐姿监测的台灯
CN113589296A (zh) 一种人体坐姿检测装置及方法
CN113989936A (zh) 一种可识别儿童坐姿并自动语音纠正的台灯
CN117481461A (zh) 一种可识别坐姿的智能儿童升降桌控制系统及方法
CN111047832A (zh) 具有坐姿调整功能的移动设备及其使用方法
CN108154142B (zh) 一种基于语音识别的皮肤皱纹评估方法及系统
CN104715234A (zh) 一种侧视检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220424

Address after: 311200 room 1806, building 1, Zhejiang chamber of Commerce building, No. 299, Pinglan Road, ningwei street, Xiaoshan District, Hangzhou, Zhejiang Province

Applicant after: Hangzhou haoxuetong Technology Co.,Ltd.

Address before: Room 1302, building 2, Huanyu business center, 626 kejiguan street, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Applicant before: Hangzhou maitaotao Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant