CN110309787A - 一种基于深度相机的人体坐姿检测方法 - Google Patents

一种基于深度相机的人体坐姿检测方法 Download PDF

Info

Publication number
CN110309787A
CN110309787A CN201910596973.9A CN201910596973A CN110309787A CN 110309787 A CN110309787 A CN 110309787A CN 201910596973 A CN201910596973 A CN 201910596973A CN 110309787 A CN110309787 A CN 110309787A
Authority
CN
China
Prior art keywords
image
sitting posture
human body
depth
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910596973.9A
Other languages
English (en)
Other versions
CN110309787B (zh
Inventor
张静
高学顺
李圳浩
刘慧枭
杜晓辉
王祥舟
郝如茜
刘娟秀
倪光明
刘霖
刘永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910596973.9A priority Critical patent/CN110309787B/zh
Publication of CN110309787A publication Critical patent/CN110309787A/zh
Application granted granted Critical
Publication of CN110309787B publication Critical patent/CN110309787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种基于深度相机的人体坐姿检测方法,涉及图像处理领域。采用获取人体背部区域的深度图像和彩色图像,采用深度图像和彩色图像相结合的方式获取图像的前景区域,采用前景区域的的部分区域计算人体坐姿是否正确,从而实现发明目的。本发明是一种基于机器视觉的无接触式坐姿监测方法,借助于深度相机采集人体背部数据,通过坐姿监测算法,可以实时获取图像,全自动完成坐姿监测,当坐姿异常时,电脑端人机交互软件及时提醒用户改正坐姿。人的坐姿与脊柱状态有密切的关系,因此采集背部的数据进行坐姿分析是最为准确的,同时也可避免采集人体面部信息带来的隐私问题。

Description

一种基于深度相机的人体坐姿检测方法
技术领域
本发明是一种人体坐姿监测领域,特别涉及一种无接触式人体坐姿监测系统。
背景技术
近些年来,人们处于坐立姿态的时间越来越长,很多人每天的坐立时间超过6小时。长期坐的时间过久,坐姿不正确,会造成颈椎腰椎的疲劳。长此以往,会引发颈椎、腰椎疾病。据统计,越来越多的人们受到颈椎病和腰椎疾病的困扰。
目前,国内外对于坐姿的监测主要分为两种方式。第一种,接触式坐姿检测方法,此类方法使用传感器、压力传感器、陀螺仪等,采集人体坐立时的传感器信号,经过信号处理后得到人的坐立姿态。第二种,图像式坐姿检测方法,此类方法采用机器视觉、数字图像处理的方法,将相机放置于人面前,根据头部姿态得到人的坐立姿态。
接触式的坐姿检测方式需要使用多个传感器组合,将传感器分布在人体背部和臀部下方,通过外部电路对传感器原始数据处理后,再传输至主机进行坐姿检测,整体结构相对复杂。机器视觉方式的检测方式,使用相机采集数据,再将数据传入电脑进行算法处理,不需要外部电路,因此整体结构相对简单,但对面部信息的采集易造成用户对隐私问题的担忧。
发明内容
为了克服上述问题,本发明提出一种通过采集人体背部图像,对背部图像进行分析从而得出人体坐姿是否不良。
本发明解决上述技术问题提供的一种解决方案是:一种基于深度相机的人体坐姿检测方法,该方法首先通过深度相机模块获取目标背部图像,再对图像进行处理识别坐姿是否正确;
所述深度相机模块包括:两台深度相机和固定辅助杆,所述固定辅助杆竖直设置,两台深度相机一上一下间隔设置于固定辅助杆上,分别对目标背部上部区域和下部区域进行拍摄,且拍摄区域有重合;所述深度相机包括:彩色摄像头、红外发射器和两个红外摄像头;所述彩色摄像头采集彩色图像,所述红外发射器主动发射红外斑点,所述红外摄像头采集红外图像数据后,根据两个红外摄像头采集红外图像数据计算得到深度数据图像;
所述对图像进行处理识别坐姿是否正确的方法为:
步骤1:将两台深度相机获得的彩色图像和深度数据图像进行拼接,获得目标背部完整的彩色图像和完整的深度数据图像;
步骤2:采用阈值分割方法对完整的彩色图像和深度数据图像进行背景噪声滤除;
根据人体背部与深度相机之间的距离x设定滤波范围[a,b],其中a<x<b,当深度图像某一点的像素值在滤波范围内时,保持该像素值不变;当深度图像的某一点的像素值不在滤波范围内时,使用数值0将之前的像素值替换;
对于彩色图像,取彩色图像中心4*4的矩形区域作为前景标记区域,取彩色图像左上角4*4区域、右上角4*4区域、左下角4*4区域和右下角4*4区域作为背景标记区域,然后采用GraphCut算法分割前景和背景,将背景像素置为0;
最后将深度图像的前景区域与彩色图像的前景区域做并集,相并后的区域为图像的前景区域;
步骤3:根据所述深度相机与人体的相对位置,框选背部矩形区域;
采用Canny边缘检测方法计算出步骤2得到前景区域的边缘,针对每一行像素值计算边缘的左、右边界之间的距离L和中点M,寻找宽度L最大时对应的行数R,以此行对应的中点M为中心点框选出正方形区域,该正方形区域中只包括前景区域;
步骤4:计算框选背部区域中像素值的均值、方差,当方差超过设定阈值时,认为坐姿不良。
进一步的,所述两台深度相机在固定辅助杆上的位置是可调的。
进一步的,所述步骤3中正方形区域为200*200的方形区域。
本发明是一种基于机器视觉的无接触式坐姿检测方法,借助于深度相机采集人体背部数据,通过坐姿监测算法,可以实时获取图像,全自动完成坐姿监测,当坐姿异常时,电脑端人机交互软件及时提醒用户改正坐姿。人的坐姿与脊柱状态有密切的关系,因此采集背部的数据进行坐姿分析是最为准确的,同时也可避免采集人体面部信息带来的隐私问题。
附图说明
图1为本发明一种基于深度的坐姿检测方法的相机与座椅靠背固定结构图;
图2为本发明一种基于深度的坐姿检测方法的系统结构框图;
图3为本发明一种基于深度的坐姿检测方法的人机交互软件框图;
图中:10为座椅靠背,20为固定辅助杆,30为1号深度相机,40为2号深度相机。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施案例,对本发明做进一步详细说明,应当理解,此处所描述的具体实施案例仅用于解释本发明,并不用于限定本发明。
请参阅图1至图3,本发明的一种基于深度相机的坐姿检测系统,包括深度相机模块、电脑和一套人机交互软件,所述深度相机模块通过连接线与电脑相连,所述电脑运行人机交互软件,人机交互软件用于处理深度相机模块采集到的深度图像数据,判断人当前的坐姿和提醒人此时坐姿不正确。
所述深度相机模块包括相机固定辅助杆20、1号深度相机30和2号深度相机40。1号深度相机30和2号深度相机通过辅助杆20固定在座椅靠背10上。通过辅助杆20的协助,1号深度相机30和2号深度相机40的上下间距可调。所述1号深度相机30采集人体背部上半部的彩色图像和深度图像,所述2号深度相机40采集人体背部下半部的彩色图像和深度图像,需要保证1号深度相机的采集区域与2号深度相机的采集区域有重合区域。
一种使用基于深度相机的坐姿检测方法,包括如下步骤:
步骤1:调整图1中1号深度相机30和2号深度相机40的固定位置,使1号深度相机30和2号深度相机的视野范围可以覆盖整个人体背部,且1号深度相机30和2号深度相机40的视野有重合区域。
步骤2:两个深度相机采集人体背部的彩色图像信息和深度图像信息,并将图像信息发回电脑端,电脑端运行的人机交互软件分析处理图像数据,当判定用户坐姿不正确的时候发出弹窗提醒更正坐姿。
步骤2-1:1号深度相机采集人体背部上半部分的彩色图像和深度图像,2号深度相机采集人体背部下半部分的彩色图像和深度图像。
步骤2-2:使用图像拼接算法对步骤2-1中1号深度相机采集到的人体背部上半部图像数据和2号深度相机采集到人体背部下半部的图像数据进行拼接,得到完整的人体背部彩色图像和深度图像。
步骤2-3:对步骤2-2中拼接得到的完整的人体背部深度图像进行可视化操作,之后将彩色图像和可视化之后的深度图像显示在电脑桌面端的界面上。
步骤2-4:对步骤2-2中得到的人体完整背部深度图像应用阈值滤波滤除背景信息,根据深度相机与人体背部的相对位置框选人体背部区域,计算框选的人体背部区域的均值与方差。
步骤2-5:用户以正确的坐姿坐在深度相机前,手动调整人机交互软件上的阈值,作为算法的评判标准。
步骤2-6:将步骤2-4中得到的方差与2-5步骤设定的阈值比较,如果方差超过设定的阈值后,人机交互软件弹窗提醒用户改正坐姿。
与现有技术相比,本发明的基于深度图像的坐姿监测系统在实现人体坐姿监测的基础上,不与人体接触,无不适感,且采集背部数据能保护人的肖像隐私。
以上所述仅为本发明的较好实施案例,并不能因此限制本发明的专利范围,凡是在本发明的构思之内所作的任何修改,等同替换和改进等均应包含在本发明的专利保护范围内。

Claims (3)

1.一种基于深度相机的人体坐姿检测方法,该方法首先通过深度相机模块获取目标背部图像,再对图像进行处理识别坐姿是否正确;
所述深度相机模块包括:两台深度相机和固定辅助杆,所述固定辅助杆竖直设置,两台深度相机一上一下间隔设置于固定辅助杆上,分别对目标背部上部区域和下部区域进行拍摄,且拍摄区域有重合;所述深度相机包括:彩色摄像头、红外发射器和两个红外摄像头;所述彩色摄像头采集彩色图像,所述红外发射器主动发射红外斑点,所述红外摄像头采集红外图像数据后,根据两个红外摄像头采集红外图像数据计算得到深度数据图像;
所述对图像进行处理识别坐姿是否正确的方法为:
步骤1:将两台深度相机获得的彩色图像和深度数据图像进行拼接,获得目标背部完整的彩色图像和完整的深度数据图像;
步骤2:采用阈值分割方法对完整的彩色图像和深度数据图像进行背景噪声滤除;
根据人体背部与深度相机之间的距离x设定滤波范围[a,b],其中a<x<b,当深度图像某一点的像素值在滤波范围内时,保持该像素值不变;当深度图像的某一点的像素值不在滤波范围内时,使用数值0将之前的像素值替换;
对于彩色图像,取彩色图像中心4*4的矩形区域作为前景标记区域,取彩色图像左上角4*4区域、右上角4*4区域、左下角4*4区域和右下角4*4区域作为背景标记区域,然后采用GraphCut算法分割前景和背景,将背景像素置为0;
最后将深度图像的前景区域与彩色图像的前景区域做并集,相并后的区域为图像的前景区域;
步骤3:根据所述深度相机与人体的相对位置,框选背部矩形区域;
采用Canny边缘检测方法计算出步骤2得到前景区域的边缘,针对每一行像素值计算边缘的左、右边界之间的距离L和中点M,寻找宽度L最大时对应的行数R,以此行对应的中点M为中心点框选出正方形区域,该正方形区域中只包括前景区域;
步骤4:计算框选背部区域中像素值的均值、方差,当方差超过设定阈值时,认为坐姿不良。
2.如权利要求1所述的一种基于深度相机的人体坐姿检测方法,其特征在于所述两台深度相机在固定辅助杆上的位置是可调的。
3.如权利要求1所述的一种基于深度相机的人体坐姿检测方法,其特征在于所述步骤3中正方形区域为200*200的方形区域。
CN201910596973.9A 2019-07-03 2019-07-03 一种基于深度相机的人体坐姿检测方法 Active CN110309787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910596973.9A CN110309787B (zh) 2019-07-03 2019-07-03 一种基于深度相机的人体坐姿检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910596973.9A CN110309787B (zh) 2019-07-03 2019-07-03 一种基于深度相机的人体坐姿检测方法

Publications (2)

Publication Number Publication Date
CN110309787A true CN110309787A (zh) 2019-10-08
CN110309787B CN110309787B (zh) 2022-07-29

Family

ID=68079052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910596973.9A Active CN110309787B (zh) 2019-07-03 2019-07-03 一种基于深度相机的人体坐姿检测方法

Country Status (1)

Country Link
CN (1) CN110309787B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062244A (zh) * 2019-10-31 2020-04-24 河南科技大学 一种基于机器视觉的坐姿提醒方法
CN111127848A (zh) * 2019-12-27 2020-05-08 深圳奥比中光科技有限公司 一种人体坐姿检测系统及方法
CN111145274A (zh) * 2019-12-06 2020-05-12 华南理工大学 一种基于视觉的坐姿检测方法
CN111415298A (zh) * 2020-03-20 2020-07-14 北京百度网讯科技有限公司 图像拼接方法、装置、电子设备及计算机可读存储介质
CN111970050A (zh) * 2020-07-14 2020-11-20 电子科技大学 一种基于异常检测的联合监测调制格式和光信噪比的系统
CN113361342A (zh) * 2021-05-20 2021-09-07 杭州麦淘淘科技有限公司 一种基于多模态的人体坐姿检测方法及装置
CN113657271A (zh) * 2021-08-17 2021-11-16 上海科技大学 结合可量化因素及不可量化因素判断的坐姿检测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006190195A (ja) * 2005-01-07 2006-07-20 Advanced Telecommunication Research Institute International 対象物姿勢推定装置
WO2008132324A1 (fr) * 2007-03-08 2008-11-06 Universite De Bourgogne Dispositif de mesure et de correction de la lateropulsion
US20110249190A1 (en) * 2010-04-09 2011-10-13 Nguyen Quang H Systems and methods for accurate user foreground video extraction
JP2014073712A (ja) * 2012-10-03 2014-04-24 Nissan Motor Co Ltd 運動量測定装置および運動量測定方法
CN104157107A (zh) * 2014-07-24 2014-11-19 燕山大学 一种基于Kinect传感器的人体姿势矫正装置
CN107048858A (zh) * 2017-06-05 2017-08-18 浙江陀曼精密机械有限公司 一种座椅光线传感坐姿检测系统及其方法
CN107153829A (zh) * 2017-06-09 2017-09-12 南昌大学 基于深度图像的不良坐姿提醒方法和装置
CN107452032A (zh) * 2017-07-28 2017-12-08 电子科技大学 人体背部深度图像预处理方法
CN108648229A (zh) * 2018-05-18 2018-10-12 四川效率未来科技有限公司 基于Kinect相机的人体背部特征点提取方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006190195A (ja) * 2005-01-07 2006-07-20 Advanced Telecommunication Research Institute International 対象物姿勢推定装置
WO2008132324A1 (fr) * 2007-03-08 2008-11-06 Universite De Bourgogne Dispositif de mesure et de correction de la lateropulsion
US20110249190A1 (en) * 2010-04-09 2011-10-13 Nguyen Quang H Systems and methods for accurate user foreground video extraction
JP2014073712A (ja) * 2012-10-03 2014-04-24 Nissan Motor Co Ltd 運動量測定装置および運動量測定方法
CN104157107A (zh) * 2014-07-24 2014-11-19 燕山大学 一种基于Kinect传感器的人体姿势矫正装置
CN107048858A (zh) * 2017-06-05 2017-08-18 浙江陀曼精密机械有限公司 一种座椅光线传感坐姿检测系统及其方法
CN107153829A (zh) * 2017-06-09 2017-09-12 南昌大学 基于深度图像的不良坐姿提醒方法和装置
CN107452032A (zh) * 2017-07-28 2017-12-08 电子科技大学 人体背部深度图像预处理方法
CN108648229A (zh) * 2018-05-18 2018-10-12 四川效率未来科技有限公司 基于Kinect相机的人体背部特征点提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SUN BEIZENG,XINGLIU,TAOCHENGLU,QIN: "Sitting Posture Detection using Adaptively Fused 3D Features", 《2017 IEEE 2ND INFORMATION TECHNOLOGY, NETWORKING, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE》 *
曾星,孙备,罗武胜,刘涛诚,鲁琴: "基于深度传感器的坐姿检测系统", 《计算机科学》 *
李莎莎: "基于Kinect传感器的坐姿识别软件设计及实现", 《中国优秀硕士论文电子期刊》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062244A (zh) * 2019-10-31 2020-04-24 河南科技大学 一种基于机器视觉的坐姿提醒方法
CN111062244B (zh) * 2019-10-31 2023-04-18 河南科技大学 一种基于机器视觉的坐姿提醒方法
CN111145274A (zh) * 2019-12-06 2020-05-12 华南理工大学 一种基于视觉的坐姿检测方法
CN111145274B (zh) * 2019-12-06 2022-04-22 华南理工大学 一种基于视觉的坐姿检测方法
CN111127848A (zh) * 2019-12-27 2020-05-08 深圳奥比中光科技有限公司 一种人体坐姿检测系统及方法
CN111415298A (zh) * 2020-03-20 2020-07-14 北京百度网讯科技有限公司 图像拼接方法、装置、电子设备及计算机可读存储介质
CN111415298B (zh) * 2020-03-20 2023-06-02 北京百度网讯科技有限公司 图像拼接方法、装置、电子设备及计算机可读存储介质
CN111970050A (zh) * 2020-07-14 2020-11-20 电子科技大学 一种基于异常检测的联合监测调制格式和光信噪比的系统
CN111970050B (zh) * 2020-07-14 2022-03-15 电子科技大学 一种基于异常检测的联合监测调制格式和光信噪比的系统
CN113361342B (zh) * 2021-05-20 2022-09-20 杭州好学童科技有限公司 一种基于多模态的人体坐姿检测方法及装置
CN113361342A (zh) * 2021-05-20 2021-09-07 杭州麦淘淘科技有限公司 一种基于多模态的人体坐姿检测方法及装置
CN113657271A (zh) * 2021-08-17 2021-11-16 上海科技大学 结合可量化因素及不可量化因素判断的坐姿检测方法及系统
CN113657271B (zh) * 2021-08-17 2023-10-03 上海科技大学 结合可量化因素及不可量化因素判断的坐姿检测方法及系统

Also Published As

Publication number Publication date
CN110309787B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN110309787A (zh) 一种基于深度相机的人体坐姿检测方法
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
CN104157107B (zh) 一种基于Kinect传感器的人体姿势矫正装置
JP4377472B2 (ja) 顔画像処理装置
CN103558910B (zh) 一种自动跟踪头部姿态的智能显示器系统
CN107169453B (zh) 一种基于深度传感器的坐姿检测方法
CN105283129A (zh) 信息处理装置、信息处理方法和程序
CN104732191B (zh) 利用交比不变性实现虚拟显示屏视线追踪的装置及其方法
US20090244274A1 (en) Eyelid opening level determination device and computer readable medium storing computer program thereof
EP2360641B1 (en) Image processing method and image processing device
CN110934591B (zh) 一种坐姿检测方法及装置
CN102298702B (zh) 一种人体姿态的检测方法及装置
CN111084603A (zh) 一种基于深度相机的瞳距测量方法及系统
CN107517344A (zh) 摄像装置识别范围的调整方法及装置
CN108681403A (zh) 一种采用视线跟踪的小车控制方法
US20210097830A1 (en) Audio/video electronic device
CN112232128B (zh) 基于视线追踪的老年残障人士照护需求识别方法
US10872268B2 (en) Information processing device, information processing program, and information processing method
CN111027517A (zh) 一种基于视觉的坐姿矫正提醒系统及方法、应用
EP4023155A1 (en) Body measurement device and control method therefor
JP5034623B2 (ja) 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
CN115171024A (zh) 一种基于视频序列的面部多特征融合疲劳检测方法及系统
CN107329570A (zh) 一种根据个体观看者位置自动调节显示设备角度的方法
CN106446859B (zh) 利用手机前置摄像头自动识别人眼中黑点和血丝的方法
US20120314044A1 (en) Imaging device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant