CN110309787B - 一种基于深度相机的人体坐姿检测方法 - Google Patents

一种基于深度相机的人体坐姿检测方法 Download PDF

Info

Publication number
CN110309787B
CN110309787B CN201910596973.9A CN201910596973A CN110309787B CN 110309787 B CN110309787 B CN 110309787B CN 201910596973 A CN201910596973 A CN 201910596973A CN 110309787 B CN110309787 B CN 110309787B
Authority
CN
China
Prior art keywords
image
depth
sitting posture
human body
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910596973.9A
Other languages
English (en)
Other versions
CN110309787A (zh
Inventor
张静
高学顺
李圳浩
刘慧枭
杜晓辉
王祥舟
郝如茜
刘娟秀
倪光明
刘霖
刘永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910596973.9A priority Critical patent/CN110309787B/zh
Publication of CN110309787A publication Critical patent/CN110309787A/zh
Application granted granted Critical
Publication of CN110309787B publication Critical patent/CN110309787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种基于深度相机的人体坐姿检测方法，涉及图像处理领域。采用获取人体背部区域的深度图像和彩色图像，采用深度图像和彩色图像相结合的方式获取图像的前景区域，采用前景区域的的部分区域计算人体坐姿是否正确，从而实现发明目的。本发明是一种基于机器视觉的无接触式坐姿监测方法，借助于深度相机采集人体背部数据，通过坐姿监测算法，可以实时获取图像，全自动完成坐姿监测，当坐姿异常时，电脑端人机交互软件及时提醒用户改正坐姿。人的坐姿与脊柱状态有密切的关系，因此采集背部的数据进行坐姿分析是最为准确的，同时也可避免采集人体面部信息带来的隐私问题。

Description

一种基于深度相机的人体坐姿检测方法
技术领域
本发明是一种人体坐姿监测领域，特别涉及一种无接触式人体坐姿监测系统。
背景技术
近些年来，人们处于坐立姿态的时间越来越长，很多人每天的坐立时间超过6小时。长期坐的时间过久，坐姿不正确，会造成颈椎腰椎的疲劳。长此以往，会引发颈椎、腰椎疾病。据统计，越来越多的人们受到颈椎病和腰椎疾病的困扰。
目前，国内外对于坐姿的监测主要分为两种方式。第一种，接触式坐姿检测方法，此类方法使用传感器、压力传感器、陀螺仪等，采集人体坐立时的传感器信号，经过信号处理后得到人的坐立姿态。第二种，图像式坐姿检测方法，此类方法采用机器视觉、数字图像处理的方法，将相机放置于人面前，根据头部姿态得到人的坐立姿态。
接触式的坐姿检测方式需要使用多个传感器组合，将传感器分布在人体背部和臀部下方，通过外部电路对传感器原始数据处理后，再传输至主机进行坐姿检测，整体结构相对复杂。机器视觉方式的检测方式，使用相机采集数据，再将数据传入电脑进行算法处理，不需要外部电路，因此整体结构相对简单，但对面部信息的采集易造成用户对隐私问题的担忧。
发明内容
为了克服上述问题，本发明提出一种通过采集人体背部图像，对背部图像进行分析从而得出人体坐姿是否不良。
本发明解决上述技术问题提供的一种解决方案是：一种基于深度相机的人体坐姿检测方法,该方法首先通过深度相机模块获取目标背部图像,再对图像进行处理识别坐姿是否正确；
所述深度相机模块包括：两台深度相机和固定辅助杆，所述固定辅助杆竖直设置，两台深度相机一上一下间隔设置于固定辅助杆上，分别对目标背部上部区域和下部区域进行拍摄，且拍摄区域有重合；所述深度相机包括：彩色摄像头、红外发射器和两个红外摄像头；所述彩色摄像头采集彩色图像，所述红外发射器主动发射红外斑点，所述红外摄像头采集红外图像数据后，根据两个红外摄像头采集红外图像数据计算得到深度数据图像；
所述对图像进行处理识别坐姿是否正确的方法为：
步骤1：将两台深度相机获得的彩色图像和深度数据图像进行拼接，获得目标背部完整的彩色图像和完整的深度数据图像；
步骤2：采用阈值分割方法对完整的彩色图像和深度数据图像进行背景噪声滤除；
根据人体背部与深度相机之间的距离x设定滤波范围[a,b]，其中a＜x＜b，当深度图像某一点的像素值在滤波范围内时，保持该像素值不变；当深度图像的某一点的像素值不在滤波范围内时，使用数值0将之前的像素值替换；
对于彩色图像，取彩色图像中心4*4的矩形区域作为前景标记区域，取彩色图像左上角4*4区域、右上角4*4区域、左下角4*4区域和右下角4*4区域作为背景标记区域，然后采用GraphCut算法分割前景和背景，将背景像素置为0；
最后将深度图像的前景区域与彩色图像的前景区域做并集，相并后的区域为图像的前景区域；
步骤3：根据所述深度相机与人体的相对位置，框选背部矩形区域；
采用Canny边缘检测方法计算出步骤2得到前景区域的边缘，针对每一行像素值计算边缘的左、右边界之间的距离L和中点M，寻找宽度L最大时对应的行数R，以此行对应的中点M为中心点框选出正方形区域，该正方形区域中只包括前景区域；
步骤4：计算框选背部区域中像素值的均值、方差，当方差超过设定阈值时，认为坐姿不良。
进一步的，所述两台深度相机在固定辅助杆上的位置是可调的。
进一步的，所述步骤3中正方形区域为200*200的方形区域。
本发明是一种基于机器视觉的无接触式坐姿检测方法，借助于深度相机采集人体背部数据，通过坐姿监测算法，可以实时获取图像，全自动完成坐姿监测，当坐姿异常时，电脑端人机交互软件及时提醒用户改正坐姿。人的坐姿与脊柱状态有密切的关系，因此采集背部的数据进行坐姿分析是最为准确的，同时也可避免采集人体面部信息带来的隐私问题。
附图说明
图1为本发明一种基于深度的坐姿检测方法的相机与座椅靠背固定结构图；
图2为本发明一种基于深度的坐姿检测方法的系统结构框图；
图3为本发明一种基于深度的坐姿检测方法的人机交互软件框图；
图中：10为座椅靠背，20为固定辅助杆，30为1号深度相机，40为2号深度相机。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明做进一步详细说明，应当理解，此处所描述的具体实施案例仅用于解释本发明，并不用于限定本发明。
请参阅图1至图3，本发明的一种基于深度相机的坐姿检测系统，包括深度相机模块、电脑和一套人机交互软件，所述深度相机模块通过连接线与电脑相连，所述电脑运行人机交互软件，人机交互软件用于处理深度相机模块采集到的深度图像数据，判断人当前的坐姿和提醒人此时坐姿不正确。
所述深度相机模块包括相机固定辅助杆20、1号深度相机30和2号深度相机40。1号深度相机30和2号深度相机通过辅助杆20固定在座椅靠背10上。通过辅助杆20的协助，1号深度相机30和2号深度相机40的上下间距可调。所述1号深度相机30采集人体背部上半部的彩色图像和深度图像，所述2号深度相机40采集人体背部下半部的彩色图像和深度图像，需要保证1号深度相机的采集区域与2号深度相机的采集区域有重合区域。
一种使用基于深度相机的坐姿检测方法，包括如下步骤：
步骤1：调整图1中1号深度相机30和2号深度相机40的固定位置，使1号深度相机30和2号深度相机的视野范围可以覆盖整个人体背部，且1号深度相机30和2号深度相机40的视野有重合区域。
步骤2：两个深度相机采集人体背部的彩色图像信息和深度图像信息，并将图像信息发回电脑端，电脑端运行的人机交互软件分析处理图像数据，当判定用户坐姿不正确的时候发出弹窗提醒更正坐姿。
步骤2-1：1号深度相机采集人体背部上半部分的彩色图像和深度图像，2号深度相机采集人体背部下半部分的彩色图像和深度图像。
步骤2-2：使用图像拼接算法对步骤2-1中1号深度相机采集到的人体背部上半部图像数据和2号深度相机采集到人体背部下半部的图像数据进行拼接，得到完整的人体背部彩色图像和深度图像。
步骤2-3：对步骤2-2中拼接得到的完整的人体背部深度图像进行可视化操作，之后将彩色图像和可视化之后的深度图像显示在电脑桌面端的界面上。
步骤2-4：对步骤2-2中得到的人体完整背部深度图像应用阈值滤波滤除背景信息，根据深度相机与人体背部的相对位置框选人体背部区域，计算框选的人体背部区域的均值与方差。
步骤2-5：用户以正确的坐姿坐在深度相机前，手动调整人机交互软件上的阈值，作为算法的评判标准。
步骤2-6：将步骤2-4中得到的方差与2-5步骤设定的阈值比较，如果方差超过设定的阈值后，人机交互软件弹窗提醒用户改正坐姿。
与现有技术相比，本发明的基于深度图像的坐姿监测系统在实现人体坐姿监测的基础上，不与人体接触，无不适感，且采集背部数据能保护人的肖像隐私。
以上所述仅为本发明的较好实施案例，并不能因此限制本发明的专利范围，凡是在本发明的构思之内所作的任何修改，等同替换和改进等均应包含在本发明的专利保护范围内。

Claims (3)

1.一种基于深度相机的人体坐姿检测方法,该方法首先通过深度相机模块获取目标背部图像,再对图像进行处理识别坐姿是否正确；
所述深度相机模块包括：两台深度相机和固定辅助杆，所述固定辅助杆竖直设置，两台深度相机一上一下间隔设置于固定辅助杆上，分别对目标背部上部区域和下部区域进行拍摄，且拍摄区域有重合；所述深度相机包括：彩色摄像头、红外发射器和两个红外摄像头；所述彩色摄像头采集彩色图像，所述红外发射器主动发射红外斑点，所述红外摄像头采集红外图像数据后，根据两个红外摄像头采集红外图像数据计算得到深度数据图像；
所述对图像进行处理识别坐姿是否正确的方法为：
步骤1：将两台深度相机获得的彩色图像和深度数据图像进行拼接，获得目标背部完整的彩色图像和完整的深度数据图像；
步骤2：采用阈值分割方法对完整的彩色图像和深度数据图像进行背景噪声滤除；
根据人体背部与深度相机之间的距离x设定滤波范围[a,b]，其中a＜x＜b，当深度图像某一点的像素值在滤波范围内时，保持该像素值不变；当深度图像的某一点的像素值不在滤波范围内时，使用数值0将之前的像素值替换；
对于彩色图像，取彩色图像中心4*4的矩形区域作为前景标记区域，取彩色图像左上角4*4区域、右上角4*4区域、左下角4*4区域和右下角4*4区域作为背景标记区域，然后采用GraphCut算法分割前景和背景，将背景像素置为0；
最后将深度图像的前景区域与彩色图像的前景区域做并集，相并后的区域为图像的前景区域；
步骤3：根据所述深度相机与人体的相对位置，框选背部矩形区域；
采用Canny边缘检测方法计算出步骤2得到前景区域的边缘，针对每一行像素值计算边缘的左、右边界之间的距离L和中点M，寻找宽度L最大时对应的行数R，以此行对应的中点M为中心点框选出正方形区域，该正方形区域中只包括前景区域；
步骤4：计算框选背部区域中像素值的均值、方差，当方差超过设定阈值时，认为坐姿不良。
2.如权利要求1所述的一种基于深度相机的人体坐姿检测方法，其特征在于所述两台深度相机在固定辅助杆上的位置是可调的。
3.如权利要求1所述的一种基于深度相机的人体坐姿检测方法，其特征在于所述步骤3中正方形区域为200*200的方形区域。
CN201910596973.9A 2019-07-03 2019-07-03 一种基于深度相机的人体坐姿检测方法 Active CN110309787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910596973.9A CN110309787B (zh) 2019-07-03 2019-07-03 一种基于深度相机的人体坐姿检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910596973.9A CN110309787B (zh) 2019-07-03 2019-07-03 一种基于深度相机的人体坐姿检测方法

Publications (2)

Publication Number Publication Date
CN110309787A CN110309787A (zh) 2019-10-08
CN110309787B true CN110309787B (zh) 2022-07-29

Family

ID=68079052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910596973.9A Active CN110309787B (zh) 2019-07-03 2019-07-03 一种基于深度相机的人体坐姿检测方法

Country Status (1)

Country Link
CN (1) CN110309787B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062244B (zh) * 2019-10-31 2023-04-18 河南科技大学 一种基于机器视觉的坐姿提醒方法
CN111145274B (zh) * 2019-12-06 2022-04-22 华南理工大学 一种基于视觉的坐姿检测方法
CN111127848A (zh) * 2019-12-27 2020-05-08 深圳奥比中光科技有限公司 一种人体坐姿检测系统及方法
CN111415298B (zh) * 2020-03-20 2023-06-02 北京百度网讯科技有限公司 图像拼接方法、装置、电子设备及计算机可读存储介质
CN111970050B (zh) * 2020-07-14 2022-03-15 电子科技大学 一种基于异常检测的联合监测调制格式和光信噪比的系统
CN113361342B (zh) * 2021-05-20 2022-09-20 杭州好学童科技有限公司 一种基于多模态的人体坐姿检测方法及装置
CN113657271B (zh) * 2021-08-17 2023-10-03 上海科技大学 结合可量化因素及不可量化因素判断的坐姿检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006190195A (ja) * 2005-01-07 2006-07-20 Advanced Telecommunication Research Institute International 対象物姿勢推定装置
WO2008132324A1 (fr) * 2007-03-08 2008-11-06 Universite De Bourgogne Dispositif de mesure et de correction de la lateropulsion
JP2014073712A (ja) * 2012-10-03 2014-04-24 Nissan Motor Co Ltd 運動量測定装置および運動量測定方法
CN104157107A (zh) * 2014-07-24 2014-11-19 燕山大学 一种基于Kinect传感器的人体姿势矫正装置
CN107048858A (zh) * 2017-06-05 2017-08-18 浙江陀曼精密机械有限公司 一种座椅光线传感坐姿检测系统及其方法
CN107153829A (zh) * 2017-06-09 2017-09-12 南昌大学 基于深度图像的不良坐姿提醒方法和装置
CN107452032A (zh) * 2017-07-28 2017-12-08 电子科技大学 人体背部深度图像预处理方法
CN108648229A (zh) * 2018-05-18 2018-10-12 四川效率未来科技有限公司 基于Kinect相机的人体背部特征点提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818028B2 (en) * 2010-04-09 2014-08-26 Personify, Inc. Systems and methods for accurate user foreground video extraction

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006190195A (ja) * 2005-01-07 2006-07-20 Advanced Telecommunication Research Institute International 対象物姿勢推定装置
WO2008132324A1 (fr) * 2007-03-08 2008-11-06 Universite De Bourgogne Dispositif de mesure et de correction de la lateropulsion
JP2014073712A (ja) * 2012-10-03 2014-04-24 Nissan Motor Co Ltd 運動量測定装置および運動量測定方法
CN104157107A (zh) * 2014-07-24 2014-11-19 燕山大学 一种基于Kinect传感器的人体姿势矫正装置
CN107048858A (zh) * 2017-06-05 2017-08-18 浙江陀曼精密机械有限公司 一种座椅光线传感坐姿检测系统及其方法
CN107153829A (zh) * 2017-06-09 2017-09-12 南昌大学 基于深度图像的不良坐姿提醒方法和装置
CN107452032A (zh) * 2017-07-28 2017-12-08 电子科技大学 人体背部深度图像预处理方法
CN108648229A (zh) * 2018-05-18 2018-10-12 四川效率未来科技有限公司 基于Kinect相机的人体背部特征点提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Sitting Posture Detection using Adaptively Fused 3D Features;Sun BeiZeng，XingLiu，TaochengLu，Qin;《2017 IEEE 2nd Information Technology, Networking, Electronic and Automation Control Conference》;20171215;全文 *
基于Kinect传感器的坐姿识别软件设计及实现;李莎莎;《中国优秀硕士论文电子期刊》;20190415;全文 *
基于深度传感器的坐姿检测系统;曾星，孙备，罗武胜，刘涛诚，鲁琴;《计算机科学》;20180731;全文 *

Also Published As

Publication number Publication date
CN110309787A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110309787B (zh) 一种基于深度相机的人体坐姿检测方法
US9396543B2 (en) Information processing apparatus for watching, information processing method and non-transitory recording medium recording program
US9846802B2 (en) Passenger counting system, passenger counting method and passenger counting program
CN107169453B (zh) 一种基于深度传感器的坐姿检测方法
US20180300538A1 (en) Image processing system, image processing apparatus, image processing method, and image processing program
CN103558910B (zh) 一种自动跟踪头部姿态的智能显示器系统
EP3029604A2 (en) Area information estimating device, area information estimating method, and air conditioning apparatus
US10198813B2 (en) Posture estimation device, posture estimation system, posture estimation method, posture estimation program, and computer-readable recording medium on which posture estimation program is recorded
WO2018095058A1 (zh) 超声三维胎儿面部轮廓图像处理方法及系统
CN110934591B (zh) 一种坐姿检测方法及装置
CN111444748B (zh) 一种坐姿检测方法、装置、设备及存储介质
CN108605087A (zh) 终端的拍照方法、拍照装置和终端
CN111832373A (zh) 一种基于多目视觉的汽车驾驶姿态检测方法
JP6119938B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP5034623B2 (ja) 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
JP6796525B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
JP7354767B2 (ja) 物体追跡装置および物体追跡方法
CN111707372B (zh) 人体温度检测方法、系统、装置及图像处理器
US20220084208A1 (en) Anthropometric Data Portable Acquisition Device And Method Of Collecting Anthropometric Data
CN104715234A (zh) 一种侧视检测方法及系统
CN111105372A (zh) 热红外图像处理器、系统、方法及装置
WO2020090188A1 (en) Methods and apparatus to cluster and collect head-toe lines for automatic camera calibration
CN110781712A (zh) 一种基于人脸检测与识别的人头空间定位方法
EP4176809A1 (en) Device, system and method for monitoring a subject
CN111062244B (zh) 一种基于机器视觉的坐姿提醒方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant