CN113298051A - 基于感知地毯标定的人体形体精确测量系统及方法 - Google Patents

基于感知地毯标定的人体形体精确测量系统及方法 Download PDF

Info

Publication number
CN113298051A
CN113298051A CN202110841149.2A CN202110841149A CN113298051A CN 113298051 A CN113298051 A CN 113298051A CN 202110841149 A CN202110841149 A CN 202110841149A CN 113298051 A CN113298051 A CN 113298051A
Authority
CN
China
Prior art keywords
person
carpet
joint
video image
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110841149.2A
Other languages
English (en)
Other versions
CN113298051B (zh
Inventor
蒋湘涛
丁亚运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Soul Psychology Application Technology Co ltd
Original Assignee
Hunan Soul Psychology Application Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Soul Psychology Application Technology Co ltd filed Critical Hunan Soul Psychology Application Technology Co ltd
Priority to CN202110841149.2A priority Critical patent/CN113298051B/zh
Publication of CN113298051A publication Critical patent/CN113298051A/zh
Application granted granted Critical
Publication of CN113298051B publication Critical patent/CN113298051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036Measuring load distribution, e.g. podologic studies
    • A61B5/1038Measuring plantar pressure during gait
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077Measuring of profiles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于感知地毯标定的人体形体精确测量系统及方法,该系统包括图像采集器、感知地毯模块、关节识别模块和姿势测量模块,图像采集器用于拍摄被测人员的视频图像;感知地毯模块用于感知被测人员的压力源在地毯上的位置和压力大小;关节识别模块用于采用人体姿势估计的深度学习模型来识别图像采集器拍摄的视频图像中的各个关节点,并在图像采集器中形成的被测人员的视频图像文件中输出各个关节点的相关位置信息;姿势测量模块用于根据在数据库中预先构建的基准数据模型、感知到的双脚站立压力和位置信息、以及识别到的关节点信息,完成对被测人员的姿势测量。本发明姿势测量准确度高;可精确测量被测人员非严格正面站立时的姿势。

Description

基于感知地毯标定的人体形体精确测量系统及方法
技术领域
本发明涉及人体姿势信息技术领域,尤其公开了一种基于感知地毯标定的人体形体精确测量系统及方法。
背景技术
现有基于摄像头标定的视频图像中人体身高测量的系统,包括标定点选取模块、摄像头参数计算模块、体身高测量端点选取模块和人体身高计算模块;还包括一种基于摄像头标定的视频图像中人体身高测量的方法。采用该系统及方法,在计算获得摄像头参数及其相应的空间变换矩阵后,仅依靠监控视频图像数据即可进行地面上直立人员身高的测量;简化了身高计算过程;通过同一位置点的图像空间坐标和实际空间坐标的对应关系计算摄像头参数;结合摄像头参数和脚底点、头顶点测量端点信息,利用身高计算算法,计算图像中地面上直立人员的身高。一、该方法只能测量身高,并且被测人员的站立位置影响测量的准确度。二、只基于图像的方法,当被测人员非严格正面站立时,无法保证测量的精度。
因此,现有基于摄像头标定的人体身高测量系统中存在的上述缺陷,是一件亟待解决的技术问题。
发明内容
本发明提供了一种基于感知地毯标定的人体形体精确测量系统及方法,旨在解决现有基于摄像头标定的人体身高测量系统中存在的上述缺陷的技术问题。
本发明的一方面涉及一种基于感知地毯标定的人体形体精确测量系统,包括:
图像采集器,用于拍摄被测人员的视频图像并形成被测人员的视频图像文件;
感知地毯模块,用于感知被测人员的压力源在地毯上的位置和压力大小,形成被测人员的双脚站立压力和位置信息;
关节识别模块,用于采用人体姿势估计的深度学习模型来识别图像采集器拍摄的视频图像中的各个关节点,并在图像采集器中形成的被测人员的视频图像文件中输出各个关节点的相关位置信息;
姿势测量模块,用于根据在数据库中预先构建的基准数据模型、感知地毯模块感知到的双脚站立压力和位置信息、以及关节识别模块识别到的关节点信息,完成对被测人员的姿势测量。
进一步地,基于感知地毯标定的人体形体精确测量系统还包括:
基准数据模型构建模块,用于依据人员性别、体重、身高、四肢长度和关节位置信息维度,预先在数据库中构建基准数据模型。
进一步地,基于感知地毯标定的人体形体精确测量系统还包括:
三维空间构建模块,用于构建地毯长宽二维和垂直高度合围而成的三维空间。
进一步地,关节识别模块包括关节识别单元和关节标定单元,
关节识别单元,用于识别图像采集器形成的视频图像文件中被测人员的各个关节点;
关节标定单元,用于根据关节识别单元识别到的被测人员的各个关节点来标定被测人员姿势在视频图像文件中的偏移位置。
进一步地,姿势测量模块包括空间变换运算模块和姿势计算模块,
空间变换运算模块,用于根据被测人员的双脚站立压力和位置信息来计算被测人员在感知地毯上的方向角,按照无方向偏差且置于中心目标的原则,来对视频图像文件中各个关节点经过三维场景里的旋转和平移空间变换运算;
姿势计算模块,用于将视频图像文件空间变换运算后取得姿势图像,并计算该姿势图像中的各个关节点,对被测人员的姿势进行测量;
所述经过三维场景里的旋转空间变换运算的公式为:
Figure 800213DEST_PATH_IMAGE001
其中,各个关节点在三维场景中绕X轴的旋转,关节点P(x,y,z)绕x轴旋转θ角后得到点P’(x’,y’,z’);
若在空间的平移量为
Figure 336236DEST_PATH_IMAGE002
,则三维场景里的平移空间变换运算的公式为:
Figure 836488DEST_PATH_IMAGE003
其中,关节点P(x,y,z)在空间经平移后得到点P’(x’,y’,z’)。
本发明的另一方面涉及一种基于感知地毯标定的人体形体精确测量方法,包括以下步骤:
拍摄被测人员的视频图像并形成被测人员的视频图像文件;
感知被测人员的压力源在地毯上的位置和压力大小,形成被测人员的双脚站立压力和位置信息;
采用人体姿势估计的深度学习模型来识别拍摄的视频图像中的各个关节点,并在形成的被测人员的视频图像文件中输出各个关节点的相关位置信息;
根据在数据库中预先构建的基准数据模型、感知到的双脚站立压力和位置信息、以及识别到的关节点信息,完成对被测人员的姿势测量。
进一步地,根据在数据库中预先构建的基准数据模型、感知到的双脚站立压力和位置信息、以及识别到的关节点信息,完成对被测人员的姿势测量的步骤之前包括:
依据人员性别、体重、身高、四肢长度和关节位置信息维度,预先在数据库中构建基准数据模型。
进一步地,感知被测人员的压力源在地毯上的位置和压力大小,形成被测人员的双脚站立压力和位置信息的步骤之前包括:
构建地毯长宽二维和垂直高度合围而成的三维空间。
进一步地,采用人体姿势估计的深度学习模型来识别拍摄的视频图像中的各个关节点,并在形成的被测人员的视频图像文件中输出各个关节点的相关位置信息的步骤包括:
识别形成的视频图像文件中被测人员的各个关节点;
根据识别到的被测人员的各个关节点来标定被测人员姿势在视频图像文件中的偏移位置。
进一步地,根据在数据库中预先构建的基准数据模型、感知到的双脚站立压力和位置信息、以及识别到的关节点信息,完成对被测人员的姿势测量的步骤包括:
根据被测人员的双脚站立压力和位置信息来计算被测人员在感知地毯上的方向角,按照无方向偏差且置于中心目标的原则,来对视频图像文件中各个关节点经过三维场景里的旋转和平移空间变换运算;
将视频图像文件空间变换运算后取得姿势图像,并计算该姿势图像中的各个关节点,对被测人员的姿势进行测量;
所述经过三维场景里的旋转空间变换运算的公式为:
Figure 319422DEST_PATH_IMAGE001
其中,各个关节点在三维场景中绕X轴的旋转,关节点P(x,y,z)绕x轴旋转θ角后得到点P’(x’,y’,z’)。
若在空间的平移量为
Figure 57570DEST_PATH_IMAGE002
,则三维场景里的平移空间变换运算的公式为:
Figure 233337DEST_PATH_IMAGE003
关节点P(x,y,z)在空间经平移后得到点P’(x’,y’,z’)。
本发明所取得的有益效果为:
本发明公开一种基于感知地毯标定的人体形体精确测量系统及方法,该基于感知地毯标定的人体形体精确测量系统包括图像采集器、感知地毯模块、关节识别模块和姿势测量模块,通过图像采集器拍摄被测人员的视频图像并形成被测人员的视频图像文件;感知地毯模块感知被测人员的压力源在地毯上的位置和压力大小,形成被测人员的双脚站立压力和位置信息;关节识别模块采用人体姿势估计的深度学习模型来识别图像采集器拍摄的视频图像中的各个关节点,并在图像采集器中形成的被测人员的视频图像文件中输出各个关节点的相关位置信息;姿势测量模块根据在数据库中预先构建的基准数据模型、感知地毯模块感知到的双脚站立压力和位置信息、以及关节识别模块识别到的关节点信息,完成对被测人员的姿势测量。本发明公开的基于感知地毯标定的人体形体精确测量系统及方法,可实现被测人员的姿势测量,并且不会因被测人员的站立位置而影响测量的准确度;基于图像和感知地毯相结合,可精确测量被测人员非严格正面站立时的姿势。
附图说明
图1为本发明提供的基于感知地毯标定的人体形体精确测量系统第一实施例的功能框图;
图2为本发明提供的基于感知地毯标定的人体形体精确测量系统第一实施例的三维应用场景示意图;
图3为本发明提供的基于感知地毯标定的人体形体精确测量系统第二实施例的功能框图;
图4为本发明提供的基于感知地毯标定的人体形体精确测量系统第三实施例的功能框图;
图5为图1中所示的关节识别模块一实施例的功能模块示意图;
图6为图1中所示的姿势测量模块一实施例的功能模块示意图;
图7为发明提供的感知地毯标定的人体形体精确测量方法第一实施例的流程示意图;
图8为发明提供的感知地毯标定的人体形体精确测量方法第二实施例的流程示意图;
图9为发明提供的感知地毯标定的人体形体精确测量方法第三实施例的流程示意图;
图10为图7中所示的采用人体姿势估计的深度学习模型来识别拍摄的视频图像中的各个关节点,并在形成的被测人员的视频图像文件中输出各个关节点的相关位置信息的步骤的细化流程示意图;
图11为图7中所示的根据在数据库中预先构建的基准数据模型、感知到的双脚站立压力和位置信息、以及识别到的关节点信息,完成对被测人员的姿势测量的步骤的细化流程示意图。
附图标号说明:
10、图像采集器;20、感知地毯模块;30、关节识别模块;40、姿势测量模块;50、基准数据模型构建模块;60、三维空间构建模块;31、关节识别单元;32、关节标定单元;41、空间变换运算模块;42、姿势计算模块。
具体实施方式
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
如图1和图2所示,本发明第一实施例提出一种基于感知地毯标定的人体形体精确测量系统,包括图像采集器10、感知地毯模块20、关节识别模块30和姿势测量模块40,其中,图像采集器10,用于拍摄被测人员的视频图像并形成被测人员的视频图像文件;感知地毯模块20,用于感知被测人员的压力源在地毯上的位置和压力大小,形成被测人员的双脚站立压力和位置信息;关节识别模块30,用于采用人体姿势估计的深度学习模型来识别图像采集器拍摄的视频图像中的各个关节点,并在图像采集器10中形成的被测人员的视频图像文件中输出各个关节点的相关位置信息;姿势测量模块40,用于根据在数据库中预先构建的基准数据模型、感知地毯模块20感知到的双脚站立压力和位置信息、以及关节识别模块30识别到的关节点信息,完成对被测人员的姿势测量。其中,图像采集器10拍摄被测人员的视频图像并形成被测人员的视频图像文件,可采用摄像装置,例如采用双目摄像头。感知地毯模块包括感知地毯,感知地毯上设有用于感知被测人员的压力源在地毯上的位置的位置传感器、以及用于测量被测人员的压力大小的压力传感器。关节识别模块30采用基于stacked hourglass人体姿势估计的深度学习模型来识别视频图像中的各关节(包括头部、脖子、左右肩部、左右肘部、左右手腕部、左右髋部、左右膝部、左右踝部,共14个关节),并输出在图像中的相关位置信息。姿势测量模块40根据内建的模型数据信息、感知地毯模块和关节识别测量模块所提供的测量和计算信息,完成对被测人的姿势精准测量。本发明提供的基于感知地毯标定的人体形体精确测量系统,对被测人站立的位置和方向均没有限制,位置通过感知地毯可以直接测量,根据两脚的站立位置和各脚前、后脚掌压力的区别,通过空间变换运算可确定被测人在感知地毯上的站立方向;充分考虑了姿势与性别、体重以及身高各因素的相关性,测量的精确性高。
优选地,请见图3,图3为本发明提供的基于感知地毯标定的人体形体精确测量系统第二实施例的功能框图,在第一实施例的基础上,本实施例提供的基于感知地毯标定的人体形体精确测量系统,还包括基准数据模型构建模块50,基准数据模型构建模块50,用于依据人员性别、体重、身高、四肢长度和关节位置信息维度,预先在数据库中构建基准数据模型。在本实施例中,基准数据模型构建模块50用于构建基准数据模型,主要依据性别、体重、身高、四肢长度、关节位置等信息维度;利用基准数据模型以及图像采集器所采集的图像文件完成对关节识别模块的训练。本实施例提供的基于感知地毯标定的人体形体精确测量系统,可实现被测人员的姿势测量,并且不会因被测人员的站立位置而影响测量的准确度;基于图像和感知地毯相结合,可精确测量被测人员非严格正面站立时的姿势。
进一步地,参见图4,图4为本发明提供的基于感知地毯标定的人体形体精确测量系统第三实施例的功能框图,在本实施例中,基于感知地毯标定的人体形体精确测量系统还包括三维空间构建模块60,三维空间构建模块60,用于构建地毯长宽二维和垂直高度合围而成的三维空间。在本实施例中,被测人员站立在三维空间构建模块60构建的由感知地毯长宽二维和垂直高度构成的三维空间里,测量精度高。本实施例提供的基于感知地毯标定的人体形体精确测量系统,可实现被测人员的姿势测量,并且不会因被测人员的站立位置而影响测量的准确度;基于图像和感知地毯相结合,可精确测量被测人员非严格正面站立时的姿势。
优选地,请见图5,图5为图1中所示的关节识别模块一实施例的功能模块示意图,在本实施例中,关节识别模块30包括关节识别单元31和关节标定单元32,其中,关节识别单元31,用于识别图像采集器10形成的视频图像文件中被测人员的各个关节点;关节标定单元32,用于根据关节识别单元31识别到的被测人员的各个关节点来标定被测人员姿势在视频图像文件中的偏移位置。本实施例提供的基于感知地毯标定的人体形体精确测量系统,关节识别单元31用于对视频图像中的被测人员各个关节点进行识别;关节标定单元32用于标定关节识别单元31识别的被测人员各个关节点在视频图像文件中的偏移位置,从而精确测量被测人员非严格正面站立时的姿势,并且不会因被测人员的站立位置而影响测量的准确度。
进一步地,参见图6,图6为图1中所示的姿势测量模块一实施例的功能模块示意图,在本实施例中,姿势测量模块40包括空间变换运算模块41和姿势计算模块42,其中,空间变换运算模块41,用于根据被测人员的双脚站立压力和位置信息来计算被测人员在感知地毯上的方向角,按照无方向偏差且置于中心目标的原则,来对视频图像文件中各个关节点经过三维场景里的旋转和平移空间变换运算;姿势计算模块42,用于将视频图像文件空间变换运算后取得姿势图像,并计算该姿势图像中的各个关节点,对被测人员的姿势进行测量。
空间变换运算模块41如在三维场景中绕X轴的旋转,当一个点P(x,y,z)绕x轴旋转θ角得到点P’(x’,y’,z’)。由于是绕x轴进行的旋转,因此x坐标保持不变,y和z组成的yoz(o是坐标原点)平面上进行的是一个二维的旋转,于是有:
x′=x (1) y′=ycosθ−zsinθ (2) z′=ysinθ+zcosθ (3)
写成(4x4)矩阵的形式为:
Figure 486464DEST_PATH_IMAGE001
(4)
在公式(4)中,各个关节点在三维场景中绕X轴的旋转,关节点P(x,y,z)绕x轴旋转θ角后得到点P’(x’,y’,z’)。
若在空间的平移量为
Figure 976351DEST_PATH_IMAGE002
,则三维场景里的平移空间变换运算的公式为:
Figure 365744DEST_PATH_IMAGE004
(5)
在公式(5)中,关节点P(x,y,z)在空间经平移后得到点P’(x’,y’,z’)。
姿势计算模块42将视频图像文件空间变换运算后取得姿势图像,计算最终的测量信息。
本实施例提供的基于感知地毯标定的人体形体精确测量系统,通过根据被测人员的双脚站立压力和位置信息来计算被测人员在感知地毯上的方向角,按照无方向偏差且置于中心目标的原则,来对视频图像文件中各个关节点经过三维场景里的旋转和平移空间变换运算;将视频图像文件空间变换运算后取得姿势图像,并计算该姿势图像中的各个关节点,对被测人员的姿势进行测量。本实施例公开的基于感知地毯标定的人体形体精确测量系统,可实现被测人员的姿势测量,并且不会因被测人员的站立位置而影响测量的准确度;基于图像和感知地毯相结合,可精确测量被测人员非严格正面站立时的姿势。
请见图7,图7为发明提供的感知地毯标定的人体形体精确测量方法第一实施例的流程示意图,在本实施例中,该基于感知地毯标定的人体形体精确测量方法,包括以下步骤:
步骤S100、拍摄被测人员的视频图像并形成被测人员的视频图像文件。
通过图像采集器拍摄被测人员的视频图像并形成被测人员的视频图像文件,图像采集器可采用摄像装置,例如采用双目摄像头。
步骤S200、感知被测人员的压力源在地毯上的位置和压力大小,形成被测人员的双脚站立压力和位置信息。
使用感知地毯模块感知被测人员的压力源在地毯上的位置和压力大小,形成被测人员的双脚站立压力和位置信息。感知地毯模块包括感知地毯,感知地毯上设有用于感知被测人员的压力源在地毯上的位置的位置传感器、以及用于测量被测人员的压力大小的压力传感器。
步骤S300、采用人体姿势估计的深度学习模型来识别拍摄的视频图像中的各个关节点,并在形成的被测人员的视频图像文件中输出各个关节点的相关位置信息。
关节识别模块采用基于stacked hourglass人体姿势估计的深度学习模型来识别视频图像中的各关节(包括头部、脖子、左右肩部、左右肘部、左右手腕部、左右髋部、左右膝部、左右踝部,共14个关节),并输出在图像中的相关位置信息。
步骤S400、根据在数据库中预先构建的基准数据模型、感知到的双脚站立压力和位置信息、以及识别到的关节点信息,完成对被测人员的姿势测量。
姿势测量模块根据内建的模型数据信息、感知地毯模块和关节识别测量模块所提供的测量和计算信息,完成对被测人的姿势精准测量。
本实施例提供的基于感知地毯标定的人体形体精确测量方法,同现有技术相比,通过拍摄被测人员的视频图像并形成被测人员的视频图像文件;感知被测人员的压力源在地毯上的位置和压力大小,形成被测人员的双脚站立压力和位置信息;采用人体姿势估计的深度学习模型来识别拍摄的视频图像中的各个关节点,并在形成的被测人员的视频图像文件中输出各个关节点的相关位置信息;根据在数据库中预先构建的基准数据模型、感知到的双脚站立压力和位置信息、以及识别到的关节点信息,完成对被测人员的姿势测量。本实施例提供的基于感知地毯标定的人体形体精确测量方法,可实现被测人员的姿势测量,并且不会因被测人员的站立位置而影响测量的准确度;基于图像和感知地毯相结合,可精确测量被测人员非严格正面站立时的姿势。
进一步地,请见图8,图8为发明提供的感知地毯标定的人体形体精确测量方法第二实施例的流程示意图,在第一实施例的基础上,该感知地毯标定的人体形体精确测量方法,步骤S400之前包括:
步骤S400A、依据人员性别、体重、身高、四肢长度和关节位置信息维度,预先在数据库中构建基准数据模型。
基准数据模型构建模块依据人员性别、体重、身高、四肢长度和关节位置信息维度,预先在数据库中构建基准数据模型。用于构建的基准数据模型,主要依据性别、体重、身高、四肢长度、关节位置等信息维度;利用基准数据模型以及图像采集器所采集的图像文件完成对关节识别模块的训练。
本实施例提供的基于感知地毯标定的人体形体精确测量方法,同现有技术相比,依据人员性别、体重、身高、四肢长度和关节位置信息维度,预先在数据库中构建基准数据模型。本实施例提供的基于感知地毯标定的人体形体精确测量方法,可实现被测人员的姿势测量,并且不会因被测人员的站立位置而影响测量的准确度;基于图像和感知地毯相结合,可精确测量被测人员非严格正面站立时的姿势。
优选地,参见图9,图9为发明提供的感知地毯标定的人体形体精确测量方法第三实施例的流程示意图,在本实施例中,步骤S200之前包括:
步骤S200A、构建地毯长宽二维和垂直高度合围而成的三维空间。
采用三维空间构建模块构建地毯长宽二维和垂直高度合围而成的三维空间。被测人员站立在三维空间构建模块构建的由感知地毯长宽二维和垂直高度构成的三维空间里,测量精度高。
本实施例提供的基于感知地毯标定的人体形体精确测量方法,同现有技术相比,构建地毯长宽二维和垂直高度合围而成的三维空间。本实施例提供的基于感知地毯标定的人体形体精确测量方法,可实现被测人员的姿势测量,并且不会因被测人员的站立位置而影响测量的准确度;基于图像和感知地毯相结合,可精确测量被测人员非严格正面站立时的姿势。
进一步地,请见图10,图10为图7中所示步骤S300的细化流程示意图,在本实施例中,步骤S300包括:
步骤S310、识别形成的视频图像文件中被测人员的各个关节点。
关节识别单元用于对视频图像中的被测人员各个关节点进行识别。
步骤S320、根据识别到的被测人员的各个关节点来标定被测人员姿势在视频图像文件中的偏移位置。
关节标定单元用于标定关节识别单元识别的被测人员各个关节点在视频图像文件中的偏移位置,从而精确测量被测人员非严格正面站立时的姿势,并且不会因被测人员的站立位置而影响测量的准确度。
本实施例提供的基于感知地毯标定的人体形体精确测量方法,同现有技术相比,通过识别形成的视频图像文件中被测人员的各个关节点;根据识别到的被测人员的各个关节点来标定被测人员姿势在视频图像文件中的偏移位置。本实施例提供的基于感知地毯标定的人体形体精确测量方法,可实现被测人员的姿势测量,并且不会因被测人员的站立位置而影响测量的准确度;基于图像和感知地毯相结合,可精确测量被测人员非严格正面站立时的姿势。
优选地,参见图11,图11为图7中所示步骤S400的细化流程示意图,在本实施例中,步骤S400包括:
步骤S410、根据被测人员的双脚站立压力和位置信息来计算被测人员在感知地毯上的方向角,按照无方向偏差且置于中心目标的原则,来对视频图像文件中各个关节点经过三维场景里的旋转和平移空间变换运算。
空间变换运算模块如在三维场景中绕X轴的旋转,当一个点P(x,y,z)绕x轴旋转θ角得到点P’(x’,y’,z’)。由于是绕x轴进行的旋转,因此x坐标保持不变,y和z组成的yoz(o是坐标原点)平面上进行的是一个二维的旋转,于是有:
x′=x (6) y′=ycosθ−zsinθ (7) z′=ysinθ+zcosθ (8)
写成(4x4)矩阵的形式为:
Figure 918604DEST_PATH_IMAGE001
(9)
在公式(8)中,各个关节点在三维场景中绕X轴的旋转,关节点P(x,y,z)绕x轴旋转θ角后得到点P’(x’,y’,z’)。
若在空间的平移量为
Figure 659026DEST_PATH_IMAGE002
,则三维场景里的平移空间变换运算的公式为:
Figure 218184DEST_PATH_IMAGE004
(10)
在公式(10)中,关节点P(x,y,z)在空间经平移后得到点P’(x’,y’,z’)。
步骤S420、将视频图像文件空间变换运算后取得姿势图像,并计算该姿势图像中的各个关节点,对被测人员的姿势进行测量。
姿势计算模块将视频图像文件空间变换运算后取得姿势图像,计算最终的测量信息。
本实施例提供的基于感知地毯标定的人体形体精确测量方法,同现有技术相比,通过根据被测人员的双脚站立压力和位置信息来计算被测人员在感知地毯上的方向角,按照无方向偏差且置于中心目标的原则,来对视频图像文件中各个关节点经过三维场景里的旋转和平移空间变换运算;将视频图像文件空间变换运算后取得姿势图像,并计算该姿势图像中的各个关节点,对被测人员的姿势进行测量。本实施例公开的基于感知地毯标定的人体形体精确测量方法,可实现被测人员的姿势测量,并且不会因被测人员的站立位置而影响测量的准确度;基于图像和感知地毯相结合,可精确测量被测人员非严格正面站立时的姿势。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于感知地毯标定的人体形体精确测量系统,其特征在于,包括:
图像采集器(10),用于拍摄被测人员的视频图像并形成被测人员的视频图像文件;
感知地毯模块(20),用于感知被测人员的压力源在地毯上的位置和压力大小,形成被测人员的双脚站立压力和位置信息;
关节识别模块(30),用于采用人体姿势估计的深度学习模型来识别所述图像采集器拍摄的视频图像中的各个关节点,并在所述图像采集器(10)中形成的被测人员的视频图像文件中输出各个关节点的相关位置信息;
姿势测量模块(40),用于根据在数据库中预先构建的基准数据模型、所述感知地毯模块(20)感知到的双脚站立压力和位置信息、以及所述关节识别模块(30)识别到的关节点信息,完成对被测人员的姿势测量。
2.如权利要求1所述的基于感知地毯标定的人体形体精确测量系统,其特征在于,所述基于感知地毯标定的人体形体精确测量系统还包括:
基准数据模型构建模块(50),用于依据人员性别、体重、身高、四肢长度和关节位置信息维度,预先在数据库中构建基准数据模型。
3.如权利要求1所述的基于感知地毯标定的人体形体精确测量系统,其特征在于,所述基于感知地毯标定的人体形体精确测量系统还包括:
三维空间构建模块(60),用于构建地毯长宽二维和垂直高度合围而成的三维空间。
4.如权利要求1所述的基于感知地毯标定的人体形体精确测量系统,其特征在于,所述关节识别模块(30)包括关节识别单元(31)和关节标定单元(32),
所述关节识别单元(31),用于识别所述图像采集器(10)形成的视频图像文件中被测人员的各个关节点;
所述关节标定单元(32),用于根据所述关节识别单元(31)识别到的被测人员的各个关节点来标定被测人员姿势在视频图像文件中的偏移位置。
5.如权利要求1所述的基于感知地毯标定的人体形体精确测量系统,其特征在于,所述姿势测量模块(40)包括空间变换运算模块(41)和姿势计算模块(42),
所述空间变换运算模块(41),用于根据被测人员的双脚站立压力和位置信息来计算被测人员在感知地毯上的方向角,按照无方向偏差且置于中心目标的原则,来对视频图像文件中各个关节点经过三维场景里的旋转和平移空间变换运算;
所述姿势计算模块(42),用于将视频图像文件空间变换运算后取得姿势图像,并计算该姿势图像中的各个关节点,对被测人员的姿势进行测量;
所述经过三维场景里的旋转空间变换运算的公式为:
Figure DEST_PATH_IMAGE001
其中,各个关节点在三维场景中绕X轴的旋转,关节点P(x,y,z)绕x轴旋转θ角后得到点P’(x’,y’,z’);
若在空间的平移量为
Figure 368512DEST_PATH_IMAGE002
,则三维场景里的平移空间变换运算的公式为:
Figure DEST_PATH_IMAGE003
其中,关节点P(x,y,z)在空间经平移后得到点P’(x’,y’,z’)。
6.一种基于感知地毯标定的人体形体精确测量方法,其特征在于,包括以下步骤:
拍摄被测人员的视频图像并形成被测人员的视频图像文件;
感知被测人员的压力源在地毯上的位置和压力大小,形成被测人员的双脚站立压力和位置信息;
采用人体姿势估计的深度学习模型来识别拍摄的视频图像中的各个关节点,并在形成的被测人员的视频图像文件中输出各个关节点的相关位置信息;
根据在数据库中预先构建的基准数据模型、感知到的双脚站立压力和位置信息、以及识别到的关节点信息,完成对被测人员的姿势测量。
7.如权利要求6所述的基于感知地毯标定的人体形体精确测量方法,其特征在于,所述根据在数据库中预先构建的基准数据模型、感知到的双脚站立压力和位置信息、以及识别到的关节点信息,完成对被测人员的姿势测量的步骤之前包括:
依据人员性别、体重、身高、四肢长度和关节位置信息维度,预先在数据库中构建基准数据模型。
8.如权利要求6所述的基于感知地毯标定的人体形体精确测量方法,其特征在于,所述感知被测人员的压力源在地毯上的位置和压力大小,形成被测人员的双脚站立压力和位置信息的步骤之前包括:
构建地毯长宽二维和垂直高度合围而成的三维空间。
9.如权利要求6所述的基于感知地毯标定的人体形体精确测量方法,其特征在于,所述采用人体姿势估计的深度学习模型来识别拍摄的视频图像中的各个关节点,并在形成的被测人员的视频图像文件中输出各个关节点的相关位置信息的步骤包括:
识别形成的视频图像文件中被测人员的各个关节点;
根据识别到的被测人员的各个关节点来标定被测人员姿势在视频图像文件中的偏移位置。
10.如权利要求6所述的基于感知地毯标定的人体形体精确测量方法,其特征在于,所述根据在数据库中预先构建的基准数据模型、感知到的双脚站立压力和位置信息、以及识别到的关节点信息,完成对被测人员的姿势测量的步骤包括:
根据被测人员的双脚站立压力和位置信息来计算被测人员在感知地毯上的方向角,按照无方向偏差且置于中心目标的原则,来对视频图像文件中各个关节点经过三维场景里的旋转和平移空间变换运算;
将视频图像文件空间变换运算后取得姿势图像,并计算该姿势图像中的各个关节点,对被测人员的姿势进行测量;
所述经过三维场景里的旋转空间变换运算的公式为:
Figure 470984DEST_PATH_IMAGE001
其中,各个关节点在三维场景中绕X轴的旋转,关节点P(x,y,z)绕x轴旋转θ角后得到点P’(x’,y’,z’);
若在空间的平移量为
Figure 218360DEST_PATH_IMAGE002
,则三维场景里的平移空间变换运算的公式为:
Figure 632024DEST_PATH_IMAGE004
其中,关节点P(x,y,z)在空间经平移后得到点P’(x’,y’,z’)。
CN202110841149.2A 2021-07-26 2021-07-26 基于感知地毯标定的人体形体精确测量系统及方法 Active CN113298051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110841149.2A CN113298051B (zh) 2021-07-26 2021-07-26 基于感知地毯标定的人体形体精确测量系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110841149.2A CN113298051B (zh) 2021-07-26 2021-07-26 基于感知地毯标定的人体形体精确测量系统及方法

Publications (2)

Publication Number Publication Date
CN113298051A true CN113298051A (zh) 2021-08-24
CN113298051B CN113298051B (zh) 2021-09-28

Family

ID=77331034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110841149.2A Active CN113298051B (zh) 2021-07-26 2021-07-26 基于感知地毯标定的人体形体精确测量系统及方法

Country Status (1)

Country Link
CN (1) CN113298051B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105125216A (zh) * 2015-08-29 2015-12-09 深圳市老年医学研究所 一种基于足底压力的步态检测系统
CN106445138A (zh) * 2016-09-21 2017-02-22 中国农业大学 基于3d关节点坐标的一种人体姿态特征提取方法
CN106667493A (zh) * 2017-01-22 2017-05-17 河北大学 人体平衡性评估系统及评估方法
CN108211318A (zh) * 2018-01-23 2018-06-29 北京易智能科技有限公司 基于多方感知的竞走运动姿态分析方法
CN108665956A (zh) * 2018-06-05 2018-10-16 陈燕 体能和肌肉能力的综合评估系统及方法
CN108968965A (zh) * 2018-06-11 2018-12-11 郑州大学 便携式人体平衡评测训练系统
CN109276237A (zh) * 2018-11-14 2019-01-29 郑州大学 一种全向移动的脑卒中患者平衡能力评测与训练系统
CN111358471A (zh) * 2020-04-15 2020-07-03 青岛一小步科技有限公司 一种身体姿态检测装置及检测方法
CN111582108A (zh) * 2020-04-28 2020-08-25 河北工业大学 一种步态识别及意图感知的方法
CN112998694A (zh) * 2021-02-03 2021-06-22 上海橙捷健康科技有限公司 一种人体下肢关节角度的测量方法及系统
CN113063411A (zh) * 2020-06-29 2021-07-02 河北工业大学 外骨骼评价系统及其使用方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105125216A (zh) * 2015-08-29 2015-12-09 深圳市老年医学研究所 一种基于足底压力的步态检测系统
CN106445138A (zh) * 2016-09-21 2017-02-22 中国农业大学 基于3d关节点坐标的一种人体姿态特征提取方法
CN106667493A (zh) * 2017-01-22 2017-05-17 河北大学 人体平衡性评估系统及评估方法
CN108211318A (zh) * 2018-01-23 2018-06-29 北京易智能科技有限公司 基于多方感知的竞走运动姿态分析方法
CN108665956A (zh) * 2018-06-05 2018-10-16 陈燕 体能和肌肉能力的综合评估系统及方法
CN108968965A (zh) * 2018-06-11 2018-12-11 郑州大学 便携式人体平衡评测训练系统
CN109276237A (zh) * 2018-11-14 2019-01-29 郑州大学 一种全向移动的脑卒中患者平衡能力评测与训练系统
CN111358471A (zh) * 2020-04-15 2020-07-03 青岛一小步科技有限公司 一种身体姿态检测装置及检测方法
CN111582108A (zh) * 2020-04-28 2020-08-25 河北工业大学 一种步态识别及意图感知的方法
CN113063411A (zh) * 2020-06-29 2021-07-02 河北工业大学 外骨骼评价系统及其使用方法
CN112998694A (zh) * 2021-02-03 2021-06-22 上海橙捷健康科技有限公司 一种人体下肢关节角度的测量方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. SHIMADA 等: "Human body posture measurement by matching foot pressure distribution to video images", 《PROCEEDINGS 15TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION. ICPR-2000》 *
曾湛 等: "基于足底压力和关节运动信息的步态检测系统设计", 《计算机测量与控制》 *

Also Published As

Publication number Publication date
CN113298051B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
US10460517B2 (en) Mobile device human body scanning and 3D model creation and analysis
EP2718668B1 (en) Sensor positioning for 3d scanning
Camarillo et al. Vision based 3-D shape sensing of flexible manipulators
US10813715B1 (en) Single image mobile device human body scanning and 3D model creation and analysis
CN111243002A (zh) 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法
CN108662987B (zh) 2d摄像式激光测量头的标定方法
WO2016208291A1 (ja) 測定装置及び測定方法
CN105608737B (zh) 一种基于机器学习的人体足部三维重建方法
JP2012042396A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN108413917B (zh) 非接触式三维测量系统、非接触式三维测量方法及测量装置
CN102679964B (zh) 步态参数测量系统及其数据处理装置和方法
Isa et al. Volumetric error modelling of a stereo vision system for error correction in photogrammetric three-dimensional coordinate metrology
TW201310004A (zh) 編列數位影像關係裝置
CN114663463A (zh) 关节活动度的测量方法、系统、设备、电子设备和存储介质
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN113487726B (zh) 动作捕捉系统和方法
CN113298051B (zh) 基于感知地毯标定的人体形体精确测量系统及方法
JP2011022084A (ja) 三次元姿勢測定装置および三次元姿勢測定方法
KR101398193B1 (ko) 캘리브레이션 장치 및 방법
Karan Accuracy improvements of consumer-grade 3D sensors for robotic applications
JP2014117409A (ja) 身体関節位置の計測方法および装置
CN106872990A (zh) 一种三维空间目标精准定位和追踪方法
CN113420702A (zh) 基于人脸进行温度检测的方法、装置、系统以及存储介质
Sobel et al. Range of motion measurements using motion capture data and augmented reality visualisation
Katović et al. Development of computer system for digital measurement of human body: initial findings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant