CN117457193A - 一种基于人体关键点检测的体态健康监测方法及系统 - Google Patents

一种基于人体关键点检测的体态健康监测方法及系统 Download PDF

Info

Publication number
CN117457193A
CN117457193A CN202311779378.1A CN202311779378A CN117457193A CN 117457193 A CN117457193 A CN 117457193A CN 202311779378 A CN202311779378 A CN 202311779378A CN 117457193 A CN117457193 A CN 117457193A
Authority
CN
China
Prior art keywords
human body
detection
detection frame
key points
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311779378.1A
Other languages
English (en)
Other versions
CN117457193B (zh
Inventor
李月华
唐哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202311779378.1A priority Critical patent/CN117457193B/zh
Publication of CN117457193A publication Critical patent/CN117457193A/zh
Application granted granted Critical
Publication of CN117457193B publication Critical patent/CN117457193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)

Abstract

本发明公开了一种基于人体关键点检测的体态健康监测方法及系统，其方法包括如下步骤：基于光学的人体图像采集、人体关键点检测、人体检测框识别、多人体跟踪、人体关键部位姿态检测、不良体态预警。本发明可同时对出现在视域范围内的多个人体进行体态健康检测，并分别给予不良体态预警，生成体态健康报告。

Description

一种基于人体关键点检测的体态健康监测方法及系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于人体关键点检测的体态健康监测方法及系统。
背景技术
随着大数据和人工智能等技术的飞速发展，智能科技已经渗透到了人们生活的方方面面，在无人驾驶汽车、人脸识别、声纹识别、医学图像处理等方面都有了广泛的应用。尤其是在人工智能赋能医学研究方面，医学人工智能已成为现代医学研究的主流热点。主要的研究方向包括医学影像和病理图像的智能分割、人工智能辅助疾病诊断、人工智能辅助疾病预后评估等。
在人体健康监测方面，现有技术大多聚焦于接收皮肤表面信号的可穿戴设备。除了接触式的设备外，通过传感器实时监测生命体态数据的非接触式设备也可为人们日常生活中的医疗就诊提供有效可靠的数据参考，且具有安全性高、覆盖面广、设备复用性强等优势。非接触式的设备多用于监测生命体征，以便在心脏病突发、呼吸暂停等危险情况给出危险预警。现有设备难以满足大多数亚健康人群的需求，亟需一种基于人体关键点检测的体态健康监测方法及系统弥补这一缺口。
发明内容
本发明要克服现有技术的上述缺点，提出一种基于人体关键点检测的体态健康监测方法及系统。
本发明的第一个发明涉及一种基于人体关键点检测的体态健康监测方法，包括以下步骤：
步骤一：利用光学传感器实时采集人体图像数据，并采集人体运动视频后转换为连续运动的序列图像；
步骤二：针对采集到的图像做人体关键点检测，识别并定位出视域范围内所有的人体关键点；
步骤三：针对采集到的图像做人体检测框识别，识别并定位出视域范围内所有的人体检测框，并通过非极大值抑制去除重复的检测框；
步骤四：基于人体关键点检测结果，优化人体检测框的识别结果，剔除误识别的人体检测框，同时剔除无法与检测框匹配的关键点，将同一个检测框内的关键点连接成人体骨骼框架；
步骤五：针对连续的图像，在确定人体检测框和骨骼框架后，基于检测框的位置信息和人体运动规律，给予检测框标签信息，使得同一个人在不同图像中的检测框具有相同的标签；
步骤六：基于人体骨骼框架，计算关键部位与水平方向、竖直方向的夹角或在水平方向、竖直方向上的距离，并根据人体的运动信息，评估角度或距离是否存在异常；
步骤七：生成体态健康报告，并给予不良体态预警。
其中，所述步骤二具体通过以下子步骤实现：
（2.1）位姿机预测关键点的位置和置信度：将采集到的图像输入到位姿机中，位姿机读取图像并通过卷积神经网络将原始图像转换为人体关键点检测热图，热图中的每一个像素都包含分类结果和置信度两类预测信息；
（2.2）根据置信度筛选关键点：设置置信度阈值，保留置信度超过阈值的关键点，置信度不超过阈值的关键点放入误检测点集；
（2.3）根据空间关系筛选关键点：对于误检测点集内的关键点，若其邻域内的关键点置信度皆超过阈值，则将该点的置信度修改为邻域内关键点置信度的均值，同时保留该关键点，否则删除该关键点。
其中，所述步骤三具体通过以下子步骤实现：
（3.1）人体检测器预测人体检测框的位置和置信度：将采集到的图像输入到人体检测器中，人体检测器读取图像并对图像进行灰度处理，利用深度学习网络预测图中的所有人体检测框，每一个人体检测框都包含位置和置信度两类预测信息；
（3.2）根据置信度筛选检测框：设置置信度阈值，保留置信度超过阈值的检测框，并放入候选检测框集合N，删除置信度不超过阈值的检测框；
（3.3）利用非极大值抑制去除重复的检测框：从候选检测框集合N中选择置信度最高的检测框m，并将其放入最终的检测框集合M，遍历候选检测框集合N中剩余的检测框n，计算剩余的检测框n与置信度最高的检测框m的重合度，若重合度超过阈值，则从候选检测框集合N中删除剩余的检测框n，重复以上步骤多次，直至候选检测框集合N为空。
其中，所述步骤四具体通过以下子步骤实现：
（4.1）基于人体关键点优化人体检测框：针对每一个人体检测框，判断框内是否有完整的人体关键点，若人体检测框内不包括完整的人体关键点或种类，则删除该检测框；
（4.2）基于人检测框优化人体关键点：判断关键点是否至少在1个人体检测框内，若不在则删除该关键点；
（4.3）连接人体骨骼框架：针对每一个人体检测框，基于身体各个部分的运动学先验空间关系连接出一组人体骨骼框架。
进一步，步骤（4.1）所述的人体关键点包括：头顶、左眼、右眼、鼻子、左耳、右耳、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、骨盆、左胯、右胯、左膝盖、右膝盖、左脚踝、右脚踝。
进一步，步骤（4.1）所述的人体关键点的种类设为20类。
其中，所述步骤五具体通过以下子步骤实现：
（5.1）独立标记单帧检测框：当没有历史信息时，针对一幅图像中的所有检测框，给予每一个检测框不同的标签；
（5.2）根据历史时序信息预测检测框：当存在历史信息时，根据具有同样标签的检测框的历史位置信息，拟合运动轨迹，预测检测框的位置，得到预估位置信息；
（5.3）检测框跨帧匹配：当存在历史信息时，针对每一个检测框，将其位置信息与上一步骤得到的预估位置信息匹配，若检测框重合度大于阈值，则视为匹配成功，赋予两个检测框相同的标签信息，否则新增一个标签。
其中，所述步骤六具体通过以下子步骤实现：
（6.1）头颈部前倾评估：当采集到人体侧面图像数据时，计算头顶与颈部的连线与竖直方向的夹角，记为头颈部前伸角，评估颈部前伸角是否超过正常范围，若超过，则判断为出现不良体态，体态指标名称为头颈部前倾；
（6.2）高低肩评估：当采集到人体正面图像数据时，计算左肩与右肩在竖直方向上的距离，记为肩高差，评估肩高差是否超过正常范围，若超过，则判断为出现不良体态，体态指标名称为高低肩；
（6.3）脊柱侧倾评估：当采集到人体正面图像数据时，计算颈部和盆骨的连线与竖直方向的夹角，记为脊柱侧倾角，评估脊柱侧倾角是否超过正常范围，若超过，则判断为出现不良体态，体态指标名称为脊柱侧倾；
（6.4）盆骨前倾评估：当采集到人体侧面图像数据时，计算左胯或右胯和盆骨的连线与水平方向的夹角，记为盆骨倾角，评估盆骨倾角是否超过正常范围，若超过，则判断为出现不良体态，体态指标名称为盆骨前倾；
（6.5）膝关节内外翻评估：当采集到人体正面图像数据时，连接左胯与左膝盖，连接左膝盖与左脚踝，计算两条线之间的夹角，记为膝外翻角，评估膝外翻角是否超过正常范围，若超过，则判断为出现不良体态，体态指标名称为膝关节内外翻。
本发明的第二个方面涉及一种基于人体关键点检测的体态健康监测系统，包括：
图像采集模块，控制光学传感器实时采集人体图像数据，并将采集到的人体运动视频转换为连续运动的序列图像；
人体关键点检测模块，针对采集到的图像做人体关键点检测，识别并定位出视域范围内所有的人体关键点；
人体检测框识别模块，针对采集到的图像做人体检测框识别，识别并定位出视域范围内所有的人体检测框，并通过非极大值抑制去除重复的检测框；
人体骨骼框架构建模块，基于人体关键点检测结果，优化人体检测框的识别结果，剔除误识别的人体检测框，同时剔除无法与检测框匹配的关键点，将同一个检测框内的关键点连接成人体骨骼框架；
多人体位姿跟踪模块，基于检测框的位置信息和人体运动规律，根据历史时序信息给予检测框标签信息，使得同一个人在不同图像中的检测框具有相同的标签；
不良体态评估模块，基于人体骨骼框架，计算关键部位与水平方向、竖直方向的夹角或在水平方向、竖直方向上的距离，并根据人体的运动信息，评估角度或距离是否存在异常；
体态健康报告生成模块，用于生成体态健康报告，并给予不良体态预警。
本发明的第三个方面涉及一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现本发明的基于人体关键点检测的体态健康监测方法。
本发明的第四个方面涉及一种基于人体关键点检测的体态健康监测装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现本发明的一种基于人体关键点检测的体态健康监测方法。
本发明的创新点是：
（1）本发明同时优化人体关键点与人体检测框，充分利用人体关键点检测得到的局部特征与人体检测框识别得到的全局特征，可有效抑制误检率、提高关键点识别的准确性；
（2）本发明利用非接触式设备实现多人体的不良体态监测，可实现无感监测；
（3）本发明可基于非接触式设备的监测结果自动生成体态健康报告，无需人工干预，可减轻医护负担、降低人工成本。
本发明的工作原理是：
控制光学传感器实时采集人体图像数据，针对每帧图像进行人体关键点检测、人体检测框识别，并利用关键点与检测框的耦合关系互相优化，可有效抑制误检率、提高关键点识别的准确性。再基于优化后的结果，针对每一个检测框，根据人体运动学先验知识，构建一组人体骨骼框架。针对带有时序信息的序列人体图像数据，利用人体位姿跟踪为同一个人在不同图像中的检测框打上相同的标签信息，以实现多人体同时监测。基于通过上述步骤得到的视觉感知结果，对人体可能出现的不良体态做出评估并生成体态健康报告，实现无感监测。
本发明的有益效果是：
（1）本发明可通过非接触式的传感器远距离监测体态数据，避免反复穿戴，有效降低了疾病传播、设备磨损的风险，具有安全性高、覆盖面广、设备复用性强的特点；
（2）本发明可同时监测视域范围内所有人体的体态数据，监测效率高；
（3）本发明利用监测设备自动生成体态健康报告，减轻医护负担，降低人工成本。
附图说明
图1是本发明的基于人体关键点检测的体态健康监测方法的流程图。
图2是本发明的人体关键点位置分布示意图。
图3是本发明的人体关键点检测流程图。
图4是本发明的人体检测框识别流程图。
图5是本发明的人体骨骼框架构建流程图。
图6是本发明的多人体位姿跟踪流程图。
图7是本发明的人体正面图像不良体态示意图，其中H表示肩高差，β1表示脊柱侧倾角，β2表示膝外翻角。
图8是本发明的人体侧面图像不良体态示意图，其中β3表示头颈部前倾角，β4表示骨盆倾角。
图9是本发明的基于人体关键点检测的体态健康监测系统的示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，以下结合附图和实施例，对发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1-图8所示，一种基于人体关键点检测的体态健康监测方法，包括以下步骤：
步骤一：利用光学传感器采集人体图像数据。
通过光学传感器采集人体图像数据，可采集单帧图像实时处理，也可采集一段时间的视频数据，再将其转换为连续的图像数据。
在本实施例中，通过单目相机采集彩色的人体图像数据。
步骤二：检测人体关键点。
针对采集到的图像做人体关键点检测，识别并定位出视域范围内所有的人体关键点。
如图3所示，步骤二具体通过以下子步骤实现：
（2.1）位姿机预测关键点的位置和置信度：将采集到的彩色图像输入到基于caffe框架的OpenPose网络中，定位图中所有的人体关键点，并输出每一个人体关键点的位置信息以及置信度，将关键点在像素坐标系下的坐标值视为位置信息，每个关键点的置信度都是一个介于0到1之间的两位小数；
（2.2）根据置信度筛选关键点：将关键点置信度阈值设置为0.7，保留置信度大于阈值0.7的关键点，置信度小于等于阈值0.7的关键点放入误检测点集；
（2.3）根据空间关系筛选关键点：对于误检测点集内的关键点p，以关键点p为圆心，画一个半径为10厘米的圆，落在圆内的关键点则为关键点p邻域内的点，若邻域内的关键点置信度皆超过阈值0.7，则将点p的置信度修改为邻域内关键点置信度的均值，同时保留关键点p，否则删除关键点p。
步骤三：识别人体检测框。
针对采集到的图像做人体检测框识别，识别并定位出视域范围内所有的人体检测框，并通过非极大值抑制去除重复的检测框。
如图4所示，步骤三具体通过以下子步骤实现：
（3.1）人体检测器预测人体检测框的位置和置信度：将采集到的图像输入到基于tensorflow框架的YOLOV3网络中，得到图中所有的人体检测框，并输出每一个人体检测框的位置信息和置信度，每个检测框都是一个矩形。矩形的两组平行边分别与x轴、y轴平行，位置信息包括检测框左上顶点在像素坐标系下的坐标值、矩形沿x轴方向的宽度以及矩形沿y轴方向的高度h，每个检测框的置信度都是一个介于0到1之间的两位小数；
（3.2）根据置信度筛选检测框：将检测框的置信度阈值设置为0.7，保留置信度超过阈值0.7的检测框，并放入候选检测框集合N，删除置信度小于等于阈值0.7的检测框；
（3.3）利用非极大值抑制去除重复的检测框：从候选检测框集合N中选择置信度最高的检测框m，并将其放入最终的检测框集合M，遍历候选检测框集合N中剩余的检测框n，计算剩余的检测框n与置信度最高的检测框m的重合度，将重合的面积除以2个检测框面积之和视为重合度，若重合度超过阈值0.4，则从候选检测框集合N中删除剩余的检测框n，重复以上步骤多次，直至候选检测框集合N为空。
步骤四：构建人体骨骼框架。
基于人体关键点检测结果，优化人体检测框的识别结果，剔除误识别的人体检测框，同时剔除无法与检测框匹配的关键点，将同一个检测框内的关键点连接成人体骨骼框架。
如图5所示，步骤四具体通过以下子步骤实现：
（4.1）基于人体关键点优化人体检测框：针对每一个人体检测框，判断框内是否有完整的人体关键点，至少能包括头顶1、左眼2、右眼3、鼻子4、左耳5、右耳6、颈部7、左肩8、右肩9、左手肘10、右手肘11、左手腕12、右手腕13、骨盆14、左胯15、右胯16、左膝盖17、右膝盖18、左脚踝19、右脚踝20等20类关键点，若人体检测框内不包括人体关键点或种类小于20类，则删除该检测框；
（4.2）基于人检测框优化人体关键点：判断关键点是否至少在1个人体检测框内，若不在则删除该关键点；
（4.3）连接人体骨骼框架：针对每一个人体检测框，基于身体各个部分的运动学先验空间关系连接出一组人体骨骼框架。
步骤五：多人体位姿跟踪。
针对连续的图像，在确定人体检测框和骨骼框架后，基于检测框的位置信息和人体运动规律，给予检测框标签信息，使得同一个人在不同图像中的检测框具有相同的标签。
如图6所示，步骤五具体通过以下子步骤实现：
（5.1）独立标记单帧检测框：当没有历史信息时，针对一幅图像中的所有检测框，给予每一个检测框不同的标签；
（5.2）根据历史时序信息预测检测框：当存在历史信息时，针对每一个标签x，提取所有历史信息中标签为x的检测框的位置信息，并按时间顺序排列，以检测框的几何中心为检测框的中心点，利用轨迹插值法拟合检测框中心点的运动轨迹，并预测下一帧检测框中心点出现的位置，取检测框沿x轴方向的宽度的均值为下一帧检测框的宽度，取检测框沿y轴方向的高度的均值为下一帧检测框的高度，基于下一帧检测框几何中心的位置、下一帧检测框的宽度、下一帧检测框的高度，绘制新的检测框，并记为标签为x的检测框在下一帧的预估位置信息；
（5.3）检测框跨帧匹配：当存在历史信息时，针对每一个检测框，将其位置信息与上一步骤得到的预估位置信息匹配，计算检测框重合度，将重合的面积除以2个检测框面积之和视为重合度，若重合度大于阈值0.4，则视为匹配成功，赋予2个检测框相同的标签信息，否则新增一个标签。
步骤六：不良体态评估。
基于人体骨骼框架，计算关键部位与水平方向、竖直方向的夹角或在水平方向、竖直方向上的距离，并根据人体的运动信息，评估角度或距离是否存在异常。
如图7-图8所示，步骤六具体通过以下子步骤实现：
（6.1）头颈部前倾评估：当采集到人体侧面图像数据时，计算头顶与颈部的连线与竖直方向的夹角，记为头颈部前伸角，判断颈部前伸角是否超过5度，若超过5度，则为出现不良体态，体态指标名称为头颈部前倾；
（6.2）高低肩评估：当采集到人体正面图像数据时，将左肩距离地面的高度减去右肩距离地面的高度记为肩高差，判断肩高差的绝对值是否超过1厘米，若超过1厘米，则为出现不良体态，体态指标名称为高低肩；
（6.3）脊柱侧倾评估：当采集到人体正面图像数据时，将颈部和盆骨的连线与竖直线沿顺时针方向的夹角记为脊柱侧倾角，判断脊柱侧倾角的绝对值是否超过2度，若超过2度，则为出现不良体态，体态指标名称为脊柱侧倾；
（6.4）盆骨前倾评估：当采集到人体侧面图像数据时，计算左胯或右胯和盆骨的连线与水平方向的夹角，记为盆骨倾角，判断盆骨倾角是否大于15度，若大于15度，则为出现不良体态，体态指标名称为盆骨前倾；
（6.5）膝关节内外翻评估：当采集到人体正面图像数据时，连接左胯与左膝盖，连接左膝盖与左脚踝，计算两条线沿顺时针方向的之间的夹角，记为膝外翻角，判断外翻角是否介于165至195度之间，若不在此范围内，则判断为出现不良体态，体态指标名称为膝关节内外翻。
步骤七：生成体态健康报告。
基于不良体态的评估结果，估计不良体态的风险程度，生成人体体态健康报告。
如表一所示，针对每一项指标，根据测量值和正常值评估指标的偏移量和风险程度。其中，头颈部前倾指标可能出现的偏移量为前倾；高低肩指标可能出现的偏移量为左倾或右倾；脊柱侧倾指标可能出现的偏移量为左倾或右倾；盆骨前倾指标可能出现的偏移量为前倾；膝关节内外翻指标可能出现的偏移量为内翻或外翻。所有指标的风险程度都包括正常、轻度、中度、重度四个级别。
表一
头颈部前倾指标的评价标准如表二所示。当颈部前伸角小于等于5度时，风险程度为正常；当颈部前伸角大于5度且小于等于5.5度时，风险程度为轻度；当颈部前伸角大于5.5度且小于等于6度时，风险程度为中度；当颈部前伸角大于6度时，风险程度为重度。
表二
高低肩指标的评价标准如表三所示。当左肩与右肩的肩高差大于0厘米时，偏移量为左倾，具体地，当肩高差大于0且小于等于1厘米时，风险程度为正常；当肩高差大于1且小于等于3厘米时，风险程度为轻度；当肩高差大于5且小于等于5厘米时，风险程度为中度；当肩高差大于5厘米时，风险程度为重度。当左肩与右肩的肩高差小于0厘米时，偏移量为右倾，具体地，当肩高差小于0且大于等于-1厘米时，风险程度为正常；当肩高差小于-1且大于等于-3厘米时，风险程度为轻度；当肩高差小于-3且大于等于-5厘米时，风险程度为中度；当肩高差小于-5厘米时，风险程度为重度。
表三
脊柱侧倾指标的评价标准如表四所示。当脊柱侧倾角大于0度时，偏移量为左倾，具体地，当脊柱侧倾角大于0且小于等于2度时，风险程度为正常；当脊柱侧倾角大于2且小于等于3.5度时，风险程度为轻度；当脊柱侧倾角大于3.5且小于等于5度时，风险程度为中度；当脊柱侧倾角大于5度时，风险程度为重度。当脊柱侧倾角小于0度时，偏移量为右倾，具体地，当脊柱侧倾角小于0且大于等于2度时，风险程度为正常；当脊柱侧倾角小于2且大于等于3.5度时，风险程度为轻度；当脊柱侧倾角小于3.5且大于等于5度时，风险程度为中度；当脊柱侧倾角小于5度时，风险程度为重度。
表四
盆骨前倾指标的评价标准如表五所示。当盆骨倾角小于等于15度时，风险程度为正常；当盆骨倾角大于15度且小于等于20度时，风险程度为轻度；当盆骨倾角大于20度且小于等于25度时，风险程度为中度；当盆骨倾角大于25度时，风险程度为重度。
表五
膝关节内外翻指标的评价标准如表六所示。当膝外翻角大于180度时，偏移量为外翻，具体地，当膝外翻角小于等于195度时，风险程度为正常；当膝外翻角大于195度且小于等于200度时，风险程度为轻度；当膝外翻角大于200度且小于等于205度时，风险程度为中度；当膝外翻角大于205度时，风险程度为重度。当膝外翻角小于180度时，偏移量为内翻，具体地，当膝外翻角大于等于165度时，风险程度为正常；当膝外翻角大于160度且小于等于165度时，风险程度为轻度；当膝外翻角大于155度且小于等于160度时，风险程度为中度；当膝外翻角小于155度时，风险程度为重度。
表六
本发明可通过非接触式的传感器远距离监测体态数据，避免反复穿戴，有效降低了疾病传播、设备磨损的风险，可同时监测视域范围内所有人体的体态数据并自动生成体态健康报告，具有安全性高、覆盖面广、设备复用性强、检测效率高的特点，有效减轻了医护负担，降低了人工成本。
实施例2
如图9所示，为实现实施例1所述的基于人体关键点检测的体态健康监测方法的一种基于人体关键点检测的体态健康监测系统，包括以下七个模块：
图像采集模块，控制光学传感器实时采集人体图像数据，或将采集到的人体运动视频转换为连续运动的序列图像；
人体关键点检测模块，利用位姿机预测关键点的位置和置信度，并通过置信度和空间关系筛选人体关键点；
人体检测框识别模块，利用人体检测器预测人体检测框的位置和置信度，并通过置信度和非极大值抑制筛选人体检测框；
人体骨骼框架构建模块，双向匹配并优化人体关键点和人体检测框，基于身体各个部分的运动学先验空间关系，利用优化后的人体关键点构建人体骨骼框架；
多人体位姿跟踪模块，基于检测框的位置信息和人体运动规律，根据历史时序信息给予检测框标签信息，使得同一个人在不同图像中的检测框具有相同的标签；
不良体态评估模块，基于人体骨骼框架，计算关键部位与水平方向、竖直方向的夹角或在水平方向、竖直方向上的距离，并评估是否出现头颈部前倾、高低肩、脊柱侧倾、盆骨前倾、膝关节内外翻等异常体态。
体态健康报告生成模块，用于生成体态健康报告，并给予不良体态预警。
实施例3
本实施例涉及一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现实施例1的基于人体关键点检测的体态健康监测方法。
实施例4
本实施例涉及一种基于人体关键点检测的体态健康监测装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现实施例1的一种基于人体关键点检测的体态健康监测方法。
在硬件层面，该装置包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的一种基于人体关键点检测的体态健康监测方法。当然，除了软件实现方式之外，本发明并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（ProgrammableLogic Device, PLD）（例如现场可编程门阵列（Field Programmable Gate Array，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（HardwareDescription Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（AdvancedBoolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（JavaHardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby HardwareDescription Language）等，目前最普遍使用的是VHDL（Very-High-Speed IntegratedCircuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (11)

1.一种基于人体关键点检测的体态健康监测方法，其特征在于，包括以下步骤：
步骤一：利用光学传感器实时采集人体图像数据，并采集人体运动视频后转换为连续运动的序列图像；
步骤二：针对采集到的图像做人体关键点检测，识别并定位出视域范围内所有的人体关键点；
步骤三：针对采集到的图像做人体检测框识别，识别并定位出视域范围内所有的人体检测框，并通过非极大值抑制去除重复的检测框；
步骤四：基于人体关键点检测结果，优化人体检测框的识别结果，剔除误识别的人体检测框，同时剔除无法与检测框匹配的关键点，将同一个检测框内的关键点连接成人体骨骼框架；
步骤五：针对连续的图像，在确定人体检测框和骨骼框架后，基于检测框的位置信息和人体运动规律，给予检测框标签信息，使得同一个人在不同图像中的检测框具有相同的标签；
步骤六：基于人体骨骼框架，计算关键部位与水平方向、竖直方向的夹角或在水平方向、竖直方向上的距离，并根据人体的运动信息，评估角度或距离是否存在异常；
步骤七：生成体态健康报告，并给予不良体态预警。
2.根据权利要求1所述的基于人体关键点检测的体态健康监测方法，其特征在于，所述步骤二具体通过以下子步骤实现：
（2.1）位姿机预测关键点的位置和置信度：将采集到的图像输入到位姿机中，位姿机读取图像并通过卷积神经网络将原始图像转换为人体关键点检测热图，热图中的每一个像素都包含分类结果和置信度两类预测信息；
（2.2）根据置信度筛选关键点：设置置信度阈值，保留置信度超过阈值的关键点，置信度不超过阈值的关键点放入误检测点集；
（2.3）根据空间关系筛选关键点：对于误检测点集内的关键点，若其邻域内的关键点置信度皆超过阈值，则将该点的置信度修改为邻域内关键点置信度的均值，同时保留该关键点，否则删除该关键点。
3.根据权利要求1所述的基于人体关键点检测的体态健康监测方法，其特征在于，所述步骤三具体通过以下子步骤实现：
（3.1）人体检测器预测人体检测框的位置和置信度：将采集到的图像输入到人体检测器中，人体检测器读取图像并对图像进行灰度处理，利用深度学习网络预测图中的所有人体检测框，每一个人体检测框都包含位置和置信度两类预测信息；
（3.2）根据置信度筛选检测框：设置置信度阈值，保留置信度超过阈值的检测框，并放入候选检测框集合N，删除置信度不超过阈值的检测框；
（3.3）利用非极大值抑制去除重复的检测框：从候选检测框集合N中选择置信度最高的检测框m，并将其放入最终的检测框集合M，遍历候选检测框集合N中剩余的检测框n，计算剩余的检测框n与信度最高的检测框m的重合度，若重合度超过阈值，则从候选检测框集合N中删除剩余的检测框n，重复以上步骤多次，直至候选检测框集合N为空。
4.根据权利要求1所述的基于人体关键点检测的体态健康监测方法，其特征在于，所述步骤四具体通过以下子步骤实现：
（4.1）基于人体关键点优化人体检测框：针对每一个人体检测框，判断框内是否有完整的人体关键点，若人体检测框内不包括完整的人体关键点或种类，则删除该检测框；
（4.2）基于人体检测框优化人体关键点：判断关键点是否至少在1个人体检测框内，若不在则删除该关键点；
（4.3）连接人体骨骼框架：针对每一个人体检测框，基于身体各个部分的运动学先验空间关系连接出一组人体骨骼框架。
5.根据权利要求4所述的基于人体关键点检测的体态健康监测方法，其特征在于，步骤（4.1）所述的人体关键点包括：头顶、左眼、右眼、鼻子、左耳、右耳、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、骨盆、左胯、右胯、左膝盖、右膝盖、左脚踝、右脚踝。
6.根据权利要求4所述的基于人体关键点检测的体态健康监测方法，其特征在于，步骤（4.1）所述的人体关键点的种类设为20类。
7.根据权利要求1所述的基于人体关键点检测的体态健康监测方法，其特征在于，所述步骤五具体通过以下子步骤实现：
（5.1）独立标记单帧检测框：当没有历史信息时，针对一幅图像中的所有检测框，给予每一个检测框不同的标签；
（5.2）根据历史时序信息预测检测框：当存在历史信息时，根据具有同样标签的检测框的历史位置信息，拟合运动轨迹，预测检测框的位置，得到预估位置信息；
（5.3）检测框跨帧匹配：当存在历史信息时，针对每一个检测框，将其位置信息与上一步骤得到的预估位置信息匹配，若检测框重合度大于阈值，则视为匹配成功，赋予两个检测框相同的标签信息，否则新增一个标签。
8.根据权利要求1所述的基于人体关键点检测的体态健康监测方法，其特征在于，所述步骤六具体通过以下子步骤实现：
（6.1）头颈部前倾评估：当采集到人体侧面图像数据时，计算头顶与颈部的连线与竖直方向的夹角，记为头颈部前伸角，评估颈部前伸角是否超过正常范围，若超过，则判断为出现不良体态，体态指标名称为头颈部前倾；
（6.2）高低肩评估：当采集到人体正面图像数据时，计算左肩与右肩在竖直方向上的距离，记为肩高差，评估肩高差是否超过正常范围，若超过，则判断为出现不良体态，体态指标名称为高低肩；
（6.3）脊柱侧倾评估：当采集到人体正面图像数据时，计算颈部和盆骨的连线与竖直方向的夹角，记为脊柱侧倾角，评估脊柱侧倾角是否超过正常范围，若超过，则判断为出现不良体态，体态指标名称为脊柱侧倾；
（6.4）盆骨前倾评估：当采集到人体侧面图像数据时，计算左胯或右胯和盆骨的连线与水平方向的夹角，记为盆骨倾角，评估盆骨倾角是否超过正常范围，若超过，则判断为出现不良体态，体态指标名称为盆骨前倾；
（6.5）膝关节内外翻评估：当采集到人体正面图像数据时，连接左胯与左膝盖，连接左膝盖与左脚踝，计算两条线之间的夹角，记为膝外翻角，评估膝外翻角是否超过正常范围，若超过，则判断为出现不良体态，体态指标名称为膝关节内外翻。
9.一种基于人体关键点检测的体态健康监测系统，其特征在于，包括：
图像采集模块，控制光学传感器实时采集人体图像数据，并将采集到的人体运动视频转换为连续运动的序列图像；
人体关键点检测模块，针对采集到的图像做人体关键点检测，识别并定位出视域范围内所有的人体关键点；
人体检测框识别模块，针对采集到的图像做人体检测框识别，识别并定位出视域范围内所有的人体检测框，并通过非极大值抑制去除重复的检测框；
人体骨骼框架构建模块，基于人体关键点检测结果，优化人体检测框的识别结果，剔除误识别的人体检测框，同时剔除无法与检测框匹配的关键点，将同一个检测框内的关键点连接成人体骨骼框架；
多人体位姿跟踪模块，基于检测框的位置信息和人体运动规律，根据历史时序信息给予检测框标签信息，使得同一个人在不同图像中的检测框具有相同的标签；
不良体态评估模块，基于人体骨骼框架，计算关键部位与水平方向、竖直方向的夹角或在水平方向、竖直方向上的距离，并根据人体的运动信息，评估角度或距离是否存在异常；
体态健康报告生成模块，用于生成体态健康报告，并给予不良体态预警。
10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-8中任一项所述的基于人体关键点检测的体态健康监测方法。
11.一种基于人体关键点检测的体态健康监测装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-8中任一项所述的一种基于人体关键点检测的体态健康监测方法。
CN202311779378.1A 2023-12-22 2023-12-22 一种基于人体关键点检测的体态健康监测方法及系统 Active CN117457193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311779378.1A CN117457193B (zh) 2023-12-22 2023-12-22 一种基于人体关键点检测的体态健康监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311779378.1A CN117457193B (zh) 2023-12-22 2023-12-22 一种基于人体关键点检测的体态健康监测方法及系统

Publications (2)

Publication Number Publication Date
CN117457193A true CN117457193A (zh) 2024-01-26
CN117457193B CN117457193B (zh) 2024-04-02

Family

ID=89589551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311779378.1A Active CN117457193B (zh) 2023-12-22 2023-12-22 一种基于人体关键点检测的体态健康监测方法及系统

Country Status (1)

Country Link
CN (1) CN117457193B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178201A (zh) * 2019-12-20 2020-05-19 南京理工大学 基于OpenPose姿态检测的人体分段式跟踪方法
WO2021057810A1 (zh) * 2019-09-29 2021-04-01 深圳数字生命研究院 数据处理、训练、识别方法、装置和存储介质
WO2021175069A1 (zh) * 2020-03-06 2021-09-10 Oppo广东移动通信有限公司 拍照方法、装置、电子设备及存储介质
CN114140832A (zh) * 2022-01-30 2022-03-04 西安华创马科智能控制系统有限公司 井下行人越界风险检测方法、装置、电子设备及存储介质
CN114419480A (zh) * 2021-12-15 2022-04-29 厦门智小金智能科技有限公司 一种多人身份和动作关联识别方法、装置及可读介质
WO2022127180A1 (zh) * 2020-12-17 2022-06-23 深圳云天励飞技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
WO2022227768A1 (zh) * 2021-04-28 2022-11-03 北京百度网讯科技有限公司 动态手势识别方法、装置、设备以及存储介质
CN115830342A (zh) * 2022-12-27 2023-03-21 浙江大华技术股份有限公司 检测框的确定方法、装置、存储介质及电子装置
CN115862136A (zh) * 2022-12-06 2023-03-28 上海承飞航空特种设备有限公司 基于骨骼关节的轻量级加油员行为识别方法及装置
CN115862138A (zh) * 2022-12-09 2023-03-28 中国兵器装备集团自动化研究所有限公司 一种人员摔倒行为检测方法、装置、设备及存储介质
CN115909487A (zh) * 2022-11-04 2023-04-04 西安电子科技大学 一种基于人体姿态检测的儿童步态异常评估辅助系统
US11631193B1 (en) * 2018-06-15 2023-04-18 Bertec Corporation System for estimating a pose of one or more persons in a scene
CN116631064A (zh) * 2023-06-28 2023-08-22 重庆大学 基于关键点与网格顶点互补增强的3d人体姿态估计方法
CN116704441A (zh) * 2023-06-15 2023-09-05 深圳市万物云科技有限公司 社区人员的异常行为检测方法、装置及相关设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11631193B1 (en) * 2018-06-15 2023-04-18 Bertec Corporation System for estimating a pose of one or more persons in a scene
WO2021057810A1 (zh) * 2019-09-29 2021-04-01 深圳数字生命研究院 数据处理、训练、识别方法、装置和存储介质
CN111178201A (zh) * 2019-12-20 2020-05-19 南京理工大学 基于OpenPose姿态检测的人体分段式跟踪方法
WO2021175069A1 (zh) * 2020-03-06 2021-09-10 Oppo广东移动通信有限公司 拍照方法、装置、电子设备及存储介质
WO2022127180A1 (zh) * 2020-12-17 2022-06-23 深圳云天励飞技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
WO2022227768A1 (zh) * 2021-04-28 2022-11-03 北京百度网讯科技有限公司 动态手势识别方法、装置、设备以及存储介质
CN114419480A (zh) * 2021-12-15 2022-04-29 厦门智小金智能科技有限公司 一种多人身份和动作关联识别方法、装置及可读介质
CN114140832A (zh) * 2022-01-30 2022-03-04 西安华创马科智能控制系统有限公司 井下行人越界风险检测方法、装置、电子设备及存储介质
CN115909487A (zh) * 2022-11-04 2023-04-04 西安电子科技大学 一种基于人体姿态检测的儿童步态异常评估辅助系统
CN115862136A (zh) * 2022-12-06 2023-03-28 上海承飞航空特种设备有限公司 基于骨骼关节的轻量级加油员行为识别方法及装置
CN115862138A (zh) * 2022-12-09 2023-03-28 中国兵器装备集团自动化研究所有限公司 一种人员摔倒行为检测方法、装置、设备及存储介质
CN115830342A (zh) * 2022-12-27 2023-03-21 浙江大华技术股份有限公司 检测框的确定方法、装置、存储介质及电子装置
CN116704441A (zh) * 2023-06-15 2023-09-05 深圳市万物云科技有限公司 社区人员的异常行为检测方法、装置及相关设备
CN116631064A (zh) * 2023-06-28 2023-08-22 重庆大学 基于关键点与网格顶点互补增强的3d人体姿态估计方法

Also Published As

Publication number Publication date
CN117457193B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
US11298050B2 (en) Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method
CN107003721A (zh) 用于眼睛跟踪系统的改进校准
CN109815850A (zh) 基于深度学习的虹膜图像分割及定位方法、系统、装置
EP2704056A2 (en) Image processing apparatus, image processing method
CN111723786A (zh) 一种基于单模型预测的安全帽佩戴检测方法及装置
Llorca et al. A vision-based system for automatic hand washing quality assessment
CN111507965A (zh) 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
Sokolova et al. A fuzzy model for human fall detection in infrared video
CN109766796B (zh) 一种面向密集人群的深度行人检测方法
Gu et al. Efficient multi-person hierarchical 3d pose estimation for autonomous driving
CN113435236A (zh) 居家老人姿态检测方法、系统、存储介质、设备及应用
KR20210115010A (ko) 이미지 처리 방법 및 장치, 전자 기기
KR20180096038A (ko) 행위 예측을 위한 다중 모션 기반 옴니뷰 기법
Ma et al. Human motion gesture recognition based on computer vision
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN111353429A (zh) 基于眼球转向的感兴趣度方法与系统
CN117457193B (zh) 一种基于人体关键点检测的体态健康监测方法及系统
Cai et al. Construction worker ergonomic assessment via LSTM-based multi-task learning framework
CN115862130B (zh) 基于人体姿态及其躯干运动场的行为识别方法
KR100913396B1 (ko) 모션벡터를 이용한 행위 인식 장치 및 그 방법
CN109299743B (zh) 手势识别方法及装置、终端
CN115761885B (zh) 一种共时与跨域异步融合驱动的行为识别方法
Wahla et al. Visual fall detection from activities of daily living for assistive living
CN116453226A (zh) 基于人工智能的人体姿态识别方法、装置及相关设备
Ariyani et al. Heuristic Application System on Pose Detection of Elderly Activity Using Machine Learning in Real-Time

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant