CN115601840B - 一种考虑视觉和足底压力多模感知的行为障碍检测方法 - Google Patents

一种考虑视觉和足底压力多模感知的行为障碍检测方法 Download PDF

Info

Publication number
CN115601840B
CN115601840B CN202211381649.3A CN202211381649A CN115601840B CN 115601840 B CN115601840 B CN 115601840B CN 202211381649 A CN202211381649 A CN 202211381649A CN 115601840 B CN115601840 B CN 115601840B
Authority
CN
China
Prior art keywords
characteristic
body posture
plantar pressure
human
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211381649.3A
Other languages
English (en)
Other versions
CN115601840A (zh
Inventor
兰时勇
李飘扬
黄伟康
马一童
马伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202211381649.3A priority Critical patent/CN115601840B/zh
Publication of CN115601840A publication Critical patent/CN115601840A/zh
Application granted granted Critical
Publication of CN115601840B publication Critical patent/CN115601840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036—Measuring load distribution, e.g. podologic studies
    • A61B5/1038—Measuring plantar pressure during gait
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了一种考虑视觉和足底压力多模感知的行为障碍检测方法，所述方法包括：获取待评估对象在行进过程中的多帧人体躯体姿态图像以及多帧足底压力分布数据；对每帧人体躯体姿态图像进行特征提取得到躯体姿态特征，以及对每帧足底压力分布数据进行特征提取得到足底压力特征；对多帧躯体姿态特征和多帧足底压力特征进行组合，得到多个特征对；对每个特征对中的躯体姿态特征和足底压力特征融合后，得到人体行为属性特征；基于人体行为属性特征，确定待评估对象是否存在行为障碍风险；本发明通过足底压力数据与人体躯体姿态图像结合的方式来分析评估对象是否存在行为障碍风险，弥补了单一模态信息的片面性，提高了行为障碍风险检测的准确度。

Description

一种考虑视觉和足底压力多模感知的行为障碍检测方法
技术领域
本发明涉及计算机技术领域，特别是涉及一种考虑视觉和足底压力多模感知的行为障碍检测方法。
背景技术
步行是人类的基本运动行为，人体步行的姿态(简称步态)是在中枢神经系统的控制下，人体运动系统相互协同配合的结果。当神经系统或运动系统受到影响时，人体运动功能也会受损，外在步态会受到影响，表现为步态异常。常见的异常步态类型包括由中枢神经损伤导致的偏瘫步态、脑瘫、帕金森步态、痉挛步态等症状。
随着我国人口老龄化的加剧，由于老年人神经系统老化，运动系统容易受损伤，步态是一种反映该类疾病状况的重要外在表现，可以通过分析步态特征对患者人体行为障碍情况进行有效判断评估。在疾病临床诊断方面，步态可以为专业的医疗人员提供足够的信息，用来诊断步态异常，这被称为观察步态分析。在观察步态分析期间需要考虑许多参数，如步长、步幅、节奏、周期、速度、关节角度、躯干旋转和手臂摆动等。医疗人员也可以通过病人的步态视频数据或者病人身上的传感器数据进行步态分析，作为诊断病人疾病的依据。然而，以医护人员为中心的步态分析，必须依赖专业知识，而无法作为通用的判断评估方法。
现有技术中提出通过人体姿态视频对病人的步态数据进行步态分析，并基于计算机学习技术，对人体行为障碍进行判断，但此种方法采集的数据单一，检测精度不足。
发明内容
有鉴于此，本发明旨在提出一种考虑视觉和足底压力多模感知的行为障碍检测方法，以解决采用人体姿态视频对病人的步态数据进行分析，采集数据单一得到结果精度较低的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种考虑视觉和足底压力多模感知的行为障碍检测方法，包括：
获取待评估对象在行进过程中的多帧人体躯体姿态图像，以及所述待评估对象在行进过程中的多帧足底压力分布数据；
对每帧所述人体躯体姿态图像进行特征提取得到躯体姿态特征，以及对每张所述足底压力分布数据进行特征提取得到足底压力特征；
对多帧所述躯体姿态特征和多帧所述足底压力特征进行组合，得到多个特征对，每个所述特征对包括采集时间差异小于预设差异的躯体姿态特征和足底压力特征；
对每个所述特征对中的所述躯体姿态特征和所述足底压力特征进行融合增强，得到人体行为属性特征；
基于所述人体行为属性特征，确定所述待评估对象是否存在行为障碍风险。
进一步地，所述对每个所述特征对中的所述躯体姿态特征和所述足底压力特征进行融合增强，得到人体行为属性特征，包括：
确定所述足底压力特征中与所述躯体姿态特征有关的第一关联特征，以及所述躯体姿态特征中与所述足底压力特征有关的第二关联特征；
将所述第一关联特征融合至所述躯体姿态特征，得到更新后的躯体姿态特征，以及将所述第二关联特征融合至所述足底压力特征，得到更新后的足底压力特征；
对更新后的所述躯体姿态特征和更新后的所述足底压力特征进行融合增强，得到所述人体行为属性特征。
进一步地，所述对每帧所述人体躯体姿态图像进行特征提取得到躯体姿态特征，包括：
根据所述人体躯体姿态图像，提取人体关键点的二维坐标；
将所述二维坐标转换为三维坐标，基于所述三维坐标，构建拓扑图；
基于所述拓扑图，提取所述关键点的局部空间特征和时序特征；
将各个所述关键点的所述局部空间特征和所述时序特征进行特征汇总后，通过降维得到所述躯体姿态特征。
进一步地，包括目标模型，所述目标模型包括特征提取模块，特征融合模块以及分类模块，所述对每帧所述人体躯体姿态图像进行特征提取得到躯体姿态特征，以及对每张所述足底压力分布数据进行特征提取得到足底压力特征，包括：
将所述人体躯体姿态图像和所述足底压力分布数据输入到所述特征提取模块，得到所述躯体姿态特征和所述足底压力特征；
所述对每个所述特征对中的所述躯体姿态特征和所述足底压力特征图进行融合增强，得到人体行为属性特征，包括：
将每个所述特征对中的所述躯体姿态特征和所述足底压力特征输入所述特征融合模块，得到所述人体行为属性特征；
所述基于所述人体行为属性特征，确定所述待评估对象是否存在行为障碍风险，包括：
将所述人体行为属性特征输入到所述分类模块，得到对所述待评估对象的人体行为的分类结果；其中，所述分类结果用于确定所述待评估对象是否存在行为障碍风险。
进一步地，所述目标模型的训练步骤包括：
获取对所述目标模型进行训练的训练样本，其中，所述训练样本包括多个样本对，每个所述样本对包括对行为障碍患者的行进视频进行采集的人体躯体姿态图像样本和足底压力分布数据样本，其中，所述人体躯体姿态图像样本与所述足底压力分布数据样本的采集时间之间的时间差小于预设时间差；
将每个样本对的所述人体躯体姿态图像样本和所述足底压力分布数据样本输入至预设模型，得到行为障碍风险的预测结果；
基于所述预测结果和所述样本对应的行为障碍标签，确定损失值；
基于所述损失值，更新所述预设模型的参数，直至所述预设模型收敛或更新到目标次数。
相对于现有技术，本发明所述的人体行为方法具有以下优势：
本发明通过获取待评估对象在行进过程中的多帧人体躯体姿态图像，以及所述待评估对象在行进过程中的多帧足底压力分布数据；对每帧所述人体躯体姿态图像进行特征提取得到躯体姿态特征，以及对每帧所述足底压力分布数据进行特征提取得到足底压力特征；对多帧所述躯体姿态特征和多帧所述足底压力特征进行组合，得到多个特征对，每个所述特征对包括采集时间差异小于预设差异的躯体姿态特征和足底压力特征；对每个所述特征对中的所述躯体姿态特征和所述足底压力特征进行融合增强，得到人体行为属性特征；基于所述人体行为属性特征，确定所述待评估对象是否存在行为障碍风险。
本发明通过将人体姿态信息和行进过程中的足底压力分布结合的方法来判断具体的行进过程中评估对象的具体行为，进而评估评估对象是否存在行为障碍，采用多种信息确认评估对象在行进过程中的具体行为，提高了评估的准确性，同时，也避免了人工分析进行人体行为检测费时费力的情况。
本发明的另一目的在于提出考虑视觉和足底压力多模感知的行为障碍检测装置，以采用人体姿态视频对病人的步态数据进行分析，采集数据单一得到结果精度较低的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种考虑视觉和足底压力多模感知的行为障碍检测装置，包括：
获取模块，用于获取待评估对象在行进过程中的多帧人体躯体姿态图像，以及所述待评估对象在行进过程中的多帧足底压力分布数据；
特征提取模块，用于对每帧所述人体躯体姿态图像进行特征提取得到躯体姿态特征，以及对每帧所述足底压力分布数据进行特征提取得到足底压力特征；
融合模块，用于对多帧所述躯体姿态特征和多帧所述足底压力特征进行组合，得到多个特征对，每个所述特征对包括采集时间差异小于预设差异的躯体姿态特征和足底压力特征；对每个所述特征对中的所述躯体姿态特征和所述足底压力特征进行融合增强，得到人体行为属性特征；
确定模块，用于基于所述人体行为属性特征，确定所述待评估对象是否存在行为障碍风险。
本发明的另一目的在于提出一种电子设备，以解决采用人体姿态视频对病人的步态数据进行分析，采集数据单一得到结果精度较低的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现上述考虑视觉和足底压力多模感知的行为障碍检测方法中的步骤。
所述电子设备与上述考虑视觉和足底压力多模感知的行为障碍检测方法相对于现有技术所具有的优势相同，在此不做赘述。
本发明的另一目的在于提出一种计算机存储介质，以解决采用人体姿态视频对病人的步态数据进行分析，采集数据单一得到结果精度较低的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述考虑视觉和足底压力多模感知的行为障碍检测方法中的步骤。
所述计算机可读存储介质与上述考虑视觉和足底压力多模感知的行为障碍检测方法相对于现有技术所具有的优势相同，在此不做赘述。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了本发明实施例的一种考虑视觉和足底压力多模感知的行为障碍检测方法的步骤流程图；
图2示出了本发明又一实施例的一种考虑视觉和足底压力多模感知的行为障碍检测方法的步骤流程图；
图3示出了本发明又一实施例中人体躯体姿态图像的特征提取的流程示意图；
图4示出了本发明又一实施例中人体躯体姿态图像中二维人体关键点的示意图；
图5示出了图4二维关键点转换后的三维人体关键点的坐标图；
图6是示出了本发明又一实施例中的时空模型示意图；
图7示出了本发明实施例中时空卷积提取躯体姿态特征的结构示意图；
图8示出了本发明又一实施例中足底压力分布数据的特征提取网络示意图；
图9示出了本发明又一实施例中足底压力特征和躯体姿态特征的融合流程示意图；
图10示出了本发明又一实施例中考虑视觉和足底压力多模感知的行为障碍检测方法示意图；
图11示出了本发明实施例二的一种考虑视觉和足底压力多模感知的行为障碍检测装置的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明的一种考虑视觉和足底压力多模感知的行为障碍检测方法、装置、设备及存储介质。
实施例一
参照图1，图1示出了本发明实施例的一种考虑视觉和足底压力多模感知的行为障碍检测方法的步骤流程图，如图1所示，包括：
S101，获取待评估对象在行进过程中的多帧人体躯体姿态图像，以及所述待评估对象在行进过程中的多帧足底压力分布数据。
具体地，通过录制的待评估对象的行进视频以及传感器采集的待评估对象行进过程中的足底压力分布，从待评估对象的行进视频和足底压力分布获取人体躯体姿态图像和足底压力分布数据。
由于行进过程中的人体姿态和同时足底压力的分布情况都可以帮助人体行为分析，因此，录制评估对象的行进视频和检测足底压力分布情况可以同时进行，以将待评估对象的行进过程姿态和行进过程中的足底压力分布对应，以通过选取评估对象的行进视频中的多帧人体躯体姿态图像，以及对应的足底压力分布数据，进行人体行为分析。人体躯体姿态图像和足底压力数据的具体获取帧数由实际情况确定，本发明不做具体限制。
S102，对每帧所述人体躯体姿态图像进行特征提取得到躯体姿态特征，以及对每帧所述足底压力分布数据进行特征提取得到足底压力特征。
在本发明实施例中，为了采用计算机学习代替人工进行人体行为检测，需要计算机学习人体躯体姿态图像以及对应足底压力分布的相关信息，因此，对人体躯体姿态图像和足底压力分布数据都进行特征提取，以提取出人体行为相关特征，方便对人体行为进行分析。
S103，对多帧所述躯体姿态特征和多帧所述足底压力特征进行组合，得到多个特征对，每个所述特征对包括采集时间差异小于预设差异的躯体姿态特征和足底压力特征。
本发明实施例中，由于行进过程中足底压力分布和人体姿态都是实时变化的，在通过躯体姿态特征和足底压力特征进行人体行为分析时，需要将人体躯体姿态图像和足底压力分布数据对应，即需要确定时间差异在一定值以内的躯体姿态特征和足底压力里特征，具体地，可以是躯体姿态特征对应时刻的足底压力特征，以通过同一时刻的人体的姿态图像和的足底压力分布综合对人体行为进行分析。
S104，对每个所述特征对中的所述躯体姿态特征和所述足底压力特征进行融合增强，得到人体行为属性特征。
本发明实施例中，由于采用姿态单独的躯体姿态特征和足底压力特征行人体行为检测，两者的表达的特征不一致，检测的结果也可能存在偏差，因此，将两者躯体姿态特征和足底压力特征进行融合，从而通过人体躯体姿态图像和足底压力分布数据结合，综合确定待评估对象的行为。在融合时，将每个特征对的躯体姿态特征和足底压力特征进行融合，得到人体行为属性特征，这是由于评估对象行进过程中的姿态和足底压力分布是存在关联的，都能够反映评估对象的步态信息，如评估对象的身体姿态前倾时，一只脚压力较重，而另一只脚压力较轻，进而分析出当前时刻的评估对象的行进姿态。
S105，基于所述人体行为属性特征，确定所述待评估对象是否存在行为障碍风险。
具体地，根据人体行为属性特征，对评估对象的行为进行分类，最后显示分类结果，该分类结果表示待评估对象是否存在行为障碍。
本发明实施例通过获取待评估对象行进过程中的人体躯体姿态图像和足底压力分布数据，对人体躯体姿态图像和足底压力分布数据进行特征提取后，通过躯体姿态特征和足底压力特征融合后对融合后特征再进行融合，最后以融合后的人体行为属性特征，确定待评估对象是否存在行为障碍。本发明实施例采用行进过程中的人体躯体姿态图像和足底压力分布数据综合分析待评估对象的步态，从而确定待评估对象是否存在行为障碍，通过足底压力分布数据进一步细化了待评估对象的步态特征，辅助人体躯体姿态图像判断待评估对象的行为特征，提高了人体行为检测的准确性。
参照图2，图2示出了本发明又一实施例的考虑视觉和足底压力多模感知的行为障碍检测方法的步骤流程图，如图2所示，包括：
S201，获取待评估对象在行进过程中的多帧人体躯体姿态图像，以及所述待评估对象在行进过程中的多帧足底压力分布数据。
S202，将所述人体躯体姿态图像和所述足底压力分布数据输入到所述特征提取模块，得到所述躯体姿态特征和所述足底压力特征。
在本发明实施例中，通过目标模型对待评估对象的多帧人体躯体姿态图像和多帧足底压力数据进行特征提取，得到躯体姿态特征和足底压力特征。具体地，从人体躯体姿态图像中获取关键点，通过关键点表示人体的具体姿态，由于处理的是人体关键点的坐标信息，不会受到背景物体、光照变化等因素的影响，而是直接分析人体行为姿态及其变化，因此能够专注对人体行为姿态状况进行分类。
具体地，从人体躯体姿态图像中获取人体3D关键点分为两步：提取2D关键点，使用2D关键点坐标估计3D关键点坐标。2D姿态估计使用RMPE算法，以有效避免检测框位置不准确和检测框冗余的问题，算法整体结构如图3所示。
第一步：提取2D关键点：
首先使用YOLO v6算法检测出人体框，然后将检测框输入到两个并行的姿态估计分支，进行人体姿态估计。上分支包括STN(spatial transformer network，空间变换网络)、SPPE（Single Person Pose Estimator，单人姿势估计器）、SDTN(spatial de-transformer network，空间反变换网络)三个模块，其中SPPE用来从人体区域框中估计姿态信息，但SPPE算法对不准确的检测框效果较差，因此使用STN对原始检测框进行变换裁剪，转为准确的人体区域框，从而增强SPPE姿态估计的效果。SDTN的作用是根据STN模块的参数，计算反向转换参数，将估计的人体姿态映射到原始的检测框坐标即原图坐标中，如图4所示。下分支Parallel SPPE用来在训练过程中作为正则化矫正器，避免局部最优，该部分和上分支共享STN模块，但不包含SDTN模块，将姿态估计结果与标注的真实姿态对比，将中心位置的误差反向传播到STN模块，提高STN模块的选框精准度。
最后，将姿态估计结果输入Pose NMS模块，使用姿态距离度量分析姿态之间的相似度，从而解决检测框冗余问题，消除同一人的冗余姿态。最终输出2D的人体关键点的坐标。
第二步：通过2D关键点估计3D关键点坐标：
在确认2D的人体关键点坐标后，使用Temporal dilated convolutional model算法将其转换为3D坐标，该算法使用全卷积网络对输入的2D关键点序列进行时域卷积，获得3D关键点序列，如图5所示，其中，虚线框部分表示右半部分身体相对于左半部分靠前。
第三步：通过3D关键点坐标获取躯体姿态特征：在提取到人体躯体姿态图像中的人体关键点信息后，确定人体关键点在空间结构上的连接关系，自然地形成拓扑图，因此，可采用时空图来表示，以对人体运动进行建模，其中，时空图由G=（V，E）定义，E表示边集合，而V表示关键点集合。关键点集合V由式
Figure DEST_PATH_IMAGE001
定义，其中，T表示帧数，N表示关键点。边集合E包含两种边：在每一帧内部，根据人体的自然骨架连接关系构造的边为空域边，将连续帧之间人体对应关键点连接起来的边为时域边，G可以完整地表示整个运动过程，进而得到的时空模型图能够表示人体运动行为，如图6所示。在得到时空图后，对时空图进行特征提取，具体提取的过程如图7所示，可分为三个部分：第一部分为归一化层（BatchNorm），用于将输入矩阵即关键点在不同帧的坐标归一化。第二部分是时空图卷积（ST-GCN）结构的堆叠。ST-GCN分为三层，分别为注意力层(ATT)，图卷积层(GCN)，时间卷积层(TCN)，注意力层用于对躯干不同部分节点的重要性进行加权，图卷积层提取帧内的节点的局部空间特征，时间卷积层学习节点的时序特征。第三部分为平均池化层（Pooling），用于对整个图的关键点特征进行标准化。/>
对于足底压力分布数据，采用基于卷积神经网络来实现特征提取，该特征提取模块由特征提取网络和全连接层组成。如图8所示，一个特征提取网络由多个部分和全连接层共同组成，每个特征提取单元如虚线所示，由卷积层、非线性层以及池化层组成，其中两个特征提取单元由一个卷积层和一个非线性层组成，另两个特征提取单元由卷积层、非线性层、卷积层、非线性层以及池化层组成。
S203，将每个所述特征对中的所述躯体姿态特征和所述足底压力特征输入所述特征融合模块，得到所述人体行为属性特征。
在本发明实施例中，在特征融合模块将躯体姿态特征和足底压力特征图融合，为了使躯体姿态特征和足底压力特征对应，先对同一时刻的足底压力特征和躯体姿态特征进行融合，再进行整体融合。
具体地，确定足底压力特征中与躯体姿态特征有关的第一关联特征，以及确定躯体姿态特征中与足底压力特征有关的第二关联特征；将第一关联特征融合到躯体姿态特征中，对躯体姿态特征进行更新，同时，将第二关联特征融合到足底压力特征中，对足底压力特征进行更新。
将更新后的躯体姿态特征和足底压力特征融合增强，得到人体行为属性特征。
示例地，如图9所示，跨模态特征融合借鉴了Transformer的思想，每个特征首先分别通过三个线性层转化成代表query、key、value的三个向量，随后，躯体姿态特征中与压力特征关联的特征融合到足底压力特征中，而足底压力特征中的关联特征融合到躯体姿态特征中，接着，对融合后的特征进行更新，最后将两个模态的特征融合结果相加，得到最终的融合结果。
具体地，对足底压力特征进行特征提取，得到代表query的向量RQ，代表key的向量RK，代表value的向量RV，并对躯体姿态特征进行特征提取，得到代表query的向量EQ，代表key的向量EK，代表value的向量EV，在融合过程中，先将代表key的向量RK与代表代表query的向量EQ融合，再与自身的代表value的向量RV融合，融合后对其进行特征增强，得到更新后的R’V、R’K、R’Q，进而将R’V、R’K、R’Q融合，得到更新后的足底压力特征，同时对躯体姿态特征也进行类似的操作，得到更新后的躯体姿态特征，而后对两者进行融合增强，得到人体行为属性特征。
S204，将所述人体行为属性特征输入到所述分类模块，得到对所述待评估对象的人体行为的分类结果；其中，所述分类结果用于确定所述待评估对象是否存在行为障碍风险。
在本发明实施例中，将人体行为属性特征输入分类模块，在分类模块中，由全连接层组成的分类器进行分类，具体地，可以是确定待评估对象属于不同类别标签的概率，当概率大于某一阈值时，将对应标签作为分类结果，本发明实施例中类别标签为存在行为障碍和不存在行为障碍。示例地，确定待评估对象属于存在行为障碍的概率为90%，而属于不存在行为障碍的概率为10%，同时设置在待评估对象属于某一类别的概率大于80%时认为待评估对象属于对应类别，则此时，输出待评估对象存在行为障碍。
本发明实施例通过将人体躯体姿态图像和足底压力分布数据输入目标模型中，通过目标模型对人体躯体姿态图像和足底压力分布数据综合判断待评估对象是否行为障碍，通过足底压力分布数据进一步增强目标模型对人体姿态的理解，从而使得模型对人体行为的检测更加准确，确定待评估对象是否存在行为障碍的准确度提高。
其中，目标模型的训练过程如下：
通过采集行为障碍患者的行进视频和对应的足底压力分布数据，得到多帧人体躯体姿态图像和多帧足底压力分布数据作为训练样本。将训练样本中的人体躯体姿态图像和足底压力分布数据输入目标模型中的特征提取模块，通过特征提取模块对人体躯体姿态图像和足底压力分布数据进行处理，得到躯体姿态特征和足底压力特征。
接着，将躯体姿态特征和足底压力特征输入至融合模块，融合模块将特征对中的足底压力特征中与躯体姿态特征有关的第一关联特征更新到躯体姿态特征中，并将特征对中的躯体姿态特征中与足底压力特征关联的第二关联特征更新到足底压力特征中，将更新后的特征对进行融合增强，得到人体行为属性特征。
之后，将人体行为属性特征输入分类模块，经分类模块的全连接层分类处理，得到评估对象存在行为障碍的概率以及评估对象不存在行为障碍的概率，并将概率大于阈值的行为障碍的预测结果作为分类输出。
之后，根据预测结果和样本对应的行为障碍标签，构建损失函数，交叉熵损失函数可以表示为：
Figure DEST_PATH_IMAGE002
其中
Figure DEST_PATH_IMAGE003
表示一例训练数据的输出，/>
Figure DEST_PATH_IMAGE004
表示该样本的标签，基于损失函数得到损失值，然后基于损失值对目标模型的参数进行更新。
如此，不断重复以上训练过程，直到达到预设的迭代更新次数，或者模型收敛，从而得到用于推理阶段的目标模型。
下面结合一个示例对上述过程进行具体阐述：
参照图10，图10示出了本发明又一实施例的考虑视觉和足底压力多模感知的行为障碍检测的方法示意图，如图10所示，在接收到待评估对象的行进视频及对应的足底压力分布数据时，首先，通过待评估对象的行进视频，以及对应行进过程中的足底压力分布变化，获取评估对象行进过程中的多帧人体躯体姿态图像和多帧足底压力数据。在获取到人体躯体姿态图像和足底压力数据后，将人体躯体姿态图像和足底压力数据，输入目标模型中，在特征提取模块进行特征提取，得到躯体姿态特征和足底压力特征。
为了将同一时刻的躯体姿态特征和足底压力特征对应，在确定多个躯体姿态特征的获取时间，以及多个足底压力特征的获取时间，进而将小于预设时间差的躯体姿态特征和足底压力特征作为一对特征输入特征融合模块，在特征融合模块对同一特征对的躯体姿态特征和足底压力特征进行特征融合增强，以得到人体行为属性特征。
最后将人体行为属性特征输入包含全连接层分类器的分类模块，得到分类结果，具体地，可用分类标识表示分类结果，输出分类标识为1则表示待评估对象存在行为障碍，而输出分类标识为0则表示待评估对象不存在行为障碍，进而根据分类结果显示待评估对象的行为检测结果，由此确定待评估对象是否存在行为障碍。
实施例二
参照图11，图11示出了本发明实施例的一种考虑视觉和足底压力多模感知的行为障碍检测装置的结构示意图，如图11所示，包括：
获取模块1101，用于获取待评估对象在行进过程中的多帧人体躯体姿态图像，以及所述待评估对象在行进过程中的多帧足底压力分布数据；
特征提取模块1102，用于对每帧所述人体躯体姿态图像进行特征提取得到躯体姿态特征，以及对每帧所述足底压力分布数据进行特征提取得到足底压力特征；
融合模块1103，用于对多帧所述躯体姿态特征和多帧所述足底压力特征进行组合，得到多个特征对，每个所述特征对包括采集时间差异小于预设差异的躯体姿态特征和足底压力特征；
对每个所述特征对中的所述躯体姿态特征和所述足底压力特征进行融合增强，得到人体行为属性特征；
确定模块1104，用于基于所述人体行为属性特征，确定所述待评估对象是否存在行为障碍风险。
基于同一发明构思，本发明实施例还提供了一种电子设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如上述任一实施例所述的考虑视觉和足底压力多模感知的行为障碍检测方法中的步骤。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任一实施例所述的考虑视觉和足底压力多模感知的行为障碍检测方法中的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内；
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和部件并不一定是本发明所必须的。
以上对本发明所提供的一种考虑视觉和足底压力多模感知的行为障碍检测方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种考虑视觉和足底压力多模感知的行为障碍检测方法，其特征在于，所述方法包括：
获取待评估对象在行进过程中的多帧人体躯体姿态图像，以及所述待评估对象在行进过程中的多帧足底压力分布数据；
对每帧所述人体躯体姿态图像进行特征提取得到躯体姿态特征，以及对每帧所述足底压力分布数据进行特征提取得到足底压力特征；其中，所述躯体姿态特征和所述足底压力特征为两个不同模态的特征；
对多帧所述躯体姿态特征和多帧所述足底压力特征进行组合，得到多个特征对，每个所述特征对包括采集时间差异小于预设差异的躯体姿态特征和足底压力特征；
对每个所述特征对中的所述躯体姿态特征和所述足底压力特征进行融合增强，得到人体行为属性特征；
基于所述人体行为属性特征，确定所述待评估对象是否存在行为障碍风险；
其中，所述对每个所述特征对中的所述躯体姿态特征和所述足底压力特征进行融合增强，得到人体行为属性特征，包括：
确定所述足底压力特征中与所述躯体姿态特征有关的第一关联特征，以及所述姿态特征中与所述足底压力特征有关的第二关联特征；
将所述第一关联特征融合至所述躯体姿态特征，得到更新后的躯体姿态特征，以及将所述第二关联特征融合至所述足底压力特征，得到更新后的足底压力特征；
对更新后的所述躯体姿态特征和更新后的所述足底压力特征进行融合增强，得到所述人体行为属性特征。
2.根据权利要求1所述的考虑视觉和足底压力多模感知的行为障碍检测方法，其特征在于，所述对每帧所述人体躯体姿态图像进行特征提取得到躯体姿态特征，包括：
根据所述人体躯体姿态图像，提取人体关键点的二维坐标；
将所述二维坐标转换为三维坐标，基于所述三维坐标，构建拓扑图；
基于所述拓扑图，提取所述关键点的局部空间特征和时序特征；
将各个所述关键点的所述局部空间特征和所述时序特征进行特征汇总后，通过降维得到所述躯体姿态特征。
3.根据权利要求1-2任一所述的考虑视觉和足底压力多模感知的行为障碍检测方法，其特征在于，包括目标模型，所述目标模型包括特征提取模块，特征融合模块以及分类模块，所述对每帧所述人体躯体姿态图像进行特征提取得到躯体姿态特征，以及对每帧所述足底压力分布数据进行特征提取得到足底压力特征，包括：
将所述人体躯体姿态图像和所述足底压力分布数据输入到所述特征提取模块，得到所述躯体姿态特征和所述足底压力特征；
所述对每个所述特征对中的所述躯体姿态特征和所述足底压力特征进行融合增强，得到人体行为属性特征，包括：
将每个所述特征对中的所述躯体姿态特征和所述足底压力特征输入所述特征融合模块，得到所述人体行为属性特征；
所述基于所述人体行为属性特征，确定所述待评估对象是否存在行为障碍风险，包括：
将所述人体行为属性特征输入到所述分类模块，得到对所述待评估对象的人体行为的分类结果；其中，所述分类结果用于确定所述待评估对象是否存在行为障碍风险。
4.根据权利要求3所述的考虑视觉和足底压力多模感知的行为障碍检测方法，其特征在于，所述目标模型的训练步骤包括：
获取对所述目标模型进行训练的训练样本，其中，所述训练样本包括多个样本对，每个所述样本对包括对行为障碍患者的行进视频进行采集的人体躯体姿态图像样本和足底压力分布数据样本，其中，所述人体躯体姿态图像样本与所述足底压力分布数据样本的采集时间之间的时间差小于预设时间差；
将每个样本对的所述人体躯体姿态图像样本和所述足底压力分布数据样本输入至预设模型，得到行为障碍风险的预测结果；
基于所述预测结果和所述样本对应的行为障碍风险标签，确定损失值；
基于所述损失值，更新所述预设模型的参数，直至所述预设模型收敛或更新到目标次数。
CN202211381649.3A 2022-11-07 2022-11-07 一种考虑视觉和足底压力多模感知的行为障碍检测方法 Active CN115601840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211381649.3A CN115601840B (zh) 2022-11-07 2022-11-07 一种考虑视觉和足底压力多模感知的行为障碍检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211381649.3A CN115601840B (zh) 2022-11-07 2022-11-07 一种考虑视觉和足底压力多模感知的行为障碍检测方法

Publications (2)

Publication Number Publication Date
CN115601840A CN115601840A (zh) 2023-01-13
CN115601840B true CN115601840B (zh) 2023-03-28

Family

ID=84852920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211381649.3A Active CN115601840B (zh) 2022-11-07 2022-11-07 一种考虑视觉和足底压力多模感知的行为障碍检测方法

Country Status (1)

Country Link
CN (1) CN115601840B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117577332B (zh) * 2024-01-16 2024-04-02 中航创世机器人(西安)有限公司 一种基于视觉分析的康复评估方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5301807B2 (ja) * 2007-10-30 2013-09-25 学校法人産業医科大学 足底圧計測装置及び行動姿勢判別方法
JP5388024B2 (ja) * 2008-11-13 2014-01-15 国立大学法人 千葉大学 姿勢制御機能診断装置
TWI562100B (en) * 2013-05-03 2016-12-11 Ind Tech Res Inst Device and method for monitoring postural and movement balance for fall prevention
CN106618498B (zh) * 2016-12-14 2020-08-21 广州市章和智能科技有限责任公司 评估身体平衡的系统和方法
CN106887115B (zh) * 2017-01-20 2019-05-10 安徽大学 一种老人跌倒监测装置及跌倒风险评估方法
CN109965890A (zh) * 2019-04-10 2019-07-05 中铁四局集团房地产开发有限公司 一种基于多传感融合的下肢力量测评方法
CN110427877B (zh) * 2019-08-01 2022-10-25 大连海事大学 一种基于结构信息的人体三维姿态估算的方法
CN112998696A (zh) * 2021-02-03 2021-06-22 上海橙捷健康科技有限公司 基于下肢评估和步态分析的足底矫正方法、系统及其应用
CN114366559A (zh) * 2021-12-31 2022-04-19 华南理工大学 一种用于下肢康复机器人的多模态感知系统
CN115147768B (zh) * 2022-07-28 2023-07-04 国家康复辅具研究中心 一种跌倒风险评估方法及系统

Also Published As

Publication number Publication date
CN115601840A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN110473192B (zh) 消化道内镜图像识别模型训练及识别方法、装置及系统
US20230342918A1 (en) Image-driven brain atlas construction method, apparatus, device and storage medium
Chaaraoui et al. Abnormal gait detection with RGB-D devices using joint motion history features
CN114081471B (zh) 一种基于三维图像与多层感知的脊柱侧弯cobb角测量方法
Tang et al. A comparative review on multi-modal sensors fusion based on deep learning
CN115601840B (zh) 一种考虑视觉和足底压力多模感知的行为障碍检测方法
CN113662664B (zh) 一种基于仪器追踪的外科手术质量客观自动化评估方法
Scott et al. From image to stability: Learning dynamics from human pose
An et al. Real-time monocular human depth estimation and segmentation on embedded systems
Zhuang et al. Video-based facial weakness analysis
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN117137435B (zh) 一种基于多模态信息融合的康复动作识别方法和系统
CN117765530A (zh) 一种多模态脑网络分类方法、系统、电子设备及介质
CN116993699A (zh) 一种眼动辅助训练下的医学图像分割方法及系统
CN112634255B (zh) 脑部病灶检测模型的建立方法、装置以及计算机设备
Liu et al. Trajectory grouping with curvature regularization for tubular structure tracking
CN114596632A (zh) 基于架构搜索图卷积网络的中大型四足动物行为识别方法
CN115132376A (zh) 一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统
Pemasiri et al. Semantic segmentation of hands in multimodal images: A region new-based CNN approach
Guerreiro et al. Detection of Osteoarthritis from Multimodal Hand Data
KR102683718B1 (ko) 수의영상처리 기법을 활용한 대퇴골 탈구 판독 장치 및 방법
Sadek et al. Computer vision-based approach for detecting arm-flapping as autism suspect behaviour
Lin et al. A meta-fusion RCNN network for endoscopic visual bladder lesions intelligent detection
EP4198997A1 (en) A computer implemented method, a method and a system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant