CN110705367A - 一种基于三维卷积神经网络的人体平衡能力分类方法 - Google Patents

一种基于三维卷积神经网络的人体平衡能力分类方法 Download PDF

Info

Publication number
CN110705367A
CN110705367A CN201910845402.4A CN201910845402A CN110705367A CN 110705367 A CN110705367 A CN 110705367A CN 201910845402 A CN201910845402 A CN 201910845402A CN 110705367 A CN110705367 A CN 110705367A
Authority
CN
China
Prior art keywords
neural network
human body
convolutional neural
dimensional
softmax function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910845402.4A
Other languages
English (en)
Inventor
金海燕
谢乐
肖照林
蔡磊
李秀秀
杨秀红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910845402.4A priority Critical patent/CN110705367A/zh
Publication of CN110705367A publication Critical patent/CN110705367A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于三维卷积神经网络的人体平衡能力分类方法，具体按照以下步骤实施：步骤1、在搭建好的模拟现实的虚拟场景中拍摄正常人和非正常人的人体行走姿态视频；步骤2、将步骤1采集到的正常人和非正常人的行走姿态视频分别提取成图像，再分别对正常人和非正常人图像在三维卷积神经网络中训练，计算特征向量；步骤3、将步骤2得到的特征向量输入到Softmax函数中，利用Softmax函数的出的数值对平衡能力分类，解决了现有技术中存在的提取的特征单一，导致分类准确率不高的问题。

Description

一种基于三维卷积神经网络的人体平衡能力分类方法
技术领域
本发明属于深度学习技术领域，涉及一种基于三维卷积神经网络的人体平衡能力分类方法。
背景技术
平衡能力不仅会带来身体创伤，还会带来心理创伤。跌倒会造成人们表现出消极、害怕、抑郁以及对新事物的抗拒和畏惧的行为，这些行为表现不仅会限制自己的活动，还会丧失自信心，对人的身体健康和心理健康极其不利。拥有良好的平衡能力，有利于提高运动器官的功能和前庭器官的机能，改善中枢神经系统对肌肉组织与内脏器官的调节功能，从而保证身体活动的顺利进行，提高适应复杂环境的能力和自我保护的能力。
传统的主观人体平衡能力观察方法主要有强化Romberg氏检测法、闭目直立检查法和单腿直立检测法(OLST)。传统的主观观察法虽然操作较为简单，但是过于粗略和主观，缺乏客观性和统一的标准，不能清楚直观的判断平衡障碍的程度，只能用于临床上对疑似平衡能力障碍患者的初步测试。其他的方法如量表测评法，包括Berg平衡量表、Tinetti步态和平衡量表、活动平衡信心量表、Brunel平衡量表等，需要通过复杂的设备。目前，基于虚拟现实的VR系统得到了很大的利用，其涉及计算机图形学、人机交互技术、传感技术、人工智能等技术，有望产生巨大的经济效益和社会效益。利用计算机，生成逼真的三维视、听、嗅觉等感觉，使参与者自然地对虚拟世界进行体验和交互作用，通过精确的3D世界影像产生身临其境的感觉。通过VR系统模拟出的不同虚拟场景，使参与者根据相应的场景做出反应与交互，同时计算机根据所做出的反应得到的数据，通过科学的依据与数据测量计算方法，就可以快速判定出人体平衡能力的好坏。具有更高的准确性和可靠性，以及更高的效率。现有基于VR拍摄视频进行平衡能力分类的方法中，提取的特征单一，导致分类准确率不高。
发明内容
本发明的目的是提供一种基于三维卷积神经网络的人体平衡能力分类方法，解决了现有技术中存在的提取的特征单一，导致分类准确率不高的问题。
本发明所采用的技术方案是，一种基于三维卷积神经网络的人体平衡能力分类方法，具体按照以下步骤实施：
步骤1、在搭建好的模拟现实的虚拟场景中拍摄正常人和非正常人的人体行走姿态视频；
步骤2、将步骤1采集到的正常人和非正常人的行走姿态视频分别提取成图像，再分别对正常人和非正常人图像在三维卷积神经网络中训练，计算特征向量；
步骤3、将步骤2得到的特征向量输入到Softmax函数中，利用Softmax函数的出的数值对平衡能力分类。
本发明的特点还在于：
所述步骤2具体按照以下步骤实施：
步骤2.1、使用cvLoadImage函数读取采集到的正常人和非正常人的姿态视频，设定读入视频的开始时间和结束时间；
步骤2.2、通过OpenCV中的CvCapture函数将提取的正常人和非正常人的视频分别拆帧，分别提取出两组视频中的空白场景进行图片保存后，然将拍摄的人体姿态视频每两秒取一帧保存为图像；
步骤2.3、输入保存的图像在三维卷积神经网络中进行模型训练，计算特征向量；
步骤2.3中的计算特征向量具体按照以下步骤实施：
步骤2.3.1、先计算三维卷积神经网络的第i层第j个特征图的(x，y，z)，具体按以下公式计算：
Figure BDA0002192519470000031
其中，v表示第i层(x，y，z)处的输出，bij表示偏置大小，Pi、Ri、Qi表示3D卷积核的大小，
Figure BDA0002192519470000032
表示卷积核的权值，X代表横坐标，Y代表纵坐标，Z代表竖向坐标。
步骤2.3.2、对步骤2.3.1得出的第i层(x，y，z)处的输出进行池化计算，具体按以下公式计算：
Figure BDA0002192519470000033
其中，u为三维输入向量，v为特征向量，s、t、r是x、y、z三个方向上的采样步长，S1×S2×S3为采样区域大小。三维采样能有效降低计算的复杂度，增加模型的鲁棒性。
Softmax函数的计算公式为：
Figure BDA0002192519470000034
其中，j＝1，...，K，Z表示向量，K表示向量的维数，σ(Z)表示K维实向量。
步骤3具体为，将步骤2得到的特征向量输入到Softmax函数中，计算Softmax函数的出的数值，当Softmax函数得出的数值大于0.7，判断为平衡能力不好，当Softmax函数得出的数值不大于0.7，判断为平衡能力好。
本发明的有益效果是：本发明一种基于三维卷积神经网络的人体平衡能力分类方法，解决了现有技术中存在的提取的特征单一，导致分类准确率不高的问题，通过对采集的行人图像在三维卷积神经网络中训练并实现分类，不借助任何平衡测量仪器就可以区分出平衡能力较差的人群，使得对自己或他人的平衡能力产生客观的判断，最终评估的准确率在90％以上。
附图说明
图1是本发明一种基于三维卷积神经网络的人体平衡能力分类方法的流程图；
图2是本发明一种基于三维卷积神经网络的人体平衡能力分类方法的3DCNN架构图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于三维卷积神经网络的人体平衡能力分类方法，如图1所示，具体按照以下步骤实施：
步骤1、在搭建好的模拟现实的虚拟场景中拍摄正常人和非正常人的人体行走姿态视频；
步骤2、将步骤1采集到的正常人和非正常人的行走姿态视频分别提取成图像，再分别对正常人和非正常人图像在三维卷积神经网络中训练，计算特征向量；
步骤2具体按照以下步骤实施：
步骤2.1、使用cvLoadImage(磁盘载入图像的函数)函数读取采集到的正常人和非正常人的姿态视频，设定读入视频的开始时间和结束时间；
步骤2.2、通过OpenCV(开源计算机视觉库)中的CvCapture(视频获取结构)函数将提取的正常人和非正常人的视频分别拆帧，分别提取出两组视频中的空白场景进行图片保存后，然将拍摄的人体姿态视频每两秒取一帧保存为图像；
步骤2.3、输入保存的图像在三维卷积神经网络中进行模型训练，计算特征向量；
步骤2.3中的计算特征向量具体按照以下步骤实施：
步骤2.3.1、先计算三维卷积神经网络的第i层第j个特征图的(x，y，z)，具体按以下公式计算：
Figure BDA0002192519470000051
其中，v表示第i层(x，y，z)处的输出，bij表示偏置大小，Pi、Ri、Qi表示3D卷积核的大小，
Figure BDA0002192519470000052
表示卷积核的权值，X代表横坐标，Y代表纵坐标，Z代表竖向坐标。
3D卷积是采用3D内核卷积将多个连续帧堆叠而成的立方体来实现的。在卷积核上增加了depth(深度)时间维度，因此，输入数据的大小为(1，depth，height，width(深度、宽度、高度))，其卷积核在输入3D图像的空间维度(height，width(宽度、高度))和depth(深度)维度上均进行滑窗操作。在网络结构的第i层第j个特征图的(x，y，z)的位置上经过3D卷积计算后，得到的值由公式(1)计算得到
步骤2.3.2、对步骤2.3.1得出的第i层(x，y，z)处的输出进行池化计算，具体按以下公式计算：
Figure BDA0002192519470000061
其中，u为三维输入向量，v为特征向量(经过三维池化操作后的输出)，s、t、r是x、y、z三个方向上的采样步长，S1、S2、S3为采样区域大小。三维采样能有效降低计算的复杂度，增加模型的鲁棒性。
因为三维卷积神经网络采用三维卷积核，训练后得到的特征维数(第i层(x，y，z)处的输出)比较高，为了减少计算量的规模、避免过拟合现象及保持时间尺度上的不变性，采用3D池化进行下采样，逐步减少立方体的特征规模。本发明采用的池化方法是最大值池化，如公式(2)所示。
如图2所示，整个网络中数据流的传输方向是按从左至右进行的。首先将连续视频帧图像输入，经过硬连接核处理，提取每帧图像的三个通道信息，分别为：灰度信息、x和y方向的梯度。
然后，用7×7×3三维卷积在得到的3个通道上分别进行卷积，7×7表示空间维度上的卷积，3表示时间维度的特征。为了提取不同的特征，即增加特征图的数量，在每个位置用两个不同的卷积核进行卷积，这样在C2层得到的两组特征图中，每组包含[(7-3+1)×3+(6-3+1)×2]＝33个特征图。
接着对C2层的特征图用2×2的窗口进行下采样，会得到空间分辨率降低但是数目不变的特征图。下采样后，得到(52/2)×(34/2)＝27×17大小的特征图。
S3层与H1层的处理办法相同，但是使用7×6×3的三维卷积核，每个通道均采用3个卷积核，会使得特征图的数量增加。输入的连续7帧视频帧包含7帧灰度及梯度信息，每组含有的特征图数量为((7-3+1)-3+1)×3+((6-3+1)-3+1)×2＝13个，大小为21×12。S5层的池化核采用3×3，得到特征图的大小为7×4。
经过上述操作后，时间维度上的特征图数量大大减小，接下来仅在空间维度上进行卷积，采用7×4的卷积核，输出128个1×1大小的特征图。C6层包含128个特征图，也就是最后生成128维特征向量。
模型共包含了7个卷积层，5个池化层，和两个全连接层。所有的卷积层均采用3D卷积核，大小为3×3×3，步长均为1×1×1，卷积核的个数依次设定为64、64、128、256、256。池化层均采用3D最大池化，除了第一层采用1×2×2大小的池化核和1×2×2大小的步长，其余池化层均采用2×2×2大小的池化核和步长，这样做的原因是不过早的缩小时间序列上的长度。可以避免梯度消失问题。两层全连接层各含有512个输出单元。
步骤3、将步骤2得到的特征向量输入到Softmax函数中，利用Softmax函数的出的数值对平衡能力分类。
步骤3具体为，将步骤2得到的特征向量输入到Softmax函数(归一化指数函数)中，计算Softmax函数的出的数值，当Softmax函数得出的数值大于0.7，判断为平衡能力不好，当Softmax函数得出的数值不大于0.7，判断为平衡能力好。
Softmax函数的计算公式为：
Figure BDA0002192519470000071
其中，j＝1，...，K，Z表示向量，K表示向量的维数，σ(Z)表示K维实向量。
本发明一种基于三维卷积神经网络的人体平衡能力分类方法，解决了现有技术中存在的提取的特征单一，导致分类准确率不高的问题，通过对采集的行人图像在三维卷积神经网络中训练并实现分类，不借助任何平衡测量仪器就可以区分出平衡能力较差的人群，使得对自己或他人的平衡能力产生客观的判断，最终评估的准确率在90％以上。

Claims (5)

1.一种基于三维卷积神经网络的人体平衡能力分类方法，其特征在于，具体按照以下步骤实施：
步骤1、在搭建好的模拟现实的虚拟场景中拍摄正常人和非正常人的人体行走姿态视频；
步骤2、将步骤1采集到的正常人和非正常人的行走姿态视频分别提取成图像，再分别对正常人和非正常人图像在三维卷积神经网络中训练，计算特征向量；
步骤3、将步骤2得到的特征向量输入到Softmax函数中，利用Softmax函数的出的数值对平衡能力分类。
2.根据权利要求1所述的一种基于三维卷积神经网络的人体平衡能力分类方法，其特征在于，所述步骤2具体按照以下步骤实施：
步骤2.1、使用cvLoadImage函数读取采集到的正常人和非正常人的姿态视频，设定读入视频的开始时间和结束时间；
步骤2.2、通过OpenCV中的CvCapture函数将提取的正常人和非正常人的视频分别拆帧，分别提取出两组视频中的空白场景进行图片保存后，然将拍摄的人体姿态视频每两秒取一帧保存为图像；
步骤2.3、输入保存的图像在三维卷积神经网络中进行模型训练，计算特征向量。
3.根据权利要求2所述的一种基于三维卷积神经网络的人体平衡能力分类方法，其特征在于，所述步骤2.3中的计算特征向量具体按照以下步骤实施：
步骤2.3.1、先计算三维卷积神经网络的第i层第j个特征图的(x,y,z)，具体按以下公式计算：
Figure FDA0002192519460000021
其中，v表示第i层(x,y,z)处的输出，bij表示偏置大小，Pi、Ri、Qi表示3D卷积核的大小，
Figure FDA0002192519460000022
表示卷积核的权值，X代表横坐标，Y代表纵坐标，Z代表竖向坐标。
步骤2.3.2、对步骤2.3.1得出的第i层(x,y,z)处的输出进行池化计算，具体按以下公式计算：
Figure FDA0002192519460000023
其中，u为三维输入向量，v为特征向量，s、t、r是x、y、z三个方向上的采样步长，S1×S2×S3为采样区域大小。三维采样能有效降低计算的复杂度，增加模型的鲁棒性。
4.根据权利要求1所述的一种基于三维卷积神经网络的人体平衡能力分类方法，其特征在于，所述Softmax函数的计算公式为：
Figure FDA0002192519460000024
其中，j＝1，...，K，Z表示向量，K表示向量的维数，σ(Z)表示K维实向量。
5.根据权利要求1所述的一种基于三维卷积神经网络的人体平衡能力分类方法，其特征在于，所述步骤3具体为，将步骤2得到的特征向量输入到Softmax函数中，计算Softmax函数的出的数值，当Softmax函数得出的数值大于0.7，判断为平衡能力不好，当Softmax函数得出的数值不大于0.7，判断为平衡能力好。
CN201910845402.4A 2019-09-05 2019-09-05 一种基于三维卷积神经网络的人体平衡能力分类方法 Pending CN110705367A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910845402.4A CN110705367A (zh) 2019-09-05 2019-09-05 一种基于三维卷积神经网络的人体平衡能力分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910845402.4A CN110705367A (zh) 2019-09-05 2019-09-05 一种基于三维卷积神经网络的人体平衡能力分类方法

Publications (1)

Publication Number Publication Date
CN110705367A true CN110705367A (zh) 2020-01-17

Family

ID=69195131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910845402.4A Pending CN110705367A (zh) 2019-09-05 2019-09-05 一种基于三维卷积神经网络的人体平衡能力分类方法

Country Status (1)

Country Link
CN (1) CN110705367A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111403039A (zh) * 2020-03-19 2020-07-10 中国科学院深圳先进技术研究院 一种动态平衡评估方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN109271918A (zh) * 2018-09-10 2019-01-25 西安理工大学 基于重心偏移模型区分平衡能力障碍人群的方法
CN109635790A (zh) * 2019-01-28 2019-04-16 杭州电子科技大学 一种基于3d卷积的行人异常行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN109271918A (zh) * 2018-09-10 2019-01-25 西安理工大学 基于重心偏移模型区分平衡能力障碍人群的方法
CN109635790A (zh) * 2019-01-28 2019-04-16 杭州电子科技大学 一种基于3d卷积的行人异常行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张颖 等: "基于3D卷积神经网络的人体行为识别方法", 《软件导刊》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111403039A (zh) * 2020-03-19 2020-07-10 中国科学院深圳先进技术研究院 一种动态平衡评估方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110276316B (zh) 一种基于深度学习的人体关键点检测方法
CN113469356B (zh) 一种基于迁移学习的改进vgg16网络猪的身份识别方法
Ji Research on basketball shooting action based on image feature extraction and machine learning
CN106651830A (zh) 一种基于并行卷积神经网络的图像质量测试方法
CN109816689A (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN108806792A (zh) 深度学习面诊系统
CN106068514A (zh) 用于在不受约束的媒体中识别面孔的系统和方法
CN106407889A (zh) 基于光流图深度学习模型在视频中人体交互动作识别方法
CN110503000B (zh) 一种基于人脸识别技术的教学抬头率测量方法
CN110532850B (zh) 一种基于视频关节点和混合分类器的跌倒检测方法
CN113610046B (zh) 一种基于深度视频联动特征的行为识别方法
CN107516312A (zh) 一种应用浅层神经网络的中医面色自动分类方法
CN113221694A (zh) 一种动作识别方法
CN109063643A (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN111797705A (zh) 一种基于人物关系建模的动作识别方法
CN109558797B (zh) 基于视觉刺激下的重心面积模型区分人体平衡障碍的方法
CN110705367A (zh) 一种基于三维卷积神经网络的人体平衡能力分类方法
CN113327269A (zh) 一种无标记颈椎运动检测方法
CN115546491B (zh) 一种跌倒报警方法、系统、电子设备及存储介质
CN112800882A (zh) 一种基于加权双流残差网络的口罩人脸姿态分类方法
CN110490049A (zh) 基于多特征和svm区分人体平衡障碍的方法
CN110147715A (zh) 一种视网膜OCT图像Bruch膜开角自动检测方法
CN111914798B (zh) 基于骨骼关节点数据的人体行为识别方法
CN112099330B (zh) 基于外部相机和穿戴式显控设备的全息人体重建方法
CN114882580A (zh) 一种基于深度学习的运动动作一致性的度量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117

RJ01 Rejection of invention patent application after publication