CN110490049A - 基于多特征和svm区分人体平衡障碍的方法 - Google Patents

基于多特征和svm区分人体平衡障碍的方法 Download PDF

Info

Publication number
CN110490049A
CN110490049A CN201910589752.9A CN201910589752A CN110490049A CN 110490049 A CN110490049 A CN 110490049A CN 201910589752 A CN201910589752 A CN 201910589752A CN 110490049 A CN110490049 A CN 110490049A
Authority
CN
China
Prior art keywords
image
feature
svm
normal person
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910589752.9A
Other languages
English (en)
Inventor
金海燕
谢乐
肖照林
蔡磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910589752.9A priority Critical patent/CN110490049A/zh
Publication of CN110490049A publication Critical patent/CN110490049A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的基于多特征和SVM区分人体平衡障碍的方法，首先按照与人体行走时正面呈90°的角度拍摄正常人和非正常人在搭建好的模拟现实的虚拟场景中的人体行走姿态视频；然后，将采集到的正常人和非正常人的行走姿态视频分别提取成图像，对提取的图像进行预处理，再分别提取预处理后正常人和非正常人图像的SIFT特征，Hu不变矩特征和PHOG特征；最后，将得到的SIFT特征，Hu不变矩特征和PHOG特征融合，通过SVM进行训练，得到人体平衡能力分类模型，判断并分类出平衡能力障碍人群。本发明公开的方法通过采集人体姿态图像的三个特征，判断并分类出平衡能力障碍人群，最终分类的准确率在87％以上。

Description

基于多特征和SVM区分人体平衡障碍的方法
技术领域
本发明属于数字图像处理技术领域，具体涉及一种基于多特征和SVM区分人体平衡障碍的方法。
背景技术
人体平衡能力是身体素质的一种，是指抵抗破坏平衡的外力，以保持全身处于稳定状态的能力，是一切静态与动态活动的基础能力。包括维持某种姿态的能力或受外作用力时调控机体保持平衡的能力，是人体重要的生理机能之一。影响平衡能力的主要因素有支撑面积、重心高度、体重等因素，同时也受到视觉、身体器官、感受系统等因素的影响。当人体出现平衡障碍时，会出现肌力和耐力的低下、关节的灵活度和软组织的柔韧度下降、中枢神经系统功能的障碍、视觉、前庭功能、本体感受效率下降、触觉的输入和敏感度降低、空间感知能力减弱等现象。拥有良好的平衡能力，有利于提高运动器官的功能和前庭器官的机能，改善中枢神经系统对肌肉组织与内脏器官的调节功能，从而保证身体活动的顺利进行，提高适应复杂环境的能力和自我保护的能力。
传统的主观人体平衡能力观察方法主要有强化Romberg氏检测法、闭目直立检查法和单腿直立检测法(OLST)。传统的主观观察法虽然操作较为简单，但是过于粗略和主观，缺乏客观性和统一的标准，不能清楚直观的判断平衡障碍的程度，只能用于临床上对疑似平衡能力障碍患者的初步测试。其他的方法如量表测评法，包括Berg平衡量表、Tinetti步态和平衡量表、活动平衡信心量表、Brunel平衡量表等，需要通过复杂的设备。目前，基于虚拟现实的VR系统得到了很大的利用，其涉及计算机图形学、人机交互技术、传感技术、人工智能等技术，有望产生巨大的经济效益和社会效益。利用计算机，生成逼真的三维视、听、嗅觉等感觉，使参与者自然地对虚拟世界进行体验和交互作用，通过精确的3D世界影像产生身临其境的感觉。通过VR系统模拟出的不同虚拟场景，使参与者根据相应的场景做出反应与交互，同时计算机根据所做出的反应得到的数据，通过科学的依据与数据测量计算方法，就可以快速判定出人体平衡能力的好坏。具有更高的准确性和可靠性，以及更高的效率。现有基于VR拍摄视频进行平衡能力分类的方法中，提取的特征比较单一，导致分类准确率不高，本发明对提取的全局特征和局部特征进行融合，大大的提高了分类的准确率。
发明内容
本发明的目的是提供一种基于多特征和SVM区分人体平衡障碍的方法解决了现有方法提取的特征单一造成分类准确率不高的问题。
本发明所采用的技术方案是，基于多特征和SVM区分人体平衡障碍的方法，具体操作过程包括如下步骤：
步骤1，按照与人体行走时正面呈90°的角度拍摄正常人和非正常人在搭建好的模拟现实的虚拟场景中的人体行走姿态视频；
步骤2，将采集到的正常人和非正常人的行走姿态视频分别提取成图像，对提取的图像进行预处理，再分别提取预处理后正常人和非正常人图像的SIFT特征，Hu不变矩特征和PHOG特征；
步骤3，将步骤2得到的SIFT特征，Hu不变矩特征和PHOG特征融合，通过SVM进行训练，得到人体平衡能力分类模型，判断并分类出平衡能力障碍人群。
本发明的其他特点还在于，
步骤2包括以下步骤：
步骤2.1，使用cvLoadImage函数读取采集到的正常人和非正常人的姿态视频，设定读入视频的开始时间和结束时间，如果Capture函数没有读取到含有人像的视频，则重新设定视频的开始时间和结束时间，重复步骤2.1，如果capture函数读取到含有人像的视频，则进行步骤2.2；
步骤2.2，通过OpenCV中的CvCapture函数将提取的正常人和非正常人的视频分别拆帧，分别提取出两组视频中的空白场景进行图片保存后，然将拍摄的人体姿态视频每两秒取一帧保存为图像；
步骤2.3，将保存的正常人和非正常人的姿态图像分别与空白场景进行差分后依次进行去噪、腐蚀、边缘提取和二值化的过程，得到预处理后的黑白图像；
步骤2.4，将预处理后的图像进行距离变换，提取图像的SIFT特征、PHOG特征、Hu不变矩特征。
优选的，步骤2.3中将正常人和非正常人的姿态图像分别与空白场景图像进行差分过程如下：
设第k时刻提取到的含有人体的图像为Ip，空白场景的图像为Ie，对两张图像进行差分，得到差分图像为Idif，则有Idif＝Ip-Ie。
优选的，步骤2.3中采用双边滤波算法进行图像去噪，使用周边像素亮度值的加权平均代表某个像素的强度，具体过程是：令Idif和Il BF分别为差分处理得到图像和去噪处理后的图像，则双边滤波输出的结果为
其中，参数σs定义了用于过滤像素的空间邻域的大小，σr控制了由于强度差异而使相邻像素下降的程度，使权的和标准化。
优选的，步骤2.3中通过getStructuringElement函数定义腐蚀窗口的大小，选择矩形窗口MORPH_RECT，腐蚀核的大小选择3×3，通过腐蚀窗口MORPH_RECT使用erode函数进行腐蚀操作，得到只含有人像的图片。
优选的，步骤2.3中利用Canny边缘检测算子对腐蚀后的图像进行处理得到图像的连通区域。具体过程如下：
首先，使用高斯滤波器与图像进行卷积，减少边缘检测器上明显的噪声影响；
然后计算图像中每个像素点的梯度强度和方向，并应用非极大值抑制，以消除边缘检测带来的杂散响应；
最后，使用双阈值检测确定真实的和潜在的边缘，并通过抑制孤立的弱边缘完成边缘检测，使用findContours函数提取出人体轮廓图像。
优选的，步骤2.4的具体过程如下：
步骤2.4.1，距离变换的过程为：将二值化后的图像使用Opecnv中distanceTransform方法计算图像中每一个非零点距离自身最近的零点的距离，用mask_size定义距离变换掩模的大小，一般选择3×3；
步骤2.4.2，通过输入图像与尺度可变的高斯核函数卷积构建尺度空间，将得到的尺度空间通过高斯差分函数卷积得到图像的关键点，以图像中的像素点为单位，将每个像素点与和它相同尺度且相邻的8个像素点以及相邻像素点对应位置的9个像素点比较，只有该像素点的值比其对应的所有像素点的值都大或者都小的时候，则该像素点为特征点候选点；
求取构建的尺度空间函数的极值点，在极值点处求取尺度空间函数，通过极值点处的尺度空间函数滤除特征点候选点中低对比度的点，并通过Hessian矩阵去除边缘响应得到特征点；然后通过计算图像的梯度方向直方图，取其峰值为特征点的主方向；需要注意的是，当统计的梯度方向直方图的某个峰值大于主方向峰值的80％时，则将该峰值所对应的方向称为该特征点的辅方向，辅方向用于増强特征点匹配时的稳定性；
将图像的坐标旋转到确定的主方向，根据特征点为中心选取一个16*16的窗口，并划分区域，计算每个区域的梯度直方图进行组合排序得到128维的特征向量，将计算得到的特征向量进行归一化得到SIFT特征；
步骤2.4.3，提取图像的Hu不变矩：首先将二值化后的正常人和非正常人的姿态图像定义为p+q阶几何矩，如式(3)所示；式(4)代表图像的p+q阶中心矩定义：
其中，f(x，y)为图像函数；和为图像的重心，定义如公式(5)所示；
将图像的中心矩根据式(6)进行归一化，利用二阶和三阶归一化中心矩构造的7个不变矩如式(7)所示，得到正常人和非正常人的姿态图像的形状特征；
步骤2.4.4，利用PHOG提取预处理后的正常人和非正常人的姿态图像的人体轮廓图像的空间形状特征：首先对正常人和非正常人的姿态图像进行分割，再对分割后的子图像提取HOG特征，将提取的HOG特征归一化得到PHOG特征，利用主成分分析法对提取的PHOG特征降维。
优选的，步骤2.4.4的具体过程如下：
利用Canny边缘检测算法提取出图像的边缘轮廓用于描述图像的形状，对待测区域进行金字塔分层，即下一层是将上一层中各分块按高和宽缩小一倍的比例分为更小的块，然后，计算金字塔每层中每个分块提取HOG特征向量，顺序串联金字塔各层的HOG特征并归一化，获得待测区域的PHOG特征。
优选的，步骤3的中将步骤2得到的SIFT特征，Hu不变矩特征和PHOG特征进行并联融合，作为新的向量输出。
优选的，步骤3中SVM的训练过程如下：
加载训练数据集和测试数据集，其中，包含了训练数据和训练标签以及测试数据和测试标签，即人体重心面积数据及正确标签，将其分为训练数据和测试数据两部分，通过SVMcgForRegress参数寻优函数获取当前数据的最优参数，使用得到的优化后的参数再通过svmtrain函数训练数据，得到训练完成的模型；最后使用svmpredict函数进行测试，得到带有标记“1”或“-1”分类标签；
将融合后的得到的新向量作为SVM的输入，训练SVM模型，若输出的平衡能力标记为“1”，则被区分为正常人，说明平衡能力好；若输出的平衡能力标记为“-1”，则被区分为非正常人，说明存在平衡能力障碍。
本发明的有益效果是，基于多特征和SVM区分人体平衡障碍的方法，解决了现有方法提取的特征单一造成分类准确率不高的问题。通过对采集的行人图像进行相应的预处理得到可以描述每张图像的特征向量，不借助任何平衡测量仪器，利用人体姿态的特征就可以区分出具有平衡障碍能力的人群，使得对自己或他人的平衡能力产生客观的判断，通过提取视频及图像的SIFT特征、PHOG特征、Hu不变矩特征，将三个特征融合后，通过支持向量机(SVM)模型训练，得到人体平衡能力分类模型，判断并分类出平衡能力障碍人群，最终分类的准确率在87％以上。
附图说明
图1是本发明的基于多特征和SVM区分人体平衡障碍的方法的操作流程图；
图2是本发明的基于多特征和SVM区分人体平衡障碍的方法的整体过程流程图；
图3是本发明的高斯差分的金字塔的构建过程图；
图4是本发明的特征点主方向和辅方向确定的示意图；
图5是本发明实施例的差分图像，其中(a)是正常人的图像差分图，(b)是非正常人的图像差分图；
图6是本发明实施例的去噪图，其中(a)是正常人的图像去噪图；(b)非正常人的图像去噪图；
图7是本发明实施例的腐蚀图，其中(a)是正常人的图像腐蚀图；(b)非正常人的图像腐蚀图；
图8是本发明实施例的二值化图，其中(a)是正常人的图像二值化图；(b)非正常人的图像二值化图；
图9是本发明实施例的人体轮廓图，其中(a)是正常人人体轮廓图；(b)是非正常人人体轮廓图；
图10是本发明实施例的距离变换图，其中(a)是正常人的距离变换图；(b)是非正常人的距离变换图；
图11是本发明实施例的人体SIFT特征提取结果图，其中(a)是正常人的SIFT特征图；(b)是非正常人的SIFT特征图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明的基于多特征和SVM区分人体平衡障碍的方法，如图1和图2所示，具体操作过程包括如下步骤：
步骤1，按照与人体行走时正面呈90°的角度拍摄正常人和非正常人在搭建好的模拟现实的虚拟场景中的人体行走姿态视频；
步骤2，将采集到的正常人和非正常人的行走姿态视频分别提取成图像，对提取的图像进行预处理，再分别提取预处理后正常人和非正常人图像的SIFT特征，Hu不变矩特征和PHOG特征；
步骤2包括以下步骤：
步骤2.1，使用cvLoadImage函数读取采集到的正常人和非正常人的姿态视频，设定读入视频的开始时间和结束时间，如果Capture函数没有读取到含有人像的视频，则重新设定视频的开始时间和结束时间，重复步骤2.1，如果capture函数读取到含有人像的视频，则进行步骤2.2；
步骤2.2，通过OpenCV中的CvCapture函数将提取的正常人和非正常人的视频分别拆帧，分别提取出两组视频中的空白场景进行图片保存后，然将拍摄的人体姿态视频每两秒取一帧保存为图像；
步骤2.3，将保存的正常人和非正常人的姿态图像分别与空白场景进行差分后依次进行去噪、腐蚀、边缘提取和二值化的过程，得到预处理后的黑白图像；
其中，将正常人和非正常人的姿态图像分别与空白场景图像进行差分过程如下：
将保存的正常人和非正常人的包含有人体姿态的图片与空白场景图做差分处理，设第k时刻提取到的含有人体的图像为Ip，空白场景的图像为Ie，对两张图像进行差分，得到差分图像为Idif，则有Idif＝Ip-Ie；
采用双边滤波算法进行图像去噪，使用周边像素亮度值的加权平均代表某个像素的强度，具体过程是：令Idif和Il BF分别为差分处理得到图像和去噪处理后的图像，则双边滤波输出的结果为
其中，参数σs定义了用于过滤像素的空间邻域的大小，σr控制了由于强度差异而使相邻像素下降的程度，Wl BF使权的和标准化；
通过getStructuringElement函数定义腐蚀窗口的大小，选择矩形窗口MORPH_RECT，腐蚀核的大小选择3×3，通过腐蚀窗口MORPH_RECT使用erode函数进行腐蚀操作，得到只含有人像的图片；
利用Canny边缘检测算子对腐蚀后的图像进行处理得到图像的连通区域，具体过程如下：
首先，使用高斯滤波器与图像进行卷积，减少边缘检测器上明显的噪声影响；
然后计算图像中每个像素点的梯度强度和方向，并应用非极大值抑制，以消除边缘检测带来的杂散响应；
最后，使用双阈值检测确定真实的和潜在的边缘，并通过抑制孤立的弱边缘完成边缘检测，使用findContours函数提取出人体轮廓图像；
步骤2.4，将预处理后的图像进行距离变换，提取图像的SIFT特征、PHOG特征、Hu不变矩特征；
步骤2.4的具体过程如下：
步骤2.4.1，距离变换的过程为：将二值化后的图像使用Opecnv中distanceTransform方法计算图像中每一个非零点距离自身最近的零点的距离，用mask_size定义距离变换掩模的大小，一般选择3×3；
步骤2.4.2，SIFT特征提取：
(1)尺度空间的构建就通过输入图像与尺度可变高斯核函数的卷积来实现，如式(1)所示：
L(x，y，σ)＝G(x，y，σ)*f(x，y) (1)其中，G(x，y，σ)为高斯函数，如公式(2)：
σ为尺度因子，当取值较大时，代表图像的概貌特征，当取值较小时，代表图像的细节特征；
为了提取稳定的关键点，利用高斯差分(Difference of Gaussian，DoG)卷积，高斯差分函数如式(3)所示：
D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ) (3)
式中，k为不变倍增因子；高斯差分的金字塔如图3所示：图中左边表示高斯尺度空间，由图像与高斯核函数卷积得到，右边一列表示高斯差分尺度空间，即DoG空间，由高斯尺度空间经过差分运算得到。o代表高斯金字塔阶数，s为每一阶的层数。图像尺度因子σ按照k倍进行递增，第一阶第二层的尺度因子是kσ，那么第一阶第三层的尺度因子是k2σ，以此类推，便可以得到其他层的尺度因子。然后对第一阶的中间层进行子抽样，便得到第二阶第一层的尺度因子k2σ，第二阶其他层的尺度因子按照k倍递增。同样地，对第二阶的中间层只对图像进行子抽样，便可以得到第三阶第一层的尺度因子，后面的以此类推。
在进行局部极值点检测时，以像素点为单位，将每个像素点与和它相同尺度且相邻的8个像素点以及相邻像素点对应位置9个点比较，因为相邻尺度有两个，因此是9×2＝18个点。这样，每一个采样点与9×2+8＝26个点进行比较，只有该点的值比其对应的26个点的值都大或者都小的时候，该点才会被选择为特征点候选点。
(2)采用三维二次方程，对式(3)在局部极值点(x0，y0，σ)处进行Talor展开如式(4)所示：
其中，对上式求导，并令其为零，求解方程找到满足其条件的极值点如公式(6)所示：
求该极值点处的尺度空间函数，通过判断绝对值来滤除低对比度的点，判断公式如式(7)所示：
使用Hessian矩阵去除边缘响应，Hessian矩如式(8)所示：
为了保证图像旋转的不变性，需要对每一个关键点分配固定的方向，将关键点由它的方向来进行描述。对于每一个采样点L(x，y)，其梯度模值m(x，y)和方向θ(x，y)的计算如式(9)和(10)所示：
θ(x，y)＝tan-1(L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x，y-1)) (10)
以关键点(x，y)为中心，1.5σ为半径的圆形邻域范围内计算梯度方向直方图并进行统计，其范围为0～360°，每10°为一个单元。离特征点越近的邻域点，其对梯度方向权值的贡献越大，反之则越小。统计的梯度方向直方图的峰值即被定义为该特征点的主方向。需要注意的是，当统计的梯度方向直方图的某个峰值大于主方向峰值的80％时，则将该峰值所对应的方向称为该特征点的辅方向，辅方向的定义可増强特征点匹配时的稳定性。特征点主方向和辅方向确定的示意图如图4所示。
(4)首先将坐标平面旋转到坐标的主方向上；再以特征点为中心选取一个16*16的窗口并划分4*4个子区域，即每个子区域为4*4像素的小窗口；然后在每个子区域内计算一个8方向的梯度直方图；最后，将每个子区域中计算得到的8方向梯度直方图进行组合排序，即得到一个4*4*4＝128维的特征向量，特征描述子生成的示意图如图5所示。为消除光照变化对特征向量的影响，需要对特征向量进行归一化处理，设128维的特征向量为D＝(d1，d2，d3，...，d128)，归一化处理后如式(11)所示：
步骤2.4.3，提取图像的Hu不变矩：首先将二值化后的正常人和非正常人的姿态图像定义为p+q阶几何矩，如式(12)所示；式(13)代表图像的p+q阶中心矩定义：
其中，f(x，y)为图像函数；和为图像的重心，定义如公式(14)所示；
将图像的中心矩根据式(15)进行归一化，利用二阶和三阶归一化中心矩构造的7个不变矩如式(16)所示，得到正常人和非正常人的姿态图像的形状特征；
步骤2.4.4，利用PHOG提取预处理后的正常人和非正常人的姿态图像的人体轮廓图像的空间形状特征：首先对正常人和非正常人的姿态图像进行分割，再对分割后的子图像提取HOG特征，将提取的HOG特征归一化得到PHOG特征，利用主成分分析法对提取的PHOG特征降维。
步骤2.4.4的具体过程如下：
利用Canny边缘检测算法提取出图像的边缘轮廓用于描述图像的形状，对待测区域进行金字塔分层，即下一层是将上一层中各分块按高和宽缩小一倍的比例分为更小的块，然后，计算金字塔每层中每个分块提取HOG特征向量，顺序串联金字塔各层的HOG特征并归一化，获得待测区域的PHOG特征。
步骤3，将步骤2得到的SIFT特征，Hu不变矩特征和PHOG特征融合，通过SVM进行训练，得到人体平衡能力分类模型，判断并分类出平衡能力障碍人群。
步骤3中将步骤2得到的SIFT特征，Hu不变矩特征和PHOG特征进行并联融合，作为新的向量输出；比如我们有下面两个特征向量矩阵，A＝n×m，B＝n×o，经过并联将特征向量融合后得到新的特征向量C＝n×(m+o)。举例如下：将特征向量和特征向量融合后得到特征向量
步骤3中SVM的训练过程如下：
加载训练数据集和测试数据集，其中，包含了训练数据和训练标签以及测试数据和测试标签，即人体重心面积数据及正确标签，将其分为训练数据和测试数据两部分，通过SVMcgForRegress参数寻优函数获取当前数据的最优参数，使用得到的优化后的参数再通过svmtrain函数训练数据，得到训练完成的模型；最后使用svmpredict函数进行测试，得到带有标记“1”或“-1”分类标签；
将融合后的新的向量作为SVM的输入，训练SVM模型，若输出的平衡能力标记为“1”，则被区分为正常人，说明平衡能力好；若输出的平衡能力标记为“-1”，则被区分为非正常人，说明存在平衡能力障碍。
实施例
按照与人体行走时正面呈90°的角度拍摄正常人和非正常人在搭建好的模拟现实的虚拟场景中的人体行走姿态视频，使用cvLoadImage函数读取采集到的正常人和非正常人的姿态视频，设定读入视频的开始时间和结束时间，如果Capture函数没有读取到含有人像的视频，则重新设定视频的开始时间和结束时间，重复上述过程，如果capture函数读取到含有人像的视频，则通过OpenCV中的CvCapture函数将提取的正常人和非正常人的视频分别拆帧，分别提取出两组视频中的空白场景进行图片保存后，然将拍摄的人体姿态视频每两秒取一帧保存为图像；
分别对图像进行差分处理处理后如图5所示，依次进行去噪(图6)、腐蚀(图7)、边缘提取和二值化的过程，得到预处理后的黑白图像如图8所示，利用Canny边缘检测算子对腐蚀后的图像进行处理得到图像的连通区域得到人体轮廓图像如图9所示，经过距离变化后如图10所示，提取图像的SIFT特征图11所示，再分别提取图像的Hu不变矩和PHOG特征，进行并联融合后输入SVM模型区分人体平衡能力障碍，本发明的方法的准确率与现有单一的SIFT结果对比如表1所示：
表1本发明的方法与现有SIFT特征准确率对比
由表1我们可以看出，当使用单个SIFT特征对人体平衡能力进行分类时，正常人的分类准确率为67.18％，非正常人的分类准确率为75.63％。而使用融合后的多特征进行分类时，分类准确率提高。正常人的分类准确率为87.23％，非正常人的分类准确率为91.65％。

Claims (10)

1.基于多特征和SVM区分人体平衡障碍的方法，其特征在于，具体操作过程包括如下步骤：
步骤1，按照与人体行走时正面呈90°的角度拍摄正常人和非正常人在搭建好的模拟现实的虚拟场景中的人体行走姿态视频；
步骤2，将采集到的正常人和非正常人的行走姿态视频分别提取成图像，对提取的图像进行预处理，再分别提取预处理后正常人和非正常人图像的SIFT特征，Hu不变矩特征和PHOG特征；
步骤3，将步骤2得到的SIFT特征，Hu不变矩特征和PHOG特征融合，通过SVM进行训练，得到人体平衡能力分类模型，判断并分类出平衡能力障碍人群。
2.如权利要求1所述的基于多特征和SVM区分人体平衡障碍的方法，其特征在于，所述步骤2包括以下步骤：
步骤2.1，使用cvLoadImage函数读取采集到的正常人和非正常人的姿态视频，设定读入视频的开始时间和结束时间，如果Capture函数没有读取到含有人像的视频，则重新设定视频的开始时间和结束时间，重复步骤2.1，如果capture函数读取到含有人像的视频，则进行步骤2.2；
步骤2.2，通过OpenCV中的CvCapture函数将提取的正常人和非正常人的视频分别拆帧，分别提取出两组视频中的空白场景进行图片保存后，然将拍摄的人体姿态视频每两秒取一帧保存为图像；
步骤2.3，将保存的正常人和非正常人的姿态图像分别与空白场景进行差分后依次进行去噪、腐蚀、边缘提取和二值化的过程，得到预处理后的黑白图像；
步骤2.4，将预处理后的图像进行距离变换，提取图像的SIFT特征、PHOG特征、Hu不变矩特征。
3.如权利要求2所述的基于多特征和SVM区分人体平衡障碍的方法，其特征在于，所述步骤2.3中将正常人和非正常人的姿态图像分别与空白场景图像进行差分过程如下：
设第k时刻提取到的含有人体的图像为Ip，空白场景的图像为Ie，对两张图像进行差分，得到差分图像为Idif，则有Idif＝Ip-Ie。
4.如权利要求2所述的基于多特征和SVM区分人体平衡障碍的方法，其特征在于，所述步骤2.3中采用双边滤波算法进行图像去噪，使用周边像素亮度值的加权平均代表某个像素的强度，具体过程是：令Idif和Il BF分别为差分处理得到图像和去噪处理后的图像，则双边滤波输出的结果为
其中，参数σs定义了用于过滤像素的空间邻域的大小，σr控制了由于强度差异而使相邻像素下降的程度，Wl BF使权的和标准化。
5.如权利要求2所述的基于多特征和SVM区分人体平衡障碍的方法，其特征在于，所述步骤2.3中通过getStructuringElement函数定义腐蚀窗口的大小，选择矩形窗口MORPH_RECT，腐蚀核的大小选择3×3，通过腐蚀窗口MORPH_RECT使用erode函数进行腐蚀操作，得到只含有人像的图片。
6.如权利要求2所述的基于多特征和SVM区分人体平衡障碍的方法，其特征在于，所述步骤2.3中利用Canny边缘检测算子对腐蚀后的图像进行处理得到图像的连通区域；具体过程如下：
首先，使用高斯滤波器与图像进行卷积，减少边缘检测器上明显的噪声影响；
然后计算图像中每个像素点的梯度强度和方向，并应用非极大值抑制，以消除边缘检测带来的杂散响应；
最后，使用双阈值检测确定真实的和潜在的边缘，并通过抑制孤立的弱边缘完成边缘检测，使用findContours函数提取出人体轮廓图像。
7.如权利要求2所述的基于多特征和SVM区分人体平衡障碍的方法，其特征在于，所述步骤2.4的具体过程如下：
步骤2.4.1，距离变换的过程为：将二值化后的图像使用Opecnv中distance Transform方法计算图像中每一个非零点距离自身最近的零点的距离，用mask_size定义距离变换掩模的大小，一般选择3×3；
步骤2.4.2，通过输入图像与尺度可变的高斯核函数卷积构建尺度空间，将得到的尺度空间通过高斯差分函数卷积得到图像的关键点，以图像中的像素点为单位，将每个像素点与和它相同尺度且相邻的8个像素点以及相邻像素点对应位置的9个像素点比较，只有该像素点的值比其对应的所有像素点的值都大或者都小的时候，则该像素点为特征点候选点；
求取构建的尺度空间函数的极值点，在极值点处求取尺度空间函数，通过极值点处的尺度空间函数滤除特征点候选点中低对比度的点，并通过Hessian矩阵去除边缘响应得到特征点；然后通过计算图像的梯度方向直方图，取其峰值为特征点的主方向；需要注意的是，当统计的梯度方向直方图的某个峰值大于主方向峰值的80％时，则将该峰值所对应的方向称为该特征点的辅方向，辅方向用于増强特征点匹配时的稳定性；
将图像的坐标旋转到确定的主方向，根据特征点为中心选取一个16*16的窗口，并划分区域，计算每个区域的梯度直方图进行组合排序得到128维的特征向量，将计算得到的特征向量进行归一化得到SIFT特征；
步骤2.4.3，提取图像的Hu不变矩：首先将二值化后的正常人和非正常人的姿态图像定义为p+q阶几何矩，如式(3)所示；式(4)代表图像的p+q阶中心矩定义：
其中，f(x，y)为图像函数；和为图像的重心，定义如公式(5)所示；
将图像的中心矩根据式(6)进行归一化，利用二阶和三阶归一化中心矩构造的7个不变矩如式(7)所示，得到正常人和非正常人的姿态图像的形状特征；
步骤2.4.4，利用PHOG提取预处理后的正常人和非正常人的姿态图像的人体轮廓图像的空间形状特征：首先对正常人和非正常人的姿态图像进行分割，再对分割后的子图像提取HOG特征，将提取的HOG特征归一化得到PHOG特征，利用主成分分析法对提取的PHOG特征降维。
8.如权利要求7所述的基于多特征和SVM区分人体平衡障碍的方法，其特征在于，所述步骤2.4.4的具体过程如下：
利用Canny边缘检测算法提取出图像的边缘轮廓用于描述图像的形状，对待测区域进行金字塔分层，即下一层是将上一层中各分块按高和宽缩小一倍的比例分为更小的块，然后，计算金字塔每层中每个分块提取HOG特征向量，顺序串联金字塔各层的HOG特征并归一化，获得待测区域的PHOG特征。
9.如权利要求1所述的基于多特征和SVM区分人体平衡障碍的方法，其特征在于，所述步骤3的中将步骤2得到的SIFT特征，Hu不变矩特征和PHOG特征进行并联融合，作为新的向量输出。
10.如权利要求9所述的基于多特征和SVM区分人体平衡障碍的方法，其特征在于，所述步骤3中SVM的训练过程如下：
加载训练数据集和测试数据集，其中，包含了训练数据和训练标签以及测试数据和测试标签，即人体重心面积数据及正确标签，将其分为训练数据和测试数据两部分，通过SVMcgForRegress参数寻优函数获取当前数据的最优参数，使用得到的优化后的参数再通过svmtrain函数训练数据，得到训练完成的模型；最后使用svmpredict函数进行测试，得到带有标记“1”或“-1”分类标签；
将融合后的得到的新向量作为SVM的输入，训练SVM模型，若输出的平衡能力标记为“1”，则被区分为正常人，说明平衡能力好；若输出的平衡能力标记为“-1”，则被区分为非正常人，说明存在平衡能力障碍。
CN201910589752.9A 2019-07-02 2019-07-02 基于多特征和svm区分人体平衡障碍的方法 Pending CN110490049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910589752.9A CN110490049A (zh) 2019-07-02 2019-07-02 基于多特征和svm区分人体平衡障碍的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910589752.9A CN110490049A (zh) 2019-07-02 2019-07-02 基于多特征和svm区分人体平衡障碍的方法

Publications (1)

Publication Number Publication Date
CN110490049A true CN110490049A (zh) 2019-11-22

Family

ID=68546574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910589752.9A Pending CN110490049A (zh) 2019-07-02 2019-07-02 基于多特征和svm区分人体平衡障碍的方法

Country Status (1)

Country Link
CN (1) CN110490049A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415516A (zh) * 2020-03-30 2020-07-14 福建工程学院 一种全域路网的车辆尾气监测方法
CN111798418A (zh) * 2020-06-22 2020-10-20 电子科技大学 基于hog、lbp和glcm特征融合的吸波涂层散斑缺陷检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714254A (zh) * 2009-11-16 2010-05-26 哈尔滨工业大学 联合多尺度sift和区域不变矩特征的配准控制点提取方法
CN103679191A (zh) * 2013-09-04 2014-03-26 西交利物浦大学 基于静态图片的自动套牌车检测方法
WO2014205231A1 (en) * 2013-06-19 2014-12-24 The Regents Of The University Of Michigan Deep learning framework for generic object detection
CN104361096A (zh) * 2014-11-20 2015-02-18 合肥工业大学 一种基于特征富集区域集合的图像检索方法
CN106650820A (zh) * 2016-12-30 2017-05-10 山东大学 一种手写电气元器件符号与标准电气元器件符号的匹配识别方法
CN109558797A (zh) * 2018-10-19 2019-04-02 西安理工大学 基于视觉刺激下的重心面积模型区分人体平衡障碍的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714254A (zh) * 2009-11-16 2010-05-26 哈尔滨工业大学 联合多尺度sift和区域不变矩特征的配准控制点提取方法
WO2014205231A1 (en) * 2013-06-19 2014-12-24 The Regents Of The University Of Michigan Deep learning framework for generic object detection
CN103679191A (zh) * 2013-09-04 2014-03-26 西交利物浦大学 基于静态图片的自动套牌车检测方法
CN104361096A (zh) * 2014-11-20 2015-02-18 合肥工业大学 一种基于特征富集区域集合的图像检索方法
CN106650820A (zh) * 2016-12-30 2017-05-10 山东大学 一种手写电气元器件符号与标准电气元器件符号的匹配识别方法
CN109558797A (zh) * 2018-10-19 2019-04-02 西安理工大学 基于视觉刺激下的重心面积模型区分人体平衡障碍的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAIYAN JIN ET AL.: "Classification for Human Balance Capacity Based on Visual Stimulation under a Virtual Reality Environment", 《PMC》 *
刘渭滨等: "模式分类中的特征融合方法", 《北京邮电大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415516A (zh) * 2020-03-30 2020-07-14 福建工程学院 一种全域路网的车辆尾气监测方法
CN111798418A (zh) * 2020-06-22 2020-10-20 电子科技大学 基于hog、lbp和glcm特征融合的吸波涂层散斑缺陷检测方法

Similar Documents

Publication Publication Date Title
CN111259930B (zh) 自适应注意力指导机制的一般性目标检测方法
CN103942577B (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
CN106874894B (zh) 一种基于区域全卷积神经网络的人体目标检测方法
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
CN102682302B (zh) 一种基于关键帧的多特征融合的人体姿态识别方法
CN107067413B (zh) 一种时空域统计匹配局部特征的运动目标检测方法
CN108932479A (zh) 一种人体异常行为检测方法
Wang et al. Small-object detection based on yolo and dense block via image super-resolution
CN108334848A (zh) 一种基于生成对抗网络的微小人脸识别方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN107103298A (zh) 基于图像处理的引体向上计数系统及计数方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
KR20130013122A (ko) 객체 자세 검색 장치 및 방법
CN105335725A (zh) 一种基于特征融合的步态识别身份认证方法
CN106778474A (zh) 3d人体识别方法及设备
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法
Zhu et al. Diverse sample generation with multi-branch conditional generative adversarial network for remote sensing objects detection
CN109711416A (zh) 目标识别方法、装置、计算机设备和存储介质
CN114758288A (zh) 一种配电网工程安全管控检测方法及装置
CN109886153A (zh) 一种基于深度卷积神经网络的实时人脸检测方法
CN112287802A (zh) 人脸图像检测方法、系统、存储介质及设备
CN108280421A (zh) 基于多特征深度运动图的人体行为识别方法
CN108734200A (zh) 基于bing特征的人体目标视觉检测方法和装置
CN104778466A (zh) 一种联合多种上下文线索的图像关注区域检测方法
CN112926652A (zh) 一种基于深度学习的鱼类细粒度图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191122