CN110414306B - 一种基于meanshift算法和SVM的婴儿异常行为检测方法 - Google Patents
一种基于meanshift算法和SVM的婴儿异常行为检测方法 Download PDFInfo
- Publication number
- CN110414306B CN110414306B CN201910342523.7A CN201910342523A CN110414306B CN 110414306 B CN110414306 B CN 110414306B CN 201910342523 A CN201910342523 A CN 201910342523A CN 110414306 B CN110414306 B CN 110414306B
- Authority
- CN
- China
- Prior art keywords
- wavelet
- abnormal
- whole body
- target
- baby
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 28
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 title description 9
- 238000012706 support-vector machine Methods 0.000 claims abstract description 43
- 230000033001 locomotion Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012360 testing method Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000001228 spectrum Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 3
- 230000002159 abnormal effect Effects 0.000 claims description 45
- 210000001364 upper extremity Anatomy 0.000 claims description 39
- 210000003141 lower extremity Anatomy 0.000 claims description 36
- 210000003414 extremity Anatomy 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 25
- 230000006399 behavior Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000010183 spectrum analysis Methods 0.000 claims 1
- 206010008129 cerebral palsy Diseases 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 208000036626 Mental retardation Diseases 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000007472 neurodevelopment Effects 0.000 description 1
- 230000001123 neurodevelopmental effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明采用一种基于meanshift算法和SVM的婴儿异常行为检测方法，首先对获取到的婴儿视频进行预处理，然后用meanshift算法对视频中的婴儿四肢和全身分别进行目标运动轨迹跟踪，将得到的运动轨迹信息进行保存，之后利用小波变换对运动轨迹信息进行提取，对提取得到的小波近似波形建立样本集，用设置好的SVM支持向量机对其进行训练，利用小波对运动轨迹信息求功率谱，得到的特征建立样本集，同样利用设置好的SVM支持向量机对其进行训练，将两个训练好的模型进行测试，根据两个模型精确度的不同，利用数据加权融合算法设置不同权值参数进行加权判断，从而得到最佳训练结果。
Description
技术领域
本发明属于视频图像处理技术领域，具体涉及一种基于meanshift算法和SVM的婴儿异常行为检测方法。
背景技术
婴儿异常行为主要是指出生后一个月内，整个身体运动的顺序变化性小，单调，缺乏运动复杂性及运动流畅性；出生后二到五个月内，未见到遍布全身的加速度可变的各方向的小幅度中速运动，与年龄相适应的其他运动形式，如四肢中线位运动、手膝相触、视觉搜索、手指抓弄衣服等运动形式缺乏，整体运动流畅性差。在临床上婴儿异常行为持续存在往往提示有不良神经发育结局，预后发展为脑瘫、精神发育迟滞等的可能性极大。而临床上脑瘫、精神发育迟滞等疾病的诊断通常在孩子一岁甚至两岁后才能确诊。因此，通过视频图像处理和深度学习技术，研究早期婴儿异常行为的检测，可早期发现预后为不良结局的患儿，并可尽早给予康复干预，改善其预后，扭转不良神经发育结局，具有重要的临床和社会意义。
针对这一问题，研究人员已经提出了一些婴儿异常行为的检测方法，大致可分为三种类型：全身运动质量评估(Prechtl婴儿行为评估法)，穿戴式传感器评估，结合模式识别评估。第一种方法是对婴儿采用特定的录像方式，对录像结果利用全身运动质量评估准则，由取得欧洲GM Trust颁发的Prechtl’s Method评估资格证书者进行婴儿行为判断是否正常，这种方法主要依靠临床观察，有一定的主观性。第二种方法是给婴儿穿戴传感器设备从而观察参数，但这种穿戴式方法本身对婴儿的运动就会产生一定的干扰，造成预测结果的不准确。第三种方法是利用计算机提取婴儿运动特征进行模式识别分析，这种方法不会对婴儿运动造成干扰并且具有客观性，但在提取运动特征以及识别的过程中，往往只对有限个身体部位进行了观察，没有全身整体运动的分析，具有一定的特异性。
由于以上算法的缺陷，在实际应用中很难取得理想的效果，故有必要改进。
发明内容
本发明的目的在于提供一种基于meanshift算法和SVM的婴儿异常行为检测方法，结合婴儿四肢和全身信息进行运动轨迹检测，比单一的肢体检测得到的信息更加全面，并且小波域和功率谱域的结合，特征更具抽象特异性，提高了婴儿异常行为检测的准确率。
本发明的目的通过如下技术方案实现：
一种基于meanshift算法和SVM的婴儿异常行为检测方法，利用meanshift算法对婴儿四肢及全身进行目标跟踪，对得到的运动轨迹进行小波域和功率谱域的分析，再将分析得到的信息用支持向量机SVM对其特征进行分类，对分类的结果进行数据加权融合的综合判断，从而得出婴儿行为是否正常，包括下列步骤：
S1、获取婴儿视频并进行统一预处理；
S2、将步骤1的婴儿视频进行15s为一份的截取，并进行统一命名，将转化为帧的图像也进行统一命名；
S3、婴儿运动轨迹跟踪：对步骤2获取到的帧图像，利用meanshift算法分别对婴儿的四肢和全身整体运动轨迹进行跟踪，具体包括以下步骤：
S31选取meanshift算子的核函数，将每个样本点按到中心点的距离远近进行加权，我们用到的核函数为Epannechnikov核函数，它的数序定义如下：
其中，x表示定义空间中的一个点，用一个列向量表示；
S32目标模型设计：对要跟踪的目标进行人工标注的方法进行框定，假设其中有n个像素用{zi}i＝1...n表示其位置，对选中的区域的灰度颜色空间均匀划分，得到由m个相等的区间构成的灰度直方图，从而得到目标模型的概率密度；
S33候选模型设计：在第t帧时，根据第t-1帧的目标中心位置f0,以f0为搜索窗口的中心，得到候选目标的中心位置坐标f,计算当前帧的候选目标区域直方图，该区域的像素用{zi}i＝1...n表示，得到候选模型的概率密度；
S34相似性度量，用于描述目标模型和候选模型之间的相似程度，相似函数越大则两个模型约相似。相似度最大的区域既是本帧的目标区域，具体公式如下：
其中：ρ(p，q)表示相似函数；f表示候选目标的中心位置坐标；pu(f)为候选模型概率密度；qu为目标模型概率密度；
S35目标跟踪过程，从候选目标位置fk起向两个模型相比颜色变化最大的方向不断移动，直到最后两次移动距离小于阈值，即找到当前帧的目标位置，并以此作为下一帧的起始搜索窗口中心，如此重复完成跟踪，如图2所示为单帧婴儿左上肢跟踪的图像；
S4、对运动轨迹信息进行分析：对步骤3跟踪到的婴儿四肢和全身的运动轨迹，保存运动时的连续y轴坐标变化的位置信息(如图3所示)，对y轴坐标位置信息构成的连续变化波形图进行小波近似波形和小波功率谱计算，具体包括下列步骤：
S41由于x轴坐标变化并不明显，仅选取y轴坐标变化图进行分析，首先是小波分析，利用harr小波对已跟踪得到的波形图进行分析，得到小波近似波形图；
S42对于四肢和全身的y轴坐标变化图，利用基于小波的功率谱图，求得功率谱信息，
S5对得到的小波近似波形图和小波功率谱图，提取特征向量利用支持向量机SVM进行训练学习，具体包括下列步骤：
S51将样本分为正常和异常进行标记，设正常样本标签为1，设异常的样本标签为-1；
S52将样本分为训练集和测试集，对数据进行归一化，通过调整SVM中参数c和g的取值来获得最高的精确度，从而得到最佳的训练模型；
S6综合婴儿异常行为判断：根据步骤5.2得到的最佳训练模型，对模型进行数据加权融合，赋予不同的权值，综合判断，具体包括下列步骤：
S61数据加权融合，将各个模型训练的准确率看作预测值，记作x1，x2...x5，对应的加权因子记作w1，w2...w5。对于融合后得到的预测值X，计算公式如下：
均方误差σ2为：
使均方误差σ2最小时的加权因子即为最佳，此时加权因子为：
S62对于步骤4.1得到的小波近似波形训练出的SVM模型，根据四肢和全身的不同精确度设置不同的权重系数，具体为：左上肢A1：0.23272；右上肢A2：0.19026；左下肢A3：0.16029；右下肢A4：0.20836；全身A5：0.20836；用Y1到Y5分别表示四肢和全身的判断结果向量，计算公式如下：
Y1＝(test label+predict label)/2
其中：test label为测试样本的实际标签；predict label为测试样本预测的标签；Y2到Y5的计算方式同上；
对于所得到的五个结果向量进行加权，公式如下：
Y＝0.23272*Y1+0.19026*Y2+0.16029*Y3+0.20836*Y4+0.20836*Y5
其中：*表示乘法运算，Y即为小波细节所预测的判断值，规定一个判断标准，若-1<Y<0,判断婴儿行为为异常状态，若0<Y<1,判断婴儿行为为正常状态；
S63对于步骤4.2得到的小波功率谱训练出的SVM模型，根据对四肢和全身不同的精确度设置不同的权重系数，具体为：左上肢P1：0.15317；右上肢P2：0.17631；左下肢P3：0.12500；右下肢P4：0.39212；全身P5：0.15317；用X1到X5分别表示四肢和全身的判断结果向量，计算公式如下：
X1＝(test label+predict label)/2
其中：test label为测试样本的实际标签；predict label为测试样本预测的标签；X2到X5的计算方式同上；
对于所得到的五个结果向量进行加权，公式如下：
X＝0.15317*X1+0.17631*X2+0.12500*X3+0.39212*X4+0.15317*X5
其中：*表示乘法运算，X即为小波功率谱所预测的判断值，规定一个判断标准，若-1<X<0,判断婴儿行为为异常状态，若0<X<1,判断婴儿行为为正常状态；
对X和Y进行综合判断，若测试样本至少满足X和Y中一个条件，就认为判断结果是正确的，即可分辨出婴儿行为是否正常。
作为本发明更优的技术方案，步骤S33候选模型设计具体如下：候选模型的概率密度表示为，
h为核函数窗口大小，决定着权重分布，其他参数同目标模型描述；
步骤1.4所述小波近似波形图和小波功率谱图的具体计算，包括下列步骤：
作为本发明更优的技术方案，所述的步骤S41利用harr小波对已跟踪得到的波形图进行分析，根据离散小波变换的Mallat金字塔分解算法，构建五层金字塔，提取第五层的小波近似信号，对应于四肢和全身，分别记为：异常左上肢：A01；异常右上肢：A02；异常左下肢：A03；异常右下肢：A04；异常全身：A05；正常左上肢：A11；正常右上肢：A12；正常左下肢：A13；正常右下肢：A14；正常全身：A15；
作为本发明更优的技术方案，所述的步骤S42对于四肢和全身的y轴坐标变化图，利用基于小波的功率谱图，其中设置的采样长度为视频总帧长375，采样频率为1000，采样间隔为1/1000，得到的功率谱图，分别记为：异常左上肢：P01；异常右上肢：P02；异常左下肢：P03；异常右下肢：P04；异常全身：P05；正常左上肢：P11；正常右上肢：P12；正常左下肢：P13；正常右下肢：P14；正常全身：P15。
有益效果如下：
1、本发明采用一种基于meanshift算法和SVM的婴儿异常行为检测方法，首先对获取到的婴儿视频进行预处理，然后用meanshift算法对视频中的婴儿四肢和全身分别进行目标运动轨迹跟踪，将得到的运动轨迹信息进行保存，之后利用小波变换对运动轨迹信息进行提取，对提取得到的小波近似波形建立样本集，用设置好的SVM支持向量机对其进行训练，利用小波对运动轨迹信息求功率谱，得到的特征建立样本集，同样利用设置好的SVM支持向量机对其进行训练，将两个训练好的模型进行测试，根据两个模型精确度的不同，利用数据加权融合算法设置不同权值参数进行加权判断，从而得到最佳训练结果。
2、本发明结合婴儿四肢和全身信息进行运动轨迹检测，比单一的肢体检测得到的信息更加全面，并且小波域和功率谱域的结合，特征更具抽象特异性，同时用到SVM支持向量机对特征进行分类，并对检测结果进行数据加权融合判断，降低误检率，检测婴儿行为是否异常，及早进行干预，对预防婴儿脑瘫等疾病有很重要的意义。
附图说明
图1为本发明的基于meanshift算法和SVM的婴儿异常行为检测方法流程图；
图2为单帧婴儿左上肢跟踪的图像；
图3为某一检测婴儿产生的y轴运动轨迹图像；
图4为小波变换得到的小波近似波形示意图；
图5为小波功率谱示意图；
图6为判断婴儿行为是否异常流程图。
具体实施方式
下面结合附图进一步说明本发明的实施流程。
如图1所示，本发明提供一种基于meanshift算法和SVM的婴儿异常行为检测方法，包括以下步骤：
一、获取婴儿视频并进行统一预处理。
二、将步骤1的婴儿视频进行15s为一份的截取，并进行统一命名，将转化为帧的图像也进行统一命名。
三、婴儿运动轨迹跟踪：对步骤2获取到的帧图像，利用meanshift算法分别对婴儿的四肢和全身整体运动轨迹进行跟踪，具体包括以下步骤：
3.1选取meanshift算子的核函数，将每个样本点按到中心点的距离远近进行加权，我们用到的核函数为Epannechnikov核函数，它的数序定义如下：
其中，x表示定义空间中的一个点，用一个列向量表示；
3.2目标模型设计：对要跟踪的目标进行人工标注的方法进行框定，假设其中有n个像素用{zi}i＝1...n表示其位置，对选中的区域的灰度颜色空间均匀划分，得到由m个相等的区间构成的灰度直方图，从而得到目标模型的概率密度；
目标模型设计：目标模型的qu概率密度(u＝1，...，m)可表示为：
其中：
表示以目标中心为原点的归一化像素位置，(x0，y0)为目标中心坐标，K是Epannechnikov核函数，b(zi)表示zi处像素属于哪个直方图区间，u为直方图的颜色索引，δ[b(zi)-u]函数的作用是判断目标区域中像素zi处的灰度值是否属于直方图中第u个单元，等于为1，否则为0；C是归一化系数。
3.3候选模型设计：在第t帧时，根据第t-1帧的目标中心位置f0,以f0为搜索窗口的中心，得到候选目标的中心位置坐标f,计算当前帧的候选目标区域直方图，该区域的像素用{zi}i＝1...n表示，得到候选模型的概率密度；
候选模型的概率密度表示为：
h为核函数窗口大小，决定着权重分布，其他参数同目标模型描述。
3.4相似性度量，用于描述目标模型和候选模型之间的相似程度，相似函数越大则两个模型约相似。相似度最大的区域既是本帧的目标区域，具体公式如下：
其中：ρ(p，q)表示相似函数；f表示候选目标的中心位置坐标；pu(f)为候选模型概率密度；qu为目标模型概率密度；
3.5目标跟踪过程，从候选目标位置fk起向两个模型相比颜色变化最大的方向不断移动，直到最后两次移动距离小于阈值，即找到当前帧的目标位置，并以此作为下一帧的起始搜索窗口中心，如此重复完成跟踪，如图2所示为单帧婴儿左上肢跟踪的图像；
四、对运动轨迹信息进行分析：对步骤3跟踪到的婴儿四肢和全身的运动轨迹，保存如图3所示的运动时的连续y轴坐标变化的位置信息，对y轴坐标位置信息构成的连续变化波形图进行小波近似波形和小波功率谱计算，具体包括下列步骤：
4.1由于x轴坐标变化并不明显，仅选取y轴坐标变化图进行分析，首先是小波分析，利用harr小波对已跟踪得到的波形图进行分析，得到小波近似波形图；根据离散小波变换的Mallat金字塔分解算法，构建五层金字塔，提取如图4所示的第五层的小波近似波形，对应于四肢和全身，分别记为：异常左上肢：A01；异常右上肢：A02；异常左下肢：A03；异常右下肢：A04；异常全身：A05；正常左上肢：A11；正常右上肢：A12；正常左下肢：A13；正常右下肢：A14；正常全身：A15。
4.2对于四肢和全身的y轴坐标变化图，利用基于小波的功率谱图，求得功率谱信息。其中设置的采样长度为视频总帧长375，采样频率为1000，采样间隔为1/1000，得到的功率谱图(如图5所示)，分别记为：异常左上肢：P01；异常右上肢：P02；异常左下肢：P03；异常右下肢：P04；异常全身：P05；正常左上肢：P11；正常右上肢：P12；正常左下肢：P13；正常右下肢：P14；正常全身：P15。
五、对得到的小波近似波形图和小波功率谱图，提取特征向量利用支持向量机SVM进行训练学习，具体包括下列步骤：
5.1将样本分为正常和异常进行标记，设正常样本标签为1，设异常的样本标签为-1；
5.2将样本分为训练集和测试集，对数据进行归一化，通过调整SVM中参数c和g的取值来获得最高的精确度，从而得到最佳的训练模型；
六、综合婴儿异常行为判断：根据步骤5.2得到的最佳训练模型，对模型进行数据加权融合，赋予不同的权值，综合判断，具体包括下列步骤：
6.1数据加权融合，将各个模型训练的准确率看作预测值，记作x1，x2...x5，对应的加权因子记作w1，w2...w5。对于融合后得到的预测值X，计算公式如下：
均方误差σ2为：
使均方误差σ2最小时的加权因子即为最佳，此时加权因子为：
6.2对于步骤4.1得到的小波近似波形训练出的SVM模型，根据四肢和全身的不同精确度设置不同的权重系数，具体为：左上肢A1：0.23272；右上肢A2：0.19026；左下肢A3：0.16029；右下肢A4：0.20836；全身A5：0.20836；用Y1到Y5分别表示四肢和全身的判断结果向量，计算公式如下：
Y1＝(test label+predict label)/2
其中：test label为测试样本的实际标签；predict label为测试样本预测的标签；Y2到Y5的计算方式同上；
对于所得到的五个结果向量进行加权，公式如下：
Y＝0.23272*Y1+0.19026*Y2+0.16029*Y3+0.20836*Y4+0.20836*Y5
其中：*表示乘法运算，Y即为小波细节所预测的判断值，规定一个判断标准，若-1<Y<0,判断婴儿行为为异常状态，若0<Y<1,判断婴儿行为为正常状态；
6.3对于步骤4.2得到的小波功率谱训练出的SVM模型，根据对四肢和全身不同的精确度设置不同的权重系数，具体为：左上肢P1：0.15317；右上肢P2：0.17631；左下肢P3：0.12500；右下肢P4：0.39212；全身P5：0.15317；用X1到X5分别表示四肢和全身的判断结果向量，计算公式如下：
X1＝(test label+predict label)/2
其中：test label为测试样本的实际标签；predict label为测试样本预测的标签；X2到X5的计算方式同上；
对于所得到的五个结果向量进行加权，公式如下：
X＝0.15317*X1+0.17631*X2+0.12500*X3+0.39212*X4+0.15317*X5
其中：*表示乘法运算，X即为小波功率谱所预测的判断值，规定一个判断标准，若-1<X<0,判断婴儿行为为异常状态，若0<X<1,判断婴儿行为为正常状态；对X和Y进行综合判断，若测试样本至少满足X和Y中一个条件，就认为判断结果是正确的，即可分辨出婴儿行为是否正常。
本发明提供的一种基于meanshift算法和SVM的婴儿异常行为检测方法性能分析如下：定义三个度量灵敏度(SE),特异性(SP)，准确率(AC)，用于判断本文方法的性能，具体公式如下：
其中：定义真阳性(TP):行为异常婴儿判断为行为异常。假阳性(FP)：行为正常的婴儿判断为行为异常。真阴性(TN)：行为正常的婴儿判断为行为正常。假阴性(FN)：行为异常的婴儿判断为行为正常。得出结果如表1所示：
表1
本发明采用小波特征和功率谱特征综合判断，由表1可知得到的SE为(95±1.7)％，SP为(96.7±2.2)％，精度AC为(95.8±2.0)％。
Claims (5)
1.一种基于meanshift算法和SVM的婴儿异常行为检测方法，其特征在于，提前构建目标跟踪所需的训练样本库，利用meanshift算法对婴儿四肢及全身进行目标跟踪，所述训练样本库包括婴儿标记的四肢和全身，利用小波近似波形和小波功率谱分析对运动轨迹信息进行提取，再由支持向量机SVM对其特征进行分类，包括下列步骤：
S1、获取婴儿视频并进行统一预处理；
S2、将步骤1的婴儿视频进行15s为一份的截取，并进行统一命名，将转化为帧的图像也进行统一命名；
S3、婴儿运动轨迹跟踪：对步骤2获取到的帧图像，利用meanshift算法分别对婴儿的四肢和全身整体运动轨迹进行跟踪，具体包括以下步骤：
S31选取meanshift算子的核函数，将每个样本点按到中心点的距离远近进行加权，我们用到的核函数为Epannechnikov核函数，它的数序定义如下：
其中，x表示定义空间中的一个点，用一个列向量表示；
S32目标模型设计：对要跟踪的目标进行人工标注的方法进行框定，假设其中有n个像素用{zi}i＝1...n表示其位置，对选中的区域的灰度颜色空间均匀划分，得到由m个相等的区间构成的灰度直方图，从而得到目标模型的概率密度；
S33候选模型设计：在第t帧时，根据第t-1帧的目标中心位置f0，以f0为搜索窗口的中心，得到候选目标的中心位置坐标f，计算当前帧的候选目标区域直方图，该区域的像素用{zi}i＝1...n表示，得到候选模型的概率密度；
S34相似性度量，用于描述目标模型和候选模型之间的相似程度，相似函数越大则两个模型越相似；相似度最大的区域既是本帧的目标区域，具体公式如下：
其中：ρ(p，q)表示相似函数；f表示候选目标的中心位置坐标；pu(f)为候选模型概率密度；qu为目标模型概率密度；
S35目标跟踪过程，从候选目标位置fk起向两个模型相比颜色变化最大的方向不断移动，直到最后两次移动距离小于阈值，即找到当前帧的目标位置，并以此作为下一帧的起始搜索窗口中心，如此重复完成跟踪；
S4、对运动轨迹信息进行分析：对步骤3跟踪到的婴儿四肢和全身的运动轨迹，保存运动时的连续y轴坐标变化的位置信息，对y轴坐标位置信息构成的连续变化波形图进行小波近似波形和小波功率谱计算，具体包括下列步骤：
S41由于x轴坐标变化并不明显，仅选取y轴坐标变化图进行分析，首先是小波分析，利用harr小波对已跟踪得到的波形图进行分析，得到小波近似波形图；
S42对于四肢和全身的y轴坐标变化图，利用基于小波的功率谱图，求得功率谱信息，
S5对得到的小波近似波形图和小波功率谱图，提取特征向量利用支持向量机SVM进行训练学习，具体包括下列步骤：
S51将样本分为正常和异常进行标记，设正常样本标签为1，设异常的样本标签为-1；
S52将样本分为训练集和测试集，对数据进行归一化，通过调整SVM中参数c和g的取值来获得最高的精确度，从而得到最佳的训练模型；
S6综合婴儿异常行为判断：根据步骤5.2得到的最佳训练模型，对模型进行数据加权融合，赋予不同的权值，综合判断，具体包括下列步骤：
S61数据加权融合，将各个模型训练的准确率看作预测值，记作x1，x2...x5，对应的加权因子记作w1，w2...w5；对于融合后得到的预测值X，计算公式如下：
均方误差σ2为：
使均方误差σ2最小时的加权因子即为最佳，此时加权因子为：
S62对于步骤S41 得到的小波近似波形训练出的SVM模型，根据四肢和全身的不同精确度设置不同的权重系数，具体为：左上肢A1：0.23272；右上肢A2：0.19026；左下肢A3：0.16029；右下肢A4：0.20836；全身A5：0.20836；用Y1到Y5分别表示四肢和全身的判断结果向量，计算公式如下：
Y1＝(test label+predict label)/2
其中：test label为测试样本的实际标签；predict label为测试样本预测的标签；Y2到Y5的计算方式同上；
对于所得到的五个结果向量进行加权，公式如下：
Y＝0.23272*Y1+0.19026*Y2+0.16029*Y3+0.20836*Y4+0.20836*Y5
其中：*表示乘法运算，Y即为小波细节所预测的判断值，规定一个判断标准，若-1＜Y＜0，判断婴儿行为为异常状态，若0＜Y＜1，判断婴儿行为为正常状态；
S63对于步骤S42 得到的小波功率谱训练出的SVM模型，根据对四肢和全身不同的精确度设置不同的权重系数，具体为：左上肢P1：0.15317；右上肢P2：0.17631；左下肢P3：0.12500；右下肢P4：0.39212；全身P5：0.15317；用X1到X5分别表示四肢和全身的判断结果向量，计算公式如下：
X1＝(test label+predict label)/2
其中：test label为测试样本的实际标签；predict label为测试样本预测的标签；X2到X5的计算方式同上；
对于所得到的五个结果向量进行加权，公式如下：
X＝0.15317*X1+0.17631*X2+0.12500*X3+0.39212*X4+0.15317*X5
其中：*表示乘法运算，X即为小波功率谱所预测的判断值，规定一个判断标准，若-1＜X＜0，判断婴儿行为为异常状态，若0＜X＜1，判断婴儿行为为正常状态；对X和Y进行综合判断，若测试样本至少满足X和Y中一个条件，就认为判断结果是正确的，即可分辨出婴儿行为是否正常。
2.如权利要求1所述的基于meanshift算法和SVM的婴儿异常行为检测方法，其特征在于：所述的步骤S32具体包括下列步骤：目标模型的qu概率密度(u＝1，...，m)可表示为，
其中：
表示以目标中心为原点的归一化像素位置，(x0，y0)为目标中心坐标，K是Epannechnikov核函数，b(zi)表示zi处像素属于哪个直方图区间，u为直方图的颜色索引，δ[b(zi)-u]函数的作用是判断目标区域中像素zi处的灰度值是否属于直方图中第u个单元，等于为1，否则为0；C是归一化系数。
3.如权利要求1所述的基于meanshift算法和SVM的婴儿异常行为检测方法，其特征在于，所述的步骤S33具体包括下列步骤：候选模型的概率密度表示为，
h为核函数窗口大小，决定着权重分布，其他参数同目标模型描述。
4.如权利要求1所述的基于meanshift算法和SVM的婴儿异常行为检测方法，其特征在于：所述的S41利用harr小波对已跟踪得到的波形图进行分析，包括下列步骤：根据离散小波变换的Mallat金字塔分解算法，构建五层金字塔，提取第五层的小波近似波形，对应于四肢和全身，分别记为：异常左上肢：A01；异常右上肢：A02；异常左下肢：A03；异常右下肢：A04；异常全身：A05；正常左上肢：A11；正常右上肢：A12；正常左下肢：A13；正常右下肢：A14；正常全身：A15。
5.如权利要求1所述的基于meanshift算法和SVM的婴儿异常行为检测方法，其特征在于：所述的S42对于四肢和全身的y轴坐标变化图，利用基于小波的功率谱图，包括下列步骤：其中设置的采样长度为视频总帧长375，采样频率为1000，采样间隔为1/1000，得到的功率谱图，分别记为：异常左上肢：P01；异常右上肢：P02；异常左下肢：P03；异常右下肢：P04；异常全身：P05；正常左上肢：P11；正常右上肢：P12；正常左下肢：P13；正常右下肢：P14；正常全身：P15。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910342523.7A CN110414306B (zh) | 2019-04-26 | 2019-04-26 | 一种基于meanshift算法和SVM的婴儿异常行为检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910342523.7A CN110414306B (zh) | 2019-04-26 | 2019-04-26 | 一种基于meanshift算法和SVM的婴儿异常行为检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110414306A CN110414306A (zh) | 2019-11-05 |
| CN110414306B true CN110414306B (zh) | 2022-07-19 |
Family
ID=68357687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910342523.7A Expired - Fee Related CN110414306B (zh) | 2019-04-26 | 2019-04-26 | 一种基于meanshift算法和SVM的婴儿异常行为检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110414306B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291144B (zh) * | 2020-01-19 | 2021-03-26 | 华东师范大学 | 一种道路交叉口位置和覆盖范围检测框架方法 |
| CN113197570B (zh) * | 2021-05-07 | 2022-10-25 | 重庆大学 | 一种辅助诊断脑性瘫痪的婴幼儿膝爬运动姿态分析系统 |
| CN113642525A (zh) * | 2021-09-02 | 2021-11-12 | 浙江大学 | 一种基于骨骼点的婴儿神经发育评估方法和系统 |
| CN114999648B (zh) * | 2022-05-27 | 2023-03-24 | 浙江大学医学院附属儿童医院 | 基于婴儿动态姿态估计的脑性瘫痪早期筛查系统、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2492690A1 (en) * | 2011-02-22 | 2012-08-29 | BIOCRATES Life Sciences AG | Method and use of metabolites for the diagnosis of inflammatory brain injury in preterm born infants |
| CN106056035A (zh) * | 2016-04-06 | 2016-10-26 | 南京华捷艾米软件科技有限公司 | 一种基于体感技术的幼儿园智能监控方法 |
| CN106095099A (zh) * | 2016-06-12 | 2016-11-09 | 南京邮电大学 | 一种用户行为动作检测识别方法 |
| CN107230267A (zh) * | 2017-05-08 | 2017-10-03 | 谢剑锋 | 基于人脸识别算法的幼儿园智能签到方法 |
| CN107590821A (zh) * | 2017-09-25 | 2018-01-16 | 武汉大学 | 一种基于轨迹优化的目标跟踪方法及系统 |
| CN107886060A (zh) * | 2017-11-01 | 2018-04-06 | 西安交通大学 | 基于视频的行人自动检测与跟踪方法 |
| CN108830206A (zh) * | 2018-06-06 | 2018-11-16 | 成都邑教云信息技术有限公司 | 一种课程轴互联网教育系统 |
| CN109620244A (zh) * | 2018-12-07 | 2019-04-16 | 吉林大学 | 基于条件生成对抗网络和svm的婴儿异常行为检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8577126B2 (en) * | 2007-04-11 | 2013-11-05 | Irobot Corporation | System and method for cooperative remote vehicle behavior |
-
2019
- 2019-04-26 CN CN201910342523.7A patent/CN110414306B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2492690A1 (en) * | 2011-02-22 | 2012-08-29 | BIOCRATES Life Sciences AG | Method and use of metabolites for the diagnosis of inflammatory brain injury in preterm born infants |
| CN106056035A (zh) * | 2016-04-06 | 2016-10-26 | 南京华捷艾米软件科技有限公司 | 一种基于体感技术的幼儿园智能监控方法 |
| CN106095099A (zh) * | 2016-06-12 | 2016-11-09 | 南京邮电大学 | 一种用户行为动作检测识别方法 |
| CN107230267A (zh) * | 2017-05-08 | 2017-10-03 | 谢剑锋 | 基于人脸识别算法的幼儿园智能签到方法 |
| CN107590821A (zh) * | 2017-09-25 | 2018-01-16 | 武汉大学 | 一种基于轨迹优化的目标跟踪方法及系统 |
| CN107886060A (zh) * | 2017-11-01 | 2018-04-06 | 西安交通大学 | 基于视频的行人自动检测与跟踪方法 |
| CN108830206A (zh) * | 2018-06-06 | 2018-11-16 | 成都邑教云信息技术有限公司 | 一种课程轴互联网教育系统 |
| CN109620244A (zh) * | 2018-12-07 | 2019-04-16 | 吉林大学 | 基于条件生成对抗网络和svm的婴儿异常行为检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Detecting and Classifying Fetal Brain Abnormalities Using Machine Learning Techniques;Omneya Attallah等;《2018 17th IEEE International Conference on Machine Learning and Applications (ICMLA)》;20181220;第1371-1376页 * |
| 人类疼痛表情研究进展;杨悦颖等;《心理与行为研究》;20160720;第551-557页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110414306A (zh) | 2019-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414306B (zh) | 一种基于meanshift算法和SVM的婴儿异常行为检测方法 | |
| CN109620244B (zh) | 基于条件生成对抗网络和svm的婴儿异常行为检测方法 | |
| Drotár et al. | Decision support framework for Parkinson’s disease based on novel handwriting markers | |
| CN107103298B (zh) | 基于图像处理的引体向上计数系统及计数方法 | |
| US11281896B2 (en) | Physical activity quantification and monitoring | |
| Pang et al. | Automatic detection and quantification of hand movements toward development of an objective assessment of tremor and bradykinesia in Parkinson's disease | |
| WO2021068781A1 (zh) | 一种疲劳状态识别方法、装置和设备 | |
| CN111274998A (zh) | 帕金森病手指敲击动作识别方法及系统、存储介质及终端 | |
| CN108898621B (zh) | 一种基于实例感知目标建议窗口的相关滤波跟踪方法 | |
| CN110472673B (zh) | 参数调整方法、眼底图像处理方法、装置、介质及设备 | |
| CN115316982A (zh) | 一种基于多模态传感的肌肉形变智能检测系统及方法 | |
| CN110032987B (zh) | 一种基于小脑神经网络模型的表面肌电信号分类方法 | |
| CN117133057A (zh) | 基于人体姿态识别的体育运动计数和违规动作判别方法 | |
| CN117058756A (zh) | 老年人群膝关节动作识别方法 | |
| JP5802916B2 (ja) | 感覚データ識別装置及びプログラム | |
| CN106446837B (zh) | 一种基于运动历史图像的挥手检测方法 | |
| CN113066544B (zh) | 基于CAA-Net与LightGBM的FVEP特征点检测方法 | |
| Quanyu | Pulse signal analysis based on deep learning network | |
| CN111354458B (zh) | 基于通用绘图任务的触控交互运动用户特征提取方法和辅助疾病检测系统 | |
| KR20130142570A (ko) | 적외선 영상을 이용한 생체 신호 측정 방법 및 장치 | |
| CN106446810A (zh) | 一种用于精神状态分析的计算机视觉方法 | |
| Kluwak et al. | Gait classification using LSTM networks for tagging system | |
| CN110786839A (zh) | 瞬时无波形比值的生成方法、装置、设备及介质 | |
| CN114898241B (zh) | 基于计算机视觉的视频重复动作计数系统 | |
| Leng et al. | Fine-grained Human Activity Recognition Using Virtual On-body Acceleration Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220719 |