CN113327269A - 一种无标记颈椎运动检测方法 - Google Patents
一种无标记颈椎运动检测方法 Download PDFInfo
- Publication number
- CN113327269A CN113327269A CN202110559856.2A CN202110559856A CN113327269A CN 113327269 A CN113327269 A CN 113327269A CN 202110559856 A CN202110559856 A CN 202110559856A CN 113327269 A CN113327269 A CN 113327269A
- Authority
- CN
- China
- Prior art keywords
- image
- neck
- optical flow
- detecting
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 230000033001 locomotion Effects 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 88
- 230000003287 optical effect Effects 0.000 claims abstract description 44
- 239000013598 vector Substances 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000003709 image segmentation Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 58
- 230000036544 posture Effects 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 13
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 239000003550 marker Substances 0.000 abstract description 6
- 238000011160 research Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 206010041591 Spinal osteoarthritis Diseases 0.000 description 6
- 208000036319 cervical spondylosis Diseases 0.000 description 6
- 208000005801 spondylosis Diseases 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010005963 Bone formation increased Diseases 0.000 description 1
- 208000003618 Intervertebral Disc Displacement Diseases 0.000 description 1
- 206010050296 Intervertebral disc protrusion Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
一种无标记颈椎运动检测方法，属于图像识别领域。现有的有标记物的目标识别方法具有局限性的问题。本发明包括，获得连续的含有颈部的图像帧；将L‑K光流法与最大类间方差图像分割法相结合的方法，检测图像中的颈部区域目标；检测颈部边缘，提取颈部轮廓部分信息；将提取出的颈部边缘图像的质心作为坐标原点，建立坐标系，把图像在四个象限的质心分别和原点进行连线，计算每条连线和横轴的夹角的正切值，得出特征向量；从而进行颈部特征提取；采用BP神经网络进行颈部姿态识别；提取样本特征数据计算训练参数，根据提取的特征参数训练分类器；之后将待检测的颈部图像进行检测，识别检测结果。具有目标识别时间短，识别结果准确的优点。
Description
技术领域
本发明涉及一种无标记颈椎运动检测方法。
背景技术
随着社会节奏的加快和智能手机的普及，长时间的伏案办公和越来越普遍的“低头族”使得颈椎病越来越年轻化和大众化。颈椎病是出于椎间盘突出、骨质增生等原因导致的颈椎部位功能性障碍综合征，最初是一种中老年人群的常见多发病。然而近几年的调查研究发现，越来越多的人都或轻或重地存在颈椎问题，特别长期伏案工作的办公人员和学业负担繁重的学生们，其颈椎病的患病率普遍高于其他人群。根据相关职业调查，文书岗位、教师、IT行业和驾驶员等从业人群的颈椎病患病率占据前几位。当人们长期保持低头或抬头姿势，或者是其他不良姿势的情况下，颈椎长时间处于屈位或某些特定体位没有及时得到放松或者缓解，以至于造成颈后肌肉和相关韧带组织的劳损。综合各项调查结果，颈椎病的年轻化和高病发率与人体的不良颈部姿态息息相关。因此，开展对颈部姿态的研究具有重要的社会意义和健康保障。人体姿态检测和识别是近几年来的研究热点。人体交互和无线体域网[7]等关键技术的急速发展，使得人体姿态检测和识别得到了广泛应用，在其快速进入人体工学、体感游戏、健康监护和康复医学等领域的同时，也加速了相关领域的技术更新[8]。人体姿态主要分为运动姿态和静止姿态，对人体姿态的研究是指利用各种方法对人体的运动姿态信息进行检测、追踪和识别，采用各种例如高速摄影、传感器等技术配合计算机技术与测量技术等手段来获得人体运动时的各种姿态信息。人体姿态识别是计算机视觉研究领域中具有广泛应用前景的研究方向，计算机可以在没有人控制的情况下，利用计算机视觉计算方法，自动计算和分析视频中的运动目标，能够从一个高层次语义上快速检测出异常行为，理解视频图像中的人体姿态，对有异常行为的情况下，能够快速的发出准确的报警信息，是计算机拥有理解动态场景的能力，但是这方面的研究也有一定的挑战和难度。人体的行为千变万化，不同的人体形态也是千差万别，又存在光线、衣服、背景等因素的影响，因此完整的检测视频图像中的人体并识别出目标姿态是一个非常困难的任务。本课题的研究工作是针对视频中的无标记图像，首先判断此图像是否有相应的目标，如果有，要对相应的目标图像区域进一步进行图像处理，之后对颈部姿态进行检测识别。此课题是基于无标记颈椎运动检测方法研究。纯视觉方式的，非接触的，利用图像处理的方法，机器学习的算法来实现颈椎姿态的检测。有标记的颈椎姿态检测实际上是视觉采集，对采集后的每一帧图像人工加上坐标系最后看姿态的变化，实际上就是根据标记物来进行目标识别。由于有标记物的方法具有局限性，因此本发明是不使用标记物也能够进行的颈椎姿态检测方法。
发明内容
本发明的目的是为了解决现有的有标记物的目标识别方法具有局限性的问题，而提出一种一种无标记颈椎运动检测方法。
一种无标记颈椎运动检测方法，其特征在于：所述方法通过以下步骤实现：
步骤一、通过采集含有颈部的视频，获得连续的含有颈部的图像帧；
步骤二、将L-K光流法与最大类间方差图像分割法相结合的方法，检测图像中的颈部区域目标
步骤三、建立颈部模型，检测颈部边缘，提取颈部轮廓部分信息；将提取出的颈部边缘图像的质心作为坐标原点，建立坐标系，把图像在四个象限的质心分别和原点进行连线，计算每条连线和横轴的夹角的正切值，得出特征向量；从而进行颈部特征提取；
步骤四、采用BP神经网络进行颈部姿态识别；
首先采集向前、向后、向左、向右四种颈部姿态图像做样本，提取样本特征数据计算训练参数，根据提取的特征参数训练分类器；之后将待检测的颈部图像进行检测，识别检测结果；
其中，在采集含有颈部的视频的步骤之前需要先对摄像头进行标定；其中，L-K光流法的全称为Lucas-Kanade光流法。
步骤二所述的将L-K光流法与最大类间方差图像分割法相结合的方法，检测图像中的颈部区域目标，具体为：
第一，获取连续的两帧图像，对图像进行灰度化处理，得到其灰度图像；
第二，对连续的两帧图像进行Lucas-Kanade光流算法计算，得到光流场；
第三，在光流场中进行最大类间方差图像分割，将光流连续的区域视为背景目标，将光流不连续的区域视为运动目标；
第四，通过OTSU算法运算得到最佳阈值，对其进行二值化处理，得到二值图像；
第五，通过进行形态学处理使颈部目标进一步完整，从而检测出颈部目标区域；
其中，L-K光流法的全称为Lucas-Kanade光流法；
本步骤中，是将Lucas-Kanade光流法和最大类间方差分割法相结合用于颈部目标的检测，从而得到一种改进的算法。
所述的在光流场中进行最大类间方差图像分割的步骤中，最佳阈值的运算过程为：
通过OTSU算法将图像分成背景区域和前景区域两类，用方差来判断背景区域和前景区域的差别，当两者之间的类间方差达到最大的时候，可确定最佳阈值，即为此时类间方差最大的灰度级；
对于图像I(x,y)，前景和背景的分割阈值记为T，属于前景的像素点数占整幅图像的比例记为Pa，平均灰度为wa；背景像素点数占整幅图像的比例为Pb，平均灰度为wb；整幅图像的平均灰度记为w0；设图像的灰度级为L，大小为M*N，图像中灰度级为i的像素总个
数为Ni，则计算灰度级i的概率为：
根据OTSU算法，最佳阈值求解公式为：
其中，
步骤三所述的颈部特征提取的步骤中，检测颈部边缘的步骤具体为：
依靠算法来提取图像灰度发生变化的区域边界的步骤如下：
第一，图像平滑，即降低图像混杂的随机噪声；
第二，图像增强，即将邻域灰度显著变化的点增强显示；
第三，图像检测，即通过边缘检测算子完成图像边缘的检测；
第四，图像定位，即修改图像检测中检测出的图像边缘，提高定位精度。
步骤三所述的颈部特征提取的步骤中，得出特征向量的步骤具体为：
分析颈部的向前、向后、向左、向右的姿态特征，提取4种特征量，建立颈部姿态特征模型；所述的特征量以特征角度为主，以颈部目标边缘图像的质心为原点建立二维直角坐标系，直角坐标系分割为四个象限，确定颈部边缘图像在四个象限的质心分别与原点的连线，并计算连线与X轴的夹角，分别记为∠1、∠2、∠3、∠4，计算四个夹角的正切值，分别表示针对一、二、三、四象限的四个姿态特征角；将四个象限的正切值作为特征向量，通过这些特征向量表征颈部的特征。
步骤四所述的采用BP神经网络进行颈部姿态识别的步骤中，选用基于动量改进的BP算法作为学习函数，选用LMS算法作为训练函数；根据样本图像所提供的特征向量，运用BP神经网络，对颈部向前、向后、向左、向右四种姿态进行BP神经网络训练，建立BP神经网络模型，运用BP神经网络模型识别检测的颈部姿态；其中，通过动量改进的BP算法找到全局最优解，避免解出局部最优解；
具体包括：
第一，形成基于动量的改进BP算法；
基于动量改进的BP算法调整权值，将本次误差计算所得的权值变化量与上次权值变化量进行融合作为本次实际权值变化量：
ΔW(n)＝-ηΔE(n)+αΔW(n-1)
式中，α是动量系数，通常0<α<0.9，η是学习率，取值范围在0.001～10之间；
第二，自适应调整学习速率；
第三，将L-M学习规则的权值调整改为：
Δw＝(JTJ+μI)-1.JTe
其中，e是误差向量；J是网络误差对权值倒数的Jacobian矩阵；μ是标量
本发明的有益效果为：
本发明的新颖之处在于用全景摄像头采集图像序列帧，对视频中的颈部目标进行检测，将目标与背景分离，提取出完整的颈部目标；之后采取边缘检测算法将颈部进行特征提取；颈部姿态识别是在这两项技术的基础上，进一步对颈部目标区域进行分析和判断，通过优化算法，训练分类器，对颈部姿态进行识别判断。
具体地，运用了L-K光流法与最大类间方差分割法进行结合来对颈部目标检测。Lucas-Kanade算法是光流基本算法之一，具备了光流的特点，不需要建立背景模型，就可以得到检测物体的运动信息，且能获得比较完整的运动目标，与Horn-Schunck光流法相比，Lucas-Kanade是稀疏光流，仅对部分像素，而不是全部像素进行计算，因此耗时较短。所以采用L-K光流法。在图像分割中，阈值的选取很重要，阈值选的过高会遗漏一些重要的信息，阈值选的过低会引入噪声，所以选取最大类间方差分割法进行图像分割。两者结合，对颈部进行检测。因此本发明具有目标识别时间短，识别结果准确的优点。
附图说明
图1为本发明的方法流程图；
图2为本发明涉及的Lucas-Kanade光流法和最大类间方差分割法(OTSU算法)相结合的改进算法流程图；
图3为本发明涉及的自适应调整学习速率的流程图；
图4为三层神经网络结构图。
具体实施方式
具体实施方式一：
本实施方式的一种无标记颈椎运动检测方法，如图1所示，所述方法通过以下步骤：
步骤一、通过采集含有颈部的视频，获得连续的含有颈部的图像帧；
其中，通过采集含有颈部的视频的的步骤之前需要先对摄像头进行标定；
步骤二、将L-K光流法与最大类间方差图像分割法相结合的方法，检测图像中的颈部区域目标，具体为：
第一，获取连续的两帧图像，对图像进行灰度化处理，得到其灰度图像；
第二，对连续的两帧图像进行Lucas-Kanade光流算法计算，得到光流场；
第三，在光流场中进行最大类间方差图像分割，将光流连续的区域视为背景目标，将光流不连续的区域视为运动目标；
第四，通过OTSU算法运算得到最佳阈值，对其进行二值化处理，得到二值图像；
第五，通过进行形态学处理使颈部目标进一步完整，从而检测出颈部目标区域；
其中，L-K光流法的全称为Lucas-Kanade光流法；
本步骤中，是将Lucas-Kanade光流法和最大类间方差分割法(OTSU算法)相结合用于颈部目标的检测，从而得到一种改进的算法，算法的设计流程如2图所示：
其中，最佳阈值的运算过程为：
由于Lucas-Kanade算法是光流基本算法之一，使得其具备了光流的特点，即不需要建立背景模型就可以得到检测物体的运动信息，且能获得比较完整的运动目标，与Horn-Schunck光流法相比，Lucas-Kanade是稀疏光流，仅对部分像素，而不是全部像素进行计算，因此耗时较短。在此基础上，本发明采用Lucas-Kanade光流法进行计算。
再利用OTSU算法进行运算；即，通过OTSU算法将图像分成背景区域和前景区域两类，用方差来判断背景区域和前景区域的差别，当两者之间的类间方差达到最大的时候，可确定最佳阈值，即为此时类间方差最大的灰度级；
对于图像I(x,y)，前景和背景的分割阈值记为T，属于前景的像素点数占整幅图像的比例记为Pa，平均灰度为wa；背景像素点数占整幅图像的比例为Pb，平均灰度为wb；整幅图像的平均灰度记为w0；设图像的灰度级为L，大小为M*N，图像中灰度级为i的像素总个数为Ni，则计算灰度级i的概率为：
根据OTSU算法，最佳阈值求解公式为：
其中，
上述为通过OTSU算法得到最佳阈值的过程，本发明通过此方法对颈部图像实现阈值分割。
图像分割方法很多，由于阈值法实现简单、计算量小、性能较稳定，所以在图像分割中堪称是基础和应用最广泛的设计技术。而最佳阈值的选择对图像分割技术发挥着至关重要的作用，阈值选择过高会遗漏一些细节信息，阈值选择过低又会引入多余的噪声。所以采用自适应的阈值选择的OTSU算法，这个算法通过计算方差得到最佳阈值。
步骤三、颈部特征提取：
特征参数是完成图形到数据转换的一步，将可以直观观测到的图像转换为计算机可以进行计算的数据，特征参数能够反映出图像所包含的特征。在计算机中采用按照一定形式视频图像采集颈部目标检测颈部特征提取颈部姿态识别图像。一个图像需要用许多的特征数据来表示，各个特征向量作为姿态识别时的线性约束条件，可以训练分类器模型。当检测时，把待检测图像的特征向量进行分类，就可以识别出图像中的信息。
建立颈部模型，检测颈部边缘，提取颈部轮廓部分信息；将提取出的颈部边缘图像的质心作为坐标原点，建立坐标系，把图像在四个象限的质心分别和原点进行连线，计算每条连线和横轴的夹角的正切值，得出特征向量；
其中，
检测颈部边缘的步骤具体为：
第一部分的颈部目标检测完成之后，接着进行边缘检测；所谓图像的边缘检测，是依靠算法来提取图像灰度发生急剧变化的区域边界，图像边缘检测的步骤如下：
第一，图像平滑，即由于图像混杂着随机噪声，故在做图像边缘检测时首先需要进行平滑滤波，平滑的结果会降低图像混杂的随机噪声，但也会降低整体的边缘强度；
第二，图像增强，即将邻域灰度显著变化的点增强显示；
第三，图像检测，即通过边缘检测算子完成图像边缘的检测；
第四，图像定位，即修改图像检测中检测出的图像边缘，提高定位精度。
得出特征向量的步骤具体为：
本发明采用多种典型的边缘检测算子对经过平滑滤波后的图像进行边缘检测，比较各个检测算子对图像的仿真结果；之后根据边缘特征进行特征提取。
本发明分析颈部的向前、向后、向左、向右的姿态特征，提取4种特征量，建立颈部姿态特征模型；所述的特征量以特征角度为主，以颈部目标边缘图像的质心为原点建立二维直角坐标系，直角坐标系分割为四个象限，确定颈部边缘图像在四个象限的质心分别与原点的连线，并计算连线与X轴的夹角，分别记为∠1、∠2、∠3、∠4，计算四个夹角的正切值，分别表示针对一、二、三、四象限的四个姿态特征角；将四个象限的正切值作为特征向量，通过这些特征向量表征颈部的特征；这样就可以将颈部不同姿态进行特征提取；
步骤四、采用BP神经网络进行颈部姿态识别；
姿态识别是依据模式识别的技术。首先采集向前、向后、向左、向右四种颈部姿态图像做样本，提取样本特征数据计算训练参数，根据提取的特征参数训练分类器；之后将待检测的颈部图像进行检测，识别检测结果。
采用BP神经网络进行颈部姿态识别的过程，BP神经网络虽然预测的通用性好，精度比较高。但是也存在一些缺陷，比如隐含层数和隐含层的节点数难以确定，容易陷入局部极小，收敛速度慢。为了避免上述的缺陷，优化学习算法是重要的。本发明需要选用合适的训练函数和学习函数来作为神经网络。
选用基于动量改进的BP算法作为学习函数，选用LMS算法作为训练函数，LMS学习算法可以提高BP训练速度，将两种方法结合起来，得到动量-LMS学习算法；根据样本图像所提供的特征向量，运用BP神经网络，对颈部向前、向后、向左、向右四种姿态进行BP神经网络训练，建立BP神经网络模型，运用BP神经网络模型识别检测的颈部姿态；其中，通过动量改进的BP算法找到全局最优解，避免解出局部最优解；
具体包括：
第一，形成基于动量的改进BP算法；
标准BP算法忽略以前时刻的梯度方向，在学习过程中会导致收敛缓慢。基于动量的改进BP算法，主要原理是降低学习过程中的振荡趋势，提高算法收敛速度。通过基于动量改进的BP算法调整权值，将本次误差计算所得的权值变化量与上次权值变化量进行融合作为本次实际权值变化量：
ΔW(n)＝-ηΔE(n)+αΔW(n-1)
式中，α是动量系数，通常0<α<0.9，η是学习率，取值范围在0.001～10之间；
第二，自适应调整学习速率；
在标准的BP算法中，学习速率不合适是影响收敛速度快慢的一个重要因素。因此选择合适的学习速率能够解决收敛速度的问题。图3是自适应调整学习速率的流程图；
第三，L-M学习规则在一般使用的学习函数中，L-M算法是最快的学习函数，但是在实际使用中，L-M算法需要较大的存储空间，特别是针对高维训练问题，硬件设备要求更高。为了避开这个问题，将L-M学习规则的权值调整改为：
Δw＝(JTJ+μI)-1.JTe
其中，e是误差向量；J是网络误差对权值倒数的Jacobian矩阵；μ是标量。
BP算法原理
一般情况下，BP算法由逆向传播的误差信号和正向传播的数据流共同构成。从输入层到隐含层，再到输出层是正向传播方向，每层的神经元特性只影响下层神经元。当实际输出层输出与目标输出不一致时，则转向误差信号的逆向传播。在BP算法迭代中，正向传播和逆向传播是交替进行的，不断在权向量空间动态更新权向量，使误差降到最低，最终完成信息的提取和预测过程。
1.1正向传播
如图4所示三层神经网络结构图，设BP网络的输入层、隐含层、输出层分别有n、q、m个节点，输入层与隐含层、隐含层与输出层之间的权值分别为vki，wjk。假设隐含层、输出层的传递函数分别为f1、f2，可得隐含层节点的输出为：
输出层节点的输出为：
于是，BP网络从n维输入向量近似映射到m维输出向量。
1.2逆向传播
(1)误差的选取假设共有P个学习样本，分别用x1，x2，…，xP来表示。第p个样本作为输入进入网络训练，得到j个输出yjP，j＝1,2,…,m。假设得到第p个样本的误差EP：
对于P个样本，全局误差为：
(2)输出层权值的变化全局误差E通过累计误差BP算法调整，使其变小，即：
式中：η为学习率假设误差信号为：
其中第一项：
第二项
是输出层传递函数的偏微分。于是：
由链定理得：
于是输出层各神经元的权值调整公式为：
(3)隐层权值的变化
定义误差信号为：
其中第一项：
由链定理得：
第二项：
是隐层传递函数的偏微分。于是：
由链定理得：
于是，隐层各神经元的权值调整公式为：
Claims (6)
1.一种无标记颈椎运动检测方法，其特征在于：所述方法通过以下步骤实现：
步骤一、通过采集含有颈部的视频，获得连续的含有颈部的图像帧；
步骤二、将L-K光流法与最大类间方差图像分割法相结合的方法，检测图像中的颈部区域目标；
步骤三、建立颈部模型，检测颈部边缘，提取颈部轮廓部分信息；将提取出的颈部边缘图像的质心作为坐标原点，建立坐标系，把图像在四个象限的质心分别和原点进行连线，计算每条连线和横轴的夹角的正切值，得出特征向量；从而进行颈部特征提取；
步骤四、采用BP神经网络进行颈部姿态识别；
首先采集向前、向后、向左、向右四种颈部姿态图像做样本，提取样本特征数据计算训练参数，根据提取的特征参数训练分类器；之后将待检测的颈部图像进行检测，识别检测结果；
其中，在采集含有颈部的视频的步骤之前需要先对摄像头进行标定；其中，L-K光流法的全称为Lucas-Kanade光流法。
2.根据权利要求1所述一种无标记颈椎运动检测方法，其特征在于：
步骤二所述的将L-K光流法与最大类间方差图像分割法相结合的方法，检测图像中的颈部区域目标，具体为：
第一，获取连续的两帧图像，对图像进行灰度化处理，得到其灰度图像；
第二，对连续的两帧图像进行Lucas-Kanade光流算法计算，得到光流场；
第三，在光流场中进行最大类间方差图像分割，将光流连续的区域视为背景目标，将光流不连续的区域视为运动目标；
第四，通过OTSU算法运算得到最佳阈值，对其进行二值化处理，得到二值图像；
第五，通过进行形态学处理使颈部目标进一步完整，从而检测出颈部目标区域；
其中，L-K光流法的全称为Lucas-Kanade光流法；
本步骤中，是将Lucas-Kanade光流法和最大类间方差分割法相结合用于颈部目标的检测，从而得到一种改进的算法。
3.根据权利要求2所述一种无标记颈椎运动检测方法，其特征在于：所述的在光流场中进行最大类间方差图像分割的步骤中，最佳阈值的运算过程为：
通过OTSU算法将图像分成背景区域和前景区域两类，用方差来判断背景区域和前景区域的差别，当两者之间的类间方差达到最大的时候，可确定最佳阈值，即为此时类间方差最大的灰度级；
对于图像I(x,y)，前景和背景的分割阈值记为T，属于前景的像素点数占整幅图像的比例记为Pa，平均灰度为wa；背景像素点数占整幅图像的比例为Pb，平均灰度为wb；整幅图像的平均灰度记为w0；设图像的灰度级为L，大小为M*N，图像中灰度级为i的像素总个数为Ni，则计算灰度级i的概率为：
根据OTSU算法，最佳阈值求解公式为：
其中，
4.根据权利要求1、2或3所述一种无标记颈椎运动检测方法，其特征在于：步骤三所述的颈部特征提取的步骤中，检测颈部边缘的步骤具体为：
依靠算法来提取图像灰度发生变化的区域边界的步骤如下：
第一，图像平滑，即降低图像混杂的随机噪声；
第二，图像增强，即将邻域灰度显著变化的点增强显示；
第三，图像检测，即通过边缘检测算子完成图像边缘的检测；
第四，图像定位，即修改图像检测中检测出的图像边缘，提高定位精度。
5.根据权利要求4所述一种无标记颈椎运动检测方法，其特征在于：步骤三所述的颈部特征提取的步骤中，得出特征向量的步骤具体为：
分析颈部的向前、向后、向左、向右的姿态特征，提取4种特征量，建立颈部姿态特征模型；所述的特征量以特征角度为主，以颈部目标边缘图像的质心为原点建立二维直角坐标系，直角坐标系分割为四个象限，确定颈部边缘图像在四个象限的质心分别与原点的连线，并计算连线与X轴的夹角，分别记为∠1、∠2、∠3、∠4，计算四个夹角的正切值，分别表示针对一、二、三、四象限的四个姿态特征角；将四个象限的正切值作为特征向量，通过这些特征向量表征颈部的特征。
6.根据权利要求1、2、3或5所述一种无标记颈椎运动检测方法，其特征在于：步骤四所述的采用BP神经网络进行颈部姿态识别的步骤中，选用基于动量改进的BP算法作为学习函数，选用LMS算法作为训练函数；根据样本图像所提供的特征向量，运用BP神经网络，对颈部向前、向后、向左、向右四种姿态进行BP神经网络训练，建立BP神经网络模型，运用BP神经网络模型识别检测的颈部姿态；其中，通过动量改进的BP算法找到全局最优解，避免解出局部最优解；
具体包括：
第一，形成基于动量的改进BP算法；
基于动量改进的BP算法调整权值，将本次误差计算所得的权值变化量与上次权值变化量进行融合作为本次实际权值变化量：
ΔW(n)＝-ηΔE(n)+αΔW(n-1)
式中，α是动量系数，通常0<α<0.9，η是学习率，取值范围在0.001～10之间；
第二，自适应调整学习速率；
第三，将L-M学习规则的权值调整改为：
Δw＝(JTJ+μI)-1.JTe
其中，e是误差向量；J是网络误差对权值倒数的Jacobian矩阵；μ是标量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110559856.2A CN113327269A (zh) | 2021-05-21 | 2021-05-21 | 一种无标记颈椎运动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110559856.2A CN113327269A (zh) | 2021-05-21 | 2021-05-21 | 一种无标记颈椎运动检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113327269A true CN113327269A (zh) | 2021-08-31 |
Family
ID=77416327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110559856.2A Pending CN113327269A (zh) | 2021-05-21 | 2021-05-21 | 一种无标记颈椎运动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113327269A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023134114A1 (zh) * | 2022-01-14 | 2023-07-20 | 合肥英睿系统技术有限公司 | 运动目标的检测方法、检测设备以及存储介质 |
| CN117437392A (zh) * | 2023-12-15 | 2024-01-23 | 杭州锐健医疗科技有限公司 | 交叉韧带止点标记及其模型训练的方法和关节镜系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106041912A (zh) * | 2016-06-16 | 2016-10-26 | 深圳先进技术研究院 | 主从式蛇形机器人系统及其位置控制方法 |
| CN106204646A (zh) * | 2016-07-01 | 2016-12-07 | 湖南源信光电科技有限公司 | 基于bp神经网络的多运动目标跟踪方法 |
| CN107066961A (zh) * | 2017-03-31 | 2017-08-18 | 清华大学 | 指纹配准方法及装置 |
| CN107273815A (zh) * | 2017-05-24 | 2017-10-20 | 中国农业大学 | 一种个体行为识别方法及系统 |
| CN108241849A (zh) * | 2017-08-28 | 2018-07-03 | 北方工业大学 | 基于视频的人体交互动作识别方法 |
| CN110414308A (zh) * | 2019-05-16 | 2019-11-05 | 南京理工大学 | 一种针对输电线路上动态异物的目标识别方法 |
| CN111951250A (zh) * | 2020-08-14 | 2020-11-17 | 西安科技大学 | 一种基于图像的火灾检测方法 |
| WO2020245856A1 (en) * | 2019-06-03 | 2020-12-10 | THE EDGE COMPANY S.r.l. | Method of detecting moving objects |
-
2021
- 2021-05-21 CN CN202110559856.2A patent/CN113327269A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106041912A (zh) * | 2016-06-16 | 2016-10-26 | 深圳先进技术研究院 | 主从式蛇形机器人系统及其位置控制方法 |
| CN106204646A (zh) * | 2016-07-01 | 2016-12-07 | 湖南源信光电科技有限公司 | 基于bp神经网络的多运动目标跟踪方法 |
| CN107066961A (zh) * | 2017-03-31 | 2017-08-18 | 清华大学 | 指纹配准方法及装置 |
| CN107273815A (zh) * | 2017-05-24 | 2017-10-20 | 中国农业大学 | 一种个体行为识别方法及系统 |
| CN108241849A (zh) * | 2017-08-28 | 2018-07-03 | 北方工业大学 | 基于视频的人体交互动作识别方法 |
| CN110414308A (zh) * | 2019-05-16 | 2019-11-05 | 南京理工大学 | 一种针对输电线路上动态异物的目标识别方法 |
| WO2020245856A1 (en) * | 2019-06-03 | 2020-12-10 | THE EDGE COMPANY S.r.l. | Method of detecting moving objects |
| CN111951250A (zh) * | 2020-08-14 | 2020-11-17 | 西安科技大学 | 一种基于图像的火灾检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张艳艳: "基于改进光流算法的运动目标检测技术研究", 《智能计算机与应用》 * |
| 蔡淳淳: "人体姿态识别新方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023134114A1 (zh) * | 2022-01-14 | 2023-07-20 | 合肥英睿系统技术有限公司 | 运动目标的检测方法、检测设备以及存储介质 |
| CN117437392A (zh) * | 2023-12-15 | 2024-01-23 | 杭州锐健医疗科技有限公司 | 交叉韧带止点标记及其模型训练的方法和关节镜系统 |
| CN117437392B (zh) * | 2023-12-15 | 2024-03-26 | 杭州锐健医疗科技有限公司 | 交叉韧带止点标记及其模型训练的方法和关节镜系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105488815B (zh) | 一种支持目标尺寸变化的实时对象跟踪方法 | |
| CN111259930B (zh) | 自适应注意力指导机制的一般性目标检测方法 | |
| CN110276316B (zh) | 一种基于深度学习的人体关键点检测方法 | |
| US5442716A (en) | Method and apparatus for adaptive learning type general purpose image measurement and recognition | |
| CN104680559B (zh) | 基于运动行为模式的多视角室内行人跟踪方法 | |
| CN106295564B (zh) | 一种邻域高斯结构和视频特征融合的动作识别方法 | |
| CN107229904A (zh) | 一种基于深度学习的目标检测与识别方法 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN108960047B (zh) | 基于深度二次树的视频监控中人脸去重方法 | |
| CN107767416B (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
| CN106650617A (zh) | 一种基于概率潜在语义分析的行人异常识别方法 | |
| CN113327269A (zh) | 一种无标记颈椎运动检测方法 | |
| CN113963032A (zh) | 一种融合目标重识别的孪生网络结构目标跟踪方法 | |
| CN113313123B (zh) | 一种基于语义推断的扫视路径预测方法 | |
| CN110334656A (zh) | 基于信源概率加权的多源遥感图像水体提取方法及装置 | |
| CN108460320A (zh) | 基于改进单元分析的监控视频异常事件检测方法 | |
| CN110111370A (zh) | 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法 | |
| CN115335872A (zh) | 目标检测网络的训练方法、目标检测方法及装置 | |
| CN112861808B (zh) | 动态手势识别方法、装置、计算机设备及可读存储介质 | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN113762009B (zh) | 一种基于多尺度特征融合及双注意力机制的人群计数方法 | |
| Feng | Mask RCNN-based single shot multibox detector for gesture recognition in physical education | |
| Zheng et al. | Attention assessment based on multi‐view classroom behaviour recognition | |
| CN110766093A (zh) | 一种基于多帧特征融合的视频目标重识别方法 | |
| CN110443277A (zh) | 基于注意力模型的少量样本分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210831 |
|
| WD01 | Invention patent application deemed withdrawn after publication |