CN112464734A - 一种基于视觉的四足动物行走运动特征自动识别方法 - Google Patents
一种基于视觉的四足动物行走运动特征自动识别方法 Download PDFInfo
- Publication number
- CN112464734A CN112464734A CN202011215119.2A CN202011215119A CN112464734A CN 112464734 A CN112464734 A CN 112464734A CN 202011215119 A CN202011215119 A CN 202011215119A CN 112464734 A CN112464734 A CN 112464734A
- Authority
- CN
- China
- Prior art keywords
- motion
- quadruped
- contour
- walking
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 151
- 238000000034 method Methods 0.000 title claims abstract description 57
- 241001465754 Metazoa Species 0.000 title claims abstract description 48
- 230000005021 gait Effects 0.000 claims abstract description 60
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 5
- 238000013135 deep learning Methods 0.000 claims abstract description 5
- 238000005516 engineering process Methods 0.000 claims abstract description 5
- 230000008859 change Effects 0.000 claims description 31
- 210000000003 hoof Anatomy 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 238000011160 research Methods 0.000 abstract description 2
- 210000003414 extremity Anatomy 0.000 description 56
- 210000003194 forelimb Anatomy 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 210000003141 lower extremity Anatomy 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 11
- 241000282806 Rhinoceros Species 0.000 description 8
- 230000001174 ascending effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 230000003447 ipsilateral effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100127891 Caenorhabditis elegans let-4 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000003938 response to stress Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于视觉的四足动物行走运动特征自动识别方法，属于计算机视觉及图像处理研究技术领域。本发明从侧面获取四足动物行走视频，并用视频帧分解技术得到各帧四足动物行走图像；基于深度学习DeeplabV3+语义分割模型提取运动目标；在此基础之上，结合四足动物行走步态及其时空特性分析，以目标体轮廓中心点—边界距离曲线为基础实现运动角点的检测及匹配。本发明能准确获取四足动物行走时的运动轮廓中心、运动方向、运动角点、步态周期、步态频率、步态顺序、步幅、角点摆动角、运动速度等运动特征参数。解决了计算机对四足动物行走运动特征参数的自动识别问题。
Description
技术领域
本发明涉及一种基于视觉的四足动物行走运动特征自动识别方法，属于计算机视觉及图像处理研究技术领域。
背景技术
在自然界中，运动是动物区别于其他生物的最根本的特征，在动物的生存、繁衍和进化过程中发挥了重要作用。对动物的运动行为进行特征识别，能帮助人们进一步地发现和揭示动物运动的内在规律与本质特征。
原始的做法通常是先对某一特定实验场景进行视频记录，然后再由人通过肉眼观察，从而记录相关实验的结果。该方法存在人工成本高、工作强度大、缺乏客观、易疲劳、实时性差等问题。目前，针对动物运动信息的数据获取主要采用两类方式：接触式佩戴传感器的方式、基于计算机视觉感知的方式。其中，接触式佩戴传感器的方式，需要将各类传感器佩戴在动物身上进行数据采集，获取数据方便快捷，对于数据的处理也相对容易，但该方法易使动物产生应激反应，干扰动物的正常生理状态，特别是对于野外动物较难实施，而且佩戴在动物身上的传感器受晃动、碰撞等因素会产生噪声数据，影响动物行为检测的准确性。相比之下，基于计算机视觉的感知方式能够较好地避免上述问题，由于信息感知是非接触式的，其实施也更加容易。
发明内容
本发明要解决的技术问题是提供一种基于视觉的四足动物行走运动特征自动识别方法，用于解决计算机对四足动物行走运动特征的自动识别问题。
本发明的技术方案是：一种基于视觉的四足动物行走运动特征自动识别方法，具体步骤为：
Step1：采用摄影机拍摄四足动物的行走视频，然后利用视频帧分解技术得到四足动物行走图像。
Step2：基于深度学习的方法提取运动目标，并对运动目标进行滤波和边缘检测。
Step3：计算运动目标轮廓中心点，根据角点摆动角优化运动目标轮廓点的取值范围，通过目标体轮廓中心点-轮廓距离曲线计算出四足动物运动角点坐标。
Step4：结合四足动物行走步态及其时空特性分析，实现对四足动物运动角点坐标的重构与匹配。
Step5：通过四足动物四肢运动角点与参考点的距离变化曲线及其二值化实现对四足动物行走运动特征的提取。
所述Step1中，所述摄影机应位于被拍摄物体的左侧或者右侧。
所述Step2具体为：
Step2.1：采用基于Xception深度神经网络的DeeplabV3+语义分割模型提取运动目标。
Step2.2：对目标前景图像二值化，提取二值图像中的连通区域，并去除面积小于阈值像素的连通区域。
Step2.3：对二值图像进行中值滤波，平滑图像边缘。
Step2.4：采用Canny算子提取目标轮廓。
所述Step3具体为：
Step3.1：计算目标轮廓中心点坐标。
Step32：利用图像帧中轮廓中心点的位置变化确定运动目标的运动方向。
Step3.3：计算角点摆动角，优化运动角点的搜索范围。
Step3.4：计算轮廓中心点-轮廓的距离，并对所述轮廓中心点-轮廓距离曲线进行三次多项式插值，进一步平滑轮廓中心点-轮廓距离曲线。
Step3.5：利用一阶差分法来检测曲线的局部极大值并保存其对应的坐标值，所述局部极大值所对应的坐标即为四足动物的运动角点坐标。
所述Step4具体为：
Step4.1：按照与相邻两帧图像中蹄部坐标相对距离变化最小的原则实现运动角点坐标重构。
Step4.2：将蹄部坐标分为前、后两组，四足动物在运动过程中，前两肢或后两肢蹄部相对距离逐渐减小然后逐渐增大，当蹄部相对距离达到极小值时，左右的蹄部坐标的交换，基于特定上述交换规则，将各图像帧中提取的运动角点正确分配到四肢。
Step4.3：通过对比前后肢运动角点相对距离确定四肢运动角点同侧位置关系。
所述Step5具体为：
Step5.1：根据体尺参数计算空间转换比例，将像素距离转换为实际距离。
Step5.2：绘制运动角点与图像原点的距离变化曲线，利用一阶差分法对角点距离变化曲线二值化，得到四足动物的步态周期图。
Step5.3：通过步态周期图与运动角点坐标提取四足动物的运动特征参数，所述动特征参数包括步态周期、步态频率、步态顺序、步幅、运动速度。
本发明的原理是：
图像语义分割原理：
语义分割模型采用DeeplabV3+，所述DeeplabV3+整体结构采用编码器-解码器的方式。在编码器阶段，利用Xception深度卷积神经网络和空间金字塔模块提取图像高层次特征。Xception是Google对Inception系列网络的改进而得到的，主要采用深度可分离卷积替换原来Inception v3中的卷积操作。传统卷积运算通过滑动窗口的方式学习2维数据的空间相关性和通道相关性，而深度可分离卷积将两种相关性分解成一系列相互独立的操作，简化了计算得复杂性。同时Xception加入的类似ResNet的残差连接机制显著加快了Xception的收敛，并获得了更高的准确率；在深度神经网络中，步幅大于1的卷积和池化操作会减小特征的尺寸。若通过减小卷积步幅来增大特征的尺寸会使的感受野变小，此时需要增大卷积核尺寸来保证感受野的不变。但增大卷积核尺寸增加计算量。Deeplab算法利用扩展卷积很好的解决了这一矛盾。扩张卷积在不增加计算量的同时扩大感受野以获得更加丰富的空间信息，其通常的做法是根据扩张系数r在原卷积核相邻权值之间插入r-1个0，得到新的卷积核。Deeplab将一个1×1的卷积和3个3×3扩张率分别为6、12、18的扩张卷积以及全局池化并联起来得到了空间金字塔模块，用于捕获多尺度的上下文信息，极大地提高了图像语义分割的性能。解码器采用跳步连接方式，首先对低层次特征图卷积，减少特征图通道数，再将其与经过上采样的高层次特征图融合；最后采用双线性插值法进行上采样，逐渐恢复空间信息实现对输入图像像素级别的分割。
运动角点坐标的计算过程：
定义靠近四足动物头部的两肢称为前肢1、前肢2，靠近四足动物尾部的两肢称为后肢1、后肢2。其中，同一阿拉伯数字表示通属于一侧的两肢。选择四足动物的四肢末端作为运动角点，具体定义为目标轮廓中心点与四肢边缘点距离曲线上的局部极大值，共有4个运动角点。运动角点坐标的计算过程如下：
一、计算轮廓中心点
(1)设O为轮廓中心点，其坐标为
则轮廓中心点坐标可按照下式计算：
式中：
一第i帧边缘轮廓点j的坐标，Ni-第i帧边缘轮廓点总数。
二、运动方向识别
由于拍摄目标运动方向整体呈现水平变化的趋势，本发明利用图像帧中目标轮廓中心点的变化情况进行四足动物运动方向的识别。已知第i帧图像中目标轮廓中心点坐标为
设在i+m帧图像中目标轮廓中心点坐标为
如果
则判定四足动物自右向左运动；反之，如果
则判定四足动物自左向右运动。
三、计算步态幅度角与轮廓搜索范围优化
过轮廓中心点O作垂直中线，连接运动角点A、B、C、D与轮廓中心点O，定义运动角点至轮廓中心点O的连线与垂直中线之间的夹角为角点摆动角，逆时针方向为正，顺时针方向为负。设4个运动角点坐标为
则对应角点摆动角为
计算方法如下：
选取一个阈值Aα使其满足以下条件：
则第i+1帧时，优化的角点搜索范围为边缘轮廓线上轮廓点至中心点O连线与垂直中线的夹角在
之间的轮廓点集，初始时Aα可根据检测对象由经验预设。
四、计算局部极大值坐标
设当前为第i帧图像，则目标轮廓中心点至边缘轮廓点j的距离
的计算公式如下：
式中：
-第i帧指定范围内边缘轮廓点j的坐标，ni-第i帧指定范围内边缘轮廓点数量。
利用差分法来检测数字序列
中的局部极大值点，从而获得运动角点坐标值。差分法局部极大值点检测算法步骤如下：
Step1：对数字序列
中相邻数据作差分得到数字序列
对差分数字序列重新赋值，即：如果
小于0，则
赋值为-1，如果
大于等于0，则
赋值为1。
Step2：对数字序列
中相邻数据作差分得到数字序列
Step3：如果
小于0，则
为局部极大值。求得运动角点坐标值为
角点坐标的重构与匹配过程：
一、角点坐标重构
在四足动物行走过程中会存在前肢左右运动角点重合或者后肢左右运动角点重合的情况，此时的运动角点坐标只有3组，存在坐标数据缺失问题，设当前第i帧图像下4组运动角点坐标按照图像坐标系下x值的升序排列集用{C0(i)，C1(i)，C2(i)，C3(i)}表示。没有运动角点重合时，可以提取到4组有效的运动角点坐标，将其按照图像坐标系下x值升序排列后就得到{C0(i)，C1(i)，C2(i)，C3(i)}。有运动角点重合时，只能提取3组有效的运动角点坐标，将这3组运动角点坐标按照其图像坐标系下x值进行升序排序，设排序后的坐标集为{C′0(i)，C′1(i)，C′2(i)}。情况①：如果是前肢左右运动角点重合，则缺失的角点坐标应包含在C′i0中，有：{C0(i)，C1(i)，C2(i)，C3(i)}＝{C′0(i)，C′0(i)，C′1(i)，C′2(i)}；情况②：如果是后肢左右运动角点重合，则缺失的角点坐标应包含在C′i2中，有：{C0(i)，C1(i)，C2(i)，C3(i)}＝{C′0(i)，C′1(i)，C′2(i)，C′2(i)}。可以根据当前帧与第i-1帧图像中对应运动角点距离之和最小原则来确定是情况①还是情况②，具体计算方法如下
式中：d-表示括号中两个坐标点之间的距离，ρ1-假设情况①时第i帧与第i-1帧图像中对应运动角点距离之和，ρ2-假设情况②时第i帧与第i-1帧图像中对应运动角点距离之和。
二、运动角点与四肢分组间的正确匹配
假设运动目标行走方向为自右向左。首先，按照初始状态时四肢与头部的距离从近到远，依次用前肢1、前肢2、后肢1、后肢2代表四肢，并将其在各帧视频图像下的运动角点坐标集用G1＝{g1(i)|i＝1，2，3...}、G2＝{g2(i)|i＝1，2，3...}、G3＝{g3(i)|i＝1，2，3...}、G4＝{g4(i)|i＝1，2，3...}分组表示，其元素g1(i)、g2(i)、g3(i)、g4(i)分别表示前肢1、前肢2、后肢1、后肢2。在第i帧图像下的运动角点坐标。设第1帧图像为有效初始帧，即第1帧图像中没有运动角点重合，可直接将{C0(1)，C1(1)，C2(1)，C3(1)}顺序分配给g1(1)、g2(1)、g3(1)、g4(1)。由于四足动物在行走过程中四肢前后摆腿交替进行，两前肢的两个运动角点在图像坐标系下x方向的相对距离dx(g1(i)，g2(i))存在逐渐减小至零然后逐渐增大的变化关系，两后肢的两个运动角点在图像坐标系下x方向的相对距离dx(g3(i)，g4(i))也存在同样变化关系。当两前肢或两后肢的运动角点上述相对距离达到零时，两运动角点坐标x值的升序排列位置将发生交换，需要将当前四肢与运动角点坐标的分配关系进行交换，具体方法如下：
Step 1：ifdx(g1(i)，g2(i))＝0
case 1：
case 2：
Step 2：ifdx(g3(i)，g4(i))＝0
case 1：
case 2：
利用这一方法对后续图像帧进行处理，能保持各运动角点与四肢分组间的正确匹配关系。
三、运动角点的同侧匹配
在四足动物行走过程中，位于同侧的前后肢运动角点，与处于对角上非同侧的前后肢运动角点相比，其相对距离的变化趋势以及最小值会存在较为明显的区别。按照前文的描述，在四足动物行走方向为自右向左的情况下，已被正确分配运动角点坐标集中，G0、G1属于前肢，G2、G3属于后肢。此时存在两种可能，G0与G2属于同一侧、G1与G3属于另一侧，或者G0与G3属于同一侧、G1与G2属于另一侧。分别计算dmin(G0，G2)，dmin(G0，G3)，如果dmin(G0，G2)＞dmin(G0，G3)则判定G0与G3属于同一侧，G1与G2属于另一侧。反之，则G0与G2属于同一侧，G1与G3属于另一侧。
同理，如果视频图像中四足动物行走方向为自左向右时，可以根据上述思路和步骤确定运动角点的同侧位置关系。
四足动物行走运动特征计算原理：
(1)步态周期
四足动物在运动过程中，四肢存在支撑相和摆动相两个状态。如果蹄部处于支撑相时，角点到参考点距离不会发生变化。但是，如果蹄部处于运动相时，当前情况下角点到参考点距离逐渐减小或增大。采用一阶差分法对运动角点距离变化曲线二值化。其中，0代表支撑相，1代表运动相。设前肢1原始数据序列为ΔuF1(i)。
ΔuF1(i)＝uF1(i+1)-uF1(i) 1≤i≤n (5)
根据一阶差分数据设定经验阈值R，若|Δu(i)|≥R，则Δuf1(i)中第i点等于1，反之等于0。按照相同方法对前肢2、后肢1、后肢2距离变化曲线二值化得到四足动物步态顺序图。
本发明定义的步态周期为四足动物某一角点开始运动此角点再次开始运动的时间间隔，对应步态顺序图中，两相邻运动相起始帧间的时间间隔。设前肢1两相邻运动相起始帧序号分别为f1、f2，则周期T计算方法如下：
T＝(f2-f1)/fps (6)
式中：fps-视频帧速率。
步态频率f为：
同理，前肢2、后肢1、后肢2可按相同方法计算。
(2)步态顺序
识别步态顺序的实质就是获取四足动物行走时四肢的摆动顺序，因此，通过分析步态周期中各肢摆动相出现的先后顺序，即可得到四肢步态顺序。
(3)步幅
定义四足动物四肢中某一肢的运动角点从离开地面到此运动角点接触地面跨越的距离称为步幅。从二维图像中得到的距离是以像素为距离单位，本发明采用简单标定法来实现单位的转换，设实际测得四足动物体长为L1，体高为H1。则单位转换比例为：
式中：L2-四足动物在图像体长所占像素个数；H2-四足动物在图像中体高所占像素个数。
前肢1的步幅计算方式如下：设前肢1在f3帧图像中运动角点离开地面，其角点坐标为
前肢1在f4帧中图像运动角点接触地面，其坐标为
同理，前肢2、后肢1、后肢2可按相同方法计算步幅。
(4)运动速度
通过四足动物的四个运动角点坐标变化分别计算出四肢的累计运动距离和速度，用平均值法计算出运动速度。设第i帧前肢1角点的坐标为
第i+k帧左前肢角点坐标为：
则前肢1运动速度为：
同理，根据式(11)分别计算出前肢2、后肢1、后肢2的速度vF2、vF1、vH2。通过求平均值法求出目标运动速度
本发明的有益效果是：
1、本发明通过对四足动物行走方式的观察及其运动时空特性的分析，实现了对四足动物角点数据的重构与匹配。解决了在侧视图中，四足动物蹄部运动轨迹追踪的问题。
2、本发明方法能实现了在不接触四足动物体的情况下，能准确获取四足动物行走时的轮廓中心、运动方向、运动角点、角点摆动角、步态顺序、步态周期、步态频率、步幅、运动速度等特征参数。较好地解决了计算机对四足动物行走运动特征参数的自动识别问题。
3、本发明方法具有可行性强、节约人力物力、提高工作效率、经济实用、操作简单的优点。
附图说明
图1是本发明的步骤流程图；
图2是本发明的语义分割模型结构图；
图3是本发明实施例1、2运动方向判别图；
图4是本发明实施例1步态幅度角变化曲线图；
图5是本发明实施例1角点检测结果图；
图6是本发明实施例1的蹄部距离变化曲线图；
图7是本发明实施例1的步态周期图；
图8是本发明实施例1的步态顺序图；
图9是本发明实施例2步态幅度角变化曲线图；
图10是本发明实施例2角点检测结果图；
图11是本发明实施例2的蹄部距离变化曲线图；
图12是本发明实施例2的步态周期图；
图13是本发明实施例2的步态顺序图。
具体实施方式
下面结合附图和具体实施方式，对本发明作进一步说明。
实施例1：如图1-2所示，一种基于视觉的四足动物行走运动特征自动识别方法，所具体步骤如下：
Step1：采用摄影机拍摄四足动物的行走视频。具体地，所述摄影机应位于被拍摄物体的左侧或者右侧。然后，利用视频帧分解技术得到四足动物行走图像。所拍摄视频分辨率为1280*720，视频帧速率为30fps。
Step2：基于深度学习的方法提取运动目标，并对运动目标进行边缘检测。
Step3：计算运动目标轮廓中心点，根据角点摆动角优化运动目标轮廓点的取值范围。通过目标体轮廓中心点-轮廓距离曲线计算出四足动物运动角点坐标。
Step4：结合四足动物行走步态及其时空特性分析，实现对四足动物蹄部坐标的重构与匹配。
Step5：通过四足动物四肢运动角点与参考点的距离变化曲线及其二值化实现对四足动物行走运动特征的提取。
所述Step2的具体步骤如下：
Step2.1：采用基于Xception深度神经网络的DeeplabV3+语义分割模型提取运动目标。
Step2.2：对目标前景图像二值化，提取二值图像中的连通区域，并去除面积小于2000像素的连通区域。
Step2.3：对二值图像进行中值滤波，平滑图像边缘。中值滤波模板窗口尺寸为5*5。
Step2.4：采用Canny算子提取目标轮廓。
所述Step3的具体步骤如下：
Step3.1：计算目标轮廓中心点坐标。
Step3.2：利用图像帧中轮廓中心点的位置变化确定运动目标的运动方向，如图3所示。
Step3.3：计算角点摆动角，如图4所示，优化运动角点的搜索范围。
Step3.4：计算轮廓中心点-轮廓的距离，并对所述轮廓中心点-轮廓距离曲线进行三次多项式插值，进一步平滑轮廓中心点-轮廓距离曲线。
Step3.5：利用一阶差分法来检测曲线的局部极大值并保存其对应的坐标值，所述局部极大值所对应的坐标即为四足动物的运动角点坐标，如图5所示。
所述Step4的具体步骤如下：
Step4.1：按照与相邻两帧图像中蹄部坐标相对距离变化最小的原则实现运动角点坐标重构。
Step4.2：将蹄部坐标分为前、后两组。四足动物在运动过程中，前两肢或后两肢蹄部相对距离逐渐减小然后逐渐增大。当蹄部相对距离达到极小值时，左右的蹄部坐标的交换。基于特定上述交换规则，将各图像帧中提取的运动角点正确分配到四肢。
Step4.3：通过对比前后肢运动角点相对距离确定四肢运动角点同侧位置关系。
所述Step5的具体步骤如下
Step5.1：根据体尺参数计算空间转换比例，将像素距离转换为实际距离。
Step5.1：绘制运动角点与图像原点的距离变化曲线，如图6所示。利用一阶差分法对角点距离变化曲线二值化。得到四足动物的步态周期图，如图7所示。
Step5.1：通过步态周期图与运动角点坐标提取四足动物的步态周期、步态频率、步态顺序、步幅、运动速度等运动特征参数。
实施例2：如图1-2所示，一种基于视觉的四足动物行走运动特征自动识别方法，具体步骤如下：
Step1：采用摄影机拍摄四足动物的行走视频。具体地，所述摄影机应位于被拍摄物体的左侧或者右侧。然后，利用视频帧分解技术得到四足动物行走图像。所拍摄视频分辨率为1280*720，视频帧速率为30fps
Step2：基于深度学习的方法提取运动目标，并对运动目标进行边缘检测。
Step2.1：采用基于Xception深度神经网络的DeeplabV3+语义分割模型提取运动目标。DeeplabV3+网络结构如图2所示。
Step2.2：对目标前景图像二值化，提取二值图像中的连通区域，并去除面积小于2000像素的连通区域。
Step2.3：对二值图像进行中值滤波，平滑图像边缘，中值滤波模板窗口尺寸为5*5。
Step2.4：采用Canny算子提取目标轮廓。
Step3：计算运动目标轮廓中心点，根据角点摆动角优化运动目标轮廓点的取值范围。通过目标体轮廓中心点一轮廓距离曲线计算出四足动物运动角点坐标。
Step3.1：计算目标轮廓中心点坐标。
Step3.2：每20帧对图像帧中轮廓中心坐标的x值作一次差分，判断运动目标的运动方向。如图3所示。
Step3.3：计算角点摆动角，如图9所示，优化运动角点的搜索范围。
Step3.4：计算轮廓中心点-轮廓的距离，并对所述轮廓中心点-轮廓距离曲线进行三次多项式插值，进一步平滑轮廓中心点-轮廓距离曲线，如图10所示。
Step3.5：利用一阶差分法来检测曲线的局部极大值并保存其对应的坐标值，所述局部极大值所对应的坐标即为四足动物的运动角点坐标。如图6、图7所示。
Step4：结合四足动物行走步态及其时空特性分析，实现对四足动物运动角点坐标的重构与匹配。
Step4.1：按照与相邻两帧图像中蹄部坐标相对距离变化最小的原则实现运动角点坐标重构。
Step4.2：将蹄部坐标分为前、后两组。四足动物在运动过程中，前两肢或后两肢蹄部相对距离逐渐减小然后逐渐增大。当蹄部相对距离达到极小值时，左右的蹄部坐标的交换。基于特定上述交换规则，将各图像帧中提取的运动角点正确分配到四肢。
Step4.3：通过对比前后肢运动角点相对距离确定四肢运动角点同侧位置关系。
Step5：通过四足动物四肢运动角点与参考点的距离变化曲线及其二值化实现对四足动物行走运动特征的提取。
Step5.1：根据体尺参数计算空间转换比例，将像素距离转换为实际距离。体尺参数如表1所示。
表1：体尺参数
Step5.2：绘制运动角点与图像原点的距离变化曲线，如图11所示。利用一阶差分法对角点距离变化曲线二值化。得到四足动物的步态周期图，如图12所示。
Step5.3：通过步态周期图与运动角点坐标提取四足动物的步态周期、步态频率、步态顺序以及步幅等运动特征参数。
步态频率、步态周期如表2所示；
表2：周期、频率计算结果
步态顺序如图12、图13所示；
步幅如表3所示；
表3：步幅计算结果
运动速度如表4所示。
表4：运动速度计算结果
如图3所示。在犀牛牛和水牛的运动过程中，水平方向的差分值始终为负数，说明犀牛和四牛始终自右向左运动；由图4、图9可知，犀牛、水牛的角点摆动角均呈连续的周期性变化，其变化周期与目标体的步态周期具有相关性。实验对象的步态幅度角均出现了跨越正负的情况，说明四足动物在行走过程中，运动角点可能会超过轮廓中心点。犀牛、水牛前后肢的步态幅度角的变化范围存在差异，相对前肢步态幅度角而言，后肢步态幅度角的变化范围更小；犀牛、水牛各自四肢间步幅比较接近，相近的幅度使得其在行走的过程中获得较好的平稳性。但由于各自体型的差异，实验对象间的步幅存在较大差异。一般而言，体型越高越长则对应步幅就会越大；通过对犀牛、水牛行走步态分析可知：在其慢步行走过程中，为保持自身的稳定性，主要以三腿或两腿支撑为主，未出现腾空和单腿支撑的情况。对比实际运动情况来看，四足动物主要是通过调节支撑相的时间来控制速度，在犀牛速度减小的过程中，运动相所占帧数基本不变，但支撑相所占帧数明显增多，即负荷因数(单腿着地时间与步态周期的比值)变大；在步态顺序上，如图8、图13所示。其共同特点是：同侧后肢运动后，接着同侧前肢开始运动。在此过程中，伴随着同侧两腿支撑和三腿支撑的情况出现；前肢运动完成后，接着切换为另一侧后肢开始运动。在此过程中，伴随着对角两腿支撑和三腿支撑的情况出现。初始运动足可以是前肢也可以是后肢但最终的步态顺序会趋近一致。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (6)
1.一种基于视觉的四足动物行走运动特征自动识别方法，其特征在于：
Step1：采用摄影机拍摄四足动物的行走视频，然后利用视频帧分解技术得到四足动物行走图像；
Step2：基于深度学习的方法提取运动目标，并对运动目标进行滤波和边缘检测；
Step3：计算运动目标轮廓中心点，根据角点摆动角优化运动目标轮廓点的取值范围，通过目标体轮廓中心点—轮廓距离曲线计算出四足动物运动角点坐标；
Step4：结合四足动物行走步态及其时空特性分析，实现对四足动物运动角点坐标的重构与匹配；
Step5：通过四足动物四肢运动角点与参考点的距离变化曲线及其二值化实现对四足动物行走运动特征的提取。
2.根据权利要求1所述的基于视觉的四足动物行走运动特征自动识别方法，其特征在于：Step1中，所述摄影机应位于被拍摄物体的左侧或者右侧。
3.根据权利要求1所述的基于视觉的四足动物行走运动特征自动识别方法，其特征在于所述Step2具体为：
Step2.1：采用基于Xception深度神经网络的DeeplabV3+语义分割模型提取运动目标；
Step2.2：对目标前景图像二值化，提取二值图像中的连通区域，并去除面积小于阈值像素的连通区域；
Step2.3：对二值图像进行中值滤波，平滑图像边缘；
Step2.4：采用Canny算子提取目标轮廓。
4.根据权利要求1所述的基于视觉的四足动物行走运动特征自动识别方法，其特征在于所述Step3具体为：
Step3.1：计算目标轮廓中心点坐标；
Step32：利用图像帧中轮廓中心点的位置变化确定运动目标的运动方向；
Step3.3：计算角点摆动角，优化运动角点的搜索范围；
Step3.4：计算轮廓中心点—轮廓的距离，并对所述轮廓中心点—轮廓距离曲线进行三次多项式插值，进一步平滑轮廓中心点—轮廓距离曲线；
Step3.5：利用一阶差分法来检测曲线的局部极大值并保存其对应的坐标值，所述局部极大值所对应的坐标即为四足动物的运动角点坐标。
5.根据权利要求1所述的基于视觉的四足动物行走运动特征自动识别方法，其特征在于所述Step4具体为：
Step4.1：按照与相邻两帧图像中蹄部坐标相对距离变化最小的原则实现运动角点坐标重构；
Step4.2：将蹄部坐标分为前、后两组，将各图像帧中提取的运动角点分配到四肢；
Step4.3：通过对比前后肢运动角点相对距离确定四肢运动角点同侧位置关系。
6.根据权利要求1所述的基于视觉的四足动物行走运动特征自动识别方法，其特征在于所述Step5具体为：
Step5.1：根据体尺参数计算空间转换比例，将像素距离转换为实际距离；
Step5.2：绘制运动角点与图像原点的距离变化曲线，利用一阶差分法对角点距离变化曲线二值化，得到四足动物的步态周期图；
Step5.3：通过步态周期图与运动角点坐标提取四足动物的运动特征参数，所述动特征参数包括步态周期、步态频率、步态顺序、步幅、运动速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011215119.2A CN112464734B (zh) | 2020-11-04 | 2020-11-04 | 一种基于视觉的四足动物行走运动特征自动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011215119.2A CN112464734B (zh) | 2020-11-04 | 2020-11-04 | 一种基于视觉的四足动物行走运动特征自动识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112464734A true CN112464734A (zh) | 2021-03-09 |
| CN112464734B CN112464734B (zh) | 2023-09-15 |
Family
ID=74834455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011215119.2A Active CN112464734B (zh) | 2020-11-04 | 2020-11-04 | 一种基于视觉的四足动物行走运动特征自动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112464734B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158802A (zh) * | 2021-03-22 | 2021-07-23 | 安徽理工大学 | 智慧场景分割技术 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001101419A (ja) * | 1999-07-27 | 2001-04-13 | Matsushita Electric Works Ltd | 画像特徴追跡処理方法、画像特徴追跡処理装置、３次元データ作成方法 |
| WO2010019925A1 (en) * | 2008-08-15 | 2010-02-18 | Brown Technology Partnerships | Method and apparatus for estimating body shape |
| WO2010036091A2 (en) * | 2008-09-24 | 2010-04-01 | Mimos Berhad | A system and a method for identifying human behavioural intention based on an effective motion analysis |
| CN102697508A (zh) * | 2012-04-23 | 2012-10-03 | 中国人民解放军国防科学技术大学 | 采用单目视觉的三维重建来进行步态识别的方法 |
| CN103049758A (zh) * | 2012-12-10 | 2013-04-17 | 北京工业大学 | 融合步态光流图和头肩均值形状的远距离身份验证方法 |
| CN103680291A (zh) * | 2012-09-09 | 2014-03-26 | 复旦大学 | 基于天花板视觉的同步定位与地图绘制的方法 |
| CN103886596A (zh) * | 2014-03-19 | 2014-06-25 | 江苏大学 | 一种基于深度图像骨架端点分析的生猪行走步频提取方法 |
| CN104834893A (zh) * | 2015-03-13 | 2015-08-12 | 燕山大学 | 一种正面视角的行人步态周期检测方法 |
| WO2016107561A1 (zh) * | 2014-12-30 | 2016-07-07 | 清华大学 | 交通事件检测方法以及系统 |
| CN107363800A (zh) * | 2017-08-08 | 2017-11-21 | 安徽机电职业技术学院 | 可改变长宽的机械工作台 |
| CN107845096A (zh) * | 2018-01-24 | 2018-03-27 | 西安平原网络科技有限公司 | 基于图像的行星三维信息测定方法 |
| CN107909604A (zh) * | 2017-11-07 | 2018-04-13 | 武汉科技大学 | 基于双目视觉的动态物体运动轨迹识别方法 |
| WO2019040866A2 (en) * | 2017-08-25 | 2019-02-28 | The Board Of Trustees Of The University Of Illinois | APPARATUS AND METHOD FOR COLLECTING AGRICULTURAL DATA AND AGRICULTURAL OPERATIONS |
| CN110569857A (zh) * | 2019-07-28 | 2019-12-13 | 景德镇陶瓷大学 | 一种基于质心距离计算的图像轮廓角点检测方法 |
| CN209962386U (zh) * | 2019-07-05 | 2020-01-17 | 河南护航实业股份有限公司 | 一种驾驶员疲劳监测系统 |
| CN110717935A (zh) * | 2019-08-26 | 2020-01-21 | 北京中科慧眼科技有限公司 | 一种基于图像特征信息的图像匹配方法，装置与系统 |
-
2020
- 2020-11-04 CN CN202011215119.2A patent/CN112464734B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001101419A (ja) * | 1999-07-27 | 2001-04-13 | Matsushita Electric Works Ltd | 画像特徴追跡処理方法、画像特徴追跡処理装置、３次元データ作成方法 |
| WO2010019925A1 (en) * | 2008-08-15 | 2010-02-18 | Brown Technology Partnerships | Method and apparatus for estimating body shape |
| WO2010036091A2 (en) * | 2008-09-24 | 2010-04-01 | Mimos Berhad | A system and a method for identifying human behavioural intention based on an effective motion analysis |
| CN102224526A (zh) * | 2008-09-24 | 2011-10-19 | 马来西亚微电子系统有限公司 | 基于有效的运动分析识别人的行为意图的系统和方法 |
| CN102697508A (zh) * | 2012-04-23 | 2012-10-03 | 中国人民解放军国防科学技术大学 | 采用单目视觉的三维重建来进行步态识别的方法 |
| CN103680291A (zh) * | 2012-09-09 | 2014-03-26 | 复旦大学 | 基于天花板视觉的同步定位与地图绘制的方法 |
| CN103049758A (zh) * | 2012-12-10 | 2013-04-17 | 北京工业大学 | 融合步态光流图和头肩均值形状的远距离身份验证方法 |
| CN103886596A (zh) * | 2014-03-19 | 2014-06-25 | 江苏大学 | 一种基于深度图像骨架端点分析的生猪行走步频提取方法 |
| WO2016107561A1 (zh) * | 2014-12-30 | 2016-07-07 | 清华大学 | 交通事件检测方法以及系统 |
| CN104834893A (zh) * | 2015-03-13 | 2015-08-12 | 燕山大学 | 一种正面视角的行人步态周期检测方法 |
| CN107363800A (zh) * | 2017-08-08 | 2017-11-21 | 安徽机电职业技术学院 | 可改变长宽的机械工作台 |
| WO2019040866A2 (en) * | 2017-08-25 | 2019-02-28 | The Board Of Trustees Of The University Of Illinois | APPARATUS AND METHOD FOR COLLECTING AGRICULTURAL DATA AND AGRICULTURAL OPERATIONS |
| CN107909604A (zh) * | 2017-11-07 | 2018-04-13 | 武汉科技大学 | 基于双目视觉的动态物体运动轨迹识别方法 |
| CN107845096A (zh) * | 2018-01-24 | 2018-03-27 | 西安平原网络科技有限公司 | 基于图像的行星三维信息测定方法 |
| CN209962386U (zh) * | 2019-07-05 | 2020-01-17 | 河南护航实业股份有限公司 | 一种驾驶员疲劳监测系统 |
| CN110569857A (zh) * | 2019-07-28 | 2019-12-13 | 景德镇陶瓷大学 | 一种基于质心距离计算的图像轮廓角点检测方法 |
| CN110717935A (zh) * | 2019-08-26 | 2020-01-21 | 北京中科慧眼科技有限公司 | 一种基于图像特征信息的图像匹配方法，装置与系统 |
Non-Patent Citations (2)
| Title |
|---|
| GUTIERREZ-GALAN D等: "Embedded neural network for real-time animal behavior classification", 《NEUROCOMPUTING》, pages 17 - 26 * |
| 黎丽: "基于视觉的四足行走动物运动特征识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 4, 15 April 2020 (2020-04-15), pages 16 - 56 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158802A (zh) * | 2021-03-22 | 2021-07-23 | 安徽理工大学 | 智慧场景分割技术 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112464734B (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10990191B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| US10769480B2 (en) | Object detection method and system | |
| CN102184552B (zh) | 一种基于差分融合与图像边缘信息的运动目标检测方法 | |
| KR101468351B1 (ko) | 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램 | |
| CN107369159B (zh) | 基于多因素二维灰度直方图的阈值分割方法 | |
| CN106709472A (zh) | 一种基于光流特征的视频目标检测与跟踪方法 | |
| TW201702989A (zh) | 運動目標即時檢測與跟蹤方法及目標檢測裝置 | |
| US20160110610A1 (en) | Image processor, image processing method, and computer program | |
| CN107944403B (zh) | 一种图像中的行人属性检测方法及装置 | |
| JP2012053756A (ja) | 画像処理装置及び画像処理方法 | |
| KR20090037275A (ko) | 인체 부분 검출 장치 및 그 방법 | |
| CN111539320B (zh) | 基于互相学习网络策略的多视角步态识别方法及系统 | |
| CN108710879B (zh) | 一种基于网格聚类算法的行人候选区域生成方法 | |
| Yang et al. | Multiple marker tracking in a single-camera system for gait analysis | |
| CN108664942B (zh) | 小鼠视频多维特征值的提取方法及视频分类方法 | |
| CN115565130A (zh) | 一种无人值守系统及其基于光流的监控方法 | |
| CN103037140B (zh) | 一种基于块匹配的目标跟踪算法 | |
| KR102434397B1 (ko) | 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법 | |
| JP2021114288A (ja) | 深層学習に基づく馬速計算システム及び方法 | |
| CN112464734B (zh) | 一种基于视觉的四足动物行走运动特征自动识别方法 | |
| Cao et al. | Compressed video action recognition with refined motion vector | |
| CN117252926B (zh) | 基于视觉定位的手机壳辅料智能装配控制系统 | |
| CN110111368B (zh) | 一种基于人体姿态识别的相似移动目标的检测跟踪方法 | |
| CN109102520A (zh) | 基于模糊均值聚类与卡尔曼滤波跟踪相结合的运动目标检测方法 | |
| CN116777956A (zh) | 基于多尺度航迹管理的运动目标筛选方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |