CN112395977A - 基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法 - Google Patents
基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法 Download PDFInfo
- Publication number
- CN112395977A CN112395977A CN202011285583.9A CN202011285583A CN112395977A CN 112395977 A CN112395977 A CN 112395977A CN 202011285583 A CN202011285583 A CN 202011285583A CN 112395977 A CN112395977 A CN 112395977A
- Authority
- CN
- China
- Prior art keywords
- animal
- mammal
- network
- posture
- leg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000124008 Mammalia Species 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 34
- 210000001503 joint Anatomy 0.000 title claims abstract description 27
- 241001465754 Metazoa Species 0.000 claims abstract description 98
- 230000036544 posture Effects 0.000 claims abstract description 43
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims abstract description 7
- 230000002093 peripheral effect Effects 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 210000002414 leg Anatomy 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 6
- 210000003141 lower extremity Anatomy 0.000 claims description 6
- 238000013526 transfer learning Methods 0.000 claims description 6
- 210000001364 upper extremity Anatomy 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 210000000629 knee joint Anatomy 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 3
- 238000010171 animal model Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 244000144977 poultry Species 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
一种基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法，步骤包括2个部分：第一部分，针对复杂野外环境下的野生哺乳动物图像利用Outline Mask R‑CNN进行边缘提取，获取动物外围轮廓；基于轮廓图，构建Tiny VGG轻型卷积神经网络，用于野生哺乳动物的姿态分类。第二部分，针对复杂野外环境下的野生哺乳动物视频序列，利用LEAP快速跟踪动物腿部关节点的位置，构成骨架图；以动物骨架图中的腿部关节夹角的变化为特征，以LSTM为分类器，用于野生哺乳动物的姿态分类。最后对这2部分模型得到的结果加以融合，进一步识别野生哺乳动物的不同姿态，以达到区分动物简单日常行为的目的，具有一定的应用前景。
Description
技术领域
本发明涉及一种姿态识别方法，尤其是一种将动物身体轮廓和腿部关节夹角变化相结合的动物姿态识别方法。
背景技术
现有技术中，姿态识别是指通过静态图像或视频信息，利用运动目标检测、特征信息提取和行为分析等关键技术，自动辨别研究对象的姿态信息。
动物的姿态识别能够对其生活动态和身体状况起到预判的作用，被广泛运用于动物福利、疾病预防和仿生学研究中。动物姿态的分类是指设计特定的特征描述符(如颜色、纹理、形状、边缘、空间等)，进而构成特征向量作为输入，通过机器学习的方法训练一个分类器，将需要识别的特征向量输入这个分类器中进行训练，从而得到不同动物姿态类别的分类结果。姿态特征描述符是姿态识别的关键性部分，直接影响最终的识别效果。
有研究者尝试采用背景减除法、轮廓剪影法、帧差法等来检测目标姿态区域，然后对整个区域提取轮廓特征作为姿态表征。这种方法描述能力强，包含信息多，在简单背景下容易提取感兴趣区域。但是对噪声、视角和相互遮挡特别敏感，在复杂背景下难以得到动物运动区域的信息，难以提取到准确地轮廓特征，存在较大的局限性。
发明内容
一个好的特征描述符是实现分类的关键性因素。骨架序列描述符，具备平移不变性、尺度不变性，常被用于人体的姿态识别中，并卓有成效。深度学习模型算法的泛化能力强大，自动学习行为特征用于分类，因此常被用于姿态估计、图像分类等领域。
本发明要解决的问题是，现有的动物姿态识别的研究对象大多为温顺的家养型动物或实验室动物，所采用的方法对于不同复杂场景中存在的光照、遮挡、视角变化等问题无法很好地解决，需要大量数据集且不具有普遍性。
本方案的技术方案为：一种基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法，步骤包括：1)首先采集野外环境下的哺乳动物视频；2)基于动物外围轮廓来识别哺乳动物的姿态；3)基于动物腿部关节变化来识别哺乳动物的姿态；4)基于步骤2)和3)的结果共同决策，来识别动物的不同姿态；
所述步骤2)中：
2.1)对于步骤1)采集到的动物视频，挑选出具有代表性的动物姿态图像；
2.2)对步骤2.1)选出的图像，构建Outline Mask R-CNN模型来提取动物的外围轮廓，步骤包括：
2.2.1)利用迁移学习在COCO数据集合上训练模型权重；
2.2.2)采用残差网络ResNet98来构建Outline Mask R-CNN卷积网络，提取野生哺乳动物图像的基础特征，实现动物图像的目标检测；
2.2.3)在生成实例分割时，利用python的matplotlib图像库中的ploy函数对掩膜提取边缘信息，实现动物轮廓提取；
2.3)以步骤2.2)得到的动物轮廓图为输入，构建Tiny VGG轻型卷积神经网络对轮廓特征进行分类，来识别野生哺乳动物的姿态，步骤包括：
2.3.1)结合数据集的特点采用类似VGG网络的单结构直筒型网络结构，构造出一个多卷积层的网络；
2.3.2)在网络中使用了和VGG网络一样的3×3的小型卷积核，每个卷积网络层采用最大池化；
2.3.3)采用两层全连接层加Softmax来构造分类器：
其中，x为输入，y为预测值，预测类别n的概率为p，M为类别，w为分数；
所述步骤3)中：
3.1)对于步骤1)采集到的动物视频，跟踪动物的腿部关节点位置，构建动物骨架图，步骤包括：
3.1.1)手动标记少数帧动物图像的腿部关节点位置；
3.1.2)利用深度神经网络迭代训练，预测所有视频帧动物腿部关节点位置；
3.1.3)计算步骤3.1.1)中手动标记的关节点位置与步骤3.1.2)网络预测结果的均方误差，来衡量网络的有效性；
3.2)先计算腿部关节点位置所形成的夹角；然后，以腿部最小角的变化序列为特征向量，送入LSTM分类器训练，来识别野生哺乳动物的姿态；
所述步骤4)中，将步骤2)中构建的基于轮廓的Tiny VGG轻型卷积神经网络模型和步骤3)中基于动物腿部骨架运动的LSTM神经网络模型进行融合，2个独立模型的预测分数共同决策，获得最终的分类结果。
步骤2.2.1)中，使用在COCO数据集合上训练好的模型权重，通过迁移学习的方式来学习野生哺乳动物的姿态特征，以便进行分割；
步骤2.2.2)中，动物图像经过训练好的ResNet98，产生特征图像，通过非极大值抑制的方法，从若干张推荐框中提取出最合适的候选框，网络针对每一块固定大小的特征，生成互不干扰的掩膜和哺乳动物的目标检测框；
步骤2.2.3)中，在掩膜生成后，利用python的matplotlib图像库中的ploy函数对掩膜提取边缘信息；在生成图像时，动物轮廓所示只保留边缘信息，不产生具体掩膜区域和目标检测框。
进一步：
所述步骤3.1)中，利用动物姿态估计LEAP算法跟踪动物视频中的标记关节点位置变化；
3.1.1)手动标记动物姿态视频中具有代表性的少数关键帧动物图像的腿部关节点位置；
3.1.2)以动物的单个图像作为输入，经由3×3大小的卷积块、2×2大小的最大池化层和转置卷积层构成的15层深度卷积神经网络来迭代训练，产生一组描述输入中每个腿部关节点位置的置信度图(二维概率分布)作为输出；
每个置信度图中的全局最大值代表网络对该关节点位置的预测，从而预测所有视频帧动物腿部关节点的位置；
3.1.3)计算步骤3.1.1)中手动标记的关节点位置y与步骤3.1.2)中卷积神经网络预测结果
的均方误差
通过均方误差MSE构建损失函数进行比较，经过迭代训练，使损失函数降到最低。
所述步骤3.2)中，计算腿部关节点位置所形成的夹角的方法为：
设跟踪的上肢关节点A的位置坐标为(x1,y1)，下肢关节点C的位置坐标为(x3,y3)，连接上下肢的膝盖关节点B的位置坐标为(x2,y2)，则其所形成的夹角∠ABC公式为
所述述步骤4)中，将步骤1)的基于轮廓特征的Tiny VGG网络模型的最终得分p1，以及步骤2)的基于骨架特征的LSTM模型的最终得分p2进行分数融合，来共同表决动物视频x所展示的姿态预测值y的可能性：p(y＝n|x)＝0.5×p1+0.5×p2。
本方案中：为了解决因数据量不足而导致模型训难以收敛泛和泛化能力不强的缺陷，Outline Mask R-CNN网络利用迁移学习在COCO数据集合上训练好的模型权重；
为了构建基于动物腿部的运动骨架图，利用LEAP快速跟踪动物腿部关节位置，大大减少了运算量，提高了运算速度；
融合基于轮廓的Tiny VGG轻型卷积神经网络和基于动物腿部骨架的LSTM模型，共同决策，判断动物姿态，不仅降低了计算的复杂度，而且大大提高了运算速度和精度。
本方案中，步骤2.3)中以野生哺乳动物轮廓图为输入图像，利用单结构卷积、深度可分离卷积和多尺度卷积三种经典的卷积思想，来重新构造卷积层数较少的适合于野生哺乳动物姿态识别的轻型卷积神经网络Tiny VGG，从而识别野生哺乳动物的不同姿态。
步骤3.1.2)中LEAP跟踪所标记的动物关节点位置所采用的网络是一个15层的卷积神经网络，该网络精小而强大，避免了全连接层以及冗余的卷积和池化操作，大大提高了网络训练预测的能力，是LEAP能快速跟踪动物图像中的标记关节点位置的关键性环节。
步骤3.2)中针对动物运动过程中腿部关节夹角的变化序列，采用LSTM作为分类器，可以更好地处理序列问题。
本发明的有益效果在于：
(1)构建Outline Mask R-CNN模型，来提取复杂野外环境下的动物轮廓，深度学习模型算法的泛化能力强大，能够较为有效的避免因为光照，遮挡，角度问题而造成的误检，漏检；
(2)构建轻量型的适合于野生哺乳动物姿态识别的轻型卷积神经网络Tiny VGG，来自动学习动物姿态特征，从而区分野生哺乳动物的不同姿态。
(3)采用LEAP来快速跟踪所标记的动物腿部关节点的变化位置，基于关节点所形成夹角的变化规律，利用擅长处理序列问题的分类器LSTM来区分动物姿态，不仅降低了计算的复杂度，而且大大提高了运算速度。
(4)基于以轮廓信息为特征的Tiny VGG模型和以腿部骨架信息为特征的LSTM模型构成的双流模型，共同决策最终的姿态分类，有效提高识别准确率。
附图说明
图1为本发明的方法流程图；
图2为本发明所构建的Tiny VGG的网络结构图；
图3为本发明所采用的LEAP的训练过程图。
具体实施方式
目前基于野生哺乳动物的姿态识别大多会通过给动物佩戴传感器，获得动物体征信息来间接检测，这种方式不仅破坏了动物的自然生长，也不适用于具有攻击性的动物；基于图像的姿态识别大多针对实验室动物和家禽，特定动物利用特定的特征描述符来判别，不具有通用性，准确率仅能达到80％左右。相比之下，本发明的基于动物轮廓和腿部关节夹角变化的野生哺乳动物姿态识别方法适用于四肢动物，具有通用性；且准确率可达到96％，具有一定的可行性。
以下，结合附图对本方法进一步说明：
如图1所示，本发明的一种基于动物轮廓和腿部关节夹角变化的野生哺乳动物姿态识别方法，利用以轮廓信息为特征的Tiny VGG模型和以腿部骨架信息为特征的LSTM模型构成的双流模型，共同决策，来识别动物的不同姿态。具体到本例的野生哺乳动物姿态识别方法包括如下步骤：
步骤1，针对复杂野外环境下的动物视频，利用K-means算法聚类，去除大量冗余相似的动物图像，提取能够表征动物姿态特征的具有代表性的关键帧；步骤2，针对复杂野外环境下的动物图像，构建Outline Mask R-CNN模型来提取动物的外围轮廓，具体步骤为：
步骤2.1，为了降低对于大规模数据集的要求，优化所需要的模型信息，使用在COCO数据集合上训练好的模型权重，通过迁移学习的方式来学习野生哺乳动物的姿态特征，以便进行分割；
步骤2.2，训练图像经过训练好的ResNet98，产生特征图像，通过非极大值抑制的方法，从若干张推荐框中提取出最合适的候选框，网络针对每一块固定大小的特征，生成互不干扰的掩膜和哺乳动物的目标检测框；
步骤2.3，在掩膜生成后，利用python的matplotlib图像库中的ploy函数对掩膜提取边缘信息。在生成图像时，动物轮廓所示只保留边缘信息，不产生具体掩膜区域和目标检测框；
步骤3，构建轻型网络Tiny VGG，如图2所示，用于姿态分类。首先，结合数据集的特点采用类似VGG网络一样的单结构直筒型网络结构，构造出一个多卷积层的网络；然后，在网络中使用了和VGG一样的3×3的小型的卷积核，每个卷积网络层采用最大池化；最后，采用两层全连接层加Softmax来构造分类器：
其中，x为输入，y为预测值，预测类别n的概率为p，M为类别，w为分数。
步骤4，针对复杂野外环境下的动物视频，利用LEAP跟踪动物的腿部关节点位置，构成动物骨架图，具体步骤为：
步骤4.1，手动标记少数帧动物图像的腿部关节点位置；
步骤4.2，以动物的单个图像作为输入，经由3×3大小的卷积块、2×2大小的最大池化层和转置卷积层构成的15层深度卷积神经网络来迭代训练，产生一组描述输入中每个腿部关节点位置的置信度图(二维概率分布)作为输出。每个置信度图中的全局最大值代表网络对该关节点位置的预测，从而预测所有视频帧动物腿部关节点的位置；
步骤4.3，计算步骤4.1手动标记的关节点位置y与步骤4.2网络预测结果
的均方误差
来衡量网络的有效性，如图3所示；
步骤5，计算所标记的动物腿部关节点位置所形成的夹角，令LEAP跟踪的上肢关节点A的位置坐标为(x1,y1)，下肢关节点C的位置坐标为(x3,y3)，连接上下肢的膝盖关节点B的位置坐标为(x2,y2)，则其所形成的夹角∠ABC公式为
依据腿部最小角的变化序列为特征向量，送姿态分类器LSTM进行训练，有效识别步态信息。
步骤6，将步骤3中构建的基于轮廓的Tiny VGG轻型卷积神经网络模型和步骤5中基于动物腿部骨架运动的LSTM模型进行融合，2个独立的模型最终所得分数p1和p2共同决策，获得输入x的姿态预测值y的最终分类结果，p(y＝n|x)＝0.5×p1+0.5×p2 (3)。
Claims (5)
1.一种基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法，步骤包括：1)首先采集野外环境下的哺乳动物视频；其特征在于，还包括步骤：
2)基于动物外围轮廓来识别哺乳动物的姿态；
3)基于动物腿部关节变化来识别哺乳动物的姿态；
4)基于步骤2)和3)的结果共同决策，来识别动物的不同姿态；
所述步骤2)中：
2.1)对于步骤1)采集到的动物视频，挑选出具有代表性的动物姿态图像；
2.2)对步骤2.1)选出的图像，构建Outline Mask R-CNN模型来提取动物的外围轮廓，步骤包括：
2.2.1)利用迁移学习在COCO数据集合上训练模型权重；
2.2.2)采用残差网络ResNet98来构建Outline Mask R-CNN卷积网络，提取野生哺乳动物图像的基础特征，实现动物图像的目标检测；
2.2.3)在生成实例分割时，利用python的matplotlib图像库中的ploy函数对掩膜提取边缘信息，实现动物轮廓提取；
2.3)以步骤2.2)得到的动物轮廓图为输入，构建Tiny VGG轻型卷积神经网络对轮廓特征进行分类，来识别野生哺乳动物的姿态，步骤包括：
2.3.1)结合数据集的特点采用类似VGG网络的单结构直筒型网络结构，构造出一个多卷积层的网络；
2.3.2)在网络中使用了和VGG网络一样的3×3的小型卷积核，每个卷积网络层采用最大池化；
2.3.3)采用两层全连接层加Softmax来构造分类器：
其中，x为输入，y为预测值，预测类别n的概率为p，M为类别，w为分数；
所述步骤3)中：
3.1)对于步骤1)采集到的动物视频，跟踪动物的腿部关节点位置，构建动物骨架图，步骤包括：
3.1.1)手动标记少数帧动物图像的腿部关节点位置；
3.1.2)利用深度神经网络迭代训练，预测所有视频帧动物腿部关节点位置：
以动物的单个图像作为输入，经由3×3大小的卷积块、2×2大小的最大池化层和转置卷积层构成的15层深度卷积神经网络来迭代训练，产生一组描述输入中每个腿部关节点位置的置信度图即二维概率分布作为输出；
3.1.3)计算步骤3.1.1)中手动标记的关节点位置与步骤3.1.2)网络预测结果的均方误差，来衡量网络的有效性；
3.2)先计算腿部关节点位置所形成的夹角；然后，以腿部最小角的变化序列为特征向量，送入LSTM分类器训练，来识别野生哺乳动物的姿态；
所述步骤4)中，将步骤2)中构建的基于轮廓的Tiny VGG轻型卷积神经网络模型和步骤3)中基于动物腿部骨架运动的LSTM神经网络模型进行融合，2个独立模型的预测分数共同决策，获得最终的分类结果。
2.根据权利要求1所述的基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法，其特征是
步骤2.2.1)中，使用在COCO数据集合上训练好的模型权重，通过迁移学习的方式来学习野生哺乳动物的姿态特征，以便进行分割；
步骤2.2.2)中，动物图像经过训练好的ResNet98，产生特征图像，通过非极大值抑制的方法，从若干张推荐框中提取出最合适的候选框，网络针对每一块固定大小的特征，生成互不干扰的掩膜和哺乳动物的目标检测框；
步骤2.2.3)中，在掩膜生成后，利用python的matplotlib图像库中的ploy函数对掩膜提取边缘信息；在生成图像时，动物轮廓所示只保留边缘信息，不产生具体掩膜区域和目标检测框。
3.根据权利要求1所述的基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法，其特征是所述步骤3.1)中，利用动物姿态估计LEAP算法跟踪动物视频中的标记关节点位置变化；
3.1.1)中，手动标记动物姿态视频中具有代表性的少数关键帧动物图像的腿部关节点位置；
3.1.2)中，每个置信度图中的全局最大值代表网络对该关节点位置的预测，从而预测所有视频帧动物腿部关节点的位置；
3.1.3)计算步骤3.1.1)中手动标记的关节点位置y与步骤3.1.2)中卷积神经网络预测结果
的均方误差
通过均方误差MSE构建损失函数进行比较，经过迭代训练，使损失函数降到最低。
4.根据权利要求1所述的基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法，其特征是所述步骤3.2)中，计算腿部关节点位置所形成的夹角的方法为：
设跟踪的上肢关节点A的位置坐标为(x1,y1)，下肢关节点C的位置坐标为(x3,y3)，连接上下肢的膝盖关节点B的位置坐标为(x2,y2)，则其所形成的夹角∠ABC公式为：
5.根据权利要求1所述的基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法，其特征是所述述步骤4)中，将步骤1)的基于轮廓特征的Tiny VGG网络模型的最终得分p1，以及步骤2)的基于骨架特征的LSTM模型的最终得分p2进行分数融合，来共同表决动物视频x所展示的姿态预测值y的可能性：p(y＝n|x)＝0.5×p1+0.5×p2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011285583.9A CN112395977A (zh) | 2020-11-17 | 2020-11-17 | 基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011285583.9A CN112395977A (zh) | 2020-11-17 | 2020-11-17 | 基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112395977A true CN112395977A (zh) | 2021-02-23 |
Family
ID=74600948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011285583.9A Pending CN112395977A (zh) | 2020-11-17 | 2020-11-17 | 基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112395977A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112926462A (zh) * | 2021-03-01 | 2021-06-08 | 创新奇智(西安)科技有限公司 | 训练方法、装置、动作识别方法、装置及电子设备 |
| CN113065650A (zh) * | 2021-04-02 | 2021-07-02 | 中山大学 | 一种长期记忆学习的多通道神经网方法 |
| CN113221776A (zh) * | 2021-05-19 | 2021-08-06 | 彭东乔 | 一种基于人工智能对反刍动物一般行为识别的方法 |
| CN113743269A (zh) * | 2021-08-26 | 2021-12-03 | 浙江工业大学 | 一种轻量化识别视频人体姿态的方法 |
| CN114596632A (zh) * | 2022-03-02 | 2022-06-07 | 南京林业大学 | 基于架构搜索图卷积网络的中大型四足动物行为识别方法 |
| CN114724190A (zh) * | 2022-06-10 | 2022-07-08 | 北京猫猫狗狗科技有限公司 | 一种基于宠物姿态的心情识别方法 |
| CN116152519A (zh) * | 2023-04-17 | 2023-05-23 | 深圳金三立视频科技股份有限公司 | 一种基于图像的特征提取方法及设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030037910A (ko) * | 2001-11-07 | 2003-05-16 | 선인텔레콤(주) | 피사체 식별이 가능한 움직임 감지 시스템 및 그 방법 |
| CN102509085A (zh) * | 2011-11-19 | 2012-06-20 | 江苏大学 | 基于轮廓不变矩特征的猪行走姿态识别系统和方法 |
| CN110188599A (zh) * | 2019-04-12 | 2019-08-30 | 哈工大机器人义乌人工智能研究院 | 一种人体姿态行为智能分析识别方法 |
| CN110457999A (zh) * | 2019-06-27 | 2019-11-15 | 广东工业大学 | 一种基于深度学习和svm的动物姿态行为估计与心情识别方法 |
| CN111274921A (zh) * | 2019-11-27 | 2020-06-12 | 北京邮电大学 | 一种利用姿态掩模进行人体行为识别的方法 |
| CN111476118A (zh) * | 2020-03-26 | 2020-07-31 | 长江大学 | 一种动物行为自动识别方法及装置 |
| CN111723729A (zh) * | 2020-06-18 | 2020-09-29 | 成都颜禾曦科技有限公司 | 基于知识图谱的监控视频犬类姿态和行为智能识别方法 |
-
2020
- 2020-11-17 CN CN202011285583.9A patent/CN112395977A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030037910A (ko) * | 2001-11-07 | 2003-05-16 | 선인텔레콤(주) | 피사체 식별이 가능한 움직임 감지 시스템 및 그 방법 |
| CN102509085A (zh) * | 2011-11-19 | 2012-06-20 | 江苏大学 | 基于轮廓不变矩特征的猪行走姿态识别系统和方法 |
| CN110188599A (zh) * | 2019-04-12 | 2019-08-30 | 哈工大机器人义乌人工智能研究院 | 一种人体姿态行为智能分析识别方法 |
| CN110457999A (zh) * | 2019-06-27 | 2019-11-15 | 广东工业大学 | 一种基于深度学习和svm的动物姿态行为估计与心情识别方法 |
| CN111274921A (zh) * | 2019-11-27 | 2020-06-12 | 北京邮电大学 | 一种利用姿态掩模进行人体行为识别的方法 |
| CN111476118A (zh) * | 2020-03-26 | 2020-07-31 | 长江大学 | 一种动物行为自动识别方法及装置 |
| CN111723729A (zh) * | 2020-06-18 | 2020-09-29 | 成都颜禾曦科技有限公司 | 基于知识图谱的监控视频犬类姿态和行为智能识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 胡志伟;杨华;娄甜田;胡刚;谢倩倩;黄佳佳;: "基于全卷积网络的生猪轮廓提取", 华南农业大学学报, no. 06, 19 October 2018 (2018-10-19), pages 117 - 125 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112926462B (zh) * | 2021-03-01 | 2023-02-07 | 创新奇智(西安)科技有限公司 | 训练方法、装置、动作识别方法、装置及电子设备 |
| CN112926462A (zh) * | 2021-03-01 | 2021-06-08 | 创新奇智(西安)科技有限公司 | 训练方法、装置、动作识别方法、装置及电子设备 |
| CN113065650B (zh) * | 2021-04-02 | 2023-11-17 | 中山大学 | 一种基于长期记忆学习的多通道神经网络实例分隔方法 |
| CN113065650A (zh) * | 2021-04-02 | 2021-07-02 | 中山大学 | 一种长期记忆学习的多通道神经网方法 |
| CN113221776A (zh) * | 2021-05-19 | 2021-08-06 | 彭东乔 | 一种基于人工智能对反刍动物一般行为识别的方法 |
| CN113221776B (zh) * | 2021-05-19 | 2024-05-28 | 彭东乔 | 一种基于人工智能对反刍动物一般行为识别的方法 |
| CN113743269A (zh) * | 2021-08-26 | 2021-12-03 | 浙江工业大学 | 一种轻量化识别视频人体姿态的方法 |
| CN113743269B (zh) * | 2021-08-26 | 2024-03-29 | 浙江工业大学 | 一种轻量化识别视频人体姿态的方法 |
| CN114596632A (zh) * | 2022-03-02 | 2022-06-07 | 南京林业大学 | 基于架构搜索图卷积网络的中大型四足动物行为识别方法 |
| CN114596632B (zh) * | 2022-03-02 | 2024-04-02 | 南京林业大学 | 基于架构搜索图卷积网络的中大型四足动物行为识别方法 |
| CN114724190A (zh) * | 2022-06-10 | 2022-07-08 | 北京猫猫狗狗科技有限公司 | 一种基于宠物姿态的心情识别方法 |
| CN116152519A (zh) * | 2023-04-17 | 2023-05-23 | 深圳金三立视频科技股份有限公司 | 一种基于图像的特征提取方法及设备 |
| CN116152519B (zh) * | 2023-04-17 | 2023-08-15 | 深圳金三立视频科技股份有限公司 | 一种基于图像的特征提取方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112395977A (zh) | 基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法 | |
| CN108052896B (zh) | 基于卷积神经网络与支持向量机的人体行为识别方法 | |
| CN107423730B (zh) | 一种基于语义折叠的人体步态行为主动检测识别系统和方法 | |
| US7940960B2 (en) | Pose estimating device and pose estimating method | |
| CN104115192B (zh) | 三维近距离交互的改进或与其有关的改进 | |
| CN110555481A (zh) | 一种人像风格识别方法、装置和计算机可读存储介质 | |
| Cheng et al. | Random cropping ensemble neural network for image classification in a robotic arm grasping system | |
| KR20130013122A (ko) | 객체 자세 검색 장치 및 방법 | |
| CN107767416B (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
| CN106548194B (zh) | 二维图像人体关节点定位模型的构建方法及定位方法 | |
| Chan et al. | A 3-D-point-cloud system for human-pose estimation | |
| CN110543817A (zh) | 基于姿势指导特征学习的行人再识别方法 | |
| Liao et al. | A two-stage method for hand-raising gesture recognition in classroom | |
| Ravi et al. | Sign language recognition with multi feature fusion and ANN classifier | |
| CN108664942A (zh) | 小鼠视频多维特征值的提取方法及视频分类方法 | |
| Kanaujia et al. | Part segmentation of visual hull for 3d human pose estimation | |
| Dhore et al. | Human Pose Estimation And Classification: A Review | |
| Jiang et al. | Triangulate geometric constraint combined with visual-flow fusion network for accurate 6DoF pose estimation | |
| Batool et al. | Fundamental recognition of ADL assessments using machine learning engineering | |
| Tang et al. | Using a multilearner to fuse multimodal features for human action recognition | |
| CN110490049A (zh) | 基于多特征和svm区分人体平衡障碍的方法 | |
| Zhang et al. | A review of human action recognition in video | |
| Ramanathan et al. | Improving human body part detection using deep learning and motion consistency | |
| Lessa et al. | SoccerKicks: a Dataset of 3D dead ball kicks reference movements for humanoid robots | |
| Akhter et al. | Deep Skeleton Modeling and Hybrid Hand-crafted Cues over Physical Exercises |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |