CN110765925A - 基于改进的孪生神经网络的携带物检测与步态识别方法 - Google Patents
基于改进的孪生神经网络的携带物检测与步态识别方法 Download PDFInfo
- Publication number
- CN110765925A CN110765925A CN201910998019.2A CN201910998019A CN110765925A CN 110765925 A CN110765925 A CN 110765925A CN 201910998019 A CN201910998019 A CN 201910998019A CN 110765925 A CN110765925 A CN 110765925A
- Authority
- CN
- China
- Prior art keywords
- connected domain
- gait
- neural network
- pictures
- smaller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005021 gait Effects 0.000 title claims abstract description 123
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 230000005484 gravity Effects 0.000 claims abstract description 32
- 230000008859 change Effects 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000001308 synthesis method Methods 0.000 claims abstract description 8
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 210000002683 foot Anatomy 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000003371 toe Anatomy 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Social Psychology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于改进的孪生神经网络的携带物检测与步态识别方法，包括以下步骤：步骤1：读取进出机敏场所的前后两段视频；步骤2：利用基于重心对齐的步态能量图优化合成方法分别合成前段视频和后段视频的步态能量图；步骤3：利用改进的孪生神经网络进行携带物检测与步态识别；本发明所述的一种基于改进的孪生神经网络的携带物检测与步态识别方法，与传统的步态识别算法相比，步态识别的准确率得到有效提升；同时，能够对是否同一人以及是否携带状态改变同时判断处理，且判断准确率达到87.54%；进而，使用一个网络同时判断两个问题，在保证了识别准确率的同时，节省了识别时间。
Description
技术领域
本发明涉及图像处理与计算机视觉研究领域，具体涉及基于改进的孪生神经网络的携带物检测与步态识别方法。
背景技术
随着社会的进步，科学技术的发展，智能视频监控在计算机视觉领域的应用越来越广泛，智能监控技术也蓬勃发展，日新月异。目前，视频监控技术已经被广泛应用于各种公共场所，随着技术的进步和成本的降低，视频监控技术也将逐渐走进家庭，在家庭安全防范和家庭娱乐应用方面有更大的发展。
步行者携带物检测是智能监控领域研究的重要内容，可应用与丢失物品的寻找、偷窃行为的防范和恐怖活动监测等方面，具有广阔的应用领域和应用前景。近年来，携带物检测技术受到了研究人员的广泛关注。
现有的携带物检测方法需要采集进出场所的机敏前后两段视频，将前后两段视频进行生物特征识别，以确定处于前后两段视频中的“同一个行人”，然后利用携带物检测方法判断前后两段视频中同一个行人的携带状态是否发生改变；
步态识别作为生物特征识别的主要方法，具有以下三个优势：
一是隐蔽性，无需被识别人的配合，可不经发觉完成采集；
二是远距离性，无需近距离接触被识别人即可获取并识别；
三是真实性，由于一个人的步态习惯难以改变，因此被识别人步态难以掩饰。
步态识别是指将提取出的步态特征与数据库中的样本特征进行比对，通过分类器决策它所属的类别并得到识别结果；长久以来，已有许多步态辨识方法陆续被研发出来，这些方法依其采用策略可分两种方式：
一种是以模式为主，以模式为主的步态辨识方法是将人体步态的静态外形与动能移动纳入步态特征提取的过程；步态的静态外形大都以组织模式描述，如骨架结构图、椭圆近似、身体躯干立体模型等；或以量测时间变化参数描述，如步态周期、站立宽度值、步幅；步态的动能移动则以移动模式描述，如臀与大腿的旋转模式、关节轨迹、肢体方向变化等；例如Xue等人以红外线影像做为轮廓提取的步态特征来源，以解决夜间辨识的问题，且由感温原理取得影像，前景较容易从背景中取出，杂讯较少，不易受照度值或亮度值影响；在特征表示部分，Xue等人以小波转换从连续影像中提取行为特征，并以形态学影像处理方法得到身高及头、膝盖、左脚、右脚的位置，然后计算不同长度值间的比值以及两脚(下肢)与地板间的夹角，做为生理性的特征，最后以支持向量机做为训练及分类的方法；
另一种是无模式，无模式即以外观为主的方式，大都以步态周期为单位，提取轮廓特征；步态周期是表示人在行走时的动作，如手臂摆动、步伐变化等周期性，包括站立及摆动两部分；根据步态中的脚底状态分析，整个步态中存在几种状态，脚跟、脚趾、脚部会进行不同程度值的着地、离地、悬空；根据人体的走路程序，对步态总结出其中包含的周期，分别有四种状态，其中着地的是脚跟和脚掌，而离地的为脚趾，悬空状态的为脚掌。
常用的步态表示法是步态能量图(Gait energy image,GEI)，GEI是记录一步态周期内，二值化轮廓的主要形状与变化，即各像素点在步态周期内的平均像素值；步态能量图中像素值为1的部分包含静态信息，像素值小于1的部分包含动态信息，能够很好地表现运动人体的体形、步幅、步速等特征，提取方法简单且能对一个周期内的步态特征进行综合性的表达，提取到的步态特征更具连续性；此外，由于随机噪声在一个周期内平均过程中受到了抑制，所以步态能量图对噪声具有相对鲁棒性。
孪生神经网络是一类包含两个或更多个相同子网络的神经网络架构；这里的相同是指它们具有相同的配置即具有相同的参数和权重；参数更新在两个子网上共同进行；孪生神经网络在涉及发现相似性或两个可比较的事物之间的关系的任务中得到了广泛的应用；通常，在这样的任务中，使用两个相同的子网络来处理两个输入，并且另一个模块(通常使用全连接神经网络层)将取得它们的输出并产生最终输出；孪生神经网络之所以在这些任务中表现的比较好，有如下几个原因:子网共享权重意味着训练需要更少的参数，也就意味着需要更少的数据并且不容易过拟合；如果输入是相同类型的，就有了具有相同语义的表示向量，使得它们更容易比较。
传统上，孪生神经网络为单输入结构，在本发明中单输入体现在：在进行携带物检测任务时，孪生神经网络的最终输入只能输出前后两张图片是否具有相同的携带状态；进行步态识别任务时，孪生神经网络的最终输入只能输出前后两张图片上的行人是否为同一人。
但是，智能监控领域中，检测前后两张图片或者前后两段视频中的行人的携带状态是否发生改变时，必须先确定前后两张图片或者前后两段视频中的行人是否为同一个人，否则这种检测就是没有意义的；因此，使用传统的孪生神经网络进行携带物检测任务时，必须分两个步骤进行：
第一：步态识别，检测前后两张图片或者前后两段视频中的行人是否为同一个人；
第二：携带状态检测，检测前后两张图片或者前后两段视频中的同一个行人的携带状态是否发生改变；
上述两步检测费时，耗费检测者的精力，已经成为智能监控领域亟待解决的问题。
发明内容：
为了解决传统的孪生神经网络为单输入结构，必须分两个步骤才能解决智能监控领域携带物状态检测的问题，本发明提供了一种基于改进的孪生神经网络的携带物检测与步态识别方法，能够同时实现步态识别与携带物状态检测，省时、省力。
为了实现上述目的，本发明采用以下技术方案：
基于改进的孪生神经网络的携带物检测与步态识别方法，包括以下步骤：
步骤1：读取进出机敏场所的前后两段视频；
具体的，进出机敏场所的前后两段视频由摄像机采集，前段视频为进入机敏场所时的视频，后段视频为出去机敏场所时的视频；
步骤2：利用基于重心对齐的步态能量图优化合成方法分别合成前段视频和后段视频的步态能量图；
步骤3：利用改进的孪生神经网络进行携带物检测与步态识别。
步骤2中所述的利用基于重心对齐的步态能量图优化合成方法分别合成前段视频和后段视频的步态能量图的具体方法为：
步骤2.1：对采集的人物步态视频做预处理，获取视频中的每帧图像的二值化图片，并从获取的二值化图片中选取属于一个步态周期的二值化图片；具体的，
p＝(p1,p2,...pi,...,pn)；
其中，P为属于一个步态周期的二值化图片的集合，pi为属于一个步态周期的第i帧图片的二值化图片，i＝1,2,…n；
步骤2.2：对步骤1中所述的属于一个步态周期的每一张二值化图片寻找对应的连通域；即寻找pi的连通域；
步骤2.3：若所述的pi只有一个连通域，则判断pi不属于断头图片，定义此pi轮廓为人物轮廓，进入步骤5；
步骤2.4：若所述的pi的多个连通域中，某一较小连通域为最大连通域丢失的头部，则合并此较小连通域与最大连通域，使其成为一个整体区域M，定义M为所述的pi的人物轮廓；若所述的pi的多个连通域中，所有较小连通域均不能全部满足判断条件，则舍弃所有的较小连通域，即定义所述的pi的最大连通域M”为所述的pi的人物轮廓；
其中，M＝M'+M”，M'为最大连通域，M”为满足所有判断条件的较小连通域，即所述的此较小连通域；
步骤2.5：计算所述的pi的人物轮廓的高度值Hi，分以下三种情况：
若所述的pi轮廓为人物轮廓，则所述的pi的人物轮廓的高度值Hi即为所述的pi轮廓的高度值；
若步骤4所述的M为所述的pi的人物轮廓，则所述的pi的人物轮廓的高度值Hi＝My+Mh-M’y，其中，My表示最大连通域左上角的纵坐标,Mh表示最大连通域的高度值,M’y表示较小连通域左上角的纵坐标；
若步骤4所述的最大连通域M”为所述的pi的人物轮廓，则所述的pi的人物轮廓的高度值Hi＝Mh，其中，Mh表示最大连通域的高度值；
步骤2.6：利用步骤5所述的pi的人物轮廓的高度值Hi，判断所述的pi是否属于无头图片，若所述的pi属于无头图片，则舍弃所述的pi，保留p'，p'为属于一个步态周期的有头的二值化图片；
判断方法为：
判断Hi-1和Hi的差值的绝对值与阈值D的关系，其中，D＝10，Hi为所述的pi的人物轮廓的高度值，Hi-1为pi-1的人物轮廓的高度值；
若|Hi-1-Hi|≤D，则判断所述的pi不属于无头图片，保留p'＝(p1,p2,...pi,|,pn)；
若|Hi-1-Hi|＞D，则判断所述的p中出现了无头图片，分下述两种情况：
若Hi-1-Hi＞D，则判断所述的pi属于无头图片，舍弃pi，保留p'＝(p1,p2,...pi-1,pi+1,...,pn)；
若Hi-Hi-1＜D，则判断p1,p2,…pi-1均属于无头图片，舍弃p1,p2,...pi-1，保留p'＝(pi+1,...,pn)；
步骤2.7：对p'中的所有图片进行高度归一化处理，使p'中人物轮廓的二值图图像的高度值相等；
步骤2.8：将p'中的每帧图片pi按人物轮廓的高度值分成平均的上下两部分，对于上半部分求其对应的重心Mi s；
步骤2.9：将p'中的每帧图片pi按其对应的重心Mi s顺序对齐，对所有保留图片进行像素的累加求平均，获得最终的步态能量图GEI；
其中，G表示最终生成的步态能量图，N表示一个步态周期包含N帧图像。
步骤2.4中所述的判断条件为：
条件1：最大连通域的重心点横坐标和较小连通域的重心点横坐标的差值与较小连通域的宽度值的比值小于阈值A；
((Mcx-M’cx)/Mw)＜A；
其中，Mcx为所述最大连通域的重心点横坐标，M’cx为所述较小连通域的重心点横坐标，Mw为较小连通域的宽度值，其中A＝0.1；
条件2：最大连通域和较小连通域的垂直方向距离值与最大连通域高度值的比值小于阈值B；
(M’h+M’y-My)/Mh＜B；
其中，M’h为较小连通域的高度值，M’y为较小连通域边框左上角的纵坐标，My为最大连通域边框左上角的纵坐标，Mh为最大连通域的高度值，其中，B＝0.1；
条件3：较小连通域的重心点纵坐标高于最大连通域的上边界；
M’cy＜My；
其中，M’cy为较小连通域的重心点纵坐标，My为最大连通域边框左上角的纵坐标；
条件4：最大连通域的面积值和较小连通域的面积值的比值大于阈值C1且小于阈值C2；
其中，SM为最大连通域的面积值，S’M为较小连通域的面积值，其中C1＝7、C2＝14。
步骤3中所述的利用改进的孪生神经网络进行携带物检测与步态识别的方法为：
步骤3.1：建立改进的孪生神经网络结构模型；改进的孪生神经网络结构模型包括两个相同的子网络，每个子网络包包含三层的卷积层，两个子网络的输出结果输出到全连接神经网络层，最终由全卷积神经网络层输出最终结果；
步骤3.2：生成改进的孪生神经网络的训练集，具体采用以下方法：
在步骤2中合成前段视频和后段视频的步态能量图中分别随机选择一张组成一对图片，
若这对图片属于同一人的相同携带状态，则记为
定义其标签(0,0)；
若这对图片属于同一人的不同携带状态，则记为
定义其标签(0,1)；
若这对图片属于不同人的相同携带状态，则记为
定义其标签(1,0)；
若这对图片属于不同人的不同携带状态，则记为定义其标签(1,1)；
其中，表示某一人拍摄时刻的携带状态，上标i,j表示不同的携带状态，下表s,x表示不同人，没有实际含义；
步骤3.3：定义损失函数，利用步骤3.2所述的训练集训练步骤3.1所述的改进的孪生神经网络结构模型，具体的，包括以下步骤：
定义两张图片的输出特征分别为Fa1、Fa2和Fb1、Fb2；其中，下标a和b表示此特征来自不同的图片，下标1表示提取的是否同一人特征，下标2表示提取的是否携带改变特征；它们相似度使用欧式距离来表示，记作D(Fa1,Fb1)与D(Fa2,Fb2)；
针对输入孪生神经网络的两张图片是否是同一个人的损失函数L1定义如下：
针对输入孪生神经网络的两张图片是否存在携带状态改变的损失函数L2定义如下：
最终定义损失函数L＝L1+L2；
其中，Y1,Y2分别为是否同一人、是否携带改变的标签；
步骤3.4：将步骤2中合成前段视频和后段视频的步态能量图中分别随机选择一张组成一对图片，将这对图片作为输入，输入改进的孪生神经网络，并由孪生神经网络输出是否为同一人的步态识别结果和携带状态是否改变的结果。
本发明的有益效果为：
本发明所述的一种基于改进的孪生神经网络的携带物检测与步态识别方法，与传统的步态识别算法相比，步态识别的准确率得到有效提升；同时，能够对是否同一人以及是否携带状态改变同时判断处理，且判断准确率达到87.54％；进而，使用一个网络同时判断两个问题，在保证了识别准确率的同时，节省了识别时间。
附图说明：
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图；
图2为本发明所述利用基于重心对齐的步态能量图优化合成方法分别合成前段视频和后段视频的步态能量图的方法流程图；
图3为断头二值化图片的示意图；
图4为无头二值化图片的示意图；
图5为本发明所述利用改进的孪生神经网络进行携带物检测与步态识别的方法流程图。
具体实施方式：
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示：本发明所述的一种基于改进的孪生神经网络的携带物检测与步态识别方法，其特征在于，包括以下步骤：
步骤1：读取进出机敏场所的前后两段视频；
具体的，进出机敏场所的前后两段视频由摄像机采集，前段视频为进入机敏场所时的视频，后段视频为出去机敏场所时的视频；
步骤2：利用基于重心对齐的步态能量图优化合成方法分别合成前段视频和后段视频的步态能量图；
步骤3：利用改进的孪生神经网络进行携带物检测与步态识别。
如图2所示：步骤2中所述的利用基于重心对齐的步态能量图优化合成方法分别合成前段视频和后段视频的步态能量图的具体方法为：
步骤2.1：对采集的人物步态视频做预处理，获取视频中的每帧图像的二值化图片，并从获取的二值化图片中选取属于一个步态周期的二值化图片；
具体的，
p＝(p1,p2,...pi,...,pn)；
其中，P为属于一个步态周期的二值化图片的集合，pi为属于一个步态周期的第i帧图片的二值化图片，i＝1,2,…n；
具体采用以下方法：
利用摄像机采集人物(实验对象)正常行走时的步态视频，并利用目标识别方法提取视频中每帧图像的二值化图片；然后从获取的二值化图片中选取属于一个步态周期的二值化图片；
步骤2.2：对步骤1中所述的属于一个步态周期的每一张二值化图片寻找对应的连通域；即寻找pi的连通域；
步骤2.3：若所述的pi只有一个连通域，则判断pi不属于断头图片，定义此pi轮廓为人物轮廓，进入步骤5；断头二值化图片的示意图如图3所示；
若所述的pi有多个连通域，则通过判断条件判断较小连通域(除最大连通域之外的其他连通域)是否为最大连通域丢失的头部；当且仅当所述的pi的多个连通域中，某一较小连通域与最大连通域的关系满足所有判断条件时，则判定此较小连通域为最大连通域丢失的头部；
需要说明的是，人物身体形成的二值化图片的面积一定远大于人物头部形成的二值化图片的面积，因此，默认最大连通域为人物身体形成的二值化图片；
所述判断条件为：
条件1：最大连通域的重心点横坐标和较小连通域的重心点横坐标的差值与较小连通域的宽度值的比值小于阈值A；
((Mcx-M’cx)/Mw)＜A；
其中，Mcx为所述最大连通域的重心点横坐标，M’cx为所述较小连通域的重心点横坐标，Mw为较小连通域的宽度值，其中A＝0.1；满足上述条件时，可以保证最大连通域与较小连通域的水平位移在合理范围内，避免水平位移较大时，不符合人物行走时头部与身体偏移量的问题出现；重心点坐标按照下述公式计算：
其中，xz(i)为第i帧图像的重心点横坐标，yz(i)为第i帧图像的重心点纵坐标，xi、yi为第i帧图像的像素点坐标，目标区域为所述较小的连通域，N为连通域内的像素点总数；
条件2：最大连通域和较小连通域的垂直方向距离值与最大连通域高度值的比值小于阈值B；
(M’h+M’y-My)/Mh＜B；
其中，M’h为较小连通域的高度值，M’y为较小连通域边框左上角的纵坐标，My为最大连通域边框左上角的纵坐标，Mh为最大连通域的高度值，其中B＝0.1；满足上述条件时，可以保证最大连通域与较小连通域的垂直位移在合理范围内，避免垂直位移较大时不满足人物行走时头部与身体距离较大的问题出现；
条件3：较小连通域的重心点纵坐标高于最大连通域的上边界；
M’cy＜My；
其中，M’cy为较小连通域的重心点纵坐标，My为最大连通域边框左上角的纵坐标；满足上述条件时，可以保证较小连通域在最大连通域之上，避免出现人物行走时头部低于身体的情况出现；
条件4：最大连通域的面积值和较小连通域的面积值的比值大于阈值C1且小于阈值C2；
其中，SM为最大连通域的面积值，S’M为较小连通域的面积值，其中C1＝7，,C2＝14；满足上述条件时，可以保证最大连通域的面积值与较小连通域的面积值的比值在合理范围内，避免出现人物头部与身体的比例不符合常识的问题出现；
步骤2.4：若所述的pi的多个连通域中，某一较小连通域为最大连通域丢失的头部，则合并此较小连通域与最大连通域，使其成为一个整体区域M，定义M为所述的pi的人物轮廓；若所述的pi的多个连通域中，所有较小连通域均不能全部满足判断条件，则舍弃所有的较小连通域，即定义所述的pi的最大连通域M'为所述的pi的人物轮廓；
其中，M＝M'+M”，M'为最大连通域，M”为满足所有判断条件的较小连通域，即所述的此较小连通域；
步骤2.5：计算所述的pi的人物轮廓的高度值Hi，分以下三种情况：
若所述的pi轮廓为人物轮廓，则所述的pi的人物轮廓的高度值Hi即为所述的pi轮廓的高度值；
若步骤4所述的M为所述的pi的人物轮廓，则所述的pi的人物轮廓的高度值Hi＝My+Mh-M’y，其中，My表示最大连通域左上角的纵坐标,Mh表示最大连通域的高度值,M’y表示较小连通域左上角的纵坐标；
若步骤4所述的最大连通域M”为所述的pi的人物轮廓，则所述的pi的人物轮廓的高度值Hi＝Mh，其中，Mh表示最大连通域的高度值；
步骤2.6：利用步骤5所述的pi的人物轮廓的高度值Hi，判断所述的pi是否属于如图4所示的无头图片，若所述的pi属于无头图片，则舍弃所述的pi，保留p'，p'为属于一个步态周期的有头的二值化图片；无头二值化图片的示意图如图3所示；
判断方法为：
判断Hi-1和Hi的差值的绝对值与阈值D的关系，其中，D＝10，Hi为所述的pi的人物轮廓的高度值，Hi-1为pi-1的人物轮廓的高度值；
若|Hi-1-Hi|≤D，则判断所述的pi不属于无头图片，保留p'＝(p1,p2,...pi,...,pn)；
若|Hi-1-Hi|＞D，则判断所述的p中出现了无头图片，分下述两种情况：
若Hi-1-Hi＞D，则判断所述的pi属于无头图片，舍弃pi，保留p'＝(p1,p2,...pi-1,pi+1,…,pn)；
若Hi-Hi-1＜D，则判断p1,p2,...pi-1均属于无头图片，舍弃p1,p2,...pi-1，保留p'＝(pi+1,...,pn)；
做出上述判断的依据为：
因为采集人物步态视频的摄像机是固定的，而人物是移动的，根据近大远小原理可知，当人物距离摄像机近时，则人物图像较大；当人物距离摄像机远时，则人物图像较小，因此前一帧pi-1的人物轮廓的高度值与当前帧pi的人物轮廓的高度值的差值必定在一定范围内，即在阈值D内，若差值过大，则判断p中出现了无头图片，当无头图片出现在p中间某一帧时，即p中的图片次序为有头图片，无头图片，有头图片，那么只需舍弃这张无头图片即可消除对步态能量图的影响；当p中第一帧到第i-1帧图片均为无头图片时，则前i-1帧图片可能均满足|Hi-1-Hi|≤D，直至第i帧出现有头图片时，将出现Hi-Hi-1＜D，此时，判断前i-1帧图片均为无头图片，即舍弃前i-1帧图片，即可消除对步态能量图的影响；
步骤2.7：对p'中的所有图片进行高度归一化处理，使p'中人物轮廓的二值图图像的高度值相等；
步骤2.8：将p'中的每帧图片pi按人物轮廓的高度值分成平均的上下两部分，对于上半部分求其对应的重心Mi s；
步骤2.9：将p'中的每帧图片pi按其对应的重心Mi s顺序对齐，对所有保留图片进行像素的累加求平均，获得最终的步态能量图GEI；
其中，G表示最终生成的步态能量图，N表示一个步态周期包含N帧图像。
如图5所示：步骤3中所述的利用改进的孪生神经网络进行携带物检测与步态识别，具体包括以下步骤：
步骤3.1：建立改进的孪生神经网络结构模型；改进的孪生神经网络结构模型包括两个相同的子网络，每个子网络包包含三层的卷积层，两个子网络的输出结果输出到全连接神经网络层，最终由全卷积神经网络层输出最终结果；
步骤3.2：生成改进的孪生神经网络的训练集，具体采用以下方法：
为了把孪生神经网络应用为实际问题的分类器，对其进行有效的训练是十分重要的；若分类器是单一深度的网络结构，只需要使用给定的分类标签对训练数据集进行标签训练即可；若分类器采用的是孪生神经网络结构，则需要对训练数据集进行配对处理，把训练模式变为符合孪生神经网络的形式；
即将原始数据集中的大量样本进行两两组合配对，生成多个正样本对和负样本对；在单一问题的判断中，对每一对图片定义一个一维标签，这个标签非0即1；以人员重识别问题为例，给定一对图片用0表示两张图片来自同一个人，用1表示两张图片来自不同的人；因为本发明的孪生网络为双识别双输出结构，在定义每一对图片标签时，不仅需要考虑是否来自同一个体，还要考虑是否存在携带状态改变；因此，所定义的标签应当是二维的。
具体的，在步骤2中合成前段视频和后段视频的步态能量图中分别随机选择一张组成一对图片，
若这对图片属于同一人的相同携带状态，则记为
定义其标签(0,0)；
若这对图片属于同一人的不同携带状态，则记为
定义其标签(0,1)；
若这对图片属于不同人的相同携带状态，则记为
定义其标签(1,0)；
若这对图片属于不同人的不同携带状态，则记为
定义其标签(1,1)；
其中，
表示某一人拍摄时刻的携带状态，上标i,j表示不同的携带状态，下表s,x表示不同人，没有实际含义；
步骤3.3：定义损失函数，利用步骤3.2所述的训练集训练步骤3.1所述的改进的孪生神经网络结构模型，具体的，包括以下步骤：
为了能够对步骤3.1所述的改进的孪生神经网络结构模型进行训练学习，除了神经网络结构以及配对方式，还需要定义损失函数(代价函数)；
孪生神经网络的输入为X1和X2，y为X1和X2匹配与否的标签，y∈{0,1}；若X1和X2相似，即两张图片属于相同类别，则y＝0；若不相似，即两张图片属于不同类别，则y＝1；采用的损失函数为如下的形式：
其中Dw为孪生神经网络输出的两个特征向量的欧式距离，即Dw(X1,X2)＝||Gw(X1)-Gw(X2)||；Gw表示的是将输入X1,X2映射到孪生神经网络的特征向量；m值是在Gw上设置的一个阈值，距离在该范围内的负样本才对损失函数有影响；
本发明所述的改进的孪生神经网络结构模型，设两张图片的输出特征分别为Fa1、Fa2和Fb1、Fb2；其中，下标a和b表示此特征来自不同的图片，下标1表示提取的是否同一人特征，下标2表示提取的是否携带改变特征；它们相似度使用欧式距离来表示，记作D(Fa1,Fb1)与D(Fa2,Fb2)；那么，损失函数要做到当D比较小(特征相似)，即两张图片标签确实相同时，函数值比较小；D比较小，但两个图片标签却不一样时输出比较大；D大的时候也是同样的道理；
针对输入孪生神经网络的两张图片是否是同一个人的损失函数L1定义如下：
针对输入孪生神经网络的两张图片是否存在携带状态改变的损失函数L2定义如下：
最终定义损失函数L＝L1+L2；
其中，Y1,Y2分别为是否同一人、是否携带改变的标签；以Y1为例有以下两种情况：Y1＝1表示两张图片的标签不相同，即输入孪生神经网络的两张图片不是同一个人的图片；同理，Y1＝0表示两张图片的标签相同，即输入孪生神经网络的两张图片是同一个人的图片；对于Y1＝0的情况，损失函数L1的第二项为0，即等于零，显然，距离越小时计算得到的损失函数L1的值越小，距离越大时值越大；对于Y1＝1的情况，损失函数L1第一项计算结果为0，当距离小于m的时候，得到一个m-D(Fa1,Fb1)的惩罚，当距离大于m的时候，这个惩罚就不存在了。
步骤3.4：将步骤2中合成前段视频和后段视频的步态能量图中分别随机选择一张组成一对图片，将这对图片作为输入，输入改进的孪生神经网络，并由孪生神经网络输出是否为同一人的步态识别结果和携带状态是否改变的结果。
将本发明所述的基于改进的孪生神经网络的携带物检测与步态识别方法的步态识别的识别准确率与small LB神经网络结构、small MT孪生网络结构、LB神经网络结构和MT孪生网络结构的识别准确率对比，对比结果如表1所示：
表1识别准确率对比
| 方法 | 准确率 |
| Small LB | 63.7％ |
| Small MT | 72.43％ |
| LB | 86.5％ |
| MT | 91.89％ |
| 本发明 | 92.02％ |
由上表1可知，本发明所述的基于改进的孪生神经网络的携带物检测与步态识别方法的步态识别的识别准确率明显高于其他几种步态识别的准确率；
且本发明所述的基于改进的孪生神经网络的携带物检测与步态识别方法对携带物检测和步态识别同时进行时，准确率可达到87.54％，可以看出本发明所述的基于改进的孪生神经网络的携带物检测与步态识别方法是相当有效的。
如下表2所示，将本发明所述的基于改进的孪生神经网络的携带物检测与步态识别方法的识别时间与传统的分步分别识别的识别计算作对比，分步识别是否同一人之后再识别是否有携带改变的训练时间共花费127.54min,测试时间共花费0.27s,均高于本发明所述的方法，实验证明使用本发明方法更节省计算时间。
表2识别时间对比
| 方法 | 训练 | 测试 |
| 分步识别 | 69.94min+57.6min | 0.17s+0.1s |
| 本发明方法 | 77.3min | 0.18s |
在无法拍摄到盗窃或者放置危险物品等可疑行为发生过程的情况下，对已经发生或者即将发生的危险及时做出正确判断是十分必要的；若使用神经网络对是否同一人与是否携带状态改变分步进行判断，虽然可以满足需求，但是由于使用了两个网络，需要计算大量的参数，因此也需要耗费大量的时间；针对此问题本发明公开了一种基于改进的孪生神经网络的携带物检测与步态识别方法，通过把传统的孪生神经网络进行改进，使其变为双输出的结构，将进出特定场所的两段视频进行对比，不仅能判断是否为同一人，而且还能同时判断出前后是否存在携带物状态的改变；该方法在训练时，将由两段视频生成的步态能量图两两配对，并将每对定义二维标签(第一维标签定义是否同一人，第二维标签定义是否携带状态改变)，所以，此方法不需要直接观测到携带状态发生改变(转移或离开)的过程，也无需事先建立接触者的行迹资料；
本发明所述的一种基于改进的孪生神经网络的携带物检测与步态识别方法，与传统的步态识别算法相比，步态识别的准确率得到有效提升；同时，能够对是否同一人以及是否携带状态改变同时判断处理，且判断准确率达到87.54％；进而，使用一个网络同时判断两个问题，在保证了识别准确率的同时，节省了识别时间。
Claims (4)
1.基于改进的孪生神经网络的携带物检测与步态识别方法，其特征在于，包括以下步骤：
步骤1：读取进出机敏场所的前后两段视频；
具体的，进出机敏场所的前后两段视频由摄像机采集，前段视频为进入机敏场所时的视频，后段视频为出去机敏场所时的视频；
步骤2：利用基于重心对齐的步态能量图优化合成方法分别合成前段视频和后段视频的步态能量图；
步骤3：利用改进的孪生神经网络进行携带物检测与步态识别。
2.根据权利要求1所述的基于改进的孪生神经网络的携带物检测与步态识别方法，其特征在于，步骤2中所述的利用基于重心对齐的步态能量图优化合成方法分别合成前段视频和后段视频的步态能量图的具体方法为：
步骤2.1：对采集的人物步态视频做预处理，获取视频中的每帧图像的二值化图片，并从获取的二值化图片中选取属于一个步态周期的二值化图片；具体的，p＝(p1,p2,...pi,...,pn)；
其中，P为属于一个步态周期的二值化图片的集合，pi为属于一个步态周期的第i帧图片的二值化图片，i＝1,2,…n；
步骤2.2：对步骤1中所述的属于一个步态周期的每一张二值化图片寻找对应的连通域；即寻找pi的连通域；
步骤2.3：若所述的pi只有一个连通域，则判断pi不属于断头图片，定义此pi轮廓为人物轮廓，进入步骤5；
步骤2.4：若所述的pi的多个连通域中，某一较小连通域为最大连通域丢失的头部，则合并此较小连通域与最大连通域，使其成为一个整体区域M，定义M为所述的pi的人物轮廓；若所述的pi的多个连通域中，所有较小连通域均不能全部满足判断条件，则舍弃所有的较小连通域，即定义所述的pi的最大连通域M”为所述的pi的人物轮廓；
其中，M＝M'+M”，M'为最大连通域，M”为满足所有判断条件的较小连通域，即所述的此较小连通域；
步骤2.5：计算所述的pi的人物轮廓的高度值Hi，分以下三种情况：
若所述的pi轮廓为人物轮廓，则所述的pi的人物轮廓的高度值Hi即为所述的pi轮廓的高度值；
若步骤4所述的M为所述的pi的人物轮廓，则所述的pi的人物轮廓的高度值Hi＝My+Mh-M’y，其中，My表示最大连通域左上角的纵坐标,Mh表示最大连通域的高度值,M’y表示较小连通域左上角的纵坐标；
若步骤4所述的最大连通域M”为所述的pi的人物轮廓，则所述的pi的人物轮廓的高度值Hi＝Mh，其中，Mh表示最大连通域的高度值；
步骤2.6：利用步骤5所述的pi的人物轮廓的高度值Hi，判断所述的pi是否属于无头图片，若所述的pi属于无头图片，则舍弃所述的pi，保留p'，p'为属于一个步态周期的有头的二值化图片；
判断方法为：
判断Hi-1和Hi的差值的绝对值与阈值D的关系，其中，D＝10，Hi为所述的pi的人物轮廓的高度值，Hi-1为pi-1的人物轮廓的高度值；
若|Hi-1-Hi|≤D，则判断所述的pi不属于无头图片，保留p'＝(p1,p2,...pi,...,pn)；
若|Hi-1-Hi|＞D，则判断所述的p中出现了无头图片，分下述两种情况：
若Hi-1-Hi＞D，则判断所述的pi属于无头图片，舍弃pi，保留p'＝(p1,p2,...pi-1,pi+1,...,pn)；
若Hi-Hi-1＜D，则判断p1,p2,...pi-1均属于无头图片，舍弃p1,p2,...pi-1，保留p'＝(pi+1,...,pn)；
步骤2.7：对p'中的所有图片进行高度归一化处理，使p'中人物轮廓的二值图图像的高度值相等；
步骤2.8：将p'中的每帧图片pi按人物轮廓的高度值分成平均的上下两部分，对于上半部分求其对应的重心Mi s；
步骤2.9：将p'中的每帧图片pi按其对应的重心Mi s顺序对齐，对所有保留图片进行像素的累加求平均，获得最终的步态能量图GEI；
其中，G表示最终生成的步态能量图，N表示一个步态周期包含N帧图像。
3.根据权利要求2所述的基于改进的孪生神经网络的携带物检测与步态识别方法，其特征在于，步骤2.4中所述的判断条件为：
条件1：最大连通域的重心点横坐标和较小连通域的重心点横坐标的差值与较小连通域的宽度值的比值小于阈值A；
((Mcx-M’cx)/Mw)＜A；
其中，Mcx为所述最大连通域的重心点横坐标，M’cx为所述较小连通域的重心点横坐标，Mw为较小连通域的宽度值，其中A＝0.1；
条件2：最大连通域和较小连通域的垂直方向距离值与最大连通域高度值的比值小于阈值B；
(M’h+M’y-My)/Mh＜B；
其中，M’h为较小连通域的高度值，M’y为较小连通域边框左上角的纵坐标，My为最大连通域边框左上角的纵坐标，Mh为最大连通域的高度值，其中，B＝0.1；
条件3：较小连通域的重心点纵坐标高于最大连通域的上边界；
M’cy＜My；
其中，M’cy为较小连通域的重心点纵坐标，My为最大连通域边框左上角的纵坐标；
条件4：最大连通域的面积值和较小连通域的面积值的比值大于阈值C1且小于阈值C2；
其中，SM为最大连通域的面积值，S’M为较小连通域的面积值，其中C1＝7、C2＝14。
4.根据权利要求1所述的基于改进的孪生神经网络的携带物检测与步态识别方法，其特征在于，步骤3中所述的利用改进的孪生神经网络进行携带物检测与步态识别的方法为：
步骤3.1：建立改进的孪生神经网络结构模型；改进的孪生神经网络结构模型包括两个相同的子网络，每个子网络包包含三层的卷积层，两个子网络的输出结果输出到全连接神经网络层，最终由全卷积神经网络层输出最终结果；
步骤3.2：生成改进的孪生神经网络的训练集，具体采用以下方法：
在步骤2中合成前段视频和后段视频的步态能量图中分别随机选择一张组成一对图片，
若这对图片属于同一人的相同携带状态，则记为
定义其标签(0,0)；
若这对图片属于同一人的不同携带状态，则记为
定义其标签(0,1)；
若这对图片属于不同人的相同携带状态，则记为
定义其标签(1,0)；
若这对图片属于不同人的不同携带状态，则记为
定义其标签(1,1)；
其中，
表示某一人拍摄时刻的携带状态，上标i,j表示不同的携带状态，下表s,x表示不同人，没有实际含义；
步骤3.3：定义损失函数，利用步骤3.2所述的训练集训练步骤3.1所述的改进的孪生神经网络结构模型，具体的，包括以下步骤：
定义两张图片的输出特征分别为Fa1、Fa2和Fb1、Fb2；其中，下标a和b表示此特征来自不同的图片，下标1表示提取的是否同一人特征，下标2表示提取的是否携带改变特征；它们相似度使用欧式距离来表示，记作D(Fa1,Fb1)与D(Fa2,Fb2)；
针对输入孪生神经网络的两张图片是否是同一个人的损失函数L1定义如下：
针对输入孪生神经网络的两张图片是否存在携带状态改变的损失函数L2定义如下：
最终定义损失函数L＝L1+L2；
其中，Y1,Y2分别为是否同一人、是否携带改变的标签；
步骤3.4：将步骤2中合成前段视频和后段视频的步态能量图中分别随机选择一张组成一对图片，将这对图片作为输入，输入改进的孪生神经网络，并由孪生神经网络输出是否为同一人的步态识别结果和携带状态是否改变的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910998019.2A CN110765925B (zh) | 2019-10-18 | 2019-10-18 | 基于改进的孪生神经网络的携带物检测与步态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910998019.2A CN110765925B (zh) | 2019-10-18 | 2019-10-18 | 基于改进的孪生神经网络的携带物检测与步态识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110765925A true CN110765925A (zh) | 2020-02-07 |
| CN110765925B CN110765925B (zh) | 2023-05-09 |
Family
ID=69331227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910998019.2A Active CN110765925B (zh) | 2019-10-18 | 2019-10-18 | 基于改进的孪生神经网络的携带物检测与步态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110765925B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633222A (zh) * | 2020-12-30 | 2021-04-09 | 民航成都电子技术有限责任公司 | 基于对抗网络的步态识别方法、装置、设备及介质 |
| CN115984263A (zh) * | 2023-03-15 | 2023-04-18 | 三峡智控科技有限公司 | 基于改进型孪生神经网络的螺栓松动检测算法及检测系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106539587A (zh) * | 2016-12-08 | 2017-03-29 | 浙江大学 | 一种基于多运动传感器的跌倒风险评估以及监测系统及评估方法 |
| US9633268B1 (en) * | 2015-12-18 | 2017-04-25 | Beijing University Of Posts And Telecommunications | Method and device for gait recognition |
| CN109766838A (zh) * | 2019-01-11 | 2019-05-17 | 哈尔滨工程大学 | 一种基于卷积神经网络的步态周期检测方法 |
-
2019
- 2019-10-18 CN CN201910998019.2A patent/CN110765925B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9633268B1 (en) * | 2015-12-18 | 2017-04-25 | Beijing University Of Posts And Telecommunications | Method and device for gait recognition |
| CN106539587A (zh) * | 2016-12-08 | 2017-03-29 | 浙江大学 | 一种基于多运动传感器的跌倒风险评估以及监测系统及评估方法 |
| CN109766838A (zh) * | 2019-01-11 | 2019-05-17 | 哈尔滨工程大学 | 一种基于卷积神经网络的步态周期检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 沈雁等: "基于改进深度孪生网络的分类器及其应用", 《计算机工程与应用》 * |
| 王献锋等: "基于加权局部判别CCA的多视角步态识别方法", 《计算机工程与应用》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633222A (zh) * | 2020-12-30 | 2021-04-09 | 民航成都电子技术有限责任公司 | 基于对抗网络的步态识别方法、装置、设备及介质 |
| CN112633222B (zh) * | 2020-12-30 | 2023-04-28 | 民航成都电子技术有限责任公司 | 基于对抗网络的步态识别方法、装置、设备及介质 |
| CN115984263A (zh) * | 2023-03-15 | 2023-04-18 | 三峡智控科技有限公司 | 基于改进型孪生神经网络的螺栓松动检测算法及检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110765925B (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Singh et al. | Vision-based gait recognition: A survey | |
| CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
| Zeng et al. | Silhouette-based gait recognition via deterministic learning | |
| CN109949341B (zh) | 一种基于人体骨架结构化特征的行人目标跟踪方法 | |
| Yao et al. | Robust gait recognition using hybrid descriptors based on skeleton gait energy image | |
| CN109902565B (zh) | 多特征融合的人体行为识别方法 | |
| CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
| CN103049758A (zh) | 融合步态光流图和头肩均值形状的远距离身份验证方法 | |
| CN104463099B (zh) | 一种基于图的半监督耦合度量的多角度步态识别方法 | |
| CN109919137B (zh) | 一种行人结构化特征表达方法 | |
| CN111476077A (zh) | 一种基于深度学习的多视角步态识别方法 | |
| CN106909890A (zh) | 一种基于部位聚类特征的人体行为识别方法 | |
| CN112989889A (zh) | 一种基于姿态指导的步态识别方法 | |
| CN115462783A (zh) | 一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统 | |
| CN110765925B (zh) | 基于改进的孪生神经网络的携带物检测与步态识别方法 | |
| Bhargavas et al. | Human identification using gait recognition | |
| CN115346272A (zh) | 基于深度图像序列的实时摔倒检测方法 | |
| CN107862298A (zh) | 一种基于红外摄像装置下眨眼的活体检测方法 | |
| Liu et al. | Gender recognition using dynamic gait energy image | |
| CN117173792A (zh) | 一种基于三维人体骨架的多人步态识别系统 | |
| CN105260718B (zh) | 一种基于光流场的步态识别方法 | |
| CN110111368B (zh) | 一种基于人体姿态识别的相似移动目标的检测跟踪方法 | |
| Arigbabu et al. | Estimating body related soft biometric traits in video frames | |
| CN104331705B (zh) | 融合时空信息的步态周期自动检测方法 | |
| CN112613430B (zh) | 一种基于深度迁移学习的步态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |