CN112487903B - 基于对抗网络的步态数据生成方法及设备 - Google Patents
基于对抗网络的步态数据生成方法及设备 Download PDFInfo
- Publication number
- CN112487903B CN112487903B CN202011317734.4A CN202011317734A CN112487903B CN 112487903 B CN112487903 B CN 112487903B CN 202011317734 A CN202011317734 A CN 202011317734A CN 112487903 B CN112487903 B CN 112487903B
- Authority
- CN
- China
- Prior art keywords
- gait
- network
- image sets
- layer
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005021 gait Effects 0.000 title claims abstract description 199
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012545 processing Methods 0.000 claims description 140
- 238000011176 pooling Methods 0.000 claims description 28
- 230000002776 aggregation Effects 0.000 claims description 16
- 238000004220 aggregation Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 238000011282 treatment Methods 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000011221 initial treatment Methods 0.000 claims description 4
- 230000001737 promoting effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 16
- 238000002372 labelling Methods 0.000 abstract description 7
- 230000000295 complement effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 11
- 238000011423 initialization method Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种基于对抗网络的步态数据生成方法及设备。所述方法包括：获取目标对象的若干第一步态图片集，将若干第一步态图片集输入生成网络，得到若干第二步态图片集，将第一步态图片集与第二步态图片集输入第一对抗网络进行比对，若比对结果小于预定阈值，则得到第二对抗网络，并确定生成网络为实用级生成网络；采用第二对抗网络及实用级生成网络，获取目标对象的任意若干张步态图片集的步态数据。本发明实施例提供的基于对抗网络的步态数据生成方法，可以在采集的步态图中只有少量图片的情况下，对目标对象的步态序列图进行补齐；对于大量步态样本的采集和标注起到了很好的弥补作用，降低了经济成本。
Description
技术领域
本发明实施例涉及模式识别技术领域，尤其涉及一种基于对抗网络的步态数据生成方法及设备。
背景技术
目前在人工智能的安防应用领域，人脸识别普及度很高，但受到诸如带口罩、带帽子、带墨镜等因素的影响，一旦摄像头没有捕捉到嫌疑人面部特征，或捕捉到的面部特征比较模糊，往往对案件侦破造成较大困难。步态识别旨在通过人们走路的姿态进行身份识别，具有非接触远距离和不容易伪装的优点。但是，步态识别模型在训练过程中需要更多标注样本作为支撑才能训练出更好的模型，而大量样本的采集和标注往往比较困难，那么如何快速获取有价值的步态标注样本成为亟待解决的问题。因此，开发一种基于对抗网络的步态数据生成方法及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。
发明内容
针对现有技术存在的上述问题，本发明实施例提供了一种基于对抗网络的步态数据生成方法及设备。
第一方面，本发明的实施例提供了一种基于对抗网络的步态数据生成方法，包括：获取目标对象的若干第一步态图片集，将所述若干第一步态图片集输入生成网络，得到若干第二步态图片集，将第一步态图片集与所述第二步态图片集输入第一对抗网络进行比对，若比对结果小于预定阈值，则得到第二对抗网络，并确定所述生成网络为实用级生成网络；采用所述第二对抗网络及实用级生成网络，获取所述目标对象的任意若干张步态图片集的步态数据。
在上述方法实施例内容的基础上，本发明实施例中提供的基于对抗网络的步态数据生成方法，所述生成网络包括：第一输入层，用于输入所述若干第一步态图片集；第一卷积处理层集合，用于对输入的所述若干第一步态图片集进行卷积处理，得到一次处理后的若干第一步态图片集；第二卷积处理层集合，用于对所述一次处理后的若干第一步态图片集再次进行卷积处理，得到二次处理后的若干第一步态图片集；第三卷积处理层集合，用于对所述二次处理后的若干第一步态图片集再次进行卷积处理，得到三次处理后的若干第一步态图片集；全局卷积处理层，用于卷积处理第一集合池化层和第二集合池化层统计的数据；第一集合池化层，用于对所述一次处理后的若干第一步态图片集进行统计；第二集合池化层，用于对所述二次处理后的若干第一步态图片集进行统计；第三集合池化层，用于对所述三次处理后的若干第一步态图片集进行统计；链接层，用于将所述第三集合池化层输出的数据与全局卷积处理层输出的数据进行链接；第一反卷积处理层集合，用于将所述链接层输出的数据进行反卷积解码；第二反卷积处理层集合，用于将所述第一反卷积处理层集合输出的数据进行反卷积解码；第三反卷积处理层集合，用于将所述第二反卷积处理层集合输出的数据进行反卷积解码；第一输出层，用于将所述第三反卷积处理层集合反卷积解码后的数据进行输出。
在上述方法实施例内容的基础上，本发明实施例中提供的基于对抗网络的步态数据生成方法，所述第一对抗网络或第二对抗网络，包括：第二输入层，用于输入所述若干第二步态图片集；第四卷积处理层集合，用于对输入的所述若干第二步态图片集进行卷积处理，得到一次处理后的若干第二步态图片集；第五卷积处理层集合，用于对所述一次处理后的若干第二步态图片集再次进行卷积处理，得到二次处理后的若干第二步态图片集；第六卷积处理层集合，用于对所述二次处理后的若干第二步态图片集再次进行卷积处理，得到三次处理后的若干第二步态图片集；压平层，用于将所述三次处理后的若干第二步态图片集转换为一维向量；稠密层，用于将所述一维向量转换为标量；第二输出层，用于将所述标量转换为闭区间标量，并将所述闭区间标量输出。
在上述方法实施例内容的基础上，本发明实施例中提供的基于对抗网络的步态数据生成方法，采用交叉熵损失函数计算所述生成网络的损失值或第一对抗网络的损失值，若所述生成网络的损失值或第一对抗网络的损失值小于所述预定阈值，则相应地确定所述生成网络为实用级生成网络，或相应地确定所述第一对抗网络为所述第二对抗网络。
第二方面，本发明的实施例提供了一种基于对抗网络的步态数据生成装置，包括：
对抗网络获取模块，用于获取目标对象的若干第一步态图片集，将所述若干第一步态图片集输入生成网络，得到若干第二步态图片集，将第一步态图片集与所述第二步态图片集输入第一对抗网络进行比对，若比对结果小于预定阈值，则得到第二对抗网络，并确定所述生成网络为实用级生成网络；
步态数据获取模块，用于采用所述第二对抗网络及实用级生成网络，获取所述目标对象的任意若干张步态图片集的步态数据。
第三方面，本发明的实施例提供了一种电子设备，包括：
至少一个处理器；以及
与处理器通信连接的至少一个存储器，其中：
存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种实现方式中任一种实现方式所提供的基于对抗网络的步态数据生成方法。
第四方面，本发明的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种实现方式中任一种实现方式所提供的基于对抗网络的步态数据生成方法。
本发明实施例提供的基于对抗网络的步态数据生成方法及设备，通过采用生成网络和对抗网络对目标对象的步态数据进行获取，可以在采集的步态图中只有少量图片的情况下，对目标对象的步态序列图进行补齐；对于大量步态样本的采集和标注起到了很好的弥补作用，降低了经济成本，节省了开销投入。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于对抗网络的步态数据生成方法流程图；
图2为本发明实施例提供的基于对抗网络的步态数据生成装置结构示意图；
图3为本发明实施例提供的生成网络模型结构示意图；
图4为本发明实施例提供的对抗网络模型结构示意图；
图5为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
通过对行人的完整的M张步态图片序列样本中提取出N（M>N>1）张同一行人的步态图片序列，在生成网络模型的推理作用下生成M张生成步态图片序列，然后分别对A的样本步态图片序列和生成步态图片序列使用对抗网络模型进行鉴别，使得样本步态图片序列获取的得分Score尽量高一些，对生成步态图片序列获取的得分Score尽量低一些。每次这样循环迭代，使用随机梯度下降法生成网络不断优化网络参数，使对抗网络无法区分真假，而促使对抗网络也在不断优化网络参数，提高网络辨识度，让样本步态图片序列和生成步态图片序列的得分Score有差距。最终在生成对抗网络模型中，生成网络模型的生成步态图片序列以假乱真，对抗网络模型输出的得分接近于0.5，即表示真假样本难以区分，训练成功。然后使用上述所生成的生成网络模型对N（N为大于1小于M的任意值）张步态图片序列进行生成M张标准的步态图片序列，以增加样本的数据量和完备性。基于这种思想，本发明实施例提供了一种基于对抗网络的步态数据生成方法，参见图1，该方法包括：获取目标对象的若干第一步态图片集，将所述若干第一步态图片集输入生成网络，得到若干第二步态图片集，将第一步态图片集与所述第二步态图片集输入第一对抗网络进行比对，若比对结果小于预定阈值，则得到第二对抗网络，并确定所述生成网络为实用级生成网络；采用所述第二对抗网络及实用级生成网络，获取所述目标对象的任意若干张步态图片集的步态数据。
具体地，从视频中采集的同一行人的步态图片集，对于不同视角或连续步态，只有N（M>N>1）张图片，不足以满足步态识别模型的训练要求，至少需要M张步态图片序列，那么对采集的N张步态图片序列进行处理。对于步态完整性进行说明，指一张步态图片可能的不同视角，在此处可以分为10个角度，两张相邻视角的图片角度差为18度，此处的角度指的是水平视角，也可以是俯视角等等；指的是步态的连续性，即在同一视频中同一行人行走过程中有可能只有断断续续的少量步态图片，中间可能有间隔，连续性就是获取被间隔的步态图片；使用离线训练的生成对抗网络模型中的生成网络推理生成完整的步态图片序列。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于对抗网络的步态数据生成方法，所述生成网络包括：第一输入层，用于输入所述若干第一步态图片集；第一卷积处理层集合，用于对输入的所述若干第一步态图片集进行卷积处理，得到一次处理后的若干第一步态图片集；第二卷积处理层集合，用于对所述一次处理后的若干第一步态图片集再次进行卷积处理，得到二次处理后的若干第一步态图片集；第三卷积处理层集合，用于对所述二次处理后的若干第一步态图片集再次进行卷积处理，得到三次处理后的若干第一步态图片集；全局卷积处理层，用于卷积处理第一集合池化层和第二集合池化层统计的数据；第一集合池化层，用于对所述一次处理后的若干第一步态图片集进行统计；第二集合池化层，用于对所述二次处理后的若干第一步态图片集进行统计；第三集合池化层，用于对所述三次处理后的若干第一步态图片集进行统计；链接层，用于将所述第三集合池化层输出的数据与全局卷积处理层输出的数据进行链接；第一反卷积处理层集合，用于将所述链接层输出的数据进行反卷积解码；第二反卷积处理层集合，用于将所述第一反卷积处理层集合输出的数据进行反卷积解码；第三反卷积处理层集合，用于将所述第二反卷积处理层集合输出的数据进行反卷积解码；第一输出层，用于将所述第三反卷积处理层集合反卷积解码后的数据进行输出。
具体可以参见图3，第一输入层301（分别为Input1至InputN），输入N（M>N>1）张步态轮廓图，其大小为统一大小W0xH0xC0；第一卷积处理层集合302包括Conv Package11、Conv Package12、…、 Conv Package1N，分别对输入层N张图片进行处理，其卷积层ConvPackage1*分为卷积层、批归一化层和LRelu激活层组成，其卷积层的参数为64个5x5大小的卷积核，步长stride为2且无填充，参数初始化方法为Xavier初始化；第二卷积处理层集合303包括Conv Package21、Conv Package22、…、 ConvPackage2N，分别对输入层N张图片进行处理，其卷积层Conv Package2*分为卷积层、批归一化层和LRelu激活层组成，其卷积层的参数为128个5x5大小的卷积核，步长stride为2，无填充，参数初始化方法为Xavier初始化；第三卷积处理层集合304包括Conv Package31、Conv Package32、…、 Conv Package3N，分别对输入层N张图片进行处理，其卷积层Conv Package3*分为卷积层、批归一化层和LRelu激活层组成，其卷积层的参数为256个3x3大小的卷积核，步长stride为2，无填充，参数初始化方法为Xavier初始化；全局卷积处理层305中的Conv Package2S与第二卷积处理层集合303中的Conv Package2N的参数一样，Conv Package3S与第二卷积处理层集合303中的Conv Package3N的参数一样；第一集合池化层306的SP为对第一卷积处理层集合302处理后的数据进行统计处理，对其取最大值、均值和方差等操作后在进行1x1的卷积层操作，从而完成统计处理；第二集合池化层307的SP为对第二卷积处理层集合303处理后的数据进行统计处理，对其取最大值、均值和方差等操作后在进行1x1的卷积层操作，从而完成统计处理；第三集合池化层308的SP为对第三卷积处理层集合304处理后的数据进行统计处理，对其取最大值、均值和方差等操作后在进行1x1的卷积层操作，从而完成统计处理；链接层309将第三集合池化层308处理过后的数据和全局卷积处理层305处理过后的数据按通道连接起来，这样做可以将各个图像编码后的统计特征和统计后编码的特征结合起来，对后期解码提供更加丰富的特征，对后期清晰图像的生成起到了关键作用。第一反卷积处理层集合310将链接层309连接后的编码特征进行解码，即使用反卷积网络进行特征的放大，第一个反卷积层集合Deconv Package41、Deconv Package42、…、 Deconv Package4M，网络结构由反卷积层、BN批量归一化层和PRelu层组成，其反卷积层参数为128个3x3大小的卷积核，步长stride为2且无填充，参数初始化方法为Xavier初始化；第二反卷积处理层集合311将第一反卷积处理层集合310使用反卷积网络进行特征的放大后，第二个反卷积层集合DeconvPackage51、Deconv Package52、…、 Deconv Package5M，网络结构由反卷积层、BN批量归一化层和PRelu层组成，其反卷积层参数为64个5x5大小的卷积核，步长stride为2，无填充，参数初始化方法为Xavier初始化；第三反卷积处理层集合312将第二反卷积处理层集合311使用反卷积网络进行特征的放大后，第三个反卷积层集合Deconv Package61、DeconvPackage62、…、 Deconv Package6M，网络进行特征的放大，第一个反卷积网络结构由反卷积层、BN批量归一化层和PRelu层组成，其反卷积层参数为C0个5x5大小的卷积核，步长stride为2且无填充，参数初始化方法为Xavier初始化；第一输出层313（分别为Output1至OutputM）输出的M个图像，其尺寸与输入图像一样大，尺寸为W0xH0xC0。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于对抗网络的步态数据生成方法，所述第一对抗网络或第二对抗网络，包括：第二输入层，用于输入所述若干第二步态图片集；第四卷积处理层集合，用于对输入的所述若干第二步态图片集进行卷积处理，得到一次处理后的若干第二步态图片集；第五卷积处理层集合，用于对所述一次处理后的若干第二步态图片集再次进行卷积处理，得到二次处理后的若干第二步态图片集；第六卷积处理层集合，用于对所述二次处理后的若干第二步态图片集再次进行卷积处理，得到三次处理后的若干第二步态图片集；压平层，用于将所述三次处理后的若干第二步态图片集转换为一维向量；稠密层，用于将所述一维向量转换为标量；第二输出层，用于将所述标量转换为闭区间标量，并将所述闭区间标量输出。
具体可以参见图4，第二输入层401（分别为Input11至Input1M）对M张步态轮廓图片进行输入；第四卷积处理层集合402包括Conv1-1、Conv1-2、…、 Conv1-M，分别对输入层M张图片进行处理，其卷积层Conv1-*分为卷积层、LRelu激活层和DropOut层组成，其卷积层的参数为64个5x5大小的卷积核，步长stride为2且无填充，参数初始化方法为Xavier初始化；DropOut层dropout比率为0.5；第五卷积处理层集合403包括Conv2-1、Conv2-2、…、Conv2-M，分别对输入层M张图片进行处理，其卷积层Conv2-*分为卷积层、LRelu激活层和DropOut层组成，其卷积层的参数为128个5x5大小的卷积核，步长stride为2且无填充，参数初始化方法为Xavier初始化；DropOut层dropout比率为0.5；第六卷积处理层集合404包括Conv3-1、Conv3-2、…、 Conv3-M，分别对输入层M张图片进行处理，其卷积层Conv3-*分为卷积层、LRelu激活层和DropOut层组成，其卷积层的参数为256个3x3大小的卷积核，步长stride为2且无填充，参数初始化方法为Xavier初始化；DropOut层dropout比率为0.5；压平层405（分别为Flatten11至Flatten1M）将第六卷积处理层集合404处理后的图片集转换为一维向量；稠密层406（分别为Dense1至DenseM）将压平层405处理后的一维向量转化为标量，用来判定其是接近0还是接近1，即鉴别真伪；第二输出层407（分别为Output11至Output1M）为sigmoid激活层，将稠密层406输出值转换为一个[0, 1]的闭区间的标量，用来判定M张生成图片序列是否与M张样本图片序列能否区分开,最后经过Output408进行总输出。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于对抗网络的步态数据生成方法，采用交叉熵损失函数计算所述生成网络的损失值或第一对抗网络的损失值，若所述生成网络的损失值或第一对抗网络的损失值小于所述预定阈值，则相应地确定所述生成网络为实用级生成网络，或相应地确定所述第一对抗网络为所述第二对抗网络。
具体地，鉴别结果分数，样本步态图片序列获取的得分尽量高一些，对生成步态图片序列获取的得分尽量低一些；使用交叉熵损失函数计算出生成网络模型和对抗网络模型的损失值lossG和lossD，然后再使用随机梯度下降法对两个网络模型的参数进行更新，直到达到损失值始终处于0.5左右（即预设阈值），达到无法区分生成图片序列和样本图片序列即无法鉴别真伪即可。从而获取生成网络模型和对抗网络模型。输入N（M>N>1）张的人形步态图片，输入生成网络模型及对抗网络模型，从而生成M张人形步态图片序列。此对抗网络模型既可以对步态角度样本不足进行训练，也可以对步态连续样本不足进行训练，起到克服步态样本难以获取的作用。
本发明实施例提供的基于对抗网络的步态数据生成方法，通过采用生成网络和对抗网络对目标对象的步态数据进行获取，可以在采集的步态图中只有少量图片的情况下，对目标对象的步态序列图进行补齐；对于大量步态样本的采集和标注起到了很好的弥补作用，降低了经济成本，节省了开销投入。
本发明各个实施例的实现基础是通过具有处理器功能的设备进行程序化的处理实现的。因此在工程实际中，可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况，在上述各实施例的基础上，本发明的实施例提供了一种基于对抗网络的步态数据生成装置，该装置用于执行上述方法实施例中的基于对抗网络的步态数据生成方法。参见图2，该装置包括：
对抗网络获取模块，用于获取目标对象的若干第一步态图片集，将所述若干第一步态图片集输入生成网络，得到若干第二步态图片集，将第一步态图片集与所述第二步态图片集输入第一对抗网络进行比对，若比对结果小于预定阈值，则得到第二对抗网络，并确定所述生成网络为实用级生成网络；
步态数据获取模块，用于采用所述第二对抗网络及实用级生成网络，获取所述目标对象的任意若干张步态图片集的步态数据。
本发明实施例提供的基于对抗网络的步态数据生成装置，采用图2中的各种模块，通过采用生成网络和对抗网络对目标对象的步态数据进行获取，可以在采集的步态图中只有少量图片的情况下，对目标对象的步态序列图进行补齐；对于大量步态样本的采集和标注起到了很好的弥补作用，降低了经济成本，节省了开销投入。
需要说明的是，本发明提供的装置实施例中的装置，除了可以用于实现上述方法实施例中的方法外，还可以用于实现本发明提供的其他方法实施例中的方法，区别仅仅在于设置相应的功能模块，其原理与本发明提供的上述装置实施例的原理基本相同，只要本领域技术人员在上述装置实施例的基础上，参考其他方法实施例中的具体技术方案，通过组合技术特征获得相应的技术手段，以及由这些技术手段构成的技术方案，在保证技术方案具备实用性的前提下，就可以对上述装置实施例中的装置进行改进，从而得到相应的装置类实施例，用于实现其他方法类实施例中的方法。例如：
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于对抗网络的步态数据生成装置，还包括：第二模块，用于采用交叉熵损失函数计算所述生成网络的损失值或第一对抗网络的损失值，若所述生成网络的损失值或第一对抗网络的损失值小于所述预定阈值，则相应地确定所述生成网络为实用级生成网络，或相应地确定所述第一对抗网络为所述第二对抗网络。
本发明实施例的方法是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图5所示，该电子设备包括：至少一个处理器(processor)501、通信接口(Communications Interface)504、至少一个存储器(memory)502和通信总线503，其中，至少一个处理器501，通信接口504，至少一个存储器502通过通信总线503完成相互间的通信。至少一个处理器501可以调用至少一个存储器502中的逻辑指令，以执行前述各个方法实施例提供的方法的全部或部分步骤。
此外，上述的至少一个存储器502中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个方法实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本专利中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (4)
1.一种基于对抗网络的步态数据生成方法，其特征在于，包括：
获取目标对象的N张第一步态图片集，将所述N张第一步态图片集输入生成网络，得到M张第二步态图片集，将第一步态图片集与所述第二步态图片集输入第一对抗网络进行比对，若比对结果小于预定阈值，则得到第二对抗网络，并确定所述生成网络为实用级生成网络，每次这样循环迭代，使用随机梯度下降法生成网络不断优化网络参数，使对抗网络无法区分真假，而促使对抗网络也在不断优化网络参数，提高网络辨识度；
采用交叉熵损失函数计算所述生成网络的损失值或第一对抗网络的损失值，若所述生成网络的损失值或第一对抗网络的损失值小于所述预定阈值，达到无法区分生成图片序列和样本图片序列即无法鉴别真伪，则相应地确定所述生成网络为实用级生成网络，或相应地确定所述第一对抗网络为所述第二对抗网络；
采用所述第二对抗网络及实用级生成网络，获取所述目标对象的任意多张步态图片集的步态数据，M>N>1；
所述生成网络包括：
第一输入层，用于输入所述N张第一步态图片集；
第一卷积处理层集合，用于对输入的所述N张第一步态图片集进行卷积处理，得到一次处理后的N张第一步态图片集；
第二卷积处理层集合，用于对所述一次处理后的N张第一步态图片集再次进行卷积处理，得到二次处理后的N张第一步态图片集；
第三卷积处理层集合，用于对所述二次处理后的N张第一步态图片集再次进行卷积处理，得到三次处理后的N张第一步态图片集；
全局卷积处理层，用于卷积处理第一集合池化层和第二集合池化层统计的数据；
第一集合池化层，用于对所述一次处理后的N张第一步态图片集进行统计；
第二集合池化层，用于对所述二次处理后的N张第一步态图片集进行统计；
第三集合池化层，用于对所述三次处理后的N张第一步态图片集进行统计；
链接层，用于将所述第三集合池化层输出的数据与全局卷积处理层输出的数据进行链接；
第一反卷积处理层集合，用于将所述链接层输出的数据进行反卷积解码；
第二反卷积处理层集合，用于将所述第一反卷积处理层集合输出的数据进行反卷积解码；
第三反卷积处理层集合，用于将所述第二反卷积处理层集合输出的数据进行反卷积解码；
第一输出层，用于将所述第三反卷积处理层集合反卷积解码后的数据进行输出；
所述第一对抗网络或第二对抗网络，包括：
第二输入层，用于输入所述M张第二步态图片集；
第四卷积处理层集合，用于对输入的所述M张第二步态图片集进行卷积处理，得到一次处理后的M张第二步态图片集；
第五卷积处理层集合，用于对所述一次处理后的M张第二步态图片集再次进行卷积处理，得到二次处理后的M张第二步态图片集；
第六卷积处理层集合，用于对所述二次处理后的M张第二步态图片集再次进行卷积处理，得到三次处理后的M张第二步态图片集；
压平层，用于将所述三次处理后的M张第二步态图片集转换为一维向量；
稠密层，用于将所述一维向量转换为标量；
第二输出层，用于将所述标量转换为闭区间标量，并将所述闭区间标量输出。
2.一种基于对抗网络的步态数据生成装置，其特征在于，包括：
对抗网络获取模块，用于获取目标对象的N张第一步态图片集，将所述N张第一步态图片集输入生成网络，得到M张第二步态图片集，将第一步态图片集与所述第二步态图片集输入第一对抗网络进行比对，若比对结果小于预定阈值，则得到第二对抗网络，并确定所述生成网络为实用级生成网络，
每次这样循环迭代，使用随机梯度下降法生成网络不断优化网络参数，使对抗网络无法区分真假，而促使对抗网络也在不断优化网络参数，提高网络辨识度；
采用交叉熵损失函数计算所述生成网络的损失值或第一对抗网络的损失值，若所述生成网络的损失值或第一对抗网络的损失值小于所述预定阈值，达到无法区分生成图片序列和样本图片序列即无法鉴别真伪，则相应地确定所述生成网络为实用级生成网络，或相应地确定所述第一对抗网络为所述第二对抗网络；
步态数据获取模块，用于采用所述第二对抗网络及实用级生成网络，获取所述目标对象的任意多张步态图片集的步态数据，M>N>1；
所述生成网络包括：
第一输入层，用于输入所述N张第一步态图片集；
第一卷积处理层集合，用于对输入的所述N张第一步态图片集进行卷积处理，得到一次处理后的N张第一步态图片集；
第二卷积处理层集合，用于对所述一次处理后的N张第一步态图片集再次进行卷积处理，得到二次处理后的N张第一步态图片集；
第三卷积处理层集合，用于对所述二次处理后的N张第一步态图片集再次进行卷积处理，得到三次处理后的N张第一步态图片集；
全局卷积处理层，用于卷积处理第一集合池化层和第二集合池化层统计的数据；
第一集合池化层，用于对所述一次处理后的N张第一步态图片集进行统计；
第二集合池化层，用于对所述二次处理后的N张第一步态图片集进行统计；
第三集合池化层，用于对所述三次处理后的N张第一步态图片集进行统计；
链接层，用于将所述第三集合池化层输出的数据与全局卷积处理层输出的数据进行链接；
第一反卷积处理层集合，用于将所述链接层输出的数据进行反卷积解码；
第二反卷积处理层集合，用于将所述第一反卷积处理层集合输出的数据进行反卷积解码；
第三反卷积处理层集合，用于将所述第二反卷积处理层集合输出的数据进行反卷积解码；
第一输出层，用于将所述第三反卷积处理层集合反卷积解码后的数据进行输出；
所述第一对抗网络或第二对抗网络，包括：
第二输入层，用于输入所述M张第二步态图片集；
第四卷积处理层集合，用于对输入的所述M张第二步态图片集进行卷积处理，得到一次处理后的M张第二步态图片集；
第五卷积处理层集合，用于对所述一次处理后的M张第二步态图片集再次进行卷积处理，得到二次处理后的M张第二步态图片集；
第六卷积处理层集合，用于对所述二次处理后的M张第二步态图片集再次进行卷积处理，得到三次处理后的M张第二步态图片集；
压平层，用于将所述三次处理后的M张第二步态图片集转换为一维向量；
稠密层，用于将所述一维向量转换为标量；
第二输出层，用于将所述标量转换为闭区间标量，并将所述闭区间标量输出。
3.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器和通信接口；其中，
所述处理器、存储器和通信接口相互间进行通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行权利要求1所述的方法。
4.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011317734.4A CN112487903B (zh) | 2020-11-23 | 2020-11-23 | 基于对抗网络的步态数据生成方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011317734.4A CN112487903B (zh) | 2020-11-23 | 2020-11-23 | 基于对抗网络的步态数据生成方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112487903A CN112487903A (zh) | 2021-03-12 |
| CN112487903B true CN112487903B (zh) | 2023-07-04 |
Family
ID=74932726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011317734.4A Active CN112487903B (zh) | 2020-11-23 | 2020-11-23 | 基于对抗网络的步态数据生成方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112487903B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114120076B (zh) * | 2022-01-24 | 2022-04-29 | 武汉大学 | 基于步态运动估计的跨视角视频步态识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109345507A (zh) * | 2018-08-24 | 2019-02-15 | 河海大学 | 一种基于迁移学习的大坝图像裂缝检测方法 |
| CN111862294A (zh) * | 2020-07-31 | 2020-10-30 | 天津大学 | 基于ArcGAN网络的手绘3D建筑自动上色网络结构及方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201113143D0 (en) * | 2011-07-29 | 2011-09-14 | Univ Ulster | Gait recognition methods and systems |
| CN105574510A (zh) * | 2015-12-18 | 2016-05-11 | 北京邮电大学 | 一种步态识别方法及装置 |
| US9984284B2 (en) * | 2016-09-19 | 2018-05-29 | King Fahd University Of Petroleum And Minerals | Apparatus and method for gait recognition |
| CN108960086B (zh) * | 2018-06-20 | 2021-06-04 | 电子科技大学 | 基于生成对抗网络正样本增强的多姿态人体目标跟踪方法 |
| CN111144167A (zh) * | 2018-11-02 | 2020-05-12 | 银河水滴科技（北京）有限公司 | 一种步态信息识别优化方法、系统及存储介质 |
| CN109753935A (zh) * | 2019-01-09 | 2019-05-14 | 中南大学 | 一种基于生成对抗图像补全网络的步态识别方法 |
| CN111639580B (zh) * | 2020-05-25 | 2023-07-18 | 浙江工商大学 | 一种结合特征分离模型和视角转换模型的步态识别方法 |
-
2020
- 2020-11-23 CN CN202011317734.4A patent/CN112487903B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109345507A (zh) * | 2018-08-24 | 2019-02-15 | 河海大学 | 一种基于迁移学习的大坝图像裂缝检测方法 |
| CN111862294A (zh) * | 2020-07-31 | 2020-10-30 | 天津大学 | 基于ArcGAN网络的手绘3D建筑自动上色网络结构及方法 |
Non-Patent Citations (2)
| Title |
|---|
| Deep Learning Technic on Gait Analysis;P.Privietha;《Testing Engineering * Management》;第83卷;第11817-11823页 * |
| GaitSet: Regarding Gait as a Set for Cross-View Gait Recognition;Hanqing Chao;《AAAI Technical Track: Vision》;第33卷(第01期);第8126-8133页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112487903A (zh) | 2021-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444881B (zh) | 伪造人脸视频检测方法和装置 | |
| CN109325954B (zh) | 图像分割方法、装置及电子设备 | |
| CN109190470B (zh) | 行人重识别方法及装置 | |
| KR102338372B1 (ko) | 영상으로부터 객체를 분할하는 방법 및 장치 | |
| CN110188829B (zh) | 神经网络的训练方法、目标识别的方法及相关产品 | |
| CN111475797A (zh) | 一种对抗图像生成方法、装置、设备以及可读存储介质 | |
| CN110569731A (zh) | 一种人脸识别方法、装置及电子设备 | |
| US20190138850A1 (en) | Weakly-supervised spatial context networks | |
| CN111067522A (zh) | 大脑成瘾结构图谱评估方法及装置 | |
| CN112528764A (zh) | 人脸表情识别方法、系统、装置及可读存储介质 | |
| CN112487903B (zh) | 基于对抗网络的步态数据生成方法及设备 | |
| CN111860056B (zh) | 基于眨眼的活体检测方法、装置、可读存储介质及设备 | |
| CN109101858B (zh) | 动作识别方法及装置 | |
| CN111723688B (zh) | 人体动作识别结果的评价方法、装置和电子设备 | |
| CN110807380B (zh) | 一种人体关键点检测方法及装置 | |
| CN116958306A (zh) | 图像合成方法和装置、存储介质及电子设备 | |
| CN113554685A (zh) | 遥感卫星运动目标检测方法、装置、电子设备及存储介质 | |
| CN111931148A (zh) | 图像处理方法、装置和电子设备 | |
| Dhar et al. | Detecting deepfake images using deep convolutional neural network | |
| CN113052827B (zh) | 基于多分支扩张卷积神经网络的人群计数方法及系统 | |
| CN113487622B (zh) | 头颈部器官影像分割方法、装置、电子设备和存储介质 | |
| CN117951673B (zh) | 一种反ai诈骗的方法、电子设备 | |
| CN117496582B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
| CN112329606B (zh) | 一种活体检测方法、装置、电子设备及可读存储介质 | |
| CN111985510B (zh) | 生成模型训练方法、图像生成方法及装置、介质、终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |