CN110135336B - 行人生成模型的训练方法、装置及存储介质 - Google Patents

行人生成模型的训练方法、装置及存储介质 Download PDF

Info

Publication number
CN110135336B
CN110135336B CN201910398152.4A CN201910398152A CN110135336B CN 110135336 B CN110135336 B CN 110135336B CN 201910398152 A CN201910398152 A CN 201910398152A CN 110135336 B CN110135336 B CN 110135336B
Authority
CN
China
Prior art keywords
pedestrian
natural language
information
language description
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910398152.4A
Other languages
English (en)
Other versions
CN110135336A (zh
Inventor
严骏驰
罗文寒
马林
杨昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910398152.4A priority Critical patent/CN110135336B/zh
Publication of CN110135336A publication Critical patent/CN110135336A/zh
Application granted granted Critical
Publication of CN110135336B publication Critical patent/CN110135336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本申请是关于一种行人生成模型的训练方法。该方法包括：获取训练数据，所述训练数据包括真实行人图像和第一自然语言描述信息；根据所述训练数据以及目标行人姿态信息训练行人生成对抗网络，所述行人生成对抗网络包括行人生成网络和行人判别网络；将训练后的所述行人生成网络获取为行人生成模型。本申请通过真实行人图像及其自然语言描述，结合目标行人姿态，通过生成对抗网络进行对抗训练，获得行人生成模型，由于在此过程中学习了对行人图像的自然语言描述，后续行人生成模型可以生成更多的对应某一自然语言描述的行人图像，从而扩展基于自然语言进行行人识别的训练数据，以提高后续训练出行人识别模型的准确性。

Description

行人生成模型的训练方法、装置及存储介质
技术领域
本申请实施例涉及图像识别应用技术领域，特别涉及一种行人生成模型的训练方法、装置及存储介质。
背景技术
随着行人识别应用的不断发展，语言和视觉的结合是行人识别发展的重要趋势，相应的，基于自然语言进行行人识别的需求也越来越高。
在相关技术中，基于自然语言的行人识别应用可以通过训练好的机器学习模型进行行人识别。比如，开发人员预先获取各种行人图像，并对行人图像进行人工标注，获得行人图像对应的自然语言描述信息，并将行人图像和标注的自然语言描述信息作为训练数据进行模型训练。
然而，相关技术中的训练数据需要人工对行人图像进行标注，适合用作模型训练的行人图像较少，导致训练数据匮乏，影响训练出的模型的泛化能力，导致模型识别的准确性较差。
发明内容
本申请实施例提供了一种用于行人生成模型的训练方法、装置及存储介质，可以训练出用于扩展适用于训练行人识别模型的行人图像，从而扩展基于自然语言进行行人识别的训练数据，以提高后续训练出行人识别模型的准确性，技术方案如下：
一方面，提供了一种行人生成模型的训练方法，所述方法包括：
获取训练数据，所述训练数据包括真实行人图像和第一自然语言描述信息，所述第一自然语言描述信息用于描述所述真实行人图像的视觉特征；
根据所述训练数据以及目标行人姿态信息训练行人生成对抗网络，所述行人生成对抗网络包括行人生成网络和行人判别网络，所述行人生成网络用于根据所述第一自然语言描述信息和所述目标行人姿态信息生成模拟行人图像，所述行人判别网络用于判别所述模拟行人图像与所述第一自然语言描述信息是否匹配；
将训练后的所述行人生成网络获取为行人生成模型。
另一方面，提供了一种行人生成模型的训练装置，所述装置包括：
训练数据获取模块，用于获取训练数据，所述训练数据包括真实行人图像和第一自然语言描述信息，所述第一自然语言描述信息用于描述所述真实行人图像的视觉特征；
第一训练模块，用于根据所述训练数据以及目标行人姿态信息训练行人生成对抗网络，所述行人生成对抗网络包括行人生成网络和行人判别网络，所述行人生成网络用于根据所述第一自然语言描述信息和所述目标行人姿态信息生成模拟行人图像，所述行人判别网络用于判别所述模拟行人图像与所述第一自然语言描述信息是否匹配；
模型获取模块，用于将训练后的所述行人生成网络获取为行人生成模型。
可选的，所述装置还包括：
语义提取模块，用于在所述训练模块根据所述训练数据以及目标行人姿态信息训练行人生成对抗网络之前，对所述第一自然语言描述信息进行语义提取，获取所述第一自然语言描述信息对应的语义特征信息；
姿态提取模块，用于对所述目标行人姿态信息进行姿态提取，获取所述目标行人姿态信息对应的骨架姿态信息；
所述第一训练模块，用于根据所述第一自然语言描述信息对应的语义特征信息以及所述目标行人姿态信息对应的骨架姿态信息，对所述行人生成网络和所述行人判别网络进行交替训练。
可选的，所述语义提取模块，用于通过混合词和字符信息的卷积循环神经网络对所述第一自然语言描述信息进行编码，获得所述第一自然语言描述信息对应的语义特征向量。
可选的，所述姿态提取模块，用于通过包含巻积层和全连接层的骨架提取网络对所述目标行人姿态信息进行处理，获得所述目标行人姿态信息的骨架姿态描述向量。
可选的，所述第一训练模块，用于，
通过所述根据所述行人生成网络对所述第一自然语言描述信息对应的语义特征信息，以及所述目标行人姿态信息对应的骨架姿态信息进行处理，获得所述模拟行人图像；
通过所述行人判别网络对所述模拟行人图像和所述第一自然语言描述信息对应的语义特征信息进行处理，获得判别概率，所述判别概率用于指示所述模拟行人图像与所述第一自然语言描述信息相匹配的概率；
通过损失函数对所述模拟行人图像和所述判别概率进行处理，获得所述损失函数的输出结果；
根据所述损失函数的输出结果对所述人生成网络和所述行人判别网络进行交替训练。
可选的，所述装置还包括：
姿态信息获取模块，用于在所述第一训练模块根据所述训练数据以及目标行人姿态信息训练行人生成对抗网络之前，获取所述真实行人图像对应的骨架姿态信息；
姿态信息生成模块，用于根据所述真实行人图像对应的骨架姿态信息，生成所述目标行人姿态信息。
可选的，所述第一自然语言描述信息为自然语言描述文本或者自然语言描述语音。
可选的，所述装置还包括：
信息获取模块，用于获取第二自然语言描述信息以及目标行人姿态信息；
通过所述行人生成模型对所述第二自然语言描述信息以及所述目标行人姿态信息进行处理，获得所述第二自然语言描述信息对应的模拟行人图像。
可选的，所述装置还包括：
第二训练模块，用于通过所述第二自然语言描述信息以及所述第二自然语言描述信息对应的模拟行人图像训练行人重识别模型。
又一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的行人生成模型的训练方法。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的行人生成模型的训练方法。
本申请提供的技术方案可以包括以下有益效果：
通过真实行人图像及其自然语言描述，结合目标行人姿态，通过生成对抗网络进行对抗训练，获得行人生成模型，由于在此过程中学习了对行人图像的自然语言描述，后续行人生成模型可以生成更多的对应某一自然语言描述的行人图像，从而扩展基于自然语言进行行人识别的训练数据，以提高后续训练出行人识别模型的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种模型训练及应用的框架图；
图2是根据一示例性实施例示出的一种行人生成模型的训练流程示意图；
图3是根据一示例性实施例示出的一种行人生成模型的训练方法的流程图；
图4是图3所示实施例涉及的Char-CNN-RNN的结构图；
图5是图3所示实施例涉及的一种语义编码流程示意图；
图6是图3所示实施例涉及的骨架姿态信息提取示意图；
图7是图3所示实施例涉及的行人生成对抗网络的总体框架图；
图8是根据一示例性实施例示出的一种行人生成模型的应用方法的流程图；
图9是根据一示例性实施例示出的一种行人生成模型的训练装置的结构方框图；
图10是根据一示例性实施例示出的一种行人生成模型的应用装置的结构方框图；
图11是根据一示例性实施例示出的一种计算机设备的结构示意图；
图12是根据一示例性实施例示出的一种终端的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请提出了一种高效并且高准确率的行人生成模型的训练方案，该方案能够训练获得用于扩展适用于训练行人识别模型的行人图像的机器学习模型。为了便于理解，下面对本申请实施例涉及的几个名词进行解释。
(1)自然语言描述信息：
在本申请中，对于某一行人图像，可以通过自然语言的方式对该行人图像进行描述，比如，描述行人图像的外观特征、服装类型以及颜色等，其中，以自然语言描述行人图像的信息可以称为该行人图像的自然语言描述信息。
(2)行人重识别：
行人重识别(Person re-identification)也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。行人重识别可以视为是一个图像检索的子问题，即给定一个行人图像，检索跨设备下的该行人图像。行人重识别旨在弥补目前固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频、智能安保等领域。
相关技术中基于自然描述的行人重识别问题研究较少，相应的数据集也很少，但是语言和视觉的结合是未来发展的重要趋势，语言也将是未来流行的交互方式，因此，以文字搜图具有重大意义。在当前该领域只有小数据集的研究背景下，训练数据少影响了模型的泛化性能，特别是同一语义下可能对应不同姿态的行人，相关技术不能很好的处理相似语义多种不同姿态的行人的重识别。
本技术为视频安防领域中行人重识别问题提供基础服务，可以提供云端训练数据增强服务以及终端的行人生成服务。在云端，提供训练数据增强服务，即针对相应的基于自然语言描述的行人重识别数据集，根据已有的行人姿态模板等信息，生成相同语义下多姿态的行人图像，用于行人重识别问题。而在终端，通过终端用户拍摄的行人图像，可以生成预设姿态模板的不同行人图像，图像姿态各异，视角也可以不同，实现同一行人在不同姿态间转化的功能。
本申请后续各个实施例的方案是一种训练机器学习模型的方案。图1是根据一示例性实施例示出的一种模型训练及应用的框架图。如图1所示，在模型训练阶段，模型训练设备110通过人工标注的训练数据(即行人图像和对应的自然语言描述信息)，通过对抗网络训练出用于自动生成行人图像的行人生成模型，在应用阶段，行人生成设备120根据训练好的行人生成模型以及输入的自然语言描述信息，自动生成不同姿态的行人图像，后续可以将生成的行人图像以及生成该行人图像的自然语言描述信息作为扩展的训练数据，训练获得基于自然语言描述信息的行人识别模型。
其中，上述模型训练设备110和行人生成设备120可以是具有机器学习能力的计算机设备，比如，该计算机设备可以是个人电脑、服务器等固定式计算机设备，或者，该计算机设备也可以是平板电脑、电子书阅读器或者便携式医疗设备等移动式计算机设备。
可选的，上述模型训练设备110和行人生成设备120可以是同一个设备，或者，模型训练设备110和行人生成设备120也可以是不同的设备。并且，当模型训练设备110和行人生成设备120是不同的设备时，模型训练设备110和行人生成设备120可以是同一类型的设备，比如模型训练设备110和行人生成设备120可以都是服务器；或者，模型训练设备110和行人生成设备120也可以是不同类型的设备，比如模型训练设备110可以是服务器，而行人生成设备120可以是终端等。本申请实施例对于模型训练设备110和行人生成设备120的具体类型不做限定。
图2是根据一示例性实施例实施例示出的一种行人生成模型的训练流程示意图。如图2所示，开发人员首先设置一个初始的行人生成对抗网络，该行人生成对抗网络为生成对抗网络(Generative Adversarial Networks，GAN)模型。该初始模型包括两部分，其中一部分是行人生成网络，另一部分是行人判别网络。图2所示模型训练流程的目的，就是训练行人生成对抗网络中的行人生成网络，在训练完成后，该行人生成网络即可以作为行人生成模型。上述行人生成对抗网络的训练过程可以如下：
S21，获取训练数据，该训练数据包括真实行人图像和第一自然语言描述信息，该第一自然语言描述信息用于描述该真实行人图像的视觉特征。
其中，上述真实行人图像可以是从图像采集设备采集到的真实图像中选取(可以人工选取，也可以是机器选取，比如，通过预先训练的行人图像选择模型选取)的，适合作为训练基于自然语言描述信息的行人识别模型的图像，上述第一自然语言描述信息可以是对真实行人图像进行人工标注获得的自然语言描述信息。比如，对于真实行人图像，可以人工标注该真实行人图像中的行人的外观特征，比如外貌特征、衣着特征等等，并将标注结果以自然语言的形式进行描述，获得上述第一自然语言描述信息。该第一自然语言描述信息可以是任意自然语言的描述信息，比如英文、中文、俄文等等。
S21，根据该训练数据以及目标行人姿态信息训练行人生成对抗网络。
在本申请实施例中，训练行人生成对抗网络时，该行人生成对抗网络中的行人生成网络可以用于根据该第一自然语言描述信息和目标行人姿态信息生成模拟行人图像，而行人判别网络可以用于判别行人生成网络生成的模拟行人图像和真实行人图像是否为相同行人的图像。
其中，上述目标行人姿态信息可以是预先设置或者生成的，用于描述待生成的模拟行人图像的姿态的信息。
S21，将训练后的行人生成对抗网络中的行人生成网络获取为行人生成模型。
在训练上述行人生成对抗网络，并使得其中的行人生成网络和行人判别网络都达到收敛后，即可以将其中的行人生成网络作为行人生成模型，该行人生成模型可以根据输入的自然语言描述信息生成对应上述目标行人姿态信息的新的模拟行人图像，以便后续作为基于自然语言描述信息的行人识别网络的训练数据。
综上所述，本申请实施例所示的方案，通过真实行人图像及其自然语言描述，结合目标行人姿态，通过生成对抗网络GAN进行对抗训练，获得行人生成模型，由于在此过程中学习了对行人图像的自然语言描述，后续行人生成模型可以生成更多的对应某一自然语言描述的行人图像，从而扩展基于自然语言进行行人识别的训练数据，以提高后续训练出行人识别模型的准确性。
本申请实施例所示的方案，通过设计创新的深度模型网络(即上述行人生成对抗网络)，通过独特的训练方式，可以实现根据自然语言描述和行人姿态生成视觉质量较高的行人图像，该图像可以用于基于自然语言描述的行人重识别问题。一方面，本方案的训练过程学习了自然语言语义与行人图像视觉信息之间的一致性，并生成不同姿态的行人图像(姿态差异性)。另一方面，本申请实施例训练出的行人识别模型可以很好简化以及精简，适用于在云端以及终端的不同的应用场景。
本申请实施例所训练的行人生成模型，可以应用于基于自然语言描述进行行人识别的人工智能(Artificial Intelligence，AI)场景，比如，本申请实施例训练的行人生成模型可以由AI自动生成更多的用于行人识别场景的训练数据(即生成的模拟行人图像)，并且，基于生成的训练数据训练获得的行人识别模型，可以使得AI具有基于自然语言描述进行行人识别的能力。
图3是根据一示例性实施例示出的一种行人生成模型的训练方法的流程图，该行人生成模型的训练方法可以用于计算机设备，比如上述图1所示的模型训练设备110中，以训练获得上述图2所示的实施例涉及的行人识别模型，以便通过训练获得的行人识别模型生成用于后续训练行人识别模型的行人图像。该方案包括训练数据准备、语义模型准备、行人生成网络训练以及多姿态行人生成等几个步骤。如图3所示，该行人生成模型的训练方法可以包括如下步骤：
步骤301，获取训练数据，该训练数据包括真实行人图像和第一自然语言描述信息，该第一自然语言描述信息用于描述该真实行人图像的视觉特征。
其中，该第一自然语言描述信息为自然语言描述文本或者自然语言描述语音。
在本申请实施例中，上述第一自然语言描述信息可以是文本形式的描述信息，即在对真实行人图像进行人工标注时，通过人工编辑用于描述真实行人图像的自然语言描述文本，比如，自然语言描述文本可以为：这名男子穿着一件灰黑相间的T恤，一件长袖衬衫和一件白衬衫，灰色裤子和灰色鞋子。其中，上述自然语言描述文本也可以是其它语言的文本，比如英文等。
在另一种可能的实现方式中，上述第一自然语言描述信息也可以是语音形式的描述信息，即在对真实行人图像进行人工标注时，通过人工输入真实行人图像的自然语言的语音。相应的，该语音可以是中文、英文等语言的语音。
在训练数据准备阶段，上述训练数据可以来自于已有的数据集，比如CUHK-PEDS数据集，该数据集是当前含有自然语言描述的行人重识别数据集(即包含真实行人图像和第一自然语言描述信息)。为增加数据集，本申请实施例也可以在公开的行人重识别数据集(比如Market-1501等数据集)上，通过人工标注的方式获得对应的自然语言描述。其中，上述真实行人图像可以是Market-1501等数据集中的图像，上述第一自然语言描述信息可以是人工标注的自然语言描述。
步骤302，对该第一自然语言描述信息进行语义提取，获取该第一自然语言描述信息对应的语义特征信息。
在一种可能的实现方式中，模型训练设备可以通过混合词和字符信息的卷积循环神经网络对该第一自然语言描述信息进行编码，获得该第一自然语言描述信息对应的语义特征向量。该语音特征向量即为上述第一自然语言描述信息对应的语义特征信息。
在本申请实施例中，可以使用已有的混合词和字符信息的卷积循环神经网络来编码自然语言描述信息(比如上述语言文本)的语义特征。比如，使用字符级卷积神经网络及循环神经网络(char-Convolutional Neural Networks-Recurrent Neural Network，char-CNN-RNN)结构来对语言文本做向量化处理(embedding)。其中，Char-CNN-RNN的结构图可以如图4所示。
在本申请实施例中，在训练行人生成对抗网络时，需要训练两个网络，分别是基于语言描述和行人姿态为限制条件的行人生成网络和基于同一语义信息的行人判别网络。
在行人生成网络中，可以有两个生成限定条件，分别是真实图像对应的自然语言文本描述(英语或者中文)和行人姿态模板库。其中，请参考图5，其示出了本申请实施例涉及的一种语义编码流程示意图。如图5所示，本申请中，对于真实行人图像对应的第一自然语言描述信息，可以使用预训练好的语义编码模型提取文本特征向量，文本特征向量维度可以固定(比如256维)，其中语义编码模型可以是上述char-CNN-RNN模型。
步骤303，对目标行人姿态信息进行姿态提取，获取该目标行人姿态信息对应的骨架姿态信息。
在一种可能的实现方式中，模型训练设备可以通过包含巻积层和全连接层的骨架提取网络对该目标行人姿态信息进行处理，获得该目标行人姿态信息的骨架姿态描述向量。
其中，上述目标行人姿态信息可以是行人骨架姿态图像。在本申请实施例中，可以利用骨架提取网络得到对应的行人骨架姿态估计。请参考图6，其示出了本申请实施例涉及的骨架姿态信息提取示意图。如图6所示，本申请实施例可以使用3个卷积层编码行人骨架姿态特征，输入的行人骨架姿态图像(比如目标行人姿态信息)的大小为107*107*3，经过3个卷积层和一个全连接层，最终得到128维的骨架信息。
可选的，当输入的行人骨架姿态图像为上述真实行人图像时，上述骨架信息也可以为真实行人图像的骨架姿态描述向量。
可选的，上述骨架提取网络可以是独立于行人生成网络的机器学习网络，或者，上述骨架提取网络也可以是行人生成网络的一部分。也就是说，上述骨架提取网络可以随着行人生成网络的训练而得到更新。
步骤304，根据该第一自然语言描述信息对应的语义特征信息以及该目标行人姿态信息对应的骨架姿态信息，对该行人生成对抗网络中的行人生成网络和该行人判别网络进行交替训练。
在本申请实施例中，模型训练设备在训练行人生成对抗网络时，可以通过该根据该行人生成网络对该第一自然语言描述信息对应的语义特征信息，以及该目标行人姿态信息对应的骨架姿态信息进行处理，获得该模拟行人图像；通过该行人判别网络对该模拟行人图像和第一自然语言描述信息对应的语义特征信息进行处理，获得判别概率，该判别概率用于指示该模拟行人图像与第一自然语言描述信息相匹配的概率；通过损失函数对该模拟行人图像和该判别概率进行处理，获得该损失函数的输出结果；并根据该损失函数的输出结果对该人生成网络和该行人判别网络进行交替训练。
其中，上述损失函数可以是开发人员预先根据训练目标设计的函数。其中，该损失函数的输入除了包括上述模拟行人图像和判别概率之外，还可以包含真实行人图像、目标行人姿态信息对应的骨架姿态信息、真实行人图像对应的骨架姿态信息以及第一自然语言描述信息对应的语义特征信息中的至少一种。
在本申请实施例中，假设行人语义特征(侧重行人外观特征，服装颜色等)和行人骨架姿态特征(侧重行人拓扑结构)相互条件独立。可以简单的将真实行人图像的语义文本特征和行人骨架姿态特征进行特征融合，作为行人生成网络中总的生成控制条件。
在一种可能的实现方式中，行人生成网络可以包含6个卷积层，卷积层featuremap的尺寸逐步上升，最终得到128*128*3的行人生成图像。行人生成网络可以由多层堆叠完成，除了卷积层之外，还可以包含残差模块等。行人生成网络的层数可以根据生成图像的质量，计算的复杂度各方面的要求等进行定制以及变动，以适应云端或者终端等不同的应用场景。
为保证条件生成网络生成真实的且具有语义一致性的行人图像，在本申请实施例中，可以采用一个行人判别网络，分别对行人生成网络生成的同一语义不同姿态的行人图像和同一语义对应的真实行人图像进行判别。该行人判别网络的输出层可以是一个二分类层，行人判别网络可以在输出层之前将语义特征与生成图像经过若干层卷积后的特征图融合。
为了训练基础网络，本申请实施例定义对抗损失如下：
同时，为了保证不同姿态下，生成的行人语义内容的一致性，可以认为同一语义不同姿态下的图像特征差异在于行人姿态差异，则有如下公式表示：
Lcon＝||Y-G(Z,X)||+||f(y)-f(X)||||；
其中f(y)为该真实行人图像对应的行人骨架姿态特征(即上述真实行人图像对应的骨架姿态信息)，f(X)为期望生成的骨架姿态对应的特征，也就是上述目标行人姿态信息对应的骨架姿态信息。
最终，训练行人生成对抗网络的损失函数由这两个损失加起来组成：
L＝Ladv+Lcon；
在本申请实施例的训练过程中，可以交替训练行人生成网络和行人判别网络。其中，也可以训练生成同一语义下，多个行人骨架姿态的行人图片，两两之间成对计算语义内容一致性损失。模型训练设备根据得到的损失计算梯度，并将得到的梯度在行人生成对抗网络中进行反向传播，以更新网络的参数。通过上述方式进行多次迭代训练，以交替训练行人生成网络和行人判别网络。比如，对于相邻两次迭代训练，若在第一次迭代训练中，通过第一次迭代训练的损失函数的输出结果更新行人生成网络的参数，则在第二次迭代训练中，通过第二次迭代训练的损失函数的输出结果更新行人判别网络的参数，反复执行上述迭代过程，直至将行人生成网络和判别网络训练至收敛。
请参考图7，其示出了本申请实施例涉及的行人生成对抗网络的总体框架图。如图7所示，在每次迭代过程中，模型训练设备将第一自然语言描述信息(71)和目标行人姿态信息(72)输入行人生成对抗网络，由行人生成对抗网络中的行人生成网络生成模拟行人图像，其过程可以如下：
通过语义编码模型对第一自然语言描述信息进行处理，获得256维的语义向量(73)，并通过骨架提取网络对目标行人姿态信息(可以是一幅行人姿态图像)进行处理，获得128维的骨架信息向量(74)，然后将语义向量和骨架信息向量进行融合，以融合后的向量为控制条件，经过多层处理获得模拟行人图像(75)。
在获得模拟行人图像之后，由行人生成对抗网络中的行人判别网络进行判别，其过程可以如下：
对模拟行人图像进行多层处理后得到特征图(76)，并将得到的特征图与语义向量(73)融合，再经过输出层输出判别结果(77)，该判别结果对应上述的判别概率。
模型训练设备根据本次训练获得的模拟行人图像和判别结果，通过损失函数对行人生成网络或者行人判别网络的参数进行更新，通过多次迭代过程依次更新行人生成网络和行人判别网络，直至两个网络都收敛时训练结束。
在一种可能的实现方式中，上述目标行人姿态信息可以是开发人员预先设置的行人姿态信息，比如，目标行人姿态信息可以是预先设置的目标行人姿态图像。
在另一种可能的实现方式中，在根据该训练数据以及目标行人姿态信息训练行人生成对抗网络之前，还可以获取真实行人图像对应的骨架姿态信息，并根据该真实行人图像对应的骨架姿态信息，生成该目标行人姿态信息。
其中，上述目标行人姿态信息也可以通过真实行人图像中的行人的骨架姿态信息生成，比如，可以通过预先训练获得骨架姿态生成模型，对真实行人图像中的行人的骨架姿态信息进行变换处理，以获得不同姿态的目标行人姿态信息。
步骤305，将训练后的该行人生成网络获取为行人生成模型。
在上述行人生成网络获中的两个网络都训练至收敛后，模型训练设备即可以将其中的行人生成网络获取为行人生成模型，以便后续生成更多相同语义且不同姿态的行人图像。
其中，上述训练获得的行人生成模型可以自定义复杂度。比如，当行人生成模型应用在处理能力较强的云端(比如云端服务器)时，在训练过程中，开发人员可以设计层数较多，尺寸较大的行人生成网络，以使得生成的模拟行人图像具有更好的视觉效果和更好的真实性；或者，当行人生成模型应用在处理能力有限的终端(比如个人电脑或者移动终端)时，在训练过程中，开发人员可以设计层数较少，尺寸较小的行人生成网络，以使得终端能够流程运行。
综上所述，本申请实施例所示的方案，通过真实行人图像及其自然语言描述，结合目标行人姿态，通过生成对抗网络GAN进行对抗训练，获得行人生成模型，由于在此过程中学习了对行人图像的自然语言描述，后续行人生成模型可以生成更多的对应某一自然语言描述的行人图像，从而扩展基于自然语言进行行人识别的训练数据，以提高后续训练出行人识别模型的准确性。
此外，本申请实施例所示的方案中，行人生成网络的层级可以自定义设计，从而获得不同大小和计算复杂度的行人生成模型，以适用于不同的应用场景。
其中，云端或者终端通过行人生成模型生成模拟行人图像的步骤可以如下述实施例所述。
图8是根据一示例性实施例示出的一种行人生成模型的应用方法的流程图，该行人生成模型的应用方法可以用于行人生成设备中，该行人生成设备可以是如上述图1所示的行人生成设备120。如图8所示，该行人生成模型的训练方法可以包括如下步骤：
步骤801，获取第二自然语言描述信息以及目标行人姿态信息。
其中，上述第二自然语言描述信息可以是与第一自然语言描述信息相同的信息，即通过行人生成模型生成与上述图2或图3所示实施例中的真实行人图像具有相同语义，且不同姿态的模拟行人图像。
或者，上述第二自然语言描述信息也可以是与第一自然语言描述信息不同的信息，即通过行人生成模型生成与真实行人图像具有不同语义，且不同姿态的模拟行人图像。
步骤802，通过行人生成模型对第二自然语言描述信息以及目标行人姿态信息进行处理，获得第二自然语言描述信息对应的模拟行人图像。
其中，本申请实施例中的行人生成模型是图2或图3所示实施例中训练获得的行人生成模型，该行人生成模型的训练过程可以参考图2或图3所示实施例中的描述。
在本申请实施例中，行人生成模型在应用过程中，其输入数据为自然语言描述信息和目标行人姿态信息，其输出为对应该自然语言描述信息和目标行人姿态信息的模拟行人图像，通过该行人生成模型，可以快速生成各种自然语言描述以及各种姿态的行人图像。
在一种可能的实现方式中，通过上述行人生成模型生成的模拟行人图像，可以用于训练基于自然语言描述的新人重识别模型，即行人生成设备(或者上述实施例中的模型训练设备)可以通过该第二自然语言描述信息以及该第二自然语言描述信息对应的模拟行人图像训练行人重识别模型。
比如，在一种可能的实现方式中，行人生成设备或者模型训练设备还可以通过上述行人生成模型生成的，该第二自然语言描述信息对应的模拟行人图像，以及该第二自然语言描述信息，训练获得行人重识别模型(比如卷积神经网络模型)，后续该行人重识别模型可以通过输入的自然语言描述信息，从图像采集设备采集到的若干个真实图像中识别出对应该自然语言描述信息的行人图像。
基于训练至收敛的行人生成网络，根据输入的语言描述(可以是文本描述，也可以通过语音转换为文本)和预设的行人姿态模板库，生成同一语义内容下各种姿态的行人图像。该图像可以用于行人重识别任务训练，也具有较高视觉效果。并且，上述行人生成模型可以根据应用场景设计不同的层级，可以通过精简的方式降低模型的大小以及计算复杂度，从而使得行人生成模型可以适用于云端以及终端等不同的应用场景。
综上所述，本申请实施例所示的方案，通过行人生成模型对输入的自然语言描述信息和目标行人姿态信息进行处理，获得对应该自然语言描述和目标行人姿态的模拟行人图像，从而扩展基于自然语言进行行人识别的训练数据，以提高后续训练出行人识别模型的准确性。
此外，本申请实施例所示的方案中，行人生成网络的层级可以自定义设计，从而获得不同大小和计算复杂度的行人生成模型，以适用于不同的应用场景。
图9是根据一示例性实施例示出的一种行人生成模型的训练装置的结构方框图。该行人生成模型的训练装置可以用于计算机设备中，以执行图2、图3或图8所示实施例中的全部或者部分步骤。该行人生成模型的训练装置可以包括：
训练数据获取模块901，用于获取训练数据，所述训练数据包括真实行人图像和第一自然语言描述信息，所述第一自然语言描述信息用于描述所述真实行人图像的视觉特征；
第一训练模块902，用于根据所述训练数据以及目标行人姿态信息训练行人生成对抗网络，所述行人生成对抗网络包括行人生成网络和行人判别网络，所述行人生成网络用于根据所述第一自然语言描述信息和所述目标行人姿态信息生成模拟行人图像，所述行人判别网络用于判别所述模拟行人图像与所述第一自然语言描述信息是否匹配；
模型获取模块903，用于将训练后的所述行人生成网络获取为行人生成模型。
可选的，所述装置还包括：
语义提取模块，用于在所述训练模块根据所述训练数据以及目标行人姿态信息训练行人生成对抗网络之前，对所述第一自然语言描述信息进行语义提取，获取所述第一自然语言描述信息对应的语义特征信息；
姿态提取模块，用于对所述目标行人姿态信息进行姿态提取，获取所述目标行人姿态信息对应的骨架姿态信息；
所述第一训练模块902，用于根据所述第一自然语言描述信息对应的语义特征信息以及所述目标行人姿态信息对应的骨架姿态信息，对所述行人生成网络和所述行人判别网络进行交替训练。
可选的，所述语义提取模块，用于通过混合词和字符信息的卷积循环神经网络对所述第一自然语言描述信息进行编码，获得所述第一自然语言描述信息对应的语义特征向量。
可选的，所述姿态提取模块，用于通过包含巻积层和全连接层的骨架提取网络对所述目标行人姿态信息进行处理，获得所述目标行人姿态信息的骨架姿态描述向量。
可选的，所述第一训练模块902，用于，
通过所述根据所述行人生成网络对所述第一自然语言描述信息对应的语义特征信息，以及所述目标行人姿态信息对应的骨架姿态信息进行处理，获得所述模拟行人图像；
通过所述行人判别网络对所述模拟行人图像和所述第一自然语言描述信息对应的语义特征信息进行处理，获得判别概率，所述判别概率用于指示所述模拟行人图像与所述第一自然语言描述信息相匹配的概率；
通过损失函数对所述模拟行人图像和所述判别概率进行处理，获得所述损失函数的输出结果；
根据所述损失函数的输出结果对所述人生成网络和所述行人判别网络进行交替训练。
可选的，所述装置还包括：
姿态信息获取模块，用于在所述第一训练模块902根据所述训练数据以及目标行人姿态信息训练行人生成对抗网络之前，获取所述真实行人图像对应的骨架姿态信息；
姿态信息生成模块，用于根据所述真实行人图像对应的骨架姿态信息，生成所述目标行人姿态信息。
可选的，所述第一自然语言描述信息为自然语言描述文本或者自然语言描述语音。
可选的，所述装置还包括：
信息获取模块，用于获取第二自然语言描述信息以及目标行人姿态信息；
通过所述行人生成模型对所述第二自然语言描述信息以及所述目标行人姿态信息进行处理，获得所述第二自然语言描述信息对应的模拟行人图像。
可选的，所述装置还包括：
第二训练模块，用于通过所述第二自然语言描述信息以及所述第二自然语言描述信息对应的模拟行人图像训练行人重识别模型。
综上所述，本申请实施例所示的方案，通过真实行人图像及其自然语言描述，结合目标行人姿态，通过生成对抗网络GAN进行对抗训练，获得行人生成模型，由于在此过程中学习了对行人图像的自然语言描述，后续行人生成模型可以生成更多的对应某一自然语言描述的行人图像，从而扩展基于自然语言进行行人识别的训练数据，以提高后续训练出行人识别模型的准确性。
图10是根据一示例性实施例示出的一种行人生成模型的应用装置的结构方框图。该行人生成模型的应用装置可以用于计算机设备中，以执行图8所示实施例中的全部或者部分步骤。该行人生成模型的应用装置可以包括：
信息获取模块1001，用于获取第二自然语言描述信息以及目标行人姿态信息；
第二训练模块1002，用于通过所述行人生成模型对所述第二自然语言描述信息以及所述目标行人姿态信息进行处理，获得所述第二自然语言描述信息对应的模拟行人图像。
本申请实施例所示的方案中，上述行人生成模型的生成方式可以参考图2或图3所示实施例中的描述，此处不再赘述。
综上所述，本申请实施例所示的方案，通过行人生成模型对输入的自然语言描述信息和目标行人姿态信息进行处理，获得对应该自然语言描述和目标行人姿态的模拟行人图像，从而扩展基于自然语言进行行人识别的训练数据，以提高后续训练出行人识别模型的准确性。
图11是根据一示例性实施例示出的一种计算机设备的结构示意图。所述计算机设备1100包括中央处理单元(CPU)1101、包括随机存取存储器(RAM)1102和只读存储器(ROM)1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。所述计算机设备1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1106，和用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1107。
所述基本输入/输出系统1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中所述显示器1108和输入设备1109都通过连接到系统总线1105的输入输出控制器1110连接到中央处理单元1101。所述基本输入/输出系统1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1107通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。所述大容量存储设备1107及其相关联的计算机可读介质为计算机设备1100提供非易失性存储。也就是说，所述大容量存储设备1107可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。
计算机设备1100可以通过连接在所述系统总线1105上的网络接口单元1111连接到互联网或者其它网络设备。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理单元1101通过执行该一个或一个以上程序来实现图2、图3或图8所示的方法中的全部或者部分步骤。
图12示出了本申请一个示例性实施例提供的终端1200的结构框图。该终端1200可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1200还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1200包括有：处理器1201和存储器1202。
处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1201所执行以实现上述图8所示的方法实施例中的全部或者部分步骤。
在一些实施例中，终端1200还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、触摸显示屏1205、摄像头1206、音频电路1207和电源1209中的至少一种。
外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1204用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1204包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1204还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1205用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时，显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时，显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1205可以为一个，设置终端1200的前面板；在另一些实施例中，显示屏1205可以为至少两个，分别设置在终端1200的不同表面或呈折叠设计；在再一些实施例中，显示屏1205可以是柔性显示屏，设置在终端1200的弯曲表面上或折叠面上。甚至，显示屏1205还可以设置成非矩形的不规则图形，也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1206用于采集图像或视频。可选地，摄像头组件1206包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1207还可以包括耳机插孔。
电源1209用于为终端1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1200还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、光学传感器1215以及接近传感器1216。
加速度传感器1211可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号，控制触摸显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1212可以检测终端1200的机体方向及转动角度，陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1213可以设置在终端1200的侧边框和/或触摸显示屏1205的下层。当压力传感器1213设置在终端1200的侧边框时，可以检测用户对终端1200的握持信号，由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在触摸显示屏1205的下层时，由处理器1201根据用户对触摸显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1215用于采集环境光强度。在一个实施例中，处理器1201可以根据光学传感器1215采集的环境光强度，控制触摸显示屏1205的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1205的显示亮度；当环境光强度较低时，调低触摸显示屏1205的显示亮度。在另一个实施例中，处理器1201还可以根据光学传感器1215采集的环境光强度，动态调整摄像头组件1206的拍摄参数。
接近传感器1216，也称距离传感器，通常设置在终端1200的前面板。接近传感器1216用于采集用户与终端1200的正面之间的距离。在一个实施例中，当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变小时，由处理器1201控制触摸显示屏1205从亮屏状态切换为息屏状态；当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变大时，由处理器1201控制触摸显示屏1205从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图12中示出的结构并不构成对终端1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法的全部或者部分步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种行人生成模型的训练方法，其特征在于，所述方法包括：
获取训练数据，所述训练数据包括真实行人图像和第一自然语言描述信息，所述第一自然语言描述信息用于描述所述真实行人图像的视觉特征；
根据所述训练数据以及目标行人姿态信息训练行人生成对抗网络，所述行人生成对抗网络包括行人生成网络和行人判别网络，所述行人生成网络用于根据所述第一自然语言描述信息和所述目标行人姿态信息生成模拟行人图像，所述行人判别网络用于对所述模拟行人图像进行处理得到特征图，将所述特征图与所述第一自然语言描述信息对应的语义特征向量融合后，经过输出层输出判别结果，所述判别结果用于指示所述模拟行人图像与所述第一自然语言描述信息是否匹配；
将训练后的所述行人生成网络获取为行人生成模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据以及目标行人姿态信息训练行人生成对抗网络之前，还包括：
对所述第一自然语言描述信息进行语义提取，获取所述第一自然语言描述信息对应的语义特征信息；
对所述目标行人姿态信息进行姿态提取，获取所述目标行人姿态信息对应的骨架姿态信息；
所述根据所述训练数据以及目标行人姿态信息训练行人生成对抗网络，包括：
根据所述第一自然语言描述信息对应的语义特征信息以及所述目标行人姿态信息对应的骨架姿态信息，对所述行人生成网络和所述行人判别网络进行交替训练。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一自然语言描述信息进行语义提取，获取所述第一自然语言描述信息对应的语义特征信息，包括：
通过混合词和字符信息的卷积循环神经网络对所述第一自然语言描述信息进行编码，获得所述第一自然语言描述信息对应的语义特征向量。
4.根据权利要求2所述的方法，其特征在于，所述对所述目标行人姿态信息进行姿态提取，获取所述目标行人姿态信息对应的骨架姿态信息，包括：
通过包含巻积层和全连接层的骨架提取网络对所述目标行人姿态信息进行处理，获得所述目标行人姿态信息的骨架姿态描述向量。
5.根据权利要求2所述的方法，其特征在于，所述根据所述第一自然语言描述信息对应的语义特征信息以及所述目标行人姿态信息对应的骨架姿态信息，对所述行人生成网络和所述行人判别网络进行交替训练，包括：
通过所述根据所述行人生成网络对所述第一自然语言描述信息对应的语义特征信息，以及所述目标行人姿态信息对应的骨架姿态信息进行处理，获得所述模拟行人图像；
通过所述行人判别网络对所述模拟行人图像和所述第一自然语言描述信息对应的语义特征信息进行处理，获得判别概率，所述判别概率用于指示所述模拟行人图像与所述第一自然语言描述信息相匹配的概率；
通过损失函数对所述模拟行人图像和所述判别概率进行处理，获得所述损失函数的输出结果；
根据所述损失函数的输出结果对所述人生成网络和所述行人判别网络进行交替训练。
6.根据权利要求2所述的方法，其特征在于，在根据所述训练数据以及目标行人姿态信息训练行人生成对抗网络之前，还包括：
获取所述真实行人图像对应的骨架姿态信息；
根据所述真实行人图像对应的骨架姿态信息，生成所述目标行人姿态信息。
7.根据权利要求1至6任一所述的方法，其特征在于，所述第一自然语言描述信息为自然语言描述文本或者自然语言描述语音。
8.根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：
获取第二自然语言描述信息以及目标行人姿态信息；
通过所述行人生成模型对所述第二自然语言描述信息以及所述目标行人姿态信息进行处理，获得所述第二自然语言描述信息对应的模拟行人图像。
9.一种行人生成模型的训练装置，其特征在于，所述装置包括：
训练数据获取模块，用于获取训练数据，所述训练数据包括真实行人图像和第一自然语言描述信息，所述第一自然语言描述信息用于描述所述真实行人图像的视觉特征；
第一训练模块，用于根据所述训练数据以及目标行人姿态信息训练行人生成对抗网络，所述行人生成对抗网络包括行人生成网络和行人判别网络，所述行人生成网络用于根据所述第一自然语言描述信息和所述目标行人姿态信息生成模拟行人图像，所述行人判别网络用于对所述模拟行人图像进行处理得到特征图，将所述特征图与所述第一自然语言描述信息对应的语义特征向量融合后，经过输出层输出判别结果，所述判别结果用于指示所述模拟行人图像与所述第一自然语言描述信息是否匹配；
模型获取模块，用于将训练后的所述行人生成网络获取为行人生成模型。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有指令，所述指令由计算机设备的处理器执行以实现如权利要求1至8任一所述的行人生成模型的训练方法。
CN201910398152.4A 2019-05-14 2019-05-14 行人生成模型的训练方法、装置及存储介质 Active CN110135336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910398152.4A CN110135336B (zh) 2019-05-14 2019-05-14 行人生成模型的训练方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910398152.4A CN110135336B (zh) 2019-05-14 2019-05-14 行人生成模型的训练方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110135336A CN110135336A (zh) 2019-08-16
CN110135336B true CN110135336B (zh) 2023-08-25

Family

ID=67573819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910398152.4A Active CN110135336B (zh) 2019-05-14 2019-05-14 行人生成模型的训练方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110135336B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795232B (zh) * 2019-09-16 2023-10-20 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机可读存储介质和计算机设备
CN110796064B (zh) * 2019-10-25 2022-08-23 清华大学 人体肌肉图像的建立方法、装置、存储介质及电子设备
CN111027438B (zh) * 2019-12-03 2023-06-02 Oppo广东移动通信有限公司 一种人体姿态的迁移方法、移动终端以及计算机存储介质
CN113723088A (zh) * 2020-05-25 2021-11-30 阿里巴巴集团控股有限公司 自然语言处理方法、装置、文本处理方法、设备和介质
CN111667547B (zh) * 2020-06-09 2023-08-11 创新奇智(北京)科技有限公司 Gan网络训练方法、服装图片生成方法、装置及电子设备
US11514634B2 (en) * 2020-06-12 2022-11-29 Baidu Usa Llc Personalized speech-to-video with three-dimensional (3D) skeleton regularization and expressive body poses
CN111723746A (zh) * 2020-06-22 2020-09-29 江苏云从曦和人工智能有限公司 场景识别模型生成方法、系统、平台、设备及介质
US12061873B2 (en) 2020-10-30 2024-08-13 Microsoft Technology Licensing, Llc Determining lexical difficulty in textual content
CN112785495A (zh) * 2021-01-27 2021-05-11 驭势科技(南京)有限公司 图像处理模型训练方法、图像生成方法、装置和设备
CN113205045A (zh) * 2021-04-30 2021-08-03 广州虎牙科技有限公司 行人重识别方法、装置、电子设备和可读存储介质
US11556183B1 (en) * 2021-09-30 2023-01-17 Microsoft Technology Licensing, Llc Techniques for generating data for an intelligent gesture detector

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845415A (zh) * 2017-01-23 2017-06-13 中国石油大学(华东) 一种基于深度学习的行人精细化识别方法及装置
CN108269245A (zh) * 2018-01-26 2018-07-10 深圳市唯特视科技有限公司 一种基于新型生成对抗网络的眼部图像修复方法
CN108334816A (zh) * 2018-01-15 2018-07-27 桂林电子科技大学 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN108875496A (zh) * 2017-10-20 2018-11-23 北京旷视科技有限公司 行人画像的生成及基于画像的行人识别
CN108875510A (zh) * 2017-11-28 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN109190470A (zh) * 2018-07-27 2019-01-11 北京市商汤科技开发有限公司 行人重识别方法及装置
CN109493297A (zh) * 2018-11-01 2019-03-19 重庆中科云丛科技有限公司 低质量人脸图像增强方法、系统、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609481B (zh) * 2017-08-14 2020-11-20 百度在线网络技术（北京）有限公司 为人脸识别生成训练数据的方法、装置和计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845415A (zh) * 2017-01-23 2017-06-13 中国石油大学(华东) 一种基于深度学习的行人精细化识别方法及装置
CN108875496A (zh) * 2017-10-20 2018-11-23 北京旷视科技有限公司 行人画像的生成及基于画像的行人识别
CN108875510A (zh) * 2017-11-28 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN108334816A (zh) * 2018-01-15 2018-07-27 桂林电子科技大学 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN108269245A (zh) * 2018-01-26 2018-07-10 深圳市唯特视科技有限公司 一种基于新型生成对抗网络的眼部图像修复方法
CN109190470A (zh) * 2018-07-27 2019-01-11 北京市商汤科技开发有限公司 行人重识别方法及装置
CN109493297A (zh) * 2018-11-01 2019-03-19 重庆中科云丛科技有限公司 低质量人脸图像增强方法、系统、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Text Guided Person Image Synthesis;Xingran Zhou 等;arXiv;1-10 *

Also Published As

Publication number Publication date
CN110135336A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110135336B (zh) 行人生成模型的训练方法、装置及存储介质
JP7130057B2 (ja) 手部キーポイント認識モデルの訓練方法及びその装置、手部キーポイントの認識方法及びその装置、並びにコンピュータプログラム
CN109978989B (zh) 三维人脸模型生成方法、装置、计算机设备及存储介质
CN109299315B (zh) 多媒体资源分类方法、装置、计算机设备及存储介质
CN111091132B (zh) 基于人工智能的图像识别方法、装置、计算机设备及介质
CN110110145B (zh) 描述文本生成方法及装置
CN111541907B (zh) 物品显示方法、装置、设备及存储介质
CN111242090B (zh) 基于人工智能的人脸识别方法、装置、设备及介质
CN111476783B (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN111091166A (zh) 图像处理模型训练方法、图像处理方法、设备及存储介质
CN111243668B (zh) 分子结合位点检测方法、装置、电子设备及存储介质
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN114332530A (zh) 图像分类方法、装置、计算机设备及存储介质
CN110147533B (zh) 编码方法、装置、设备及存储介质
CN113395542A (zh) 基于人工智能的视频生成方法、装置、计算机设备及介质
CN111930964B (zh) 内容处理方法、装置、设备及存储介质
CN111753498A (zh) 文本处理方法、装置、设备及存储介质
CN111581958A (zh) 对话状态确定方法、装置、计算机设备及存储介质
CN110555102A (zh) 媒体标题识别方法、装置及存储介质
CN112528760B (zh) 图像处理方法、装置、计算机设备及介质
CN117579859A (zh) 视频处理的方法、装置、设备及可读存储介质
CN115168643B (zh) 音频处理方法、装置、设备及计算机可读存储介质
CN111753813A (zh) 图像处理方法、装置、设备及存储介质
CN114462580A (zh) 文本识别模型的训练方法、文本识别方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant