CN117274615B - 人体动作预测方法及相关产品 - Google Patents

人体动作预测方法及相关产品 Download PDF

Info

Publication number
CN117274615B
CN117274615B CN202311233600.8A CN202311233600A CN117274615B CN 117274615 B CN117274615 B CN 117274615B CN 202311233600 A CN202311233600 A CN 202311233600A CN 117274615 B CN117274615 B CN 117274615B
Authority
CN
China
Prior art keywords
target
model
difference
student
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311233600.8A
Other languages
English (en)
Other versions
CN117274615A (zh
Inventor
崔琼杰
王浩帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuhang Technology Beijing Co ltd
Original Assignee
Shuhang Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuhang Technology Beijing Co ltd filed Critical Shuhang Technology Beijing Co ltd
Priority to CN202311233600.8A priority Critical patent/CN117274615B/zh
Publication of CN117274615A publication Critical patent/CN117274615A/zh
Application granted granted Critical
Publication of CN117274615B publication Critical patent/CN117274615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人体动作预测方法及相关产品。该方法包括：获取目标图像序列、学生模型和教师模型，目标图像序列中的图像均包括目标人物；通过将目标图像序列分别输入至教师模型与学生模型，确定教师模型输出的目标人物的动作预测结果与学生模型输出的目标人物的动作预测结果的差异，得到当前预测差异；获取历史预测误差，历史预测误差为学生模型对目标人物的动作的历史预测结果与真值的差异；基于历史预测误差与当前预测差异的目标差异，确定目标学习率；将目标学习率作为训练的学习率，基于当前预测差异训练学生模型，得到目标模型；将目标图像序列输入目标模型，预测目标人物的未来动作，得到目标预测结果。

Description

人体动作预测方法及相关产品
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种人体动作预测方法及相关产品。
背景技术
通过对人体动作预测模型进行训练，可使人体动作预测具备基于图像序列中的人体动作预测人体的未来动作的能力。但由于用于训练的训练数据是有限的，在人体动作预测模型的测试阶段需要基于训练数据中未出现过的新动作，预测未来动作。而测试阶段出现新动作，易导致人体动作预测模型的预测准确度低。
发明内容
本申请提供一种人体动作预测方法及相关产品。
第一方面，提供了一种人体动作预测方法，所述方法包括：
获取目标图像序列、学生模型和教师模型，所述目标图像序列中的图像均包括目标人物，所述教师模型经过提升模型的域泛化能力的训练；
通过将所述目标图像序列分别输入至所述教师模型与所述学生模型，确定所述教师模型输出的所述目标人物的动作预测结果与所述学生模型输出的所述目标人物的动作预测结果的差异，得到当前预测差异；
获取历史预测误差，所述历史预测误差为所述学生模型对所述目标人物的动作的历史预测结果与真值的差异；
基于所述历史预测误差与所述当前预测差异的目标差异，确定目标学习率，所述目标学习率与所述目标差异呈正相关；
将所述目标学习率作为训练的学习率，基于所述当前预测差异训练所述学生模型，得到目标模型；
将所述目标图像序列输入所述目标模型，预测所述目标人物的未来动作，得到目标预测结果。
结合本申请任一实施方式，所述通过将所述目标图像序列分别输入至所述教师模型与所述学生模型，确定所述教师模型输出的所述目标人物的动作预测结果与所述学生模型输出的所述目标人物的动作预测结果的差异，得到当前预测差异，包括：
通过所述教师模型提取所述目标图像序列的特征，得到目标教师特征；
通过所述教师模型基于所述目标教师特征，预测所述目标人物的未来动作，得到第一预测结果；
通过所述学生模型提取所述目标图像序列的特征，得到目标学生特征；
通过所述学生模型基于所述目标学生特征，预测所述目标人物的未来动作，得到第二预测结果；
确定所述第一预测结果与所述第二预测结果的差异，得到所述当前预测差异。
结合本申请任一实施方式，所述获取历史预测误差，包括：
获取记忆队列，所述记忆队列包括n个预测结果差异和n个特征差异，所述n个预测结果差异为n个学生历史预测结果与真值的差异；所述学生历史预测结果为所述学生模型通过提取历史图像序列的历史学生特征，并基于所述历史学生特征对所述目标人物的未来动作进行预测的结果，所述特征差异为历史教师特征与所述历史学生特征的差异，所述历史教师特征为所述教师模型从所述历史图像序列中提取的特征；
确定所述目标教师特征与所述目标学生特征的参考差异；
从所述记忆队列中确定与所述学生差异最匹配的m个特征差异，作为m个参考特征差异；
基于所述m个参考特征差异，从所述记忆队列中确定所述历史预测误差。
结合本申请任一实施方式，所述基于所述m个参考特征差异，从所述记忆队列中确定所述历史预测误差，包括：
从所述记忆队列中确定与所述m个参考特征差异对应的m个预测结果差异，作为m个参考预测结果差异；
计算所述m个参考预测结果差异的平均值，得到所述历史预测误差。
结合本申请任一实施方式，所述基于所述历史预测误差与所述当前预测差异的目标差异，确定目标学习率，包括：
计算所述历史预测误差与所述当前预测差异的相对熵，得到所述目标差异；
基于所述目标差异，确定所述目标学习率。
结合本申请任一实施方式，所述将所述目标学习率作为训练的学习率，基于所述当前预测差异训练所述学生模型，得到目标模型，包括：
基于所述当前预测差异，确定所述学生模型的损失，所述当前预测差异与所述损失呈正相关；
基于所述损失确定所述学生模型反向传播的梯度；
基于所述梯度，以所述目标学习率更新所述学生模型的参数，得到所述目标模型。
结合本申请任一实施方式，所述人体动作预测方法应用于车，所述车包括摄像头，所述获取目标图像序列，包括：
通过所述摄像头采集所述车所处环境内的目标人物的图像序列，得到所述目标图像序列；
在将所述目标图像序列输入所述目标模型，预测所述目标人物的未来动作，得到目标预测结果之后，所述方法还包括：
基于所述目标预测结果，为所述车规划行驶路径。
第二方面，提供了一种人体动作预测装置，所述装置包括：
获取单元，用于获取目标图像序列、学生模型和教师模型，所述目标图像序列中的图像均包括目标人物，所述教师模型经过提升模型的域泛化能力的训练；
确定单元，用于通过将所述目标图像序列分别输入至所述教师模型与所述学生模型，确定所述教师模型输出的所述目标人物的动作预测结果与所述学生模型输出的所述目标人物的动作预测结果的差异，得到当前预测差异；
所述获取单元，用于获取历史预测误差，所述历史预测误差为所述学生模型对所述目标人物的动作的历史预测结果与真值的差异；
所述确定单元，用于基于所述历史预测误差与所述当前预测差异的目标差异，确定目标学习率，所述目标学习率与所述目标差异呈正相关；
训练单元，用于将所述目标学习率作为训练的学习率，基于所述当前预测差异训练所述学生模型，得到目标模型；
预测单元，用于将所述目标图像序列输入所述目标模型，预测所述目标人物的未来动作，得到目标预测结果。
结合本申请任一实施方式，所述确定单元，用于：
通过所述教师模型提取所述目标图像序列的特征，得到目标教师特征；
通过所述教师模型基于所述目标教师特征，预测所述目标人物的未来动作，得到第一预测结果；
通过所述学生模型提取所述目标图像序列的特征，得到目标学生特征；
通过所述学生模型基于所述目标学生特征，预测所述目标人物的未来动作，得到第二预测结果；
确定所述第一预测结果与所述第二预测结果的差异，得到所述当前预测差异。
结合本申请任一实施方式，所述获取单元，用于：
获取记忆队列，所述记忆队列包括n个预测结果差异和n个特征差异，所述n个预测结果差异为n个学生历史预测结果与真值的差异；所述学生历史预测结果为所述学生模型通过提取历史图像序列的历史学生特征，并基于所述历史学生特征对所述目标人物的未来动作进行预测的结果，所述特征差异为历史教师特征与所述历史学生特征的差异，所述历史教师特征为所述教师模型从所述历史图像序列中提取的特征；
确定所述目标教师特征与所述目标学生特征的参考差异；
从所述记忆队列中确定与所述学生差异最匹配的m个特征差异，作为m个参考特征差异；
基于所述m个参考特征差异，从所述记忆队列中确定所述历史预测误差。
结合本申请任一实施方式，所述获取单元，用于：
从所述记忆队列中确定与所述m个参考特征差异对应的m个预测结果差异，作为m个参考预测结果差异；
计算所述m个参考预测结果差异的平均值，得到所述历史预测误差。
结合本申请任一实施方式，所述确定单元，用于：
计算所述历史预测误差与所述当前预测差异的相对熵，得到所述目标差异；
基于所述目标差异，确定所述目标学习率。
结合本申请任一实施方式，所述训练单元，用于：
基于所述当前预测差异，确定所述学生模型的损失，所述当前预测差异与所述损失呈正相关；
基于所述损失确定所述学生模型反向传播的梯度；
基于所述梯度，以所述目标学习率更新所述学生模型的参数，得到所述目标模型。
结合本申请任一实施方式，所述人体动作预测装置包括摄像头，所述获取单元，用于通过所述摄像头采集所述车所处环境内的目标人物的图像序列，得到所述目标图像序列；
所述人体动作预测装置，还包括：规划单元，用于基于所述目标预测结果，为所述车规划行驶路径。
第三方面，提供了一种电子设备，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面，提供了另一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任一实施方式。
第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任一实施方式。
第六方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一实施方式。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
本申请中，因为教师模型经过提升模型的域泛化能力的训练，所以教师模型还具备提取图像序列中的人物的个性化特征，并基于人物的个性化特征预测人物的未来动作的能力，其中，个性化特征包括目标人物区别于其他人物的特征。因此，在将目标图像序列输入至教师模型后，教师模型输出的目标人物的动作预测结果，是基于目标人物的个性化特征得到的。
这样，人体动作预测装置在获取包括目标人物的目标图像序列、学生模型和教师模型后，通过将目标图像序列分别输入至教师模型与学生模型，确定教师模型输出的目标人物的动作预测结果与学生模型输出的目标人物的动作预测结果的差异，得到当前预测差异。当前预测差异可表征，教师模型提取的目标人物的个性化特征。于是，基于当前预测差异训练学生模型得到目标模型，可使学生模型学习到教师模型提取目标人物的个性化特征，并基于该个性化特征预测目标人物的未来动作的能力。这样，再将目标图像序列输入目标模型，可使目标模型提取目标人物的个性化特征，并基于目标人物的个性化特征，预测目标人物的未来动作得到目标预测结果，从而提高目标预测结果的准确度。
又因为历史预测误差可表征学生模型对目标人物的动作的历史预测结果与真值的差异，所以历史预测误差与当前预测差异的目标差异，可表征教师模型的动作预测结果与真值的差异，因此目标差异可用来衡量教师模型输出的动作预测结果的准确度。而在通过教师模型对学生模型的监督，更新学生模型的参数的情况下，学习率越小，更新参数后的学生模型输出的目标人物的动作预测结果与教师模型输出的目标人物的动作预测结果的差异越小，因此，可基于目标差异确定更新学生模型的参数的学习率。
于是在获取表征学生模型对目标人物的动作的历史预测结果与真值的差异的历史预测误差后，人体动作预测装置在目标差异与目标学习率满足正相关的情况下，基于目标差异确定目标学习率，并将目标学习率作为利用教师模型训练学生模型的学习率，由此可实现基于教师模型输出的动作预测结果的准确度，动态调整学生模型的学习率。然后将目标学习率作为训练的学习率，基于当前预测差异训练学生模型，得到目标模型，可提高目标模型基于目标图像序列中的目标人物的个性化特征，对目标人物的动作的预测准确度。因此，将目标图像序列输入目标模型后，目标模型可基于目标人物的个性化特征，预测目标人物的未来动作，得到目标预测结果，从而可提升目标预测结果的准确度。
在本申请中，目标图像序列属于测试阶段获取到的数据，因此在目标图像序列中的目标人物，对于学生模型和教师模型而言均是新人物的情况下，通过本申请实施例的方法，可使学生模型通过教师模型学习到如何基于新人物的个性化特征，预测新人物的未来动作。最后利用目标模型，预测该新人物的未来动作，可提升该新人物的未来动作的准确度。由此做到，针对所需预测的新人物(即目标人物)，通过针对新人物的个性化特征更新学生模型的参数得到目标模型，使目标模型能更准确的预测新人物的未来动作，从而提升对新动作的预测准确度。
此外，考虑到同一人物在不同环境下做出同一动作的模态可能不同，例如，由于在平坦的地面上跑步的跑步姿态与在凹凸不平的地面上跑步的跑步姿态不同，人在平坦的地面上跑步的模态与人在凹凸不平的地面上跑步的模态不同。而基于本申请实施例的方法，可针对目标人物在目标图像序列中的动作的模态，更新学生模型的参数，因此对于受环境因素的影响，导致目标人物的动作的模态发生变化时，基于本申请实施例的方法也可提升预测准确度，进而可提升对新动作的预测准确度。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种人体动作预测方法的流程示意图；
图2为本申请实施例提供的一种测试阶段的个性化预测的流程示意图；
图3为本申请实施例提供的一种人体动作预测装置的结构示意图；
图4为本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
通过对人体动作预测模型进行训练，可使人体动作预测具备基于图像序列中的人体动作预测人体的未来动作的能力。但由于用于训练的训练数据是有限的，在人体动作预测模型的测试阶段需要基于训练数据中未出现过的新动作，预测未来动作，其中，新动作包括未出现在训练数据中的人物的动作，以及具备未出现在训练数据中的新模态的动作，例如，由于在平坦的地面上跑步的跑步姿态与在凹凸不平的地面上跑步的跑步姿态不同，张三在平坦的地面上跑步的模态与张三在凹凸不平的地面上跑步的模态不同。而测试阶段出现新动作，易导致人体动作预测模型的预测准确度低。基于此，本申请实施例提供了一种人体动作预测方法，以提高人体动作预测模型基于新动作进行预测的准确度。
本申请实施例的执行主体为人体动作预测装置，其中，人体动作预测装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的，人体动作预测装置可以是以下中的一种：计算机、服务器。
应理解，本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图1，图1是本申请实施例提供的一种人体动作预测方法的流程示意图。
101、获取目标图像序列、学生模型和教师模型。
本申请实施例中，目标图像序列中的图像均包括目标人物，其中，目标人物可以是任意人物。
在一种获取目标图像序列的实现方式中，人体动作预测装置通过摄像头对目标人物进行拍摄，获得包括目标人物的目标图像序列。
在另一种获取目标图像序列的实现方式中，人体动作预测装置接收用户通过输入组件输入的目标图像序列。可选的，输入组件包括：键盘、鼠标、触控屏、触控板、音频输入器。
在又一种获取目标图像序列的实现方式中，人体动作预测装置接收终端发送的目标图像序列。可选的，终端包括：手机、计算机、平板电脑、服务器。
本申请实施例中，学生模型和教师模型均具备基于图像序列预测未来动作的能力，其中，基于图像序列预测未来动作的能力指，基于图像序列中的人物的动作，预测该人物的未来动作。可选的，使用第一训练集对学生模型和教师模型分别进行训练，使学生模型和教师模型均具备基于图像序列预测未来动作的能力，使用第二训练集对教师模型进行域泛化训练，其中，第一训练集中的数据和第二训练集中的数据均为图像序列。第一训练集和第二训练集均不包括目标人物，也就是说，对学生模型和教师模型而言，目标人物为新出现的人物。
教师模型经过域泛化训练，其中，域泛化训练为提升模型的域泛化能力的训练。具体而言，人体运动是一种多样化的数据，这种多样性主要体现在动作模态的多变性、人物属性的独特性。基于深度学习的动作预测模型所使用到的数据规模无论多大，总是无法涵盖测试阶段出现的新动作内容。也就是说，对于动作预测模型的部署来说，不可避免地会遇到未出现在训练集中的新人物，并且这些新人物与训练集不相关。这种训练集(源域)和测试数据(目标域)之间的分布不一致的问题，易导致难以针对测试阶段的新人物得到可靠的预测结果。而通过对动作预测模型进行域泛化训练，可提升动作预测模型的域泛化能力，进而提升动作预测模型对新人物的动作的预测准确度。
在一种获取学生模型的实现方式中，人体动作预测装置接收用户通过输入组件输入的学生模型。
在另一种获取学生模型的实现方式中，人体动作预测装置接收终端发送的学生模型。
在一种获取教师模型的实现方式中，人体动作预测装置接收用户通过输入组件输入的教师模型。
在另一种获取教师模型的实现方式中，人体动作预测装置接收终端发送的教师模型。
应理解，本申请实施例中，执行获取目标图像序列的步骤，执行获取学生模型的步骤、执行获取教师模型的步骤可以同时执行，也可以分开执行，本申请对此不作限定。
102、通过将上述目标图像序列分别输入至上述教师模型与上述学生模型，确定上述教师模型输出的上述目标人物的动作预测结果与上述学生模型输出的上述目标人物的动作预测结果的差异，得到当前预测差异。
本申请实施例中，当前预测差异为教师模型输出的目标人物的动作预测结果与学生模型输出的动作目标人物的预测结果的差异。具体的，当前预测差异为，教师模型基于目标图像序列对目标人物的未来动作的预测结果，与学生模型基于目标图像序列对目标人物的未来动作的预测结果的差异。
在一种可能实现的方式中，人体动作预测装置将目标图像序列输入至教师模型，教师模型预测目标人物的未来动作得到第一预测结果。将目标图像序列输入至学生模型，学生模型预测目标人物的未来动作得到第二预测结果。人体动作预测装置确定第一预测结果与第二预测结果的差异，得到当前预测差异。
103、获取历史预测误差。
本申请实施例中，历史预测误差为学生模型对目标人物的动作的历史预测结果与真值的差异，其中，真值为与历史预测结果对应的目标人物的真实动作，该真实动作为目标人物已做出的动作。例如，人体动作预测装置通过摄像头采集得到包括目标人物的视频流。视频流包括72帧图像，其中，第1帧至第36帧为历史图像序列，第37帧至第72帧为目标图像序列。学生模型基于历史图像序列，预测目标人物在目标时间的动作，得到学生历史预测结果。在人体动作预测装置采集得到目标图像序列时，目标人物在目标时间的真实动作已产生。此时，可通过确定学生历史预测结果与目标人物在目标时间的真实动作的差异，得到历史预测误差。
104、基于上述历史预测误差与上述当前预测差异的目标差异，确定目标学习率。
本申请实施例中，目标差异为历史预测误差与当前预测差异的差异。由于历史预测误差表征学生模型的预测结果与真值的差异，当前预测误差表征学生模型的预测结果与教师模型的预测结果差异，因此目标差异可表征教师模型的预测结果与真值的差异。具体而言，目标差异越大，说明教师模型输出的预测结果与真值的差异越大，目标差异越小，说明教师模型输出的预测结果与真值的差异越小。
本申请实施例中，目标学习率为基于教师模型对学生模型的监督，更新学生模型的参数的学习率。因此，若教师模型输出的预测结果的准确度越高，目标学习率应越小，这样，可通过训练使学生模型输出的预测结果与教师模型输出的预测结果更接近，也就使学生模型输出的预测结果越准确。
而如前文所述，目标差异可表征教师模型的预测结果与真值的差异，因此目标差异可用来衡量教师模型输出的预测结果的准确度。具体的，目标差异越小说明教师模型输出的预测结果的准确度越高，目标差异越大说明教师模型输出的预测结果的准确度越低。因此，目标差异应与目标学习率呈正相关。于是人体动作预测装置在目标差异与目标学习率呈正相关的情况下，基于目标差异确定目标学习率。
在一种可能实现方式中，目标学习率为目标差异满足下式：其中，γ为目标学习率，β为正数，为目标差异。
在另一种可能实现的方式中，人体动作预测装置计算历史预测误差与当前预测差异的相对熵，得到目标差异。基于目标差异，确定目标学习率。可选的，人体动作预测装置计算历史预测误差与当前预测差异的相对熵，得到目标差异。基于目标差异可通过下式表达：
其中，为目标差异，为相对熵(Kullback-Leibler散度)，r为历史预测误差，为当前预测差异。
105、将上述目标学习率作为训练的学习率，基于上述当前预测差异训练上述学生模型，得到目标模型。
当前预测差异为教师模型输出的目标人物的动作预测结果与学生模型输出的目标人物的动作预测结果的差异，因此，基于当前预测差异训练学生模型，可实现教师模型对学生模型的监督，更新学生模型的参数。而在教师模型对学生模型的监督学生模型时，通过将目标学习率作为训练的学习率更新学生模型的参数，可提升学生模型的训练效果。因此，人体动作预测装置基于当前预测差异确定学生模型的反向传播的梯度，然后再基于该梯度，以目标学习率更新学生模型的参数，得到目标模型。
在一种可能实现的方式中，人体动作预测装置基于当前预测差异，确定学生模型的损失，其中，当前预测差异与损失呈正相关。基于损失确定学生模型反向传播的梯度。基于梯度和目标学习率，更新学生模型的参数，得到目标模型。
106、将上述目标图像序列输入上述目标模型，预测上述目标人物的未来动作，得到目标预测结果。
本申请实施例中，因为教师模型经过提升模型的域泛化能力的训练，所以教师模型还具备提取图像序列中的人物的个性化特征，并基于人物的个性化特征预测人物的未来动作的能力，其中，个性化特征包括目标人物区别于其他人物的特征。因此，在将目标图像序列输入至教师模型后，教师模型输出的目标人物的动作预测结果，是基于目标人物的个性化特征得到的。
这样，人体动作预测装置在获取包括目标人物的目标图像序列、学生模型和教师模型后，通过将目标图像序列分别输入至教师模型与学生模型，确定教师模型输出的目标人物的动作预测结果与学生模型输出的目标人物的动作预测结果的差异，得到当前预测差异。当前预测差异可表征，教师模型提取的目标人物的个性化特征。于是，基于当前预测差异训练学生模型得到目标模型，可使学生模型学习到教师模型提取目标人物的个性化特征，并基于该个性化特征预测目标人物的未来动作的能力。这样，再将目标图像序列输入目标模型，可使目标模型提取目标人物的个性化特征，并基于目标人物的个性化特征，预测目标人物的未来动作得到目标预测结果，从而提高目标预测结果的准确度。
又因为历史预测误差可表征学生模型对目标人物的动作的历史预测结果与真值的差异，所以历史预测误差与当前预测差异的目标差异，可表征教师模型的动作预测结果与真值的差异，因此目标差异可用来衡量教师模型输出的动作预测结果的准确度。而在通过教师模型对学生模型的监督，更新学生模型的参数的情况下，学习率越小，更新参数后的学生模型输出的目标人物的动作预测结果与教师模型输出的目标人物的动作预测结果的差异越小，因此，可基于目标差异确定更新学生模型的参数的学习率。
于是在获取表征学生模型对目标人物的动作的历史预测结果与真值的差异的历史预测误差后，人体动作预测装置在目标差异与目标学习率满足正相关的情况下，基于目标差异确定目标学习率，并将目标学习率作为利用教师模型训练学生模型的学习率，由此可实现基于教师模型输出的动作预测结果的准确度，动态调整学生模型的学习率。然后将目标学习率作为训练的学习率，基于当前预测差异训练学生模型，得到目标模型，可提高目标模型基于目标图像序列中的目标人物的个性化特征，对目标人物的动作的预测准确度。因此，将目标图像序列输入目标模型后，目标模型可基于目标人物的个性化特征，预测目标人物的未来动作，得到目标预测结果，从而可提升目标预测结果的准确度。
在本申请实施例中，目标图像序列属于测试阶段获取到的数据，因此在目标图像序列中的目标人物，对于学生模型和教师模型而言均是新人物的情况下，通过本申请实施例的方法，可使学生模型通过教师模型学习到如何基于新人物的个性化特征，预测新人物的未来动作。最后利用目标模型，预测该新人物的未来动作，可提升该新人物的未来动作的准确度。由此做到，针对所需预测的新人物(即目标人物)，通过针对新人物的个性化特征更新学生模型的参数得到目标模型，使目标模型能更准确的预测新人物的未来动作，从而提升对新动作的预测准确度。
此外，考虑到同一人物在不同环境下做出同一动作的模态可能不同，例如，由于在平坦的地面上跑步的跑步姿态与在凹凸不平的地面上跑步的跑步姿态不同，人在平坦的地面上跑步的模态与人在凹凸不平的地面上跑步的模态不同。而基于本申请实施例的方法，可针对目标人物在目标图像序列中的动作的模态，更新学生模型的参数，因此对于受环境因素的影响，导致目标人物的动作的模态发生变化时，基于本申请实施例的方法也可提升预测准确度，进而可提升对新动作的预测准确度。
作为一种可选的实施方式，人体动作预测装置在执行步骤102的过程中执行以下步骤：
201、通过上述教师模型提取上述目标图像序列的特征，得到目标教师特征。
202、通过上述教师模型基于上述目标教师特征，预测上述目标人物的未来动作，得到第一预测结果。
203、通过上述学生模型提取上述目标图像序列的特征，得到目标学生特征。
204、通过上述学生模型基于上述目标学生特征，预测上述目标人物的未来动作，得到第二预测结果。
205、确定上述第一预测结果与上述第二预测结果的差异，得到上述当前预测差异。
在该种实施方式中，教师模型和学生模型均包括特征提取器(featureextractor)和生成器(generator)。教师模型的特征提取器用于提取目标图像序列的特征得到目标教师特征，学生模型的特征提取器用于提取目标图像序列的特征得到目标学生特征，教师模型的生成器用于基于目标教师特征得到第一预测结果，学生模型的生成器用于基于目标学生特征得到第二预测结果。在得到第一预测结果和第二预测结果后，可通过确定第一预测结果与第二预测结果的差异，得到当前预测差异。
可选的，在人体动作预测装置通过执行步骤201至步骤205得到当前预测差异的情况下，人体动作预测装置通过下式更新学生模型的参数：
其中，θ表示学生模型的参数。γ为学习率，γ的具体取值可根据实际需求设置，例如，γ为目标学习率。为L2范数。为第一预测结果，为第二预测结果。θ表示计算学生模型的反向传播梯度。
作为一种可选的实施方式，人体动作预测装置通过执行以下步骤获取历史预测误差：
301、获取记忆队列。
本申请实施例中，记忆队列包括n个预测结果差异和n个特征差异，其中，n个预测结果差异为n个学生历史预测结果与真值的差异，其中，n为正整数。可选的，n为36。学生历史预测结果为学生模型通过提取历史图像序列的历史学生特征，并基于历史学生特征对目标人物的未来动作进行预测的结果，其中，历史图像序列包括目标人物，且历史图像序列的采集时间在目标图像序列的采集时间之前。例如，人体动作预测装置通过摄像头采集得到包括目标人物的视频流。视频流包括72帧图像，其中，第1帧至第36帧为历史图像序列，第37帧至第72帧为目标图像序列。学生模型提取历史图像序列，预测目标人物在目标时间的动作，得到学生历史预测结果。在人体动作预测装置采集得到目标图像序列时，目标人物在目标时间的真实动作已产生。此时，可通过确定学生历史预测结果与目标人物在目标时间的真实动作的差异，得到历史预测误差。
不同的学生历史预测结果的真值不同，预测结果差异为学生历史预测结果与对应的真值的差异。例如，n个学生历史预测结果包括学生历史预测结果a和学生历史预测结果b，其中，学生历史预测结果a表示目标人物在第一时间的动作，学生历史预测结果b表示目标人物在第二时间的动作。若目标人物在第一时间做出的真实动作为动作c，目标人物在第二时间做出的真实动作为动作d，那么动作c为学生历史预测结果a的真值，动作d为学生历史预测结果b的真值。
本申请实施例中，特征差异为历史教师特征与历史学生特征的差异，其中，历史教师特征为教师模型从历史图像序列中提取的特征。可选的，历史教师特征为教师模型的特征提取器从历史图像序列中提取的特征。特征差异表示的是，教师模型与学生模型从同一历史图像序列中提取的特征的差异，例如，教师模型从历史图像序列a中提取的特征为特征b，学生模型从历史图像序列a中提取的特征为特征c，教师模型从历史图像序列d中提取的特征为特征e，学生模型从历史图像序列d中提取的特征为特征f。此时，n个特征差异包括：特征b与特征c的差异、特征e与特征f的差异。
由于预测结果差异与特征差异均是基于历史图像序列得到的，故在记忆队列中，基于同一历史图像序列得到的特征差异与预测结果差异之间存在对应关系。
302、确定上述目标教师特征与上述目标学生特征的参考差异。
303、从上述记忆队列中确定与上述参考差异最匹配的m个特征差异，作为m个参考特征差异。
本申请实施例中，m为正整数。可选的，m为12。训练装置以参考差异为依据，从记忆队列中查询到与参考差异最匹配的m个特征差异。可选的，训练装置通过最近邻算法，以参考差异为依据，从记忆队列中查询到与参考差异最匹配的m个特征差异。
304、基于上述m个参考特征差异，从上述记忆队列中确定上述历史预测误差。
由于在记忆队列中，基于同一历史图像序列得到的特征差异与预测结果差异之间存在对应关系，因此人体动作预测装置可从记忆队列中确定与m个参考特征差异对应的m个预测结果差异，作为m个参考预测结果差异。基于m个参考预测结果差异，确定历史预测误差。
在一种可能实现的方式中，训练装置计算m个参考预测结果差异的平均值，得到历史预测误差。
在另一种可能实现的方式中，训练装置将m个参考预测结果差异的中位数，作为历史预测误差。
在又一种可能实现的方式中，训练装置计算m个参考预测结果差异的平均值，将m个参考预测结果差异中与平均值最接近的误差，作为历史预测误差。
在该种实施方式中，记忆队列包括n个预测结果差异和n个特征差异，而且记忆队列包括n个预测结果差异和n个特征差异的对应关系。因此人体动作预测装置在确定目标教师特征与目标学生特征的参考差异后，从记忆队列中确定与参考差异最匹配的m个特征差异，作为m个参考特征差异。然后基于m个参考特征差异，从记忆队列中确定历史预测误差，这样可以学生模型提取的特征与教师模型提取的特征的差异为依据，确定历史预测误差。由于教师模型和学生模型均是基于提取出的特征确定动作预测结果的，以学生模型提取的特征与教师模型提取的特征的差异为依据，确定历史预测误差，可提升历史预测误差的准确度。
可选的，基于步骤301至步骤304得到历史预测误差的过程为，将教师的特征提取器输出的特征表示为fh，将教师的特征提取器输出的特征表示为fp，将学生生成器的输出的历史预测结果表示为op，将与op对应的真值表示为gt。特征差异可表示为预测结果差异可表示为记忆队列可表示为：
其中，记忆队列中的预测结果差异以先进先出的方式更新。
用x(0)表示目标图像序列，在将x(0)输入至教师模型后，教师模型输的特征提取器输出的目标教师特征为在将x(0)输入至学生模型后，学生模型输的特征提取器输出的目标学生特征为教师模型的生成器输出的第一预测结果为学生模型的生成器输出的第二预测结果为目标教师特征与目标学生的参考差异可表示为当前预测差异可表示为再以为依据对记忆队列进行查询得到12个参考特征差异，记为其中，D＝12。将与对应的12个参考预测结果差异标示为然后计算的平均值得到历史预测误差r。
如前文所述，目标图像序列为测试阶段的数据，而基于本申请实施例的方法可基于目标图像序列中的目标人物的个性化特征，预测目标人物的未来动作(下文简称为个性化预测)。请参阅图2，图2为本申请实施例提供的一种测试阶段的个性化预测的流程示意图。
如图2所示，在获取目标图像序列x(0)后，将目标图像序列分别输入至教师模型的特征提取器和学生模型的特征提取器然后经教师模型的特征提取器提取得到目标教师特征后，将目标教师特征输入至教师模型的生成器教师模型的生成器输出至少一个动作预存结果，再计算至少一个动作预测结果的平均值得到第一预测结果，经学生模型的特征提取器提取得到目标学生特征后，将目标学生特征输入至学生模型的生成器学生模型的生成器再输出第二预测结果。再确定第二预测结果和第一预测结果的当前预测差异同时，还通过动态学习率计算得到目标学习率(具体可参见公式(1))。然再基于当前预测差异和目标学习率，更新学生模型的参数，可得到目标模型。最后使用目标模型对目标图像序列进行处理，预测目标人物的未来动作，得到目标预测结果。
基于前文所提供的人体动作预测方法，训练得到的目标模型，可用于对人体动作进行预测。具体的，在获取目标人物的目标图像序列后，利用目标模型对目标图像序列进行处理，可预测目标人物的未来动作序列得到目标预测结果，进而可在实际应用场景中，基于目标预测结果进行相应的处理。
在一个可能实现的场景中，基于人体动作预测方法可预测路上行人的未来动作，车进而可根据行人的未来动作进行路径规划，从而降低交通事故的发生几率。
作为一种可选的实施方式，人体动作预测方法应用于车，即人体动作预测方法的技术方案的执行主体为车(即在该种实施方式中，前文所述的人体动作预测装置为车)，该车包括摄像头，车包括机动车和非机动车。
在该种实施方式中，车通过执行以下步骤获取目标图像序列：
401、通过上述摄像头采集上述车所处环境内的目标人物的图像序列，得到上述目标图像序列。
本步骤中，目标人物为车所处环境内的任一行人。可选的，在车的行驶过程中，通过摄像头采集车所处环境内的目标人物的图像序列，得到目标图像序列。
车在通过步骤301得到目标图像序列后，通过将目标图像序列分别输入至教师模型与学生模型，确定教师模型输出的目标人物的动作预测结果与学生模型输出的目标人物的动作预测结果的差异，得到当前预测差异。获取历史预测误差，历史预测误差为学生模型对目标人物的动作的历史预测结果与真值的差异。基于历史预测误差与当前预测差异的目标差异，确定目标学习率。将目标学习率作为训练的学习率，基于当前预测差异训练学生模型，得到目标模型。将目标图像序列输入目标模型，预测目标人物的未来动作，得到目标预测结果。
在将目标图像序列输入目标模型，预测目标人物的未来动作，得到目标预测结果之后，车还执行以下步骤：
402、基于上述目标预测结果，为上述车规划行驶路径。
车基于目标预测结果，可确定目标人物的未来动作，进而可确定目标人物未来的行走路径。然后再基于目标人物未来的行走路径，规划车的行驶路径，可降低车与目标人物碰撞的几率。
在该种实施方式中，车在通过摄像头采集车所处环境内的目标人物的图像序列，得到目标图像序列后，通过步骤102至步骤105得到目标预测结果。然后基于目标预测结果，为车规划行驶路径，可降低车与目标人物碰撞的几率，进而降低交通事故发生的几率。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。
请参阅图3，图3为本申请实施例提供的一种人体动作预测装置的结构示意图，该人体动作预测装置1包括：获取单元11、确定单元12、训练单元13、预测单元14，可选的，人体动作预测装置1还包括：摄像头15、规划单元16，具体的：
获取单元11，用于获取目标图像序列、学生模型和教师模型，所述目标图像序列中的图像均包括目标人物，所述教师模型经过提升模型的域泛化能力的训练；
确定单元12，用于通过将所述目标图像序列分别输入至所述教师模型与所述学生模型，确定所述教师模型输出的所述目标人物的动作预测结果与所述学生模型输出的所述目标人物的动作预测结果的差异，得到当前预测差异；
所述获取单元11，用于获取历史预测误差，所述历史预测误差为所述学生模型对所述目标人物的动作的历史预测结果与真值的差异；
所述确定单元12，用于基于所述历史预测误差与所述当前预测差异的目标差异，确定目标学习率，所述目标学习率与所述目标差异呈正相关；
训练单元13，用于将所述目标学习率作为训练的学习率，基于所述当前预测差异训练所述学生模型，得到目标模型；
预测单元14，用于将所述目标图像序列输入所述目标模型，预测所述目标人物的未来动作，得到目标预测结果。
结合本申请任一实施方式，所述确定单元12，用于：
通过所述教师模型提取所述目标图像序列的特征，得到目标教师特征；
通过所述教师模型基于所述目标教师特征，预测所述目标人物的未来动作，得到第一预测结果；
通过所述学生模型提取所述目标图像序列的特征，得到目标学生特征；
通过所述学生模型基于所述目标学生特征，预测所述目标人物的未来动作，得到第二预测结果；
确定所述第一预测结果与所述第二预测结果的差异，得到所述当前预测差异。
结合本申请任一实施方式，所述获取单元11，用于：
获取记忆队列，所述记忆队列包括n个预测结果差异和n个特征差异，所述n个预测结果差异为n个学生历史预测结果与真值的差异；所述学生历史预测结果为所述学生模型通过提取历史图像序列的历史学生特征，并基于所述历史学生特征对所述目标人物的未来动作进行预测的结果，所述特征差异为历史教师特征与所述历史学生特征的差异，所述历史教师特征为所述教师模型从所述历史图像序列中提取的特征；
确定所述目标教师特征与所述目标学生特征的参考差异；
从所述记忆队列中确定与所述学生差异最匹配的m个特征差异，作为m个参考特征差异；
基于所述m个参考特征差异，从所述记忆队列中确定所述历史预测误差。
结合本申请任一实施方式，所述获取单元11，用于：
从所述记忆队列中确定与所述m个参考特征差异对应的m个预测结果差异，作为m个参考预测结果差异；
计算所述m个参考预测结果差异的平均值，得到所述历史预测误差。
结合本申请任一实施方式，所述确定单元12，用于：
计算所述历史预测误差与所述当前预测差异的相对熵，得到所述目标差异；
基于所述目标差异，确定所述目标学习率。
结合本申请任一实施方式，所述训练单元13，用于：
基于所述当前预测差异，确定所述学生模型的损失，所述当前预测差异与所述损失呈正相关；
基于所述损失确定所述学生模型反向传播的梯度；
基于所述梯度，以所述目标学习率更新所述学生模型的参数，得到所述目标模型。
结合本申请任一实施方式，所述人体动作预测装置1包括摄像头15，所述获取单元11，用于通过所述摄像头15采集所述车所处环境内的目标人物的图像序列，得到所述目标图像序列；
所述人体动作预测装置1，还包括：规划单元16，用于基于所述目标预测结果，为所述车规划行驶路径。
本申请实施例中，因为教师模型经过提升模型的域泛化能力的训练，所以教师模型还具备提取图像序列中的人物的个性化特征，并基于人物的个性化特征预测人物的未来动作的能力，其中，个性化特征包括目标人物区别于其他人物的特征。因此，在将目标图像序列输入至教师模型后，教师模型输出的目标人物的动作预测结果，是基于目标人物的个性化特征得到的。
这样，人体动作预测装置在获取包括目标人物的目标图像序列、学生模型和教师模型后，通过将目标图像序列分别输入至教师模型与学生模型，确定教师模型输出的目标人物的动作预测结果与学生模型输出的目标人物的动作预测结果的差异，得到当前预测差异。当前预测差异可表征，教师模型提取的目标人物的个性化特征。于是，基于当前预测差异训练学生模型得到目标模型，可使学生模型学习到教师模型提取目标人物的个性化特征，并基于该个性化特征预测目标人物的未来动作的能力。这样，再将目标图像序列输入目标模型，可使目标模型提取目标人物的个性化特征，并基于目标人物的个性化特征，预测目标人物的未来动作得到目标预测结果，从而提高目标预测结果的准确度。
又因为历史预测误差可表征学生模型对目标人物的动作的历史预测结果与真值的差异，所以历史预测误差与当前预测差异的目标差异，可表征教师模型的动作预测结果与真值的差异，因此目标差异可用来衡量教师模型输出的动作预测结果的准确度。而在通过教师模型对学生模型的监督，更新学生模型的参数的情况下，学习率越小，更新参数后的学生模型输出的目标人物的动作预测结果与教师模型输出的目标人物的动作预测结果的差异越小，因此，可基于目标差异确定更新学生模型的参数的学习率。
于是在获取表征学生模型对目标人物的动作的历史预测结果与真值的差异的历史预测误差后，人体动作预测装置在目标差异与目标学习率满足正相关的情况下，基于目标差异确定目标学习率，并将目标学习率作为利用教师模型训练学生模型的学习率，由此可实现基于教师模型输出的动作预测结果的准确度，动态调整学生模型的学习率。然后将目标学习率作为训练的学习率，基于当前预测差异训练学生模型，得到目标模型，可提高目标模型基于目标图像序列中的目标人物的个性化特征，对目标人物的动作的预测准确度。因此，将目标图像序列输入目标模型后，目标模型可基于目标人物的个性化特征，预测目标人物的未来动作，得到目标预测结果，从而可提升目标预测结果的准确度。
在本申请实施例中，目标图像序列属于测试阶段获取到的数据，因此在目标图像序列中的目标人物，对于学生模型和教师模型而言均是新人物的情况下，通过本申请实施例的方法，可使学生模型通过教师模型学习到如何基于新人物的个性化特征，预测新人物的未来动作。最后利用目标模型，预测该新人物的未来动作，可提升该新人物的未来动作的准确度。由此做到，针对所需预测的新人物(即目标人物)，通过针对新人物的个性化特征更新学生模型的参数得到目标模型，使目标模型能更准确的预测新人物的未来动作，从而提升对新动作的预测准确度。
此外，考虑到同一人物在不同环境下做出同一动作的模态可能不同，例如，由于在平坦的地面上跑步的跑步姿态与在凹凸不平的地面上跑步的跑步姿态不同，人在平坦的地面上跑步的模态与人在凹凸不平的地面上跑步的模态不同。而基于本申请实施例的方法，可针对目标人物在目标图像序列中的动作的模态，更新学生模型的参数，因此对于受环境因素的影响，导致目标人物的动作的模态发生变化时，基于本申请实施例的方法也可提升预测准确度，进而可提升对新动作的预测准确度。
在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
图4为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备2包括处理器21，存储器22。可选的，该电子设备2还包括输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。
处理器21可以包括是一个或多个处理器，例如包括一个或多个中央处理器(central processing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。可选的，处理器21可以是多个CPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。
存储器22可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件，也可以是一个整体的器件。
可理解，本申请实施例中，存储器22不仅可用于存储相关指令，还可用于存储相关数据，如该存储器22可用于存储通过输入装置23获取的目标图像序列、学生模型和教师模型，又或者该存储器22还可用于存储通过处理器21得到的目标预测结果等等，本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是，图4仅仅示出了一种电子设备的简化设计。在实际应用中，电子设备还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本申请实施例的电子设备都在本申请的保护范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digitalversatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种人体动作预测方法，其特征在于，所述方法包括：
获取目标图像序列、学生模型和教师模型，所述目标图像序列中的图像均包括目标人物，所述教师模型经过提升模型的域泛化能力的训练；
通过将所述目标图像序列分别输入至所述教师模型与所述学生模型，确定所述教师模型输出的所述目标人物的动作预测结果与所述学生模型输出的所述目标人物的动作预测结果的差异，得到当前预测差异；
获取历史预测误差，所述历史预测误差为所述学生模型对所述目标人物的动作的历史预测结果与真值的差异；
基于所述历史预测误差与所述当前预测差异的目标差异，确定目标学习率，所述目标学习率与所述目标差异呈正相关；
将所述目标学习率作为训练的学习率，基于所述当前预测差异训练所述学生模型，得到目标模型；
将所述目标图像序列输入所述目标模型，预测所述目标人物的未来动作，得到目标预测结果。
2.根据权利要求1所述的方法，其特征在于，所述通过将所述目标图像序列分别输入至所述教师模型与所述学生模型，确定所述教师模型输出的所述目标人物的动作预测结果与所述学生模型输出的所述目标人物的动作预测结果的差异，得到当前预测差异，包括：
通过所述教师模型提取所述目标图像序列的特征，得到目标教师特征；
通过所述教师模型基于所述目标教师特征，预测所述目标人物的未来动作，得到第一预测结果；
通过所述学生模型提取所述目标图像序列的特征，得到目标学生特征；
通过所述学生模型基于所述目标学生特征，预测所述目标人物的未来动作，得到第二预测结果；
确定所述第一预测结果与所述第二预测结果的差异，得到所述当前预测差异。
3.根据权利要求2所述的方法，其特征在于，所述获取历史预测误差，包括：
获取记忆队列，所述记忆队列包括n个预测结果差异和n个特征差异，所述n个预测结果差异为n个学生历史预测结果与真值的差异；所述学生历史预测结果为所述学生模型通过提取历史图像序列的历史学生特征，并基于所述历史学生特征对所述目标人物的未来动作进行预测的结果，所述特征差异为历史教师特征与所述历史学生特征的差异，所述历史教师特征为所述教师模型从所述历史图像序列中提取的特征；
确定所述目标教师特征与所述目标学生特征的参考差异；
从所述记忆队列中确定与所述参考差异最匹配的m个特征差异，作为m个参考特征差异；
基于所述m个参考特征差异，从所述记忆队列中确定所述历史预测误差。
4.根据权利要求3所述的方法，其特征在于，所述基于所述m个参考特征差异，从所述记忆队列中确定所述历史预测误差，包括：
从所述记忆队列中确定与所述m个参考特征差异对应的m个预测结果差异，作为m个参考预测结果差异；
计算所述m个参考预测结果差异的平均值，得到所述历史预测误差。
5.根据权利要求1所述的方法，其特征在于，所述基于所述历史预测误差与所述当前预测差异的目标差异，确定目标学习率，包括：
计算所述历史预测误差与所述当前预测差异的相对熵，得到所述目标差异；
基于所述目标差异，确定所述目标学习率。
6.根据权利要求2所述的方法，其特征在于，所述将所述目标学习率作为训练的学习率，基于所述当前预测差异训练所述学生模型，得到目标模型，包括：
基于所述当前预测差异，确定所述学生模型的损失，所述当前预测差异与所述损失呈正相关；
基于所述损失确定所述学生模型反向传播的梯度；
基于所述梯度，以所述目标学习率更新所述学生模型的参数，得到所述目标模型。
7.根据权利要求1所述的方法，其特征在于，所述人体动作预测方法应用于车，所述车包括摄像头，所述获取目标图像序列，包括：
通过所述摄像头采集所述车所处环境内的目标人物的图像序列，得到所述目标图像序列；
在将所述目标图像序列输入所述目标模型，预测所述目标人物的未来动作，得到目标预测结果之后，所述方法还包括：
基于所述目标预测结果，为所述车规划行驶路径。
8.一种人体动作预测装置，其特征在于，所述装置包括：
获取单元，用于获取目标图像序列、学生模型和教师模型，所述目标图像序列中的图像均包括目标人物，所述教师模型经过提升模型的域泛化能力的训练；
确定单元，用于通过将所述目标图像序列分别输入至所述教师模型与所述学生模型，确定所述教师模型输出的所述目标人物的动作预测结果与所述学生模型输出的所述目标人物的动作预测结果的差异，得到当前预测差异；
所述获取单元，用于获取历史预测误差，所述历史预测误差为所述学生模型对所述目标人物的动作的历史预测结果与真值的差异；
所述确定单元，用于基于所述历史预测误差与所述当前预测差异的目标差异，确定目标学习率，所述目标学习率与所述目标差异呈正相关；
训练单元，用于将所述目标学习率作为训练的学习率，基于所述当前预测差异训练所述学生模型，得到目标模型；
预测单元，用于将所述目标图像序列输入所述目标模型，预测所述目标人物的未来动作，得到目标预测结果。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行权利要求1至7中任意一项所述的方法。
CN202311233600.8A 2023-09-21 2023-09-21 人体动作预测方法及相关产品 Active CN117274615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311233600.8A CN117274615B (zh) 2023-09-21 2023-09-21 人体动作预测方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311233600.8A CN117274615B (zh) 2023-09-21 2023-09-21 人体动作预测方法及相关产品

Publications (2)

Publication Number Publication Date
CN117274615A CN117274615A (zh) 2023-12-22
CN117274615B true CN117274615B (zh) 2024-03-22

Family

ID=89207628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311233600.8A Active CN117274615B (zh) 2023-09-21 2023-09-21 人体动作预测方法及相关产品

Country Status (1)

Country Link
CN (1) CN117274615B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536922A (zh) * 2021-06-11 2021-10-22 北京理工大学 一种加权融合多种图像任务的视频行为识别方法
CN114330510A (zh) * 2021-12-06 2022-04-12 北京大学 模型训练方法、装置、电子设备和存储介质
CN114663726A (zh) * 2022-03-23 2022-06-24 苏州科达科技股份有限公司 目标类别检测模型的训练方法、目标检测方法及电子设备
CN115983363A (zh) * 2022-12-05 2023-04-18 哲库科技(上海)有限公司 基于知识蒸馏的nas性能预测器训练方法及相关产品
CN116385850A (zh) * 2023-03-23 2023-07-04 平安科技（深圳）有限公司 多目标检测方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102492318B1 (ko) * 2015-09-18 2023-01-26 삼성전자주식회사 모델 학습 방법 및 장치, 및 데이터 인식 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536922A (zh) * 2021-06-11 2021-10-22 北京理工大学 一种加权融合多种图像任务的视频行为识别方法
CN114330510A (zh) * 2021-12-06 2022-04-12 北京大学 模型训练方法、装置、电子设备和存储介质
CN114663726A (zh) * 2022-03-23 2022-06-24 苏州科达科技股份有限公司 目标类别检测模型的训练方法、目标检测方法及电子设备
CN115983363A (zh) * 2022-12-05 2023-04-18 哲库科技(上海)有限公司 基于知识蒸馏的nas性能预测器训练方法及相关产品
CN116385850A (zh) * 2023-03-23 2023-07-04 平安科技（深圳）有限公司 多目标检测方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Continual Test-Time Domain Adaptation;Qin Wang et al;《2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20221231;第7191-7201页 *
Real-Time Prediction of Students’ Activity Progress and Completion Rates;Louis Faucon et al;《JOURNAL OF LEARNNG ANALYTICS》;20200919;第18-44页 *
一种基于注意力联邦蒸馏的推荐方法;谌明等;《软件学报》;20211231;第3852-3868页 *

Also Published As

Publication number Publication date
CN117274615A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN109816589B (zh) 用于生成漫画风格转换模型的方法和装置
JP2022504704A (ja) ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム
CN109800732B (zh) 用于生成漫画头像生成模型的方法和装置
CN109993150B (zh) 用于识别年龄的方法和装置
CN110009059B (zh) 用于生成模型的方法和装置
CN110781413B (zh) 兴趣点确定方法及装置、存储介质、电子设备
CN112149615B (zh) 人脸活体检测方法、装置、介质及电子设备
CN111784776B (zh) 视觉定位方法及装置、计算机可读介质和电子设备
CN111967515B (zh) 图像信息提取方法、训练方法及装置、介质和电子设备
CN111667001A (zh) 目标重识别方法、装置、计算机设备和存储介质
CN112818995A (zh) 图像分类方法、装置、电子设备及存储介质
CN113379877A (zh) 人脸视频生成方法、装置、电子设备及存储介质
CN110555861B (zh) 光流计算方法、装置及电子设备
CN110069997B (zh) 场景分类方法、装置及电子设备
CN117253287B (zh) 基于域泛化的动作预测模型训练方法、相关方法及产品
CN117274615B (zh) 人体动作预测方法及相关产品
CN111814811A (zh) 图像信息提取方法、训练方法及装置、介质和电子设备
CN111310595A (zh) 用于生成信息的方法和装置
CN117010480A (zh) 模型训练方法、装置、设备、存储介质及程序产品
CN115131291A (zh) 对象计数模型的训练方法、装置、设备以及存储介质
CN111461228B (zh) 图像推荐方法和装置及存储介质
CN113762037A (zh) 图像识别方法、装置、设备以及存储介质
CN114281933A (zh) 文本处理方法、装置、计算机设备及存储介质
CN112884068A (zh) 故障诊断的方法及装置、电子设备和存储介质
CN114898282A (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant