CN114861889B - 深度学习模型的训练方法、目标对象检测方法和装置 - Google Patents

Abstract

本公开提供了一种深度学习模型的训练方法和装置、目标对象检测方法和装置、电子设备、存储介质和计算机程序产品，涉及人工智能领域，尤其涉及知识图谱、自然语言处理和深度学习技术领域。具体实现方案为：对样本数据进行序列化处理，得到序列化样本，样本数据包括文本、图像或者视频；将序列化样本输入第一网络，得到初始特征向量；将初始特征向量和多个知识信息输入第二网络，得到融合特征向量，其中，多个知识信息是根据序列化样本获取的；以及根据初始特征向量、参考特征向量和融合特征向量来调整第一网络和第二网络的参数，其中，参考特征向量是通过将序列化样本输入参考网络得到的。

Description

深度学习模型的训练方法、目标对象检测方法和装置

技术领域

本公开涉及人工智能领域，尤其涉及知识图谱、自然语言处理和深度学习技术领域。具体涉及一种深度学习模型的训练方法和装置、目标对象检测方法、装置、电子设备、存储介质和计算机程序产品。

背景技术

自然语言处理是人工智能技术领域中的一个重要方向。预训练语言模型被广泛应用于自然语言处理，预训练可以通过自监督学习从大规模数据学习通用的语义表示。

多模预训练语言模型可以将文本、图像、视频等多模态信息在统一的语义空间中进行表示学习，通常能够获得比传统单模预训练语言模型更好的效果。在认知型高级人工智能任务中，多模预训练语言模型通常需要借助外部知识才能进行正确的推理和决策。然而，常见的多模信息中并不显式地包含这些外部知识，导致多模预训练模型难以直接学习到这些知识。

发明内容

本公开提供了一种深度学习模型的训练方法和装置、目标对象检测方法、装置、电子设备、存储介质和计算机程序产品。

根据本公开的一个方面，提供了一种深度学习模型的训练方法，深度学习模型包括第一网络和第二网络，所述方法包括：对样本数据进行序列化处理，得到序列化样本，样本数据包括文本、图像或者视频；将序列化样本输入第一网络，得到初始特征向量；将初始特征向量和多个知识信息输入第二网络，得到融合特征向量，其中，多个知识信息是根据序列化样本获取的；以及根据初始特征向量、参考特征向量和融合特征向量来调整第一网络和第二网络的参数，其中，参考特征向量是通过将序列化样本输入参考网络得到的。

根据本公开的另一方面，提供了一种目标对象检测方法，包括：对输入信息进行序列化处理，得到序列化信息；将序列化信息输入深度学习模型的第一网络，得到初始特征向量；将初始向量和多个知识信息输入深度学习模型的第二网络，得到融合特征向量，其中，多个知识信息是根据序列化信息获取的；以及根据融合特征向量，检测针对输入信息的目标对象；其中，深度学习模型是利用以上所述的深度学习模型的训练方法训练得到的。

根据本公开的另一方面，提供了一种深度学习模型的训练装置，深度学习模型包括第一网络和第二网络，所述装置包括：第一序列化模块，用于对样本数据进行序列化处理，得到序列化样本，样本数据包括文本、图像或者视频；第一编码模块，用于将序列化样本输入第一网络，得到初始特征向量；第一融合模块，用于将初始特征向量和多个知识信息输入第二网络，得到融合特征向量，其中，多个知识信息是根据序列化样本获取的；以及训练模块，用于根据初始特征向量、参考特征向量和融合特征向量来调整第一网络和第二网络的参数，其中，参考特征向量是通过将序列化样本输入参考网络得到的。

根据本公开的另一方面，提供了一种目标对象检测装置，包括：第二序列化模块，用于对输入信息进行序列化处理，得到序列化信息；第二编码模块，用于将序列化信息输入深度学习模型的第一网络，得到初始特征向量；第二融合模块，用于将初始向量和多个知识信息输入深度学习模型的第二网络，得到融合特征向量，其中，多个知识信息根据序列化信息获取的；以及检测模块，用于根据融合特征向量，检测针对输入信息的目标对象；其中，深度学习模型是利用以上所述的深度学习模型的训练装置训练得到的。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开提供的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的实施例的可以应用深度学习模型的训练方法、目标对象检测方法和装置的示例性系统架构示意图；

图2是根据本公开的实施例的深度学习模型的训练方法的流程图；

图3是根据本公开的实施例的深度学习模型的训练方法的示意图；

图4是根据本公开的实施例的目标对象检测方法的流程图；

图5是根据本公开的实施例的深度学习模型的训练装置的框图；

图6是根据本公开的实施例的目标对象检测装置的框图；以及

图7是用来实现本公开的实施例的深度学习模型的训练方法以及目标对象检测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在人工智能技术领域，预训练语言模型被广泛应用于自然语言处理，预训练可以通过自监督学习从大规模数据学习通用的语义表示。在许多任务中，采用经过预训练的语言模型可显著降低所需的训练数据量，提升语言模型的精度。

随着人工智能技术的发展，预训练语言模型逐渐从单语言扩展到多语言、多模态任务，以应用于认知型高级人工智能任务中。多模预训练语言模型可以将文本、图像、视频等多模态信息在统一的语义空间中进行表示学习，通常能够获得比传统单模预训练语言模型更好的效果。在认知型高级人工智能任务中，多模预训练语言模型通常需要借助外部知识才能进行正确的推理和决策。然而，常见的多模信息中并不显式地包含这些知识，使得多模预训练模型难以直接学习到这些知识。

相关技术在借助外部知识对预训练模型进行训练时，预训练语言模型在处理信息模态的维度上只局限于文本预训练语言模型，且在利用知识类型的维度上只局限于文本片段。因此，相关技术中借助外部知识对预训练模型进行训练的方式具有一定的局限性，这难以适应高级人工智能任务对多模态信息的应用需求。

图1是根据本公开实施例的可以应用深度学习模型的训练方法、目标对象检测方法和装置的示例性系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用。例如，知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端或社交平台软件等（仅为示例）。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果（例如根据用户请求获取或生成的网页、信息、或数据等）反馈给终端设备。

需要说明的是，本公开实施例所提供的深度学习模型的训练方法一般可以由服务器105执行。相应地，本公开实施例所提供的深度学习模型的训练装置一般可以设置于服务器105中。本公开实施例所提供的深度学习模型的训练方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的深度学习模型的训练装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

需要说明的是，本公开实施例所提供的目标对象检测方法一般可以由服务器105执行。相应地，本公开实施例所提供的目标对象检测装置一般可以设置于服务器105中。本公开实施例所提供的目标对象检测方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的目标对象检测装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

备选地，本公开实施例所提供的目标对象检测方法一般也可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的目标对象检测装置也可以设置于终端设备101、102、或103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。

图2是根据本公开的实施例的深度学习模型的训练方法的流程图。

如图2所示，深度学习模型的训练方法200可以包括操作S210~S240。深度学习模型可以包括第一网络和第二网络。

在操作S210，对样本数据进行序列化处理，得到序列化样本。

在操作S220，将序列化样本输入第一网络，得到初始特征向量。

在操作S230，将初始特征向量和多个知识信息输入第二网络，得到融合特征向量。

在操作S240，根据初始特征向量、参考特征向量和融合特征向量来调整第一网络和第二网络的参数。

根据本公开的实施例，样本数据例如可以包括文本、图像或者视频等单模态信息，但本公开不局限于此。

在本公开实施例中，对于不同模态的样本数据，可以根据各个模态的样本数据的特点来进行序列化处理。例如，对于文本类型的样本数据，可以对文本中所有句子进行分词处理，以将文本转换为序列化样本。又例如，对于图像或者视频类型的样本数据，可以将图像或者视频沿着时间或者空间维度划分为区块，从而得到由区块构成的序列化样本。

根据本公开的实施例，可以通过将知识蒸馏学习思想和知识库相结合来实现对深度学习模型的训练。一方面，可以将第一网络作为知识蒸馏网络中的学生模型，将参考网络作为知识蒸馏网络中的教师模型，从而基于知识蒸馏算法通过从参考网络中迁移有用的知识来实现第一网络的学习。另一方面，知识库中可以存储有诸如但不限于文本片段、词典条目和知识图谱三元组等形式的知识信息。利用这些知识信息与第一网络输出的初始特征向量进行融合，得到融合特征向量，并使用融合特征向量来训练深度学习模型中的第二网络，使得深度学习模型可以学习到更多的知识类型，从而提高模型理解真实事物含义的能力，扩大模型的适用性，进而更好地执行多模态任务。

基于上述机制，可以将序列化样本分别输入第一网络和参考网络，得到初始特征向量和参考特征向量。初始特征向量是第一网络输出的针对样本数据的语义表示，参考特征向量是参考网络输出的针对样本数据的语义表示。后续可以根据初始特征向量和参考特征向量之间的差异来调整第一网络和参考网络的参数，从而实现第一网络的训练。将初始特征向量与从知识库中获取的与样本数据相匹配的多个知识信息输入第二网络，得到融合特征向量。后续可以根据参考特征向量和融合特征向量之间的差异来调整第二网络的参数。可以理解，第一网络可以由第一编码网络来实现，第二网络可以由第二编码网络和特征融合网络来实现，参考网络可以由第三编码网络来实现。当然，本公开并不局限于此。

在本公开实施例中，可以根据序列化样本从知识库中获取与样本数据相匹配的多个知识信息。这里所谓的知识信息例如包括文本片段、词典条目和知识图谱三元组中的至少一个。知识图谱三元组包括主体和客体两个实体、以及两个实体之间的关系。

在一个示例中，根据序列化样本从知识库中获取与样本数据相匹配的多个知识信息可以包括如下操作：对序列化样本进行掩码处理，对掩码处理后的序列化样本进行关键词提取或短语提取，利用所提取的关键词或者短语从知识库中检索得到与样本数据相匹配的多个知识信息。需要说明的是，对于图像或者视频类型的样本数据，可以先根据图像或者视频获取图像标题生成或者视频标题生成。然后，根据图像标题生成或者视频标题生成提取关键词或短语，再根据关键词或短语从知识库中检索得到与样本数据相匹配的多个知识信息。当然，对于图像或者视频类型的样本数据，也可以采用其他方式从知识库中检索得到多个知识信息，具体不做限定。

在本公开实施例中，利用所提取的关键词或者短语从知识库中检索得到与样本数据相匹配的多个知识信息例如可以通过确定关键词或短语与知识库中的知识信息之间的相似度来实现。例如，在判定关键词或短语与知识库中的至少一个知识信息之间的相似度大于等于预设阈值的情况下，可以认定该至少一个知识信息是与样本数据相匹配的知识信息。在本公开中，可以利用各种合适的相似度计算方法来确定关键词或短语与知识库中的知识信息之间的相似度，这里不做限定。

在本公开实施例的技术方案中，通过将知识蒸馏学习思想和知识库相结合来对深度学习模型进行训练，使得模型可以处理信息的模态从单模态扩展到多模态，将可利用知识的类型从文本扩大到包括文本、词典和知识图谱等多种形式的知识，不仅提高了模型的适用性，而且有利于提高模型理解真实事物含义的能力，从而更好地执行多模态任务。

根据本公开的实施例，在操作S220中，将序列化样本输入第一网络，得到初始特征向量可以包括如下操作。

对序列化样本进行掩码处理，以及将掩码处理后的序列化样本输入第一网络，得到初始特征向量。

在本公开实施例中，对序列化样本进行掩码处理时，掩码的比例可以根据实际情况设定。掩码处理后的序列化样本的大小与序列化样本的大小一致。

根据本公开的实施例，在操作S230中，将初始特征向量和多个知识信息输入第二网络，得到融合特征向量可以包括如下操作：使用第二网络对多个知识信息进行编码，得到多个知识信息的特征向量；以及使用第二网络，根据多个知识信息的特征向量和初始特征向量，得到融合特征向量。

根据本公开的实施例，在操作S240中，根据初始特征向量、参考特征向量和融合特征向量来调整第一网络和第二网络的参数可以包括如下操作。

根据初始特征向量和参考特征向量，确定第一损失值；根据参考特征向量和融合特征向量，确定第二损失值；以及基于第一损失值来调整第一网络的参数和参考网络的参数，以及基于第二损失值来调整第二网络的参数。

根据本公开的实施例，可以采用各种合适的方式来确定第一损失值和第二损失值。确定第一损失值的方式与确定第二损失值的方式可以相同或者不同，可以根据实际情况选择。示例性地，可以采用均方误差（Mean Square Error，MES）来计算第一损失值和第二损失值。

根据本公开的实施例，根据初始特征向量、参考特征向量和融合特征向量来调整第一网络和第二网络的参数还包括如下操作。

周期性地获取第一网络的参数的平均值，以及利用第一网络的参数的平均值来调整参考网络的参数。

在深度学习模型训练的过程中，可以周期性地获取第一网络的参数的平均值，并利用第一网络的参数的平均值来调整参考网络的参数，从而实现第一网络和参考网络之间的参数共享。

在本公开实施例中，周期性地获取第一网络的参数的平均值例如可以是获取预设时长内的第一网络的参数的平均值，作为该第一网络的参数的平均值；或者在调参操作的累计次数达到预设次数的情况下，确定预设次数内的第一网络的参数的平均值作为该第一网络的参数的平均值，但本公开不局限于此。

可以理解，预设时长可以是指预设的时间段或者预设的时间间隔。预设时长和预设次数可以根据实际需要设定，在此不做限定。

需要说明的是，对于第一网络和第二网络的训练可以同步进行，但是本公开的实施例不限于此，对于第一网络和第二网络的训练也可以按照其他方式来执行。例如可以先执行对第一网络的训练，在第一网络收敛之后，再执行对第二网络的训练。

图3是根据本公开的实施例的深度学习模型的训练方法的示意图。以下参考图3对本公开的方案进行说明。

如图3所示，深度学习模型300包括第一网络310和第二网络320。在本公开实施例中，第一网络310和参考网络330构成知识蒸馏网络，其中第一网络310作为知识蒸馏网络中的学生模型，参考网络330作为知识蒸馏网络中的教师模型。基于知识蒸馏算法通过从参考网络330中迁移有用的知识来实现第一网络310对于参考网络330的学习。在本公开实施例中，还引入了知识库340。知识库340中存储有诸如但不限于文本片段、词典条目和知识图谱三元组等形式的知识信息。利用这些知识信息可以实现对第二网络320的训练。

以下将结合图3对本公开的训练方式进行详细说明。

如图3所示，对样本数据S进行序列化处理301，得到序列化样本Yx。其中，样本数据S例如可以包括文本、图像或者视频等单模态信息，但本公开不局限于此。

将序列化样本Yx输入参考网络330，得到参考特征向量Tc。另外，对序列化样本Yx进行掩码处理302，并将掩码处理后的序列化样本Ym输入第一网络310，得到初始特征向量Tr。根据掩码处理后的序列化样本Ym，从知识库340中检索303得到与样本数据S相匹配的多个知识信息K。将多个知识信息K和初始特征向量Tr输入第二网络320，得到融合特征向量Te。分别根据初始特征向量Tr和参考特征向量Tc、参考特征向量Tc和融合特征向量Te来计算304第一损失值和第二损失值。根据第一损失值来调整第一网络310的参数和参考网络330的参数，以及根据第二损失值来调整第二网络320的参数。由此，实现对深度学习模型300的训练。

需要说明的是，对于第一网络和第二网络的训练顺序可以不局限于上述实施例。在一些实施例中，可以先根据样本数据S来训练第一网络310和参考网络330，在第一网络310和参考网络330收敛之后，再利用样本数据S和知识库340来训练第二网络320。其中，对第一网络310、参考网络330和第二网络320的训练方式相同，这里不再赘述。

在一些实施例中，可以周期性地获取第一网络310的参数的平均值，并利用第一网络310的参数的平均值来调整参考网络330的参数，从而实现第一网络310和参考网络330之间的参数共享。

在本公开实施例的技术方案中，通过将知识蒸馏学习思想和知识库相结合来对深度学习模型进行训练，使得模型可以处理信息的模态从单模态扩展到多模态，将可利用知识的类型从文本扩大到包括文本、词典和知识图谱等多种形式的知识，不仅提高了模型的适用性，而且有利于提高模型理解真实事物含义的能力，从而更好地执行多模态任务。

图4是根据本公开的实施例的目标对象检测方法的流程图。

如图4所示，目标对象检测方法400可以包括操作S410~S440。

在操作S410，对输入信息进行序列化处理，得到序列化信息。

根据本公开的实施例，输入信息例如可以是文本、图像和视频中的任意一种或多种模态的信息。例如，输入信息可以是文本信息，或者是文本信息和图像信息，但本公开不以此为限。

根据本公开的实施例，对不同模态的输入信息进行序列化处理的过程与以上描述的过程相同或类似，这里不再赘述。

在操作S420，将序列化信息输入深度学习模型的第一网络，得到初始特征向量。

根据本公开的实施例，深度学习模型是利用以上实施例中所述的深度学习模型的训练方法训练得到的。将序列化信息输入经训练的深度学习模型的第一网络中，可以得到初始特征向量。

在操作S430，将初始向量和多个知识信息输入深度学习模型的第二网络，得到融合特征向量。

根据本公开的实施例，可以根据序列化信息从知识库中获取与输入信息相匹配的多个知识信息。其中，根据序列化信息从知识库中获取多个知识信息的过程与以上描述的过程相同或类似，这里不再赘述。

将初始向量和多个知识信息输入经训练的深度学习模型的第二网络，得到融合特征向量。

在操作S440，根据融合特征向量，检测针对输入信息的目标对象。

根据本公开的实施例，输入信息的目标对象可以根据检测任务以及输入信息来确定。例如，在视觉问答任务的应用场景下，输入信息可以是问题（文本形式）和图像，检测任务可以是根据问题对图像中的目标对象进行识别，以获取问题的答案预测。当然，本公开提出的深度学习模型不局限于视觉问答任务，还可以将其扩展到其他多模态任务或者单模态任务当中去，具体可以根据实际应用场景来确定，这里不再赘述。

在本公开实施例的方案中，通过利用以上方式训练得到的深度学习模型来检测针对输入信息的目标对象，可以提高目标对象检测的准确性。

图5是根据本公开的实施例的深度学习模型的训练装置的框图。

如图5所示，深度学习模型的训练装置500包括第一序列化模块510、第一编码模块520、第一融合模块530和训练模块540。其中深度学习模型可以包括第一网络和第二网络。

第一序列化模块510用于对样本数据进行序列化处理，得到序列化样本，样本数据包括文本、图像或者视频；第一编码模块520用于将序列化样本输入第一网络，得到初始特征向量；第一融合模块530用于将初始特征向量和多个知识信息输入第二网络，得到融合特征向量，其中，多个知识信息是根据序列化样本获取的；以及训练模块540用于根据初始特征向量、参考特征向量和融合特征向量来调整第一网络和第二网络的参数，其中，参考特征向量是通过将序列化样本输入参考网络得到的。

根据本公开的实施例，训练模块540包括第一确定单元、第二确定单元和第一调整单元。第一确定单元用于根据初始特征向量和参考特征向量，确定第一损失值；第二确定单元用于根据参考特征向量和融合特征向量，确定第二损失值；以及第一调整单元用于基于第一损失值来调整第一网络的参数和参考网络的参数，以及基于第二损失值来调整第二网络的参数。

根据本公开的实施例，第一编码模块520包括掩码单元和编码单元。掩码单元用于对序列化样本进行掩码处理；以及编码单元用于将掩码处理后的序列化样本输入第一网络，得到初始特征向量。

根据本公开的实施例，知识信息包括文本片段、词典条目和知识图谱三元组中的至少一个。

根据本公开的实施例，训练模块540还包括获取单元和第二调整单元。获取单元用于周期性地获取第一网络的参数的平均值；以及第二调整单元用于利用第一网络的参数的平均值来调整参考网络的参数。

根据本公开的实施例，上述深度学习模型的训练装置500还包括掩码模块、提取模块和检索模块。掩码模块用于对序列化样本进行掩码处理；提取模块用于对掩码处理后的序列化样本进行关键词提取或者短语提取；以及检索模块用于利用所提取的关键词或者短语从知识库中检索得到多个知识信息。

根据本公开的实施例，第一融合模块530包括第一融合单元和第二融合单元。第一融合单元用于使用第二网络，得到多个知识信息的特征向量；以及第二融合单元用于使用第二网络，根据初始特征向量以及多个知识信息的特征向量，得到融合特征向量。

根据本公开的实施例，获取单元包括第一获取子单元或者第二获取子单元。第一获取子单元用于获取预设时长内的第一网络的参数的平均值，作为第一网络的参数的平均值；第二获取子单元用于在调参操作的累计次数达到预设次数的情况下，确定预设次数内的第一网络的参数的平均值作为第一网络的参数的平均值。

图6是根据本公开的实施例的目标对象检测装置的框图。

如图6所示，目标对象检测装置600包括第二序列化模块610、第二编码模块620、第二融合模块630和检测模块640。

第二序列化模块610用于对输入信息进行序列化处理，得到序列化信息；第二编码模块620用于将序列化信息输入深度学习模型的第一网络，得到初始特征向量；第二融合模块630用于将初始向量和多个知识信息输入深度学习模型的第二网络，得到融合特征向量，其中，多个知识信息根据序列化信息获取的；以及检测模块640用于根据融合特征向量，检测针对输入信息的目标对象；其中，深度学习模型是利用以上实施例中任一项的深度学习模型的训练装置训练得到的。

需要说明的是，装置部分实施例中各模块/单元/子单元等的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似，在此不再赘述。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开实施例的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开实施例的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开实施例的方法。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器（ROM）702中的计算机程序或者从存储单元708加载到随机访问存储器（RAM）703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如深度学习模型的训练方法、目标对象检测方法。例如，在一些实施例中，深度学习模型的训练方法、目标对象检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的深度学习模型的训练方法、目标对象检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行深度学习模型的训练方法、目标对象检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (20)

1.一种深度学习模型的训练方法，其特征在于，所述深度学习模型包括第一网络和第二网络，所述方法包括：

对样本数据进行序列化处理，得到序列化样本，所述样本数据包括文本、图像或者视频；

将所述序列化样本输入所述第一网络，得到初始特征向量；

将所述初始特征向量和多个知识信息输入所述第二网络，得到融合特征向量，其中，所述多个知识信息是根据所述序列化样本获取的；以及

根据所述初始特征向量、参考特征向量和所述融合特征向量来调整所述第一网络和所述第二网络的参数，其中，所述参考特征向量是通过将所述序列化样本输入参考网络得到的；

其中，所述第一网络和所述参考网络用于构成知识蒸馏网络，所述第一网络作为所述知识蒸馏网络中的学生模型，所述参考网络作为所述知识蒸馏网络中的教师模型；

训练后的深度学习模型应用于视觉问答的场景。

2.根据权利要求1所述的方法，其特征在于，所述根据所述初始特征向量、参考特征向量和所述融合特征向量来调整所述第一网络和所述第二网络的参数包括：

根据所述初始特征向量和所述参考特征向量，确定第一损失值；

根据所述参考特征向量和所述融合特征向量，确定第二损失值；以及

基于所述第一损失值来调整所述第一网络的参数和所述参考网络的参数，以及基于所述第二损失值来调整所述第二网络的参数。

3. 根据权利要求1或2所述的方法，其特征在于，所述将所述序列化样本输入所述第一网络，得到初始特征向量包括：

对所述序列化样本进行掩码处理；以及

将掩码处理后的序列化样本输入所述第一网络，得到所述初始特征向量。

4.根据权利要求1或2所述的方法，其特征在于，所述知识信息包括文本片段、词典条目和知识图谱三元组中的至少一个。

5. 根据权利要求2所述的方法，其特征在于，所述根据所述初始特征向量、参考特征向量和所述融合特征向量来调整所述第一网络和所述第二网络的参数还包括：

周期性地获取所述第一网络的参数的平均值；以及

利用所述第一网络的参数的平均值来调整所述参考网络的参数。

6.根据权利要求4所述的方法，其特征在于，根据所述序列化样本获取多个知识信息包括：

对所述序列化样本进行掩码处理；

对掩码处理后的序列化样本进行关键词提取或者短语提取；以及

利用所提取的关键词或者短语，从知识库中检索得到所述多个知识信息。

7. 根据权利要求6所述的方法，其特征在于，所述将所述初始特征向量和多个知识信息输入所述第二网络，得到融合特征向量包括：

使用所述第二网络，得到所述多个知识信息的特征向量；以及

使用所述第二网络，根据所述初始特征向量以及所述多个知识信息的特征向量，得到所述融合特征向量。

8. 根据权利要求5所述的方法，其特征在于，所述周期性地获取所述第一网络的参数的平均值包括：

获取预设时长内的第一网络的参数的平均值，作为所述第一网络的参数的平均值；或者

在调参操作的累计次数达到预设次数的情况下，确定预设次数内的第一网络的参数的平均值作为所述第一网络的参数的平均值。

9.一种目标对象检测方法，应用于视觉问答的场景，其特征在于，包括：

对输入信息进行序列化处理，得到序列化信息；

将所述序列化信息输入深度学习模型的第一网络，得到初始特征向量；

将所述初始特征向量和多个知识信息输入所述深度学习模型的第二网络，得到融合特征向量，其中，所述多个知识信息是根据所述序列化信息获取的；以及

根据所述融合特征向量，检测针对所述输入信息的目标对象；

其中，所述深度学习模型是利用权利要求1~8中任一项所述的方法训练得到的。

10.一种深度学习模型的训练装置，其特征在于，所述深度学习模型包括第一网络和第二网络，所述装置包括：

第一序列化模块，用于对样本数据进行序列化处理，得到序列化样本，所述样本数据包括文本、图像或者视频；

第一编码模块，用于将所述序列化样本输入所述第一网络，得到初始特征向量；

第一融合模块，用于将所述初始特征向量和多个知识信息输入所述第二网络，得到融合特征向量，其中，所述多个知识信息是根据所述序列化样本获取的；以及

训练模块，用于根据所述初始特征向量、参考特征向量和所述融合特征向量来调整所述第一网络和所述第二网络的参数，其中，所述参考特征向量是通过将所述序列化样本输入参考网络得到的；

其中，所述第一网络和所述参考网络用于构成知识蒸馏网络，所述第一网络作为所述知识蒸馏网络中的学生模型，所述参考网络作为所述知识蒸馏网络中的教师模型；

训练后的深度学习模型应用于视觉问答的场景。

11.根据权利要求10所述的装置，其特征在于，所述训练模块包括：

第一确定单元，用于根据所述初始特征向量和所述参考特征向量，确定第一损失值；

第二确定单元，用于根据所述参考特征向量和所述融合特征向量，确定第二损失值；以及

第一调整单元，用于基于所述第一损失值来调整所述第一网络的参数和所述参考网络的参数，以及基于所述第二损失值来调整所述第二网络的参数。

12. 根据权利要求10或11所述的装置，其特征在于，所述第一编码模块包括：

掩码单元，用于对所述序列化样本进行掩码处理；以及

编码单元，用于将掩码处理后的序列化样本输入所述第一网络，得到所述初始特征向量。

13.根据权利要求10或11所述的装置，其特征在于，所述知识信息包括文本片段、词典条目和知识图谱三元组中的至少一个。

14. 根据权利要求11所述的装置，其特征在于，所述训练模块还包括：

获取单元，用于周期性地获取所述第一网络的参数的平均值；以及

第二调整单元，用于利用所述第一网络的参数的平均值来调整所述参考网络的参数。

15.根据权利要求13所述的装置，其特征在于，所述装置还包括：

掩码模块，用于对所述序列化样本进行掩码处理；

提取模块，用于对掩码处理后的序列化样本进行关键词提取或者短语提取；以及

检索模块，用于利用所提取的关键词或者短语从知识库中检索得到所述多个知识信息。

16. 根据权利要求15所述的装置，其特征在于，所述第一融合模块包括：

第一融合单元，用于使用所述第二网络，得到所述多个知识信息的特征向量；以及

第二融合单元，用于使用所述第二网络，根据所述初始特征向量以及所述多个知识信息的特征向量，得到所述融合特征向量。

17. 根据权利要求14所述的装置，其特征在于，所述获取单元包括：

第一获取子单元，用于获取预设时长内的第一网络的参数的平均值，作为所述第一网络的参数的平均值；或者

第二获取子单元，用于在调参操作的累计次数达到预设次数的情况下，确定预设次数内的第一网络的参数的平均值作为所述第一网络的参数的平均值。

18.一种目标对象检测装置，应用于视觉问答的场景，其特征在于，包括：

第二序列化模块，用于对输入信息进行序列化处理，得到序列化信息；

第二编码模块，用于将所述序列化信息输入深度学习模型的第一网络，得到初始特征向量；

第二融合模块，用于将所述初始特征向量和多个知识信息输入所述深度学习模型的第二网络，得到融合特征向量，其中，所述多个知识信息根据所述序列化信息获取的；以及

检测模块，用于根据所述融合特征向量，检测针对所述输入信息的目标对象；

其中，所述深度学习模型是利用权利要求10~17中任一项所述的装置训练得到的。

19. 一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1~9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1~9中任一项所述的方法。

Images