CN109145936A - 一种模型优化方法及装置 - Google Patents

Abstract

本发明实施例提供了一种模型优化方法及装置。获取多个图像的标注内容描述；确定每一个标注内容描述包括的内容主题；在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题；获取包括目标内容主题的目标标注内容描述所对应的图像的图像特征；使用目标标注内容描述和该图像特征对预设图像描述生成模型进行多次优化。如此，使用最终得到的预设图像描述生成模型在获取其他图像的内容描述时，如果该其他图像本身所表达的内容中的内容主题包括出现频率非常低的目标内容主题，则不会出现得到的该其他图像的内容描述与该其他图像图像本身所表达的内容不同的情况，从而可以提高最终得到的预设图像描述生成模型的精度。

Description

一种模型优化方法及装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种模型优化方法及装置。

背景技术

近来，深度学习在视频、图像、语音以及自然语言处理等相关领域得到了广泛应用。神经网络作为深度学习的一个重要分支，由于其超强的拟合能力以及端到端的全局优化能力，使得图像的内容描述的生成任务在应用神经网络模型之后，精度大幅提升。

虽然目前的图像描述生成模型能够根据图像的图像特征生成图像的内容描述，但是仍然会出现生成的图像的内容描述与图像本身所表达的内容不同的情况，因此，往往需要优化图像描述生成模型。

发明内容

为解决上述技术问题，本发明实施例示出了一种模型优化方法及装置。

第一方面，本发明实施例示出了一种模型优化方法，所述方法包括：

获取多个图像的标注内容描述；

确定每一个标注内容描述包括的内容主题；

在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题；

获取包括所述目标内容主题的目标标注内容描述所对应的图像的图像特征；

使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行多次优化。

在一个可选的实现方式中，所述在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题，包括：

在多个标注内容描述分别包括的内容主题中，确定每一个内容主题分别在多个标注内容描述中的分布比例；

在多个标注内容描述分别包括的内容主题中，确定分布比例最低的预设数量个内容主题，并作为所述目标内容主题。

在一个可选的实现方式中，所述使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行多次优化，包括：

根据所述目标内容主题在多个标注内容描述中的分布比例和所述目标标注内容描述确定优化次数；

使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行所述优化次数次优化。

在一个可选的实现方式中，所述根据所述目标内容主题分别在多个标注内容描述中的分布比例和所述目标标注内容描述确定优化次数，包括：

获取所述目标内容主题在多个标注内容描述中的分布比例的倒数；

根据所述目标标注内容描述包括的内容主题与所述倒数确定所述目标标注内容描述的优化权重；

根据已存储的优化权重与优化次数之间的对应关系，确定与所述优化权重相对应的优化次数。

在一个可选的实现方式中，所述根据所述目标标注内容描述包括的内容主题与所述倒数确定所述目标标注内容描述的优化权重，包括：

计算所述目标标注内容描述包括的内容主题对应的向量与所述倒数对应的向量之间的乘积，并作为所述优化权重。

在一个可选的实现方式中，所述使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行多次优化，包括：

将所述目标标注内容描述拆分为多段子图像描述；

使用每一段子图像描述分别对预设图像描述生成模型进行多次优化。

第二方面，本发明实施例示出了一种模型优化装置，所述装置包括：

第一获取模块，用于获取多个图像的标注内容描述；

第一确定模块，用于确定每一个标注内容描述包括的内容主题；

第二确定模块，用于在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题；

第二获取模块，用于获取包括所述目标内容主题的目标标注内容描述所对应的图像的图像特征；

优化模块，用于使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行多次优化。

在一个可选的实现方式中，所述第二确定模块包括：

第一确定单元，用于在多个标注内容描述分别包括的内容主题中，确定每一个内容主题分别在多个标注内容描述中的分布比例；

第二确定单元，用于在多个标注内容描述分别包括的内容主题中，确定分布比例最低的预设数量个内容主题，并作为所述目标内容主题。

在一个可选的实现方式中，所述优化模块包括：

第三确定单元，用于根据所述目标内容主题在多个标注内容描述中的分布比例和所述目标标注内容描述确定优化次数；

第一优化单元，用于使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行所述优化次数次优化。

在一个可选的实现方式中，所述第三确定单元包括：

获取子单元，用于获取所述目标内容主题在多个标注内容描述中的分布比例的倒数；

第一确定子单元，用于根据所述目标标注内容描述包括的内容主题与所述倒数确定所述目标标注内容描述的优化权重；

第二确定子单元，用于根据已存储的优化权重与优化次数之间的对应关系，确定与所述优化权重相对应的优化次数。

在一个可选的实现方式中，所述第一确定子单元用于：计算所述目标标注内容描述包括的内容主题对应的向量与所述倒数对应的向量之间的乘积，并作为所述优化权重。

在一个可选的实现方式中，所述优化模块包括：

拆分单元，用于将所述目标标注内容描述拆分为多段子图像描述；

第二优化单元，用于使用每一段子图像描述分别对预设图像描述生成模型进行多次优化。

第三方面，本发明实施例示出了一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模型优化程序，所述模型优化程序被所述处理器执行时实现如第一方面所述的模型优化方法的步骤。

第四方面，本发明实施例示出了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有模型优化程序，所述模型优化程序被处理器执行时实现如第一方面所述的模型优化方法的步骤。

与现有技术相比，本发明实施例包括以下优点：

在现有技术中，在多个图像的标注内容描述中，使用每一个标注内容描述分别对预设图像描述生成模型优化一次，有几个标注内容描述就优化几次，之后，就可以使用优化后最终得到的预设图像描述生成模型来获取其他图像的内容描述，然而，在多个图像的标注内容描述中，每一个标注内容描述包括至少一个内容主题，在多个标注内容描述中包括的所有内容主题中，如果某一内容主题在多个标注内容描述中的出现频率非常低，则使用优化后最终得到的预设图像描述生成模型在获取其他图像的内容描述时，如果该其他图像本身所表达的内容中的内容主题包括出现频率非常低的内容主题，可能出现得到的该其他图像的内容描述与该其他图像图像本身所表达的内容不同的情况，导致优化后最终得到的预设图像描述生成模型的精度较低。

为了避免这种情况出现，在本发明实施例中，获取多个图像的标注内容描述；确定每一个标注内容描述包括的内容主题；在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题；获取包括目标内容主题的目标标注内容描述所对应的图像的图像特征；使用目标标注内容描述和该图像特征对预设图像描述生成模型进行多次优化。如此，使用优化后最终得到的预设图像描述生成模型在获取其他图像的内容描述时，如果该其他图像本身所表达的内容中的内容主题包括出现频率非常低的目标内容主题，则不会出现得到的该其他图像的内容描述与该其他图像图像本身所表达的内容不同的情况，从而可以提高优化后最终得到的预设图像描述生成模型的精度。

附图说明

图1是本发明的一种模型优化方法实施例的步骤流程图；

图2是本发明的一种模型优化装置实施例的结构框图；

图3是本发明的一种终端实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种模型优化方法实施例的步骤流程图，具体可以包括如下步骤：

在步骤S101中，获取多个图像的标注内容描述；

在本发明实施例中，对于多个图像中的任一图像，技术人员事先可以观看该图像的内容，再根据该图像的内容总结该图像的内容描述，并将其作为该图像的标注内容描述，然后存储该图像的标注内容描述。因此，在本步骤中，可以直接获取已存储的、该图像的标注内容描述。

例如，可以将该图像的图像标识与该图像的标注内容描述组成对应表项，并存储在已存储的图像标识与标注内容描述之间的对应关系中，因此，在本步骤中，可以在已存储的图像标识与标注内容描述之间的对应关系中，查找与该图像的图像标识相对应的标注内容描述，并作为该图像的标注内容描述。

对于多个图像中的其他每一图像，同样如此。

在本发明实施例中，图像中的事务包括图像中的实体、实体之间的关系以及实体发生的事件等等。实体包括：动物、植物、天空、水以及各种物体等。

在步骤S102中，确定每一个标注内容描述包括的内容主题；

在一个可选的实现方式中，对于任意一个标注内容描述，可以通过如下流程确定该标注内容描述包括的内容主题，对于其他每一个标注内容描述，同样如此。

其中，该流程包括：

1021、对该标注内容描述分词，得到多个描述词汇；

在本发明实施例中，可以使用汉语分词系统NLPIR对该标注内容描述分词，得到该标注内容描述包括的多个描述词汇。

1022、确定每一个描述词汇所属的主题；

其中，技术人员事先会设置多个主题，对于每一个主题，可以统计用于描述该主题的描述词汇，并组成该主题对应的描述词汇集合。

因此，在对于任意一描述词汇，可以在多个描述词汇集合中查找包括该描述词汇的词汇描述集合，并将该词汇描述集合对应的主题作为该描述词汇所属的主题。对于其他每一描述词汇，同样如此。

1023、根据每一个描述词汇所属的主题确定该标注内容描述包括的内容主题。

在本发明实施例中，在确定每一个描述词汇所属的主题中，可以将数量最多的主题确定为该标注内容描述包括的内容主题。

当然，在另一个可选的实现方式中，也可以按照其他方式来确定该标注内容描述包括的内容主题，例如，可以将该图像的标注图像描述输入预设主题确定模型中，得到预设主题确定模型输出的该标注内容描述包括的内容主题，其中，预设主题确定模型用于根据图像的内容描述确定内容描述包括的内容主题，本发明实施例对此不加以限定。

在步骤S103中，在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题；

其中，本步骤可以通过如下流程实现，包括：

1031、在多个标注内容描述分别包括的内容主题中，确定每一个内容主题分别在多个标注内容描述中的分布比例；

在本发明实施例中，在每一个标注内容描述分别包括的内容主题中，每一个内容主题在分别每一个标注内容描述中都具备一个分布比例，分布比例可以为0，也可以大于0。

其中，当某一内容主题在某一标注内容描述中的分布比例为0时，则说明该内容主题与该标注内容描述之间没有关系，或者，该内容主题在该标注内容描述中无法体现。

当某一内容主题在某一标注内容描述中的分布比例大于0时，则说明该内容主题与该标注内容描述之间具有关系，或者，该内容主题在该标注内容描述中能够体现。

当某一内容主题在某一标注内容描述中的分布比例越大时，则说明该内容主题与该标注内容描述之间没有关系越紧密，或者，该内容主题在该标注内容描述中体现的越多。

当某一内容主题在某一标注内容描述中的分布比例越小时，则说明该内容主题与该标注内容描述之间没有关系越稀疏，或者，该内容主题在该标注内容描述中体现的越少。

每一个标注内容描述包括的内容主题分别可以组成一个向量，可以计算组成的多个向量之间的平均向量，平均向量中的每一个维度代表一个内容主题，平均向量中的每一个维度对应的数值为包括该维度对应的内容主题的标注内容描述的数量，然后将平均向量中的每一个维度对应的数值求和，平均向量中的对于任意一个维度，可以计算该维度对应的数值与求和得到的数值之间的比值，并作为该维度对应的内容主题在多个标注内容描述中的分布比例，对于其他每一个维度，同样如此。

1032、在多个标注内容描述分别包括的内容主题中，确定分布比例最低的预设数量个内容主题，并作为目标内容主题。

在步骤S104中，获取包括目标内容主题的目标标注内容描述所对应的图像的图像特征；

在本发明实施例中，在多个标注内容描述中，确定包括目标内容主题的目标标注内容，然后获取目标标注内容描述所对应的图像的图像特征。

在步骤S105中，使用目标标注内容描述和该图像特征对预设图像描述生成模型进行多次优化。

其中，本步骤可以通过如下流程实现，包括：

1051、根据目标内容主题在多个标注内容描述中的分布比例和目标标注内容描述确定优化次数；

获取目标内容主题在多个标注内容描述中的分布比例的倒数；根据目标标注内容描述包括的内容主题与倒数确定目标标注内容描述的优化权重；例如计算目标标注内容描述包括的内容主题对应的向量与倒数对应的向量之间的乘积，并作为优化权重；然后根据已存储的优化权重与优化次数之间的对应关系，确定与优化权重相对应的优化次数。

在已存储的优化权重与优化次数之间的对应关系中，越大的优化权重对应的优化次数越大，越小的优化权重对应的优化次数越小。

当一个内容主题在多个标注内容描述中的分布比例越小，则该内容主题在多个标注内容描述中的分布比例的倒数越大，确定出优化权重越大，最终得到的优化次数越多。

1052、使用目标标注内容描述和图像特征对预设图像描述生成模型进行优化次数次优化。

在本发明另一实施例中，在使用目标标注内容描述和图像特征对预设图像描述生成模型进行多次优化时，可以将目标标注内容描述拆分为多段子图像描述；使用每一段子图像描述分别对预设图像描述生成模型进行多次优化。由于将目标标注内容描述拆分为多段子图像描述，因此使用每一段子图像描述分别对预设图像描述生成模型进行优化之后，可以提高图像描述的多样性，且克服长句子中的词汇与词汇之间的依赖。

在现有技术中，在多个图像的标注内容描述中，使用每一个标注内容描述分别对预设图像描述生成模型优化一次，有几个标注内容描述就优化几次，之后，就可以使用优化后最终得到的预设图像描述生成模型来获取其他图像的内容描述，然而，在多个图像的标注内容描述中，每一个标注内容描述包括至少一个内容主题，在多个标注内容描述中包括的所有内容主题中，如果某一内容主题在多个标注内容描述中的出现频率非常低，则使用优化后最终得到的预设图像描述生成模型在获取其他图像的内容描述时，如果该其他图像本身所表达的内容中的内容主题包括出现频率非常低的内容主题，可能出现得到的该其他图像的内容描述与该其他图像图像本身所表达的内容不同的情况，导致优化后最终得到的预设图像描述生成模型的精度较低。

为了避免这种情况出现，在本发明实施例中，获取多个图像的标注内容描述；确定每一个标注内容描述包括的内容主题；在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题；获取包括目标内容主题的目标标注内容描述所对应的图像的图像特征；使用目标标注内容描述和该图像特征对预设图像描述生成模型进行多次优化。如此，使用优化后最终得到的预设图像描述生成模型在获取其他图像的内容描述时，如果该其他图像本身所表达的内容中的内容主题包括出现频率非常低的目标内容主题，则不会出现得到的该其他图像的内容描述与该其他图像图像本身所表达的内容不同的情况，从而可以提高优化后最终得到的预设图像描述生成模型的精度。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图2，示出了本发明一种模型优化装置实施例的结构框图，该装置具体可以包括如下模块：

第一获取模块11，用于获取多个图像的标注内容描述；

第一确定模块12，用于确定每一个标注内容描述包括的内容主题；

第二确定模块13，用于在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题；

第二获取模块14，用于获取包括所述目标内容主题的目标标注内容描述所对应的图像的图像特征；

优化模块15，用于使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行多次优化。

在一个可选的实现方式中，所述第二确定模块13包括：

第一确定单元，用于在多个标注内容描述分别包括的内容主题中，确定每一个内容主题分别在多个标注内容描述中的分布比例；

第二确定单元，用于在多个标注内容描述分别包括的内容主题中，确定分布比例最低的预设数量个内容主题，并作为所述目标内容主题。

在一个可选的实现方式中，所述优化模块15包括：

第三确定单元，用于根据所述目标内容主题在多个标注内容描述中的分布比例和所述目标标注内容描述确定优化次数；

第一优化单元，用于使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行所述优化次数次优化。

在一个可选的实现方式中，所述第三确定单元包括：

获取子单元，用于获取所述目标内容主题在多个标注内容描述中的分布比例的倒数；

第一确定子单元，用于根据所述目标标注内容描述包括的内容主题与所述倒数确定所述目标标注内容描述的优化权重；

第二确定子单元，用于根据已存储的优化权重与优化次数之间的对应关系，确定与所述优化权重相对应的优化次数。

在一个可选的实现方式中，所述第一确定子单元用于：计算所述目标标注内容描述包括的内容主题对应的向量与所述倒数对应的向量之间的乘积，并作为所述优化权重。

在一个可选的实现方式中，所述优化模块15包括：

拆分单元，用于将所述目标标注内容描述拆分为多段子图像描述；

第二优化单元，用于使用每一段子图像描述分别对预设图像描述生成模型进行多次优化。

在现有技术中，在多个图像的标注内容描述中，使用每一个标注内容描述分别对预设图像描述生成模型优化一次，有几个标注内容描述就优化几次，之后，就可以使用优化后最终得到的预设图像描述生成模型来获取其他图像的内容描述，然而，在多个图像的标注内容描述中，每一个标注内容描述包括至少一个内容主题，在多个标注内容描述中包括的所有内容主题中，如果某一内容主题在多个标注内容描述中的出现频率非常低，则使用优化后最终得到的预设图像描述生成模型在获取其他图像的内容描述时，如果该其他图像本身所表达的内容中的内容主题包括出现频率非常低的内容主题，可能出现得到的该其他图像的内容描述与该其他图像图像本身所表达的内容不同的情况，导致优化后最终得到的预设图像描述生成模型的精度较低。

为了避免这种情况出现，在本发明实施例中，获取多个图像的标注内容描述；确定每一个标注内容描述包括的内容主题；在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题；获取包括目标内容主题的目标标注内容描述所对应的图像的图像特征；使用目标标注内容描述和该图像特征对预设图像描述生成模型进行多次优化。如此，使用优化后最终得到的预设图像描述生成模型在获取其他图像的内容描述时，如果该其他图像本身所表达的内容中的内容主题包括出现频率非常低的目标内容主题，则不会出现得到的该其他图像的内容描述与该其他图像图像本身所表达的内容不同的情况，从而可以提高优化后最终得到的预设图像描述生成模型的精度。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明还示出了一种终端，该终端可以包括：存储器、处理器及存储在存储器上并可在处理器上运行的模型优化程序，模型优化程序被处理器执行时实现本发明中所述的任意一种模型优化方法的步骤。

图3是根据一示例性实施例示出的一种终端600的框图。例如，终端600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图3，终端600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述模型优化方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理部件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在终端600的操作。这些数据的示例包括用于在终端600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为终端600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为终端600生成、管理和分配电力相关联的组件。

多媒体组件608包括在所述终端600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当终端600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当终端600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为终端600提供各个方面的状态评估。例如，传感器组件614可以检测到终端600的打开/关闭状态，组件的相对定位，例如所述组件为终端600的显示器和小键盘，传感器组件614还可以检测终端600或终端600一个组件的位置改变，用户与终端600接触的存在或不存在，装置600方位或加速/减速和终端600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于终端600和其他设备之间有线或无线方式的通信。终端600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，终端600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行模型优化方法，具体地，该方法包括：

获取多个图像的标注内容描述；

确定每一个标注内容描述包括的内容主题；

在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题；

获取包括所述目标内容主题的目标标注内容描述所对应的图像的图像特征；

使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行多次优化。

在一个可选的实现方式中，所述在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题，包括：

在多个标注内容描述分别包括的内容主题中，确定每一个内容主题分别在多个标注内容描述中的分布比例；

在多个标注内容描述分别包括的内容主题中，确定分布比例最低的预设数量个内容主题，并作为所述目标内容主题。

在一个可选的实现方式中，所述使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行多次优化，包括：

根据所述目标内容主题在多个标注内容描述中的分布比例和所述目标标注内容描述确定优化次数；

使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行所述优化次数次优化。

在一个可选的实现方式中，所述根据所述目标内容主题分别在多个标注内容描述中的分布比例和所述目标标注内容描述确定优化次数，包括：

获取所述目标内容主题在多个标注内容描述中的分布比例的倒数；

根据所述目标标注内容描述包括的内容主题与所述倒数确定所述目标标注内容描述的优化权重；

根据已存储的优化权重与优化次数之间的对应关系，确定与所述优化权重相对应的优化次数。

在一个可选的实现方式中，所述根据所述目标标注内容描述包括的内容主题与所述倒数确定所述目标标注内容描述的优化权重，包括：

计算所述目标标注内容描述包括的内容主题对应的向量与所述倒数对应的向量之间的乘积，并作为所述优化权重。

在一个可选的实现方式中，所述使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行多次优化，包括：

将所述目标标注内容描述拆分为多段子图像描述；

使用每一段子图像描述分别对预设图像描述生成模型进行多次优化。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由终端600的处理器620执行以完成上述模型优化方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端的处理器执行时，使得终端能够执行本发明中所述的任意一种模型优化方法的步骤。

在此提供的模型优化方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的模型优化方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

A1、一种模型优化装置，所述装置包括：

第一获取模块，用于获取多个图像的标注内容描述；

第一确定模块，用于确定每一个标注内容描述包括的内容主题；

第二确定模块，用于在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题；

第二获取模块，用于获取包括所述目标内容主题的目标标注内容描述所对应的图像的图像特征；

优化模块，用于使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行多次优化。

A2、根据权利要求A1所述的装置，所述第二确定模块包括：

第一确定单元，用于在多个标注内容描述分别包括的内容主题中，确定每一个内容主题分别在多个标注内容描述中的分布比例；

第二确定单元，用于在多个标注内容描述分别包括的内容主题中，确定分布比例最低的预设数量个内容主题，并作为所述目标内容主题。

A3、根据权利要求A2所述的装置，所述优化模块包括：

第三确定单元，用于根据所述目标内容主题在多个标注内容描述中的分布比例和所述目标标注内容描述确定优化次数；

第一优化单元，用于使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行所述优化次数次优化。

A4、根据权利要求A3所述的装置，所述第三确定单元包括：

获取子单元，用于获取所述目标内容主题在多个标注内容描述中的分布比例的倒数；

第一确定子单元，用于根据所述目标标注内容描述包括的内容主题与所述倒数确定所述目标标注内容描述的优化权重；

第二确定子单元，用于根据已存储的优化权重与优化次数之间的对应关系，确定与所述优化权重相对应的优化次数。

A5、根据权利要求A4所述的装置，所述第一确定子单元用于：计算所述目标标注内容描述包括的内容主题对应的向量与所述倒数对应的向量之间的乘积，并作为所述优化权重。

A6、根据权利要求A1所述的装置，所述优化模块包括：

拆分单元，用于将所述目标标注内容描述拆分为多段子图像描述；

第二优化单元，用于使用每一段子图像描述分别对预设图像描述生成模型进行多次优化。

Claims (10)

1.一种模型优化方法，其特征在于，所述方法包括：

获取多个图像的标注内容描述；

确定每一个标注内容描述包括的内容主题；

在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题；

获取包括所述目标内容主题的目标标注内容描述所对应的图像的图像特征；

使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行多次优化。

2.根据权利要求1所述的方法，其特征在于，所述在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题，包括：

在多个标注内容描述分别包括的内容主题中，确定每一个内容主题分别在多个标注内容描述中的分布比例；

在多个标注内容描述分别包括的内容主题中，确定分布比例最低的预设数量个内容主题，并作为所述目标内容主题。

3.根据权利要求2所述的方法，其特征在于，所述使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行多次优化，包括：

根据所述目标内容主题在多个标注内容描述中的分布比例和所述目标标注内容描述确定优化次数；

使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行所述优化次数次优化。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标内容主题分别在多个标注内容描述中的分布比例和所述目标标注内容描述确定优化次数，包括：

获取所述目标内容主题在多个标注内容描述中的分布比例的倒数；

根据所述目标标注内容描述包括的内容主题与所述倒数确定所述目标标注内容描述的优化权重；

根据已存储的优化权重与优化次数之间的对应关系，确定与所述优化权重相对应的优化次数。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标标注内容描述包括的内容主题与所述倒数确定所述目标标注内容描述的优化权重，包括：

计算所述目标标注内容描述包括的内容主题对应的向量与所述倒数对应的向量之间的乘积，并作为所述优化权重。

6.根据权利要求1所述的方法，其特征在于，所述使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行多次优化，包括：

将所述目标标注内容描述拆分为多段子图像描述；

使用每一段子图像描述分别对预设图像描述生成模型进行多次优化。

7.一种模型优化装置，其特征在于，所述装置包括：

第一获取模块，用于获取多个图像的标注内容描述；

第一确定模块，用于确定每一个标注内容描述包括的内容主题；

第二确定模块，用于在多个标注内容描述分别包括的内容主题中，确定出现频率低于预设频率的目标内容主题；

第二获取模块，用于获取包括所述目标内容主题的目标标注内容描述所对应的图像的图像特征；

优化模块，用于使用所述目标标注内容描述和所述图像特征对预设图像描述生成模型进行多次优化。

8.根据权利要求7所述的装置，其特征在于，所述第二确定模块包括：

第一确定单元，用于在多个标注内容描述分别包括的内容主题中，确定每一个内容主题分别在多个标注内容描述中的分布比例；

第二确定单元，用于在多个标注内容描述分别包括的内容主题中，确定分布比例最低的预设数量个内容主题，并作为所述目标内容主题。

9.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模型优化程序，所述模型优化程序被所述处理器执行时实现如权利要求1至6中任一项所述的模型优化方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有模型优化程序，所述模型优化程序被处理器执行时实现如权利要求1至6中任一项所述的模型优化方法的步骤。