CN113076755A - 关键词提取方法、装置、设备和存储介质 - Google Patents
关键词提取方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113076755A CN113076755A CN202110400595.XA CN202110400595A CN113076755A CN 113076755 A CN113076755 A CN 113076755A CN 202110400595 A CN202110400595 A CN 202110400595A CN 113076755 A CN113076755 A CN 113076755A
- Authority
- CN
- China
- Prior art keywords
- attribute
- description text
- word
- semantic
- article
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000014509 gene expression Effects 0.000 claims description 43
- 230000004927 fusion Effects 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 230000002457 bidirectional effect Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 13
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 7
- 239000010931 gold Substances 0.000 description 7
- 229910052737 gold Inorganic materials 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000007787 long-term memory Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Abstract
本申请提供一种关键词提取方法、装置、设备和存储介质，其中，该方法包括：获取与物品的属性相关的描述文本和物品的图片；对所述描述文本进行编码处理，得到所述描述文本的语义表示；对所述图片进行特征提取，得到所述图片的语义向量；利用预先训练得到的目标模型，根据所述语义向量和语义表示，获取所述物品的属性词。该技术方案中，通过使用物品的图片辅助从物品的描述文本中提取得到属性词，能够提高物品属性词提取的准确度和效果。
Description
技术领域
本申请涉及机器学习技术领域，尤其涉及一种关键词提取方法、装置、设备和存储介质。
背景技术
对于每一个物品，其都有对应的属性信息，属性信息具体包括有属性和该属性对应的属性值，例如家电设备的颜色可以对应为白色，用户通过查看该物品的属性信息，即可对物品有更加深入详细的了解，为此，每一个物品都需要配置完善的属性信息。
现有技术中，在配置物品的属性信息时，通常是从给定的一段物品的描述文本中抽取得到物品的属性信息，即识别描述文本中哪些词是用来描述物品属性的词语，并将这些词语抽取出来，最终得到物品的属性信息。
现有技术采用的这种从物品的描述文本中抽取物品的属性信息的方式，由于描述文本涉及的内容多，在抽取过程中容易产生混淆，出现词语无法识别或者识别不准确的情况，使得最终得到的物品的属性信息存在缺失，导致属性信息的提取效果差。
发明内容
本申请提供一种关键词提取方法、装置、设备和存储介质，用于解决现有的物品属性信息提取效果差的问题。
第一方面，本申请实施例提供一种关键词提取方法，包括：
获取与物品的属性相关的描述文本和物品的图片；
对所述描述文本进行编码处理，得到所述描述文本的语义表示；
对所述图片进行特征提取，得到所述图片的语义向量；
利用预先训练得到的目标模型，根据所述语义向量和语义表示，获取所述物品的属性词，所述属性词用于指示所述物品的属性。
第二方面，本申请实施例提供一种关键词提取装置，包括：
获取模块，用于获取与物品的属性相关的描述文本和物品的图片；
编码模块，用于对所述描述文本进行编码处理，得到所述描述文本的语义表示；
提取模块，用于对所述图片进行特征提取，得到所述图片的语义向量；
模型输出模块，用于利用预先训练得到的目标模型，根据所述语义向量和语义表示，获取所述物品的属性词，所述属性词用于描述所述物品的属性。
第三方面，本申请实施例提供一种计算机设备，包括存储器和至少一个处理器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机可读存储介质中存储有计算机指令，所述计算机指令被处理器执行时用于实现如上所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述的方法。
本申请实施例提供的关键词提取方法、装置、设备和存储介质，在从描述文本中提取物品的属性词的过程中，通过使用物品的图片作为辅助，使得描述文本与图片中的视觉特征融合，以辅助补齐物品的属性词，能够避免只单独从描述文本中提取物品的属性词存在缺失的情况，提高物品属性的词提取效果。
附图说明
图1为本申请实施例提供的关键词提取方法的场景示意图；
图2为本申请实施例提供的关键词提取方法的流程示意图；
图3为本申请实施例提供的关键词提取装置的结构示意图；
图4为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解：
注意力机制：注意力机制从本质上和人类的选择性机制类似，人类的选择性机制可以理解为人类通过快速扫描全局文本，获得需要重点关注的区域，即注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息，注意力机制其核心目标是从众多信息中选择出对当前任务目标更关键的信息。
BiLSTM：双向长短期记忆网络(Bi-directional Long Short-Term Memory，BiLSTM)，是由前向长短期记忆网络(LSTM，Long Short-Term Memory)与后向LSTM组合而成，通过BiLSTM可以更好的捕捉双向的语义依赖。
图1为本申请实施例提供的关键词提取方法的场景示意图。如图1所示，本申请实施例的应用场景为云端的服务器12，用户可以通过本地的终端设备11输入某一物品的描述文本和图片，并通过终端设备11上传到服务器12，由服务器12利用物品的描述文本和图片，完成关键词提取过程，得到物品的属性词，并反馈至终端设备11。
示例性的，终端设备11包括有移动终端、个人计算机和平板电脑等，终端设备11通过网络与云端的服务器12建立通信连接，实现数据信息的交互。
可选的，在另一些实施例中，可以将本地的计算机等处理设备作为应用场景，用户可以将物品的描述文本和图片输入至本地的计算机中，由本地的计算机利用物品的描述文本和图谱，完成关键词提取过程，并通过显示界面输出物品的属性词，可以根据实际需要，选择不同的应用场景，示例性的，当用户的数量较多时，则可以选择云端的服务器作为应用场景，各个用户之间可以共享同一个服务器以完成各个用户对应的关键词提取任务。
现有技术中，在提取物品的属性词时，使用的是物品的描述文本，描述文本中包括有描述物品属性的词语以及其他与物品属性不相关的词语，通过对描述文本中的词语进行识别，将描述物品属性的词语提取出来作为物品的属性词。在实际应用场景中，以描述文本为“黄金手机”为例，在客观认知上，用户通过描述文本可以确定手机的“颜色”对应的属性词应当为“黄金”，现有技术所采用的属性词提取方法，在使用计算机等机器对描述文本进行识别的过程中，机器并不清楚“黄金”这一属性词对应的属性是什么，例如“黄金”这一属性词可以对应的属性为“颜色”或者“材质”，由此，仅仅通过描述文本来提取物品的属性词就容易导致最终从描述文本中提取的属性词存在缺失或者不准确的情况。
针对上述问题，本申请实施例提供的关键词提取方法、装置、设备和存储介质，其技术构思为：在从描述文本中提取物品的属性词时，利用物品的图片作为辅助，通过提取图片中的视觉特征与描述文本进行融合，以使得机器在从描述文本中提取属性词时，能够利用图片中的视觉特征，提高属性词提取的准确度，避免出现属性词错误或者缺失的情况。
下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为本申请实施例提供的关键词提取方法的流程示意图。该关键词提取方法可以应用于云端的服务器，也可以应用于本地的具有处理功能的计算机等设备，如图2所示，该方法可以包括如下步骤：
S201、获取与物品的属性相关的描述文本和物品的图片。
其中，物品可以是电器设备或服装服饰等等，示例性的，电器设备的属性包括有材质、颜色和规格尺寸等。
在本实施例中，描述文本可以是关于物品的一段详细的文字介绍文本，其中包含有描述该物品属性的属性词以及其他的相关文字信息。示例性的，描述文本可以为“这是一款金色立领的衬衫”，其中所包含的属性词包括有“金色”和“立领”。
在用户的真实视角下，属性词和属性之间是一一对应的关系，属性词“金色”应当对应的属性为“颜色”，而属性词“立领”对应的属性应当为“领型”。若属性词“金色”对应的属性为“材质”，则表示该属性词是错误的。
可选的，物品的图片可以是物品的三视图或者物品的三维立体图，示例性的，为了降低图片所占用的内存容量，提高特征提取的性能，可以从三视图中选择任意一幅视图作为物品的图片。
S202、对描述文本进行编码处理，得到描述文本的语义表示；
示例性的，在本实施例中，若将描述文本输入至计算机，描述文本可以被分割为一个个的字词，计算机可以设置一个数组或字符串，描述文本中的字词根据先后顺序，可以依次存储到数组或者字符串中。
示例性的，输入至计算机中的描述文本可以表示为：x＝(x1，x2，...，xN)，其中x1表示的是描述文本中的第一个字词，N表示描述文本中字词的总数量。通过对x进行向量化，可以得到每一个字词的字向量embi，其中，embi表示第i个字词的字向量。
可选的，可以采用独热编码(One-hot)，对每一个字词进行编码，得到每一个字词的字向量，在本实施例中，对字向量进行编码，即可得到描述文本的语义表示，可以理解，语义表示是用于表征描述文本中的字词所蕴含的含义。
示例性的，描述文本的语义表示可以对应为h＝(h1，h2，...，hN)，其中，N表示描述文本中字词的数量，h即描述文本的语义表示。
S203、对图片进行特征提取，得到图片的语义向量。
在本实施例中，可以采用预先训练好的神经网络对物品的图片进行语义分割，得到图片中的各个特征的语义向量，可以理解，图片中包括有物品的图像和背景图像，可以先对背景图像进行过滤，减少背景干扰，再从物品的图像中提取需要的特征，最终得到该特征的语义向量。
示例性的，以衬衫作为物品为例，衬衫的衣领可以作为一个特征，可以通过预先训练好的神经网络提取得到衬衫的衣领对应的语义向量，
示例性的，神经网络可以是卷积神经网络(CNN，Convolutional NeuralNetworks)或视觉几何组网络模型(VGG，Visual Geometry Group Network)，该神经网络可以包括有卷积层、池化层、归一化层、激活层和全连接层。
S204、利用预先训练得到的目标模型，根据语义向量和语义表示，获取物品的属性词。
其中，属性词用于描述物品的属性。
在本实施例中，目标模型可以通过使用海量的训练样本训练得到，其中，训练样本包括有用于描述物品的文字样本和图片样本，通过使用海量的训练样本进行训练，能够使得目标模型的参数达到最优，从而得到最优的输出结果。
示例性的，利用目标模型，可以将描述文本的语义表示和图片的语义向量作为输入，通过输入层进行特征融合，最终输出描述文本中字词的属性概率，其中，属性概率用于表征该字词为属性词的概率。
示例性的，以衬衫作为物品，描述文本为“这是一件金色的衬衫”，图片为衬衫的正视图为例，其中，图片中显示有衬衫的颜色为金色，通过利用目标模型，将图片的语义向量与描述文本的语义表示进行特征融合，最终确定出衬衫的颜色为金色的概率最大，即确定出该衬衫的颜色对应为金色。
本申请实施例通过使用物品的图片作为辅助，提取物品的图片中的视觉特征以辅助计算机从物品的描述文本提取出属性词，能够使得计算机准确的识别出物品属性对应的属性词，并从描述文本中提取出的该属性词，避免出现无法识别，造成属性信息缺失的情况，提高属性词的提取准确度和效果。
在一些实施例中，上述步骤S202具体可以通过如下步骤实现：
对描述文本中的字词进行向量化，得到每个字词对应的字向量；
利用预设第一神经网络，对字向量进行编码，得到描述文本的语义表示。
其中，描述文本中包括N个字词(N为正整数)，这些字词组成语句以对物品进行介绍说明，示例性的，可以通过one-hot编码，对每个字词进行编码，得到每一个字词的字向量。
可选的，在本实施例中，预设第一神经网络可以是双向长短期记忆神经网络，双向长短期记忆神经网络能够捕捉双向的语义依赖，输出每个字词的语义表示，N个字词的语义表示组合得到描述文本的语义表示，可以理解，语义表示指的是字词或描述文本所蕴含的含义，不同的字词所蕴含的含义不同，故而不同字词的语义表示也不相同。
本申请实施例通过对描述文本进行向量化得到字向量，采用预设的神经网络对字向量进行编码，得到描述文本的语义表示，以获取描述文本中字词所蕴含的含义，有利于后续使用目标模型提取得到准确的物品属性词。
进一步的，在上述实施例的基础上，在一些实施例中，若预设第一神经网络为双向长短期记忆神经网络，则上述“利用预设第一神经网络，对字向量进行编码，得到描述文本的语义表示”，具体可以通过如下步骤实现：
对每一字词对应的字向量进行排序，得到字向量序列；
利用双向长短期记忆神经网络，对字向量序列中的每个字向量依次进行编码，得到语义表示。
具体的，以描述文本包括有N个字词为例，根据每一个字词在描述文本中出现的先后顺序，可以排列得到字向量序列：
emb＝(emb1，emb2，...，embN)
上式中，embi表示第i个字词对应的字向量。
将字向量序列输入至双向长短期记忆神经网络中，由双向长短期记忆神经网络进行编码，最终得到的语义表示如下：
h＝(h1，h2，...，hN)
上式中，hN表示第N个字词对应的语义表示。
本申请实施例通过使用双向长短期记忆神经网络对字向量进行编码，能够捕捉双向的语义依赖，改善神经网络中存在的长期依赖问题，获得更好的表现效果。
在一些实施例中，上述步骤S203具体可以通过如下步骤实现：
将图片输入至预设第二神经网络模型，对图片进行编码；
根据编码，提取预设第二神经网络模型的全连接层的输出特征，作为语义向量。
示例性的，预设第二神经网络模型可以是预先训练好的VGG模型，通过将图片输入至VGG模型中，由VGG模型的输入层进行编码，通过VGG模型对编码进行处理，最终从全连接层输出图片的特征，作为图片的语义向量。
可选的，预设第二神经网络模型还可以是预先训练好的CNN模型。
本申请实施例通过将物品的图片转换为语义向量，能够获取到图片中所包含的语义信息，使得计算机可以结合图片中所包含的语义信息，更加准确的从描述文本中提取得到物品的属性词。
在一些实施例中，上述步骤S204具体可以通过如下步骤实现：
利用目标模型，将语义向量和语义表示进行特征融合，得到特征融合表达；
根据特征融合表达和注意力机制，获取隐藏层特征表达；
根据特征融合表达，获取描述文本的每个字词的第一属性概率；
根据隐藏层特征表达，获取描述文本的每个字词的第二属性概率；
根据第一属性概率和第二属性概率，计算得到输出概率；
根据输出概率，确定物品的属性词。
在本实施例中，目标模型包括有输入层、隐藏层和输出层，将图片的语义向量和语义表示输入至目标模型的输入层，进行输入层特征融合，得到特征融合表达，示例性的，输入层特征融合的公式如下：
h′i＝(1-g′i)*embi+g′i*W1v
g′i＝σ(W2v+W3embi)
上式中，h′i为特征融合表达，g′i为目标模型的输入层视觉信息过滤器，embi表示第i个字词对应的字向量，W1、W2、W3为目标模型的参数矩阵，v为语义向量，σ(·)为预设的sigma函数。
其中，目标模型的参数矩阵W1、W2、W3需要通过预先训练得出最优值。
示例性的，当利用目标模型的输入层进行特征融合得到特征融合表达之后，在将特征融合表达输入至目标模型的隐藏层，通过隐藏层获取隐藏层特征表达，示例性的，隐藏层特征表达的计算公式如下：
g″i＝σ(W5h′i+W6v)
上式中，h″i是隐藏层特征表达，
W4、W5、W6是目标模型的参数矩阵，d为张量维度，
表示输出第i个字词时，输入的第j个字词的重要性得分，
表示表示输出第i个字词时，输入的第j个字词的注意力分配系数，i，j，m为正整数，g″i是目标模型的隐藏层视觉信息过滤器。
其中，目标模型的参数矩阵
W4、W5、W6和注意力分配系数需要通过预先训练得出最优值。
示例性的，当得到隐藏层特征表达之后，利用目标模型的输出层、隐藏层特征表达和特征融合表达，分别计算第一属性概率和第二属性概率，示例性的，第一属性概率的计算公式如下：
y′i＝softmax(h′i)
上式中，y′i表示第一属性概率，h′i表示特征融合表达，softmax为归一化函数
示例性的，第二属性概率的计算公式如下：
y″i＝softmax(h″i)
上式中，y″i表示第二属性概率，h″i表示隐藏层特征表达，softmax为归一化函数。
示例性的，利用目标模型的输出层，根据第一属性概率和第二属性概率，计算输出概率，示例性的，输出概率的计算公式如下：
yi＝λi*y′i+(1-λi)y″i
λi＝σ(W7y′i+W8y″i)
上式中，yi表示输出概率，λi表示正则化系数，W7、Wa为目标模型的参数矩阵，σ(·)为预设的sigma函数。
其中，输出概率用于表征每一个字词为属性词的概率，输出概率越大，则说明该字词为属性词的概率越大，通过输出概率的大小，最终确定物品的属性词。
本申请实施例通过使用图片过滤过滤图片中的视觉信息，过滤无关的图片局部信息，并将描述文本的语义表示与图片的语义向量进行特征融合，获取特征融合表达和隐藏层特征融合表达，使得计算机能够利用图片作为辅助，准确的对描述文本中的属性词进行提取，提高提取效果。
在一些实施例中，可以使用大量的训练样本训练得到目标模型，其中，训练样本可以包括物品的描述文本样本和图片样本，示例性的，可以通过如下步骤训练得到目标模型：
获取训练样本，训练样本输入至样本模型，根据预设损失函数，对样本模型进行训练，得到目标模型。
其中，训练样本包括物品的描述文本样本和图片样本，示例性的，不同的物品的属性信息不同，可以选择多种不同的物品的描述文本样本和图片样本作为训练样本，对样本模型进行训练，以得到目标模型。
示例性的，在训练的过程中，可以构造预设损失函数如下：
LOSS＝CrossEntropy(yi，zi)
上式中，LOSS为预设损失函数，CrossEntropy为交叉熵损失函数，yi为输出概率，zi为真实值。
其中，交叉熵损失函数的具体计算公式为：
LOSS＝-[zi log yi+(1-zi)log(1-yi)]
通过构建的交叉熵损失函数，进行梯度反向传输，最终将样本模型训练优化，得到目标模型。
本申请实施例通过训练得到目标模型，并利用目标模型根据图片作为辅助，从描述文本中提取得到属性词，能够提高属性词提取的准确度和效果。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图3为本申请实施例提供的关键词提取装置的结构示意图，可选的，该关键词提取装置可以集成在计算机等处理设备中，也可以独立于计算机等处理设备且与计算机等处理设备协同工作实现本申请的技术方案。
示例性的，如图3所示，该关键词提取装置30包括获取模块31、编码模块32、提取模块33和模型输出模块34。
其中，获取模块31用于获取与物品的属性相关的描述文本和物品的图片。编码模块32用于对描述文本进行编码处理，得到描述文本的语义表示。提取模块33用于对图片进行特征提取，得到图片的语义向量。模型输出模块34用于利用预先训练得到的目标模型，根据语义向量和语义表示，获取物品的属性词。
其中，属性词用于指示物品的属性。
在一些实施例中，编码模块32具体用于：
对描述文本中的字词进行向量化，得到每个字词对应的字向量；
利用预设第一神经网络，对字向量进行编码，得到描述文本的语义表示。
在一些实施例中，编码模块32具体用于：
对每一字词对应的字向量进行排序，得到字向量序列；
利用双向长短期记忆神经网络，对字向量序列中的每个字向量依次进行编码，得到语义表示。
在一些实施例中，提取模块32具体用于：
将图片输入至预设第二神经网络模型，对图片进行编码；
根据编码，提取预设第二神经网络模型的全连接层的输出特征，作为语义向量。
在一些实施例中，模型输出模块34具体用于：
利用目标模型，将语义向量和语义表示进行特征融合，得到特征融合表达；
根据特征融合表达和注意力机制，获取隐藏层特征表达；
根据特征融合表达，获取描述文本的每个字词的第一属性概率；
根据隐藏层特征表达，获取描述文本的每个字词的第二属性概率；
根据第一属性概率和第二属性概率，计算得到输出概率；
根据输出概率，确定物品的属性词。
可选的，在上述实施例的基础上，在一些实施例中，模型输出模块34具体根据如下公式计算得到特征融合表达h′i：
h′i＝(1-g′i)*embi+g′i*W1v
g′i＝σ(W2v+W3embi)
上式中，h′i为特征融合表达，g′i为目标模型的输入层视觉信息过滤器，embi表示第i个字词对应的字向量，W1、W2、W3为目标模型的参数矩阵，v为语义向量，σ(·)为预设函数。
可选的，在上述实施例的基础上，在一些实施例中，模型输出模块34具体根据如下公式计算得到隐藏层特征表达：
g″i＝σ(W5h′i+W6v)
上式中，h″i是隐藏层特征表达，
W4、W5、W6是目标模型的参数矩阵，d为张量维度，
表示输出第i个字词时，输入的第j个字词的重要性得分，
表示表示输出第i个字词时，输入的第j个字词的注意力分配系数，i，j，m为正整数，g″i是目标模型的隐藏层视觉信息过滤器。
可选的，在上述实施例的基础上，在一些实施例中，模型输出模块34具体根据如下公式计算得到第一属性概率y′i和第二属性概率y″i：
y′i＝softmax(h′i)
上式中，y′i表示第一属性概率，h′i表示特征融合表达，softmax为归一化函数；
y″i＝softmax(h″i)
上式中，y″i表示第二属性概率，h″i表示隐藏层特征表达，softmax为归一化函数。
可选的，在上述实施例的基础上，在一些实施例中，模型输出模块34具体根据如下公式计算得到输出概率yi：
yi＝λi*y′i+(1-λi)y″i
λi＝σ(W7y′i+W8y″i)
上式中，yi表示输出概率，λi表示正则化系数，W7、W8为目标模型的参数矩阵，σ(·)为预设函数。
在一些实施例中，上述关键词提取装置还包括训练模块，用于：
获取训练样本，训练样本包括物品的描述文本样本和图片样本；
将训练样本输入至样本模型，根据预设损失函数，对样本模型进行训练，得到目标模型。
可选的，在一些实施例中，预设损失函数可以为：
LOSS＝CrossEntropy(yi，zi)
上式中，LOSS为预设损失函数，CrossEntropy为交叉熵损失函数，yi为输出概率，zi为真实值。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。
图4为本申请实施例提供的计算机设备的结构示意图，如图4所示，该计算机设备40包括有存储器41和至少一个处理器42；
存储器41存储计算机执行指令，该计算机设备40还包括有总线43，其中，存储器41通过总线43与处理器42连接。
在具体的实现过程中，至少一个处理器42执行存储器41存储的计算机执行指令，使得至少一个处理器42执行如上述的方法。
示例性的，存储器41还可以用于存储预设的短策略的风控规则以及长策略的风控规则等，存储器41可以是云存储或者本地存储。
示例性的，处理设备可以是计算机设备或者服务器。
示例性的，总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
处理器的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
可选的，本申请还提供一种可读存储介质，可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上述的方法的步骤。
可选的，本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序被处理器执行时实现上述方法的步骤。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中，a，b，c可以是单个，也可以是多个。
可以理解的是，在本申请实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (15)
1.一种关键词提取方法，其特征在于，包括：
获取与物品的属性相关的描述文本和物品的图片；
对所述描述文本进行编码处理，得到所述描述文本的语义表示；
对所述图片进行特征提取，得到所述图片的语义向量；
利用预先训练得到的目标模型，根据所述语义向量和语义表示，获取所述物品的属性词，所述属性词用于描述所述物品的属性。
2.根据权利要求1所述的方法，其特征在于，所述对所述描述文本进行编码处理，得到所述描述文本的语义表示，包括：
对所述描述文本中的字词进行向量化，得到每个字词对应的字向量；
利用预设第一神经网络，对所述字向量进行编码，得到所述描述文本的语义表示。
3.根据权利要求2所述的方法，其特征在于，所述预设第一神经网络为双向长短期记忆神经网络，所述利用预设第一神经网络，对所述字向量进行编码，得到所述描述文本的语义表示，包括：
对每一字词对应的字向量进行排序，得到字向量序列；
利用双向长短期记忆神经网络，对所述字向量序列中的每个字向量依次进行编码，得到语义表示。
4.根据权利要求1所述的方法，其特征在于，所述对所述图片进行特征提取，得到所述图片的语义向量，包括：
将所述图片输入至预设第二神经网络模型，对所述图片进行编码；
根据所述编码，提取所述预设第二神经网络模型的全连接层的输出特征，作为语义向量。
5.根据权利要求1所述的方法，其特征在于，所述利用预先训练得到的目标模型，根据所述语义向量和语义表示，获取所述物品的属性词，包括：
利用所述目标模型，将所述语义向量和语义表示进行特征融合，得到特征融合表达；
根据所述特征融合表达和注意力机制，获取隐藏层特征表达；
根据所述特征融合表达，获取所述描述文本的每个字词的第一属性概率；
根据所述隐藏层特征表达，获取所述描述文本的每个字词的第二属性概率；
根据所述第一属性概率和第二属性概率，计算得到输出概率；
根据所述输出概率，确定所述物品的属性词。
6.根据权利要求5所述的方法，其特征在于，所述利用所述目标模型，将所述语义向量和语义表示进行特征融合，得到特征融合表达，包括：
h′i＝(1-g′i)*embi+g′i*W1v
g′i＝σ(W2v+W3embi)
上式中，h′i为特征融合表达，g′i为目标模型的输入层视觉信息过滤器，embi表示第i个字词对应的字向量，W1、W2、W3为目标模型的参数矩阵，v为语义向量，σ(·)为预设函数。
7.根据权利要求6所述的方法，其特征在于，所述根据所述特征融合表达和注意力机制，获取隐藏层特征表达，包括：
g″i＝σ(W5h′i+W6v)
上式中，h″i是隐藏层特征表达，
W4、W5、W6是目标模型的参数矩阵，d为张量维度，
表示输出第i个字词时，输入的第j个字词的重要性得分，
表示表示输出第i个字词时，输入的第j个字词的注意力分配系数，i，j，m为正整数，g″i是目标模型的隐藏层视觉信息过滤器。
8.根据权利要求7所述的方法，其特征在于，所述根据所述特征融合表达，获取所述描述文本的每个字词的第一属性概率，包括：
y′i＝softmax(h′i)
上式中，y′i表示第一属性概率，h′i表示特征融合表达，softmax为归一化函数；
所述根据所述隐藏层特征表达，获取所述描述文本的每个字词的第二属性概率，包括：
y″i＝softmax(h″i)
上式中，y″i表示第二属性概率，h″i表示隐藏层特征表达，softmax为归一化函数。
9.根据权利要求8所述的方法，其特征在于，所述根据所述第一属性概率和第二属性概率，计算得到输出概率，包括：
yi＝λi*y′i+(1-λi)y″i
λi＝σ(W7y′i+W8y″i)
上式中，yi表示输出概率，λi表示正则化系数，W7、W8为目标模型的参数矩阵，σ(·)为预设函数。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述目标模型通过如下步骤训练得到：
获取训练样本，所述训练样本包括物品的描述文本样本和图片样本；
将所述训练样本输入至样本模型，根据预设损失函数，对样本模型进行训练，得到目标模型。
11.根据权利要求10所述的方法，其特征在于，所述预设损失函数为：
LOSS＝CrossEntropy(yi，zi)
上式中，LOSS为预设损失函数，CrossEntropy为交叉熵损失函数，yi为输出概率，zi为真实值。
12.一种关键词提取装置，其特征在于，包括：
获取模块，用于获取与物品的属性相关的描述文本和物品的图片；
编码模块，用于对所述描述文本进行编码处理，得到所述描述文本的语义表示；
提取模块，用于对所述图片进行特征提取，得到所述图片的语义向量；
模型输出模块，用于利用预先训练得到的目标模型，根据所述语义向量和语义表示，获取所述物品的属性词，所述属性词用于指示所述物品的属性。
13.一种计算机设备，其特征在于，包括存储器和至少一个处理器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-11任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机可读存储介质中存储有计算机指令，所述计算机指令被处理器执行时用于实现如权利要求1-11任一项所述的方法。
15.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110400595.XA CN113076755B (zh) | 2021-04-14 | 2021-04-14 | 关键词提取方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110400595.XA CN113076755B (zh) | 2021-04-14 | 2021-04-14 | 关键词提取方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113076755A true CN113076755A (zh) | 2021-07-06 |
| CN113076755B CN113076755B (zh) | 2024-04-09 |
Family
ID=76617836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110400595.XA Active CN113076755B (zh) | 2021-04-14 | 2021-04-14 | 关键词提取方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113076755B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298749A (zh) * | 2014-10-14 | 2015-01-21 | 杭州淘淘搜科技有限公司 | 一种图像视觉和文本语义融合商品检索方法 |
| CN107862239A (zh) * | 2017-09-15 | 2018-03-30 | 广州唯品会研究院有限公司 | 一种结合文本与图片进行图片识别的方法及其装置 |
| US20190311210A1 (en) * | 2018-04-05 | 2019-10-10 | Walmart Apollo, Llc | Automated extraction of product attributes from images |
| WO2019205319A1 (zh) * | 2018-04-25 | 2019-10-31 | 平安科技（深圳）有限公司 | 商品信息格式处理方法、装置、计算机设备和存储介质 |
| CN110852383A (zh) * | 2019-11-12 | 2020-02-28 | 复旦大学 | 基于注意力机制深度学习网络的目标检测方法及装置 |
| CN111460888A (zh) * | 2020-02-27 | 2020-07-28 | 平安科技（深圳）有限公司 | 基于机器学习的物品识别方法及装置 |
| CN111914113A (zh) * | 2020-08-07 | 2020-11-10 | 大连理工大学 | 一种图像检索的方法以及相关装置 |
| CN112507150A (zh) * | 2020-12-09 | 2021-03-16 | 曙光信息产业(北京)有限公司 | 一种标签扩充方法、装置、电子设备及存储介质 |
| CN112528655A (zh) * | 2020-12-18 | 2021-03-19 | 北京百度网讯科技有限公司 | 关键词生成方法、装置、设备及存储介质 |
-
2021
- 2021-04-14 CN CN202110400595.XA patent/CN113076755B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298749A (zh) * | 2014-10-14 | 2015-01-21 | 杭州淘淘搜科技有限公司 | 一种图像视觉和文本语义融合商品检索方法 |
| CN107862239A (zh) * | 2017-09-15 | 2018-03-30 | 广州唯品会研究院有限公司 | 一种结合文本与图片进行图片识别的方法及其装置 |
| US20190311210A1 (en) * | 2018-04-05 | 2019-10-10 | Walmart Apollo, Llc | Automated extraction of product attributes from images |
| WO2019205319A1 (zh) * | 2018-04-25 | 2019-10-31 | 平安科技（深圳）有限公司 | 商品信息格式处理方法、装置、计算机设备和存储介质 |
| CN110852383A (zh) * | 2019-11-12 | 2020-02-28 | 复旦大学 | 基于注意力机制深度学习网络的目标检测方法及装置 |
| CN111460888A (zh) * | 2020-02-27 | 2020-07-28 | 平安科技（深圳）有限公司 | 基于机器学习的物品识别方法及装置 |
| CN111914113A (zh) * | 2020-08-07 | 2020-11-10 | 大连理工大学 | 一种图像检索的方法以及相关装置 |
| CN112507150A (zh) * | 2020-12-09 | 2021-03-16 | 曙光信息产业(北京)有限公司 | 一种标签扩充方法、装置、电子设备及存储介质 |
| CN112528655A (zh) * | 2020-12-18 | 2021-03-19 | 北京百度网讯科技有限公司 | 关键词生成方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李志欣;魏海洋;黄飞成;张灿龙;马慧芳;史忠植;: "结合视觉特征和场景语义的图像描述生成", 计算机学报, no. 09, pages 1624 - 1640 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113076755B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950638B (zh) | 基于模型蒸馏的图像分类方法、装置和电子设备 | |
| CN110059741B (zh) | 基于语义胶囊融合网络的图像识别方法 | |
| CN110532861B (zh) | 基于骨架引导多模态融合神经网络的行为识别方法 | |
| CN112434721A (zh) | 一种基于小样本学习的图像分类方法、系统、存储介质及终端 | |
| CN111104962A (zh) | 图像的语义分割方法、装置、电子设备及可读存储介质 | |
| CN110321845B (zh) | 一种从视频中提取表情包的方法、装置及电子设备 | |
| CN110781273B (zh) | 文本数据处理方法、装置、电子设备及存储介质 | |
| CN109711422A (zh) | 图像数据处理、模型的建立方法、装置、计算机设备和存储介质 | |
| CN106462572A (zh) | 用于分布式光学字符识别和分布式机器语言翻译的技术 | |
| CN109359196B (zh) | 文本多模态表示方法及装置 | |
| CN111931859B (zh) | 一种多标签图像识别方法和装置 | |
| CN111209970A (zh) | 视频分类方法、装置、存储介质及服务器 | |
| CN111080670B (zh) | 图像提取方法、装置、设备及存储介质 | |
| CN113343982B (zh) | 多模态特征融合的实体关系提取方法、装置和设备 | |
| CN111444365B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN112330684B (zh) | 对象分割方法、装置、计算机设备及存储介质 | |
| CN111597884A (zh) | 面部动作单元识别方法、装置、电子设备及存储介质 | |
| WO2022156525A1 (zh) | 对象匹配方法、装置及设备 | |
| CN111160350A (zh) | 人像分割方法、模型训练方法、装置、介质及电子设备 | |
| CN113836992B (zh) | 识别标签的方法、训练标签识别模型的方法、装置及设备 | |
| CN111104516B (zh) | 一种文本分类方法、装置及电子设备 | |
| CN111159279B (zh) | 一种模型可视化方法、设备及存储介质 | |
| CN114969417B (zh) | 图像重排序方法、相关设备及计算机可读存储介质 | |
| CN111507285A (zh) | 人脸属性识别方法、装置、计算机设备和存储介质 | |
| CN111191503A (zh) | 一种行人属性识别方法、装置、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176 Applicant before: Jingdong Digital Technology Holding Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |