CN109783798A - 文本信息添加图片的方法、装置、终端及存储介质 - Google Patents
文本信息添加图片的方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN109783798A CN109783798A CN201811518718.4A CN201811518718A CN109783798A CN 109783798 A CN109783798 A CN 109783798A CN 201811518718 A CN201811518718 A CN 201811518718A CN 109783798 A CN109783798 A CN 109783798A
- Authority
- CN
- China
- Prior art keywords
- text information
- keyword
- picture
- text
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000004821 distillation Methods 0.000 claims abstract description 24
- 238000004519 manufacturing process Methods 0.000 claims abstract description 24
- 238000003062 neural network model Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 210000004218 nerve net Anatomy 0.000 claims 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- 238000009826 distribution Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000006854 communication Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 241000124033 Salix Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012797 qualification Methods 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- NNBFNNNWANBMTI-UHFFFAOYSA-M brilliant green Chemical compound OS([O-])(=O)=O.C1=CC(N(CC)CC)=CC=C1C(C=1C=CC=CC=1)=C1C=CC(=[N+](CC)CC)C=C1 NNBFNNNWANBMTI-UHFFFAOYSA-M 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本发明涉及自然语言处理技术领域，提出一种文本信息添加图片的方法、装置、终端及存储介质。所述文本信息添加图片的方法包括：获取客户端上传的文本信息；利用主题提取模型从所述文本信息中提取出关键词；将所述关键词输入预先训练的生成式对抗网络模型中，获取与所述关键词相应的图片信息；根据所述图片信息生成与所述文本信息相匹配的图片。本发明实现了根据用户输入的文本信息，自动生成与所述文本信息相对应的图片，并返回给用户客户端，无需用户根据文本信息，从海量的图片中选取与文本信息相应的图片添加至文本信息上，操作简单，提高为文字添加图片的效率。
Description
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种文本信息添加图片的方法、装置、终端及存储介质。
背景技术
随着社交网络的发展，越来越多的人喜欢在社交网络中表达心情以及感想，然后会在文字下方添加一些图片，例如在朋友圈发表动态后，通常会添加一张风景图或人物图，以提高本条动态的吸引力。
当前给文字配图的方式只能通过直接添加的方式完成，如用户根据文本内容从照片库里面选择或到网络上下载一些相关联图片，然后将图片添加到文字附近，这种添加方式操作不便，效率低。
发明内容
本发明提供一种文本信息添加图片的方法、装置、终端及存储介质，以简化为文字添加图片的操作，提高效率。
为解决上述问题，本发明采用如下技术方案：
本发明提供一种文本信息添加图片的方法，包括如下步骤：
获取客户端上传的文本信息；
利用主题提取模型从所述文本信息中提取出关键词；
将所述关键词输入预先训练的生成式对抗网络模型中，获取与所述关键词相应的图片信息；
根据所述图片信息生成与所述文本信息相匹配的图片返回至客户端。
可选地，所述获取客户端上传的文本信息之前，还包括：
获取样本集合；其中，所述样本集合中包括样本图片以及每张样本图片对应的关键词标签；
利用所述样本图片及对应的关键词标签，对神经网络模型进行训练，直至所述神经网络模型收敛时，得到所述生成式对抗网络模型。
可选地，所述对神经网络模型进行训练之后，还包括：
计算所述神经网络模型每一次训练后的分类准确率；
当分类准确率低于预设值时，根据分类结果调整神经网络模型的参数，对所述神经网络模型继续训练，直至神经网络模型收敛时，得到所述生成式对抗网络模型。
可选地，所述获取与所述关键词相应的图片信息的步骤，包括：
根据所述关键词查询与所述关键词相匹配的关键词标签；
获取所述关键词标签下的样本图片，从所述样本图片中提取出图片信息。
可选地，所述利用主题提取模型从所述文本信息中提取出关键词的步骤，包括：
对所述文本信息进行标点符号清除及分词处理；
根据文本信息中字词出现的频率，利用Textrank文本排序方法对分词处理后的文本信息的字词进行排序；
利用主题提取模型从所述文本信息中提取出排名靠前的若干个字词，得到所述文本信息的关键词。
可选地，所述利用Textrank文本排序方法对分词处理后的文本信息的字词进行排序的步骤，包括：
计算分词处理后文本信息中字词之间的相似度；
将相似度高于预设值的字词划分为同一类别，赋予类别标签；
利用Textrank文本排序方法对同一类别标签下的文本信息的字词进行排序。
可选地，所述利用主题提取模型从所述文本信息中提取出关键词的步骤，包括：
利用主题提取模型从文本信息中提取出名词、动词或形容词，得到预备关键词；
利用统计策略从所述预备关键词中筛选出至少一个关键词。
本发明提供的一种文本信息添加图片的装置，包括：
第一获取模块，用于获取客户端上传的文本信息；
提取模块，用于利用主题提取模型从所述文本信息中提取出关键词；
第二获取模块，用于将所述关键词输入预先训练的生成式对抗网络模型中，获取与所述关键词相应的图片信息；
生成模块，用于根据所述图片信息生成与所述文本信息相匹配的图片。
本发明提供一种终端，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上任一项所述的文本信息添加图片的方法的步骤。
本发明提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的文本信息添加图片的方法。
相对于现有技术，本发明的技术方案至少具备如下优点：
本发明提供的文本信息添加图片的方法，根据客户端上传的文本信息；利用主题提取模型从所述文本信息中提取出关键词；并将所述关键词输入预先训练的生成式对抗网络模型后，得到与所述关键词相应的图片信息；最后利用所述图片信息生成与所述文本信息相匹配的图片，从而根据用户输入的文本信息，自动生成与所述文本信息相对应的图片，并返回给用户客户端，无需用户根据文本信息，从海量的图片中选取与文本信息相应的图片添加至文本信息上，操作简单，节省为文本信息添加图片的时间。
本发明提供的文本信息添加图片的方法，通过计算所述神经网络模型每一次训练后的分类准确率；并对分类准确率低于预设值的神经网络模型调整相应的参数，继续对所述神经网络模型训练，从而得到训练合格的生成式对抗网络模型，以确保获取到的图片信息的准确性。
本发明提供的文本信息添加图片的方法，对获取到的文本信息进行标点符号清除及分词处理；并根据文本信息中字词出现的频率，利用Textrank文本排序方法对分词处理后的文本信息的字词进行排序，以获取排名靠前的若干个字词，作为文本信息的关键词，从而提高关键词提取的准确性，确保生成的图片与所述关键词相对应。
附图说明
图1为本发明一个实施例中提供的文本信息添加图片的方法的实施环境图；
图2为本发明文本信息添加图片的方法一种实施例流程框图；
图3为本发明文本信息添加图片的装置一种实施例模块框图；
图4为本发明一个实施例中终端的内部结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S11、S12等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
本领域普通技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本领域普通技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为一个实施例中提供的文本信息添加图片的方法的实施环境图，如图1所示，在该实施环境中，包括服务器110、终端120。终端120通过网络与服务器连接，所述终端120上安装有相应的客户端，用户可通过客户端上传文本信息，服务器110根据所述文本信息生成相应的图片并返回至客户端。其中，上述网络可以包括因特网、2G/3G/4G、wifi等。
需要说明的是，服务器110可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
终端120可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
请参阅图2，本发明所提供的一种文本信息添加图片的方法，其中一种实施方式中，包括如下步骤：
S21、获取客户端上传的文本信息；
在本实施例中，用户可以通过终端的客户端向服务器上传文本信息，所述文本信息可从网络媒体或者公开著作中进行获取，也可为用户自己创作的文本信息，所述文本信息可以是诗歌、歌词、文章等形式。
S22、利用主题提取模型从所述文本信息中提取出关键词；
在本实施例中，根据用户上传的文本信息，可利用主题提取模型从所述文本信息中提取出诸如名词、形容词或动词等的关键词。其中，所述主题模型是一种常见的机器学习应用，主要用于对文本进行分类，提取文字中隐含主题的模型。
可选地，所述主题提取模型为LDA主题模型，所述LDA主题模型是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。
LDA主题模型还是一种非监督机器学习技术，可以用来识别大规模文档集或语料库中潜藏的主题信息。它采用了词袋的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间的顺序，这简化了问题的复杂性，同时也为模型的改进提供了契机。每一篇文本信息代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。
S23、将所述关键词输入预先训练的生成式对抗网络模型中，获取与所述关键词相应的图片信息；
在本实施例中，可根据所述关键词从图片库中筛选出与所述关键词相匹配的图片样本，并从所述图片样本中提取出图片信息，其中，所述图片信息可包括图片所需要的实体、色调、实体间的相互关系等信息。
S24、根据所述图片信息生成与所述文本信息相匹配的图片返回至客户端。
在本实施例中，可根据图片信息生成与所述文本信息相匹配的若干张图片，选择匹配度最高的图片返回至客户端。
本发明提供的文本信息添加图片的方法，根据客户端上传的文本信息；利用主题提取模型从所述文本信息中提取出关键词；并将所述关键词输入预先训练的生成式对抗网络模型后，得到与所述关键词相应的图片信息；最后利用所述图片信息生成与所述文本信息相匹配的图片，从而根据用户输入的文本信息，自动生成与所述文本信息相对应的图片，并返回给用户客户端，无需用户根据文本信息，从海量的图片中选取与文本信息相应的图片添加至文本信息上，操作简单，节省为文本信息添加图片的时间。
可选地，所述获取客户端上传的文本信息之前，还包括：
获取样本集合；其中，所述样本集合中包括样本图片以及每张样本图片对应的关键词标签；
利用所述样本图片及对应的关键词标签，对神经网络模型进行训练，直至所述神经网络模型收敛时，得到所述生成式对抗网络模型。
在本实施例中，通过获取大量的样本图片以及每张样本图片对应的关键词标签对神经网络模型进行训练，以得到训练合格的生成式对抗网络模型，从而根据文本信息中的关键词标签生成该关键词标签下的图片。需要说明的是，所述样本集合中的样本图片越多，得到的生成式对抗网络模型的生成图片效果越好。
在一实施例中，所述对神经网络模型进行训练之后，还包括：
计算所述神经网络模型每一次训练后的分类准确率；
当分类准确率低于预设值时，根据分类结果调整神经网络模型的参数，对所述神经网络模型继续训练，直至神经网络模型收敛时，得到所述生成式对抗网络模型。
在本实施例中，每一次训练神经网络模型后，对所述训练后的神经网络模型都进行一次判断，以判断其是否能准确地分类出各关键词对应的图片；当准确率低于预设值时，则对神经网络模型的相关参数进行调整，调整后继续训练；当准确率大于或等于预设值时，则表示所述神经网络模型已收敛，得到训练合格的生成式对抗网络模型。
在一实施例中，所述获取与所述关键词相应的图片信息的步骤，包括：
根据所述关键词查询与所述关键词相匹配的关键词标签；
获取所述关键词标签下的样本图片，从所述样本图片中提取出图片信息。
在本实施例中，所述生成式对抗网络模型包括生成器和判别器，所述生成器用于根据输入的关键词，查询与所述关键词相对应的关键词标签，并获取所述关键词标签下的样本图片，从样本图片中提取出图片信息，以根据所述图片信息自动生成新的图片，所述判别器可用于判断生成器生成的图片是否与所述关键词相对应。例如，当获取到如“两个黄鹂鸣翠柳”的诗歌文本后，从所述诗歌文本中可提取出“两个”、“黄鹂”、“鸣”、“翠柳”的关键词，并根据所述关键词获取与所述关键词相匹配的图片信息，利用已训练的生成式对抗网络模型中的生成器生成一张描述两只黄鹂在柳树上鸣叫的图片，并将生成器生成的图片输入判别器中，判别器根据所述图片和所述图片对应的关键词判断所述图片是否与所述关键词相对应，输出关键词对应的图片作为所述诗歌文本的创作配图。
可选地，所述利用主题提取模型从所述文本信息中提取出关键词的步骤，包括：
对所述文本信息进行标点符号清除及分词处理；
根据文本信息中字词出现的频率，利用Textrank文本排序方法对分词处理后的文本信息的字词进行排序；
利用主题提取模型从所述文本信息中提取出排名靠前的若干个字词，得到所述文本信息的关键词。
其中，所述Textrank文本排序方法用于对文本信息中的字词进行排序处理。当获取到所述文本信息后，可对所述文本信息进行处理，例如删除标点符号、段落，划分字词等，处理后，利用所述Textrank文本排序方法根据字词出现的频率进行排序，提取出排名前三或前五的字词作为该文本信息的关键词。
在一实施例中，所述利用Textrank文本排序方法对分词处理后的文本信息的字词进行排序的步骤，包括：
计算分词处理后文本信息中字词之间的相似度；
将相似度高于预设值的字词划分为同一类别，赋予类别标签；
利用Textrank文本排序方法对同一类别标签下的文本信息的字词进行排序。
在本实施例中，通过计算文本信息中字词之间的相似度，以提高排序的效率，如开心、高兴、愉快等都表示快乐的字词，可划为同一类别，并赋予表示快乐的类别标签，排序时，计算该类别标签下的字词出现的频率，将出现频率较高的类别标签对应的字词作为关键词。
在一实施例中，所述利用主题提取模型从所述文本信息中提取出关键词的步骤，包括：
利用主题提取模型从文本信息中提取出名词、动词或形容词，得到预备关键词；
利用统计策略从所述预备关键词中筛选出至少一个关键词。
在本实施例中，当获取到文本信息后，可先对文本信息中的一些语气词、助词等进行删除，如文本信息中的“啊”、“的”，保留形容词、名词、动词、副词等可能表达文本主题的预备关键词，利用统计策略选取若干个出现频率较高的预备关键词作为文本信息的关键词，以根据所述关键词通过生成式对抗网络模型得到图片信息，并根据所述图片信息生成与文本信息相匹配的图片。所述统计策略为根据预备关键词的词性、出现频率对预备关键词进行综合排序，以选取出排序靠前的关键词。
请参考图3，本发明的实施例还提供一种文本信息添加图片的装置，一种本实施例中，包括第一获取模块31、提取模块32、第二获取模块33及生成模块34。其中，
第一获取模块31，用于获取客户端上传的文本信息；
在本实施例中，用户可以通过终端的客户端向服务器上传文本信息，所述文本信息可从网络媒体或者公开著作中进行获取，也可为用户自己创作的文本信息，所述文本信息可以是诗歌、歌词、文章等形式。
提取模块32，用于利用主题提取模型从所述文本信息中提取出关键词；
在本实施例中，根据用户上传的文本信息，可利用主题提取模型从所述文本信息中提取出诸如名词、形容词或动词等的关键词。其中，所述主题模型是一种常见的机器学习应用，主要用于对文本进行分类，提取文字中隐含主题的模型。
可选地，所述主题提取模型为LDA主题模型，所述LDA主题模型是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。
LDA主题模型还是一种非监督机器学习技术，可以用来识别大规模文档集或语料库中潜藏的主题信息。它采用了词袋的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间的顺序，这简化了问题的复杂性，同时也为模型的改进提供了契机。每一篇文本信息代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。
第二获取模块33，用于将所述关键词输入预先训练的生成式对抗网络模型中，获取与所述关键词相应的图片信息；
在本实施例中，可根据所述关键词从图片库中筛选出与所述关键词相匹配的图片样本，并从所述图片样本中提取出图片信息，其中，所述图片信息可包括图片所需要的实体、色调、实体间的相互关系等信息。
生成模块34，用于根据所述图片信息生成与所述文本信息相匹配的图片。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在本实施例中，可根据图片信息生成与所述文本信息相匹配的若干张图片，选择匹配度最高的图片返回至客户端。
本发明提供的文本信息添加图片的装置，根据客户端上传的文本信息；利用主题提取模型从所述文本信息中提取出关键词；并将所述关键词输入预先训练的生成式对抗网络模型后，得到与所述关键词相应的图片信息；最后利用所述图片信息生成与所述文本信息相匹配的图片，从而根据用户输入的文本信息，自动生成与所述文本信息相对应的图片，并返回给用户客户端，无需用户根据文本信息，从海量的图片中选取与文本信息相应的图片添加至文本信息上，操作简单，节省为文本信息添加图片的时间。
图4示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图4，手机包括：射频(Radio Frequency，RF)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(wireless fidelity，WiFi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解，图4中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图4对手机的各个构成部件进行具体的介绍：
RF电路610可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器680处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路60还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器620可用于存储计算机可读存储指令以及模块，处理器680通过运行存储在存储器620的计算机可读存储指令以及模块，从而执行手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元630可用于接收输入的数字或字符信息，以及产生与手机600的用户设置以及功能控制有关的键信号输入。具体地，输入单元630可包括触控面板631以及其他输入设备632。触控面板631，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器680，并能接收处理器680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631，输入单元630还可以包括其他输入设备632。具体地，其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元640可包括显示面板641，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板641。进一步的，触控面板631可覆盖显示面板641，当触控面板631检测到在其上或附近的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图4中，触控面板631与显示面板641是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板631与显示面板641集成而实现手机的输入和输出功能。
手机600还可包括至少一种传感器650，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板641的亮度，接近传感器可在手机移动到耳边时，关闭显示面板641和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路660、扬声器661，传声器662可提供用户与手机之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号，传输到扬声器661，由扬声器661转换为声音信号输出；另一方面，传声器662将收集的声音信号转换为电信号，由音频电路660接收后转换为音频数据，再将音频数据输出处理器680处理后，经RF电路610以发送给比如另一手机，或者将音频数据输出至存储器620以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块670，但是可以理解的是，其并不属于手机600的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器680是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器620内的计算机可读存储指令和/或模块，以及调用存储在存储器620内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器680可包括一个或多个处理单元；优选的，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。
手机600还包括给各个部件供电的电源690(比如电池)，优选的，电源可以通过电源管理系统与处理器680逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机600还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本发明实施例中，当存储在存储器620的计算机可读存储指令以及模块被处理器执行时，可使得处理器680实现上述文本信息添加图片的方法，以及实现所示实施例中的文本信息添加图片的装置中的相应模块的功能。
在一个实施例中，本发明还提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述文本信息添加图片的方法。例如，所述存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(RandomAccess Memory，RAM)等。
综合上述实施例可知，本发明最大的有益效果在于：
本发明提供的文本信息添加图片的方法、装置、终端及存储介质，根据客户端上传的文本信息；利用主题提取模型从所述文本信息中提取出关键词；并将所述关键词输入预先训练的生成式对抗网络模型后，得到与所述关键词相应的图片信息；最后利用所述图片信息生成与所述文本信息相匹配的图片，从而根据用户输入的文本信息，自动生成与所述文本信息相对应的图片，并返回给用户客户端，无需用户根据文本信息，从海量的图片中选取与文本信息相应的图片添加至文本信息上，操作简单，节省为文本信息添加图片的时间。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种文本信息添加图片的方法，其特征在于，包括如下步骤：
获取客户端上传的文本信息；
利用主题提取模型从所述文本信息中提取出关键词；
将所述关键词输入预先训练的生成式对抗网络模型中，获取与所述关键词相应的图片信息；
根据所述图片信息生成与所述文本信息相匹配的图片返回至客户端。
2.根据权利要求1所述的文本信息添加图片的方法，其特征在于，所述获取客户端上传的文本信息之前，还包括：
获取样本集合；其中，所述样本集合中包括样本图片以及每张样本图片对应的关键词标签；
利用所述样本图片及对应的关键词标签，对神经网络模型进行训练，直至所述神经网络模型收敛时，得到所述生成式对抗网络模型。
3.根据权利要求2所述的文本信息添加图片的方法，其特征在于，所述对神经网络模型进行训练之后，还包括：
计算所述神经网络模型每一次训练后的分类准确率；
当分类准确率低于预设值时，根据分类结果调整神经网络模型的参数，对所述神经网络模型继续训练，直至神经网络模型收敛时，得到所述生成式对抗网络模型。
4.根据权利要求2所述的文本信息添加图片的方法，其特征在于，所述获取与所述关键词相应的图片信息的步骤，包括：
根据所述关键词查询与所述关键词相匹配的关键词标签；
获取所述关键词标签下的样本图片，从所述样本图片中提取出图片信息。
5.根据权利要求1所述的文本信息添加图片的方法，其特征在于，所述利用主题提取模型从所述文本信息中提取出关键词的步骤，包括：
对所述文本信息进行标点符号清除及分词处理；
根据文本信息中字词出现的频率，利用Textrank文本排序方法对分词处理后的文本信息的字词进行排序；
利用主题提取模型从所述文本信息中提取出排名靠前的若干个字词，得到所述文本信息的关键词。
6.根据权利要求5所述的文本信息添加图片的方法，其特征在于，所述利用Textrank文本排序方法对分词处理后的文本信息的字词进行排序的步骤，包括：
计算分词处理后文本信息中字词之间的相似度；
将相似度高于预设值的字词划分为同一类别，赋予类别标签；
利用Textrank文本排序方法对同一类别标签下的文本信息的字词进行排序。
7.根据权利要求1所述的文本信息添加图片的方法，其特征在于，所述利用主题提取模型从所述文本信息中提取出关键词的步骤，包括：
利用主题提取模型从文本信息中提取出名词、动词或形容词，得到预备关键词；
利用统计策略从所述预备关键词中筛选出至少一个关键词。
8.一种文本信息添加图片的装置，其特征在于，包括：
第一获取模块，用于获取客户端上传的文本信息；
提取模块，用于利用主题提取模型从所述文本信息中提取出关键词；
第二获取模块，用于将所述关键词输入预先训练的生成式对抗网络模型中，获取与所述关键词相应的图片信息；
生成模块，用于根据所述图片信息生成与所述文本信息相匹配的图片。
9.一种终端，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的文本信息添加图片的方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的文本信息添加图片的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811518718.4A CN109783798A (zh) | 2018-12-12 | 2018-12-12 | 文本信息添加图片的方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811518718.4A CN109783798A (zh) | 2018-12-12 | 2018-12-12 | 文本信息添加图片的方法、装置、终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109783798A true CN109783798A (zh) | 2019-05-21 |
Family
ID=66496862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811518718.4A Pending CN109783798A (zh) | 2018-12-12 | 2018-12-12 | 文本信息添加图片的方法、装置、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109783798A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110704637A (zh) * | 2019-09-29 | 2020-01-17 | 出门问问信息科技有限公司 | 一种多模态知识库的构建方法、装置及计算机可读介质 |
| CN110737772A (zh) * | 2019-10-14 | 2020-01-31 | 北京首汽智行科技有限公司 | 一种问题文本处理方法 |
| CN111310420A (zh) * | 2020-03-17 | 2020-06-19 | 北京字节跳动网络技术有限公司 | 文本信息的处理方法、装置、电子设备及可读存储介质 |
| CN111563212A (zh) * | 2020-04-28 | 2020-08-21 | 北京字节跳动网络技术有限公司 | 一种内链添加方法及装置 |
| CN111640025A (zh) * | 2020-06-09 | 2020-09-08 | 国泰君安证券股份有限公司 | 基于标签体系实现资讯标签化处理的方法 |
| CN111667547A (zh) * | 2020-06-09 | 2020-09-15 | 创新奇智(北京)科技有限公司 | Gan网络训练方法、服装图片生成方法、装置及电子设备 |
| CN111985243A (zh) * | 2019-05-23 | 2020-11-24 | 中移(苏州)软件技术有限公司 | 情感模型的训练方法、情感分析方法、装置及存储介质 |
| CN112256907A (zh) * | 2020-11-17 | 2021-01-22 | 携程计算机技术（上海）有限公司 | 基于照片库的旅游攻略编辑方法、系统、设备及存储介质 |
| CN112418525A (zh) * | 2020-11-24 | 2021-02-26 | 重庆邮电大学 | 社交话题群体行为的预测方法、装置及计算机存储介质 |
| CN112651332A (zh) * | 2020-12-24 | 2021-04-13 | 携程旅游信息技术（上海）有限公司 | 基于照片库的场景设施识别方法、系统、设备及存储介质 |
| WO2021068189A1 (en) * | 2019-10-11 | 2021-04-15 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for image generation |
| CN112784079A (zh) * | 2020-12-31 | 2021-05-11 | 深圳市汇深网信息科技有限公司 | 图片文本的制作方法、装置、电子设备以及存储介质 |
| CN113536006A (zh) * | 2021-06-25 | 2021-10-22 | 北京百度网讯科技有限公司 | 生成图片的方法、装置、设备、存储介质和计算机产品 |
| CN113537487A (zh) * | 2021-06-25 | 2021-10-22 | 北京百度网讯科技有限公司 | 模型训练的方法、生成图片的方法及其装置 |
| CN114900711A (zh) * | 2022-05-27 | 2022-08-12 | 北京字跳网络技术有限公司 | 媒体内容的生成方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355429A (zh) * | 2016-08-16 | 2017-01-25 | 北京小米移动软件有限公司 | 图像素材的推荐方法及装置 |
| CN106874248A (zh) * | 2017-01-22 | 2017-06-20 | 百度在线网络技术（北京）有限公司 | 基于人工智能的文章生成方法和装置 |
| CN106919571A (zh) * | 2015-12-24 | 2017-07-04 | 北京奇虎科技有限公司 | 获取与搜索关键词相匹配的图片的方法及装置 |
| CN106997382A (zh) * | 2017-03-22 | 2017-08-01 | 山东大学 | 基于大数据的创新创意标签自动标注方法及系统 |
| CN108596265A (zh) * | 2018-05-02 | 2018-09-28 | 中山大学 | 基于文本描述信息和生成对抗网络的视频生成模型 |
| WO2018200268A1 (en) * | 2017-04-26 | 2018-11-01 | Microsoft Technology Licensing, Llc | Automatic song generation |
| CN108733779A (zh) * | 2018-05-04 | 2018-11-02 | 百度在线网络技术（北京）有限公司 | 文本配图的方法和装置 |
| CN108763213A (zh) * | 2018-05-25 | 2018-11-06 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 主题特征文本关键词提取方法 |
-
2018
- 2018-12-12 CN CN201811518718.4A patent/CN109783798A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919571A (zh) * | 2015-12-24 | 2017-07-04 | 北京奇虎科技有限公司 | 获取与搜索关键词相匹配的图片的方法及装置 |
| CN106355429A (zh) * | 2016-08-16 | 2017-01-25 | 北京小米移动软件有限公司 | 图像素材的推荐方法及装置 |
| CN106874248A (zh) * | 2017-01-22 | 2017-06-20 | 百度在线网络技术（北京）有限公司 | 基于人工智能的文章生成方法和装置 |
| CN106997382A (zh) * | 2017-03-22 | 2017-08-01 | 山东大学 | 基于大数据的创新创意标签自动标注方法及系统 |
| WO2018200268A1 (en) * | 2017-04-26 | 2018-11-01 | Microsoft Technology Licensing, Llc | Automatic song generation |
| CN108596265A (zh) * | 2018-05-02 | 2018-09-28 | 中山大学 | 基于文本描述信息和生成对抗网络的视频生成模型 |
| CN108733779A (zh) * | 2018-05-04 | 2018-11-02 | 百度在线网络技术（北京）有限公司 | 文本配图的方法和装置 |
| CN108763213A (zh) * | 2018-05-25 | 2018-11-06 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 主题特征文本关键词提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| SCOTT REED ET AL.: "Generative Adversarial Text to Image Synthesis", 《ARXIV》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985243B (zh) * | 2019-05-23 | 2023-09-08 | 中移(苏州)软件技术有限公司 | 情感模型的训练方法、情感分析方法、装置及存储介质 |
| CN111985243A (zh) * | 2019-05-23 | 2020-11-24 | 中移(苏州)软件技术有限公司 | 情感模型的训练方法、情感分析方法、装置及存储介质 |
| CN110704637A (zh) * | 2019-09-29 | 2020-01-17 | 出门问问信息科技有限公司 | 一种多模态知识库的构建方法、装置及计算机可读介质 |
| WO2021068189A1 (en) * | 2019-10-11 | 2021-04-15 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for image generation |
| CN110737772A (zh) * | 2019-10-14 | 2020-01-31 | 北京首汽智行科技有限公司 | 一种问题文本处理方法 |
| CN111310420A (zh) * | 2020-03-17 | 2020-06-19 | 北京字节跳动网络技术有限公司 | 文本信息的处理方法、装置、电子设备及可读存储介质 |
| CN111310420B (zh) * | 2020-03-17 | 2021-10-01 | 北京字节跳动网络技术有限公司 | 文本信息的处理方法、装置、电子设备及可读存储介质 |
| CN111563212A (zh) * | 2020-04-28 | 2020-08-21 | 北京字节跳动网络技术有限公司 | 一种内链添加方法及装置 |
| CN111667547A (zh) * | 2020-06-09 | 2020-09-15 | 创新奇智(北京)科技有限公司 | Gan网络训练方法、服装图片生成方法、装置及电子设备 |
| CN111667547B (zh) * | 2020-06-09 | 2023-08-11 | 创新奇智(北京)科技有限公司 | Gan网络训练方法、服装图片生成方法、装置及电子设备 |
| CN111640025A (zh) * | 2020-06-09 | 2020-09-08 | 国泰君安证券股份有限公司 | 基于标签体系实现资讯标签化处理的方法 |
| CN112256907A (zh) * | 2020-11-17 | 2021-01-22 | 携程计算机技术（上海）有限公司 | 基于照片库的旅游攻略编辑方法、系统、设备及存储介质 |
| CN112256907B (zh) * | 2020-11-17 | 2024-04-16 | 携程计算机技术（上海）有限公司 | 基于照片库的旅游攻略编辑方法、系统、设备及存储介质 |
| CN112418525A (zh) * | 2020-11-24 | 2021-02-26 | 重庆邮电大学 | 社交话题群体行为的预测方法、装置及计算机存储介质 |
| CN112651332A (zh) * | 2020-12-24 | 2021-04-13 | 携程旅游信息技术（上海）有限公司 | 基于照片库的场景设施识别方法、系统、设备及存储介质 |
| CN112784079A (zh) * | 2020-12-31 | 2021-05-11 | 深圳市汇深网信息科技有限公司 | 图片文本的制作方法、装置、电子设备以及存储介质 |
| CN113536006A (zh) * | 2021-06-25 | 2021-10-22 | 北京百度网讯科技有限公司 | 生成图片的方法、装置、设备、存储介质和计算机产品 |
| CN113537487A (zh) * | 2021-06-25 | 2021-10-22 | 北京百度网讯科技有限公司 | 模型训练的方法、生成图片的方法及其装置 |
| CN113537487B (zh) * | 2021-06-25 | 2023-08-04 | 北京百度网讯科技有限公司 | 模型训练的方法、生成图片的方法及其装置 |
| CN114900711A (zh) * | 2022-05-27 | 2022-08-12 | 北京字跳网络技术有限公司 | 媒体内容的生成方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109783798A (zh) | 文本信息添加图片的方法、装置、终端及存储介质 | |
| CN103578474B (zh) | 一种语音控制方法、装置和设备 | |
| CN110286976A (zh) | 界面显示方法、装置、终端及存储介质 | |
| CN113536793A (zh) | 一种实体识别方法、装置、设备以及存储介质 | |
| CN109815363A (zh) | 歌词内容的生成方法、装置、终端及存储介质 | |
| CN104239535A (zh) | 一种为文字配图的方法、服务器、终端及系统 | |
| CN110704661B (zh) | 一种图像分类方法和装置 | |
| CN109599079A (zh) | 一种音乐的生成方法和装置 | |
| CN110166828A (zh) | 一种视频处理方法和装置 | |
| CN109561211B (zh) | 一种信息显示方法及移动终端 | |
| EP3493130A1 (en) | Image processing method, image processing device, computer device, and computer readable storage medium | |
| CN107608532A (zh) | 一种联想输入方法、装置及电子设备 | |
| CN116797684B (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| CN108628985B (zh) | 一种相册的处理方法及移动终端 | |
| CN109918669A (zh) | 实体确定方法、装置及存储介质 | |
| CN107402964A (zh) | 一种信息推荐方法、服务器及终端 | |
| CN107977928A (zh) | 表情生成方法、装置、终端及存储介质 | |
| CN109784165B (zh) | 诗词内容的生成方法、装置、终端及存储介质 | |
| CN108959274A (zh) | 一种应用程序的翻译方法及服务器 | |
| CN110209810A (zh) | 相似文本识别方法以及装置 | |
| CN110852109A (zh) | 语料生成方法、语料生成装置、和存储介质 | |
| CN108492836A (zh) | 一种基于语音的搜索方法、移动终端及存储介质 | |
| CN110276010A (zh) | 一种权重模型训练方法和相关装置 | |
| CN114357278B (zh) | 一种话题推荐方法、装置及设备 | |
| CN111368171A (zh) | 一种关键词推荐的方法、相关装置以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190521 |