CN108733779B - 文本配图的方法和装置 - Google Patents
文本配图的方法和装置 Download PDFInfo
- Publication number
- CN108733779B CN108733779B CN201810421845.6A CN201810421845A CN108733779B CN 108733779 B CN108733779 B CN 108733779B CN 201810421845 A CN201810421845 A CN 201810421845A CN 108733779 B CN108733779 B CN 108733779B
- Authority
- CN
- China
- Prior art keywords
- matching
- text
- matched
- picture
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种文本配图的方法和装置,其中,方法包括:识别待配图文本所属的主题类别;若主题类别不属于预设无需配图的主题类别,确定待配图文本具有配图意图,并对待配图文本进行实体词抽取,以得到用于描述配图意图的目标词;采用目标词,搜索主题类别对应的图片集,得到标签与目标词语义匹配的配图图片;采用配图图片对待配图文本配图。该方法能够根据主题类别识别是否需要配图,并在具有配图意图时,实现自动为文本进行配图,有效提升配图效率,并且无需人为筛选和判断,有效节省配图成本。此外,可以使得图文更加匹配,有效保证配图质量。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种文本配图的方法和装置。
背景技术
随着互联网技术的不断发展,用户对富媒体的需求也随之增长。例如,用户在新闻平台阅读新闻时,更希望阅读图文并茂的新闻,而当新闻仅为纯文本新闻时,用户的点击意愿并不高。或者,用户在互动问答平台搜索问题时,更愿意点击具有配图的问答,但是目前互动问答平台的问答的含图率非常低,导致用户的点击意愿不高。
现有技术中,新闻配图或者问答配图,通过人工提炼新闻文本或者问答文本的配图需求词,而后根据配图需求词在线进行图片搜索,最后通过人工挑选出符合条件的图片作为配图图片。或者,通过提取文本标签,在自建图片库中,选取与文本标签对应的图片,最后通过人工筛选出符合条件的图片作为配图图片。
这两种方式下,配图效率较低,且人工筛选成本较高。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种文本配图的方法,以实现根据主题类别识别是否需要配图,并在具有配图意图时,自动为文本进行配图,有效提升配图效率,并且无需人为筛选和判断,能够有效节省配图成本。此外,由于配图图片是采用用于描述配图意图的目标词,搜索主题类别对应的图片集而得到的,其标签与目标词语义更加匹配,因此,采用配图图片对待配图文本配图,可以使得图文更加匹配,有效保证配图质量。
本发明的第二个目的在于提出一种文本配图的装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的,本发明第一方面实施例提出了一种文本配图的方法,包括:
识别待配图文本所属的主题类别;
若所述主题类别不属于预设无需配图的主题类别,确定所述待配图文本具有配图意图,并对所述待配图文本进行实体词抽取,以得到用于描述所述配图意图的目标词;
采用所述目标词,搜索所述主题类别对应的图片集,得到标签与所述目标词语义匹配的配图图片;
采用所述配图图片对所述待配图文本配图。
本发明实施例的文本配图的方法,通过识别待配图文本所属的主题类别,并判断主体类别是否属于无需配图的主题类别,若是,则确定待配图文本不具有配图意图,可以不对其进行配图,有效提升配图效率。若否,则确定待配图文本具有配图意图,并对待配图文本进行实体词抽取,以得到用于描述配图意图的目标词,采用目标词,搜索主题类别对应的图片集,得到标签与目标词语义匹配的配图图片,采用配图图片对待配图文本配图。本实施例中,由于配图图片是采用用于描述配图意图的目标词,搜索主题类别对应的图片集而得到的,其标签与目标词语义更加匹配,因此,采用配图图片对待配图文本配图,可以使得图文更加匹配,有效保证配图质量。此外,由于能够根据主题类别识别是否需要配图,并在具有配图意图时,实现自动为文本进行配图,能够有效提升配图效率,并且无需人为筛选和判断,能够有效节省配图成本。
为达上述目的,本发明第二方面实施例提出了一种文本配图的装置,包括:
识别模块,用于识别待配图文本所属的主题类别;
获取模块,用于若所述主题类别属于预设需配图的类别,对所述待配图文本进行实体词抽取,得到目标词;
搜索模块,用于采用所述目标词,搜索所述主题类别对应的图片集,得到标签与所述目标词语义匹配的配图图片;
配图模块,用于采用所述配图图片对所述待配图文本配图。
本发明实施例的文本配图的装置,通过识别待配图文本所属的主题类别,并判断主体类别是否属于无需配图的主题类别,若是,则确定待配图文本不具有配图意图,可以不对其进行配图,有效提升配图效率。若否,则确定待配图文本具有配图意图,并对待配图文本进行实体词抽取,以得到用于描述配图意图的目标词,采用目标词,搜索主题类别对应的图片集,得到标签与目标词语义匹配的配图图片,采用配图图片对待配图文本配图。本实施例中,由于配图图片是采用用于描述配图意图的目标词,搜索主题类别对应的图片集而得到的,其标签与目标词语义更加匹配,因此,采用配图图片对待配图文本配图,可以使得图文更加匹配,有效保证配图质量。此外,由于能够根据主题类别识别是否需要配图,并在具有配图意图时,实现自动为文本进行配图,能够有效提升配图效率,并且无需人为筛选和判断,能够有效节省配图成本。
为达上述目的,本发明第三方面实施例提出了一种计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如本发明第一方面实施例所述的文本配图的方法。
为了实现上述目的,本发明第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如本发明第一方面实施例所述的文本配图的方法。
为了实现上述目的,本发明第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行如本发明第一方面实施例所述的文本配图的方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例一所提供的文本配图的方法的流程示意图;
图2为本发明实施例中待配图文本所在页面示意图;
图3为本发明实施例二所提供的文本配图的方法的流程示意图;
图4为本发明实施例三所提供的文本配图的装置的结构示意图;
图5为本发明实施例四所提供的文本配图的装置的结构示意图;
图6示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
针对现有技术中配图效率较低,且人工筛选成本较高的技术问题,本发明实施例中,通过识别待配图文本所属的主题类别,并判断主体类别是否属于无需配图的主题类别,若是,则确定待配图文本不具有配图意图,可以不对其进行配图,有效提升配图的处理效率。若否,则确定待配图文本具有配图意图,并对待配图文本进行实体词抽取,以得到用于描述配图意图的目标词,采用目标词,搜索主题类别对应的图片集,得到标签与目标词语义匹配的配图图片,采用配图图片对待配图文本配图。本实施例中,由于配图图片是采用用于描述配图意图的目标词,搜索主题类别对应的图片集而得到的,其标签与目标词语义更加匹配,因此,采用配图图片对待配图文本配图,可以使得图文更加匹配,有效保证配图质量。此外,由于能够根据主题类别识别是否需要配图,并在具有配图意图时,实现自动为文本进行配图,能够有效提升配图效率,并且无需人为筛选和判断,能够有效节省配图成本。
下面参考附图描述本发明实施例的文本配图的方法和装置。
本发明实施例的文本配图的方法,可以应用于互动问答平台,例如为百度知道,为互动问答平台的文本进行自动配图,从而提升用户的点击率,或者,可以应用于新闻平台,例如为百度新闻,为新闻平台的新闻进行自动配图,在提升点击率的同时,可以提升用户的阅读体验。
图1为本发明实施例一所提供的文本配图的方法的流程示意图。
如图1所示,该文本配图的方法可以包括以下步骤:
步骤101,识别待配图文本所属的主题类别。
本发明实施例中,待配图文本是需要为其进行配图的文本,主题类别可以包括景点类、旅游类、养生类、护肤类、装潢类、求职类、软件类、证件类、医疗类等,在此不一一列举。
本发明实施例中,不同文本所属的主题类别可以不同,而针对不同主题类别的文本,为其所配的图片可以不同。举例而言,当文本所属的主题类别为旅游类时,为其所配的图片可以为风景名胜图,而当文本所属的主题类别为养生类时,为其所配的图片可以为五谷杂粮图。因此,本发明实施例中,可以识别待配图文本所属的主题类别。
可以理解的是,对于一些主题类别,可以无需对其进行配图,例如,当待配图文本为:『excel怎么操作表格列累加?』,可知其所属的主题类别为软件类,而对于软件类的配图意义不大,无法找到合适的配图,因此,可以确定软件类为无需配图的主题类别。或者,当待配图文本为:『怎样拍好正装证件照?』,可知其所属的主题类别为证件类,而对于证件类,如果为其进行配图,可能发生侵犯别人的肖像权的情况,因此,可以确定证件类属于无需配图的主题类别。同理,无需配图的主题类别还可以包括医疗类等。
作为一种可能的实现方式,为了提升识别效率,可以预先离线挖掘敏感词,并建立敏感词与对应的主题类别之间的对应关系,在确定敏感词后,可以查询上述对应关系,确定对应的主题类别。其中,敏感词是根据无需配图的训练样本进行挖掘得到的。举例而言,对于证件类,敏感词可以包括:身份证、护照、户口簿、军官证等,对于医疗类,敏感词可以包括:口腔溃疡、病变、痔疮、泌尿等,对于软件类,敏感词可以包括:Excel、Word、Visio、Java、C++等,而对于其他无需配图的主题类别,可以同样挖掘得到对应的敏感词,在此不一一列举。
而后,可以查询待配图文本中是否存在离线挖掘到的敏感词,若待配图文本中存在离线挖掘到的敏感词,则可以根据敏感词,查询预先建立的对应关系,获取对应的主题类别,将获取的主题类别作为待配图文本所属的主题类别,操作简单且易于实现。
作为另一种可能的实现方式,由于文本是非结构化的数据,如果想从文本中挖掘有用的信息,则需要将文本转化为可处理的结构化形式,因此,可以对待配图文本采用深度学习模型,例如潜在狄利克雷分配(Latent Dirichlet Allocation,LDA)主题模型进行文本分析,得到结构化的特性向量,而后根据特征向量进行主题分类,以确定待配图文本所属的主题类别。
步骤102,若主题类别不属于预设无需配图的主题类别,确定待配图文本具有配图意图,并对待配图文本进行实体词抽取,以得到用于描述配图意图的目标词。
本发明实施例中,可以判断待配图文本的所属的主题类别是否属于预设无需配图的主题类别,其中,预设无需配图的主题类别可以包括医疗类、证件类、软件类等,若主题类别属于预设无需配图的主题类别,则确定待配图文本不具有配图意图,因此,可以不对其进行配图;若主题类别不属于预设无需配图的主题类别,则确定待配图文本具有配图意图,因此,可以对其进行配图。
可以理解的是,待配图文本的配图意图主要根据待配图文本中的实体词进行确定,其中,实体词包括待配图文本中出现的人名、地名、机构名、媒体、作者及文本的主题关键词。因此,本发明实施例中,当主题类别不属于预设无需配图的主题类别时,可以对待配图文本进行实体词抽取,以得到用于描述配图意图的目标词。
例如,当待配图文本为『北京旅游哪里好玩』时,对其进行实体词抽取,得到的目标词为『北京旅游』。
步骤103,采用目标词,搜索主题类别对应的图片集,得到标签与目标词语义匹配的配图图片。
作为一种可能的实现方式,针对每一主体类别,可以预先建立该主体类别对应的图片集,从而在得到用于描述配图意图的目标词后,可以采用目标词,搜索预先建立的主题类别对应的图片集,得到标签与目标词语义匹配的配图图片,从而可以有效提升配图图片的搜索效率。
需要说明的是,可以实时或者周期性地对每一主体对应的图片集进行更新,以实现对图片集的动态维护和补充,从而保证搜索的配图图片与目标词语义更加匹配。
作为另一种可能的实现方式,采用目标词,在线搜索与主体类别对应的图片集,得到标签与目标词语义匹配的配图图片。由此,可以无需维护预先建立的图片集,在节省成本的同时,还能够解决大规模的文本配图需求。
步骤104,采用配图图片对待配图文本配图。
本发明实施例中,在得到配图图片后,可以采用配图图片对待配图文本配图。
例如,在预先建立的主题类别对应的图片集中搜索配图图片时,得到的搜索结果可以直接为配图图片,可以将配图图片直接插入标题与正文之间。
或者,在线搜索配图图片时,得到的搜索结果可以为配图图片对应的网络地址,而后将网络地址对应的配图图片插入至标题与正文之间。
举例而言,当待配图文本为互动问答平台上的一个提问时,例如为『关于母爱的古诗大全』,当在线搜索配图图片时,得到的配图图片可以如图2所示,图2为本发明实施例中待配图文本所在页面示意图。可以将配图图片直接插入至提问『关于母爱的古诗大全』与最佳答案之间。
本实施例的文本配图的方法,通过识别待配图文本所属的主题类别,并判断主体类别是否属于无需配图的主题类别,若是,则确定待配图文本不具有配图意图,可以不对其进行配图,有效提升配图效率。若否,则确定待配图文本具有配图意图,并对待配图文本进行实体词抽取,以得到用于描述配图意图的目标词,采用目标词,搜索主题类别对应的图片集,得到标签与目标词语义匹配的配图图片,采用配图图片对待配图文本配图。本实施例中,由于配图图片是采用用于描述配图意图的目标词,搜索主题类别对应的图片集而得到的,其标签与目标词语义更加匹配,因此,采用配图图片对待配图文本配图,可以使得图文更加匹配,有效保证配图质量。此外,由于能够根据主题类别识别是否需要配图,并在具有配图意图时,实现自动为文本进行配图,能够有效提升配图效率,并且无需人为筛选和判断,能够有效节省配图成本。
为了清楚说明上一实施例,本实施例提供了另一种文本配图的方法,图3为本发明实施例二所提供的文本配图的方法的流程示意图。
如图3所示,该文本配图的方法可以包括以下步骤:
步骤201,识别待配图文本所属的主题类别。
步骤202,判断主题类别是否属于预设无需配图的主题类别,若是,执行步骤203,否则,执行步骤204。
步骤203,确定待配图文本不具有配图意图,不做任何处理。
步骤204,确定待配图文本具有配图意图。
步骤201~204的执行过程可以参见上述实施例中步骤101~102的执行过程,在此不做赘述。
步骤205,根据离线挖掘到的词表,对待配图文本抽取第一实体词;词表包括地名、实物和图片集中的标签的一个或多个组合。
本发明实施例中,为了提升实体词抽取的效率,可以预先离线挖掘全网的地名、实物、图片集中的标签等,经过网页抓取、数据清洗后,形成词表。而后可以根据离线挖掘到的词表,对待配图文本进行实体词抽取,得到第一实体词。
步骤206,根据待配图文本中各实体词的词频,选取第二实体词。
可以理解的是,字词的重要性随着它在文本中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。举例而言,实际在网络搜索时,可以发现,如果一个关键词只在很少的网页中出现,则通过该关键词可以较易锁定搜索目标,因此,该关键词在文本中的权重越大,反之,如果一个关键词在大量网页中出现,则通过该关键词无法轻易锁定搜索目标,还需要用户反复浏览搜索结果,确定搜索目标,因此,该关键词在文本中的权重越小。
因此,本发明实施例中,可以根据计算待配图文本正文中各实体词的词频-逆向文件频率(Term Frequency–Inverse Document Frequency,简称TF-IDF),根据TF-IDF,选取权重在待配图文本中较高的第二实体词。
步骤207,根据第一实体词和第二实体词,生成目标词。
可选地,在确定第一实体词和第二实体词后,可以根据第一实体词和第二实体词,生成目标词。由此,生成的目标词更能表达待配图文本的配图意图。
步骤208,采用目标词,搜索主题类别对应的图片集,得到标签与目标词语义匹配的配图图片。
步骤208的执行过程可以参见上述实施例中步骤103的执行过程,在此不做赘述。
步骤209,根据待配图文本所在页面中文本区域的尺寸,确定图片尺寸。
本发明实施例中,搜索得到的配图图片至少为一个。可以理解的是,配图图片来源于网络,配图图片的图片质量和内容参差不齐,而配图图片过长或者过宽均不适合用于对待配图文本进行配图。因此,本发明实施例中,可以根据待配图文本所在页面中文本区域的尺寸,确定图片尺寸,以根据图片尺寸,对搜索得到的配图图片进行筛选。
步骤210,根据待配图文本所在页面中图片区域内展示的图片,生成图片特征。
可以理解的是,当待配图文本应用场景为互动问答平台时,一般情况下,互动问答平台未有实现自动配图功能,为用户提问时,自动上传图片。当待配图文本为提问,且该提问本身具有配图时,如果为提问进行配图时,配图图片的图片特征应与用户所上传图片的图片特征之间的相似度低于阈值相似度,否则,两幅图片过于相似则使得配图变得毫无意义。其中,阈值相似度为预先设置的,例如为15%。
或者,当待配图文本应用场景为新闻平台时,当待配图文本为新闻,且该新闻本身具有配图时,如果为新闻进行配图时,配图图片的图片特征应与新闻本身所配图片的图片相似度低于阈值相似度,否则,两幅图片过于相似则使得配图变得毫无意义。
因此,本发明实施例中,可以根据待配图文本所在页面中图片区域内展示的图片,生成图片特征,以根据图片特征,对搜索得到的配图图片进行筛选。
步骤211,根据图片特征和图片尺寸,生成个性化策略。
可以理解的是,配图图片来源于网络,配图图片的图片质量和内容参差不齐,为了使得配图图片与待配图文本完美融合,个性化策略可以包括:配图图片的尺寸与确定出的图片尺寸匹配,且,配图图片的图片特征与确定出的图片特征之间的相似度低于阈值相似度。
举例而言,当待配图文本所在页面中图片区域内有展示的图片时,例如,当待配图文本应用场景为新闻平台时,新闻本身可以具有配图,因此,在对新闻进行配图时,配图图片的图片特征与新闻原有图片的图片特征之间的相似度应低于阈值相似度,且配图图片的尺寸须与新闻原有的图片的尺寸匹配。
步骤212,根据个性化策略和预设的通用策略,生成应用场景对应的配图筛选策略。
可以理解的是,配图图片清晰度较低、主题不健康、美观度较低、水印程度较高时,均不适合用于对待配图文本进行配图。因此,通用策略可以包括配图图片的图片质量高于阈值质量。其中,图片质量,是根据图片清晰度、主题健康度、美观程度和水印程度中的一个或多个组合确定的。
其中,可以根据水印识别技术,确定水印程度。可以通过深度学习的图像处理技术,确定配图图片清晰度、主题健康度、美观程度。可选地,可以预先设置图片清晰度、主题健康度、美观程度和水印程度对应的权重值,在确定配图图片清晰度、主题健康度、美观程度和水印程度,可以将图片清晰度乘以对应的权重值+主题健康度乘以对应的权重值+美观程度乘以对应的权重值+水印程度乘以对应的权重值,得到配图图片的图片质量。
进一步地,配图图片中成像主体面积太大时,例如为大头照时,也不适合用于对待配图文本进行配图。因此,本发明实施例中,通用策略还可以包括配图图片中成像主体面积占比低于阈值比例。其中,阈值比例为预先设置的,例如阈值比例可以为15%。
可选地,同样可以采用深度学习的图像处理技术,确定配图图片中成像主体面积。具体地,可以识别成像主体的成像区域在配图图片中的图像特征,而后将识别出的图像特征输入至预先训练的图像特征识别模型,确定配图图片中成像主体面积。其中,可以选取样本图像,而后基于样本图像的图像特征,对样本图像中各个物体进行标注,利用标注过的样本图像训练图像特征识别模型。利用训练好的模型对配图图片进行识别,确定配图图片中成像主体面积。
步骤213,采用待配图文本应用场景所对应的配图筛选策略,对配图图片进行筛选。
本发明实施例中,在确定待配图文本应用场景所对应的配图筛选策略后,则可以采用待配图文本应用场景所对应的配图筛选策略,对配图图片进行筛选。
步骤214,采用筛选后的配图图片对待配图文本配图。
本发明实施例中,当待配图文本所在页面中图片区域内无展示的图片时,可以直接将采用筛选后的配图图片对待配图文本配图。而当待配图文本所在页面中图片区域内有展示的图片时,可以将筛选后的配图图片与展示的图片在页面中一起进行显示,或者,利用筛选后的配图图片覆盖展示的图片,对此不作限制。
本实施例的文本配图的方法,通过采用待配图文本应用场景所对应的配图筛选策略,对配图图片进行筛选,采用筛选后的配图图片对待配图文本配图。由此,可以使得筛选后的配图图片的图片质量最佳,且使得图文更加匹配。
为了实现上述实施例,本发明还提出一种文本配图的装置。
图4为本发明实施例三提供的文本配图的装置的结构示意图。
如图4所示,该文本配图的装置100包括:识别模块110、获取模块120、搜索模块130,以及配图模块140。其中,
识别模块110,用于识别待配图文本所属的主题类别。
作为一种可能的实现方式,识别模块110,具体用于对待配图文本采用深度学习模型进行文本分析,得到结构化的特性向量;根据特征向量进行主题分类,以确定待配图文本所属的主题类别;和/或,查询待配图文本中是否存在离线挖掘到的敏感词,根据查询到的敏感词,确定待配图文本为敏感词对应的主题类别;其中,敏感词是根据无需配图的训练样本进行挖掘得到的。
获取模块120,用于若主题类别属于预设需配图的类别,对待配图文本进行实体词抽取,得到目标词。
搜索模块130,用于采用目标词,搜索主题类别对应的图片集,得到标签与目标词语义匹配的配图图片。
配图模块140,用于采用配图图片对待配图文本配图。
进一步地,在本发明实施例的一种可能的实现方式中,参见图5,在图4所示实施例的基础上,该文本配图的装置100还可以包括:。
获取模块120,包括:
抽取子模块121,用于根据离线挖掘到的词表,对待配图文本抽取第一实体词;词表包括地名、实物和图片集中的标签的一个或多个组合。
选取子模块122,用于根据待配图文本中各实体词的词频,选取第二实体词。
作为一种可能的实现方式,选取子模块122,具体用于计算待配图文本正文中各实体词的词频-逆向文件频率TF-IDF;根据TF-IDF,选取第二实体词。
生成子模块123,用于根据第一实体词和第二实体词,生成目标词。
筛选模块150,用于采用在得到标签与目标词语义匹配的配图图片之后,待配图文本应用场景所对应的配图筛选策略,对配图图片进行筛选。
确定模块160,用于根据待配图文本所在页面中文本区域的尺寸,确定图片尺寸。
生成模块170,用于根据待配图文本所在页面中图片区域内展示的图片,生成图片特征,根据图片特征和图片尺寸,生成个性化策略,以及根据个性化策略和预设的通用策略,生成应用场景对应的配图筛选策略。
其中,个性化策略,包括:配图图片的尺寸与确定出的图片尺寸匹配;且,配图图片的图片特征与确定出的图片特征之间的相似度低于阈值相似度。
通用策略,包括:配图图片的图片质量高于阈值质量;其中,图片质量,是根据图片清晰度、主题健康度、美观程度和水印程度中的一个或多个组合确定的;配图图片中成像主体面积占比低于阈值比例。
需要说明的是,前述对文本配图的方法实施例的解释说明也适用于该实施例的文本配图的装置100,此处不再赘述。
本实施例的文本配图的装置,通过识别待配图文本所属的主题类别,并判断主体类别是否属于无需配图的主题类别,若是,则确定待配图文本不具有配图意图,可以不对其进行配图,有效提升配图效率。若否,则确定待配图文本具有配图意图,并对待配图文本进行实体词抽取,以得到用于描述配图意图的目标词,采用目标词,搜索主题类别对应的图片集,得到标签与目标词语义匹配的配图图片,采用配图图片对待配图文本配图。本实施例中,由于配图图片是采用用于描述配图意图的目标词,搜索主题类别对应的图片集而得到的,其标签与目标词语义更加匹配,因此,采用配图图片对待配图文本配图,可以使得图文更加匹配,有效保证配图质量。此外,由于能够根据主题类别识别是否需要配图,并在具有配图意图时,实现自动为文本进行配图,能够有效提升配图效率,并且无需人为筛选和判断,能够有效节省配图成本。
为了实现上述实施例,本发明还提出一种计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如本发明前述实施例提出的文本配图的方法。
为了实现上述实施例,本发明还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如本发明前述实施例提出的文本配图的方法。
为了实现上述实施例,本发明还提出一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行如本发明前述实施例提出的文本配图的方法。
图6示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图6显示的计算机设备12仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的文本配图的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (11)
1.一种文本配图的方法,其特征在于,包括以下步骤:
识别待配图文本所属的主题类别;
若所述主题类别不属于预设无需配图的主题类别,确定所述待配图文本具有配图意图,并对所述待配图文本进行实体词抽取,以得到用于描述所述配图意图的目标词;若所述主题类别属于预设无需配图的主题类别,确定所述待配图文本不具有配图意图,不做任何处理;
采用所述目标词,搜索所述主题类别对应的图片集,得到标签与所述目标词语义匹配的配图图片,其中,针对每一主题类别,预先建立与所述主题类别对应的图片集;
采用所述配图图片对所述待配图文本配图;
其中,所述识别待配图文本所属的主题类别,包括:
对所述待配图文本采用深度学习模型进行文本分析,得到结构化的特征向量;根据所述特征向量进行主题分类,以确定所述待配图文本所属的主题类别;
和/或,查询待配图文本中是否存在离线挖掘到的敏感词,根据查询到的敏感词,确定所述待配图文本为所述敏感词对应的主题类别;其中,所述敏感词是根据无需配图的训练样本进行挖掘得到的。
2.根据权利要求1所述的文本配图的方法,其特征在于,所述对所述待配图文本进行实体词抽取,包括:
根据离线挖掘到的词表,对所述待配图文本抽取第一实体词;所述词表包括地名、实物和所述图片集中的标签的一个或多个组合;
根据所述待配图文本中各实体词的词频,选取第二实体词;
根据所述第一实体词和所述第二实体词,生成所述目标词。
3.根据权利要求2所述的文本配图的方法,其特征在于,所述根据所述待配图文本中各实体词的词频,选取第二实体词,包括:
计算所述待配图文本正文中各实体词的词频-逆向文件频率TF-IDF;
根据所述TF-IDF,选取所述第二实体词。
4.根据权利要求1-3任一项所述的文本配图的方法,其特征在于,所述得到标签与所述目标词语义匹配的配图图片之后,还包括:
采用所述待配图文本应用场景所对应的配图筛选策略,对所述配图图片进行筛选。
5.根据权利要求4所述的文本配图的方法,其特征在于,所述采用所述待配图文本应用场景所对应的配图筛选策略,对所述配图图片进行筛选之前,还包括:
根据所述待配图文本所在页面中文本区域的尺寸,确定图片尺寸;
根据所述待配图文本所在页面中图片区域内展示的图片,生成图片特征;
根据所述图片特征和所述图片尺寸,生成个性化策略;
根据所述个性化策略和预设的通用策略,生成所述应用场景对应的配图筛选策略。
6.根据权利要求5所述的文本配图的方法,其特征在于,所述个性化策略,包括:
所述配图图片的尺寸与确定出的所述图片尺寸匹配;
且,所述配图图片的图片特征与确定出的图片特征之间的相似度低于阈值相似度。
7.根据权利要求5所述的文本配图的方法,其特征在于,所述通用策略,包括:
所述配图图片的图片质量高于阈值质量;其中,所述图片质量,是根据图片清晰度、主题健康度、美观程度和水印程度中的一个或多个组合确定的;
所述配图图片中成像主体面积占比低于阈值比例。
8.一种文本配图的装置,其特征在于,包括:
识别模块,用于识别待配图文本所属的主题类别;
获取模块,用于若所述主题类别属于预设需配图的类别,对所述待配图文本进行实体词抽取,得到目标词;若所述主题类别属于预设无需配图的主题类别,确定所述待配图文本不具有配图意图,不做任何处理;
搜索模块,用于采用所述目标词,搜索所述主题类别对应的图片集,得到标签与所述目标词语义匹配的配图图片,其中,针对每一主题类别,预先建立与所述主题类别对应的图片集;
配图模块,用于采用所述配图图片对所述待配图文本配图;
所述识别模块,具体用于对待配图文本采用深度学习模型进行文本分析,得到结构化的特征向量;根据所述特征向量进行主题分类,以确定待配图文本所属的主题类别;和/或,查询待配图文本中是否存在离线挖掘到的敏感词,根据查询到的敏感词,确定待配图文本为敏感词对应的主题类别;其中,敏感词是根据无需配图的训练样本进行挖掘得到的。
9.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1-7中任一所述的文本配图的方法。
10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的文本配图的方法。
11.一种计算机程序产品,其特征在于,当所述计算机程序产品中的指令由处理器执行时,执行如权利要求1-7中任一所述的文本配图的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810421845.6A CN108733779B (zh) | 2018-05-04 | 2018-05-04 | 文本配图的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810421845.6A CN108733779B (zh) | 2018-05-04 | 2018-05-04 | 文本配图的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108733779A CN108733779A (zh) | 2018-11-02 |
CN108733779B true CN108733779B (zh) | 2022-10-04 |
Family
ID=63936929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810421845.6A Active CN108733779B (zh) | 2018-05-04 | 2018-05-04 | 文本配图的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108733779B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109697239B (zh) * | 2018-11-23 | 2022-05-31 | 南京尚网网络科技有限公司 | 用于生成图文信息的方法 |
CN109582421A (zh) * | 2018-11-29 | 2019-04-05 | 珠海豹趣科技有限公司 | 一种页面显示方法、装置和设备 |
CN109783798A (zh) * | 2018-12-12 | 2019-05-21 | 平安科技(深圳)有限公司 | 文本信息添加图片的方法、装置、终端及存储介质 |
CN110866086A (zh) * | 2018-12-29 | 2020-03-06 | 北京安妮全版权科技发展有限公司 | 一种文章配图系统 |
CN109902149B (zh) | 2019-02-21 | 2021-08-13 | 北京百度网讯科技有限公司 | 查询处理方法和装置、计算机可读介质 |
CN111666006B (zh) * | 2019-03-05 | 2022-01-14 | 京东方科技集团股份有限公司 | 画作问答方法及装置、画作问答系统、可读存储介质 |
CN109933802B (zh) * | 2019-03-25 | 2023-05-26 | 腾讯科技(深圳)有限公司 | 图文匹配方法、装置及存储介质 |
CN110020411B (zh) * | 2019-03-29 | 2020-10-09 | 上海掌门科技有限公司 | 图文内容生成方法及设备 |
CN110136226B (zh) * | 2019-04-08 | 2023-12-22 | 华南理工大学 | 一种基于图像组协同描述生成的新闻自动配图方法 |
CN110209862B (zh) * | 2019-05-22 | 2021-06-25 | 招商局金融科技有限公司 | 文本配图方法、电子装置及计算机可读存储介质 |
CN110222189A (zh) * | 2019-06-19 | 2019-09-10 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN112270177A (zh) * | 2019-07-08 | 2021-01-26 | 北京奇虎科技有限公司 | 基于内容相似性的新闻封面配图方法、装置及计算设备 |
CN112541091A (zh) * | 2019-09-23 | 2021-03-23 | 杭州海康威视数字技术股份有限公司 | 图像搜索方法、装置、服务器和存储介质 |
CN112651413B (zh) * | 2019-10-10 | 2023-10-17 | 百度在线网络技术(北京)有限公司 | 低俗图的集成学习分类方法、装置、设备及存储介质 |
CN111768412A (zh) * | 2019-10-12 | 2020-10-13 | 北京京东尚科信息技术有限公司 | 智能配图方法和装置 |
CN111104514B (zh) * | 2019-12-23 | 2023-04-25 | 北京百度网讯科技有限公司 | 文档标签模型的训练方法及装置 |
CN111324819B (zh) * | 2020-03-24 | 2021-07-30 | 北京字节跳动网络技术有限公司 | 一种媒体内容搜索的方法、装置、计算机设备及存储介质 |
CN111581510B (zh) * | 2020-05-07 | 2024-02-09 | 腾讯科技(深圳)有限公司 | 分享内容处理方法、装置、计算机设备和存储介质 |
CN112036128A (zh) * | 2020-08-21 | 2020-12-04 | 百度在线网络技术(北京)有限公司 | 一种文本内容处理方法、装置、设备以及存储介质 |
WO2024000554A1 (zh) * | 2022-07-01 | 2024-01-04 | 富途网络科技(深圳)有限公司 | 基于人工智能的资讯配图方法、设备、介质及程序产品 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101820475A (zh) * | 2010-05-25 | 2010-09-01 | 拓维信息系统股份有限公司 | 基于智能语义理解的手机彩信生成方法 |
JP2011221794A (ja) * | 2010-04-09 | 2011-11-04 | Kddi Corp | 画像選定装置 |
JP2012008874A (ja) * | 2010-06-25 | 2012-01-12 | Kddi Corp | 画像選定装置、方法及びプログラム |
CN104239535A (zh) * | 2014-09-22 | 2014-12-24 | 重庆邮电大学 | 一种为文字配图的方法、服务器、终端及系统 |
CN105243065A (zh) * | 2014-06-24 | 2016-01-13 | 中兴通讯股份有限公司 | 一种素材信息输出方法和系统 |
CN106355429A (zh) * | 2016-08-16 | 2017-01-25 | 北京小米移动软件有限公司 | 图像素材的推荐方法及装置 |
CN107357889A (zh) * | 2017-07-11 | 2017-11-17 | 北京工业大学 | 一种基于内容或情感相似性的跨社交平台图片推荐算法 |
-
2018
- 2018-05-04 CN CN201810421845.6A patent/CN108733779B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011221794A (ja) * | 2010-04-09 | 2011-11-04 | Kddi Corp | 画像選定装置 |
CN101820475A (zh) * | 2010-05-25 | 2010-09-01 | 拓维信息系统股份有限公司 | 基于智能语义理解的手机彩信生成方法 |
JP2012008874A (ja) * | 2010-06-25 | 2012-01-12 | Kddi Corp | 画像選定装置、方法及びプログラム |
CN105243065A (zh) * | 2014-06-24 | 2016-01-13 | 中兴通讯股份有限公司 | 一种素材信息输出方法和系统 |
CN104239535A (zh) * | 2014-09-22 | 2014-12-24 | 重庆邮电大学 | 一种为文字配图的方法、服务器、终端及系统 |
CN106355429A (zh) * | 2016-08-16 | 2017-01-25 | 北京小米移动软件有限公司 | 图像素材的推荐方法及装置 |
CN107357889A (zh) * | 2017-07-11 | 2017-11-17 | 北京工业大学 | 一种基于内容或情感相似性的跨社交平台图片推荐算法 |
Also Published As
Publication number | Publication date |
---|---|
CN108733779A (zh) | 2018-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108733779B (zh) | 文本配图的方法和装置 | |
CN108509465B (zh) | 一种视频数据的推荐方法、装置和服务器 | |
US10949744B2 (en) | Recurrent neural network architectures which provide text describing images | |
CN109344413B (zh) | 翻译处理方法、装置、计算机设备和计算机可读存储介质 | |
CN110543592B (zh) | 信息搜索方法、装置以及计算机设备 | |
US11822868B2 (en) | Augmenting text with multimedia assets | |
US20170132314A1 (en) | Identifying relevant topics for recommending a resource | |
CN109271542A (zh) | 封面确定方法、装置、设备及可读存储介质 | |
US20200134398A1 (en) | Determining intent from multimodal content embedded in a common geometric space | |
CN109918513B (zh) | 图像处理方法、装置、服务器及存储介质 | |
CN104123351B (zh) | 交互式搜索方法和装置 | |
CN103988202A (zh) | 基于索引和搜索的图像吸引力 | |
CN108090211B (zh) | 热点新闻推送方法和装置 | |
WO2016135905A1 (ja) | 情報処理システム及び情報処理方法 | |
JP7069802B2 (ja) | ユーザ指向トピック選択及びブラウジングのためのシステム及び方法、複数のコンテンツ項目を表示する方法、プログラム、及びコンピューティングデバイス | |
CN107948730B (zh) | 基于图片生成视频的方法、装置、设备及存储介质 | |
CN107992602A (zh) | 搜索结果展示方法和装置 | |
US9129216B1 (en) | System, method and apparatus for computer aided association of relevant images with text | |
CN114003758B (zh) | 图像检索模型的训练方法和装置以及检索方法和装置 | |
CN110737774A (zh) | 图书知识图谱的构建、图书推荐方法、装置、设备及介质 | |
CN106326386A (zh) | 搜索结果的展示方法和装置 | |
CN110309414B (zh) | 内容推荐方法、内容推荐装置和电子设备 | |
CN112231554A (zh) | 一种搜索推荐词生成方法、装置、存储介质和计算机设备 | |
US11561964B2 (en) | Intelligent reading support | |
CN112104914B (zh) | 视频推荐方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |