CN110209862A - 文本配图方法、电子装置及计算机可读存储介质 - Google Patents

文本配图方法、电子装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110209862A
CN110209862A CN201910438777.9A CN201910438777A CN110209862A CN 110209862 A CN110209862 A CN 110209862A CN 201910438777 A CN201910438777 A CN 201910438777A CN 110209862 A CN110209862 A CN 110209862A
Authority
CN
China
Prior art keywords
image
text
alternative
alternative image
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910438777.9A
Other languages
English (en)
Other versions
CN110209862B (zh
Inventor
张一帆
邢斌
张颖
万正勇
沈志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Merchants Finance Technology Co Ltd
Original Assignee
China Merchants Finance Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Merchants Finance Technology Co Ltd filed Critical China Merchants Finance Technology Co Ltd
Priority to CN201910438777.9A priority Critical patent/CN110209862B/zh
Publication of CN110209862A publication Critical patent/CN110209862A/zh
Application granted granted Critical
Publication of CN110209862B publication Critical patent/CN110209862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明揭露了一种文本配图方法，该方法包括：当需要对待配图文本进行配图时，从预设数据库中读取原始图像，从所述原始图像中筛选出备选图像集合；使用深度学习方法从所述待配图文本中提取关键词袋，并从所述备选图像集合的每张备选图像中提取描述词袋，分别计算每张备选图像的描述词袋与所述关键词袋的匹配度；及，筛选出匹配度满足第一预设条件的描述词袋对应的备选图像作为与所述待配图文本匹配的目标图像。本发明还揭露了一种电子装置及计算机存储介质。利用本发明，可提高文本配图的效率及准确性。

Description

文本配图方法、电子装置及计算机可读存储介质
技术领域
本发明涉及互联网技术领域，尤其涉及一种文本配图方法、电子装置及计算机可读存储介质。
背景技术
随着互联网技术的不断发展，用户对富媒体的体验需求也不断增长。例如，用户在新闻平台阅读新闻时，更喜欢阅读图文并茂的新闻，而当新闻仅为纯文本新闻时，用户的点击意愿可能不高。或者，用户在互动问答平台搜索问题时，更愿意点击具有配图的问答。
目前，对文本配图，例如新闻配图或问答配图，通常是人工选择与文本相关程度高的图像。但当大量的文本需要配图时，例如对互联网中海量新闻进行配图时，人工配图的方式效率太低，不适用于海量数据处理。
发明内容
鉴于以上内容，本发明提供一种文本配图方法、电子装置及计算机可读存储介质，其主要目的在于提高文本配图的效率及准确性。
为实现上述目的，本发明提供一种文本配图方法，该方法包括：
图像筛选步骤：当需要对待配图文本进行配图时，从预设数据库中读取原始图像，根据预设的图像筛选规则从所述原始图像中筛选出备选图像集合；
计算步骤：使用深度学习方法从所述待配图文本中提取关键词袋，并从所述备选图像集合的每张备选图像中提取描述词袋，分别计算每张备选图像的描述词袋与所述关键词袋的匹配度；及
图文匹配步骤：筛选出匹配度满足第一预设条件的描述词袋对应的备选图像作为与所述待配图文本匹配的目标图像。
此外，为实现上述目的，本发明还提供一种电子装置，该装置包括：存储器、处理器，所述存储器中存储有可在所述处理器上运行的文本配图程序，所述文本配图程序被所述处理器执行时可实现如上所述文本配图方法中的任意步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括文本配图程序，所述文本配图程序被处理器执行时，可实现如上所述文本配图方法中的任意步骤。
本发明提出的文本配图方法、电子装置及计算机可读存储介质，结合图像尺寸、颜色直方图的像素分布、广告区域识别、表格图像识别及文本区域检测等技术，剔除了大量无效的图像，可以节省后续文本配图的计算量、提高处理效率；使用深度学习方法提取带配图文本的关键词及备选图像的描述词，基于关键词与描述词确定图像与带配图文本的关联程度，选择关联程度最高值对应的图像作为配图文本，提高了文本配图的关联度。综上，能够自动化处理大量文本配图的问题，节省配图成本，提高了文本配图的效率及准确性；同时，本发明具有很强的拓展性，可以依据在不同场景下的需求，扩展至多个领域。
附图说明
图1为为本发明文本配图方法较佳实施例的流程图；
图2为本发明电子装置较佳实施例的示意图；
图3为图2中文本配图程序较佳实施例的程序模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种文本配图方法。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
参照图1所示，为本发明文本配图方法较佳实施例的流程图。
在本发明文本配图方法一实施例中，该方法仅包括：步骤S1-步骤S3。
步骤S1，当需要对待配图文本进行配图时，从预设数据库中读取原始图像，根据预设的图像筛选规则从所述原始图像中筛选出备选图像集合。
在以下描述中，以电子装置为主体，对本发明的各实施例进行说明。当接收到用户发出的为待配图文本进行配图的请求时，执行以下图像筛选及配图操作。
本实施例中的待配图文本可以包括但不仅限于新闻文本，上述预设数据库中预存有大量的原始图像。
上述根据预设的图像筛选规则从所述原始图像中筛选出备选图像集合，包括：
第一筛选步骤：从所述原始图像中筛除图像尺寸不满足第二预设条件的图像，得到余下的第一备选图像。
上述图像尺寸包括但不仅限于：图像的长和/或宽，以及图像的长宽比等。
上述第二预设条件可以举例为：图像的长或宽不小于240像素，以及图像的长宽比不超过3:1。
例如，从数据库中读取1W张原始图像作为备选图像G0，分别获取1W张备选图像G0的图像尺寸，并从备选图像G0中筛选出图像的长或宽大于或等于240像素且长宽比小于或等于3:1的图像作为第一备选图像G1。
第二筛选步骤：计算每张第一备选图像的颜色直方图，根据颜色直方图的像素分布筛除颜色单调的图像，得到第二备选图像。
以对新闻标题配图为例，可以理解的是，对新闻标题配图，通常需要减少使用颜色单调的图像，比如由少于4种单一颜色组成的图像，以及利用PPT等工具制作的人造图像。
在本实施例中，对每张第二备选图像G2进行RGB颜色空间的直方图分布，计算直方图中的每个像素点的颜色值x在该图像所有像素中出现的概率px，并计算直方图的熵，当熵小于预设值(例如，4)时，视该图像为颜色单调的图像并筛除。其中，直方图的熵S的计算公式为：
第三筛选步骤：识别每张第二备选图像是否包含广告区域，筛除广告区域在图像中占比超过第一预设阈值的第二备选图像，得到第三备选图像。
可以理解的是，目前图像中的广告大多以二维码、微信小程序码的形式存在，故通过检测图像中的二维码、微信小程序码的区域作为图像的广告区域。当图像中包含二维码、微信小程序码时，且在图像中占比影响视觉效果时，不适合作为新闻配图。在本实施例中，可以通过二维码检测，微信小程序检测等检测出每张第二备选图像G2中的广告区域，计算广告区域面积占整个图像面积的比例，从第二备选图像G2中筛选出占比小于或等于第一预设阈值(例如10％)的图像，作为第三备选图像G3。
第四筛选步骤：根据预设的表格图像判断规则判断第三备选图像是否为表格图像，筛除表格图像，得到第四备选图像。
在本实施例中，上述预设的表格图像判断规则包括：通过直线检测方法检测每张第三备选图像中是否包含直线，当一张第三备选图像中包含直线时，计算每条直线的斜率，当一张第三备选图像G3中的所有直线中有超过预设比例(例如95％)的直线为相互平行的直线(例如水平直线或垂直直线)、且这些相互平行的直线排列的间距相等或间距之差小于预设数值时，判断该第三备选图像G3为表格图像；从第三备选图像G3中筛除表格图像，得到第四备选图像G4。
第五筛选步骤：利用文本区域检测方法识别每张第四备选图像是否包含文本截图区域，筛除文本截图区域在图像中占比超过第二预设阈值的第四备选图像，得到第五备选图像作为所述备选图像集合。
其中，文本截图包括但不仅限于对话截图、文章截图等。在本事实例中，可以利用深度学习的YOLO V3进行中文文本区域检测，这里不做赘述。识别出第四备选图像G4中包含文本截图的图像后，计算每张所述包含文本截图的图像中文本截图区域占整个图像面积的比例，从第四备选图像G4中筛选出文本截图区域占比小于或等于第二预设阈值(例如20％)的图像，作为第五备选图像G5，并将第五备选图像G5作为目标备选图像集合。
步骤S2，使用深度学习方法从所述待配图文本中提取关键词袋，并从所述备选图像集合的每张备选图像中提取描述词袋，分别计算每张备选图像的描述词袋与所述关键词袋的匹配度。
其中，每个词袋包括至少一个关键词及各关键词的权重，生成关键词袋和描述词袋中各关键词的词向量后，基于所述词向量及对应的权重、利用余弦算法计算关键词袋和各描述词袋之间的匹配度，并作为待配图文本与各目标备选图像之间的匹配度。
例如，利用基于深度学习的TextRank算法从一新闻文本T1中提取关键词并得到各个关键词的权重，得到该新闻文本的关键词袋kw；
kw＝(kwordp，kweightp)
其中，kwordp为关键词袋包含的第p个关键词，kweighti为关键词袋包含的第p个关键词对应的权重，p＝1,…,P，P表示关键词袋包含的关键词总数目，P≥2且为自然数。
提取关键词是从一段给定的文本(例如，待配图文本)中自动抽取出若干有意义的词语或词组的过程。TextRank算法是利用局部词汇之间的关系(共现窗口)对后续关键词进行排序，直接从文本本身抽取。其主要步骤包括：1)把给定的文本T按照完整句子进行分割；2)对于每个句子，进行分词和词性标注处理，并过滤掉停用词，只保留指定词性的单词，如名词、动词、形容词，即，其中是保留后的候选关键词；3)构建候选关键词图G＝(V，E)，其中V为节点集，由(2)生成的候选关键词组成，然后采用共现关系(co-occurrence)构造任两点之间的边，两个节点之间存在边仅当它们对应的词汇在长度为K的窗口中共现，K表示窗口大小，即最多共现K个单词；4)根据上面公式，迭代传播各节点的权重，直至收敛；5)对节点权重进行倒序排序，从而得到最重要的T个单词，作为给定文本的关键词并确定对应的权重。利用上述步骤提取出待配图文本的关键词袋。
利用基于深度学习的NerualTalk2算法对一张目标备选图像进行描述，得到该目标备选图像的关键词及各关键词的权重，得到该第五备选图像G5的描述词袋dw；
dw＝(dwordq，dweightq)
其中，dwordq为描述词袋包含的第q个关键词，dweightq为描述词袋包含的第q个关键词对应的权重，q＝1,…,Q，Q表示描述词袋包含的关键词总数目，Q≥2且为自然数。
之后，生成关键词袋、描述词袋的关键词的词向量，得到关键词袋的词向量、权重以及描述词袋的词向量、权重，利用以下公式计算该新闻文本T1、目标备选图像之间的匹配度sim：
其中，vec(kwordp)表示关键词袋中第p个关键词的词向量，vec(dwordq)表示描述词袋中第q个关键词的词向量。
步骤S3，筛选出匹配度满足第一预设条件的描述词袋对应的备选图像作为与所述待配图文本匹配的目标图像。
可以理解的是，匹配度越高，表明描述词袋与关键词袋之间的相似度越大，对应的目标备选图像与待配图文本之间的关联程度越高。因此，当计算得到待配图文本与目标备选图像之间的匹配度大于第三预设阈值(例如，0.8)时，将目标备选图像作为与待配图文本相关联的配图图像，即，目标图像。
进一步地，当存在多张匹配度满足所述第一预设条件的备选图像时，步骤S3还包括：
选择匹配度最大值对应的备选图像作为所述待配图文本的目标图像；或者
按照匹配度从大到小的顺序生成备选图像列表推荐给用户，并接收用户从所述备选图像列表中选择的备选图像作为与所述待配图文本匹配的目标图像。
将满足要求的目标备选图像生成列表反馈给用户以供用户自行选择，提高用户的使用体验。
上述实施例提出的文本配图方法，结合图像尺寸、颜色直方图的像素分布、广告区域识别、表格图像识别及文本区域检测等技术，剔除了大量无效的图像，可以节省后续文本配图的计算量、提高处理效率；使用深度学习方法提取带配图文本的关键词及备选图像的描述词，基于关键词与描述词确定图像与带配图文本的关联程度，选择关联程度最高值对应的图像作为配图文本，提高了文本配图的关联度。综上，能够自动化处理大量文本配图的问题，提高了文本配图的效率及准确性；同时，本方法具有很强的拓展性，可以依据在不同场景下的需求，扩展至多个领域。
在本发明文本配图方法另一实施例中，该方法还可以进一步包括：步骤S4-步骤S5。
步骤S4，将所述目标图像输入预先训练好的VGGNet网络模型，输出所述目标图像的视觉显著性热力图，其中，所述VGGNet网络模型为在已有VGGNet网络模型的卷积层和池化层外接预设数量的旁路结构后得到的扩展后的VGGNet网络模型。
人类视觉系统在观察图像时，会首先聚焦于某些特定区域，这些区域就是视觉显著性区域，模仿人类视觉系统，针对一张图像可以生成视觉关注热力图。本实施例在VGGNet网络架构的卷积层和池化层外接预设数量的旁路分支对VGGNet网络模型进行扩展，例如6个大小分别为256*256，128*128，64*64，32*32，16*16以及8*8的旁路，计算图像的视觉显著性。扩展后的VGGNet网络模型的训练过程包括：
1)准备预设数量的样本图像，并在样本图像上标注视觉显著性热力图区域，将样本图像分为训练集及验证集。例如，样本图像可以为256*256像素的图像。
2)对VGGNet进行扩展：分别在VGGNet的卷积层1_2，卷积层2_2，卷积层3_3，卷积层4_3，卷积层5_3以及池化层5，用1*1的卷积核依次外接于预设大小(例如旁路1-256*256，旁路2-128*128，旁路3-64*64，旁路4-32*32，旁路5-16*16以及旁路6-8*8)的N个旁路分支(例如N＝6)；每个靠后的旁路，通过上采样将该旁路输出的结果作为前一个旁路的输入，例如旁路6的输出结果为旁路5的输入，旁路5的输出结果为旁路4的输入…依此类推。利用训练集对扩展后的VGGNet网络模型进行训练：将训练集中的样本图像输入扩展后的VGGNet网络模型，根据每个旁路的输出计算该样本图像的交叉熵CEk，
其中，m，n为样本图像的长宽，x为标注视觉显著性热力图区域中的像素，xij为样本图像中的像素，N>2且为自然数，代表旁路分支的数量。
3)根据上述交叉熵计算该样本图像的的融合损失FL，
4)根据样本图像的融合损失，对扩展后的VGGnet进行反向梯度传播，并迭代优化网络，包括对VGGNet的原始网络部分设置一个学习率(例如0.001)，对VGGNet的扩展部分设置另外的学习率(例如0.005)，并使用Adam优化器对模型进行优化训练预设轮次(例如800个轮次)，每隔预设训练间隔(例如20轮次)使用验证集进行验证，前述设置的学习率每隔预设训练间隔(例如50轮次)乘以一个预设值(例如0.95)，当达到预设轮次(例如800轮次)或融合损失的值小于阈值时(例如在10轮之间变化小于0.01)，网络训练完成。
步骤S5，基于预设的调整规则对所述视觉显著性热力图进行调整，将调整后的视觉显著性热力图作为调整后的目标图象。
在本实施例中，该步骤包括：
将所述视觉显著性热力图转换为黑白图像，对所述黑白图像的像素进行二值化操作得到二值化图像；
获取所述二值化图像中边界像素点形成的轮廓区域，生成每个所述轮廓区域的最小外接矩形框；及
选取所述最小外接矩形框中长宽比满足第三预设条件的目标区域，将所述视觉显著性热力图中与所述目标区域对应的图像区域作为调整后的目标图像。
其中，经过二值化操作得到的二值化图像中各像素点的像素值为0或255。二值化图像中的边界像素点可以举例为像素值为255的像素点。通过对最小外接矩形框的长宽比进行筛选，可使得最终选定区域中图像的显示效果更好。
当然，本领域技术人员应当知晓，根据业务需求，还可以对上述裁剪得到的图像进行后续处理，例如进一步的裁剪、缩放或旋转等操作。这里不做赘述。
上述实施例提出的文本配图方法，通过对配图图像利用基于深度学习的方法进行处理，得到配图图像的视觉显著性热力图，对得到的视觉显著性热力图进行关键区域提取，减少人为处理过程中图像失真的问题。
本发明还提出一种电子装置。参照图2所示，为本发明电子装置较佳实施例的示意图。
在本实施例中，电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有数据处理功能的终端设备，所述服务器可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器。
该电子装置1包括存储器11、处理器12及显示单元13。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘。存储器11在另一些实施例中也可以是所述电子装置1的外部存储设备，例如该电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括该电子装置1的内部存储单元也包括外部存储设备。
存储器11不仅可以用于存储安装于该电子装置1的应用软件及各类数据，例如文本配图程序10等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如文本配图程序10等。
显示单元13可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。其中，显示单元也可以称为显示屏或显示器，用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-13的电子装置1，本领域技术人员可以理解的是，图2示出的结构并不构成对电子装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
可选地，电子装置1还可以包括通信单元，例如，Wi-Fi单元、基于SIM(SubscriberIdentification Module)卡的移动通信单元等。
在图2所示的电子装置1实施例中，作为一种计算机存储介质的存储器11中存储文本配图程序10的程序代码，处理器12执行文本配图程序10的程序代码时，实现如下步骤：
图像筛选步骤：当需要对待配图文本进行配图时，从预设数据库中读取原始图像，根据预设的图像筛选规则从所述原始图像中筛选出备选图像集合。
本实施例中的待配图文本可以包括但不仅限于新闻文本，上述预设数据库中预存有大量的原始图像。
上述根据预设的图像筛选规则从所述原始图像中筛选出备选图像集合，包括：
第一筛选步骤：从所述原始图像中筛除图像尺寸不满足第二预设条件的图像，得到余下的第一备选图像。
上述图像尺寸包括但不仅限于：图像的长和/或宽，以及图像的长宽比等。
上述第二预设条件可以举例为：图像的长或宽不小于240像素，以及图像的长宽比不超过3:1。
例如，从数据库中读取1W张原始图像作为备选图像G0，分别获取1W张备选图像G0的图像尺寸，并从备选图像G0中筛选出图像的长或宽大于或等于240像素且长宽比小于或等于3:1的图像作为第一备选图像G1。
第二筛选步骤：计算每张第一备选图像的颜色直方图，根据颜色直方图的像素分布筛除颜色单调的图像，得到第二备选图像。
以对新闻标题配图为例，可以理解的是，对新闻标题配图，通常需要减少使用颜色单调的图像，比如由少于4种单一颜色组成的图像，以及利用PPT等工具制作的人造图像。
在本实施例中，对每张第二备选图像G2进行RGB颜色空间的直方图分布，计算直方图中的每个像素点的颜色值x在该图像所有像素中出现的概率px，并计算直方图的熵，当熵小于预设值(例如，4)时，视该图像为颜色单调的图像并筛除。其中，直方图的熵S的计算公式为：
第三筛选步骤：识别每张第二备选图像是否包含广告区域，筛除广告区域在图像中占比超过第一预设阈值的第二备选图像，得到第三备选图像。
可以理解的是，目前图像中的广告大多以二维码、微信小程序码的形式存在，故通过检测图像中的二维码、微信小程序码的区域作为图像的广告区域。当图像中包含二维码、微信小程序码时，且在图像中占比影响视觉效果时，不适合作为新闻配图。在本实施例中，可以通过二维码检测，微信小程序检测等检测出每张第二备选图像G2中的广告区域，计算广告区域面积占整个图像面积的比例，从第二备选图像G2中筛选出占比小于或等于第一预设阈值(例如10％)的图像，作为第三备选图像G3。
第四筛选步骤：根据预设的表格图像判断规则判断第三备选图像是否为表格图像，筛除表格图像，得到第四备选图像。
在本实施例中，上述预设的表格图像判断规则包括：通过直线检测方法检测每张第三备选图像中是否包含直线，当一张第三备选图像中包含直线时，计算每条直线的斜率，当一张第三备选图像G3中的所有直线中有超过预设比例(例如95％)的直线为相互平行的直线(例如水平直线或垂直直线)、且这些相互平行的直线排列的间距相等或间距之差小于预设数值时，判断该第三备选图像G3为表格图像；从第三备选图像G3中筛除表格图像，得到第四备选图像G4。
第五筛选步骤：利用文本区域检测方法识别每张第四备选图像是否包含文本截图区域，筛除文本截图区域在图像中占比超过第二预设阈值的第四备选图像，得到第五备选图像作为所述备选图像集合。
其中，文本截图包括但不仅限于对话截图、文章截图等。在本事实例中，可以利用深度学习的YOLO V3进行中文文本区域检测，这里不做赘述。识别出第四备选图像G4中包含文本截图的图像后，计算每张所述包含文本截图的图像中文本截图区域占整个图像面积的比例，从第四备选图像G4中筛选出文本截图区域占比小于或等于第二预设阈值(例如20％)的图像，作为第五备选图像G5，并将第五备选图像G5作为目标备选图像集合。
计算步骤：使用深度学习方法从所述待配图文本中提取关键词袋，并从所述备选图像集合的每张备选图像中提取描述词袋，分别计算每张备选图像的描述词袋与所述关键词袋的匹配度。
其中，每个词袋包括至少一个关键词及各关键词的权重，生成关键词袋和描述词袋中各关键词的词向量后，基于所述词向量及对应的权重、利用余弦算法计算关键词袋和各描述词袋之间的匹配度，并作为待配图文本与各目标备选图像之间的匹配度。
例如，利用基于深度学习的TextRank算法从一新闻文本T1中提取关键词并得到各个关键词的权重，得到该新闻文本的关键词袋kw；
kw＝(kwordp，kweightp)
其中，kwordp为关键词袋包含的第p个关键词，kweighti为关键词袋包含的第p个关键词对应的权重，p＝1,…,P，P表示关键词袋包含的关键词总数目，P≥2且为自然数。
提取关键词是从一段给定的文本(例如，待配图文本)中自动抽取出若干有意义的词语或词组的过程。TextRank算法是利用局部词汇之间的关系(共现窗口)对后续关键词进行排序，直接从文本本身抽取。其主要步骤包括：1)把给定的文本T按照完整句子进行分割；2)对于每个句子，进行分词和词性标注处理，并过滤掉停用词，只保留指定词性的单词，如名词、动词、形容词，即，其中是保留后的候选关键词；3)构建候选关键词图G＝(V，E)，其中V为节点集，由(2)生成的候选关键词组成，然后采用共现关系(co-occurrence)构造任两点之间的边，两个节点之间存在边仅当它们对应的词汇在长度为K的窗口中共现，K表示窗口大小，即最多共现K个单词；4)根据上面公式，迭代传播各节点的权重，直至收敛；5)对节点权重进行倒序排序，从而得到最重要的T个单词，作为给定文本的关键词并确定对应的权重。利用上述步骤提取出待配图文本的关键词袋。
利用基于深度学习的NerualTalk2算法对一张目标备选图像进行描述，得到该目标备选图像的关键词及各关键词的权重，得到该第五备选图像G5的描述词袋de；
dw＝(dwordq，dweightq)
其中，dwordq为描述词袋包含的第q个关键词，dweightq为描述词袋包含的第q个关键词对应的权重，q＝1,…,Q，Q表示描述词袋包含的关键词总数目，Q≥2且为自然数。
之后，生成关键词袋、描述词袋的关键词的词向量，得到关键词袋的词向量、权重以及描述词袋的词向量、权重，利用以下公式计算该新闻文本T1、目标备选图像之间的匹配度sim：
其中，vec(kwordp)表示关键词袋中第p个关键词的词向量，vec(dwordq)表示描述词袋中第q个关键词的词向量。
图文匹配步骤：筛选出匹配度满足第一预设条件的描述词袋对应的备选图像作为与所述待配图文本匹配的目标图像。
可以理解的是，匹配度越高，表明描述词袋与关键词袋之间的相似度越大，对应的目标备选图像与待配图文本之间的关联程度越高。因此，当计算得到待配图文本与目标备选图像之间的匹配度大于第三预设阈值(例如，0.8)时，将目标备选图像作为与待配图文本相关联的配图图像，即，目标图像。
进一步地，当存在多张匹配度满足所述第一预设条件的备选图像时，图文匹配步骤还包括：
选择匹配度最大值对应的备选图像作为所述待配图文本的目标图像；或者
按照匹配度从大到小的顺序生成备选图像列表推荐给用户，并接收用户从所述备选图像列表中选择的备选图像作为与所述待配图文本匹配的目标图像。
将满足要求的目标备选图像生成列表反馈给用户以供用户自行选择，提高用户的使用体验。
上述实施例提出的电子装置，结合图像尺寸、颜色直方图的像素分布、广告区域识别、表格图像识别及文本区域检测等技术，剔除了大量无效的图像，可以节省后续文本配图的计算量、提高处理效率；使用深度学习方法提取带配图文本的关键词及备选图像的描述词，基于关键词与描述词确定图像与带配图文本的关联程度，选择关联程度最高值对应的图像作为配图文本，提高了文本配图的关联度。综上，能够自动化处理大量文本配图的问题，提高了文本配图的效率及准确性。
在其他实施例中，处理器12执行文本配图程序10的程序代码时，还实现如下步骤：
热力图获取步骤：将所述目标图像输入预先训练好的VGGNet网络模型，输出所述目标图像的视觉显著性热力图，其中，所述VGGNet网络模型为在已有VGGNet网络模型的卷积层和池化层外接预设数量的旁路结构后得到的扩展后的VGGNet网络模型。
人类视觉系统在观察图像时，会首先聚焦于某些特定区域，这些区域就是视觉显著性区域，模仿人类视觉系统，针对一张图像可以生成视觉关注热力图。本实施例在VGGNet网络架构的卷积层和池化层外接预设数量的旁路分支对VGGNet网络模型进行扩展，例如6个大小分别为256*256，128*128，64*64，32*32，16*16以及8*8的旁路，计算图像的视觉显著性。扩展后的VGGNet网络模型的训练过程包括：
1)准备预设数量的样本图像，并在样本图像上标注视觉显著性热力图区域，将样本图像分为训练集及验证集。例如，样本图像可以为256*256像素的图像。
2)对VGGNet进行扩展：分别在VGGNet的卷积层1_2，卷积层2_2，卷积层3_3，卷积层4_3，卷积层5_3以及池化层5，用1*1的卷积核依次外接于预设大小(例如旁路1-256*256，旁路2-128*128，旁路3-64*64，旁路4-32*32，旁路5-16*16以及旁路6-8*8)的N个旁路分支(例如N＝6)；每个靠后的旁路，通过上采样将该旁路输出的结果作为前一个旁路的输入，例如旁路6的输出结果为旁路5的输入，旁路5的输出结果为旁路4的输入…依此类推。利用训练集对扩展后的VGGNet网络模型进行训练：将训练集中的样本图像输入扩展后的VGGNet网络模型，根据每个旁路的输出计算该样本图像的交叉熵CEk，
其中，m，n为样本图像的长宽，x为标注视觉显著性热力图区域中的像素，xij为样本图像中的像素，N>2且为自然数，代表旁路分支的数量。
3)根据上述交叉熵计算该样本图像的的融合损失FL，
4)根据样本图像的融合损失，对扩展后的VGGnet进行反向梯度传播，并迭代优化网络，包括对VGGNet的原始网络部分设置一个学习率(例如0.001)，对VGGNet的扩展部分设置另外的学习率(例如0.005)，并使用Adam优化器对模型进行优化训练预设轮次(例如800个轮次)，每隔预设训练间隔(例如20轮次)使用验证集进行验证，前述设置的学习率每隔预设训练间隔(例如50轮次)乘以一个预设值(例如0.95)，当达到预设轮次(例如800轮次)或融合损失的值小于阈值时(例如在10轮之间变化小于0.01)，网络训练完成。
调整步骤：基于预设的调整规则对所述视觉显著性热力图进行调整，将调整后的视觉显著性热力图作为调整后的目标图象。
在本实施例中，所述调整步骤包括：
将所述视觉显著性热力图转换为黑白图像，对所述黑白图像的像素进行二值化操作得到二值化图像；
获取所述二值化图像中边界像素点形成的轮廓区域，生成每个所述轮廓区域的最小外接矩形框；及
选取所述最小外接矩形框中长宽比满足第三预设条件的目标区域，将所述视觉显著性热力图中与所述目标区域对应的图像区域作为调整后的目标图像。
其中，经过二值化操作得到的二值化图像中各像素点的像素值为0或255。二值化图像中的边界像素点可以举例为像素值为255的像素点。通过对最小外接矩形框的长宽比进行筛选，可使得最终选定区域中图像的显示效果更好。
当然，本领域技术人员应当知晓，根据业务需求，还可以对上述裁剪得到的图像进行后续处理，例如进一步的裁剪、缩放或旋转等操作。这里不做赘述。
上述实施例提出的电子装置，通过对配图图像利用基于深度学习的方法进行处理，得到配图图像的视觉显著性热力图，对得到的视觉显著性热力图进行关键区域提取，减少人为处理过程中图像失真的问题。
可选地，在其他的实施例中，文本配图程序10还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器12所执行，以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。
例如，参照图3所示，为图2中文本配图程序10的模块示意图。
在所述文本配图程序10一实施例中，文本配图程序10仅包括：模块110-130，其中：
图像筛选模块110，用于当需要对待配图文本进行配图时，从预设数据库中读取原始图像，根据预设的图像筛选规则从所述原始图像中筛选出备选图像集合；
计算模块120，用于使用深度学习方法从所述待配图文本中提取关键词袋，并从所述备选图像集合的每张备选图像中提取描述词袋，分别计算每张备选图像的描述词袋与所述关键词袋的匹配度；及
图文匹配模块130，用于筛选出匹配度满足第一预设条件的描述词袋对应的备选图像作为与所述待配图文本匹配的目标图像。
进一步地，在其他实施例中，所述文本配图程序10还包括模块140-150，其中：
热力图获取模块140，用于将所述目标图像输入预先训练好的VGGNet网络模型，输出所述目标图像的视觉显著性热力图，其中，所述VGGNet网络模型为在已有VGGNet网络模型的卷积层和池化层外接预设数量的旁路结构后得到的扩展后的VGGNet网络模型；及
调整模块150，用于基于预设的调整规则对所述视觉显著性热力图进行调整，将调整后的视觉显著性热力图作为调整后的目标图象。
所述模块110-150所实现的功能或操作步骤均与上文类似，此处不再详述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括文本配图程序10，所述文本配图程序10被处理器执行时实现如下操作：
图像筛选步骤：当需要对待配图文本进行配图时，从预设数据库中读取原始图像，根据预设的图像筛选规则从所述原始图像中筛选出备选图像集合；
计算步骤：使用深度学习方法从所述待配图文本中提取关键词袋，并从所述备选图像集合的每张备选图像中提取描述词袋，分别计算每张备选图像的描述词袋与所述关键词袋的匹配度；及
图文匹配步骤：筛选出匹配度满足第一预设条件的描述词袋对应的备选图像作为与所述待配图文本匹配的目标图像。
本发明之计算机可读存储介质的具体实施方式与上述文本配图方法的具体实施方式大致相同，在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种文本配图方法，适用于电子装置，其特征在于，该方法包括：
图像筛选步骤：当需要对待配图文本进行配图时，从预设数据库中读取原始图像，根据预设的图像筛选规则从所述原始图像中筛选出备选图像集合；
计算步骤：使用深度学习方法从所述待配图文本中提取关键词袋，并从所述备选图像集合的每张备选图像中提取描述词袋，分别计算每张备选图像的描述词袋与所述关键词袋的匹配度；及
图文匹配步骤：筛选出匹配度满足第一预设条件的描述词袋对应的备选图像作为与所述待配图文本匹配的目标图像。
2.根据权利要求1所述的文本配图方法，其特征在于，所述根据预设的图像筛选规则从所述原始图像中筛选出备选图像集合的步骤包括：
第一筛选步骤：从所述原始图像中筛除图像尺寸不满足第二预设条件的图像，得到余下的第一备选图像；
第二筛选步骤：计算每张第一备选图像的颜色直方图，根据颜色直方图的像素分布筛除颜色单调的图像，得到第二备选图像；
第三筛选步骤：识别每张第二备选图像是否包含广告区域，筛除广告区域在图像中占比超过第一预设阈值的第二备选图像，得到第三备选图像；
第四筛选步骤：根据预设的表格图像判断规则判断第三备选图像是否为表格图像，筛除表格图像，得到第四备选图像；及
第五筛选步骤：利用文本区域检测方法识别每张第四备选图像是否包含文本截图区域，筛除文本截图区域在图像中占比超过第二预设阈值的第四备选图像，得到第五备选图像作为所述备选图像集合。
3.根据权利要求2所述的文本配图方法，其特征在于，所述预设的表格图像判断规则包括：
通过直线检测方法检测每张第三备选图像中是否包含直线，当一张第三备选图像中包含直线时，计算每条直线的斜率；及
当一张第三备选图像中的所有直线中有超过预设比例的直线为相互平行的直线、且这些相互平行的直线排列的间距相等或间距之差小于预设数值时，判断该第三备选图像为表格图像。
4.根据权利要求1所述的文本配图方法，其特征在于，当存在多张匹配度满足所述第一预设条件的备选图像时，所述图文匹配步骤还包括：
选择匹配度最大值对应的备选图像作为所述待配图文本的目标图像；或者
按照匹配度从大到小的顺序生成备选图像列表推荐给用户，并接收用户从所述备选图像列表中选择的备选图像作为与所述待配图文本匹配的目标图像。
5.根据权利要求1至4中任意一项所述的文本配图方法，其特征在于，该方法还包括：
热力图获取步骤：将所述目标图像输入预先训练好的VGGNet网络模型，输出所述目标图像的视觉显著性热力图，其中，所述VGGNet网络模型为在已有VGGNet网络模型的卷积层和池化层外接预设数量的旁路结构后得到的扩展后的VGGNet网络模型；及
调整步骤：基于预设的调整规则对所述视觉显著性热力图进行调整，将调整后的视觉显著性热力图作为调整后的目标图象。
6.根据权利要求5所述的文本配图方法，其特征在于，所述调整步骤包括：
将所述视觉显著性热力图转换为黑白图像，对所述黑白图像的像素进行二值化操作得到二值化图像；
获取所述二值化图像中边界像素点形成的轮廓区域，生成每个所述轮廓区域的最小外接矩形框；及
选取所述最小外接矩形框中长宽比满足第三预设条件的目标区域，将所述视觉显著性热力图中与所述目标区域对应的图像区域作为调整后的目标图像。
7.一种电子装置，其特征在于，该装置包括存储器及处理器，所述存储器中存储有可在所述处理器上运行的文本配图程序，所述文本配图程序被所述处理器执行时可实现如下步骤：
图像筛选步骤：当需要对待配图文本进行配图时，从预设数据库中读取原始图像，根据预设的图像筛选规则从所述原始图像中筛选出备选图像集合；
计算步骤：使用深度学习方法从所述待配图文本中提取关键词袋，并从所述备选图像集合的每张备选图像中提取描述词袋，分别计算每张备选图像的描述词袋与所述关键词袋的匹配度；及
图文匹配步骤：筛选出匹配度满足第一预设条件的描述词袋对应的备选图像作为与所述待配图文本匹配的目标图像。
8.根据权利要求7所述的电子装置，其特征在于，所述根据预设的图像筛选规则从所述原始图像中筛选出备选图像集合的步骤包括：
第一筛选步骤：从所述原始图像中筛除图像尺寸不满足第二预设条件的图像，得到余下的第一备选图像；
第二筛选步骤：计算每张第一备选图像的颜色直方图，根据颜色直方图的像素分布筛除颜色单调的图像，得到第二备选图像；
第三筛选步骤：识别每张第二备选图像是否包含广告区域，筛除广告区域在图像中占比超过第一预设阈值的第二备选图像，得到第三备选图像；
第四筛选步骤：根据预设的表格图像判断规则判断第三备选图像是否为表格图像，筛除表格图像，得到第四备选图像；及
第五筛选步骤：利用文本区域检测方法识别每张第四备选图像是否包含文本截图区域，筛除文本截图区域在图像中占比超过第二预设阈值的第四备选图像，得到第五备选图像作为所述备选图像集合。
9.根据权利要求7或8所述的电子装置，其特征在于，所述文本配图程序被所述处理器执行时还可实现如下步骤：
热力图获取步骤：将所述目标图像输入预先训练好的VGGNet网络模型，输出所述目标图像的视觉显著性热力图，其中，所述VGGNet网络模型为在已有VGGNet网络模型的卷积层和池化层外接预设数量的旁路结构后得到的扩展后的VGGNet网络模型；及
调整步骤：基于预设的调整规则对所述视觉显著性热力图进行调整，将调整后的视觉显著性热力图作为调整后的目标图象。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括文本配图程序，所述文本配图程序被处理器执行时，可实现如权利要求1至6中任意一项所述的文本配图方法的步骤。
CN201910438777.9A 2019-05-22 2019-05-22 文本配图方法、电子装置及计算机可读存储介质 Active CN110209862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910438777.9A CN110209862B (zh) 2019-05-22 2019-05-22 文本配图方法、电子装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910438777.9A CN110209862B (zh) 2019-05-22 2019-05-22 文本配图方法、电子装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110209862A true CN110209862A (zh) 2019-09-06
CN110209862B CN110209862B (zh) 2021-06-25

Family

ID=67788592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910438777.9A Active CN110209862B (zh) 2019-05-22 2019-05-22 文本配图方法、电子装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110209862B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259180A (zh) * 2020-01-14 2020-06-09 广州视源电子科技股份有限公司 图像推送方法、装置、电子设备和存储介质
CN112183543A (zh) * 2020-09-25 2021-01-05 北京百度网讯科技有限公司 一种图像处理方法、装置、设备及存储介质
CN112613293A (zh) * 2020-12-29 2021-04-06 北京中科闻歌科技股份有限公司 摘要生成方法、装置、电子设备及存储介质
CN113220917A (zh) * 2020-02-06 2021-08-06 阿里巴巴集团控股有限公司 一种背景图推荐方法、设备及存储介质
CN113642673A (zh) * 2021-08-31 2021-11-12 北京字跳网络技术有限公司 图像生成方法、装置、设备及存储介质
CN114549874A (zh) * 2022-03-02 2022-05-27 北京百度网讯科技有限公司 多目标图文匹配模型的训练方法、图文检索方法及装置
CN117725248A (zh) * 2023-04-17 2024-03-19 书行科技(北京)有限公司 基于图像的文本匹配方法、装置、计算机设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090024914A1 (en) * 2005-07-07 2009-01-22 Eugene Chen Flexible methods for creating photobooks
CN102012939A (zh) * 2010-12-13 2011-04-13 中国人民解放军国防科学技术大学 综合颜色和局部不变特征匹配的动画场景自动标注方法
CN102682095A (zh) * 2012-04-27 2012-09-19 百度在线网络技术（北京）有限公司 用于配对图片搜索的方法和提供配对图片的搜索系统
CN106919571A (zh) * 2015-12-24 2017-07-04 北京奇虎科技有限公司 获取与搜索关键词相匹配的图片的方法及装置
CN106951493A (zh) * 2017-03-14 2017-07-14 北京搜狐新媒体信息技术有限公司 无图新闻的自动配图展示方法及装置
CN107766318A (zh) * 2016-08-17 2018-03-06 北京金山安全软件有限公司 一种关键词的抽取方法、装置及电子设备
CN108733779A (zh) * 2018-05-04 2018-11-02 百度在线网络技术（北京）有限公司 文本配图的方法和装置
CN109697239A (zh) * 2018-11-23 2019-04-30 连尚（新昌）网络科技有限公司 用于生成图文信息的方法和用于生成图像数据库的方法
CN109712164A (zh) * 2019-01-17 2019-05-03 上海携程国际旅行社有限公司 图像智能剪裁方法、系统、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090024914A1 (en) * 2005-07-07 2009-01-22 Eugene Chen Flexible methods for creating photobooks
CN102012939A (zh) * 2010-12-13 2011-04-13 中国人民解放军国防科学技术大学 综合颜色和局部不变特征匹配的动画场景自动标注方法
CN102682095A (zh) * 2012-04-27 2012-09-19 百度在线网络技术（北京）有限公司 用于配对图片搜索的方法和提供配对图片的搜索系统
CN106919571A (zh) * 2015-12-24 2017-07-04 北京奇虎科技有限公司 获取与搜索关键词相匹配的图片的方法及装置
CN107766318A (zh) * 2016-08-17 2018-03-06 北京金山安全软件有限公司 一种关键词的抽取方法、装置及电子设备
CN106951493A (zh) * 2017-03-14 2017-07-14 北京搜狐新媒体信息技术有限公司 无图新闻的自动配图展示方法及装置
CN108733779A (zh) * 2018-05-04 2018-11-02 百度在线网络技术（北京）有限公司 文本配图的方法和装置
CN109697239A (zh) * 2018-11-23 2019-04-30 连尚（新昌）网络科技有限公司 用于生成图文信息的方法和用于生成图像数据库的方法
CN109712164A (zh) * 2019-01-17 2019-05-03 上海携程国际旅行社有限公司 图像智能剪裁方法、系统、设备及存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259180B (zh) * 2020-01-14 2024-04-19 广州视源电子科技股份有限公司 图像推送方法、装置、电子设备和存储介质
CN111259180A (zh) * 2020-01-14 2020-06-09 广州视源电子科技股份有限公司 图像推送方法、装置、电子设备和存储介质
CN113220917A (zh) * 2020-02-06 2021-08-06 阿里巴巴集团控股有限公司 一种背景图推荐方法、设备及存储介质
CN113220917B (zh) * 2020-02-06 2022-04-12 阿里巴巴集团控股有限公司 一种背景图推荐方法、设备及存储介质
CN112183543A (zh) * 2020-09-25 2021-01-05 北京百度网讯科技有限公司 一种图像处理方法、装置、设备及存储介质
CN112183543B (zh) * 2020-09-25 2023-11-07 北京百度网讯科技有限公司 一种图像处理方法、装置、设备及存储介质
CN112613293A (zh) * 2020-12-29 2021-04-06 北京中科闻歌科技股份有限公司 摘要生成方法、装置、电子设备及存储介质
CN112613293B (zh) * 2020-12-29 2024-05-24 北京中科闻歌科技股份有限公司 摘要生成方法、装置、电子设备及存储介质
CN113642673A (zh) * 2021-08-31 2021-11-12 北京字跳网络技术有限公司 图像生成方法、装置、设备及存储介质
CN113642673B (zh) * 2021-08-31 2023-12-22 北京字跳网络技术有限公司 图像生成方法、装置、设备及存储介质
CN114549874A (zh) * 2022-03-02 2022-05-27 北京百度网讯科技有限公司 多目标图文匹配模型的训练方法、图文检索方法及装置
CN114549874B (zh) * 2022-03-02 2024-03-08 北京百度网讯科技有限公司 多目标图文匹配模型的训练方法、图文检索方法及装置
CN117725248A (zh) * 2023-04-17 2024-03-19 书行科技(北京)有限公司 基于图像的文本匹配方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110209862B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN110209862A (zh) 文本配图方法、电子装置及计算机可读存储介质
CN111177569B (zh) 基于人工智能的推荐处理方法、装置及设备
US20140188786A1 (en) System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
CN113641820A (zh) 基于图卷积神经网络的视角级文本情感分类方法及系统
CN109271518B (zh) 用于对微博信息进行分类显示的方法和设备
CN107832432A (zh) 一种搜索结果排序方法、装置、服务器和存储介质
CN108509465A (zh) 一种视频数据的推荐方法、装置和服务器
CN108595660A (zh) 多媒体资源的标签信息生成方法、装置、存储介质及设备
CN104978314B (zh) 媒体内容推荐方法及装置
JP2019519019A (ja) テキストタイプを識別する方法、装置及びデバイス
CN106874253A (zh) 识别敏感信息的方法及装置
US20210151038A1 (en) Methods and systems for automatic generation and convergence of keywords and/or keyphrases from a media
CN111737576B (zh) 应用功能个性化推荐方法和装置
CN109344246B (zh) 一种电子问卷生成方法、计算机可读存储介质及终端设备
CN108920649A (zh) 一种信息推荐方法、装置、设备和介质
CN112668320A (zh) 基于词嵌入的模型训练方法、装置、电子设备及存储介质
CN111666379B (zh) 一种事件元素提取方法和装置
CN105159927B (zh) 目标文本主题词的选取方法、装置及终端
WO2024179575A1 (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN110442807A (zh) 一种网页类型识别方法、装置、服务器及存储介质
CN111046232B (zh) 一种视频分类方法、装置及系统
CN111831938A (zh) 信息显示方法、装置、电子设备及介质
CN116774973A (zh) 数据渲染方法、装置、计算机设备及存储介质
CN106126623A (zh) 信息处理方法及装置
CN115860829A (zh) 一种智能广告图像生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant