CN108597003A - 一种文章封面生成方法、装置、处理服务器及存储介质 - Google Patents
一种文章封面生成方法、装置、处理服务器及存储介质 Download PDFInfo
- Publication number
- CN108597003A CN108597003A CN201810362149.2A CN201810362149A CN108597003A CN 108597003 A CN108597003 A CN 108597003A CN 201810362149 A CN201810362149 A CN 201810362149A CN 108597003 A CN108597003 A CN 108597003A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- article
- cover
- pending
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Abstract
本发明实施例提供一种文章封面生成方法、装置、处理服务器及存储介质,该方法包括:获取文章的文章标签;确定所述文章标签指示的与所述文章的内容相关的目标类型;根据所述目标类型,对所述文章的待处理配图进行目标检测;若从所述待处理配图检测到与所述目标类型相应的目标,按照封面图像的规格要求,从所述待处理配图提取出覆盖所述目标的封面图像;根据所述封面图像生成所述文章的文章封面。本发明实施例可在文章封面的封面图像与文章内容相关的基础上,保障封面图像的图像内容的真实度。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种文章封面生成方法、装置、处理服务器及存储介质。
背景技术
随着互联网,特别是移动互联网的发展,提供文章阅读服务、文章推荐服务的应用(APP)、网站越来越多;用户通过这些应用、网站,可便捷的实现新闻、自媒体文章等内容的在线阅读。
目前用户在线阅读文章时,一般通过文章推荐页面所展示的各文章的文章封面,来选择阅读的文章;因此文章封面作为触达文章的入口,如何合理的生成文章封面非常必要。
对于具有配图的文章,其文章封面生成的一个重要过程是,基于文章的配图生成封面图像;目前主要是在选定文章的配图后,将该配图按一定比例进行缩放,形成缩略图,来作为封面图像,从而基于封面图像生成文章封面。然而,对配图按一定比例进行缩放后,所得到的封面图像将与配图原图的形态不一致,极易导致封面图像的图像内容失真,使得用户在观看文章封面中的封面图像时,难以辨识封面图像的图像内容。
发明内容
有鉴于此,本发明实施例提供一种文章封面生成方法、装置、处理服务器及存储介质,以保障文章封面中封面图像的图像内容的真实度。
为实现上述目的,本发明实施例提供如下技术方案:
一种文章封面生成方法,包括:
获取文章的文章标签;
确定所述文章标签指示的与所述文章的内容相关的目标类型;
根据所述目标类型,对所述文章的待处理配图进行目标检测;
若从所述待处理配图检测到与所述目标类型相应的目标,按照封面图像的规格要求,从所述待处理配图提取出覆盖所述目标的封面图像;
根据所述封面图像生成所述文章的文章封面。
本发明实施例还提供一种文章封面生成装置,包括:
文章标签获取模块,用于获取文章的文章标签;
目标类型确定模块,用于确定所述文章标签指示的与所述文章的内容相关的目标类型;
目标检测模块,用于根据所述目标类型,对所述文章的待处理配图进行目标检测;
图像第一提取模块,用于若从所述待处理配图检测到与所述目标类型相应的目标,按照封面图像的规格要求,从所述待处理配图提取出覆盖所述目标的封面图像;
封面生成模块,用于根据所述封面图像生成所述文章的文章封面。
本发明实施例还提供一种处理服务器,包括:至少一个存储器和至少一个处理芯片;所述存储器存储有程序,所述处理芯片调用所述程序,以实现上述所述的文章封面生成方法。
本发明实施例还提供一种存储介质,所述存储介质存储有适于处理芯片执行的程序,以实现上述所述的文章封面生成方法。
基于上述技术方案,由于本发明实施例以文章标签指示的目标类型对待处理配图进行目标检测,可使得从待处理配图中检测出的目标与文章内容相关,进而按照封面图像的规格要求,从待处理配图中提取出覆盖所述目标的封面图像,可使得生成的封面图像由于覆盖与文章内容相关的目标,保障了封面图像与文章表达内容的相关性;并且封面图像是从待处理配图中提取出的覆盖所述目标的图像区域,因此封面图像的图像内容不存在挤压、压缩的情况,保障了封面图像的图像内容的真实度。基于所述封面图像生成文章封面,可在文章封面的封面图像与文章内容相关的基础上,保障封面图像的图像内容的真实度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的文章封面生成系统的架构示意图;
图2为本发明实施例提供的文章封面生成方法的流程示意图;
图3为基于文章主题确定目标类型的示意图;
图4为本发明实施例生成文章封面的示例图;
图5为基于配图的图片类型生成缩略图的示意图;
图6为本发明实施例提供的目标检测模型的结构示例图;
图7为目标检测模型进行人脸检测的过程示例图;
图8为本发明实施例提供的根据目标框裁剪待处理配图的方法流程图;
图9为基于单一人脸框确定目标中心的示意图;
图10为基于多个人脸框确定目标中心的示意图;
图11为以目标中心在配图上扩充图像区域的示意图;
图12为微调第一图像区域的示意图;
图13为对待处理配图进行显著区域检测的方法流程图;
图14为从显著性区域图中剔除非主体的连通区域的示意图;
图15为本发明实施例提供的文章封面生成方法的另一流程示意图;
图16为本发明实施例提供的应用示例图;
图17为本发明实施例提供的文章封面生成装置的结构框图;
图18为本发明实施例提供的文章封面生成装置的另一结构框图;
图19为服务器的硬件架构图。
具体实施方式
本发明的发明人研究发现:文章封面作为触达文章的入口,文章封面是用户了解文章所要表达的内容的重要途径;封面图像作为文章封面的重要组成部分,如果封面图像的图像内容失真或者与文章表达的内容不相关,将影响用户通过封面图像对文章表达内容的理解,可能导致文章封面不被用户点击(即相应导致文章不被用户所阅读),文章的阅读率将降低。
通过对文章配图进行一定比例的缩放,形成封面缩略图来作为封面图像的方式,虽然可保障封面图像的图像内容的完整性,但文章配图按比例缩放必然导致图像内容的挤压,存在封面图像的图像内容失真,难以被用户辨识的情况,进而影响用户通过封面图像对文章表达内容的理解。
基于此,在保障生成的封面图像与文章表达内容相关的基础上,为提升封面图像的图像内容的真实度,本发明的发明人考虑:设置文章的文章标签,文章标签可指示文章配图中与文章内容相关的目标的类型(即目标类型);从而利用目标检测技术,从文章配图中检测出与所述目标类型相应的目标,进而按照封面图像的规格要求,从文章配图中提取出覆盖所述目标的封面图像。
基于如上改进,以文章标签指示的目标类型对文章配图进行目标检测,可使得从文章配图中检测出的目标为,文章配图中期望的与文章内容相关的目标,从而从文章配图中提取出覆盖所述目标的封面图像,可使得生成的封面图像由于覆盖期望检测的目标,保障了与文章所表达内容的相关性;并且封面图像是从文章配图中提取出的覆盖所述目标的图像区域,因此封面图像的图像内容不存在挤压、压缩的情况,保障了封面图像的图像内容的真实度。
基于上述思路,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的实现文章封面生成方法的一种可选系统架构,如图1所示,该系统架构可以包括:多个上传终端01,收录服务器02,处理服务器03;
在本发明实施例中,收录服务器02主要实现文章的收录和整理,收录服务器可由单台服务器实现,也可由多台服务器组成的服务器群组实现;可选的,收录文章的渠道可以包括用户上传(如自媒体用户上传的自媒体文章,编辑人员编辑上传的新闻文章等),网络爬取等;当然,本发明实施例可支持多渠道的文章收录方式,主要视产品的具体需求而定;
可选的,上传终端01为上传文章的用户所使用的终端设备,其形式包括但不限于智能手机、平板电脑、PC(个人计算机)等;
收录服务器02收录文章后,还可对收录的文章进行前处理,包括但不限于:文章内容审核,过滤非法、不合规的文章,同类文章整理等;
收录服务器02收录并前处理后的文章,可由处理服务器03应用本发明实施例提供的文章封面生成方法,生成文章封面;以便在推荐文章时,在文章推荐页面展示所推荐的文章的文章封面,由文章封面触达具体推荐的文章。
处理服务器03可以由单台服务器实现,也可以由多台服务器组成的群组实现。
显然,上述系统架构仅是一种可选示例,进行文章封面生成的处理服务器在系统中的位置和连接,并不限于上述示例,可以根据具体的系统情况和要求而调整。
可选的,以对任一文章生成文章封面为例,图2示出了文章封面生成方法的一种可选流程示意,该流程可由处理服务器执行实现,参照图2,该流程可以包括:
步骤S10、获取文章的文章标签,所述文章标签用于指示与所述文章的内容相关的目标类型。
本发明实施例实现封面图像生成的一种核心思想是,从文章的待处理配图中检测出与文章内容相关的目标,从而案子封面图像的规格要求,从待处理配图中提取出覆盖所述目标的封面图像;本发明实施例所指的待处理配图可以是,从文章的配图中选取的任一用于生成封面图像的配图,是生成封面图像的图像基础;
基于此思想,对于需生成文章封面的文章,本发明实施例可设置文章标签,以通过文章标签指示与文章的内容相关的目标的类型(即目标类型),从而便于对待处理配图进行目标检测。
相应的,在获取文章标签后,可确定所述文章标签指示的与所述文章的内容相关的目标类型;所述目标类型的数量可以为至少一个。
可选的,文章的文章标签可以是人为设置的,如工作人员在阅读文章后,可为文章设置文章标签,以指示所述目标类型;示例的,在文章内容审核阶段,可由相关工作人员在审核文章内容后,基于理解的文章内容,为文章设置文章标签;
可选的,也可以是通过主题分析算法,对文章内容进行主题分析后,以所得到的文章主题设置文章标签,从而通过文章标签指示出与文章主题相关的目标类型。
可选的,文章标签可直接指示所述目标类型,即文章标签即可作为所述目标类型;相应的,本发明实施例可将所述文章标签确定为与所述文章的内容相关的目标类型;
例如,文章的内容主要讲述养花知识,则工作人员在审核文章的内容,可以为文章设置文章标签“花”,以直接指示出期望从待处理配图检测出的目标“花”;又如,在分析得到文章主题为“养花”后,可基于文章主题的对象“花”设置文章标签,以直接指示出期望从待处理配图检测出的目标“花”;当然,此处示例仅是为便于理解,实际应用过程中,文章标签的数量可以为多个而不限于一个,即文章标签可以指示多个目标类型。
可选的,作为另一种可选实现,工作人员在审核文章的内容或者基于主题分析算法,确定出文章的文章主题后,可将文章主题作为文章标签;从而通过预先设置的各文章主题与目标的类型的对应关系,确定文章标签对应的目标的类型,得到所述目标类型;如图3所示,本发明实施例可设置各文章主题对应的目标的类型,从而基于所获取的文章主题确定相应的目标的类型,得到所述目标类型;
示例的,工作人员在审核文章的内容或者基于主题分析算法,确定出文章的文章主题为“明星”后,可基于“明星”主题对应的目标的类型“人”,确定所述目标类型“人”;当然,此处示例仅是为便于理解,实际应用过程中,一文章主题对应的目标的类型的数量为至少一类。
步骤S11、根据所述目标类型,对所述文章的待处理配图进行目标检测。
可选的,所述待处理配图可以是人为从文章的配图中选定,如在文章内容审核阶段,可由相关工作人员从文章的配图中选定待处理配图;
所述待处理配图也可以是从文章的配图中随机选定的,还可以是基于文章主题从文章的配图中选定的与文章主题相关的配图等;选择待处理配图的方式本发明实施例并不限制,可根据实际情况设定选择待处理配图的方式。
可选的,基于文章标签指示的目标类型,本发明实施例可调取所述目标类型相应的目标检测模型,对所述待处理配图进行目标检测;本发明实施例可预置多类的目标检测模型,比如检测人脸的目标检测模型,检测动物的目标检测模型,检测植物的目标检测模型等,从而基于文章标签指示的目标类型调取相应的目标检测模型;
在目标类型的数量为多个的情况下,可调取与该多个目标类型相应的目标检测模型,此时目标检测模型的数量可以为一个或多个;需要说明的是,一目标检测模型可能可以检测多个类型的目标,视目标检测模型的训练学习情况而定。
步骤S12、若从所述待处理配图检测到与所述目标类型相应的目标,按照封面图像的规格要求,从所述待处理配图提取出覆盖所述目标的封面图像。
在以所述文章标签指示的目标类型,对待处理配图进行目标检测后,由于待处理配图中可能存在与目标类型相应的目标,也可能不存在与目标类型相应的目标,因此目标检测结果存在如下两种情况:一、从待处理配图检测到与目标类型相应的目标,二、从待处理配图未检测到与目标类型相应的目标(第二种情况的进一步处理后续将进行说明);
而在从待处理配图检测到与所述目标类型相应的目标的情况下,说明待处理配图中存在期望的与文章内容相关的目标,可基于检测到目标,按照封面图像的规格要求(如封面图像的长宽比要求,图像大小要求等),从待处理配图提取出覆盖所述目标的封面图像(如对待处理配图进行裁剪,得到覆盖所述目标的封面图像);对于具体的从待处理配图中提取覆盖所述目标的封面图像的方式,本发明实施例可不作限制,具体可视封面图像实际的规格要求(如封面图像实际的长宽比要求,图像大小要求等)而定。
步骤S13、根据所述封面图像生成所述文章的文章封面。
在得到封面图像后,可基于封面图像生成文章相应的文章封面;具体基于封面图像生成文章封面的方式本发明实施例可不作限制,可视文章封面的结构要求而定;如文章封面包括封面图像和文章标题,则可将从文章中提取的文章标题置入文章封面的标题框,将封面图像置入文章封面的图像框,生成文章封面。
可选的,生成的文章封面可关联文章的访问地址,以便通过文章封面触达具体文章。
本发明实施例提供的文章封面生成方法,在生成封面图像时,并不是对文章的待处理配图进行缩放形成缩略图;而是通过获取文章的文章标签,通过文章标签指示的与文章的内容相关的目标类型,对待处理配图进行目标检测,从而在从所述待处理配图检测到与所述目标类型相应的目标后,按照封面图像的规格要求,从所述待处理配图裁剪出覆盖所述目标的封面图像,进而根据所述封面体现生成所述文章的文章封面,实现文章封面的生成。
由于以文章标签指示的目标类型对待处理配图进行目标检测,可使得从待处理配图中检测出的目标与文章内容相关,进而从待处理配图中裁剪出覆盖所述目标的封面图像,可使得生成的封面图像由于覆盖与文章内容相关的目标,保障了封面图像与文章表达内容的相关性;并且封面图像是从待处理配图中提取出的覆盖所述目标的图像区域,因此封面图像的图像内容不存在挤压、压缩的情况,保障了封面图像的图像内容的真实度。基于所述封面图像生成文章封面,可在文章封面的封面图像与文章内容相关的基础上,保障封面图像的图像内容的真实度。
作为一种示例,以文章标签指示的目标类型为“车”为例,图4示出了文章封面生成的一种处理示例,参照图4:
在获取文章的待处理配图后,可基于文章标签指示的与文章的内容相关的目标类型“车”,对待处理配图进行目标检测,从待处理配图中识别到车辆目标;
从而按照封面图像的规格要求,从待处理配图中裁剪出覆盖所述车辆目标的封面图像;
将文章的标题置入文章封面的标题框,封面图像置入文章封面的图像框,生成文章封面。
上述示例是以目标类型为“车辆”的情况下,说明文章封面生成的处理示例,其他目标类型(如目标类型为“人”等)的处理同理实现。
需要说明的是,本发明的发明人在研究过程中曾考虑,直接基于选定的文章配图的类型,对文章配图进行目标检测,从而从文章配图中裁剪出覆盖所检测目标的缩略图,来形成封面图像;
但发明人经过进一步考虑后发现,文章配图中可能存在多个不同类型的目标,直接基于文章配图的类型进行目标检测,很可能导致检测出的目标虽然与文章配图的类型相关,但与文章内容的相关性较弱,从而使得最终得到的封面图像与文章内容的图文相关性较差,导致用户看到封面图像后误解文章表达内容,而影响文章的阅读率;
举例来说,一篇文章的内容主要描述汽车,图5左图为从文章配图中选定的生成封面图像的待处理配图,该待处理配图基于图片类型识别后,被归类到人像类,根据待处理配图的类型进行目标检测后,所得到的封面图像将主要是人像,而这将与文章主要描述汽车的内容相悖,使得封面图像无法与文章表达内容相关,存在用户观看到封面图像而误解文章表达内容的情况;
为解决上述缺陷,在本发明中,发明人提出了完全不同的思路方向,即通过设置文章的文章标签,以通过文章标签指示与文章的内容相关的目标类型,从而基于目标类型对待处理配图进行目标检测,基于检测的目标从待处理配图裁剪出封面图像,使得封面图像与文章内容具有较强的图文相关性,降低用户观看封面图像而误解文章内容的情况出现。
可选的,基于目标类型对待处理配图进行目标检测的方式可以有多种,传统的人脸、动物、植物等目标检测技术均可实现;本发明的发明人为提升目标检测的精度,也提供了一种新型的目标检测技术,当然该目标检测技术在本发明实施例中仅是可选使用的;
本发明的发明人提供的目标检测技术,主要基于多尺度的深度神经网络级联结构实现,即目标检测模型可以使用多个深度神经网络级联实现;如图6所示,该结构的深度神经网络可以包括:区域建议网络,提炼网络,输出网络;
区域建议网络可以是全卷积网络的形式,主要根据待处理配图生成候选框,输出候选框信息;候选框信息如候选框在待处理配图上的坐标和属于目标类型的概率等;
可选的,区域建议网络的一种可选结构可以为:input→conv(3,10)→MP(3)→conv(3,16)→conv(3,32)→output(N+4);
其中,input表示输入层;conv表示卷积层,conv(a,b)中a表示卷积核大小,b表示卷积核数量,如conv(3,10)表示的是10个数量的卷积核,且每个卷积核的大小为3的卷积层;MP表示最大池化(max pooling)层,MP(c)中c表示步长,如MP(3)表示步长为3的最大池化层;output表示输出层,output(N+d)表示输出层输出的维度为N+d,N为检测的目标可能属于的类型的数量(包括背景),例如,N=4表示候选框可能属于3个类型及一个背景,这4个维度输出的值代表候选框属于每个类型的置信度(未归一化时)或概率(归一化时),余下d个维度代表候选窗的坐标;例如output(N+4)表示候选框的坐标采用4个维度表示,可选如候选框的左上顶点横轴坐标,左上顶点纵轴坐标,宽度,高度等;
可选的,上述的区域建议网络的结构仅是可选的,根据实际的应用需要可适应调整区域建议网络的结构,并调整每一卷积层,最大池化层的参数设置。
可选的,进一步,区域建议网络生成的候选框可能数量过多,且大部分重叠在与目标类型相应的目标的四周,因此本发明实施例还可以去除重叠的候选框,微调候选框的位置和尺寸,以使候选框更趋于契合目标类型相应的目标;作为一种可选实现,本发明实施例可利用非极大值抑制方法(NMS)对候选框进行处理,去除重叠的候选框,在去除重叠的候选框后,利用边框回归方法对余下的候选框进行位置和尺寸微调,使得余下的候选框趋于契合与目标类型相应的目标;
经非极大值抑制方法和边框回归方法处理后的候选框信息,可输入到提炼网络进行处理;当然,上述过程中非极大值抑制方法和边框回归方法的使用是可选的,也可直接将区域建议网络输出的候选框信息,输入到提炼网络。
提炼网络主要用于改善候选框,去除大部分错误的候选框,得到改善框,输出改善框信息,如改善框在待处理配图的坐标和属于目标类型的概率等;可选的,未覆盖与所述目标类型相应的目标的候选框,可以认为是错误的候选框;提炼网络去除错误的候选框的能力,可基于大量有标注的样本学习训练实现;
可选的,提炼网络的一种可选结构可以如下:input→conv(3,28)→MP(3)→conv(3,48)→MP(3)→conv(2,64)→FC(128)→output(N+4);
其中,input,conv,MP的定义可参照前文描述;FC(128)表示输出维度为128的全连接(fully-connected)层;
显然,上述的提炼网络的结构仅是可选的,根据实际的应用需要可适应调整设置提炼网络的结构,并调整每一conv,MP,FC的参数设置。
作为一种可选实现,提炼网络生成的改善框也可经NMS处理,去除重叠的改善框,经边框回归方法处理,微调改善框的位置和尺寸,以趋于契合目标类型相应的目标。
输出网络主要用于增强改善框的约束,从改善框中筛选出与目标类型相应的目标框,从待处理配图定位目标框,实现从待处理配图中检测到与目标类型相应的目标,输出目标框信息(如目标框在待处理配图的坐标等);输出网络筛选得到的目标框可认为是,从待处理配图中检测到与目标类型相应的目标的边界框;
可选的,输出网络的一种可选结构可以如下:input→conv(3,32)→MP(3)→conv(3,64)→MP(3)→conv(3,64)→MP(2)→conv(2,128)→FC(256)→output(N+4)。
需要说明的是,上述网络中所有卷积层的步长可以为1;上述各网络在训练时,分类损失函数可以是交叉熵(cross entropy),从而基于大量有标注的样本,通过随机梯度下降法训练各网络的参数。
以图6所示网络结构,在调取目标类型相应的目标检测模型后,以人脸检测场景为例,基于目标类型对一张待处理配图进行目标检测的过程示意可以如图7所示:
图7第(2)张图示出了区域建议网络生成的候选框在待处理配图上的分布,可以看出候选框的数量非常多且存在错误,需要进一步精选并剔除错误的候选框;
图7第(3)张图示出了提炼网络在去除错误候选框后,余下的改善框的示意;可以看出,改善框的数量相比于候选框明显减少了,但改善框中除具有匹配人脸的改善框外,还存在部分分布在人脸周围的改善框,因此需要进一步精选;
图7第(4)张图示出了输出网络定位待处理配图上目标框的示意,明显的,目标框与人脸框相重合,在人脸检测场景下,可准确的从待处理配图中检测到人脸框,实现待处理配图中与目标类型相应的目标的定位。
需要说明的是,目标检测模型的具体结构可根据实际情况设置,上述提供的目标检测模型的结构和目标检测方式仅是可选的。
在从所述待处理配图检测到与所述目标类型相应的目标的情况下,目标检测模型可输出从待处理配图检测到的与所述文章标签指示的目标类型相应的目标框;所述目标框可以是所检测到与所述目标类型相应的目标的边界框,表示所检测到的目标;从而可根据所述目标框对待处理配图进行裁剪,得到覆盖所述目标框的封面图像,以实现从待处理配图提取出覆盖所述目标的封面图像;
根据目标框裁剪待处理配图的方式有多种,本发明实施例并不限制,只要最终得到的封面图像覆盖所述目标框,且符合封面图像的规格要求即可。
作为一种可选实现,本发明实施例提供一种可选的根据目标框裁剪待处理配图的方法流程,该方法流程可如图8所示,包括:
步骤S30、根据目标框确定目标中心。
根据目标框的数量不同,确定目标中心的方式也存在区别;如果目标框的数量为一个(即从待处理配图检测到的与所述目标类型相应的一个目标框),则可以目标框的中心作为目标中心;如图9所示,在人脸检测场景下,所检测到的人脸框(目标框在人脸检测场景下的一种形式)为一个,则可以该人脸框的中心作为目标中心;
如果目标框的数量为多个(即从待处理配图检测到的与所述目标类型相应的多个目标框),则可确定该多个目标框的最小外接框,以该最小外接框的中心作为目标中心;如图10所示,在人脸检测场景下,所检测到的人脸框为多个,则可确定该多个人脸框的最小外接矩形框(在目标框的形态为矩形框的情况下,多个目标框的最小外接矩形框是最小外接框的一种形式;在实际应用中,目标框的形态不一定该矩形框,根据实际应用情况,目标框的形态可能存在适应调整),以该最小外接矩形框的中心作为目标中心。
步骤S31、根据所述目标中心,以封面图像的规格要求,在待处理配图上扩充图像区域,得到第一图像区域,所述第一图像区域为所述待处理配图的部分图像区域。
在得到目标中心后,可以所述目标中心为中心,按照封面图像的规格要求,在待处理配图上扩充图像区域,从而使得扩充的图像区域符合封面图像的规格要求,得到第一图像区域;这里扩充得到的第一图像区域仅是待处理配图的部分图像区域。
作为一种可选实现,本发明实施例在设置封面图像预定的长宽比的情况下,可根据所述目标中心,以封面图像预定的长宽比,在待处理配图上扩充图像区域,直至扩充的图像区域的至少一边达到待处理配图的边沿,得到所述第一图像区域;
可选的,以目标中心为中心,在待处理配图上扩充图像区域的方式本发明实施例并不限制,只要最后扩充得到的第一图像区域为待处理配图中的部分图像,符合封面图像预定的长宽比要求,且第一图像区域的至少一边达到待处理配图的边沿即可;
如图11所示,在人脸检测场景下,第一图像区域的形态可以是矩形框,在确定目标中心后,可以目标中心为扩充中心,在待处理配图上向外根据封面图像预定的长宽比要求,扩充矩形框,直至扩充的矩形框的一边达到待处理配图的边沿,得到第一图像区域。
步骤S32、根据所述第一图像区域确定第二图像区域,以使第二图像区域覆盖所述目标框,其中,第一图像区域和第二图像区域的区域大小一致。
在得到第一图像区域后,本发明实施例可判断第一图像区域是否覆盖所述目标框,如果覆盖,则可将第一图像区域作为第二图像区域,如图11所示情况;
而如果第一图像区域不覆盖所述目标框,则可微调第一图像区域的位置,使得微调位置后的第一图像区域覆盖目标框,得到第二图像区域;由于微调第一图像区域在待处理配图中的位置,而并不改变第一图像区域的图像大小,因此第二图像区域的区域大小,应与第一图像区域的区域大小是一致的。
可选的,微调第一图像区域的位置的方式可以有多种,如可在预定范围内调整第一图像区域的位置(如在预定范围内多次移动第一图像区域),并检测每次调整位置后的第一图像区域是否覆盖目标框;
示例的,可将第一图像区域分别沿各个方向进行移动(如上、下、左、右这四个方向),则预定范围可以是每个方向的移动范围不超过设定距离阈值(如在第一图像区域为矩形框的情况下,设定阈值可以是第一图像区域的最长边的5%)。
需要说明的是,在目标框的数量为多个的情况下,由于确定第一图像区域后,第一图像区域的区域大小是固定的,因此在预定范围内调整第一图像区域的位置的过程中,调整位置后的第一图像区域可能并不无法覆盖所有的目标框,在此情况下,可按照面积从小到大的顺序依次舍弃目标框,直至在预定范围内调整位置后的第一图像区域覆盖未舍弃的目标框,得到第二图像区域;
例如,在第一图像区域满足封面图像预定的长宽比要求的情况下,由于待处理配图中目标框的分布较散并不集中,第一图像区域在预定范围内进行位置微调并无法覆盖所有的目标框,此时可舍弃面积最小的目标框,调整第一图像区域的位置,并判断调整位置后的第一图像区域是否能覆盖余下的目标框,若不能,则再次舍弃面积最小的目标框,并再次调整第一图像区域的位置,如此循环,直至调整位置后的第一图像区域能覆盖未舍弃的目标框,得到第二图像区域;
作为一种示例,以人脸检测场景为例,参照图12,图12中具有3个人脸框,由于3个人脸框的分布较散,因此在预定范围内调整位置后的第一图像区域的位置并无法覆盖3个人脸框,此时可将面积较小的人脸框进行舍弃,然后在预定范围内调整第一图像区域的位置来覆盖余下的两个人脸框,得到第二图像区域;
可选的,封面图像要求的长宽比如5:4等,可视具体情况而定。
由于面积较小的目标框一般不属于待处理配图中的主体区域,因此在预定范围内调整第一图像区域的位置,无法覆盖所有的目标框的情况下,按照面积从小到大的顺序舍弃目标框的方式,来使得调整位置后的第一图像区域覆盖未舍弃的目标框,可保障调整位置后的第一图像区域所覆盖的目标框为待处理配图中面积较大的目标框,属于待处理配图中的主体区域;这样可极大程度的保障调整位置后的第一图像区域能够覆盖待处理配图中主要表示所述目标类型的目标框,极大程度的保障调整位置后的第一图像区域与文章内容的相关性。
步骤S33、从待处理配图中裁剪出所述第二图像区域,得到封面图像。
在确定第二图像区域后,可从待处理配图中裁剪出第二图像区域,如通过抠图方式,从待处理配图中抠取出第二图像区域,得到封面图像。
需要进一步说明的是,在待处理配图不具有与所述目标类型相应的目标的情况下,根据所述目标类型对待处理配图进行目标检测后,将存在从待处理配图中未检测到与所述目标类型相应的目标的情况;如使用与所述目标类型相应的目标检测模型对所述待处理配图进行目标检测后,目标检测模型未能输出目标框;示例的,如图6所示输出的候选框的数量为0,或输出的候选框全部表示背景类型或不表示目标类型(如在实际的目标检测技术使用时,候选框表示的类型均是背景类型,则进行不显示、不进行处理,即等同于没有目标框,未检测到目标)。
在从所述待处理配图未检测到与所述目标类型相应的目标的情况下,本发明实施例可对待处理配图进行显著区域检测,从而根据从待处理配图中检测的显著区域,按照封面图像的规格要求,从待处理配图中提取出覆盖所述显著区域的封面图像;
值得注意的是,在使用目标检测方式,无法从待处理配图中检测出所述目标类型相应的目标时,进一步利用显著区域检测方式,对待处理配图进行显著区域检测,从而从待处理配图中提取出覆盖所述显著区域的封面图像的方式,可使得封面图像能够表达待处理配图中的主体区域,可在从待处理配图未检测到所述目标时,在一定程度上所生成的保障封面图像与文章内容的相关性;
可选的,对待处理配图进行显著区域检测的方式有多种,本发明实施例并不限制显著区域检测方式,可通过预置显著区域检测模型,在从所述待处理配图未检测到与所述目标类型相应的目标时,利用预置的显著区域检测模型对待处理配图进行显著区域检测;
作为一种可选实现,本发明实施例提供的对待处理配图进行显著区域检测的方法流程可如图13所示,参照图13,该流程可以包括:
步骤S40、根据所述待处理配图,设置多个图像特征阈值。
所述图像特征阈值的取值范围可以服从均匀分布,取值范围可以是待处理配图的图像特征值(如灰度)的取值范围;可选的,本发明实施例可将待处理配图的颜色分量作为图像特征,确定颜色分量的取值范围,在颜色分量的取值范围中取均分分布的多个图像特征阈值,从而设置出所述多个图像特征阈值。
步骤S41、根据所述多个图像特征阈值,采样所述待处理配图的多张二值图。
二值图是指每个像素不是黑就是白,其灰度值没有中间过渡的图像。在设置所述多个图像特征阈值后,可根据所述多个图像特征阈值采样待处理配图的多张二值图;
所采样的二值图的数量为多张,二值图的数量可正相关于颜色分量的取值范围大小(即颜色分量的取值范围越大,则采样的二值图的数量越多),负相关于相邻的图像特征阈值的差值大小(即相邻的图像特征阈值的值间隔越大,则采样的二值图的数量越少)。
步骤S42、对所述多张二值图分别进行拓扑学计算,得到各二值图相应的激活图。
可选的,在得到多张二值图后,可利用Gestalt心理学模型分别对多张二值图做一系列拓扑学计算,得到各张二值图相应的激活图。
步骤S43、对各二值图相应的激活图作平均处理,得到模拟人眼注意力机制的显著性区域图。
在得到各二值图相应的激活图后,可对各二值图相应的激活图进行平均,得到一张模拟人眼注意力机制的显著性区域图。
可选的,上述步骤S40至步骤S43可以认为是根据待处理配图,获取模拟人眼注意力机制的显著性区域图的一种可选方式,获得显著性区域图的方式本发明实施例并不限于上述步骤的介绍。
步骤S44、获取所述显著性区域图的至少一个连通区域,剔除非主体的连通区域,将剩余的连通区域作为显著区域。
连通区域可以是显著性区域图中像素值相同且位置相邻的像素点组成的区域;在得到显著性区域图后,可获取显著性区域图中的连通区域,如可使用OPENCV方式标记处显著性区域图中的所有连通区域;
由于这些连通区域中可能存在不属于待配图主体部分的连通区域,因此可剔除面积较小的连通区域,只保留主体部分的连通区域,得到从待处理配图检测到的显著区域;图14示出了从显著性区域图中剔除非主体的连通区域的示意,可参照,图中,一个黑色区域表示一个连通区域,图14中将面积较小的连通区域进行剔除,实现从显著性区域图中剔除非主体的连通区域。
可选的,本发明实施例可设置非主体的连通区域的比例(非主体的连通区域在所有连通区域中的比例),在获取显著性区域图的所有连通区域后,可将面积最小的所述比例的连通区域确定为非主体的连通区域,进行剔除;
可选的,作为另一种实现,本发明实施例也可设置非主体的连通区域的面积阈值,在获取显著性区域图的所有连通区域后,可将面积小于所述面积阈值的连通区域确定为非主体的连通区域,进行剔除。
可选的,上述显著区域检测方式可使用Boolean Map based Saliency(基于布尔图的显著性)模型实现,Boolean Map based Saliency模型可以认为是显著区域检测模型的一种可选实现;由于Boolean Map based Saliency模型是基于心理学的先验知识,因此具有无需训练模型,计算速度快,具有通用性等优点。
在确定显著区域后,本发明实施例可将各显著区域的边界框(如覆盖显著区域的矩形框,可以是显著区域的最小外接圆的矩形框)分别作为目标框,按照封面图像的规格要求,从所述待处理配图中裁剪出覆盖所述目标框的封面图像,实现从待处理配图提取出覆盖所述显著区域的封面图像;可选的,在将各显著区域的边界框分别作为目标框后,可通过图8所示方式裁剪待处理配图,得到覆盖显著区域的封面图像,具体过程可参照前文图8所示,此处不再赘述;
可以理解是的,在从待处理配图检测到与所述目标类型相应的目标的情况下,可将从待处理配图中检测到的各目标的边界框作为目标框,作为图8所示流程的目标框,进行待处理配图的裁剪;而在从待处理配图未检测到与所述目标类型相应的目标的情况下,可将显著区域检测模型检测到的待处理配图的各显著区域的边界框,作为图8所示流程的目标框,进行待处理配图的裁剪。
可选的,结合目标检测方式和显著检测方式的使用,图15示出了文章封面生成方法的另一可选流程,该流程可由处理服务器实现,参照图15,该流程可以包括:
步骤S50、获取文章的文章标签,所述文章标签用于指示与所述文章的内容相关的目标类型。
相应的,可确定所述文章标签指示的与所述文章的内容相关的目标类型。
步骤S51、根据所述目标类型,利用目标检测模型对文章的待处理配图进行目标检测。
步骤S52、若目标检测模型从所述待处理配图检测到与所述目标类型相应的目标,确定所检测到的各目标的边界框,得到目标框。
可选的,步骤S52的可选实现可参照前文相应部分描述。
步骤S53、若目标检测模型从所述待处理配图未检测到与所述目标类型相应的目标,利用显著区域检测模型对所述待处理配图进行显著区域检测,将所述显著区域检测模型检测到的各显著区域对应的边界框作为目标框。
可选的,步骤S53的可选实现可参照前文相应部分描述。
步骤S54、按照封面图像的规格要求,从所述待处理配图中裁剪出覆盖所述目标框的封面图像。
可选的,步骤S54的可选实现可参照前文相应部分描述,优选实现可如图8所示。
步骤S55、根据所述封面图像生成所述文章的文章封面。
作为一种应用示例,以对社交软件的自媒体账号发布的文章进行文章封面生成为例,进行本发明实施例方案的介绍,如图16所示:
自媒体账号发布的文章经过审核后,可设置文章的文章标签和选定的待处理配图(可由审核人员在审核文章内容时,设置文章标签并选定待处理配图,当然也可支持前文描述的其他方式实现);
以文章标签指示的与文章内容相关的目标类型为“人”为例,处理服务器调用人脸检测模型对待处理配图进行人脸检测;
处理服务器如果从待处理配图检测到人脸框,则可按照封面图像要求的长宽比,从待处理配图中裁剪出覆盖所述人脸框的封面图像(具体实现方式和涉及的可能情况,可参照前文描述,此处不再赘述);
当然,处理服务器如果未能从待处理配图检测到人脸框,则可调用显著区域检测模型对待处理配图进行显著区域检测,在检测到显著区域后,可按照封面图像要求的长宽比,从待处理配图中裁剪出覆盖所述显著区域的封面图像;为便于介绍,图16示出了从待处理配图检测到人脸框的情况示意;
处理服务器将从文章中提取的文章标题置入文章封面的标题框,将封面图像置入文章封面的图像框,生成文章封面;将文章封面关联文章的访问地址;
在经过上述处理后,自媒体账号发布的文章可被推荐给用户(具体推荐算法可根据实际情况而定,如以用户阅读习惯进行文章推荐等);当用户使用终端进入社交软件的文章推荐页面时,上述生成的文章封面将被展示在文章推荐页面;
例如,终端在刷新文章推荐页面时,处理服务器可获取终端发送的刷新文章推荐页面的请求,向终端发送所述文章封面,以将所述文章封面显示在所述终端刷新的文章推荐页面中。
由于依照本发明实施例提供的文章封面生成方法,所生成的文章封面的封面图像与文章内容相关,且图像内容的真实度较高,因此用户在文章推荐页面可通过封面图像较好的理解文章表达内容,文章可更为高效的被感兴趣的用户发现,提升了文章的阅读率。
下面对本发明实施例提供的文章封面生成装置进行介绍;下文描述的文章封面生成装置可以认为是处理服务器,为实现本发明实施例提供的文章封面生成方法所需设置的程序模块。下文描述的文章封面生成装置内容,可与前文描述的文章封面生成方法内容相互对应参照。
图17为本发明实施例提供的文章封面生成装置的结构框图,该文章封面生成装置可应用于处理服务器,参照图17,该文章封面生成装置可以包括:
文章标签获取模块100,用于获取文章的文章标签;
目标类型确定模块110,用于确定所述文章标签指示的与所述文章的内容相关的目标类型;
目标检测模块120,用于根据所述目标类型,对所述文章的待处理配图进行目标检测;
图像第一提取模块130,用于若从所述待处理配图检测到与所述目标类型相应的目标,按照封面图像的规格要求,从所述待处理配图提取出覆盖所述目标的封面图像;
封面生成模块140,用于根据所述封面图像生成所述文章的文章封面。
可选的,所述文章标签为文章主题;目标类型确定模块110,用于确定所述文章标签指示的与所述文章的内容相关的目标类型,具体包括:
根据预置的各文章主题与目标的类型的对应关系,确定所述文章主题对应的目标的类型,得到所述目标类型;其中,所述文章主题对应的目标类型的数量为至少一类。
可选的,图18示出了本发明实施例提供的文章封面生成装置的另一结构框图,结合图17和图18所示,该装置还可以包括:
显著区域检测模块150,用于若从所述待处理配图未检测到与所述目标类型相应的目标,对所述待处理配图进行显著区域检测;
图像第二提取模块160,用于按照封面图像的规格要求,从所述待处理配图提取出覆盖所检测的显著区域的封面图像。
可选的,图像第一提取模块130,用于按照封面图像的规格要求,从所述待处理配图提取出覆盖所述目标的封面图像,具体包括:
确定所检测到的各目标的边界框,得到目标框;
按照封面图像的规格要求,从所述待处理配图中裁剪出覆盖所述目标框的封面图像。
可选的,图像第二提取模块160,用于按照封面图像的规格要求,从所述待处理配图提取出覆盖所检测的显著区域的封面图像,具体包括:
将从所述待处理配图检测到的各显著区域对应的边界框作为目标框;
按照封面图像的规格要求,从所述待处理配图中裁剪出覆盖所述目标框的封面图像。
可选的,图像第一提取模块130和图像第二提取模块160所执行的按照封面图像的规格要求,从所述待处理配图中裁剪出覆盖所述目标框的封面图像的步骤,可具体包括:
根据所述目标框确定目标中心;
根据所述目标中心,以封面图像的规格要求,在待处理配图上扩充图像区域,得到第一图像区域,所述第一图像区域为所述待处理配图的部分图像区域;
根据所述第一图像区域确定第二图像区域,以使第二图像区域覆盖所述目标框,其中,第一图像区域和第二图像区域的区域大小一致;
从待处理配图中裁剪出所述第二图像区域,得到封面图像。
可选的,所述根据所述第一图像区域确定第二图像区域的步骤,可具体包括:
若第一图像区域未覆盖所述目标框,在预定范围内调整第一图像区域的位置,使得调整位置后的第一图像区域覆盖所述目标框,得到第二图像区域。
可选的,所述在预定范围内调整第一图像区域的位置,使得调整位置后的第一图像区域覆盖所述目标框,得到第二图像区域的步骤,可具体包括:
如果所述目标框的数量为多个,且在预定范围内调整位置后的第一图像区域无法覆盖所有目标框,按照面积从小到大的顺序依次舍弃目标框,直至在预定范围内调整位置后的第一图像区域覆盖未舍弃的目标框,得到第二图像区域。
可选的,所述根据所述目标框确定目标中心的步骤,可具体包括:
若所述目标框的数量为一个,以所述目标框的中心作为目标中心;
若所述目标框的数量为多个,确定该多个目标框的最小外接框,以所述最小外接框的中心作为目标中心。
可选的,所述根据所述目标中心,以封面图像的规格要求,在待处理配图上扩充图像区域,得到第一图像区域的步骤,可具体包括:
根据所述目标中心,以封面图像预定的长宽比,在待处理配图上扩充图像区域,直至扩充的图像区域的至少一边达到待处理配图的边沿,得到所述第一图像区域。
可选的,目标检测模块120,用于根据所述目标类型,对所述文章的待处理配图进行目标检测,具体包括:
调取与所述目标类型相应的目标检测模型,所述目标检测模型包括:区域建议网络,提炼网络和输出网络;
将所述待处理配图输入所述目标检测模型,以由所述目标检测模型对所述待处理配图进行目标检测;
其中,所述区域建议网络用于根据所述待处理配图生成候选框;所述提炼网络用于从所述候选框中,去除未覆盖与所述目标类型相应的目标的候选框,得到改善框;所述输出网络用于从所述改善框中筛选出与所述目标类型相应的目标框。
可选的,显著区域检测模块150,用于对所述待处理配图进行显著区域检测,具体包括:
根据所述待处理配图,设置多个图像特征阈值;
根据所述多个图像特征阈值,采样所述待处理配图的多张二值图;
对所述多张二值图分别进行拓扑学计算,得到各二值图相应的激活图;
对各二值图相应的激活图作平均处理,得到模拟人眼注意力机制的显著性区域图;
获取所述显著性区域图的至少一个连通区域;
剔除非主体的连通区域,将剩余的连通区域作为显著区域。
本发明实施例还提供一种处理服务器,该处理服务器可通过装载上述程序模块,实现本发明实施例提供的文章封面生成方法;上述程序模块可以程序代码形式存储于服务器的存储器中,并被服务器的处理器所调用;可选的,图19示出了本发明实施例提供的服务器的硬件架构,参照图19,该服务器可以包括:至少一个处理芯片1,至少一个通信接口2,至少一个存储器3和至少一个通信总线4;
在本发明实施例中,处理芯片1、通信接口2、存储器3、通信总线4的数量为至少一个,且处理芯片1、通信接口2、存储器3通过通信总线4完成相互间的通信;
处理芯片1可能是一个中央处理器CPU,或者是特定集成电路ASIC
(Application Specific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器3可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
其中,存储器3存储有程序,处理芯片1调用存储器3所存储的程序,以实现上述所述的文章封面生成方法的步骤。
本发明实施例还提供一种存储介质,该存储介质可存储有适于处理芯片执行的程序,以实现上述所述的文章封面生成方法的步骤。
可选的,上述程序的主要用于:
获取文章的文章标签;
确定所述文章标签指示的与所述文章的内容相关的目标类型;
根据所述目标类型,对所述文章的待处理配图进行目标检测;
若从所述待处理配图检测到与所述目标类型相应的目标,按照封面图像的规格要求,从所述待处理配图提取出覆盖所述目标的封面图像;
根据所述封面图像生成所述文章的文章封面。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理芯片执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (15)
1.一种文章封面生成方法,其特征在于,包括:
获取文章的文章标签;
确定所述文章标签指示的与所述文章的内容相关的目标类型;
根据所述目标类型,对所述文章的待处理配图进行目标检测;
若从所述待处理配图检测到与所述目标类型相应的目标,按照封面图像的规格要求,从所述待处理配图提取出覆盖所述目标的封面图像;
根据所述封面图像生成所述文章的文章封面。
2.根据权利要求1所述的文章封面生成方法,其特征在于,所述文章标签为文章主题;所述确定所述文章标签指示的与所述文章的内容相关的目标类型包括:
根据预置的各文章主题与目标的类型的对应关系,确定所述文章主题对应的目标的类型,得到所述目标类型;其中,所述文章主题对应的目标类型的数量为至少一类。
3.根据权利要求1所述的文章封面生成方法,其特征在于,还包括:
若从所述待处理配图未检测到与所述目标类型相应的目标,对所述待处理配图进行显著区域检测;
按照封面图像的规格要求,从所述待处理配图提取出覆盖所检测的显著区域的封面图像。
4.根据权利要求1所述的文章封面生成方法,其特征在于,所述按照封面图像的规格要求,从所述待处理配图提取出覆盖所述目标的封面图像包括:
确定所检测到的各目标的边界框,得到目标框;
按照封面图像的规格要求,从所述待处理配图中裁剪出覆盖所述目标框的封面图像。
5.根据权利要求3所述的文章封面生成方法,其特征在于,所述按照封面图像的规格要求,从所述待处理配图提取出覆盖所检测的显著区域的封面图像包括:
将从所述待处理配图检测到的各显著区域对应的边界框作为目标框;
按照封面图像的规格要求,从所述待处理配图中裁剪出覆盖所述目标框的封面图像。
6.根据权利要求4或5所述的文章封面生成方法,其特征在于,所述按照封面图像的规格要求,从所述待处理配图中裁剪出覆盖所述目标框的封面图像包括:
根据所述目标框确定目标中心;
根据所述目标中心,以封面图像的规格要求,在待处理配图上扩充图像区域,得到第一图像区域,所述第一图像区域为所述待处理配图的部分图像区域;
根据所述第一图像区域确定第二图像区域,以使第二图像区域覆盖所述目标框,其中,第一图像区域和第二图像区域的区域大小一致;
从待处理配图中裁剪出所述第二图像区域,得到封面图像。
7.根据权利要求6所述的文章封面生成方法,其特征在于,所述根据所述第一图像区域确定第二图像区域包括:
若第一图像区域未覆盖所述目标框,在预定范围内调整第一图像区域的位置,使得调整位置后的第一图像区域覆盖所述目标框,得到第二图像区域。
8.根据权利要求7所述的文章封面生成方法,其特征在于,所述在预定范围内调整第一图像区域的位置,使得调整位置后的第一图像区域覆盖所述目标框,得到第二图像区域包括:
如果所述目标框的数量为多个,且在预定范围内调整位置后的第一图像区域无法覆盖所有目标框,按照面积从小到大的顺序依次舍弃目标框,直至在预定范围内调整位置后的第一图像区域覆盖未舍弃的目标框,得到第二图像区域。
9.根据权利要求6所述的文章封面生成方法,其特征在于,所述根据所述目标中心,以封面图像的规格要求,在待处理配图上扩充图像区域,得到第一图像区域包括:
根据所述目标中心,以封面图像预定的长宽比,在待处理配图上扩充图像区域,直至扩充的图像区域的至少一边达到待处理配图的边沿,得到所述第一图像区域。
10.根据权利要求6所述的文章封面生成方法,其特征在于,所述根据所述目标框确定目标中心包括:
若所述目标框的数量为一个,以所述目标框的中心作为目标中心;
若所述目标框的数量为多个,确定该多个目标框的最小外接框,以所述最小外接框的中心作为目标中心。
11.根据权利要求1所述的文章封面生成方法,其特征在于,所述根据所述目标类型,对所述文章的待处理配图进行目标检测包括:
调取与所述目标类型相应的目标检测模型,所述目标检测模型包括:区域建议网络,提炼网络和输出网络;
将所述待处理配图输入所述目标检测模型,以由所述目标检测模型对所述待处理配图进行目标检测;
其中,所述区域建议网络用于根据所述待处理配图生成候选框;所述提炼网络用于从所述候选框中,去除未覆盖与所述目标类型相应的目标的候选框,得到改善框;所述输出网络用于从所述改善框中筛选出与所述目标类型相应的目标框。
12.根据权利要求3所述的文章封面生成方法,其特征在于,所述对所述待处理配图进行显著区域检测包括:
根据所述待处理配图,设置多个图像特征阈值;
根据所述多个图像特征阈值,采样所述待处理配图的多张二值图;
对所述多张二值图分别进行拓扑学计算,得到各二值图相应的激活图;
对各二值图相应的激活图作平均处理,得到模拟人眼注意力机制的显著性区域图;
获取所述显著性区域图的至少一个连通区域;
剔除非主体的连通区域,将剩余的连通区域作为显著区域。
13.一种文章封面生成装置,其特征在于,包括:
文章标签获取模块,用于获取文章的文章标签;
目标类型确定模块,用于确定所述文章标签指示的与所述文章的内容相关的目标类型;
目标检测模块,用于根据所述目标类型,对所述文章的待处理配图进行目标检测;
图像第一提取模块,用于若从所述待处理配图检测到与所述目标类型相应的目标,按照封面图像的规格要求,从所述待处理配图提取出覆盖所述目标的封面图像;
封面生成模块,用于根据所述封面图像生成所述文章的文章封面。
14.一种处理服务器,其特征在于,包括:至少一个存储器和至少一个处理芯片;所述存储器存储有程序,所述处理芯片调用所述程序,以实现权利要求1-12任一项所述的文章封面生成方法。
15.一种存储介质,其特征在于,所述存储介质存储有适于处理芯片执行的程序,以实现权利要求1-12任一项所述的文章封面生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810362149.2A CN108597003A (zh) | 2018-04-20 | 2018-04-20 | 一种文章封面生成方法、装置、处理服务器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810362149.2A CN108597003A (zh) | 2018-04-20 | 2018-04-20 | 一种文章封面生成方法、装置、处理服务器及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108597003A true CN108597003A (zh) | 2018-09-28 |
Family
ID=63613657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810362149.2A Pending CN108597003A (zh) | 2018-04-20 | 2018-04-20 | 一种文章封面生成方法、装置、处理服务器及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108597003A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109784145A (zh) * | 2018-12-05 | 2019-05-21 | 北京华捷艾米科技有限公司 | 基于深度图的目标检测方法及存储介质 |
CN110070124A (zh) * | 2019-04-15 | 2019-07-30 | 广州小鹏汽车科技有限公司 | 一种基于生成式对抗网络的图像扩增方法及系统 |
CN110349082A (zh) * | 2019-06-28 | 2019-10-18 | 腾讯科技(深圳)有限公司 | 图像区域的裁剪方法和装置、存储介质及电子装置 |
CN110866086A (zh) * | 2018-12-29 | 2020-03-06 | 北京安妮全版权科技发展有限公司 | 一种文章配图系统 |
CN111325670A (zh) * | 2018-12-13 | 2020-06-23 | 杭州海康威视数字技术股份有限公司 | 一种数据增强方法、装置及电子设备 |
CN111680482A (zh) * | 2020-05-07 | 2020-09-18 | 车智互联(北京)科技有限公司 | 一种标题图文生成方法及计算设备 |
CN111880888A (zh) * | 2020-08-07 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 预览封面生成方法、装置、电子设备及存储介质 |
CN112884787A (zh) * | 2021-01-28 | 2021-06-01 | 北京有竹居网络技术有限公司 | 图像剪裁方法、装置、可读介质及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103034856A (zh) * | 2012-12-18 | 2013-04-10 | 深圳深讯和科技有限公司 | 定位图像中文字区域的方法及装置 |
CN103914689A (zh) * | 2014-04-09 | 2014-07-09 | 百度在线网络技术(北京)有限公司 | 基于人脸识别的图片裁剪方法及装置 |
CN104915402A (zh) * | 2015-06-01 | 2015-09-16 | 小米科技有限责任公司 | 电子书封面设置方法及装置 |
US20160028939A1 (en) * | 2014-07-28 | 2016-01-28 | Canon Kabushiki Kaisha | Image capturing apparatus, control apparatus and control method thereof |
CN106021405A (zh) * | 2016-05-12 | 2016-10-12 | 北京奇虎科技有限公司 | 生成相册封面的方法及装置 |
-
2018
- 2018-04-20 CN CN201810362149.2A patent/CN108597003A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103034856A (zh) * | 2012-12-18 | 2013-04-10 | 深圳深讯和科技有限公司 | 定位图像中文字区域的方法及装置 |
CN103914689A (zh) * | 2014-04-09 | 2014-07-09 | 百度在线网络技术(北京)有限公司 | 基于人脸识别的图片裁剪方法及装置 |
US20160028939A1 (en) * | 2014-07-28 | 2016-01-28 | Canon Kabushiki Kaisha | Image capturing apparatus, control apparatus and control method thereof |
CN104915402A (zh) * | 2015-06-01 | 2015-09-16 | 小米科技有限责任公司 | 电子书封面设置方法及装置 |
CN106021405A (zh) * | 2016-05-12 | 2016-10-12 | 北京奇虎科技有限公司 | 生成相册封面的方法及装置 |
Non-Patent Citations (2)
Title |
---|
翁昕: "目标检测网络SSD的区域候选框的设置问题研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 * |
逄铭雪等: "基于颜色与梯度布尔特征融合的图像显著性检测", 《华东理工大学学报(自然科学版)》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109784145A (zh) * | 2018-12-05 | 2019-05-21 | 北京华捷艾米科技有限公司 | 基于深度图的目标检测方法及存储介质 |
CN111325670A (zh) * | 2018-12-13 | 2020-06-23 | 杭州海康威视数字技术股份有限公司 | 一种数据增强方法、装置及电子设备 |
CN110866086A (zh) * | 2018-12-29 | 2020-03-06 | 北京安妮全版权科技发展有限公司 | 一种文章配图系统 |
CN110070124A (zh) * | 2019-04-15 | 2019-07-30 | 广州小鹏汽车科技有限公司 | 一种基于生成式对抗网络的图像扩增方法及系统 |
CN110349082B (zh) * | 2019-06-28 | 2023-08-29 | 腾讯科技(深圳)有限公司 | 图像区域的裁剪方法和装置、存储介质及电子装置 |
CN110349082A (zh) * | 2019-06-28 | 2019-10-18 | 腾讯科技(深圳)有限公司 | 图像区域的裁剪方法和装置、存储介质及电子装置 |
CN111680482A (zh) * | 2020-05-07 | 2020-09-18 | 车智互联(北京)科技有限公司 | 一种标题图文生成方法及计算设备 |
CN111680482B (zh) * | 2020-05-07 | 2024-04-12 | 车智互联(北京)科技有限公司 | 一种标题图文生成方法及计算设备 |
CN111880888A (zh) * | 2020-08-07 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 预览封面生成方法、装置、电子设备及存储介质 |
CN111880888B (zh) * | 2020-08-07 | 2022-12-27 | 北京达佳互联信息技术有限公司 | 预览封面生成方法、装置、电子设备及存储介质 |
WO2022028241A1 (zh) * | 2020-08-07 | 2022-02-10 | 北京达佳互联信息技术有限公司 | 预览封面生成方法及电子设备 |
CN112884787B (zh) * | 2021-01-28 | 2023-09-15 | 北京有竹居网络技术有限公司 | 图像剪裁方法、装置、可读介质及电子设备 |
CN112884787A (zh) * | 2021-01-28 | 2021-06-01 | 北京有竹居网络技术有限公司 | 图像剪裁方法、装置、可读介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108597003A (zh) | 一种文章封面生成方法、装置、处理服务器及存储介质 | |
CN108446617B (zh) | 抗侧脸干扰的人脸快速检测方法 | |
TWI766201B (zh) | 活體檢測方法、裝置以及儲存介質 | |
CN107862698A (zh) | 基于k均值聚类的光场前景分割方法及装置 | |
Rahman et al. | A framework for fast automatic image cropping based on deep saliency map detection and gaussian filter | |
CN110443140B (zh) | 文本定位的方法、装置、计算机设备及存储介质 | |
CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
CN109165682A (zh) | 一种融合深度特征和显著性特征的遥感图像场景分类方法 | |
CN111950723A (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
CN103473537B (zh) | 一种目标图像轮廓特征表示方法及装置 | |
US20210166015A1 (en) | Certificate image extraction method and terminal device | |
CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
CN111127307A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN105095860B (zh) | 字符分割方法和装置 | |
CN103116754A (zh) | 基于识别模型的批量图像分割方法及系统 | |
CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
CN111950389B (zh) | 一种基于轻量级网络的深度二值特征人脸表情识别方法 | |
CN107704797B (zh) | 基于安防视频中行人和车辆的实时检测方法和系统及设备 | |
CN106203454A (zh) | 证件版式分析的方法及装置 | |
CN111739027A (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
CN110222582A (zh) | 一种图像处理方法和相机 | |
CN114677394B (zh) | 抠图方法、装置、摄像设备、会议系统、电子设备及介质 | |
CN107657251A (zh) | 确定身份证件显示表面的设备及方法,图像识别方法 | |
Song et al. | Depth-aware saliency detection using discriminative saliency fusion | |
CN107133964A (zh) | 一种基于Kinect的抠像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |