CN107171932B - 一种图片风格转换方法、装置及系统 - Google Patents

一种图片风格转换方法、装置及系统 Download PDF

Info

Publication number
CN107171932B
CN107171932B CN201710289348.0A CN201710289348A CN107171932B CN 107171932 B CN107171932 B CN 107171932B CN 201710289348 A CN201710289348 A CN 201710289348A CN 107171932 B CN107171932 B CN 107171932B
Authority
CN
China
Prior art keywords
style
picture
content
pictures
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710289348.0A
Other languages
English (en)
Other versions
CN107171932A (zh
Inventor
刘刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710289348.0A priority Critical patent/CN107171932B/zh
Publication of CN107171932A publication Critical patent/CN107171932A/zh
Application granted granted Critical
Publication of CN107171932B publication Critical patent/CN107171932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information

Abstract

本发明实施例公开了一种图片风格转换方法、装置及系统;本发明实施例采用获取待进行图片风格转换的文章内容,该文章内容包括图片,然后,确定风格转换所需的风格样式图片,基于卷积神经网络从该风格样式图片中提取相应的风格特征信息,根据该风格特征信息对该文章内容中的图片进行风格转换,得到具有相应图片风格的目标文章内容,向终端发送该目标文章内容,以便终端展示该目标文章内容;由于该方案可以在处理能相比终端较强的服务器上实现图片风格转换,并且该方案在图片风格转换时无需用户进行操作,因此,可以提高图片风格转换的速度,进而提高了图片风格转换的效率。

Description

一种图片风格转换方法、装置及系统
技术领域
本发明涉及通信技术领域,具体涉及一种图片风格转换方法、装置及系统。
背景技术
即时通讯应用中的内容聚合器聚合了即时通讯公众号发送的文章。内容聚合器对应的内容聚合服务器向用户推送文章时,会根据用户订阅的公众号信息、用户兴趣等向用户推送相应的文章。
目前,即时通讯应用中内容聚合器在接收到文章时,文章中图片的风格和样式是固定的;该文章中图片的风格和样式在号主选择图片发布文章的时候便已经确定。因此,对于用户来说,不同的用户只能看到基于兴趣标签不同提供的不同文章内容,无法看到同一个文章内容中图片的不同展现形式和风格。
为了实现文章内容中图片的个性化展示,可以对图片进行风格转换,具体地转换方式为:终端通过即时通讯应用接收到图文内容,然后,用户通过操作开启终端上的图片处理应用程序,并将即时通讯应用中图片内容的图片导入到该图片处理应用程序,最后图片处理应用程序对导入的图片进行风格转换。
然而,目前的图片风格转换方式是通过终端上的专门的图片处理应用程序来实现,需要用户进行比较复杂繁琐的操作,另外终端的处理能力也是有限的,因此,会导致图片风格转换的效率比较低,尤其是在面临对大量复杂的图片进行风格转换时。
发明内容
本发明实施例提供一种图片风格转换方法、装置及系统,可以提高图片风格转换的效率。
本发明实施例提供一种图片风格转换方法,包括:
获取待进行图片风格转换的文章内容,所述文章内容包括图片;
确定风格转换所需的风格样式图片;
基于卷积神经网络从所述风格样式图片中提取相应的风格特征信息;
根据所述风格特征信息对所述文章内容中的图片进行风格转换,得到具有相应图片风格的目标文章内容;
向终端发送所述目标文章内容,以便终端展示所述目标文章内容。
相应的,本发明实施例还提供一种图片风格转换装置,包括:
获取单元,用于获取待进行图片风格转换的文章内容,所述文章内容包括图片;
图片确定单元,用于确定风格转换所需的风格样式图片;
提取单元,用于基于卷积神经网络从所述风格样式图片中提取相应的风格特征信息;
风格转换单元,用于根据所述风格特征信息对所述文章内容中的图片进行风格转换,得到具有相应图片风格的目标文章内容;
发送单元,用于向终端发送所述目标文章内容,以便终端展示所述目标文章内容。
相应的,本发明实施例还提供一种图片风格转换系统,包括本发明实施例任一提供的图片风格转换装置。
本发明实施例采用获取待进行图片风格转换的文章内容,该文章内容包括图片,然后,确定风格转换所需的风格样式图片,基于卷积神经网络从该风格样式图片中提取相应的风格特征信息,根据该风格特征信息对该文章内容中的图片进行风格转换,得到具有相应图片风格的目标文章内容,向终端发送该目标文章内容,以便终端展示该目标文章内容。由于该方案可以在处理能相比终端较强的服务器上实现图片风格转换,并且该方案在图片风格转换时无需用户进行操作,因此,可以提高图片风格转换的速度,进而提高图片风格转换的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的图片风格转换系统的场景示意图;
图1b是本发明实施例提供的图片风格转换方法的流程示意图;
图1c是本发明实施例提供的一种动漫风格图片的示意图;
图1d是本发明实施例提供的另一种动漫风格图片的示意图;
图1e是本发明实施例提供的动漫风格图片的转换示意图;
图2a是本发明实施例提供的图片风格转换系统的另一场景示意图;
图2b是本发明实施例提供的图片风格转换方法的另一流程示意图;
图2c是本发明实施例提供的卷积神经网络处理图像的过程示意图;
图2d是本发明实施例提供的油画风格图片的转换示意图;
图2e是本发明实施例提供的封面的展示示意图;
图2f是本发明实施例提供的内容详情页内图片风格转换的示意图;
图3是本发明实施本发明实施例提供的例提供的图片风格转换系统的架构示意图;
图4a是本发明实施例提供的图片风格转换装置的结构示意图;
图4b是本发明实施例提供的图片风格转换装置的另一结构示意图;
图4c是本发明实施例提供的图片风格转换装置的又一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种图片风格转换方法、装置及系统。
本发明实施例提供了一种图片风格转换系统,该系统可以包括本发明实施例所提供的任一种图片风格转换装置,参见图1a,该图片风格转换装置具体可以集成在服务器中,如图片风格转换服务器、内容聚合服务器中。此外,该图片风格转换系统还可以包括其他的设置,比如用户设备(如终端等)、内容组装服务器、内容存储服务器、内容推送服务器等等。文章内容可以通过消息流的形式传输,因此,图1a中消息流内容即为文章内容。
其中,内容组装服务器用于接收图片风格转换服务器发送的经过图片风格转换后的文章内容,并对文章内容中图片按照用户设备的显示尺寸进行尺寸裁剪和适配,比如,可以对文章内容中图片的分辨率进行适配处理等;该内容组装服务器还可以用于设置文章内容的封面,比如,可以从文章内容的图片中选取相应的封面图片,然后,基于选取的封面图片来设置文章内容的封面。
该内容存储服务器用于接收并存储内容组装服务器发送的设置封面后的文章内容;内容推送服务器用于从内容存储服务器中获取相应的文章内容,并推送给用户设备;用户设备用于接收内容推送服务器发送的文章内容的封面,并展示该文章内容的封面,以及根据用户操作展示内容推送服务器发送的文章内容。
如图1a所示,当需要对文章内容内图片进行风格转换时,可以由图片风格转换服务器获取待进行图片风格转换的文章内容,该文章内容包括图片,然后,确定风格转换所需的风格样式图片,基于卷积神经网络从该风格样式图片中提取相应的风格特征信息,根据该风格特征信息对该文章内容中的图片进行风格转换,得到具有相应图片风格的目标文章内容。
在经过图片风格转换后,图片风格转换服务器将具有相应图片风格的目标文章内容发送给内容组装服务器,由内容组装服务器设置目标文章内容的封面,并将具有封面的目标文章内容发送至内容存储服务器中保存。在需要推送文章内容时,可以由内容推送服务器从内容存储器中获取该目标文章内容,然后,将该文章内容发送给用户设备,用户设备对该文章内容进行展示。或者,可以由用户设备直接从内容存储服务器中获取并展示该目标文章内容。
以下将分别进行详细说明。
实施例一、
本实施例将从图片风格转换装置的角度进行描述,该图片风格转换装置具体可以集成在服务器,比如图片风格转换服务器、内容聚合服务器等设备中。
一种图片风格转换方法,包括:获取待进行图片风格转换的文章内容,该文章内容包括图片,然后,确定风格转换所需的风格样式图片,基于卷积神经网络从该风格样式图片中提取相应的风格特征信息,根据该风格特征信息对该文章内容中的图片进行风格转换,得到具有相应图片风格的目标文章内容,向终端发送该目标文章内容,以便终端展示该目标文章内容。
如图1b所示,该图片风格转换方法的具体流程可以如下:
101、获取待进行图片风格转换的文章内容,该文章内容包括图片。
其中,该文章内容可以包括:文字,图片,视频,音频等内容中的至少一种,由于本实施例是对文章内容中图片进行风格转换,因此,本实施例中默认该文章内容至少包括图片。
实际应用中,该文章内容可以通过消息流的形式进行传输,如以消息流的形式传输给内容聚合应用;因此,消息流内容也即包含文章内容。其中,消息流可以为Feeds流或者其他类型的消息流。
该文章内容中的图片可以包括内容图片、文章内容的封面图片等图片中的至少一种。
其中,Feeds译为消息来源,又译为源料、馈送、资讯提供、供稿、摘要、源、新闻订阅、网源(英文:web feed、news feed、syndicated feed)是一种资料格式,网站透过它将最新资讯传播给用户,通常以时间轴方式排列,Timeline是Feed最原始最直觉也最基本的展示形式。
具体地,本实施例可以通过网络从内容中心服务器中获取待进行图片风格转换的文章内容;也可以从内容发布终端获取待进行图片风格转换的文章内容,比如从消息发布号主的终端获取该文章内容。
102、确定风格转换所需的风格样式图片。
本实施例中图片的风格样式可以为图片展示时的风格样式。该风格样式可以依据展示效果划分为漫画风格样式(如二次元风格样式)、素描风格样式、油画风格样式、电影风格样式等等。具体地,风格样式可以根据实际需求设定。参考图1c和图1d,为漫画风格样式图片,该图1c和图1d所示为典型的漫画风格图片。
其中,风格样式图片为展示时呈现相应风格样式的样本图片,比如,可以为具有动漫风格的样本图片。该风格样式图片展示时呈现相应风格的展示效果。一种风格样式可以对应一张或者多张不同的风格样式图片,比如,动漫风格样式图片1、动漫风格样式图片2……动漫风格样式图片m均对应动漫风格样式。也就是说,不同的风格样式图片可以具有相同的风格样式。同一种风格样式的不同风格样式图片展示时图片内容不同,但是呈现的风格时相同。
实际应用中风格转换所需的风格样式图片包括一种风格样式图片,也可以包括多种风格样式图片。
本实施例中,风格样式图片可以根据用户实际需求设定,比如,用户可以通过在图片风格转换服务器中设置风格转换所需的风格样式图片。也即,在获取文章内容之前,本实施例方法还包括:
接收终端发送的风格样式设置指令;
根据风格样式设置指令来设置风格转换所需的风格样式图片。
例如,实际应用中,可以在服务器中提供多种风格样式图片,每种风格样式图片代表一种图片风格,此时,用户可以通过终端向服务器发送风格样式设置指令来选取所需的风格样式图片。也即步骤“根据风格样式设置指令来设置风格转换所需的风格样式图片”可以包括:
根据风格样式设置指令从多种风格样式图片中选取风格转换所需的风格样式图片。
实际应用中,图片风格转换服务器会提供风格设置入口,以便用户可以设置所需的风格样式。
可选地,为了减少图片转换的计算操作,节省服务器资源,本实施例可以在文章内容达到一定条件时,才进行图片风格转换。比如,在文章内容的属性信息满足预设条件时,才对文章内容中的图片进行风格转换。也即,在步骤101和步骤102之间,本实施例方法还可以包括:
获取文章内容的属性信息;
确定该属性信息是否满足预设条件;
若是,则执行确定风格转换所需的风格样式图片的步骤,即步骤102。
其中,文章内容的属性信息可以包括:文章内容的内容属性信息、文章内容的图片属性信息等。该内容属性信息可以包括文章内容所属的内容类别,比如可以将文章内容按照定义的规则划分为财经、科技、人文等内容类别。
该文章内容的图片属性信息可以包括文章内容中图片的数量、文章内容中图片的图片占比。
本实施例中,预设条件可以根据实际需求设定,比如,在属性信息包括文章内容所属的内容类别时,预设条件可以包括:文章内容所属的内容类别为预设类别;比如,在属性信息包括图片的数量时,预设条件可以包括:图片的数量大于预设数量;又比如,在属性信息包括图片占比时,预设条件可以包括图片的占比大于预设阈值。
103、基于卷积神经网络从该风格样式图片中提取相应的风格特征信息。
由于将图片的内容和风格分离并不一定是一个定义明确的问题(Well-definedproblem),这是因为并不能准确定义出图片中的哪部分属于内容,哪部分属于风格,很有可能内容与风格是交织在一起,没有办法进行分离。本发明用到的是深度学习算法中间的CNN(Convolutional Neural Network,卷积神经网络)来从图片中提取风格特征信息。它的系统核心是利用卷积神经网络表征来分离图片的内容和风格,再组合待转换图片的内容和风格样式图片的风格,以此来实现一个可用来描绘各种图像风格的算法。
优先地,为能够精确地提取图片的风格特征信息,本实施例可以通过多层卷积神经网络来提取风格特征信息;也即步骤“基于卷积神经网络从该风格样式图片中提取相应的风格特征信息”可以包括:
建立多层卷积神经网络模型,该多层卷积神经网络模型包括多个卷积层;
基于该多层卷积神经网络模型从该风格样式图片中提取相应的风格特征信息。
具体地,多层卷积神经网络模型可以引入卷积自动分层地提取图片特征,进而提取出图片中的风格特征信息,其中,每一层由多个特征图组成,每一个特征图是由前一层输出与一个卷积核进行卷积运算和非线性变换得到,随后进行池化操作以降低输出维度,同时获得一定的特征不变性。通过可视化处理,可以发现图片在多层卷积神经网络中层层传输进行特征提取和抽象,在层层传输中图像越来越抽象,最终可以提取出图片的高层次的特征信息即风格特征信息。
其中,多层卷积神经网络模型可以包括多个卷积层等网络层,此外,还可以包括、池化层、全连接层、输入层、激活函数层等等。卷积层的作用是提取图像的各种特征;卷积层是卷积核在上一级输入层上通过逐一滑动窗口计算而得,卷积核中的每一个参数都相当于传统神经网络中的权值参数,与对应的局部像素相连接,将卷积核的各个参数与对应的局部像素值相乘之和,(通常还要再加上一个偏置参数),得到卷积层上的结果。
池化层的作用是对原始特征信号进行抽象,从而大幅度减少训练参数,另外还可以减轻模型过拟合的程度。
为使得卷积神经网络具有输入输出对之间的映射能力,本实施例还需要对多层卷积神经网络模型进行训练。优选地,为了提高风格特征信息提取的精确性,本实施例可以采用反向传播算法对多层卷积神经网络模型进行训练,具体地,步骤“基于该多层卷积神经网络模型从该风格样式图片中提取相应的风格特征信息”可以包括:
基于反向传播(BP)算法对该多层卷积神经网络模型进行训练;
根据训练后的多层卷积神经网络模型从该风格样式图片中提取相应的风格特征信息。
比如,为了能够提高模型去噪速度,本实施例可以基于反向传播(BP)算法,以最小化损失函数为目标对该多层卷积神经网络模型进行训练。该损失函数可以为均方误差函数。
本实施例通过一个经过训练的多层卷积神经网络模型,可以观察不同层次对图像特征识别的演变过程。在每个块中,显示一个随机选择的子集的特征。通过可视化处理,可以发现图片在多层卷积神经网络中层层传输进行特征提取和抽象,在层层传输中图像越来越抽象,最终可以提取出图片的高层次的特征信息即风格特征信息。
可选地,风格转换所需的风格样式图片包括多种风格样式图片时,本实施例方法可以基于卷积神经网络来提取每种风格样式图片对应的风格特征信息。具体地,提取方式可以参考上述描述。
104、根据该风格特征信息对该文章内容中的图片进行风格转换,得到具有相应图片风格的目标文章内容。
在提取风格特征信息之后,便可以通过该风格特征信息将文章内容中的图片绘制成相应风格的图片。具体地,本实施例同样可以通过卷积神经网络提取该文章内容中图片的图片内容,然后,将图片内容与之前提取的风格特征组合,便可以得到一张与风格样式图片具有相同风格的图片。即步骤“据该风格特征信息对该文章内容中的图片进行风格转换,得到具有相应图片风格的目标文章内容”可以包括:
基于卷积神经网络提取该文章内容中图片的图片内容;
根据该风格特征信息和该图片内容生成相应风格的图片,得到具有相应图片风格的目标文章内容。
比如,可以基于多层卷积神经网络模型提取该文章内容中图片的图片内容,其中,该多层卷积神经网络模型包括多个卷积层。本实施例中提取图片内容与提取风格特征的多层卷积神经网络模型可以为同一个网络模型。即,本实施例可以通过上述训练后的多层卷积神经网络模型提取该文章内容中图片的图片内容。
应当理解的是:本实施例中提取图片内容和提取风格特征的步骤时序可以有多种,比如,可以同时执行,也可以先后执行等。
在提取风格特征和图片内容之后,可以定义风格损失函数,按照损失函数梯度最小化原则,生成相应风格的图片;也即步骤“根据该风格特征信息和该图片内容生成相应风格的图片”可以包括:
按照损失函数梯度最小化原则,根据该风格特征信息和该图片内容生成相应风格的图片。
其中,损失函数可以基于内容损失函数与风格损失函数构成,比如可以为内容损失函数与风格损失函数之和。其中,内容损失函数表征最终生成图片相对于原始图片在内容上的损失,风格损失函数为表征最终生成图片相对于原始图片在风格上的损失。
比如,损失函数公式可以如下:
Figure GDA0002959769730000091
其中,Ltotal为损失函数,Lstyle为风格损失函数,表示最终生成图x和风格样式图(style图)a在风格样式上的loss,Lcontent为内容损失函数,表示最终生成图x和原始图(content图)p在内容上的loss。α,β是调节两者比例的参数。
本实施例中,在对文章内容中所有图片进行风格转换之后,可以基于风格转换后的图片以及文章内容中其他内容生成具有相应图片风格的目标文章内容,该其他内容为文章内容中除图片以外的内容。
通过上述的方法步骤,本实施例可以将文章内容中图片转换成相应风格的图片。比如,以风格样式图片为漫画风格图片为例,参考图1e,通过上述所描述的方式可以将普通风格的图片转换为漫画风格的图片。
可选地,当风格转换所需的风格样式图片包括多种风格样式图片时,可以基于每种风格样式图片的风格特征信息来对分别图片进行风格转换,然后,将具有不同图片风格的文章内容分别发送给不同的终端群;也即步骤104可包括:根据每种风格样式图片对应的风格特征信息,分别对该文章内容中的图片进行风格转换,得到多个具有不同图片风格的目标文章内容。
其中,终端群可以随机选取,该各终端群的终端数量可以相同也可以不同,比如,可以均为10w。
105、向终端发送该目标文章内容,以便终端展示该目标文章内容。
比如,图片风格转换服务器在得到具有相应图片风格的目标文章内容之后,可以将该目标文章内容发送给内容组装服务器,由内容组装服务器设置该目标文章内容的封面,然后,将设置封面后的目标文章内容发送至内容存储服务器中保存。在需要推送文章内容时,可以由内容推送服务器从内容存储器中获取该目标文章内容,然后,将该文章内容发送给用户设备,用户设备对该文章内容进行展示。或者,可以由用户设备直接从内容存储服务器中获取并展示该目标文章内容。
当有多种风格样式图片时,对于同一个文章内容可以具有不同图片风格,即有多个具有不同图片风格的目标文章内容。为了能够提升内容的点击转换效果,本实施例方法可以将不同图片风格的文章内容分别发送给不同的终端群(各终端群的终端数量可以相同,也可以不相同,其中,终端群可以随机选取),并基于终端群反馈的用户针对相应图片风格的文章内容的点击行为特征数据筛选出最佳的图片风格。也即在将具有不同图片风格的目标文章内容分别发送给不同的终端群之后,本实施例图片风格转换方法还包括:
接收各终端群内终端上报的用户针对相应图片风格的目标文章内容的点击操作行为数据;
根据上报的点击操作行为数据,从该多种风格样式图片中选取目标风格样式图片;
将该风格转换所需的风格样式图片更新为该目标风格样式图片。
其中,根据点击操作行为数据选取目标风格样式图片的方式有多种,比如可以根据上报的点击操作行为数据对不同的风格样式图片进行排序,然后,基于排序结果来选取目标风格样式图片,即最佳风格样式图片。
其中,点击操作行为数据可以包括:内容阅读时长,内容点击次数,视频内容观看次数及播放过程当作的缓冲停留信息等。
比如,当存在动漫风格样式图a、素描风格样式图b、油画风格样式图c时,可以基于卷积神经网络分别提取各风格样式图的风格特征信息;然后,基于各风格样式图的风格特征信息分别对文章内容进行风格转换,得到三种不同图片风格的文章内容,即具有动漫风格图片的文章内容、具有素描风格图片的文章内容、具有油画风格图片的文章内容。之后,可以将三种不同图片风格的文章内容分别发送给相同数量的终端群,如可以选择10W个终端,也可以通过实验选择其他数目。然后,接收终端群内终端上报的用户针对相应图片风格的文章内容的点击操作行为数据,基于所有上报的点击操作行为数据从动漫风格样式图a、素描风格样式图b、油画风格样式图c中选取最佳风格样式图片,如选取油画风格样式图c为最佳风格样式图片,并将风格转换的风格样式图片更新为油画风格样式图c。这样后续可以根据该油画风格样式图c对文章内容中图片进行风格转换。也就是说,由于根据点击操作行为数据确定油图片的最佳风格为油画风格时,后续在均将图片的风格转换为油画风格,以提高点击转换效果。
由上可知,本发明实施例采用获取待进行图片风格转换的文章内容,该文章内容包括图片,然后,确定风格转换所需的风格样式图片,基于卷积神经网络从该风格样式图片中提取相应的风格特征信息,根据该风格特征信息对该文章内容中的图片进行风格转换,得到具有相应图片风格的目标文章内容,向终端发送该目标文章内容,以便终端展示该目标文章内容。由于该方案可以在服务器上实现图片风格转换,服务器的处理能相比终端较强,并且该方案在图片风格转换时无需用户进行操作,因此,可以提高图片风格转换的速度,进而提高图片风格转换的效率。
此外,该方案可以将文章内容中图片转换成所需的图片风格,实现了文章内容图片的个性化,可以提升用户点击转化效果,增加用户粘性。
实施例二、
根据实施例一所描述的方法,以下将举例作进一步详细说明。
本实施例将以图片风格转换装置可以集成在服务器为例来详细介绍本发明提供的方法。
如图2a所示,本发明实施例提供了一种图片风格转换系统,可以包括:图片风格转换服务器、内容组装服务器、内容推送服务器、内容中心服务器、内容存储中心服务器、统计分析服务器、统计上报接口服务器以及终端。其中,系统内各设备通过网络连接。
如图2b所示,一种图片风格转换方法,具体流程可以如下:
201、图片风格转换服务器从内容中心服务器获取待进行图片风格转换的文章内容,文章内容包括原始图片。
其中,文章内容还可以包括:文字,视频,音频等内容。实际应用中,该文章内容可以通过消息流的形式进行传输,如以Feeds流或者其他类型的消息流的形式进行传输。202、图片风格转换服务器确定风格转换所需的风格样式图片。
本实施例中图片的风格样式可以为图片展示时的风格样式。该风格样式可以依据展示效果划分为漫画风格样式(如二次元风格样式)、素描风格样式、油画风格样式、电影风格样式等等。
其中,风格样式图片为展示时呈现相应风格样式或风格的样本图片,比如,可以为具有动漫风格的样本图片。
一种风格样式可以对应一张或者多张不同的风格样式图片,比如,风格样式为油画风格样式图片1、油画风格样式图片2……油画风格样式图片m均对应油画风格样式。也就是说,不同的风格样式图片可以具有相同的风格样式。同一种风格样式的不同风格样式图片展示时图片内容不同,但是呈现的风格时相同。
实际应用中,风格转换所需的风格样式图片包括一种风格样式图片,也可以包括多种风格样式图片。比如,风格样式图片可以为动漫风格样式图片,或者可以包括动漫风格样式图片、油画风格样式图片。
可选地,了减少图片转换的计算操作,节省服务器资源,本实施例可以在文章内容达到一定条件时,才进行图片风格转换。比如,在文章内容的属性信息满足预设条件时,才对文章内容中的图片进行风格转换。也即,图片风格转换服务器可以获取文章内容的属性信息;确定该属性信息是否满足预设条件;若是,则执行确定风格转换所需的风格样式图片的步骤,若否,则结束流程。
其中,文章内容的属性信息可以包括:文章内容的内容属性信息、文章内容的图片属性信等。该内容属性信息可以包括文章内容所属的内容类别,比如可以将文章内容按照定义的规则划分为财经、科技、人文等内容类别。该文章内容的图片属性信息可以包括文章内容中图片的数量、文章内容中图片的图片占比。
本实施例中,预设条件可以根据实际需求设定,比如,在属性信息包括文章内容所属的内容类别时,预设条件可以包括:文章内容所属的内容类别为预设类别;比如,在属性信息包括图片的数量时,预设条件可以包括:图片的数量大于预设数量;又比如,在属性信息包括图片占比时,预设条件可以包括图片的占比大于预设阈值。
203、图片风格转换服务器建立多层卷积神经网络模型,并基于反向传播(BP)算法对该多层卷积神经网络模型进行训练,其中,该多层卷积神经网络模型包括多个卷积层。
其中,多层卷积神经网络模型可以包括多个卷积层等网络层,此外,还可以包括、池化层、全连接层、输入层、激活函数层等等。卷积层的作用是提取图像的各种特征;卷积层是卷积核在上一级输入层上通过逐一滑动窗口计算而得,卷积核中的每一个参数都相当于传统神经网络中的权值参数,与对应的局部像素相连接,将卷积核的各个参数与对应的局部像素值相乘之和,(通常还要再加上一个偏置参数),得到卷积层上的结果。池化层的作用是对原始特征信号进行抽象,从而大幅度减少训练参数,另外还可以减轻模型过拟合的程度。
204、基于训练后的多层卷积神经网络模型分别提取风格样式图片的风格特征信息以及原始图片的图片内容。
本实施例通过一个经过训练的多层卷积神经网络模型,可以观察不同层次对图像特征识别的演变过程。在每个块中,显示一个随机选择的子集的特征。通过可视化处理,可以发现图片在多层卷积神经网络中层层传输进行特征提取和抽象,在层层传输中图像越来越抽象,最终可以提取出图片的高层次的特征信息即风格特征信息。
本实施例还可以通过一个经过训练的多层卷积神经网络模型,可以观察不同层次对图像特征识别的演变过程,将图片内容与高级特征分离,从而提取图片的图片内容。
比如,参考图2c,以风格样式图片为油画风格图片、原始图片为普通照片为例,可以将这两个张图片分别输入多层卷积神经网络模型,多层卷积神经网络模型将会对图片层层提取特征和抽象,进而提取油画风格特征信息以及原始图片的图片内容,然后基于提取的特征信息和图片内容生成油画风格的图片。
图2c中,a有个别名是conv1_1,b是conv2_1,依次类推,c,d,e对应conv3_1,conv4_1,conv5_1;输入图片有风格图片style image和内容图片content image,输出的是就是合成图片,然后用合成图片为指导训练,但是训练的对象不像是普通的神经网络那样训练权值w和偏置项b,而是训练合成图片上的像素点,以达到损失函数不断减少的效果。论文使用的是随机的噪声像素图为初始合成图,但是使用原始图片会快一点。
205、图片风格转换服务器根据该风格特征信息和该图片内容生成相应风格的目标图片,得到具有相应图片风格的目标文章内容。
比如,针对文章内容中的每个原始图片,图片风格转换服务器可以采用多层卷积神经网络模型提取每个原始图片的图片内容,然后,根据风格特征信息以及每个原始图片的图片内容生成相应风格的图片;也即可以分别将每个原始图片转换成相应风格的图片。
在将文章内容中每个原始图片转换成相应风格的图片之后,可以根据风格转换后的图片生成相应图片风格的目标文章内容。比如,根据风格转换后的图片以及文章内容中其他内容组装生成相应图片风格的目标文章内容。该其他内容为文章内容中除了原始图片以外的内容,如文字内容等。
在提取风格特征和图片内容之后,可以定义风格损失函数,按照损失函数梯度最小化原则,生成相应风格的图片;具体地,按照损失函数梯度最小化原则,根据该风格特征信息和该图片内容生成相应风格的图片。
其中,损失函数可以基于内容损失函数与风格损失函数构成,比如可以为内容损失函数与风格损失函数之和。其中,内容损失函数表征最终生成图片相对于原始图片在内容上的损失,风格损失函数为表征最终生成图片相对于原始图片在风格上的损失。
比如,损失函数公式可以如下:
Figure GDA0002959769730000151
其中,Ltotal为损失函数,Lstyle为风格损失函数,表示最终生成图x和风格样式图(style图)a在风格样式上的loss,Lcontent为内容损失函数,表示最终生成图x和原始图(content图)p在内容上的loss。α,β是调节两者比例的参数。
通过多层卷积神经网络模型提取原始图片的图片内容以及油画风格图片的油画风格特征信息之后,可以将图片内容与油画风格特征信息组合从而可以将原始图片转换为油画风格的图片,参考图2d,在图2d中content图片为原始图片,style图片为油画风格图片,pastiche为生成图片。
206、图片风格转换服务器将目标文章内容同步到内容组装服务器,内容组装服务器对目标文章内容进行图片尺寸适配处理后,将处理后的目标文章内容保存在内容中心服务器。
为了能够让文章内容中图片能够在终端上显示,内容组装服务器需要根据终端的大小对图片进行尺寸裁剪和适配。比如原始图像图片一般为了在手机上展示,内容组装服务器会对图片的图像分辨率进行适配处理并保存原始版本,清晰版本的分辨率一般为600*900,640*480,320*200等几种规格的Feeds样式。
207、内容推送服务器可以从内容中心服务器获取目标文章内容,并发送给相应的终端。
以动漫风格为例,本实施例可以通过图片风格转换服务器将文章内容的封面图片转换成动漫风格的封面图片,然后,将动漫风格的封面图片通过内容推送服务器发送给终端展示。参考图2e,在消息展示界面中,最上面的三个封面图片均通过图片风格转换服务器转换动漫风格的封面图片。
可选地,在通过图片风格转换服务器预先将图片转换成相应风格的图片之后,该图片风格转换服务器可以将风格转换后的图片同步到内容存储服务器中。为了方便用户可以查看到多种风格的图片,本实施例还可以当用户点击文章内容的封面打开内容详情页后,在内容详情页当中展示的各种图片的上提供一个新的风格的入口,点击后可以看到全新的风格展示的图片;该入口的形式可以有多种,如图标、文字等形式。参考图2f,在用户打开内容详情页收,该内容详情页面在每个图片的上增加一个风格转换入口(即“风格转换”),当用户点击该入口后,终端会向通过内容推送服务器从内容存储服务器中、或者直接从内容存储服务器中获取相应风格的该图片。比如,参考图2f,当用户点击一张图片的风格转换入口,终端可以从内容存储服务器中获取动漫风格的该图片,并展示。
实际应用中,可能一个文章内容会对应不同的图片风格(比如当存在多个种风格样式图片时),为了能够选取最佳图片风格,以提高点击转换率,那么此时可以将不同图片风格的文章内容发送给不同的终端群,然后,基于终端群上报的点击操作行为数量选取最佳图片风格。具体如下:
在本实施例中如果存在多种风格样式图片和多种图片风格的目标文章内容时,内容存储中心服务器可以通过内容推送服务器,将具有不同图片风格的目标文章内容分别发送给不同的终端群(各终端群的终端数量可以相同,也可以不相同,其中,终端群可以随机选取),然后,图片风格转换服务器可以通过统计分析系统、统计上报接口服务器接收各终端群内终端上报的用户针对相应图片风格的目标文章内容的点击操作行为数据,根据上报的点击操作行为数据,从该多种风格样式图片中选取目标风格样式图片。在选取目标风格样式图片之后,可以将风格转换所需的风格样式图片为该目标风格样式图片,这样便可以将待进行图片风格转换的文章内容内的图片,转换为与目标风格样式图片相同风格的图片。
由上可知,本发明实施例采用获取待进行图片风格转换的文章内容,该文章内容包括图片,然后,确定风格转换所需的风格样式图片,基于卷积神经网络从该风格样式图片中提取相应的风格特征信息,根据该风格特征信息对该文章内容中的图片进行风格转换,得到具有相应图片风格的目标文章内容,向终端发送该目标文章内容,以便终端展示该目标文章内容。由于该方案可以在服务器上实现图片风格转换,由于服务器的处理能相比终端较强,并且该方案在图片风格转换时无需用户进行操作,因此,可以提高图片风格转换的速度,进而提高图片风格转换的效率。
此外,该方案可以将文章内容中图片转换成所需的图片风格,实现了文章内容图片的个性化,可以提升用户点击转化效果,增加用户粘性。
实施例三、
根据实施例一和实施例二所描述的方法,本实施例提供一种图片风格转换系统,该系统的架构和流程如图3所示。
下面将以文章内容通过Feeds消息流的形式传输为例,来详细描述图3所示系统中各服务模块的主要功能,具体如下:
一.即时通讯客户端
(1)发送和接收文字,图片,视频,音频等内容及内容的展示;
(2)通过内容获取及推送接口服务器从服务器拉取内容或者内容更新的通知,然后主动向服务器拉取内容,同时通过上行通道,将用户侧用户的各种订阅的兴趣信息保存在订阅关系链服务当作,比如兴趣爱好是娱乐,科技,视频,订阅了体育,篮球或者足球等信息;
(3)向统计服务器上报获取到服务器推送的内容标识和用户操作信息的点击操作行为数据,比如阅读时长,点击次数,视频内容观看次数及播放过程当作的缓冲停留信息等;
(4)Feeds消息流内容展示模块,按照用户操作的行为在终端展示不同风格的Feeds封面图,比如用户点击打开详情页后也可以查看不同风格的详情页内容等;
(5)Feeds及用户点击行为和环境上报模块,收集用户当前网络环境(WIFI、2G/3G/4G、运营商信息)及用户对Feeds中间信息的点击操作行为和Feeds文章的曝光数据,上报给统计上报接口服务器;
二.内容获取及推送接口服务器
(1)C(客户端)和B(服务端)相互通讯的接口服务器,供终端访问后端内容和接受内容的推送;
(2)从推荐引擎和订阅引擎获取用户需要内容的索引信息,通常是内容的标题,发布者,摘要,封面图,发布时间,文章对应的ID等;
(3)依据索引信息从内容存储中心获取对应的内容提供给终端,也可以将这些索引信息直接下发给终端,由终端直接从内容存储中心获取对应的内容;
三.内容缓存服务器
(1)对于不能及时下发到终端的内容,临时保存在内容缓存服务器,待C侧用户上线后在推送,通常缓存时间可以定制,一般为48小时;
四.推荐引擎服务器
(1)接收内容中心的原始内容的推送,同时通过统计分析系统收集用户行为和用户的画像数据;
(2)依据内容和用户的行为和画像,在已有的内容中心提供的规范化的内容上采用多种推荐算法比如协同过滤算法,基于相似用户行为的推荐或者基于用户画像的推荐,为每个用户生存一个推荐内容队列;
(3)用户主动刷新拉取内容的时候,通过内容获取和推送接口服务从推荐引擎服务获取推荐的内容信息;
五.订阅引擎服务器
(1)主要是现有的公众号订阅系统,用户主动关注一些号主,用户成为这些B侧号主的粉丝,相当于订阅了这些号主的内容,这些内容有更新发布时候通过订阅引擎可以推送对应的更新内容;
(2)用户除了关注号主外,可以主动订阅一些主题关键词比如体育,足球,篮球或者热门事件的内容,形成新的订阅关系链服务,能够借助这些更加精准为用户提供内容。
六.内容存储中心服务器
(1)通常是一组分布范围很广,离C侧用户很久的就近接入服务器,缓存了最新的热门内容,他的内容源来自组织服务器;
(2)他可以直接为终端提供服务也可以为内容获取及推送接口服务。
七.内容组装和拼接服务器
(1)从内容中心获取推送的内容,按照内容适合移动端的字体和样式及布局组装内容,同时将内容推送给内容存储中心器;
(2)接收图片风格转换服务器同步的风格转换后的图片,并可以将图片拼装为一个不同图片风格的样式内容文件供最后输出使用。
八.内容中心
(1)接受审核系统审核通过的合法内容;
(2)对内容进行处理和过滤,建立内容分级和质量评估体系,确保提供给推荐引擎推荐的内容是优质的适合曝光的内容。
九.审核系统
(1)通常有人工和机器审核想结合,主要是确保推送的内容符合当地法律和政策允许的访问;
(2)审核的内容来自自媒体主动发布和网络爬虫从公共网络上获取的;
十.订阅关系链服务器
(1)用来保存和记录内容主题和订阅C侧用户之间的关系,通常形式是一个主题词A标识一个内容源,一个集合B标识可以接受内容主题A可以发送对应内容的所有账号,二者之间形成的关系成为订阅关系链系统;
十一.自媒体发布系统
(1)公众号平台当中,运营订阅号自媒体用户发布内容的系统能够;
十二.内容收集服务器
(1)通常指网络爬虫系统,为了丰富内容来源,主动从互联网上收集和获取咨询内人,同时保留原始内容来源信息,作为推荐过程当作的长尾内容来源的补充;
十三.统计上报接口服务器
和即时通讯终端通讯,接受终端各种信息推到终端之后,用户的访问,浏览信息及操作点击行为流水日志信息的上报;
将上报的统计信息推送给统计分析系统;
十.统计分析系统
根据统计上报接口服务器推送的日志信息进行统计分析,计算出内容的点击率,达到率,转化率和用户画像及行为特征等基础结果数据;
与推荐引擎服务器通讯,提供基于终端用户消息行为统计信息和用户画像信息进行内容推荐服务;
十一.图片风格转换服务器
根据实施例一和实施例二描述的方式对图进行风格转换,将转换后的风格内容同步到内容组装和拼接服务器,然后在同步的内容存储中心供终端消费使用。
该图片风格转换服务器可以根据运营商的设置信息来设置转换所需的风格样式图片,比如,可以通过运营内容风格设置入口获取风格样式图片设置信息,然后,基于该哎设置信息设置风格转换所需的风格样式图片。
本发明提供了图片风格转换系统,可以在服务器端提前对号主发送和推送的内容进行图片风格转换、各种风格内容的预先生成和处理,同时对Feeds点击打看后正式的图文样式中图片的风格也提供多种风格的展示和查看入口,当终端用户匹配是典型的某种风格或者用户主动设置或者用户直接点击内容风格查看的个性化入口的时候,直接查看和浏览转换后新风格的内容。通过本发明系统能够实现图文内容的个性化展示方式,尤其是图片较多的内容,比如图集可以采用多种方式来变换图片的风格,比如二次元风格,内容更加个性化,增加对年轻用户的吸引和最终的点击转换效果,也可以增加和其他同类产品的差异。
实施例四、
为了更好地实施以上方法,本发明实施例还提供图片风格转换装置,如图4a所示,该图片风格转换装置包括:获取单元401、图片确定单元402、提取单元403、风格转换单元404和发送单元405,如下:
(1)获取单元401;
获取单元401,用于获取待进行图片风格转换的文章内容,该文章内容包括图片。
内容包括图片。
其中,该文章内容可以包括:文字,图片,视频,音频等内容中的至少一种,由于本实施例是对文章内容中图片进行风格转换,因此,本实施例中默认该文章内容至少包括图片。
该文章内容中的图片可以包括内容图片、文章内容的封面图片等图片中的至少一种。
(2)图片确定单元402;
图片确定单元402,用于确定风格转换所需的风格样式图片。
本实施例中图片的风格样式可以为图片展示时的风格样式。该风格样式可以依据展示效果划分为漫画风格样式(如二次元风格样式)、素描风格样式、油画风格样式、电影风格样式等等。
其中,风格样式图片为展示时呈现相应风格样式的样本图片,比如,可以为具有动漫风格的样本图片。该风格样式图片展示时呈现相应风格的展示效果。实际应用中风格转换所需的风格样式图片包括一种风格样式图片,也可以包括多种风格样式图片。
可选地,为了减少服务器计算,节省资源,参考图4b,该图片风格转换装置还可以包括属性确定单元406;
该属性确定单元406,用于获取文章内容的属性信息,确定该属性信息是否满足预设条件;
该图片确定单元402,用于在属性确定单元406确定该属性信息满足预设条件时,确定风格转换所需的风格样式图片。
(3)提取单元403;
提取单元403,用于基于卷积神经网络从该风格样式图片中提取相应的风格特征信息。
优先地,为能够精确地提取图片的风格特征信息,本实施例可以通过多层卷积神经网络来提取风格特征信息,提取单元403,可以包括:
模型建立子单元,用于建立多层卷积神经网络模型,该多层卷积神经网络模型包括多个卷积层;
特征提取子单元,用于基于该多层卷积神经网络模型从该风格样式图片中提取相应的风格特征信息。
具体地,多层卷积神经网络模型可以引入卷积自动分层地提取图片特征,进而提取出图片中的风格特征信息,其中,每一层由多个特征图组成,每一个特征图是由前一层输出与一个卷积核进行卷积运算和非线性变换得到,随后进行池化操作以降低输出维度,同时获得一定的特征不变性。通过可视化处理,可以发现图片在多层卷积神经网络中层层传输进行特征提取和抽象,在层层传输中图像越来越抽象,最终可以提取出图片的高层次的特征信息即风格特征信息。
其中,多层卷积神经网络模型可以包括多个卷积层等网络层,此外,还可以包括、池化层、全连接层、输入层、激活函数层等等。
为使得卷积神经网络具有输入输出对之间的映射能力,本实施例还需要对多层卷积神经网络模型进行训练,优选地,为了提高风格特征信息提取的精确性,可以采用反向传播算法对多层卷积神经网络模型进行训练。也即,特征提取子单元,可以用于基于反向传播算法对该多层卷积神经网络模型进行训练,根据训练后的多层卷积神经网络模型从该风格样式图片中提取相应的风格特征信息。
(4)风格转换单元404;
风格转换单元404,用于根据该风格特征信息对该文章内容中的图片进行风格转换,得到具有相应图片风格的目标文章内容。
其中,风格转换单元404,可以用于:基于卷积神经网络提取该文章内容中图片的图片内容;根据该风格特征信息和该图片内容生成相应风格的图片,得到具有相应图片风格的目标文章内容。
在提取风格特征信息之后,风格转换单元404便可以通过该风格特征信息将文章内容中的图片绘制成相应风格的图片。具体地,本实施例风格转换单元404同样可以通过卷积神经网络提取该文章内容中图片的图片内容,然后,将图片内容与之前提取的风格特征组合,便可以得到一张与风格样式图片具有相同风格的图片。
比如,风格转换单元404,可以用于基于上述多层卷积神经网络模型(如经过反向传播算法训练后的网络模型),对该文章内容中的图片进行风格转换,得到具有相应图片风格的目标文章内容。
当风格转换所需的风格样式图片包括多种风格样式图片时,风格转换单元404,可以用于根据每种风格样式图片对应的风格特征信息,分别对该文章内容中的图片进行风格转换,得到多个具有不同图片风格的目标文章内容。此时,相同的文章内容将会对应不同的图片风格。
实际应用中,为提高生成图片的质量,风格转换单元404可以用于按照损失函数梯度最小化原则,根据该风格特征信息和该图片内容生成相应风格的图片。
其中,损失函数可以基于内容损失函数与风格损失函数构成,比如可以为内容损失函数与风格损失函数之和。其中,内容损失函数表征最终生成图片相对于原始图片在内容上的损失,风格损失函数为表征最终生成图片相对于原始图片在风格上的损失。
比如,损失函数公式可以如下:
Figure GDA0002959769730000231
其中,Ltotal为损失函数,Lstyle为风格损失函数,表示最终生成图x和风格样式图(style图)a在风格样式上的loss,Lcontent为内容损失函数,表示最终生成图x和原始图(content图)p在内容上的loss。α,β是调节两者比例的参数。
本实施例中,在对文章内容中所有图片进行风格转换之后,可以基于风格转换后的图片以及文章内容中其他内容生成具有相应图片风格的目标文章内容,该其他内容为文章内容中除图片以外的内容。
(5)发送单元405;
发送单元405,用于向终端发送该目标文章内容,以便终端展示该目标文章内容。
比如,当存在具有不同图片风格的目标文章内容时,发送单元405,可以用于将具有不同图片风格的目标文章内容分别发送给不同的终端群,以便终端内终端展示相应图片风格的目标文章内容。
根据上述介绍,本实施例中一个文章内容可以对应多种不同的图片风格;本实施例可以将这些不同图片风格的文章内容分别发送给不同的终端群,然后,基于终端群内终端上报的点击操作行为数据来选择最优的图片风格,以提高图文内容的质量和点击转化效果。
具体地,参考图4c,该图片风格转换装置还可以包括:
接收单元407,用于在发送单元405将具有不同图片风格的目标文章内容分别发送给不同的终端群之后接收各终端群内终端上报的用户针对相应图片风格的目标文章内容的点击操作行为数据;
选取单元408,用于根据上报的点击操作行为数据,从该多种风格样式图片中选取目标风格样式图片;
更新单元409,用于将该风格转换所需的风格样式图片更新为该目标风格样式图片。
其中,点击操作行为数据可以包括:内容阅读时长,内容点击次数,视频内容观看次数及播放过程当作的缓冲停留信息等。
比如,选取单元408,用于根据上报的点击操作行为数据对不同的风格样式图片进行排序,然后,基于排序结果来选取目标风格样式图片,即最佳风格样式图片。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
该封面设置装置具体可以集成在服务器中,比如可以集成在图片风格转换服务器中。
由上可知,本发明实施例通过获取单元401获取待进行图片风格转换的文章内容,该文章内容包括图片,然后,由图片确定单元402确定风格转换所需的风格样式图片,由提取单元403基于卷积神经网络从该风格样式图片中提取相应的风格特征信息,由风格转换单元404根据该风格特征信息对该文章内容中的图片进行风格转换,得到具有相应图片风格的目标文章内容,由发送单元405向终端发送该目标文章内容,以便终端展示该目标文章内容。由于该方案可以在服务器上实现图片风格转换,服务器的处理能相比终端较强,并且该方案在图片风格转换时无需用户进行操作,因此,可以提高图片风格转换的速度,进而提高图片风格转换的效率。
此外,该方案可以将文章内容中图片转换成所需的图片风格,实现了文章内容图片的个性化,可以提升用户点击转化效果,增加用户粘性。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种图片风格转换方法、装置及系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种图片风格转换方法,其特征在于,包括:
通过网络从内容中心服务器中或者从内容发布终端获取待进行图片风格转换的文章内容,所述文章内容包括图片;
获取所述文章内容的属性信息,其中,所述属性信息包括所述文章内容的内容属性信息或所述文章内容的图片属性信息,所述内容属性信息包括文章内容所属的内容类别,所述图片属性信息包括文章内容中图片的数量、文章内容中图片的图片占比;
确定所述文章内容所属的内容类别是否为预设类别;或者确定所述图片的数量是否大于预设数量;或者确定所述图片的占比大于预设阈值;
若是,则确定风格转换所需的风格样式图片,其中,不同的所述风格样式图片具有相同的风格样式;
基于卷积神经网络从所述风格样式图片中提取相应的风格特征信息;
当风格转换所需的风格样式图片包括多种风格样式图片时,根据每种风格样式图片对应的风格特征信息,分别对所述文章内容中的图片进行风格转换,得到多个具有不同图片风格的目标文章内容;
将具有不同图片风格的目标文章内容分别发送给不同的终端群,以便终端内终端展示相应图片风格的目标文章内容。
2.如权利要求1所述的图片风格转换方法,其特征在于,基于卷积神经网络从所述风格样式图片中提取相应的风格特征信息,包括:
建立多层卷积神经网络模型,所述多层卷积神经网络模型包括多个卷积层;
基于所述多层卷积神经网络模型从所述风格样式图片中提取相应的风格特征信息。
3.如权利要求2所述的图片风格转换方法,其特征在于,基于所述多层卷积神经网络模型从所述风格样式图片中提取相应的风格特征信息,包括:
基于反向传播算法对所述多层卷积神经网络模型进行训练;
根据训练后的多层卷积神经网络模型从所述风格样式图片中提取相应的风格特征信息。
4.一种图片风格转换装置,其特征在于,包括:
获取单元,用于通过网络从内容中心服务器中或者从内容发布终端获取待进行图片风格转换的文章内容,所述文章内容包括图片;
属性确定单元,用于获取所述文章内容的属性信息,其中,所述属性信息包括所述文章内容的内容属性信息或所述文章内容的图片属性信息,所述内容属性信息包括文章内容所属的内容类别,所述图片属性信息包括文章内容中图片的数量、文章内容中图片的图片占比;所述属性确定单元还用于确定所述文章内容所属的内容类别是否为预设类别;或者确定所述图片的数量是否大于预设数量;或者确定所述图片的占比大于预设阈值;
图片确定单元,用于在所述属性确定单元确定满足预设条件时,确定风格转换所需的风格样式图片,其中,不同的所述风格样式图片具有相同的风格样式;
提取单元,用于基于卷积神经网络从所述风格样式图片中提取相应的风格特征信息;
风格转换单元,用于根据每种风格样式图片对应的风格特征信息,分别对所述文章内容中的图片进行风格转换,得到多个具有不同图片风格的目标文章内容;
发送单元,用于将具有不同图片风格的目标文章内容分别发送给不同的终端群,以便终端内终端展示相应图片风格的目标文章内容。
5.如权利要求4所述的图片风格转换装置,其特征在于,所述提取单元包括:
模型建立子单元,用于建立多层卷积神经网络模型,所述多层卷积神经网络模型包括多个卷积层;
特征提取子单元,用于基于所述多层卷积神经网络模型从所述风格样式图片中提取相应的风格特征信息。
6.一种图片风格转换系统,其特征在于,包括如权利要求4-5任一项所述的图片风格转换装置。
CN201710289348.0A 2017-04-27 2017-04-27 一种图片风格转换方法、装置及系统 Active CN107171932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710289348.0A CN107171932B (zh) 2017-04-27 2017-04-27 一种图片风格转换方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710289348.0A CN107171932B (zh) 2017-04-27 2017-04-27 一种图片风格转换方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107171932A CN107171932A (zh) 2017-09-15
CN107171932B true CN107171932B (zh) 2021-06-08

Family

ID=59813107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710289348.0A Active CN107171932B (zh) 2017-04-27 2017-04-27 一种图片风格转换方法、装置及系统

Country Status (1)

Country Link
CN (1) CN107171932B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107845072B (zh) * 2017-10-13 2019-03-12 深圳市迅雷网络技术有限公司 图像生成方法、装置、存储介质及终端设备
CN109522254B (zh) * 2017-10-30 2022-04-12 上海寒武纪信息科技有限公司 运算装置及方法
CN107730474B (zh) * 2017-11-09 2022-02-22 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN108876726A (zh) * 2017-12-12 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN108733439A (zh) * 2018-03-26 2018-11-02 西安万像电子科技有限公司 图像处理方法及装置
CN110580677A (zh) * 2018-06-08 2019-12-17 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN110580733A (zh) * 2018-06-08 2019-12-17 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN109064428B (zh) * 2018-08-01 2021-04-13 Oppo广东移动通信有限公司 一种图像去噪处理方法、终端设备及计算机可读存储介质
CN109308679B (zh) * 2018-08-13 2022-08-30 深圳市商汤科技有限公司 一种图像风格转换方法及装置、设备、存储介质
KR102546599B1 (ko) 2018-10-12 2023-06-23 삼성전자주식회사 디스플레이장치, 서버 및 그 제어방법
CN109636712B (zh) * 2018-12-07 2022-03-01 北京达佳互联信息技术有限公司 图像风格迁移及数据存储方法、装置和电子设备
US11354791B2 (en) * 2018-12-19 2022-06-07 General Electric Company Methods and system for transforming medical images into different styled images with deep neural networks
CN110197459B (zh) * 2019-05-15 2023-04-07 北京字节跳动网络技术有限公司 图像风格化生成方法、装置及电子设备
CN110189246B (zh) * 2019-05-15 2023-02-28 北京字节跳动网络技术有限公司 图像风格化生成方法、装置及电子设备
CN110297927B (zh) * 2019-05-17 2022-07-29 百度在线网络技术(北京)有限公司 文章发布方法、装置、设备及存储介质
CN110599393B (zh) * 2019-09-06 2023-07-25 深圳前海微众银行股份有限公司 图片风格转换方法、装置、设备及计算机可读存储介质
CN111986075B (zh) * 2020-08-12 2022-08-09 兰州交通大学 一种目标边缘清晰化的风格迁移方法
CN111932449B (zh) * 2020-09-17 2020-12-18 国网浙江省电力有限公司营销服务中心 自动巡检图像风格迁移显示方法
CN112969007B (zh) * 2021-02-02 2022-04-12 东北大学 一种面向虚拟三维背景的视频后期制作方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989584A (zh) * 2015-01-29 2016-10-05 北京大学 图像风格化重建的方法和装置
CN106327422A (zh) * 2015-07-01 2017-01-11 北京大学 一种图像风格化重建方法及装置
CN106778928A (zh) * 2016-12-21 2017-05-31 广州华多网络科技有限公司 图像处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989584A (zh) * 2015-01-29 2016-10-05 北京大学 图像风格化重建的方法和装置
CN106327422A (zh) * 2015-07-01 2017-01-11 北京大学 一种图像风格化重建方法及装置
CN106778928A (zh) * 2016-12-21 2017-05-31 广州华多网络科技有限公司 图像处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Image Style Transfer Using Convolutional Neural Networks;Leon A. Gatys;《2016 IEEE Conference on Computer Vision and Pattern Recognition》;20161212;第1-2节 *

Also Published As

Publication number Publication date
CN107171932A (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN107171932B (zh) 一种图片风格转换方法、装置及系统
US11301505B2 (en) Topic and time based media affinity estimation
CN109155136B (zh) 从视频自动检测和渲染精彩场面的计算机化系统和方法
JP6730335B2 (ja) ストリーミングメディアプレゼンテーションシステム
US9471936B2 (en) Web identity to social media identity correlation
US8478759B2 (en) Information presentation apparatus and mobile terminal
US11166076B2 (en) Intelligent viewer sentiment predictor for digital media content streams
CN107241622A (zh) 视频定位处理方法、终端设备及云端服务器
CN111507097B (zh) 一种标题文本处理方法、装置、电子设备及存储介质
US9020824B1 (en) Using natural language processing to generate dynamic content
KR20160055930A (ko) 연속적인 소셜 커뮤니케이션에 사용되는 콘텐츠를 능동적으로 구성하기 위한 시스템 및 방법
DE112016001594T5 (de) Verfahren, systeme und medien zum aggregieren und präsentieren von relevantem inhalt für ein bestimmtes videospiel
CN110366013A (zh) 推广内容推送方法、装置及存储介质
CN107103070B (zh) 一种封面设置方法、装置及系统
CN111432282B (zh) 一种视频推荐方法及装置
CN112685637B (zh) 一种智能设备的智能交互方法及智能设备
KR101674310B1 (ko) 영상 콘텐츠와 연관성을 갖는 광고를 제공하기 위한 광고 매칭 시스템 및 방법
CN112333554A (zh) 多媒体数据的处理方法、装置、电子设备以及存储介质
CN111901629A (zh) 生成、播放视频流的方法和装置
KR20220003204A (ko) 모바일 광고 제공 시스템 및 제공 방법
CN116932880A (zh) 信息推荐方法、装置、计算机设备、存储介质及程序产品
CN112445921A (zh) 摘要生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant