CN110599393A - 图片风格转换方法、装置、设备及计算机可读存储介质 - Google Patents
图片风格转换方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110599393A CN110599393A CN201910850390.4A CN201910850390A CN110599393A CN 110599393 A CN110599393 A CN 110599393A CN 201910850390 A CN201910850390 A CN 201910850390A CN 110599393 A CN110599393 A CN 110599393A
- Authority
- CN
- China
- Prior art keywords
- style
- picture
- model
- user
- style conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000000694 effects Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 61
- 238000013527 convolutional neural network Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 19
- 239000000463 material Substances 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003578 releasing effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图片风格转换方法、装置、设备及计算机可读存储介质，该方法包括：在接收到图片风格转换指令时，通过训练完成的点击率预估模型，确定用户对图片的偏好风格；根据所述用户的所述偏好风格，为训练完成的风格转换模型配置对应的风格参数；从所述风格转换指令中提取待转换图片，并提取所述待转换图片的内容特征信息和风格特征信息；将提取的所述内容特征信息和所述风格特征信息，输入至配置好相应风格参数的风格转换模型中进行风格转换处理，生成与所述用户的所述偏好风格相符的目标图片。本发明能够高效率地实现图片风格的千人千面效果，满足用户对图片风格的个性化需求。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图片风格转换方法、装置、设备及计算机可读存储介质。
背景技术
由于相对于文字，图片能提供更加直观和形象的内容，在众多领域中都通过展示图片来实现不同的目的，比如，在多媒体领域，以图片吸引用户的关注。
然而，随着互联网技术的不断发展，用户对图片风格的个性化需求也越来越高，仅靠设计师来创作图片风格，其类型毕竟有限，且非常耗时，难以满足用户对图片风格的个性化需求。
发明内容
本发明的主要目的在于提供一种图片风格转换方法、装置、设备及计算机可读存储介质，旨在解决仅靠设计师来创作图片风格，效率低，且创作的风格类型难以满足用户个性化需求的技术问题。
为实现上述目的，本发明提供一种图片风格转换方法，所述方法包括以下步骤：
在接收到图片风格转换指令时，通过训练完成的点击率预估模型，确定用户对图片的偏好风格；
根据所述用户的所述偏好风格，为训练完成的风格转换模型配置对应的风格参数；
从所述风格转换指令中提取待转换图片，并提取所述待转换图片的内容特征信息和风格特征信息；
将提取的所述内容特征信息和所述风格特征信息，输入至配置好相应风格参数的风格转换模型中进行风格转换处理，生成所述用户的所述偏好风格相符的目标图片。
可选地，所述图片风格转换方法还包括：
将与所述用户的所述偏好风格相符的目标图片，投放至图片投放平台，并从图片投放平台获取基于所述目标图片的投放效果数据；
基于所述投放效果数据，对所述风格转换模型进行进一步的训练。
可选地，所述通过训练完成的点击率预估模型，确定用户对图片的偏好风格的步骤包括：
获取用户的特征数据；
使用所述点击率预估模型分析所述用户的特征数据和备选素材风格特征，得到所述用户对所述备选素材风格特征的预估点击率；
根据所述用户对所述备选素材风格特征的所述预估点击率，确定所述用户对图片的偏好风格。
可选地，所述提取所述待转换图片的内容特征信息和风格特征信息的步骤包括：
通过预设卷积神经网络的内容卷积层从所述待转换图片中提取内容特征信息；
通过预设卷积神经网络的多个风格卷积层分别从所述待转换图片中提取语义信息，采用格拉姆矩阵算法对提取的所述语义信息进行相关性计算，得到风格特征信息。
可选地，所述在接收到图片风格转换指令时，通过训练完成的点击率预估模型，确定用户对图片的偏好风格的步骤之前，包括：
训练点击率预估模型，得到训练完成的点击率预估模型，以及，训练风格转换模型，得到训练完成的风格转换模型。
可选地，所述训练点击率预估模型的步骤包括：
构建FM模型，并从图片投放平台获取基于历史图片的历史投放数据；
根据所述历史投放数据，构建用于训练点击率预估模型的第一训练集；
根据所述第一训练集，对所述FM模型进行训练；
采用预设算法对所述FM模型进行更新，得到训练完成的点击率预估模型。
可选地，所述训练风格转换模型的步骤包括：
构建卷积神经网络模型，并初始化所述卷积神经网络模型的参数；
采用预设的用于训练所述卷积神经网络模型的第二训练集和风格样式图片，对所述卷积神经网络模型进行训练，优化损失函数；
根据所述损失函数，对所述卷积神经网络模型的参数进行更新，得到训练完成的风格转换模型。
此外，为实现上述目的，本发明还提供一种图片风格转换装置，所述图片风格转换装置包括：
确定模块，用于在接收到图片风格转换指令时，通过训练完成的点击率预估模型，确定用户对图片的偏好风格；
配置模块，用于根据所述用户的所述偏好风格，为训练完成的风格转换模型配置对应的风格参数；
提取模块，用于从所述风格转换指令中提取待转换图片，并提取所述待转换图片的内容特征信息和风格特征信息；
生成模块，用于将提取的所述内容特征信息和所述风格特征信息，输入至配置好相应风格参数的风格转换模型中进行风格转换处理，生成与所述用户的所述偏好风格相符的目标图片。
此外，为实现上述目的，本发明还提供一种图片风格转换设备，所述图片风格转换设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的交通数据的可视化程序，其中所述图片风格转换程序被所述处理器执行时，实现如上所述的图片风格转换方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图片风格转换程序，所述图片风格转换程序被处理器执行时实现如上所述的图片风格转换方法的步骤。
本发明提供一种图片风格转换方法、装置、设备及计算机可读存储介质，在接收到图片风格转换指令时，通过训练完成的点击率预估模型，确定用户对图片的偏好风格；根据所述用户的所述偏好风格，为训练完成的风格转换模型配置对应的风格参数；从所述风格转换指令中提取待转换图片，并提取所述待转换图片的内容特征信息和风格特征信息；将提取的所述内容特征信息和所述风格特征信息，输入至配置好相应风格参数的风格转换模型中进行风格转换处理，生成与所述用户的所述偏好风格相符的目标图片。本发明通过上述方式，利用风格转换模型，动态生成了符合用户喜好的图片风格，不仅效率较高，且实现了图片风格的千人千面效果，从而满足了用户的个性化需求。
附图说明
图1是本发明实施例方案涉及的图片风格转换设备的硬件结构示意图；
图2为本发明图片风格转换方法第一实施例的流程示意图；
图3为本发明图片风格转换方法第二实施例的流程示意图；
图4为本发明图片风格转换装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：在接收到图片风格转换指令时，通过训练完成的点击率预估模型，确定用户对图片的偏好风格；根据所述用户的所述偏好风格，为训练完成的风格转换模型配置对应的风格参数；从所述风格转换指令中提取待转换图片，并提取所述待转换图片的内容特征信息和风格特征信息；将提取的所述内容特征信息和所述风格特征信息，输入至配置好相应风格参数的风格转换模型中进行风格转换处理，生成与所述用户的所述偏好风格相符的目标图片。以解决仅靠设计师来创作图片风格，效率低，且创作的风格类型难以满足用户个性化需求的技术问题。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例涉及的图片风格转换方法可以由图片风格转换设备实现，该图片风格转换设备可以是PC、服务器等具有数据处理功能的设备。
参照图1，图1为本发明实施例方案中涉及的图片风格转换设备的硬件结构示意图。本发明实施例中，图片风格转换设备可以包括处理器1001(例如中央处理器CentralProcessing Unit、CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)；存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种可读存储介质的存储器1005可以包括操作系统、网络通信模块以及图片风格转换程序。在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的图片风格转换程序，并执行本发明实施例提供的图片风格转换方法。
本发明实施例提供了一种图片风格转换方法。
参照图2，图2为本发明图片风格转换方法第一实施例的流程示意图。
本实施例中，该图片风格转换方法由图片风格转换设备实现，该图片风格转换设备可以是PC、服务器等终端设备，可选为图1所示的设备，该图片风格转换方法包括以下步骤：
步骤S10，在接收到图片风格转换指令时，通过训练完成的点击率预估模型，确定用户对图片的偏好风格；
步骤S20，根据所述用户的所述偏好风格，为训练完成的风格转换模型配置对应的风格参数；
步骤S30，从所述风格转换指令中提取待转换图片，并提取所述待转换图片的内容特征信息和风格特征信息；
步骤S40，将提取的所述内容特征信息和所述风格特征信息，输入至配置好相应风格参数的风格转换模型中进行风格转换处理，生成与所述用户的所述偏好风格相符的目标图片。
在本实施例中，风格指的图片的纹理和颜色等构成视觉风格的要素，包括科技风、卡通风、哥特风、抽象风、毕加索风、油画风、莫奈风等。本实施例依据用户的特征，通过风格转换模型(Image Style Transfer，又称风格迁徙模型)，动态生成符合用户喜好的图片风格，不仅效率较高，且实现了图片风格的千人千面效果。
需要说明的是，本实施例的风格转换，是针对图片元素而言的，并不是针对整张图片，比如广告图片，可以对图片的前景、背景、装饰部分、文本部分、非文本部分等分别进行不同的风格转换，再进行组合，使得广告图片呈现丰富多样的风格。
以下详细介绍本实施例实现图片风格转换的具体步骤：
步骤S10，在接收到图片风格转换指令时，采用训练完成的点击率预估模型，确定每类用户对图片的偏好风格；
在本实施例中，具有图片风格转换需求的人员，可以在图片风格转换设备触发图片风格转换指令，该图片风格转换指令中携带待转换图片。为了将待转换图片转换为更适合用户(用户指的是将待转换图片进行转换风格后得到的目标图片的受众)的风格，风格转换设备在接收到图片风格转换指令时，首先预测用户对图片的偏好风格，而衡量偏好风格的重要指标则是用户对相应风格图片的点击率，由此，本实施例通过点击率预估模型，预测各类用户对图片的偏好风格。具体地，步骤S10包括：
A、获取用户的特征数据；
B、使用所述点击率预估模型分析所述用户的特征数据和备选素材风格特征，得到所述用户对所述备选素材风格特征的预估点击率；
C、根据所述用户对所述备选素材风格特征的所述预估点击率，确定所述用户对图片的偏好风格。
即，首先获取用户的特征数据，该特征数据是用户的属性数据，包括用户的年龄、性别、地域、机型等，然后将用户的特征数据，分别与预设的每组备选素材风格特征一起输入至训练完成的点击率预估模型中进行分析，得到点击率预估模型输出的用户对每组素材风格特征的预估点击率，用户对每组素材风格特征的预估点击率也表示了用户与每组素材风格特征之间的匹配程度，将匹配程度较高的素材风格特征的风格，作为用户的偏好风格。
由此，便可通过训练完成的风格转换模型对待转换图片进行风格转换处理，以生成风格符合用户喜好的目标图片。
步骤S20，根据所述用户的所述偏好风格，为训练完成的风格转换模型配置对应的风格参数；
具体地，目标图片的风格可以通过调整风格转换模型的风格参数进行控制，由此可以根据用户的偏好风格，为训练完成的风格转换模型配置对应的风格参数。
步骤S30，从所述风格转换指令中提取待转换图片，并提取所述待转换图片的内容特征信息和风格特征信息；
之后，从风格转换指令中提取待转换图片，并提取待转换图片的内容特征信息和风格特征信息。其中，步骤S30包括：
D，通过预设卷积神经网络的内容卷积层从所述待转换图片中提取内容特征信息；
E，通过预设卷积神经网络的多个风格卷积层分别从所述待转换图片中提取语义信息，采用格拉姆矩阵算法对提取的所述语义信息进行相关性计算，得到风格特征信息。
即，本实施例采用卷积神经网络提取待转换图片的内容特征信息和风格特征信息。首先介绍如何从待转换图片中提取内容特征信息。卷积神经网络中的每一层都可视为一个特征提取器，其输入为前一层的输出，其输出为该层所提取的特征，不同深度的特征层所表示的图像内容，在语义的层级上有所不同，通常来说，层的深度越大，所提取的特征的语义越高级和抽象。浅层网络获取低级图像特征如点、线、角等，深层网络捕获高层语义特征如眼睛、鼻子、嘴巴等，即图像内容的语义表示。图片风格变换需要保留图像的高层语义信息，因此将待转换图片输入至卷积神经网络，选择卷积神经网络的较深层(定义为内容卷积层)的输出特征作为内容特征。
如上所述，卷积神经网络模型的不同层次表示了不同层级的语义信息(从低到高)，尽管语义层级不同，但是其风格特征具有一致性，因此通过计算层的输出的值之间的相关性，可用于表示图像风格特征。那么，对于待转换图片的风格特征信息的提取，则可以通过卷积神经网络的多个不同层级的卷积层(定义为风格卷积层)从待转换图片中提取语义信息，再采用Gram matrix(格拉姆矩阵)算法计算各层输出的语义信息之间的相关性，得到风格特征信息。其中，采用Gram matrix算法计算各层输出的语义信息之间的相关性的具体过程可参照现有技术，此处不作赘述。
步骤S40，将提取的所述内容特征信息和所述风格特征信息，输入至配置好相应风格参数的风格转换模型中进行风格转换处理，生成与所述用户的所述偏好风格相符的目标图片。
之后，便可将待转换图片的内容特征信息和风格特征信息，输入至配置好相应风格参数的风格转换模型中，进行风格转换处理，生成与用户的偏好风格相符的目标图片，从而高效率地实现了图片风格的千人千面效果。
在接收到图片风格转换指令时，通过训练完成的点击率预估模型，确定用户对图片的偏好风格；根据所述用户的所述偏好风格，为训练完成的风格转换模型配置对应的风格参数；从所述风格转换指令中提取待转换图片，并提取所述待转换图片的内容特征信息和风格特征信息；将提取的所述内容特征信息和所述风格特征信息，输入至配置好相应风格参数的风格转换模型中进行风格转换处理，生成与所述用户的所述偏好风格相符的目标图片。本实施例通过上述方式，利用风格转换模型，动态生成了符合用户喜好的图片风格，不仅效率较高，且实现了图片风格的千人千面效果，从而满足了用户的个性化需求。
进一步地，参照图3，基于上述第一实施例，提出了本发明图片风格转换方法的第二实施例，与第一实施例的区别在于，所述图片风格转换方法还包括：
步骤S50，将与用户的所述偏好风格相符的目标图片，投放至图片投放平台，并从图片投放平台获取基于所述目标图片的投放效果数据；
步骤S60，基于所述投放效果数据，对所述风格转换模型进行进一步的训练。
由于风格转换模型的效果并没有直接的评估方式，本实施例通过将生成的与用户的偏好风格相符的目标图片投放至图片投放平台，利用图片投放平台的反馈数据评估风格转换模型的效果，并利用图片投放平台的反馈数据对风格转换模型不断调整和优化。例如，若对广告图片进行风格转换，则可以将风格转换后的广告图片投放至DSP(Demand SidePlatform，需求方平台)，从而利用DSP的反馈数据评估风格转换模型的效果，并对风格转换模型不断调整和优化。
即，将与用户的偏好风格相符的目标图片投放至图片投放平台投放至图片投放平台，并从图片投放平台获取基于目标图片的投放效果数据，该投放效果数据包括目标图片的实际点击率，以及，用户中实际点击了目标图片的用户(定义为新用户)。
之后，基于目标图片的投放效果数据，采用强化学习Actor-Critic算法，以风格转换模型作为actor网络，以点击率预估模型作为critic网络，对风格转换模型进行进一步的训练。具体地，将新用户的特征和目标图片的风格特征一起输入至训练完成的点击率预估模型中进行分析，得到对目标图片的预估点击率，然后将目标图片的预估点击率与目标图片的实际点击率进行比对，若二者之间的差值越小，说明风格转换模型的效果越好，则以目标图片为风格样式图片，对风格转换模型进行进一步训练。同时，还以新用户的特征和目标图片的风格特征对点击率预估模型进行更新，以获得更准确的点击率预估。
通过上述方式，可以理解的是，利用不断生成的目标图片，则可以对风格转换模型不断调整和优化，而通过不断调整和优化过的风格转换模型，则可以生成更适合受众的目标图片。
进一步地，基于上述第一实施例，提出了本发明图片风格转换方法的第三实施例，与第一实施例的区别在于，所述步骤S10之前，包括：
G，训练点击率预估模型，得到训练完成的点击率预估模型，以及，训练风格转换模型，得到训练完成的风格转换模型。
可以理解的是，在步骤S10之前，需训练点击率预估模型和训练风格转换模型。
其中，所述训练点击率预估模型的步骤包括：
G1，构建因子分解机FM模型，并从图片投放平台获取基于历史图片的历史投放数据；
G2，根据所述历史投放数据，构建用于训练点击率预估模型的第一训练集；
G3，根据所述第一训练集，对所述FM模型进行训练，并采用预设算法对所述FM模型进行更新，得到训练完成的点击率预估模型。
在本实施例中，点击率预估模型具体可以是FM(Factorization Machine，因子分解机)模型，FM因子分解机基于因此分解，能拟合用户特征和素材风格特征之间的相关性，比如用户-背景风格，用户-前景风格等交叉项特征。
具体地，先构建因子分解机FM模型，并从图片投放平台获取基于历史图片的历史投放数据，该历史投放数据包括历史图片的风格和历史图片受众的特征，以历史图片的风格和历史图片受众的特征构建用于训练点击率预估模型的训练集(定义为第一训练集)，将第一训练集输入至FM模型进行训练。考虑到实际中，图片投放平台的投放数据在不断地更新，因此也可以采用在线学习FTRL算法，以利用不断新增的投放数据，对FM模型进行更新，从而得到更加优化的点击率预估模型。
其中，所述训练风格转换模型的步骤包括：
G4，构建卷积神经网络模型，并初始化所述卷积神经网络模型的参数；
G5，采用预设的用于训练所述卷积神经网络模型的第二训练集和风格样式图片，对所述卷积神经网络模型进行训练，优化损失函数；
G6，根据所述损失函数，采用梯度下降算法对所述卷积神经网络模型的参数进行更新，得到训练完成的风格转换模型。
在本实施例中，风格转换模型具体可以是卷积神经网络(CNN)模型。需要说明的是，本实施例预先设置用于训练所述卷积神经网络模型的第二训练集im_dataset和风格样式图片im_style。
以下介绍训练风格转换模型的过程：
首先构建卷积神经网络模型，并初始化卷积神经网络模型的参数，该卷积神经网络模型为编码器-解码器结构，将第二训练集im_dataset中的样本图片im输入至卷积神经网络模型进行编码和解码，得到卷积神经网络模型输出的重建图片im_transferred。然后提取样本图片im的内容特征fea_content_im，提取重建图片im_transferred的内容特征fea_content_im-transferred和风格特征fea_style_im_transferred，提取风格样式图片im_style的风格特征fea-im-style。之后，根据上述提取的特征对初始化卷积神经网络模型进行训练，并计算内容损失函数loss_content＝Loss(fea_content_im,fea_content_im_transferred)和风格损失函数loss_style＝Loss(fea_im_style,ffea_style_im_transferred)，基于内容损失函数和风格损失函数得到最终损失函数J(W)＝α*loss_content+β*loss_style。再根据所述损失函数，采用梯度下降算法对卷积神经网络模型的参数进行更新，即可得到训练完成的风格转换模型。
此外，本发明实施例还提供一种图片风格转换装置。
参照图4，图4为本发明图片风格转换装置第一实施例的功能模块示意图。
本实施例中，所述图片风格转换装置包括：
确定模块10，用于在接收到图片风格转换指令时，通过训练完成的点击率预估模型，确定用户对图片的偏好风格；
配置模块20，用于根据所述用户的所述偏好风格，为训练完成的风格转换模型配置对应的风格参数；
提取模块30，用于从所述风格转换指令中提取待转换图片，并提取所述待转换图片的内容特征信息和风格特征信息；
生成模块40，用于将提取的所述内容特征信息和所述风格特征信息，输入至配置好相应风格参数的风格转换模型中进行风格转换处理，生成与所述用户的所述偏好风格相符的目标图片。
其中，上述图片风格转换装置的各虚拟功能模块存储于图1所示图片风格转换设备的存储器1005中，用于实现图片风格转换程序的所有功能；各模块被处理器1001执行时，实现了对检测区域的数据挖掘和对挖掘结果的动态的可视化呈现，能够动态生成符合用户喜好的图片风格，不仅效率较高，且实现了图片风格的千人千面效果，从而满足了用户的个性化需求。
进一步的，所述图片风格转换装置，还包括：
投放模块，用于将与所述用户的所述偏好风格相符的目标图片，投放至图片投放平台，并从图片投放平台获取基于所述目标图片的投放效果数据；
训练模块，用于基于所述投放效果数据，对所述风格转换模型进行进一步的训练。
进一步的，所述确定模块10包括：
获取单元，用于获取用户的特征数据；
分析单元，用于使用所述点击率预估模型分析所述用户的特征数据和备选素材风格特征，得到所述用户对所述备选素材风格特征的预估点击率；
确定单元，用于根据所述用户对所述备选素材风格特征的所述预估点击率，确定所述用户对图片的偏好风格。
进一步的，所述提取模块30包括：
第一提取单元，用于通过预设卷积神经网络的内容卷积层从所述待转换图片中提取内容特征信息；
第二提取单元，用于通过预设卷积神经网络的多个风格卷积层分别从所述待转换图片中提取语义信息，采用格拉姆矩阵算法对提取的所述语义信息进行相关性计算，得到风格特征信息。
进一步的，所述训练模块，还用于训练点击率预估模型，得到训练完成的点击率预估模型，以及，训练风格转换模型，得到训练完成的风格转换模型。
进一步的，所述训练模块包括：
第一构建单元，用于构建分解机FM模型，并从图片投放平台获取基于历史图片的历史投放数据；还用于根据所述历史投放数据，构建用于训练点击率预估模型的第一训练集；
第一训练单元，用于根据所述第一训练集，对所述FM模型进行训练；
第一更新单元，用于采用预设算法对所述FM模型进行更新，得到训练完成的点击率预估模型。
进一步的，所述训练模块还包括：
第二构建单元，用于构建卷积神经网络模型，并初始化所述卷积神经网络模型的参数；
第二训练单元，用于采用预设的用于训练所述卷积神经网络模型的第二训练集和风格样式图片，对所述卷积神经网络模型进行训练，优化损失函数；
第二更新单元，用于根据所述损失函数，采用梯度下降算法对所述卷积神经网络模型的参数进行更新，得到训练完成的风格转换模型。
其中，上述图片风格转换装置中各个模块的功能实现与上述图片风格转换方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
此外，本发明实施例还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有图片风格转换程序，其中所述图片风格转换程序被处理器执行时，实现如上述的图片风格转换方法的步骤。
其中，图片风格转换程序被执行时所实现的方法可参照本发明图片风格转换方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种图片风格转换方法，其特征在于，所述图片风格转换方法包括以下步骤：
在接收到图片风格转换指令时，通过训练完成的点击率预估模型，确定用户对图片的偏好风格；
根据所述用户的所述偏好风格，为训练完成的风格转换模型配置对应的风格参数；
从所述风格转换指令中提取待转换图片，并提取所述待转换图片的内容特征信息和风格特征信息；
将提取的所述内容特征信息和所述风格特征信息，输入至配置好相应风格参数的风格转换模型中进行风格转换处理，生成与所述用户的所述偏好风格相符的目标图片。
2.如权利要求1所述图片风格转换方法，其特征在于，所述图片风格转换方法还包括：
将与所述用户的所述偏好风格相符的目标图片，投放至图片投放平台，并从图片投放平台获取基于所述目标图片的投放效果数据；
基于所述投放效果数据，对所述风格转换模型进行进一步的训练。
3.如权利要求1所述图片风格转换方法，其特征在于，所述通过训练完成的点击率预估模型，确定用户对图片的偏好风格的步骤包括：
获取用户的特征数据；
使用所述点击率预估模型分析所述用户的特征数据和备选素材风格特征，得到所述用户对所述备选素材风格特征的预估点击率；
根据所述用户对所述备选素材风格特征的所述预估点击率，确定所述用户对图片的偏好风格。
4.如权利要求1所述图片风格转换方法，其特征在于，所述提取所述待转换图片的内容特征信息和风格特征信息的步骤包括：
通过预设卷积神经网络的内容卷积层从所述待转换图片中提取内容特征信息；
通过预设卷积神经网络的多个风格卷积层分别从所述待转换图片中提取语义信息，采用格拉姆矩阵算法对提取的所述语义信息进行相关性计算，得到风格特征信息。
5.如权利要求1所述图片风格转换方法，其特征在于，所述在接收到图片风格转换指令时，通过训练完成的点击率预估模型，确定用户对图片的偏好风格的步骤之前，包括：
训练点击率预估模型，得到训练完成的点击率预估模型，以及，训练风格转换模型，得到训练完成的风格转换模型。
6.如权利要求5所述图片风格转换方法，其特征在于，所述训练点击率预估模型的步骤包括：
构建因子分解机FM模型，并从图片投放平台获取基于历史图片的历史投放数据；
根据所述历史投放数据，构建用于训练点击率预估模型的第一训练集；
根据所述第一训练集，对所述FM模型进行训练；
采用预设算法对所述FM模型进行更新，得到训练完成的点击率预估模型。
7.如权利要求5所述图片风格转换方法，其特征在于，所述训练风格转换模型的步骤包括：
构建卷积神经网络模型，并初始化所述卷积神经网络模型的参数；
采用预设的用于训练所述卷积神经网络模型的第二训练集和风格样式图片，对所述卷积神经网络模型进行训练，优化损失函数；
根据所述损失函数，对所述卷积神经网络模型的参数进行更新，得到训练完成的风格转换模型。
8.一种图片风格转换装置，其特征在于，所述图片风格转换装置包括：
确定模块，用于在接收到图片风格转换指令时，通过训练完成的点击率预估模型，确定用户对图片的偏好风格；
配置模块，用于根据所述用户的所述偏好风格，为训练完成的风格转换模型配置对应的风格参数；
提取模块，用于从所述风格转换指令中提取待转换图片，并提取所述待转换图片的内容特征信息和风格特征信息；
生成模块，用于将提取的所述内容特征信息和所述风格特征信息，输入至配置好相应风格参数的风格转换模型中进行风格转换处理，生成与所述用户的所述偏好风格相符的目标图片。
9.一种图片风格转换设备，其特征在于，所述图片风格转换设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的交通数据的可视化程序，其中所述图片风格转换程序被所述处理器执行时，实现如权利要求1至7中任一项所述的图片风格转换方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图片风格转换程序，所述图片风格转换程序被处理器执行时实现如权利要求1至7中任一项所述的图片风格转换方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910850390.4A CN110599393B (zh) | 2019-09-06 | 2019-09-06 | 图片风格转换方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910850390.4A CN110599393B (zh) | 2019-09-06 | 2019-09-06 | 图片风格转换方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110599393A true CN110599393A (zh) | 2019-12-20 |
| CN110599393B CN110599393B (zh) | 2023-07-25 |
Family
ID=68858325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910850390.4A Active CN110599393B (zh) | 2019-09-06 | 2019-09-06 | 图片风格转换方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110599393B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233015A (zh) * | 2020-10-19 | 2021-01-15 | 珠海金山网络游戏科技有限公司 | 一种图片风格转换方法及装置 |
| CN112308942A (zh) * | 2020-11-18 | 2021-02-02 | 北京京东尚科信息技术有限公司 | 用于生成图像的方法和装置 |
| CN113490028A (zh) * | 2021-06-01 | 2021-10-08 | 深圳喜悦机器人有限公司 | 视频处理方法、装置、存储介质以及终端 |
| CN114037599A (zh) * | 2021-09-16 | 2022-02-11 | 福建大娱号信息科技股份有限公司 | 一种基于自然环境场景信息的智能抠像方法、装置以及存储介质 |
| CN114757816A (zh) * | 2022-03-29 | 2022-07-15 | 佛山市太火红鸟科技有限公司 | 基于草图的图片转换方法、装置、设备及存储介质 |
| CN114863256A (zh) * | 2022-05-12 | 2022-08-05 | 平安国际智慧城市科技股份有限公司 | 图片换肤方法、装置、设备及存储介质 |
| CN115145452A (zh) * | 2022-07-01 | 2022-10-04 | 杭州网易云音乐科技有限公司 | 帖子生成方法、介质、终端设备和计算设备 |
| CN116664719A (zh) * | 2023-07-28 | 2023-08-29 | 腾讯科技（深圳）有限公司 | 一种图像重绘模型训练方法、图像重绘方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107171932A (zh) * | 2017-04-27 | 2017-09-15 | 腾讯科技（深圳）有限公司 | 一种图片风格转换方法、装置及系统 |
| CN109447706A (zh) * | 2018-10-25 | 2019-03-08 | 深圳前海微众银行股份有限公司 | 广告文案生成方法、装置、设备以及可读存储介质 |
| CN109583952A (zh) * | 2018-11-28 | 2019-04-05 | 深圳前海微众银行股份有限公司 | 广告文案处理方法、装置、设备及计算机可读存储介质 |
| CN109685749A (zh) * | 2018-09-25 | 2019-04-26 | 平安科技（深圳）有限公司 | 图像风格转换方法、装置、设备和计算机存储介质 |
-
2019
- 2019-09-06 CN CN201910850390.4A patent/CN110599393B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107171932A (zh) * | 2017-04-27 | 2017-09-15 | 腾讯科技（深圳）有限公司 | 一种图片风格转换方法、装置及系统 |
| CN109685749A (zh) * | 2018-09-25 | 2019-04-26 | 平安科技（深圳）有限公司 | 图像风格转换方法、装置、设备和计算机存储介质 |
| CN109447706A (zh) * | 2018-10-25 | 2019-03-08 | 深圳前海微众银行股份有限公司 | 广告文案生成方法、装置、设备以及可读存储介质 |
| CN109583952A (zh) * | 2018-11-28 | 2019-04-05 | 深圳前海微众银行股份有限公司 | 广告文案处理方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 潘书敏等: "基于用户相似度和特征分化的广告点击率预测研究", 《计算机科学》 * |
| 陈巧红等: "基于递归神经网络的广告点击率预估研究", 《浙江理工大学学报(自然科学版)》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233015A (zh) * | 2020-10-19 | 2021-01-15 | 珠海金山网络游戏科技有限公司 | 一种图片风格转换方法及装置 |
| CN112308942A (zh) * | 2020-11-18 | 2021-02-02 | 北京京东尚科信息技术有限公司 | 用于生成图像的方法和装置 |
| CN113490028A (zh) * | 2021-06-01 | 2021-10-08 | 深圳喜悦机器人有限公司 | 视频处理方法、装置、存储介质以及终端 |
| CN114037599A (zh) * | 2021-09-16 | 2022-02-11 | 福建大娱号信息科技股份有限公司 | 一种基于自然环境场景信息的智能抠像方法、装置以及存储介质 |
| CN114757816A (zh) * | 2022-03-29 | 2022-07-15 | 佛山市太火红鸟科技有限公司 | 基于草图的图片转换方法、装置、设备及存储介质 |
| CN114863256A (zh) * | 2022-05-12 | 2022-08-05 | 平安国际智慧城市科技股份有限公司 | 图片换肤方法、装置、设备及存储介质 |
| CN115145452A (zh) * | 2022-07-01 | 2022-10-04 | 杭州网易云音乐科技有限公司 | 帖子生成方法、介质、终端设备和计算设备 |
| CN116664719A (zh) * | 2023-07-28 | 2023-08-29 | 腾讯科技（深圳）有限公司 | 一种图像重绘模型训练方法、图像重绘方法及装置 |
| CN116664719B (zh) * | 2023-07-28 | 2023-12-29 | 腾讯科技（深圳）有限公司 | 一种图像重绘模型训练方法、图像重绘方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110599393B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599393B (zh) | 图片风格转换方法、装置、设备及计算机可读存储介质 | |
| CN109960453B (zh) | 根据被引导的用户会话移除和替换图像中的对象 | |
| CN109583952B (zh) | 广告文案处理方法、装置、设备及计算机可读存储介质 | |
| CN110719525A (zh) | 弹幕表情包的生成方法、电子设备和可读存储介质 | |
| CN108876751A (zh) | 图像处理方法、装置、存储介质及终端 | |
| CN113240778A (zh) | 虚拟形象的生成方法、装置、电子设备和存储介质 | |
| JP2022528999A (ja) | 動画キャラクターの駆動方法並びにその、装置、機器及びコンピュータプログラム | |
| CN111191503A (zh) | 一种行人属性识别方法、装置、存储介质及终端 | |
| CN110232726A (zh) | 创意素材的生成方法及装置 | |
| CN116363261A (zh) | 图像编辑模型的训练方法、图像编辑方法和装置 | |
| CN101981578A (zh) | 用于协同设计头像或其他图形结构的方法和装置 | |
| CN114723888A (zh) | 三维发丝模型生成方法、装置、设备、存储介质及产品 | |
| CN116385576A (zh) | 一种基于扩散模型的ai绘画图生成方法、装置以及设备 | |
| CN104184791A (zh) | 图像效果提取 | |
| CN117389559A (zh) | 目标页面生成方法和装置 | |
| CN111831893A (zh) | 落地页生成方法、装置和服务器 | |
| EP3940551A1 (en) | Method and apparatus for generating weather forecast video, electronic device, and storage medium | |
| CN112562043A (zh) | 图像处理方法、装置和电子设备 | |
| KR102659290B1 (ko) | 모자이크 생성 장치 및 방법 | |
| KR20230065339A (ko) | 모델 데이터 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체 | |
| CN102789503A (zh) | 即时通信中图像年龄变换的方法、客户端及系统 | |
| CN112749364B (zh) | 基于人工智能的网页生成方法、装置、设备及存储介质 | |
| CN114529649A (zh) | 图像处理方法和装置 | |
| CN114140560A (zh) | 动画生成方法、装置、设备和存储介质 | |
| CN114283422A (zh) | 一种手写字体生成方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |