CN113642673B - 图像生成方法、装置、设备及存储介质 - Google Patents

图像生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113642673B
CN113642673B CN202111015596.9A CN202111015596A CN113642673B CN 113642673 B CN113642673 B CN 113642673B CN 202111015596 A CN202111015596 A CN 202111015596A CN 113642673 B CN113642673 B CN 113642673B
Authority
CN
China
Prior art keywords
image
matched
text
gradient value
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111015596.9A
Other languages
English (en)
Other versions
CN113642673A (zh
Inventor
易子立
何茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202111015596.9A priority Critical patent/CN113642673B/zh
Publication of CN113642673A publication Critical patent/CN113642673A/zh
Priority to PCT/CN2022/116004 priority patent/WO2023030348A1/zh
Application granted granted Critical
Publication of CN113642673B publication Critical patent/CN113642673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本公开实施例公开了一种图像生成方法、装置、设备及存储介质。包括:获取目标文本及待匹配图像;将所述目标文本及所述待匹配图像输入图文匹配模型,获得图文匹配度;在所述图文匹配度不满足预设条件的情况下,基于设定策略确定优化参数,并基于所述优化参数对所述待匹配图像进行优化,获得优化后的待匹配图像;将所述目标文本及所述优化后的待匹配图像输入图文匹配模型,获得图文匹配度;在所述图文匹配度满足预设条件的情况下,将满足所述预设条件的待匹配图像确定为目标图像;将所述目标图像和所述目标文本推送至用户。本公开实施例提供的图像生成方法,既能满足生成图像与文本描述的语义一致,又可以提高生成图像的精度。

Description

图像生成方法、装置、设备及存储介质
技术领域
本公开实施例涉及图像技术领域,尤其涉及一种图像生成方法、装置、设备及存储介质。
背景技术
多媒体娱乐在现代人生活中无处不在,图片与视频的创作呈现井喷趋势,对于图片素材的需求在不断增大。图片和视频版权的保护力度也在增大,对于多媒体内容创作和分发平台来说,如何得到与文本匹配的高质量图片显得尤为重要。
发明内容
本公开实施例提供一种图像生成方法、装置、设备及存储介质,实现根据文本生成图像,可以增加图像的多样性。
第一方面,本公开实施例提供了一种图像生成方法,包括:
获取目标文本及待匹配图像;
将所述目标文本及所述待匹配图像输入图文匹配模型,获得图文匹配度;在所述图文匹配度不满足预设条件的情况下,基于设定策略确定优化参数,并基于所述优化参数对所述待匹配图像进行优化,获得优化后的待匹配图像;将所述目标文本及所述优化后的待匹配图像输入图文匹配模型,获得图文匹配度;
在所述图文匹配度满足预设条件的情况下,将满足所述预设条件的待匹配图像确定为目标图像;
将所述目标图像和所述目标文本推送至用户。
第二方面,本公开实施例还提供了一种图像生成装置,包括:
待匹配图像获取模块,用于获取目标文本及待匹配图像;
图文匹配度获取模块,用于将所述目标文本及所述待匹配图像输入图文匹配模型,获得图文匹配度;
待匹配图像优化模块,用于在所述图文匹配度不满足预设条件的情况下,基于设定策略确定优化参数,并基于所述优化参数对所述待匹配图像进行优化,获得优化后的待匹配图像;将所述目标文本及所述优化后的待匹配图像输入图文匹配模型,获得图文匹配度;
目标图像确定模块,用于在所述图文匹配度满足预设条件的情况下,将满足所述预设条件的待匹配图像确定为目标图像;
推送模块,用于将所述目标图像和所述目标文本推送至用户。
第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现如本公开实施例所述的图像生成方法。
第四方面,本公开实施例还提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理装置执行时实现如本公开实施例所述的图像生成方法。
本公开实施例公开了一种图像生成方法、装置、设备及存储介质。包括:获取目标文本及待匹配图像;将目标文本及待匹配图像输入图文匹配模型,获得图文匹配度;在图文匹配度不满足预设条件的情况下,基于设定策略确定优化参数,并基于优化参数对待匹配图像进行优化,获得优化后的待匹配图像;将目标文本及优化后的待匹配图像输入图文匹配模型,获得图文匹配度;在图文匹配度满足预设条件的情况下,将满足预设条件的待匹配图像确定为目标图像;将目标图像和目标文本推送至用户。本公开实施例提供的图像生成方法,基于设定策略确定优化参数,并基于优化参数对待匹配图像进行优化,当待匹配图像与目标文本的匹配度满足设定条件时,获得目标图像,既能满足生成图像与文本描述的语义一致,又可以提高生成图像的精度。
附图说明
图1是本公开实施例中的一种图像生成方法的流程图;
图2是本公开实施例中的一种图像生成装置的结构示意图;
图3是本公开实施例中的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
图1为本公开实施例提供的一种图像生成方法的流程图,本实施例可适用于根据文本生成图像的情况,该方法可以由图像生成装置来执行,该装置可由硬件和/或软件组成,并一般可集成在具有图像生成功能的设备中,该设备可以是服务器、移动终端或服务器集群等电子设备。如图1所示,该方法具体包括如下步骤:
步骤110,获取目标文本及待匹配图像。
其中,目标文本可以是用户想要转化成图像的文本,可以是一句诗词或者一段描述风景的文本。例如:“两个黄鹂鸣翠柳,一行白鹭上青天”,“人闲桂花落,夜静卷山空”。待匹配图像可以理解为拟通过优化以与目标文本的语义相匹配的图像。
本实施例中,首先初始化待匹配图像,然后对初始化的待匹配图像不断进行优化,最终获得匹配度满足预设条件的目标图像。
可选的,获取待匹配图像的方式可以是:基于预设随机函数生成待匹配图像。
其中,预设随机函数可以是高斯噪声函数或者椒盐噪声函数。本实施例中,可以直接根据预设随机函数生成设定尺寸的待匹配图像。例如:生成256*256大小的图像。
可选的,获取待匹配图像的方式可以是:将像素点坐标输入第一预设神经网络,获得待匹配图像。
其中,第一预设神经网络可以是SIREN网络,该神经网络是一种以Sin函数为激活函数的全连接网络。原理可以理解为:将图像的二维坐标(x,y)转化为RGB三通道图像。本实施例中,将图像各像素点的二维坐标输入到第一预设神经网络中,就可以获得带有颜色的待匹配图像。
可选的,获取待匹配图像的方式可以是:将高斯向量输入第二预设神经网络,获得待匹配图像。
其中,第二预设神经网络可以是生成对抗网络(Generative AdversarialNetworks,GAN),例如:可以是风格生成对抗网络(StyleGAN)。高斯向量可以是尺寸较小的高斯向量,例如128位或者512位,第二预设神经网络的输出为尺寸较大的图像,例如256*256或者1024*1024。本实施例中,第二预设神经网络可以是已经训练好的GAN,将初始高斯向量输入到第二预设神经网络中,可以获得一初始待匹配图像。通过GAN网络可以将尺寸较小的高斯向量转换为尺寸较大的高质量的图像,可以提高待匹配图像的生成效率。
可选的,获取待匹配图像的方式可以是:将笔画元素输入预设渲染器,获得待匹配图像。
其中,渲染器可以是基于renderer函数构建的渲染器。renderer函数的原理是将一定数量(例如100)的笔画元素转化为一个RGB图,该函数基于设定规则编写,不携带有可训练的参数,即是一个不可更改的渲染器。笔画元素(stroke)包括笔画的形状、颜色、位置及粗细等特征,可以由多个坐标点建模构成。本实施例中,待匹配图像是由多个笔画元素构成的,随机生成多个笔画元素,将这多个笔画元素输入到渲染器中,就可以获得一初始待匹配图像。
可选的,获取待匹配图像的方式可以是:从编码库中随机选择多个编码信息,并将多个编码信息输入预设解码器中,获得待匹配图像。
其中,编码库和解码器可以是属于矢量量化变分自动编码(Vector QuantisedVariational AutoEncoder,VQ-VAE)网络的结构。其中,VQ-VAE包括编码器(Encoder)、编码库(codebook)以及解码器(Decoder)。其原理可以理解为:Encoder对输入的图像进行编码,获得第一编码信息,然后从codebook获取与第一编码信息相似度最高的第二编码信息,将第二编码信息输入Decoder,输出目标图像。
本实施例中,预设解码器为训练后的解码器,可以将输入的编码信息合成图像。具体的,首先从编码库中随机选择多个编码信息,然后将这多个编码信息息输入预设解码器中,获得一初始待匹配图像。
步骤120,将目标文本及待匹配图像输入图文匹配模型,获得图文匹配度。
其中,图文匹配模型为一训练好的神经网络,具有识别文本与图像匹配度的功能。图文匹配度可以是0-1之间的值,值越接近于1,则表明文本和图像的匹配度越高,反之,值越接近于0,表明文本与图像的匹配度越低。
可选的,图文匹配模型的训练方式为:获取图像数据和文本数据;将图像数据和文本数据进行配对,获得第一图文配对数据,并将第一图文配对数据作为正样本;调整第一图文配对数据中图像数据和文本数据的配对关系,获得第二图文配对数据,并将第二图文配对数据作为负样本;基于正样本和负样本对图文匹配模型进行训练。
本实施例中,在获得图像数据和文本数据之后,需要对图像数据和文本数据进行过滤和修正。对于图像数据,需要将包含水印、字幕、结构化数据的图像过滤掉,还需要将质量和尺寸不合格的图像过滤掉。对于文本数据,需要检验文本的完整性,将不完整的文本补充完整或者过滤掉。
其中,将图像数据和文本数据进行配对的方式可以采用人工的方式进行配对,将图像的内容与文本的语义相近度最高的一组图像和文本进行配对,从而获得训练的正样本。在获得正样本后,将正样本中的图文配对数据拆开后随机进行配对,获得负样本。示例性的,假设由4组图像数据和文本数据,则可以获得16组图文配对数据,其中,4组是正样本,12组是负样本。
步骤130,在图文匹配度不满足预设条件的情况下,基于设定策略确定优化参数,并基于优化参数对待匹配图像进行优化,获得优化后的待匹配图像;将目标文本及优化后的待匹配图像输入图文匹配模型,获得图文匹配度。
其中,该图文匹配度为目标文本与优化后的待匹配图像间的图文匹配度。
其中,预设条件可以是图文匹配度大于或等于设定阈值。其中,设定阈值可以根据实际需求进行设置,例如:设置为0.8。设定策略可以是梯度反向传播策略,相应的,优化参数可以是梯度值。具体的,若图文匹配度超过设定阈值时,则可以将待匹配图像确定为最终的目标图像,若图文匹配度未超过设定阈值,则表明待匹配图像不满足要求,需要进一步对待匹配图像进行优化。
本实施例中,可以基于梯度反向传播策略确定梯度值,并基于梯度值对待匹配图像进行优化,获得优化后的待匹配图像。
其中,梯度反向传播策略的原理可以是根据计算的损失值递归到对应的神经网络中进行计算,从而获得梯度值。本实施例中,损失值可以是图文匹配度与目标匹配度间的损失,其中,目标匹配度为1。
具体的,若初始待匹配图像是基于预设随机函数生成的,则梯度值可以理解为待匹配图像中各像素点颜色值的改变量。基于梯度反向传播策略确定梯度值的过程可以理解为:以目标文本、待匹配图片、图文匹配模型以及损失值为要素进行梯度反向传播策略的计算,获得梯度值。
具体的,若初始待匹配图像是将像素点坐标输入第一预设神经网络获得,则梯度值可以理解为第一预设神经网络中参数的变化量。基于梯度反向传播策略确定梯度值的过程可以理解为:以目标文本、待匹配图片、图文匹配模型、第一预设神经网络以及损失值为要素进行梯度反向传播策略的计算,获得梯度值。
具体的,若初始待匹配图像是将高斯向量输入第二预设神经网络获得的,则梯度值可以理解为高斯向量的变化量。基于梯度反向传播策略确定梯度值的过程可以理解为:以目标文本、待匹配图片、图文匹配模型、第二预设神经网络以及损失值为要素进行梯度反向传播策略的计算,获得梯度值。
具体的,若初始待匹配图像是将笔画元素输入预设渲染器获得的,则梯度值可以理解为笔画元素的变化量。基于梯度反向传播策略确定梯度值的过程可以理解为:以目标文本、待匹配图片、图文匹配模型、预设渲染器以及损失值为要素进行梯度反向传播策略的计算,获得梯度值。
具体的,若初始待匹配图像是从编码库中随机选择多个编码信息,并将多个编码信息输入预设解码器中获得的,则梯度值可以理解为编码信息的变化量。基于梯度反向传播策略确定梯度值的过程可以理解为:以目标文本、待匹配图片、图文匹配模型、预设解码器以及损失值为要素进行梯度反向传播策略的计算,获得梯度值。
可选的,若初始待匹配图像是基于预设随机函数生成的,基于梯度值对待匹配图像进行调整,获得优化后的待匹配图像的方式可以是:基于梯度值对待匹配图像中各像素点的颜色值进行调整,获得优化后的待匹配图像。
其中,梯度值以矩阵的形式表征,矩阵中每个元素为对应像素点颜色值的变化量。对待匹配图像中各像素点的颜色值按照梯度值调整后,就可以获得一新的待匹配图像。该新的待匹配图像为优化后的图像,与目标文本的图文匹配度更接近于目标匹配度,即1。
可选的,若初始待匹配图像是将像素点坐标输入第一预设神经网络获得,则基于梯度值对待匹配图像进行调整,获得优化后的待匹配图像的过程可以是:基于梯度反向传播策略确定第一梯度值;根据第一梯度值调整第一预设神经网络中的参数;将像素点坐标输入调整后的第一预设神经网络,获得优化后的待匹配图像。
本实施例中,调整第一预设神经网络可以理解为对第一预设神经网络进行了优化,使得优化后的第一预设神经网络输出的待匹配图像与目标文本间的图文匹配度更接近于1。通过调整第一预设神经网络的参数以达到优化待匹配图像的目的。
可选的,若初始待匹配图像是将高斯向量输入第二预设神经网络获得的,则基于梯度反向传播策略确定梯度值,基于梯度值对待匹配图像进行调整,获得优化后的待匹配图像的过程可以是:基于梯度反向传播策略确定第二梯度值;根据第二梯度值调整高斯向量;将调整后的高斯向量输入第二预设神经网络,获得优化后的待匹配图像。
其中,第二预设神经网络具有生成图像的功能,生成的图像内容与输入的高斯向量有关。通过调整高斯向量以达到优化待匹配图像的目的,使得优化后的待匹配图像与目标文本间的图文匹配度更接近于1。
可选的,若初始待匹配图像是将笔画元素输入预设渲染器获得的,则基于梯度反向传播策略确定梯度值,基于梯度值对待匹配图像进行调整,获得优化后的待匹配图像的过程可以是:基于梯度反向传播策略确定第三梯度值;根据第三梯度值调整笔画元素;将调整后的笔画元素量输入预设渲染器,获得优化后的待匹配图像。
其中,预设渲染器具有根据笔画元素生成图像的功能。本实施例中,由于输入的笔画元素,预设渲染器输出的图像类似于水彩画或者山水泼墨画。通过调整笔画元素,以达到优化待匹配图像的目的,使得优化后的待匹配图像与目标文本间的图文匹配度更接近于1。
可选的,若初始待匹配图像是从编码库中随机选择多个编码信息,并将多个编码信息输入预设解码器中获得的,则基于梯度反向传播策略确定梯度值,基于梯度值对待匹配图像进行调整,获得优化后的待匹配图像的过程可以是:基于梯度反向传播策略确定第四梯度值;根据第四梯度值对多个编码信息进行更新;将更新后的多个编码信息输入预设解码器中,获得优化后的待匹配图像。
其中,所述更新后的多个编码信息存储于所述编码库中。具体的,根据第四梯度值对多个编码信息进行更新的方式可以是:根据第四梯度值对多个编码信息进行调整,然后从编码库中获取与调整后的编码信息相似度最高的编码信息,作为更新后的多个编码信息。本实施例中,通过更新输入到预设解码器的多个编码信息以达到优化待匹配图像的目的,使得优化后的待匹配图像与目标文本间的图文匹配度更接近于1。
本实施例中,在获得优化后的待匹配图像后,返回执行将目标文本及优化后的待匹配图像输入训练好的图文匹配模型,获得图文匹配度,并判断图文匹配度是否满足预设条件的操作,直到图文匹配度满足预设条件。
步骤140,在图文匹配度满足预设条件的情况下,将满足预设条件的待匹配图像确定为目标图像。
具体的,将图文匹配度超过设定阈值的待匹配图像确定为目标图像。
步骤150,将目标图像和目标文本推送至用户。
本实施例中,可以将目标图像和目标文本分别推送至用户,或者将目标文本添加至目标图像中,再推送至用户;或者将目标文本附于目标图像周围(如上方、下方、左方或者右方)再推送至用户。
本公开实施例的技术方案,获取目标文本及待匹配图像;将目标文本及待匹配图像输入的图文匹配模型,获得图文匹配度;在图文匹配度不满足预设条件的情况下,基于设定策略确定优化参数,并基于优化参数对待匹配图像进行优化,获得优化后的待匹配图像;将目标文本及优化后的待匹配图像输入图文匹配模型,获得图文匹配度;在图文匹配度满足预设条件的情况下,将满足预设条件的待匹配图像确定为目标图像;将目标图像和目标文本推送至用户。本公开实施例提供的图像生成方法,基于设定策略确定优化参数,并基于优化参数对待匹配图像进行优化,当待匹配图像与目标文本的匹配度满足设定条件时,获得目标图像,既能满足生成图像与文本描述的语义一致,又可以提高生成图像的精度。
图2是本公开实施例提供的一种图像生成装置的结构示意图。如图2所示,该装置包括:
待匹配图像获取模块210,用于获取目标文本及待匹配图像;
图文匹配度获取模块220,用于将目标文本及待匹配图像输入图文匹配模型,获得图文匹配度;
待匹配图像优化模块230,用于在所述图文匹配度不满足预设条件的情况下,基于设定策略确定优化参数,并基于所述优化参数对所述待匹配图像进行优化,获得优化后的待匹配图像;将所述目标文本及所述优化后的待匹配图像输入图文匹配模型,获得图文匹配度;
目标图像确定模块240,用于在所述图文匹配度满足预设条件的情况下,将满足所述预设条件的待匹配图像确定为目标图像;
推送模块250,用于将所述目标图像和所述目标文本推送至用户。
可选的,待匹配图像优化模块230,还用于:
基于梯度反向传播策略确定梯度值,并基于所述梯度值对所述待匹配图像进行优化,获得优化后的待匹配图像。
可选的,待匹配图像获取模块210,还用于:
基于预设随机函数生成待匹配图像。
可选的,梯度值为待匹配图像中各像素点颜色值的变化量,待匹配图像优化模块230,还用于:
基于梯度值对待匹配图像中各像素点的颜色值进行调整,获得优化后的待匹配图像。
可选的,待匹配图像获取模块210,还用于:
将像素点坐标输入第一预设神经网络,获得待匹配图像;
可选的,待匹配图像优化模块230,还用于:
基于梯度反向传播策略确定第一梯度值;
根据第一梯度值调整第一预设神经网络中的参数;
将像素点坐标输入调整后的第一预设神经网络,获得优化后的待匹配图像。
可选的,待匹配图像获取模块210,还用于:
将高斯向量输入第二预设神经网络,获得待匹配图像;
可选的,待匹配图像优化模块230,还用于:
基于梯度反向传播策略确定第二梯度值;
根据第二梯度值调整高斯向量;
将调整后的高斯向量输入第二预设神经网络,获得优化后的待匹配图像。
可选的,待匹配图像获取模块210,还用于:
将笔画元素输入预设渲染器,获得待匹配图像;
可选的,待匹配图像优化模块230,还用于:
基于梯度反向传播策略确定第三梯度值;
根据第三梯度值调整笔画元素;
将调整后的笔画元素量输入预设渲染器,获得优化后的待匹配图像。
可选的,待匹配图像获取模块210,还用于:
从编码库中随机选择多个编码信息,并将多个编码信息输入预设解码器中,获得待匹配图像;
可选的,待匹配图像优化模块230,还用于:
基于梯度反向传播策略确定第四梯度值;
根据第四梯度值对多个编码信息进行更新;
将更新后的多个编码信息输入预设解码器中,获得优化后的待匹配图像;其中,更新后的多个编码信息存储于编码库中。
可选的,还包括:图文匹配模型训练模块,用于:
获取图像数据和文本数据;
将图像数据和文本数据进行配对,获得第一图文配对数据,并将第一图文配对数据作为正样本;
调整第一图文配对数据中图像数据和文本数据的配对关系,获得第二图文配对数据,并将第二图文配对数据作为负样本;
基于正样本和负样本对图文匹配模型进行训练。
上述装置可执行本公开前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本公开前述所有实施例所提供的方法。
下面参考图3,其示出了适于用来实现本公开实施例的电子设备300的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端,或者各种形式的服务器,如独立服务器或者服务器集群。图3示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储装置(ROM)302中的程序或者从存储装置305加载到随机访问存储装置(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行词语的推荐方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置305被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取目标文本及待匹配图像;将所述目标文本及所述待匹配图像输入图文匹配模型,获得图文匹配度;在所述图文匹配度不满足预设条件的情况下,基于设定策略确定优化参数,并基于所述优化参数对所述待匹配图像进行优化,获得优化后的待匹配图像;将所述目标文本及所述优化后的待匹配图像输入图文匹配模型,获得图文匹配度;在所述图文匹配度满足预设条件的情况下,将满足所述预设条件的待匹配图像确定为目标图像;将所述目标图像和所述目标文本推送至用户。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开实施例的一个或多个实施例,本公开实施例公开了一种图像生成方法,包括:
获取目标文本及待匹配图像;
将所述目标文本及所述待匹配图像输入图文匹配模型,获得图文匹配度;在所述图文匹配度不满足预设条件的情况下,基于设定策略确定优化参数,并基于所述优化参数对所述待匹配图像进行优化,获得优化后的待匹配图像;将所述目标文本及所述优化后的待匹配图像输入图文匹配模型,获得图文匹配度;
在所述图文匹配度满足预设条件的情况下,将满足所述预设条件的待匹配图像确定为目标图像;
将所述目标图像和所述目标文本推送至用户。
进一步地,基于设定策略确定优化参数,并基于所述优化参数对所述待匹配图像进行优化,获得优化后的待匹配图像,包括:
基于梯度反向传播策略确定梯度值,并基于所述梯度值对所述待匹配图像进行优化,获得优化后的待匹配图像。
进一步地,获取待匹配图像,包括:
基于预设随机函数生成待匹配图像。
进一步地,所述梯度值为所述待匹配图像中各像素点颜色值的变化量,基于所述梯度值对所述待匹配图像进行调整,获得优化后的待匹配图像,包括:
基于所述梯度值对所述待匹配图像中各像素点的颜色值进行调整,获得优化后的待匹配图像。
进一步地,获取待匹配图像,包括:
将像素点坐标输入第一预设神经网络,获得待匹配图像;
基于梯度反向传播策略确定梯度值,并基于所述梯度值对所述待匹配图像进行调整,获得优化后的待匹配图像,包括:
基于梯度反向传播策略确定第一梯度值;
根据所述第一梯度值调整所述第一预设神经网络中的参数;
将所述像素点坐标输入调整后的第一预设神经网络,获得优化后的待匹配图像。
进一步地,获取待匹配图像,包括:
将高斯向量输入第二预设神经网络,获得待匹配图像;
基于梯度反向传播策略确定梯度值,并基于所述梯度值对所述待匹配图像进行调整,获得优化后的待匹配图像,包括:
基于梯度反向传播策略确定第二梯度值;
根据所述第二梯度值调整所述高斯向量;
将调整后的高斯向量输入所述第二预设神经网络,获得优化后的待匹配图像。
进一步地,获取待匹配图像,包括:
将笔画元素输入预设渲染器,获得待匹配图像;
基于梯度反向传播策略确定梯度值,并基于所述梯度值对所述待匹配图像进行调整,获得优化后的待匹配图像,包括:
基于梯度反向传播策略确定第三梯度值;
根据所述第三梯度值调整所述笔画元素;
将调整后的笔画元素量输入所述预设渲染器,获得优化后的待匹配图像。
进一步地,获取待匹配图像,包括:
从编码库中随机选择多个编码信息,并将所述多个编码信息输入预设解码器中,获得待匹配图像;
基于梯度反向传播策略确定梯度值,并基于所述梯度值对所述待匹配图像进行调整,获得优化后的待匹配图像,包括:
基于梯度反向传播策略确定第四梯度值;
根据所述第四梯度值对所述多个编码信息进行更新;
将更新后的多个编码信息输入所述预设解码器中,获得优化后的待匹配图像;其中,所述更新后的多个编码信息存储于所述编码库中。
进一步地,所述图文匹配模型的训练方式为:
获取图像数据和文本数据;
将所述图像数据和所述文本数据进行配对,获得第一图文配对数据,并将所述第一图文配对数据作为正样本;
调整所述第一图文配对数据中图像数据和文本数据的配对关系,获得第二图文配对数据,并将所述第二图文配对数据作为负样本;
基于所述正样本和所述负样本对所述图文匹配模型进行训练。
注意,上述仅为本公开的较佳实施例及所运用技术原理。本领域技术人员会理解,本公开不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本公开的保护范围。因此,虽然通过以上实施例对本公开进行了较为详细的说明,但是本公开不仅仅限于以上实施例,在不脱离本公开构思的情况下,还可以包括更多其他等效实施例,而本公开的范围由所附的权利要求范围决定。

Claims (11)

1.一种图像生成方法,其特征在于,包括:
获取目标文本及待匹配图像;
将所述目标文本及所述待匹配图像输入图文匹配模型,获得图文匹配度;
在所述图文匹配度不满足预设条件的情况下,基于设定策略确定优化参数,并基于所述优化参数对所述待匹配图像进行优化,获得优化后的待匹配图像;将所述目标文本及所述优化后的待匹配图像输入图文匹配模型,获得图文匹配度;
在所述图文匹配度满足预设条件的情况下,将满足所述预设条件的待匹配图像确定为目标图像;
将所述目标图像和所述目标文本推送至用户;
所述获取目标文本及待匹配图像包括:从编码库中随机选择多个编码信息,并将所述多个编码信息输入预设解码器中,获得所述待匹配图像;
所述基于设定策略确定优化参数,并基于所述优化参数对所述待匹配图像进行优化,获得优化后的待匹配图像,包括:
基于梯度反向传播策略确定梯度值,并基于所述梯度值对所述待匹配图像进行优化,获得优化后的待匹配图像,其中,所述梯度值为所述编码信息的变化量。
2.根据权利要求1所述的方法,其特征在于,获取待匹配图像,包括:
基于预设随机函数生成待匹配图像。
3.根据权利要求1或2所述的方法,其特征在于,所述梯度值为所述待匹配图像中各像素点颜色值的变化量,基于所述梯度值对所述待匹配图像进行调整,获得优化后的待匹配图像,包括:
基于所述梯度值对所述待匹配图像中各像素点的颜色值进行调整,获得优化后的待匹配图像。
4.根据权利要求1所述的方法,其特征在于,获取待匹配图像,包括:
将像素点坐标输入第一预设神经网络,获得待匹配图像;
基于梯度反向传播策略确定梯度值,并基于所述梯度值对所述待匹配图像进行调整,获得优化后的待匹配图像,包括:
基于梯度反向传播策略确定第一梯度值;
根据所述第一梯度值调整所述第一预设神经网络中的参数;
将所述像素点坐标输入调整后的第一预设神经网络,获得优化后的待匹配图像。
5.根据权利要求1所述的方法,其特征在于,获取待匹配图像,包括:
将高斯向量输入第二预设神经网络,获得待匹配图像;
基于梯度反向传播策略确定梯度值,并基于所述梯度值对所述待匹配图像进行调整,获得优化后的待匹配图像,包括:
基于梯度反向传播策略确定第二梯度值;
根据所述第二梯度值调整所述高斯向量;
将调整后的高斯向量输入所述第二预设神经网络,获得优化后的待匹配图像。
6.根据权利要求1所述的方法,其特征在于,获取待匹配图像,包括:
将笔画元素输入预设渲染器,获得待匹配图像;
基于梯度反向传播策略确定梯度值,并基于所述梯度值对所述待匹配图像进行调整,获得优化后的待匹配图像,包括:
基于梯度反向传播策略确定第三梯度值;
根据所述第三梯度值调整所述笔画元素;
将调整后的笔画元素量输入所述预设渲染器,获得优化后的待匹配图像。
7.根据权利要求1所述的方法,其特征在于,获取待匹配图像,包括:
基于梯度反向传播策略确定梯度值,并基于所述梯度值对所述待匹配图像进行调整,获得优化后的待匹配图像,包括:
基于梯度反向传播策略确定第四梯度值;
根据所述第四梯度值对所述多个编码信息进行更新;
将更新后的多个编码信息输入所述预设解码器中,获得优化后的待匹配图像;其中,所述更新后的多个编码信息存储于所述编码库中。
8.根据权利要求1所述的方法,其特征在于,所述图文匹配模型的训练方式为:
获取图像数据和文本数据;
将所述图像数据和所述文本数据进行配对,获得第一图文配对数据,并将所述第一图文配对数据作为正样本;
调整所述第一图文配对数据中图像数据和文本数据的配对关系,获得第二图文配对数据,并将所述第二图文配对数据作为负样本;
基于所述正样本和所述负样本对所述图文匹配模型进行训练。
9.一种图像生成装置,其特征在于,包括:
待匹配图像获取模块,用于获取目标文本及待匹配图像;
图文匹配度获取模块,用于将所述目标文本及所述待匹配图像输入图文匹配模型,获得图文匹配度;
待匹配图像优化模块,用于在所述图文匹配度不满足预设条件的情况下,基于设定策略确定优化参数,并基于所述优化参数对所述待匹配图像进行优化,获得优化后的待匹配图像;用于将所述目标文本及所述优化后的待匹配图像输入图文匹配模型,获得图文匹配度;
目标图像确定模块,用于在所述图文匹配度满足预设条件的情况下,将满足所述预设条件的待匹配图像确定为目标图像;
推送模块,用于将所述目标图像和所述目标文本推送至用户;
所述待匹配图像获取模块,用于从编码库中随机选择多个编码信息,并将所述多个编码信息输入预设解码器中,获得所述待匹配图像;
所述待匹配图像优化模块,用于基于梯度反向传播策略确定梯度值,并基于所述梯度值对所述待匹配图像进行优化,获得优化后的待匹配图像,其中,所述梯度值为所述编码信息的变化量。
10.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现如权利要求1-8中任一所述的图像生成方法。
11.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现如权利要求1-8中任一所述的图像生成方法。
CN202111015596.9A 2021-08-31 2021-08-31 图像生成方法、装置、设备及存储介质 Active CN113642673B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111015596.9A CN113642673B (zh) 2021-08-31 2021-08-31 图像生成方法、装置、设备及存储介质
PCT/CN2022/116004 WO2023030348A1 (zh) 2021-08-31 2022-08-31 图像生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111015596.9A CN113642673B (zh) 2021-08-31 2021-08-31 图像生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113642673A CN113642673A (zh) 2021-11-12
CN113642673B true CN113642673B (zh) 2023-12-22

Family

ID=78424668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111015596.9A Active CN113642673B (zh) 2021-08-31 2021-08-31 图像生成方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN113642673B (zh)
WO (1) WO2023030348A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113707327A (zh) * 2021-08-25 2021-11-26 景元明 一种基于医疗大数据的多肿瘤标志物肿瘤诊断模型
CN113642673B (zh) * 2021-08-31 2023-12-22 北京字跳网络技术有限公司 图像生成方法、装置、设备及存储介质
CN115392389B (zh) * 2022-09-01 2023-08-29 北京百度网讯科技有限公司 跨模态信息匹配、处理方法、装置、电子设备及存储介质
CN117591697B (zh) * 2024-01-19 2024-03-29 成都亚度克升科技有限公司 基于人工智能和视频处理的文本推荐方法和系统
CN117648673B (zh) * 2024-01-29 2024-05-03 深圳海云安网络安全技术有限公司 一种基于大模型的安全编码规范多标融合方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096641A (zh) * 2019-03-19 2019-08-06 深圳壹账通智能科技有限公司 基于图像分析的图文匹配方法、装置、设备及存储介质
CN110209862A (zh) * 2019-05-22 2019-09-06 招商局金融科技有限公司 文本配图方法、电子装置及计算机可读存储介质
CN111311554A (zh) * 2020-01-21 2020-06-19 腾讯科技(深圳)有限公司 图文内容的内容质量确定方法、装置、设备及存储介质
CN112148839A (zh) * 2020-09-29 2020-12-29 北京小米松果电子有限公司 图文匹配方法、装置及存储介质
CN113221882A (zh) * 2021-05-11 2021-08-06 西安交通大学 一种面向课程领域的图像文本聚合方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10719702B2 (en) * 2017-11-08 2020-07-21 International Business Machines Corporation Evaluating image-text consistency without reference
CN110176050B (zh) * 2019-05-30 2023-05-09 清华大学深圳研究生院 文本生成图像的美学优化方法
CN110930469B (zh) * 2019-10-25 2021-11-16 北京大学 一种基于过渡空间映射的文本生成图像方法和系统
CN112613293A (zh) * 2020-12-29 2021-04-06 北京中科闻歌科技股份有限公司 摘要生成方法、装置、电子设备及存储介质
CN112765316A (zh) * 2021-01-19 2021-05-07 东南大学 一种引入胶囊网络的文本生成图像方法及装置
CN112765317A (zh) * 2021-01-19 2021-05-07 东南大学 一种引入类信息的文本生成图像方法及装置
CN113642673B (zh) * 2021-08-31 2023-12-22 北京字跳网络技术有限公司 图像生成方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096641A (zh) * 2019-03-19 2019-08-06 深圳壹账通智能科技有限公司 基于图像分析的图文匹配方法、装置、设备及存储介质
CN110209862A (zh) * 2019-05-22 2019-09-06 招商局金融科技有限公司 文本配图方法、电子装置及计算机可读存储介质
CN111311554A (zh) * 2020-01-21 2020-06-19 腾讯科技(深圳)有限公司 图文内容的内容质量确定方法、装置、设备及存储介质
CN112148839A (zh) * 2020-09-29 2020-12-29 北京小米松果电子有限公司 图文匹配方法、装置及存储介质
CN113221882A (zh) * 2021-05-11 2021-08-06 西安交通大学 一种面向课程领域的图像文本聚合方法及系统

Also Published As

Publication number Publication date
WO2023030348A1 (zh) 2023-03-09
CN113642673A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN113642673B (zh) 图像生成方法、装置、设备及存储介质
CN110413812B (zh) 神经网络模型的训练方法、装置、电子设备及存储介质
CN110021052B (zh) 用于生成眼底图像生成模型的方法和装置
CN110070496B (zh) 图像特效的生成方法、装置和硬件装置
CN111414879A (zh) 人脸遮挡程度识别方法、装置、电子设备及可读存储介质
CN112153415B (zh) 一种视频转码方法、装置、设备及存储介质
CN112868224A (zh) 捕获和编辑动态深度图像的技术
CN114004905B (zh) 人物风格形象图的生成方法、装置、设备及存储介质
CN112084959A (zh) 一种人群图像处理方法及装置
CN113850890A (zh) 动物形象的生成方法、装置、设备及存储介质
CN110619602B (zh) 一种图像生成方法、装置、电子设备及存储介质
CN112785669A (zh) 一种虚拟形象合成方法、装置、设备及存储介质
CN111797822A (zh) 文字对象评价方法、装置和电子设备
CN114422698B (zh) 视频生成方法、装置、设备及存储介质
CN115953597B (zh) 图像处理方法、装置、设备及介质
CN115272667B (zh) 农田图像分割模型训练方法、装置、电子设备和介质
CN111737575B (zh) 内容分发方法、装置、可读介质及电子设备
CN111680754B (zh) 图像分类方法、装置、电子设备及计算机可读存储介质
CN112070888B (zh) 图像生成方法、装置、设备和计算机可读介质
CN110704679B (zh) 视频分类方法、装置及电子设备
CN114429420B (zh) 图像的生成方法、装置、可读介质和电子设备
CN111626919B (zh) 图像合成方法、装置、电子设备及计算机可读存储介质
CN111814807B (zh) 用于处理图像的方法、装置、电子设备和计算机可读介质
CN111738899B (zh) 用于生成水印的方法、装置、设备和计算机可读介质
EP4343717A1 (en) Image layering method and apparatus, electronic device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant