CN112036544A - 一种图像生成方法及装置 - Google Patents
一种图像生成方法及装置 Download PDFInfo
- Publication number
- CN112036544A CN112036544A CN202010761990.6A CN202010761990A CN112036544A CN 112036544 A CN112036544 A CN 112036544A CN 202010761990 A CN202010761990 A CN 202010761990A CN 112036544 A CN112036544 A CN 112036544A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- sample
- description object
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000015654 memory Effects 0.000 claims description 19
- 230000006399 behavior Effects 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 12
- 230000008451 emotion Effects 0.000 claims description 6
- 230000001172 regenerating effect Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 9
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 244000025254 Cannabis sativa Species 0.000 description 5
- 230000009471 action Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请示出了一种图像生成方法及装置。通过本申请，利用GAN生成图像的能力，可以生成与文本的内容有关且真实的图像，然后至少可以基于图像在社交平台上进行社交活动，这样，参与社交活动的用户可以感知到的社交内容的形式是多样的，例如，除了可以看到文本形式的社交内容，还可以看到图像形式的社交内容，可以提高社交的趣味性，且可以降低用户对社交内容产生审美疲劳的可能性，可以提高用户对社交平台产生亲切感的可能性，进而可以提高社交平台对用户的黏性，另外，基于生成与文本的内容有关且真实的图像还可以增强用户之间的互动感，提高用户的社交体验，以及增强社交平台活跃度。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像生成方法及装置。
背景技术
当前，社交平台在网络上越来越流行，帖主可以在社交平台上发布帖子，其他用户可以在帖子里发表评论。
为了进一步地提高社交平台的热度以及提高帖子的活跃度，使帖主更能感受到社交平台的温暖，以及增强帖主对社交平台的黏性等，可以基于“论坛回帖助手”等回帖机器人自动化地在帖主发布的帖子里发表评论。
通常情况下，回帖机器人可以将其他用户对帖子的评论文本拼接起来，得到一个新的文本，并将新的文本作为评论文本在帖子里发布。
然而，在这种方式中，其他用户仅可以看到文本形式的评论，评论形式单一，趣味性较低，且很容易使帖主以及其他用户产生审美疲劳，以及，帖主以及其他用户可以明显感知到评论是机器人自动回复的，难以使帖主以及其他用户对社交平台产生亲切感，导致社交平台对帖主以及其他用户的黏性较低。
发明内容
为解决上述技术问题，本申请示出了一种图像生成方法及装置。
第一方面，本申请示出了一种图像生成方法，所述方法包括：
获取文本中的描述对象以及描述对象的状态属性；
基于生成式对抗网络GAN，获取用于描述所述描述对象以及所述状态属性的目标图像。
在一个可选的实现方式中，所述状态属性包括：
所述描述对象的位置信息、所述描述对象的行为信息、所述描述对象的情绪信息以及至少两个描述对象之间的依存关系；
所述依存关系包括至少两个描述对象之间的相对位置关系以及至少两个描述对象之间的相对行为关系。
在一个可选的实现方式中，所述基于生成式对抗网络GAN，获取用于描述所述描述对象以及所述状态属性的目标图像，包括：
基于所述GAN包括的图像生成模型，生成用于描述所述描述对象以及所述状态属性的候选图像；
基于所述GAN包括的图像判别模型，确定所述候选图像是否为真实的图像；
在所述候选图像为真实的图像的情况下，将所述候选图像确定为所述目标图像。
在一个可选的实现方式中，所述方法还包括：
在所述候选图像不为真实的图像的情况下，基于所述候选图像不为真实的图像的判别结果，更新所述图像生成模型的网络参数；
基于更新后的图像生成模型，重新生成用于描述所述描述对象以及所述状态属性的候选图像，直至重新生成的候选图像被所述图像判别模型判别为真实的图像为止。
在一个可选的实现方式中，所述GAN的训练方式包括：
获取样本文本中的样本描述对象以及所述样本描述对象的样本状态属性；
基于第一模型，生成用于描述所述样本描述对象以及所述样本状态属性的样本图像；
基于第二模型，确定所述样本图像是否为真实的图像；
根据所述第二模型对所述样本图像的判别结果，更新所述第一模型中的网络参数，并基于人工对所述第一样本图像的标注结果，更新所述第二模型中的网络参数；所述标注结果用于指示所述样本图像为真实的图像或不为真实的图像；
直至在更新后的第二模型对更新后的第一模型生成的样本图像的判别结果为预设结果的情况下，将所述更新后的第一模型确定为所述图像生成模型，以及将所述更新后的第二模型确定为图像判别模型。
在一个可选的实现方式中，所述方法还包括：
发送所述目标图像，以使所述目标图像的接收端在社交平台上应用所述图像。
在一个可选的实现方式中，所述方法还包括：
存储所述文本与所述目标图像之间的对应关系。
第二方面，本申请示出了一种图像生成装置，所述装置包括：
第一获取模块，用于获取文本中的描述对象以及描述对象的状态属性；
第二获取模块，用于基于生成式对抗网络GAN，获取用于描述所述描述对象以及所述状态属性的目标图像。
在一个可选的实现方式中，所述状态属性包括：
所述描述对象的位置信息、所述描述对象的行为信息、所述描述对象的情绪信息以及至少两个描述对象之间的依存关系；
所述依存关系包括至少两个描述对象之间的相对位置关系以及至少两个描述对象之间的相对行为关系。
在一个可选的实现方式中，所述第二获取模块包括：
第一生成单元，用于基于所述GAN包括的图像生成模型，生成用于描述所述描述对象以及所述状态属性的候选图像；
第一确定单元，用于基于所述GAN包括的图像判别模型，确定所述候选图像是否为真实的图像；
第二确定单元，用于在所述候选图像为真实的图像的情况下，将所述候选图像确定为所述目标图像。
在一个可选的实现方式中，所述第二获取模块还包括：
第一更新单元，用于在所述候选图像不为真实的图像的情况下，基于所述候选图像不为真实的图像的判别结果，更新所述图像生成模型的网络参数；
第二生成单元，用于基于更新后的图像生成模型，重新生成用于描述所述描述对象以及所述状态属性的候选图像，直至重新生成的候选图像被所述图像判别模型判别为真实的图像为止。
在一个可选的实现方式中，所述第二获取模块还包括：
在一个可选的实现方式中，所述第二获取模块还包括：
获取单元，用于获取样本文本中的样本描述对象以及所述样本描述对象的样本状态属性；
第三生成单元，用于基于第一模型，生成用于描述所述样本描述对象以及所述样本状态属性的样本图像；
第三确定单元，用于基于第二模型，确定所述样本图像是否为真实的图像；
第二更新单元，用于根据所述第二模型对所述样本图像的判别结果，更新所述第一模型中的网络参数，并基于人工对所述第一样本图像的标注结果，更新所述第二模型中的网络参数；所述标注结果用于指示所述样本图像为真实的图像或不为真实的图像；
第四确定单元，用于直至在更新后的第二模型对更新后的第一模型生成的样本图像的判别结果为预设结果的情况下，将所述更新后的第一模型确定为所述图像生成模型，以及将所述更新后的第二模型确定为图像判别模型。
在一个可选的实现方式中，所述装置还包括：
发送模块，用于发送所述目标图像，以使所述目标图像的接收端在社交平台上应用所述图像。
在一个可选的实现方式中，所述装置还包括：
存储模块，用于存储所述文本与所述目标图像之间的对应关系。
第三方面，本申请示出了一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行如第一方面所述的图像生成方法。
第四方面，本申请示出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的图像生成方法。
第五方面，本申请示出了一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的图像生成方法。
本申请提供的技术方案可以包括以下有益效果：
在本申请中，可以获取文本中的描述对象以及该描述对象的状态属性；然后基于生成式对抗网络GAN，获取用于描述该描述对象以及该状态属性的目标图像。通过本申请，利用GAN生成图像的能力，可以生成与文本的内容有关且真实的图像，然后至少可以基于图像在社交平台上进行社交活动，这样，参与社交活动的用户可以感知到的社交内容的形式是多样的，例如，除了可以看到文本形式的社交内容，还可以看到图像形式的社交内容，可以提高社交的趣味性，且可以降低用户对社交内容产生审美疲劳的可能性，可以提高用户对社交平台产生亲切感的可能性，进而可以提高社交平台对用户的黏性，另外，基于生成与文本的内容有关且真实的图像还可以增强用户之间的互动感，提高用户的社交体验，以及增强社交平台活跃度。
附图说明
图1是本申请的一种图像生成方法的步骤流程图；
图2是本申请的一种场景示意图；
图3是本申请的一种图像生成方法的步骤流程图；
图4是本申请的一种图像生成装置的结构框图；
图5是本申请示出的一种电子设备的框图；
图6是本申请示出的一种电子设备的框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1，示出了本申请的一种图像生成方法的步骤流程图，该方法应用于电子设备，该方法具体可以包括如下步骤：
在步骤S101中，获取文本中的描述对象以及该描述对象的状态属性；
在本申请中，文本可以包括用户在社交论坛的帖子中发布的文本，还可以包括用户在即时通讯工具中输入的即时通讯文本，例如聊天文本等，还可以包括用户输入的用于对网络上的文章、视频、音频以及图像等进行评论的评论文本等。
在本申请一个实施例中，可以基于NLP(Natural Language Processing，自然语言处理)获取文本中的描述对象以及描述对象之间的状态属性，当然，也可以通过其他方式获取文本中的描述对象以及描述对象之间的状态属性，本申请对获取文本中的对描述对象以及描述对象之间的状态属性的具体获取方式不做限定。
在本申请中，可以使用图像展示描述对象，因此，本申请中的描述对象包括：对于人而言可以看到的物体，例如，植物、动物、人物、建筑、车辆、大地、道路、山川、河流、天空以及星体等。
描述对象的状态属性包括：描述对象的位置信息、描述对象的行为信息、描述对象的情绪信息，以及，在文本中包括的描述对象为至少两个的情况下，状态属性还包括：至少两个描述对象之间的依存关系；至少两个描述对象之间的依存关系包括：至少两个描述对象之间的相对位置关系以及至少两个描述对象之间的相对行为关系。
例如，在一个例子中，假设文本为“我在海边看日出”，该文本中的描述对象包括“我”，状态属性包括位置信息以及行为信息，其中，位置信息为“在海边”，行为信息为“看日出”。如此，后续生成的目标图像中的内容可以包括一个人在海边看日出的图像。
例如，在另一个例子中，假设文本为“我非常高兴”，该文本中的描述对象包括“我”，状态属性包括情绪信息，其中，情绪信息为“非常高兴”。如此，后续生成的目标图像中的内容可以包括一个人在笑。
例如，在又一个例子中，假设文本为“桌子上有个苹果”，则在这个文本中，描述对象可以包括“苹果”和“桌子”，“苹果”与“桌子”之间的状态属性为物理空间的状态属性，状态属性用于表明“苹果”与“桌子”之间的相对位置关系，例如，“苹果”在“桌子”上面放着。如此，后续生成的目标图像中的内容可以包括一个桌子，桌子上放着一个苹果。
例如，在又一个例子中，假设文本为“A sheep by another sheep standing onthe grass with sky above and a boat in the lake by a tree behind the sheep”，在这个文本中，描述对象可以包括“sheep”、“sheep”、“grass”、“sky”、“boat”、“lake”以及“tree”。
这些描述对象之间的状态属性包括物理空间的状态属性，状态属性用于表明这些描述对象之间的相对位置关系。
例如，参见图2，多个“sheep”之间的相对位置关系为“一个接一个”，“sheep”与“grass”之间的相对位置关系为“sheep”在“grass”上方，“sheep”站在“grass”上，“grass”与“sky”之间的相对位置关系为“sky”在“grass”上方，“boat”与“lake”之间的相对位置关系为船在湖面上，“lake”与“tree”之间的相对位置关系湖在树旁边。
例如，在又一个例子中，假设文本为“张三和李四在对打羽毛球”，该文本中的描述对象包括“张三”和“李四”，状态属性包括“张三”和“李四”之间的相对行为信息，其中，“张三”和“李四”之间的相对行为为“对打羽毛球”。
在步骤S102中，基于生成式对抗网络GAN，获取用于描述该描述对象以及该状态属性的目标图像。
GAN(Generative Adversarial Networks，生成式对抗网络)中包括图像生成模型以及图像判别模型。
图像生成模型用于根据文本记录的描述对象以及描述对象之间的状态属性生成图像。
图像判别模型用于判别基于图像生成模型生成的图像是否为真实的图像，真实的图像中没有乱码，且其中表达的内容是真实的，对于广大用户而言，在看到真实的图像之后，可以很容易感知到图像需要表达的内容。
在本申请中，可以基于GAN中的图像生成模型生成用于描述该描述对象以及该状态属性的候选图像，然后基于GAN中的图像判别模型确定候选图像是否为真实的图像，在候选图像为真实的图像的情况下，可以将候选图像作为目标图像。其中，本步骤的具体流程可以参见之后图2所示的实施例，在此不做详述。
在本申请中，可以获取文本中的描述对象以及该描述对象的状态属性；然后基于生成式对抗网络GAN，获取用于描述该描述对象以及该状态属性的目标图像。通过本申请，利用GAN生成图像的能力，可以生成与文本的内容有关且真实的图像，然后至少可以基于图像在社交平台上进行社交活动，这样，参与社交活动的用户可以感知到的社交内容的形式是多样的，例如，除了可以看到文本形式的社交内容，还可以看到图像形式的社交内容，可以提高社交的趣味性，且可以降低用户对社交内容产生审美疲劳的可能性，可以提高用户对社交平台产生亲切感的可能性，进而可以提高社交平台对用户的黏性，另外，基于生成与文本的内容有关且真实的图像还可以增强用户之间的互动感，提高用户的社交体验，以及增强社交平台活跃度。
另外，在本申请一个实施例中，还可以发送目标图像，以使目标图像的接收端在社交平台上应用图像。
例如，在即时通讯场景中，用户与聊天对象聊天，假设用户此时输入了需要向聊天对象发送的聊天文本，则为了提高聊天的趣味性，进而提高用户的聊天体验，可以根据本申请的方式生成用于描述聊天文本中的描述对象以及描述对象之间的状态属性的目标图像，然后向聊天对象发送目标图像，聊天对象可以根据目标图像直观地感受到聊天文本中的聊天内容，从而可以提高聊天的趣味性，进而提高用户的聊天体验。
例如，在本申请另一个实施例中，在社交论坛的场景中，帖主在社交论坛中发布了帖子，回帖人需要对该帖子评论，假设回帖人此时输入了用于对帖子评论的评论文本，在一种方式中，电子设备可以向社交论坛的服务端提交评论文本，以使服务端在该帖子上部署该评论文本，进而使得之后其他人在查看该帖子时可以看到回帖人对该帖子评论的评论文本，
但是，这种方式中，其他人看到的评论是文本形式的，形式单一，趣味性较低，且导致在社交论坛上的社交体验较低，因此，为了提高在社交论坛上的社交体验，电子设备可以根据本申请的方式生成用于描述评论文本中的描述对象以及描述对象之间的状态属性的目标图像，然后向社交论坛的服务端提交目标图像，以使服务端将目标图像作为评论部署在该帖子上，进而使得之后其他人在查看该帖子时可以看到用户对该帖子评论的目标图像，从而可以直观地感受到评论文本中的评论内容。
如此，利用GAN生成图像的能力，可以生成与帖主发布的帖子的文字内容有关且真实的图像，并将生成的图像作为评论在帖子里发布，可以使得评论的形式多样，回帖人不仅可以看到文本形式的评论，还可以看到图像形式的评论，且作为评论的图像与帖主发布的帖子的文字内容有关，可以提高趣味性，且降低了帖主以及回帖人产生审美疲劳的可能性，以及，使得帖主以及回帖人不易感知到评论是自动回复的，提高了帖主以及回帖人对社交论坛产生亲切感的可能性，进而可以提高社交论坛对帖主以及回帖人的黏性。另外，还可以增强帖主以及回帖人之间的互动感、提高帖主的发帖体验，从而提高帖主发帖的意愿，增强社交论坛活跃度。
在本申请一个实施例中，可以存储文本与目标图像之间的对应关系，以使之后在需要应用用于描述该文本中的描述对象以及描述对象之间的状态属性的目标图像的情况下，可以直接根据该对应关系获取到目标图像并直接使用，避免通过上述方式再次生成目标图像，从而可以提高之后应用目标图像的效率。
在本申请一个实施例中，参见图3，步骤S102包括：
在步骤S201中，基于GAN包括的图像生成模型，生成用于描述描述对象以及状态属性的候选图像；
本申请中，事先可以训练GAN。
例如，可以获取样本文本中的样本描述对象以及样本描述对象的样本状态属性，然后基于第一模型，生成用于描述样本描述对象以及样本状态属性的样本图像。
其中，第一模型包括：CNN(Convolutional Neural Networks，卷积神经网络)、RNN(循环神经网络，Recurrent Neural Network)以及LSTM(Long Short-Term Memory，长短期记忆网络)等，本申请对此不加以限定。第一模型用来训练图像生成模型。
之后可以基于第二模型，确定样本图像是否为真实的图像；其中，第二模型包括：CNN、RNN以及LSTM等，本申请对此不加以限定。第二模型用来训练图像判别模型。
然后根据第二模型对样本图像的判别结果，更新第一模型中的网络参数，并基于人工对第一样本图像的标注结果，更新第二模型中的网络参数；该标注结果用于指示样本图像为真实的图像或不为真实的图像；
直至在更新后的第二模型对更新后的第一模型生成的样本图像的判别结果为预设结果的情况下，将更新后的第一模型确定为图像生成模型，以及将更新后的第二模型确定为图像判别模型。
其中，预设结果包括：更新后的第二模型判别更新后的第一模型生成的样本图像为真实的图像的概率位于第一预设概率区间内，判别更新后的第一模型生成的样本图像不为真实的图像的概率位于第二预设概率区间内，例如，第一预设概率区间包括48％～52％等，第二预设概率区间包括48％～52％等。
在一个示例中，预设结果包括：更新后的第二模型判别样本图像为真实的图像的概率为50％，判别样本图像不为真实的图像的概率为50％。
其中，在一种理解方式中，在更新后的第二模型对更新后的第一模型生成的样本图像的判别结果为预设结果，可以理解为：更新后的第二模型对更新后的第二模型连续生成的多个样本图像的判别结果均为预设结果等。
在步骤S202中，基于GAN包括的图像判别模型，确定候选图像是否为真实的图像；
在候选图像为真实的图像的情况下，在步骤S203中，将候选图像确定为目标图像。
在候选图像不为真实的图像的情况下，在步骤S204中，基于候选图像不为真实的图像的判别结果，更新图像生成模型的网络参数；
在本申请中，在候选图像不为真实的图像的情况下，通常可能是因为图像生成模型的泛化程度较低，或者说，图像生成模型中的网络参数收敛程度较低，此时为了能够基于图像生成模型生成真实的图像，可以基于候选图像不为真实的图像的判别结果，更新图像生成模型的网络参数，然后执行步骤S205。
本申请对更新网络参数的具体更新方式不做限定，可以根据图像生成模型的网络结构的具体情况而定。
在步骤S205中，基于更新后的图像生成模型，重新生成用于描述描述对象以及状态属性的候选图像，直至重新生成的候选图像被图像判别模型判别为真实的图像为止。
为了能够得到真实的图像，在对图像生成模型更新之后，可以基于更新后的图像生成模型，重新生成用于描述描述对象以及状态属性的候选图像，直至重新生成的候选图像被图像判别模型判别为真实的图像为止。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作并不一定是本申请所必须的。
参照图4，示出了本申请的一种图像生成装置的结构框图，该装置具体可以包括如下模块：
第一获取模块11，用于获取文本中的描述对象以及描述对象的状态属性；
第二获取模块12，用于基于生成式对抗网络GAN，获取用于描述所述描述对象以及所述状态属性的目标图像。
在一个可选的实现方式中，所述状态属性包括：
所述描述对象的位置信息、所述描述对象的行为信息、所述描述对象的情绪信息以及至少两个描述对象之间的依存关系；
所述依存关系包括至少两个描述对象之间的相对位置关系以及至少两个描述对象之间的相对行为关系。
在一个可选的实现方式中，所述第二获取模块包括：
第一生成单元，用于基于所述GAN包括的图像生成模型，生成用于描述所述描述对象以及所述状态属性的候选图像；
第一确定单元，用于基于所述GAN包括的图像判别模型，确定所述候选图像是否为真实的图像；
第二确定单元，用于在所述候选图像为真实的图像的情况下，将所述候选图像确定为所述目标图像。
在一个可选的实现方式中，所述第二获取模块还包括：
第一更新单元，用于在所述候选图像不为真实的图像的情况下，基于所述候选图像不为真实的图像的判别结果，更新所述图像生成模型的网络参数；
第二生成单元，用于基于更新后的图像生成模型，重新生成用于描述所述描述对象以及所述状态属性的候选图像，直至重新生成的候选图像被所述图像判别模型判别为真实的图像为止。
在一个可选的实现方式中，所述第二获取模块还包括：
获取单元，用于获取样本文本中的样本描述对象以及所述样本描述对象的样本状态属性；
第三生成单元，用于基于第一模型，生成用于描述所述样本描述对象以及所述样本状态属性的样本图像；
第三确定单元，用于基于第二模型，确定所述样本图像是否为真实的图像；
第二更新单元，用于根据所述第二模型对所述样本图像的判别结果，更新所述第一模型中的网络参数，并基于人工对所述第一样本图像的标注结果，更新所述第二模型中的网络参数；所述标注结果用于指示所述样本图像为真实的图像或不为真实的图像；
第四确定单元，用于直至在更新后的第二模型对更新后的第一模型生成的样本图像的判别结果为预设结果的情况下，将所述更新后的第一模型确定为所述图像生成模型，以及将所述更新后的第二模型确定为图像判别模型。
在一个可选的实现方式中，所述装置还包括：
发送模块，用于发送所述目标图像，以使所述目标图像的接收端在社交平台上应用所述图像。
在一个可选的实现方式中，所述装置还包括：
存储模块，用于存储所述文本与所述目标图像之间的对应关系。
在本申请中，可以获取文本中的描述对象以及该描述对象的状态属性；然后基于生成式对抗网络GAN，获取用于描述该描述对象以及该状态属性的目标图像。通过本申请，利用GAN生成图像的能力，可以生成与文本的内容有关且真实的图像，然后至少可以基于图像在社交平台上进行社交活动，这样，参与社交活动的用户可以感知到的社交内容的形式是多样的，例如，除了可以看到文本形式的社交内容，还可以看到图像形式的社交内容，可以提高社交的趣味性，且可以降低用户对社交内容产生审美疲劳的可能性，可以提高用户对社交平台产生亲切感的可能性，进而可以提高社交平台对用户的黏性，另外，基于生成与文本的内容有关且真实的图像还可以增强用户之间的互动感，提高用户的社交体验，以及增强社交平台活跃度。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
图5是本申请示出的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播操作信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图6是本申请示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。
参照图6，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种图像生成方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (16)
1.一种图像生成方法，其特征在于，所述方法包括：
获取文本中的描述对象以及描述对象的状态属性；
基于生成式对抗网络GAN，获取用于描述所述描述对象以及所述状态属性的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述状态属性包括：
所述描述对象的位置信息、所述描述对象的行为信息、所述描述对象的情绪信息以及至少两个描述对象之间的依存关系；
所述依存关系包括至少两个描述对象之间的相对位置关系以及至少两个描述对象之间的相对行为关系。
3.根据权利要求1所述的方法，其特征在于，所述基于生成式对抗网络GAN，获取用于描述所述描述对象以及所述状态属性的目标图像，包括：
基于所述GAN包括的图像生成模型，生成用于描述所述描述对象以及所述状态属性的候选图像；
基于所述GAN包括的图像判别模型，确定所述候选图像是否为真实的图像；
在所述候选图像为真实的图像的情况下，将所述候选图像确定为所述目标图像。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在所述候选图像不为真实的图像的情况下，基于所述候选图像不为真实的图像的判别结果，更新所述图像生成模型的网络参数；
基于更新后的图像生成模型，重新生成用于描述所述描述对象以及所述状态属性的候选图像，直至重新生成的候选图像被所述图像判别模型判别为真实的图像为止。
5.根据权利要求3或4所述的方法，其特征在于，所述GAN的训练方式包括：
获取样本文本中的样本描述对象以及所述样本描述对象的样本状态属性；
基于第一模型，生成用于描述所述样本描述对象以及所述样本状态属性的样本图像；
基于第二模型，确定所述样本图像是否为真实的图像；
根据所述第二模型对所述样本图像的判别结果，更新所述第一模型中的网络参数，并基于人工对所述第一样本图像的标注结果，更新所述第二模型中的网络参数；所述标注结果用于指示所述样本图像为真实的图像或不为真实的图像；
直至在更新后的第二模型对更新后的第一模型生成的样本图像的判别结果为预设结果的情况下，将所述更新后的第一模型确定为所述图像生成模型，以及将所述更新后的第二模型确定为图像判别模型。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
发送所述目标图像，以使所述目标图像的接收端在社交平台上应用所述图像。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
存储所述文本与所述目标图像之间的对应关系。
8.一种图像生成装置，其特征在于，所述装置包括：
第一获取模块，用于获取文本中的描述对象以及描述对象的状态属性；
第二获取模块，用于基于生成式对抗网络GAN，获取用于描述所述描述对象以及所述状态属性的目标图像。
9.根据权利要求8所述的装置，其特征在于，所述状态属性包括：
所述描述对象的位置信息、所述描述对象的行为信息、所述描述对象的情绪信息以及至少两个描述对象之间的依存关系；
所述依存关系包括至少两个描述对象之间的相对位置关系以及至少两个描述对象之间的相对行为关系。
10.根据权利要求8所述的装置，其特征在于，所述第二获取模块包括：
第一生成单元，用于基于所述GAN包括的图像生成模型，生成用于描述所述描述对象以及所述状态属性的候选图像；
第一确定单元，用于基于所述GAN包括的图像判别模型，确定所述候选图像是否为真实的图像；
第二确定单元，用于在所述候选图像为真实的图像的情况下，将所述候选图像确定为所述目标图像。
11.根据权利要求10所述的装置，其特征在于，所述第二获取模块还包括：
第一更新单元，用于在所述候选图像不为真实的图像的情况下，基于所述候选图像不为真实的图像的判别结果，更新所述图像生成模型的网络参数；
第二生成单元，用于基于更新后的图像生成模型，重新生成用于描述所述描述对象以及所述状态属性的候选图像，直至重新生成的候选图像被所述图像判别模型判别为真实的图像为止。
12.根据权利要求10或11所述的装置，其特征在于，所述第二获取模块还包括：
获取单元，用于获取样本文本中的样本描述对象以及所述样本描述对象的样本状态属性；
第三生成单元，用于基于第一模型，生成用于描述所述样本描述对象以及所述样本状态属性的样本图像；
第三确定单元，用于基于第二模型，确定所述样本图像是否为真实的图像；
第二更新单元，用于根据所述第二模型对所述样本图像的判别结果，更新所述第一模型中的网络参数，并基于人工对所述第一样本图像的标注结果，更新所述第二模型中的网络参数；所述标注结果用于指示所述样本图像为真实的图像或不为真实的图像；
第四确定单元，用于直至在更新后的第二模型对更新后的第一模型生成的样本图像的判别结果为预设结果的情况下，将所述更新后的第一模型确定为所述图像生成模型，以及将所述更新后的第二模型确定为图像判别模型。
13.根据权利要求8所述的装置，其特征在于，所述装置还包括：
发送模块，用于发送所述目标图像，以使所述目标图像的接收端在社交平台上应用所述图像。
14.根据权利要求8所述的装置，其特征在于，所述装置还包括：
存储模块，用于存储所述文本与所述目标图像之间的对应关系。
15.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行如权利要求1-7任一项所述的图像生成方法。
16.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-7任一项所述的图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010761990.6A CN112036544A (zh) | 2020-07-31 | 2020-07-31 | 一种图像生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010761990.6A CN112036544A (zh) | 2020-07-31 | 2020-07-31 | 一种图像生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112036544A true CN112036544A (zh) | 2020-12-04 |
Family
ID=73582118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010761990.6A Pending CN112036544A (zh) | 2020-07-31 | 2020-07-31 | 一种图像生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036544A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117395470A (zh) * | 2023-08-31 | 2024-01-12 | 江苏初辰文化发展有限公司 | 一种基于弹幕分享的直播内容评价检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190080433A1 (en) * | 2017-09-08 | 2019-03-14 | Baidu Online Network Technology(Beijing) Co, Ltd | Method and apparatus for generating image |
| CN110070124A (zh) * | 2019-04-15 | 2019-07-30 | 广州小鹏汽车科技有限公司 | 一种基于生成式对抗网络的图像扩增方法及系统 |
| CN110738276A (zh) * | 2019-12-19 | 2020-01-31 | 北京影谱科技股份有限公司 | 图像素材生成方法和装置及电子设备、计算机可读存储介质 |
| CN111159454A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 基于Actor-Critic生成式对抗网络的图片描述生成方法及系统 |
| CN111428448A (zh) * | 2020-03-02 | 2020-07-17 | 平安科技（深圳）有限公司 | 文本生成方法、装置、计算机设备及可读存储介质 |
-
2020
- 2020-07-31 CN CN202010761990.6A patent/CN112036544A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190080433A1 (en) * | 2017-09-08 | 2019-03-14 | Baidu Online Network Technology(Beijing) Co, Ltd | Method and apparatus for generating image |
| CN110070124A (zh) * | 2019-04-15 | 2019-07-30 | 广州小鹏汽车科技有限公司 | 一种基于生成式对抗网络的图像扩增方法及系统 |
| CN110738276A (zh) * | 2019-12-19 | 2020-01-31 | 北京影谱科技股份有限公司 | 图像素材生成方法和装置及电子设备、计算机可读存储介质 |
| CN111159454A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 基于Actor-Critic生成式对抗网络的图片描述生成方法及系统 |
| CN111428448A (zh) * | 2020-03-02 | 2020-07-17 | 平安科技（深圳）有限公司 | 文本生成方法、装置、计算机设备及可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117395470A (zh) * | 2023-08-31 | 2024-01-12 | 江苏初辰文化发展有限公司 | 一种基于弹幕分享的直播内容评价检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110266879B (zh) | 播放界面显示方法、装置、终端及存储介质 | |
| CN110662083A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| RU2640632C2 (ru) | Способ и устройство для доставки информации | |
| CN109670077B (zh) | 视频推荐方法、装置和计算机可读存储介质 | |
| CN109165738B (zh) | 神经网络模型的优化方法及装置、电子设备和存储介质 | |
| CN107133354B (zh) | 图像描述信息的获取方法及装置 | |
| CN107341509B (zh) | 卷积神经网络的训练方法、装置及可读存储介质 | |
| CN106777016B (zh) | 基于即时通信进行信息推荐的方法及装置 | |
| CN109685041B (zh) | 图像分析方法及装置、电子设备和存储介质 | |
| CN109543069B (zh) | 视频推荐方法、装置和计算机可读存储介质 | |
| CN106547850B (zh) | 表情注释方法及装置 | |
| CN112001364A (zh) | 图像识别方法及装置、电子设备和存储介质 | |
| CN110941727B (zh) | 一种资源推荐方法、装置、电子设备及存储介质 | |
| CN112148980A (zh) | 基于用户点击的物品推荐方法、装置、设备和存储介质 | |
| CN108270661B (zh) | 一种信息回复的方法、装置和设备 | |
| CN110970015B (zh) | 一种语音处理方法、装置和电子设备 | |
| CN109447258B (zh) | 神经网络模型的优化方法及装置、电子设备和存储介质 | |
| CN109756783B (zh) | 海报的生成方法及装置 | |
| CN106447747B (zh) | 图像处理方法及装置 | |
| CN112036544A (zh) | 一种图像生成方法及装置 | |
| CN110213062B (zh) | 处理消息的方法及装置 | |
| CN111984767A (zh) | 一种信息推荐方法、装置和电子设备 | |
| CN112115321A (zh) | 内容推荐模型的训练方法及装置、电子设备和存储介质 | |
| CN111382242A (zh) | 一种信息提供方法、装置及可读介质 | |
| CN113127613B (zh) | 聊天信息处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |