CN117112826A - 一种图像生成方法、装置、计算机设备及存储介质 - Google Patents
一种图像生成方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117112826A CN117112826A CN202311077757.6A CN202311077757A CN117112826A CN 117112826 A CN117112826 A CN 117112826A CN 202311077757 A CN202311077757 A CN 202311077757A CN 117112826 A CN117112826 A CN 117112826A
- Authority
- CN
- China
- Prior art keywords
- image
- user
- target
- information
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000012925 reference material Substances 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims description 83
- 230000008569 process Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种图像生成方法、装置、计算机设备及存储介质,其中,该方法包括:展示进行图像智能生成的目标界面;所述目标界面中展示有多个风格参考素材,每个所述风格参考素材包含风格指示信息和对应的图像样例;确定用户从所述多个风格参考素材中选择的目标风格参考素材,并获取用户在选择的图像生成方式下的输入信息;根据所述图像生成方式下的输入信息以及所述目标风格参考素材,生成至少一个目标图像并进行展示。
Description
技术领域
本公开涉及人工智能技术领域,具体而言,涉及一种图像生成方法、装置、计算机设备及存储介质。
背景技术
在游戏画面创作、应用界面中背景图、插画制作等方面,都会涉及到图像画面的创作。
对于图像画面的创作,如果用户没有绘画专业基础,可以借助一些图像生成工具来进行图像画面的创作,但是这些图像生成工具在为用户生成相关图像时,一般需要用户对想要生成的图像进行准确的表达,如果用户表达不准确,或者不知道如何描述出自己想要的图像信息,就会导致生成的图像很难符合用户预期。
发明内容
本公开实施例至少提供一种图像生成方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种图像生成方法,该方法包括:
展示进行图像智能生成的目标界面;所述目标界面中展示有多个风格参考素材,每个所述风格参考素材包含风格指示信息和对应的图像样例;
确定用户从所述多个风格参考素材中选择的目标风格参考素材,并获取用户在选择的图像生成方式下的输入信息;
根据所述图像生成方式下的输入信息以及所述目标风格参考素材,生成至少一个目标图像并进行展示。
一种可选的实施方式中,所述用户选择的图像生成方式为文生图方式;所述文生图方式是指基于文本信息生成图像;
所述获取用户在所述文生图方式下的输入信息包括:
基于用户选择的目标风格参考素材,确定并展示第一文本描述参考信息;
获取用户针对所述第一文本描述参考信息进行编辑后的输入信息。
一种可选的实施方式中,所述用户选择的图像生成方式为图生图方式;所述图生图方式是指基于图片信息生成图像;
所述获取用户在所述图生图方式下的输入信息包括:
获取用户上传的原始图像,或者,获取用户上传的原始图像以及针对所述原始图像的描述信息;所述原始图像来自于所述用户的客户端本地或者来自于目标平台。
一种可选的实施方式中,获取用户针对所述原始图像的描述信息,包括:
根据获取的用户上传的原始图像,以及用户选择的目标风格参考素材,确定并展示第二文本描述参考信息;
获取用户针对所述第二文本描述参考信息进行编辑后的描述信息,作为针对所述原始图像的描述信息。
一种可选的实施方式中,生成至少一个目标图像并进行展示之前,所述方法还包括:
针对设置的至少一种图像生成参数,获取用户输入的参数信息;
所述根据所述图像生成方式下的输入信息以及所述目标风格参考素材,生成至少一个目标图像并进行展示,包括:
根据用户针对至少一种图像生成参数输入的参数信息、所述输入信息以及所述目标风格参考素材,生成至少一个目标图像并进行展示。
一种可选的实施方式中,在所述用户选择的图像生成方式为图生图方式的情况下,所述图像生成参数至少包括图像结构保持强度和纹理保持强度中的至少一种;所述图生图方式是指基于图片信息生成图像,所述图像结构保持强度用于指示对用户上传的原始图片的边缘线的保留程度,所述纹理保持强度用于指示对用户上传的原始图片的图片纹理的保留程度。
一种可选的实施方式中,所述方法还包括:
展示至少一种图像处理控件;
响应于针对任一所述目标图像的图像处理请求,按照选中的图像处理控件对应的图像处理方式,对所述目标图像进行处理得到处理后图像。
一种可选的实施方式中,所述至少一种图像处理控件包括以下至少一种:
对应超分处理方式的第一控件、对应变体处理方式的第二控件、对应抠图处理方式的第三控件;对应创作相似图像处理方式的第四控件;
所述超分处理方式是指对图片进行放大处理,所述放大处理是指对图像进行分辨率和尺寸的同步放大处理;所述抠图处理方式是指对图像进行前景像素提取处理;所述变体处理方式是指在保持图像风格一致的前提下进行图像细节调整处理;所述创作相似处理方式是指采用与对应图像相同的输入信息进行图像再次创作,所述第四控件被触发后,在所述目标界面重新展示对应图像的输入信息。
一种可选的实施方式中,所述展示至少一种图像处理控件,包括:
响应于针对在任一所述目标图像位置处展示的控件列表按钮的触发操作,在所述目标图像位置处展示至少一种图像处理控件;或者,
在所述目标界面的图像生成方式选择栏展示多种所述图像生成方式,以及所述至少一种图像处理控件。
第二方面,本公开实施例提供一种图像生成装置,包括:
展示模块,用于展示进行图像只能生成的目标界面,所述目标界面中展示有多个风格参考素材,每个所述风格参考素材包含风格指示信息和对应的图像样例;
获取模块,用于确定用户从所述多个风格参考素材中选择的目标风格参考素材,并获取用户在选择的图像生成方式下的输入信息;
生成模块,用于根据所述图像生成方式下的输入信息以及所述目标风格参考素材,生成至少一个目标图像并进行展示。
第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可选的实施方式中的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可选的实施方式中的步骤。
关于上述交互装置,计算机设备及计算机可读介质的效果描述参见上述交互方法的说明,这里不再赘述。
上述任一方面或任一方面的任一实施方式,为用户提供了根据输入信息和选择的风格参考素材,生成目标图像的功能;具体在展示图像智能生成的目标界面后,通过获取用户在目标界面中选择的目标风格参考素材,以及用户在选择的图像生成方式下的输入信息,来生成至少一个目标图像;其中,每个目标风格参考素材包含有风格指示信息和对应的图像样例;这样,通过展示包含图像样例和风格指示信息的风格参考素材,可以方便用户参考图像样例和风格说明确认感兴趣的目标风格参考素材,基于该目标风格参考素材和用户在选择的图像生成方式下的输入信息,可以更准确地生成符合用户预期的目标图像。
在本公开进一步的实施例中,还可以根据用户选择的目标风格参考素材,确定并展示符合该目标风格参考素材所表征的风格的第一文本描述参考信息,用户可以根据该第一文本描述参考信息进行输入信息的编辑,也即用户能够在第一文本描述参考信息的基础上对其进行自定义的修改,从而使得最终生成的目标图像更加符合用户需求。
此外,本公开实施例还能够提供不同的图像生成方式;可以基于文本信息生成目标图像(文生图方式),也可以基于用户上传的图片信息生成目标图像(图生图方式);在获取到用户在选择的图像生成方式下的输入信息后,还支持用户能够对目标图像的其他参数进行调节,比如分辨率、描述词关联度等;特别是在用户选择图生图的图像生成方式后,可以对结构保持强度和纹理保持强度进行调节,以调整在生成的目标图像中对用户上传的原始图片的边缘线及图片纹理的保留程度。通过这样的方式,在为用户提供了更多样的图像生成场景的同时,也提供了更细节的参数设置功能,可以便捷高效地生成满足用户需求的目标图像。
另外,在本公开一些实施例中,生成目标图像后,还提供了对目标图像进行抠图、超分、变体和创作相似的功能,当用户对目标图像存在对应的需求时,可以通过触发相应的控件,完成对目标图像的处理。通过这样的方式,能够节省用户后续对目标图像进行额外处理的时间,能够一键式生成满足用户需求的处理后图像,提高了生成符合用户预期的图像的效率。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像处理方法的流程图;
图2示出了本公开实施例所提供的图像处理方法中,文生图模式下目标界面的示意图;
图3示出了本公开实施例所提供的图像处理方法中,图生图模式下目标界面的示意图;
图4示出了本公开实施例所提供的图像处理方法中,文生图模式下增加显示参数设置界面的示意图;
图5示出了本公开实施例所提供的图像处理方法中,图生图模式下增加显示参数设置界面的示意图;
图6示出了本公开实施例所提供的图像处理方法中,生成目标图像后的示意图;
图7示出了本公开实施例所提供的一种图像处理装置的示意图;
图8示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,对于图像画面的创作,可以借助一些图像生成工具来进行图像画面的创作,但是这些图像生成工具在为用户生成相关图像时,一般需要用户对想要生成的图像进行准确的表达,如果用户表达不准确,或者不知道如何描述出自己想要的图像信息,就会导致生成的图像很难符合用户预期。
基于上述研究,本公开实施例提供了一种图像生成方法,可以在生成目标图像前,首先提供多个风格参考素材,用户可以根据各风格参考素材中包括的风格指示信息和对应的图像样例,选择符合自己预期的风格参考素材,在此基础上,再根据获取到的在用户选择的图像生成方式下的输入信息,生成与风格参考素材匹配的目标图像。这样,通过展示包含图像样例和风格指示信息的风格参考素材,可以方便用户参考图像样例和风格说明确认感兴趣的目标风格参考素材,基于该目标风格参考素材和用户在选择的图像生成方式下的输入信息,可以更准确地生成符合用户预期的目标图像。
除此之外,针对需要用户输入的输入信息,本公开实施例还进一步提供了为用户提供相关文本描述参考信息的方案,用户可以基于该文本描述参考信息直接进行输入信息的编辑,从而相比让用户直接编写输入信息,一方面可以提高进行输入信息编写的效率,另一方面进一步降低了用户获取到目标图像的编辑门槛。
进一步地,本公开实施例还提供了一些对目标图像进行精细控制的参数调节方式,以及对生成的目标图像进行一键式处理、快捷得到更新后图像的处理方式。下面将进行具体介绍。
以上问题的提出以及解决思路,均是发明人在经过实践并仔细研究后得出的结果,上述问题的发现过程以及针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
下面将结合本公开中附图,对本公开中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种图像处理方法进行详细介绍,本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为终端设备为例对本公开实施例提供的图像处理方法加以说明。
实施例一
参见图1所示,为本公开实施例一提供的图像处理方法的流程图,所述方法包括步骤S101~S103,其中:
S101:展示进行图像智能生成的目标界面;所述目标界面中展示有多个风格参考素材,每个所述风格参考素材包含风格指示信息和对应的图像样例。
这里,用户在进入图像智能生成的目标界面后,可以在目标界面中的多个风格参考素材中选择符合需求的风格参考素材,每个风格参考素材包含有风格指示信息和对应的图像样例。
在本公开实施例中,如图2所示,为目标界面的示意图。在目标界面中,设置有标签栏,用户可以在标签栏中,选择对应的图像生成方式,如图2中的“文生图”和“图生图”选项;另外,在标签栏中,还设置有“抠图”、“超分”、“变体”等多种图像处理方式,以方便用户对已经生成的目标图像或本地上传的其他图像进行相应的图像处理,具体的处理方式参见后续S103相关内容的描述。
在本公开实施例中,目标界面中还设置有多个风格参考素材选项,每个风格参考素材中都包括对应的风格名称、风格指示信息、和图像样例,如图2中给出的风格参考素材选项中,其中一个风格参考素材对应的风格指示信息中,包括风格名称“赛博朋克风”以及风格说明“二次元/动漫”,除此之外,每个风格参考素材还给出了对应的图像样例,以便用户能够更直观的在目标界面中查看并选择符合自己预期的图像风格,可以更准确、更有目的性地进行风格参考素材的选择;在将用户选择的风格参考素材和输入信息提供给人工智能模型后,人工智能模型可以生成与用户选择的风格参考素材及输入信息匹配的目标图像,使得生成的目标图像不至于因为输入信息的描述不足而与用户预期相差较多。
此外,目标界面中还设置有其他参数设置按钮,用户触发该按钮后,可以在当前目标页面外增加显示参数设置页面,具体实施流程在S103中进行详细介绍,此处不再赘述。
S102:确定用户从所述多个风格参考素材中选择的目标风格参考素材,并获取用户在选择的图像生成方式下的输入信息。
这里,除了在多个风格参考素材中选择目标参考素材,用户还可以在目标界面中的标签栏选择需要的图像生成方式,以及可以在对应的输入区域输入对应图像生成方式下的输入信息。这里,对在标签栏中选择图像生成方式、选择目标参考素材、以及进行输入信息的输入之间的先后顺序不做限定,用户可以根据自己需求选择先执行哪一步操作。
在具体实施中,若用户选定的图像生成方式为文生图,即基于文字信息生成目标图像,在这种图像生成方式下,除了用户可以自行进行输入信息的编辑这种方式外,本公开实施例还提供了一种可以为用户提供初始输入信息的方式:在用户选定目标风格参考素材后,人工智能模型可以自动在后台生成对应的第一文本描述参考信息,并在如图2所示的文字描述信息输入区域内展示给用户,用户可以在此基础上对第一文本参考信息进行编辑,当用户完成对第一文本参考信息的修改编辑后,可以点击当前界面中的“立即生成”按钮,开始生成对应的目标图像。
上述第一文本参考信息,可以是在用户选定目标风格参考素材后,基于预先设定的各风格参考素材与文本描述参考信息之间的对应关系,确定并展示出的,也可以是通过人工智能模型基于目标风格参考素材临时自动生成的。
在一种可能的实施方式中,在选定目标风格参考素材后,用户可以通过触发目标界面中的“帮我写”按钮,指示人工智能模型生成上述第一文本参考信息。之后,用户可以对第一文本参考信息进行自定义的修改,完成修改后,可以点击当前界面中的“立即生成”按钮,指示人工智能模型开始生成对应的目标图像。
或者,在另外一种可能的实施方式中,在用户选定目标风格参考素材后,可以首先基于预先设定的各风格参考素材与文本描述参考信息之间的对应关系,确定并展示出初始的第一文本参考信息,然后触发“帮我写”按钮,指示人工智能模型生成更详细的、与当前第一文本参考信息相关联的图像描述信息,用户也可以对图像描述信息进行自定义的修改,完成修改后,可以点击当前界面中的“立即生成”按钮,指示人工智能模型开始生成对应的目标图像。
在具体实施中,若用户选定的图像生成方式为图生图,即基于图片信息生成目标图像,此时,获取用户在所述图生图方式下的输入信息可以包括:获取用户上传的原始图像,或者,获取用户上传的原始图像以及针对所述原始图像的描述信息;所述原始图像来自于所述用户的客户端本地或者来自于目标平台。这里,目标平台可以认为是本公开实施例所提供的生图功能(作为插件)所接入的应用平台。
在用户选择图生图的图像生成方式后,当前界面更新展示为如图3所示的图生图方式下对应的目标界面。与文生图方式下的目标界面相比,图3所示的界面中,额外设置了“添加图片”按钮,用户可以通过触发该按钮,选择需要上传图片的方式,本公开实施例中包括本地上传及目标平台上传两种方式,在实际应用中应以实际情况为准,在此不做具体限定。
在图生图的图像生成方式下,用户可以直接选择基于图片生成目标图像,也可以在上传图片之外,再额外进行文字信息的输入,使得人工智能模型结合上传的图片和输入的文字信息进行目标图像的生成。
在一种实施方式中,在用户选定目标参考风格素材并完成原始图片的上传后,人工智能模型可以根据目标参考风格素材和原始图片,生成第二文本描述参考信息,并展示给用户,用户可以在此基础上,对其进行自定义的修改编辑,完成修改编辑后,可以点击当前界面中的“立即生成”按钮,指示人工智能模型开始生成对应的目标图像。
在另一种可能的实施方式中,人工智能模型可以首先根据用户选定的目标参考风格素材以及上传的原始图片,确定上述第二文本描述参考信息,并在目标界面中的文字描述信息输入区域展示给用户;然后,用户可以通过触发当前目标界面中的“帮我写”按钮,指示人工智能模型生成更详细的、与当前第二文本参考信息相关联的图像描述信息,用户也可以对图像描述信息进行自定义的修改,完成修改后,可以点击当前界面中的“立即生成”按钮,指示人工智能模型开始生成对应的目标图像。
此处需要说明的是,在图生图方式下,目标图像的生成以用户上传的原始图像为主,对应的文字描述信息可以相对简练,此处的文字描述信息在生成目标图像的过程中起辅助说明作用。
S103:根据所述图像生成方式下的输入信息以及所述目标风格参考素材,生成至少一个目标图像并进行展示。
这里,当用户完成对上述用于生成目标图像的输入信息的编辑和/或图片的上传后,可以点击目标界面中的“立即生成”按钮,指示人工智能模型生成对应的目标图像,并将生成好的目标图像展示给用户。
本公开实施例中,在人工智能模型生成并展示对应的目标图像之前,用户还可以通过触发当前界面中的“其他参数”按钮,在参数设置界面中对相应的参数进行调整,其中,参数设置界面可以增加展示在当前目标界面中的预设区域,比如右侧区域。
这里,针对设置的至少一种图像生成参数,可以获取用户输入的参数信息;在人工智能模块生成目标图像时,除了上述目标风格参考素材和输入信息外,还可以结合这些参数信息,辅助进行目标图像的生成。
如图4所示,为文生图模式下增加显示参数设置界面的示意图。在文生图模式对应的参数设置界面中,本公开实施例提供了分辨率、屏蔽词、描述词关联度、结果相似度、绘图精细度、生成数量等多个维度下的参数设置选项,用户可以滑动对应维度下的滑动尺,来完成参数的调整。其中,需要额外说明的是,在屏蔽词下方可以设置有对应的输入区域,在对应的输入区域内,人工智能模型会预先给出一些通用的屏蔽词模板,用户可以对其进行自定义的修改;另外,分辨率也是可以基于用户的需求,让用户自行完成设置的。当用户完成参数的调整后,可以点击目标界面中的“立即生成”按钮,指示人工智能模型基于参数设置信息、输入信息、以及选中的目标风格参考素材,生成对应的目标图像。
另一种可能的实施方式中,如图5所示,为图生图模式下增加显示参数设置界面的示意图。在图生图对应的参数设置界面中,相比于上述的文生图模式下的参数设置界面,额外添加了结构保持强度和纹理保持强度中的至少一项,用户也可以通过滑动对应维度下方的滑动尺,来完成对应参数的调整;其中,结构保持强度用于识别上传的原始图像的边缘线,在进行目标图像的生成时,可以按照识别的边缘线,生成对应风格的目标图像,结构保持强度的值越大,识别的边缘线就越多,生成的目标图像就更加贴合原始图像轮廓;纹理保持强度用于指示目标图像保留原始图像的纹理和/或色相等信息,纹理保持强度的值越大,生成的目标图像与原始图像就越相似。
如图6所示,为生成目标图像后的示意图,生成的目标图像将更新展示在目标界中的风格参考素材区域,在本公开实施例中,除在S101中所述的图像生成方式展示栏以外,在生成的目标图像的上方也展示有相关的图像处理控件。
在具体实施中,若用户触发任意一个目标图像,则在对应的目标图像上方展示图像处理控件,若用户触发其中某个图像处理控件,则对选中的目标图像进行对应的图像处理;其中,图像处理控件包括以下至少一种:
对应超分处理方式的第一控件、对应变体处理方式的第二控件、对应抠图处理方式的第三控件;对应创作相似图像处理方式的第四控件。除此之外,还可以包括对目标图像进行下载处理的第五控件。
本公开实施例中,“创作相似”用于复现当前选中的目标图像的描述信息,当用户存在查看用于生成当前选中目标图像的描述信息的需求时,则可以通过触发该控件,实现对应描述信息的复现,此外,该控件也可以用于在被触发后,基于已有的描述信息重新生成对应的目标图像。本公开实施例中,“超分”用于对选中的目标图像的分辨率和尺寸进行同步放大;“变体”用于在保持图像风格一致的前提下,对选中的目标图像进行细节调整处理;“抠图”用于对选中的目标图像进行前景像素提取处理;此处需要说明的是,经过上述处理的目标图像均可以直接上传至目标平台或保存至本地。
在具体实施中,由于“抠图”、“超分”、“变体”这些图像处理方式,其实也相当于是在生成新的图像,因此本公开实施例可以将其放在标签栏中,与文生图和图生图的图像生成方式一起。而“超分”、“变体”、“创作相似”这些又是针对生成好的目标图像的再创作,为了方便对目标图像的一键式操作,本公开实施例的一种实施方式中,在将鼠标悬停在任一图像上方时,可以显示如图6所示的图像中左上角所示的快捷键呼出按钮,另外,还可以展示如图像中右上角所示的抠图、下载和收藏按钮,通过触发左上角的快捷键呼出按钮,可以展示“超分”、“变体”、“创作相似”这些图像处理控件。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与图像处理方法对应的图像处理装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
实施例二
参照图7所示,为本公开实施例提供的一种图像处理装置的架构示意图,所述装置包括:展示模块701、获取模块702、生成模块703;其中,
展示模块701,用于展示进行图像只能生成的目标界面,所述目标界面中展示有多个风格参考素材,每个所述风格参考素材包含风格指示信息和对应的图像样例;
获取模块702,用于确定用户从所述多个风格参考素材中选择的目标风格参考素材,并获取用户在选择的图像生成方式下的输入信息;
生成模块703,用于根据所述图像生成方式下的输入信息以及所述目标风格参考素材,生成至少一个目标图像并进行展示。
在一种可能的实施方式中,获取模块702具体用于:
所述用户选择的图像生成方式为文生图方式;所述文生图方式是指基于文本信息生成图像;
所述获取用户在所述文生图方式下的输入信息包括:
基于用户选择的目标风格参考素材,确定并展示第一文本描述参考信息;
获取用户针对所述第一文本描述参考信息进行编辑后的输入信息。
在一种可能的实施方式中,获取模块702具体用于:
所述用户选择的图像生成方式为图生图方式;所述图生图方式是指基于图片信息生成图像;
所述获取用户在所述图生图方式下的输入信息包括:
获取用户上传的原始图像,或者,获取用户上传的原始图像以及针对所述原始图像的描述信息;所述原始图像来自于所述用户的客户端本地或者来自于目标平台。
在一种可能的实施方式中,获取模块702具体用于:
根据获取的用户上传的原始图像,以及用户选择的目标风格参考素材,确定并展示第二文本描述参考信息;
获取用户针对所述第二文本描述参考信息进行编辑后的描述信息,作为针对所述原始图像的描述信息。
在一种可能的实施方式中,生成模块703还用于:
针对设置的至少一种图像生成参数,获取用户输入的参数信息;
所述根据所述图像生成方式下的输入信息以及所述目标风格参考素材,生成至少一个目标图像并进行展示,包括:
根据用户针对至少一种图像生成参数输入的参数信息、所述输入信息以及所述目标风格参考素材,生成至少一个目标图像并进行展示。
在一种可能的实施方式中,生成模块703还用于:
在所述用户选择的图像生成方式为图生图方式的情况下,所述图像生成参数至少包括图像结构保持强度和纹理保持强度中的至少一种;所述图生图方式是指基于图片信息生成图像,所述图像结构保持强度用于指示对用户上传的原始图片的边缘线的保留程度,所述纹理保持强度用于指示对用户上传的原始图片的图片纹理的保留程度。
在一种可能的实施方式中,所述装置还包括:
处理模块704,用于展示至少一种图像处理控件;
响应于针对任一所述目标图像的图像处理请求,按照选中的图像处理控件对应的图像处理方式,对所述目标图像进行处理得到处理后图像。
在一种可能的实施方式中,处理模块804具体用于:
对应超分处理方式的第一控件、对应变体处理方式的第二控件、对应抠图处理方式的第三控件;对应创作相似图像处理方式的第四控件;
所述超分处理方式是指对图片进行放大处理,所述放大处理是指对图像进行分辨率和尺寸的同步放大处理;所述抠图处理方式是指对图像进行前景像素提取处理;所述变体处理方式是指在保持图像风格一致的前提下进行图像细节调整处理;所述创作相似处理方式是指采用与对应图像相同的输入信息进行图像再次创作,所述第四控件被触发后,在所述目标界面重新展示对应图像的输入信息。
在一种可能的实施方式中,处理模块704具体用于:
响应于针对在任一所述目标图像位置处展示的控件列表按钮的触发操作,在所述目标图像位置处展示至少一种图像处理控件;或者,
在所述目标界面的图像生成方式选择栏展示多种所述图像生成方式,以及所述至少一种图像处理控件。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中图像处理方法,本公开实施例还提供了一种计算机设备800,如图8所示,为本公开实施例提供的就是计算机设备800结构示意图,包括:
处理器801、存储器802、和总线803;存储器802用于存储执行指令,包括内存821和外部存储器822;这里的内存821也称内存储器,用于暂时存放处理器801中的运算数据,以及与硬盘等外部存储器822交换的数据,处理器801通过内存821与外部存储器822进行数据交换,当所述计算机设备800运行时,所述处理器801与所述存储器802之间通过总线803通信,使得所述处理器801执行以下指令:
本公开实施例还一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤,或者,执行上述方法实施例中所述的图像处理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤,或者,执行上述方法实施例中所述的图像处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种图像生成方法,其特征在于,包括:
展示进行图像智能生成的目标界面;所述目标界面中展示有多个风格参考素材,每个所述风格参考素材包含风格指示信息和对应的图像样例;
确定用户从所述多个风格参考素材中选择的目标风格参考素材,并获取用户在选择的图像生成方式下的输入信息;
根据所述图像生成方式下的输入信息以及所述目标风格参考素材,生成至少一个目标图像并进行展示。
2.根据权利要求1所述的方法,其特征在于,所述用户选择的图像生成方式为文生图方式;所述文生图方式是指基于文本信息生成图像;
所述获取用户在所述文生图方式下的输入信息包括:
基于用户选择的目标风格参考素材,确定并展示第一文本描述参考信息;
获取用户针对所述第一文本描述参考信息进行编辑后的输入信息。
3.根据权利要求1所述的方法,其特征在于,所述用户选择的图像生成方式为图生图方式;所述图生图方式是指基于图片信息生成图像;
所述获取用户在所述图生图方式下的输入信息包括:
获取用户上传的原始图像,或者,获取用户上传的原始图像以及针对所述原始图像的描述信息;所述原始图像来自于所述用户的客户端本地或者来自于目标平台。
4.根据权利要求3所述的方法,其特征在于,获取用户针对所述原始图像的描述信息,包括:
根据获取的用户上传的原始图像,以及用户选择的目标风格参考素材,确定并展示第二文本描述参考信息;
获取用户针对所述第二文本描述参考信息进行编辑后的描述信息,作为针对所述原始图像的描述信息。
5.根据权利要求1所述的方法,其特征在于,生成至少一个目标图像并进行展示之前,所述方法还包括:
针对设置的至少一种图像生成参数,获取用户输入的参数信息;
所述根据所述图像生成方式下的输入信息以及所述目标风格参考素材,生成至少一个目标图像并进行展示,包括:
根据用户针对至少一种图像生成参数输入的参数信息、所述输入信息以及所述目标风格参考素材,生成至少一个目标图像并进行展示。
6.根据权利要求5所述的方法,其特征在于,在所述用户选择的图像生成方式为图生图方式的情况下,所述图像生成参数至少包括图像结构保持强度和纹理保持强度中的至少一种;所述图生图方式是指基于图片信息生成图像,所述图像结构保持强度用于指示对用户上传的原始图片的边缘线的保留程度,所述纹理保持强度用于指示对用户上传的原始图片的图片纹理的保留程度。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
展示至少一种图像处理控件;
响应于针对任一所述目标图像的图像处理请求,按照选中的图像处理控件对应的图像处理方式,对所述目标图像进行处理得到处理后图像。
8.根据权利要求7所述的方法,其特征在于,所述至少一种图像处理控件包括以下至少一种:
对应超分处理方式的第一控件、对应变体处理方式的第二控件、对应抠图处理方式的第三控件;对应创作相似图像处理方式的第四控件;
所述超分处理方式是指对图片进行放大处理,所述放大处理是指对图像进行分辨率和尺寸的同步放大处理;所述抠图处理方式是指对图像进行前景像素提取处理;所述变体处理方式是指在保持图像风格一致的前提下进行图像细节调整处理;所述创作相似处理方式是指采用与对应图像相同的输入信息进行图像再次创作,所述第四控件被触发后,在所述目标界面重新展示对应图像的输入信息。
9.根据权利要求7或8所述的方法,其特征在于,所述展示至少一种图像处理控件,包括:
响应于针对在任一所述目标图像位置处展示的控件列表按钮的触发操作,在所述目标图像位置处展示至少一种图像处理控件;或者,
在所述目标界面的图像生成方式选择栏展示多种所述图像生成方式,以及所述至少一种图像处理控件。
10.一种图像生成装置,其特征在于,包括:
展示模块,用于展示进行图像只能生成的目标界面,所述目标界面中展示有多个风格参考素材,每个所述风格参考素材包含风格指示信息和对应的图像样例;
获取模块,用于确定用户从所述多个风格参考素材中选择的目标风格参考素材,并获取用户在选择的图像生成方式下的输入信息;
生成模块,用于根据所述图像生成方式下的输入信息以及所述目标风格参考素材,生成至少一个目标图像并进行展示。
11.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至9任一项所述的图像生成方法的步骤。
12.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至9任一项所述的图像生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311077757.6A CN117112826A (zh) | 2023-08-24 | 2023-08-24 | 一种图像生成方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311077757.6A CN117112826A (zh) | 2023-08-24 | 2023-08-24 | 一种图像生成方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117112826A true CN117112826A (zh) | 2023-11-24 |
Family
ID=88805124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311077757.6A Pending CN117112826A (zh) | 2023-08-24 | 2023-08-24 | 一种图像生成方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117112826A (zh) |
-
2023
- 2023-08-24 CN CN202311077757.6A patent/CN117112826A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810454B2 (en) | Apparatus, method and program for image search | |
KR101376832B1 (ko) | 소스 디지털 이미지를 편집하는 방법 및 장치, 상기 방법의모든 단계를 수행하는 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 및 컴퓨터 판독가능 매체 상에 구현되는 컴퓨터 프로그램 | |
CN113302659B (zh) | 用于生成具有定制的文本消息的个性化视频的系统和方法 | |
US20150277686A1 (en) | Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format | |
CN111935505B (zh) | 视频封面生成方法、装置、设备及存储介质 | |
CN113379865B (zh) | 目标对象的绘制方法和系统 | |
CN113794835B (zh) | 视频录制方法、装置及电子设备 | |
EP3104333A1 (en) | Method and system for generating a user-customized computer-generated animation | |
CN113705156A (zh) | 字符处理方法及装置 | |
US10460490B2 (en) | Method, terminal, and computer storage medium for processing pictures in batches according to preset rules | |
CN114708391A (zh) | 三维建模方法、装置、计算机设备和存储介质 | |
US10120539B2 (en) | Method and device for setting user interface | |
CN104333699A (zh) | 自定义拍照区域合成方法及装置 | |
CN111833234A (zh) | 图像显示方法、图像处理装置和计算机可读存储介质 | |
CN114430460A (zh) | 拍摄方法、装置和电子设备 | |
CN112330728A (zh) | 图像处理方法、装置、电子设备以及可读存储介质 | |
CN117252753A (zh) | 一种基于生成式人工智能技术的图像处理方法及装置 | |
CN117112826A (zh) | 一种图像生成方法、装置、计算机设备及存储介质 | |
CN108875670A (zh) | 信息处理方法、装置和存储介质 | |
US20210225086A1 (en) | Augmented reality custom face filter | |
US20220292748A1 (en) | Imagery keepsake generation | |
CN114939273B (zh) | 一种交互方法、装置、计算机设备及存储介质 | |
CN116943173A (zh) | 一种界面配色方法、装置、计算机设备及存储介质 | |
CN115988312A (zh) | 拍摄方法、装置、电子设备及存储介质 | |
CN115100259A (zh) | 一种视频的重映射方法和相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |