CN116628250A - 图像生成方法、装置、电子设备及计算机可读取存储介质 - Google Patents
图像生成方法、装置、电子设备及计算机可读取存储介质 Download PDFInfo
- Publication number
- CN116628250A CN116628250A CN202310678941.XA CN202310678941A CN116628250A CN 116628250 A CN116628250 A CN 116628250A CN 202310678941 A CN202310678941 A CN 202310678941A CN 116628250 A CN116628250 A CN 116628250A
- Authority
- CN
- China
- Prior art keywords
- image
- target area
- detail
- original image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008439 repair process Effects 0.000 claims abstract description 68
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 4
- 230000007812 deficiency Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 210000001503 joint Anatomy 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例提供一种图像生成方法、装置、电子设备及计算机可读取存储介质,涉及人工智能绘图技术领域。该方法通过基于预设关键词,采用人工智能算法绘制原始图像;获取原始图像中的目标区域,目标区域为被确定为有细节缺失问题的区域;若获取到目标区域,获取目标区域对应的修复模型;利用修复模型对目标区域进行细节修复,得到细节修复后的图像,从而可以对人工智能绘制的原始图像中存在细节缺失问题的区域进行优化,提高图像的细节质量,从而得到细节更加准确、质量更高的图像,解决当前人工智能绘图可能存在部分区域细节不佳的问题。
Description
技术领域
本申请涉及人工智能绘图技术领域,具体涉及一种图像生成方法、装置、电子设备及计算机可读取存储介质。
背景技术
人工智能(Artificial Intelligence,AI)绘图,是一种计算机生成图像的方式,是生成式人工智能(Artificial Intelligence generated content,AIGC)应用领域内的一大分支。AI绘图主要包含两个部分,一个是对图像的分析与判断,即“学习”,一个是对图像的处理和还原,即“输出”。人工智能通过对数以万计的图像及绘画作品进行不断学习,现如今已经达到只需输入清晰易懂的关键词,即可在很短的时间内得到一张效果不错的图像。
发明内容
本申请实施例提出了一种图像生成方法、装置、电子设备及计算机可读取存储介质,以解决当前人工智能绘图可能存在部分区域细节不佳的问题。
第一方面,本申请实施例提供了一种图像生成方法,包括:基于预设关键词,采用人工智能算法绘制原始图像;获取所述原始图像中的目标区域,所述目标区域为被确定为有细节缺失问题的区域;若获取到所述目标区域,获取所述目标区域对应的修复模型;利用所述修复模型对所述目标区域进行细节修复,得到细节修复后的图像。
第二方面,本申请实施例提供了一种图像生成装置,包括:原始图像获取模块,用于基于预设关键词,采用人工智能算法绘制原始图像;细节检测模块,用于获取所述原始图像中的目标区域,所述目标区域为被确定为有细节缺失问题的区域;模型获取模块,用于若获取到所述目标区域,获取所述目标区域对应的修复模型;细节修复模块,用于利用所述修复模型对所述目标区域进行细节修复,得到细节修复后的图像。
第三方面,本申请实施例提供了一种电子设备,所述烹饪器具包括:存储器;一个或多个处理器;一个或多个应用程序,所述一个或多个应用程序存储在所述存储器中,并用于当被所述一个或多个处理器调用时,执行如上所述的方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质上存储有程序代码,所述程序代码用于当被处理器调用时执行如上所述的方法。
本申请实施例提供的图像生成方法、装置、电子设备及计算机可读取存储介质,基于预设关键词,采用人工智能绘制出原始图像,对原始图像进行检测,获取原始图像中有细节缺失问题的目标区域,若获取到目标区域,则获取与目标区域对应的修复模型,利用修复模型对目标区域进行修复,得到细节修复后的图像,从而可以对AI绘制的原始图像中存在细节缺失问题的区域进行优化,提高AI绘制的图像的细节质量,从而得到细节更加准确、质量更高的图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一示例性实施例提供的AI绘制的人像的示意图;
图2示出了图1中矩形实线框所圈出的部分的放大图;
图3示出了本申请一实施例提供的图像生成方法的流程示意图;
图4示出了本申请一示例性实施例提供的在原始图像上添加遮罩后形成的图像的示意图;
图5示出了本申请一示例性实施例提供的不具有细节缺失问题的细节修复后的人像的示意图;
图6示出了图5中矩形实线框所圈出的部分的放大图;
图7示出了本申请一示例性实施例提供的图像生成方法的流程示意图;
图8示出了本申请又一示例性实施例提供的图像生成方法的流程示意图;
图9示出了本申请实施例提供的图像生成装置的结构示意图;
图10示出了本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,随着人工智能的迅速发展,人工智能绘图也成为了当前的热点技术。人工智能(Artificial Intelligence,AI)绘图时,只需要用户输入一定的关键词,即可在很短的时间内得到一张与关键词相关、且效果不错的图像。
然而,发明人发现目前AI绘图生成的图像存在细节不佳的问题。例如,在AI绘制人像时,所生成的人像的手部经常出现错误,包括手部动作僵硬奇怪、手指缺少或多出等。请参阅图1和图2,图1示出了根据一定预设关键词,通过AI绘制出的一个人像的示意图,图2为图1中矩形所圈出的手部区域的放大图,可以看到,图1所示的人像中,手部存在明显的错位、模糊,且手指的数量也产生了错误。AI绘图中,手部绘制细节不佳的原因在于,手是非常复杂的部位,包括很多个关节、折痕等微小却关键的细节,同时,手每动一下,原有的关节都会变得不同。因此,对于当前的AI绘图来说,很难绘制出细节质量较高的手部。可以理解的是,对于AI绘图来说,当需要绘制的图形中包括较为复杂的部分时,都有很大概率出现细节缺失问题。
为了改善目前AI绘图生成的图像存在细节不佳的问题,发明人经过多次试验,提出了本申请实施例提供的图像生成方法、装置、电子设备及计算机可读取存储介质,先基于预设关键词,采用人工智能绘制出原始图像,再对原始图像进行检测,获取原始图像中有细节缺失问题的目标区域,若获取到目标区域,则获取与目标区域对应的修复模型,利用修复模型对目标区域进行修复,得到细节修复后的图像,从而可以对原始图像中存在细节缺失问题的区域进行优化,提高原始图像的质量,得到细节更加准确、质量更高的图像,解决当前人工智能绘图可能存在部分区域细节不佳的问题。
请参阅图3,图3示出了本申请一实施例提供的图像生成方法的流程示意图。该图像生成方法可以应用于图像生成装置或电子设备。该图像生成方法具体可以包括以下步骤S110至步骤S140。
步骤S110:基于预设关键词,采用人工智能算法绘制原始图像。
其中,人工智能算法指的是用于基于预设关键词自动绘制图像的算法或模型,例如,人工智能算法可以包括文本到图像生成模型,例如,stable diffusion和DALL·E2,在此不做限定。
在本实施例中,原始图像可以通过生成式人工智能(Artificial Intelligencegenerated content,AIGC)工具,采用上述人工智能算法进行生成。AIGC工具可以包括但不限于midjourney和dreambooth diffusion等工具,本申请在此不做限定。
以midjourney为例,在生成图像时,需要输入尽可能多的关键词,对想要生成的图像进行描述。例如输入“男性、戴眼镜、西装、匀称、手指交叉、佩戴手表”等关键词,即可能生成如图1所示的人像。可以理解的是,关键词越多,越能够清楚的限定出所绘制出的图像的范围,即所绘制出的图像的细节越丰富。
步骤S120:获取原始图像中的目标区域,目标区域为被确定为有细节缺失问题的区域。
一些实施方式中,可以通过用户判断原始图像中是否存在有细节缺失问题的区域,并通过用户操作输入用户确定有细节缺失问题的区域,以提高对有细节缺失问题的区域进行检测的检测精度,以便通过后续细节优化步骤得到具有丰富细节的图像。具体地,可以通过图像生成装置或电子设备或其他具有图像显示功能的设备(例如,计算机显示屏以及移动终端的显示屏),输出原始图像,以向用户显示原始图像,以便用户判断原始图像中是否存在有细节缺失问题的区域。若用户认为原始图像中的某一个或多个区域有细节缺失问题,则可以通过图像生成装置或电子设备或其他具有图像显示功能的设备,对原始图像中的一个或多个区域执行对应的用户操作。响应于作用于原始图像上的用户操作,获取原始图像中对应于用户操作的区域,作为目标区域。
其中,作用于原始图像上的用户操作可以是默认的用户操作或用于预先自定义的用户操作,用户操作可以包括但不限于点击、涂抹、框选操作等,在此不做限定。
示例的,假设原始图像是图1所示的人像,则AI绘图后可将图1所示的原始图像输出在移动终端的显示屏上,以向用户展示该原始图像,如果用户认为图1中矩形所圈出的手部区域具有细节缺失问题(如手指个数错误),用户可以通过在手部区域上进行涂抹的方式,向图像生成装置或电子设备输入有细节缺失问题的手部区域。图像生成装置或电子设备响应于作用于手部区域的用户操作(涂抹操作),将手部区域确定为目标区域。
需要说明的是,若用户判断原始图像中存在多个有细节缺失问题的区域,可以将多个有细节缺失问题的区域全部选中,在通过后续步骤进行修复时,可以采用并行线程,同时对多个有细节缺失问题的区域进行修复,也可以按照串行线程,根据用户的选中顺序依次对多个有细节缺失问题的区域进行修复,在此不做限定。
另一些实施方式中,可以将由被标记为具有细节缺失问题的图像形成的图像训练集作为输入,将有细节缺失问题的区域作为输出,预先训练细节检测模型,细节检测模型用于自动对原始图像是否存在有细节缺失问题的区域进行检测且检测精度高于一定值。在得到上述原始图像之后,可以输出原始图像至预先训练的细节检测模型,并接收细节检测模型输出的有细节缺失问题的区域作为目标区域。本实施方式中,采用预先训练的细节检测模型自动对原始图像进行检测,无需用户参与,可以提升AI绘图的自主性,还可以提升对有细节缺失问题的区域进行检测的效率,从而提升图像生成的效率。
步骤S130:若获取到目标区域,获取目标区域对应的修复模型。
在获取到目标区域之后,获取所述目标区域中的目标图像,通过目标检测方法识别目标图像的类别;获取类别对应的修复模型,作为目标区域对应的修复模型。
一些实施方式中,目标检测方法可以为:获取在目标区域中像素占比最多的图像作为目标图像,如图1矩形所圈出的手部区域,手部区域像素占比最多的图像是手,则可以将手作为目标图像。
另一些实施方式中,目标检测方法可以为:根据原始图像中目标区域周围的图像确定目标图像,例如,目标区域如图1中虚线框圈出的耳部区域,耳部区域周围的图像包括脸部、头发、颈部,则可以基于脸部、头发、颈部确定耳朵为目标图像。
又一些实施方式中,目标检测方法可以为:将由被标记为不具有细节缺失问题的图像形成的图像训练集作为输入,将目标检测结果作为输出,预先训练目标检测模型,目标检测模型用于自动对原始图像进行目标检测以识别目标图像的类别。其中,目标检测模型可以采用包括但不限于yolov7、RCNN等工具进行训练,在此不做限定。
需要说明的是,当原始图像中的目标区域是通过细节检测模型判断并标记时,在细节检测模型进行判断之前,需要先通过上述的目标检测方法,划分出原始图像的不同区域分别对应的类别;获取类别后,再通过对应于类别的预设规则进行判断和标记,其中,预设规则用于判断对应于类别的图像的细节缺失程度。示例的,假设原始图像是AI绘制的人像,将原始图像输出至细节检测模型后,细节检测模型通过上述目标检测方法,将原始图像中的不同区域分别识别为面部、手部、胳膊、腿部等类别,再分别根据对应于类别的预设规则,对区域内的图像进行判断。例如,当对手部区域进行判断时,手部对应的预设规则包括判断区域内的图像是否存在“手指数量错误、手指数量无法分辨、手指关节位置模糊”等问题,若存在上述问题,则将该区域标记为目标区域;当对面部区域进行判断时,面部对应的预设规则包括判断区域内的图像是否存在“五官错位、五官模糊、五官缺失”等问题;当对胳膊区域进行判断时,胳膊对应的预设规则包括判断区域内的图像是否存在“关节位置错误、关节数量错误、胳膊关节位置模糊”等问题;当对腿部区域进行判断时,腿部对应的预设规则包括判断区域内的图像是否存在“腿数量错误、腿部数量错误、腿部关节位置模糊”等问题。
而当原始图像中的目标区域是由用户进行主观选择时,以用户在原始图像上进行涂抹为例,可以先获取用户涂抹选定的目标区域,再使用上述的目标检测方法对目标区域内的目标图像进行目标检测,以获知用户所选择的目标区域内包括的图像的类别。
在一些实施方式中,修复模型可以是针对目标检测算法中包括的每个类别,分别预先训练得到的模型,每个修复模型对应一个类别,用于对该类别下的有细节缺失问题的区域进行细节修复。每个修复模型是以与该修复模型对应的类别相关的关键词作为输入,且以该类别对应的图像训练集(该图像训练集中的所有图像均为被标记为不具有细节缺失问题的图像且图像分辨率高于设定值的高清细节图像)作为输出,对人工智能算法进行训练得到的,因此每个修复模型可以基于与该修复模型对应的类别相关的关键词生成对应的高清细节图像。其中,人工智能算法可以包括文本到图像生成模型,例如stable diffusion和DALL·E2,在此不做限定。
例如,在训练手部的修复模型时,可以预先挑选100张左右的垂直分辨率≥720每英寸像素的人类手部高清图像作为手部的图像训练集,通过基于人工智能开发的绘图软件stable diffusion 2.1,利用手部的图像训练集训练出手部的大语言模型的低秩适应(Low-Rank Adaptation of Large Language Models,loRA)模型,作为手部的修复模型。
其中,图像训练集中所包括的图像数量可以为预设值,也可以由用户进行设定,在此不作限定。
另外,修复模型在预先训练之后,可以在整个图像生成流程中重复使用。
步骤S140:利用修复模型对目标区域进行细节修复,得到细节修复后的图像。
在一些实施方式中,可以利用目标区域对应的修复模型,在遮罩上生成局部图像,得到具有局部图像的遮罩;将具有局部图像的遮罩拼接到原始图像上,以使局部图像覆盖目标区域,形成细节修复后的图像。
其中,遮罩是指图像处理中的用于覆盖目标区域的图像掩膜或图像模板。遮罩可以是选定的图像、图形或物体,通过遮罩对目标区域进行遮挡,可以控制图像处理的区域始终为目标区域,还可以控制针对目标区域进行处理的过程。在对目标区域添加遮罩之后,遮罩以下的图像内容被遮挡,遮罩上的图像内容被显示。遮罩的尺寸与目标区域的尺寸相同,以便遮罩准确且完全地覆盖目标区域,从而提升细节修复精度。示例的,遮罩可以是纯白色掩膜,在目标区域上添加纯白色掩膜形成的图像如图4所示,可以看到,纯白色掩膜以下的原始图像内容被遮挡。
上述利用目标区域对应的修复模型,在遮罩上生成局部图像的步骤可以包括:获取针对目标区域输入的新关键词,新关键词与上述目标图像的类别相关,例如,目标图像为手,则新关键词与手相关;获取目标区域周围的像素信息;根据新关键词以及像素信息,利用目标区域对应的修复模型,在遮罩上生成局部图像。
其中,在遮罩上生成局部图像的过程与步骤S110根据预设关键词进行绘图的过程类似,也可以根据新关键词,利用修复模型生成与新关键词对应的图像;但区别在于,为使生成的局部图像与原始图像拼接后整体性更强,除新关键词外,还需要根据目标区域周围的像素信息,配合修复模型进行局部图像的生成。
另一些实施方式中,可以通过掩膜矩阵与原始图像的目标区域相乘运算,将目标区域内的像素值全部置为0或全部置为255,再利用目标区域对应的修复模型,在目标区域内生成新的局部图像,形成细节修复后的图像。
可以理解的是,无论采用何种方法,只需要将目标区域内的目标图像遮盖或删除,重新通过修复模型生成高清且具有丰富细节的局部图像,将局部图像组合至原始图像上,即可得到细节修复后的图像。
在一些实施方式中,在得到细节修复后的图像后,可以输出细节修复之后的图像;获取细节修复之后的图像中的目标区域;若获取到目标区域,重复执行获取目标区域对应的修复模型的步骤,直到获取不到目标区域,或者直到获取到结束指令。
其中,细节修复后的图像可以输出至用户侧,由用户判断是否满意,若满意,则可以结束整个流程;若不满意,则代表细节修复后的图像仍存在问题,可能是用户没有在本次修复中选择有细节缺失问题的全部区域,也可能是用户对修复的结果不满意;因此,在用户不满意时,需要将修复之后的图像重新执行一遍上述的检测与修复的步骤,直至用户认为满意,或用户下发结束指令。
可以理解的是,由于局部图像可能存在“细节依然缺失”或“没有细节缺失问题,但与原始图像拼接突兀”等问题,因此,仍需要用户判断对当前输出的图像是否满意。
其中,当用户不满意,且为“目标区域由用户进行标记”的情况,则可以由用户重新对细节修复后的图像进行用户操作(例如在修复后的图像上进行涂抹),重新选中想要进行修复的目标区域,执行后续的修复步骤。
当用户不满意,且为“目标区域由细节检测模型自动标记”的情况,则可以将细节修复后的图像重新输入细节检测模型,使细节检测模型对细节修复后的图像重新执行后续的修复步骤。在此种情况下,细节修复模型可以重新检测并标记出细节修复后的图像的目标区域,也可以缓存上次标记出的目标区域,在重新执行修复步骤时直接获取对应的修复模型进行修复。
而当用户下发结束指令时,可能表示输出至用户侧的细节修复后的图像(如图5和图6所示)已经满足了用户的要求,则结束整个流程;也可能表示用户认为输出至用户侧的细节修复后的图像无论如何都无法满足要求,可能需要重新调整关键词绘制新的原始图像,或重新调整新关键词绘制新的局部图像,则结束整个流程。
本申请实施例提供的图像生成方法,先基于预设关键词,采用人工智能绘制出原始图像,再对原始图像进行检测,获取原始图像中有细节缺失问题的目标区域,若获取到目标区域,则获取与目标区域对应的修复模型,利用修复模型对目标区域进行修复,得到细节修复后的图像,从而可以对原始图像中存在细节缺失问题的区域进行优化,提高原始图像的质量,得到细节更加准确、质量更高的图像。
为方便理解,请参阅图7,图7示出了本申请一示例性实施例提供的图像生成方法的流程示意图。先获取多个类型的图像训练集,并分别根据图像训练集训练出多个类型分别的修复模型。基于预设关键词,使用人工智能绘图,生成对应于关键词的原始图像并输出至用户。用户判断原始图像是否存在细节缺失问题,并标记出存在细节缺失问题的区域,作为原始图像的目标区域。通过目标检测方法,检测出目标区域中的目标图像的类别,并向目标区域添加遮罩。选择对应于类别的修复模型,输入新关键词,利用修复模型、目标区域周围的像素以及新关键词,在遮罩上生成局部图像;将具有局部图像的遮罩与原始图像进行拼接,得到细节修复之后的图像并输出给用户。当用户判断细节修复后的图像不存在细节缺失问题,或用户下发结束指令时,结束流程;当用户判断仍存在细节缺失问题时,对当前的细节修复后的图像重新执行上述的检测与修复的步骤。
为方便理解,请参阅图8,图8示出了本申请又一示例性实施例提供的图像生成方法的流程示意图。先获取多个类型的图像训练集,并分别根据图像训练集训练出多个类型分别修复模型。基于预设关键词,使用人工智能绘图,生成对应于关键词的原始图像并输出至细节检测模型。细节检测模型通过目标检测方法,将原始图像划分为不同的区域,每个区域对应一个类别。细节检测模型根据对应于类别的预设规则分别对每个区域进行检测,判断是否出现细节缺失问题,将出现了细节缺失问题的区域标记为目标区域。向目标区域添加遮罩。选择对应于类别的修复模型,输入新关键词,利用修复模型、目标区域周围的像素以及新关键词,在遮罩上生成局部图像;将具有局部图像的遮罩与原始图像进行拼接,得到细节修复之后的图像并输出给用户。当用户判断不存在细节缺失问题,或用户下发结束指令时,结束流程;当用户判断仍存在细节缺失问题时,将当前的细节修复后的图像重新输出至细节检测模型,以再次执行上述的检测与修复的步骤。
请参阅图9,图9示出了本申请一实施例提供的图像生成装置100的结构示意图。该图像生成装置100可以包括以下部件:原始图像获取模块110,原始图像获取模块,用于基于预设关键词,采用人工智能算法绘制原始图像;细节检测模块120,细节检测模块,用于获取所述原始图像中的目标区域,所述目标区域为被确定为有细节缺失问题的区域;模型获取模块130,模型获取模块,用于若获取到所述目标区域,获取所述目标区域对应的修复模型;细节修复模块140,细节修复模块,用于利用所述修复模型对所述目标区域进行细节修复,得到细节修复后的图像。
在一些实施方式中,细节检测模块120,还用于输出所述原始图像;响应于作用于所述原始图像上的用户操作,获取所述原始图像中对应于所述用户操作的区域,作为所述目标区域。
在一些实施方式中,模型获取模块130,还用于获取所述目标区域中的目标图像;识别所述目标图像的类别;获取所述类别对应的修复模型,作为所述目标区域对应的修复模型。
在一些实施方式中,所述类别对应的修复模型是采用所述类别对应的图像训练集,对所述人工智能算法进行预先训练得到的模型,所述图像训练集中的所有图像均为被标记为不具有细节缺失问题的图像且图像分辨率高于设定值。
在一些实施方式中,细节修复模块140,还用于在所述目标区域上添加遮罩;利用所述目标区域对应的修复模型,在所述遮罩上生成局部图像,得到具有所述局部图像的遮罩;将具有所述局部图像的遮罩拼接到所述原始图像上,以使所述局部图像覆盖目标区域,形成细节修复后的图像。
在一些实施方式中,细节修复模块140,还用于获取针对所述目标区域输入的新关键词;获取所述目标区域周围的像素信息;根据所述新关键词以及所述像素信息,利用所述目标区域对应的修复模型,在所述遮罩上生成局部图像。
在一些实施方式中,数据获取装置还包括循环处理模块。循环处理模块,用于输出细节修复之后的图像;获取细节修复之后的图像中目标区域;若获取到目标区域,重复执行所述获取目标区域对应的修复模型的步骤,直到获取不到目标区域,或者直到获取到结束指令。
需要说明的是,在图像生成装置100中,可以基于上述实施例中的步骤设置对应的模块,均属于本申请所保护的范围,在此不再赘述。
本领域技术人员可以清楚地了解到,本申请实施例提供的图像生成装置可以实现本申请实施例提供的图像生成方法。上述模块的具体工作过程,可以参阅本申请实施例中的图像生成方法对应的过程,在此不再赞述。
本申请提供的实施例中,所显示或讨论的模块相互之间的耦合、直接耦合或者通信连接,可以是通过一些接口、装置或模块的间接耦合或通信耦合,可以是电性、机械或其他形式,本申请实施例对此不作限制。
另外,在本申请实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件的功能模块的形式实现,本申请实施例在此不作限制。
请参阅图10,图10示出了本申请实施例提供的电子设备的结构示意图。电子设备可以具有AI绘图功能和图像显示功能,电子设备可以包括但不限于计算机、笔记本电脑、平板电脑、台式电脑以及智能手机等。该电子设备可以包括以下部件:存储器210;一个或多个处理器220;一个或多个应用程序,所述一个或多个应用程序存储在所述存储器210中,并用于当被所述一个或多个处理器220调用时执行如上述实施例所描述的方法。
其中,处理器220可以包括一个或者多个处理核。处理器220利用各种接口和线路连接整个电子设备200内的各个部分,通过运行或执行存储在存储器210内的指令、程序、代码集或指令集,以及调用存储在存储器210内的数据,执行电子设备的各种功能和处理数据。处理器220可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器220可集成中央处理器(CentralProcessing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。可以理解的是,上述调制解调器也可以不集成到处理器220中,单独通过一块通信芯片进行实现。
存储器210可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read Only Memory,ROM)。存储器210可以用于存储指令、程序、代码、代码集或指令集。存储器210可以包括存储程序区和存储数据区。其中,存储程序区可以存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区可以存储电子设备200在使用中所创建的数据等。
本申请实施例还提供一种计算机可读取存储介质,该计算机可读取存储介质中存储有程序代码,所述程序代码用于当被处理器调用时执行如上述方法实施例中所描述的方法。
计算机可读存储介质可以是诸如闪存、电可擦除可编程只读存储器(Electrically Erasable Programmable Read Only Memory,EEPROM)、电动程控只读存储器(Electrical Programmable Read Only Memory,EPROM)、硬盘或者只读存储器(ReadOnly Memory,ROM)之类的电子存储器。在一些实施方式中,计算机可读取存储介质可以包括非易失性计算机可读介质(non-transitorycomputer-readable storage medium,NTRSM)。计算机可读存储介质具有执行上述方法中的任何方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以以适当形式进行压缩。
以上,仅是本申请的较佳实施例而已,并非对本申请作任何形式上的限制,虽然本申请已以较佳实施例揭示如上,然而并非用以限定本申请,任何本领域技术人员,在不脱离本申请技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本申请技术方案内容,依据本申请的技术实质对以上实施例所作的任何简介修改、等同变化与修饰,均仍属于本申请技术方案的范围内。
Claims (10)
1.一种图像生成方法,其特征在于,包括:
基于预设关键词,采用人工智能算法绘制原始图像;
获取所述原始图像中的目标区域,所述目标区域为被确定为有细节缺失问题的区域;
若获取到所述目标区域,获取所述目标区域对应的修复模型;
利用所述修复模型对所述目标区域进行细节修复,得到细节修复后的图像。
2.根据权利要求1所述的方法,其特征在于,所述获取所述原始图像中的目标区域,包括:
输出所述原始图像;
响应于作用于所述原始图像上的用户操作,获取所述原始图像中对应于所述用户操作的区域,作为所述目标区域。
3.根据权利要求1所述的方法,其特征在于,所述获取所述目标区域对应的修复模型,包括:
获取所述目标区域中的目标图像;
识别所述目标图像的类别;
获取所述类别对应的修复模型,作为所述目标区域对应的修复模型。
4.根据权利要求3所述的方法,其特征在于,所述类别对应的修复模型是采用所述类别对应的图像训练集,对所述人工智能算法进行预先训练得到的模型,所述图像训练集中的所有图像均为被标记为不具有细节缺失问题的图像且图像分辨率高于设定值。
5.根据权利要求1所述的方法,其特征在于,所述利用所述修复模型对所述目标区域进行细节修复,包括:
在所述目标区域上添加遮罩;
利用所述目标区域对应的修复模型,在所述遮罩上生成局部图像,得到具有所述局部图像的遮罩;
将具有所述局部图像的遮罩拼接到所述原始图像上,以使所述局部图像覆盖目标区域,形成细节修复后的图像。
6.根据权利要求5所述的方法,其特征在于,所述利用所述目标区域对应的修复模型,在所述遮罩上生成局部图像,包括:
获取针对所述目标区域输入的新关键词;
获取所述目标区域周围的像素信息;
根据所述新关键词以及所述像素信息,利用所述目标区域对应的修复模型,在所述遮罩上生成局部图像。
7.根据权利要求5所述的方法,其特征在于,所述利用所述修复模型对所述目标区域进行细节修复,得到细节修复后的图像之后,所述方法还包括:
输出细节修复之后的图像;
获取细节修复之后的图像中目标区域;
若获取到目标区域,重复执行所述获取目标区域对应的修复模型的步骤,直到获取不到目标区域,或者直到获取到结束指令。
8.一种图像生成装置,其特征在于,包括:
原始图像获取模块,用于基于预设关键词,采用人工智能算法绘制原始图像;
细节检测模块,用于获取所述原始图像中的目标区域,所述目标区域为被确定为有细节缺失问题的区域;
模型获取模块,用于若获取到所述目标区域,获取所述目标区域对应的修复模型;
细节修复模块,用于利用所述修复模型对所述目标区域进行细节修复,得到细节修复后的图像。
9.一种电子设备,其特征在于,包括:
存储器;
一个或多个处理器;
一个或多个应用程序,所述一个或多个应用程序存储在所述存储器中,并用于当被所述一个或多个处理器调用时执行如权利要求1-7任一项所述的方法。
10.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质上存储有程序代码,所述程序代码用于当被处理器调用时执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310678941.XA CN116628250A (zh) | 2023-06-08 | 2023-06-08 | 图像生成方法、装置、电子设备及计算机可读取存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310678941.XA CN116628250A (zh) | 2023-06-08 | 2023-06-08 | 图像生成方法、装置、电子设备及计算机可读取存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116628250A true CN116628250A (zh) | 2023-08-22 |
Family
ID=87621217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310678941.XA Pending CN116628250A (zh) | 2023-06-08 | 2023-06-08 | 图像生成方法、装置、电子设备及计算机可读取存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116628250A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117934339A (zh) * | 2024-03-22 | 2024-04-26 | 摩尔线程智能科技(北京)有限责任公司 | 一种图像修复方法、装置、电子设备和存储介质 |
-
2023
- 2023-06-08 CN CN202310678941.XA patent/CN116628250A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117934339A (zh) * | 2024-03-22 | 2024-04-26 | 摩尔线程智能科技(北京)有限责任公司 | 一种图像修复方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163198B (zh) | 一种表格识别重建方法、装置和存储介质 | |
CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
US9349076B1 (en) | Template-based target object detection in an image | |
CN110674804A (zh) | 文本图像的检测方法、装置、计算机设备和存储介质 | |
CN111626912B (zh) | 水印去除方法及装置 | |
CN111461070B (zh) | 文本识别方法、装置、电子设备及存储介质 | |
US20220392025A1 (en) | Restoring degraded digital images through a deep learning framework | |
Beyeler | OpenCV with Python blueprints | |
CN113469929B (zh) | 训练数据生成方法、装置、电子设备及计算机可读存储介质 | |
CN116628250A (zh) | 图像生成方法、装置、电子设备及计算机可读取存储介质 | |
US20230237777A1 (en) | Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium | |
CN113160231A (zh) | 一种样本生成方法、样本生成装置及电子设备 | |
CN112559341A (zh) | 一种画面测试方法、装置、设备及存储介质 | |
CN112801911A (zh) | 一种去除自然图像中文字类噪声的方法及装置、存储介质 | |
Najgebauer et al. | Inertia‐based Fast Vectorization of Line Drawings | |
CN110414522A (zh) | 一种字符识别方法及装置 | |
CN111107264A (zh) | 图像处理方法、装置、存储介质以及终端 | |
CN108256611B (zh) | 二维码影像生成方法、装置、计算设备及存储介质 | |
EP3929866A2 (en) | Inpainting method and apparatus for human image, and electronic device | |
CN116823700A (zh) | 一种图像质量的确定方法和装置 | |
CN114387315A (zh) | 图像处理模型训练、图像处理方法、装置、设备及介质 | |
Gamal et al. | Owl Eye: An AI-Driven Visual Testing Tool | |
CN113516131A (zh) | 图像处理方法、装置、设备和存储介质 | |
CN111401365A (zh) | Ocr图像自动生成方法及装置 | |
Buritica | Graphical User Interface for the CVIP MATLAB Toolbox with Application to Syrinx Detection in Veterinary Thermographic Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |