CN111429551A - 图像编辑方法、装置、电子设备和存储介质 - Google Patents
图像编辑方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111429551A CN111429551A CN202010202820.4A CN202010202820A CN111429551A CN 111429551 A CN111429551 A CN 111429551A CN 202010202820 A CN202010202820 A CN 202010202820A CN 111429551 A CN111429551 A CN 111429551A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel set
- editing
- edited
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本公开关于一种图像编辑方法、装置、电子设备和存储介质,所述方法包括:对待编辑图像进行语义分析;根据接收的编辑指令确定目标像素集合,所述目标像素集合包含所述对象像素集合中的至少一部分像素;按照所述编辑指令对所述目标像素集合进行编辑处理,以生成所述待编辑图像对应的目标图像。根据本公开的实施例,可以简化编辑操作、提高对图像的编辑效率。
Description
技术领域
本公开涉及图像处理领域,尤其涉及一种图像编辑方法、装置、电子设备和存储介质。
背景技术
随着电子设备的普及和摄影技术的广泛应用,人们能够更加方便、快捷地获取图像信息,并将图像应用于工作生活中。与此同时,配合于图像的实际应用过程,图像修饰和图像美化的需求也日益突出,图像编辑技术应运而生。
然而在相关技术中,由于编辑操作指令作用于图像中的所有像素,这使得在实现对图像中的部分像素进行编辑处理的过程中,往往需要由具备较高编辑水平的技术人员进行处理,造成用工成本高、编辑处理效率低下等问题。
发明内容
本公开提供了一种图像编辑方法、装置、电子设备和存储介质,能够通过对图像自动进行的语义分析,确定图像中匹配于预设语义对象的对象像素集合,进而对图像中的部分像素集合进行统一处理,实现了简化编辑操作、提高对图像的编辑效率等技术效果,以至少解决相关技术中的技术问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提出一种图像编辑方法,所述方法包括:
对待编辑图像进行语义分析,以确定所述待编辑图像中对应于预设语义对象的对象像素集合;
根据接收的编辑指令确定目标像素集合,所述目标像素集合包含所述对象像素集合中的至少一部分像素;
按照所述编辑指令对所述目标像素集合进行编辑处理,以生成所述待编辑图像对应的目标图像。
可选的,所述对待编辑图像进行语义分析,包括:
基于预先训练得到的机器学习模型对待编辑图像进行特征提取,以确定所述待编辑图像中的特征图像块和与所述特征图像块对应的对象标记信息;
根据所述对象标记信息确定与所述特征图像块匹配的预设语义对象。
可选的,所述对待编辑图像进行语义分析,包括:
根据接收到的区域选定指令确定待编辑图像中的用户关注区域;
对所述用户关注区域进行语义分析。
可选的,还包括:
在所述待编辑图像包含多个类别的语义对象的情况下,显示针对各个类别的备选项;
根据用户返回的类别选择指令,确定被选取的备选项,以对所述被选取的备选项对应类别的语义对象与其他类别的语义对象进行区别展示;
根据用户返回的语义对象选择指令,确定被选取的语义对象,以作为所述预设语义对象。
可选的,还包括:
在所述编辑处理使得所述待编辑图像中存在缺失区域的情况下,确定参考区域,其中,所述参考区域是根据用户选定的区域而确定的或者是根据所述缺失区域的相邻区域而确定的;
根据所述参考区域对应的像素信息对所述缺失区域进行填补。
可选的,所述目标像素集合包括对应于所述至少一部分像素的关联像素集合。
可选的,所述按照所述编辑指令对所述目标像素集合进行编辑处理,包括:
按照第一变换强度对所述目标像素集合中的第一类像素进行变换处理;
按照第二变换强度对所述目标像素集合中的第二类像素进行变换处理,其中,所述第二变换强度是根据缩减比例对所述第一变换强度进行缩减后而确定的,所述缩减比例与所述第二类像素和所述第一类像素之间的距离呈正比。
可选的,所述按照所述编辑指令对所述目标像素集合进行编辑处理,以生成所述待编辑图像对应的目标图像,包括:
确定对应于所述合并指令的背景图像;
对所述目标像素集合与所述背景图像进行合并处理,以将合并处理后的背景图像作为所述待编辑图像对应的目标图像。
可选的,所述对所述目标像素集合与所述背景图像进行合并处理,以将合并处理后的背景图像作为所述待编辑图像对应的目标图像,包括:
确定所述背景图像中的目标语义对象;
基于所述目标语义对象中的特征要素对所述目标像素集合中相应的特征要素进行适应性调整,以使得与所述背景图像进行合并处理的为经过所述适应性调整的目标像素集合;
根据合并处理后的背景图像确定所述待编辑图像对应的目标图像。
可选的,所述对所述目标像素集合与所述背景图像进行合并处理,包括:
根据所述背景图像中的像素属性信息对所述目标像素集合中的像素进行属性调整;
将完成属性调整的目标像素集合与所述背景图像进行合并处理。
根据本公开实施例的第二方面,提出一种图像编辑装置,所述装置包括:
语义分析模块,对待编辑图像进行语义分析,以确定所述待编辑图像中对应于预设语义对象的对象像素集合;
集合确定模块,根据接收的编辑指令确定目标像素集合,所述目标像素集合包含所述对象像素集合中的至少一部分像素;
编辑处理模块,按照所述编辑指令对所述目标像素集合进行编辑处理,以生成所述待编辑图像对应的目标图像。
可选的,所述语义分析模块,包括:
特征提取子模块,基于预先训练得到的机器学习模型对待编辑图像进行特征提取,以确定所述待编辑图像中的特征图像块和与所述特征图像块对应的对象标记信息;
第一确定子模块,根据所述对象标记信息确定与所述特征图像块匹配的预设语义对象。
可选的,所述语义分析模块,包括:
第二确定子模块,根据接收到的区域选定指令确定待编辑图像中的用户关注区域;
语义分析子模块,对所述用户关注区域进行语义分析。
可选的,还包括:
备选项显示模块,在所述待编辑图像包含多个类别的语义对象的情况下,显示针对各个类别的备选项;
备选项确定模块,根据用户返回的类别选择指令,确定被选取的备选项,以对所述被选取的备选项对应类别的语义对象与其他类别的语义对象进行区别展示;
语义对象确定模块,根据用户返回的语义对象选择指令,确定被选取的语义对象,以作为所述预设语义对象。
可选的,还包括:
参考区域确定模块,在所述编辑处理使得所述待编辑图像中存在缺失区域的情况下,确定参考区域,其中,所述参考区域是根据用户选定的区域而确定的或者是根据所述缺失区域的相邻区域而确定的;
缺失区域填补模块,根据所述参考区域对应的像素信息对所述缺失区域进行填补。
可选的,所述目标像素集合包括对应于所述至少一部分像素的关联像素集合。
可选的,所述编辑处理模块,包括:
第一处理子模块,按照第一变换强度对所述目标像素集合中的第一类像素进行变换处理;
第二处理子模块,按照第二变换强度对所述目标像素集合中的第二类像素进行变换处理,其中,所述第二变换强度是根据缩减比例对所述第一变换强度进行缩减后而确定的,所述缩减比例与所述第二类像素和所述第一类像素之间的距离呈正比。
可选的,所述编辑处理模块,包括:
第三确定子模块,确定对应于所述合并指令的背景图像;
第三处理子模块,对所述目标像素集合与所述背景图像进行合并处理,以将合并处理后的背景图像作为所述待编辑图像对应的目标图像。
可选的,所述第三处理子模块具体用于:
确定所述背景图像中的目标语义对象;
基于所述目标语义对象中的特征要素对所述目标像素集合中相应的特征要素进行适应性调整,以使得与所述背景图像进行合并处理的为经过所述适应性调整的目标像素集合;
根据合并处理后的背景图像确定所述待编辑图像对应的目标图像。
可选的,所述第三处理子模块具体用于:
根据所述背景图像中的像素属性信息对所述目标像素集合中的像素进行属性调整;
将完成属性调整的目标像素集合与所述背景图像进行合并处理。
根据本公开实施例的第三方面,提出一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上述任一实施例所述的图像编辑方法。
根据本公开实施例的第四方面,提出一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一实施例所述的图像编辑方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,所述计算机程序产品被配置为执行上述任一实施例所述的图像编辑方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
根据本公开的实施例,通过自动分析和确定待编辑图像中对应于预设语义对象的对象像素集合,使得用户可以基于对象像素集合进行编辑操作,而无需借助于专业图像处理人员针对图像中的各个像素进行处理,降低了用工成本,且提高了图像编辑的处理效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是本公开根据一示例性实施例之一示出的一种图像编辑方法的流程图;
图2是本公开根据一示例性实施例之二示出的一种图像编辑方法的流程图;
图3是本公开根据一示例性实施例之三示出的一种图像编辑方法的流程图;
图4是本公开根据一示例性实施例之四示出的一种图像编辑方法的流程图;
图5是本公开根据一示例性实施例之一示出的一种编辑处理方法的流程图;
图6是本公开根据一示例性实施例之二示出的一种编辑处理方法的流程图;
图7是本公开根据一示例性实施例之三示出的一种编辑处理方法的流程图;
图8是本公开根据一示例性实施例之一示出的一种图像编辑装置的示意框图。;
图9是本公开根据一示例性实施例之二示出的一种图像编辑装置的示意框图;
图10是本公开根据一示例性实施例之三示出的一种图像编辑装置的示意框图;
图11是本公开根据一示例性实施例之四示出的一种图像编辑装置的示意框图;
图12是本公开根据一示例性实施例之五示出的一种图像编辑装置的示意框图;
图13是根据本公开的实施例示出的一种电子设备的示意框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是本公开根据一示例性实施例之一示出的一种图像编辑方法的流程图,如图1所示,可以包括以下步骤:
在步骤101中,对待编辑图像进行语义分析,以确定所述待编辑图像中对应于预设语义对象的对象像素集合。
对待编辑图像进行语义分析的过程中,用于对待编辑图像进行语义分析的对象检测模型可以为机器学习模型,进一步的,可以基于预先训练得到的机器学习模型对待编辑图像进行特征提取,确定待编辑图像中的特征图像块和与特征图像块对应的对象标记信息,进而根据对象标记信息确定与特征图像块匹配的预设语义对象。
在本实施例中,借助于机器学习模型对待编辑图像中匹配于预设语义对象的特征图像块进行提取,即通过根据预先训练完成的机器学习模型对待编辑图像中的特征图像块进行提取,提高了对待编辑图像中匹配于预设语义对象的特征图像块的识别效率和识别准确性。
在另一实施例中,可以根据用户发送的区域选定指令确定待编辑图像中的用户关注区域,进而对用户关注区域进行语义分析。在本实施例中,对于用户所选定的关注区域进行语义分析,而无需对整个待编辑图像进行分析,在降低编辑设备的应用负载的基础上保证了系统响应速度,且提高了语义分析效率和编辑操作效率。
完成对待编辑图像的语义分析的过程后,可以根据待编辑图像中所包含的语义对象的实际情况和用户的应用需求,确定待编辑图像中的部分语义对象所对应的对象像素集合。
具体的,在待编辑图像包含多个类别的语义对象的情况下,可以显示针对各个类别的备选项,进而根据用户返回的类别选择指令,确定被选取的备选项,以对被选取的备选项对应类别的语义对象与其他类别的语义对象进行区别展示。进一步的,可以接收用户返回的语义对象选择指令,进而根据语义对象选择指令确定被选取的语义对象,以确定用户所选取的语义对象所对应的对象像素集合。
在本实施例中,针对待编辑图像中所包含的多种类别的语义对象,可以自动对各个类别的语义对象进行分析并根据用户的应用需求对不同类别的语义对象进行区别展示,以使得用户能够根据实际应用需求自主选定用于确定对象像素集合的预设语义对象,提高对待编辑图像的编辑效率。
在步骤102中,根据接收的编辑指令确定目标像素集合,所述目标像素集合包含所述对象像素集合中的至少一部分像素。
在一实施例中,目标像素集合中还可以包括对应于至少一部分像素的关联像素,使得在针对对象像素集合中的至少一部分像素进行编辑处理的同时,还针对该至少一部分像素的关联像素进行处理,以丰富图像编辑的处理效果。
在步骤103中,按照所述编辑指令对所述目标像素集合进行编辑处理,以生成所述待编辑图像对应的目标图像。
在一实施例中,在所述编辑处理使得待编辑图像中存在缺失区域的情况下,可以根据用户选定的或者根据缺失区域的相邻区域确定参考区域,进而根据参考区域对应的像素信息对缺失区域进行填补。
在本实施例中,当对待编辑图像的编辑处理的过程中涉及删除操作时,针对基于删除操作而导致的缺失区域,可以通过用户选定的参考区域或者根据缺失区域的相邻区域所确定的参考区域对缺失区域进行自动填补,而无需用户手动操作处理,提高了对待编辑图像的处理效率。
在另一实施例中,可以按照第一变换强度对目标像素集合中的第一类像素进行变换处理;按照第二变换强度对目标像素集合中的第二类像素进行变换处理,其中,所述第二变换强度是根据缩减比例对所述第一变换强度进行消减后而确定的,所述缩减比例与所述第二类像素和所述第一类像素之间的距离呈正比。可见在本实施例中,对于同一目标像素集合中的像素可以采用不同的变换强度进行变换处理,使得同一目标像素集合中的像素自动呈现出不同的变换效果,在使用第一变换强度对对象像素集合中的部分像素进行变换,而使用低于第一变换强度的第二变换强度对与该部分像素相关的关联像素进行变换的情况下,可自动使部分像素和与部分像素相关的关联像素呈现出对应于变换强度差异的变换效果,而无需用户重复对关联像素进行优化修正,提高变换图像的过渡优化效率。
在又一实施例中,对目标像素集合进行编辑处理的编辑指令可以包括图像合并指令,进一步的,可以确定对应于编辑指令的背景图像,进而对目标像素集合与背景图像进行合并处理,以将合并处理后的背景图像作为待编辑图像对应的目标图像。
具体的,在目标像素集合与背景图像进行合并处理的过程中,可以确定背景图像中的目标语义对象,进而基于目标语义对象中的特征要素对目标像素集合中相应的特征要素进行适应性调整,以使得与背景图像进行合并处理的为经过适应性调整的目标像素集合;也可以根据背景图像中的像素属性信息对目标像素集合中的像素进行属性调整,进而将完成属性调整的目标像素集合与背景图像进行合并处理。
由上述实施例可知,通过自动分析和确定待编辑图像中对应于预设语义对象的对象像素集合,使得用户可以基于对象像素集合进行编辑操作,而无需借助于专业图像处理人员针对图像中的各个像素进行处理,降低了用工成本,且提高了图像编辑的处理效率。
为对本公开的技术方案进行说明,下面通过具体实施例对本公开的技术方案进行阐述:
图2是本公开根据一示例性实施例之二示出的一种图像编辑方法的流程图,如图2所示,可以包括以下步骤:
在步骤201中,对待编辑图像进行语义分析。
待编辑图像中可以包含匹配于预设语义对象的实例对象,诸如行人、汽车等,可以通过预先训练完成的机器学习模型对待编辑图像进行语义分析,通过机器学习模型对待编辑图像中的像素所属的预设语义对象的确定,能够根据分析结果确定出匹配于预设语义对象的对象像素集合。
在对机器学习模型的训练过程中,可以基于作为训练样本的图像信息集对机器学习模型进行训练,其中,作为训练样本的图像信息集中可以包括图像和预先标注的与图像中的对象所对应的预设语义对象。
具体的,将作为训练样本的图像信息集输入机器学习模型中,由机器学习模型对图像信息集中的图像进行特征提取,并根据提取的特征预测图像中的像素所属的预设语义对象。进一步的,可以通过分类器确定图像中的像素属于各个预设语义对象的概率,进而将概率值最大的预设语义对象确定为像素所属的预设语义对象。
在对机器学习模型中的模型参数进行训练的过程中,可以通过机器学习模型中的判别器比对预测的预设语义对象与预先标注的预设语义对象之间的差异,并基于该机器学习模型对应的损失函数、预测的预设语义对象和预先标注的预设语义对象计算损失值,进而基于损失值调整机器学习模型的模型参数。
作为训练样本的图像信息集中可以对于一部分图像中的对象所属的语义对象进行标注,而对于除该部分图像之外的其他对象并不进行标注,从而进行对机器学习模型的半监督训练过程,以缓解图像样本标注的成本高的技术问题。
在实际应用中,机器学习模型可以为实例分割模型,诸如Mask R-CNN、CascadeR-CNN、PANet、FCIS等,容易理解的是,能够实现对图像中的实例进行检测的模型均属于本公开的保护范围内,本公开对机器学习模型的具体表现形式不作限制。
预设语义对象还可以为边缘线、特征点等,相应的,在对待编辑的图像进行语义分析的过程中,用于语义分析的对象检测模型可以为边缘检测算法模型,诸如canny、sobel等算法,提取待编辑图像中的边缘信息,或者基于局部特征检测算法模型,诸如SIFT算法、Harris算法和FAST算法等,检测待编辑图像中符合相应算法的像素点,以确定待编辑图像中的特征点。
进一步的,用于对待编辑图像进行语义分析的各个算法模型之间可以并发执行,诸如可以并发地基于机器学习模型、边缘检测算法模型和局部特征检测算法模型对待编辑图像进行语义分析,从而确定待编辑图像中的对象信息、边缘信息和特征点信息,通过多任务并发地基于多个模型对待编辑图像进行对象识别和分割,提高了对待编辑图像关于匹配于不同预设语义对象情况的识别效率。
在步骤202中,判断待编辑图像是否包含多个类别的预设语义对象,若是,显示针对各个类别的备选项并进入步骤203,否则进入步骤205b。
针对预设语义对象,在根据待编辑图像的语义分析结果确定该待编辑图像对应于多个类别的预设语义对象的情况下,可以对该待编辑图像中所包含的各个类别的备选项进行显示。
在实际应用中,每一个类别的备选项可以对应于一个预设语义对象,诸如在备选项为特征点的情况下,该备选项可以对应于一个预设语义对象,例如角点;当然每一个类别的备选项也可以对应于多个预设语义对象,诸如在备选项为边缘线的情况下,该备选项可以对应于多个预设语义对象,例如直线和曲线或者实线、虚线、双实线等。
在步骤203中,根据用户返回的类别选择指令确定被选取的备选项。
用户可以通过设备界面对所显示的各个类别的备选项进行交互操作,从而在当前待编辑图像中包含的各个类别的备选项中选定其中的部分备选项,以使得设备将部分备选项对应的对象像素集合确定为用户存在编辑需求的像素集合。具体的,可以根据用户返回的类别选择指令确定用户在待编辑图像中所包含的各个类别的备选项中所选定的部分备选项。
进一步的,对于用户所选定的部分备选项,设备可以对用户选定的部分备选项与待编辑图像中包含的各个类别的备选中除部分备选项之外的其他备选项进行区别显示,诸如通过不同的颜色进行显示、通过增强用户所选定的部分备选项的亮度或者在用户所选定的部分备选项的附近显示表征选定的记号等方式。
或者对用户选定的部分备选项对应的像素集合与待编辑图像中包含的各个类别的备选中除部分备选项之外的其他备选项对应的像素集合进行区别显示,诸如在待编辑图像中对用户选定的部分备选项对应的像素集合使用不同的颜色显示、增强待编辑图像中用户选定的部分备选项所对应的像素集合的显示亮度或者对待编辑图像中包含的各个类别的备选中除部分备选项之外的其他备选中对应的像素集合进行模糊处理,以突显待编辑图像中用户选定的部分备选项对应的像素集合等。
在步骤204中,根据用户返回的语义对象选择指令确定被选取的语义对象。
用户可以通过与设备的交互操作在备选项对应的预设语义对象进行选择,以由根据选择结果确定被选取的语义对象。诸如在备选项为边缘线,而边缘线对应于多个预设语义对象,例如直线和曲线的情况下,用户可以发送语义对象选择指令以对备选项对应的语义对象进行选择,诸如用户可以通过对待编辑图像中语义对象所对应的像素集合进行触摸操作、输入语义对象对应的语音指令、输入语义对象对应的手势指令、按照预设方向对设备进行晃动等,以在待编辑图像中所包含的多个语义对象中进行选择。
步骤203中和步骤204中阐述了在待编辑图像包含多个类别的预设语义对象的情况下,通过人机交互操作,逐步确定存在用户编辑需求的用于表征类别的备选项、在备选项对应的预设语义对象中选定语义对象,当然,可以在待编辑图像包含多个类别的预设语义对象的情况下,可以直接对待编辑图像所对应的各个预设语义对象进行显示,进而由用户直接在所显示的多个预设语义对象中进行选择,尤其在待编辑图像所对应的预设语义对象的个数低于数量阈值的情况下,直接显示待编辑图像所对应的各个预设语义对象并由用户在所显示的多个预设语义对象中进行选择的技术方案,简化了用户的操作步骤,提高了用户在语义对象选择过程中的操作效率。
需要说明的是,设备可以接收多种指令发送方式,以确定被选取的备选项,或者确定被选取的语义对象,诸如用户可以输入语音指令、输入手势指令、按照预设方向对设备进行晃动等,本公开对设备接收到的指令的产生方式不作限制。
在步骤205a中,确定用于编辑处理的目标像素集合,其中,目标像素集合中包含匹配于被选取的语义对象的对象像素集合中的至少一部分像素。
用户可以在被选取的语义对象所对应的对象像素集合中选取用于编辑处理的部分像素,使得设备对于用户所选取的部分像素进行编辑处理,诸如以被选取的语义对象为角点为例,若待编辑图像中存在十个角点,则用户可以选择其中的一个角点或者两个角点进行编辑处理。
进一步的,设备可以根据用户所选取的用于编辑处理的部分像素,自动识别该部分像素除了语义对象之外的其他共性特征,进而补偿选定匹配于部分像素对应的语义对象,且匹配于部分像素的其他共性特征的像素,以避免由于用户的遗漏而导致编辑处理效率低下的问题。
诸如以被选取的语义对象为角点为例,在设备自动识别到用户选择的用于进行编辑处理的角点均为正方形的四个角点,则对于待编辑图像中用户未选定的正方形而言,设备可自动将用户未选定的正方形的四个角点进行补偿选定,以使得用户选择的部分像素与设备自动补偿选定的像素均进行编辑处理。
在待编辑图像包含多个类别的预设语义对象的情况下,可以根据用户发送的编辑指令确定匹配于被选取的语义对象的对象像素集合中的至少一部分像素,以将所确定的至少一部分像素确定为编辑指令对应的目标像素集合。
在步骤205b中,确定用于编辑处理的目标像素集合,其中,目标像素集合中包含匹配于预设语义对象的对象像素集合中的至少一部分像素。
在待编辑图像中仅对应一个类别的预设语义对象的情况下,用户可直接在该类别的预设语义对象所对应的对象像素集合中选取用于编辑处理的部分像素,使得设备对于用户所选取的部分像素进行编辑处理。
进一步的,设备可以根据所选取的用户编辑处理的部分像素,自动识别该部分像素除了语义对象之外的其他共性特征,进而补偿选定匹配于部分像素对应的语义对象,且匹配于部分像素的其他共性特征的像素,以避免由于用户的遗漏而导致编辑处理效率低下的问题。
在步骤206中,根据用户发送的编辑指令对目标像素集合进行编辑处理,以根据处理结果生成待编辑图像对应的目标图像。
用户所发送的编辑指令可以有多种方式,诸如平移变换、旋转变换、缩放变换、删除操作等,关于根据用户发送的编辑指令对目标像素集合进行编辑处理的具体过程,在图5对应的实施例中进行说明,在此不再赘述。
值得注意的是,在另一实施例中还可以确定待编辑图像中的用户关注区域,进而对待编辑图像中的用户关注区域进行上述步骤201~步骤206的处理,诸如对待编辑图像中的用户关注区域进行语义分析、显示待编辑图像中的用户关注区域对应的各个类别的备选项、确定用户在待编辑图像中的用户关注区域中所选取的语义对象、对待编辑图像中的用户关注区域中的目标像素集合进行编辑处理。
值得注意的是,接收用户发送编辑指令的过程与根据用户关注区域确定用于编辑处理的目标像素集合的过程之间可以采用不同的先后顺序,以满足不同应用编辑场景中的图像处理目的,如图3、图4所示。需要说明的是,图3、图4中各个步骤的详细实施方式可参考图2,诸如步骤303与步骤402的具体实施方式可参考图2中的步骤202~步骤205a或步骤202~步骤205b,下述两个实施例中不再赘述。
图3是本公开根据一示例性实施例之三示出的一种图像编辑方法的流程图,可以包括以下步骤:
在步骤301中,接收用户发送的编辑指令。
在步骤302中,接收关于用户关注区域的框定信息,以对框定信息对应的区域进行语义分析。
在步骤303中,与用户关于语义分析结果进行交互,以确定用于编辑处理的目标像素集合。
在步骤304中,根据用户发送的编辑指令对目标像素集合进行编辑处理。
在图3所示的流程中,在确定存在编辑处理需求的待编辑图像时,设备并不触发对该待编辑图像的语义分析,而是优先确定用户发送的编辑指令和待编辑图像中的用户关注区域,针对用户关注区域进行语义分析,进而根据用户发送的编辑指令对用户关注区域内的目标像素集合进行编辑处理,在本实施例中,编辑指令的确定过程与用户关注区域的选定过程相继进行,匹配于模板化的图像编辑处理流程,对于处理方式固定的图像编辑操作而言,本实施例能够避免操作用户受目标像素集合确定过程中的人机交互的影响而导致确定的编辑指令存在误差,提高了图像编辑操作的准确性。
图4是本公开根据一示例性实施例之四示出的一种图像编辑方法的流程图,可以包括以下步骤:
在步骤401中,接收关于用户关注区域的框定信息,以对框定信息对应的区域进行语义分析。
在步骤402中,与用户关于语义分析结果进行交互,以确定用于编辑处理的目标像素集合。
在步骤403中,接收用户发送的编辑指令,以根据用户发送的编辑指令对目标像素集合进行编辑处理。
对于编辑处理方式非模板化、待编辑图像并非操作用户熟知的等情况下,设备可以优先对用户框定的用户关注区域进行语义分析,进而用户根据由语义分析结果而选定的目标像素集合确定编辑指令,以根据实际目标像素集合的情况进行灵活地应对和调整,或者对编辑后的目标图像补充编辑指令,使得目标图像得以优化编辑处理。
用户所发送的编辑指令可以有多种方式,诸如变换指令、删除指令、图像融合指令等,其中,变换指令可以涉及平移变换、旋转变换、缩放变换等,具体的,变换处理后的像素的像素值可以基于双线性插值算法得到;可以根据同一编辑指令确定出不同的变换强度,以使得基于同一变换处理可在待编辑图像中呈现出不同的变换效果。下述通过多个实施例对基于变换指令对目标像素集合进行编辑处理的过程涉及到的多种应用方式进行阐述。
图5是本公开根据一示例性实施例之一示出的一种编辑处理方法的流程图,如图5所示,可以包括以下步骤:
在步骤501中,确定用于编辑处理的目标像素集合。
在一实施例中,所确定的用于编辑处理的目标像素集合除了包含匹配于语义对象的对象像素集合中的至少一部分像素之外,还可以包括与对象像素集合之间匹配于关联关系的关联像素集合,以使得在针对对象像素集合中的至少一部分像素进行编辑处理的同时,还针对该至少一部分像素的关联像素进行处理,以丰富图像编辑的处理效果。
在实际应用过程中,用于确定关联像素集合的关联关系可以有多种形式,诸如可以将与对象像素集合中的各个像素之间的距离小于距离阈值的像素确定为关联像素集合中的像素;或者,可以将同属于对象像素集合所对应的语义对象且距离对象像素集合中的各个像素之间的距离小于距离阈值的像素确定为关联像素集合中的像素等。
在步骤502中,按照第一变换强度对目标像素集合中的第一类像素进行变换处理。
在步骤503中,根据目标像素集合中除第一类像素之外的第二类像素与第一类像素之间的距离确定第二类变换强度。
第二类变换强度可以由第一类像素与第二类像素之间的距离进行确定,具体的,可以根据预设的缩减比例与距离之间的对应关系,进而根据第一类像素与第二类像素之间的距离确定对第一变换强度的缩减比例值,以根据所确定的缩减比例值对第一变换强度进行消减,并基于完成消减处理后的第二变换强度对第二类像素进行变换处理。
在确定第一类像素与第二类像素之间的距离的过程中,可以将第二类像素中的待测像素与第一类像素中的各个像素之间的距离最小值确定为第二类像素中的待测像素与第一类像素之间的距离,或者将第二类像素中的待测像素与第一类像素中的各个像素之间的距离最大值确定为第二类像素中的待测像素与第一类像素之间的距离,本公开对第二类像素与第一类像素之间距离的确定方式不作限制。
进一步的,第一类像素可以存在多种确定方式,下述三个示例中示出了第一类像素的确定方法,当然,第一类像素也可以为匹配于预设语义对象的像素,诸如特征点对应的像素、角点对应的像素等,本申请对此不作限制。
在步骤504中,根据第二变换强度对目标像素集合中的第二类像素进行变换处理。
在对于目标像素集合进行变换处理的过程中,可以对目标像素集合中的像素进行分类,进而对于不同类的像素采用不同的变换强度进行变换处理。
在一实施例中,可以将用户在匹配于语义对象的对象像素集合中所选取的至少一部分像素确定为第一类像素,以根据第一变换强度进行变换处理,而对于目标像素集合中除第一类像素之外的第二类像素根据第二变换强度进行变换处理,通过变换强度的差异使得对用户所选取的部分像素呈现出最强的变换效果。
在另一实施例中,可以将目标像素集合中的处于边缘位置的像素确定为第一类像素,基于第一变换强度进行变换处理;而处于目标像素集合中的除处于边缘位置之外的像素确定为第二类像素,并基于第一变换强度削弱后的第二变换强度进行变换处理,使得在变换后的图像中能够强化边缘位置的像素的变化情况。
在又一实施例中,可以将目标像素集合中构成预设图形的像素确定为第一类像素,诸如心形、圆形、水滴形或者构成复杂图案的图形等,从而通过对构成预设图形的像素按照第一变换强度进行变换,而除构成预设图形之外的其他像素按照第一变换强度削弱后的第二变换强度进行变换,从而在变换后的图像中呈现出基于预设图形的变换凸显。
由上述实施例可知,在根据用户发送的编辑指令对目标像素集合进行变换处理的过程中,针对目标像素集合中归属于不同类别的像素按照不同的变换强度进行变换处理,使得目标像素集合中归属于不同类别的像素呈现出不同的变换效果。
图6是本公开根据一示例性实施例之二示出的一种编辑处理方法的流程图,如图6所示,可以包括以下步骤:
在步骤601中,确定删除指令对应的目标像素集合。
在步骤602中,判断目标像素集合对应的缺失区域中是否存在能够覆盖预设数量的单元区块的子区域,若是,则进入步骤603,否则进入步骤604。
预设的单元区块可以为目标像素集合中待进行编辑处理的最小粒度,诸如一个像素或一组像素,通过缺失区域能否覆盖预设数量的单元区块的检测,使得能够基于单元区块识别定义缺失区域的区域大小,从而通过不同的填补方式进行填补,以综合各种填补方法的利弊。
诸如判断目标像素集合对应的缺失区域中是否存在能够覆盖两个单元区块的子区域,在缺失区域中不存在能够覆盖两个单元区块的子区域的情况下,可通过双线性差值算法确定缺失区域中像素的像素值,以使得填补后的缺失区域与相邻区块具有较好的像素值融合效果;而在缺失区域中存在能够覆盖两个单元区块的子区域的情况下,则直接根据色块对缺失区域进行填补,从而提高对缺失区域中的像素值的确定效率。当然,在实际应用中,针对于不同的区域填补方式可以对预设数量进行调整,诸如五个、十个等,本公开对此不作限制。
在步骤603中,根据参考区域对缺失区域进行填补。
在缺失区域中存在能够覆盖预设数量的单元区块的子区域的情况下,可以根据参考区域直接对缺失区域进行填补。具体的,可以由用户自主加载或者在当前待编辑图像中选择用于填补的参考区域,进而基于该参考区域对缺失区域进行填补;或者,可以基于patchmatch算法自动根据相邻于缺失区域的像素的像素值对缺失区域进行填补。
在步骤604中,根据缺失区域的相邻区域对缺失区域进行填补。
在根据缺失区域的相邻区域对缺失区域进行填补的过程中,可以基于双线性插值算法确定对缺失区域进行填补的像素值,进而根据所确定的像素值对缺失区域进行填补;也可以根据用户指定的像素值对缺失区域进行填补。
由上述实施例可知,在对删除指令对应的目标像素集合进行像素填补的过程中,可以根据预设数量的单元区块评估目标像素集合对应的缺失区域的情况,进而根据缺失区域的实际情况选用不同的填补方式或填补算法,以通过综合不同算法的处理优劣提高对缺失区域的填补效率。
图7是本公开根据一示例性实施例之三示出的一种编辑处理方法的流程图,如图7所示,可以包括以下步骤:
在步骤701中,确定对应于图像合并指令的背景图像。
用于进行图像合并的背景图像可以为用户实时载入或者选择的图像,也可以为设备自动选择预设图像,本公开对此不作限制。
在步骤702中,对目标像素集合与背景图像进行合并处理。
在一实施例中,对目标像素集合与背景图像进行合并处理的过程可以为目标像素集合与背景图像中的指定像素集合进行适应性合并的过程。
具体的,可以对背景图像进行语义分析,以确定背景图像中匹配于目标语义对象的背景像素集合;将背景像素集合中的至少一部分像素确定为用于合并处理的指定像素集合,进而将目标像素集合与指定像素集合进行适应性合并处理。
进一步的,关于将背景像素集合中的至少一部分像素确定为用于合并处理的指定像素集合的过程,可以接收用户对背景像素集合中的对象选定信息,进而将对象选定信息对应的部分像素确定为用于合并处理的指定像素集合;或者,可以由用户将目标像素集合移动至背景图像中,进而将背景像素集合中与目标像素集合具有重叠关系的部分像素确定为用于合并处理的指定像素集合。
进一步的,关于将目标像素集合与指定像素集合进行适应性合并处理的过程,可以确定背景图像中匹配于目标语义对象的背景像素集合中的特征要素,以及目标像素集合中的相应的特征要素,进而对背景像素集合中的特征要素与目标像素集合中的相应的特征要素进行适应性融合。
诸如特征要素可以为边缘像素的位置信息,以背景像素集合中构成方形的像素集合和目标像素集合中构成圆形的像素集合为例,则背景像素集合中的特征要素与目标像素集合中的特征要素进行适应性融合的过程,可以为在将目标像素集合合并至背景像素集合过程中,将目标像素集合中圆形的像素位置改为背景像素集合中的方形的像素位置关系,使得合并后的目标图像中呈现出方形的目标像素集合。
特征要素还可以为预设特征的像素位置信息,比如人脸图像中的眼睛的像素位置信息、鼻子的像素位置信息,使得通过人脸与卡通形象的脸部进行适应性融合的过程中,可以将人脸中眼睛的像素位置信息按照卡通形象的脸部中的眼睛的位置信息进行变动、人脸中鼻子的像素位置信息按照卡通形象的脸部中的鼻子的位置信息进行变动。当然,特征要素还可以为边缘像素的像素值或者预设特征的像素值等,本公开对此不作限制。
在另一实施例中,根据背景图像中的像素属性信息对目标像素集合中的像素进行属性调整,诸如根据背景图像中的像素的亮度值、饱和度等对目标像素集合中的像素进行属性调整,使得合并后的目标图像中目标像素集合所呈现的属性信息与背景图像中的属性信息具有协调一致性。
在步骤703中,将合并处理后的背景图像作为待编辑图像对应的目标图像。
由上述实施例可知,可以根据用户发送的编辑指令将目标像素集合合并至背景图像中,以由完成合并处理的图像作为目标图像,关于图像合并的过程可以根据用户实际应用需要采用不同的合并模式,以呈现不同的合并效果,扩展了合并处理的应用场景,满足用户多维度的合并处理需求。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制,因为依据本公开,某些步骤可以采用其他顺序或者同时进行。
其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例。
与前述图像编辑方法的实施例相对应地,本公开还提出了图像编辑装置的实施例。
图8是本公开根据一示例性实施例之一示出的一种图像编辑装置的示意框图。本实施例所示的图像编辑装置可以适用于视频播放应用,所述应用适用于终端,所述终端包括但不限于手机、平板电脑、可穿戴设备、个人计算机等电子设备。所述视频播放应用可以是安装在终端中的应用程序,也可以是集成在浏览器中的网页版应用,用户可以通过视频播放应用播放视频,其中,所述播放的视频可以是长视频,例如电影、电视剧,也可以是短视频,例如视频剪辑、情景短剧等。
参照图8,该装置可以包括语义分析模块801、集合确定模块802、编辑处理模块803;其中:
语义分析模块801,对待编辑图像进行语义分析,以确定所述待编辑图像中对应于预设语义对象的对象像素集合;
集合确定模块802,根据接收的编辑指令确定目标像素集合,所述目标像素集合包含所述对象像素集合中的至少一部分像素;
编辑处理模块803,按照所述编辑指令对所述目标像素集合进行编辑处理,以生成所述待编辑图像对应的目标图像。
可选的,还包括:
备选项显示模块804,在所述待编辑图像包含多个类别的语义对象的情况下,显示针对各个类别的备选项;
备选项确定模块805,根据用户返回的类别选择指令,确定被选取的备选项,以对所述被选取的备选项对应类别的语义对象与其他类别的语义对象进行区别展示;
语义对象确定模块806,根据用户返回的语义对象选择指令,确定被选取的语义对象,以作为所述预设语义对象。
可选的,还包括:
参考区域确定模块807,在所述编辑处理使得所述待编辑图像中存在缺失区域的情况下,确定参考区域,其中,所述参考区域是根据用户选定的区域而确定的或者是根据所述缺失区域的相邻区域而确定的;
缺失区域填补模块808,根据所述参考区域对应的像素信息对所述缺失区域进行填补。
可选的,所述目标像素集合包括对应于所述至少一部分像素的关联像素集合。
如图9所示,图9是本公开根据一示例性实施例之二示出的一种图像编辑装置的示意框图,该实施例在前述图8所示实施例的基础上,语义分析模块801可以包括:特征提取子模块8011,第一确定子模块8012;其中:
特征提取子模块8011,基于预先训练得到的机器学习模型对待编辑图像进行特征提取,以确定所述待编辑图像中的特征图像块和与所述特征图像块对应的对象标记信息;
第一确定子模块8012,根据所述对象标记信息确定与所述特征图像块匹配的预设语义对象。
如图10所示,图10是本公开根据一示例性实施例之三示出的一种图像编辑装置的示意框图,该实施例在前述图8所示实施例的基础上,语义分析模块801可以包括:第二确定子模块8013,语义分析子模块8014;其中:
第二确定子模块8013,根据接收到的区域选定指令确定待编辑图像中的用户关注区域;
语义分析子模块8014,对所述用户关注区域进行语义分析。
如图11所示,图11是本公开根据一示例性实施例之四示出的一种图像编辑装置的示意框图,该实施例在前述图8所示实施例的基础上,编辑处理模块803可以包括:第一处理子模块8031,第二处理子模块8032;其中:
第一处理子模块8031,按照第一变换强度对所述目标像素集合中的第一类像素进行变换处理;
第二处理子模块8032,按照第二变换强度对所述目标像素集合中的第二类像素进行变换处理,其中,所述第二变换强度是根据缩减比例对所述第一变换强度进行消减后而确定的,所述缩减比例与所述第二类像素和所述第一类像素之间的距离呈正比。
如图12所示,图12是本公开根据一示例性实施例之五示出的一种图像编辑装置的示意框图,该实施例在前述图8所示实施例的基础上,编辑处理模块803可以包括:第三确定子模块8033,第三处理子模块8034;其中:
第三确定子模块8033,确定对应于合并指令的背景图像;
第三处理子模块8034,对所述目标像素集合与所述背景图像进行合并处理,以将合并处理后的背景图像作为所述待编辑图像对应的目标图像。
可选的,第三处理子模块具体用于:
确定所述背景图像中的目标语义对象;
基于所述目标语义对象中的特征要素对所述目标像素集合中相应的特征要素进行适应性调整,以使得与所述背景图像进行合并处理的为经过所述适应性调整的目标像素集合;
根据合并处理后的背景图像确定所述待编辑图像对应的目标图像。
可选的,第三处理子模块具体用于:
根据所述背景图像中的像素属性信息对所述目标像素集合中的像素进行属性调整;
将完成属性调整的目标像素集合与所述背景图像进行合并处理。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本公开的实施例还提出一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上述任一实施例所述的图像编辑方法。
本公开的实施例还提出一种一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一实施例所述的图像编辑方法。
本公开的实施例还提出一种计算机程序产品,所述计算机程序产品被配置为执行上述任一实施例所述的图像编辑方法。
图13是根据本公开的实施例示出的一种电子设备的示意框图。例如,电子设备1300可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图13,电子设备1300可以包括以下一个或多个组件:处理组件1302,存储器1304,电源组件1306,多媒体组件1308,音频组件1310,输入/输出(I/O)的接口1312,传感器组件1314,以及通信组件1316。
处理组件1302通常控制电子设备1300的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1302可以包括一个或多个处理器1320来执行指令,以完成上述XX方法的全部或部分步骤。此外,处理组件1302可以包括一个或多个模块,便于处理组件1302和其他组件之间的交互。例如,处理组件1302可以包括多媒体模块,以方便多媒体组件1308和处理组件1302之间的交互。
存储器1304被配置为存储各种类型的数据以支持在电子设备1300的操作。这些数据的示例包括用于在电子设备1300上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1306为电子设备1300的各种组件提供电力。电源组件1306可以包括电源管理系统,一个或多个电源,及其他与为电子设备1300生成、管理和分配电力相关联的组件。
多媒体组件1308包括在电子设备1300和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1308包括一个前置摄像头和/或后置摄像头。当电子设备1300处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1310被配置为输出和/或输入音频信号。例如,音频组件1310包括一个麦克风(MIC),当电子设备1300处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施例中,音频组件1310还包括一个扬声器,用于输出音频信号。
I/O接口1312为处理组件1302和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1314包括一个或多个传感器,用于为电子设备1300提供各个方面的状态评估。例如,传感器组件1314可以检测到电子设备1300的打开/关闭状态,组件的相对定位,例如所述组件为电子设备1300的显示器和小键盘,传感器组件1314还可以检测电子设备1300或电子设备1300一个组件的位置改变,用户与电子设备1300接触的存在或不存在,电子设备1300方位或加速/减速和电子设备1300的温度变化。传感器组件1314可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1314还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1316被配置为便于电子设备1300和其他设备之间有线或无线方式的通信。电子设备1300可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件1316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1316还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在本公开一实施例中,电子设备1300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述XX方法。
在本公开一实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1304,上述指令可由电子设备1300的处理器1320执行以完成上述XX方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本公开实施例所提供的方法和装置进行了详细介绍,本文中应用了具体个例对本公开的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本公开的方法及其核心思想;同时,对于本领域的一般技术人员,依据本公开的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本公开的限制。
Claims (10)
1.一种图像编辑方法,其特征在于,所述方法包括:
对待编辑图像进行语义分析,以确定所述待编辑图像中对应于预设语义对象的对象像素集合;
根据接收的编辑指令确定目标像素集合,所述目标像素集合包含所述对象像素集合中的至少一部分像素;
按照所述编辑指令对所述目标像素集合进行编辑处理,以生成所述待编辑图像对应的目标图像。
2.根据权利要求1所述方法,其特征在于,还包括:
在所述待编辑图像包含多个类别的语义对象的情况下,显示针对各个类别的备选项;
根据用户返回的类别选择指令,确定被选取的备选项,以对所述被选取的备选项对应类别的语义对象与其他类别的语义对象进行区别展示;
根据用户返回的语义对象选择指令,确定被选取的语义对象,以作为所述预设语义对象。
3.根据权利要求1所述方法,其特征在于,还包括:
在所述编辑处理使得所述待编辑图像中存在缺失区域的情况下,确定参考区域,其中,所述参考区域是根据用户选定的区域而确定的或者是根据所述缺失区域的相邻区域而确定的;
根据所述参考区域对应的像素信息对所述缺失区域进行填补。
4.根据权利要求1所述方法,其特征在于,所述按照所述编辑指令对所述目标像素集合进行编辑处理,包括:
按照第一变换强度对所述目标像素集合中的第一类像素进行变换处理;
按照第二变换强度对所述目标像素集合中的第二类像素进行变换处理,其中,所述第二变换强度是根据缩减比例对所述第一变换强度进行缩减后而确定的,所述缩减比例与所述第二类像素和所述第一类像素之间的距离呈正比。
5.根据权利要求1所述方法,其特征在于,所述编辑指令包括合并指令,所述按照所述编辑指令对所述目标像素集合进行编辑处理,以生成所述待编辑图像对应的目标图像,包括:
确定对应于所述合并指令的背景图像;
对所述目标像素集合与所述背景图像进行合并处理,以将合并处理后的背景图像作为所述待编辑图像对应的目标图像。
6.根据权利要求5所述方法,其特征在于,所述对所述目标像素集合与所述背景图像进行合并处理,以将合并处理后的背景图像作为所述待编辑图像对应的目标图像,包括:
确定所述背景图像中的目标语义对象;
基于所述目标语义对象中的特征要素对所述目标像素集合中相应的特征要素进行适应性调整,以使得与所述背景图像进行合并处理的为经过所述适应性调整的目标像素集合;
根据合并处理后的背景图像确定所述待编辑图像对应的目标图像。
7.根据权利要求5所述方法,其特征在于,所述对所述目标像素集合与所述背景图像进行合并处理,包括:
根据所述背景图像中的像素属性信息对所述目标像素集合中的像素进行属性调整;
将完成属性调整的目标像素集合与所述背景图像进行合并处理。
8.一种图像编辑装置,其特征在于,所述装置包括:
语义分析模块,对待编辑图像进行语义分析,以确定所述待编辑图像中对应于预设语义对象的对象像素集合;
集合确定模块,根据接收的编辑指令确定目标像素集合,所述目标像素集合包含所述对象像素集合中的至少一部分像素;
编辑处理模块,按照所述编辑指令对所述目标像素集合进行编辑处理,以生成所述待编辑图像对应的目标图像。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为可执行指令,以实现如权利要求1至7中任一项所述的图像编辑方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至7中任一项所述的图像编辑方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010202820.4A CN111429551A (zh) | 2020-03-20 | 2020-03-20 | 图像编辑方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010202820.4A CN111429551A (zh) | 2020-03-20 | 2020-03-20 | 图像编辑方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111429551A true CN111429551A (zh) | 2020-07-17 |
Family
ID=71548399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010202820.4A Pending CN111429551A (zh) | 2020-03-20 | 2020-03-20 | 图像编辑方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111429551A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112561988A (zh) * | 2020-12-22 | 2021-03-26 | 咪咕文化科技有限公司 | 多媒体资源的定位方法、电子设备及可读存储介质 |
CN113469981A (zh) * | 2021-07-09 | 2021-10-01 | 数坤(北京)网络科技股份有限公司 | 图像处理方法、装置及存储介质 |
CN116168119A (zh) * | 2023-02-28 | 2023-05-26 | 北京百度网讯科技有限公司 | 图像编辑方法、装置、电子设备、存储介质及程序产品 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982572A (zh) * | 2012-10-31 | 2013-03-20 | 北京百度网讯科技有限公司 | 一种智能化图像编辑方法和装置 |
CN110189249A (zh) * | 2019-05-24 | 2019-08-30 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
CN110298785A (zh) * | 2019-06-29 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 图像美化方法、装置及电子设备 |
-
2020
- 2020-03-20 CN CN202010202820.4A patent/CN111429551A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982572A (zh) * | 2012-10-31 | 2013-03-20 | 北京百度网讯科技有限公司 | 一种智能化图像编辑方法和装置 |
CN110189249A (zh) * | 2019-05-24 | 2019-08-30 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
CN110298785A (zh) * | 2019-06-29 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 图像美化方法、装置及电子设备 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112561988A (zh) * | 2020-12-22 | 2021-03-26 | 咪咕文化科技有限公司 | 多媒体资源的定位方法、电子设备及可读存储介质 |
CN113469981A (zh) * | 2021-07-09 | 2021-10-01 | 数坤(北京)网络科技股份有限公司 | 图像处理方法、装置及存储介质 |
CN116168119A (zh) * | 2023-02-28 | 2023-05-26 | 北京百度网讯科技有限公司 | 图像编辑方法、装置、电子设备、存储介质及程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108965982B (zh) | 视频录制方法、装置、电子设备和可读存储介质 | |
US11114130B2 (en) | Method and device for processing video | |
CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
CN109961747B (zh) | 电子墨水屏显示方法、装置及电子设备 | |
CN110619350B (zh) | 图像检测方法、装置及存储介质 | |
EP3713212A1 (en) | Image capture method, apparatus, terminal, and storage medium | |
CN109379572B (zh) | 图像转换方法、装置、电子设备及存储介质 | |
CN111429551A (zh) | 图像编辑方法、装置、电子设备和存储介质 | |
US20220147741A1 (en) | Video cover determining method and device, and storage medium | |
US20220417417A1 (en) | Content Operation Method and Device, Terminal, and Storage Medium | |
CN109784164B (zh) | 前景识别方法、装置、电子设备及存储介质 | |
US20220038641A1 (en) | Video processing method, apparatus and storage medium | |
US11961278B2 (en) | Method and apparatus for detecting occluded image and medium | |
CN107507128B (zh) | 图像处理方法及设备 | |
CN112069951A (zh) | 视频片段提取方法、视频片段提取装置及存储介质 | |
CN108388467B (zh) | 一种界面显示的方法、装置和设备 | |
CN113450431B (zh) | 虚拟头发染色方法、装置、电子设备及存储介质 | |
CN113157179A (zh) | 一种画面调节参数调整方法、装置、电子设备及存储介质 | |
CN112381091A (zh) | 视频内容识别方法、装置、电子设备及存储介质 | |
CN110662103B (zh) | 多媒体对象重构方法及装置、电子设备、可读存储介质 | |
CN113012085A (zh) | 图像处理方法和装置 | |
CN114697515A (zh) | 采集影像的方法、装置及可读存储介质 | |
CN111968605A (zh) | 曝光度调整方法及装置 | |
CN113382153B (zh) | 显示图像的方法和装置、电子设备、存储介质 | |
CN112506393B (zh) | 图标显示方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |