发明内容
为解决上述问题,本发明提出了一种修图处理方法、装置、设备和存储介质,能够有效避免侧脸修图的效果折损,提升了用户体验。
第一方面,本申请实施例提供一种修图处理方法,包括:
检测到针对待处理面部图像的修图操作,确定所述修图操作对应的修图区域及所述待处理面部图像的面部区域中与所述修图区域相对应的对称区域;
确定所述待处理面部图像为侧脸图像后,获取所述待处理面部图像的偏移姿态特征;
至少基于所述偏移姿态特征确定出所述修图区域所对应的第一偏移特征,以及所述对称区域所对应的第二偏移特征;其中,所述第一偏移特征与所述第二偏移特征不同;
基于所述第一偏移特征对所述修图区域进行修图处理,以及基于所述第二偏移特征对所述对称区域进行修图处理。
本申请的一实施例中,所述方法还包括:
确定所述待处理面部图像为正脸图像后,获取所述修图区域所对应的第三偏移特征;其中,所述第三偏移特征与所述第一偏移特征不同;
基于所述第三偏移特征对所述修图区域以及所述对称区域进行修图处理。
本申请的一实施例中,确定所述待处理面部图像的面部区域中与所述修图区域相对应的对称区域,包括:
获取所述待处理面部图像中的面部关键点特征,对面部关键点特征进行插值处理后,得到表征面部关键点特征的关键点网格;
基于所述关键点网格以及所述待处理面部图像中面部区域的对称特征,确定出所述待处理面部图像的面部区域中与所述修图区域相对应的对称区域。
本申请的一实施例中,所述至少基于所述偏移姿态特征确定出所述修图区域所对应的第一偏移特征,以及所述对称区域所对应的第二偏移特征,包括:
基于所述关键点网格以及基于所述待处理面部图像中面部区域的对称特征,将面部区域区分为第一区域和第二区域;
确定出所述修图区域位于所述第一区域后,至少基于所述偏移姿态特征以及所述修图区域所位于的所述第一区域,确定出所述修图区域所对应的第一偏移特征;
确定出所述对称区域位于第二区域后,至少基于所述偏移姿态特征以及所述对称区域所位于的第二区域,确定出所述对称区域所对应的第二偏移特征。
本申请的一实施例中,所述方法还包括:
基于所述关键点网格得到所述待处理面部图像中面部区域的对称轴,并将面部区域区分为第一区域和第二区域;
基于所述修图操作对应的位置特征与所述对称轴间的位置关系,至少判断所述修图区域位于所述第一区域或所述第二区域;其中,所述修图区域是基于所述位置特征确定得到的。
本申请的一实施例中,所述至少基于所述偏移姿态特征确定出所述修图区域所对应的第一偏移特征,以及所述对称区域所对应的第二偏移特征,包括:
获取所述待处理面部图像的欧拉角特征,并确定出所述待处理面部图像的偏移深度特征;
至少基于所述偏移姿态特征以及所述偏移深度特征确定出所述修图区域所对应的第一偏移特征,以及所述对称区域所对应的第二偏移特征。
第二方面,本申请实施例提供一种修图处理装置,包括:
检测单元,用于检测到针对待处理面部图像的修图操作,确定所述修图操作对应的修图区域及所述待处理面部图像的面部区域中与所述修图区域相对应的对称区域;
处理单元,用于确定所述待处理面部图像为侧脸图像后,获取所述待处理面部图像的偏移姿态特征;至少基于所述偏移姿态特征确定出所述修图区域所对应的第一偏移特征,以及所述对称区域所对应的第二偏移特征;其中,所述第一偏移特征与所述第二偏移特征不同;
修图单元,用于基于所述第一偏移特征对所述修图区域进行修图处理,以及基于所述第二偏移特征对所述对称区域进行修图处理。
本申请的一实施例中,所述处理单元,还用于确定所述待处理面部图像为正脸图像后,获取所述修图区域所对应的第三偏移特征;其中,所述第三偏移特征与所述第一偏移特征不同;
所述修图单元,还用于基于所述第三偏移特征对所述修图区域以及所述对称区域进行修图处理。
本申请的一实施例中,所述处理单元,还用于:
获取所述待处理面部图像中的面部关键点特征,对面部关键点特征进行插值处理后,得到表征面部关键点特征的关键点网格;
基于所述关键点网格以及所述待处理面部图像中面部区域的对称特征,确定出所述待处理面部图像的面部区域中与所述修图区域相对应的对称区域。
本申请的一实施例中,所述处理单元,还用于:
基于所述关键点网格以及基于所述待处理面部图像中面部区域的对称特征,将面部区域区分为第一区域和第二区域;
确定出所述修图区域位于所述第一区域后,至少基于所述偏移姿态特征以及所述修图区域所位于的所述第一区域,确定出所述修图区域所对应的第一偏移特征;
确定出所述对称区域位于第二区域后,至少基于所述偏移姿态特征以及所述对称区域所位于的第二区域,确定出所述对称区域所对应的第二偏移特征。
本申请的一实施例中,所述处理单元,还用于:
基于所述关键点网格得到所述待处理面部图像中面部区域的对称轴,并将面部区域区分为第一区域和第二区域;
基于所述修图操作对应的位置特征与所述对称轴间的位置关系,至少判断所述修图区域位于所述第一区域或所述第二区域;其中,所述修图区域是基于所述位置特征确定得到的。
本申请的一实施例中,所述处理单元,还用于:
获取所述待处理面部图像的欧拉角特征,并确定出所述待处理面部图像的偏移深度特征;
至少基于所述偏移姿态特征以及所述偏移深度特征确定出所述修图区域所对应的第一偏移特征,以及所述对称区域所对应的第二偏移特征。
第三方面,本申请实施例提供一种修图处理设备,包括:
一个或多个处理器;
与所述一个或多个处理器通信连接的存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序被配置为执行以上所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现以上所述的方法。
这样,由于本申请方案能够在确定所述待处理面部图像为侧脸图像后,获取所述待处理面部图像的偏移姿态特征,并基于偏移姿态特征确定出与所述修图区域相匹配的偏移特征,即第一偏移特征,进而利用第一偏移特征对修图区域进行修图处理,所以,能够有效避免侧脸修图的效果折损;而且,又由于本申请方案能够基于面部区域的对称特征,同步对修图区域对应的对称区域进行修图处理,所以,进一步避免了效果折损问题,为精细化修图奠定了基础,同时,也为提升用户体验奠定了基础。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。
本申请实施例提供了一种修图处理方法、装置、设备和存储介质;具体地,图1为本发明实施例修图处理方法的实现流程示意图,如图1所示,所述方法包括:
步骤101:修图处理装置检测到针对待处理面部图像的修图操作,确定所述修图操作对应的修图区域及所述待处理面部图像的面部区域中与所述修图区域相对应的对称区域。
在一具体示例中,所述待处理面部图像为人脸图像,考虑到面部区域的对称性,在确定修图操作对应的修图区域后,还需要确定出在面部区域中与修图区域相对称的对称区域,如此,便于在对修图区域进行修图处理的同时,同步对所述对称区域进行调整,以提升修图效果。
这里,在一具体示例中,可以采用如下方式确定所述待处理面部图像的面部区域中与所述修图区域相对应的对称区域,包括:获取所述待处理面部图像中的面部关键点特征,对面部关键点特征进行插值处理后,得到表征面部关键点特征的关键点网格;举例来说,如图2所示,以人脸图像为例,在人脸图像中确定出人脸关键点,对确定出的人脸关键点进行插值处理后,将插值处理后的人脸关键点连接后得到稠密网格(也即关键点网格),该稠密网格能够表征出人脸关键点,比如,利用稠密网格能够确定出人脸五官所对应的关键点。进一步地,在确定出关键点网格后,基于所述关键点网格以及所述待处理面部图像中面部区域的对称特征,确定出所述待处理面部图像的面部区域中与所述修图区域相对应的对称区域。
步骤102:修图处理装置确定所述待处理面部图像为侧脸图像后,获取所述待处理面部图像的偏移姿态特征。
步骤103:修图处理装置至少基于所述偏移姿态特征确定出所述修图区域所对应的第一偏移特征,以及所述对称区域所对应的第二偏移特征;其中,所述第一偏移特征与所述第二偏移特征不同。
这里,实际应用中,确定所述待处理面部图像为正脸图像后,获取所述修图区域所对应的第三偏移特征;其中,所述第三偏移特征与所述第一偏移特征不同;基于所述第三偏移特征对所述修图区域以及所述对称区域进行修图处理。也就是说,针对同一修图区域,本申请方案对正脸图像和侧脸图像进行区分,并采用不同的修图策略(也即偏移特征)对所述修图区域进行修图处理,如此,避免侧脸图像的效果折损而降低用户体验。这里,即便对于正脸图像而言,由于面部区域的对称性,依然需要同步对所述对称区域进行修图处理,此时,可以采用与修图区域相同的偏移特征进行处理,如此,确保对称修改,提升用户体验。
本实施例中,所述偏移姿态特征可以至少包括以下信息至少之一:面部旋转角度,面部的俯仰角等。当然,为进一步提升修图效果,还可以考虑面度图像的偏移深度,如此,来精确确定出与修图区域相匹配的偏移特征,以及与对称区域相匹配的偏移特征,具体地,修图处理装置获取所述待处理面部图像的欧拉角特征,并确定出所述待处理面部图像的偏移深度特征;进而至少基于所述偏移姿态特征以及所述偏移深度特征确定出所述修图区域所对应的第一偏移特征,以及所述对称区域所对应的第二偏移特征。
步骤104:修图处理装置基于所述第一偏移特征对所述修图区域进行修图处理,以及基于所述第二偏移特征对所述对称区域进行修图处理。
本实施例中,在确定出所述对称区域后,还可以采用如下方式来确定所述修图区域以及所述对称区域所对应的偏移特征,具体地,获取所述待处理面部图像中的面部关键点特征,对面部关键点特征进行插值处理后,得到表征面部关键点特征的关键点网格;基于所述关键点网格以及基于所述待处理面部图像中面部区域的对称特征,将面部区域至少区分为第一区域和第二区域,确定出所述修图区域位于所述第一区域后,至少基于所述偏移姿态特征以及所述修图区域所位于的所述第一区域,确定出所述修图区域所对应的第一偏移特征;确定出所述对称区域位于第二区域后,至少基于所述偏移姿态特征以及所述对称区域所位于的第二区域,确定出所述对称区域所对应的第二偏移特征。也就是说,本示例中,在得到关键点网格后,基于关键点网格以及面部区域的对称性,将面部区域划分为第一区域和第二区域,比如,左脸和右脸,并确定修图区域位于哪个区域,以及所述对称对于位于哪个区域,进而基于修图区域对应的区域和偏移姿态特征,以及所述对称区域对应的区域和偏移特征,去确定修图区域的第一偏移特征,以及对称区域的第二偏移特征,如此,来实现精细化修图。
在一具体示例中,还可以基于所述关键点网格得到所述待处理面部图像中面部区域的对称轴,并将面部区域区分为第一区域和第二区域;进而基于所述修图操作对应的位置特征(比如起点位置和终点位置,下述称为起始点位置)与所述对称轴间的位置关系,至少判断所述修图区域位于所述第一区域或所述第二区域;其中,所述修图区域是基于所述位置特征确定得到的。举例来说,继续以人脸图像为例,在确定出稠密网格后,基于对称特征选取出至少两个人脸关键点,并基于最小二乘法得到人脸区域的中间划分线作为对称轴,进而根据所述修图操作对应的起始点位置确定出相对于所述对称轴的斜率,基于斜率确定出修图操作对应的修图区域位于对称轴的哪边,如此,来确定出修图区域所对应的偏移特征。
实际应用中,还可以基于关键点网格对面部五官进行划分,比如,将五官划分为鼻、眼、眉、嘴、面部等;当然,为实现精细化调整,还可以对五官进一步划分,比如,将鼻划分为鼻翼、鼻梁、鼻尖、山根等;将眼划分为瞳孔、眼距、外眼角、下眼角等;将眉划分为粗细、高低、眉峰等;将嘴划分为上唇、下唇、唇线、嘴角等;将面部划分为颧骨、下颌、下巴等;进而针对不同的五官,以及五官中的不同区域设置偏移特征(比如偏移量),如此,来实现精细化调整。其中,侧脸图像中不同五官及五官中不同区域的偏移特征可以是对正脸图像的偏移量调整后而确定出的,比如,在正脸图像中对特定区域进行偏移量调整,然后,将该调整对应的偏移量应用到侧脸图像中,并基于侧脸图像的修图效果来判断应用于正脸图像中的偏移量是否适用于侧脸图像中,若否,进一步调整偏移量后应用于侧脸图像中,直至修图效果达到预设条件为止。这样,避免了效果折损,提升了用户体验。
这样,由于本申请方案能够在确定所述待处理面部图像为侧脸图像后,获取所述待处理面部图像的偏移姿态特征,并基于偏移姿态特征确定出与所述修图区域相匹配的偏移特征,即第一偏移特征,进而利用第一偏移特征对修图区域进行修图处理,所以,能够有效避免侧脸修图的效果折损;而且,又由于本申请方案能够基于面部区域的对称特征,同步对修图区域对应的对称区域进行修图处理,所以,进一步避免了效果折损问题,为精细化修图奠定了基础,同时,也为提升用户体验奠定了基础。
以下给出具体示例对本申请方案对作进一步详细说明,具体地,本示例能够实现人脸精细化调整,尤其针对侧脸中的五官精细化调整。
本申请实施例还提供了一种修图处理装置,如图3所示,所述装置包括:
检测单元31,用于检测到针对待处理面部图像的修图操作,确定所述修图操作对应的修图区域及所述待处理面部图像的面部区域中与所述修图区域相对应的对称区域;
处理单元32,用于确定所述待处理面部图像为侧脸图像后,获取所述待处理面部图像的偏移姿态特征;至少基于所述偏移姿态特征确定出所述修图区域所对应的第一偏移特征,以及所述对称区域所对应的第二偏移特征;其中,所述第一偏移特征与所述第二偏移特征不同;
修图单元33,用于基于所述第一偏移特征对所述修图区域进行修图处理,以及基于所述第二偏移特征对所述对称区域进行修图处理。
本申请的一实施例中,所述处理单元32,还用于确定所述待处理面部图像为正脸图像后,获取所述修图区域所对应的第三偏移特征;其中,所述第三偏移特征与所述第一偏移特征不同;
所述修图单元33,还用于基于所述第三偏移特征对所述修图区域以及所述对称区域进行修图处理。
本申请的一实施例中,所述处理单元32,还用于:
获取所述待处理面部图像中的面部关键点特征,对面部关键点特征进行插值处理后,得到表征面部关键点特征的关键点网格;
基于所述关键点网格以及所述待处理面部图像中面部区域的对称特征,确定出所述待处理面部图像的面部区域中与所述修图区域相对应的对称区域。
本申请的一实施例中,所述处理单元32,还用于:
基于所述关键点网格以及基于所述待处理面部图像中面部区域的对称特征,将面部区域区分为第一区域和第二区域;
确定出所述修图区域位于所述第一区域后,至少基于所述偏移姿态特征以及所述修图区域所位于的所述第一区域,确定出所述修图区域所对应的第一偏移特征;
确定出所述对称区域位于第二区域后,至少基于所述偏移姿态特征以及所述对称区域所位于的第二区域,确定出所述对称区域所对应的第二偏移特征。
本申请的一实施例中,所述处理单元32,还用于:
基于所述关键点网格得到所述待处理面部图像中面部区域的对称轴,并将面部区域区分为第一区域和第二区域;
基于所述修图操作对应的位置特征与所述对称轴间的位置关系,至少判断所述修图区域位于所述第一区域或所述第二区域;其中,所述修图区域是基于所述位置特征确定得到的。
本申请的一实施例中,所述处理单元32,还用于:
获取所述待处理面部图像的欧拉角特征,并确定出所述待处理面部图像的偏移深度特征;
至少基于所述偏移姿态特征以及所述偏移深度特征确定出所述修图区域所对应的第一偏移特征,以及所述对称区域所对应的第二偏移特征。
这里需要指出的是:以上装置实施例项的描述,与上述方法描述是类似的,具有同方法实施例相同的有益效果,因此不做赘述。对于本发明装置实施例中未披露的技术细节,本领域的技术人员请参照本发明方法实施例的描述而理解,为节约篇幅,这里不再赘述。
本申请实施例还提供了一种修图处理设备,包括:一个或多个处理器;与所述一个或多个处理器通信连接的存储器;一个或多个应用程序;其中,所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序被配置为执行以上所述的方法。
在一具体示例中,本申请实施例所述的修图处理设备可具体为如图4所示的结构,所述修图处理设备至少包括处理器41、存储介质42以及至少一个外部通信接口43;所述处理器41、存储介质42以及外部通信接口43均通过总线44连接。所述处理器41可为微处理器、中央处理器、数字信号处理器或可编程逻辑阵列等具有处理功能的电子元器件。所述存储介质中存储有计算机可执行代码,所述计算机可执行代码能够执行以上任一实施例所述的方法。在实际应用中,所述检测单元31、处理单元32以及修图单元33均可以通过所述处理器41实现。
这里需要指出的是:以上修图处理设备实施例项的描述,与上述方法描述是类似的,具有同方法实施例相同的有益效果,因此不做赘述。对于本发明修图处理设备实施例中未披露的技术细节,本领域的技术人员请参照本发明方法实施例的描述而理解,为节约篇幅,这里不再赘述。
本申请实施例还提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现以上所述的方法。
这里,计算机可读存储介质可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。
上述所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。