CN108520036B - 图像的选取方法、装置、存储介质及电子设备 - Google Patents
图像的选取方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN108520036B CN108520036B CN201810276376.3A CN201810276376A CN108520036B CN 108520036 B CN108520036 B CN 108520036B CN 201810276376 A CN201810276376 A CN 201810276376A CN 108520036 B CN108520036 B CN 108520036B
- Authority
- CN
- China
- Prior art keywords
- eye
- image
- value
- target
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000010187 selection method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000007613 environmental effect Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 210000000887 face Anatomy 0.000 description 7
- 239000000872 buffer Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- -1 ethylene-propylene-methyl Chemical group 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Abstract
本申请公开了一种图像的选取方法、装置、存储介质及电子设备。该方法包括:当需要从待处理图像中选取基础图像时,获取每一该待处理图像中每一人脸的每一眼睛的眼部值,该眼部值为用于表示眼部大小的数值;若存在眼部值的最大值和最小值之间的差值超过预设差值阈值的目标眼睛,则从该待处理图像中确定出目标图像,该目标图像中的该目标眼睛的眼部值不符合预设第一条件;获取用于替换每一该目标图像中每一目标眼睛的眼部值的目标数值,并使用对应的该目标数值替换每一该目标图像中每一目标眼睛的眼部值;在眼部值替换后,根据每一人脸的眼部值,从待处理图像中选取基础图像。本实施例可以提高终端在从待处理图像中选取基础图像时的准确性。
Description
技术领域
本申请属于图像技术领域,尤其涉及一种图像的选取方法、装置、存储介质及电子设备。
背景技术
拍照是终端的一项基本功能。随着摄像模组等硬件和图像处理算法的不断进步,终端的拍摄功能越来越强大。用户也越来越频繁地使用终端进行拍照,比如用户经常会使用终端拍摄人物照等等。相关技术中,终端可以采集多帧图像,再从这多帧图像中选取用于进行处理的图像。然而,当从多帧图像中选取用于进行处理的图像时,终端选取图像的准确性较差。
发明内容
本申请实施例提供一种图像的选取方法、装置、存储介质及电子设备,可以提高终端在从待处理图像中选取基础图像时的准确性。
本申请实施例提供一种图像的选取方法,包括:
当需要从待处理图像中选取基础图像时,获取每一所述待处理图像中每一人脸的每一眼睛的眼部值,所述眼部值为用于表示眼部大小的数值;
若存在眼部值的最大值和最小值之间的差值超过预设差值阈值的目标眼睛,则从所述待处理图像中确定出目标图像,所述目标图像中的所述目标眼睛的眼部值不符合预设第一条件;
获取用于替换每一所述目标图像中每一目标眼睛的眼部值的目标数值,并使用对应的所述目标数值替换每一所述目标图像中每一目标眼睛的眼部值;
在眼部值替换后,根据每一人脸的眼部值,从待处理图像中选取基础图像。
本申请实施例提供一种图像的选取装置,包括:
获取模块,用于当需要从待处理图像中选取基础图像时,获取每一所述待处理图像中每一人脸的每一眼睛的眼部值,所述眼部值为用于表示眼部大小的数值;
确定模块,用于若存在眼部值的最大值和最小值之间的差值超过预设差值阈值的目标眼睛,则从所述待处理图像中确定出目标图像,所述目标图像中的所述目标眼睛的眼部值不符合预设第一条件;
替换模块,用于获取用于替换每一所述目标图像中每一目标眼睛的眼部值的目标数值,并使用对应的所述目标数值替换每一所述目标图像中每一目标眼睛的眼部值;
选取模块,用于在眼部值替换后,根据每一人脸的眼部值,从待处理图像中选取基础图像。
本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的方法。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的方法。
本实施例中,通过对目标眼睛的不符合预设第一条件的眼部值进行数值替换处理的方式,可以使得终端准确地从待处理图像中选取基础图像。本实施例可以使得终端在选取基础图像时,有效避免诸如人脸图像中用户眼部被遮挡等干扰因素对基础图像选取造成的负面影响,从而提高终端在从待处理图像中选取基础图像时的准确性。
附图说明
下面结合附图,通过对本发明的具体实施方式详细描述,将使本发明的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像的选取方法的流程示意图。
图2是本申请实施例提供的图像的选取方法的另一流程示意图。
图3至图5是本申请实施例提供的图像的选取方法的场景示意图。
图6是本申请实施例提供的图像的选取装置的结构示意图。
图7是本申请实施例提供的移动终端的结构示意图。
图8是本申请实施例提供的电子设备的结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例,其不应被视为限制本发明未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等的终端设备。
请参阅图1,图1是本申请实施例提供的图像的选取方法的流程示意图,流程可以包括:
在步骤S101中,当需要从待处理图像中选取基础图像时,获取每一该待处理图像中每一人脸的每一眼睛的眼部值,该眼部值为用于表示眼部大小的数值。
拍照是终端的一项基本功能。随着摄像模组等硬件和图像处理算法的不断进步,终端的拍摄功能越来越强大。用户也越来越频繁地使用终端进行拍照,比如用户经常会使用终端拍摄人物照等等。相关技术中,终端可以采集多帧图像,再从这多帧图像中选取用于进行处理的图像。然而,当从多帧图像中选取用于进行处理的图像时,终端选取图像的准确性较差。
在本申请实施例的步骤S101中,比如,终端连续、快速地采集了多帧包含人脸的图像,这些包含人脸的图像为待处理图像。当需要从这些待处理图像中选取一帧用于进行处理的基础图像时,终端可以先获取每一待处理图像中每一张人脸的每一只眼睛的眼部值。其中,该眼部值为用于表示眼部大小的数值。
在一种实施方式中,该眼部值可以是用于表示眼部面积的数值,或者是用于表示眼睛在竖直方向的高度的数值,等等。可以理解的是,此处举例不构成对本实施例的限定。
比如,待处理图像为A、B、C、D、E、F,这些待处理图像是甲、乙、丙三人的合影图像。那么,当需要从待处理图像A、B、C、D、E、F中选取基础图像时,终端可以先获取待处理图像A中甲的左眼和右眼的眼部值、乙的左眼和右眼的眼部值、丙的左眼和右眼的眼部值。同理,然后终端再依次获取待处理图像B、C、D、E、F中甲的左眼和右眼的眼部值、乙的左眼和右眼的眼部值、丙的左眼和右眼的眼部值。
例如,请参阅表1,表1为待处理图像中所有用户的左眼和右眼的眼部值。
表1
由表1可知,甲的左眼在待处理图像A、B、C、D、E、F中的眼部值分别为40、40、40、42、42、41。甲的右眼在待处理图像A、B、C、D、E、F中的眼部值分别为40、39、39、20、20、19。
乙的左眼在待处理图像A、B、C、D、E、F中的眼部值分别为42、42、43、43、42、42。乙的右眼在待处理图像A、B、C、D、E、F中的眼部值分别为41、42、43、43、42、41。
丙的左眼在待处理图像A、B、C、D、E、F中的眼部值分别为45、45、44、46、46、43。丙的右眼在待处理图像A、B、C、D、E、F中的眼部值分别为45、44、43、46、46、43。
在获取到每一帧待处理图像中每一人脸的每一只眼睛的眼部值之后,终端可以检测是否存在眼部值的最大值和最小值之间的差值超过预设差值阈值的目标眼睛。需要说明的是,若存在目标眼睛,则目标眼睛指的是某一用户的左眼或者右眼。
例如,终端可以获取甲的左眼的眼部值的最大值为42,最小值为40。甲的右眼的眼部值的最大值为40,最小值为19。乙的左眼的眼部值的最大值为43,最小值为42。乙的右眼的眼部值的最大值为43,最小值为41。丙的左眼的眼部值的最大值为46,最小值为43。丙的右眼的眼部值的最大值为46,最小值为43。
然后,终端可以依次检测每一用户的每一侧眼睛的眼部值的最大值与最小值的差值是否超过预设差值阈值。例如,对于用户甲,终端可以检测甲的左眼的眼部值的最大值和最小值之间的差值是否超过预设差值阈值,以及甲的右眼的眼部值的最大值和最小值之间的差值是否超过预设差值阈值。
如果终端检测到待处理图像中每一用户的左眼的眼部值的最大值与最小值之间的差值未超过预设差值阈值,并且每一用户的右眼的眼部值的最大值与最小值之间的差值也未超过预设差值阈值,那么终端可以获取每一待处理图像中所有用户的眼部值之和,并将眼部值之和最大的那帧图像选取为基础图像。
如果终端检测到待处理图像中某用户的某一侧眼睛的眼部值的最大值与最小值之间的差值超过预设差值阈值,那么进入步骤S102中。
在步骤S102中,若存在眼部值的最大值和最小值之间的差值超过预设差值阈值的目标眼睛,则从该待处理图像中确定出目标图像,该目标图像中的该目标眼睛的眼部值不符合预设第一条件。
比如,预设差值阈值为20。由于用户甲的右眼的眼部值的最大值为40,最小值为19,二者之间的差值为21大于预设差值阈值20,因此终端可以将用户甲的右眼确定为目标眼睛。
在一些实施方式中,某一用户的某一侧眼睛的眼部值的最大值和最小值之间的差值超过预设差值阈值,可以认为该用户的该侧眼睛在某些待处理图像中处于未被遮挡状态,而在另一些待处理图像中处于遮挡状态,从而导致眼部值的最大值与最小值之间的差值超过预设差值阈值。比如,在终端采集图像A、B、C时,用户甲的长头发未遮挡住用户甲的右眼,但在终端采集图像D、E、F时,用户甲的长头发突然垂下来,并部分遮挡住用户甲的右眼,从而导致用户甲的右眼在待处理图像D、E、F中的眼部值(分别为20、20、19)明显小于在待处理图像A、B、C中的眼部值(40、39、39)。
而对于用户甲的左眼,由于用户甲的左眼的眼部值的最大值为42,最小值为40,二者之间的差值为2小于预设差值阈值20。因此,终端不会将用户甲的左眼确定为目标眼睛。同理,终端也不会将用户乙的左眼和右眼,用户丙的左眼和右眼确定为目标眼睛。
在确定出目标眼睛后,终端可以从待处理图像中确定出目标图像,其中该目标图像中的目标眼睛的眼部值不符合预设第一条件。例如,预设第一条件可以为眼部值大于本目标眼睛的眼部值的平均值。
例如,用户甲的右眼的眼部值的平均值为(40+39+39+20+20+19)/6=29.5。因此,终端可以将待处理图像A、B、C、D、E、F中的图像D、E、F确定为目标图像(图像D、E、F中甲的右眼的眼部值均小于29.5)。
在步骤S103中,获取用于替换每一该目标图像中每一目标眼睛的眼部值的目标数值,并使用对应的该目标数值替换每一该目标图像中每一目标眼睛的眼部值。
比如,在从待处理图像中确定出目标图像之后,终端可以获取用于替换每一目标图像中的每一目标眼睛的眼部值的目标数值。
例如,对于目标图像D中的用户甲的右眼(目标眼睛),终端可以将目标图像D中用户甲的左眼的眼部值确定为用于替换目标图像D中用户甲的右眼的眼部值的目标数值。同理,终端可以将目标图像E中用户甲的左眼的眼部值确定为用于替换目标图像E中用户甲的右眼的眼部值的目标数值。终端可以将目标图像F中用户甲的左眼的眼部值确定为用于替换目标图像F中用户甲的右眼的眼部值的目标数值。
然后,终端可以使用对应的目标数值替换掉每一目标图像中每一目标眼睛的眼部值。例如,对于目标图像D而言,数值替换后,用户甲的左眼和右眼的数值大小均为42,即用户甲的右眼的眼部值由20变为42。对于目标图像E而言,数值替换后,用户甲的左眼和右眼的数值大小均为42。对于目标图像F而言,数值替换后,用户甲的左眼和右眼的数值大小均为41。
在步骤S104中,在眼部值替换后,根据每一人脸的眼部值,从待处理图像中选取基础图像。
比如,在进行眼部值的替换之后,终端可以根据每一用户的左右眼的眼部值,从待处理图像A、B、C、D、E、F中选取基础图像。
例如,在进行眼部值的替换之后,终端可以获取每一用户的眼部值之和,并将眼部值之和最大的那帧待处理图像选取为基础图像。
例如,进行眼部值替换后,待处理图像A中所有用户的眼部值之和为40+40+42+41+45+45=253,待处理图像B中所有用户的眼部值之和为40+39+42+42+45+44=252,待处理图像C中所有用户的眼部值之和为40+39+43+43+44+43=252,待处理图像D中所有用户的眼部值之和为42+42+43+43+46+46=262,待处理图像E中所有用户的眼部值之和为42+42+42+42+46+46=260,待处理图像F中所有用户的眼部值之和为41+41+42+41+43+43=251。由于待处理图像D中所有用户的眼部值之和最大为262,因此终端可以将待处理图像D选取为基础图像。
可以理解的是,如果不对目标眼睛的不符合预设第一条件的眼部值进行数值替换处理的话,那么由于待处理图像D、E、F中用户甲的右眼的眼部值过小,那么会导致待处理图像D、E、F被排除在基础图像的选取范围内。但由于待处理图像D中包含了用户乙和丙的眼部值最大的人脸图像,因此事实上将待处理图像D确定为基础图像是最合适的,并且基于图像D来进行图像处理有利于提高终端的处理速度。
本实施例中,通过对目标眼睛的不符合预设第一条件的眼部值进行数值替换处理的方式,可以使得终端准确地将待处理图像D选取为基础图像,即本实施例可以使得终端在选取基础图像时,有效避免诸如人脸图像中用户眼部被遮挡等干扰因素对基础图像选取造成的负面影响,从而提高终端在从待处理图像中选取基础图像时的准确性。
请参阅图2,图2为本申请实施例提供的图像的选取方法的另一流程示意图,流程可以包括:
在步骤S201中,当采集包含人脸的图像时,终端获取图像采集时的环境参数。
在步骤S202中,根据采集到的至少两帧图像及该环境参数,终端确定出目标帧数。
比如,步骤S201和S202可以包括:
例如,用户使用终端相机为好友拍摄照片,那么在进入相机预览界面后,终端开始采集包含人脸的图像,那么终端可以根据采集到的至少两帧包含人脸的图像以及图像采集时的环境参数,确定出一个目标帧数。在一种实施方式中,该目标帧数可以大于或等于2。
例如,当终端采集到四帧包含人脸的图像时,终端可以检测这四帧图像中的人脸所在的位置是否发生位移。若未发生位移或者位移很小,则可以认为图像中的人脸图像比较稳定,即用户没有大范围的摇动或转动头部。若发生位移,则可以认为人脸图像不稳定,即用户摇动或转动了头部,并且幅度较大。
在一种实施方式中,可以通过如下方式来检测图像中的人脸是否发生位移:在获取到采集的四帧图像后,终端可以生成一个坐标系,然后终端可以用相同的方式将每一帧图像放入该坐标系中。之后,终端可以获取每一帧图像中的人脸图像特征点在该坐标系中的坐标。在得到每一帧图像中的人脸图像的特征点在该坐标系中的坐标后,终端就可以比较不同图像中的同一人脸图像特征点的坐标是否相同。若相同,则可以认为图像中的人脸图像未发生位移。若不同,则可以认为图像中的人脸图像发生位移。若检测到人脸图像发生位移,那么终端可以获取具体的位移数值。若该具体的位移数值处于预设数值范围内,则可以认为图像中的人脸图像位移较小。若该具体的位移数值处于预设数值范围外,那么可以认为图像中的人脸图像位移较大。
在一种实施方式中,例如,若人脸图像发生位移,则可以将目标帧数确定为4帧。若人脸图像未发生位移或位移很小,则终端可以进一步获取图像采集时的环境参数,该环境参数可以是诸如环境光亮度等参数。
在一种实施方式中,若人脸图像未发生位移或位移很小,并且当前环境光亮度表明当前图像采集场景为亮光环境,那么终端可以将目标帧数确定为8帧。若人脸图像未发生位移或位移很小,并且当前环境光亮度表明当前图像采集场景为暗光光环境,那么终端可以将目标帧数确定为6帧。
在步骤S203中,终端从采集到的多帧图像中,获取数量为该目标帧数的待处理图像。
比如,在确定出目标帧数后,终端可以从采集到的多帧图像中,获取数量为该目标帧数的待处理图像。例如,终端可以从最近采集到的多帧图像中,获取数量为该目标帧数的待处理图像。
在步骤S204中,当需要从待处理图像中选取基础图像时,终端获取每一该待处理图像中每一人脸的每一眼睛的眼部值,该眼部值为用于表示眼部大小的数值。
比如,当需要从获取到的待处理图像中选取一帧用于进行处理的基础图像时,终端可以先获取每一待处理图像中每一张人脸的每一只眼睛的眼部值。其中,该眼部值为用于表示眼部大小的数值。
比如,待处理图像为A、B、C、D、E、F,这些待处理图像是甲、乙、丙三人的合影图像。那么,当需要从待处理图像A、B、C、D、E、F中选取基础图像时,终端可以先获取待处理图像A中甲的左眼和右眼的眼部值、乙的左眼和右眼的眼部值、丙的左眼和右眼的眼部值。同理,然后终端再依次获取待处理图像B、C、D、E、F中甲的左眼和右眼的眼部值、乙的左眼和右眼的眼部值、丙的左眼和右眼的眼部值。
例如,请参阅表1,表1为待处理图像中所有用户的左眼和右眼的眼部值。甲的左眼在待处理图像A、B、C、D、E、F中的眼部值分别为40、40、40、42、42、41。甲的右眼在待处理图像A、B、C、D、E、F中的眼部值分别为40、39、39、20、20、19。
乙的左眼在待处理图像A、B、C、D、E、F中的眼部值分别为42、42、43、43、42、42。乙的右眼在待处理图像A、B、C、D、E、F中的眼部值分别为41、42、43、43、42、41。
丙的左眼在待处理图像A、B、C、D、E、F中的眼部值分别为45、45、44、46、46、43。丙的右眼在待处理图像A、B、C、D、E、F中的眼部值分别为45、44、43、46、46、43。
在获取到每一帧待处理图像中每一人脸的每一只眼睛的眼部值之后,终端可以检测是否存在眼部值的最大值和最小值之间的差值超过预设差值阈值的目标眼睛。需要说明的是,若存在目标眼睛,则目标眼睛指的是某一用户的左眼或者右眼。
例如,终端可以获取甲的左眼的眼部值的最大值为42,最小值为40。甲的右眼的眼部值的最大值为40,最小值为19。乙的左眼的眼部值的最大值为43,最小值为42。乙的右眼的眼部值的最大值为43,最小值为41。丙的左眼的眼部值的最大值为46,最小值为43。丙的右眼的眼部值的最大值为46,最小值为43。
然后,终端可以依次检测每一用户的每一侧眼睛的眼部值的最大值与最小值的差值是否超过预设差值阈值。例如,对于用户甲,终端可以检测甲的左眼的眼部值的最大值和最小值之间的差值是否超过预设差值阈值,以及甲的右眼的眼部值的最大值和最小值之间的差值是否超过预设差值阈值。
如果终端检测到待处理图像中每一用户的左眼的眼部值的最大值与最小值之间的差值未超过预设差值阈值,并且每一用户的右眼的眼部值的最大值与最小值之间的差值也未超过预设差值阈值,那么终端可以获取每一待处理图像中所有用户的眼部值之和,并将眼部值之和最大的那帧图像选取为基础图像。
如果终端检测到待处理图像中某用户的某一侧眼睛的眼部值的最大值与最小值之间的差值超过预设差值阈值,那么进入步骤S205中。
在步骤S205中,若存在眼部值的最大值和最小值之间的差值超过预设差值阈值的目标眼睛,则终端从该待处理图像中确定出目标图像,该目标图像中的该目标眼睛的眼部值不符合预设第一条件,该预设第一条件为眼部值大于或等于本目标眼睛的所有眼部值的平均值。
比如,预设差值阈值为20。由于用户甲的右眼的眼部值的最大值为40,最小值为19,二者之间的差值为21大于预设差值阈值20,因此终端可以将用户甲的右眼确定为目标眼睛。
在确定出目标眼睛后,终端可以从待处理图像中确定出目标图像,其中该目标图像中的目标眼睛的眼部值不符合预设第一条件。其中,该预设第一条件可以为眼部值大于或等于本目标眼睛的眼部值的平均值。
例如,用户甲的右眼的眼部值的平均值为(40+39+39+20+20+19)/6=29.5。因此,终端可以将待处理图像A、B、C、D、E、F中的图像D、E、F确定为目标图像(待处理图像D、E、F中甲的右眼分别为20、20、19,均小于29.5)。
在步骤S206中,若该目标图像中存在与目标眼睛对应的待选眼睛,则终端将该待选眼睛的眼部值确定为该目标眼睛的目标数值,每一该目标眼睛及其对应的待选眼睛属于同一用户的两只眼睛,且该待选眼睛的眼部值符合预设第一条件。
比如,在从待处理图像中确定出目标图像之后,终端可以检测目标图像中是否存在与每一目标眼睛对应的待选眼睛,其中该待选眼睛与目标眼睛属于同一用户的两只眼睛,并且该待选眼睛的眼部值符合预设第一条件。
例如,由于用户甲的右眼为目标眼睛,因此终端可以检测目标图像D、E、F中用户甲的左眼是否为满足预设第一条件的、甲的右眼的待选眼睛。
若目标图像中不存在与目标眼睛对应的待选眼睛,那么终端可以执行其它操作。
若目标图像中存在与目标眼睛对应的待选眼睛,终端可以将该待选眼睛的眼部值确定为该目标眼睛的目标数值。
在步骤S207中,终端使用对应的该目标数值替换每一该目标图像中每一目标眼睛的眼部值。
比如,在获取到与目标眼睛对应的待选眼睛的目标数值(眼部值)之后,终端可以使用该待选眼睛的目标数值替换其对应的目标眼睛的眼部值。
例如,在目标图像D中,终端可以使用甲的左眼的眼部值42(目标数值)替换甲的右眼的眼部值20。即,数值替换后,目标图像D中用户甲的左眼和右眼的眼部值均为42。同理,对于目标图像E而言,眼部值替换后,用户甲的左眼和右眼的数值大小均为42。对于目标图像F而言,眼部值替换后,用户甲的左眼和右眼的数值大小均为41。
在步骤S208中,在眼部值替换后,根据每一人脸的眼部值,终端获取每一待处理图像中所有眼部值之和。
在步骤S209中,终端将眼部值之和最大的待处理图像选取为基础图像。
比如,步骤S208和S209可以包括:
在进行眼部值的替换之后,终端可以获取每一帧待处理图像的所有用户的眼部值之和,并将眼部值之和最大的那帧待处理图像选取为基础图像。
例如,进行眼部值替换后,待处理图像A中所有用户的眼部值之和为253,待处理图像B中所有用户的眼部值之和为252,待处理图像C中所有用户的眼部值之和为252,待处理图像D中所有用户的眼部值之和为262,待处理图像E中所有用户的眼部值之和为260,待处理图像F中所有用户的眼部值之和为251。由于待处理图像D中所有用户的眼部值之和最大为262,因此终端可以将待处理图像D选取为基础图像。
请参阅图3至图5,图3至图5为本申请实施例提供的图像的选取方法的场景示意图。
本实施例中,终端可以将采集到的图像保存到缓存队列。该缓存队列可以为定长队列,例如该缓存队列可以保存终端最新采集到的10帧图像。在进入相机的预览界面后,如果检测到终端在采集人脸图像,那么终端可以采集当前的环境参数,并根据采集到的至少两帧人脸图像,确定出一个目标帧数。该环境参数可以是环境光亮度。
比如,甲、乙、丙、丁、戊五人外出游玩,并准备在一处风景旁拍照。其中,甲使用终端先为丁和戊拍照,如图3所示。比如,在进入相机的预览界面后,终端根据当前采集到的环境参数,每隔50毫秒采集一帧图像。在甲按下相机的拍照按钮前,终端可以先从缓存队列中获取采集到的4帧图像,可以理解的是,这4帧图像中均包含丁和戊的人脸图像。然后,终端可以检测这4帧图像中丁和戊的人脸图像在画面中的位置是否发生位移。若未发生位移或者位移很小,则可以认为乙的人脸图像比较稳定,即乙没有大范围的摇动或转动头部。若发生位移,则可以认为乙的人脸图像不稳定,即乙摇动或转动了头部,并且幅度较大。例如,本实施例中,终端检测到上述4帧图像中丁和戊的人脸图像在画面中的位置未发生位移。
然后,终端可以获取当前的环境光亮度,并根据该环境光亮度,判断当前是否处于暗光环境。例如,终端判断出当前处于暗光环境。
之后,终端可以根据上述获取到的信息:丁和戊的人脸图像在画面中的位置未发生位移,以及当前处于暗光环境,确定出一个目标帧数。例如,确定出来的目标帧数为6帧。
此后,当甲按下拍照按钮后,终端可以从缓存队列中获取最近采集到的6帧关于丁和戊的图像,例如按照时间先后,这6帧图像分别为H、I、J、K、L、M。可以理解的是,这六帧图像H、I、J、K、L、M即是终端获取到的待处理图像。
然后,终端需要从这六帧待处理图像H、I、J、K、L、M中选取一帧基础图像。此时,在终端可以先获取每一待处理图像中每一人脸的每一只眼睛的眼部值。例如,请参阅表2,表2为待处理图像H、I、J、K、L、M中丁和戊的左眼和右眼的眼部值。
表2
由表2可知,在待处理图像H、I、J、K、L、M中,丁的左眼的眼部值分别为42、41、40、40、41、41,丁的右眼的眼部值分别为42、41、39、40、40、41。在待处理图像H、I、J、K、L、M中,戊的左眼的眼部值分别为45、45、44、44、43、42,戊的右眼的眼部值分别为45、44、43、43、43、42。
然后,终端可以检测待处理图像中是否存在目标眼睛,该目标眼睛满足如下条件:眼部值的最大值和最小值之间的差值是否预设差值阈值。预设差值阈值为20。
例如,由于丁的左眼的眼部值的最大值为42,最小值为40,二者之间的差值为2小于预设差值阈值20。因此,丁的左眼不是目标眼睛。同理,丁的右眼、戊的左眼和戊的右眼均不是目标眼睛。
在这种情况下,终端可以获取每一待处理图像中丁的左右眼的眼部值之和,以及每一待处理图像中戊的左右眼的眼部值之和。然后,终端可以将左右眼的眼部值之和中的最大值对应的人脸图像确定为用户的目标人脸图像。
例如,待处理图像H、I、J、K、L、M中,丁的左右眼的眼部值之和分别为84、82、79、80、81、82,因此终端可以将待处理图像H中丁的人脸图像确定为丁的目标人脸图像。同理,待处理图像H、I、J、K、L、M中,戊的左右眼的眼部值之和分别为90、89、87、87、86、84,因此终端可以将待处理图像H中戊的人脸图像确定为戊的目标人脸图像。
然后,终端可以将包含目标人脸数量最多的待处理图像确定为基础图像。例如,由于待处理图像H中包含两个目标人脸图像,因此终端可以将待处理图像H确定为基础图像。
由于基础图像H中丁和戊的人脸图像均为目标人脸图像,因此终端可以获取待处理图像I、J、K,并根据待处理图像I、J、K对基础图像H进行多帧降噪处理,再将经过多帧降噪处理的图像H存储到相册中成为照片。
在一种实施方式中,在进行多帧降噪时,终端可以先将图像H、I、J、K对齐,并获取图像中每一组对齐像素的像素值。若同一组对齐像素的像素值相差不多,那么终端可以计算这组对齐像素的像素值均值,再用该像素值均值替换掉图像H的对应像素的像素值。若同一组对齐像素的像素值相差较多,那么可以不对图像H中的像素值进行调整。
例如,图像H中的像素P1、图像I中的像素P2、图像J中的像素P3以及图像K中的像素P4是一组相互对齐的像素,其中P1的像素值为101,P2的像素值为102,P3的像素值为103,P4的像素值为104,那么这组相互对齐的像素的像素值均值为102.5,那么终端就可以将图像H中的P1像素的像素值由101调整为102.5,从而对图像H中的P1像素进行降噪处理。若P1的像素值为103,P2的像素值为83,P3的像素值为90,P4的像素值为80,那么由于它们的像素值相差较多,此时终端可以不调整P1的像素值,即P1的像素值保持101不变。
之后,丁为甲、乙、丙三人拍摄合照。比如,在进入相机的预览界面后,终端检测到采集到的4帧图像中甲乙丙三人的人脸图像在画面中的位置未发生位移,并且当前处于暗光环境。基于此,终端确定出目标帧数为6帧。
此后,当丁按下拍照按钮后,终端可以获取6帧采集到的关于甲乙丙的图像,如图4所示。例如,终端可以从缓存队列中获取最近采集到的6帧关于甲乙丙的图像。例如,按照时间先后,这6帧图像分别为A、B、C、D、E、F。可以理解的是,这6帧图像即是待处理图像。
然后,终端需要从这六帧待处理图像A、B、C、D、E、F中选取一帧基础图像。此时,在终端可以先获取每一待处理图像中每一人脸的每一只眼睛的眼部值。例如,如表1所示,甲的左眼在待处理图像A、B、C、D、E、F中的眼部值分别为40、40、40、42、42、41。甲的右眼在待处理图像A、B、C、D、E、F中的眼部值分别为40、39、39、20、20、19。请参阅图5,图5为甲在各待处理图像中的人脸图像,其中在待处理图像D、E、F中甲的右眼被头发部分遮挡,导致甲的右眼在待处理图像D、E、F中较小。
乙的左眼在待处理图像A、B、C、D、E、F中的眼部值分别为42、42、43、43、42、42。乙的右眼在待处理图像A、B、C、D、E、F中的眼部值分别为41、42、43、43、42、41。
丙的左眼在待处理图像A、B、C、D、E、F中的眼部值分别为45、45、44、46、46、43。丙的右眼在待处理图像A、B、C、D、E、F中的眼部值分别为45、44、43、46、46、43。
在获取到每一待处理图像中每一人脸的每一只眼睛的眼部值之后,终端可以获取每一帧待处理图像中每一用户的左右眼的眼部值之和,并将每一用户的左右眼的眼部值之和中的最大值对应的人脸图像,确定为该用户的目标人脸图像。
例如,对于用户甲而言,其在待处理图像A、B、C、D、E、F中的左右眼的眼部值之和分别为80、79、79、62、62、60。因此,终端可以将待处理图像A中甲的人脸图像确定为甲的目标人脸图像。
同理,终端可以将待处理图像C、D、E中乙的人脸图像确定为乙的目标人脸图像。终端可以将待处理图像D和E中丙的人脸图像确定为丙的目标人脸图像。
然后,终端可以将包含用户的目标人脸图像的待处理图像A、C、D、E确定为备选图像。
之后,终端可以检测待处理图像中是否存在目标眼睛,该目标眼睛满足如下条件:眼部值的最大值和最小值之间的差值是否预设差值阈值。
由于用户甲的右眼的眼部值的最大值为40,最小值为19,二者之间的差值为21大于预设差值阈值20,因此终端可以将用户甲的右眼确定为目标眼睛。
在确定出目标眼睛后,终端可以从待处理图像中确定出目标图像,其中该目标图像中的目标眼睛的眼部值不符合预设第一条件。其中,该预设第一条件可以为眼部值大于或等于本目标眼睛的眼部值的平均值。
例如,用户甲的右眼的眼部值的平均值为(40+39+39+20+20+19)/6=29.5。因此,终端可以将待处理图像A、B、C、D、E、F中的图像D、E、F确定为目标图像(待处理图像D、E、F中甲的右眼分别为20、20、19,均小于29.5)。
在从待处理图像中确定出目标图像之后,终端可以检测目标图像中是否存在与每一目标眼睛对应的待选眼睛,其中该待选眼睛与目标眼睛属于同一用户的两只眼睛,并且该待选眼睛的眼部值符合预设第一条件。
例如,由于用户甲的右眼为目标眼睛,因此终端可以检测目标图像D、E、F中用户甲的左眼是否为满足预设第一条件的、甲的右眼的待选眼睛。例如,由于目标图像D、E、F中甲的左眼满足预设第一条件(即图像D、E、F中甲的左眼的眼部值均大于29.5),因此终端可以将图像D、E、F中甲的左眼分别确定为各图像中甲的右眼的待选眼睛。
在获取到与目标眼睛对应的待选眼睛的目标数值(眼部值)之后,终端可以使用该待选眼睛的目标数值替换其对应的目标眼睛的眼部值。
例如,在目标图像D中,终端可以使用甲的左眼的眼部值42(目标数值)替换甲的右眼的眼部值20。即,数值替换后,目标图像D中用户甲的左眼和右眼的眼部值均为42。同理,对于目标图像E而言,眼部值替换后,用户甲的左眼和右眼的数值大小均为42。对于目标图像F而言,眼部值替换后,用户甲的左眼和右眼的数值大小均为41。
在进行眼部值的替换之后,终端可以获取每一备选图像中的所有眼部值之和。例如,备选图像为A、C、D、E,那么终端可以依次获取每一备选图像中的所有眼部值之和。
例如,备选图像A中所有眼部值之和为40+40+42+41+45+45=253。备选图像C中所有眼部值之和为40+39+43+43+44+43=252。备选图像D中所有眼部值之和为42+42+43+43+46+46=262。备选图像E中所有眼部值之和为42+42+42+42+46+46=260。
然后,终端可以将眼部值之和最大的备选图像选取为基础图像。例如,由于备选图像D的眼部值262最大,因此终端可以将备选图像D选取为基础图像。
在选取出基础图像D后,终端可以从基础图像中确定出待替换人脸图像,其中待替换人脸图像为用户的非目标人脸图像。例如,基础图像D中,甲的人脸图像不是甲的目标人脸图像,因此终端可以将基础图像D中甲的人脸图像确定为待替换人脸图像。而基础图像D中乙和丙的人脸图像均为各自的目标人脸图像,因此乙和丙的人脸图像不会被确定为待替换人脸图像。
在从基础图像中确定出待替换人脸图像后,终端可以从备选图像中,获取用于替换每一待替换人脸图像的目标人脸图像,其中每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像。例如,甲的目标人脸图像可以为备选图像A中甲的人脸图像。
然后,终端可以使用对应的目标人脸图像对每一待替换人脸图像进行图像替换处理,从而得到经过图像替换处理的基础图像。例如,终端可以使用备选图像A中甲的人脸图像(目标人脸图像)替换掉基础图像D中甲的人脸图像(待替换人脸图像),从而得到经过图像替换处理的基础图像D。
之后,终端可以将经过图像替换处理的基础图像D存储到相册中成为照片。
可以理解的是,将经过图像替换处理的基础图像D存储到相册中成为照片,该照片即是甲乙丙三人的大眼照片。
此外,本实施例通过眼部值替换的方式,将图像D选取为基础图像,由于基础图像D中仅有一个待替换人脸图像,因此终端只需经过一次人脸替换,即可得到甲乙丙三人的大眼照片。若不使用眼部值替换的方式,那么由于备选图像D中甲的右眼的眼部值较小,导致备选图像D的所有眼部值之和较小,而备选图像A的所有眼部值之和较大,因此终端会将备选图像A选取为基础图像。而备选图像A中仅有一个目标人脸图像(甲的人脸图像),那么为了得到甲乙丙三人的大眼合影,终端需要对图像A中乙和丙的人脸图像进行替换,即终端需要进行两次人脸替换,这相比于本实施例中只需进行一次人脸替换,将需要消耗更多的处理时间。因此,本实施例可以提高图像的处理速度。
请参阅图6,图6为本申请实施例提供的图像的选取装置的结构示意图。图像的选取装置300可以包括:获取模块301,确定模块302,替换模块303,选取模块304。
获取模块301,用于当需要从待处理图像中选取基础图像时,获取每一所述待处理图像中每一人脸的每一眼睛的眼部值,所述眼部值为用于表示眼部大小的数值。
确定模块302,用于若存在眼部值的最大值和最小值之间的差值超过预设差值阈值的目标眼睛,则从所述待处理图像中确定出目标图像,所述目标图像中的所述目标眼睛的眼部值不符合预设第一条件。
替换模块303,用于获取用于替换每一所述目标图像中每一目标眼睛的眼部值的目标数值,并使用对应的所述目标数值替换每一所述目标图像中每一目标眼睛的眼部值。
选取模块304,用于在眼部值替换后,根据每一人脸的眼部值,从待处理图像中选取基础图像。
在一种实施方式中,替换模块303可以用于:
若所述目标图像中存在与目标眼睛对应的待选眼睛,则将所述待选眼睛的眼部值确定为所述目标眼睛的目标数值,每一所述目标眼睛及其对应的待选眼睛属于同一用户的两只眼睛,且所述待选眼睛的眼部值符合所述预设第一条件。
在一种实施方式中,确定模块302可以用于:
从所述待处理图像中确定出目标图像,所述目标图像中的所述目标眼睛的眼部值不符合预设第一条件,所述预设第一条件为眼部值大于或等于本目标眼睛的所有眼部值的平均值。
在一种实施方式中,选取模块304可以用于:
在眼部值替换后,根据每一人脸的眼部值,获取每一所述待处理图像中的所有眼部值之和;
将眼部值之和最大的待处理图像确定为基础图像。
在一种实施方式中,在所述获取每一所述待处理图像中每一人脸的每一眼睛的眼部值的步骤之后,获取模块301还可以用于:
获取每一所述待处理图像中每一用户左右眼的眼部值之和;
对于每一用户,将左右眼的眼部值之和中的最大值对应的人脸图像,确定为用户的目标人脸图像;
将包含用户的目标人脸图像的待处理图像确定为备选图像;
那么,选取模块304可以用于:
在眼部值替换后,获取每一所述备选图像中所有眼部值之和;
将眼部值之和最大的备选图像选取为基础图像。
在一种实施方式中,在所述需要从待处理图像中选取基础图像的步骤之前,获取模块301还可以用于:当采集包含人脸的图像时,根据采集到的至少两帧图像确定出目标帧数;从采集到的多帧图像中,获取数量为所述目标帧数的待处理图像。
那么,在选取基础图像的步骤之后,选取模块304还可以用于:从所述基础图像中确定出待替换人脸图像,所述待替换人脸图像为非目标人脸图像;从所述备选图像中,获取用于替换每一待替换人脸图像的目标人脸图像,每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像;使用对应的目标人脸图像对每一待替换人脸图像进行图像替换处理,得到经过图像替换处理的基础图像。
在一种实施方式中,获取模块301可以用于:
获取图像采集时的环境参数;
根据采集到的至少两帧图像及所述环境参数,确定出目标帧数。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的图像的选取方法中的步骤。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的图像的选取方法中的步骤。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图7,图7为本申请实施例提供的移动终端的结构示意图。
该移动终端400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解,图7中示出的移动终端结构并不构成对移动终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
摄像模组401可以包括单摄像模组和双摄像模组等等。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。
在本实施例中,移动终端中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而实现步骤:
当需要从待处理图像中选取基础图像时,获取每一所述待处理图像中每一人脸的每一眼睛的眼部值,所述眼部值为用于表示眼部大小的数值;若存在眼部值的最大值和最小值之间的差值超过预设差值阈值的目标眼睛,则从所述待处理图像中确定出目标图像,所述目标图像中的所述目标眼睛的眼部值不符合预设第一条件;获取用于替换每一所述目标图像中每一目标眼睛的眼部值的目标数值,并使用对应的所述目标数值替换每一所述目标图像中每一目标眼睛的眼部值;在眼部值替换后,根据每一人脸的眼部值,从待处理图像中选取基础图像。
本发明实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的结构示意图。如图8所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
如图8所示,图像处理电路包括图像信号处理器540和控制逻辑器550。成像设备510捕捉的图像数据首先由图像信号处理器540处理,图像信号处理器540对图像数据进行分析以捕捉可用于确定和/或成像设备510的一个或多个控制参数的图像统计信息。成像设备510可包括具有一个或多个透镜511和图像传感器512的照相机。图像传感器512可包括色彩滤镜阵列(如Bayer滤镜),图像传感器512可获取用图像传感器512的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器540处理的一组原始图像数据。传感器520可基于传感器520接口类型把原始图像数据提供给图像信号处理器540。传感器520接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
图像信号处理器540按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器540可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
图像信号处理器540还可从图像存储器530接收像素数据。例如,从传感器520接口将原始像素数据发送给图像存储器530,图像存储器530中的原始像素数据再提供给图像信号处理器540以供处理。图像存储器530可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自传感器520接口或来自图像存储器530的原始图像数据时,图像信号处理器540可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器530,以便在被显示之前进行另外的处理。图像信号处理器540从图像存储器530接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器570,以供用户观看和/或由图形引擎或GPU(GraphicsProcessing Unit,图形处理器)进一步处理。此外,图像信号处理器540的输出还可发送给图像存储器530,且显示器570可从图像存储器530读取图像数据。在一种实施方式中,图像存储器530可被配置为实现一个或多个帧缓冲器。此外,图像信号处理器540的输出可发送给编码器/解码器560,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器570设备上之前解压缩。编码器/解码器560可由CPU或GPU或协处理器实现。
图像信号处理器540确定的统计数据可发送给控制逻辑器550。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜511阴影校正等图像传感器512统计信息。控制逻辑器550可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备510的控制参数以及的控制参数。例如,控制参数可包括传感器520控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜511控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜511阴影校正参数。
以下为运用图8中图像处理技术实现本实施例提供的图像的处理方法的步骤:
当需要从待处理图像中选取基础图像时,获取每一所述待处理图像中每一人脸的每一眼睛的眼部值,所述眼部值为用于表示眼部大小的数值;若存在眼部值的最大值和最小值之间的差值超过预设差值阈值的目标眼睛,则从所述待处理图像中确定出目标图像,所述目标图像中的所述目标眼睛的眼部值不符合预设第一条件;获取用于替换每一所述目标图像中每一目标眼睛的眼部值的目标数值,并使用对应的所述目标数值替换每一所述目标图像中每一目标眼睛的眼部值;在眼部值替换后,根据每一人脸的眼部值,从待处理图像中选取基础图像。
在一种实施方式中,电子设备执行所述获取用于替换每一所述目标图像中每一目标眼睛的眼部值的目标数值的步骤时,可以执行:若所述目标图像中存在与目标眼睛对应的待选眼睛,则将所述待选眼睛的眼部值确定为所述目标眼睛的目标数值,每一所述目标眼睛及其对应的待选眼睛属于同一用户的两只眼睛,且所述待选眼睛的眼部值符合所述预设第一条件。
在一种实施方式中,电子设备执行从所述待处理图像中确定出目标图像所述目标图像中的所述目标眼睛的眼部值不符合预设第一条件的步骤时,可以执行:从所述待处理图像中确定出目标图像,所述目标图像中的所述目标眼睛的眼部值不符合预设第一条件,所述预设第一条件为眼部值大于或等于本目标眼睛的所有眼部值的平均值。
在一种实施方式中,电子设备执行所述在眼部值替换后根据每一人脸的眼部值从待处理图像中选取基础图像的步骤时,可以执行:在眼部值替换后,根据每一人脸的眼部值,获取每一所述待处理图像中的所有眼部值之和;将眼部值之和最大的待处理图像确定为基础图像。
在一种实施方式中,在所述获取每一所述待处理图像中每一人脸的每一眼睛的眼部值的步骤之后,电子设备还可以执行:获取每一所述待处理图像中每一用户左右眼的眼部值之和;对于每一用户,将左右眼的眼部值之和中的最大值对应的人脸图像,确定为用户的目标人脸图像;将包含用户的目标人脸图像的待处理图像确定为备选图像;
那么,电子设备在执行所述在眼部值替换后根据每一人脸的眼部值从待处理图像中选取基础图像的步骤时,可以执行:在眼部值替换后,获取每一所述备选图像中所有眼部值之和;将眼部值之和最大的备选图像选取为基础图像。
在一种实施方式中,在所述需要从待处理图像中选取基础图像的步骤之前,电子设备还可以执行:当采集包含人脸的图像时,根据采集到的至少两帧图像确定出目标帧数;从采集到的多帧图像中,获取数量为所述目标帧数的待处理图像;
那么在选取基础图像的步骤之后,电子设备还可以执行:从所述基础图像中确定出待替换人脸图像,所述待替换人脸图像为非目标人脸图像;从所述备选图像中,获取用于替换每一待替换人脸图像的目标人脸图像,每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像;使用对应的目标人脸图像对每一待替换人脸图像进行图像替换处理,得到经过图像替换处理的基础图像。
在一种实施方式中,电子设备执行所述根据采集到的至少两帧图像确定出目标帧数的步骤时,可以执行:获取图像采集时的环境参数;根据采集到的至少两帧图像及所述环境参数,确定出目标帧数。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像的选取方法的详细描述,此处不再赘述。
本申请实施例提供的所述图像的选取装置与上文实施例中的图像的选取方法属于同一构思,在所述图像的选取装置上可以运行所述图像的选取方法实施例中提供的任一方法,其具体实现过程详见所述图像的选取方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述图像的选取方法而言,本领域普通技术人员可以理解实现本申请实施例所述图像的选取方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述图像的选取方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read OnlyMemory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述图像的选取装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像的选取方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种图像的选取方法,其特征在于,包括:
当需要从待处理图像中选取基础图像时,获取每一所述待处理图像中每一人脸的每一眼睛的眼部值,所述眼部值为用于表示眼部大小的数值;
若存在眼部值的最大值和最小值之间的差值超过预设差值阈值的目标眼睛,则从所述待处理图像中确定出目标图像,所述目标图像中的所述目标眼睛的眼部值不符合预设第一条件;
获取用于替换每一所述目标图像中每一目标眼睛的眼部值的目标数值,并使用对应的所述目标数值替换每一所述目标图像中每一目标眼睛的眼部值;
在眼部值替换后,根据每一人脸的眼部值,从待处理图像中选取基础图像,具体包括:在眼部值替换后,根据每一人脸的眼部值,获取每一所述待处理图像中的所有眼部值之和,将眼部值之和最大的待处理图像确定为基础图像,或者,在眼部值替换后,获取每一备选图像中所有眼部值之和,将眼部值之和最大的备选图像选取为基础图像,其中所述备选图像来自于:获取每一所述待处理图像中每一用户左右眼的眼部值之和,对于每一用户,将左右眼的眼部值之和中的最大值对应的人脸图像,确定为用户的目标人脸图像,将包含用户的目标人脸图像的待处理图像确定为备选图像。
2.根据权利要求1所述的图像的选取方法,其特征在于,所述获取用于替换每一所述目标图像中每一目标眼睛的眼部值的目标数值的步骤,包括:
若所述目标图像中存在与目标眼睛对应的待选眼睛,则将所述待选眼睛的眼部值确定为所述目标眼睛的目标数值,每一所述目标眼睛及其对应的待选眼睛属于同一用户的两只眼睛,且所述待选眼睛的眼部值符合所述预设第一条件。
3.根据权利要求1所述的图像的选取方法,其特征在于,从所述待处理图像中确定出目标图像所述目标图像中的所述目标眼睛的眼部值不符合预设第一条件的步骤,包括:
从所述待处理图像中确定出目标图像,所述目标图像中的所述目标眼睛的眼部值不符合预设第一条件,所述预设第一条件为眼部值大于或等于本目标眼睛的所有眼部值的平均值。
4.根据权利要求1所述的图像的选取方法,其特征在于,在所述需要从待处理图像中选取基础图像的步骤之前,还包括:
当采集包含人脸的图像时,根据采集到的至少两帧图像确定出目标帧数;
从采集到的多帧图像中,获取数量为所述目标帧数的待处理图像;
在选取基础图像的步骤之后,还包括:
从所述基础图像中确定出待替换人脸图像,所述待替换人脸图像为非目标人脸图像;
从所述备选图像中,获取用于替换每一待替换人脸图像的目标人脸图像,每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像;
使用对应的目标人脸图像对每一待替换人脸图像进行图像替换处理,得到经过图像替换处理的基础图像。
5.根据权利要求4所述的图像的选取方法,其特征在于,所述根据采集到的至少两帧图像确定出目标帧数的步骤,包括:
获取图像采集时的环境参数;
根据采集到的至少两帧图像及所述环境参数,确定出目标帧数。
6.一种图像的选取装置,其特征在于,包括:
获取模块,用于当需要从待处理图像中选取基础图像时,获取每一所述待处理图像中每一人脸的每一眼睛的眼部值,所述眼部值为用于表示眼部大小的数值;
确定模块,用于若存在眼部值的最大值和最小值之间的差值超过预设差值阈值的目标眼睛,则从所述待处理图像中确定出目标图像,所述目标图像中的所述目标眼睛的眼部值不符合预设第一条件;
替换模块,用于获取用于替换每一所述目标图像中每一目标眼睛的眼部值的目标数值,并使用对应的所述目标数值替换每一所述目标图像中每一目标眼睛的眼部值;
选取模块,用于在眼部值替换后,根据每一人脸的眼部值,从待处理图像中选取基础图像,具体用于:在眼部值替换后,根据每一人脸的眼部值,获取每一所述待处理图像中的所有眼部值之和,将眼部值之和最大的待处理图像确定为基础图像,或者,在眼部值替换后,获取每一备选图像中所有眼部值之和,将眼部值之和最大的备选图像选取为基础图像,其中所述备选图像来自于:获取每一所述待处理图像中每一用户左右眼的眼部值之和,对于每一用户,将左右眼的眼部值之和中的最大值对应的人脸图像,确定为用户的目标人脸图像,将包含用户的目标人脸图像的待处理图像确定为备选图像。
7.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1至5中任一项所述的方法。
8.一种电子设备,包括存储器,处理器,其特征在于,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如权利要求1至5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810276376.3A CN108520036B (zh) | 2018-03-30 | 2018-03-30 | 图像的选取方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810276376.3A CN108520036B (zh) | 2018-03-30 | 2018-03-30 | 图像的选取方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108520036A CN108520036A (zh) | 2018-09-11 |
CN108520036B true CN108520036B (zh) | 2020-08-14 |
Family
ID=63430930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810276376.3A Expired - Fee Related CN108520036B (zh) | 2018-03-30 | 2018-03-30 | 图像的选取方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108520036B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109905598A (zh) * | 2019-02-25 | 2019-06-18 | 四川长虹电器股份有限公司 | 一种智能拍照方法和智能拍照系统 |
CN112036311A (zh) * | 2020-08-31 | 2020-12-04 | 北京字节跳动网络技术有限公司 | 基于眼部状态检测的图像处理方法、装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104243818A (zh) * | 2014-08-29 | 2014-12-24 | 小米科技有限责任公司 | 图像处理方法、装置及设备 |
CN104899544A (zh) * | 2014-03-04 | 2015-09-09 | 佳能株式会社 | 图像处理装置和图像处理方法 |
WO2015194084A1 (ja) * | 2014-06-20 | 2015-12-23 | ソニー株式会社 | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
CN106651978A (zh) * | 2016-10-10 | 2017-05-10 | 讯飞智元信息科技有限公司 | 人脸图像预测方法及系统 |
CN107734253A (zh) * | 2017-10-13 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端和计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015145219A1 (en) * | 2014-03-28 | 2015-10-01 | Navaratnam Ratnakumar | Systems for remote service of customers using virtual and physical mannequins |
-
2018
- 2018-03-30 CN CN201810276376.3A patent/CN108520036B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899544A (zh) * | 2014-03-04 | 2015-09-09 | 佳能株式会社 | 图像处理装置和图像处理方法 |
WO2015194084A1 (ja) * | 2014-06-20 | 2015-12-23 | ソニー株式会社 | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
CN104243818A (zh) * | 2014-08-29 | 2014-12-24 | 小米科技有限责任公司 | 图像处理方法、装置及设备 |
CN106651978A (zh) * | 2016-10-10 | 2017-05-10 | 讯飞智元信息科技有限公司 | 人脸图像预测方法及系统 |
CN107734253A (zh) * | 2017-10-13 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端和计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
图像中人脸自动替换技术的研究与实现;钟千里;《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》;20170215(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108520036A (zh) | 2018-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN107948519B (zh) | 图像处理方法、装置及设备 | |
CN109068067B (zh) | 曝光控制方法、装置和电子设备 | |
CN108055452B (zh) | 图像处理方法、装置及设备 | |
CN108683862B (zh) | 成像控制方法、装置、电子设备及计算机可读存储介质 | |
CN108259770B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN109068058B (zh) | 超级夜景模式下的拍摄控制方法、装置和电子设备 | |
CN110766621B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110072052B (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
CN108401110B (zh) | 图像的获取方法、装置、存储介质及电子设备 | |
CN109348088B (zh) | 图像降噪方法、装置、电子设备及计算机可读存储介质 | |
CN107481186B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
WO2019085951A1 (en) | Image processing method, and device | |
CN107509044B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
CN108574803B (zh) | 图像的选取方法、装置、存储介质及电子设备 | |
CN107563979B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN110445986B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN107704798B (zh) | 图像虚化方法、装置、计算机可读存储介质和计算机设备 | |
CN108520493A (zh) | 图像替换的处理方法、装置、存储介质及电子设备 | |
CN110728705B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110717871A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN107454322A (zh) | 拍照方法、装置、计算机可存储介质和移动终端 | |
CN110740266B (zh) | 图像选帧方法、装置、存储介质及电子设备 | |
US20220329729A1 (en) | Photographing method, storage medium and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200814 |
|
CF01 | Termination of patent right due to non-payment of annual fee |