CN107730444A - 图像处理方法、装置、可读存储介质和计算机设备 - Google Patents
图像处理方法、装置、可读存储介质和计算机设备 Download PDFInfo
- Publication number
- CN107730444A CN107730444A CN201711041645.XA CN201711041645A CN107730444A CN 107730444 A CN107730444 A CN 107730444A CN 201711041645 A CN201711041645 A CN 201711041645A CN 107730444 A CN107730444 A CN 107730444A
- Authority
- CN
- China
- Prior art keywords
- face
- hair line
- pel spacing
- face length
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 210000004209 hair Anatomy 0.000 claims description 94
- 238000012545 processing Methods 0.000 claims description 57
- 210000004709 eyebrow Anatomy 0.000 claims description 35
- 210000001508 eye Anatomy 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000002087 whitening effect Effects 0.000 claims description 7
- 208000003351 Melanosis Diseases 0.000 claims description 6
- 230000003255 anti-acne Effects 0.000 claims description 6
- 230000033228 biological regulation Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 239000007787 solid Substances 0.000 claims 1
- 210000001331 nose Anatomy 0.000 description 30
- 238000003384 imaging method Methods 0.000 description 15
- 238000003062 neural network model Methods 0.000 description 8
- 210000001061 forehead Anatomy 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Abstract
本申请提供一种图像处理方法、装置、可读存储介质和计算机设备。图像处理方法包括：识别待处理图像的人脸区域；根据预设模型定位所述人脸区域中的局部特征的位置；根据人脸长度的预设比例标准调节所述局部特征的位置。上述图像处理方法，能够通过定位的人脸区域的局部特征的位置，根据人脸长度的预设比例标准来调节人脸区域中的局部特征，进而提高了待处理图像中的人脸五官的协调性，以满足用户的审美标准，同时提高了趣味性。
Description
技术领域
本申请涉及图像处理领域，特别是涉及图像处理方法、装置、可读存储介质和计算机设备。
背景技术
互联网技术的不断发展，移动终端的普及，给用户提供了极大的便利，例如，由于智能终端的便携性，用户使用手机替代相机进行拍照。
在拍照或图像进行处理的过程中，可以对照片进行瘦脸、美白、增大眼睛等美颜处理。但是，在对人脸区域的美颜处理后的五官协调性差、趣味性低。
发明内容
本申请实施例提供一种图像处理方法、装置、可读存储介质和计算机设备，可以提高待处理图像中的人脸五官的协调性，以满足用户的审美标准。
一种图像处理方法，包括：
识别待处理图像的人脸区域；
根据预设模型定位所述人脸区域中的局部特征的位置；
根据人脸长度的预设比例标准调节所述局部特征的位置。
一种图像处理装置，包括：
识别模块，用于识别待处理图像的人脸区域；
定位模块，用于根据预设模型定位所述人脸区域中的局部特征的位置；
调节模块，用于根据人脸长度的预设比例标准调节所述局部特征的位置。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的图像处理方法的步骤。
一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行上述的图像处理方法。
上述图像处理方法、装置、可读存储介质和计算机设备，能够通过定位的人脸区域的局部特征的位置，根据人脸长度的预设比例标准来调节人脸区域中的局部特征，进而提高了待处理图像中的人脸五官的协调性，以满足用户的审美标准，同时提高了趣味性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一实施例中的图像处理方法的流程图；
图2为一实施例中根据预设模型定位所述人脸区域中的局部特征的位置的流程图；
图3为一实施例中根据人脸长度的预设比例标准调节所述局部特征的位置的流程图；
图4为一实施例中调节所述发际线的位置以符合所述人脸长度的预设比例标准的流程图；
图5为一实施例中图像处理装置的内部结构框图；
图6为一实施例中定位模块的内部结构框图；
图7为一实施例中调节模块的内部结构框图；
图8为另一实施例中图像处理装置的内部结构框图；
图9为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，本申请提供一种图像处理方法。该图像处理方法应用于移动终端。需要说明的是，移动终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售移动终端)、车载电脑、穿戴式设备等任意移动终端设备。
需要说明的是，该图像处理方法可以是在移动终端上进行拍照的场景下实现的；也可以是在移动终端对图像进行后期编辑处理的场景下实现的。当用户想要拍照时便启动移动终端的成像设备，或当用户想要对图像进行后期编辑时便开启移动终端的图像编辑窗口。
在一个实施例中，图像处理方法，包括：
步骤102：识别待处理图像的人脸区域。
启动移动终端的成像设备，进入拍照预览模式，通过预设的人脸识别算法，识别拍照预览窗口中待处理图像的人脸区域。或，启动移动终端的图像编辑窗口，进入图像编辑预览模式，通过预设的人脸识别算法，识别图像预览窗口中待处理图像的人脸区域。
通过预设的人脸识别算法，识别拍照/图像预览窗口中待处理图像的人脸区域。例如，可以采用基于统计学习模型的特征点提取放大的主动形状模型(Active ShapeModels，ASM)的方法、神经网络方法(Neural Networks)、基于几何特征的方法、局部特征分析方法(Local Face Analysis，LFA)、特征脸方法(Eigenface或PCA)、基于弹性模型的方法或其他可识别人脸的方法来检测人脸区域。
步骤104：根据预设模型定位所述人脸区域中的局部特征的位置。
预设模型可以是预先通过机器学习构建的决策模型，构建预设模型时，可获取大量的样本图像，样本图像中包含人脸图像，可根据人脸图像的主要特征点进行标记，并将标记的样本图像作为预设模型的输入，通过机器学习进行训练，得到预设模型。该预设模型可以用于识别人脸区域中的局部特征的位置。其中，人脸区域中的局部特征可以为发际线、眉毛、眼睛、鼻尖、下颏及脸宽区等位置。
步骤106：根据人脸长度的预设比例标准调节所述局部特征的位置。
其中，人脸长度的预设比例标准为发际线至眉毛的像素间距、从眉毛至鼻底的像素间距、从鼻底至下颏的像素间距均为人脸长度的三分之一。人脸长度的预设比例标准可以借助美术中的“三庭五眼”来理解。其中，“三庭五眼”中的三庭指人脸长度比例，把人脸长度分为三个等分，从发际线至眉毛，从眉毛至鼻底，从鼻底至下颏，各占人脸长度的1/3。“三庭五眼”中五眼指人脸宽度比例，以眼形长度为单位，把人脸宽度分成五个等分，从左侧发际至右侧发际，为五只眼形。需要说明的是，人脸长度可以理解为发际线最高点至下颏之间的像素间距。
通过定位人脸区域的局部特征的位置，能够知晓人脸区域的各个局部特征之间的实际像素间距。根据人脸长度的预设比例标准来调节人脸区域中的局部特征，进而提高了待处理图像中的人脸五官的协调性，以满足用户的审美标准，同时提高了趣味性。
在一个实施例中，根据预设模型定位所述人脸区域中的局部特征的位置，包括：
步骤202：根据标注在人脸图像的多个特征点训练生成所述预设模型。
具体地，预设模型可以为深度神经网络模型或主动形状模型。其中，可以通过大量标注数据去训练生成一个深度神经网络模型或者主动形状模型，利用该深度神经网络模型或者主动形状模型可以用于定位到任何图像中的发际线和人体五官的位置。
其中，深度神经网络模型可以通过获取大量的人脸图像，同时标注在人脸图像的多个特征点，其主要特征点可以为：左眼内眼角点、左眼外眼角点、右眼内眼角点、右眼外眼角点、左眉头点、右眉头点、鼻下点、下巴点、额头发际点、左眼外眼角外侧发际点以及右眼外眼角外侧发际点等。可以利用主动形状模型确定人脸面部的的主要77个特征点，进而可以划分额头发际线子区域、左、右沿子区域、鼻子子区域、嘴子区域、下巴子区域的区域。将各子区域的采样块输入到不同器官所对应的深度神经网络模型中，求出表现每一器官隶属度的相似度概率向量。将相似度概率加权求和得出对应于每个人的综合相似度概率，用于判别人脸区域的局部特征的归属，继而可以定位出人脸区域的局部特征的位置。
步骤204：根据所述预设模型标记所述人脸区域的发际线和五官特征位置。
由于训练生成的深度神经网络模型或者主动形状模型可以定位到任何图像中的发际线、下颏和人体五官特征的位置。可以利用预设的深度神经网络模型或者主动形状模型标记出待处理图像中的发际线位置以及下颏位置。
步骤206：根据所述发际线和五官特征的位置计算所述人脸区域中发际线至眉毛、从眉毛至鼻底、从鼻底至下颏的像素间距。
根据标记出的发际线和五官特征的位置就可以计算出待处理图像人脸区域的三庭五眼的像素间距。也即，可以计算出发际线(发际线最高点)至眉毛(左、右眉头最高点点的连线)的像素间距，从眉毛(左、右眉头最高点点的连线)至鼻底(鼻尖点)的像素间距，从鼻底(鼻尖点)至下颏(下巴点)的像素间距。同时，也可以计算出脸的宽度比例。进而，可以获取待处理图像中“三庭五眼”之间的像素间距。
在一个实施例中，根据人脸长度的预设比例标准调节所述局部特征的位置，包括：
步骤302：获取人脸区域发际线至眉毛的第一像素间距、从眉毛至鼻底的第二像素间距、从鼻底至下颏的第三像素间距。
根据预设模型定位人脸区域中的局部特征的位置，可以获取出额头发际线(额头发际点)至眉毛(左、右眉头点的连线)的第一像素间距L1，从眉毛(左、右眉头点的连线)至鼻底(鼻尖点)的第二像素间距L2，从鼻底(鼻尖点)至下颏(下巴点)的第三像素间距L3。
步骤304：判断所述第一像素间距、第二像素间距、第三像素间距是否符合所述人脸长度的预设比例标准。
具体地，根据获取的待处理图像中人脸区域额头发际线至眉毛的第一像素间距L1，从眉毛至鼻底的第二像素间距L2，从鼻底至下颏的第三像素间距L3，进而来判断待处理图像的人脸区域是否满足人脸长度的预设比例标准。其中，人脸长度的预设比例标准定义了从发际线至眉毛，从眉毛至鼻底，从鼻底至下颏的像素距离均相等，其各像素距离各占脸长的1/3，也即，人脸长度的预设比例标准中的第一像素间距L1、第二像素间距L2、第三像素间距L3均相等，且各占脸长的1/3。
若待处理图像中的人脸区域的发际线过高或过低，亦或是人脸区域的下巴过长或过短均不符合人脸长度的预设比例标准，同时还会影响人体五官容貌的协调性。
当获取的待处理图像中人脸区域额头发际线至眉毛的像素间距L1，从眉毛至鼻底的像素间距L2，从鼻底至下颏的像素间距L3，不符合人脸长度的预设比例标准时，则执行步骤304：调节所述发际线或下颏的位置以符合所述人脸长度的预设比例标准，进而可以让待处理图像的人脸区域的五官呈现协调、均衡且让用户看着舒适的感觉。
在一个实施例中，调节所述发际线的位置以符合所述人脸长度的预设比例标准，具体可以包括：若所述第一像素间距大于或小于人脸长度的三分之一，则调节所述发际线的位置以符合所述人脸长度的预设比例标准。
具体地，当发际线至眉毛的第一像素间距L1大于人脸长度的三分之一时，则表明该人脸区域的发际线过高，当发际线至眉毛的第一像素间距L1小于于人脸长度的三分之一时，则表明该人脸区域的发际线过低，此时，需要对应调节发际线的位置，使其第一像素间距L1等于人脸长度的三分之一。通过调节发际线的位置的图像处理，可以呈现协调的容貌，避免容貌的不平衡所带来的尴尬，提高用户的体验度。
如图4所示，进一步地，所述调节所述发际线的位置以符合所述人脸长度的预设比例标准，包括：
步骤402：获取所述发际线以下的所述人脸区域的第一肤色，以及所述发际线以上的头发区域的第二肤色和纹理信息。
发际线可以理解为区分头发区域和人脸区域的分界线，并将发际线以下的区域定义为人脸区域，将发际线以上的区域定义为头发区域。
获取人脸区域的第一肤色，同时获取头发区域的第二肤色。其中第一肤色、第二肤色可以用像素点在RGB(红、绿、蓝)、HSV(色调、饱和度、明度)或YUV等颜色空间的值来表示。第二肤色可以理解为头发区域的发色。
当然还可以获取头发区域的纹理信息，也即，头发区域的发根至发尖延伸的方向。
步骤404：当所述第一像素间距大于人脸长度的三分之一时，根据所述发际线的轮廓，将在靠近所述发际线以下的所述第一肤色调整为第二肤色，以形成符合所述人脸长度的预设比例标准的新发际线。
当所述第一像素间距大于人脸长度的三分之一时，表明该人脸区域的发际线过高，需要将靠近发际线以下的人脸区域的第一肤色按照发际线的轮廓调整为第二肤色(发色)，以形成符合人脸长度的预设比例标准的新发际线。将第一肤色调整为第二肤色(发色)的同时，调整后的第二肤色(发色)的区域该需要根据原第一肤色区域的纹理相匹配，融合形成新的头发区域。
步骤406：当所述第一像素间距小于人脸长度的三分之一时，根据所述发际线的轮廓，将在靠近所述发际线以上的所述第二肤色调整为第一肤色以形成符合所述人脸长度的预设比例标准的新发际线。
当所述第一像素间距小于人脸长度的三分之一时，表明该人脸区域的发际线过第，需要将靠近发际线以上的头发区域的第二肤色(发色)按照发际线的轮廓调整为第一肤色，以形成符合人脸长度的预设比例标准的新发际线。
在一个实施例中，调节下颏的位置以符合所述人脸长度的预设比例标准，具体可以包括：若所述第三像素间距大于或小于人脸长度的三分之一，则调节所述下颏的位置以符合所述人脸长度的预设比例标准。
具体地，当从鼻底至下颏的第三像素间距L3大于人脸长度的三分之一时，则表明该人脸区域的下巴区域过长，当从鼻底至下颏的第三像素间距L3小于于人脸长度的三分之一时，则表明该人脸区域的下巴区域过短。此时，需要对应调节下颏(下巴)的位置，使其第三像素间距L3等于人脸长度的三分之一。通过调节下颏的位置的图像处理，可以呈现协调的容貌，避免容貌的不平衡所带来的尴尬，提高用户的体验度。
在一个实施例中，根据人脸长度的预设比例标准调节所述局部特征的位置后，还包括：对所述待处理图像进行美颜处理的步骤。其中，美颜处理为唇色调整、肤色美白、肤质磨皮、面部立体调整、祛斑、磨皮、瘦脸、祛痘、增大眼睛中的至少一种。
根据人脸长度的预设比例标准调节发际线或下颏的位置后，可以使人脸的五官更加协调，进一步地，可以对处理后的图像进行美颜处理。其中，对待处理图像的美颜处理可包括：唇色调整、肤色美白、肤质磨皮、面部立体调整、祛斑、磨皮、瘦脸、祛痘、增大眼睛等。通过美颜处理后的人脸区域更为完美，提高用户的体验度。
如图5所示，本申请还提供一种图像处理装置，包括：
识别模块510，用于识别待处理图像的人脸区域；
定位模块520，用于根据预设模型定位所述人脸区域中的局部特征的位置；
调节模块530，用于根据人脸长度的预设比例标准调节所述局部特征的位置。
通过定位的人脸区域的局部特征的位置，能够知晓人脸区域的各个局部特征之间的实际像素间距。根据人脸长度的预设比例标准来调节人脸区域中的局部特征，进而提高了待处理图像中的人脸五官的协调性，以满足用户的审美标准，同时提高了趣味性。
如图6所示，在一个实施例中，定位模块，包括：
模型生成单元521，用于根据标注在人脸图像中的多个特征点训练生成所述预设模型；具体地，预设模型可以为深度神经网络模型或主动形状模型。
标记单元523，用于根据所述预设模型标记所述人脸区域的发际线和五官特征的位置；
处理单元525，用于根据所述发际线和五官特征的位置计算所述人脸区域中发际线至眉毛、从眉毛至鼻底、从鼻底至下颏的像素间距。
需要说明的是，局部特征包括为发际线和下颏。人脸长度的预设比例标准为发际线至眉毛、从眉毛至鼻底、从鼻底至下颏的像素间距相等，且均为脸长的三分之一。
如图7所示，所述调节模块，包括：
获取单元531，用于获取人脸区域发际线至眉毛的第一像素间距、从眉毛至鼻底的第二像素间距、从鼻底至下颏的第三像素间距；
判断单元532，用于判断所述第一像素间距、第二像素间距、第三像素间距是否符合所述人脸长度的预设比例标准；
调节单元533，用于当所述第一像素间距、第二像素间距、第三像素间距不符合所述人脸长度的预设比例标准时，则调节所述发际线或下颏的位置以符合所述人脸长度的预设比例标准。
具体地，当发际线至眉毛的第一像素间距L1大于人脸长度的三分之一时，则表明该人脸区域的发际线过高，当发际线至眉毛的第一像素间距L1小于于人脸长度的三分之一时，则表明该人脸区域的发际线过低。此时，调节单元533会对应调节发际线的位置，使其第一像素间距L1等于人脸长度的三分之一。通过调节发际线的位置的图像处理，可以呈现协调的容貌，避免容貌的不平衡所带来的尴尬，提高用户的体验度。
具体地，当从鼻底至下颏的第三像素间距L3大于人脸长度的三分之一时，则表明该人脸区域的下巴区域过长，当从鼻底至下颏的第三像素间距L3小于于人脸长度的三分之一时，则表明该人脸区域的下巴区域过短。此时，调节单元533会对应调节下颏(下巴)的位置，使其第三像素间距L3等于人脸长度的三分之一。通过调节下颏的位置的图像处理，可以呈现协调的容貌，避免容貌的不平衡所带来的尴尬，提高用户的体验度。
如图8所示，在一个实施例中，图像处理装置包括识别模块810、定位模块820、调节模块830，还包括：
美颜模块840，用于对所述待处理图像进行美颜处理；所述美颜处理包括：唇色调整、肤色美白、肤质磨皮、面部立体调整、祛斑、瘦脸、祛痘、增大眼睛中的至少一种。
根据人脸长度的预设比例标准调节发际线或下颏的位置后，可以是人脸的五官更加协调，进一步地，可以对处理后的图像进行美颜处理。美颜模块840对待处理图像的美颜处理可包括：唇色调整、肤色美白、肤质磨皮、面部立体调整、祛斑、磨皮、瘦脸、祛痘、增大眼睛。通过美颜处理后的人脸区域更为完美，可以获取更为满意的图像。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
识别待处理图像的人脸区域；
根据预设模型定位所述人脸区域中的局部特征的位置；
根据人脸长度的预设比例标准调节所述局部特征的位置。
上述计算机可读存储介质中计算机程序(指令)在被执行时，可以根据预设模型定位的人脸区域的局部特征的位置，能够知晓人脸区域的各个局部特征之间的实际像素间距。根据人脸长度的预设比例标准调节人脸区域中的局部特征，进而提高了待处理图像中的人脸五官的协调性，以满足用户的审美标准，同时提高了趣味性。
本申请实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图9所示，图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理，ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910可包括具有一个或多个透镜912和图像传感器914的照相机。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器940处理的一组原始图像数据。传感器920(如陀螺仪)可基于传感器920接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器914也可将原始图像数据发送给传感器920，传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940，或者传感器920将原始图像数据存储到图像存储器930中。
ISP处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器940还可从图像存储器930接收图像数据。例如，传感器920接口将原始图像数据发送给图像存储器930，图像存储器930中的原始图像数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器914接口或来自传感器920接口或来自图像存储器930的原始图像数据时，ISP处理器940可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器930，以便在被显示之前进行另外的处理。ISP处理器940还可从图像存储器930接收处理数据，对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器980，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器940的输出还可发送给图像存储器930，且显示器980可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，ISP处理器940的输出可发送给编码器/解码器980，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器990设备上之前解压缩。
ISP处理器940处理图像数据的步骤包括：对图像数据进行VFE(Video Front End，视频前端)处理和CPP(Camera Post Processing，摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡，自动增益控制，γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中，CPP可使用不同的编解码器来处理预览帧和记录帧。ISP处理器940处理后的图像数据可发送给图像处理装置960，以便根据人脸长度的预设比例标准调节局部特征的位置，使人脸五官更为协调、美观。图像处理装置960处理后的图像数据传输至美颜模块970，以便在被显示之前对图像进行美颜处理。美颜模块970对图像数据美颜处理可包括：美白、祛斑、磨皮、瘦脸、祛痘、增大眼睛等。其中，美颜模块970可为移动终端中CPU(Central Processing Unit，中央处理器)、GPU或协处理器等。美颜模块970处理后的数据可发送给编码器/解码器980，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器990设备上之前解压缩。其中，美颜模块970还可位于编码器/解码器980与显示器990之间，即美颜模块对已成像的图像进行美颜处理。上述编码器/解码器980可为移动终端中CPU、GPU或协处理器等。
ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备910的控制参数以及ISP处理器940的控制参数。例如，成像设备910的控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调节(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。
运用图9中图像处理技术可实现如上述任一实施例中的图像处理方法。运用图9中图像处理技术在实现上述任一实施例中的图像处理方法时，可以根据预设模型定位的人脸区域的局部特征的位置，能够知晓人脸区域的各个局部特征之间的实际像素间距。根据人脸长度的预设比例标准来调节人脸区域中的局部特征，进而提高了待处理图像中的人脸五官的协调性，以满足用户的审美标准，同时提高了趣味性。
本申请实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如下步骤：
识别待处理图像的人脸区域；
根据预设模型定位所述人脸区域中的局部特征的位置；
根据人脸长度的预设比例标准调节所述局部特征的位置。
包含指令的计算机程序产品，当其在计算机上运行时，可以根据预设模型定位的人脸区域的局部特征的位置，能够知晓人脸区域的各个局部特征之间的实际像素间距。根据人脸长度的预设比例标准来调节人脸区域中的局部特征，进而提高了待处理图像中的人脸五官的协调性，以满足用户的审美标准，同时提高了趣味性。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
识别待处理图像的人脸区域；
根据预设模型定位所述人脸区域中的局部特征的位置；
根据人脸长度的预设比例标准调节所述局部特征的位置。
2.根据权利要求1所述的图像处理方法，其特征在于，所述局部特征包括为发际线和下颏；
所述人脸长度的预设比例标准为发际线至眉毛的像素间距、从眉毛至鼻底的像素间距、从鼻底至下颏的像素间距均为人脸长度的三分之一。
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据预设模型定位所述人脸区域中的局部特征的位置，包括：
根据标注在人脸图像中的多个特征点训练生成所述预设模型；
根据所述预设模型标记所述人脸区域的发际线和五官特征的位置；
根据所述发际线和五官特征的位置计算所述人脸区域中发际线至眉毛、从眉毛至鼻底、从鼻底至下颏的像素间距。
4.根据权利要求2所述的图像处理方法，其特征在于，所述根据人脸长度的预设比例标准调节所述局部特征的位置，包括：
获取人脸区域发际线至眉毛的第一像素间距、从眉毛至鼻底的第二像素间距、从鼻底至下颏的第三像素间距；
判断所述第一像素间距、第二像素间距、第三像素间距是否符合所述人脸长度的预设比例标准；
若否，则调节所述发际线或下颏的位置以符合所述人脸长度的预设比例标准。
5.根据权利要求4所述的图像处理方法，其特征在于，所述调节所述发际线或下颏的位置以符合所述人脸长度的预设比例标准，包括：
若所述第一像素间距大于或小于人脸长度的三分之一，则调节所述发际线的位置以符合所述人脸长度的预设比例标准；
若所述第三像素间距大于或小于人脸长度的三分之一，则调节所述下颏的位置以符合所述人脸长度的预设比例标准。
6.根据权利要求5所述的图像处理方法，其特征在于，所述调节所述发际线的位置以符合所述人脸长度的预设比例标准，包括：
获取所述发际线以下的所述人脸区域的第一肤色，以及所述发际线以上的头发区域的第二肤色和纹理信息；
当所述第一像素间距大于人脸长度的三分之一时，根据所述发际线的轮廓，将靠近所述发际线以下的所述第一肤色调整为所述第二肤色，以形成符合所述人脸长度的预设比例标准的新发际线；或，
当所述第一像素间距小于人脸长度的三分之一时，根据所述发际线的轮廓，将靠近所述发际线以上的所述第二肤色调整为所述第一肤色以形成符合所述人脸长度的预设比例标准的新发际线。
7.根据权利要求1所述的图像处理方法，其特征在于，根据人脸长度的预设比例标准调节所述局部特征的位置后，还包括：
对所述待处理图像进行美颜处理，所述美颜处理为唇色调整、肤色美白、肤质磨皮、面部立体调整、祛斑、瘦脸、祛痘、增大眼睛中的至少一种。
8.一种图像处理装置，其特征在于，包括：
识别模块，用于识别待处理图像的人脸区域；
定位模块，用于根据预设模型定位所述人脸区域中的局部特征的位置；
调节模块，用于根据人脸长度的预设比例标准调节所述局部特征的位置。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法的步骤。
10.一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711041645.XA CN107730444B (zh) | 2017-10-31 | 2017-10-31 | 图像处理方法、装置、可读存储介质和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711041645.XA CN107730444B (zh) | 2017-10-31 | 2017-10-31 | 图像处理方法、装置、可读存储介质和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107730444A true CN107730444A (zh) | 2018-02-23 |
| CN107730444B CN107730444B (zh) | 2022-02-01 |
Family
ID=61203298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711041645.XA Active CN107730444B (zh) | 2017-10-31 | 2017-10-31 | 图像处理方法、装置、可读存储介质和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107730444B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717719A (zh) * | 2018-05-23 | 2018-10-30 | 腾讯科技（深圳）有限公司 | 卡通人脸图像的生成方法、装置及计算机存储介质 |
| CN109087239A (zh) * | 2018-07-25 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 一种人脸图像处理方法、装置及存储介质 |
| CN109214373A (zh) * | 2018-11-05 | 2019-01-15 | 绍兴文理学院 | 一种用于考勤的人脸识别系统及方法 |
| CN109345636A (zh) * | 2018-07-19 | 2019-02-15 | 北京永航科技有限公司 | 获取虚拟人脸图的方法和装置 |
| CN109376712A (zh) * | 2018-12-07 | 2019-02-22 | 广州纳丽生物科技有限公司 | 一种人脸额头关键点的识别方法 |
| CN109544445A (zh) * | 2018-12-11 | 2019-03-29 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
| CN109559288A (zh) * | 2018-11-30 | 2019-04-02 | 深圳市脸萌科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109584152A (zh) * | 2018-11-30 | 2019-04-05 | 深圳市脸萌科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| WO2019165604A1 (zh) * | 2018-02-28 | 2019-09-06 | 华为技术有限公司 | 一种发际线轮廓的定位方法、装置及计算机可读存储介质 |
| WO2019227915A1 (zh) * | 2018-05-31 | 2019-12-05 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111275650A (zh) * | 2020-02-25 | 2020-06-12 | 北京字节跳动网络技术有限公司 | 美颜处理方法及装置 |
| CN111402115A (zh) * | 2020-03-10 | 2020-07-10 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN111598813A (zh) * | 2020-05-25 | 2020-08-28 | 北京字节跳动网络技术有限公司 | 人脸图像处理方法、装置、电子设备及计算机可读介质 |
| CN113034349A (zh) * | 2021-03-24 | 2021-06-25 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113761974A (zh) * | 2020-06-03 | 2021-12-07 | 富泰华工业（深圳）有限公司 | 监视头皮的方法、智能吹风机及存储介质 |
| US11410268B2 (en) | 2018-05-31 | 2022-08-09 | Beijing Sensetime Technology Development Co., Ltd | Image processing methods and apparatuses, electronic devices, and storage media |
| CN113761974B (zh) * | 2020-06-03 | 2024-04-26 | 富泰华工业（深圳）有限公司 | 监视头皮的方法、智能吹风机及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101777195A (zh) * | 2010-01-29 | 2010-07-14 | 浙江大学 | 一种三维人脸模型的调整方法 |
| CN103605975A (zh) * | 2013-11-28 | 2014-02-26 | 小米科技有限责任公司 | 一种图像处理的方法、装置及终端设备 |
| CN103839223A (zh) * | 2012-11-21 | 2014-06-04 | 华为技术有限公司 | 图像处理方法及装置 |
| KR20150072002A (ko) * | 2013-12-19 | 2015-06-29 | 엘지전자 주식회사 | 전자 기기 및 그 제어 방법 |
| CN104992402A (zh) * | 2015-07-02 | 2015-10-21 | 广东欧珀移动通信有限公司 | 一种美颜处理方法及装置 |
| CN106447720A (zh) * | 2016-08-29 | 2017-02-22 | 重庆市云日信息技术有限公司 | 一种构建黄金比例脸型的方法 |
| CN106548156A (zh) * | 2016-10-27 | 2017-03-29 | 江西瓷肌电子商务有限公司 | 一种根据人脸图像提供整容建议的方法 |
| CN106909892A (zh) * | 2017-01-24 | 2017-06-30 | 珠海市魅族科技有限公司 | 一种图像处理方法和系统 |
-
2017
- 2017-10-31 CN CN201711041645.XA patent/CN107730444B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101777195A (zh) * | 2010-01-29 | 2010-07-14 | 浙江大学 | 一种三维人脸模型的调整方法 |
| CN103839223A (zh) * | 2012-11-21 | 2014-06-04 | 华为技术有限公司 | 图像处理方法及装置 |
| CN103605975A (zh) * | 2013-11-28 | 2014-02-26 | 小米科技有限责任公司 | 一种图像处理的方法、装置及终端设备 |
| KR20150072002A (ko) * | 2013-12-19 | 2015-06-29 | 엘지전자 주식회사 | 전자 기기 및 그 제어 방법 |
| CN104992402A (zh) * | 2015-07-02 | 2015-10-21 | 广东欧珀移动通信有限公司 | 一种美颜处理方法及装置 |
| CN106447720A (zh) * | 2016-08-29 | 2017-02-22 | 重庆市云日信息技术有限公司 | 一种构建黄金比例脸型的方法 |
| CN106548156A (zh) * | 2016-10-27 | 2017-03-29 | 江西瓷肌电子商务有限公司 | 一种根据人脸图像提供整容建议的方法 |
| CN106909892A (zh) * | 2017-01-24 | 2017-06-30 | 珠海市魅族科技有限公司 | 一种图像处理方法和系统 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111295664B (zh) * | 2018-02-28 | 2022-06-07 | 荣耀终端有限公司 | 一种发际线轮廓的定位方法、装置及计算机可读存储介质 |
| WO2019165604A1 (zh) * | 2018-02-28 | 2019-09-06 | 华为技术有限公司 | 一种发际线轮廓的定位方法、装置及计算机可读存储介质 |
| EP3751446A4 (en) * | 2018-02-28 | 2021-01-27 | Huawei Technologies Co., Ltd. | HAIRLINE CONTOUR POSITIONING METHOD AND DEVICE AND COMPUTER READABLE STORAGE MEDIUM |
| CN111295664A (zh) * | 2018-02-28 | 2020-06-16 | 华为技术有限公司 | 一种发际线轮廓的定位方法、装置及计算机可读存储介质 |
| CN108717719A (zh) * | 2018-05-23 | 2018-10-30 | 腾讯科技（深圳）有限公司 | 卡通人脸图像的生成方法、装置及计算机存储介质 |
| US11410268B2 (en) | 2018-05-31 | 2022-08-09 | Beijing Sensetime Technology Development Co., Ltd | Image processing methods and apparatuses, electronic devices, and storage media |
| WO2019227915A1 (zh) * | 2018-05-31 | 2019-12-05 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN109345636A (zh) * | 2018-07-19 | 2019-02-15 | 北京永航科技有限公司 | 获取虚拟人脸图的方法和装置 |
| CN109087239A (zh) * | 2018-07-25 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 一种人脸图像处理方法、装置及存储介质 |
| CN109087239B (zh) * | 2018-07-25 | 2023-03-21 | 腾讯科技（深圳）有限公司 | 一种人脸图像处理方法、装置及存储介质 |
| CN109214373B (zh) * | 2018-11-05 | 2020-11-13 | 绍兴文理学院 | 一种用于考勤的人脸识别系统及方法 |
| CN109214373A (zh) * | 2018-11-05 | 2019-01-15 | 绍兴文理学院 | 一种用于考勤的人脸识别系统及方法 |
| CN109559288A (zh) * | 2018-11-30 | 2019-04-02 | 深圳市脸萌科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109584152A (zh) * | 2018-11-30 | 2019-04-05 | 深圳市脸萌科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109376712A (zh) * | 2018-12-07 | 2019-02-22 | 广州纳丽生物科技有限公司 | 一种人脸额头关键点的识别方法 |
| CN109544445A (zh) * | 2018-12-11 | 2019-03-29 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
| US11769286B2 (en) | 2020-02-25 | 2023-09-26 | Beijing Bytedance Network Technology Co., Ltd. | Beauty processing method, electronic device, and computer-readable storage medium |
| CN111275650A (zh) * | 2020-02-25 | 2020-06-12 | 北京字节跳动网络技术有限公司 | 美颜处理方法及装置 |
| CN111275650B (zh) * | 2020-02-25 | 2023-10-17 | 抖音视界有限公司 | 美颜处理方法及装置 |
| CN111402115A (zh) * | 2020-03-10 | 2020-07-10 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN111402115B (zh) * | 2020-03-10 | 2024-02-20 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN111598813B (zh) * | 2020-05-25 | 2023-05-19 | 抖音视界有限公司 | 人脸图像处理方法、装置、电子设备及计算机可读介质 |
| CN111598813A (zh) * | 2020-05-25 | 2020-08-28 | 北京字节跳动网络技术有限公司 | 人脸图像处理方法、装置、电子设备及计算机可读介质 |
| CN113761974A (zh) * | 2020-06-03 | 2021-12-07 | 富泰华工业（深圳）有限公司 | 监视头皮的方法、智能吹风机及存储介质 |
| CN113761974B (zh) * | 2020-06-03 | 2024-04-26 | 富泰华工业（深圳）有限公司 | 监视头皮的方法、智能吹风机及存储介质 |
| CN113034349A (zh) * | 2021-03-24 | 2021-06-25 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113034349B (zh) * | 2021-03-24 | 2023-11-14 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107730444B (zh) | 2022-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107730444A (zh) | 图像处理方法、装置、可读存储介质和计算机设备 | |
| CN107808136B (zh) | 图像处理方法、装置、可读存储介质和计算机设备 | |
| CN107730445A (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN108537749B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN108009999A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN107945135B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN107862663A (zh) | 图像处理方法、装置、可读存储介质和计算机设备 | |
| CN107680128A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN107945107A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN107800966B (zh) | 图像处理的方法、装置、计算机可读存储介质和电子设备 | |
| CN107798652A (zh) | 图像处理方法、装置、可读存储介质和电子设备 | |
| CN107742274A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN107818305A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN107808137A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN107862657A (zh) | 图像处理方法、装置、计算机设备及计算机可读存储介质 | |
| CN107993209B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN107886484A (zh) | 美颜方法、装置、计算机可读存储介质和电子设备 | |
| CN108022207A (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN107862274A (zh) | 美颜方法、装置、电子设备和计算机可读存储介质 | |
| CN107705248A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN107766831A (zh) | 图像处理方法、装置、移动终端和计算机可读存储介质 | |
| CN107734253A (zh) | 图像处理方法、装置、移动终端和计算机可读存储介质 | |
| CN107800965B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN107911625A (zh) | 测光方法、装置、可读存储介质和计算机设备 | |
| CN107730446A (zh) | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: Oppo Guangdong Mobile Communication Co., Ltd Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |