CN107403144A - 嘴巴定位方法及装置 - Google Patents

嘴巴定位方法及装置 Download PDF

Info

Publication number
CN107403144A
CN107403144A CN201710561708.8A CN201710561708A CN107403144A CN 107403144 A CN107403144 A CN 107403144A CN 201710561708 A CN201710561708 A CN 201710561708A CN 107403144 A CN107403144 A CN 107403144A
Authority
CN
China
Prior art keywords
face
contour line
midpoint
profile point
position deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710561708.8A
Other languages
English (en)
Other versions
CN107403144B (zh
Inventor
杨松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201710561708.8A priority Critical patent/CN107403144B/zh
Publication of CN107403144A publication Critical patent/CN107403144A/zh
Application granted granted Critical
Publication of CN107403144B publication Critical patent/CN107403144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开是关于嘴巴定位方法及装置。该方法包括:基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;将轮廓点进行曲线拟合,得到嘴巴对应的轮廓线;确定轮廓线的中点的位置偏差;根据轮廓线的中点的位置偏差,确定轮廓点的调整位置。本公开能够解决相关技术中基于人脸关键点定位算法对嘴巴进行定位所存在的定位精度较低的问题,提高嘴巴定位的准确性,保证依赖于嘴巴定位的自动唇彩功能及自动嘴型功能的美颜效果,提高美颜软件的竞争力,提高用户体验。

Description

嘴巴定位方法及装置
技术领域
本公开涉及图像处理领域,尤其涉及嘴巴定位方法及装置。
背景技术
通常,很多人认为通过对图像中人脸进行瘦脸等美颜功能,可以使人脸具有较佳的美感。美颜软件中的自动唇彩功能,是指通过对嘴巴进行精确定位,并自动更改唇彩的颜色;美颜软件中的自动嘴型功能,是指通过对嘴巴进行精确定位,对嘴型进行调整,使嘴型看起来更加美观。嘴巴定位就是计算出嘴巴在图片中的位置,也就是定位嘴巴的轮廓点。
相关技术中,采用人脸关键点定位的方法实现对人脸图像中嘴巴的定位;人脸关键点定位的方法,例如主动形状模型(ASM,Active shape model)、有监督的梯度下降方法(SDM,Supervised descent method)或卷积神经网络(CNN,Convolutional neuralnetwork)等,上述人脸关键点定位的方法均可对人脸的各个器官同时进行定位。
发明内容
为克服相关技术中存在的问题,本公开实施例提供一种嘴巴定位方法及装置。所述技术方案如下:
根据本公开实施例的第一方面,提供一种嘴巴定位方法,包括:
基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;
将所述轮廓点进行曲线拟合,得到所述嘴巴对应的轮廓线;
确定所述轮廓线的中点的位置偏差;
根据所述轮廓线的中点的位置偏差,确定所述轮廓点的调整位置。
在一个实施例中,所述确定所述轮廓线的中点的位置偏差,包括:
确定所述轮廓线的中点及所述轮廓线在所述中点的垂线;
计算所述垂线上各点的梯度,将梯度最大的点确定为所述中点的调整位置;
根据所述中点的调整位置,确定所述中点的位置偏差。
在一个实施例中,所述根据所述轮廓线的中点的位置偏差,确定所述轮廓点的调整位置,包括:
根据所述轮廓线的中点的位置偏差、所述轮廓点与所述轮廓线的端点的距离及所述中点与所述轮廓线的端点的距离,确定所述轮廓点的位置偏差;
根据所述轮廓点的位置偏差,确定所述轮廓点的调整位置。
在一个实施例中,所述根据所述轮廓线的中点的位置偏差、所述轮廓点与所述轮廓线的端点的距离及所述中点与所述轮廓线的端点的距离,确定所述轮廓点的位置偏差,包括:
计算所述轮廓点与所述轮廓线的端点的距离与所述中点与所述轮廓线的端点的距离的比值;
计算所述比值与所述中点的位置偏差的乘积,得到所述轮廓点的位置偏差。
在一个实施例中,所述根据所述轮廓线的中点的位置偏差,确定所述轮廓点的调整位置之后,所述方法还包括:将所述轮廓点的调整位置进行曲线拟合,得到所述嘴巴对应的调整后的轮廓线。
在一个实施例中,所述轮廓线的曲线类型包括三次拟合曲线。
在一个实施例中,所述轮廓线包括:上嘴唇的上边界、上嘴唇的下边界、下嘴唇的上边界及下嘴唇的下边界。
根据本公开实施例的第二方面,提供一种嘴巴定位装置,包括:
定位模块,用于基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;
第一曲线拟合模块,用于将所述轮廓点进行曲线拟合,得到所述嘴巴对应的轮廓线;
第一确定模块,用于确定所述轮廓线的中点的位置偏差;
第二确定模块,用于根据所述轮廓线的中点的位置偏差,确定所述轮廓点的调整位置。
在一个实施例中,所述第一确定模块,包括:
第一确定子模块,用于确定所述轮廓线的中点及所述轮廓线在所述中点的垂线;
第二确定子模块,用于计算所述垂线上各点的梯度,将梯度最大的点确定为所述中点的调整位置;
第三确定子模块,用于根据所述中点的调整位置,确定所述中点的位置偏差。
在一个实施例中,所述第二确定模块,包括:
第四确定子模块,用于根据所述轮廓线的中点的位置偏差、所述轮廓点与所述轮廓线的端点的距离及所述中点与所述轮廓线的端点的距离,确定所述轮廓点的位置偏差;
第五确定子模块,用于根据所述轮廓点的位置偏差,确定所述轮廓点的调整位置。
在一个实施例中,所述第四确定子模块:计算所述轮廓点与所述轮廓线的端点的距离与所述中点与所述轮廓线的端点的距离的比值,计算所述比值与所述中点的位置偏差的乘积,得到所述轮廓点的位置偏差。
在一个实施例中,所述装置还包括:
第二曲线拟合模块,用于将所述轮廓点的调整位置进行曲线拟合,得到所述嘴巴对应的调整后的轮廓线。
根据本公开实施例的第三方面,提供一种嘴巴定位装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;
将所述轮廓点进行曲线拟合,得到所述嘴巴对应的轮廓线;
确定所述轮廓线的中点的位置偏差;
根据所述轮廓线的中点的位置偏差,确定所述轮廓点的调整位置。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现上述第一方面所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:该技术方案基于人脸关键点定位算法确定嘴巴对应的轮廓点,在此基础上,通过对轮廓点进行曲线拟合得到嘴巴对应的轮廓线,根据轮廓线的中点的位置偏差确定上述轮廓点的调整位置,解决了相关技术中基于人脸关键点定位算法对嘴巴进行定位所存在的定位精度较低的问题,提高嘴巴定位的准确性,保证依赖于嘴巴定位的自动唇彩功能及自动嘴型功能的美颜效果,提高美颜软件的竞争力,如此,能够提高用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的嘴巴定位方法的应用场景图。
图2是根据一示例性实施例示出的嘴巴定位方法的流程图。
图3是根据一示例性实施例示出的嘴巴定位方法的应用场景图。
图4是根据一示例性实施例示出的嘴巴定位方法的应用场景图。
图5是根据一示例性实施例示出的嘴巴定位方法的流程图。
图6是根据一示例性实施例示出的嘴巴定位方法的应用场景图。
图7是根据一示例性实施例示出的嘴巴定位装置的框图。
图8是根据一示例性实施例示出的嘴巴定位装置的框图。
图9是根据一示例性实施例示出的嘴巴定位装置的框图。
图10是根据一示例性实施例示出的嘴巴定位装置的框图。
图11是根据一示例性实施例示出的嘴巴定位装置的框图。
图12是根据一示例性实施例示出的嘴巴定位装置的框图。
图13是根据一示例性实施例示出的嘴巴定位装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
美颜软件中的自动唇彩功能,是指通过对嘴巴进行精确定位,并自动更改唇彩的颜色;美颜软件中的自动嘴型功能,是指通过对嘴巴进行精确定位,对嘴型进行调整,使嘴型看起来更加美观。嘴巴定位就是计算出嘴巴在图片中的位置,也就是定位嘴巴的轮廓点。
相关技术中,通常采用人脸关键点定位的方法实现对人脸图像中嘴巴的定位;人脸关键点定位的方法包括ASM、SDM或CNN等,上述人脸关键点定位的方法均可对人脸的各个器官同时进行定位;然而,上述人脸关键点定位的方法普遍存在定位精度较低的问题,特别是在脸部姿态或表情比较夸张的时候,往往会出现局部器官定位不准确的情况。请参见图1,相关技术采用上述人脸关键点定位的方法所定位的嘴唇区域,相较于图像中实际的嘴唇区域出现了偏移,而这种定位偏移,会严重影响依赖于嘴巴精确定位的自动唇彩功能和/或自动嘴型功能的美颜效果,降低美颜软件的产品竞争力,影响用户体验。
为了解决上述问题,本公开实施例提供了一种嘴巴定位方法,该方法包括:基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;将轮廓点进行曲线拟合,得到嘴巴对应的轮廓线;确定轮廓线的中点的位置偏差;根据轮廓线的中点的位置偏差,确定轮廓点的调整位置。
本公开实施例提供的嘴巴定位方法,基于人脸关键点定位算法确定嘴巴对应的轮廓点,在此基础上,通过对轮廓点进行曲线拟合得到嘴巴对应的轮廓线,根据轮廓线的中点的位置偏差确定上述轮廓点的调整位置,解决了相关技术中基于人脸关键点定位算法对嘴巴进行定位所存在的定位精度较低的问题,提高嘴巴定位的准确性,保证依赖于嘴巴定位的自动唇彩功能及自动嘴型功能的美颜效果,提高美颜软件的竞争力,提高用户体验。
基于上述分析,提出以下各具体实施例。
图2是根据一示例性实施例示出的一种嘴巴定位方法的流程图,该方法的执行主体可以为终端或者服务器,终端例如是智能手机、平板电脑、台式机、笔记本电脑等;如图2所示,该方法包括以下步骤201-204:
在步骤201中,基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;
示例的,在需要从单个图片或视频中的任意一帧图片中定位嘴巴的场景中,首先,对图片进行人脸检测,检测出图片中人脸的区域,得到人脸图像;例如,人脸检测的方法可以包括自适应增强算法(Adaboost)或更快的区域C NN(faster rcnn)等方法。然后,基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;例如,人脸关键点定位算法可以包括ASM、SDM或CNN等;参见图1示出的基于人脸关键点定位算法定位得到的嘴巴的轮廓点,由图1可见,轮廓点相较于图像中实际的嘴唇区域出现了偏移。
在步骤202中,将轮廓点进行曲线拟合,得到嘴巴对应的轮廓线;
示例的,曲线拟合可以采用三次曲线;拟合后的轮廓线的曲线类型包括三次拟合曲线;轮廓线可以包括一条以上,例如包括如下四条轮廓线:上嘴唇的上边界、上嘴唇的下边界、下嘴唇的上边界及下嘴唇的下边界;参见图3,通过嘴巴的轮廓点进行曲线拟合,得到上下嘴唇的四条边界,即上嘴唇的上边界、上嘴唇的下边界、下嘴唇的上边界及下嘴唇的下面边界。
在步骤203中,确定轮廓线的中点的位置偏差;
示例的,针对任意一条轮廓线,确定轮廓线的中点,计算轮廓线在中点的垂线;计算在垂线方向上各点的梯度,确定垂线上梯度最大的点,将梯度最大的点确定为中点的调整位置;根据中点的调整位置确定中点的位置偏差。
例如,针对图3示出的四条轮廓线,依次计算出第i条轮廓线的中点位置pi,其中i=1,2,3,4;在中点pi的位置计算出第i条轮廓线的垂线,然后在垂线方向上指定范围内计算沿着垂线方向的各点的梯度,确定垂线上梯度最大的点将梯度最大的点确定为中点的调整位置;根据公式计算出点pi的位置偏差Δpi;参见图4,以下嘴唇的下边界为例,下嘴唇的下边界的中点为p4,下嘴唇的下边界在中点的垂线方向上梯度最大的点为p4的位置偏差为然后,在步骤204中基于Δpi调整轮廓点的位置。
在步骤204中,根据轮廓线的中点的位置偏差,确定轮廓点的调整位置。
示例的,根据轮廓线的中点的位置偏差、轮廓点与轮廓线的端点的距离及中点与轮廓线的端点的距离,确定轮廓点的位置偏差;根据轮廓点的位置偏差,确定轮廓点的调整位置。例如,计算轮廓点与轮廓线的端点的距离与中点与轮廓线的端点的距离的比值;计算比值与中点的位置偏差的乘积,得到轮廓点的位置偏差。以第i条轮廓线为例,在第i条轮廓线的中点需要移动Δpi时,第i条轮廓线上的轮廓点,按照轮廓点与轮廓线的端点的距离占第i条轮廓线的中点与端点的距离的比例进行位置调整,例如,针对第i条轮廓线上的轮廓点h,若轮廓点h与第i条轮廓线的端点的距离占第i条轮廓线的中点与端点的距离的比例为1/3,则轮廓点h的位置偏差为Δpi*(1/3),将轮廓点h从现有位置移动Δpi*(1/3);若轮廓点h与第i条轮廓线的端点的距离占第i条轮廓线的中点与端点的距离的比例为2/3,则轮廓点h的位置偏差为Δpi*(2/3),将轮廓点h从现有位置移动Δpi*(2/3)。
本公开的实施例提供的技术方案,基于人脸关键点定位算法确定嘴巴对应的轮廓点,在此基础上,通过对轮廓点进行曲线拟合得到嘴巴对应的轮廓线,根据轮廓线的中点的位置偏差确定上述轮廓点的调整位置,解决了相关技术中基于人脸关键点定位算法对嘴巴进行定位所存在的定位精度较低的问题,提高嘴巴定位的准确性,保证依赖于嘴巴定位的自动唇彩功能及自动嘴型功能的美颜效果,提高美颜软件的竞争力,如此,能够提高用户体验。
图5是根据一示例性实施例示出的一种嘴巴定位方法的流程图。如图5所示,在图5所示实施例的基础上,本公开涉及的嘴巴定位方法可以包括以下步骤501-505:
在步骤501中,基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;
在步骤502中,将轮廓点进行曲线拟合,得到嘴巴对应的轮廓线;
在步骤503中,确定轮廓线的中点的位置偏差;
在步骤504中,根据轮廓线的中点的位置偏差,确定轮廓点的调整位置;
需要说明的是,步骤501-504的执行方式可以参见图2所示实施例中对于步骤201-204的说明,在此不再赘述。
在步骤505中,将轮廓点的调整位置进行曲线拟合,得到嘴巴对应的调整后的轮廓线。
示例的,将调整后的轮廓点重新拟合三次曲线,得到嘴唇的精确轮廓线,参见图6示出的嘴巴对应的调整后的轮廓线。
本公开的实施例提供的技术方案,在确定基于人脸关键点定位算法得到的轮廓点的调整位置之后,将轮廓点的调整位置进行曲线拟合,得到嘴巴对应的调整后的轮廓线,调整后的轮廓线准确定位了嘴巴的位置,从而保证依赖于嘴巴定位的自动唇彩功能及自动嘴型功能等美颜功能的美颜效果,提高用户体验。
下述为本公开装置实施例,可以用于执行本公开方法实施例。
图7是根据一示例性实施例示出的一种嘴巴定位装置的框图,该装置可以采用各种方式来实施,例如在终端或服务器中实施装置的全部组件,或者,在终端或服务器侧以耦合的方式实施装置中的组件;该装置可以通过软件、硬件或者两者的结合实现上述本公开涉及的方法,如图7所示,该嘴巴定位装置包括:定位模块701、第一曲线拟合模块702、第一确定模块703及第二确定模块704,其中:
定位模块701被配置为基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;
第一曲线拟合模块702被配置为将轮廓点进行曲线拟合,得到嘴巴对应的轮廓线;
第一确定模块703被配置为确定轮廓线的中点的位置偏差;
第二确定模块704被配置为根据轮廓线的中点的位置偏差,确定轮廓点的调整位置。
本公开实施例提供的装置能够用于执行图2所示实施例的技术方案,其执行方式和有益效果类似,此处不再赘述。
在一种可能的实施方式中,如图8所示,图7示出的嘴巴定位装置还可以包括把第一确定模块703配置成包括:第一确定子模块801、第二确定子模块802及第三确定子模块803,其中:
第一确定子模块801被配置为确定轮廓线的中点及轮廓线在中点的垂线;
第二确定子模块802被配置为计算垂线上各点的梯度,将梯度最大的点确定为中点的调整位置;
第三确定子模块803被配置为根据中点的调整位置,确定中点的位置偏差。
在一种可能的实施方式中,如图9所示,图7示出的嘴巴定位装置还可以包括把第二确定模块704配置成包括:第四确定子模块901及第五确定子模块902,其中:
第四确定子模块901被配置为根据轮廓线的中点的位置偏差、轮廓点与轮廓线的端点的距离及中点与轮廓线的端点的距离,确定轮廓点的位置偏差;
第五确定子模块902被配置为根据轮廓点的位置偏差,确定轮廓点的调整位置。
在一种可能的实施方式中,第四确定子模块901:计算轮廓点与轮廓线的端点的距离与中点与轮廓线的端点的距离的比值,计算比值与中点的位置偏差的乘积,得到轮廓点的位置偏差。
在一种可能的实施方式中,如图10所示,图7示出的嘴巴定位装置还可以包括:第二曲线拟合模块1001,被配置为将轮廓点的调整位置进行曲线拟合,得到嘴巴对应的调整后的轮廓线。
图11是根据一示例性实施例示出的一种嘴巴定位装置1100的框图,嘴巴定位装置1100适用于终端或服务器,嘴巴定位装置1100包括:
处理器1101;
用于存储处理器可执行指令的存储器1102;
其中,处理器1101被配置为:
接收至少一个设备发送的设备信息;
在设备信息的关键字与预设关键字匹配时,获取与预设关键字对应的推送时间;
在推送时间向终端推送设备信息。
示例的,轮廓线的曲线类型包括三次拟合曲线。
示例的,轮廓线包括:上嘴唇的上边界、上嘴唇的下边界、下嘴唇的上边界及下嘴唇的下边界。
在一个实施例中,上述处理器1101还可被配置为:
基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;
将轮廓点进行曲线拟合,得到嘴巴对应的轮廓线;
确定轮廓线的中点的位置偏差;
根据轮廓线的中点的位置偏差,确定轮廓点的调整位置。
在一个实施例中,上述处理器1101还可被配置为:
确定轮廓线的中点及轮廓线在中点的垂线;
计算垂线上各点的梯度,将梯度最大的点确定为中点的调整位置;
根据中点的调整位置,确定中点的位置偏差。
在一个实施例中,上述处理器1101还可被配置为:
根据轮廓线的中点的位置偏差、轮廓点与轮廓线的端点的距离及中点与轮廓线的端点的距离,确定轮廓点的位置偏差;
根据轮廓点的位置偏差,确定轮廓点的调整位置。
在一个实施例中,上述处理器1101还可被配置为:
计算轮廓点与轮廓线的端点的距离与中点与轮廓线的端点的距离的比值;
计算比值与中点的位置偏差的乘积,得到轮廓点的位置偏差。
在一个实施例中,上述处理器1101还可被配置为:根据轮廓线的中点的位置偏差,确定轮廓点的调整位置之后,将轮廓点的调整位置进行曲线拟合,得到嘴巴对应的调整后的轮廓线。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图12是根据一示例性实施例示出的一种嘴巴定位装置的框图;嘴巴定位装置1200适用于终端;嘴巴定位装置1200可以包括以下一个或多个组件:处理组件1202,存储器1204,电源组件1206,多媒体组件1208,音频组件1210,输入/输出(I/O)的接口1212,传感器组件1214,以及通信组件1216。
处理组件1202通常控制嘴巴定位装置1200的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1202可以包括一个或多个模块,便于处理组件1202和其他组件之间的交互。例如,处理组件1202可以包括多媒体模块,以方便多媒体组件1208和处理组件1202之间的交互。
存储器1204被配置为存储各种类型的数据以支持在嘴巴定位装置1200的操作。这些数据的示例包括用于在嘴巴定位装置1200上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1206为嘴巴定位装置1200的各种组件提供电力。电源组件1206可以包括电源管理系统,一个或多个电源,及其他与为嘴巴定位装置1200生成、管理和分配电力相关联的组件。
多媒体组件1208包括在嘴巴定位装置1200和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1208包括一个前置摄像头和/或后置摄像头。当嘴巴定位装置1200处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1210被配置为输出和/或输入音频信号。例如,音频组件1210包括一个麦克风(MIC),当嘴巴定位装置1200处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中,音频组件1210还包括一个扬声器,用于输出音频信号。
I/O接口1212为处理组件1202和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1214包括一个或多个传感器,用于为嘴巴定位装置1200提供各个方面的状态评估。例如,传感器组件1214可以检测到嘴巴定位装置1200的打开/关闭状态,组件的相对定位,例如组件为嘴巴定位装置1200的显示器和小键盘,传感器组件1214还可以检测嘴巴定位装置1200或嘴巴定位装置1200一个组件的位置改变,用户与嘴巴定位装置1200接触的存在或不存在,嘴巴定位装置1200方位或加速/减速和嘴巴定位装置1200的温度变化。传感器组件1214可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1214还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1216被配置为便于嘴巴定位装置1200和其他设备之间有线或无线方式的通信。嘴巴定位装置1200可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件1216还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,嘴巴定位装置1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1204,上述指令可由嘴巴定位装置1200的处理器1220执行以完成上述方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当存储介质中的指令由嘴巴定位装置1200的处理器执行时,使得嘴巴定位装置1200能够执行如下嘴巴定位方法,方法包括:
基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;
将轮廓点进行曲线拟合,得到嘴巴对应的轮廓线;
确定轮廓线的中点的位置偏差;
根据轮廓线的中点的位置偏差,确定轮廓点的调整位置。
图13是根据一示例性实施例示出的一种嘴巴定位装置的框图。例如,嘴巴定位装置1300可以被提供为一服务器。嘴巴定位装置1300包括处理组件1302,其进一步包括一个或多个处理器,以及由存储器1303所代表的存储器资源,用于存储可由处理组件1302的执行的指令,例如应用程序。存储器1303中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1302被配置为执行指令,以执行上述方法。
嘴巴定位装置1300还可以包括一个电源组件1306被配置为执行嘴巴定位装置1300的电源管理,一个有线或无线网络接口1305被配置为将嘴巴定位装置1300连接到网络,和一个输入输出(I/O)接口1308。嘴巴定位装置1300可以操作基于存储在存储器1303的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种嘴巴定位方法,其特征在于,包括:
基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;
将所述轮廓点进行曲线拟合,得到所述嘴巴对应的轮廓线;
确定所述轮廓线的中点的位置偏差;
根据所述轮廓线的中点的位置偏差,确定所述轮廓点的调整位置。
2.根据权利要求1所述的方法,其特征在于,所述确定所述轮廓线的中点的位置偏差,包括:
确定所述轮廓线的中点及所述轮廓线在所述中点的垂线;
计算所述垂线上各点的梯度,将梯度最大的点确定为所述中点的调整位置;
根据所述中点的调整位置,确定所述中点的位置偏差。
3.根据权利要求1所述的方法,其特征在于,所述根据所述轮廓线的中点的位置偏差,确定所述轮廓点的调整位置,包括:
根据所述轮廓线的中点的位置偏差、所述轮廓点与所述轮廓线的端点的距离及所述中点与所述轮廓线的端点的距离,确定所述轮廓点的位置偏差;
根据所述轮廓点的位置偏差,确定所述轮廓点的调整位置。
4.根据权利要求3所述的方法,其特征在于,所述根据所述轮廓线的中点的位置偏差、所述轮廓点与所述轮廓线的端点的距离及所述中点与所述轮廓线的端点的距离,确定所述轮廓点的位置偏差,包括:
计算所述轮廓点与所述轮廓线的端点的距离与所述中点与所述轮廓线的端点的距离的比值;
计算所述比值与所述中点的位置偏差的乘积,得到所述轮廓点的位置偏差。
5.根据权利要求1所述的方法,其特征在于,所述根据所述轮廓线的中点的位置偏差,确定所述轮廓点的调整位置之后,所述方法还包括:
将所述轮廓点的调整位置进行曲线拟合,得到所述嘴巴对应的调整后的轮廓线。
6.根据权利要求1所述的方法,其特征在于,所述轮廓线的曲线类型包括三次拟合曲线。
7.根据权利要求1所述的方法,其特征在于,所述轮廓线包括:上嘴唇的上边界、上嘴唇的下边界、下嘴唇的上边界及下嘴唇的下边界。
8.一种嘴巴定位装置,其特征在于,包括:
定位模块,用于基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;
第一曲线拟合模块,用于将所述轮廓点进行曲线拟合,得到所述嘴巴对应的轮廓线;
第一确定模块,用于确定所述轮廓线的中点的位置偏差;
第二确定模块,用于根据所述轮廓线的中点的位置偏差,确定所述轮廓点的调整位置。
9.根据权利要求8所述的装置,其特征在于,所述第一确定模块,包括:
第一确定子模块,用于确定所述轮廓线的中点及所述轮廓线在所述中点的垂线;
第二确定子模块,用于计算所述垂线上各点的梯度,将梯度最大的点确定为所述中点的调整位置;
第三确定子模块,用于根据所述中点的调整位置,确定所述中点的位置偏差。
10.根据权利要求8所述的装置,其特征在于,所述第二确定模块,包括:
第四确定子模块,用于根据所述轮廓线的中点的位置偏差、所述轮廓点与所述轮廓线的端点的距离及所述中点与所述轮廓线的端点的距离,确定所述轮廓点的位置偏差;
第五确定子模块,用于根据所述轮廓点的位置偏差,确定所述轮廓点的调整位置。
11.根据权利要求10所述的装置,其特征在于,所述第四确定子模块:计算所述轮廓点与所述轮廓线的端点的距离与所述中点与所述轮廓线的端点的距离的比值,计算所述比值与所述中点的位置偏差的乘积,得到所述轮廓点的位置偏差。
12.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第二曲线拟合模块,用于将所述轮廓点的调整位置进行曲线拟合,得到所述嘴巴对应的调整后的轮廓线。
13.一种嘴巴定位装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
基于人脸关键点定位算法对图片中嘴巴进行定位,得到嘴巴对应的轮廓点;
将所述轮廓点进行曲线拟合,得到所述嘴巴对应的轮廓线;
确定所述轮廓线的中点的位置偏差;
根据所述轮廓线的中点的位置偏差,确定所述轮廓点的调整位置。
14.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
CN201710561708.8A 2017-07-11 2017-07-11 嘴巴定位方法及装置 Active CN107403144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710561708.8A CN107403144B (zh) 2017-07-11 2017-07-11 嘴巴定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710561708.8A CN107403144B (zh) 2017-07-11 2017-07-11 嘴巴定位方法及装置

Publications (2)

Publication Number Publication Date
CN107403144A true CN107403144A (zh) 2017-11-28
CN107403144B CN107403144B (zh) 2020-09-11

Family

ID=60405454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710561708.8A Active CN107403144B (zh) 2017-07-11 2017-07-11 嘴巴定位方法及装置

Country Status (1)

Country Link
CN (1) CN107403144B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509866A (zh) * 2018-03-12 2018-09-07 华南理工大学 一种人脸轮廓提取方法
CN108776957A (zh) * 2018-05-25 2018-11-09 北京小米移动软件有限公司 人脸图像处理方法及装置
CN109409262A (zh) * 2018-10-11 2019-03-01 北京迈格威科技有限公司 图像处理方法、图像处理装置、计算机可读存储介质
CN109472228A (zh) * 2018-10-29 2019-03-15 上海交通大学 一种基于深度学习的哈欠检测方法
CN110119457A (zh) * 2019-05-17 2019-08-13 北京字节跳动网络技术有限公司 用于生成信息的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339606A (zh) * 2008-08-14 2009-01-07 北京中星微电子有限公司 一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置
CN101968846A (zh) * 2010-07-27 2011-02-09 上海摩比源软件技术有限公司 一种人脸跟踪方法
CN102711626A (zh) * 2010-01-07 2012-10-03 株式会社日立医疗器械 医用图像诊断装置和医用图像的轮廓提取处理方法
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及系统
CN102756209A (zh) * 2011-04-28 2012-10-31 铃木株式会社 图像处理装置以及图像处理方法
EP2834789A2 (de) * 2012-04-03 2015-02-11 GEA Farm Technologies GmbH Verfahren und vorrichtung zur optischen bestimmung einer position und/oder orientierung eines objekts im raum
CN106373128A (zh) * 2016-09-18 2017-02-01 上海斐讯数据通信技术有限公司 一种嘴唇精确定位的方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339606A (zh) * 2008-08-14 2009-01-07 北京中星微电子有限公司 一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置
CN102711626A (zh) * 2010-01-07 2012-10-03 株式会社日立医疗器械 医用图像诊断装置和医用图像的轮廓提取处理方法
CN101968846A (zh) * 2010-07-27 2011-02-09 上海摩比源软件技术有限公司 一种人脸跟踪方法
CN102756209A (zh) * 2011-04-28 2012-10-31 铃木株式会社 图像处理装置以及图像处理方法
EP2834789A2 (de) * 2012-04-03 2015-02-11 GEA Farm Technologies GmbH Verfahren und vorrichtung zur optischen bestimmung einer position und/oder orientierung eines objekts im raum
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及系统
CN106373128A (zh) * 2016-09-18 2017-02-01 上海斐讯数据通信技术有限公司 一种嘴唇精确定位的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIN MEI-SHAN 等: "An extracted human face algorithm for facial features potential distribution", 《2012 2ND INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS, COMMUNICATIONS AND NETWORKS (CECNET)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509866A (zh) * 2018-03-12 2018-09-07 华南理工大学 一种人脸轮廓提取方法
CN108509866B (zh) * 2018-03-12 2020-06-19 华南理工大学 一种人脸轮廓提取方法
CN108776957A (zh) * 2018-05-25 2018-11-09 北京小米移动软件有限公司 人脸图像处理方法及装置
CN109409262A (zh) * 2018-10-11 2019-03-01 北京迈格威科技有限公司 图像处理方法、图像处理装置、计算机可读存储介质
CN109472228A (zh) * 2018-10-29 2019-03-15 上海交通大学 一种基于深度学习的哈欠检测方法
CN110119457A (zh) * 2019-05-17 2019-08-13 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110119457B (zh) * 2019-05-17 2021-08-10 北京字节跳动网络技术有限公司 用于生成信息的方法和装置

Also Published As

Publication number Publication date
CN107403144B (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
EP2977959B1 (en) Method and device for adjusting skin color
CN105550637B (zh) 轮廓点定位方法及装置
CN107464253A (zh) 眉毛定位方法及装置
WO2020088069A1 (zh) 手势关键点检测方法、装置、电子设备及存储介质
CN107403144A (zh) 嘴巴定位方法及装置
CN105205479A (zh) 人脸颜值评估方法、装置及终端设备
CN104484858B (zh) 人物图像处理方法及装置
CN104036240B (zh) 人脸特征点的定位方法和装置
CN105631403A (zh) 人脸识别方法及装置
CN105405427A (zh) 设备亮度调节方法及装置
CN107155060A (zh) 图像处理方法及装置
CN107680033A (zh) 图片处理方法及装置
CN104639843A (zh) 图像处理方法及装置
CN107492115A (zh) 目标对象的检测方法及装置
CN107330868A (zh) 图片处理方法及装置
CN107688781A (zh) 人脸识别方法及装置
CN104077563B (zh) 人脸识别方法和装置
CN104850852A (zh) 特征向量计算方法和装置
US20180107869A1 (en) Method and apparatus for identifying gesture
CN107958223A (zh) 人脸识别方法及装置、移动设备、计算机可读存储介质
CN104461014A (zh) 屏幕解锁方法及装置
CN105069089A (zh) 图片检测方法及装置
CN107944367A (zh) 人脸关键点检测方法及装置
CN108108671A (zh) 产品说明信息获取方法及装置
CN104598534A (zh) 图片折叠方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant