CN107087104B - 面部区域的影像处理方法以及使用此方法的电子装置 - Google Patents

面部区域的影像处理方法以及使用此方法的电子装置 Download PDF

Info

Publication number
CN107087104B
CN107087104B CN201710235668.8A CN201710235668A CN107087104B CN 107087104 B CN107087104 B CN 107087104B CN 201710235668 A CN201710235668 A CN 201710235668A CN 107087104 B CN107087104 B CN 107087104B
Authority
CN
China
Prior art keywords
mentioned
image
masks
morphing
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710235668.8A
Other languages
English (en)
Other versions
CN107087104A (zh
Inventor
林劲甫
戴伯灵
李怀哲
武景龙
阙鑫地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/974,912 external-priority patent/US9049355B2/en
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN107087104A publication Critical patent/CN107087104A/zh
Application granted granted Critical
Publication of CN107087104B publication Critical patent/CN107087104B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提出一种瘦脸方法,用于由一电子装置拍摄的一影像序列中,包含:拍摄一系列的影像;从每一影像中检测出一使用者的一面部区域;定义相应于上述面部区域的一变形遮罩的范围;调整每一影像中落入上述变形遮罩中的上述面部区域的一尺寸;以及编码上述调整后的影像成为一视频串流,其中针对每一影像调整上述面部区域的步骤中,还包含:为落入上述变形遮罩中的每一像素决定一目标像素,其中上述目标像素较上述像素距离上述变形遮罩中心点的长度更长;以及依据上述目标像素的一色彩值调整上述像素的一色彩值。

Description

面部区域的影像处理方法以及使用此方法的电子装置
本申请是以下专利申请的分案申请:申请号:201310418338.4,申请日:2013年9月13日,发明名称:面部区域的影像处理方法以及使用此方法的电子装置。
技术领域
本发明是关于一种电子装置及其方法,用以调整影像中面部区域的方法,特别是一种电子装置及其方法,用以根据变形遮罩(distortion mask)降低或减少面部区域中的透视变形(perspective distortion)。
背景技术
广角相机(wide-angle cameras)通常被广为使用以于聚焦镜较小的情况下增加景深,以及减少镜片的厚度。所以,广角相机在手机相机的应用上变得越来越广泛。然而,当近距离拍摄立体物体时,由于焦距短而使得广角相机有着容易造成透视变形的缺点。这样的现象通常发生在视频聊天的应用上,因为于聊天时,使用者的脸通常接近相机,使得使用者的脸相较于远距离拍摄时会显得更大(或者是更宽)。因此,需要一种减少或消除面部区域因为使用广角相机近距离拍摄所产生的透视变形现象(perspective distortion)的方法。此外,从近代审美的品味来说,较瘦的脸通常被认为具有较佳的美感。此外,为了要让显示出的脸更具美感,本发明还提出一种瘦脸的方法,用以产生具有较瘦的脸的影像。
发明内容
本发明的实施例提出一种瘦脸方法,应用于由电子装置拍摄的一系列影像中。此流程开始于从影像系列中接收一张目前影像,并且检测对应于目前影像的面部区域的至少一个面部特征。比较目前影像中的面部特征以及参考特征,并且据以调整变形遮罩。接着,依据变形遮罩调整目前影像中的面部区域的一尺寸,其中,变形遮罩对应于面部特征的位置。
本发明的实施例还提出一种电子装置,包含:相机模块、影像处理模块以及影像输出模块。相机模块用来拍摄一系列影像,其中包含使用者的脸。影像处理模块用来接收此影像系列,为每一目前影像决定面部区域的至少一个面部特征,比较目前影像中的面部特征以及参考特征,依据以上的比较结果调整面部区域的尺寸。影像输出模块用来传送此系列的调整后的影像。
本发明的实施例还提出一种影像处理方法,使用于电子装置中。此方法包含拍摄一系列影像,并且从每一影像中检测出使用者的面部区域。定义对应于面部区域的变形遮罩的范围,调整每一影像中落入变形遮罩中的面部区域的尺寸,以及编码调整后的影像成为一视频串流。
附图说明
图1是依据本发明实施例的用以产生具有较小或降低的透视变形的视频画面的系统方块图。
图2是依据本发明实施例的变形遮罩产生示意图。
图3显示在变形遮罩中的透视变形的示意图。
图4显示从相机模块所拍摄的影像中所产生的变形遮罩。
图5显示使用像素登记模块所得到的调整前与调整后的范例影像。
图6显示用以稳定对象特征信息的整体处理流程。
图7显示特征稳定判定的示意图。
图8是依据本发明实施例的依据稳定后的面部特征来调整变形遮罩中的面部区域的方法流程图。
图9显示用以稳定面部特征信息的范例流程图。
图10为应用于位置/长度特征的判定上的空间条件检查示意图。
图11为应用于角度特征的判定上的空间条件检查示意图。
图12是依据本发明实施例的中央处理单元/图形处理单元混和式处理架构图。
[标号说明]
10~装置; 110~相机模块;
120~面部检测与追踪模块;
130~变形还原模块; 131~变形遮罩产生模块;
132~像素登记模块; 140~结果影像;
C1~主要控制圆; C2~凹进控制圆;
200~变形遮罩; 210~人中位置;
220~主要控制圆半径; 230~凹进控制圆心;
240~单元偏移; 250~凹进控制圆半径;
260~角度; 300~变形遮罩;
400~影像; 410~变形遮罩;
510~原始影像; 520~处理过的影像;
610~相机模块; 620~画面缓冲器;
621~影像; 630~面部检测与追踪模块;
631~面部检测模块; 632~面部区域;
633~面部特征检测模块; 634~原始面部特征信息;
640~特征稳定模块; 641~空间条件判定模块;
642~不稳定计数值; 643~时间条件判定模块;
644~输出特征位置; 650~面部区域;
651~变形遮罩产生模块; 652~变形遮罩信息;
653~像素注册模块; 654~调整过的影像;
660~影像输出模块; 700~稳定窗口;
710~参考特征位置; 720~目前的特征位置;
S811~S843~方法步骤; 901~目前面部特征;
902~参考面部特征; 910~面部移动检查模块;
920~稳定条件检查模块; 930~人中位置稳定模块;
940~脸颊宽度稳定模块; 950~下巴长度稳定模块;
960~角度稳定模块; 970~特征重设模块;
A10、B10~窗口; C10~画面缓存区;
C20~色彩转换模块; C30~面部前处理模块;
C40~图形处理单元/中央处理单元通讯缓存区;
C50~面部后处理模块; C60~色彩转换模块。
具体实施方式
以下说明为完成发明的较佳实现方式,其目的在于描述本发明的基本精神,但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
虽然本发明的实施例辅以图示来进行描述,但是发明并不受图示所局限,而只受到权利要求范围的限制。以下图示说明只为了示意,而非用以限缩。
必须了解的是,使用于本说明书中的“包含”、“包括”等词,是用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件,但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件,或以上的任意组合。
图1是依据本发明实施例的用以产生具有较小或降低的透视变形的视频画面(video frame)的系统方块图。装置10可实施面部处理方法,以及包含至少两个主要模块,例如面部检测与追踪模块120及变形还原模块130。面部检测与追踪模块120分析储存于画面缓冲器(frame buffer)中由相机模块110拍摄的影像,追踪影像中出现了几张脸,以及针对每一张脸的面部特征,例如,转角(roll angle)、左脸颊位置、右脸颊位置、人中(philtrum)位置、下巴位置、任两个位置间的长度,或其它参数,以及输出追踪结果至变形还原模块130。相机模块110可包含影像感测器,例如,互补式金属氧化物半导体(complementarymetal-oxide-semiconductor,CMOS)、电荷耦合元件(charge-coupleddevice,CCD)等感测器,用以感测由红、绿、蓝光强度所形成的影像,以及包含读取电子电路,用以从影像感测器搜集感测到的数据。面部检测与追踪模块120及变形还原模块130可于初始化实时视频通讯应用程序时启动,此实时视频通讯应用程序可用以拍摄位于相机模块110前方的脸,并且将拍摄到的影像传送至对口装置(peer device),例如,远程笔记本型计算机、远程手机等,用以于视频对话时显示。
变形还原模块130可包含变形遮罩产生模块131以及像素登记模块132。变形遮罩产生模块131可依据从面部检测及追踪模块120接收的信息定义变形遮罩。像素登记模块132可采用算法调整所定义的变形遮罩中的影像像素,用以减少或消除面部区域中的透视变形,并且输出结果影像140。如上所述的模块110、120、130、131及132可被整合至一个外壳中而成为一个电子装置,例如,笔记本型计算机、手机或其它的电子装置。如上所述的模块110、120、130、131及132可以如下所述的任一方式实施。例如,可使用硬件、软件或两者的结合来实施。需要理解的是,用于执行如上/之后所述功能的任何元件或多个元件形成的集合,可被概念上视为执行如上/之后所述功能的控制器。控制器可以采用数种方式实施,例如,专用设计的硬件,或可执行微指令(microcode)或软件的一般通用的硬件(一或多个处理器等),用以执行如上/之后所述功能。面部检测与追踪模块120及变形还原模块130可被集合起来视为影像处理模块。
图2是依据本发明实施例的变形遮罩产生示意图。变形遮罩产生模块131可接收关于由面部检测与追踪模块120所检测到的一张脸的面部特征信息,并据以产生如图2或图3所示的弦月形遮罩200或300。变形遮罩200的中心点210可由从面部检测与追踪模块120所接收到的人中的位置来决定,而用以表示枕状变形(pincushion distortion)强度的变形遮罩200的半径220可依据接收到的人中位置及左脸颊位置之间的长度、人中位置及右脸颊位置之间的长度、或以上两个长度的平均值来决定。例如,变形遮罩200的半径220可以是人中位置与左/右脸颊位置间的长度加上一段预定长度、人中位置与左脸颊位置间的长度以及人中位置与右脸颊位置间的长度的最大值再加上一段预定长度、或是其它的计算结果。图3显示变形遮罩的透视变形(perspective distortion)的示意图。图4显示从相机模块110所拍摄的影像400中所产生的变形遮罩410。由此可观察出变形遮罩410涵盖了大约在人中以及脸颊以下的面部区域。最后,像素登记模块132逐点扫描存在于变形遮罩410中的每一个像素,为每一个像素决定一个目标像素,所决定的目标像素较此像素距离变形遮罩410的中心点的长度更长,以及依据目标像素的色彩值调整此像素的色彩值。以上所述的作业可以被当作是一种调整面部区域尺寸的瘦脸(face-slimming)方法。图5显示使用像素登记模块132所得到的调整前与调整后的范例影像。左边的影像510为由相机模块110所拍摄的原始影像,而右边的影像520为由像素登记模块132使用瘦脸方法所处理过的影像。也就是说,从图5可以发现目前影像中被变形遮罩410所涵盖的面部区域的面积被调整成较未调整影像中的面部区域来得小,造成脸看起来较瘦。需注意的是,本发明并非局限使用如上所述的瘦脸技术,任何可依据本发明实施例所提出的使用面部遮罩的面部变形(facemorphing)技术,亦在范围内。
像素登记模块132所使用的变形遮罩产生方法,搭配图2描述如下。以下所述为输入参数。
效果控制器α(主要控制圆C1)
α1圆心坐标
α2变形位准
α3变形半径
角度控制器β(凹进控制圆C2)
β1关联于影像x平面的凹进角度
β2凹进控制圆心的单位距离偏移
β3单位度量
主要控制圆C1为如图2所示左下方的圆圈,而凹进控制圆C2为如图2所示右上方的圆圈。圆心坐标α1可以是由面部检测与追踪模块120识别出的人中位置,可参考图2中的210位置。变形半径α2系事先定义好的常数。
变形位准α2可使用以下的公式(1)定义:
α2=typeweight(1.1+0.1(level))α3 0.3
在这里,当面部检测与追踪模块120决定目标面部为一张瘦脸时,变量“typeweight”设为0.5,否则,设为1.0。于另一些实施例中,可依据检测到的面部区域的原始大小将变量“typeweight”设为其它的值。变量“level”为事先决定从0到10之间的一个值。
β2为事先决定从0到1之间的一个值,例如0.55,用以代表距离凹进控制圆心230的单元偏移240。
单位度量β3可使用以下的公式(2)及(3)定义:
β3=1.1/(1/distortion ratio);
distortion ratio=(chin distance/cheek distance)。
变量“chin distance”代表由面部检测与追踪模块120所识别出人中位置与下巴位置之间的长度,变量“cheek distance”代表由面部检测与追踪模块120所识别出人中位置与左/右脸颊位置间的长度。
像素登记模块132用来进行变形瘦脸的算法描述如下。
针对每一个于Pi(x,y)的像素i:
1.计算从Pi(x,y)至C1圆心α1:(x1,y1)的长度d1
2.计算从Pi(x,y)至C2圆心的长度d2
其中,C2=α1+(α3*[cosβ1,Sinβ1,])*β2
3.依据以下程序计算目标坐标P(x’,y’)并取得其像素值i’的以作为一个参考值:
(1)决定初始目标坐标为Pt=Pi*(1+d12);
(2)决定效果比率为此为控制线性混和比率(controllinearblending ratio),介于0.0至1.0之间;
(3)决定目标坐标为P(x’,y’)=r*(Pt)+(1-r)*(Pi);
(4)依据于决定出的目标坐标为P(x’,y’)的色彩值调整于Pi(x,y)的色彩值。
面部特征信息,例如面部区域、眼睛位置、鼻子位置、两个位置间(如人中与左/右脸颊间)的长度,是由如上所述的面部检测与追踪模块120中的人脸检测引擎进行检测。
然而,面部特征数据会随着不同时间拍摄的影像而有所变化,而且对于后续的变形瘦脸处理可能不够稳定。图6显示用以稳定对象特征信息的整体处理流程。面部检测与追踪模块630包含面部检测模块631及面部特征检测模块633。面部检测模块631决定有几张脸出现于从画面缓冲器620取得的影像621中,此影像是由相机模块610拍摄,接着,输出检测到的面部区域632至面部特征检测模块633。针对每一个检测到的面部区域632,面部特征检测模块633使用对象检测算法检测面部特征633,例如AdaBoost算法、以规则为基础的算法(rule-based algorithms)、或其它算法。原始的面部特征信息634接着被传送到特征稳定模块640进行微调。一开始,举例来说,输入影像621中所检测到的特征位置被设定为参考特征位置。接着,(请参考图7的显示特征稳定判定的示意图),包含在参考特征位置710的特定区域设定为稳定窗口700。如果目前的特征位置720落入于窗口700中,参考特征位置则被设定为输出特征位置644,以供变形还原模块650使用。结果,变形遮罩产生模块651依据参考特征位置定义变形遮罩的范围。或者是,如果没有特征信息被输出时,变形遮罩产生模块651再使用之前定义的变形遮罩。也就是说,当检测到的脸并没有移动超出容忍的区域时,此时使用的变形遮罩与之前使用者遮罩相同。特征稳定模块640中的空间条件判定模块(spatial condition determination module)641计算相符结果的持续数目。如果目前特征位置超出了稳定窗口700,则不稳定计数值642加一。否则,不稳定计数值642设为零。接着,不稳定计数值642输出至时间条件判定模块(temporal condition determinationmodule)643。如果特征位置的不稳定计数值642大于阈值,则时间条件判定模块643将参考特征位置重新设定至目前特征位置,并且设定目前特征位置为输出特征位置644。因此,输出位置信息644被传送到变形还原模块650,并且为了因应检测到脸部在预定数目的连续影像中皆移动超出容忍范围,变形遮罩产生模块651依据目前特征位置重新定义变形遮罩的范围。之后,像素注册模块653使用如上所述的算法调整影像621中变形遮罩的区域,并且影像输出模块660输出调整过的影像654。影像输出模块660还可对调整影像654进行编码并产生视频串流,用以于无线网络上传输。影像输出模块660可于其中实施视频编码技术,例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264、AVC(Advanced VideoCoding,先进视频编码)、HEVC(High Efficiency Video Coding,高效视频编码)等组织所制定的标准,以及这些标准的扩充。无线网络可乘载视频串流至对口装置。例如,使用GPRS(General PacketRadio Service,通用封包无线服务)、UMTS(Universal Mobile TelecommunicationsSystem,全球移动通讯系统)、TD-SCDMA(Time Division-Synchronous Code DivisionMultiple Access,时分-同步码分多址接入)、LTE(Long Term Evolution,长程演进)等标准或这些标准的扩充。对口装置可以是远程笔记本型计算机、远程手机或其它电子装置。如上所述的模块610、620、630、640、650及660可被整合至一个外壳中而成为一个电子装置,例如,笔记本型计算机、手机或其它的电子装置。如上所述的模块630、640及650可以如下所述的任一方式实施。例如,可使用硬件、软件或两者的结合来实施。需要理解的是,用于执行如上/之后所述功能的任何元件或多个元件形成的集合,可被概念上视为执行如上/之后所述功能的控制器。控制器可以采用数种方式实施,例如,专用设计的硬件,或可执行微指令或软件的一般通用的硬件(一或多个处理器等),用以执行如上/之后所述功能。以上所述模块630、640及650可被集合起来视为影像处理模块。
图8是依据本发明实施例的依据稳定后的面部特征来调整变形遮罩中的面部区域的方法流程图。此方法开始于由面部检测模块631从画面缓冲器620接收影像序列的一个目前影像(步骤S811)。面部检测模块631检测存在于目前影像中的面部区域,并输出至面部特征检测模块633(步骤S812)。面部特征检测模块633检测存在于面部区域中的面部特征,并输出至空间条件判定模块641(步骤S813)。空间条件判定模块641决定检测到的面部特征与参考特征间的差异(步骤S814),并决定此差异是否高于空间阈值(步骤S821)。若是,则空间条件判定模块641将不稳定计数值加一,并且输出至时间条件判定模块643(步骤S831);否则,此流程继续执行步骤S841的“否”条件分支,之后的处理将于以后描述。“面部特征”一词于此定义为一或多个参数值的集合,而且“参考面部特征”一词也是定义为一或多个参数值的集合。时间条件判定模块643决定不稳定计数值是否高于时间阈值(步骤S832)。若是,则将参考面部特征设为目前面部特征(步骤S833),变形遮罩产生模块651以新的参考面部特征重新定义变形遮罩的范围(步骤S834),像素登记模块653则依据重新定义的变形遮罩调整面部区域(步骤S843)。否则,直接输出参考面部特征(步骤S842),像素登记模块653则依据原来的变形遮罩调整面部区域(步骤S843)。请参考回步骤S821,如果检测到的差异不高于空间阈值,空间条件判定模块641将不稳定计数值设为零(步骤S841),输出参考面部特征(步骤S842),像素登记模块653则依据原来的变形遮罩调整面部区域(步骤S843)。本领域技术人员应该理解,当拍摄到的脸移出可容许范围一段短时间后又移动回原来的位置时,以上所述的时间条件判定可用以避免无谓的变形遮罩调整,而此短时间的设定是使用时间阈值控制。
稳定条件需求会根据不同的对象类型而有所不同。图9显示用以稳定面部特征信息的范例流程图。第一个步骤由面部移动检查模块910执行,藉由比较参考面部特征902(于处理之前的影像时决定)与目前面部特征901来决定拍摄到的脸是否已经移动。若是(亦可视为处于面部移动状态),则执行包含模块920至960的稳定程序。于稳定程序中,稳定条件检查模块920执行两个稳定条件判断,用以为后续的调整提升特征的稳定性。稳定条件检查模块920首先检查如上所述的空间条件,接着检查如上所述的时间条件。图10为应用于位置/长度特征的判定上的空间条件检查示意图,例如,人中位置、脸颊长度、下巴长度或以上的任意组合。窗口A10的设定是根据参考位置/长度特征902(于处理之前的影像时决定)以及事先决定的步长值(step value)。如果目前位置/长度特征901落入到窗口A10中(亦可视为处于些微移动状态),则维持参考位置/长度特征902不变,并且将不稳定计数值设为零。于重设处理中,特征重设模块970输出参考位置/长度902。否则,将不稳定计数值加一,以及相应于不稳定计数值高于阈值时(亦可视为处于剧烈移动状态),参考位置/长度特征902会依据目前位置/长度特征901被重新设定。例如,人中位置稳定模块930将参考人中位置设定为目前人中位置,或者更加上事先决定的步长值。脸颊宽度稳定模块940及下巴长度稳定模块950可执行类似的运算,用以分别调整参考脸颊宽度以及参考下巴长度。
图11为应用于角度特征的判定上的空间条件检查示意图,例如绕垂直轴旋转角度(yaw angle)、绕横轴旋转角度(pitch angle)以及绕纵轴旋转角度(rollangle)。窗口B10的设定是根据参考角度特征902(于处理之前的影像时决定)以及事先决定的步长值。如果目前角度特征901落入到窗口B10中(亦可视为处于些微移动状态),则维持参考角度特征902不变,并且将不稳定计数值设为零。于重设处理中,特征重设模块970输出参考角度902。否则,将不稳定计数值加一,以及相应于不稳定计数值高于阈值时(亦可视为处于剧烈移动状态),参考角度特征902会依据目前角度特征901被重新设定。例如,角度稳定模块960将参考角度特征902设定为目前角度,或者更加上事先决定的步长值。
为了实施如上所述的面部影像处理,例如瘦脸、产生变形遮罩、面部亮化、面部红化及相关算法,运算量将过于繁重。运算工作可分配给中央处理单元(CPU,centralprocessing unit)及图形处理单元(GPU,graphics processing unit)协同处理。中央处理单元及图形处理单元可利用纹理串流(streaming texture)技术进行彼此间的沟通。本发明实施例揭露多处理器的混和架构,用以处理上述的运算。图形处理单元或中央处理单元可包含多个运算逻辑单元(ALUs,arithmetic logic units)或处理“核”。这些处理单元拥有大量平行运算的能力。
图12是依据本发明实施例的中央处理单元/图形处理单元(hybrid CPU/GPU)混和式处理架构图。画面缓存区C10储存包含至少一张脸的来源影像。来源影像的色彩格式会因使用不同的软件/硬件平台而有所不同,例如,yuv420sp格式通常应用在相机拍摄以及视频录像中,而RGB565格式通常应用于使用者接口以及静态影像解码中。为了让处理中的色彩格式趋于一致,系统使用图形处理单元来执行色彩转换模块C20,用以将来源影像的色彩格式转换成其它可供处理的格式。因为HSI(hue,saturation and intensity)格式适合让面部处理算法使用,来源影像可被转换成HSI色彩格式。
于色彩转换后,每一张来源影像被传送至图形处理单元中的面部前处理模块C30。面部前处理模块C30中包含两个主要的处理:变形遮罩建构及面部色彩处理。因为图形处理单元是设计来执行平行像素存取,相较于中央处理单元,使用图形处理单元来执行以上所述的两个处理可获得较佳的效能。面部前处理模块C30用以绘制结果并储存至图形处理单元/中央处理单元通讯缓存区C40。图形处理单元/中央处理单元通讯缓存区C40可设置于动态存取存储器(random access memory,RAM)中,用以将纹理(texture)整理成串流数据,并且储存于图形处理单元/中央处理单元通讯缓存区C40中的数据可被图形处理单元及中央处理单元存取。图形处理单元/中央处理单元通讯缓存区C40可储存四个频道(channel)的影像,其中每一个像素使用32位作为表示。前三个频道用以储存HSI数据,而第四个频道用以储存以上所述的变形遮罩信息,其中,变形遮罩是由执行于中央处理单元或图形处理单元中的算法决定。变形遮罩可参考图4中的410,每个像素中的第四个频道可储存一个值,用以指示此像素是否落入变形遮罩中。
图形处理单元/中央处理单元通讯缓存区C40中所储存的数据系统图形处理单元中的面部前处理模块C30绘制,并被传送至中央处理单元。相较于图形处理单元,由于中央处理单元于动态存取存储器上拥有较高速的存储器输入/输出存取率(I/O access rate)并且拥有较高的运算能力,中央处理单元可较有效率地执行若干像素运算作业,例如,面部平滑(face smoothing)、消除油光(anti-shining)等。最后,中央处理单元于结束作业后,图形处理单元/中央处理单元通讯缓存区540中储存的数据会被传送至图形处理单元中的面部后处理模块C50,用以进行后制处理,例如瘦脸、或其它后制处理。图形处理单元中的色彩转换模块C60可将目前的色彩格式,例如HSI色彩格式,转换回原先来源影像所使用的色彩格式,接着,绘制出调整后的影像并储存至画面缓存区C10中。如上所述的中央处理单元/图形处理单元混和式处理架构,提供了较佳的效能以及较少的中央处理单元使用率。相较于仅使用中央处理单元,如上所述的减少或消除透视变形的整体效能可提升四倍。
虽然本发明使用以上实施例进行说明,但需要注意的是,这些描述并非用以限缩本发明。相反地,此发明涵盖了本领域技术人员显而易见的修改与相似设置。所以,申请权利要求范围须以最宽广的方式解释来包含所有显而易见的修改与相似设置。

Claims (6)

1.一种瘦脸方法,用于由一电子装置拍摄的一影像序列中,包含:
拍摄一系列的影像;
从每一影像中检测出一使用者的一面部区域;
定义相应于上述面部区域的一变形遮罩的范围;
调整每一影像中落入上述变形遮罩中的上述面部区域的一尺寸;以及
编码上述调整后的影像成为一视频串流,
其中针对每一影像调整上述面部区域的步骤中,还包含:
为落入上述变形遮罩中的每一像素决定一目标像素,其中上述目标像素较上述像素距离上述变形遮罩中心点的长度更长;以及
依据上述目标像素的一色彩值调整上述像素的一色彩值;
其中于定义上述变形遮罩的步骤中,还包含:
为每一影像检测出一面部特征;
决定上述检测到的面部特征是否移动到距离一参考特征超过一可容忍范围,且此上述检测到的次数达到一预定影像数目;
因应上述决定步骤中所检测到的情形,依据上述检测到的面部特征定义上述变形遮罩的范围;以及
因应上述决定步骤中没有上述检测到的情形,依据上述参考特征定义上述变形遮罩的范围,
其中,上述决定步骤还包含:
针对每一影像,因应上述检测到的面部特征没有落入包含上述参考特征的一稳定窗口时,一不稳定计数值增加一;以及
因应上述不稳定计数值超过一预定阈值时,判定上述检测到的面部特征已经移动距上述参考特征超过上述可容忍范围,并且此上述检测到的次数达到上述预定影像数目。
2.根据权利要求1所述的瘦脸方法,其中上述变形遮罩涵盖一人中位置、一左脸颊位置以及一右脸颊位置以下的一面部区域。
3.根据权利要求1所述的瘦脸方法,其中上述调整后的影像相较于原始影像拥有较小尺寸的上述面部区域。
4.一种电子装置,包含:
一相机模块,用来拍摄一系列的影像;
一影像处理模块,用来从每一影像中检测出一使用者的一面部区域;定义相应于上述面部区域的一变形遮罩的范围;调整每一影像中落入上述变形遮罩中的上述面部区域的一尺寸;以及编码上述调整后的影像成为一视频串流,
其中,上述影像处理模块还包含:
一像素登记模块,用来为落入上述变形遮罩中的每一像素决定一目标像素,其中上述目标像素较上述像素距离上述变形遮罩中心点的长度更长;以及依据上述目标像素的一色彩值调整上述像素的一色彩值;
其中,上述影像处理模块还包含:
一面部检测与追踪模块,用来为每一影像检测出一面部特征;以及
一特征稳定模块,用来决定上述检测到的面部特征是否移动到距离一参考特征超过一可容忍范围,且此上述检测到的次数达到一预定影像数目;因应上述决定操作中所检测到的情形,依据上述检测到的面部特征定义上述变形遮罩的范围;以及因应上述决定操作中没有上述检测到的情形,依据上述参考特征定义上述变形遮罩的范围,
其中,上述决定操作还包含:针对每一影像,因应上述检测到的面部特征没有落入包含上述参考特征的一稳定窗口时,一不稳定计数值增加一;以及因应上述不稳定计数值超过一预定阈值时,判定上述检测到的面部特征已经移动距上述参考特征超过上述可容忍范围,并且此上述检测到的次数达到上述预定影像数目。
5.根据权利要求4所述的电子装置,其中上述变形遮罩涵盖一人中位置、一左脸颊位置以及一右脸颊位置以下的一面部区域。
6.根据权利要求4所述的电子装置,其中上述调整后的影像相较于原始影像拥有较小尺寸的上述面部区域。
CN201710235668.8A 2012-09-21 2013-09-13 面部区域的影像处理方法以及使用此方法的电子装置 Expired - Fee Related CN107087104B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261704247P 2012-09-21 2012-09-21
US61/704,247 2012-09-21
US13/974,912 2013-08-23
US13/974,912 US9049355B2 (en) 2012-09-21 2013-08-23 Methods for image processing of face regions and electronic devices using the same
CN201310418338.4A CN103685926B (zh) 2012-09-21 2013-09-13 面部区域的影像处理方法以及使用此方法的电子装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201310418338.4A Division CN103685926B (zh) 2012-09-21 2013-09-13 面部区域的影像处理方法以及使用此方法的电子装置

Publications (2)

Publication Number Publication Date
CN107087104A CN107087104A (zh) 2017-08-22
CN107087104B true CN107087104B (zh) 2019-09-10

Family

ID=50322085

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710235668.8A Expired - Fee Related CN107087104B (zh) 2012-09-21 2013-09-13 面部区域的影像处理方法以及使用此方法的电子装置
CN201310418338.4A Expired - Fee Related CN103685926B (zh) 2012-09-21 2013-09-13 面部区域的影像处理方法以及使用此方法的电子装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201310418338.4A Expired - Fee Related CN103685926B (zh) 2012-09-21 2013-09-13 面部区域的影像处理方法以及使用此方法的电子装置

Country Status (1)

Country Link
CN (2) CN107087104B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219443A (zh) * 2014-08-21 2014-12-17 深圳市金立通信设备有限公司 一种终端
CN104217397B (zh) * 2014-08-21 2018-05-15 深圳市金立通信设备有限公司 一种图像处理方法
CN104754221B (zh) * 2015-03-11 2018-11-16 广东欧珀移动通信有限公司 一种拍照方法及移动终端
US10453270B2 (en) 2015-09-11 2019-10-22 Intel Corporation Scalable real-time face beautification of video images
CN107203963B (zh) * 2016-03-17 2019-03-15 腾讯科技(深圳)有限公司 一种图像处理方法及装置、电子设备
CN106372616B (zh) * 2016-09-18 2019-08-30 Oppo广东移动通信有限公司 人脸识别方法、装置及终端设备
CN106688016A (zh) * 2016-11-30 2017-05-17 深圳市大疆创新科技有限公司 处理视频流的方法和终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011135977A1 (ja) * 2010-04-30 2011-11-03 オムロン株式会社 画像変形装置、電子機器、画像変形方法、画像変形プログラム、および該プログラムを記録した記録媒体
CN102265601A (zh) * 2008-12-24 2011-11-30 三洋电机株式会社 摄像装置和笑脸记录程序
CN102333177A (zh) * 2010-07-13 2012-01-25 佳能株式会社 拍摄支持系统、拍摄支持方法、服务器和摄像设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416277B2 (en) * 2009-12-10 2013-04-09 Apple Inc. Face detection as a metric to stabilize video during video chat session

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102265601A (zh) * 2008-12-24 2011-11-30 三洋电机株式会社 摄像装置和笑脸记录程序
WO2011135977A1 (ja) * 2010-04-30 2011-11-03 オムロン株式会社 画像変形装置、電子機器、画像変形方法、画像変形プログラム、および該プログラムを記録した記録媒体
CN102333177A (zh) * 2010-07-13 2012-01-25 佳能株式会社 拍摄支持系统、拍摄支持方法、服务器和摄像设备

Also Published As

Publication number Publication date
CN103685926B (zh) 2017-05-10
CN107087104A (zh) 2017-08-22
CN103685926A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
CN107087104B (zh) 面部区域的影像处理方法以及使用此方法的电子装置
TWI485647B (zh) 面部區域之影像處理方法以及使用此方法的電子裝置
US9710923B2 (en) Information processing system, information processing device, imaging device, and information processing method
EP1969560B1 (en) Edge-controlled morphological closing in segmentation of video sequences
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
US8126268B2 (en) Edge-guided morphological closing in segmentation of video sequences
CN109639982A (zh) 一种图像降噪方法、装置、存储介质及终端
KR20170128498A (ko) 비디오 회의에서의 배경 수정
WO2007076890A1 (en) Segmentation of video sequences
CN106326823B (zh) 一种获取图片中头像的方法和系统
CN107563304A (zh) 终端设备解锁方法及装置、终端设备
CN112135041B (zh) 一种人脸特效的处理方法及装置、存储介质
CN109446977B (zh) 基于人脸识别的图像处理方法、装置、存储介质及终端
JP2005157906A (ja) 物体検出装置、物体検知方法、およびコンピュータプログラム
CN113610723B (zh) 图像处理方法及相关装置
WO2024021742A1 (zh) 一种注视点估计方法及相关设备
CN112348736B (zh) 一种去除黑眼圈的方法、存储介质、设备及系统
EP3271866A1 (en) Method for correction of the eyes image using machine learning and method for machine learning
US20200242778A1 (en) Pose correction
CN114187166A (zh) 图像处理方法、智能终端及存储介质
CN112333385A (zh) 电子防抖控制方法及装置
CN109685892A (zh) 一种快速3d人脸构建系统及构建方法
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
WO2023103813A1 (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN112435173A (zh) 一种图像处理和直播方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190910

Termination date: 20200913

CF01 Termination of patent right due to non-payment of annual fee