CN101354789A - 一种图像面具特效的实现方法和设备 - Google Patents
一种图像面具特效的实现方法和设备 Download PDFInfo
- Publication number
- CN101354789A CN101354789A CNA2008101188012A CN200810118801A CN101354789A CN 101354789 A CN101354789 A CN 101354789A CN A2008101188012 A CNA2008101188012 A CN A2008101188012A CN 200810118801 A CN200810118801 A CN 200810118801A CN 101354789 A CN101354789 A CN 101354789A
- Authority
- CN
- China
- Prior art keywords
- face
- mask
- resource file
- eyes
- picture frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 title claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 235000007926 Craterellus fallax Nutrition 0.000 description 1
- 240000007175 Datura inoxia Species 0.000 description 1
- 230000000816 effect on animals Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明披露了一种图象面具特效的实现方法和设备。所述方法包括如下步骤:取得图象帧;检测图象帧中脸的位置,以及眼睛和嘴巴的位置;读取并且加载面具资源文件,面具资源文件包括具有三个参考点的面具;基于脸的眼睛和嘴巴位置,得出组合矩阵,组合矩阵反映脸的眼睛和嘴巴位置与面具的三个参考点之间的对应关系;基于组合矩阵,将面具绘制到图象帧上。本发明的图像资源文件可以采用通用的文件格式,任何一个通用的图像浏览软件都能够预览,而且极大方便了面具资源文件的设计。
Description
技术领域
本发明涉及图像处理,具体地说涉及图像的面具特效处理。
背景技术
为丰富PC(个人计算机)摄像头的使用,目前很多软件或是驱动都提供一种人脸特效。即,在图像中找到人脸及其眼睛的位置,然后,给人脸戴帽子、戴眼镜和加胡子。包含帽子,眼镜和加胡子等图像的文件被称为面具资源文件。
在现有技术的实现方法中,面具资源文件格式受限于图像合成算法,其格式往往并不公开,或者难以读取。
发明内容
本发明的目的在于提供一种图象面具特效的实现方法和设备,能够克服前面提到的问题。
为此,根据第一方面,本发明提供一种图像面具特效的实现方法,包括如下步骤:取得图象帧;检测图象帧中脸的位置,以及眼睛和嘴巴的位置;读取并且加载面具资源文件,面具资源文件包括具有三个参考点的面具;基于脸的眼睛和嘴巴位置,得出组合矩阵,组合矩阵反映脸的眼睛和嘴巴位置与面具的三个参考点之间的对应关系;基于组合矩阵,将面具绘制到图象帧上。
根据第二方面,本发明提供一种面具资源文件,采用支持透明色设置的阿尔法通道,以设置透明区域;面具资源文件的图像包括三个位置固定的点,这三个点与脸的眼睛和嘴巴的3个坐标一一对应。
根据第三方面,本发明提供一种实现图像面具特效的设备。该设备包括:存储器,存储面具资源文件,所述面具资源文件包括具有三个参考点的面具;取得图象帧的获取单元;脸检测单元,检测图象帧中脸的位置;脸特征点定位单元,基于脸的位置定位眼睛和嘴巴;特效处理单元,读取并且加载面具资源文件,面具资源文件包括面具;基于脸的眼睛和嘴巴位置,得出组合矩阵,组合矩阵反映脸的眼睛和嘴巴位置与面具的三个参考点之间的对应关系;并且,基于组合矩阵,将面具绘制到图象帧上。
附图说明
下面将参照附图对本发明的具体实施方案进行更详细的说明,附图中:
图1示意了一个面具资源文件;
图2是本发明的面具效果流程图;
图3是一个人脸的示意图;
图4所示的加有面具的人脸图象;
图5示意本发明的实现图像面具特效的设备。
具体实施方式
本发明定制一个面具制作规范,基于规范开发面具资源文件。
根据规范,面具资源文件需要支持透明色设置的Alpha通道,以设置透明区域。透明性(transparency)是指,可使图像中某些部分不显示出来,用来创建一些有特色的图像。面具资源文件可以采用*.png,*.swf,*.gif文件。
根据规范,面具资源文件包含的每个面具资源文件尺寸固定,其中眼睛和嘴巴的位置在面具资源文件的图像中有固定的位置。图1是面具资源文件的示意图。在一个例子中,设左下角坐标为(0,0),左眼中心位置:(X-50,Y),右眼中心位置:(X+50,Y),嘴巴中心位置:(X,Y-110)。在进一步的例子中X=300,Y=340。
人脸特效算法读取面具资源文件,同时根据实际图像中人脸区域的眼睛及嘴巴的位置进行图像合成。
需要说明,面具资源文件可以是任何内容,只要该文件中的图像的3个坐标点与目标图像帧的眼睛和嘴巴的3个坐标一一对应。
图2是本发明的面具效果流程图。
首先,取得RGB24或RGB32图象帧。需要指出,图像帧的格式并不固定为RGB24或RGB32,可以采用其它的图像帧格式;图像帧的大小也不固定,可以是640*480,320*240,1280*960等通用的视频大小。
然后,检测图象帧中人脸的位置,以及眼睛和嘴巴的位置。图3是一个人脸的示意图。如图3所示,左下角坐标为(0,0),左眼中心位置:(250,340),右眼中心位置:(350,340),嘴巴中心位置:(300,230)。鼻子的中心位置为(300,300)。
接着,读取并且加载例如如图1所示的面具资源文件。
基于人脸眼睛和嘴巴位置,得出组合矩阵。这里,组合矩阵是指面具资源文件的3个坐标点和图像帧的3个坐标点之间映射关系。图像合成时,根据面具资源文件的3个坐标点和图像帧的3个坐标点,进行映射,可以形成最后的合成图像。由于图3所示人脸的左右眼和嘴巴的位置与面具资源的尺寸一致,因此,不必对面具资源的尺寸调整。当人脸的左右眼和嘴巴的位置与面具资源的尺寸不一致时,组合矩阵需要考虑按照人脸左右眼和嘴巴的位置对面具资源进行缩放。
最后,基于组合矩阵,将面具绘制到图象帧上,得到图4所示的加有面具的人脸图象。
如果图像帧的格式与面具资源文件格式不匹配,需要在图像合成(即面具绘制)前,对面具资源文件做格式转换。
图5是本发明的图像面具特效的实现设备。如图5所示,该设备包括数据存储器,图象帧获取单元,人脸检测单元,人脸特征点定位单元和特效处理单元。
数据存储器存储有各种面具资源文件,每个面具资源文件包括具有三个参考点的面具。
图象帧获取单元取得含有人脸的图象帧。图象帧可以来自摄像头,也可以来自存储单元。
人脸检测单元利用所取得的图象帧,检测图象帧中人脸的位置。人脸特征点定位单元基于人脸的位置定位眼睛和嘴巴。
特效处理单元读取并且加载面具资源文件,基于人脸的眼睛和嘴巴位置,得出一个组合矩阵。其中,组合矩阵反映脸的眼睛和嘴巴位置和面具的三个参考点之间的对应关系。接着,特效处理单元基于组合矩阵,将面具绘制到图象帧上。
本发明对面具资源文件格式参数进行定义,定义一定的标准,以丰富和方便面具资源文件的开发,同样,方便人脸特效算法进行贴图处理。
在现有技术的实现方法中,面具资源文件格式受限于图像合成算法,其格式往往并不公开,或者难以读取。本发明的图像资源文件可以采用通用的文件格式,任何一个通用的图像浏览软件都能够预览。
本发明定义了尺寸和规范,极大方便了面具资源文件的设计。发挥大众的创意,丰富软件应用。
另外,本发明贴图算法简单。由于指定的文件都具有Alpha通道,可以设置透明色,这样,可以采用的贴图算法非常多。
采用中星微公司的人脸检测和脸部器官定位算法,可以准确的找到人脸的位置和器官的位置。结合本发明使用,使得软件高效易用。
显而易见,在此描述的本发明可以有许多变化。比如,本发明不仅可以实现人脸面具,也可以实现在动物或其它生物(比如拟人化的树木)上的面具特效。这种变化不能认为偏离本发明的精神和范围。因此,所有对本领域技术人员显而易见的改变,都包括在本权利要求书的涵盖范围之内。
Claims (6)
1.一种图像面具特效的实现方法,包括如下步骤:
取得图象帧;
检测图象帧中脸的位置,以及眼睛和嘴巴的位置;
读取并且加载面具资源文件,面具资源文件包括具有三个参考点的面具;
基于脸的眼睛和嘴巴位置,得出组合矩阵,组合矩阵反映脸的眼睛和嘴巴位置与面具的三个参考点之间的对应关系;
基于组合矩阵,将面具绘制到图象帧上。
2.如权利要求1所述的实现方法,其特征在于包括在图像帧的格式与面具资源文件格式不匹配的情况下,在基于组合矩阵将面具绘制到图象帧上的步骤之前,对面具资源文件做格式转换。
3.如权利要求1所述的实现方法,其特征在于所述脸是人脸。
4.如权利要求1所述的实现方法,其特征在于所述面具资源文件采用支持透明色设置的阿尔法(Alpha)通道,以设置透明区域。
5.一种面具资源文件,采用支持透明色设置的阿尔法(Alpha)通道,以设置透明区域;面具资源文件的图像包括三个位置固定的点,这三个点与脸的眼睛和嘴巴的3个坐标一一对应。
6.一种实现图像面具特效的设备,包括:
存储器,存储面具资源文件,所述面具资源文件包括具有三个参考点的面具;
取得图象帧的获取单元;
脸检测单元,检测图象帧中脸的位置;
脸特征点定位单元,基于脸的位置定位眼睛和嘴巴;
特效处理单元,读取并且加载面具资源文件,面具资源文件包括面具;基于脸的眼睛和嘴巴位置,得出组合矩阵,组合矩阵反映脸的眼睛和嘴巴位置与面具的三个参考点之间的对应关系;并且,基于组合矩阵,将面具绘制到图象帧上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2008101188012A CN101354789A (zh) | 2008-08-22 | 2008-08-22 | 一种图像面具特效的实现方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2008101188012A CN101354789A (zh) | 2008-08-22 | 2008-08-22 | 一种图像面具特效的实现方法和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101354789A true CN101354789A (zh) | 2009-01-28 |
Family
ID=40307589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2008101188012A Pending CN101354789A (zh) | 2008-08-22 | 2008-08-22 | 一种图像面具特效的实现方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101354789A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102055912A (zh) * | 2009-10-29 | 2011-05-11 | 北京中星微电子有限公司 | 一种视频应用系统、视频特效处理系统和方法 |
CN102685395A (zh) * | 2011-03-17 | 2012-09-19 | 新奥特(北京)视频技术有限公司 | 一种特效遮罩处理方法及系统 |
TWI490803B (zh) * | 2013-03-15 | 2015-07-01 | 國立勤益科技大學 | 人流監控廣告方法及其系統 |
CN105678686A (zh) * | 2015-12-30 | 2016-06-15 | 北京金山安全软件有限公司 | 一种图片处理方法及装置 |
CN106028136A (zh) * | 2016-05-30 | 2016-10-12 | 北京奇艺世纪科技有限公司 | 一种图像处理方法及装置 |
CN106203300A (zh) * | 2016-06-30 | 2016-12-07 | 北京小米移动软件有限公司 | 内容项显示方法及装置 |
CN102685395B (zh) * | 2011-03-17 | 2016-12-14 | 新奥特(北京)视频技术有限公司 | 一种特效遮罩处理方法及系统 |
CN106303354A (zh) * | 2016-08-18 | 2017-01-04 | 北京奇虎科技有限公司 | 一种脸部特效推荐方法及电子设备 |
WO2019154338A1 (zh) * | 2018-02-06 | 2019-08-15 | 北京市商汤科技开发有限公司 | 描边特效程序文件包的生成及描边特效生成方法与装置 |
US11343130B2 (en) | 2015-03-24 | 2022-05-24 | Lg Electronics Inc. | Apparatus and method for sending and receiving broadcast signals |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1975759A (zh) * | 2006-12-15 | 2007-06-06 | 中山大学 | 一种基于结构主元分析的人脸识别方法 |
CN101018314A (zh) * | 2006-02-07 | 2007-08-15 | Lg电子株式会社 | 移动通信中的视频通话 |
-
2008
- 2008-08-22 CN CNA2008101188012A patent/CN101354789A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101018314A (zh) * | 2006-02-07 | 2007-08-15 | Lg电子株式会社 | 移动通信中的视频通话 |
CN1975759A (zh) * | 2006-12-15 | 2007-06-06 | 中山大学 | 一种基于结构主元分析的人脸识别方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102055912B (zh) * | 2009-10-29 | 2014-10-29 | 北京中星微电子有限公司 | 一种视频应用系统、视频特效处理系统和方法 |
CN102055912A (zh) * | 2009-10-29 | 2011-05-11 | 北京中星微电子有限公司 | 一种视频应用系统、视频特效处理系统和方法 |
CN102685395B (zh) * | 2011-03-17 | 2016-12-14 | 新奥特(北京)视频技术有限公司 | 一种特效遮罩处理方法及系统 |
CN102685395A (zh) * | 2011-03-17 | 2012-09-19 | 新奥特(北京)视频技术有限公司 | 一种特效遮罩处理方法及系统 |
TWI490803B (zh) * | 2013-03-15 | 2015-07-01 | 國立勤益科技大學 | 人流監控廣告方法及其系統 |
US11343130B2 (en) | 2015-03-24 | 2022-05-24 | Lg Electronics Inc. | Apparatus and method for sending and receiving broadcast signals |
CN105678686B (zh) * | 2015-12-30 | 2019-06-14 | 北京金山安全软件有限公司 | 一种图片处理方法及装置 |
CN105678686A (zh) * | 2015-12-30 | 2016-06-15 | 北京金山安全软件有限公司 | 一种图片处理方法及装置 |
CN106028136A (zh) * | 2016-05-30 | 2016-10-12 | 北京奇艺世纪科技有限公司 | 一种图像处理方法及装置 |
CN106203300A (zh) * | 2016-06-30 | 2016-12-07 | 北京小米移动软件有限公司 | 内容项显示方法及装置 |
CN106303354A (zh) * | 2016-08-18 | 2017-01-04 | 北京奇虎科技有限公司 | 一种脸部特效推荐方法及电子设备 |
CN106303354B (zh) * | 2016-08-18 | 2020-04-28 | 北京奇虎科技有限公司 | 一种脸部特效推荐方法及电子设备 |
WO2019154338A1 (zh) * | 2018-02-06 | 2019-08-15 | 北京市商汤科技开发有限公司 | 描边特效程序文件包的生成及描边特效生成方法与装置 |
US11640683B2 (en) | 2018-02-06 | 2023-05-02 | Beijing Sensetime Technology Development Co., Ltd. | Stroke special effect program file package generating method and apparatus, and stroke special effect generating method and apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11823341B2 (en) | 3D object camera customization system | |
CN101354789A (zh) | 一种图像面具特效的实现方法和设备 | |
KR20230146123A (ko) | 제1 사용자 인터페이스 콘텐츠를 제2 사용자 인터페이스 내로 조합하기 | |
TWI651640B (zh) | 在使用者介面上組織數位便箋 | |
KR102010221B1 (ko) | 스마트폰 기반 방법들 및 시스템들 | |
US11158057B2 (en) | Device, method, and graphical user interface for processing document | |
TWI659354B (zh) | 具有處理器之運算裝置及在其上實施擷取及辨識便箋之方法 | |
US11418704B2 (en) | Scaled perspective zoom on resource constrained devices | |
US20210200390A1 (en) | Carousel interface for post-capture processing in a messaging system | |
CN104866755B (zh) | 应用程序解锁界面背景图片的设置方法、装置及电子设备 | |
US11695718B2 (en) | Post-capture processing in a messaging system | |
US20230353520A1 (en) | Providing post-capture media overlays for post-capture processing in a messaging system | |
US20210201545A1 (en) | Layering of post-capture processing in a messaging system | |
TW201516968A (zh) | 圖像的處理方法及裝置 | |
KR20220118545A (ko) | 메시징 시스템에서의 캡처후 처리 | |
US11468613B2 (en) | Annotating an image with a texture fill | |
US20230022826A1 (en) | Media content discard notification system | |
TW201546699A (zh) | 運用使用者介面上之提示的便箋擷取、辨識及管理 | |
US20230004278A1 (en) | Presenting available functions for a captured image within a messaging system | |
JP6372165B2 (ja) | デザイン管理装置及びプログラム | |
KR20170120299A (ko) | 립모션을 이용한 실감형 콘텐츠 서비스 시스템 | |
US11630877B1 (en) | Custom visual codes for network links | |
US9518347B2 (en) | Method, system, apparatus, and program for instantly estimating the number of stitches for an embroidered design | |
KR102632895B1 (ko) | 미디어 내의 시각적 콘텐츠를 관리하기 위한 사용자 인터페이스 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20090128 |