CN108090882A - 一种交互式的实时数字图像上妆方法 - Google Patents
一种交互式的实时数字图像上妆方法 Download PDFInfo
- Publication number
- CN108090882A CN108090882A CN201711494663.3A CN201711494663A CN108090882A CN 108090882 A CN108090882 A CN 108090882A CN 201711494663 A CN201711494663 A CN 201711494663A CN 108090882 A CN108090882 A CN 108090882A
- Authority
- CN
- China
- Prior art keywords
- makeup
- face
- real
- action
- style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000002537 cosmetic Substances 0.000 title claims abstract description 13
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 12
- 230000009471 action Effects 0.000 claims abstract description 26
- 210000001747 pupil Anatomy 0.000 claims description 23
- 210000004709 eyebrow Anatomy 0.000 claims description 15
- 230000001815 facial effect Effects 0.000 claims description 14
- 230000004807 localization Effects 0.000 claims description 14
- 210000000720 eyelash Anatomy 0.000 claims description 11
- 239000006071 cream Substances 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 210000004209 hair Anatomy 0.000 claims description 5
- 210000003128 head Anatomy 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 206010007134 Candida infections Diseases 0.000 claims description 3
- 208000007027 Oral Candidiasis Diseases 0.000 claims description 3
- 241000287411 Turdidae Species 0.000 claims description 3
- 201000003984 candidiasis Diseases 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 6
- 230000008451 emotion Effects 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004461 rapid eye movement Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种交互式的实时数字图像上妆方法，针对每个部位进行交互式的上妆方案，利用数字影像中的人脸动作以及五官部位的变化做出相对应的上妆方法，在实际的用户体验中无需用户进行多次的点击或者选择操作，既可以满足对主要部位的上妆，大大的简化了上妆的操作流程。另外在上妆的过程中由于通过一系列的动作或者特定表情进行上妆的更换，大大的增强了在数字影像中上妆过程的趣味性和交互性，使得整体的上妆过程更加吸引人，以及获得更好的用户体验程度。
Description
技术领域
本发明涉及一种交互式的实时数字图像上妆方法。
背景技术
基于数字图像处理技术的不断进步，在数字图像中对五官部位进行美 妆和化妆成为了数字图像处理的其中一个需求的功能。往往在利用手机/相 机/平板电脑等进行拍照后，都需要使用处理工具(软件)对图像进行上妆。
在数字图像上妆中，操作实现的方式通常都是根据上妆的部位点选固 定的选项卡，进而点选该部位中上妆的风格，然后调用该风格对选定的部 位进行数字化处理，得到上妆的效果和目的。
在这些以选择为基础的上妆步骤中，大大减少了虚拟化妆的趣味性， 在多种上妆的部位导致了操作的复杂性。由于人脸中上妆的部位通常包含 10个以上，而利用选择的方法则每个部位均需要被点选多次才能确定上妆 的部位和风格，给用户的体验带来了额外的流程时间开销。。
发明内容
本发明旨在提供一种交互式的实时数字图像上妆方法，以提高虚拟上 妆的趣味性和减少用户在操作过程中的步骤和流程，提高整个上妆过程中 的用户体验满意度。
为解决上述技术问题，本发明所采用的技术方案是：
一种交互式的实时数字图像上妆方法，针对每个部位进行交互式的上 妆方案，其特征在于：
利用人脸识别系统，判断当前实时影像中的人脸是否做上下动作，满 足该动作要求即更换粉底上妆风格；
利用人脸识别系统和五官定位标点，获取当前帧与前一帧的唇部标点， 通过计算每个坐标点之间产生的变化来判断是否为闭唇动作，满足该动作 要求即更换唇彩风格；
利用人脸识别系统和五官定位标点，判断实时影像中的脸部是否做鼓 腮动作，如果为鼓腮动作则更换腮红风格；
使用人脸识别系统和五官定位标点，判断如果影像中的人脸做出挑眉 动作时则更换眉毛风格，达到画眉毛或者更换眉毛的效果；
判断数字影像中的人脸闭眼时间是否超过设定时长，满足条件则对睫 毛进行上妆或者更换睫毛；
判断数字影像中的人脸眨眼频率，满足条件对眼影进行上妆；
利用人脸识别系统和五官标点，获取瞳孔中心坐标，根据瞳孔中心坐 标判断瞳孔是否做左右运动，如果满足则对瞳孔进行美瞳上妆；
根据每个部位的上妆风格的不同组合成为不同的整体上妆风格，利用 人脸识别和五官定位系统返回的数据判断数字影像中的人脸是否作左右摇 头动作，如果满足该动作则更换一种整体上妆的风格。
本发明利用数字影像中的人脸动作以及五官部位的变化做出相对应的 上妆方法，在实际的用户体验中无需用户进行多次的点击或者选择操作， 既可以满足对主要部位的上妆，大大的简化了上妆的操作流程。另外在上 妆的过程中由于通过一系列的动作或者特定表情进行上妆的更换，大大的 增强了在数字影像中上妆过程的趣味性和交互性，使得整体的上妆过程更 加吸引人，以及获得更好的用户体验程度。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施 例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。
本发明主要针对实时下的数字影像中的上妆，如当下各种摄影设备实 时录入的数字影像(智能手机，数码相机，平板电脑)，由于实时录入的影 像为以视频帧方式连续组成，通过结合人脸识别和五官定位技术判断当前 帧与上一帧(或者多帧)之间的关系可以判断出影像中用户所作出的各种 五官动作以及变化。
本发明主要针对上妆部位区分为：粉底、唇彩、腮红、眼影、睫毛、 眉毛、美瞳、整体上妆。
实施例
一种交互式的实时数字图像上妆方法，针对每个部位进行交互式的上 妆方案详细步骤如下：
1.粉底。利用人脸识别系统，判断当前实时影像中的人脸是否做上下 动作，也即是作头部上下方向的摆动，满足该动作要求即更换粉底上妆风 格。
2.唇彩。利用人脸识别系统和五官定位标点，获取当前帧与前一帧的 唇部标点，通过计算每个坐标点之间产生的变化来判断是否为闭唇动作， 判断方法如下：
其中为上一帧唇部第i个坐标点的纵轴坐标值，yi为当前帧唇部第i 个坐标点的纵轴坐标值。
设定一个阈值，当T满足大于该阈值时则认为用户作闭唇动作，则更换 唇彩风格。
3.腮红。利用人脸识别系统和五官定位标点，判断实时影像中的脸部 是否做鼓腮动作，如果为鼓腮动作则更换腮红风格。鼓腮动作的判断主要 利用嘴部相关坐标的横轴坐标值的变化和脸颊轮廓相应的坐标变化做判 断。
4.眉毛。使用人脸识别系统和五官定位标点，判断如果影像中的人脸 做出挑眉动作时则更换眉毛风格，达到画眉毛或者更换眉毛的效果。挑眉 的判断由人脸识别系统自动获取并返回结果(是否做挑眉动作)。
5.睫毛。判断数字影像中的人脸闭眼时间是否超过1秒，满足该条件 则对睫毛进行上妆或者更换睫毛。由于人脸识别系统和五官定位中可以直 接返回是否闭眼的状态，在判断时间中只需要记录开始闭眼的时间和结束 时间则可以判断闭眼的整体时间是否大于1秒，大于则进行睫毛上妆。
6.眼影。眼影上妆与睫毛上妆判断方式同样为判断闭眼，不过眼影的 判断为用户是否在1秒内眨眼两次(快速眨眼)，判断方式同样记录闭眼的 开始时间和结束时间，并记录下一次闭眼开始和闭眼结束时间，如果满足 的1秒之内，则对眼影进行上妆。
7.美瞳。利用人脸识别系统和五官标点，获取瞳孔中心坐标，根据瞳 孔中心坐标判断瞳孔是否做左右运动(在3秒时间)，如果满足则对瞳孔进 行美瞳上妆。特别的，瞳孔的判断应该分为左右两个眼睛瞳孔，进行分别 判断，只要其中一个瞳孔满足上述条件则对整体(两个瞳孔)瞳孔进行统 一上妆。
8.整体上妆。整体上妆为对人脸进行整体的化妆，包括粉底、唇彩、腮 红、眼影、睫毛、眉毛、美瞳等部位的整体上妆，一般根据每个部位的上 妆风格的不同组合成为不同的整体上妆风格。利用人脸识别和五官定位系 统返回的数据判断数字影像中的人脸是否作左右摇头动作，如果满足该动 作则更换一种整体上妆的风格。人脸识别和定位系统可直接返回人脸是否 作左右摇头的动作。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在 本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。
Claims (5)
1.一种交互式的实时数字图像上妆方法，针对每个部位进行交互式的上妆方案，其特征在于：
利用人脸识别系统，判断当前实时影像中的人脸是否做上下动作，满足该动作要求即更换粉底上妆风格；
利用人脸识别系统和五官定位标点，获取当前帧与前一帧的唇部标点，通过计算每个坐标点之间产生的变化来判断是否为闭唇动作，满足该动作要求即更换唇彩风格；
利用人脸识别系统和五官定位标点，判断实时影像中的脸部是否做鼓腮动作，如果为鼓腮动作则更换腮红风格；
使用人脸识别系统和五官定位标点，判断如果影像中的人脸做出挑眉动作时则更换眉毛风格，达到画眉毛或者更换眉毛的效果；
判断数字影像中的人脸闭眼时间是否超过设定时长，满足条件则对睫毛进行上妆或者更换睫毛；
判断数字影像中的人脸眨眼频率，满足条件对眼影进行上妆；
利用人脸识别系统和五官标点，获取瞳孔中心坐标，根据瞳孔中心坐标判断瞳孔是否做左右运动，如果满足则对瞳孔进行美瞳上妆；
根据每个部位的上妆风格的不同组合成为不同的整体上妆风格，利用人脸识别和五官定位系统返回的数据判断数字影像中的人脸是否作左右摇头动作，如果满足该动作则更换一种整体上妆的风格。
2.根据权利要求1所述的一种交互式的实时数字图像上妆方法，其特征在于：
通过以下式子判断是否为闭唇动作：
<mrow>
<mi>T</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>m</mi>
</munderover>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mrow>
其中y′i为上一帧唇部第i个坐标点的纵轴坐标值，yi为当前帧唇部第i个坐标点的纵轴坐标值，当T满足大于该阈值时则认为用户作闭唇动作。
3.根据权利要求1所述的一种交互式的实时数字图像上妆方法，其特征在于：
利用嘴部相关坐标的横轴坐标值的变化和脸颊轮廓相应的坐标变化判断鼓腮动作。
4.根据权利要求1所述的一种交互式的实时数字图像上妆方法，其特征在于：
由人脸识别系统自动获取并返回结果判断挑眉动作。
5.根据权利要求1所述的一种交互式的实时数字图像上妆方法，其特征在于：
由人脸识别系统和五官定位返回是否闭眼。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711494663.3A CN108090882A (zh) | 2017-12-31 | 2017-12-31 | 一种交互式的实时数字图像上妆方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711494663.3A CN108090882A (zh) | 2017-12-31 | 2017-12-31 | 一种交互式的实时数字图像上妆方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108090882A true CN108090882A (zh) | 2018-05-29 |
Family
ID=62180207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711494663.3A Withdrawn CN108090882A (zh) | 2017-12-31 | 2017-12-31 | 一种交互式的实时数字图像上妆方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108090882A (zh) |
-
2017
- 2017-12-31 CN CN201711494663.3A patent/CN108090882A/zh not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11889230B2 (en) | Video conferencing method | |
| KR102241153B1 (ko) | 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템 | |
| CN109376582B (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
| CN101055647B (zh) | 用于处理图像的方法、装置 | |
| US20190130652A1 (en) | Control method, controller, smart mirror, and computer readable storage medium | |
| US9990757B2 (en) | Enhancing video chatting | |
| CN111968248B (zh) | 基于虚拟形象的智能化妆方法、装置、电子设备及存储介质 | |
| CN110111246B (zh) | 一种虚拟头像生成方法及装置、存储介质 | |
| CN107341435A (zh) | 视频图像的处理方法、装置和终端设备 | |
| US10650564B1 (en) | Method of generating 3D facial model for an avatar and related device | |
| CN107784630B (zh) | 对人脸图像进行属性翻转的方法、装置和终端 | |
| CN106293362A (zh) | 一种引导式化妆设备 | |
| CN105405157A (zh) | 肖像画生成装置、肖像画生成方法 | |
| CN106649465A (zh) | 一种美妆信息的推荐和获取方法及装置 | |
| CN108932654A (zh) | 一种虚拟试妆指导方法及装置 | |
| CN114283052A (zh) | 妆容迁移及妆容迁移网络的训练方法和装置 | |
| CN112102468B (zh) | 模型训练、虚拟人物图像生成方法和装置以及存储介质 | |
| CN112819718A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| KR20220026252A (ko) | 이동 단말기, 서버 및 뷰티 스타일의 합성 방법 | |
| JP7471826B2 (ja) | 動画生成装置および動画生成プログラム | |
| CN113344837B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| CN112906585A (zh) | 基于机器学习的智能化理发辅助系统、方法和可读介质 | |
| CN108090882A (zh) | 一种交互式的实时数字图像上妆方法 | |
| CN110933354A (zh) | 一种可定制的多风格多媒体处理方法及其终端 | |
| CN107025679A (zh) | 一种2d虚拟模型的驱动方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180529 |