CN109063658A - 一种利用深度学习在多移动终端视频人物换脸的方法 - Google Patents
一种利用深度学习在多移动终端视频人物换脸的方法 Download PDFInfo
- Publication number
- CN109063658A CN109063658A CN201810897882.4A CN201810897882A CN109063658A CN 109063658 A CN109063658 A CN 109063658A CN 201810897882 A CN201810897882 A CN 201810897882A CN 109063658 A CN109063658 A CN 109063658A
- Authority
- CN
- China
- Prior art keywords
- video
- face
- training
- picture
- mobile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000005540 biological transmission Effects 0.000 claims description 4
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 3
- 238000012217 deletion Methods 0.000 abstract description 2
- 230000037430 deletion Effects 0.000 abstract description 2
- 238000012790 confirmation Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种利用深度学习在多移动终端视频人物换脸的方法，本发明涉及一种互联网AI视频处理方法，本发明为了解决现有技术中更换视频中人物的脸部的操作复杂、CPU配置很高、手动确认视频的频率，手动删除错误的图片、不支持在移动终端进行训练，训练进度无法实时获得。它包括如下步骤：获取多人脸视频中不同人脸的图像子集、多个终端上传并生成想要替换的人脸图片集、训练生成模型并与基准视频A合成多人换脸视频，本发明用于互联网AI视频处理领域。
Description
技术领域
本发明涉及一种互联网AI视频处理方法，具体涉及一种利用深度学习在多移动终端视频人物换脸的方法。
背景技术
目前视频换脸技术的应用非常广泛，顾名思义，也就是在图像或视频中把一张脸替换成另一张脸，只需要把上百张人物的样图输入至一个算法，就能完成人脸交换，制作出非常逼真的视频效果。事实上，之前电影视频中的人脸交换非常复杂，专业的视频剪辑师和CGI专家需要花费大量时间和精力才能完成视频中的人脸交换。从技术的角度而言，深度图像生成模型是很成功的应用，它无需安装Python和Tensorflow等编程语言和开源软件库但是它的操作非常复杂，需要高配置电脑，且不支持在移动终端进行训练。
发明内容
本发明是为解决现有的视频换脸技术存在操作复杂、配置需求高、不能在移动终端进行训练的问题，进而提供一种利用深度学习在多移动终端视频人物换脸的方法。
本发明为解决上述问题采取的技术方案是：
一种利用深度学习在多移动终端视频人物换脸的方法，它包括如下步骤：
步骤一、获取多人脸视频中不同人脸的图像子集：在移动终端M1上获取含多人脸的基准视频A中不同人脸的图像子集；根据人脸不同将图像集分为{a1、a2…an}；
步骤二、在移动终端M2、M3…Mn+1上传并生成想要替换的人脸图像集：根据多个移动终端上传的视频或图片对应生成想要替换的人脸图像集{b1、b2…bn}；
步骤三、训练生成模型并与基准视频A合成多人换脸视频：通过机器深度学习将a1替换为b1,a2替换为b2，…an替换为bn，训练出模型；
利用生成的模型与含多人脸的基准视频A合成多人换脸视频。
本发明的有益效果是：一、通过移动终端使更换视频中人物的脸部的操作简便无需电脑；二、CPU配置一般或较低的电脑也可实现同样效果；三、全过程通过终端可以自动确认视频的频率，删除错误的图片；四、可在移动终端进行训练，训练进度实时获得。
附图说明
图1为获取多人脸视频中不同人脸的图像子集流程图；
图2为多个终端上传并生成想要替换的人脸图片集流程图；
图3为训练生成模型并与基准视频A合成多人换脸视频流程图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
具体实施方式一：结合图1-3说明本实施方式，本实施方式中所述一种利用深度学习在多移动终端视频人物换脸的方法，它包括如下步骤：步骤一、获取多人脸视频中不同人脸的图像子集：在移动终端M1上获取含多人脸的基准视频A中不同人脸的图像子集；根据人脸不同将图像集分为{a1、a2…an}；步骤二、在移动终端M2、M3…Mn+1上传并生成想要替换的人脸图像集：根据多个移动终端上传的视频或图片对应生成想要替换的人脸图像集{b1、b2…bn}；步骤三、训练生成模型并与基准视频A合成多人换脸视频：通过机器深度学习将a1替换为b1,a2替换为b2，…an替换为bn，训练出模型；利用生成的模型与含多人脸的基准视频A合成多人换脸视频。
具体实施方式二：结合图1说明本实施方式，本实施方式中所述获取多人脸视频中不同人脸的图像子集包含移动终端M1，所述移动终端M1通过“多人脸换脸应用”上传基准视频A，所述多人脸换脸应用自动获取视频A每秒传输帧数，截取出视频中所有的人脸图片集，并自动删选掉不清晰和错误的图片。其它步骤与具体实施方式一相同。
具体实施方式三：结合图2说明本实施方式，本实施方式中所述多个移动终端上传并生成想要替换的人脸图像集包含移动终端M2、移动终端M3，…移动终端Mn+1，所述移动终端M2选定被替换的a1人脸集并上传视频B1，自动获取所述视频B每秒传输帧数，生成人脸图片集b1，所述移动终端M3选定并上传被替换的a2人脸集并上传单人脸图片集B2，生成人脸图片集b2；所属移动终端Mn+1选定并上传被替换的an人脸集，生成单人脸图片集bn。其它步骤与具体实施方式二相同。
具体实施方式四：结合图2说明本实施方式，本实施方式中所述生成替换人脸集包括截取视频方式和图片直接生成方式，所述截取视频方式是通过上传单人脸视频B1，获取每秒帧数，将视频处理成图片并生成人脸图片集b1，所述图片直接生成方式是通过上传单脸图片集B2，截取出人脸图片集并生成人脸图片集。其它步骤与具体实施方式三相同。
具体实施方式五：结合图3说明本实施方式，本实施方式中所述训练生成模型并与基准视频A合成多人换脸视频的过程为：
步骤a.先设定训练损失值
步骤b.判断是否在本地训练，如果在本地训练则执行步骤c，否则执行步骤d；
步骤c.利用移动终端CPU或显卡训练；
步骤d.上传图片集{a1、a2…an}、{b1、b2…bn}在服务端训练；
步骤e.判断训练是否超时，如果训练超时直接结束，否则执行步骤f；
步骤f.达到预设训练损失值；
步骤g.生成模型并通知用户；
步骤h.判断是否需要继续训练，如果是则调整预设训练损失值重复步骤e-h，如果不需要则利用生成的模型和基准视频A合成多人换脸视频。其它步骤与具体实施方式四相同。
本发明已以较佳实施案例揭示如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可以利用上述揭示的结构及技术内容做出些许的更动为等同变化的等效实施案例，但是凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施案例所做的任何简单修改、等同变化，均仍属本发明技术方案范围。
Claims (5)
1.一种利用深度学习在多移动终端视频人物换脸的方法，其特征在于：它包括如下步骤：
步骤一、获取多人脸视频中不同人脸的图像子集：在移动终端M1上获取含多人脸的基准视频A中不同人脸的图像子集；根据人脸不同将图像集分为{a1、a2…an}；
步骤二、在移动终端M2、M3…Mn+1上传并生成想要替换的人脸图像集：根据多个移动终端上传的视频或图片对应生成想要替换的人脸图像集{b1、b2…bn}；
步骤三、训练生成模型并与基准视频A合成多人换脸视频：通过机器深度学习将a1替换为b1,a2替换为b2，…an替换为bn，训练出模型；
利用生成的模型与含多人脸的基准视频A合成多人换脸视频。
2.根据权利要求1所述一种利用深度学习在多移动终端视频人物换脸的方法，其特征在于：在步骤一中，获得图像集{a1、a2…an}的过程为：
获取多人脸视频中不同人脸的图像子集包含移动终端M1，所述移动终端M1通过“多人脸换脸应用”上传基准视频A，所述多人脸换脸应用自动获取视频A每秒传输帧数，截取出视频中所有的人脸图片集，并自动删选掉不清晰和错误的图片。
3.根据权利要求1所述一种利用深度学习在多移动终端视频人物换脸的方法，其特征在于：在步骤二中，多个移动终端M2、M3，…Mn+1分别上传并对应生成想要替换的人脸图像集{b1、b2…bn}是指：所述移动终端M2选定被替换的a1人脸集并上传单人脸视频B1，自动获取所述视频B每秒传输帧数，生成人脸图片集b1；所述移动终端M3选定并上传被替换的a2人脸集并上传单人脸图片集B2，生成人脸图片集b2；所属移动终端Mn+1选定并上传被替换的an人脸集，生成人脸图片集bn。
4.根据权利要求3所述一种利用深度学习在多移动终端视频人物换脸的方法，其特征在于：生成替换人脸集包括截取视频方式和图片直接生成方式，所述截取视频方式是通过上传单人脸视频B1，获取每秒帧数，将视频处理成图片并生成人脸图片集b1，所述图片直接生成方式是通过上传单脸图片集B2，截取出人脸图片集并生成人脸图片集。
5.根据权利要求1所述一种利用深度学习在多移动终端视频人物换脸的方法，其特征在于：在步骤三中，获得训练生成模型并与基准视频A合成多人换脸视频的过程为：
步骤a.先设定训练损失值；
步骤b.判断是否在本地训练，如果在本地训练则执行步骤c，否则执行步骤d；
步骤c.利用移动终端CPU或显卡训练；
步骤d.上传图片集{a1、a2…an}、{b1、b2…bn}在服务端训练；
步骤e.判断训练是否超时，如果训练超时直接结束，否则执行步骤f；
步骤f.达到预设训练损失值；
步骤g.生成模型并通知用户；
步骤h.判断是否需要继续训练，如果是则调整预设训练损失值重复步骤e-h，如果不需要则利用生成的模型和基准视频A合成多人换脸视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810897882.4A CN109063658A (zh) | 2018-08-08 | 2018-08-08 | 一种利用深度学习在多移动终端视频人物换脸的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810897882.4A CN109063658A (zh) | 2018-08-08 | 2018-08-08 | 一种利用深度学习在多移动终端视频人物换脸的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109063658A true CN109063658A (zh) | 2018-12-21 |
Family
ID=64678805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810897882.4A Withdrawn CN109063658A (zh) | 2018-08-08 | 2018-08-08 | 一种利用深度学习在多移动终端视频人物换脸的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109063658A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754364A (zh) * | 2019-01-20 | 2019-05-14 | 杭州富阳优信科技有限公司 | 一种基于深度学习的视频人物面部替换方法 |
| CN109819313A (zh) * | 2019-01-10 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置及存储介质 |
| CN111080511A (zh) * | 2019-11-18 | 2020-04-28 | 杭州时光坐标影视传媒股份有限公司 | 一种端到端的高分辨率多特征提取的人脸交换方法 |
| CN111860041A (zh) * | 2019-04-26 | 2020-10-30 | 北京陌陌信息技术有限公司 | 人脸转换模型训练方法、装置、设备及介质 |
| WO2021043121A1 (zh) * | 2019-09-04 | 2021-03-11 | 广州华多网络科技有限公司 | 一种图像换脸的方法、装置、系统、设备和存储介质 |
| CN116386122A (zh) * | 2023-06-02 | 2023-07-04 | 中国科学技术大学 | 高保真换脸方法、系统、设备及存储介质 |
-
2018
- 2018-08-08 CN CN201810897882.4A patent/CN109063658A/zh not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109819313A (zh) * | 2019-01-10 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置及存储介质 |
| CN109819313B (zh) * | 2019-01-10 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置及存储介质 |
| CN109754364A (zh) * | 2019-01-20 | 2019-05-14 | 杭州富阳优信科技有限公司 | 一种基于深度学习的视频人物面部替换方法 |
| CN111860041A (zh) * | 2019-04-26 | 2020-10-30 | 北京陌陌信息技术有限公司 | 人脸转换模型训练方法、装置、设备及介质 |
| CN111860041B (zh) * | 2019-04-26 | 2024-06-11 | 北京陌陌信息技术有限公司 | 人脸转换模型训练方法、装置、设备及介质 |
| WO2021043121A1 (zh) * | 2019-09-04 | 2021-03-11 | 广州华多网络科技有限公司 | 一种图像换脸的方法、装置、系统、设备和存储介质 |
| CN111080511A (zh) * | 2019-11-18 | 2020-04-28 | 杭州时光坐标影视传媒股份有限公司 | 一种端到端的高分辨率多特征提取的人脸交换方法 |
| CN116386122A (zh) * | 2023-06-02 | 2023-07-04 | 中国科学技术大学 | 高保真换脸方法、系统、设备及存储介质 |
| CN116386122B (zh) * | 2023-06-02 | 2023-08-29 | 中国科学技术大学 | 高保真换脸方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109063658A (zh) | 一种利用深度学习在多移动终端视频人物换脸的方法 | |
| KR102082816B1 (ko) | 스트리밍 파일의 해상도 개선 방법 | |
| CN113593351B (zh) | 一种立体综合教学场系统的工作方法 | |
| White et al. | Mathematics and mobile learning | |
| CN109544442A (zh) | 基于双重对抗的生成式对抗网络的图像局部风格迁移方法 | |
| CN103561277B (zh) | 一种用于网络教学的传输方法和系统 | |
| CN105608715A (zh) | 一种在线合影方法及系统 | |
| CN105190700A (zh) | 基于化身的视频编码 | |
| WO2019019403A1 (zh) | 一种用于k12阶段的互动情景教学系统 | |
| CN112734946B (zh) | 一种声乐表演教学方法及系统 | |
| CN111091493A (zh) | 图像翻译模型训练方法、图像翻译方法及装置和电子设备 | |
| CN116957866A (zh) | 一种数字人教师个性化教学装置 | |
| CN204334840U (zh) | 一种智能导播录课系统 | |
| Chunwijitra et al. | Advanced content authoring and viewing tools using aggregated video and slide synchronization by key marking for web-based e-learning system in higher education | |
| CN103198519A (zh) | 虚拟人物照相系统系统和方法 | |
| US20180204603A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
| Bennett et al. | Pedagogical strategies for teaching Virtual Production pipelines | |
| KR100758940B1 (ko) | 미술 학습 관리 시스템 | |
| Shen | A New Video Editing Technology in Practical Teaching of Animation. | |
| Hendricks | Filmmakers' Attitudes and Intentions toward Adoption of Virtual Camera Systems in Virtual Production | |
| Lanham et al. | Deepfakes and Face Swapping | |
| Chen et al. | Face swapping with limited input | |
| MF et al. | Technical and vocational education students’ perception of using learning videos during Covid-19 pandemic period | |
| CN101853582A (zh) | 网络家教系统及其控制方法 | |
| Huang et al. | Facial tracking and animation for digital social system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20181221 |
|
| WW01 | Invention patent application withdrawn after publication |