CN115426506B - 替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质 - Google Patents

替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质 Download PDF

Info

Publication number
CN115426506B
CN115426506B CN202211383668.XA CN202211383668A CN115426506B CN 115426506 B CN115426506 B CN 115426506B CN 202211383668 A CN202211383668 A CN 202211383668A CN 115426506 B CN115426506 B CN 115426506B
Authority
CN
China
Prior art keywords
eye
pupil
preset
face
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211383668.XA
Other languages
English (en)
Other versions
CN115426506A (zh
Inventor
王维
杨飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xianyi Numa Culture Media Co ltd
Original Assignee
Beijing Xianyi Numa Culture Media Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xianyi Numa Culture Media Co ltd filed Critical Beijing Xianyi Numa Culture Media Co ltd
Priority to CN202211383668.XA priority Critical patent/CN115426506B/zh
Publication of CN115426506A publication Critical patent/CN115426506A/zh
Application granted granted Critical
Publication of CN115426506B publication Critical patent/CN115426506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

发明公开的替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质，其中方法包括：获取预设图片或视频一帧中的人脸部分信息；根据预设图片或视频一帧中的人脸部分信息，得到预设图片或视频一帧中人脸部分的眼睛状态信息；判断所述人脸部分的眼睛状态是否为闭眼状态，若是，则直接使用预设闭眼遮罩信息；若否，则通过预设眼动追踪模块，得到睁眼遮罩信息；将眼部遮罩发送至预设脸部遮罩，通过对齐、稳定性处理，得到更换图片或视频一帧信息；将更换图片或视频一帧发送至原图片或视频一帧处，得到替换效果。本发明比较完美的解决了使用遮罩方法进行实时换脸时，遮罩的眼睛部分没办法与被替换的主播同步动作的问题，有效的提升了换脸效果。

Description

替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质
技术领域
本申请涉及图像识别技术领域，更具体的，涉及替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质。
背景技术
在以面具遮罩为原理的实时换脸方案中，眼睛部位的替换一直是一个比较大的问题，因为眼睛是识别一个人的重要特征点，但是换脸需求又导致了眼睛必须实时的随着主播的眼睛去运动。之前的解决方案是将遮罩的眼睛部分直接挖去，从而露出主播自己的眼睛。这样做的缺陷就是加上遮罩之后，主播本人的特征仍然明显，换脸效果不佳。
因此，现有技术存在缺陷，亟待改进。
发明内容
鉴于上述问题，本发明的目的是提供替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质，更够更加有效的提高换脸效果。
本发明第一方面提供了替换人脸部眼睛样式并跟随眼睛动作的方法，包括：
获取预设图片或视频一帧中的人脸部分信息；
根据预设图片或视频一帧中的人脸部分信息，得到预设图片或视频一帧中人脸部分的眼睛状态信息；
判断所述人脸部分的眼睛状态是否为闭眼状态，若是，则直接使用预设闭眼遮罩信息；若否，则通过预设眼动追踪模块，得到睁眼遮罩信息；
将眼部遮罩发送至预设脸部遮罩，通过对齐、稳定性处理，得到更换图片或视频一帧信息；
将更换图片或视频一帧发送至原图片或视频一帧处，得到替换效果。
本方案中，所述通过预设眼动追踪模块，得到睁眼遮罩，具体为：
基于预设眼动追踪程序，检测对应人脸部分的瞳孔位置，若检测到，则直接输出瞳孔位置；若没有检测到，则使用默认瞳孔位置；
将预设睁眼模型按照瞳孔位置进行对齐，得到睁眼遮罩信息。
本方案中，还包括：
将正脸且眼睛平射为基准，设定坐标系；
将正脸对称位置的中线设为y轴，方向朝上；眼睛平射位置的水平线设为x轴，方向朝右。
本方案中，还包括：
获取预设眼罩的眼睛尺寸值，其半径设为
Figure 100002_DEST_PATH_IMAGE001
；
将眼睛平射时的右瞳孔中心点坐标设为
Figure 747948DEST_PATH_IMAGE002
，左瞳孔中心点坐标设为
Figure 100002_DEST_PATH_IMAGE003
；
获取眼睛转动时的右瞳孔中心点坐标设为
Figure 94746DEST_PATH_IMAGE004
，左瞳孔中心点坐标设为
Figure 100002_DEST_PATH_IMAGE005
；
根据坐标差值和眼睛尺寸值，得到瞳孔转动的角度值，其公式为：
Figure 24656DEST_PATH_IMAGE006
，其中
Figure 100002_DEST_PATH_IMAGE007
表示瞳孔上下转动的角度，其中正数为向上转动，负数为向下转动；
Figure 64288DEST_PATH_IMAGE008
，其中
Figure 100002_DEST_PATH_IMAGE009
表示瞳孔左右转动的角度，其中正数为向右转动，负数为向左转动；其中
Figure 650121DEST_PATH_IMAGE010
和
Figure 100002_DEST_PATH_IMAGE011
为瞳孔坐标的相对差值。
本方案中，还包括：
根据瞳孔转动的初始位置、终点位置和转动的角度，得到瞳孔转动的运动轨迹；
所述运动轨迹的方向为初始位置至终点位置。
本方案中，还包括：
获取眼睛遮罩中的眼睛缩放比例；
获取人脸部分的实际眼睛尺寸信息；
根据人脸部分的实际眼睛尺寸和缩放比值，得到眼睛遮罩中的眼睛大小值。
本发明第二方面提供了替换人脸部眼睛样式并跟随眼睛动作的系统，包括存储器和处理器，所述存储器中存储有替换人脸部眼睛样式并跟随眼睛动作的方法程序，所述替换人脸部眼睛样式并跟随眼睛动作的方法程序被所述处理器执行时实现如下步骤：
获取预设图片或视频一帧中的人脸部分信息；
根据预设图片或视频一帧中的人脸部分信息，得到预设图片或视频一帧中人脸部分的眼睛状态信息；
判断所述人脸部分的眼睛状态是否为闭眼状态，若是，则直接使用预设闭眼遮罩信息；若否，则通过预设眼动追踪模块，得到睁眼遮罩信息；
将眼部遮罩发送至预设脸部遮罩，通过对齐、稳定性处理，得到更换图片或视频一帧信息；
将更换图片或视频一帧发送至原图片或视频一帧处，得到替换效果。
本方案中，所述通过预设眼动追踪模块，得到睁眼遮罩，具体为：
基于预设眼动追踪程序，检测对应人脸部分的瞳孔位置，若检测到，则直接输出瞳孔位置；若没有检测到，则使用默认瞳孔位置；
将预设睁眼模型按照瞳孔位置进行对齐，得到睁眼遮罩信息。
本方案中，还包括：
将正脸且眼睛平射为基准，设定坐标系；
将正脸对称位置的中线设为y轴，方向朝上；眼睛平射位置的水平线设为x轴，方向朝右。
本方案中，还包括：
获取预设眼罩的眼睛尺寸值，其半径设为
Figure 66190DEST_PATH_IMAGE001
；
将眼睛平射时的右瞳孔中心点坐标设为
Figure 506398DEST_PATH_IMAGE002
，左瞳孔中心点坐标设为
Figure 779248DEST_PATH_IMAGE003
；
获取眼睛转动时的右瞳孔中心点坐标设为
Figure 180273DEST_PATH_IMAGE004
，左瞳孔中心点坐标设为
Figure 931192DEST_PATH_IMAGE005
；
根据坐标差值和眼睛尺寸值，得到瞳孔转动的角度值，其公式为：
Figure 366852DEST_PATH_IMAGE006
，其中
Figure 533305DEST_PATH_IMAGE007
表示瞳孔上下转动的角度，其中正数为向上转动，负数为向下转动；
Figure 687206DEST_PATH_IMAGE008
，其中
Figure 366449DEST_PATH_IMAGE009
表示瞳孔左右转动的角度，其中正数为向右转动，负数为向左转动；其中
Figure 391037DEST_PATH_IMAGE010
和
Figure 271268DEST_PATH_IMAGE011
为瞳孔坐标的相对差值。
本方案中，还包括：
根据瞳孔转动的初始位置、终点位置和转动的角度，得到瞳孔转动的运动轨迹；
所述运动轨迹的方向为初始位置至终点位置。
本方案中，还包括：
获取眼睛遮罩中的眼睛缩放比例；
获取人脸部分的实际眼睛尺寸信息；
根据人脸部分的实际眼睛尺寸和缩放比值，得到眼睛遮罩中的眼睛大小值。
本发明第三方面提供了一种计算机介质，所述计算机介质中存储有替换人脸部眼睛样式并跟随眼睛动作的方法程序，所述替换人脸部眼睛样式并跟随眼睛动作的方法程序被处理器执行时，实现如上述任一项所述的替换人脸部眼睛样式并跟随眼睛动作的方法的步骤。
发明公开的替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质，通过将眼睛部分单独制作一个遮罩，再将这个遮罩和脸部遮罩组合成一个整体，但是由一组坐标单独控制，比较完美的解决了使用遮罩方法进行实时换脸时，遮罩的眼睛部分没办法与被替换的主播同步动作的问题，有效的提升了换脸效果。
附图说明
图1示出了本发明替换人脸部眼睛样式并跟随眼睛动作的方法的流程图；
图2示出了本发明的眼部跟踪方法的处理流程图；
图3示出了本发明替换人脸部眼睛样式并跟随眼睛动作的系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明替换人脸部眼睛样式并跟随眼睛动作的方法的流程图。
如图1所示，本发明公开了替换人脸部眼睛样式并跟随眼睛动作的方法，包括：
S102，获取预设图片或视频一帧中的人脸部分信息；
S104，根据预设图片或视频一帧中的人脸部分信息，得到预设图片或视频一帧中人脸部分的眼睛状态信息；
S106，判断所述人脸部分的眼睛状态是否为闭眼状态，若是，则直接使用预设闭眼遮罩信息；若否，则通过预设眼动追踪模块，得到睁眼遮罩信息；
S108，将眼部遮罩发送至预设脸部遮罩，通过对齐、稳定性处理，得到更换图片或视频一帧信息；
S110，将更换图片或视频一帧发送至原图片或视频一帧处，得到替换效果。
需要说明的是，通过预设的人脸识别程序，提取图片或视频一帧中的人脸部分，判断识别处的人脸中，眼睛是不是闭合的，若是闭眼状态，则直接使用闭眼遮罩；若眼睛不是闭合状态，则将所述人脸部分信息发送至眼动追踪模块，得到睁眼遮罩；所述眼部遮罩包含闭眼遮罩和睁眼遮罩，将眼部遮罩和做好的脸部遮罩组合成一个整体，得到整个脸部遮罩，在通过对齐、稳定性处理，到的更换图片或视频一帧信息，将所述更换图片或视频一帧替换原来的图片或视频一帧，达到换脸的目的，所述稳定性处理包括：平滑、防抖、防蠕动，并稳定眼球部分的移动范围。
根据本发明实施例，所述通过预设眼动追踪模块，得到睁眼遮罩，具体为：
基于预设眼动追踪程序，检测对应人脸部分的瞳孔位置，若检测到，则直接输出瞳孔位置；若没有检测到，则使用默认瞳孔位置；
将预设睁眼模型按照瞳孔位置进行对齐，得到睁眼遮罩信息。
需要说明的是，所述预设眼动追踪模块包含一种眼动追踪程序，通过所述眼动追踪程序，可以检测对应人脸部分的瞳孔位置，通过预设坐标轴，输出瞳孔坐标位置；若眼动追踪程序没有检测到对应人脸部分的瞳孔位置，则使用默认瞳孔位置，所述默认瞳孔位置为视频上一帧中的瞳孔位置，若为单一图片或视频中第一帧的人脸部分，则所述默认瞳孔位置为预设的瞳孔位置，比如：瞳孔在正中间位置。将预设睁眼模型按照瞳孔位置对齐，得到睁眼遮罩信息。所述瞳孔坐标为瞳孔中心点的坐标。
根据本发明实施例，还包括：
将正脸且眼睛平射为基准，设定坐标系；
将正脸对称位置的中线设为y轴，方向朝上；眼睛平射位置的水平线设为x轴，方向朝右。
需要说明的是，将正脸且眼睛平射为基准，设定坐标系，正脸鼻梁对称位置的中线设为坐标系的y轴，方向朝上；眼睛平射位置点水平线设为坐标系的x轴，方向超右。
根据本发明实施例，还包括：
获取预设眼罩的眼睛尺寸值，其半径设为
Figure 646886DEST_PATH_IMAGE001
；
将眼睛平射时的右瞳孔中心点坐标设为
Figure 739607DEST_PATH_IMAGE002
，左瞳孔中心点坐标设为
Figure 149859DEST_PATH_IMAGE003
；
获取眼睛转动时的右瞳孔中心点坐标设为
Figure 669834DEST_PATH_IMAGE004
，左瞳孔中心点坐标设为
Figure 532747DEST_PATH_IMAGE005
；
根据坐标差值和眼睛尺寸值，得到瞳孔转动的角度值，其公式为：
Figure 553793DEST_PATH_IMAGE006
，其中
Figure 818552DEST_PATH_IMAGE007
表示瞳孔上下转动的角度，其中正数为向上转动，负数为向下转动；
Figure 40586DEST_PATH_IMAGE008
，其中
Figure 125217DEST_PATH_IMAGE009
表示瞳孔左右转动的角度，其中正数为向右转动，负数为向左转动；其中
Figure 825320DEST_PATH_IMAGE010
和
Figure 679006DEST_PATH_IMAGE011
为瞳孔坐标的相对差值。
需要说明的是，所述眼睛平射为眼睛平射正前方，当眼睛转动时，记录瞳孔中心点坐标。若眼睛仅上下转动时，其转动的角度设为
Figure 71941DEST_PATH_IMAGE007
，其公式为：
Figure 909447DEST_PATH_IMAGE006
；若眼睛仅左右转动时，其转动的角度设为
Figure 413241DEST_PATH_IMAGE009
，其公式为
Figure 121434DEST_PATH_IMAGE008
；若眼睛不仅上下还左右转动时，其转动的角度设为
Figure 796522DEST_PATH_IMAGE012
，其公式为
Figure DEST_PATH_IMAGE013
，其中
Figure 59007DEST_PATH_IMAGE014
，当
Figure DEST_PATH_IMAGE015
时，瞳孔向下转动；当
Figure 191260DEST_PATH_IMAGE016
时，瞳孔向上转动，其中
Figure DEST_PATH_IMAGE017
，当
Figure 81856DEST_PATH_IMAGE018
时，瞳孔向左转动；当
Figure DEST_PATH_IMAGE019
时，瞳孔向右转动，当
Figure 223118DEST_PATH_IMAGE010
和
Figure 769637DEST_PATH_IMAGE011
同时发生变化时，比如：当
Figure 615233DEST_PATH_IMAGE015
且
Figure 157073DEST_PATH_IMAGE019
，则瞳孔转动的方向为右下方向转动，其角度为
Figure 62712DEST_PATH_IMAGE012
，所述n的取值为1和2，当取1时，表示右瞳孔，取2时，表示左瞳孔。
根据本发明实施例，还包括：
根据瞳孔转动的初始位置、终点位置和转动的角度，得到瞳孔转动的运动轨迹；
所述运动轨迹的方向为初始位置至终点位置。
需要说明的是，瞳孔运动的弧长设为L,其公式为：
Figure 830948DEST_PATH_IMAGE020
，其中
Figure DEST_PATH_IMAGE021
为周圆率，
Figure 745815DEST_PATH_IMAGE022
表示瞳孔转动的角度，包含：
Figure DEST_PATH_IMAGE023
，
Figure 486369DEST_PATH_IMAGE001
表示眼球的半径，所述瞳孔运动的方向为初始位置至终点位置。
根据本发明实施例，还包括：
获取眼睛遮罩中的眼睛缩放比例；
获取人脸部分的实际眼睛尺寸信息；
根据人脸部分的实际眼睛尺寸和缩放比值，得到眼睛遮罩中的眼睛大小值。
需要说明的是，基于眼睛缩放比例，根据实际眼睛尺寸，确定遮罩中眼睛大小，将眼睛缩放比例设为
Figure 297330DEST_PATH_IMAGE024
，实际眼睛的半径设为
Figure DEST_PATH_IMAGE025
，则眼睛遮罩中的眼睛半径
Figure 349599DEST_PATH_IMAGE026
，其中
Figure DEST_PATH_IMAGE027
。根据实际眼睛尺寸对眼睛遮罩中眼睛大小进行实时调节，使得换脸后的表情更加真实。
根据本发明实施例，还包括：
获取眼睛遮罩中的眼睛亮度比值；
获取人脸部分的实际眼睛亮度值；
根据人脸部分的实际眼睛亮度值和眼睛比值，得到眼睛遮罩中的眼睛亮度值。
需要说明的是，根据人脸部分的实际眼睛亮度值，对眼睛遮罩中眼睛亮度进行调节，使得所述眼睛遮罩更加符合对应照片或视频一帧所在的环境，比如：眼睛遮罩中的眼睛亮度值为1.1，当图片一或者视频第一帧的亮度值为200cd/m（坎德拉每平方米）时，眼睛遮罩中的眼睛亮度值为220cd/m，当图片二或者视频第二帧的亮度值为220cd/m时，眼睛遮罩中的眼睛亮度值为242cd/m，通过眼睛遮罩中的眼睛亮度比值，根据图片或视频一帧中的眼睛亮度实时调整眼睛遮罩中眼睛的亮度值，提升了换脸的效果。
图2示出了本发明的眼部跟踪方法的处理流程图。
如图2所示，通过人脸识别程序，提取图片或视频一帧中的人脸部分，识别人脸部分的眼睛状态，若是闭眼状态，则直接使用闭眼遮罩，若是睁眼状态，通过严冬追踪程序，检测到该人脸的瞳孔位置，如果没有检测到，则使用默认瞳孔位置；如果检测到，则直接输出瞳孔位置，将制作好睁眼模型按照瞳孔位置对齐，得到睁眼遮罩，所述眼部遮罩包含闭眼遮罩和睁眼遮罩，通过眼部遮罩和脸部遮罩进行结合，得到整个脸部遮罩，再根据上下文对整个脸部遮罩进行稳定性处理，包括：平滑、防抖、放蠕动，并稳定眼球部分的移动范围，将处理好的遮罩放回对应图片或视频帧，进行进一步的处理。
图3示出了本发明替换人脸部眼睛样式并跟随眼睛动作的系统的框图。
如图3所示，本发明第二方面提供了替换人脸部眼睛样式并跟随眼睛动作的系统3，包括存储器31和处理器32，所述存储器中存储有替换人脸部眼睛样式并跟随眼睛动作的方法程序，所述替换人脸部眼睛样式并跟随眼睛动作的方法程序被所述处理器执行时实现如下步骤：
获取预设图片或视频一帧中的人脸部分信息；
根据预设图片或视频一帧中的人脸部分信息，得到预设图片或视频一帧中人脸部分的眼睛状态信息；
判断所述人脸部分的眼睛状态是否为闭眼状态，若是，则直接使用预设闭眼遮罩信息；若否，则通过预设眼动追踪模块，得到睁眼遮罩信息；
将眼部遮罩发送至预设脸部遮罩，通过对齐、稳定性处理，得到更换图片或视频一帧信息；
将更换图片或视频一帧发送至原图片或视频一帧处，得到替换效果。
需要说明的是，通过预设的人脸识别程序，提取图片或视频一帧中的人脸部分，判断识别处的人脸中，眼睛是不是闭合的，若是闭眼状态，则直接使用闭眼遮罩；若眼睛不是闭合状态，则将所述人脸部分信息发送至眼动追踪模块，得到睁眼遮罩；所述眼部遮罩包含闭眼遮罩和睁眼遮罩，将眼部遮罩和做好的脸部遮罩组合成一个整体，得到整个脸部遮罩，在通过对齐、稳定性处理，到的更换图片或视频一帧信息，将所述更换图片或视频一帧替换原来的图片或视频一帧，达到换脸的目的，所述稳定性处理包括：平滑、防抖、防蠕动，并稳定眼球部分的移动范围。
根据本发明实施例，所述通过预设眼动追踪模块，得到睁眼遮罩，具体为：
基于预设眼动追踪程序，检测对应人脸部分的瞳孔位置，若检测到，则直接输出瞳孔位置；若没有检测到，则使用默认瞳孔位置；
将预设睁眼模型按照瞳孔位置进行对齐，得到睁眼遮罩信息。
需要说明的是，所述预设眼动追踪模块包含一种眼动追踪程序，通过所述眼动追踪程序，可以检测对应人脸部分的瞳孔位置，通过预设坐标轴，输出瞳孔坐标位置；若眼动追踪程序没有检测到对应人脸部分的瞳孔位置，则使用默认瞳孔位置，所述默认瞳孔位置为视频上一帧中的瞳孔位置，若为单一图片或视频中第一帧的人脸部分，则所述默认瞳孔位置为预设的瞳孔位置，比如：瞳孔在正中间位置。将预设睁眼模型按照瞳孔位置对齐，得到睁眼遮罩信息。所述瞳孔坐标为瞳孔中心点的坐标。
根据本发明实施例，还包括：
将正脸且眼睛平射为基准，设定坐标系；
将正脸对称位置的中线设为y轴，方向朝上；眼睛平射位置的水平线设为x轴，方向朝右。
需要说明的是，将正脸且眼睛平射为基准，设定坐标系，正脸鼻梁对称位置的中线设为坐标系的y轴，方向朝上；眼睛平射位置点水平线设为坐标系的x轴，方向超右。
根据本发明实施例，还包括：
获取预设眼罩的眼睛尺寸值，其半径设为
Figure 943523DEST_PATH_IMAGE001
；
将眼睛平射时的右瞳孔中心点坐标设为
Figure 866480DEST_PATH_IMAGE002
，左瞳孔中心点坐标设为
Figure 848342DEST_PATH_IMAGE003
；
获取眼睛转动时的右瞳孔中心点坐标设为
Figure 856749DEST_PATH_IMAGE004
，左瞳孔中心点坐标设为
Figure 706894DEST_PATH_IMAGE005
；
根据坐标差值和眼睛尺寸值，得到瞳孔转动的角度值，其公式为：
Figure 218778DEST_PATH_IMAGE006
，其中
Figure 637121DEST_PATH_IMAGE007
表示瞳孔上下转动的角度，其中正数为向上转动，负数为向下转动；
Figure 601666DEST_PATH_IMAGE008
，其中
Figure 130867DEST_PATH_IMAGE009
表示瞳孔左右转动的角度，其中正数为向右转动，负数为向左转动；其中
Figure 621891DEST_PATH_IMAGE010
和
Figure 211136DEST_PATH_IMAGE011
为瞳孔坐标的相对差值。
需要说明的是，所述眼睛平射为眼睛平射正前方，当眼睛转动时，记录瞳孔中心点坐标。若眼睛仅上下转动时，其转动的角度设为
Figure 194135DEST_PATH_IMAGE007
，其公式为：
Figure 995869DEST_PATH_IMAGE006
；若眼睛仅左右转动时，其转动的角度设为
Figure 482345DEST_PATH_IMAGE009
，其公式为
Figure 242491DEST_PATH_IMAGE008
；若眼睛不仅上下还左右转动时，其转动的角度设为
Figure 306262DEST_PATH_IMAGE012
，其公式为
Figure 177266DEST_PATH_IMAGE013
，其中
Figure 252669DEST_PATH_IMAGE014
，当
Figure 449295DEST_PATH_IMAGE015
时，瞳孔向下转动；当
Figure 598430DEST_PATH_IMAGE016
时，瞳孔向上转动，其中
Figure 397759DEST_PATH_IMAGE017
，当
Figure 593248DEST_PATH_IMAGE018
时，瞳孔向左转动；当
Figure 695197DEST_PATH_IMAGE019
时，瞳孔向右转动，当
Figure 874505DEST_PATH_IMAGE010
和
Figure 87312DEST_PATH_IMAGE011
同时发生变化时，比如：当
Figure 137307DEST_PATH_IMAGE015
且
Figure 534791DEST_PATH_IMAGE019
，则瞳孔转动的方向为右下方向转动，其角度为
Figure 935816DEST_PATH_IMAGE012
，所述n的取值为1和2，当取1时，表示右瞳孔，取2时，表示左瞳孔。
根据本发明实施例，还包括：
根据瞳孔转动的初始位置、终点位置和转动的角度，得到瞳孔转动的运动轨迹；
所述运动轨迹的方向为初始位置至终点位置。
需要说明的是，瞳孔运动的弧长设为L,其公式为：
Figure 952314DEST_PATH_IMAGE020
，其中
Figure 122395DEST_PATH_IMAGE021
为周圆率，
Figure 300567DEST_PATH_IMAGE022
表示瞳孔转动的角度，包含：
Figure 313522DEST_PATH_IMAGE023
，
Figure 71393DEST_PATH_IMAGE001
表示眼球的半径，所述瞳孔运动的方向为初始位置至终点位置。
根据本发明实施例，还包括：
获取眼睛遮罩中的眼睛缩放比例；
获取人脸部分的实际眼睛尺寸信息；
根据人脸部分的实际眼睛尺寸和缩放比值，得到眼睛遮罩中的眼睛大小值。
需要说明的是，基于眼睛缩放比例，根据实际眼睛尺寸，确定遮罩中眼睛大小，将眼睛缩放比例设为
Figure 361561DEST_PATH_IMAGE024
，实际眼睛的半径设为
Figure 976213DEST_PATH_IMAGE025
，则眼睛遮罩中的眼睛半径
Figure 86251DEST_PATH_IMAGE026
，其中
Figure 444551DEST_PATH_IMAGE027
。根据实际眼睛尺寸对眼睛遮罩中眼睛大小进行实时调节，使得换脸后的表情更加真实。
根据本发明实施例，还包括：
获取眼睛遮罩中的眼睛亮度比值；
获取人脸部分的实际眼睛亮度值；
根据人脸部分的实际眼睛亮度值和眼睛比值，得到眼睛遮罩中的眼睛亮度值。
需要说明的是，根据人脸部分的实际眼睛亮度值，对眼睛遮罩中眼睛亮度进行调节，使得所述眼睛遮罩更加符合对应照片或视频一帧所在的环境，比如：眼睛遮罩中的眼睛亮度值为1.1，当图片一或者视频第一帧的亮度值为200cd/m（坎德拉每平方米）时，眼睛遮罩中的眼睛亮度值为220cd/m，当图片二或者视频第二帧的亮度值为220cd/m时，眼睛遮罩中的眼睛亮度值为242cd/m，通过眼睛遮罩中的眼睛亮度比值，根据图片或视频一帧中的眼睛亮度实时调整眼睛遮罩中眼睛的亮度值，提升了换脸的效果。
本发明第三方面提供了一种计算机介质，所述计算机介质中存储有替换人脸部眼睛样式并跟随眼睛动作的方法程序，所述替换人脸部眼睛样式并跟随眼睛动作的方法程序被处理器执行时，实现如上述任一项所述的替换人脸部眼睛样式并跟随眼睛动作的方法的步骤。
发明公开的替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质，其中方法包括：获取预设图片或视频一帧中的人脸部分信息；根据预设图片或视频一帧中的人脸部分信息，得到预设图片或视频一帧中人脸部分的眼睛状态信息；判断所述人脸部分的眼睛状态是否为闭眼状态，若是，则直接使用预设闭眼遮罩信息；若否，则通过预设眼动追踪模块，得到睁眼遮罩信息； 将眼部遮罩发送至预设脸部遮罩，通过对齐、稳定性处理，得到更换图片或视频一帧信息；将更换图片或视频一帧发送至原图片或视频一帧处，得到替换效果。本发明比较完美的解决了使用遮罩方法进行实时换脸时，遮罩的眼睛部分没办法与被替换的主播同步动作的问题，有效的提升了换脸效果。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (7)

1.替换人脸部眼睛样式并跟随眼睛动作的方法，其特征在于，包括：
获取预设图片或视频一帧中的人脸部分信息；
根据预设图片或视频一帧中的人脸部分信息，得到预设图片或视频一帧中人脸部分的眼睛状态信息；
判断所述人脸部分的眼睛状态是否为闭眼状态，若是，则直接使用预设闭眼遮罩信息；若否，则通过预设眼动追踪模块，得到睁眼遮罩信息；
将眼部遮罩发送至预设脸部遮罩，通过对齐、稳定性处理，得到更换图片或视频一帧信息；
将更换图片或视频一帧发送至原图片或视频一帧处，得到替换效果；
还包括：
将正脸且眼睛平射为基准，设定坐标系；
将正脸对称位置的中线设为y轴，方向朝上；眼睛平射位置的水平线设为x轴，方向朝右；
还包括：
获取预设眼罩的眼睛尺寸值，其半径设为
Figure DEST_PATH_IMAGE001
；
将眼睛平射时的右瞳孔中心点坐标设为
Figure 908715DEST_PATH_IMAGE002
，左瞳孔中心点坐标设为
Figure DEST_PATH_IMAGE003
；
获取眼睛转动时的右瞳孔中心点坐标设为
Figure 434374DEST_PATH_IMAGE004
，左瞳孔中心点坐标设为
Figure DEST_PATH_IMAGE005
；
根据坐标差值和眼睛尺寸值，得到瞳孔转动的角度值，其公式为：
Figure 792150DEST_PATH_IMAGE006
，其中
Figure DEST_PATH_IMAGE007
表示瞳孔上下转动的角度，其中正数为向上转动，负数为向下转动；
Figure 962231DEST_PATH_IMAGE008
，其中
Figure DEST_PATH_IMAGE009
表示瞳孔左右转动的角度，其中正数为向右转动，负数为向左转动；其中
Figure 265036DEST_PATH_IMAGE010
和
Figure DEST_PATH_IMAGE011
为瞳孔坐标的相对差值。
2.根据权利要求1所述的替换人脸部眼睛样式并跟随眼睛动作的方法，其特征在于，所述通过预设眼动追踪模块，得到睁眼遮罩，具体为：
基于预设眼动追踪程序，检测对应人脸部分的瞳孔位置，若检测到，则直接输出瞳孔位置；若没有检测到，则使用默认瞳孔位置；
将预设睁眼模型按照瞳孔位置进行对齐，得到睁眼遮罩信息。
3.根据权利要求1所述的替换人脸部眼睛样式并跟随眼睛动作的方法，其特征在于，还包括：
根据瞳孔转动的初始位置、终点位置和转动的角度，得到瞳孔转动的运动轨迹；
所述运动轨迹的方向为初始位置至终点位置。
4.根据权利要求1所述的替换人脸部眼睛样式并跟随眼睛动作的方法，其特征在于，还包括：
获取眼睛遮罩中的眼睛缩放比例；
获取人脸部分的实际眼睛尺寸信息；
根据人脸部分的实际眼睛尺寸和缩放比值，得到眼睛遮罩中的眼睛大小值。
5.替换人脸部眼睛样式并跟随眼睛动作的系统，其特征在于，包括存储器和处理器，所述存储器中存储有替换人脸部眼睛样式并跟随眼睛动作的方法程序，所述替换人脸部眼睛样式并跟随眼睛动作的方法程序被所述处理器执行时实现如下步骤：
获取预设图片或视频一帧中的人脸部分信息；
根据预设图片或视频一帧中的人脸部分信息，得到预设图片或视频一帧中人脸部分的眼睛状态信息；
判断所述人脸部分的眼睛状态是否为闭眼状态，若是，则直接使用预设闭眼遮罩信息；若否，则通过预设眼动追踪模块，得到睁眼遮罩信息；
将眼部遮罩发送至预设脸部遮罩，通过对齐、稳定性处理，得到更换图片或视频一帧信息；
将更换图片或视频一帧发送至原图片或视频一帧处，得到替换效果；
所述替换人脸部眼睛样式并跟随眼睛动作的方法程序被所述处理器执行时还实现如下步骤：
将正脸且眼睛平射为基准，设定坐标系；
将正脸对称位置的中线设为y轴，方向朝上；眼睛平射位置的水平线设为x轴，方向朝右；
所述替换人脸部眼睛样式并跟随眼睛动作的方法程序被所述处理器执行时还实现如下步骤：
获取预设眼罩的眼睛尺寸值，其半径设为
Figure 763145DEST_PATH_IMAGE001
；
将眼睛平射时的右瞳孔中心点坐标设为
Figure 973547DEST_PATH_IMAGE002
，左瞳孔中心点坐标设为
Figure 670238DEST_PATH_IMAGE003
；
获取眼睛转动时的右瞳孔中心点坐标设为
Figure 816049DEST_PATH_IMAGE004
，左瞳孔中心点坐标设为
Figure 847459DEST_PATH_IMAGE005
；
根据坐标差值和眼睛尺寸值，得到瞳孔转动的角度值，其公式为：
Figure 337915DEST_PATH_IMAGE006
，其中
Figure 13747DEST_PATH_IMAGE007
表示瞳孔上下转动的角度，其中正数为向上转动，负数为向下转动；
Figure 720672DEST_PATH_IMAGE008
，其中
Figure 724531DEST_PATH_IMAGE009
表示瞳孔左右转动的角度，其中正数为向右转动，负数为向左转动；其中
Figure 417681DEST_PATH_IMAGE010
和
Figure 807074DEST_PATH_IMAGE011
为瞳孔坐标的相对差值。
6.根据权利要求5所述的替换人脸部眼睛样式并跟随眼睛动作的系统，其特征在于，所述通过预设眼动追踪模块，得到睁眼遮罩，具体为：
基于预设眼动追踪程序，检测对应人脸部分的瞳孔位置，若检测到，则直接输出瞳孔位置；若没有检测到，则使用默认瞳孔位置；
将预设睁眼模型按照瞳孔位置进行对齐，得到睁眼遮罩信息。
7.一种计算机介质，其特征在于，所述计算机介质中存储有替换人脸部眼睛样式并跟随眼睛动作的方法程序，所述替换人脸部眼睛样式并跟随眼睛动作的方法程序被处理器执行时，实现如权利要求1至4中任一项所述的替换人脸部眼睛样式并跟随眼睛动作的方法的步骤。
CN202211383668.XA 2022-11-07 2022-11-07 替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质 Active CN115426506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211383668.XA CN115426506B (zh) 2022-11-07 2022-11-07 替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211383668.XA CN115426506B (zh) 2022-11-07 2022-11-07 替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质

Publications (2)

Publication Number Publication Date
CN115426506A CN115426506A (zh) 2022-12-02
CN115426506B true CN115426506B (zh) 2023-02-03

Family

ID=84207790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211383668.XA Active CN115426506B (zh) 2022-11-07 2022-11-07 替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质

Country Status (1)

Country Link
CN (1) CN115426506B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104391567A (zh) * 2014-09-30 2015-03-04 深圳市亿思达科技集团有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN109658420A (zh) * 2018-11-21 2019-04-19 深圳艺达文化传媒有限公司 短视频的换脸方法及相关产品
CN110675438A (zh) * 2019-09-24 2020-01-10 北京紫睛科技有限公司 一种轻量级快速人脸交换的算法
CN112949360A (zh) * 2019-12-11 2021-06-11 广州市久邦数码科技有限公司 一种视频换脸方法和装置
WO2021258920A1 (zh) * 2020-06-24 2021-12-30 百果园技术(新加坡)有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362885B2 (en) * 2004-04-20 2008-04-22 Delphi Technologies, Inc. Object tracking and eye state identification method
CN108960071A (zh) * 2018-06-06 2018-12-07 武汉幻视智能科技有限公司 一种睁眼闭眼状态检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104391567A (zh) * 2014-09-30 2015-03-04 深圳市亿思达科技集团有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN109658420A (zh) * 2018-11-21 2019-04-19 深圳艺达文化传媒有限公司 短视频的换脸方法及相关产品
CN110675438A (zh) * 2019-09-24 2020-01-10 北京紫睛科技有限公司 一种轻量级快速人脸交换的算法
CN112949360A (zh) * 2019-12-11 2021-06-11 广州市久邦数码科技有限公司 一种视频换脸方法和装置
WO2021258920A1 (zh) * 2020-06-24 2021-12-30 百果园技术(新加坡)有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置

Also Published As

Publication number Publication date
CN115426506A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
US11250241B2 (en) Face image processing methods and apparatuses, and electronic devices
US10691934B2 (en) Real-time visual feedback for user positioning with respect to a camera and a display
US9892561B2 (en) Method of hiding an object in an image or video and associated augmented reality process
CN112419170B (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
WO2022156640A1 (zh) 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN110175558B (zh) 一种人脸关键点的检测方法、装置、计算设备及存储介质
CN110264396B (zh) 视频人脸替换方法、系统及计算机可读存储介质
CN108810406B (zh) 人像光效处理方法、装置、终端及计算机可读存储介质
US20100220925A1 (en) Detecting method and detecting system for positions of face parts
JP2007213377A (ja) 顔特徴点検出方法および装置並びにプログラム
CN110363170B (zh) 视频换脸方法和装置
CN111353404A (zh) 一种人脸识别方法、装置及设备
CN108717704A (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
CN110321753A (zh) 一种基于人脸几何特征的人脸图像质量评价方法
CN112016469A (zh) 图像处理方法及装置、终端及可读存储介质
WO2023155533A1 (zh) 一种图像驱动方法、装置、设备和介质
CN107368817A (zh) 人脸识别方法和装置
CN115426506B (zh) 替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质
CN112639870A (zh) 图像处理装置、图像处理方法和图像处理程序
CN111274851A (zh) 一种活体检测方法及装置
TWI466070B (zh) 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置
Grinchuk et al. 3d mask presentation attack detection via high resolution face parts
CN113744411A (zh) 图像处理方法及装置、设备、存储介质
CN111126283A (zh) 一种自动过滤模糊人脸的快速活体检测方法及系统
CN109063696A (zh) 一种人脸识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant