CN107704829A - 一种人脸关键点追踪方法及应用和装置 - Google Patents

一种人脸关键点追踪方法及应用和装置 Download PDF

Info

Publication number
CN107704829A
CN107704829A CN201710930086.1A CN201710930086A CN107704829A CN 107704829 A CN107704829 A CN 107704829A CN 201710930086 A CN201710930086 A CN 201710930086A CN 107704829 A CN107704829 A CN 107704829A
Authority
CN
China
Prior art keywords
key point
face key
frame
current video
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710930086.1A
Other languages
English (en)
Other versions
CN107704829B (zh
Inventor
李亮
陈少杰
张文明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Internet Service Co ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201710930086.1A priority Critical patent/CN107704829B/zh
Publication of CN107704829A publication Critical patent/CN107704829A/zh
Application granted granted Critical
Publication of CN107704829B publication Critical patent/CN107704829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸关键点追踪方法及应用和装置，该方法包括：采集当前视频图像帧；从当前视频图像帧中定位出人脸关键点；判断当前视频图像帧中的人脸相对于当前视频图像帧的上一视频图像帧中的人脸是否移动；如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点，如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动，则将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和的结果确定为当前视频图像帧的有效人脸关键点，通过本发明完全避免了视频中人脸关键点追踪时抖动。

Description

一种人脸关键点追踪方法及应用和装置
技术领域
本发明涉及图像处理领域，尤其涉及一种人脸关键点追踪方法及应用和装置。
背景技术
近来，级联形状回归模型在人脸关键点定位任务上取得了重大突破，该方法使用回归模型，直接学习从人脸图像到人脸关键点位置的映射函数，进而建立从输入到输出的对应关系。此类方法简单高效，在可控场景(实验室条件下采集的人脸)和非可控场景(网络人脸图像等)均取得不错的关键点定位效果。此外，基于深度学习的面部特征点定位方法也取得令人瞩目的结果。
虽然目前已经有较为成熟的人脸关键点定位算法，但是目前的人脸关键点定位算法在视频追踪中，定位出的人脸关键点会出现抖动的现象，抖动对人脸关键点的应用会产生极大的影响，例如，在美型的放大眼睛功能中，如果定位出的人眼位置在不停地抖动那么放大后的眼睛也会出现不停地抖动，进而会导致那么这个美型效果就比较差。
发明内容
本发明实施例通过提供一种人脸关键点追踪方法及应用和装置，解决了现有人脸关键点定位算法在视频追踪中定位出的人脸关键点会出现抖动的技术问题。
第一方面，本发明实施例提供一种人脸关键点追踪方法，包括：
采集当前视频图像帧；
从所述当前视频图像帧中定位出人脸关键点；
判断所述当前视频图像帧中的人脸相对于所述当前视频图像帧的上一视频图像帧中的人脸是否移动；
如果是，将从所述当前视频图像帧中定位出的人脸关键点确定为所述当前视频图像帧的有效人脸关键点，否则，将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为所述当前视频图像帧的有效人脸关键点。
可选的，所述判断所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸是否移动，包括：
获取所述当前视频图像帧中的每个像素点；
根据所述当前视频图像帧中的各个像素点与所述上一视频图像帧中对应位置的像素点之间的差值，确定出所述当前视频图像帧相对于所述上一视频图像帧的第一像素差均值；
判断所述第一像素差均值是否大于像素差阈值；
如果是，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸存在移动，否则，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸不存在移动。
可选的，所述判断所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸是否移动，包括：
根据从所述当前视频图像帧中定位出的各个人脸关键点与从所述上一视频图像帧中定位出的对应位置的人脸关键点之间的差值，确定出所述当前视频图像帧相对于所述上一视频图像帧的第二像素差均值；
判断所述第二像素差均值是否大于像素差阈值；
如果是，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸存在移动，否则，确定所述当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。
可选的，所述将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧的有效人脸关键点进行加权和，包括：
获取所述上一视频图像帧相对于所述当前视频图像的再上一视频图像帧是否移动；
如果是，基于第一变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和；
否则，基于第二变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，其中，所述第一变化因子为基于所述第二变化因子确定且大于所述第一变化因子。
可选的，所述基于第一变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，包括：基于如下加权和公式将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和：
B.x2(i)＝Bx1(i)*β1+A.x2(i)*(1.0-β1)；
B.y2(i)＝B.y1(i)*β1+A.y2(i)*(1.0-β1)；
其中，β1为所述第一变化因子，B.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，A.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，B.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，B.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，A.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，B.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标，i为正整数。
可选的，所述基于第二变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，包括：
基于如下加权和公式将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和：
B.x2(i)＝Bx1(i)*β2+A.x2(i)*(1.0-β2)；
B.y2(i)＝B.y1(i)*β2+A.y2(i)*(1.0-β2)；
其中，β2为所述第二变化因子，B.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，A.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，B.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，B.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，A.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，B.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标。
第二方面，本发明实施例提供了一种视频中人脸图像美型方法，第一方面任一实施方式所述的人脸关键点追踪方法确定出的当前视频图像帧的各个有效人脸关键点中的至少一个有效人脸关键点进行美型。
第三方面，本发明实施例提供了一种人脸关键点追踪装置，包括：
图像采集单元，用于采集当前视频图像帧；
人脸识别单元，用于从所述当前视频图像帧中定位出人脸关键点；
移动判断单元，用于判断所述当前视频图像帧中的人脸相对于所述当前视频图像帧的上一视频图像帧中的人脸是否移动；
有效人脸关键点确定单元，用于如果所述移动判断单元的判断结果为是，将从所述当前视频图像帧中定位出的人脸关键点确定为所述当前视频图像帧的有效人脸关键点，否则，将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为所述当前视频图像帧的有效人脸关键点。
可选的，所述移动判断单元具体用于：
获取所述当前视频图像帧中的每个像素点；
根据所述当前视频图像帧中的各个像素点与所述上一视频图像帧中对应位置的像素点之间的差值，确定出所述当前视频图像帧相对于所述上一视频图像帧的第一像素差均值；
判断所述第一像素差均值是否大于像素差阈值；
如果是，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸存在移动，否则，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸不存在移动。
可选的，所述移动判断单元具体用于：
根据从所述当前视频图像帧中定位出的各个人脸关键点与从所述上一视频图像帧中定位出的对应位置的人脸关键点之间的差值，确定出所述当前视频图像帧相对于所述上一视频图像帧的第二像素差均值；
判断所述第二像素差均值是否大于像素差阈值；
如果是，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸存在移动，否则，确定所述当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。
可选的，所述有效人脸关键点确定单元，包括：
状态获取子单元，用于获取所述上一视频图像帧相对于所述当前视频图像的再上一视频图像帧是否移动；
第一加权计算子单元，用于如果状态获取子单元的获取结果为是，基于第一变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和；
第二加权计算子单元，用于如果状态获取子单元的获取结果为是，基于第二变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，其中，所述第一变化因子为基于所述第二变化因子确定且大于所述第一变化因子。
可选的，所述第一加权计算子单元，具体用于：基于如下加权和公式将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和：
B.x2(i)＝Bx1(i)*β1+A.x2(i)*(1.0-β1)；
B.y2(i)＝B.y1(i)*β1+A.y2(i)*(1.0-β1)；
其中，β1为所述第一变化因子，B.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，A.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，B.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，B.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，A.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，B.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标，i为正整数。
可选的，所述第二加权计算子单元，具体用于：
基于如下加权和公式将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和：
B.x2(i)＝Bx1(i)*β2+A.x2(i)*(1.0-β2)；
B.y2(i)＝B.y1(i)*β2+A.y2(i)*(1.0-β2)；
其中，β2为所述第二变化因子，B.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，A.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，B.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，B.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，A.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，B.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一实施方式所述的步骤。
第五方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面任一实施方式所述的步骤。
本发明实施例中提供的技术方案，至少具有如下技术效果或优点：
如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点，而不与上一视频图像帧中对应位置的有效人脸关键点进行加权和，从而使得移动的视频图像帧的人脸关键点没有延迟，因此不会产生人脸关键点的抖动。如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动，则将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和的结果确定为当前视频图像帧的有效人脸关键点，从而保证了非移动的视频图像帧的人脸关键点的准确性，从而，这种根据匹配视频图像帧中人脸的移动与否而动态调节了视频图像帧的人脸关键点为哪种，完全避免了视频中人脸关键点追踪时抖动，平衡了人脸关键点的准确性和稳定性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人脸关键点追踪方法的流程图；
图2为本发明实施例提供的人脸关键点追踪装置的程序模块图；
图3为本发明实施例提供的计算机可读存储介质的结构示意图；
图4为本发明实施例提供的计算机设备的结构示意图。
具体实施方式
本发明实施例通过提供一种人脸关键点追踪方法及应用和装置，解决了现有人脸关键点定位算法在视频追踪中定位出的人脸关键点会出现抖动的技术问题，总体思路如下：
采集当前视频图像帧；从当前视频图像帧中定位出人脸关键点；判断当前视频图像帧中的人脸相对于当前视频图像帧的上一视频图像帧中的人脸是否移动；如果是，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点，否则，将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为当前视频图像帧的有效人脸关键点。
上述方案，由于在当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点，从而使得移动的视频图像帧的人脸关键点没有延迟，因此不会产生人脸关键点的抖动。在当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动，将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和的结果确定为当前视频图像帧的有效人脸关键点，从而保证了非移动的视频图像帧的人脸关键点的准确性，从而，这种根据匹配视频图像帧中人脸的移动与否而动态调节了视频图像帧的人脸关键点为哪种，完全避免了视频中人脸关键点追踪时抖动问题，平衡了人脸关键点的准确性和稳定性。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参考图1所示，本发明实施例提供的人脸关键点追踪方法，包括：
S101、采集当前视频图像帧。
具体的，当前视频图像帧为视频中的当前视频图像帧，可以为网络直播视频中采集的当前视频图像帧，其中，当前视频图像帧中包括人脸。
S102、从当前视频图像帧中定位出人脸关键点。
需要说明的是，从当前视频图像帧中定位出的人脸关键点包括眼睛、鼻子、嘴巴、眉毛以及人脸各部件轮廓点等。
S103、判断当前视频图像帧中的人脸相对于当前视频图像帧的上一视频图像帧中的人脸是否移动。
为了说明书描述的简要，后续将当前视频图像帧的上一视频图像帧均称为上一视频图像帧。
具体的，判断当前视频图像帧中的人脸相对于上一视频图像帧中的人脸是否移动，可以有多种实施方式，下面给出两种实施方式：
实施方式一：
S1031、获取当前视频图像帧中的每个像素点；
S1032、根据当前视频图像帧中的各个像素点与上一视频图像帧中对应位置的像素点之间的差值，确定出当前视频图像帧相对于上一视频图像帧的第一像素差均值。
将当前视频图像帧中的各个像素点与上一视频图像帧中对应位置的像素点计算像素差值，从而得到各个像素差值，基于各个像素差值进行取平均值为当前视频图像帧相对于上一视频图像帧的第一像素差均值。
S1033、判断第一像素差均值是否大于像素差阈值。
像素差阈值取值需根据实际情况设定的定值，比如，根据人脸在视频图像中的大小获得。
S1034、如果第一像素差均值大于像素差阈值，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，否则，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。
如果通过步骤S1031～S1034判断出当前视频图像帧中的人脸相对于当前视频图像帧的上一视频图像帧中的人脸是否移动，则步骤S1031～S1034可以与步骤S102同时执行，或者分任意先后次序执行。
实施方式二：根据当前视频图像帧与上一视频图像帧各自定位出的人脸关键点的位置来判断人脸是否移动，实现过程具体包括如下步骤：
S1031’：根据从当前视频图像帧中定位出的各个人脸关键点与从上一视频图像帧中定位出的对应位置的人脸关键点之间的差值，确定出当前视频图像帧相对于上一视频图像帧的第二像素差均值。
具体的，第二像素差均值的计算公式为：
其中，L为第二像素差均值，m为人脸关键点的个数，i的范围为[0,m-1]，A.x2(i)为上一视频图像帧中第i有效人脸关键点的x坐标，A.y2(i)为上一视频图像帧中第i有效人脸关键点的y坐标，Bx1(i)为当前视频图像帧中定位出的第i人脸关键点的x坐标，B.y1(i)为当前视频图像帧中定位出的第i人脸关键点的y坐标。
假设在步骤S102中定位出人脸关键点的总数为68，而在上一次执行步骤S102以从上一视频图像帧中定位出的人脸关键点的总数为68。则计算针对这68个人脸关键点的像素差均值为第二像素差均值。
S1032’：判断第二像素差均值是否大于像素差阈值。
在本实施例中的像素差阈值根据实际情况设定，与人脸所在像素点在视频中的占比相关。
S1033’：如果判断出第二像素差均值大于像素差阈值，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，否则，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。
本实施例是在基于步骤S102定位出各个人脸关键点之后再依次执行步骤S1031’～S1034’以判断出当前视频图像帧中的人脸相对于当前视频图像帧的上一视频图像帧中的人脸是否移动。
在步骤S103之后，接着执行步骤S104：如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动，将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为当前视频图像帧的有效人脸关键点；如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点。
在一实施例中，仅考虑当前视频图像帧中的人脸相对于上一视频图像帧中的人脸的两种状态：移动和非移动，为了使人脸非移动状态下的人脸关键点尽可能稳定，当前视频图像帧中的人脸相对于上一视频图像帧为移动状态，则：基于一个目标变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，以得到当前视频图像帧的有效人脸关键点。具体来讲，计算过程为：当前视频图像帧中定位出的人脸关键点与目标变化因子值的乘积+上一视频图像帧中对应位置的有效人脸关键点与(1-目标变化因子值)的乘积，作为当前视频图像帧中的有效人脸关键点。在具体实施过程中，目标变化因子值设定为0.25。
当前视频图像帧中的人脸相对于上一视频图像帧为移动状态，则：将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点。在本实施例中不考虑上一视频图像帧中的人脸相对于再上一帧视频图像中的人脸是否移动。
通过本实施例，人脸存在移动的情况下，不进行与上一视频图像帧的人脸关键点进行加权求和，使得处于人脸在移动状态下追踪视频中的人脸关键点没有延迟，因此，即使视频中人脸发生移动，追踪人脸关键点也不会产生抖动。
在另一实施例中，不仅考虑当前视频图像帧中的人脸相对于上一视频图像帧中的人脸是否移动，还考虑上一视频图像帧中的人脸相对于再上一帧视频图像中的人脸是否移动，从而提供了如下实施过程：
获取上一视频图像帧相对于当前视频图像的再上一视频图像帧是否移动；如果是，基于第一变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和；否则，基于第二变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，其中，第一变化因子为基于第二变化因子确定且大于第一变化因子。
通过本实施例中，考虑了视频中人脸是持续非移动，即：当前视频帧相对于上一帧和再上一帧视频图像中的人脸均未移动、还是从移动切换至非移动(即：当前视频帧相对于上一视频图像帧中的人脸为非移动，而相对于再上一帧视频图像中的人脸为移动)，从而使用不同值的变化因子作用于当前视频图像帧与上一视频图像帧进行人脸关键点的加权求和，从而动态调节了加权求和的参数，以适应不同人脸的状态，进而使人脸关键点的定位效果更加稳定。
具体的，基于第一变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，具体为：基于如下加权和公式将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和：
B.x2(i)＝B.x1(i)*β1+A.x2(i)*(1.0-β1)；
B.y2(i)＝B.y1(i)*β1+A.y2(i)*(1.0-β1)；
其中，β1为所述第一变化因子，B.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，A.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，B.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，B.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，A.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，B.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标，i为正整数。
具体的，基于第二变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，包括：
基于如下加权和公式将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和：
B.x2(i)＝Bx1(i)*β2+A.x2(i)*(1.0-β2)；
B.y2(i)＝B.y1(i)*β2+A.y2(i)*(1.0-β2)；
其中，β2为所述第二变化因子，B.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，A.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，B.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，B.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，A.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，B.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标。
具体的，第一变化因子根据第二变化因子确定所用公式为：
β1＝β2+(1.0-β2)/2；
其中，β2为第二变化因子，β1为第一变化因子。
在具体实施过程中，第一变化因子和第二变化因子的范围均为范围为(0,1)，举例来讲，第二变化因子可以为0.25，则第一变化因子为0.625，当然，第二变化因子和第一变化因子也可以为其他基于前述限定条件确定出的其他数值。
基于同一发明构思，本发明实施例还提供了一种视频中人脸图像美型方法，对前述人脸关键点追踪方法实施例中的任一实施方式确定出的当前视频图像帧的各个有效人脸关键点中的至少一个有效人脸关键点进行美型。
对前述人脸关键点追踪方法实施例中的任一实施方式确定出的当前视频图像帧的眼睛、鼻子、嘴巴、眉毛以及人脸各部件轮廓点的一个或多个进行美型。确定出当前视频图像帧的各个有效人脸关键点的实施方式已经在前述人脸关键点追踪方法实施例详细描述，为了说明书的简洁，不再赘述。凡是应用前述人脸关键点追踪方法实施例得出有效人脸关键点后进行的美型都属于本实施例意欲保护的范围。
基于同一发明构思，本发明实施例提供了一种人脸关键点追踪装置，参考图2所示，包括：
图像采集单元201，用于采集当前视频图像帧；
人脸识别单元202，用于从当前视频图像帧中定位出人脸关键点；
移动判断单元203，用于判断当前视频图像帧中的人脸相对于当前视频图像帧的上一视频图像帧中的人脸是否移动；
有效人脸关键点确定单元204，用于如果移动判断单元的判断结果为是，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点，否则，将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为当前视频图像帧的有效人脸关键点。
可选的，移动判断单元203具体用于：
获取当前视频图像帧中的每个像素点；
根据当前视频图像帧中的各个像素点与上一视频图像帧中对应位置的像素点之间的差值，确定出当前视频图像帧相对于上一视频图像帧的第一像素差均值；
判断第一像素差均值是否大于像素差阈值；
如果是，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，否则，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。
可选的，移动判断单元203具体用于：
根据从当前视频图像帧中定位出的各个人脸关键点与从上一视频图像帧中定位出的对应位置的人脸关键点之间的差值，确定出当前视频图像帧相对于上一视频图像帧的第二像素差均值；
判断第二像素差均值是否大于像素差阈值；
如果是，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，否则，确定当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。
可选的，有效人脸关键点确定单元204，包括：
状态获取子单元，用于获取上一视频图像帧相对于当前视频图像的再上一视频图像帧是否移动；
第一加权计算子单元，用于如果状态获取子单元的获取结果为是，基于第一变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和；
第二加权计算子单元，用于如果状态获取子单元的获取结果为是，基于第二变化因子将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和，其中，第一变化因子为基于第二变化因子确定且大于第一变化因子。
可选的，第一加权计算子单元，具体用于：基于如下加权和公式将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和：
B.x2(i)＝Bx1(i)*β1+A.x2(i)*(1.0-β1)；
B.y2(i)＝B.y1(i)*β1+A.y2(i)*(1.0-β1)；
其中，β1为第一变化因子，Bx1(i)为当前视频图像帧中定位出的第i人脸关键点的x坐标，A.x2(i)为上一视频图像帧中第i有效人脸关键点的x坐标，B.x2(i)为当前视频图像帧的有效人脸关键点的x坐标，B.y(i)为当前视频图像帧中定位出的第i人脸关键点的y坐标，A.y2(i)为上一视频图像帧中第i有效人脸关键点的y坐标，B.y2(i)为当前视频图像帧的有效人脸关键点的y坐标，i为正整数。
可选的，第二加权计算子单元，具体用于：
基于如下加权和公式将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和：
B.x2(i)＝Bx1(i)*β2+A.x2(i)*(1.0-β2)；
B.y2(i)＝B.y1(i)*β2+A.y2(i)*(1.0-β2)；
其中，β2为第二变化因子，Bx1(i)为当前视频图像帧中定位出的第i人脸关键点的x坐标，A.x2(i)为上一视频图像帧中第i有效人脸关键点的x坐标，B.x2(i)为当前视频图像帧的有效人脸关键点的x坐标，B.y(i)为当前视频图像帧中定位出的第i人脸关键点的y坐标，A.y2(i)为上一视频图像帧中第i有效人脸关键点的y坐标，B.y2(i)为当前视频图像帧的有效人脸关键点的y坐标。
由于本实施例所介绍的装置为实施前述人脸关键点追踪方法所采用的装置，故而基于本发明实施例中所介绍的人脸关键点追踪方法，本领域所属技术人员能够了解本实施例的装置的具体实施方式以及其各种变化形式，所以在此对于该装置如何实现本发明实施例中的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中信息处理的方法所采用的装置，都属于本发明所欲保护的范围。
基于同一发明构思，参考图3所示，本发明实施例提供了一种计算机可读存储介质301，其上存储有计算机程序302，该程序302被处理器执行时实现前述人脸关键点追踪方法实施例中的任一实施方式的步骤。
基于同一发明构思，本发明实施例提供了一种计算机设备400，参考图4所示，包括存储器410、处理器420及存储在存储器410上并可在处理器420上运行的计算机程序411，处理器420执行程序411时实现前述人脸关键点追踪方法实施例中任一实施方式的步骤。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点，而不与上一视频图像帧中对应位置的有效人脸关键点进行加权和，从而使得移动的视频图像帧的人脸关键点没有延迟，因此不会产生人脸关键点的抖动。如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动，则将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和的结果确定为当前视频图像帧的有效人脸关键点，从而保证了非移动的视频图像帧的人脸关键点的准确性，从而，这种根据匹配视频图像帧中人脸的移动与否而动态调节了视频图像帧的人脸关键点为哪种，完全避免了视频中人脸关键点追踪时抖动，平衡了人脸关键点的准确性和稳定性。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种人脸关键点追踪方法，其特征在于，包括：
采集当前视频图像帧；
从所述当前视频图像帧中定位出人脸关键点；
判断所述当前视频图像帧中的人脸相对于所述当前视频图像帧的上一视频图像帧中的人脸是否移动；
如果是，将从所述当前视频图像帧中定位出的人脸关键点确定为所述当前视频图像帧的有效人脸关键点，否则，将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为所述当前视频图像帧的有效人脸关键点。
2.如权利要求1所述的人脸关键点追踪方法，其特征在于，所述判断所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸是否移动，包括：
获取所述当前视频图像帧中的每个像素点；
根据所述当前视频图像帧中的各个像素点与所述上一视频图像帧中对应位置的像素点之间的差值，确定出所述当前视频图像帧相对于所述上一视频图像帧的第一像素差均值；
判断所述第一像素差均值是否大于像素差阈值；
如果是，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸存在移动，否则，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸不存在移动。
3.如权利要求1所述的人脸关键点追踪方法，其特征在于，所述判断所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸是否移动，包括：
根据从所述当前视频图像帧中定位出的各个人脸关键点与从所述上一视频图像帧中定位出的对应位置的人脸关键点之间的差值，确定出所述当前视频图像帧相对于所述上一视频图像帧的第二像素差均值；
判断所述第二像素差均值是否大于像素差阈值；
如果是，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸存在移动，否则，确定所述当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。
4.如权利要求1所述的人脸关键点追踪方法，其特征在于，所述将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧的有效人脸关键点进行加权和，包括：
获取所述上一视频图像帧相对于所述当前视频图像的再上一视频图像帧是否移动；
如果是，基于第一变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和；
否则，基于第二变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，其中，所述第一变化因子为基于所述第二变化因子确定且大于所述第一变化因子。
5.如权利要求4所述的人脸关键点追踪方法，其特征在于，所述基于第一变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，包括：基于如下加权和公式将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和：
B.x2(i)＝Bx1(i)*β1+A.x2(i)*(1.0-β1)；
B.y2(i)＝B.y1(i)*β1+A.y2(i)*(1.0-β1)；
其中，β1为所述第一变化因子，B.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，A.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，B.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，B.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，A.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，B.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标，i为正整数。
6.如权利要求5所述的人脸关键点追踪方法，其特征在于，所述基于第二变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，包括：
基于如下加权和公式将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和：
B.x2(i)＝Bx1(i)*β2+A.x2(i)*(1.0-β2)；
B.y2(i)＝B.y1(i)*β2+A.y2(i)*(1.0-β2)；
其中，β2为所述第二变化因子，B.x1(i)为所述当前视频图像帧中定位出的第i人脸关键点的x坐标，A.x2(i)为所述上一视频图像帧中第i有效人脸关键点的x坐标，B.x2(i)为所述当前视频图像帧的有效人脸关键点的x坐标，B.y1(i)为所述当前视频图像帧中定位出的第i人脸关键点的y坐标，A.y2(i)为所述上一视频图像帧中第i有效人脸关键点的y坐标，B.y2(i)为所述当前视频图像帧的有效人脸关键点的y坐标。
7.一种视频中人脸图像美型方法，其特征在于，对权利要求1-6中任一权利要求所述的人脸关键点追踪方法确定出的当前视频图像帧的各个有效人脸关键点中的至少一个有效人脸关键点进行美型。
8.一种人脸关键点追踪装置，其特征在于，包括：
图像采集单元，用于采集当前视频图像帧；
人脸识别单元，用于从所述当前视频图像帧中定位出人脸关键点；
移动判断单元，用于判断所述当前视频图像帧中的人脸相对于所述当前视频图像帧的上一视频图像帧中的人脸是否移动；
有效人脸关键点确定单元，用于如果所述移动判断单元的判断结果为是，将从所述当前视频图像帧中定位出的人脸关键点确定为所述当前视频图像帧的有效人脸关键点，否则，将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为所述当前视频图像帧的有效人脸关键点。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一所述的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6中任一所述的步骤。
CN201710930086.1A 2017-10-09 2017-10-09 一种人脸关键点追踪方法及应用和装置 Active CN107704829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710930086.1A CN107704829B (zh) 2017-10-09 2017-10-09 一种人脸关键点追踪方法及应用和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710930086.1A CN107704829B (zh) 2017-10-09 2017-10-09 一种人脸关键点追踪方法及应用和装置

Publications (2)

Publication Number Publication Date
CN107704829A true CN107704829A (zh) 2018-02-16
CN107704829B CN107704829B (zh) 2019-12-03

Family

ID=61184772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710930086.1A Active CN107704829B (zh) 2017-10-09 2017-10-09 一种人脸关键点追踪方法及应用和装置

Country Status (1)

Country Link
CN (1) CN107704829B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788190A (zh) * 2018-12-10 2019-05-21 北京奇艺世纪科技有限公司 一种图像处理方法、装置、移动终端及存储介质
CN110264431A (zh) * 2019-06-29 2019-09-20 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110264430A (zh) * 2019-06-29 2019-09-20 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110288552A (zh) * 2019-06-29 2019-09-27 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110349177A (zh) * 2019-07-03 2019-10-18 广州多益网络股份有限公司 一种连续帧视频流的人脸关键点跟踪方法和系统
CN110580444A (zh) * 2019-06-28 2019-12-17 广东奥园奥买家电子商务有限公司 一种人体检测方法及装置
WO2020007183A1 (zh) * 2018-07-04 2020-01-09 腾讯科技（深圳）有限公司 视频数据处理方法、装置和存储介质
CN111667504A (zh) * 2020-04-23 2020-09-15 广州多益网络股份有限公司 一种人脸追踪方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
CN104182718A (zh) * 2013-05-21 2014-12-03 腾讯科技（深圳）有限公司 一种人脸特征点定位方法及装置
CN105046222A (zh) * 2015-07-14 2015-11-11 福州大学 一种基于fpga的人脸检测与跟踪方法
US9262869B2 (en) * 2012-07-12 2016-02-16 UL See Inc. Method of 3D model morphing driven by facial tracking and electronic device using the method the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
US9262869B2 (en) * 2012-07-12 2016-02-16 UL See Inc. Method of 3D model morphing driven by facial tracking and electronic device using the method the same
CN104182718A (zh) * 2013-05-21 2014-12-03 腾讯科技（深圳）有限公司 一种人脸特征点定位方法及装置
CN105046222A (zh) * 2015-07-14 2015-11-11 福州大学 一种基于fpga的人脸检测与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任旭虎 等: "图像特征点提取技术研究", 《仪表技术与传感器》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020007183A1 (zh) * 2018-07-04 2020-01-09 腾讯科技（深圳）有限公司 视频数据处理方法、装置和存储介质
US11461876B2 (en) 2018-07-04 2022-10-04 Tencent Technology (Shenzhen) Company Limited Video data processing method and apparatus, and storage medium
CN109788190A (zh) * 2018-12-10 2019-05-21 北京奇艺世纪科技有限公司 一种图像处理方法、装置、移动终端及存储介质
CN109788190B (zh) * 2018-12-10 2021-04-06 北京奇艺世纪科技有限公司 一种图像处理方法、装置、移动终端及存储介质
CN110580444A (zh) * 2019-06-28 2019-12-17 广东奥园奥买家电子商务有限公司 一种人体检测方法及装置
CN110580444B (zh) * 2019-06-28 2023-09-08 时进制(上海)技术有限公司 一种人体检测方法及装置
CN110264431A (zh) * 2019-06-29 2019-09-20 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110264430A (zh) * 2019-06-29 2019-09-20 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110288552A (zh) * 2019-06-29 2019-09-27 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110349177A (zh) * 2019-07-03 2019-10-18 广州多益网络股份有限公司 一种连续帧视频流的人脸关键点跟踪方法和系统
CN111667504A (zh) * 2020-04-23 2020-09-15 广州多益网络股份有限公司 一种人脸追踪方法、装置及设备

Also Published As

Publication number Publication date
CN107704829B (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN107704829A (zh) 一种人脸关键点追踪方法及应用和装置
Liu et al. Exploiting color volume and color difference for salient region detection
CN105760067B (zh) 触摸屏滑动控制方法、装置及电子设备
US9547908B1 (en) Feature mask determination for images
US20190251337A1 (en) Facial tracking method and apparatus, storage medium, and electronic device
CN110378235A (zh) 一种模糊人脸图像识别方法、装置及终端设备
Hofmann et al. Background segmentation with feedback: The pixel-based adaptive segmenter
CN102129693B (zh) 基于色彩直方图和全局对比度的图像视觉显著性计算方法
US20150326845A1 (en) Depth value restoration method and system
CN104657133B (zh) 移动群智感知中一种用于单时间窗口任务的激励方法
CN104899853A (zh) 图像区域的划分方法及装置
CN104751407B (zh) 一种用于对图像进行虚化的方法和装置
WO2015127246A1 (en) View independent 3d scene texturing
CN110163076A (zh) 一种图像数据处理方法和相关装置
CN111369428B (zh) 虚拟头像生成方法和装置
CN106056606A (zh) 图像处理方法及装置
CN106920211A (zh) 美颜处理方法、装置以及终端设备
CN108197534A (zh) 一种人头部姿态检测方法、电子设备及存储介质
CN104751406B (zh) 一种用于对图像进行虚化的方法和装置
CN109191469A (zh) 一种图像自动定焦方法、装置、设备及可读存储介质
CN101339661A (zh) 一种基于手持设备运动检测的实时人机交互方法和系统
CN109271840A (zh) 一种视频手势分类方法
CN104143195A (zh) 一种手势跟踪过程中手形变化导致跟踪偏移的修正方法
CN109684865A (zh) 一种个性化隐私保护方法及装置
CN109445569A (zh) 基于ar的信息处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231123

Address after: Room 606-609, Compound Office Complex Building, No. 757, Dongfeng East Road, Yuexiu District, Guangzhou, Guangdong Province, 510699

Patentee after: China Southern Power Grid Internet Service Co.,Ltd.

Address before: 430000 East Lake Development Zone, Wuhan City, Hubei Province, No. 1 Software Park East Road 4.1 Phase B1 Building 11 Building

Patentee before: WUHAN DOUYU NETWORK TECHNOLOGY Co.,Ltd.