CN110363133A - 一种视线检测和视频处理的方法、装置、设备和存储介质 - Google Patents

一种视线检测和视频处理的方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110363133A
CN110363133A CN201910620700.3A CN201910620700A CN110363133A CN 110363133 A CN110363133 A CN 110363133A CN 201910620700 A CN201910620700 A CN 201910620700A CN 110363133 A CN110363133 A CN 110363133A
Authority
CN
China
Prior art keywords
face
facial image
visual lines
video
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910620700.3A
Other languages
English (en)
Other versions
CN110363133B (zh
Inventor
刘更代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN201910620700.3A priority Critical patent/CN110363133B/zh
Publication of CN110363133A publication Critical patent/CN110363133A/zh
Priority to EP20836409.1A priority patent/EP3998547A4/en
Priority to US17/626,096 priority patent/US12039752B2/en
Priority to PCT/CN2020/097318 priority patent/WO2021004257A1/zh
Application granted granted Critical
Publication of CN110363133B publication Critical patent/CN110363133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种视线检测和视频处理的方法、装置、设备和存储介质。其中，该视线检测的方法包括：根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移，所述眼部瞳孔转动位移为所述人脸图像中瞳孔中心相对于眼球中心的位移；根据预设的投影函数和所述人脸姿态对所述眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到所述实际人脸的视线方向。本发明实施例提供的技术方案，降低了眼部数据的处理量，提高了视线方向的检测效率，而且直接通过人脸图像中的眼部瞳孔转动分析实际人脸的视线方向，提高了视线方向的检测准确性。

Description

一种视线检测和视频处理的方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种视线检测和视频处理的方法、装置、设备和存储介质。
背景技术
随着视频技术的发展，3D虚拟角色已经广泛应用在娱乐、电影、虚拟现实(VirtualReality，VR)仿真中，此时眼睛作为虚拟角色中非常重要的一部分，其自然转动的自由度相对面部表情和肢体动作来说要少得多，但是人们对于眼部运动的感知是非常敏感的，不自然的眼球角度和运动极易被察觉到，而采集眼球瞳孔中心点的眼动捕捉设备通常是头戴式的，使用非常不方便。
针对上述问题，在逼真人脸表情动画的应用场景下，对于从捕捉到的瞳孔中心点移动到眼球运动的变换，通常是采用眼球纹理合成的方案实现的，如下述参考文献：
[1]Justus Thies,MichaelMarc Stamminger,Christian Theobalt,and Matthias Nieβner.2018.FaceVR:Real-Time Gaze-Aware Facial Reenactment inVirtual Reality.ACM Trans.Graph.37,2,Article 25(June 2018)；
[2]Justus Thies,MichaelChristian Theobalt,MarcStamminger,and Matthias Niessner.2018.Headon:real-time reenactment of humanportrait videos.ACM Trans.Graph.37,4,Article 164(July 2018)；
[3]Chen Cao,Hongzhi Wu，Yanlin Weng,Tianjia Shao,and KunZhou.2016.Real-time facial animation with image-based dynamic avatars.ACMTrans.Graph.35,4,Article 126(July 2016),12pages；
[4]为计算机图形动画制作跟踪面部肌肉和眼睛运动的系统和方法，CN101069214A；
[5]一种建立富有情感表达能力的三维虚拟眼睛运动模型的方法，CN103279969A；
其中，文献[1]和文献[2]是一种类似数据驱动的方法，文献[3]使用更加简单直观的公告牌的方式，均是从大量的眼球纹理中挑选出与当前眼球状态最匹配的眼球纹理放在目标眼球上，实现眼球运动的迁移，需要与大量历史眼球纹理进行比对，数据处理量较大，导致视线判断效率较低；文献[4]直接通过眼部肌肉的运动来跟踪眼球运动，文献[5]采用基于规则的方式直接合成视线方向变化的各种运动效果，均没有根据瞳孔的位置变化直接分析眼球的运动，使得确定的眼球视线的准确度较低。
发明内容
本发明实施例提供了一种视线检测和视频处理的方法、装置、设备和存储介质，实现人脸图像和视频帧中的视线方向检测，提高视线方向的检测效率和准确性。
第一方面，本发明实施例提供了一种视线检测的方法，该方法包括：
根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移，所述眼部瞳孔转动位移为所述人脸图像中瞳孔中心相对于眼球中心的位移；
根据预设的投影函数和所述人脸姿态对所述眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到所述实际人脸的视线方向。
第二方面，本发明实施例提供了一种视频处理的方法，该方法包括：
获取待处理视频中的视频帧；
执行如第一方面中所述的视线检测的方法，得到所述视频帧对应的实际人脸的视线方向。
第三方面，本发明实施例提供了一种视线检测的装置，该装置包括：
参数确定模块，用于根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移，所述眼部瞳孔转动位移为所述人脸图像中瞳孔中心相对于眼球中心的位移；
视线检测模块，用于根据预设的投影函数和所述人脸姿态对所述眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到所述实际人脸的视线方向。
第四方面，本发明实施例提供了一种视频处理的装置，该装置包括：
视频帧获取模块，用于获取待处理视频中的视频帧；
视线检测模块，用于执行如第一方面中所述的视线检测的方法，得到所述视频帧对应的实际人脸的视线方向。
第五方面，本发明实施例提供了一种视线处理系统，该系统包括：通信连接的采集设备和处理设备，所述采集设备配置于所述处理设备上；
所述采集设备采集待检测的人脸图像或待处理视频，并发送给所述处理设备；所述处理设备上设置有如第三方面中所述的视线检测的装置和如第四方面中所述的视频处理的装置。
第六方面，本发明实施例提供了一种设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面中所述的视线检测的方法，或者实现本发明第二方面中所述的视频处理的方法。
第七方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面中所述的视线检测的方法，或者实现本发明第二方面中所述的视频处理的方法。
本发明实施例提供了一种视线检测和视频处理的方法、装置、设备和存储介质，根据人脸图像中的关键特征点，确定对应的人脸姿态和人脸图像中瞳孔中心相对于眼球中心的眼部瞳孔转动位移，进而通过预设的投影函数和该人脸姿态对该眼部瞳孔转动位移反投影到实际人脸所在的三维空间中，从而得到实际人脸的视线方向，本方案无需对该人脸图像中的眼部纹理和大量历史人脸图像中的眼部纹理进行比对，或者通过人脸图像中除眼球外的其他特征的移动判断眼球转动方向，降低了眼部数据的处理量，提高了视线方向的检测效率，而且直接通过人脸图像中的眼部瞳孔转动分析实际人脸的视线方向，提高了视线方向的检测准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1A为本发明实施例一提供的一种视线检测的方法的流程图；
图1B为本发明实施例一提供的方法中人脸图像中的眼部瞳孔转动位移的示意图；
图1C为本发明实施例一提供的方法中重建的人脸网格模型的示意图；
图1D为本发明实施例一提供的视线检测过程的原理示意图；
图2A为本发明实施例二提供的一种视线检测的方法的流程图；
图2B为本发明实施例二提供的视线检测过程的原理示意图；
图3A为本发明实施例三提供的一种视线检测的方法的流程图；
图3B为本发明实施例三提供的视线检测过程的原理示意图；
图4为本发明实施例四提供的一种视频处理的方法的流程图；
图5为本发明实施例五提供的一种视线检测的装置的结构示意图；
图6为本发明实施例六提供的一种视频处理的装置的结构示意图；
图7为本发明实施例七提供的一种视线处理系统的结构示意图；
图8为本发明实施例八提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1A为本发明实施例一提供的一种视线检测的方法的流程图，本实施例可适用于任一种通过采集人脸图像来检测用户的视线方向的情况中。本实施例提供的一种视线检测的方法可以由本发明实施例提供的视线检测的装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，该设备可以是具备图像处理能力的任一种三维模型处理设备。
具体的，参考图1A，该方法可以包括如下步骤：
S110，根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移。
具体的，由于在面向娱乐应用或游戏网站的包含人脸表情的视频画面显示中，需要根据各种不同表情的人脸图像重建出对应的三维人脸模型，此时还需要判断人脸图像中对应的用户实际的视线方向，以便在重建的三维人脸模型中根据该视线方向添加对应的三维眼球效果，使得眼球能够在重建的三维人脸模型中自然转动，或者如果为了增加某一设备的自动化，直接对用户视线指定的对象执行相应处理操作时，均需要根据人脸图像检测用户实际的视线方向。
其中，特征点为人脸图像中具有鲜明特性并能够有效反映模型本质特征、能够标识图像中目标部位的点，在本实施例中是指能够表示出人脸图像中各个五官部位的像素点。关键特征点是人脸图像中的局部特征点，优选的是在全部特征点中可以明确表示人脸图像中的眼睛、鼻子、嘴巴、下巴等具体五官位置或者眼窝、鼻翼等人脸中的具体细节位置的特征点。同时，人脸姿态是指人脸图像中用户在正视相机，或者偏转头部时对应的头部姿势，如头部的偏移旋转角度等。眼部瞳孔转动位移为人脸图像中瞳孔中心相对于眼球中心的位移，也就是人脸图像中眼球转动的位移，如图1B所示，在人脸图像的眼部区域中，斜线填充的部分为眼球瞳孔，此时眼部瞳孔转动位移为图1B中的位移d。
可选的，本实施例在检测人脸图像中用户实际的视线方向时，首先通过现有的图像识别方式确定该人脸图像中的关键特征点，并确定出各个关键特征点对应表示的五官部位所处的姿态位置，进而对各个关键特征点对应的姿态位置以及正常人脸图像中各个五官部位所处的姿态位置进行比对分析，判断该人脸图像中头部的旋转或者偏移信息，从而确定在该人脸图像中用户的人脸姿态；同时，通过对该人脸图像中的关键特征点确定的眼部图像进行分析，根据眼部图像中瞳孔中心相对于眼球中心的偏移情况确定对应的眼部瞳孔转动位移，以便后续直接对眼部瞳孔转动位移进行相应处理，确定实际人脸的视线方向。
示例性的，如果本实施例处于为重建的三维人脸模型添加对应的三维眼球模型的场景中，此时一定会根据人脸图像重建对应的三维人脸模型，为了减轻数据处理量，本实施例可以直接通过重建的三维人脸模型来获取人脸图像中的关键特征点，此时在根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移之前，本实施例中还可以包括：扫描人脸图像，得到对应的人脸数据；采用三维人脸网格模板对人脸数据进行重建，得到重建后的人脸网格模型；提取人脸网格模型中的关键特征点，作为人脸图像中的关键特征点。
具体的，首先通过现有的三维扫描技术扫描已经采集到的人脸图像，得到对应的人脸数据，进而分析该人脸数据和预先设定的三维人脸网格模板中对应特征点的姿态匹配位置，从而不断拉动三维人脸网格模板根据人脸数据中的姿态匹配位置进行形变，使得各个特征点在形变后的三维人脸网格模板中的位置与该特征点在人脸数据中的位置一一对应匹配，从而得到重建后的人脸网格模型，如图1C所示，进而直接在重建后的人脸网格模型中分别提取出对电影的各个关键特征点，作为人脸图像中的关键特征点，此时该关键特征点为人脸网格模型中的网格顶点，提高了关键特征点的提取效率和准确性。
S120，根据预设的投影函数和人脸姿态对眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到实际人脸的视线方向。
其中，投影函数为采集人脸图像时，将三维空间中的用户人脸投影到对应的二维成像面上，从而得到人脸图像的转换依据，使得三维空间中的实际人脸与二维成像面上的人脸图像之间具备一一对应的映射关系；在二维成像面中的眼部瞳孔转动位移与三维空间中实际人脸的视线方向对应。
具体的，由于人脸图像中的人脸姿态在发生偏移时，说明三维空间中的实际人脸进行了转动，此时视线方向也会随着转动，因此本实施例在得到人脸图像中的人脸姿态和眼部瞳孔转动位移时，如图1D所示，可以通过人脸姿态对预设的投影函数中的各项参数进行调整，进而通过调整后的投影函数对眼部瞳孔转动位移反投影到实际人脸所在的三维空间中，从而根据眼部瞳孔转动位移反投影到三维空间的位移得到实际人脸的视线方向，以便后续通过该视线方向执行相应的操作。
此外，由于采集设备在不同拍摄参数下会配置不同的投影函数，因此本实施例在根据预设的投影函数和人脸姿态对眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到实际人脸的视线方向之前，还可以包括：根据人脸图像对应的采集设备参数，确定对应的投影函数。
具体的，本实施例中的采集设备参数可以为采集设备的成像焦距；采集设备在不同的成像焦距下，设置不同的投影函数，使得在不同成像焦距下对同一对象的拍摄图像画面大小不同。可选的，本实施例可以根据人脸图像在采集的采用的采集设备参数，确定出对应的投影函数，作为本实施例中预设的投影函数，以便后续对人脸图像中的眼部瞳孔转动位移进行反投影时，提高反投影到实际人脸所在的三维空间中的准确性。
本实施例提供的技术方案，根据人脸图像中的关键特征点，确定对应的人脸姿态和人脸图像中瞳孔中心相对于眼球中心的眼部瞳孔转动位移，进而通过预设的投影函数和该人脸姿态对该眼部瞳孔转动位移反投影到实际人脸所在的三维空间中，从而得到实际人脸的视线方向，本方案无需对该人脸图像中的眼部纹理和大量历史人脸图像中的眼部纹理进行比对，或者通过人脸图像中除眼球外的其他特征的移动判断眼球转动方向，降低了眼部数据的处理量，提高了视线方向的检测效率，而且直接通过人脸图像中的眼部瞳孔转动分析实际人脸的视线方向，提高了视线方向的检测准确性。
实施例二
图2A为本发明实施例二提供的一种视线检测的方法的流程图，图2B为本发明实施例二提供的视线检测过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，本实施例中主要对人脸图像中的人脸姿态和眼部瞳孔转动位移的确定过程进行详细的说明。
可选的，参照图2A，本实施例可以包括如下步骤：
S210，扫描人脸图像，得到对应的人脸数据；采用三维人脸网格模板对人脸数据进行重建，得到重建后的人脸网格模型；提取人脸网格模型中的关键特征点，作为人脸图像中的关键特征点。
S220，确定人脸图像中关键特征点的姿态位置。
可选的，姿态位置是指在不同表情的人脸图像中五官的位置；在得到人脸图像中的关键特征点时，通过对各个关键特征点进行分析，可以判断各个关键特征点对应的五官部位在人脸图像中所处的姿态位置。
S230，根据姿态位置，确定人脸图像中的人脸姿态。
具体的，通过对人脸图像中各个关键特征点的姿态位置，与常规无表情的人脸图像模板中的对应关键特征点的姿态位置进行比对，判断各个关键特征点发生的偏移，进而确定人脸图像的旋转角度以及平移距离等信息，得到人脸图像中的人脸姿态。
S240，根据人脸网格模型中的关键特征点，确定对应的眼球中心。
可选的，在通过对人脸图像进行重建得到重建后的人脸网格模型后，该人脸网格模型与人脸图像的尺寸一致，此时能够确定出人脸网格模型中的关键特征点，并根据各个关键特征点分析出人脸网格模型中的眼眶位置以及眼眶尺寸，该眼眶位置以及眼眶尺寸与人脸图像中的眼眶位置和眼眶尺寸一致，此时根据眼眶尺寸的中心点作为对应的眼球中心。
S250，识别人脸图像中的眼部图像，得到对应的瞳孔中心。
可选的，根据人脸网格模型中的眼眶位置，可以在人脸图像中确定对应的眼部图像的位置，此时采用现有的图像识别技术对该眼部图像进行识别，确定该眼部图像中的瞳孔位置，由于瞳孔为圆形，此时将瞳孔的圆心作为对应的瞳孔中心。
示例性的，为了保证瞳孔中心的准确性，如图2B所示，本实施例中识别人脸图像中的眼部图像，得到对应的瞳孔中心，具体可以包括：截取人脸图像中的眼部图像；将眼部图像输入到预先构建的深度网络模型中，得到对应的瞳孔中心。
具体的，深度网络模型是预先通过大量历史眼部图像进行训练，能够准确分许出眼部图像中的瞳孔中心的神经网络模型；本实施例可以根据人脸网格模型中的眼眶位置，在人脸图像中截取出对应的眼部图像，并将截取出的眼部图像输入到预先构建的深度网络模型中，通过深度网络模型中预先训练好的网络参数对该眼部图像进行分析，进而得到该眼部图像中对应的瞳孔中心。
S260，根据眼球中心和瞳孔中心的位置，确定对应的眼部瞳孔转动位移。
具体的，在确定眼部图像中眼球中心和瞳孔中心后，通过对眼球中心和瞳孔中心的位置作差，确定瞳孔中心相对于眼球中心的偏移情况，得到对应的眼部瞳孔转动位移。
需要说明的是，本实施例中人脸姿态和眼部瞳孔转动位移的确定过程可以同时执行，不存在特定的先后顺序，也就是S220和S230作为一个整体步骤，S240、S250和S260作为一个整体步骤，对于S220和S230对应的步骤以及S240、S250和S260对应的步骤可以同时执行，本实施例对此不作限定。
S270，根据预设的投影函数和人脸姿态对眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到实际人脸的视线方向。
S280，根据实际人脸的视线方向，在重建后的人脸网格模型中构建对应的三维眼部模型。
可选的，如果本实施例处于为重建的三维人脸模型添加对应的三维眼球模型的场景中，在得到实际人脸的视线方向之后，可以在重建的三维人脸模型，也就是本实施例中的人脸网格模型中的眼眶区域中，根据实际人脸的视线方向，设置对应眼球视线展示效果的三维眼球模型，保证在重建的人脸网格模型中实现三维眼球模型自然、平滑的转动，以驱动重建的人脸网格模型中的眼球动画合成特效，提高眼球动画的虚拟转动效果。
本实施例提供的技术方案，根据关键特征点的姿态位置确定人脸图像中的人脸姿态，同时根据人脸图像中的眼球中心和瞳孔中心的位置，确定对应的眼部瞳孔转动位移，保证人脸姿态和眼部瞳孔转动位移的准确性，进而根据预设的投影函数和人脸姿态对眼部瞳孔转动反投影到实际人脸所在的三维空间，得到实际人脸的视线方向，提高了视线方向的检测效率和准确性，同时根据实际人脸的视线方向在重建的人脸网格模型中构建对应的三维眼球模型，实现重建的人脸网格模型中眼球自然、平滑的转动，提高重建的人脸网格模型中眼球动画的虚拟转动效果。
实施例三
图3A为本发明实施例三提供的一种视线检测的方法的流程图，图3B为本发明实施例三提供的视线检测过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，本实施例中主要对人脸图像中眼部瞳孔转动位移到三维空间中实际人脸的视线方向的反投影过程进行详细的说明。
可选的，参照图3A，本实施例可以包括如下步骤：
S310，根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移。
S320，根据预设的投影函数、人脸姿态和眼部瞳孔转动位移，构建对应的视线优化函数。
可选的，本实施例通过查找对应预设的投影函数，该投影函数在人脸姿态的影响下，将实际人脸投影至对应的二维成像面上，生成对应的人脸图像，此时为了使实际人脸的视线方向投影至二维成像面上时，与眼部瞳孔转动位移能够尽量重合，则根据实际人脸的视线方向和眼部瞳孔转动位移在预设的投影函数和人脸姿态中的对应投影关系，构建对应的视线优化函数，该视线优化函数中的优化目标为实际人脸的视线方向投影至二维成像面上的位置与眼部瞳孔转动位移的差距最小。
S330，获取在实际人脸所在的三维空间中达到视线优化函数中的预设优化目标的视线方向，作为实际人脸的视线方向。
可选的，本实施例中构建的视线优化函数能够准确检测出三维空间中的大量人脸在投影到二维成像面上时得到的投影图像中的眼部瞳孔转动位移与本实施例中的所采集的人脸图像中眼部瞳孔转动位移之间的差距，由于视线优化函数中的预设优化目标为实际人脸的视线方向投影至二维成像面上的位置与眼部瞳孔转动位移的差距最小，因此本实施例中选取出差距最小的投影图像，并判断该投影图像在三维空间中对应人脸的视线方向，从而得到本实施例中实际人脸的视线方向。
示例性的，本实施例中为了提高视线检测的准确性，本实施例在获取在实际人脸所在的三维空间中达到视线优化函数中的预设优化目标的视线方向，作为实际人脸的视线方向之前，还可以包括：获取人脸图像的关联图像；根据关联图像的视线方向、预设的关联平滑参数和防抖动参数，更新视线优化函数。
其中，关联图像携带对应的视线方向；如果本实施例需要对预先录制的视频中每一帧中的人脸视线方向进行检测，则此时人脸图像的关联图像为视频中该人脸图像对应的视频帧的上一视频帧，此时由于依次检测视频中每一帧中的人脸视线方向，因此在检测当前视频帧的视线方向时，上一视频帧的视线方向已经确定。具体的，本实施例为了保证依次显示视频中的各个视频帧时，眼球转动的平滑性，需要确保相邻视频帧中的视线方向的差距最小，从而尽可能的减少在视频帧替换显示时，人脸图像中眼球的不规则跳动；此时可以根据关联图像的视线方向、预设的关联平滑参数和防抖动参数，更新对应的视线优化函数，以便后续采用更新后的视线优化函数获取在实际人脸所在的三维空间中达到预设优化目标的视线方向，作为实际人脸的视线方向。
示例性的，更新后的视线优化函数为：min{||Π(Rx+t)-d||2+α||x-x0||2+β||x||2}；
其中，Π(Rx+t)为预设的投影函数，R为人脸姿态中的旋转参数，t为人脸姿态中的平移参数，x为人脸图像的视线方向，d为眼部瞳孔转动位移，x0为关联图像的视线方向，α为关联平滑参数，β为防抖动参数。
此时，||Π(Rx+t)-d||2表示实际人脸投影到二维成像面上时，与人脸图像中的眼部瞳孔转动位移之间的差距；α||x-x0||2表示实际人脸与关联图像的视线方向的差距；β||x||2表示实际人脸的视线方向自身的抖动程度，用于限制眼球的移动，防止得到的视线方向不符合；本实施例中为了保证眼球转动的自然度和平滑度，预设优化目标可以更新为视线优化函数中包含的三项之和能够达到最小，此时根据更新后的视线优化函数能够在实际人脸所在的三维空间中获取到达到预设优化目标下的视线方向，作为实际人脸的视线方向。
本实施例提供的技术方案，通过预设的投影函数、人脸姿态和眼部瞳孔转动位移，构建对应的视线优化函数，该视线优化函数中的预设优化目标使得实际人脸通过投影函数投影到二维成像面上的投影图像与人脸图像的差距最小，此时在实际人脸所在的三维空间中获取达到该视线优化目标的视线方向，作为实际人脸的视线方向，提高了视线方向的检测准确性，保证了不同图像中在各个视线方向下眼球转动的自然性和平滑性。
实施例四
图4为本发明实施例四提供的一种视频处理的方法的流程图，本实施例可适用于任一种检测视频中各个视频帧中的用户的视线方向的情况中。本实施例提供的一种视频处理的方法可以由本发明实施例提供的视频处理的装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，该设备可以是具备图像处理能力的任一种三维模型处理设备。
具体的，参考图4，该方法可以包括如下步骤：
S410，获取待处理视频中的视频帧。
具体的，在需要检测某一视频的每一视频帧中人脸的视线方向时，首先可以对该视频进行处理，提取出待处理视频中的各个视频帧，以便后续对每一视频帧中的视线方向进行检测。
S420，执行上述实施例提供的视线检测的方法，得到视频帧对应的实际人脸的视线方向。
具体的，在得到待处理视频中的每一视频帧时，可以通过上述实施例提供的视线检测的方法依次对待处理视频中的每一视频帧进行检测，得到各个视频帧中对应的实际人脸的视线方向。
此外，为了提高视频处理的智能性，在确定每一视频帧中人脸的视线方向后，可以直接通过判断视线方向的位置，对待处理视频进行对应的操作处理，因此本实施例在得到视频帧对应的视线方向之后，还可以包括：根据待处理视频中相邻视频帧对应的视线方向，确定对应的视线偏移；根据视线偏移，执行对应的视频编辑操作。
具体的，在确定待处理视频中各个视频帧的视线方向时，可以通过分析相邻视频帧对应的视线方向，判断对应的视线偏移，进而根据该视线偏移直接在待处理视频上执行对应的视频编辑操作，如视频中视线向左偏移时，可以在待处理视频中添加一些特效贴图等。
本实施例提供的技术方案，通过检测待处理视频中每一视频帧的视线方向，通过判断视线偏移直接执行对应的视频编辑操作，提高了视频处理的智能性。
实施例五
图5为本发明实施例五提供的一种视线检测的装置的结构示意图，具体的，如图5所示，该装置可以包括：
参数确定模块510，用于根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移，该眼部瞳孔转动位移为人脸图像中瞳孔中心相对于眼球中心的位移；
视线检测模块520，用于根据预设的投影函数和人脸姿态对眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到实际人脸的视线方向。
本实施例提供的技术方案，根据人脸图像中的关键特征点，确定对应的人脸姿态和人脸图像中瞳孔中心相对于眼球中心的眼部瞳孔转动位移，进而通过预设的投影函数和该人脸姿态对该眼部瞳孔转动位移反投影到实际人脸所在的三维空间中，从而得到实际人脸的视线方向，本方案无需对该人脸图像中的眼部纹理和大量历史人脸图像中的眼部纹理进行比对，或者通过人脸图像中除眼球外的其他特征的移动判断眼球转动方向，降低了眼部数据的处理量，提高了视线方向的检测效率，而且直接通过人脸图像中的眼部瞳孔转动分析实际人脸的视线方向，提高了视线方向的检测准确性。
进一步的，上述视线检测的装置，还可以包括：
特征点确定模块，用于扫描人脸图像，得到对应的人脸数据；采用三维人脸网格模板对人脸数据进行重建，得到重建后的人脸网格模型；提取人脸网格模型中的关键特征点，作为人脸图像中的关键特征点。
进一步的，上述参数确定模块510，可以包括：
姿态位置确定单元，用于确定人脸图像中关键特征点的姿态位置；
人脸姿态确定单元，用于根据姿态位置，确定人脸图像中的人脸姿态。
进一步的，上述参数确定模块510，可以包括：
眼球中心确定单元，用于根据人脸网格模型中的关键特征点，确定对应的眼球中心；
瞳孔中心确定单元，用于识别人脸图像中的眼部图像，得到对应的瞳孔中心；
瞳孔位移确定单元，用于根据眼球中心和瞳孔中心的位置，确定对应的眼部瞳孔转动位移。
进一步的，上述瞳孔中心确定单元，可以具体用于：
截取人脸图像中的眼部图像；
将眼部图像输入到预先构建的深度网络模型中，得到对应的瞳孔中心。
进一步的，上述视线检测的装置，还可以包括：
眼球重建模块，用于根据实际人脸的视线方向，在重建后的人脸网格模型中构建对应的三维眼部模型。
进一步的，上述视线检测模块520，可以包括：
优化函数构建单元，用于根据预设的投影函数、人脸姿态和眼部瞳孔转动位移，构建对应的视线优化函数；
视线检测单元，用于获取在实际人脸所在的三维空间中达到视线优化函数中的预设优化目标的视线方向，作为实际人脸的视线方向。
进一步的，上述人脸姿态包括人脸图像中人脸的旋转参数和平移参数。
进一步的，上述视线检测模块520，还可以包括：
关联图像获取单元，用于获取人脸图像的关联图像，该关联图像携带对应的视线方向；
优化函数更新单元，用于根据关联图像的视线方向、预设的关联平滑参数和防抖动参数，更新视线优化函数。
进一步的，上述更新后的视线优化函数可以为：min{||Π(Rx+t)-d||2+α||x-x0||2+β||x||2}；
其中，Π(Rx+t)为预设的投影函数，R为人脸姿态中的旋转参数，t为人脸姿态中的平移参数，x为人脸图像的视线方向，d为眼部瞳孔转动位移，x0为关联图像的视线方向，α为关联平滑参数，β为防抖动参数。
进一步的，上述视线检测的装置，还可以包括：
投影函数确定模块，用于根据人脸图像对应的采集设备参数，确定对应的投影函数。
进一步的，上述采集设备参数为采集设备的成像焦距。
本实施例提供的视线检测的装置装置可适用于上述任意实施例提供的视线检测的方法，具备相应的功能和有益效果。
实施例六
图6为本发明实施例六提供的一种视频处理的装置的结构示意图，具体的，如图6所示，该装置可以包括：
视频帧获取模块610，用于获取待处理视频中的视频帧；
视线检测模块620，用于执行本发明任意实施例提供的视线检测的方法，得到视频帧对应的实际人脸的视线方向。
本实施例提供的技术方案，通过检测待处理视频中每一视频帧的视线方向，通过判断视线偏移直接执行对应的视频编辑操作，提高了视频处理的智能性。
进一步的，上述视频处理的装置，还可以包括：
操作执行模块，用于根据待处理视频中相邻视频帧对应的视线方向，确定对应的视线偏移；根据视线偏移，执行对应的视频编辑操作。
本实施例提供的视频处理的装置装置可适用于上述任意实施例提供的视频处理的方法，具备相应的功能和有益效果。
实施例七
图7为本发明实施例七提供的一种视线处理系统的结构示意图。参照图7，该视线处理系统包括：通信连接的采集设备710和处理设备720，该采集设备710配置于处理设备720上。
具体的，采集设备710采集待检测的人脸图像和待处理视频，并发送给处理设备720；处理设备720上设置有上述实施例中提供的视线检测的装置和视频处理的装置，适用于本发明任意实施例提供的视线检测的方法和视频处理的方法，具体执行过程参见本发明任意实施例中的视线检测的方法和视频处理的方法，具备相应的功能，在此不作详细介绍。
实施例八
图8为本发明实施例八提供的一种设备的结构示意图，如图8所示，该设备包括处理器80、存储装置81和通信装置82；设备中处理器80的数量可以是一个或多个，图8中以一个处理器80为例；设备中的处理器80、存储装置81和通信装置82可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储装置81作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例中提供的视线检测的方法，或者视频处理的方法对应的程序指令/模块。处理器80通过运行存储在存储装置81中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述视线检测的方法，或者视频处理的方法。
存储装置81可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置81可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置81可进一步包括相对于处理器80远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信装置82可用于实现设备间的网络连接或者移动数据连接。
本实施例提供的一种设备可用于执行上述任意实施例提供的视线检测的方法，或者视频处理的方法，具备相应的功能和有益效果。
实施例九
本发明实施例九还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的视线检测的方法，或者视频处理的方法。该视线检测的方法具体可以包括：
根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移，该眼部瞳孔转动位移为人脸图像中瞳孔中心相对于眼球中心的位移；
根据预设的投影函数和人脸姿态对眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到实际人脸的视线方向。
该视频处理的方法具体可以包括：
获取待处理视频中的视频帧；
执行本发明任意实施例提供的视线检测的方法，得到视频帧对应的实际人脸的视线方向。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的视线检测的方法，或者视频处理的方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述视线检测的装置，或者视频处理的装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种视线检测的方法，其特征在于，包括：
根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移，所述眼部瞳孔转动位移为所述人脸图像中瞳孔中心相对于眼球中心的位移；
根据预设的投影函数和所述人脸姿态对所述眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到所述实际人脸的视线方向。
2.根据权利要求1所述的方法，其特征在于，在根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移之前，还包括：
扫描所述人脸图像，得到对应的人脸数据；
采用三维人脸网格模板对所述人脸数据进行重建，得到重建后的人脸网格模型；
提取所述人脸网格模型中的关键特征点，作为所述人脸图像中的关键特征点。
3.根据权利要求2所述的方法，其特征在于，根据人脸图像中的关键特征点，确定对应的人脸姿态，包括：
确定所述人脸图像中关键特征点的姿态位置；
根据所述姿态位置，确定所述人脸图像中的人脸姿态。
4.根据权利要求2所述的方法，其特征在于，根据人脸图像中的关键特征点，确定对应的眼部瞳孔转动位移，包括：
根据所述人脸网格模型中的关键特征点，确定对应的眼球中心；
识别所述人脸图像中的眼部图像，得到对应的瞳孔中心；
根据所述眼球中心和所述瞳孔中心的位置，确定对应的眼部瞳孔转动位移。
5.根据权利要求4所述的方法，其特征在于，识别所述人脸图像中的眼部图像，得到对应的瞳孔中心，包括：
截取人脸图像中的眼部图像；
将所述眼部图像输入到预先构建的深度网络模型中，得到对应的瞳孔中心。
6.根据权利要求2-5任一项所述的方法，其特征在于，在根据预设的投影函数和所述人脸姿态对所述眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到所述实际人脸的视线方向之后，还包括：
根据所述实际人脸的视线方向，在重建后的人脸网格模型中构建对应的三维眼部模型。
7.根据权利要求1-5任一项所述的方法，其特征在于，根据预设的投影函数和所述人脸姿态对所述眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到所述实际人脸的视线方向，包括：
根据预设的投影函数、所述人脸姿态和所述眼部瞳孔转动位移，构建对应的视线优化函数；
获取在实际人脸所在的三维空间中达到所述视线优化函数中的预设优化目标的视线方向，作为所述实际人脸的视线方向。
8.根据权利要求7所述的方法，其特征在于，所述人脸姿态包括所述人脸图像中人脸的旋转参数和平移参数。
9.根据权利要求7所述的方法，其特征在于，获取在实际人脸所在的三维空间中达到所述视线优化函数中的预设优化目标的视线方向，作为所述实际人脸的视线方向之前，还包括：
获取所述人脸图像的关联图像，所述关联图像携带对应的视线方向；
根据所述关联图像的视线方向、预设的关联平滑参数和防抖动参数，更新所述视线优化函数。
10.根据权利要求9所述的方法，其特征在于，所述更新后的视线优化函数为：min{||Π(Rx+t)-d||2+α||x-x0||2+β||x||2}；
其中，Π(Rx+t)为预设的投影函数，R为人脸姿态中的旋转参数，t为人脸姿态中的平移参数，x为人脸图像的视线方向，d为眼部瞳孔转动位移，x0为关联图像的视线方向，α为关联平滑参数，β为防抖动参数。
11.根据权利要求1-5任一项所述的方法，其特征在于，在根据预设的投影函数和所述人脸姿态对所述眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到所述实际人脸的视线方向之前，还包括：
根据所述人脸图像对应的采集设备参数，确定对应的投影函数。
12.根据权利要求11所述的方法，其特征在于，所述采集设备参数为采集设备的成像焦距。
13.一种视频处理的方法，其特征在于，包括：
获取待处理视频中的视频帧；
执行如权利要求1-12中任一项所述的视线检测的方法，得到所述视频帧对应的实际人脸的视线方向。
14.根据权利要求13所述的方法，其特征在于，在得到所述视频帧对应的视线方向之后，还包括：
根据所述待处理视频中相邻视频帧对应的视线方向，确定对应的视线偏移；
根据所述视线偏移，执行对应的视频编辑操作。
15.一种视线检测的装置，其特征在于，包括：
参数确定模块，用于根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移，所述眼部瞳孔转动位移为所述人脸图像中瞳孔中心相对于眼球中心的位移；
视线检测模块，用于根据预设的投影函数和所述人脸姿态对所述眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到所述实际人脸的视线方向。
16.一种视频处理的装置，其特征在于，包括：
视频帧获取模块，用于获取待处理视频中的视频帧；
视线检测模块，用于执行如权利要求1-12中任一项所述的视线检测的方法，得到所述视频帧对应的实际人脸的视线方向。
17.一种视线处理系统，其特征在于，包括：通信连接的采集设备和处理设备，所述采集设备配置于所述处理设备上；
所述采集设备采集待检测的人脸图像和待处理视频，并发送给所述处理设备；所述处理设备上设置有如权利要求15所述的视线检测的装置和如权利要求16所述的视频处理的装置。
18.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-12中任一所述的视线检测的方法，或者实现如权利要求13或14所述的视频处理的方法。
19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-12中任一所述的视线检测的方法，或者实现如权利要求13或14所述的视频处理的方法。
CN201910620700.3A 2019-07-10 2019-07-10 一种视线检测和视频处理的方法、装置、设备和存储介质 Active CN110363133B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910620700.3A CN110363133B (zh) 2019-07-10 2019-07-10 一种视线检测和视频处理的方法、装置、设备和存储介质
EP20836409.1A EP3998547A4 (en) 2019-07-10 2020-06-22 LINE OF SIGHT DETECTION METHOD AND APPARATUS, VIDEO PROCESSING METHOD AND APPARATUS, DEVICE AND INFORMATION MEDIA
US17/626,096 US12039752B2 (en) 2019-07-10 2020-06-22 Method for determining line-of-sight, method for processing video, device, and storage medium
PCT/CN2020/097318 WO2021004257A1 (zh) 2019-07-10 2020-06-22 视线检测和视频处理的方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910620700.3A CN110363133B (zh) 2019-07-10 2019-07-10 一种视线检测和视频处理的方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110363133A true CN110363133A (zh) 2019-10-22
CN110363133B CN110363133B (zh) 2021-06-01

Family

ID=68218673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910620700.3A Active CN110363133B (zh) 2019-07-10 2019-07-10 一种视线检测和视频处理的方法、装置、设备和存储介质

Country Status (4)

Country Link
US (1) US12039752B2 (zh)
EP (1) EP3998547A4 (zh)
CN (1) CN110363133B (zh)
WO (1) WO2021004257A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027506A (zh) * 2019-12-19 2020-04-17 斑马网络技术有限公司 视线方向的确定方法、装置、电子设备及存储介质
CN111291701A (zh) * 2020-02-20 2020-06-16 哈尔滨理工大学 一种基于图像梯度和椭圆拟合算法的视线追踪方法
CN111368717A (zh) * 2020-03-02 2020-07-03 广州虎牙科技有限公司 视线确定方法、装置、电子设备和计算机可读存储介质
WO2021004257A1 (zh) * 2019-07-10 2021-01-14 广州市百果园信息技术有限公司 视线检测和视频处理的方法、装置、设备和存储介质
CN113052064A (zh) * 2021-03-23 2021-06-29 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
CN113366491A (zh) * 2021-04-26 2021-09-07 华为技术有限公司 眼球追踪方法、装置及存储介质
CN113723293A (zh) * 2021-08-30 2021-11-30 中国科学院上海微系统与信息技术研究所 一种视线方向的确定方法、装置、电子设备及存储介质
CN114092992A (zh) * 2021-10-11 2022-02-25 中国核电工程有限公司 一种多屏幕监控系统快速人脸定位方法及装置
CN115147816A (zh) * 2021-03-29 2022-10-04 东风汽车集团股份有限公司 视线区域检测方法、系统、设备、介质和车辆
WO2023010301A1 (zh) * 2021-08-04 2023-02-09 华为技术有限公司 视线检测方法、眼球模型的建模方法及其装置
CN116664394A (zh) * 2023-08-01 2023-08-29 博奥生物集团有限公司 一种三维人眼图像生成方法及装置、电子设备、存储介质
WO2024140154A1 (zh) * 2022-12-28 2024-07-04 北京字跳网络技术有限公司 视线检测方法、装置、电子设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060077558A1 (en) * 2004-10-08 2006-04-13 Takashi Urakawa Eye detection apparatus and image display apparatus
CN101489467A (zh) * 2006-07-14 2009-07-22 松下电器产业株式会社 视线方向检测装置和视线方向检测方法
CN102149325A (zh) * 2008-09-26 2011-08-10 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN103207664A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种图像处理方法和设备
WO2013173531A1 (en) * 2012-05-16 2013-11-21 Keane Brian E Synchronizing virtual actor's performances to a speaker's voice
JP2014194617A (ja) * 2013-03-28 2014-10-09 Advanced Telecommunication Research Institute International 視線方向推定装置、視線方向推定装置および視線方向推定プログラム
WO2015013022A1 (en) * 2013-07-23 2015-01-29 Qualcomm Incorporated Method and computations for calculating an optical axis vector of an imaged eye
CN104951808A (zh) * 2015-07-10 2015-09-30 电子科技大学 一种用于机器人交互对象检测的3d视线方向估计方法
CN108182377A (zh) * 2017-11-21 2018-06-19 合肥工业大学 基于摄影测量技术的人眼视线检测方法及装置
WO2019026330A1 (ja) * 2017-08-02 2019-02-07 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
CN109471523A (zh) * 2017-09-08 2019-03-15 托比股份公司 使用眼球中心位置的眼睛追踪
CN109690553A (zh) * 2016-06-29 2019-04-26 醒眸行有限公司 执行眼睛注视跟踪的系统和方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101069214A (zh) 2004-10-01 2007-11-07 索尼电影娱乐公司 为计算机图形动画制作跟踪面部肌肉和眼睛运动的系统和方法
JP4966816B2 (ja) 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
CN103279969B (zh) 2013-05-08 2016-01-20 中国科学技术大学 一种建立富有情感表达能力的三维虚拟眼睛运动模型的方法
JP2015087824A (ja) * 2013-10-28 2015-05-07 オムロン株式会社 画面操作装置および画面操作方法
ES2883563T3 (es) * 2014-06-16 2021-12-09 Fondation De Linstitut De Rech Idiap Método y aparato de estimación de la mirada
US10048749B2 (en) * 2015-01-09 2018-08-14 Microsoft Technology Licensing, Llc Gaze detection offset for gaze tracking models
CN109087340A (zh) 2018-06-04 2018-12-25 成都通甲优博科技有限责任公司 一种包含尺度信息的人脸三维重建方法及系统
CN109740491B (zh) 2018-12-27 2021-04-09 北京旷视科技有限公司 一种人眼视线识别方法、装置、系统及存储介质
CN110363133B (zh) * 2019-07-10 2021-06-01 广州市百果园信息技术有限公司 一种视线检测和视频处理的方法、装置、设备和存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060077558A1 (en) * 2004-10-08 2006-04-13 Takashi Urakawa Eye detection apparatus and image display apparatus
CN101489467A (zh) * 2006-07-14 2009-07-22 松下电器产业株式会社 视线方向检测装置和视线方向检测方法
CN102149325A (zh) * 2008-09-26 2011-08-10 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN103207664A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种图像处理方法和设备
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
WO2013173531A1 (en) * 2012-05-16 2013-11-21 Keane Brian E Synchronizing virtual actor's performances to a speaker's voice
JP2014194617A (ja) * 2013-03-28 2014-10-09 Advanced Telecommunication Research Institute International 視線方向推定装置、視線方向推定装置および視線方向推定プログラム
WO2015013022A1 (en) * 2013-07-23 2015-01-29 Qualcomm Incorporated Method and computations for calculating an optical axis vector of an imaged eye
CN104951808A (zh) * 2015-07-10 2015-09-30 电子科技大学 一种用于机器人交互对象检测的3d视线方向估计方法
CN109690553A (zh) * 2016-06-29 2019-04-26 醒眸行有限公司 执行眼睛注视跟踪的系统和方法
WO2019026330A1 (ja) * 2017-08-02 2019-02-07 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
CN109471523A (zh) * 2017-09-08 2019-03-15 托比股份公司 使用眼球中心位置的眼睛追踪
CN108182377A (zh) * 2017-11-21 2018-06-19 合肥工业大学 基于摄影测量技术的人眼视线检测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MOHAMMAD REZA MOHAMMADI ET AL；: "《A Novel Technique for Pupil Center Localization Based On Projective Geometry》", 《IEEE》 *
张雯 等；: "《基于虹膜参数提取的人眼注视方向识别算法》", 《光电子· 激光》 *
王文成 等；: "《一种基于区域投影的人眼精确定位方法》", 《光电子· 激光》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021004257A1 (zh) * 2019-07-10 2021-01-14 广州市百果园信息技术有限公司 视线检测和视频处理的方法、装置、设备和存储介质
US12039752B2 (en) 2019-07-10 2024-07-16 Bigo Technology Pte. Ltd. Method for determining line-of-sight, method for processing video, device, and storage medium
CN111027506B (zh) * 2019-12-19 2024-04-12 斑马网络技术有限公司 视线方向的确定方法、装置、电子设备及存储介质
CN111027506A (zh) * 2019-12-19 2020-04-17 斑马网络技术有限公司 视线方向的确定方法、装置、电子设备及存储介质
CN111291701B (zh) * 2020-02-20 2022-12-13 哈尔滨理工大学 一种基于图像梯度和椭圆拟合算法的视线追踪方法
CN111291701A (zh) * 2020-02-20 2020-06-16 哈尔滨理工大学 一种基于图像梯度和椭圆拟合算法的视线追踪方法
CN111368717A (zh) * 2020-03-02 2020-07-03 广州虎牙科技有限公司 视线确定方法、装置、电子设备和计算机可读存储介质
CN113052064A (zh) * 2021-03-23 2021-06-29 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
CN113052064B (zh) * 2021-03-23 2024-04-02 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
CN115147816A (zh) * 2021-03-29 2022-10-04 东风汽车集团股份有限公司 视线区域检测方法、系统、设备、介质和车辆
WO2022226747A1 (zh) * 2021-04-26 2022-11-03 华为技术有限公司 眼球追踪方法、装置及存储介质
CN113366491A (zh) * 2021-04-26 2021-09-07 华为技术有限公司 眼球追踪方法、装置及存储介质
WO2023010301A1 (zh) * 2021-08-04 2023-02-09 华为技术有限公司 视线检测方法、眼球模型的建模方法及其装置
CN113723293B (zh) * 2021-08-30 2024-01-05 中国科学院上海微系统与信息技术研究所 一种视线方向的确定方法、装置、电子设备及存储介质
CN113723293A (zh) * 2021-08-30 2021-11-30 中国科学院上海微系统与信息技术研究所 一种视线方向的确定方法、装置、电子设备及存储介质
CN114092992A (zh) * 2021-10-11 2022-02-25 中国核电工程有限公司 一种多屏幕监控系统快速人脸定位方法及装置
WO2024140154A1 (zh) * 2022-12-28 2024-07-04 北京字跳网络技术有限公司 视线检测方法、装置、电子设备及存储介质
CN116664394A (zh) * 2023-08-01 2023-08-29 博奥生物集团有限公司 一种三维人眼图像生成方法及装置、电子设备、存储介质
CN116664394B (zh) * 2023-08-01 2023-10-03 博奥生物集团有限公司 一种三维人眼图像生成方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
US20220254058A1 (en) 2022-08-11
US12039752B2 (en) 2024-07-16
WO2021004257A1 (zh) 2021-01-14
EP3998547A1 (en) 2022-05-18
EP3998547A4 (en) 2022-08-10
CN110363133B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN110363133A (zh) 一种视线检测和视频处理的方法、装置、设备和存储介质
Fischer et al. Rt-gene: Real-time eye gaze estimation in natural environments
CN111325823B (zh) 人脸纹理图像的获取方法、装置、设备及存储介质
CN111028330B (zh) 三维表情基的生成方法、装置、设备及存储介质
CN111710036B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
JP7526412B2 (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
Wechsler Reliable Face Recognition Methods: System Design, Impementation and Evaluation
US20190139297A1 (en) 3d skeletonization using truncated epipolar lines
KR20170008638A (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
CN111192223B (zh) 人脸纹理图像的处理方法、装置、设备及存储介质
JP2008102902A (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
WO2023066120A1 (zh) 图像处理方法、装置、电子设备及存储介质
US10791321B2 (en) Constructing a user's face model using particle filters
CN109389367A (zh) 人员考勤方法、装置及存储介质
JP2017122993A (ja) 画像処理装置、画像処理方法及びプログラム
KR20030096965A (ko) 2차원 얼굴사진으로부터 3차원 얼굴형상 획득 시스템 및방법
CN109360270B (zh) 基于人工智能的3d人脸姿态对齐方法及装置
RU2782543C1 (ru) Способ и устройство для детектирования линии взгляда, способ и устройство для обработки видеоданных, устройство и носитель данных
Bagdanov et al. Florence faces: a dataset supporting 2d/3d face recognition
Yücel et al. Resolution of focus of attention using gaze direction estimation and saliency computation
Rakhmatulin Cycle-GAN for eye-tracking
Wood Gaze Estimation with Graphics
Agarwal et al. Reconstruction of 2D Images Into 3D
WO2020148810A1 (ja) 情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211126

Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: 511400 floor 5-13, West Tower, building C, 274 Xingtai Road, Shiqiao street, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd.