CN112541400A - 基于视线估计的行为识别方法及装置、电子设备、存储介质 - Google Patents

基于视线估计的行为识别方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN112541400A
CN112541400A CN202011310316.2A CN202011310316A CN112541400A CN 112541400 A CN112541400 A CN 112541400A CN 202011310316 A CN202011310316 A CN 202011310316A CN 112541400 A CN112541400 A CN 112541400A
Authority
CN
China
Prior art keywords
face
image
determining
sight
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011310316.2A
Other languages
English (en)
Inventor
胡显
邓巍
易军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Technology Wuhan Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Technology Wuhan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd, Xiaomi Technology Wuhan Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202011310316.2A priority Critical patent/CN112541400A/zh
Publication of CN112541400A publication Critical patent/CN112541400A/zh
Priority to EP21176701.7A priority patent/EP4002199A1/en
Priority to US17/334,965 priority patent/US11816924B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本公开是关于一种基于视线估计的行为识别方法及装置、电子设备、存储介质。所述方法包括：采集图像，检测所采集图像中是否包含人脸面部；对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；对人脸面部不是闭眼面部的图像，计算所述人脸面部所属对象的人脸的视线方向角及所述人脸面部所属对象的人脸与图像采集单元之间的实际距离；基于所述视线方向角和实际距离，确定所述对象是否发生设定行为。本公开的用户行为检测精准，操控精度高，保证了基于用户行为的人机交互可靠性。

Description

基于视线估计的行为识别方法及装置、电子设备、存储介质
技术领域
本公开涉及基于智能指令的交互控制技术，尤其涉及一种基于视线估计的行为识别方法及装置、电子设备、存储介质。
背景技术
智能交互是人与智能电子设备之间基于用户行为检测而生成操控指令的交互方式。用户行为包括语音、表情、手势、人脸识别等多模态行为，通过检测用户行并进行感知、理解而生成操控指令,进而控制设备提供精准匹配的响应，全面提升交互体验。目前，在人脸识别方面，对于表情或行为的识别的精准度还达不到相应要求。
发明内容
本公开提供一种基于视线估计的行为识别方法及装置、电子设备、存储介质。
根据本公开实施例的第一方面，提供一种基于视线估计的行为识别方法，包括：
采集图像，检测所采集图像中是否包含人脸面部；
对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；
对人脸面部不是闭眼面部的图像，计算所述人脸面部所属对象的人脸的视线方向角及所述人脸面部所属对象的人脸与图像采集单元之间的实际距离；
基于所述视线方向角和实际距离，确定所述对象是否发生设定行为。
可选的，所述计算人脸面部所属对象的面部与图像采集单元之间的实际距离，包括：
确定所述面部图像的尺寸；
根据所述面部图像的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。
可选的，基于所述视线方向角和实际距离，确定所述对象是否发生设定行为，包括：
根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点；
根据所述落点确定所述对象是否发生设定行为。
可选的，所述根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点，包括：
根据所述视线方向角确定视线方向向量；
根据所述实际距离和所述图像采集单元的三维位置坐标，确定所述对象的人脸中左右眼连线中心的三维位置坐标；
根据所述视线方向向量和所述对象的人脸中左右眼连线中心的三维位置坐标计算所述落点。
可选的，所述据所述落点确定所述对象是否发生设定行为，包括：
确定所述落点是否位于所述显示单元内；
其中，在所述落点位于所述显示单元内时，确定所述对象发生设定行为；在所述落点未位于所述显示单元内时，确定所述对象未发生设定行为。
可选的，所述计算所述人脸面部所属对象的人脸的视线方向角，包括：
将所述图像中的人眼图片输入至预先训练好的视线估计模型中，输出与所述人眼图片中左右眼的视线方向角；
将左右眼的视线方向角的平均值作为所述人脸的视线方向角。
可选的，所述方法还包括：
在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。人脸面部人脸面部人脸面部人脸面部人脸面部人脸面部人脸面部
根据本公开实施例的第二方面，提供一种基于视线估计的行为识别装置，包括：
采集单元，用于采集图像；
检测单元，用于检测所采集图像中是否包含人脸面部；
第一确定单元，用于对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；
计算单元，用于对人脸面部不是闭眼面部的图像，计算所述人脸面部所属对象的人脸的视线方向角及所述人脸面部所属对象的人脸与图像采集单元之间的实际距离；
第二确定单元，用于基于所述视线方向角和实际距离，确定所述对象是否发生设定行为。
可选的，所述计算单元，还用于确定所述面部图像的尺寸；根据所述面部图像的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。
可选的，所述第二确定单元，还用于：
根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点；
根据所述落点确定所述对象是否发生设定行为。
可选的，所述第二确定单元，还用于：
根据所述视线方向角确定视线方向向量；
根据所述实际距离和所述图像采集单元的三维位置坐标，确定所述对象的人脸中左右眼连线中心的三维位置坐标；
根据所述视线方向向量和所述对象的人脸中左右眼连线中心的三维位置坐标计算所述落点。
可选的，所述第二确定单元，还用于：
确定所述落点是否位于所述显示单元内；
其中，在所述落点位于所述显示单元内时，确定所述对象发生设定行为；在所述落点未位于所述显示单元内时，确定所述对象未发生设定行为。
可选的，所述计算单元，还用于：
将所述图像中的人眼图片输入至预先训练好的视线估计模型中，输出与所述人眼图片中左右眼的视线方向角；
将左右眼的视线方向角的平均值作为所述人脸的视线方向角。
可选的，所述第二确定单元，还用于：
在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。人脸面部人脸面部人脸面部人脸面部人脸面部人脸面部人脸面部
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器和用于存储处理器可执行指令的存储器，其中，所述处理器被配置为在调用存储器中的可执行指令时，能够执行上述的基于视线估计的行为识别方法的步骤。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的基于视线估计的行为识别方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
在本公开的实施例中，首先采集图像，检测所采集图像中是否包含人脸面部；对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；对人脸面部不是闭眼面部的图像，计算所述人脸面部所属对象的人脸的视线方向角及所述人脸面部所属对象的人脸与图像采集单元之间的实际距离；基于所述视线方向角和实际距离，确定所述对象是否发生设定行为，这里的设定行为包括人脸面部所属对象的视线落在待操控对象上，本公开实施例的用户行为检测精准，操控精度高，保证了基于用户行为的人机交互可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本公开实施例示出的一种基于视线估计的行为识别方法流程示意图；
图2为本公开实施例示出的一种基于视线估计的行为识别装置的组成结构示意图；
图3为本公开实施例示出的电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和装置的例子。
图1为本公开实施例示出的一种基于视线估计的行为识别方法流程示意图，如图1所示，本公开实施例的基于视线估计的行为识别方法包括以下步骤：
S11，采集图像，检测所采集图像中是否包含人脸面部。
本公开实施例的技术方案，适用于对电子设备如智能音箱、语音机器人等电子设备进行智能操控的场景。当然，待操控对象也可以是手机、笔记本、平板电脑、游戏机等电子设备，当这些电子设备中安装有本公开实施例的用户行为识别应用后，也可以基于对用户行为的识别而生成相应的操控指令，以对这些电子设备进行操控。
本公开实施例中，通过电子设备上安装的摄像头等进行图像采集，图像采集的目的是获取操控者的人脸图像，以便对人脸图像进行分析以确定用户的设定行为，基于用户的设定行为生成相应的操控指令，这样，操控者不必再通过对电子设备的手动操控，也能实现对电子设备的控制。
本公开实施例中，电子设备的摄像头实时拍摄图像，或检测到相应事件后拍摄图像，如采集到环境声音超出设定分贝后开启图像采集模式。可以根据需要和处理器性能设置图像拍摄的采集间隔，比如每隔0.5秒、0.25秒或1秒采集一帧图像等。
确定所拍摄的图像中是否包含人脸，即确定是否能从摄像头拍摄的图像中检测到人脸信息。具体地，可以基于图像中像素的属性信息如对比度、灰度等级等，在图像中查找符合人脸特征的一些像素区域，确定图像中是否包含有人脸图像。
本公开实施例中，可以通过CenterFace网络对所采集图像中的人脸面部进行检测，以确定是否包含人脸面部图像等。
本公开实施例的技术方案更适用于智能音箱、智能机器人等的电子设备，利用电子设备上安装的摄像头进行图像采集，并确定图像中是否包含有人脸面部。
S12、对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部。
本公开实施例中，当确定出用户输入图像中的人脸图像后，需要对人脸中的特征点进行识别，以便对人脸图像进行识别，确定操控者是否产生了设定行为。本公开实施例中，人脸中的特征点主要包括眼睛、鼻尖、嘴角点、眉毛、脸颊等正面特征点，还包括眼睛、鼻子、嘴唇、眉毛、脸颊等的轮廓点。当然，如果图像中包括人的耳朵等图像，也可以确定出人脸的耳朵及其轮廓点作为人脸的特征点。
如果有人脸，则根据人脸检测得到的人脸检测框裁剪出所有人脸图像。在人脸检测的基础上，根据裁剪所得到的人脸图像，利用已有的人脸特征点定位算法，如人脸特征点检测器(A Practical Facial Landmark Detectorlink，PFLD)网络对裁剪得到的人脸图像进行特征点定位，自动定位出面部关键特征点。
本公开实施例中，还可以对裁剪后得到的人脸图像进行姿态矫正。如可以利用所确定的人脸的特征点坐标，对将人脸图像进行矫正，进行人脸姿态矫正能够提升人脸图像中的人脸是否存在闭眼情况，能大大提升闭眼检测的准确率，从而提升人脸姿态估计的精度。
对于每个矫正后的人脸，分别根据每个眼睛的两个眼角即左眼角和右眼角的特征点坐标，以及眼睛上眼皮最高特征点和下眼皮最低特征点的坐标，连接经过这四个点的矩形，按照该矩形分别裁剪出左右眼睛图像。本公开实施例中，通过自然环境下实时眨眼估计(Real-Time Blink Estimation in Natural Environments，RT-BENE)的闭眼检测方法,对所裁剪的左右眼睛图像分别进行闭眼检测。闭眼检测的结果为眼睛是否闭合，如果闭眼检测结果为左眼和右眼同时闭合，则认为该人脸为闭眼人脸，并判定该人脸没有注视待操控对象，不进行后续步骤。对于其他的人脸图像即非闭眼人脸图像继续后续处理骤。
本公开实施例中，排除闭眼人脸图像的处理，能够减少人脸检测用户行为的误判，降低操控指令生成的准确性，同时避免了不必要的计算量。
本公开实施例中，对于非闭眼人脸，利用眼睛图像规范化处理方法如(Eye ImageNormalisation)进行规范化处理，得到规范化后的眼睛图像，然后利用三维视线估计的方法如GazeNet网络估计方法分别估计左右眼的视线，输入为规范化后的眼睛图像，输出为人眼视线估计结果，包括规范化空间下的视线方向角——偏航角(yaw)和俯仰角(pitch)。取左右眼的平均值作为该人脸的视线方向，取均值可以减少视线估计误差，同时可以简化后续的计算，减少计算耗时。
S13、对人脸面部不是闭眼面部的图像，计算所述人脸面部所属对象的人脸的视线方向角及所述人脸面部所属对象的人脸与图像采集单元之间的实际距离。
本公开实施例中，图像采集单元可以是待操控对象如智能音箱上设置的摄像头等，图像采集单元是待操控对象如智能音箱上的固定配件，用于采集图像，以自动生成相关的操控指令，如还可以进行人脸识别等智能操控。
本公开实施例中，所述计算所述人脸面部所属对象的人脸的视线方向角，包括：
将所述图像中的人眼图片输入至预先训练好的视线估计模型中，输出与所述人眼图片中左右眼的视线方向角；将左右眼的视线方向角的平均值作为所述人脸的视线方向角。
需要说明的是，上述视线估计模型可以是眼睛图片规范化化方法(Eye ImageNormalisation)和三维视线估计的方法，比如GazeNet网络的结合，但并不限于此。
本公开实施例中，对人脸面部不是闭眼面部的图像，计算人脸面部所属对象的面部与图像采集单元之间的实际距离，具体包括：确定所述面部图像的尺寸；根据所述面部图像的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。
具体地，人眼的平均视线方向角具体计算公式如下：
Figure BDA0002789599990000061
其中，lyaw，lpitch分别为左眼的视线方向角，ryaw，rpitch分别为右眼的视线方向角，Eyaw，Epitch分别为该人脸眼睛的平均视线方向角(偏航角(yaw)和俯仰角(pitch))。
将视线估计得到的视线角度转化为空间向量的形式，为后续计算视线与待操控对象的交点做准备。具体转换公式如下：
Figure BDA0002789599990000071
其中，(Gx,Gy,Gz)分别表示规范化空间中沿x,y,z坐标系的视线方向的单位方向向量，yaw,pitch分别表示视线估计得到的规范化空间下视线方向角包括偏航角(yaw)和俯仰角(pitch)。
将前述步骤得到的左右眼睛瞳孔特征点坐标分别记为(lx,ly)，(rx,ry)，计算左右眼瞳孔的连线中心点的坐标，具体计算公式如下：
Figure BDA0002789599990000072
其中，(Ex，Ey)表示左右眼瞳孔的连线中心点坐标，单位为像素。
对于基于采集图像裁剪出的人脸图像，记每个人脸的宽高分别为w，h，单位为像素。待操控对象的屏幕的分辨率是已知的，记待操控对象屏幕的分辨率宽高分别为w0，h0,单位为像素。则可以根据工程经验公式，利用人脸的宽高和待操控对象的分辨率近似计算出人眼和待操控对象的实际直线距离。具体计算公式如下：
Figure BDA0002789599990000073
其中，dist表示人眼和待操控对象的实际直线距离，单位为cm。实际测试验证，该公式的计算精度误差小于10cm，满足计算精度要求。
将实际距离dist的量纲转化为像素单位得到Ed，计算公式如下：
Figure BDA0002789599990000074
其中，Ed表示人眼和待操控对象的实际直线距离，单位为像素。wa为待操控对象如智能音箱的实际宽度，单位为cm,w0为待操控对象的屏幕横向分辨率。
按照以上计算可以得到瞳孔与待操控对象相对位置，在规范化空间中，待操控对象摄像头的三维位置坐标为原点(0,0,0)，则人脸双眼连线中心的三维位置坐标为(Ex,Ey,Ed)，视线方向的单位方向向量为(Gx,Gy,Gz)。
S14、基于所述视线方向角和实际距离，确定所述对象是否发生设定行为。
本公开实施例中，设定行为包括人脸面部所属对象的视线方向是否落在待操控对象上，基于所述视线方向角和实际距离，确定所述对象是否发生设定行为，包括：根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点；根据所述落点确定所述对象是否发生设定行为。
其中，所述根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点，包括：根据所述视线方向角确定视线方向向量；根据所述实际距离和所述图像采集单元的三维位置坐标，确定所述对象的人脸中左右眼连线中心的三维位置坐标；根据所述视线方向向量和所述对象的人脸中左右眼连线中心的三维位置坐标计算所述落点。
所述据所述落点确定所述对象是否发生设定行为，包括：确定所述落点是否位于所述显示单元内；其中，在所述落点位于所述显示单元内时，确定所述对象发生设定行为；在所述落点未位于所述显示单元内时，确定所述对象未发生设定行为。
本公开实施例中，确定人脸面部所属对象的视线方向是否落在待操控对象上，具体地，计算视线在待操控对象的落点，具体计算公式如下：
Figure BDA0002789599990000081
其中，gx为人眼视线方向与待操控对象的交点的横坐标，单位为像素，gy为人眼视线方向与待操控对象的交点的纵坐标，单位为像素。根据人眼视线方向与屏幕平面交点坐标(gx,gy)可以很容易地判断出人脸面部所属对象是否在注视待操控对象。以待操控对象为常见的带屏智能音箱为例，摄像头一般位于音箱屏幕上边中心位置，据此判定人脸面部所属对象是否在注视待操控对象的公式如下：
Figure BDA0002789599990000091
其中，w0，h0分别为待操控对象的屏幕的横向分辨率和纵向分辨率，gx为人眼视线方向与屏幕平面交点的横坐标，单位为像素，gy为人眼视线方向与屏幕平面交点的纵坐标，单位为像素。
如果人眼视线方向与屏幕平面交点坐标(gx,gy)满足上式，则判定人脸面部所属的对象正在注视待操控对象，记为si＝1，否则，该人脸面部所属对象未注视待操控对象，即si＝0，其中si表示第i个图像中人眼是否注视待操控对象的判定结果。所有人脸面部所属对象的注视待操控对象判定结果构成集合S＝{s1,s2,..,sn}。
作为一种实现方式，在本公开实施例中，当在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。
统计注视待操控对象的判定结果，若所有人脸中至少存在一个正在注视待操控对象的人脸，即集合S中至少存在一个大于0的元素，则说明至少存在正在注视待操控对象的用户。否则，认为没有用户在注视待操控对象。
为提升本公开实施例的判断准确性，也可以修改判决条件为当S中存在连续多个大于0的元素时，确定为人脸面部所属对象(即操作者)注视待操控对象，再生成相应的操控指令。这样，可以认为当人脸面部所属对象持续注视待操控对象时，判定人脸面部所属对象欲对待操控对象进行操控，而生成相应的操控指令。
若人脸面部所属对象(即操作者)注视待操控对象则生成操控指令，将操控对象由调整为第一状态；这里的第一状态可以是唤醒状态、开机状态。第一状态也可以是与当前状态相对的状态，即当待操控对象当前处于休眠状态时，操控指令为唤醒指令，将待操控对象的状态调整为唤醒状态，当待操控对象当前处于关机状态时，操控指令为开机指令，将待操控对象的状态调整为开机状态。
即本公开实施例中，操控指令可以是唤醒指令、开机指令等，即根据待操控对象当前所处的状态，而自动生成相应的操控指令，如当待操控对象处于关机状态时，若检测到人脸面部所属对象注视待操控对象的行为，则生成开机指令，将待操控对象关机；当待操控对象处于睡眠状态时，若检测到人脸面部所属对象注视待操控对象的行为，则生成唤醒指令，将待操控对象唤醒。
本公开实施例的技术方案，适用于对智能待操控对象如语音机器人、智能音箱等电子设备进行智能操控的场景。当然，待操控对象也可以是手机、笔记本、平板电脑、游戏机等电子设备，当这些电子设备中安装有本公开实施例的用户行为识别应用后，也可以基于对用户行为的识别而生成相应的操控指令，以对这些电子设备进行操控。
图2为本公开实施例示出的一种基于视线估计的行为识别装置的组成结构示意图，如图2所示，本公开实施例的基于视线估计的行为识别装置包括：
采集单元20，用于采集图像；
检测单元21，用于检测所采集图像中是否包含人脸面部；
第一确定单元22，用于对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；
计算单元23，用于对人脸面部不是闭眼面部的图像，计算所述人脸面部所属对象的人脸的视线方向角及所述人脸面部所属对象的人脸与图像采集单元之间的实际距离；
第二确定单元24，用于基于所述视线方向角和实际距离，确定所述对象是否发生设定行为。
作为一种实现方式，所述计算单元23，还用于确定所述面部图像的尺寸；根据所述面部图像的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。
作为一种实现方式，所述第二确定单元24，还用于：
根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点；
根据所述落点确定所述对象是否发生设定行为。
作为一种实现方式，所述第二确定单元24，还用于：
根据所述视线方向角确定视线方向向量；
根据所述实际距离和所述图像采集单元的三维位置坐标，确定所述对象的人脸中左右眼连线中心的三维位置坐标；
根据所述视线方向向量和所述对象的人脸中左右眼连线中心的三维位置坐标计算所述落点。
作为一种实现方式，所述第二确定单元24，还用于：
确定所述落点是否位于所述显示单元内；
其中，在所述落点位于所述显示单元内时，确定所述对象发生设定行为；在所述落点未位于所述显示单元内时，确定所述对象未发生设定行为。
作为一种实现方式，所述计算单元23，还用于：
将所述图像中的人眼图片输入至预先训练好的视线估计模型中，输出与所述人眼图片中左右眼的视线方向角；
将左右眼的视线方向角的平均值作为所述人脸的视线方向角。
作为一种实现方式，所述第二确定单元24，还用于：
在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。
作为一种实现方式，所述第一状态包括以下至少之一：
唤醒状态、开机状态。
在示例性实施例中，采集单元20、检测单元21、第一确定单元22、计算单元23和第二确定单元24等可以被一个或多个中央处理器(CPU，Central Processing Unit)、图形处理器(GPU，Graphics Processing Unit)、基带处理器(BP，base processor)、应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，也可以结合一个或多个射频(RF，radio frequency)天线实现，用于执行前述文本处理装置。
关于上述实施例中的基于视线估计的行为识别装置，其中各个模块及单元执行操作的具体方式已经在有关该装置的实施例中进行了详细描述，此处将不做详细阐述说明。
图3为根据一示例性实施例示出的一种电子设备800的框图，如图3所示，电子设备800支持多屏输出，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例的图像处理的步骤。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述实施例的基于视线估计的行为识别方法的步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还记载了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行控制方法，所述方法包括：
采集图像，检测所采集图像中是否包含人脸面部；
对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；
对人脸面部不是闭眼面部的图像，计算所述人脸面部所属对象的人脸的视线方向角及所述人脸面部所属对象的人脸与图像采集单元之间的实际距离；
基于所述视线方向角和实际距离，确定所述对象是否发生设定行为。
可选的，所述计算人脸面部所属对象的面部与图像采集单元之间的实际距离，包括：
确定所述面部图像的尺寸；
根据所述面部图像的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。
可选的，基于所述视线方向角和实际距离，确定所述对象是否发生设定行为，包括：
根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点；
根据所述落点确定所述对象是否发生设定行为。
可选的，所述根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点，包括：
根据所述视线方向角确定视线方向向量；
根据所述实际距离和所述图像采集单元的三维位置坐标，确定所述对象的人脸中左右眼连线中心的三维位置坐标；
根据所述视线方向向量和所述对象的人脸中左右眼连线中心的三维位置坐标计算所述落点。
可选的，所述据所述落点确定所述对象是否发生设定行为，包括：
确定所述落点是否位于所述显示单元内；
其中，在所述落点位于所述显示单元内时，确定所述对象发生设定行为；在所述落点未位于所述显示单元内时，确定所述对象未发生设定行为。
可选的，所述计算所述人脸面部所属对象的人脸的视线方向角，包括：
将所述图像中的人眼图片输入至预先训练好的视线估计模型中，输出与所述人眼图片中左右眼的视线方向角；
将左右眼的视线方向角的平均值作为所述人脸的视线方向角。
可选的，所述方法还包括：
在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。
可选的，所述第一状态包括以下至少之一：
唤醒状态、开机状态。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种基于视线估计的行为识别方法，其特征在于，所述方法包括：
采集图像，检测所采集图像中是否包含人脸面部；
对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；
对人脸面部不是闭眼面部的图像，计算所述人脸面部所属对象的人脸的视线方向角及所述人脸面部所属对象的人脸与图像采集单元之间的实际距离；
基于所述视线方向角和实际距离，确定所述对象是否发生设定行为。
2.根据权利要求1所述的方法，其特征在于，所述计算人脸面部所属对象的面部与图像采集单元之间的实际距离，包括：
确定所述面部图像的尺寸；
根据所述面部图像的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。
3.根据权利要求1所述的方法，其特征在于，基于所述视线方向角和实际距离，确定所述对象是否发生设定行为，包括：
根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点；
根据所述落点确定所述对象是否发生设定行为。
4.根据权利要求3所述的方法，其特征在于，所述根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点，包括：
根据所述视线方向角确定视线方向向量；
根据所述实际距离和所述图像采集单元的三维位置坐标，确定所述对象的人脸中左右眼连线中心的三维位置坐标；
根据所述视线方向向量和所述对象的人脸中左右眼连线中心的三维位置坐标计算所述落点。
5.根据权利要求3所述的方法，其特征在于，所述据所述落点确定所述对象是否发生设定行为，包括：
确定所述落点是否位于所述显示单元内；
其中，在所述落点位于所述显示单元内时，确定所述对象发生设定行为；在所述落点未位于所述显示单元内时，确定所述对象未发生设定行为。
6.根据权利要求1所述的方法，其特征在于，所述计算所述人脸面部所属对象的人脸的视线方向角，包括：
将所述图像中的人眼图片输入至预先训练好的视线估计模型中，输出与所述人眼图片中左右眼的视线方向角；
将左右眼的视线方向角的平均值作为所述人脸的视线方向角。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。
8.一种基于视线估计的行为识别装置，其特征在于，所述装置包括：
采集单元，用于采集图像；
检测单元，用于检测所采集图像中是否包含人脸面部；
第一确定单元，用于对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；
计算单元，用于对人脸面部不是闭眼面部的图像，计算所述人脸面部所属对象的人脸的视线方向角及所述人脸面部所属对象的人脸与图像采集单元之间的实际距离；
第二确定单元，用于基于所述视线方向角和实际距离，确定所述对象是否发生设定行为。
9.根据权利要求8所述的装置，其特征在于，所述计算单元，还用于确定所述面部图像的尺寸；根据所述面部图像的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。
10.根据权利要求8所述的装置，其特征在于，所述第二确定单元，还用于：
根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点；
根据所述落点确定所述对象是否发生设定行为。
11.根据权利要求10所述的装置，其特征在于，所述第二确定单元，还用于：
根据所述视线方向角确定视线方向向量；
根据所述实际距离和所述图像采集单元的三维位置坐标，确定所述对象的人脸中左右眼连线中心的三维位置坐标；
根据所述视线方向向量和所述对象的人脸中左右眼连线中心的三维位置坐标计算所述落点。
12.根据权利要求10所述的装置，其特征在于，所述第二确定单元，还用于：
确定所述落点是否位于所述显示单元内；
其中，在所述落点位于所述显示单元内时，确定所述对象发生设定行为；在所述落点未位于所述显示单元内时，确定所述对象未发生设定行为。
13.根据权利要求10所述的装置，其特征在于，所述计算单元，还用于：
将所述图像中的人眼图片输入至预先训练好的视线估计模型中，输出与所述人眼图片中左右眼的视线方向角；
将左右眼的视线方向角的平均值作为所述人脸的视线方向角。
14.根据权利要求8所述的装置，其特征在于，所述第二确定单元，还用于：
在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。
15.一种电子设备，其特征在于，所述电子设备包括：处理器和用于存储处理器可执行指令的存储器，其中，所述处理器被配置为在调用存储器中的可执行指令时，能够执行如权利要求1至7中任一项所述的基于视线估计的行为识别方法的步骤。
16.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的基于视线估计的行为识别方法的步骤。
CN202011310316.2A 2020-11-20 2020-11-20 基于视线估计的行为识别方法及装置、电子设备、存储介质 Pending CN112541400A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011310316.2A CN112541400A (zh) 2020-11-20 2020-11-20 基于视线估计的行为识别方法及装置、电子设备、存储介质
EP21176701.7A EP4002199A1 (en) 2020-11-20 2021-05-28 Method and device for behavior recognition based on line-of-sight estimation, electronic equipment, and storage medium
US17/334,965 US11816924B2 (en) 2020-11-20 2021-05-31 Method for behaviour recognition based on line-of-sight estimation, electronic equipment, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011310316.2A CN112541400A (zh) 2020-11-20 2020-11-20 基于视线估计的行为识别方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN112541400A true CN112541400A (zh) 2021-03-23

Family

ID=75014506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011310316.2A Pending CN112541400A (zh) 2020-11-20 2020-11-20 基于视线估计的行为识别方法及装置、电子设备、存储介质

Country Status (3)

Country Link
US (1) US11816924B2 (zh)
EP (1) EP4002199A1 (zh)
CN (1) CN112541400A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569761A (zh) * 2021-07-30 2021-10-29 广西师范大学 一种基于深度学习的学生视点估计方法
CN116052261A (zh) * 2022-05-31 2023-05-02 荣耀终端有限公司 视线估计方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797577B2 (en) * 2020-12-29 2023-10-24 Landmark Graphics Corporation Smart data warehouse for cloud-based reservoir simulation

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048171A (ja) * 2004-07-30 2006-02-16 Toyota Motor Corp 状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法
US20110249868A1 (en) * 2008-09-26 2011-10-13 Panasonic Corporation Line-of-sight direction determination device and line-of-sight direction determination method
CN102473033B (zh) * 2009-09-29 2015-05-27 阿尔卡特朗讯 一种注视点检测方法及其装置
CN104766059A (zh) * 2015-04-01 2015-07-08 上海交通大学 快速精确的人眼定位方法及基于人眼定位的视线估计方法
CN105183169A (zh) * 2015-09-22 2015-12-23 小米科技有限责任公司 视线方向识别方法及装置
US20160084949A1 (en) * 2013-10-10 2016-03-24 Beijing Zhigu Rui Tuo Tech Co., Ltd. Locating method and locating system
KR101706992B1 (ko) * 2016-01-27 2017-02-15 숭실대학교산학협력단 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
KR101819164B1 (ko) * 2016-07-29 2018-01-17 상명대학교산학협력단 시선 추적 장치 및 방법
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法
US10027888B1 (en) * 2015-09-28 2018-07-17 Amazon Technologies, Inc. Determining area of interest in a panoramic video or photo
US10102634B1 (en) * 2015-10-15 2018-10-16 Snap Inc. Image segmentation of a video stream
CN109271914A (zh) * 2018-09-07 2019-01-25 百度在线网络技术（北京）有限公司 检测视线落点的方法、装置、存储介质和终端设备
CN109740491A (zh) * 2018-12-27 2019-05-10 北京旷视科技有限公司 一种人眼视线识别方法、装置、系统及存储介质
CN110458122A (zh) * 2019-08-15 2019-11-15 京东方科技集团股份有限公司 一种视线标校方法、显示装置的播放方法和视线标校系统
CN110537897A (zh) * 2019-09-10 2019-12-06 北京未动科技有限公司 视线追踪方法和装置、计算机可读存储介质、电子设备
WO2020020022A1 (zh) * 2018-07-25 2020-01-30 卢帆 视觉识别方法及其系统
CN111016785A (zh) * 2019-11-26 2020-04-17 惠州市德赛西威智能交通技术研究院有限公司 一种基于人眼位置的平视显示系统调节方法
JP6725121B1 (ja) * 2019-11-13 2020-07-15 株式会社スワローインキュベート 視線検出方法、視線検出装置、及び制御プログラム
CN111507592A (zh) * 2020-04-08 2020-08-07 山东大学 一种面向服刑人员的主动改造行为的评估方法
CN111796874A (zh) * 2020-06-28 2020-10-20 北京百度网讯科技有限公司 一种设备唤醒的方法、装置、计算机设备和存储介质
CN111857329A (zh) * 2020-05-26 2020-10-30 北京航空航天大学 注视点计算方法、装置及设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9812096B2 (en) * 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
JP5926210B2 (ja) * 2012-03-21 2016-05-25 国立大学法人浜松医科大学 自閉症診断支援システム及び自閉症診断支援装置
US9269215B2 (en) 2012-12-20 2016-02-23 Cadillac Jack, Inc. Electronic gaming system with human gesturing inputs
JP2015087824A (ja) * 2013-10-28 2015-05-07 オムロン株式会社 画面操作装置および画面操作方法
CN103677267A (zh) 2013-12-09 2014-03-26 惠州Tcl移动通信有限公司 移动终端及其唤醒方法、装置
CN105095893A (zh) 2014-05-16 2015-11-25 北京天诚盛业科技有限公司 图像采集装置和方法
CN105893981B (zh) 2016-04-28 2018-06-01 湖南大学 一种人脸姿态矫正方法
JP2018004756A (ja) 2016-06-28 2018-01-11 株式会社リコー 情報表示システム
CN107272194A (zh) 2017-07-12 2017-10-20 湖南海翼电子商务股份有限公司 抬头显示装置及其方法
JP6626057B2 (ja) * 2017-09-27 2019-12-25 ファナック株式会社 検査装置及び検査システム
US11042994B2 (en) 2017-11-15 2021-06-22 Toyota Research Institute, Inc. Systems and methods for gaze tracking from arbitrary viewpoints
CN108040291A (zh) 2017-12-21 2018-05-15 深圳Tcl新技术有限公司 显示设备及其待机控制方法和计算机可读存储介质
CN109976506B (zh) 2017-12-28 2022-06-24 深圳市优必选科技有限公司 一种电子设备的唤醒方法、存储介质及机器人
DE102019201526A1 (de) 2019-02-06 2020-08-06 Ford Global Technologies, Llc Verfahren und System zum Erfassen und Messen der Position eines Bauteils gegenüber einer Referenzposition sowie der Verschiebung und der Verdrehung eines sich relativ zu einem Bezugssystem bewegenden Bauteils
CN110738142B (zh) 2019-09-26 2022-12-20 广州广电卓识智能科技有限公司 一种自适应改善人脸图像采集的方法、系统及存储介质
CN110780739B (zh) 2019-10-18 2023-11-03 天津理工大学 基于注视点估计的眼控辅助输入方法
CN114187223A (zh) 2020-08-25 2022-03-15 复旦大学 基于眼表特征的新冠肺炎疾病患者风险筛查深度学习系统
JP2022070684A (ja) * 2020-10-27 2022-05-13 キヤノン株式会社 撮像装置およびその制御方法、プログラム

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048171A (ja) * 2004-07-30 2006-02-16 Toyota Motor Corp 状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法
US20110249868A1 (en) * 2008-09-26 2011-10-13 Panasonic Corporation Line-of-sight direction determination device and line-of-sight direction determination method
CN102473033B (zh) * 2009-09-29 2015-05-27 阿尔卡特朗讯 一种注视点检测方法及其装置
US20160084949A1 (en) * 2013-10-10 2016-03-24 Beijing Zhigu Rui Tuo Tech Co., Ltd. Locating method and locating system
CN104766059A (zh) * 2015-04-01 2015-07-08 上海交通大学 快速精确的人眼定位方法及基于人眼定位的视线估计方法
CN105183169A (zh) * 2015-09-22 2015-12-23 小米科技有限责任公司 视线方向识别方法及装置
US10027888B1 (en) * 2015-09-28 2018-07-17 Amazon Technologies, Inc. Determining area of interest in a panoramic video or photo
US10102634B1 (en) * 2015-10-15 2018-10-16 Snap Inc. Image segmentation of a video stream
US10346985B1 (en) * 2015-10-15 2019-07-09 Snap Inc. Gaze-based control of device operations
KR101706992B1 (ko) * 2016-01-27 2017-02-15 숭실대학교산학협력단 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
KR101819164B1 (ko) * 2016-07-29 2018-01-17 상명대학교산학협력단 시선 추적 장치 및 방법
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法
WO2020020022A1 (zh) * 2018-07-25 2020-01-30 卢帆 视觉识别方法及其系统
CN109271914A (zh) * 2018-09-07 2019-01-25 百度在线网络技术（北京）有限公司 检测视线落点的方法、装置、存储介质和终端设备
CN109740491A (zh) * 2018-12-27 2019-05-10 北京旷视科技有限公司 一种人眼视线识别方法、装置、系统及存储介质
CN110458122A (zh) * 2019-08-15 2019-11-15 京东方科技集团股份有限公司 一种视线标校方法、显示装置的播放方法和视线标校系统
CN110537897A (zh) * 2019-09-10 2019-12-06 北京未动科技有限公司 视线追踪方法和装置、计算机可读存储介质、电子设备
JP6725121B1 (ja) * 2019-11-13 2020-07-15 株式会社スワローインキュベート 視線検出方法、視線検出装置、及び制御プログラム
CN111016785A (zh) * 2019-11-26 2020-04-17 惠州市德赛西威智能交通技术研究院有限公司 一种基于人眼位置的平视显示系统调节方法
CN111507592A (zh) * 2020-04-08 2020-08-07 山东大学 一种面向服刑人员的主动改造行为的评估方法
CN111857329A (zh) * 2020-05-26 2020-10-30 北京航空航天大学 注视点计算方法、装置及设备
CN111796874A (zh) * 2020-06-28 2020-10-20 北京百度网讯科技有限公司 一种设备唤醒的方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋金淼;王楠楠;王心瀚;段晓东;: "基于KINECT的人眼视线方向估测方法研究", 大连民族大学学报, no. 03, pages 263 - 267 *
张闯;迟健男;张朝晖;王志良;: "视线追踪系统中眼睛跟踪方法研究", 自动化学报, no. 08, pages 1051 - 1061 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569761A (zh) * 2021-07-30 2021-10-29 广西师范大学 一种基于深度学习的学生视点估计方法
CN113569761B (zh) * 2021-07-30 2023-10-27 广西师范大学 一种基于深度学习的学生视点估计方法
CN116052261A (zh) * 2022-05-31 2023-05-02 荣耀终端有限公司 视线估计方法及电子设备

Also Published As

Publication number Publication date
US11816924B2 (en) 2023-11-14
US20220164567A1 (en) 2022-05-26
EP4002199A1 (en) 2022-05-25

Similar Documents

Publication Publication Date Title
CN110647865B (zh) 人脸姿态的识别方法、装置、设备及存储介质
CN105488527B (zh) 图像分类方法及装置
EP2977959B1 (en) Method and device for adjusting skin color
CN108712603B (zh) 一种图像处理方法及移动终端
US10887548B2 (en) Scaling image of speaker's face based on distance of face and size of display
CN112541400A (zh) 基于视线估计的行为识别方法及装置、电子设备、存储介质
US20160255303A1 (en) Image display apparatus and image processing device
CN107958223B (zh) 人脸识别方法及装置、移动设备、计算机可读存储介质
US11030733B2 (en) Method, electronic device and storage medium for processing image
CN107463903B (zh) 人脸关键点定位方法及装置
CN107944367B (zh) 人脸关键点检测方法及装置
US20200312022A1 (en) Method and device for processing image, and storage medium
CN106503682B (zh) 视频数据中的关键点定位方法及装置
EP3761627B1 (en) Image processing method and apparatus
EP3328062A1 (en) Photo synthesizing method and device
CN112509005B (zh) 图像处理方法、装置、电子设备及存储介质
CN111144266B (zh) 人脸表情的识别方法及装置
CN112202962A (zh) 屏幕亮度调节方法、装置及存储介质
CN109639981B (zh) 一种图像拍摄方法及移动终端
CN112183200B (zh) 一种基于视频图像的眼动追踪方法和系统
CN109934168B (zh) 人脸图像映射方法及装置
CN111489284B (zh) 一种图像处理方法、装置和用于图像处理的装置
CN108846321B (zh) 识别人脸假体的方法及装置、电子设备
CN111726531B (zh) 图像拍摄方法、处理方法、装置、电子设备及存储介质
US11790692B2 (en) Method for behaviour recognition, electronic equipment, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination