CN112434595B - 行为识别方法及装置、电子设备、存储介质 - Google Patents

行为识别方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN112434595B
CN112434595B CN202011311575.7A CN202011311575A CN112434595B CN 112434595 B CN112434595 B CN 112434595B CN 202011311575 A CN202011311575 A CN 202011311575A CN 112434595 B CN112434595 B CN 112434595B
Authority
CN
China
Prior art keywords
face
image
visible range
determining
maximum visible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011311575.7A
Other languages
English (en)
Other versions
CN112434595A (zh
Inventor
胡显
邓巍
易军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Technology Wuhan Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Technology Wuhan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd, Xiaomi Technology Wuhan Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202011311575.7A priority Critical patent/CN112434595B/zh
Publication of CN112434595A publication Critical patent/CN112434595A/zh
Priority to EP21176736.3A priority patent/EP4002200A1/en
Priority to US17/334,993 priority patent/US11790692B2/en
Application granted granted Critical
Publication of CN112434595B publication Critical patent/CN112434595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种行为识别方法及装置、电子设备、存储介质。所述方法包括：采集图像，检测所采集图像中是否包含人脸面部；对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；对人脸面部不是闭眼面部的图像，计算人脸面部所属对象的面部与图像采集单元之间的实际距离；根据所述实际距离和所述图像采集单元的参数确定所述对象的最大可视范围；根据所述最大可视范围确定所述对象是否发生设定行为。本公开的用户行为检测精准，操控精度高，保证了基于用户行为的人机交互可靠性。

Description

行为识别方法及装置、电子设备、存储介质
技术领域
本公开涉及基于智能指令的交互控制技术，尤其涉及一种行为识别方法及装置、电子设备、存储介质。
背景技术
智能交互是人与智能电子设备之间基于用户行为检测而生成操控指令的交互方式。用户行为包括语音、表情、手势、人脸识别等多模态行为，通过检测用户行并进行感知、理解而生成操控指令,进而控制设备提供精准匹配的响应，全面提升交互体验。目前，在人脸识别方面，对于表情或行为的识别的精准度还达不到相应要求。
发明内容
本公开提供一种行为识别方法及装置、电子设备、存储介质。
根据本公开实施例的第一方面，提供一种行为识别方法，包括：
采集图像，检测所采集图像中是否包含人脸面部；
对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；
对人脸面部不是闭眼面部的图像，计算人脸面部所属对象的面部与图像采集单元之间的实际距离；
根据所述实际距离和所述图像采集单元的参数确定所述对象的最大可视范围；
根据所述最大可视范围确定所述对象是否发生设定行为。
可选的，所述计算人脸面部所属对象的面部与图像采集单元之间的实际距离，包括：
确定所述人脸面部的尺寸；
根据所述人脸面部的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。
可选的，所述根据所述实际距离和所述图像采集单元的参数确定所述对象的最大可视范围，包括：
根据所述图像采集单元的参数，计算所述图像采集单元的视场角；以及，获取人脸面部中的眼睛位置信息，确定左右眼瞳孔的连线中心点的坐标信息；
基于所述坐标信息、所述人脸面部的尺寸、所述视场角、所述待操控对象的尺寸和所述实际距离，分别计算所述对象在水平方向及垂直方向的最大可视范围。
可选的，所述对象在水平方向及垂直方向的最大可视范围之后，所述方法还包括：
对所述水平方向的最大可视范围增加第一角度范围；
对所述垂直方向的最大可视范围增加第二角度范围。
可选的，在所述根据所述最大可视范围确定所述对象是否发生设定行为之前，所述方法还包括：
获取所述人脸面部所属对象的人脸的偏航角和俯仰角；
根据所述最大可视范围确定所述对象是否发生设定行为包括：
根据所述偏航角、所述俯仰角、所述水平方向的最大可视范围和所述垂直方向的最大可视范围，确定所述对象是否发生设定行为；
其中，在所述偏航角位于所述水平方向的最大可视范围和所述俯仰角位于所述垂直方向的最大可视范围时，确定所述对象发生设定行为。
可选的，所述方法还包括：
在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。
可选的，所述方法还包括：
确定所述对象发生设定行为时，生成操控指令；所述操控指令用于将操控对象调整为第一状态。
可选的，所述第一状态包括以下至少之一：
唤醒状态、开机状态。
根据本公开实施例的第二方面，提供一种行为识别装置，包括：
采集单元，用于采集图像；
检测单元，用于检测所采集图像中是否包含人脸面部；
第一确定单元，用于对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；
计算单元，用于对人脸面部不是闭眼面部的图像，计算人脸面部所属对象的面部与图像采集单元之间的实际距离；
第二确定单元，用于根据所述实际距离和所述图像采集单元的参数确定所述对象的最大可视范围；
第三确定单元，用于根据所述最大可视范围确定所述对象是否发生设定行为。
可选的，所述计算单元，还用于：
确定所述人脸面部的尺寸；
根据所述人脸面部的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。
可选的，所述第二确定单元，还用于：
根据所述图像采集单元的参数，计算所述图像采集单元的视场角；以及，获取人脸面部中的眼睛位置信息，确定左右眼瞳孔的连线中心点的坐标信息；
基于所述坐标信息、所述人脸面部的尺寸、所述视场角、所述待操控对象的尺寸和所述实际距离，分别计算所述对象在水平方向及垂直方向的最大可视范围。
可选的，所述第二确定单元，还用于：
对所述水平方向的最大可视范围增加第一角度范围；
对所述垂直方向的最大可视范围增加第二角度范围。
可选的，所述第三确定单元，还用于：
获取所述人脸面部所属对象的人脸的偏航角和俯仰角；
根据所述偏航角、所述俯仰角、所述水平方向的最大可视范围和所述垂直方向的最大可视范围，确定所述对象是否发生设定行为；
其中，在所述偏航角位于所述水平方向的最大可视范围和所述俯仰角位于所述垂直方向的最大可视范围时，确定所述对象发生设定行为。
可选的，所述第三确定单元，还用于：
在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。
可选的，所述装置还包括：
生成单元，用于确定所述对象发生设定行为时，生成操控指令；所述操控指令用于将操控对象调整为第一状态；所述第一状态包括以下至少之一：
唤醒状态、开机状态。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器和用于存储处理器可执行指令的存储器，其中，所述处理器被配置为在调用存储器中的可执行指令时，能够执行上述的行为识别方法的步骤。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的行为识别方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
在本公开的实施例中，首先采集图像，检测所采集图像中是否包含人脸面部；对于包含的图像，确定图像中的人脸面部是否为闭眼面部；对人脸面部不是闭眼面部的图像，计算人脸面部所属对象的面部与图像采集单元之间的实际距离；根据所述实际距离和所述图像采集单元的参数确定所述对象的最大可视范围；根据所述最大可视范围确定所述对象是否发生设定行为，本公开实施例的用户行为检测精准，操控精度高，保证了基于用户行为的人机交互可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本公开实施例示出的一种行为识别方法流程示意图；
图2为本公开实施例示出的一种行为识别装置的组成结构示意图；
图3为本公开实施例示出的电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和装置的例子。
图1为本公开实施例示出的一种行为识别方法流程示意图，如图1所示，本公开实施例的行为识别方法包括以下步骤：
S11，采集图像，检测所采集图像中是否包含人脸面部。
本公开实施例的技术方案，适用于对电子设备如智能音箱、语音机器人等电子设备进行智能操控的场景。当然，待操控对象也可以是手机、笔记本、平板电脑、游戏机等电子设备，当这些电子设备中安装有本公开实施例的用户行为识别应用后，也可以基于对用户行为的识别而生成相应的操控指令，以对这些电子设备进行操控。
本公开实施例中，通过电子设备上安装的摄像头等进行图像采集，图像采集的目的是获取操控者的人脸图像，以便对人脸图像进行分析以确定用户的设定行为，基于用户的设定行为生成相应的操控指令，这样，操控者不必再通过对电子设备的手动操控，也能实现对电子设备的控制。
本公开实施例中，电子设备的摄像头实时拍摄图像，或检测到相应事件后拍摄图像，如采集到环境声音超出设定分贝后开启图像采集模式。可以根据需要和处理器性能设置图像拍摄的采集间隔，比如每隔0.5秒、0.25秒或1秒采集一帧图像等。
确定所拍摄的图像中是否包含人脸，即确定是否能从摄像头拍摄的图像中检测到人脸信息。具体地，可以基于图像中像素的属性信息如对比度、灰度等级等，在图像中查找符合人脸特征的一些像素区域，确定图像中是否包含有人脸图像。
本公开实施例中，可以通过CenterFace网络对所采集图像中的人脸面部进行检测，以确定是否包含人脸图像等。
本公开实施例的技术方案更适用于智能音箱、智能机器人等的电子设备，利用电子设备上安装的摄像头进行图像采集，并确定图像中是否包含有人脸面部。
S12、对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部。
本公开实施例中，当确定出用户输入图像中的人脸图像后，需要对人脸中的特征点进行识别，以便对人脸图像进行识别，确定操控者是否产生了设定行为。本公开实施例中，人脸中的特征点主要包括眼睛、鼻尖、嘴角点、眉毛、脸颊等正面特征点，还包括眼睛、鼻子、嘴唇、眉毛、脸颊等的轮廓点。当然，如果图像中包括人的耳朵等图像，也可以确定出人脸的耳朵及其轮廓点作为人脸的特征点。
如果有人脸，则根据人脸检测得到的人脸检测框裁剪出所有人脸图像。在人脸检测的基础上，根据裁剪所得到的人脸图像，利用已有的人脸特征点定位算法，如人脸特征点检测器(A Practical Facial Landmark Detectorlink，PFLD)网络对裁剪得到的人脸图像进行特征点定位，自动定位出面部关键特征点。
本公开实施例中，还可以对裁剪后得到的人脸图像进行姿态矫正。如可以利用所确定的人脸的特征点坐标，对将人脸图像进行矫正，进行人脸姿态矫正能够提升人脸图像中的人脸是否存在闭眼情况，能大大提升闭眼检测的准确率，从而提升人脸姿态估计的精度。
对于每个矫正后的人脸，分别根据每个眼睛的两个眼角即左眼角和右眼角的特征点坐标，以及眼睛上眼皮最高特征点和下眼皮最低特征点的坐标，连接经过这四个点的矩形，按照该矩形分别裁剪出左右眼睛图像。本公开实施例中，通过自然环境下实时眨眼估计(Real-Time Blink Estimation in Natural Environments，RT-BENE)的闭眼检测方法,对所裁剪的左右眼睛图像分别进行闭眼检测。闭眼检测的结果为眼睛是否闭合，如果闭眼检测结果为左眼和右眼同时闭合，则认为该人脸为闭眼人脸，并判定该人脸没有注视待操控对象，不进行后续步骤。对于其他的人脸图像即非闭眼人脸图像继续后续处理骤。
本公开实施例中，排除闭眼人脸图像的处理，能够减少人脸检测用户行为的误判，降低操控指令生成的准确性，同时避免了不必要的计算量。
S13、对人脸面部不是闭眼面部的图像，计算人脸面部所属对象的面部与图像采集单元之间的实际距离。
本公开实施例中，所述计算人脸面部所属对象的面部与图像采集单元之间的实际距离，包括：确定所述人脸面部的尺寸；根据所述人脸面部的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。
具体地，将左右眼睛瞳孔特征点坐标分别记为(lx,ly)，(rx,ry)，计算左右眼瞳孔的连线中心点的坐标，具体计算公式如下：
其中，(Ex，Ey)表示左右眼瞳孔的连线中心点坐标，单位为像素。
对于前述通过裁剪获取到的人脸图像，记每个人脸的宽高分别为w，h，单位为像素。待操控对象的屏幕的分辨率是已知的，记待操控对象屏幕的分辨率宽高分别为w0，h0,单位为像素。则可以根据工程经验公式，利用人脸的宽高和待操控对象的分辨率近似计算出人脸和待操控对象的实际直线距离。具体计算公式如下：
其中，dist表示人脸和待操控对象的实际直线距离，单位为cm。实际测试验证，该公式的计算精度误差小于10cm，满足计算精度要求。
将实际距离dist的量纲转化为像素单位得到Ed，计算公式如下：
其中，Ed表示人脸和待操控对象的实际直线距离，单位为像素。wa为待操控对象如智能音箱的实际宽度，单位为cm,w0为待操控对象显示屏幕的横向分辨率。
S14、根据所述实际距离和所述图像采集单元的参数确定所述对象的最大可视范围。
本公开实施例中，图像采集单元可以是待操控对象如智能音箱上设置的摄像头等，图像采集单元是待操控对象如智能音箱上的固定配件，用于采集图像，以自动生成相关的操控指令，如还可以进行人脸识别等智能操控。
本公开实施例中，所述根据所述实际距离和所述图像采集单元的参数确定所述对象的最大可视范围，包括：
根据所述图像采集单元的参数，计算所述图像采集单元的视场角；以及，获取人脸面部中的眼睛位置信息，确定左右眼瞳孔的连线中心点的坐标信息；这里，图像采集单元的参数包括摄像头焦距，摄像头传感器的物理尺寸的高和宽等参数。
基于所述坐标信息、所述人脸面部的尺寸、所述视场角、所述待操控对象的尺寸和所述实际距离，分别计算所述对象在水平方向及垂直方向的最大可视范围
所述对象在水平方向及垂直方向的最大可视范围之后，还可以对所述水平方向的最大可视范围增加第一角度范围；对所述垂直方向的最大可视范围增加第二角度范围。这里，第一角度范围和第二角度范围是根据经验值而确定的，即当根据人眼的水平及垂直方向的平视最大可视范围的基础上，考虑到人眼还具备斜视能力，即对平视状态下的可视范围适当外扩。
具体地，根据智能待操控对象设备上的摄像头参数计算摄像头的视场角，具体计算公式如下：
其中，θh表示摄像头水平方向的视场角，θv表示摄像头垂直方向的视场角，ws和hs分别表示摄像头的传感器的物理尺寸的宽和高，f表示摄像头的焦距。
利用前述计算出的摄像头视场角，计算人脸最大可视范围，即人脸在某个位置能够保持看到待操控对象的视线角度范围。由于人眼存在斜视的情况，较为复杂，本申请实施例首先计算人脸在平视状态下的最大可视范围。具体计算公式如下：
计算水平方向的可视范围：
其中，Yaw1，Yaw2分别表示操作者眼睛在水平方向能够看到的最大范围的左右边界值，Ex表示左右眼瞳孔的连线中心点坐标的横坐标，dist表示人脸和待操控对象的实际直线距离，θh表示摄像头水平方向的视场角，wa为待操控对象的实际宽度。
需要根据最大范围的左右边界值进一步判断当前人脸的水平方向最大可视范围，具体计算公式如下：
由此可得，人眼的水平方向上的最大可视范围为(Yawmin，Yawmax)。
计算垂直方向的可视范围：
其中，Pitch1，Pitch2分别表示操作者眼睛在垂直方向能够看到的最大范围的左右边界值，Ey表示左右眼瞳孔的连线中心点坐标的纵坐标，dist表示人脸和待操控对象的实际直线距离，θv表示摄像头垂直方向的视场角，ha为待操控对象的实际高度。
需要根据人眼最大可视范围的左右边界值进一步判断当前人脸的垂直方向最大可视范围，具体计算公式如下：
由此可得，人眼的垂直方向上的最大可视范围为(Pitchmin，Pitchmax)。
考虑斜视场景来确定图像中人脸面部所属对象的最大可视范围:
考虑到实际场景中人眼存在斜视现象，在上述计算得到的水平、垂直方向上最大可视范围的基础上外扩一定的角度范围，作为斜视情况下水平、垂直方向上最大可视范围。根据经验值，水平方向外扩30度，垂直方向上外扩20度，得到以下结果：
人眼斜视情况下水平方向最大可视范围为(Yawmin-30，Yawmax+30)，
人眼斜视情况下垂直方向最大可视范围为(Pitchmin-20，Pitchmax+20)。
这里，斜视场景下的人眼调整角度也可以水平方向上设为20度、25度等，而垂直方向上设为15度、10度等。
S15、根据所述最大可视范围确定所述对象是否发生设定行为。
获取所述人脸面部所属对象的人脸的偏航角和俯仰角；
具体地，对于每个人脸，其三维姿态估计结果可表示为下式：
Posei＝[yawi,pitchi,rolli]
其中，Posei表示第i个人脸的姿态估计结果，yawi,pitchi,rolli分别表示第i个人脸的偏航角、俯仰角、滚动角，i表示第i个图像中的人脸图像。
根据所述偏航角、所述俯仰角、所述水平方向的最大可视范围和所述垂直方向的最大可视范围，确定所述对象是否发生设定行为；
其中，在所述偏航角位于所述水平方向的最大可视范围和所述俯仰角位于所述垂直方向的最大可视范围时，确定所述对象发生设定行为。
当然，与可以是在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。
这里的设定行为包括人眼注视待操控对象的行为，即当确定用户注视待操控对象时，发生设定行为，生成相应的操控指令，所述操控指令用于将操控对象调整为第一状态，所述第一状态包括以下至少之一：唤醒状态、开机状态。
比如：确定操作者(用户)是否注视待操控对象，若操作者注视待操控对象则生成操控指令，将操控对象由调整为第一状态。第一状态也可以是与当前状态相对的状态，即当待操控对象当前处于休眠状态时，操控指令为唤醒指令，将待操控对象的状态调整为唤醒状态，当待操控对象当前处于关机状态时，操控指令为开机指令，将待操控对象的状态调整为开机状态。
具体地，可以根据前述的人脸斜视情况下水平、垂直方向上最大可视范围可以很容易的判断出该人脸是否在注视智能音箱。具体判断公式如下：
其中，yawi，pitchi分别表示第i个人脸的三维姿态估计结果的偏航角、俯仰角。
如果第i个图像中的人脸的三维姿态估计结果满足上式，则判定该人脸正在注视待操控对象，记为si＝1，否则，该人脸未注视待操控对象，即si＝0，其中si表示第i个个图像中的人脸是否注视待操控对象。所有人脸的注视待操控对象的判定结果构成集合S＝{s1,s2,..,sn}。
统计注视待操控对象的判定结果，若所有人脸中至少存在一个正在注视待操控对象的人脸，即集合S中至少存在一个大于0的元素，则说明至少存在正在注视待操控对象的用户。否则，认为没有用户在注视待操控对象。
为提升本公开实施例的判断准确性，也可以修改判决条件为当S中存在连续多个大于0的元素时，确定为操作者注视待操控对象，再生成相应的操控指令。这样，可以认为当操作者持续注视待操控对象时，判定操作者欲对待操控对象进行操控，而生成相应的操控指令。
本公开实施例中，操控指令可以是唤醒指令、开机指令等，即根据待操控对象当前所处的状态，而自动生成相应的操控指令，如当待操控对象处于关机状态时，若检测到操作者注视待操控对象的行为，则生成开机指令，将待操控对象开机；当待操控对象处于睡眠状态时，若检测到操作者注视待操控对象的行为，则生成唤醒指令，将待操控对象唤醒。
本公开实施例的技术方案，适用于对智能待操控对象如语音机器人、智能音箱等电子设备进行智能操控的场景。当然，待操控对象也可以是手机、笔记本、平板电脑、游戏机等电子设备，当这些电子设备中安装有本公开实施例的用户行为识别应用后，也可以基于对用户行为的识别而生成相应的操控指令，以对这些电子设备进行操控。
图2为本公开实施例示出的一种行为识别装置的组成结构示意图，如图2所示，本公开实施例的行为识别装置包括：
采集单元20，用于采集图像；
检测单元21，用于检测所采集图像中是否包含人脸面部；
第一确定单元22，用于对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；
计算单元23，用于对人脸面部不是闭眼面部的图像，计算人脸面部所属对象的面部与图像采集单元之间的实际距离；
第二确定单元24，用于根据所述实际距离和所述图像采集单元的参数确定所述对象的最大可视范围；
第三确定单元25，用于根据所述最大可视范围确定所述对象是否发生设定行为。
作为一种实现方式，所述计算单元23，还用于：
确定所述人脸面部的尺寸；
根据所述人脸面部的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。
作为一种实现方式，所述第二确定单元24，还用于：
根据所述图像采集单元的参数，计算所述图像采集单元的视场角；以及，获取人脸面部中的眼睛位置信息，确定左右眼瞳孔的连线中心点的坐标信息；
基于所述坐标信息、所述人脸面部的尺寸、所述视场角、所述待操控对象的尺寸和所述实际距离，分别计算所述对象在水平方向及垂直方向的最大可视范围。
作为一种实现方式，所述第二确定单元24，还用于：
对所述水平方向的最大可视范围增加第一角度范围；
对所述垂直方向的最大可视范围增加第二角度范围。
作为一种实现方式，所述第三确定单元25，还用于：
获取所述人脸面部所属对象的人脸的偏航角和俯仰角；
根据所述偏航角、所述俯仰角、所述水平方向的最大可视范围和所述垂直方向的最大可视范围，确定所述对象是否发生设定行为；
其中，在所述偏航角位于所述水平方向的最大可视范围和所述俯仰角位于所述垂直方向的最大可视范围时，确定所述对象发生设定行为。
作为一种实现方式，所述第三确定单元25，还用于：
在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。
作为一种实现方式，所述装置还包括：
生成单元(图2中未示出)，用于确定所述对象发生设定行为时，生成操控指令；所述操控指令用于将操控对象调整为第一状态；
所述第一状态包括以下至少之一：
唤醒状态、开机状态。
在示例性实施例中，采集单元20、检测单元21、第一确定单元22、计算单元23、第二确定单元24、第三确定单元25和生成单元等可以被一个或多个中央处理器(CPU，CentralProcessing Unit)、图形处理器(GPU，Graphics Processing Unit)、基带处理器(BP，base频带processor)、应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro ControllerUnit)、微处理器(Microprocessor)、或其他电子元件实现，也可以结合一个或多个射频(RF，radio frequency)天线实现，用于执行前述文本处理装置。
关于上述实施例中的行为识别装置，其中各个模块及单元执行操作的具体方式已经在有关该装置的实施例中进行了详细描述，此处将不做详细阐述说明。
图3为根据一示例性实施例示出的一种电子设备800的框图，如图3所示，电子设备800支持多屏输出，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例的图像处理的步骤。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述实施例的基于人脸姿态的行为识别方法的步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还记载了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行控制方法，所述方法包括：
采集图像，检测所采集图像中是否包含人脸面部；
对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；
对人脸面部不是闭眼面部的图像，计算人脸面部所属对象的面部与图像采集单元之间的实际距离；
根据所述实际距离和所述图像采集单元的参数确定所述对象的最大可视范围；
根据所述最大可视范围确定所述对象是否发生设定行为。
可选的，所述计算人脸面部所属对象的面部与图像采集单元之间的实际距离，包括：
确定所述人脸面部的尺寸；
根据所述人脸面部的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。
可选的，所述根据所述实际距离和所述图像采集单元的参数确定所述对象的最大可视范围，包括：
根据所述图像采集单元的参数，计算所述图像采集单元的视场角；以及，获取人脸面部中的眼睛位置信息，确定左右眼瞳孔的连线中心点的坐标信息；
基于所述坐标信息、所述人脸面部的尺寸、所述视场角、所述待操控对象的尺寸和所述实际距离，分别计算所述对象在水平方向及垂直方向的最大可视范围。
可选的，所述对象在水平方向及垂直方向的最大可视范围之后，所述方法还包括：
对所述水平方向的最大可视范围增加第一角度范围；
对所述垂直方向的最大可视范围增加第二角度范围。
可选的，在所述根据所述最大可视范围确定所述对象是否发生设定行为之前，所述方法还包括：
获取所述人脸面部所属对象的人脸的偏航角和俯仰角；
根据所述最大可视范围确定所述对象是否发生设定行为包括：
根据所述偏航角、所述俯仰角、所述水平方向的最大可视范围和所述垂直方向的最大可视范围，确定所述对象是否发生设定行为；
其中，在所述偏航角位于所述水平方向的最大可视范围和所述俯仰角位于所述垂直方向的最大可视范围时，确定所述对象发生设定行为。
可选的，所述方法还包括：
在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。
可选的，所述方法还包括：
确定所述对象发生设定行为时，生成操控指令；所述操控指令用于将操控对象调整为第一状态。
可选的，所述第一状态包括以下至少之一：
唤醒状态、开机状态。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

1.一种行为识别方法，其特征在于，所述方法包括：
采集图像，检测所采集图像中是否包含人脸面部；
对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；
对人脸面部不是闭眼面部的图像，确定人脸面部的尺寸，根据人脸面部的尺寸和图像采集单元的显示单元的分辨率，计算人脸面部所属对象的面部与所述图像采集单元之间的实际距离；
根据所述实际距离和所述图像采集单元的参数确定所述对象的最大可视范围；
根据所述最大可视范围确定所述对象是否发生设定行为；
所述根据所述实际距离和所述图像采集单元的参数确定所述对象的最大可视范围，包括：
根据所述图像采集单元的参数，计算所述图像采集单元的视场角；以及，获取人脸面部中的眼睛位置信息，确定左右眼瞳孔的连线中心点的坐标信息；基于所述坐标信息、所述人脸面部的尺寸、所述视场角、待操控对象的尺寸和所述实际距离，分别计算所述对象在水平方向及垂直方向的最大可视范围。
2.根据权利要求1所述的方法，其特征在于，所述对象在水平方向及垂直方向的最大可视范围之后，所述方法还包括：
对所述水平方向的最大可视范围增加第一角度范围；
对所述垂直方向的最大可视范围增加第二角度范围。
3.根据权利要求1或2所述的方法，其特征在于，在所述根据所述最大可视范围确定所述对象是否发生设定行为之前，所述方法还包括：
获取所述人脸面部所属对象的人脸的偏航角和俯仰角；
根据所述最大可视范围确定所述对象是否发生设定行为包括：
根据所述偏航角、所述俯仰角、所述水平方向的最大可视范围和所述垂直方向的最大可视范围，确定所述对象是否发生设定行为；
其中，在所述偏航角位于所述水平方向的最大可视范围和所述俯仰角位于所述垂直方向的最大可视范围时，确定所述对象发生设定行为。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。
5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
确定所述对象发生设定行为时，生成操控指令；所述操控指令用于将操控对象调整为第一状态。
6.根据权利要求5所述的方法，其特征在于，所述第一状态包括以下至少之一：
唤醒状态、开机状态。
7.一种行为识别装置，其特征在于，所述装置包括：
采集单元，用于采集图像；
检测单元，用于检测所采集图像中是否包含人脸面部；
第一确定单元，用于对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；计算单元，用于对人脸面部不是闭眼面部的图像，确定人脸面部的尺寸，根据人脸面部的尺寸和图像采集单元的显示单元的分辨率，计算人脸面部所属对象的面部与所述图像采集单元之间的实际距离；
第二确定单元，用于根据所述图像采集单元的参数，计算所述图像采集单元的视场角；以及，获取人脸面部中的眼睛位置信息，确定左右眼瞳孔的连线中心点的坐标信息；基于所述坐标信息、所述人脸面部的尺寸、所述视场角、待操控对象的尺寸和所述实际距离，分别计算所述对象在水平方向及垂直方向的最大可视范围；
第三确定单元，用于根据所述最大可视范围确定所述对象是否发生设定行为。
8.根据权利要求7所述的装置，其特征在于，所述第二确定单元，还用于：
对所述水平方向的最大可视范围增加第一角度范围；
对所述垂直方向的最大可视范围增加第二角度范围。
9.根据权利要求7或8所述的装置，其特征在于，所述第三确定单元，还用于：
获取所述人脸面部所属对象的人脸的偏航角和俯仰角；
根据所述偏航角、所述俯仰角、所述水平方向的最大可视范围和所述垂直方向的最大可视范围，确定所述对象是否发生设定行为；
其中，在所述偏航角位于所述水平方向的最大可视范围和所述俯仰角位于所述垂直方向的最大可视范围时，确定所述对象发生设定行为。
10.根据权利要求9所述的装置，其特征在于，所述第三确定单元，还用于：
在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。
11.根据权利要求7或8所述的装置，其特征在于，所述装置还包括：
生成单元，用于确定所述对象发生设定行为时，生成操控指令；所述操控指令用于将操控对象调整为第一状态；所述第一状态包括以下至少之一：
唤醒状态、开机状态。
12.一种电子设备，其特征在于，所述电子设备包括：处理器和用于存储处理器可执行指令的存储器，其中，所述处理器被配置为在调用存储器中的可执行指令时，能够执行如权利要求1至6中任一项所述的行为识别方法的步骤。
13.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的行为识别方法的步骤。
CN202011311575.7A 2020-11-20 2020-11-20 行为识别方法及装置、电子设备、存储介质 Active CN112434595B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011311575.7A CN112434595B (zh) 2020-11-20 2020-11-20 行为识别方法及装置、电子设备、存储介质
EP21176736.3A EP4002200A1 (en) 2020-11-20 2021-05-28 Method and device for behaviour recognition, electronic equipment, and storage medium
US17/334,993 US11790692B2 (en) 2020-11-20 2021-05-31 Method for behaviour recognition, electronic equipment, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011311575.7A CN112434595B (zh) 2020-11-20 2020-11-20 行为识别方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN112434595A CN112434595A (zh) 2021-03-02
CN112434595B true CN112434595B (zh) 2024-07-19

Family

ID=74693215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011311575.7A Active CN112434595B (zh) 2020-11-20 2020-11-20 行为识别方法及装置、电子设备、存储介质

Country Status (3)

Country Link
US (1) US11790692B2 (zh)
EP (1) EP4002200A1 (zh)
CN (1) CN112434595B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473033B (zh) * 2009-09-29 2015-05-27 阿尔卡特朗讯 一种注视点检测方法及其装置
US10027888B1 (en) * 2015-09-28 2018-07-17 Amazon Technologies, Inc. Determining area of interest in a panoramic video or photo
CN111016785A (zh) * 2019-11-26 2020-04-17 惠州市德赛西威智能交通技术研究院有限公司 一种基于人眼位置的平视显示系统调节方法
CN111796874A (zh) * 2020-06-28 2020-10-20 北京百度网讯科技有限公司 一种设备唤醒的方法、装置、计算机设备和存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9812096B2 (en) * 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
JP5926210B2 (ja) 2012-03-21 2016-05-25 国立大学法人浜松医科大学 自閉症診断支援システム及び自閉症診断支援装置
US9269215B2 (en) * 2012-12-20 2016-02-23 Cadillac Jack, Inc. Electronic gaming system with human gesturing inputs
JP2015087824A (ja) 2013-10-28 2015-05-07 オムロン株式会社 画面操作装置および画面操作方法
CN103677267A (zh) * 2013-12-09 2014-03-26 惠州Tcl移动通信有限公司 移动终端及其唤醒方法、装置
CN105095893A (zh) * 2014-05-16 2015-11-25 北京天诚盛业科技有限公司 图像采集装置和方法
US9830708B1 (en) 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
CN105893981B (zh) 2016-04-28 2018-06-01 湖南大学 一种人脸姿态矫正方法
JP2018004756A (ja) * 2016-06-28 2018-01-11 株式会社リコー 情報表示システム
CN107272194A (zh) * 2017-07-12 2017-10-20 湖南海翼电子商务股份有限公司 抬头显示装置及其方法
JP6626057B2 (ja) 2017-09-27 2019-12-25 ファナック株式会社 検査装置及び検査システム
US11042994B2 (en) * 2017-11-15 2021-06-22 Toyota Research Institute, Inc. Systems and methods for gaze tracking from arbitrary viewpoints
CN108040291A (zh) * 2017-12-21 2018-05-15 深圳Tcl新技术有限公司 显示设备及其待机控制方法和计算机可读存储介质
CN109976506B (zh) * 2017-12-28 2022-06-24 深圳市优必选科技有限公司 一种电子设备的唤醒方法、存储介质及机器人
DE102019201526A1 (de) * 2019-02-06 2020-08-06 Ford Global Technologies, Llc Verfahren und System zum Erfassen und Messen der Position eines Bauteils gegenüber einer Referenzposition sowie der Verschiebung und der Verdrehung eines sich relativ zu einem Bezugssystem bewegenden Bauteils
CN110738142B (zh) * 2019-09-26 2022-12-20 广州广电卓识智能科技有限公司 一种自适应改善人脸图像采集的方法、系统及存储介质
CN110780739B (zh) * 2019-10-18 2023-11-03 天津理工大学 基于注视点估计的眼控辅助输入方法
CN114187223A (zh) * 2020-08-25 2022-03-15 复旦大学 基于眼表特征的新冠肺炎疾病患者风险筛查深度学习系统
JP2022070684A (ja) 2020-10-27 2022-05-13 キヤノン株式会社 撮像装置およびその制御方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473033B (zh) * 2009-09-29 2015-05-27 阿尔卡特朗讯 一种注视点检测方法及其装置
US10027888B1 (en) * 2015-09-28 2018-07-17 Amazon Technologies, Inc. Determining area of interest in a panoramic video or photo
CN111016785A (zh) * 2019-11-26 2020-04-17 惠州市德赛西威智能交通技术研究院有限公司 一种基于人眼位置的平视显示系统调节方法
CN111796874A (zh) * 2020-06-28 2020-10-20 北京百度网讯科技有限公司 一种设备唤醒的方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112434595A (zh) 2021-03-02
EP4002200A1 (en) 2022-05-25
US11790692B2 (en) 2023-10-17
US20220164568A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
CN111541845B (zh) 图像处理方法、装置及电子设备
CN111182205B (zh) 拍摄方法、电子设备及介质
CN112541400B (zh) 基于视线估计的行为识别方法及装置、电子设备、存储介质
US20200312022A1 (en) Method and device for processing image, and storage medium
EP3761627B1 (en) Image processing method and apparatus
CN112202962B (zh) 屏幕亮度调节方法、装置及存储介质
CN111340691A (zh) 图像处理方法、装置、电子设备及存储介质
CN107797662B (zh) 视场角控制方法、装置及电子设备
CN112099639A (zh) 展示属性的调整方法、装置、展示设备和存储介质
CN107544686B (zh) 操作执行方法及装置
CN109934168B (zh) 人脸图像映射方法及装置
EP4432682A1 (en) Photographing method and apparatus
CN112434595B (zh) 行为识别方法及装置、电子设备、存储介质
CN116092147A (zh) 视频处理方法、装置、电子设备及存储介质
CN115529405A (zh) 前置摄像头的图像显示方法及装置
CN115100253A (zh) 图像对比方法、装置、电子设备及存储介质
CN110392294A (zh) 人体检测方法、装置、电子设备以及存储介质
CN110865720A (zh) 人体姿态提醒方法及装置
CN115118950B (zh) 图像处理方法及装置
CN115665398B (zh) 基于虚拟现实技术的图像调整方法、装置、设备及介质
CN113138663B (zh) 设备调节方法、设备调节装置、电子设备及存储介质
US11531426B1 (en) Edge anti-false-touch method and apparatus, electronic device and computer-readable storage medium
WO2023225967A1 (zh) 防窥提示方法、装置、电子设备及存储介质
CN114267075A (zh) 人脸识别方法、人脸交互方法、装置以及电子设备
CN117406851A (zh) 设备控制方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant