CN111796874A - 一种设备唤醒的方法、装置、计算机设备和存储介质 - Google Patents

一种设备唤醒的方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111796874A
CN111796874A CN202010600365.3A CN202010600365A CN111796874A CN 111796874 A CN111796874 A CN 111796874A CN 202010600365 A CN202010600365 A CN 202010600365A CN 111796874 A CN111796874 A CN 111796874A
Authority
CN
China
Prior art keywords
eye
face
classification result
image
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010600365.3A
Other languages
English (en)
Inventor
王珂尧
冯浩城
岳海潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010600365.3A priority Critical patent/CN111796874A/zh
Publication of CN111796874A publication Critical patent/CN111796874A/zh
Priority to US17/118,176 priority patent/US11580781B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4418—Suspend and resume; Hibernate and awake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3209—Monitoring remote activity, e.g. over telephone lines or network connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种设备唤醒的方法、装置、计算机设备和存储介质，涉及图像处理领域、深度学习领域，该方法包括：实时采集目标设备周围环境的环境图像，并在所述环境图像中识别用户的人脸区域；在人脸区域内获取多个人脸关键点，并根据所述人脸关键点获取左眼图像和右眼图像；根据左眼图像和右眼图像，获取左眼视线分类结果和右眼视线分类结果；如果根据所述左眼视线分类结果和右眼视线分类结果，确定所述用户注视所述目标设备，则对所述目标设备进行唤醒。使用本申请的技术方案，可以实现便捷、准确地进行设备唤醒操作。

Description

一种设备唤醒的方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理领域、深度学习领域，尤其涉及一种设备唤醒的方法、装置、计算机设备和存储介质。
背景技术
随着科技的进步，智能手机、平板电脑以及智能音箱等智能设备已走入千家万户。
各式智能设备在用户不使用时，为减少能耗，会进入休眠状态。现有技术中，唤醒智能设备时，需要由用户采用按键、点击屏幕或者指纹解锁等手动操作方式，或者采用人像识别、虹膜识别等方式。现有技术中，用户手动唤醒设备的方式，操作较为繁琐，而采用人像识别、虹膜识别等唤醒设备的方式，容易出现用户主观不想唤醒设备，但出现在智能设备采集的图像中，从而造成错误解锁的情况。
发明内容
本申请实施例提供了一种设备唤醒的方法、装置、设备以及存储介质。
第一方面，本申请实施例公开了一种设备唤醒的方法，该方法包括：
实时采集目标设备周围环境的环境图像，并在所述环境图像中识别用户的人脸区域；
在人脸区域内获取多个人脸关键点，并根据所述人脸关键点获取左眼图像和右眼图像；
根据左眼图像和右眼图像，获取左眼视线分类结果和右眼视线分类结果；
如果根据所述左眼视线分类结果和右眼视线分类结果，确定所述用户注视所述目标设备，则对所述目标设备进行唤醒。
第二方面，本申请实施例公开了一种设备唤醒的装置，该装置包括：
人脸区域识别模块，用于实时采集目标设备周围环境的环境图像，并在所述环境图像中识别用户的人脸区域；
眼部图像获取模块，用于在人脸区域内获取多个人脸关键点，并根据所述人脸关键点获取左眼图像和右眼图像；
视线分类结果获取模块，用于根据左眼图像和右眼图像，获取左眼视线分类结果和右眼视线分类结果；
设备唤醒模块，用于如果根据所述左眼视线分类结果和右眼视线分类结果，确定所述用户注视所述目标设备，则对所述目标设备进行唤醒。
第三方面，本申请实施例公开了一种电子设备，包括至少一个处理器以及与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请实施例中任一项所述的设备唤醒的方法。
第四方面，本申请实施例公开了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本申请实施例中任一项所述的设备唤醒的方法。
本申请实施例的技术方案实现了便捷、准确的进行设备唤醒操作的效果。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提供的一种设备唤醒的方法的流程图；
图2a是本申请实施例提供的一种设备唤醒的方法的流程图；
图2b是适用于本申请实施例中的一种视线分类模型的结构示意图；
图2c是本申请具体适用场景提供的一种设备唤醒的方法的流程图；
图3是本申请实施例提供的一种设备唤醒的装置的结构示意图；
图4是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是本申请实施例提供的一种设备唤醒的方法的流程图，本申请实施例的技术方案可以适用于当用户注视设备时，唤醒设备的情况。该方法可以由设备唤醒的装置来实现，该装置可以由软件和/或硬件实现，并一般集成在电子设备中，并与摄像装置配合使用。
如图1所示，本申请实施例的技术方案，具体包括如下步骤：
S110、实时采集目标设备周围环境的环境图像，并在所述环境图像中识别用户的人脸区域。
其中，目标设备是需要进行唤醒操作的设备，目标设备在检测到用户长时间未使用时，为减少能耗，会进入休眠状态，用户再次使用时需要先将目标设备唤醒。示例性的，目标设备可以是智能音箱、智能手机、移动平板等设备。
环境图像是目标设备周围环境的图像，当用户需要再次使用目标设备时，环境图像中包含用户的人像。
人脸区域是在环境图像中识别得到的仅包括用户人像部分的区域，在环境图像中识别人脸区域的目的在于，可以仅针对人脸区域进行用户的视线识别，可以提高用户视线识别的准确性。在环境图像中识别人脸区域，可以通过预设的图像识别算法实现，或者通过将环境图像输入至人脸区域检测模型实现，本实施例对在环境图像中识别人脸区域的具体方式不进行限制。
在本申请实施例中，实时采集目标设备周围的环境图像，当检测到环境图像中包含人像时，在环境图像中识别人脸区域。
在本申请一个可选的实施例中，所述目标设备可以为智能音箱；实时采集目标设备周围环境的环境图像，可以包括：通过所述智能音箱上设置的至少一个摄像头，实时采集目标设备周围环境的环境图像。
在本申请实施例中，当目标设备为智能音箱时，可以根据智能音箱上设置的前置摄像头或后置摄像头，实时获取智能音箱周围的环境图像。智能音箱可以是带屏幕或不带屏幕，当智能音箱带屏幕时，唤醒智能音箱可以是唤醒智能音箱屏幕，当智能音箱不带屏幕时，唤醒智能音箱可以是将智能音箱由待机状态变更为使用状态。
在本申请一个可选的实施例中，在所述环境图像中识别用户的人脸区域，可以包括：将所述环境图像输入至人脸框检测模型中，获取人脸框检测模型输出的多个人脸框坐标；根据各人脸框坐标，在所述环境图像中确定人脸区域。
在本申请实施例中，通过人脸框检测模型对环境图像进行人脸区域识别，人脸框检测模型输出与环境图像对应的多个人脸框的坐标，根据人脸框的坐标可以划定出人脸区域的范围。
可选的，人脸框检测模型可以是根据深度学习方法训练得到的卷积神经网络，输出结果为与人脸框对应的4个坐标，但本实施例对人脸框检测模型的具体形式、训练过程以及输出结果不进行限制。
S120、在人脸区域内获取多个人脸关键点，并根据所述人脸关键点获取左眼图像和右眼图像。
其中，关键点是在人脸区域内识别出来的，与人脸特征相关的点，示例性的，关键点可以是眼角点、上眼睑点、下眼睑点、鼻尖点、眉头点、眉尾点、上唇点以及下唇点等，本实施例对关键点的具体形式以及获取关键点的具体方式不进行限制。
左眼图像是在人脸区域内识别到的仅包含用户左眼区域的图像，右眼图像是在人脸区域内识别到的仅包含用户右眼区域的图像。获取左眼图像和右眼图像的目的在于，可以使检测到的用户的视线分类结果更准确，从而提高设备唤醒的准确率。
在本申请实施例中，在人脸区域内识别得到多个人脸关键点之后，根据与左眼相关的关键点获取左眼图像，根据与右眼相关的关键点获取右眼图像。
在本申请一个可选的实施例中，在人脸区域内获取多个人脸关键点，可以包括：将标注有所述人脸区域的所述环境图像输入至人脸关键点检测模型中，获取人脸关键点检测模型输出的多个人脸关键点。
其中，人脸关键点检测模型用于在输入的环境图像的人脸区域内，识别与人脸特征相关的关键点。
在本申请实施例中，通过将标注人脸区域后的环境图像输入至人脸关键点检测模型中获取人脸关键点。人脸关键点检测模型的输出是与环境图像中人脸区域对应的多个人脸关键点的坐标。
可选的，获取左眼图像和右眼图像之后，还可以对左眼图像和右眼图像进行图像归一化处理，对左眼图像和右眼图像中的各个像素依次进行归一化，使各像素的像素值在[-0.5，0.5]的范围之中。对左眼图像和右眼图像进行图像归一化处理的目的在于，可以使根据左眼图像和右眼图像得到的左眼视线分类结果和右眼视线分类结果更准确。
S130、根据左眼图像和右眼图像，获取左眼视线分类结果和右眼视线分类结果。
其中，左眼视线分类结果是根据左眼图像获取的用户左眼视线的分类结果，右眼视线分类结果是根据右眼图像获取的用户右眼视线的分类结果。在本申请实施例中，将眼睛的视线进行分类，而非直接识别视线角度，可以提高视线识别精度，防止出现直接识别视线角度误差较大的情况。
在本申请实施例中，左眼视线分类结果和右眼视线分类结果可以包括：向上看、向下看、向左看、向右看、向前看以及闭眼。
在本申请实施例中，可以粗粒度的判断眼睛的视线的大致方向，确定最接近的视线分类结果。
S140、如果根据所述左眼视线分类结果和右眼视线分类结果，确定所述用户注视所述目标设备，则对所述目标设备进行唤醒。
在本申请实施例中，确定左眼视线分类结果和右眼视线分类结果之后，可以判断用户是否在注视目标设备，如果用户在注视目标设备，说明用户有使用目标设备的意图，从而对目标设备进行唤醒，如果用户未注视目标设备，即使用户人像出现在环境图像中，说明用户也不存在使用目标设备的意图。通过判断用户是否注视目标设备来确定是否唤醒目标设备，可以在用户想要继续使用目标设备时，快速、便捷的唤醒目标设备，同时可以避免出现用户不想继续使用目标设备却错误解锁的情况。
本申请实施例的技术方案，通过实时采集设备周围的环境图像，并在环境图像中识别出人脸时，获取左眼图像和右眼图像，识别左眼视线分类结果和右眼视线分类结果，当识别出用户注视设备时，对设备进行唤醒。解决了现有技术中采用手动唤醒设备的方式，操作较为繁琐的问题，以及采用人像识别、虹膜识别等唤醒设备的方式，容易出现错误解锁情况的问题，实现了便捷、准确的进行设备唤醒操作的效果。
图2a是本申请实施例中的一种设备唤醒的方法的流程图，本实施例在上述实施例的基础上，对识别人脸区域的过程、获取左眼图像和右眼图像的过程、获取左眼视线分类结果和右眼视线分类结果的过程以及确定用户注视设备的过程进行了进一步的具体化。
相应的，如图2a所示，本申请实施例的技术方案，具体包括以下步骤：
S210、实时采集目标设备周围环境的环境图像。
在本申请实施例中，可以通过设置在目标设备上的摄像头，实时获取目标设备周围环境的环境图像。
S220、将所述环境图像输入至人脸框检测模型中，获取人脸框检测模型输出的多个人脸框坐标。
在本申请实施例中，当环境图像中包含人像时，人脸框检测模型会输出人脸框的坐标。
S230、根据各人脸框坐标，在所述环境图像中确定人脸区域。
S240、将标注有所述人脸区域的所述环境图像输入至人脸关键点检测模型中，获取人脸关键点检测模型输出的多个人脸关键点。
在本申请实施例中，人脸关键点检测模型会识别环境图像中人脸区域内的人脸关键点。
S250、根据所述多个人脸关键点，对所述用户进行身份验证。
进一步的，本申请实施例可以根据人脸关键点对用户进行身份验证，以确定环境图像中检测到的人脸区域是否与在目标设备上预先进行注册的合法唤醒用户相匹配。
进行身份验证的好处在于，可以防止未经注册过的用户唤醒目标设备，从而提高目标设备使用的安全性。
S260、判断所述用户是否为预先注册的合法唤醒用户，如果是，则执行S270，否则执行S210。
其中，合法唤醒用户是在目标设备上进行预先注册，并预先在目标设备上保存有人脸关键点相关信息的用户。只有合法唤醒用户注视目标设备时，目标设备才会进行唤醒操作。
S270、在各人脸关键点中获取每只眼睛的两个眼角坐标，并根据眼角坐标，计算每只眼睛的眼角距离。
在本申请实施例中，在人脸关键点中筛选出左眼的两个眼角坐标和右眼的两个眼角坐标。根据每只眼睛的两个眼角坐标，可以计算得到左眼和右眼各自的眼角距离，以及各自的中心点坐标、
S280、根据每只眼睛的眼角距离以及每只眼睛的中心点坐标，计算与每只眼睛分别对应的仿射变换矩阵。
其中，仿射变换是对原始图像进行线性变换后再进行平移变换的过程，在本申请实施例中，根据左眼对应的仿射变换矩阵和右眼对应的仿射变换矩阵，对环境图像进行仿射变换后，获得左眼图像和右眼图像。仿射变换矩阵用于表示环境图像和左眼图像或右眼图像之间的变换关系。
S290、根据所述环境图像，以及与每只眼睛分别对应的仿射变换矩阵，获取左眼图像和右眼图像。
在本申请实施例中，根据左眼对应的仿射变换矩阵对环境图像进行仿射变换，获得左眼图像。根据右眼对应的仿射变换矩阵对环境图像进行仿射变换，获得右眼图像。
S2100、将所述左眼图像和所述右眼图像分别输入至视线分类模型中，获取视线分类模型输出的左眼视线分类结果和右眼视线分类结果。
其中，左眼视线分类结果和右眼视线分类结果包括：向上看、向下看、向左看、向右看、向前看以及闭眼。
图2b提供了一种视线分类模型的结构示意图，如图2b所示，视线分类模型为一个包含5层卷积层和3层池化层组成的卷积神经网络，图2b中的数字为左眼图像或右眼图像经过网络时的图像尺寸。
S2110、判断所述左眼视线分类结果和右眼视线分类结果是否均为向前看，如果是，则执行S2120，否则执行S2140。
当左眼视线分类结果和右眼视线分类结果都是向前看时，确定用户在注视目标设备，否则用户都未注视目标设备。只有在确定用户在注视目标设备时，才对目标设备进行唤醒操作，这样设置可以防止出现用户不想使用目标设备却出现在目标设备附近时造成的错误解锁的情况。
S2120、确定所述用户注视所述目标设备。
S2130、对所述目标设备进行唤醒。
S2140、结束。
本申请实施例的技术方案，通过实时采集设备周围的环境图像，并在环境图像中识别出人脸时，获取左眼图像和右眼图像，识别左眼视线分类结果和右眼视线分类结果，当左眼视线分类结果和右眼视线分类结果均为向前看时，对设备进行唤醒。解决了现有技术中采用手动唤醒设备的方式，操作较为繁琐的问题，以及采用人像识别、虹膜识别等唤醒设备的方式，容易出现错误解锁情况的问题，实现了当检测到用户注视设备时对设备进行唤醒，提高了唤醒设备的便捷性和准确性的效果。
具体适用场景
图2c是本申请具体适用场景中的一种设备唤醒的方法的流程图，如图2c所示，该方法的步骤包括：
S1、通过人脸框检测模型对环境图像进行人脸区域检测。
其中，人脸框检测模型通过深度学习方法，对环境图像进行人脸框检测，通过六层卷积网络进行人脸基础特征提取，每层卷积网络实现一次图像下采样，基于最后的三层卷积网络分别预设固定数目的不同尺寸的人脸框点进行人脸框回归，最终获得多个人脸框的坐标，根据各人脸框确定人脸区域。
S2、将标注有人脸区域的环境图像输入至人脸关键点检测模型，得到多个人脸关键点坐标。
S3、根据人脸关键点坐标，分别获取左眼和右眼的两个眼角坐标，获取眼角距离和中心点坐标，根据每只眼睛的眼角距离和中心点坐标，分别计算每只眼睛对应的仿射变换矩阵，根据环境图像和每只眼睛对应的仿射变换矩阵，获得左眼图像和右眼图像。
S4、对左眼图像和右眼图像进行图像归一化处理。
S5、将左眼图像和右眼图像输入至视线分类模型，获得左眼视线分类结果和右眼视线分类结果。
其中，视线分类模型通过5层卷积层和3层池化层组成的卷积神经网络对图像归一化处理后的左眼图像和右眼图像进行特征提取，并通过全连接层输出视线分类结果。
视线分类结果可以是向上看、向下看、向左看、向右看、向前看或者闭眼。
S6、根据左眼视线分类结果和右眼视线分类结果判断注意力是否为集中，如果是，则执行S7，否则执行S1。
其中，当左眼视线分类结果和右眼视线分类结果都是向前看时，注意力为集中，否则为不集中。
S7、对设备进行唤醒操作。
本申请实施例的技术方案，通过实时采集设备周围的环境图像，并在环境图像中识别出人脸时，获取左眼图像和右眼图像，识别左眼视线分类结果和右眼视线分类结果，当识别出用户注视设备时，对设备进行唤醒。解决了现有技术中采用手动唤醒设备的方式，操作较为繁琐的问题，以及采用人像识别、虹膜识别等唤醒设备的方式，容易出现错误解锁情况的问题，实现了便捷、准确的进行设备唤醒操作的效果。
图3是本申请实施例中的一种设备唤醒的装置的结构示意图，该装置可以由软件和/或硬件实现，并一般集成在电子设备中，并与摄像装置配合使用。该装置包括：人脸区域识别模块310、眼部图像获取模块320、视线分类结果获取模块330以及设备唤醒模块340。其中：
人脸区域识别模块310，用于实时采集目标设备周围环境的环境图像，并在所述环境图像中识别用户的人脸区域；
眼部图像获取模块320，用于在人脸区域内获取多个人脸关键点，并根据所述人脸关键点获取左眼图像和右眼图像；
视线分类结果获取模块330，用于根据左眼图像和右眼图像，获取左眼视线分类结果和右眼视线分类结果；
设备唤醒模块340，用于如果根据所述左眼视线分类结果和右眼视线分类结果，确定所述用户注视所述目标设备，则对所述目标设备进行唤醒。
本申请实施例的技术方案，通过实时采集设备周围的环境图像，并在环境图像中识别出人脸时，获取左眼图像和右眼图像，识别左眼视线分类结果和右眼视线分类结果，当识别出用户注视设备时，对设备进行唤醒。解决了现有技术中采用手动唤醒设备的方式，操作较为繁琐的问题，以及采用人像识别、虹膜识别等唤醒设备的方式，容易出现错误解锁情况的问题，实现了便捷、准确的进行设备唤醒操作的效果。
在上述实施例的基础上，所述人脸区域识别模块310，包括：
人脸框坐标获取单元，用于将所述环境图像输入至人脸框检测模型中，获取人脸框检测模型输出的多个人脸框坐标；
人脸区域获取单元，用于根据各人脸框坐标，在所述环境图像中确定人脸区域；
所述眼部图像获取模块320，包括：
人脸关键点获取单元，用于将标注有所述人脸区域的所述环境图像输入至人脸关键点检测模型中，获取人脸关键点检测模型输出的多个人脸关键点。
在上述实施例的基础上，所述眼部图像获取模块320，包括：
眼角距离计算单元，用于在各人脸关键点中获取每只眼睛的两个眼角坐标，并根据眼角坐标，计算每只眼睛的眼角距离；
仿射变换矩阵计算单元，用于根据每只眼睛的眼角距离以及每只眼睛的中心点坐标，计算与每只眼睛分别对应的仿射变换矩阵；
眼部图像获取单元，用于根据所述环境图像，以及与每只眼睛分别对应的仿射变换矩阵，获取左眼图像和右眼图像。
在上述实施例的基础上，所述视线分类结果获取模块330，包括：
视线分类结果获取单元，用于将所述左眼图像和所述右眼图像分别输入至视线分类模型中，获取视线分类模型输出的左眼视线分类结果和右眼视线分类结果；
其中，左眼视线分类结果和右眼视线分类结果包括：向上看、向下看、向左看、向右看、向前看以及闭眼。
在上述实施例的基础上，所述设备唤醒模块340，包括：
视线判断单元，用于如果所述左眼视线分类结果和右眼视线分类结果均为向前看，则确定所述用户注视所述目标设备。
在上述实施例的基础上，所述眼部图像获取模块320，包括：
用户身份验证单元，用于根据所述多个人脸关键点，对所述用户进行身份验证；
合法用户判断单元，用于如果确定所述用户为预先注册的合法唤醒用户，则根据所述人脸关键点获取左眼图像和右眼图像。
在上述实施例的基础上，所述目标设备为智能音箱；
所述人脸区域识别模块310，包括：
环境图像获取单元，用于通过所述智能音箱上设置的至少一个摄像头，实时采集目标设备周围环境的环境图像。
本申请实施例所提供的设备唤醒的装置可执行本申请任意实施例所提供的设备唤醒的方法，具备执行方法相应的功能模块和有益效果。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图4所示，是根据本申请实施例的设备唤醒的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器401为例。
存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的设备唤醒的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的设备唤醒的方法。
存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的设备唤醒的方法对应的程序指令/模块(例如，附图3所示的人脸区域识别模块310、眼部图像获取模块320、视线分类结果获取模块330以及设备唤醒模块340)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的设备唤醒的方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据设备唤醒的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至设备唤醒的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
设备唤醒的方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。
输入装置403可接收输入的数字或字符信息，以及产生与设备唤醒的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种设备唤醒的方法，包括：
实时采集目标设备周围环境的环境图像，并在所述环境图像中识别用户的人脸区域；
在人脸区域内获取多个人脸关键点，并根据所述人脸关键点获取左眼图像和右眼图像；
根据左眼图像和右眼图像，获取左眼视线分类结果和右眼视线分类结果；
如果根据所述左眼视线分类结果和右眼视线分类结果，确定所述用户注视所述目标设备，则对所述目标设备进行唤醒。
2.根据权利要求1所述的方法，其中，在所述环境图像中识别用户的人脸区域，包括：
将所述环境图像输入至人脸框检测模型中，获取人脸框检测模型输出的多个人脸框坐标；
根据各人脸框坐标，在所述环境图像中确定人脸区域；
在人脸区域内获取多个人脸关键点，包括：
将标注有所述人脸区域的所述环境图像输入至人脸关键点检测模型中，获取人脸关键点检测模型输出的多个人脸关键点。
3.根据权利要求2所述的方法，其中，根据所述人脸关键点获取左眼图像和右眼图像，包括：
在各人脸关键点中获取每只眼睛的两个眼角坐标，并根据眼角坐标，计算每只眼睛的眼角距离；
根据每只眼睛的眼角距离以及每只眼睛的中心点坐标，计算与每只眼睛分别对应的仿射变换矩阵；
根据所述环境图像，以及与每只眼睛分别对应的仿射变换矩阵，获取左眼图像和右眼图像。
4.根据权利要求1所述的方法，其中，所述根据左眼图像和右眼图像，获取左眼视线分类结果和右眼视线分类结果，包括：
将所述左眼图像和所述右眼图像分别输入至视线分类模型中，获取视线分类模型输出的左眼视线分类结果和右眼视线分类结果；
其中，左眼视线分类结果和右眼视线分类结果包括：向上看、向下看、向左看、向右看、向前看以及闭眼。
5.根据权利要求4所述的方法，其中，根据所述左眼视线分类结果和右眼视线分类结果，确定所述用户注视所述目标设备，包括：
如果所述左眼视线分类结果和右眼视线分类结果均为向前看，则确定所述用户注视所述目标设备。
6.根据权利要求1所述的方法，其中，所述在人脸区域内获取多个人脸关键点，并根据所述人脸关键点获取左眼图像和右眼图像，包括：
根据所述多个人脸关键点，对所述用户进行身份验证；
如果确定所述用户为预先注册的合法唤醒用户，则根据所述人脸关键点获取左眼图像和右眼图像。
7.根据权利要求1-6任一项所述的方法，其中，所述目标设备为智能音箱；
实时采集目标设备周围环境的环境图像，包括：
通过所述智能音箱上设置的至少一个摄像头，实时采集目标设备周围环境的环境图像。
8.一种设备唤醒的装置，包括：
人脸区域识别模块，用于实时采集目标设备周围环境的环境图像，并在所述环境图像中识别用户的人脸区域；
眼部图像获取模块，用于在人脸区域内获取多个人脸关键点，并根据所述人脸关键点获取左眼图像和右眼图像；
视线分类结果获取模块，用于根据左眼图像和右眼图像，获取左眼视线分类结果和右眼视线分类结果；
设备唤醒模块，用于如果根据所述左眼视线分类结果和右眼视线分类结果，确定所述用户注视所述目标设备，则对所述目标设备进行唤醒。
9.根据权利要求8所述的装置，其中，所述人脸区域识别模块，包括：
人脸框坐标获取单元，用于将所述环境图像输入至人脸框检测模型中，获取人脸框检测模型输出的多个人脸框坐标；
人脸区域获取单元，用于根据各人脸框坐标，在所述环境图像中确定人脸区域；
所述眼部图像获取模块，包括：
人脸关键点获取单元，用于将标注有所述人脸区域的所述环境图像输入至人脸关键点检测模型中，获取人脸关键点检测模型输出的多个人脸关键点。
10.根据权利要求9所述的装置，其中，所述眼部图像获取模块，包括：
眼角距离计算单元，用于在各人脸关键点中获取每只眼睛的两个眼角坐标，并根据眼角坐标，计算每只眼睛的眼角距离；
仿射变换矩阵计算单元，用于根据每只眼睛的眼角距离以及每只眼睛的中心点坐标，计算与每只眼睛分别对应的仿射变换矩阵；
眼部图像获取单元，用于根据所述环境图像，以及与每只眼睛分别对应的仿射变换矩阵，获取左眼图像和右眼图像。
11.根据权利要求8所述的装置，其中，所述视线分类结果获取模块，包括：
视线分类结果获取单元，用于将所述左眼图像和所述右眼图像分别输入至视线分类模型中，获取视线分类模型输出的左眼视线分类结果和右眼视线分类结果；
其中，左眼视线分类结果和右眼视线分类结果包括：向上看、向下看、向左看、向右看、向前看以及闭眼。
12.根据权利要求11所述的装置，其中，所述设备唤醒模块，包括：
视线判断单元，用于如果所述左眼视线分类结果和右眼视线分类结果均为向前看，则确定所述用户注视所述目标设备。
13.根据权利要求8所述的装置，其中，所述眼部图像获取模块，包括：
用户身份验证单元，用于根据所述多个人脸关键点，对所述用户进行身份验证；
合法用户判断单元，用于如果确定所述用户为预先注册的合法唤醒用户，则根据所述人脸关键点获取左眼图像和右眼图像。
14.根据权利要求8-13任一项所述的装置，其中，所述目标设备为智能音箱；
所述人脸区域识别模块，包括：
环境图像获取单元，用于通过所述智能音箱上设置的至少一个摄像头，实时采集目标设备周围环境的环境图像。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的设备唤醒的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的设备唤醒的方法。
CN202010600365.3A 2020-06-28 2020-06-28 一种设备唤醒的方法、装置、计算机设备和存储介质 Pending CN111796874A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010600365.3A CN111796874A (zh) 2020-06-28 2020-06-28 一种设备唤醒的方法、装置、计算机设备和存储介质
US17/118,176 US11580781B2 (en) 2020-06-28 2020-12-10 Method and apparatus for waking up device, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010600365.3A CN111796874A (zh) 2020-06-28 2020-06-28 一种设备唤醒的方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111796874A true CN111796874A (zh) 2020-10-20

Family

ID=72804371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010600365.3A Pending CN111796874A (zh) 2020-06-28 2020-06-28 一种设备唤醒的方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
US (1) US11580781B2 (zh)
CN (1) CN111796874A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434595A (zh) * 2020-11-20 2021-03-02 小米科技(武汉)有限公司 行为识别方法及装置、电子设备、存储介质
CN112541400A (zh) * 2020-11-20 2021-03-23 小米科技(武汉)有限公司 基于视线估计的行为识别方法及装置、电子设备、存储介质
WO2024109285A1 (zh) * 2022-11-21 2024-05-30 Oppo广东移动通信有限公司 人眼注视检测方法及装置、电子设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944415A (zh) * 2017-12-06 2018-04-20 董伟 一种基于深度学习算法的人眼注意力检测方法
CN109727344A (zh) * 2018-11-23 2019-05-07 深圳奥比中光科技有限公司 3d人脸识别智能门锁及3d人脸解锁方法
CN109976506A (zh) * 2017-12-28 2019-07-05 深圳市优必选科技有限公司 一种电子设备的唤醒方法、存储介质及机器人
WO2020020022A1 (zh) * 2018-07-25 2020-01-30 卢帆 视觉识别方法及其系统
WO2020042345A1 (zh) * 2018-08-28 2020-03-05 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统
CN110909611A (zh) * 2019-10-29 2020-03-24 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111046744A (zh) * 2019-11-21 2020-04-21 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6672940B2 (ja) * 2016-03-25 2020-03-25 富士ゼロックス株式会社 情報処理装置
CN106484113B (zh) * 2016-10-11 2020-03-13 京东方科技集团股份有限公司 屏幕唤醒装置和方法
CN106878559A (zh) * 2017-02-17 2017-06-20 宇龙计算机通信科技(深圳)有限公司 一种屏幕状态调整方法和装置
CN108509037B (zh) * 2018-03-26 2021-04-02 维沃移动通信有限公司 一种信息显示方法及移动终端
WO2020181523A1 (zh) * 2019-03-13 2020-09-17 华为技术有限公司 唤醒屏幕的方法和装置
CN113626778B (zh) * 2020-05-08 2024-04-02 百度在线网络技术（北京）有限公司 用于唤醒设备的方法、装置、电子设备和计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944415A (zh) * 2017-12-06 2018-04-20 董伟 一种基于深度学习算法的人眼注意力检测方法
CN109976506A (zh) * 2017-12-28 2019-07-05 深圳市优必选科技有限公司 一种电子设备的唤醒方法、存储介质及机器人
WO2020020022A1 (zh) * 2018-07-25 2020-01-30 卢帆 视觉识别方法及其系统
WO2020042345A1 (zh) * 2018-08-28 2020-03-05 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统
CN109727344A (zh) * 2018-11-23 2019-05-07 深圳奥比中光科技有限公司 3d人脸识别智能门锁及3d人脸解锁方法
CN110909611A (zh) * 2019-10-29 2020-03-24 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111046744A (zh) * 2019-11-21 2020-04-21 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAQVI R A 等: "Deep Learning-Based Gaze Detection System for Automobile Drivers Using a NIR Camera Sensor", SENSORS *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434595A (zh) * 2020-11-20 2021-03-02 小米科技(武汉)有限公司 行为识别方法及装置、电子设备、存储介质
CN112541400A (zh) * 2020-11-20 2021-03-23 小米科技(武汉)有限公司 基于视线估计的行为识别方法及装置、电子设备、存储介质
US11790692B2 (en) 2020-11-20 2023-10-17 Xiaomi Technology (Wuhan) Co., Ltd. Method for behaviour recognition, electronic equipment, and storage medium
US11816924B2 (en) 2020-11-20 2023-11-14 Xiaomi Technology (Wuhan) Co., Ltd. Method for behaviour recognition based on line-of-sight estimation, electronic equipment, and storage medium
CN112434595B (zh) * 2020-11-20 2024-07-19 小米科技(武汉)有限公司 行为识别方法及装置、电子设备、存储介质
WO2024109285A1 (zh) * 2022-11-21 2024-05-30 Oppo广东移动通信有限公司 人眼注视检测方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
US20210406522A1 (en) 2021-12-30
US11580781B2 (en) 2023-02-14

Similar Documents

Publication Publication Date Title
US10169639B2 (en) Method for fingerprint template update and terminal device
US10936709B2 (en) Electronic device and method for controlling the same
US10860850B2 (en) Method of recognition based on iris recognition and electronic device supporting the same
CN111796874A (zh) 一种设备唤醒的方法、装置、计算机设备和存储介质
AU2017293746B2 (en) Electronic device and operating method thereof
WO2022027912A1 (zh) 一种人脸姿态检测方法、装置、终端设备及存储介质
KR102488563B1 (ko) 차등적 뷰티효과 처리 장치 및 방법
US20170344734A1 (en) Method for Controlling Unlocking and Terminal
CN106709404B (zh) 图像处理装置及图像处理方法
US11126878B2 (en) Identification method and apparatus and computer-readable storage medium
CN111645695B (zh) 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
US20200275271A1 (en) Authentication of a user based on analyzing touch interactions with a device
WO2021227333A1 (zh) 人脸关键点检测方法、装置以及电子设备
CN110909701B (zh) 行人特征的提取方法、装置、设备及介质
CN113515987B (zh) 掌纹识别方法、装置、计算机设备及存储介质
CN112561053B (zh) 图像处理方法、预训练模型的训练方法、装置和电子设备
CN111149104A (zh) 用于生物特征识别的装置、方法和计算机程序产品
CN111708477B (zh) 按键识别方法、装置、设备以及存储介质
CN111783600B (zh) 一种人脸识别模型训练方法、装置、设备及介质
US20170337363A1 (en) Method for Controlling Unlocking and Mobile Terminal
US10091436B2 (en) Electronic device for processing image and method for controlling the same
CN112949467B (zh) 人脸检测方法、装置、电子设备和存储介质
WO2021115097A1 (zh) 瞳孔检测方法及相关产品
CN112700568A (zh) 一种身份认证的方法、设备及计算机可读存储介质
WO2020124457A1 (zh) 个性化字体显示方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination