CN112527103A - 显示设备的遥控方法、装置、设备及计算机可读存储介质 - Google Patents

显示设备的遥控方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112527103A
CN112527103A CN202011328190.1A CN202011328190A CN112527103A CN 112527103 A CN112527103 A CN 112527103A CN 202011328190 A CN202011328190 A CN 202011328190A CN 112527103 A CN112527103 A CN 112527103A
Authority
CN
China
Prior art keywords
user
image
control
display device
display equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011328190.1A
Other languages
English (en)
Other versions
CN112527103B (zh
Inventor
朱理森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Hongcheng Opto Electronics Co Ltd
Original Assignee
Anhui Hongcheng Opto Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Hongcheng Opto Electronics Co Ltd filed Critical Anhui Hongcheng Opto Electronics Co Ltd
Priority to CN202011328190.1A priority Critical patent/CN112527103B/zh
Publication of CN112527103A publication Critical patent/CN112527103A/zh
Application granted granted Critical
Publication of CN112527103B publication Critical patent/CN112527103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种显示设备的遥控方法、装置、设备及计算机可读存储介质，其中，该方法包括：获取与所述显示设备对应的摄像装置拍摄的待识别图像，分析所述待识别图像中是否有用户人脸；若所述待识别图像中有用户人脸，则判断用户的目光关注点是否在所述显示设备区域；若所述用户的目光关注点在所述显示设备区域，则获取与用户控制动作相关联的用户动作姿态，并根据所述用户动作姿态判定所述控制动作的有效性；若判定所述控制动作有效，则根据所述控制动作生成控制指令控制所述显示设备。本发明提高了通过用户动作手势控制显示设备的准确率，实现多人协同控制显示设备。

Description

显示设备的遥控方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种显示设备的遥控方法、装置、设备及计算机可读存储介质。
背景技术
目前用于控制智能大屏幕、智能电视等显示设备的遥控设备最常见的是遥控器，即通过遥控器控制显示设备。一个显示设备可以有多个控制设备(如遥控器或者安装有控制程序的手机)，但是各个控制设备都是需要预先与显示设备进行匹配，方能使用。随着计算机视觉技术的发展，人们想到使用摄像头跟踪人体动作行为，识别人的动作姿态，通过人的动作姿态向显示设备发送控制指令，以实现无需控制设备来控制显示设备，即可在一定距离范围内实现徒手遥控显示设备，即通过手势来控制显示设备。
手势控制技术让人摆脱了遥控器，但是会存在如下问题，如在多人会议、教学互动时，需要多人动态参与对显示设备的遥控，多人协同控制显示设备，且每个人对显示设备的遥控不产生冲突。另一方面，一个人在摄像头前面展示的控制动作不一定都是想对显示设备进行控制，如果显示设备不加区分而全部接受，将会出现大量的误控制操作。目前主要通过限制人体进行手势控制时的视角范围和人体与显示设备之间的距离来避免视野范围内同时出现多个控制动作，来避免干扰，同时降低了对显示设备控制的错误率，但是这样只能识别少量差异极大的控制动作，且为了减少干扰而附加的这些限制条件将极大影响控制动作的适用范围，难以做到多人协同操作，也无法实现复杂的可靠的控制。
由此可知，目前通过用户的控制动作控制显示设备的错误率高，且难以做到多人协同控制显示设备。
发明内容
基于上述现状，本发明的主要目的在于提供一种显示设备的遥控方法、装置、设备及计算机可读存储介质，以提高通过用户的控制动作控制显示设备的准确率，实现多人协同控制显示设备。
为实现上述目的，本发明采用的技术方案如下：
一种显示设备的遥控方法，所述显示设备的遥控方法包括以下步骤：
获取与所述显示设备对应的摄像装置拍摄的待识别图像，分析所述待识别图像中是否有用户人脸；
若所述待识别图像中有用户人脸，则判断用户的目光关注点是否在所述显示设备区域；
若所述用户的目光关注点在所述显示设备区域，则获取与用户控制动作相关联的用户动作姿态，并根据所述用户动作姿态判定所述控制动作的有效性；
若判定所述控制动作有效，则根据所述控制动作生成控制指令控制所述显示设备。
可选地，所述判断用户的目光关注点是否在所述显示设备区域的步骤包括：
判断是否检测到所述用户人脸中用户目光的汇聚焦点在所述显示设备的屏幕范围内；
若检测到所述汇聚焦点在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点在所述显示设备区域；
若检测到所述汇聚焦点未在所述屏幕范围内，且检测到所述用户人脸中存在眼镜，则判断透过所述眼镜的目光范围是否在所述显示设备屏幕范围内：
若所述目光范围在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点在所述显示设备区域；
若检测到所述目光范围未在所述屏幕范围内，则判断所述用户人脸中人脸朝向的朝向范围是否在所述屏幕范围内：若所述朝向范围在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点在所述显示设备区域；若所述朝向范围未在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点未在所述显示设备区域。
可选地，所述根据所述用户动作姿态判定所述控制动作的有效性的步骤包括：
在所述用户动作姿态中获取所述用户的胸部朝向，并确定所述用户关注点对应的关注点方位；
计算所述胸部朝向和所述关注点方位之间的夹角；
若所述夹角大于所述第一预设角度，则判定所述控制动作无效；
若所述夹角小于或者等于第一预设角度，则通过所述用户动作姿态计算所述控制动作的手势识别部位偏离所述显示设备的偏离角度；
若所述偏离角度小于第二预设角度，则判定所述控制动作有效；
若所述偏离角度大于或者等于所述第二预设角度，则判定所述控制动作无效。
可选地，所述若所述夹角小于或者等于第一预设角度，则通过所述用户动作姿态计算所述控制动作的手势识别部位偏离所述显示设备的偏离角度的步骤之后，还包括：
若所述偏离角度小于所述第二预设角度，则通过所述待识别图像判断所述用户的手是否与预设障碍物接触；
若所述用户的手与所述障碍物接触，则判定所述控制动作无效；
若所述用户的手与所述障碍物无接触，则判定所述控制动作有效。
可选地，所述若判定所述控制动作有效，则根据所述控制动作生成控制指令控制所述显示设备的步骤包括：
若判定所述控制动作有效，但所述用户未接入所述显示设备，则通过预设的接入策略判断所述用户是否存在接入权限；
若判定所述用户存在接入权限，则为所述用户分配接入所述显示设备的接入标识，并计算所述用户的目光关注点在所述显示设备区域的持续时长；
若所述持续时长大于第一预设时长，则根据所述控制动作生成控制指令控制所述显示设备。
可选地，所述获取与所述显示设备对应的摄像装置拍摄的待识别图像，分析所述待识别图像中是否有用户人脸的步骤包括：
获取与所述显示设备对应的摄像装置拍摄的视频流，从所述视频流中提取待识别图像，并分析所述待识别图像中是否有用户人脸；
所述若所述待识别图像中有用户人脸，则判断用户的目光关注点是否在所述显示设备区域的步骤包括：
若所述待识别图像中有用户人脸，则对所述待识别图像进行预处理操作，得到所述待识别图像对应的张量数据；
将所述张量数据输入预存的图像检测模型中，根据所述图像检测模型的输出结果分析所述待识别图像中用户的目光关注点是否在所述显示设备区域。
可选地，所述若所述用户的目光关注点在所述显示设备区域，则获取与用户控制动作相关联的用户动作姿态的步骤包括：
若所述用户的目光关注点在所述显示设备区域，则通过预设的目标检测算法或语义分割算法提取所述待识别图像中的人体图像；
获取所述人体图像中躯干数据和手势数据作为与用户控制动作相关联的用户动作姿态。
可选地，所述若判定所述控制动作有效，则根据所述控制动作生成控制指令控制所述显示设备的步骤之后，还包括：
若检测到所述用户的目光关注点未在所述显示设备区域，则计算所述目光关注点从所述显示设备区域离开的离开时长；
若所述离开时长大于第二预设时长，则控制所述用户退出所述显示设备；
和/或若检测到所述控制动作无效，则计算所述控制动作无效时的无效时长；
若所述无效时长大于第三预设时长，则控制所述用户退出所述显示设备。
本发明还提供一种显示设备的遥控装置，所述显示设备的遥控装置包括：
获取模块，用于获取与所述显示设备对应的摄像装置拍摄的待识别图像；
分析模块，用于分析所述待识别图像中是否有用户人脸；
判断模块，用于若所述待识别图像中有用户人脸，则判断用户的目光关注点是否在所述显示设备区域；
所述获取模块还用于若所述用户的目光关注点在所述显示设备区域，则获取与用户控制动作相关联的用户动作姿态；
判定模块，用于根据所述用户动作姿态判定所述控制动作的有效性；
控制模块，用于若判定所述控制动作有效，则根据所述控制动作生成控制指令控制所述显示设备。
本发明还提供一种显示设备的遥控设备，所述显示设备的遥控设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如上所述的显示设备的遥控方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上所述的显示设备的遥控方法的步骤。
【有益效果】
实现了通过判断用户的目光关注点是否在显示设备区域以及控制动作的有效性来决定是否响应用户的控制动作，只有用户的目光关注点在显示设备区域，以及控制动作有效时，才会响应该控制动作，根据用户的控制动作控制显示设备，滤除了非控制动作，避免了响应不对显示设备进行控制的控制动作，从而提高了通过用户动作控制显示设备的准确率，且避免了在识别到多个控制动作时，不管该控制动作的用户是否关注显示设备，都响应所识别的控制动作，从而进一步地提高了通过用户动作手势控制显示设备的准确率，降低了在多人协同控制显示设备时，各个用户对显示设备产生的控制冲突，实现多人协同控制显示设备。
本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
以下将参照附图对本发明的可选实施方式进行描述。图中：
图1是本发明显示设备的遥控方法一种实施例的流程图；
图2是本发明显示设备的遥控装置一种实施例的结构示意图。
具体实施方式
需要说明的是，本发明中采用步骤编号(字母或数字编号)来指代某些具体的方法步骤，仅仅是出于描述方便和简洁的目的，而绝不是用字母或数字来限制这些方法步骤的顺序。本领域的技术人员能够明了，相关方法步骤的顺序，应由技术本身决定，不应因步骤编号的存在而被不适当地限制。
图1是本发明显示设备的遥控方法一种实施例的流程图，该方法包括如下步骤。
步骤S100，获取与所述显示设备对应的摄像装置拍摄的待识别图像，分析所述待识别图像中是否有用户人脸。
步骤S200，若所述待识别图像中有用户人脸，则判断用户的目光关注点是否在所述显示设备区域。
在本实施例中，摄像装置可为普通摄像头、3D摄像头或者其他能实现摄像功能的传感设备。显示设备可为电视、投影设备或者笔记本电脑等存在屏幕的设备。摄像装置可为显示设备内置的，也可以是与显示设备连接的外部设备。摄像装置与显示设备在同一平面上，如显示设备安装在某墙壁上，该摄像装置也安装在该墙壁上。当显示设备上电启动时，可同时启动摄像装置，具体地，若摄像装置是与显示设备存在连接关系的，当显示设备上电启动时，显示设备会生成启动指令，并将该启动指令发送给摄像装置，当摄像装置接收到启动指令后，摄像装置根据该启动指令执行启动程序。当摄像装置启动后，摄像装置会拍摄当前所在区域内的待识别图像，并将所拍摄的待识别图像发送给显示设备，显示设备得到待识别图像后，显示设备分析待识别图像中是否有用户人脸，若待识别图像中有用户人脸，显示设备则判断待识别图像中的用户的目光关注点是否在显示设备区域。其中，显示设备通过人脸识别算法分析待识别图像中是否存在人脸图像，其中，人脸识别算法包括但不限于基于模板匹配的算法、PCA(主成分分析)算法和神经网络模型。可以理解的是，若待识别图像中的用户目光是看向显示设备屏幕的，则表明待识别图像中用户的目光关注点在显示设备区域；若待识别图像中的用户目光没有看向显示设备屏幕的，则表明待识别图像中的用户的目光关注点不在显示设备区域。进一步地，摄像装置拍摄待识别图像的拍摄频率可根据具体需要而设置，如可设置为每间隔1秒拍摄一次，或者设置为每间隔3秒拍摄一次等。进一步地，若显示设备确定待识别图像中没有用户人脸，显示设备则继续获取摄像装置拍摄的待识别图像。
进一步地，在步骤S100中，
步骤a，获取与所述显示设备对应的摄像装置拍摄的视频流，从所述视频流中提取待识别图像，并分析所述待识别图像中是否有用户人脸。
步骤S200包括：
步骤b，若所述待识别图像中有用户人脸，则对所述待识别图像进行预处理操作，得到所述待识别图像对应的张量数据。
步骤c，将所述张量数据输入预存的图像检测模型中，根据所述图像检测模型的输出结果分析所述待识别图像中用户的目光关注点是否在所述显示设备区域。
进一步地，在本实施例中，摄像装置可以对当前所在区域进行录像，得到所拍摄的视频流。当显示设备获取到摄像装置拍摄的视频流后，显示设备从视频流中提取待识别图像，并在确定待识别图像中存在用户人脸时，对待识别图像进行预处理操作，得到待识别图像对应的张量数据。其中，预处理操作包括但不限于图像灰度化、几何变换和图像增强等操作。张量是向量，矩阵在高阶上的扩展，从某种程度上讲，可以将张量看成是一个高维数组，一阶的张量是向量，二阶的张量是矩阵，而三阶及以上的张量都被称为高阶张量，张量可以将很多属性相关联，进而进行统一的描述和数据分析。如若待识别图像对应的张量数据是三维的，则张量数据的三维可为待识别图像的长度、宽度和通道序列。每一待识别图像都存在对应的张量数据。本实施例不限制张量数据各个维度的大小。当得到张量数据后，显示设备将张量数据输入至预先存储的图像检测模型中，得到图像检测模型的输出结果，根据该输出结果分析待识别图像中用户的目光关注点是否在显示设备区域。可以理解的是，张量数据可以表示待识别图像的图像特点，因此通过张量数据可以分析出待识别图像中用户的目光关注点是否在显示设备屏幕中。
需要说明的是，对待识别图像进行预处理操作的过程也可在分析待识别图像中是否有用户人脸之前。分析待识别图像中是否有用户人脸的过程也可为：将张量数据输入图像检测模型中，根据图像检测模型的输出结果来确定待识别图像中是否有用户人脸。图像检测模型的输出结果时包含多种信息的，如包含待识别图像中是否有用户人脸，用户的目光关注点是否在显示设备区域等。
进一步地，为了提高分析待识别图像中用户的目光关注点是否在显示设备区域的准确率，显示设备在从视频流中提取待识别图像时，可连续提取多帧待识别图像，对多帧待识别图像进行预处理操作，得到各帧待识别图像对应的张量数据。
进一步地，所述分析所述待识别图像中用户的目光关注点是否在所述显示设备区域的步骤包括：
步骤e，判断是否检测到所述用户人脸中用户目光的汇聚焦点在所述显示设备的屏幕范围内。
步骤f，若检测到所述汇聚焦点在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点在所述显示设备区域。
具体地，显示设备分析待识别图像中用户的目光关注点是否在显示设备屏幕中的过程中为：若确定待识别图像中存在用户人脸，显示设备则判断是否检测到用户人脸用户目光的汇聚焦点在其屏幕范围内。在显示设备中，预先存储好了检测用户人脸中用户目光的汇聚焦点是否在显示设备屏幕范围内的图像检测模型，该图像检测模型是预先训练好的，存储在显示设备中的。如显示设备可获取含有用户人脸的图像样本，该图像样本已经含有相应标签表明该图像样本中用户目光的汇聚焦点是否在显示设备的屏幕范围内，然后将图像样本输入至卷积神经网络(Convolutional Neural Network，CNN)模型中，以训练得到图像检测模型；也可以将图像样本和相应标签对应的张量数据输入神经网络模型中，以训练得到图像检测模型。当显示设备得到待识别图像中的用户人脸后，显示设备将待识别图像中的用户人脸输入至图像检测模型中，得到图像检测模型的输出结果，根据该输出结果就可以确定用户人脸中用户目光的汇聚焦点是否在显示设备的屏幕范围内。如当图像检测模型的输出结果为“0”时，表明待识别图像中用户目光的汇聚焦点未在显示设备的屏幕范围内；当图像检测模型的输出结果为“1”时，表明待识别图像中用户目光的汇聚焦点在显示设备的屏幕范围内。在本实施例中，也可以采用除卷积神经网络外的其他神经网络模型进行图像样本训练，得到图像检测模型。
若检测到汇聚焦点在屏幕范围内，显示设备则判定待识别图像中用户的目光关注点在显示设备区域。进一步地，图像检测模型也可以输出待识别图像中用户目光的汇聚焦点对应的置信度。当显示设备得到待识别图像中用户目光汇聚焦点对应的置信度后，显示设备判断该置信度是否大于预设的第一阈值，第一阈值可根据具体需要而设置，本实施例对第一阈值的大小不做具体限制。若判定置信度大于第一阈值，显示设备则判定待识别图像中用户目光的汇聚焦点在显示设备的屏幕范围内；若判定置信度小于或者等于第一阈值，显示设备则判定待识别图像中用户目光的汇聚焦点未在显示设备的屏幕范围内。
步骤g，若检测到所述汇聚焦点未在所述屏幕范围内，且检测到所述用户人脸中存在眼镜，则判断透过所述眼镜的目光范围是否在所述屏幕范围内。
步骤h，若所述目光范围在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点在所述显示设备区域。
若检测到汇聚焦点未在屏幕范围内，显示设备则检测用户人脸中是否存在眼镜。具体地，显示设备也可以通过图像检测模型来检测用户人脸中是否存在眼镜，此时在训练图像检测模型时，需要将标注好眼镜的图像样本输入到神经网络模型中，或者将含有眼镜相关数据的张量数据输入到神经网络模型中，以得到可以检测用户人脸中是否存在眼镜的图像检测模型。可以理解的是，当用户人脸中存在眼镜时，表明待识别图像中的用户佩戴着眼镜；当用户人脸中未存在眼镜时，表明待识别图像中的用户未佩戴着眼镜。在本实施例中，通过图像检测模型的输出结果即可确定用户人脸中是否存在眼镜。如当图像检测模型的输出结果存在“00”时，表明用户人脸中未存在眼镜；当图像检测模型的输出结果存在“11”时，表明用户人脸中存在眼镜。
若检测到用户人脸中存在眼镜，显示设备则判断透过眼镜的目光范围是否在屏幕范围内。需要说明的是，显示设备也可通过图像检测模型来判断透过眼镜目光范围是否在屏幕范围内，通过图像检测模型来判断透过眼镜的目光范围是否在屏幕范围内的过程和通过图像检测模型来判断待识别图像中用户目光的汇聚焦点是否屏幕范围内的过程类似，本实施例不再重复赘述。若判定目光范围在屏幕范围内，显示设备则判定待识别图像中用户的目光关注点在显示设备区域。
进一步地，图像检测模型也可以输出透过眼镜的目光范围是否在屏幕范围内对应的置信度，并将该置信度记为目光置信度。当显示设备得到目光置信度后，显示设备判断该目光置信度是否大于预设的第二阈值，第二阈值可根据具体需要而设置，本实施例对第二阈值的大小不做具体限制，第二阈值可与第一阈值相等，第二阈值也可与第一阈值不相等。若判定目光置信度大于第二阈值，显示设备则判定目光范围在屏幕范围内；若判定置信度小于或者等于第二阈值，显示设备则判定目光范围未在屏幕范围内。
步骤i，若检测到所述目光范围未在所述屏幕范围内，则判断所述用户人脸中人脸朝向的朝向范围是否在所述屏幕范围内。
步骤j，若所述朝向范围在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点在所述显示设备区域。
步骤k，若所述朝向范围未在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点未在所述显示设备区域。
若检测到目标范围未在屏幕范围内，显示设备则判断用户人脸中人脸朝向的朝向范围是否在屏幕范围内。需要说明的是，显示设备判断用户人脸中人脸朝向的朝向范围是否在屏幕范围内，与判断透过眼镜的目光范围是否在屏幕范围内的过程相似，在此不再重复赘述。若判定用户人脸中人脸朝向的朝向范围在屏幕范围内，显示设备则判定待识别图像中用户的目光关注点在显示设备区域；若判定用户人脸中人脸朝向的朝向范围未在屏幕范围内，显示设备则判定待识别图像中用户的目光关注点未在显示设备区域。在本实施例中，人脸朝向是用户人脸相对于显示设备的朝向。
需要说明的是，通过分析待识别图像中用户的目光关注点是否在显示设备区域，避免了当用户的目光没有看向显示设备屏幕，而是看向其它地方时，也响应用户的控制动作。可以理解的是，当用户的目光没有看向显示设备的屏幕时，用户的动作不会是想控制显示设备，此时用户的动作是与显示设备屏幕无关的动作，可能只是与其他用户交流的辅助动作，显示设备通过分析待识别图像中用户的目光关注点是否在显示设备区域可以忽略这些动作，减少响应用户无意识的误操作。
步骤S300，若所述用户的目光关注点在所述显示设备区域，则获取与用户控制动作相关联的用户动作姿态，并根据所述用户动作姿态判定所述控制动作的有效性。
若判定用户的目光关注点在显示设备区域，则表明用户存在远程控制显示设备的可能性，此时显示设备获取与用户控制动作相关联的用户动作姿态，并根据用户动作姿态判定控制动作的有效性。其中，用户的控制动作主要是手部动作，也可以是手部动作与用户躯体动作结合形成的动作。用户动作姿态包括但不限于用户胸部朝向、双手所在位置、双手手势和掌心朝向等。
进一步地，所述若所述用户的目光关注点在所述显示设备区域，则获取与用户控制动作相关联的用户动作姿态的步骤包括：
步骤l，若所述用户的目光关注点在所述显示设备区域，则通过预设的目标检测算法或语义分割算法提取所述待识别图像中的人体图像。
步骤m，获取所述人体图像中躯干数据和手势数据作为与用户控制动作相关联的用户动作姿态。
进一步地，若判定用户的目光关注点在显示设备区域，显示设备则通过预先设定好的目标检测算法或者语义分割算法提取待识别图像中的人体图像。其中，目标检测算法可为R-CNN(Region-based Convolutional Neural Network，基于区域的卷积神经网络)、YOLO(You Only Look Once)和SSD(Single Shot MultiBox Detector)等，语义分割算法可为FCN(Fully Convolutional Networks，全卷积网络)，边缘检测算法或者为CRF(Conditional Random Field，条件随机场)等。
当提取到待识别图像中的人体图像后，显示设备获取人体图像中躯干数据和手势数据作为与用户控制动作相关联的用户动作姿态。具体地，显示设备可通过神经网络模型获取人体图像中的躯干数据和手势数据作为与用户控制动作相关联的用户动作姿态。在本实施例中，躯干数据至少包括胸部位置与胸部朝向，手势数据至少包括双手手掌所在位置和双手手势。需要说明的是，在本实施例中，可建立一个坐标系，该坐标系可以摄像装置为原点，也可以显示设备屏幕中的某个点为坐标原点等。胸部位置、手掌所在位置和双手运动轨迹可用坐标来表示，胸部朝向可用角度来表示。进一步地，在人体图像中获取用户动作姿态的神经网络模型可与从待识别图像中提取人体图像的神经网络模型相同，也可以不相同。
进一步地，所述根据所述用户动作姿态判定所述控制动作的有效性的步骤包括：
步骤n，在所述用户动作姿态中获取所述用户的胸部朝向，并确定所述用户关注点对应的关注点方位。
具体地，显示设备根据用户动作姿态判断控制动作的有效性的过程为：显示设备在用户动作姿态中获取用户的胸部朝向，并确定用户关注点对应的关注点方位。具体地，该关注点方位可通过关注点所在位置来确定，确定关注点所在位置在上述坐标系中的坐标点，然后根据该坐标点与坐标原点之间的关系确定关注点方位，该关注点所在位置可以通过分析待识别图像中用户的目光关注点是否在显示设备区域过程中确定，也可以确定用户眼睛所在位置的位置坐标，根据该位置坐标与坐标原点确定眼睛方位，该眼睛方位即为关注点方位。
步骤o，计算所述胸部朝向和所述关注点方位之间的夹角。
步骤q，若所述夹角大于所述第一预设角度，则判定所述控制动作无效。
步骤p，若所述夹角小于或者等于第一预设角度，则通过所述用户动作姿态计算所述控制动作的手势识别部位偏离所述显示设备的偏离角度。
步骤r，若所述偏离角度小于第二预设角度，则判定所述控制动作有效。
步骤s，若所述偏离角度大于或者等于所述第二预设角度，则判定所述控制动作无效。
当确定胸部朝向和关注点方位后，显示设备计算胸部朝向和关注点方位之间的夹角。可以理解的是，胸部朝向是用户胸部所在位置相对于坐标原点的角度，关注点方位是关注点所在位置相对于坐标原点的角度，因此，通过胸部朝向和关注点方位即可计算得到胸部朝向和关注点方位之间的夹角。当显示设备计算得到夹角后，显示设备判断该夹角是否大于第一预设角度，其中，该第一预设角度可根据具体需要而设置，如可将第一预设角度设置为85°、90°或者98°等。若确定该夹角小于或者等于第一预设角度，显示设备则通过用户动作姿态计算控制动作的手势识别部位偏离显示设备的偏离角度；若确定该夹角大于第一预设角度，显示设备则判定控制动作无效。
具体地，显示设备在用户动作姿态中获取手掌所在位置，根据手掌所在位置确定手掌在坐标系中的手掌坐标，根据该手掌坐标确定手掌相对于坐标原点的手掌角度。为了便于描述，将关注点所在位置相对于坐标原点的角度记为关注角度，计算手掌角度和关注角度之间角度差，该角度差就是手势识别部位偏离显示设备的偏离角度。需要说明的是，因为关注点是在显示设备屏幕中的，因此通过关注角度和手掌角度之间的角度差即可确定用户是否存在控制显示设备的遥控意图。当显示设备计算得到偏离角度后，显示设备判断偏离角度是否小于第二预设角度，其中，第二预设角度与第一预设角度相等，也可与第一预设角度不相等。若偏离角度小于第二预设角度，显示设备则判定控制动作有效；若偏离角度大于或者等于第二预设角度，显示设备则判定控制动作无效。
进一步地，在通过用户动作姿态计算控制动作的手势识别部位偏离显示设备的偏离角度时，显示设备若检测到用户是通过双手触发控制动作的，则需要双手中的其中一只手对应的偏离角度小于第二预设角度时，才确定控制动作有效，否则，确定控制动作无效。
需要说明的是，通过在偏离角度大于或者等于第二预设角度时，判定控制动作无效，避免将用户目光关注点在显示设备区域，但用户的动作手势是背离显示设备的遥控动作也识别为有效，以有效滤除用户无意识触发的控制动作，即有效滤除非控制动作，响应用户主观上真实的控制动作。
进一步地，所述显示设备的遥控方法还包括：
步骤t，若所述偏离角度小于所述第二预设角度，则通过所述待识别图像判断所述用户的手是否与预设障碍物接触。
步骤u，若所述用户的手与所述障碍物接触，则判定所述控制动作无效。
步骤v，若所述用户的手与所述障碍物无接触，则判定所述控制动作有效。
进一步地，为了提高用户通过手势远程控制显示设备的准确率，显示设备在确定偏离角度小于第二预设角度时，显示设备通过待识别图像判断用户的手是否与预设障碍物接触。具体地，显示设备可通过目标检测算法或者语义分割算法所得的结果来判断用户的手是否与预设障碍物接触，其中，预设障碍物可为桌子、椅子或者墙壁等。可以理解的是，当用户的手与障碍物接触时，用户通过远程控制显示设备的可能性是比较低的。若用户的手与障碍物接触，显示设备则判定控制动作无效；若用户的手与障碍物无接触，显示设备则判定控制动作有效。
步骤S400，若判定所述控制动作有效，则根据所述控制动作生成控制指令控制所述显示设备。
若判定控制动作有效，显示设备则解析该控制动作，确定该控制动作的含义，生成对应的控制指令，执行与该控制指令对应的操作，以根据该控制指令控制显示设备。需要说明的是，在显示设备中，预先存储了各个控制动作对应的控制指令，不同控制动作对应的控制指令不同，如当用户向上挥手时，对应的控制指令可为翻到下一页；当用户向下挥手时，对应的控制指令可为翻到上一页。具体地，在解析控制动作时，将控制动作的运动轨迹以及手势与显示设备预先存储的各个控制指令的运动轨迹和手势进行对比，以确定控制动作对应的控制指令。在本实施例中，不同的控制指令可通过指令标识来表示，如“001”表示播放指令，“002”表示暂停播放指令。
进一步地，步骤S400包括：
步骤w，若判定所述控制动作有效，但所述用户未接入所述显示设备，则通过预设的接入策略判断所述用户是否存在接入权限。
进一步地，若显示设备判定控制动作有效，显示设备则判断用户是否成功接入显示设备。具体地，显示设备判断是否存在与用户人脸对应的接入标识(ID)。若存在与用户人脸对应的接入标识，显示设备则判定用户已接入显示设备，此时计算用户的目光关注点在显示设备区域的持续时长。具体地，可在显示设备中设置一个计时器，当检测到用户的目光关注点在显示设备区域时，开始计时，得到用户目光关注点在显示设备区域的持续时长。若未存在于用户人脸对应的接入标识，显示设备则判定用户未接入显示设备中，显示设备通过预设的接入策略判断用户是否存在接入权限。其中，接入策略可根据具体需要而设置，如接入策略可为只允许特定用户接入显示设备，此时，显示设备中存储有能够接入显示设备的用户人脸的图像，并可在该用户人脸图像中添加接入标识，本实施例不限制该接入标识的表现形式。此时，若显示设备判定用户的人脸图像与存在接入标识的人脸图像之间的相似度大于预设相似度，显示设备则确定用户存在接入权限；若显示设备判定用户的人脸图像与存在接入标识的人脸图像之间的相似度小于或者等于预设相似度，显示设备则确定用户未存在接入权限，预设相似度的大小可根据具体需要而设置。接入策略也可设置为在特定时间段限制接入显示设备的接入人数，若该时间段接入显示设备的接入人数已经大于或者等于预设人数，显示设备则可确定当前用户不存在接入权限；若该时间段接入显示设备的接入人数小于预设人数，显示设备则可确定当前用户存在接入权限，预设人数可为2个、3个或者5个等。
步骤x，若判定所述用户存在接入权限，则为所述用户分配接入所述显示设备的接入标识，并计算所述用户的目光关注点在所述显示设备区域的持续时长。
步骤y，若所述持续时长大于第一预设时长，则根据所述控制动作生成控制指令控制所述显示设备。
若在用户未接入显示设备，且判定用户存在接入权限，显示设备则为用户分配接入显示设备的接入标识，并计算用户的目光关注点在显示设备区域的持续时长，判断持续时长是否大于第一预设时长。其中，第一预设时长的大小可根据具体需要而设置，本实施例不限制第一预设时长的大小。若确定持续时长大于第一预设时长，显示设备则根据该控制动作生成控制指令，根据该控制指令执行相应的操作；若确定持续时长小于或者等于第一预设时长，显示设备则不会生成该控制动作生成控制指令。进一步地，若判定用户未存在接入权限，显示设备则拒绝用户接入，此时，显示设备可继续获取与摄像装置拍摄的待识别图像，分析待识别图像中用户的目光关注点是否在显示设备区域。进一步地，若显示设备不会根据控制动作生成控制指令，但显示设备已经为该用户分配了接入标识，此时，显示设备会删除该接入标识，以删除用户的相关接入信息，避免浪费显示设备的存储空间。
需要说明的是，用户在接入显示设备时，可以仅通过检测目光关注点在显示设备区域的持续时长来自动接入显示设备，即当持续时长大于设定的时长后，用户自动接入显示设备；或者在显示设备获取到用户特定的接入动作，且目光关注点在显示设备区域的持续时长大于设定的时长后，显示设备允许用户接入。其中，该接入动作是预先设置的一个或者多个特定动作，如画圈圈的画圈动作，从而实现了用户在于显示设备无接触的情况下接入显示设备，提高了用户接入显示设备的接入效率。
本实施例通过获取与显示设备对应摄像装置拍摄的待识别图像，在待识别图像中存在用户人脸时分析待识别图像中用户的目光关注点是否在显示设备区域；若用户的目光关注点在显示设备区域，则获取与用户控制动作相关联的用户动作姿态，并根据用户动作姿态判定控制动作的有效性；若判定控制动作有效，则根据控制动作生成控制指令控制显示设备。实现了通过判断用户的目光关注点是否在显示设备区域以及控制动作的有效性来决定是否响应用户的控制动作，只有用户的目光关注点在显示设备区域，以及控制动作有效时，才会响应该控制动作，根据用户的控制动作控制显示设备，滤除了非控制动作，避免了响应不对显示设备进行控制的控制动作，从而提高了通过用户动作手势控制显示设备的准确率，且避免了在识别到多个控制动作时，不管该控制动作的用户是否关注显示设备，都响应所识别的控制动作，从而进一步地提高了通过用户动作手势控制显示设备的准确率，降低了在多人协同控制显示设备时，各个用户对显示设备产生的控制冲突，实现多人协同控制显示设备。
进一步地，提出本发明显示设备的遥控方法另一实施例。
所述显示设备的遥控方法另一实施例与上述显示设备的遥控方法的实施例的区别在于，所述显示设备的遥控方法还包括：
步骤z，若检测到所述用户的目光关注点未在所述显示设备区域，则计算所述目光关注点从所述显示设备区域离开的离开时长。
步骤A，若所述离开时长大于第二预设时长，则控制所述用户退出所述显示设备。
当显示设备根据控制指令执行相应的控制操作后，显示设备检测用户的目光关注点是否还在显示设备区域。若检测到用户的目光关注点已经从显示设备区域离开，即检测到用户的目光关注点未在显示设备区域，显示设备则计算目光关注点从显示设备区域离开的离开时长，并判断该离开时长是否大于第二预设时长，其中，用户可根据具体需要设置第二预设时长的大小。若判定离开时长大于第二预设时长，显示设备则控制用户退出，不再根据用户的控制动作生成控制指令，执行控制指令对应的操作；若判定离开时长小于或者等于第二预设时长，显示设备则继续根据用户的控制动作生成控制指令，执行该控制指令对应的操作。
具体地，在显示设备中，可设置一个关注计时器，当显示设备检测到用户的目光关注点在显示设备区域时，显示设备刷新该关注计时器，使该关注计时器的值为零，当检测到用户的目光关注点不在显示设备区域时，不刷新关注计时器。因此，当关注计时器的值大于预设关注值时，表明离开时长大于第二预设时长，该预设关注值的大小由第二预设时长对应的数值决定。
进一步地，所述显示设备的遥控方法还包括：
步骤B，若检测到所述控制动作无效，则计算所述控制动作无效时的无效时长。
步骤D，若所述无效时长大于第三预设时长，则控制所述用户退出所述显示设备。
当显示设备检测到控制动作有效，并根据控制动作的控制指令执行相应的控制操作后，显示设备检测用户的控制动作是否还有效。若检测到用户的控制动作还有效，显示设备则继续根据控制动作的控制指令执行相应的控制动作；若检测到用户的控制动作已经从有效变成无效，显示设备则计算从控制动作变成无效时的无效时长，并判断无效时长是否大于第三预设时长。其中，第三预设时长可与第二无效时长相等，也可与第二无效时长不相等。若无效时长大于第三预设时长，显示设备则控制用户退出，不再根据用户的控制动作生成控制指令；若无效时长小于或者等于第三预设时长，显示设备则继续根据用户的控制动作生成控制指令，执行该控制指令对应的操作。
具体地，在显示设备中，可设置一个动作计时器，当显示设备检测到用户的控制动作为有效时，显示设备刷新该动作计时器，使该动作计时器的值为零，当控制动作无效时，显示设备不刷新动作计时器，因此，当动作计时器的值大于预设动作值时，表明无效时长大于第三预设时长，该预设动作值的大小由第三预设时长对应的数值决定。
本实施例实现了用户退出显示设备中，不需要专门的退出动作，提高了用户退出显示设备的退出速度。
本发明还提供一种显示设备的遥控装置，参照图2，所述显示设备的遥控装置包括：
获取模块10，用于获取与所述显示设备对应的摄像装置拍摄的待识别图像；
分析模块20，用于分析所述待识别图像中是否有用户人脸；
判断模块30，用于若所述待识别图像中有用户人脸，则判断用户的目光关注点是否在所述显示设备区域；
所述获取模块10还用于若所述用户的目光关注点在所述显示设备区域，则获取与用户控制动作相关联的用户动作姿态；
判定模块40，用于根据所述用户动作姿态判定所述控制动作的有效性；
控制模块50，用于若判定所述控制动作有效，则根据所述控制动作生成控制指令控制所述显示设备。
进一步地，所述分析模块20包括：
第一判断单元，用于判断是否检测到所述用户人脸中用户目光的汇聚焦点在所述显示设备的屏幕范围内；
第一判定单元，用于若检测到所述汇聚焦点在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点在所述显示设备区域；
所述第一判断单元还用于若检测到所述汇聚焦点未在所述屏幕范围内，且检测到所述用户人脸中存在眼镜，则判断透过所述眼镜的目光范围是否在所述显示设备屏幕范围内；
所述第一判定单元还用于若所述目光范围在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点在所述显示设备区域；
所述第一判断单元还用于若检测到所述目光范围未在所述屏幕范围内，则判断所述用户人脸中人脸朝向的朝向范围是否在所述屏幕范围内；
所述第一判定单元还用于若所述朝向范围在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点在所述显示设备区域；若所述朝向范围未在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点未在所述显示设备区域。
进一步地，所述判定模块40包括：
第一获取单元，用于在所述用户动作姿态中获取所述用户的胸部朝向，并确定所述用户关注点对应的关注点方位；
第一计算单元，用于计算所述胸部朝向和所述关注点方位之间的夹角；
第二判定单元，用于若所述夹角大于所述第一预设角度，则判定所述控制动作无效；
所述第一计算单元还用于若所述夹角小于或者等于第一预设角度，则通过所述用户动作姿态计算所述控制动作的手势识别部位偏离所述显示设备的偏离角度；
所述第二判定单元还用于若所述偏离角度小于第二预设角度，则判定所述控制动作有效；若所述偏离角度大于或者等于所述第二预设角度，则判定所述控制动作无效。
进一步地，所述判定模块40还包括：
第二判断单元，用于若所述偏离角度小于所述第二预设角度，则通过所述待识别图像判断所述用户的手是否与预设障碍物接触；
所述第二判定单元还用于若所述用户的手与所述障碍物接触，则判定所述控制动作无效；若所述用户的手与所述障碍物无接触，则判定所述控制动作有效。
进一步地，所述控制模块50包括：
第三判断单元，用于若判定所述控制动作有效，但所述用户未接入所述显示设备，则通过预设的接入策略判断所述用户是否存在接入权限；
分配单元，用于若判定所述用户存在接入权限，则为所述用户分配接入所述显示设备的接入标识；
第二计算单元，用于计算所述用户的目光关注点在所述显示设备区域的持续时长；
控制单元，用于若所述持续时长大于第一预设时长，则根据所述控制动作生成控制指令控制所述显示设备。
进一步地，所述获取模块10还用于获取与所述显示设备对应的摄像装置拍摄的视频流，从所述视频流中提取待识别图像；
所述判断模块30包括：
预处理单元，用于若所述待识别图像中有用户人脸，则对所述待识别图像进行预处理操作，得到所述待识别图像对应的张量数据；
输入单元，用于将所述张量数据输入预存的图像检测模型中；
分析单元，用于根据所述图像检测模型的输出结果分析所述待识别图像中用户的目光关注点是否在所述显示设备区域。
进一步地，所述获取模块10还用于若所述用户的目光关注点在所述显示设备区域，则通过预设的目标检测算法或语义分割算法提取所述待识别图像中的人体图像；获取所述人体图像中躯干数据和手势数据作为与用户控制动作相关联的用户动作姿态。
进一步地，所述显示设备的遥控装置还包括：
计算模块，用于若检测到所述用户的目光关注点未在所述显示设备区域，则计算所述目光关注点从所述显示设备区域离开的离开时长；
所述控制模块50还用于若所述离开时长大于第二预设时长，则控制所述用户退出所述显示设备；
所述计算模块还用于若检测到所述控制动作无效，则计算所述控制动作无效时的无效时长；
所述控制模块50还用于若所述无效时长大于第三预设时长，则控制所述用户退出所述显示设备。
本发明显示设备的遥控装置的具体实施方式与上述显示设备的遥控方法各实施例基本相同，在此不再重复赘述。
本发明还提供一种显示设备的遥控设备，所述显示设备的遥控设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如上所述的显示设备的遥控方法。
本发明显示设备的遥控设备的具体实施方式与上述显示设备的遥控方法各实施例基本相同，在此不再重复赘述。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上所述显示设备的遥控方法的步骤。
本发明计算机可读存储介质的具体实施方式与上述显示设备的遥控方法各实施例基本相同，在此不再重复赘述。
本领域的技术人员能够理解的是，在不冲突的前提下，上述各可选方案可以自由地组合、叠加。
应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本发明的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本发明的权利要求范围内。

Claims (11)

1.一种显示设备的遥控方法，其特征在于，所述显示设备的遥控方法包括以下步骤：
获取与所述显示设备对应的摄像装置拍摄的待识别图像，分析所述待识别图像中是否有用户人脸；
若所述待识别图像中有用户人脸，则判断用户的目光关注点是否在所述显示设备区域；
若所述用户的目光关注点在所述显示设备区域，则获取与用户控制动作相关联的用户动作姿态，并根据所述用户动作姿态判定所述控制动作的有效性；
若判定所述控制动作有效，则根据所述控制动作生成控制指令控制所述显示设备。
2.根据权利要求1所述的显示设备的遥控方法，其特征在于，所述判断用户的目光关注点是否在所述显示设备区域的步骤包括：
判断是否检测到所述用户人脸中用户目光的汇聚焦点在所述显示设备的屏幕范围内；
若检测到所述汇聚焦点在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点在所述显示设备区域；
若检测到所述汇聚焦点未在所述屏幕范围内，且检测到所述用户人脸中存在眼镜，则判断透过所述眼镜的目光范围是否在所述显示设备屏幕范围内：
若所述目光范围在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点在所述显示设备区域；
若检测到所述目光范围未在所述屏幕范围内，则判断所述用户人脸中人脸朝向的朝向范围是否在所述屏幕范围内：若所述朝向范围在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点在所述显示设备区域；若所述朝向范围未在所述屏幕范围内，则判定所述待识别图像中用户的目光关注点未在所述显示设备区域。
3.根据权利要求1所述的显示设备的遥控方法，其特征在于，所述根据所述用户动作姿态判定所述控制动作的有效性的步骤包括：
在所述用户动作姿态中获取所述用户的胸部朝向，并确定所述用户关注点对应的关注点方位；
计算所述胸部朝向和所述关注点方位之间的夹角；
若所述夹角大于所述第一预设角度，则判定所述控制动作无效；
若所述夹角小于或者等于第一预设角度，则通过所述用户动作姿态计算所述控制动作的手势识别部位偏离所述显示设备的偏离角度：
若所述偏离角度小于第二预设角度，则判定所述控制动作有效；
若所述偏离角度大于或者等于所述第二预设角度，则判定所述控制动作无效。
4.根据权利要求3所述的显示设备的遥控方法，其特征在于，所述若所述夹角小于或者等于第一预设角度，则通过所述用户动作姿态计算所述控制动作的手势识别部位偏离所述显示设备的偏离角度的步骤之后，还包括：
若所述偏离角度小于所述第二预设角度，则通过所述待识别图像判断所述用户的手是否与预设障碍物接触；
若所述用户的手与所述障碍物接触，则判定所述控制动作无效；
若所述用户的手与所述障碍物无接触，则判定所述控制动作有效。
5.根据权利要求1所述的显示设备的遥控方法，其特征在于，所述若判定所述控制动作有效，则根据所述控制动作生成控制指令控制所述显示设备的步骤包括：
若判定所述控制动作有效，但所述用户未接入所述显示设备，则通过预设的接入策略判断所述用户是否存在接入权限；
若判定所述用户存在接入权限，则为所述用户分配接入所述显示设备的接入标识，并计算所述用户的目光关注点在所述显示设备区域的持续时长；
若所述持续时长大于第一预设时长，则根据所述控制动作生成控制指令控制所述显示设备。
6.根据权利要求1所述的显示设备的遥控方法，其特征在于，所述获取与所述显示设备对应的摄像装置拍摄的待识别图像，分析所述待识别图像中是否有用户人脸的步骤包括：
获取与所述显示设备对应的摄像装置拍摄的视频流，从所述视频流中提取待识别图像，并分析所述待识别图像中是否有用户人脸；
所述若所述待识别图像中有用户人脸，则判断用户的目光关注点是否在所述显示设备区域的步骤包括：
若所述待识别图像中有用户人脸，则对所述待识别图像进行预处理操作，得到所述待识别图像对应的张量数据；
将所述张量数据输入预存的图像检测模型中，根据所述图像检测模型的输出结果分析所述待识别图像中用户的目光关注点是否在所述显示设备区域。
7.根据权利要求1所述的显示设备的遥控方法，其特征在于，所述若所述用户的目光关注点在所述显示设备区域，则获取与用户控制动作相关联的用户动作姿态的步骤包括：
若所述用户的目光关注点在所述显示设备区域，则通过预设的目标检测算法或语义分割算法提取所述待识别图像中的人体图像；
获取所述人体图像中躯干数据和手势数据作为与用户控制动作相关联的用户动作姿态。
8.根据权利要求1至7任一项所述的显示设备的遥控方法，其特征在于，所述若判定所述控制动作有效，则根据所述控制动作生成控制指令控制所述显示设备的步骤之后，还包括：
若检测到所述用户的目光关注点未在所述显示设备区域，则计算所述目光关注点从所述显示设备区域离开的离开时长；
若所述离开时长大于第二预设时长，则控制所述用户退出所述显示设备；
和/或若检测到所述控制动作无效，则计算所述控制动作无效时的无效时长；
若所述无效时长大于第三预设时长，则控制所述用户退出所述显示设备。
9.一种显示设备的遥控装置，其特征在于，所述显示设备的遥控装置包括：
获取模块，用于获取与所述显示设备对应的摄像装置拍摄的待识别图像；
分析模块，用于分析所述待识别图像中是否有用户人脸；
判断模块，用于若所述待识别图像中有用户人脸，则判断用户的目光关注点是否在所述显示设备区域；
所述获取模块还用于若所述用户的目光关注点在所述显示设备区域，则获取与用户控制动作相关联的用户动作姿态；
判定模块，用于根据所述用户动作姿态判定所述控制动作的有效性；
控制模块，用于若判定所述控制动作有效，则根据所述控制动作生成控制指令控制所述显示设备。
10.一种显示设备的遥控设备，其特征在于，所述显示设备的遥控设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-8任意一项所述的显示设备的遥控方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-8任一项所述的显示设备的遥控方法。
CN202011328190.1A 2020-11-24 2020-11-24 显示设备的遥控方法、装置、设备及计算机可读存储介质 Active CN112527103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011328190.1A CN112527103B (zh) 2020-11-24 2020-11-24 显示设备的遥控方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011328190.1A CN112527103B (zh) 2020-11-24 2020-11-24 显示设备的遥控方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112527103A true CN112527103A (zh) 2021-03-19
CN112527103B CN112527103B (zh) 2022-07-22

Family

ID=74992948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011328190.1A Active CN112527103B (zh) 2020-11-24 2020-11-24 显示设备的遥控方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112527103B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116909439A (zh) * 2023-09-13 2023-10-20 荣耀终端有限公司 电子设备及其交互方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080309671A1 (en) * 2007-06-18 2008-12-18 Brian Mark Shuster Avatar eye control in a multi-user animation environment
CN106971130A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种以人脸为参照的手势识别方法
CN107742069A (zh) * 2017-09-18 2018-02-27 广东美的制冷设备有限公司 终端控制方法、装置及存储介质
CN108509890A (zh) * 2018-03-27 2018-09-07 百度在线网络技术（北京）有限公司 用于提取信息的方法和装置
CN108615159A (zh) * 2018-05-03 2018-10-02 百度在线网络技术（北京）有限公司 基于注视点检测的访问控制方法和装置
CN110826374A (zh) * 2018-08-10 2020-02-21 Oppo广东移动通信有限公司 监测人眼注视时间的方法和装置、存储介质、电子设备
CN111046744A (zh) * 2019-11-21 2020-04-21 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
KR20200091669A (ko) * 2019-01-23 2020-07-31 전하진 스마트폰 사용자의 시력 보호 방법 및 그 방법을 수행하기 위한 어플리케이션

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080309671A1 (en) * 2007-06-18 2008-12-18 Brian Mark Shuster Avatar eye control in a multi-user animation environment
CN106971130A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种以人脸为参照的手势识别方法
CN107742069A (zh) * 2017-09-18 2018-02-27 广东美的制冷设备有限公司 终端控制方法、装置及存储介质
CN108509890A (zh) * 2018-03-27 2018-09-07 百度在线网络技术（北京）有限公司 用于提取信息的方法和装置
CN108615159A (zh) * 2018-05-03 2018-10-02 百度在线网络技术（北京）有限公司 基于注视点检测的访问控制方法和装置
CN110826374A (zh) * 2018-08-10 2020-02-21 Oppo广东移动通信有限公司 监测人眼注视时间的方法和装置、存储介质、电子设备
KR20200091669A (ko) * 2019-01-23 2020-07-31 전하진 스마트폰 사용자의 시력 보호 방법 및 그 방법을 수행하기 위한 어플리케이션
CN111046744A (zh) * 2019-11-21 2020-04-21 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VINEET SHETH;BHARAT KHETMALIS;ATUL GODASE；: "Controlling Computer Function Using Face & Eye Tracking", 《INTERNATIONAL ENGINEERING RESEARCH JOURNAL》 *
符歆瑶: "视点跟踪研究及其在显著物检测中的应用", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116909439A (zh) * 2023-09-13 2023-10-20 荣耀终端有限公司 电子设备及其交互方法
CN116909439B (zh) * 2023-09-13 2024-03-22 荣耀终端有限公司 电子设备及其交互方法

Also Published As

Publication number Publication date
CN112527103B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
US11650659B2 (en) User input processing with eye tracking
CN107609383B (zh) 3d人脸身份认证方法与装置
CN105184246B (zh) 活体检测方法和活体检测系统
US9075453B2 (en) Human eye controlled computer mouse interface
JP3361980B2 (ja) 視線検出装置及びその方法
CN102830797B (zh) 一种基于视线判断的人机交互方法及系统
Li et al. Learning to predict gaze in egocentric video
Al-Rahayfeh et al. Eye tracking and head movement detection: A state-of-art survey
US20180211104A1 (en) Method and device for target tracking
CN102547123B (zh) 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法
US8924735B2 (en) Managed biometric identity
Lee et al. Real-time gesture interface based on event-driven processing from stereo silicon retinas
CN109375765B (zh) 眼球追踪交互方法和装置
CN108681399B (zh) 一种设备控制方法、装置、控制设备及存储介质
WO2016127437A1 (zh) 活体人脸验证方法及系统、计算机程序产品
CN109343700B (zh) 眼动控制校准数据获取方法和装置
JP2005202653A (ja) 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
CN111898407B (zh) 一种基于人脸动作识别的人机交互操作系统
Ghani et al. GazePointer: A real time mouse pointer control implementation based on eye gaze tracking
KR20130043366A (ko) 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
Lemley et al. Eye tracking in augmented spaces: A deep learning approach
CN114821753B (zh) 一种基于视觉图像信息的眼动交互系统
CN106681509A (zh) 界面操作的方法和系统
CN104656884A (zh) 一种融合人脸和手势的智能终端人机交互方法
CN112527103B (zh) 显示设备的遥控方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant