CN112904997A - 设备控制方法及相关产品 - Google Patents

设备控制方法及相关产品 Download PDF

Info

Publication number
CN112904997A
CN112904997A CN201911228268.XA CN201911228268A CN112904997A CN 112904997 A CN112904997 A CN 112904997A CN 201911228268 A CN201911228268 A CN 201911228268A CN 112904997 A CN112904997 A CN 112904997A
Authority
CN
China
Prior art keywords
determining
current interface
coordinate
interface
eye movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911228268.XA
Other languages
English (en)
Other versions
CN112904997B (zh
Inventor
韩世广
方攀
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911228268.XA priority Critical patent/CN112904997B/zh
Publication of CN112904997A publication Critical patent/CN112904997A/zh
Application granted granted Critical
Publication of CN112904997B publication Critical patent/CN112904997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本申请公开了一种设备控制方法及相关产品，应用于电子设备，所述方法包括：采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；执行所述眼动输入事件。本申请实施例具有用户体验度高的优点。

Description

设备控制方法及相关产品
技术领域
本申请设计电子设备技术领域，具体涉及一种设备控制方法及相关产品。
背景技术
随着电子技术的发展，智能终端设备成为生活中不可或缺的电子设备，智能终端设备丰富了人们的日常生活。
目前，对于智能终端设备的控制，通常是由用户进行手动控制，在部分特殊情况下，需要通过眼球追踪来实现对设备的控制，但是目前通过眼球追踪对设备的控制通常是在注视的位置产生点击事件，控制类型单一，无法满足用户的多样需求，用户体验度不高。
发明内容
本申请实施例提供了一种设备控制方法及相关产品，有利于依据眼球追踪技术和电子设备的当前界面确定眼动输入事件，有利于满足用户的多样需求，提高用户体验度。
第一方面，本申请实施例提供一种设备控制方法，应用于电子设备，所述方法包括：
采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；
获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；
执行所述眼动输入事件。
第二方面，本申请实施例提供一种设备控制装置，其特征在于，应用于电子设备，所述装置：
计算单元，用于采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；
确定单元，用于获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；
执行单元，用于执行所述眼动输入事件。
第三方面，本申请实施例提供一种电子设备，包括控制器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述控制器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，电子设备采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；执行所述眼动输入事件。可见，本申请实施例中电子设备可以依据注视点坐标和当前界面确定眼动输入事件，有利于满足用户的多样化需求，从而提高用户体验度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图；
图2是本申请实施例提供的一种设备控制方法的流程示意图；
图3是本申请实施例提供的另一种设备控制方法的流程示意图；
图4是本申请实施例提供的另一种设备控制方法的流程示意图；
图5是本申请实施例提供的一种电子设备的结构示意图；
图6是本申请实施例提供的一种设备控制装置的功能单元组成框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或通信连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。
请参阅图1，图1是本申请实施例公开的一种电子设备的结构示意图，电子设备100包括存储和处理电路110，以及与所述存储和处理电路110连接的传感器170，其中：
电子设备100可以包括控制电路，该控制电路可以包括存储和处理电路110。该存储和处理电路110可以存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。
存储和处理电路110可用于运行电子设备100中的软件，例如互联网浏览应用程序，互联网协议语音(Voice over Internet Protocol,VOIP)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示屏上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备100中的其它功能等，本申请实施例不作限制。
电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出，即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170可以包括环境光传感器，基于光和电容的接近传感器，指纹识别模组，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，如加速度传感器和其它传感器等。
电子设备100还可以包括摄像头140，摄像头140包括：红外摄像头、彩色图像摄像头等等，摄像头可以为前置摄像头或者后置摄像头，指纹识别模组可集成于显示屏下方，用于采集指纹图像，指纹识别模组可以为以下至少一种：光学指纹识别模组、或者超声波指纹识别模组等等，在此不作限定。上述前置摄像头可以设置前面显示屏的下方，上述后置摄像头可以设置在后面显示屏的下方。当然上述前置摄像头或后置摄像头也可以不和显示屏集成设置，当然在实际应用中，上述前置摄像头或后置摄像头还可以为升降结构，本申请具体实施方式并不限制上述前置摄像头或后置摄像头的具体结构。
输入-输出电路150还可以包括一个或多个显示屏，当为多个显示屏时，例如2个显示屏时，一个显示屏可以设置在电子设备的前面，另一个显示屏可以设置在电子设备的后面，例如显示屏130。显示屏130可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即，显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。
通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。其中，通信电路120可以包括第一Wi-Fi通道和第二Wi-Fi通道，第一Wi-Fi通道和第二Wi-Fi通道同时运行实现双Wi-Fi功能。举例来说，通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near FieldCommunication，NFC)的电路。例如，通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。
电子设备100还可以进一步包括电池，电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。
用户可以通过输入-输出电路150输入命令来控制电子设备100的操作，并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。
基于上述图1所描述的电子设备，可以用于实现如下功能：
采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；
获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；
执行所述眼动输入事件。
请参阅图2，图2是本申请实施例提供的一种设备控制方法的流程示意图，应用于如图1所描述的电子设备，本设备控制方法包括：
步骤201、采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；
可选的，在采集目标对象的眼球图像之前，启动该电子设备的图像采集模组，其中，该图像采集模组可以包括：摄像头、红外灯源和红外传感器，该摄像头用于采集该目标对象的眼球图像，该红外灯源用于发射红外光，该红外光用于照射该目标对象的眼睛形成光斑，该红外传感器用于测量该目标对象与该设备的距离。
其中，启动该图像采集模组的方式可以包括生物识别、语音识别、人脸识别等等，该生物识别可以包括：指纹识别、静脉识别等等，在此不做限定。
其中，上述图像采集模组包含的摄像头可以为多个或多种模式的摄像头，例如，在一种可选的实施例中，可以通过设置在电子设备前端的RGB摄像头采集该眼球图像，在另一种可选的实施例中，可以通过RGB摄像头以及红外摄像头分别采集该眼球图像，即上述眼球图像可以为多张也可以为一张，本申请对上述步骤201的眼球图像的数量并不限定，对采集该眼球图像的具体实现方式也不限定。
可选的，依据眼球图像计算得到注视点坐标，可以包括：获取预设算法对该眼球图像进行处理，从该眼球图像中获取瞳孔中心坐标和外眼角坐标，其中，该预设算法可以包括：视线估计算法等等，在此不做限定；依据该瞳孔坐标以及外眼角坐标计算得到眼球的注视点落点，依据注视点落点确定该注视点坐标。
步骤202、获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；
可选的，获取该电子设备的当前界面，可以包括：启动该电子设备的截屏功能，通过执行该截屏功能获取该电子设备显示屏的当前界面。
步骤203、执行所述眼动输入事件。
可选的，启动该电子设备的预设模拟输入接口，通过该预设模拟输入接口产生该眼动输入事件对应的输入事件。
在一个可能的示例中，所述依据所述眼球图像计算得到注视点坐标，包括：对所述眼球图像进行处理得到所述眼球图像对应的瞳孔中心坐标；依据所述眼球图像确定眼球角膜区域，在所述眼球角膜区域执行亮斑检测，确定亮斑坐标；依据所述瞳孔中心坐标和所述亮斑坐标计算坐标向量，获取预设的拟合函数，依据所述拟合函数与所述坐标向量计算所述注视点坐标。
可选的，对眼球图像进行处理得到眼球图像对应的瞳孔中心坐标，包括：获取预设瞳孔处理算法对该眼球图像进行处理得到瞳孔待定范围，其中，该瞳孔处理算法可以包括：在该眼球图像中对圆形区域进行检测，确定该眼球图像包含的圆形区域为瞳孔待定范围；求取瞳孔待定范围内的每个像素点的所有方向的位移向量以及梯度方向的和，计算该所有方向和的平均值，确定瞳孔待定范围内所有像素点的和的平均值中的最大值对应的点，该点即为该瞳孔的瞳孔中心点，获取该点对应的坐标即为该瞳孔中心坐标。
可选的，依据该眼球图像确定该眼球角膜区域，包括：获取预设的第一阈值与第二阈值，该第一阈值和第二阈值用于对该眼球角膜区域进行定位，第一阈值大于第二阈值，依据该瞳孔中心点和该第一阈值确定第一坐标，依据该瞳孔中心点和盖第二阈值确定第二坐标，其中，该第一坐标与该第二坐标对应的区域为该眼球角膜区域。
可选的，对眼球图像进行处理得到眼球图像对应的瞳孔中心坐标，还可以包括：对该眼球图像采用二值化方法寻找潜在瞳孔区域，对图像中相同像素的连通域进行分析去除该潜在瞳孔区域中明显非瞳孔区域，得到过滤后的瞳孔区域，对该过滤后的瞳孔区域的形状进行判断确定该过滤后的瞳孔区域是否为椭圆，如过滤后的瞳孔区域为非椭圆，则将该过滤后的瞳孔区域删除，如过滤后的瞳孔区域为椭圆，对该过滤后的瞳孔区域通过椭圆拟合获得椭圆的中心点，该椭圆的中心点坐标即为该瞳孔中心坐标。
可选的，依据瞳孔中心坐标和凉拌坐标计算坐标向量，包括：获取瞳孔中心坐标(x1，y1)，亮斑坐标为(m，n)，则该坐标向量(x2,y2)为该瞳孔中心坐标与该亮斑坐标之间的向量，即(x2,y2)＝(x1-m,y1-n)。
其中，该预设的拟合函数可以包括：
x＝a+a1*x2+a2*y2+a3*x2*y2+a4*x2 2+a5*y2 2,
y＝b+b1*y2+b2*x2+b3*x2*y2+b4*x2 2+b5*y2 2；
其中，x为该注视点的横坐标，y为该注视点的纵坐标。
在一个可能的示例中，所述依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件，包括：将所述当前界面和所述注视点坐标作为预设的决策树模型的输入，得到指令编号；确定所述指令编号对应的触摸动作，基于所述触摸动作确定所述眼动输入事件。
可选的，在将当前界面和注视点坐标作为预设的决策树模型的输入之前，还包括：采集预设时间内的原始数据，该原始数据为该电子设备在该预设时间内采集的触摸输入动作记录和该触摸输入动作记录对应的显示界面；对该原始数据中包含的显示界面进行编号，该编号的最大值表示在该预设时间内采集的不同界面的总数；获取该触摸输入动作记录，将该触摸输入动作记录中包含的多个触摸输入动作对应的多个横坐标和多个纵坐标分开记录，获取该多个触摸输入动作对应的多个触摸输入数据，依据该多个触摸输入数据确定该多个触摸输入动作对应的动作类别编号，其中，该动作类别包括：点击类、长按类和滑动类，其中，该点击类触摸动作对应的编号为0，对于该长按类触摸动作，对长按时间ttouch按照每100ms记为同一事件，处理方法为：长按编号＝ttouch％100+1，并且，长按时间阈值为3000ms，等于或者超过3000ms编号为30，确定该长按类触摸动作对应的编号为1-30；对于滑动类触摸动作，获取该滑动类触摸动作的滑动方向，依据该滑动方向Atouch按照每10度记为同一事件，处理方法为：滑动编号＝Atouch％10+30，确定该滑动类触摸动作对应的编号为31-65，依据该动作类别编号、触摸输入动作确定样本矩阵。
进一步地，依据该样本矩阵构建该决策树模型，该样本矩阵D中包含样本特征集合A和样本类别集合U，该样本特征集合A中任意一个样本特征包括：触摸输入动作横坐标、触摸输入动作纵坐标和触摸输入动作对应的显示界面，该样本类别集合U为该样本特征集合A中多个样本特征对应的动作类别编号；判断样本矩阵D中包含的样本是否为同一类别，若该样本矩阵D中所有样本为同一类别，则置该决策树T为单节点树，该样本类别为该决策树T的输入，若该样本矩阵D中所有样本非同一类别，计算该样本特征集合A中多个样本特征的多个信息增益比，确定多个信息增益比最大的特征Ag，对Ag的每一个取值ai，依照Ag＝ai将D划分为若干个非空集合Di，作为T的子结点；对于每个子结点i，以(A-Ag)作为特征，Di作为数据集，递归调用1-3步，构建子树，直到(A-Ag)为空，也就是所有特征都用完，叶子节点的输出值设为Di中出现次数最多的输入动作，算法结束，输出是该决策树T
其中，计算该信息增益比包括：依据预设的经验熵计算公式计算该样本空间的经验熵H(D)＝P(u＝0)logP(u＝0)+P(u＝1)logP(u＝1)+…，其中，u为样本矩阵中输入动作的取值P(u＝0)＝N(u＝0)/N，N为该样本矩阵中包含的样本的总数，获取预设的信息增益比计算公式确定该多个信息增益比
g(D,A)＝H(D)-H(D|A)/H(D)，
其中，
Figure BDA0002302800400000091
n为该样本特征集合A的取值类别，Di是样本矩阵D中当样本特征集合A的取值为i时的子集。
具体实施过程中，将当前界面和注视点坐标作为该决策树模型的输入，获取该决策树模型的输入，该输出为指令编号，假设得到该指令编号为0，则确定该执行编号0对应的触摸动作为点击动作，针对该注视点对应的区域和该点击动作生成眼动输入事件。
在一个可能的示例中，所述依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件，包括：确定所述当前界面对应的应用类，获取所述应用类对应的多个应用界面；将所述当前界面与所述多个应用界面进行比对，若比对成功，从所述多个应用界面中确定所述当前界面对应的目标应用界面；获取所述目标应用界面对应的划分规则，依据所述划分规则对所述目标应用界面进行划分，得到多个界面区域；依据所述多个界面区域和所述注视点坐标确定所述眼动输入事件。
可选的，将当前界面与多个应用界面进行比对，包括：从该当前界面中提取当前图标特征，获取该多个应用界面对应的多个图标特征，将该当前图标特征与该多个图标特征进行比对，得到多个图标相似度，获取该多个图标相似度中的最大值，判断该最大值是否大于预设的图标相似度阈值，若该最大值大于该图标相似度阈值，确定该当前图标特征与该最大值对应的图标特征比对成功，确定该最大值对应的图标特征对应的应用界面为目标应用界面。
在一个可能的示例中，所述依据所述多个界面区域和所述注视点坐标确定所述眼动输入事件，包括：从所述多个界面区域中确定包含所述注视点坐标的目标界面区域；获取所述目标界面区域的触摸指令，基于所述触摸指令确定所述眼动输入事件。
可选的，依据多个界面区域和注视点坐标确定眼动输入事件，还可以包括：从多个界面区域中确定包含注视点坐标的目标界面区域；获取目标界面区域对应的指令编号，获取该指令编号对应的眼动输入事件。
可以看出，本申请实施例中，电子设备采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；执行所述眼动输入事件。可见，本申请实施例中电子设备可以依据注视点坐标和当前界面确定眼动输入事件，有利于满足用户的多样化需求，从而提高用户体验度。
请参阅图3，图3是本申请实施例提供的另一种设备控制方法的流程示意图，应用于电子设备，如图所示，本设备控制方法包括：
步骤301、采集目标对象的眼球图像，对所述眼球图像进行处理得到所述眼球图像对应的瞳孔中心坐标；
步骤302、依据所述眼球图像确定眼球角膜区域，在所述眼球角膜区域执行亮斑检测，确定亮斑坐标；
步骤303、依据所述瞳孔中心坐标和所述亮斑坐标计算坐标向量，获取预设的拟合函数，依据所述拟合函数与所述坐标向量计算所述注视点坐标；
步骤304、获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；
步骤305、执行所述眼动输入事件。
其中，上述步骤301-步骤305的具体描述可以参照上述图2所描述的设备控制方法的相应步骤，在此不再赘述。
可以看出，在本申请实施例中，电子设备采集目标对象的眼球图像，对该眼球图像进行处理得到该眼球图像对应的瞳孔中心坐标；依据该眼球图像确定眼球角膜区域，在该眼球角膜区域执行亮斑检测，确定亮斑坐标；依据该瞳孔中心坐标和该亮斑坐标计算坐标向量，获取预设的拟合函数，依据该拟合函数与该坐标向量计算该注视点坐标；获取该电子设备的当前界面，依据该当前界面和该注视点坐标确定针对该当前界面的眼动输入事件；执行该眼动输入事件。如此，可以通过瞳孔中心坐标和亮斑坐标以及拟合函数确定注视点坐标，提高了注视点坐标的精确度，从而提高了眼球追踪的精确度，依据该注视点坐标和当前界面确定并执行眼动输入事件实现设备控制，有利于满足用户的多样化需求，从而提高用户体验度。
请参阅图4，图4是本申请实施例提供的另一种设备控制方法的流程示意图，应用于电子设备，如图所示，本设备控制方法包括：
步骤401、采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；
步骤402、获取所述电子设备的当前界面，将所述当前界面和所述注视点坐标作为预设的决策树模型的输入，得到指令编号；
步骤403、确定所述指令编号对应的触摸动作，基于所述触摸动作确定所述眼动输入事件；
步骤404、执行所述眼动输入事件。
其中，上述步骤401-步骤404的具体描述可以参照上述图2所描述的设备控制方法的相应步骤，在此不再赘述。
可以看出，在本申请实施例中，电子设备采集目标对象的眼球图像，依据该眼球图像计算得到注视点坐标；获取该电子设备的当前界面，将该当前界面和该注视点坐标作为预设的决策树模型的输入，得到指令编号；确定该指令编号对应的触摸动作，基于该触摸动作确定该眼动输入事件；执行该眼动输入事件。如此，可以通过当前界面和注视点坐标作为决策树模型的输入得到指令编号，依据指令编号确定并执行眼动输入事件实现设备控制，有利于满足用户的多样化需求，从而提高用户体验度。
与所述图2、图3、图4所示的实施例一致的，请参阅图5，图5是本申请实施例提供的一种电子设备500的结构示意图，如图所示，所述电子设备500包括应用处理器510、存储器520、通信接口530以及一个或多个程序521，其中，所述一个或多个程序521被存储在上述存储器520中，并且被配置由上述应用处理器510执行，所述一个或多个程序521包括用于执行以下步骤的指令：
采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；
获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；
执行所述眼动输入事件。
可以看出，本申请实施例中，电子设备采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；执行所述眼动输入事件。可见，本申请实施例中电子设备可以依据注视点坐标和当前界面确定眼动输入事件，有利于满足用户的多样化需求，从而提高用户体验度。
在一个可能的示例中，在所述依据所述眼球图像计算得到注视点坐标方面，所述程序中的指令具体用于执行以下操作：对所述眼球图像进行处理得到所述眼球图像对应的瞳孔中心坐标；依据所述眼球图像确定眼球角膜区域，在所述眼球角膜区域执行亮斑检测，确定亮斑坐标；依据所述瞳孔中心坐标和所述亮斑坐标计算坐标向量，获取预设的拟合函数，依据所述拟合函数与所述坐标向量计算所述注视点坐标。
在一个可能的示例中，在所述依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件方面，所述程序中的指令具体用于执行以下操作：将所述当前界面和所述注视点坐标作为预设的决策树模型的输入，得到指令编号；确定所述指令编号对应的触摸动作，基于所述触摸动作确定所述眼动输入事件。
在一个可能的示例中，在所述依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件方面，所述程序中的指令具体用于执行以下操作：确定所述当前界面对应的应用类，获取所述应用类对应的多个应用界面；将所述当前界面与所述多个应用界面进行比对，若比对成功，从所述多个应用界面中确定所述当前界面对应的目标应用界面；获取所述目标应用界面对应的划分规则，依据所述划分规则对所述目标应用界面进行划分，得到多个界面区域；依据所述多个界面区域和所述注视点坐标确定所述眼动输入事件。
在一个可能的示例中，在所述依据所述多个界面区域和所述注视点坐标确定所述眼动输入事件方面，所述程序中的指令具体用于执行以下操作：从所述多个界面区域中确定包含所述注视点坐标的目标界面区域；获取所述目标界面区域的触摸指令，基于所述触摸指令确定所述眼动输入事件。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个控制单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图6是本申请实施例中所涉及的设备控制装置600的功能单元组成框图。该设备控制装置600应用于电子设备，设备控制装置600包括计算单元601、确定单元602、执行单元603，其中：
计算单元601，用于采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；
确定单元602，用于获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；
执行单元603，用于执行所述眼动输入事件。
可以看出，本申请实施例中，电子设备采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；执行所述眼动输入事件。可见，本申请实施例中电子设备可以依据注视点坐标和当前界面确定眼动输入事件，有利于满足用户的多样化需求，从而提高用户体验度。
在一个可能的示例中，在所述依据所述眼球图像计算得到注视点坐标方面，所述计算单元601，具体用于：对所述眼球图像进行处理得到所述眼球图像对应的瞳孔中心坐标；依据所述眼球图像确定眼球角膜区域，在所述眼球角膜区域执行亮斑检测，确定亮斑坐标；依据所述瞳孔中心坐标和所述亮斑坐标计算坐标向量，获取预设的拟合函数，依据所述拟合函数与所述坐标向量计算所述注视点坐标。
在一个可能的示例中，在所述依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件方面，所述确定单元602，具体用于：将所述当前界面和所述注视点坐标作为预设的决策树模型的输入，得到指令编号；确定所述指令编号对应的触摸动作，基于所述触摸动作确定所述眼动输入事件。
在一个可能的示例中，在所述依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件方面，所述确定单元602，具体用于：确定所述当前界面对应的应用类，获取所述应用类对应的多个应用界面；将所述当前界面与所述多个应用界面进行比对，若比对成功，从所述多个应用界面中确定所述当前界面对应的目标应用界面；获取所述目标应用界面对应的划分规则，依据所述划分规则对所述目标应用界面进行划分，得到多个界面区域；依据所述多个界面区域和所述注视点坐标确定所述眼动输入事件。
在一个可能的示例中，在所述依据所述多个界面区域和所述注视点坐标确定所述眼动输入事件方面，所述确定单元602，具体用于：从所述多个界面区域中确定包含所述注视点坐标的目标界面区域；获取所述目标界面区域的触摸指令，基于所述触摸指令确定所述眼动输入事件。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种设备控制方法，其特征在于，应用于电子设备，所述方法包括：
采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；
获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；
执行所述眼动输入事件。
2.根据权利要求1所述的方法，其特征在于，所述依据所述眼球图像计算得到注视点坐标，包括：
对所述眼球图像进行处理得到所述眼球图像对应的瞳孔中心坐标；
依据所述眼球图像确定眼球角膜区域，在所述眼球角膜区域执行亮斑检测，确定亮斑坐标；
依据所述瞳孔中心坐标和所述亮斑坐标计算坐标向量，获取预设的拟合函数，依据所述拟合函数与所述坐标向量计算所述注视点坐标。
3.根据权利要求1所述的方法，其特征在于，所述依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件，包括：
将所述当前界面和所述注视点坐标作为预设的决策树模型的输入，得到指令编号；
确定所述指令编号对应的触摸动作，基于所述触摸动作确定所述眼动输入事件。
4.根据权利要求1所述的方法，其特征在于，所述依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件，包括：
确定所述当前界面对应的应用类，获取所述应用类对应的多个应用界面；
将所述当前界面与所述多个应用界面进行比对，若比对成功，从所述多个应用界面中确定所述当前界面对应的目标应用界面；
获取所述目标应用界面对应的划分规则，依据所述划分规则对所述目标应用界面进行划分，得到多个界面区域；
依据所述多个界面区域和所述注视点坐标确定所述眼动输入事件。
5.根据权利要求4所述的方法，其特征在于，所述依据所述多个界面区域和所述注视点坐标确定所述眼动输入事件，包括：
从所述多个界面区域中确定包含所述注视点坐标的目标界面区域；
获取所述目标界面区域的触摸指令，基于所述触摸指令确定所述眼动输入事件。
6.一种设备控制装置，其特征在于，应用于电子设备，所述装置：
计算单元，用于采集目标对象的眼球图像，依据所述眼球图像计算得到注视点坐标；
确定单元，用于获取所述电子设备的当前界面，依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件；
执行单元，用于执行所述眼动输入事件。
7.根据权利要求6所述的装置，其特征在于，在所述依据所述眼球图像计算得到注视点坐标方面，所述计算单元，具体用于：
对所述眼球图像进行处理得到所述眼球图像对应的瞳孔中心坐标；
依据所述眼球图像确定眼球角膜区域，在所述眼球角膜区域执行亮斑检测，确定亮斑坐标；
依据所述瞳孔中心坐标和所述亮斑坐标计算坐标向量，获取预设的拟合函数，依据所述拟合函数与所述坐标向量计算所述注视点坐标。
8.根据权利要求6所述的方法，其特征在于，在所述依据所述当前界面和所述注视点坐标确定针对所述当前界面的眼动输入事件方面，所述确定单元，具体用于：
将所述当前界面和所述注视点坐标作为预设的决策树模型的输入，得到指令编号；
确定所述指令编号对应的触摸动作，基于所述触摸动作确定所述眼动输入事件。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
CN201911228268.XA 2019-12-04 2019-12-04 设备控制方法及相关产品 Active CN112904997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911228268.XA CN112904997B (zh) 2019-12-04 2019-12-04 设备控制方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911228268.XA CN112904997B (zh) 2019-12-04 2019-12-04 设备控制方法及相关产品

Publications (2)

Publication Number Publication Date
CN112904997A true CN112904997A (zh) 2021-06-04
CN112904997B CN112904997B (zh) 2023-05-26

Family

ID=76110974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911228268.XA Active CN112904997B (zh) 2019-12-04 2019-12-04 设备控制方法及相关产品

Country Status (1)

Country Link
CN (1) CN112904997B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116069165A (zh) * 2023-02-14 2023-05-05 中国民用航空总局第二研究所 一种远程塔台光学系统的目标界面确定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
CN205359411U (zh) * 2015-12-25 2016-07-06 重庆金山科技（集团）有限公司 一种内窥镜图像控制系统
CN106537290A (zh) * 2014-05-09 2017-03-22 谷歌公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法
CN110248024A (zh) * 2019-06-11 2019-09-17 Oppo广东移动通信有限公司 解锁方法及相关设备
CN110345815A (zh) * 2019-07-16 2019-10-18 吉林大学 一种基于视线追踪的履带车枪械瞄准方法
CN110427108A (zh) * 2019-07-26 2019-11-08 Oppo广东移动通信有限公司 基于眼球追踪的拍照方法及相关产品
US20190362557A1 (en) * 2018-05-22 2019-11-28 Magic Leap, Inc. Transmodal input fusion for a wearable system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
CN106537290A (zh) * 2014-05-09 2017-03-22 谷歌公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法
CN205359411U (zh) * 2015-12-25 2016-07-06 重庆金山科技（集团）有限公司 一种内窥镜图像控制系统
US20190362557A1 (en) * 2018-05-22 2019-11-28 Magic Leap, Inc. Transmodal input fusion for a wearable system
CN110248024A (zh) * 2019-06-11 2019-09-17 Oppo广东移动通信有限公司 解锁方法及相关设备
CN110345815A (zh) * 2019-07-16 2019-10-18 吉林大学 一种基于视线追踪的履带车枪械瞄准方法
CN110427108A (zh) * 2019-07-26 2019-11-08 Oppo广东移动通信有限公司 基于眼球追踪的拍照方法及相关产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116069165A (zh) * 2023-02-14 2023-05-05 中国民用航空总局第二研究所 一种远程塔台光学系统的目标界面确定方法
CN116069165B (zh) * 2023-02-14 2024-02-09 中国民用航空总局第二研究所 一种远程塔台光学系统的目标界面确定方法

Also Published As

Publication number Publication date
CN112904997B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
US10169639B2 (en) Method for fingerprint template update and terminal device
EP3252640B1 (en) Method for launching application and terminal
CN106951884B (zh) 采集指纹的方法、装置及电子设备
US9779527B2 (en) Method, terminal device and storage medium for processing image
CN109583356B (zh) 指纹识别方法及相关产品
EP3035283A1 (en) Image processing method and apparatus, and terminal device
KR20150128377A (ko) 지문 처리 방법 및 그 전자 장치
US10423814B2 (en) Method for unlocking mobile terminal and mobile terminal
CN110688973B (zh) 设备控制方法及相关产品
US11151398B2 (en) Anti-counterfeiting processing method, electronic device, and non-transitory computer-readable storage medium
CN111338725A (zh) 界面布局方法及相关产品
CN108958587B (zh) 分屏处理方法、装置、存储介质和电子设备
CN110245607B (zh) 眼球追踪方法及相关产品
US20220350404A1 (en) Method for image display and related products
CN112306366A (zh) 操作方法、移动终端及存储介质
CN112329926A (zh) 智能机器人的质量改善方法及系统
CN110298274B (zh) 光学指纹参数升级方法及相关产品
CN108803961B (zh) 数据处理方法、装置以及移动终端
CN110796673B (zh) 图像分割方法及相关产品
CN110244848B (zh) 阅读控制方法及相关设备
CN112904997B (zh) 设备控制方法及相关产品
CN107632985B (zh) 网页预加载方法及装置
CN110221696B (zh) 眼球追踪方法及相关产品
CN108491074B (zh) 电子装置、运动辅助方法及相关产品
CN114079729A (zh) 拍摄控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant