CN112783330A - 电子设备的操作方法、装置和电子设备 - Google Patents

电子设备的操作方法、装置和电子设备 Download PDF

Info

Publication number
CN112783330A
CN112783330A CN202110280578.7A CN202110280578A CN112783330A CN 112783330 A CN112783330 A CN 112783330A CN 202110280578 A CN202110280578 A CN 202110280578A CN 112783330 A CN112783330 A CN 112783330A
Authority
CN
China
Prior art keywords
user
target key
key icon
determining
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110280578.7A
Other languages
English (en)
Inventor
孙英捷
刘海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202110280578.7A priority Critical patent/CN112783330A/zh
Publication of CN112783330A publication Critical patent/CN112783330A/zh
Priority to PCT/CN2022/079684 priority patent/WO2022193989A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提出了一种电子设备的操作方法、装置和电子设备,其中,上述电子设备的操作方法中,电子设备获取使用该电子设备的用户的瞳孔区域信息,然后根据上述用户的瞳孔区域信息,确定目标按键图标在电子设备当前的显示界面中的显示位置,进而电子设备生成目标按键图标,并在上述显示位置处,显示目标按键图标,然后检测用户对上述目标按键图标的注视时长,根据上述注视时长,确定针对上述目标按键图标的操作权重,确定与上述操作权重对应的操作指令,执行上述操作指令,从而可以通过人眼注视目标按键图标,实现对电子设备进行操作,减少操作电子设备时手指的使用频率,并且降低了声音控制电子设备时对环境安静程度的需求。

Description

电子设备的操作方法、装置和电子设备
【技术领域】
本申请实施例涉及终端设备技术领域,尤其涉及一种电子设备的操作方法、装置和电子设备。
【背景技术】
随着现代科技的发展,手机功能在其原有的电话沟通的基础上逐渐趋于多样化和多元化,成为人们生活中不可或缺的一部分,同时使用手机的便利性和轻松性也逐渐成为人们追逐的热点。
现有的较为成熟的手机操作方法包括声音控制和/或手指操作(包括:滑动、轻按和/或重按)。但这两种操作方法也具有一定的局限性,声音控制的方法对于环境的安静程度有着较高的需求,在较为嘈杂的环境中几乎无法使用声音进行控制,同时由于声音控制需要涉及海量指令的输入和输出,极大程度地限制了声音控制的可操作空间,导致现有的声音控制的方法在便利性上远低于手指操作。而手指操作的方法需要使用人的手指或者肢体进行控制,对于部分残疾人和/或特定疾病(例如:帕金森氏症或中风)患者,使用手指操作手机几乎无法实现。同时长时间使用手指操作手机,用户会出现手指疲劳和/或手指酸麻的症状,另外,在寒冷环境下手指操作也会给使用者带来不适。
【发明内容】
本申请实施例提供了一种电子设备的操作方法、装置和电子设备,以实现用户通过眼球的移动和注视,对电子设备进行操作,减少操作电子设备时手指的使用频率,并降低声音控制电子设备时对环境安静程度的需求。
第一方面,本申请实施例提供一种电子设备的操作方法,包括:获取使用电子设备的用户的瞳孔区域信息;根据所述用户的瞳孔区域信息,确定目标按键图标在所述电子设备当前的显示界面中的显示位置;生成所述目标按键图标,并在所述显示位置处,显示所述目标按键图标;检测所述用户对所述目标按键图标的注视时长;根据所述注视时长,确定针对所述目标按键图标的操作权重;确定与所述操作权重对应的操作指令,执行所述操作指令。
上述电子设备的操作方法中,电子设备获取使用该电子设备的用户的瞳孔区域信息,然后根据上述用户的瞳孔区域信息,确定目标按键图标在电子设备当前的显示界面中的显示位置,进而电子设备生成目标按键图标,并在上述显示位置处,显示目标按键图标,然后检测用户对上述目标按键图标的注视时长,根据上述注视时长,确定针对上述目标按键图标的操作权重,确定与上述操作权重对应的操作指令,执行上述操作指令,从而可以通过人眼注视目标按键图标,实现对电子设备进行操作,减少操作电子设备时手指的使用频率,并且降低了声音控制电子设备时对环境安静程度的需求。
其中一种可能的实现方式中,所述根据所述用户的瞳孔区域信息,确定目标按键图标在所述电子设备当前的显示界面中的显示位置包括:根据所述用户的瞳孔区域信息,利用预先训练的机器学习模型获得所述目标按键图标在所述显示界面中的显示位置。
其中一种可能的实现方式中,所述获取使用电子设备的用户的瞳孔区域信息包括:通过所述电子设备中的传感器捕捉用户的瞳孔所在区域;通过所述电子设备中的采集器,在所述瞳孔所在区域中标记瞳孔并获取所述用户的瞳孔区域信息。
其中一种可能的实现方式中,所述根据所述用户的瞳孔区域信息,利用预先训练的机器学习模型获得所述目标按键图标在所述显示界面中的显示位置包括:根据所述用户的瞳孔区域信息,计算所述用户的瞳孔中心点相对所述传感器水平方向的距离,以及所述用户的瞳孔中心点相对所述传感器垂直方向的角度;根据所述距离和所述角度,利用预先训练的机器学习模型获得所述目标按键图标在所述显示界面中的显示位置。
其中一种可能的实现方式中,所述确定与所述操作权重对应的操作指令包括:当所述操作权重为第一等级时,确定与所述操作权重对应的操作指令为点击操作对应的操作指令;当所述操作权重为第二等级时,确定与所述操作权重对应的操作指令为长按操作对应的操作指令;当所述操作权重为第一等级结合第二等级时,确定与所述操作权重对应的操作指令为滑动操作对应的操作指令。
其中一种可能的实现方式中,所述根据所述注视时长,确定针对所述目标按键图标的操作权重之后,还包括:根据所述操作权重,调整所述目标按键图标的显示效果;其中,所述显示效果包括颜色、大小和/或亮度。
第二方面,本申请实施例提供一种电子设备的操作装置,包括:获取模块,用于获取使用电子设备的用户的瞳孔区域信息;确定模块,用于根据所述用户的瞳孔区域信息,确定目标按键图标在所述电子设备当前的显示界面中的显示位置;生成模块,用于生成所述目标按键图标;显示模块,用于在所述确定模块确定的显示位置处,显示所述生成模块生成的目标按键图标;检测模块,用于检测所述用户对所述目标按键图标的注视时长;所述确定模块,还用于根据所述注视时长,确定针对所述目标按键图标的操作权重;以及确定与所述操作权重对应的操作指令;执行模块,用于执行所述操作指令。
其中一种可能的实现方式中,所述确定模块,具体用于根据所述用户的瞳孔区域信息,利用预先训练的机器学习模型获得所述目标按键图标在所述显示界面中的显示位置。
其中一种可能的实现方式中,所述获取模块,具体用于通过所述电子设备中的传感器捕捉用户的瞳孔所在区域;以及通过所述电子设备中的采集器,在所述瞳孔所在区域中标记瞳孔并获取所述用户的瞳孔区域信息。
其中一种可能的实现方式中,所述确定模块包括:计算子模块,用于根据所述用户的瞳孔区域信息,计算所述用户的瞳孔中心点相对所述传感器水平方向的距离,以及所述用户的瞳孔中心点相对所述传感器垂直方向的角度;位置确定子模块,用于根据所述距离和所述角度,利用预先训练的机器学习模型获得所述目标按键图标在所述显示界面中的显示位置。
其中一种可能的实现方式中,所述确定模块包括:指令确定子模块,用于当所述操作权重为第一等级时,确定与所述操作权重对应的操作指令为点击操作对应的操作指令;当所述操作权重为第二等级时,确定与所述操作权重对应的操作指令为长按操作对应的操作指令;当所述操作权重为第一等级结合第二等级时,确定与所述操作权重对应的操作指令为滑动操作对应的操作指令。
其中一种可能的实现方式中,所述装置还包括:调整模块,用于在所述确定模块确定针对所述目标按键图标的操作权重之后,根据所述操作权重,调整所述目标按键图标的显示效果;其中,所述显示效果包括颜色、大小和/或亮度。
第三方面,本申请实施例提供一种电子设备,包括:至少一个处理器;与所述处理器通信连接的传感器和采集器;以及与所述处理器通信连接的至少一个存储器,其中:所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面提供的方法。
第四方面,本申请实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面提供的方法。
应当理解的是,本申请实施例的第二~四方面与本申请实施例的第一方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
【附图说明】
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请一个实施例提供的电子设备的操作方法的流程图;
图2为本申请一个实施例提供的目标按键图标的示意图;
图3为本申请另一个实施例提供的电子设备的操作方法的流程图;
图4为本申请再一个实施例提供的电子设备的操作方法的流程图;
图5为本申请一个实施例提供的电子设备的操作装置的结构示意图;
图6为本申请另一个实施例提供的电子设备的操作装置的结构示意图;
图7为本申请一个实施例提供的电子设备的结构示意图。
【具体实施方式】
为了更好的理解本申请的技术方案,下面结合附图对本申请实施例进行详细描述。
应当明确,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
现有相关技术中,电子设备的操作方法一般包括声音控制和/或手指操作,如前所述,这两种操作方法均有一定的局限性。相比声音控制和/或手指操作的方法,由于用户在操作电子设备时本就会时刻关注电子设备,人眼的动作比手指要细微且轻松的多,并且对环境的安静程度没有要求。现有的通过眼球运动操作电子设备的方案,需要在电子设备中嵌入视觉系统微处理芯片、视觉传感器和视觉采集器等,通过视觉采集器获取用户眼球运动轨迹信息,并将该运动轨迹信息发送给视觉传感器,视觉传感器将该运动轨迹信息发送给视觉系统微处理芯片,通过视觉微处理芯片进行处理,生成信息指令数据,并发送给电子设备中的微控制器;微控制器再调用视觉系统程序算法存储器,对上述信息指令数据进行比较分析,获取控制指令,并发送给电子设备的中央处理单元(central processing unit,CPU);电子设备的CPU根据该控制指令对手机进行操作。
现有的实现方案通过捕捉眼球的运动轨迹,将运动轨迹作为输入发送给控制器并转化为控制指令发送给电子设备的CPU,随机性较高,具有极高的复杂度,需要大量运算,在操作的准确性和多样性上具有较大的挑战。
本申请实施例提供一种电子设备的操作方法,结合机器学习使用眼球来操作电子设备,具体地,利用视觉采集传感器采集人眼瞳孔中心位置作为输入,用户注视电子设备的显示界面的坐标作为输出,使用机器学习模型对输入输出进行反复训练,建立输入输出映射。然后,通过检测用户眼球的上下左右移动和/或注视的动作,来模拟用户手指的上下左右滑动、轻按和/或重按等操作。
图1为本申请一个实施例提供的电子设备的操作方法的流程图,如图1所示,上述电子设备的操作方法可以包括:
步骤101,电子设备获取使用该电子设备的用户的瞳孔区域信息。
本实施例中,在电子设备中嵌入可捕捉人眼瞳孔的传感器和采集器。这样,电子设备获取使用该电子设备的用户的瞳孔区域信息可以为:电子设备通过上述电子设备中的传感器捕捉用户的瞳孔所在区域;然后,通过电子设备中的采集器,在上述瞳孔所在区域中标记瞳孔并获取上述用户的瞳孔区域信息。
具体实现时,电子设备可以使用上述采集器,结合神经网络算法,在上述瞳孔所在区域中标记瞳孔,并获取上述用户的瞳孔区域信息。
其中,上述电子设备可以为智能手机、平板电脑、智能手表或车载设备等智能终端设备,本实施例对上述电子设备的具体类型不作限定。
步骤102,电子设备根据上述用户的瞳孔区域信息,确定目标按键图标在电子设备当前的显示界面中的显示位置。
步骤103,电子设备生成上述目标按键图标,并在上述显示位置处,显示目标按键图标。
参见图2,图2为本申请一个实施例提供的目标按键图标的示意图,如图2所示,假设用户在电子设备当前的显示界面中注视应用1的图标,则在根据用户的瞳孔区域信息,确定目标按键图标的显示位置之后,电子设备可以生成目标按键图标,并在上述显示位置处显示目标按键图标21。本实施例中,上述目标按键图标21的形状可以为圆形,直径可以为10毫米,颜色为白色呈半透明状;但本实施例并不仅限于此,目标按键图标的大小也可以为5毫米或6毫米等其他尺寸,形状还可以为矩形或三角形等其他形状,颜色还可以为红色或黄色等颜色,本实施例对上述目标按键图标的形状、大小和/或颜色等不作限定。
具体实现时,为了不遮挡电子设备当前的显示界面中的显示内容,目标按键图标21的颜色一般不选择纯色,并尽量呈半透明的状态。
步骤104,电子设备检测用户对上述目标按键图标的注视时长。
步骤105,电子设备根据上述注视时长,确定针对上述目标按键图标的操作权重。
步骤106,电子设备确定与上述操作权重对应的操作指令,执行上述操作指令。
具体地,电子设备确定与上述操作权重对应的操作指令可以为:当操作权重为第一等级时,确定与上述操作权重对应的操作指令为点击操作对应的操作指令;当上述操作权重为第二等级时,确定与上述操作权重对应的操作指令为长按操作对应的操作指令;当上述操作权重为第一等级结合第二等级时,确定与上述操作权重对应的操作指令为滑动操作对应的操作指令。其中,上述第一等级可以低于或高于第二等级,本实施例对此不作限定,下面以第一等级低于第二等级为例进行说明。
参见图2,假设用户在电子设备当前的显示界面中注视应用1的图标,则电子设备可以根据用户的瞳孔区域信息,确定目标按键图标的显示位置,进而在上述显示位置处显示目标按键图标21。然后,电子设备检测用户对上述目标按键图标21的注视时长,根据上述注视时长,确定针对上述目标按键图标的操作权重。具体实现时,在确定操作权重时,可以按照注视时长的由短到长,将上述操作权重分为低中高3个等级,举例来说,当注视时长小于2秒时,确定操作权重为低等级;当注视时长大于或等于2秒,并且小于3.6秒时,确定操作权重为中等级;当注视时长大于或等于3.6秒时,确定操作权重为高等级。其中,操作权重为低等级时,操作无效;操作权重为中等级时,模拟手指点击屏幕的操作;操作权重为高等级时,模拟手指长按屏幕的操作;操作权重为高等级结合中等级时,例如用户注视目标按键图标21的时长达到3.6秒,之后再注视目标按键图标21的时长为2秒,模拟手指滑动屏幕的操作。从而,可以通过人眼注视目标按键图标21,达到与手指轻点、长按和滑动屏幕同样的效果。
上述电子设备的操作方法中,电子设备获取使用该电子设备的用户的瞳孔区域信息,然后根据上述用户的瞳孔区域信息,确定目标按键图标在电子设备当前的显示界面中的显示位置,进而电子设备生成目标按键图标,并在上述显示位置处,显示目标按键图标,然后检测用户对上述目标按键图标的注视时长,根据上述注视时长,确定针对上述目标按键图标的操作权重,确定与上述操作权重对应的操作指令,执行上述操作指令,从而可以通过人眼注视目标按键图标,实现对电子设备进行操作,减少操作电子设备时手指的使用频率,并且降低了声音控制电子设备时对环境安静程度的需求。
图3为本申请另一个实施例提供的电子设备的操作方法的流程图,如图3所示,本申请图1所示实施例中,步骤102可以为:
步骤301,根据上述用户的瞳孔区域信息,利用预先训练的机器学习模型获得目标按键图标在上述显示界面中的显示位置。
具体地,根据上述用户的瞳孔区域信息,利用预先训练的机器学习模型获得目标按键图标在上述显示界面中的显示位置可以为:根据用户的瞳孔区域信息,计算上述用户的瞳孔中心点相对传感器水平方向的距离,以及用户的瞳孔中心点相对传感器垂直方向的角度;根据上述距离和上述角度,利用预先训练的机器学习模型获得目标按键图标在上述显示界面中的显示位置。
具体实现时,可以使用预定数量(例如:100)以上参与者数据库进行训练,以电子设备当前的显示界面为图2为例,参与者们可以采用随机姿势,在不同位置注视电子设备当前的显示界面中的应用1。电子设备中设置有可捕捉人眼瞳孔的传感器和采集器,可以使用上述传感器捕捉瞳孔所在区域,再使用采集器结合神经网络算法标记瞳孔并获取上述用户的瞳孔区域信息,将上述用户的区域信息传递给电子设备的CPU。然后,电子设备的CPU通过获取的瞳孔区域信息计算瞳孔中心相对传感器水平方向的距离,以及瞳孔中心相对垂直方向的角度,以此作为输入,以应用1在电子设备当前的显示界面中的位置作为输出。让参与者们逐一在任意姿势下多次注视图2所示界面中的应用一、二、三……,按照以上所述的方式,获得相对应的输入与输出,从而建立输入与输出的数据库。利用该数据库中的数据,通过大量机器学习模型的训练,建立输入与输出之间的映射,获得机器学习模型。然后,再利用上述数据库中的数据,对训练获得的机器学习模型进行测试,重复上述过程,让不同参与者逐一注视电子设备当前显示界面中的每个区域,查看训练获得的机器学习模型的输出,筛除掉异常的数据输出,获得最终训练好的机器学习模型。
这样,在后续使用时,电子设备获取用户的瞳孔区域信息之后,根据用户的瞳孔区域信息,计算上述用户的瞳孔中心点相对传感器水平方向的距离,以及用户的瞳孔中心点相对传感器垂直方向的角度,然后将上述距离和上述角度输入训练好的机器学习模型,机器学习模型即可输出人眼瞳孔注视电子设备当前的显示界面的位置,该位置即为目标按键图标在电子设备当前的显示界面中的显示位置。
图4为本申请再一个实施例提供的电子设备的操作方法的流程图,如图4所示,本申请图1所示实施例中,步骤105之后,还可以包括:
步骤401,电子设备根据上述操作权重,调整目标按键图标的显示效果;其中,上述显示效果包括颜色、大小和/或亮度。
具体地,以第一等级低于第二等级为例,假设目标按键图标的颜色为白色呈半透明状,则可以根据操作权重,调整目标按键图标的亮度,举例来说,操作权重分别为第一等级、第一等级结合第二等级和第二等级时,目标按键图标的亮度逐渐增强。简单来说,随着用户注视目标按键图标的时长的增加,目标按键图标的亮度逐渐增强;
或者,可以根据操作权重,调整目标按键图标的颜色,举例来说,操作权重分别为第一等级、第一等级结合第二等级和第二等级时,目标按键图标的颜色逐渐加深;
或者,可以根据操作权重,调整目标按键图标的颜色,举例来说,操作权重分别为第一等级、第一等级结合第二等级和第二等级时,目标按键图标逐渐增大。
当然,根据操作权重,也可以既调整目标按键图标的颜色,又调整目标按键图标的大小和亮度,举例来说,随着用户注视时长的增长,根据操作权重,目标按键图标的颜色可以逐渐加深,但保持半透明状、大小和颜色同步变化,目标按键图标可以从5毫米逐渐变大,最大到10mm;同时,目标按键图标的亮度逐渐增强。
另外,除颜色、大小和亮度之外,上述显示效果还可以包括动画显示等其他显示效果,本实施例对上述显示效果的形式不作限定。
本申请实施例提供的电子设备的操作方法,将捕捉眼球运动轨迹改为捕捉瞳孔中心点,将轨迹改为点坐标,从而减少了复杂运算,减轻了电子设备中处理器的运算负担。其次,给点坐标赋予一个按瞳孔区域注视时长赋予权重的目标按键图标,通过权重区分无效按压、点击和长按操作,从而可以实现通过眼球移动结合一定区域内的有效注视,模拟手指操作电子设备的效果。
本申请实施例提供的电子设备的操作方法可以在以下场景为用户解决无法方便、灵巧、轻松地使用手指和/或声音操作电子设备的问题:
(1)寒冷气候环境下,在室外戴手套不方便使用手指灵巧操作电子设备时;
(2)寒冷气候环境下,在室内不方便双手持电子设备操作时;
(3)疲倦卧床,或躺下单手持电子设备不方便操作时;
(4)嘈杂室外,搭乘公共交通,站在公交车或地铁车厢内,不方便使用双手和/或使用声音控制电子设备时;
(5)环境噪声较大,不方便双手持电子设备操作,也不适于使用声音控制电子设备时;
(6)(2)和(3)组合的场景。
另外,使用本申请实施例提供的电子设备的操作方法也可以为以下特殊用户,解决无法使用、不方便使用手指和/或声音操作电子设备的问题:
(1)中风、帕金森或渐冻症患者等无法像正常人一样,使用手指进行精准滑动、点击和/或长按等操作的用户;
(2)手指或手臂患有残疾的用户(无法正常使用手指操作电子设备);
(3)发声困难的用户或聋哑患者(难以使用声音控制电子设备),并且属于(1)和/或(2)的用户;
(4)不会说普通话,且存在(1)、(2)和(3)之一或组合问题的用户。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
图5为本申请一个实施例提供的电子设备的操作装置的结构示意图,如图5所示,上述电子设备的操作装置可以包括:获取模块51、确定模块52、生成模块53、显示模块54、检测模块55和执行模块56;
其中,获取模块51,用于获取使用电子设备的用户的瞳孔区域信息;
确定模块52,用于根据上述用户的瞳孔区域信息,确定目标按键图标在电子设备当前的显示界面中的显示位置;
生成模块53,用于生成目标按键图标;
显示模块54,用于在确定模块52确定的显示位置处,显示生成模块53生成的目标按键图标;
检测模块55,用于检测用户对目标按键图标的注视时长;
确定模块52,还用于根据上述注视时长,确定针对目标按键图标的操作权重;以及确定与上述操作权重对应的操作指令;
执行模块56,用于执行上述操作指令。
图5所示实施例提供的电子设备的操作装置可用于执行本申请图1所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
图6为本申请另一个实施例提供的电子设备的操作装置的结构示意图,本实施例中,确定模块52,具体用于根据上述用户的瞳孔区域信息,利用预先训练的机器学习模型获得目标按键图标在上述显示界面中的显示位置。
获取模块51,具体用于通过电子设备中的传感器捕捉用户的瞳孔所在区域;以及通过电子设备中的采集器,在上述瞳孔所在区域中标记瞳孔并获取上述用户的瞳孔区域信息。
本实施例中,确定模块52可以包括:计算子模块521和位置确定子模块522;
计算子模块521,用于根据用户的瞳孔区域信息,计算用户的瞳孔中心点相对传感器水平方向的距离,以及用户的瞳孔中心点相对传感器垂直方向的角度;
位置确定子模块522,用于根据上述距离和上述角度,利用预先训练的机器学习模型获得目标按键图标在上述显示界面中的显示位置。
本实施例中,确定模块52可以包括:指令确定子模块523;
指令确定子模块523,用于当操作权重为第一等级时,确定与操作权重对应的操作指令为点击操作对应的操作指令;当操作权重为第二等级时,确定与操作权重对应的操作指令为长按操作对应的操作指令;当操作权重为第一等级结合第二等级时,确定与操作权重对应的操作指令为滑动操作对应的操作指令。
进一步地,上述电子设备的操作装置还可以包括:调整模块57;
调整模块57,用于在确定模块52确定针对目标按键图标的操作权重之后,根据上述操作权重,调整目标按键图标的显示效果;其中,上述显示效果包括颜色、大小和/或亮度。
图6所示实施例提供的电子设备的操作装置可用于执行本申请图1~图4所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
图7为本申请一个实施例提供的电子设备的结构示意图,如图7所示,上述电子设备可以包括至少一个处理器;与上述处理器通信连接的传感器和采集器;以及与上述处理器通信连接的至少一个存储器,其中:存储器存储有可被处理器执行的程序指令,上述处理器调用上述程序指令能够执行本申请图1~图4所示实施例提供的电子设备的操作方法。
其中,上述电子设备可以为智能手机、平板电脑、智能手表或车载设备等智能终端设备,本实施例对上述电子设备的具体类型不作限定。
示例性的,图7以智能手机为例示出了电子设备的结构示意图,如图7所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universalserial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,采集器181,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
其中,传感器模块180中包括可捕捉人眼瞳孔的传感器,采集器181可捕捉人眼瞳孔。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
处理器110通过运行存储在内部存储器121中的程序,从而执行各种功能应用以及数据处理,例如实现本申请图1~图4所示实施例提供的处理性能的提升方法。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
本申请实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行本申请图1~图4所示实施例提供的电子设备的操作方法。
上述非暂态计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(read only memory,ROM)、可擦式可编程只读存储器(erasable programmable read onlymemory,EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、射频(radio frequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(localarea network,LAN)或广域网(wide area network,WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在本申请的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本申请中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本申请中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是,本申请实施例中所涉及的终端可以包括但不限于个人计算机(personal computer,PC)、个人数字助理(personal digital assistant,PDA)、无线手持设备、平板电脑(tablet computer)、手机、MP3播放器、MP4播放器等。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (14)

1.一种电子设备的操作方法,其特征在于,包括:
获取使用电子设备的用户的瞳孔区域信息;
根据所述用户的瞳孔区域信息,确定目标按键图标在所述电子设备当前的显示界面中的显示位置;
生成所述目标按键图标,并在所述显示位置处,显示所述目标按键图标;
检测所述用户对所述目标按键图标的注视时长;
根据所述注视时长,确定针对所述目标按键图标的操作权重;
确定与所述操作权重对应的操作指令,执行所述操作指令。
2.根据权利要求1所述的方法,其特征在于,所述根据所述用户的瞳孔区域信息,确定目标按键图标在所述电子设备当前的显示界面中的显示位置包括:
根据所述用户的瞳孔区域信息,利用预先训练的机器学习模型获得所述目标按键图标在所述显示界面中的显示位置。
3.根据权利要求2所述的方法,其特征在于,所述获取使用电子设备的用户的瞳孔区域信息包括:
通过所述电子设备中的传感器捕捉用户的瞳孔所在区域;
通过所述电子设备中的采集器,在所述瞳孔所在区域中标记瞳孔并获取所述用户的瞳孔区域信息。
4.根据权利要求2所述的方法,其特征在于,所述根据所述用户的瞳孔区域信息,利用预先训练的机器学习模型获得所述目标按键图标在所述显示界面中的显示位置包括:
根据所述用户的瞳孔区域信息,计算所述用户的瞳孔中心点相对所述传感器水平方向的距离,以及所述用户的瞳孔中心点相对所述传感器垂直方向的角度;
根据所述距离和所述角度,利用预先训练的机器学习模型获得所述目标按键图标在所述显示界面中的显示位置。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述确定与所述操作权重对应的操作指令包括:
当所述操作权重为第一等级时,确定与所述操作权重对应的操作指令为点击操作对应的操作指令;
当所述操作权重为第二等级时,确定与所述操作权重对应的操作指令为长按操作对应的操作指令;
当所述操作权重为第一等级结合第二等级时,确定与所述操作权重对应的操作指令为滑动操作对应的操作指令。
6.根据权利要求1-4任意一项所述的方法,其特征在于,所述根据所述注视时长,确定针对所述目标按键图标的操作权重之后,还包括:
根据所述操作权重,调整所述目标按键图标的显示效果;其中,所述显示效果包括颜色、大小和/或亮度。
7.一种电子设备的操作装置,其特征在于,包括:
获取模块,用于获取使用电子设备的用户的瞳孔区域信息;
确定模块,用于根据所述用户的瞳孔区域信息,确定目标按键图标在所述电子设备当前的显示界面中的显示位置;
生成模块,用于生成所述目标按键图标;
显示模块,用于在所述确定模块确定的显示位置处,显示所述生成模块生成的目标按键图标;
检测模块,用于检测所述用户对所述目标按键图标的注视时长;
所述确定模块,还用于根据所述注视时长,确定针对所述目标按键图标的操作权重;以及确定与所述操作权重对应的操作指令;
执行模块,用于执行所述操作指令。
8.根据权利要求7所述的装置,其特征在于,
所述确定模块,具体用于根据所述用户的瞳孔区域信息,利用预先训练的机器学习模型获得所述目标按键图标在所述显示界面中的显示位置。
9.根据权利要求8所述的装置,其特征在于,
所述获取模块,具体用于通过所述电子设备中的传感器捕捉用户的瞳孔所在区域;以及通过所述电子设备中的采集器,在所述瞳孔所在区域中标记瞳孔并获取所述用户的瞳孔区域信息。
10.根据权利要求8所述的装置,其特征在于,所述确定模块包括:
计算子模块,用于根据所述用户的瞳孔区域信息,计算所述用户的瞳孔中心点相对所述传感器水平方向的距离,以及所述用户的瞳孔中心点相对所述传感器垂直方向的角度;
位置确定子模块,用于根据所述距离和所述角度,利用预先训练的机器学习模型获得所述目标按键图标在所述显示界面中的显示位置。
11.根据权利要求7-10任意一项所述的装置,其特征在于,所述确定模块包括:
指令确定子模块,用于当所述操作权重为第一等级时,确定与所述操作权重对应的操作指令为点击操作对应的操作指令;当所述操作权重为第二等级时,确定与所述操作权重对应的操作指令为长按操作对应的操作指令;当所述操作权重为第一等级结合第二等级时,确定与所述操作权重对应的操作指令为滑动操作对应的操作指令。
12.根据权利要求7-10任意一项所述的装置,其特征在于,还包括:
调整模块,用于在所述确定模块确定针对所述目标按键图标的操作权重之后,根据所述操作权重,调整所述目标按键图标的显示效果;其中,所述显示效果包括颜色、大小和/或亮度。
13.一种电子设备,包括:
至少一个处理器;与所述处理器通信连接的传感器和采集器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
14.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
CN202110280578.7A 2021-03-16 2021-03-16 电子设备的操作方法、装置和电子设备 Pending CN112783330A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110280578.7A CN112783330A (zh) 2021-03-16 2021-03-16 电子设备的操作方法、装置和电子设备
PCT/CN2022/079684 WO2022193989A1 (zh) 2021-03-16 2022-03-08 电子设备的操作方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110280578.7A CN112783330A (zh) 2021-03-16 2021-03-16 电子设备的操作方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN112783330A true CN112783330A (zh) 2021-05-11

Family

ID=75762697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110280578.7A Pending CN112783330A (zh) 2021-03-16 2021-03-16 电子设备的操作方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN112783330A (zh)
WO (1) WO2022193989A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114338912A (zh) * 2021-12-08 2022-04-12 杭州逗酷软件科技有限公司 图标显示方法、装置、终端设备及存储介质
WO2022193989A1 (zh) * 2021-03-16 2022-09-22 展讯通信(上海)有限公司 电子设备的操作方法、装置和电子设备
CN115277915A (zh) * 2022-06-29 2022-11-01 重庆长安汽车股份有限公司 车辆的来电音量调节方法、装置、车辆及存储介质
CN115658255A (zh) * 2022-09-22 2023-01-31 花瓣云科技有限公司 任务处理方法、电子设备以及可读存储介质
CN116700477A (zh) * 2022-05-20 2023-09-05 荣耀终端有限公司 一种显示方法和电子设备
CN117130510A (zh) * 2023-02-24 2023-11-28 荣耀终端有限公司 亮度控制方法及其相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105867603A (zh) * 2015-12-08 2016-08-17 乐视致新电子科技(天津)有限公司 一种眼控方法及装置
US20160246366A1 (en) * 2015-01-06 2016-08-25 Sony Corporation Control method and control apparatus for electronic equipment and electronic equipment
CN111400605A (zh) * 2020-04-26 2020-07-10 Oppo广东移动通信有限公司 基于眼球追踪的推荐方法及装置
CN112286350A (zh) * 2020-10-27 2021-01-29 珠海格力电器股份有限公司 设备控制方法及装置、电子设备、电子装置、处理器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6043586B2 (ja) * 2012-10-29 2016-12-14 京セラ株式会社 電子機器、視線入力プログラムおよび視線入力方法
CN106125931A (zh) * 2016-06-30 2016-11-16 刘兴丹 一种眼球追踪操作的方法及装置
CN107589841A (zh) * 2017-09-04 2018-01-16 歌尔科技有限公司 头戴显示设备的操作方法、头戴显示设备和系统
CN109683705A (zh) * 2018-11-30 2019-04-26 北京七鑫易维信息技术有限公司 眼球注视控制交互控件的方法、装置和系统
CN112015277B (zh) * 2020-09-10 2023-10-17 北京达佳互联信息技术有限公司 信息显示方法、装置及电子设备
CN112783330A (zh) * 2021-03-16 2021-05-11 展讯通信(上海)有限公司 电子设备的操作方法、装置和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160246366A1 (en) * 2015-01-06 2016-08-25 Sony Corporation Control method and control apparatus for electronic equipment and electronic equipment
CN105867603A (zh) * 2015-12-08 2016-08-17 乐视致新电子科技(天津)有限公司 一种眼控方法及装置
CN111400605A (zh) * 2020-04-26 2020-07-10 Oppo广东移动通信有限公司 基于眼球追踪的推荐方法及装置
CN112286350A (zh) * 2020-10-27 2021-01-29 珠海格力电器股份有限公司 设备控制方法及装置、电子设备、电子装置、处理器

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022193989A1 (zh) * 2021-03-16 2022-09-22 展讯通信(上海)有限公司 电子设备的操作方法、装置和电子设备
CN114338912A (zh) * 2021-12-08 2022-04-12 杭州逗酷软件科技有限公司 图标显示方法、装置、终端设备及存储介质
CN116700477A (zh) * 2022-05-20 2023-09-05 荣耀终端有限公司 一种显示方法和电子设备
CN115277915A (zh) * 2022-06-29 2022-11-01 重庆长安汽车股份有限公司 车辆的来电音量调节方法、装置、车辆及存储介质
CN115658255A (zh) * 2022-09-22 2023-01-31 花瓣云科技有限公司 任务处理方法、电子设备以及可读存储介质
CN115658255B (zh) * 2022-09-22 2023-06-27 花瓣云科技有限公司 任务处理方法、电子设备以及可读存储介质
CN117130510A (zh) * 2023-02-24 2023-11-28 荣耀终端有限公司 亮度控制方法及其相关设备

Also Published As

Publication number Publication date
WO2022193989A1 (zh) 2022-09-22

Similar Documents

Publication Publication Date Title
WO2022193989A1 (zh) 电子设备的操作方法、装置和电子设备
CN115344173A (zh) 一种分屏显示的操作方法及电子设备
CN113395382B (zh) 一种设备间数据交互的方法及相关设备
CN112446255A (zh) 一种视频图像处理方法及装置
CN111526407B (zh) 屏幕内容的显示方法及装置
CN111552451A (zh) 显示控制方法及装置、计算机可读介质及终端设备
CN113572956A (zh) 一种对焦的方法及相关设备
CN111930335A (zh) 声音调节方法及装置、计算机可读介质及终端设备
CN113438364B (zh) 振动调节方法、电子设备、存储介质
CN113473013A (zh) 图像美化效果的显示方法、装置和终端设备
CN113467735A (zh) 图像调整方法、电子设备及存储介质
CN115188064A (zh) 一种运动指导信息的确定方法、电子设备和运动指导系统
CN114822525A (zh) 语音控制方法和电子设备
CN109285563B (zh) 在线翻译过程中的语音数据处理方法及装置
CN114356109A (zh) 文字输入方法、电子设备及计算机可读存储介质
CN113467747B (zh) 音量调节方法、电子设备及存储介质
CN114120987B (zh) 一种语音唤醒方法、电子设备及芯片系统
CN114120950A (zh) 一种人声屏蔽方法和电子设备
CN115393676A (zh) 手势控制优化方法、装置、终端和存储介质
CN115459643A (zh) 线性马达的振动波形调整方法及装置
CN111460942A (zh) 接近检测方法及装置、计算机可读介质及终端设备
CN113391735A (zh) 显示形态的调整方法、装置、电子设备及存储介质
CN113472996B (zh) 图片传输方法及装置
WO2023197997A1 (zh) 穿戴设备、拾音方法及装置
WO2021238338A1 (zh) 语音合成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210511

RJ01 Rejection of invention patent application after publication