CN113031757A - 一种设备交互方法、装置及电子设备 - Google Patents

一种设备交互方法、装置及电子设备 Download PDF

Info

Publication number
CN113031757A
CN113031757A CN201911358781.0A CN201911358781A CN113031757A CN 113031757 A CN113031757 A CN 113031757A CN 201911358781 A CN201911358781 A CN 201911358781A CN 113031757 A CN113031757 A CN 113031757A
Authority
CN
China
Prior art keywords
coordinate system
point
screen
eye
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911358781.0A
Other languages
English (en)
Inventor
左亚军
董磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen Mobvoi Beijing Information Technology Co Ltd
Original Assignee
Volkswagen Mobvoi Beijing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Mobvoi Beijing Information Technology Co Ltd filed Critical Volkswagen Mobvoi Beijing Information Technology Co Ltd
Priority to CN201911358781.0A priority Critical patent/CN113031757A/zh
Publication of CN113031757A publication Critical patent/CN113031757A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种设备交互方法、装置及电子设备，方法包括：确定用户在电子设备的屏幕中的注视区域；基于注视区域，操作电子设备；可见，本方案中，用户只需要注视电子设备，便可以操作电子设备，用户不需要点击物理按键、触摸屏按键，也不需要语音操作电子设备，提高了操作便利性。

Description

一种设备交互方法、装置及电子设备
技术领域
本发明涉及辅助驾驶技术领域，尤其涉及一种设备交互方法、装置及电子设备。
背景技术
随着经济的发展，越来越多的人们驾驶车辆出行，驾驶环境也越来越舒适。用户可以通过电子设备进行导航、听音乐、调节车内空调温度等等。
目前，用户可以通过物理按键、或者触摸屏按键、或者语音指令操作电子设备，使得电子设备进行导航、播放音乐、调节车内空调温度等等。
一些情况下，对于用户来说，上述操作电子设备的方案便利性较差。比如光线较暗的情况下，用户点击物理按键或者触摸屏按键，操作不方便；再比如，噪声较大的情况下，用户通过语音操作电子设备，电子设备不能区分噪声和用户的语音。
发明内容
有鉴于此，本发明的目的在于提出一种设备交互方法、装置及电子设备，以提高便利性。
基于上述目的，本发明实施例提供了一种设备交互方法，包括：
确定用户在电子设备的屏幕中的注视区域；
基于所述注视区域，操作所述电子设备。
可选的，所述确定用户在电子设备的屏幕中的注视区域，包括：
根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点；
所述基于所述注视区域，操作所述电子设备，包括：
若所述注视点位于所述电子设备的屏幕中，则唤醒所述电子设备；
或者，确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令。
可选的，所述根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点，包括：
获取待处理图像，所述待处理图像中包括用户的眼部；
检测所述待处理图像中的普尔钦斑，并确定所述普尔钦斑在眼部坐标系中的坐标；
根据屏幕坐标系与眼部坐标系之间的转换关系，将所述普尔钦斑在眼部坐标系中的坐标转换为用户的注视点在所述屏幕坐标系中的坐标。
可选的，获得所述屏幕坐标系与眼部坐标系之间的转换关系的过程包括：
获取多张所述用户的注视点不同的眼部图像，所采集的眼部图像对应的注视点均位于所述电子设备的屏幕中；
针对每张眼部图像，确定普尔钦斑在眼部坐标系中的坐标、以及该张眼部图像对应的注视点在屏幕坐标系中的坐标；
基于所述普尔钦斑在眼部坐标系中的坐标和所述注视点在屏幕坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
可选的，所述获取多张所述用户的注视点不同的眼部图像，包括：
输出第一提示信息，所述第一提示信息用于提示用户注视电子设备的屏幕中的第一点；在用户注视所述第一点时，采集第一眼部图像；
输出第二提示信息，所述第二提示信息用于提示用户注视电子设备的屏幕中的第二点；在用户注视所述第二点时，采集第二眼部图像；
输出第三提示信息，所述第三提示信息用于提示用户注视电子设备的屏幕中的第三点；在用户注视所述第三点时，采集第三眼部图像；
输出第四提示信息，所述第四提示信息用于提示用户注视电子设备的屏幕中的第四点；在用户注视所述第四点时，采集第四眼部图像；
输出第五提示信息，所述第五提示信息用于提示用户注视电子设备的屏幕中的第五点；在用户注视所述第五点时，采集第五眼部图像；
输出第六提示信息，所述第六提示信息用于提示用户注视电子设备的屏幕中的第六点；在用户注视所述第六点时，采集第六眼部图像；
所述针对每张眼部图像，确定普尔钦斑在眼部坐标系中的坐标、以及该张眼部图像对应的注视点在屏幕坐标系中的坐标，包括：
检测所述第一眼部图像中的普尔钦斑，作为第一普尔钦斑；并确定所述第一普尔钦斑在眼部坐标系中的坐标；确定所述第一点在屏幕坐标系中的坐标；
检测所述第二眼部图像中的普尔钦斑，作为第二普尔钦斑；并确定所述第二普尔钦斑在眼部坐标系中的坐标；确定所述第二点在屏幕坐标系中的坐标；
检测所述第三眼部图像中的普尔钦斑，作为第三普尔钦斑；并确定所述第三普尔钦斑在眼部坐标系中的坐标；确定所述第三点在屏幕坐标系中的坐标；
检测所述第四眼部图像中的普尔钦斑，作为第四普尔钦斑；并确定所述第四普尔钦斑在眼部坐标系中的坐标；确定所述第四点在屏幕坐标系中的坐标；
检测所述第五眼部图像中的普尔钦斑，作为第五普尔钦斑；并确定所述第五普尔钦斑在眼部坐标系中的坐标；确定所述第五点在屏幕坐标系中的坐标；
检测所述第六眼部图像中的普尔钦斑，作为第六普尔钦斑；并确定所述第六普尔钦斑在眼部坐标系中的坐标；确定所述第六点在屏幕坐标系中的坐标；
所述基于所述坐标和所述坐标，求解屏幕坐标系与眼部坐标系之间的转换关系，包括：
根据所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
可选的，所述根据所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系，包括：
将所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标代入如下算式，求解屏幕坐标系与眼部坐标系之间的转换关系：
x＝a+a1*x1+a2*y1+a3*x1*y1+a4*x1^2+a5*y1^2；
y＝b+b1*y1+b2*x1+b3*x1*y1+b4*y1^2+b5*x1^2；
其中，a、a1、a2、a3、a4、a5、b、b1、b2、b3、b4、b5表示所述转换关系中的转换参数，(x1，y1)表示所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑或所述第六普尔钦斑在眼部坐标系中的坐标，(x，y)表示所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标。
可选的，所述根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点，包括：
识别用户的身份，作为待处理身份；
在预先存储的用户身份与坐标系转换关系的对应关系中，查找所述待处理身份对应的坐标系转换关系，作为待处理转换关系；其中，所述坐标系转换关系为：屏幕坐标系与眼部坐标系之间的转换关系；
根据所述待处理转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点。
可选的，所述确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令，包括：
确定所述注视点在所述屏幕中对应的软件图标；打开所述软件图标对应的显示界面；
或者，在音乐播放界面中，确定所述注视点在所述屏幕中对应的操作按钮；若所述操作按钮为播放上一首，则播放当前音乐的上一首音乐；若所述操作按钮为播放下一首，则播放当前音乐的下一首音乐；
或者，在导航界面中，确定所述注视点在所述导航界面的地图中的位置，作为目的地；基于所述目的地进行导航。
基于上述目的，本发明实施例还提供了一种设备交互装置，包括：
第一确定模块，用于确定用户在电子设备的屏幕中的注视区域；
操作模块，用于基于所述注视区域，操作所述电子设备。
可选的，所述第一确定模块，具体用于：根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点；
所述操作模块，具体用于：若所述注视点位于所述电子设备的屏幕中，则唤醒所述电子设备；或者，确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令。
可选的，所述第一确定模块，包括：
获取子模块，用于获取待处理图像，所述待处理图像中包括用户的眼部；
确定子模块，用于检测所述待处理图像中的普尔钦斑，并确定所述普尔钦斑在眼部坐标系中的坐标；
转换子模块，用于根据屏幕坐标系与眼部坐标系之间的转换关系，将所述普尔钦斑在眼部坐标系中的坐标转换为用户的注视点在所述屏幕坐标系中的坐标。
可选的，所述装置还包括：
获取模块，用于获取多张所述用户的注视点不同的眼部图像，所采集的眼部图像对应的注视点均位于所述电子设备的屏幕中；
第二确定模块，用于针对每张眼部图像，确定普尔钦斑在眼部坐标系中的坐标、以及该张眼部图像对应的注视点在屏幕坐标系中的坐标；
求解模块，用于基于所述普尔钦斑在眼部坐标系中的坐标和所述注视点在屏幕坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
可选的，所述获取模块，具体用于：输出第一提示信息，所述第一提示信息用于提示用户注视电子设备的屏幕中的第一点；在用户注视所述第一点时，采集第一眼部图像；
输出第二提示信息，所述第二提示信息用于提示用户注视电子设备的屏幕中的第二点；在用户注视所述第二点时，采集第二眼部图像；
输出第三提示信息，所述第三提示信息用于提示用户注视电子设备的屏幕中的第三点；在用户注视所述第三点时，采集第三眼部图像；
输出第四提示信息，所述第四提示信息用于提示用户注视电子设备的屏幕中的第四点；在用户注视所述第四点时，采集第四眼部图像；
输出第五提示信息，所述第五提示信息用于提示用户注视电子设备的屏幕中的第五点；在用户注视所述第五点时，采集第五眼部图像；
输出第六提示信息，所述第六提示信息用于提示用户注视电子设备的屏幕中的第六点；在用户注视所述第六点时，采集第六眼部图像；
所述第二确定模块，具体用于：
检测所述第一眼部图像中的普尔钦斑，作为第一普尔钦斑；并确定所述第一普尔钦斑在眼部坐标系中的坐标；确定所述第一点在屏幕坐标系中的坐标；
检测所述第二眼部图像中的普尔钦斑，作为第二普尔钦斑；并确定所述第二普尔钦斑在眼部坐标系中的坐标；确定所述第二点在屏幕坐标系中的坐标；
检测所述第三眼部图像中的普尔钦斑，作为第三普尔钦斑；并确定所述第三普尔钦斑在眼部坐标系中的坐标；确定所述第三点在屏幕坐标系中的坐标；
检测所述第四眼部图像中的普尔钦斑，作为第四普尔钦斑；并确定所述第四普尔钦斑在眼部坐标系中的坐标；确定所述第四点在屏幕坐标系中的坐标；
检测所述第五眼部图像中的普尔钦斑，作为第五普尔钦斑；并确定所述第五普尔钦斑在眼部坐标系中的坐标；确定所述第五点在屏幕坐标系中的坐标；
检测所述第六眼部图像中的普尔钦斑，作为第六普尔钦斑；并确定所述第六普尔钦斑在眼部坐标系中的坐标；确定所述第六点在屏幕坐标系中的坐标；
所述求解模块，具体用于：
根据所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
可选的，所述求解模块，具体用于：
将所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标代入如下算式，求解屏幕坐标系与眼部坐标系之间的转换关系：
x＝a+a1*x1+a2*y1+a3*x1*y1+a4*x1^2+a5*y1^2；
y＝b+b1*y1+b2*x1+b3*x1*y1+b4*y1^2+b5*x1^2；
其中，a、a1、a2、a3、a4、a5、b、b1、b2、b3、b4、b5表示所述转换关系中的转换参数，(x1，y1)表示所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑或所述第六普尔钦斑在眼部坐标系中的坐标，(x，y)表示所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标。
可选的，所述第一确定模块，具体用于：
识别用户的身份，作为待处理身份；
在预先存储的用户身份与坐标系转换关系的对应关系中，查找所述待处理身份对应的坐标系转换关系，作为待处理转换关系；其中，所述坐标系转换关系为：屏幕坐标系与眼部坐标系之间的转换关系；
根据所述待处理转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点。
可选的，所述操作模块，具体用于：
确定所述注视点在所述屏幕中对应的软件图标；打开所述软件图标对应的显示界面；
或者，在音乐播放界面中，确定所述注视点在所述屏幕中对应的操作按钮；若所述操作按钮为播放上一首，则播放当前音乐的上一首音乐；若所述操作按钮为播放下一首，则播放当前音乐的下一首音乐；
或者，在导航界面中，确定所述注视点在所述导航界面的地图中的位置，作为目的地；基于所述目的地进行导航。
基于上述目的，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一种设备交互方法。
应用本发明所示实施例，确定用户在电子设备的屏幕中的注视区域；基于注视区域，操作电子设备；可见，本方案中，用户只需要注视电子设备，便可以操作电子设备，用户不需要点击物理按键、触摸屏按键，也不需要语音操作电子设备，提高了操作便利性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的设备交互方法的第一种流程示意图；
图2为本发明实施例提供的一种眼部坐标系示意图；
图3为本发明实施例提供的一种屏幕坐标系示意图；
图4为本发明实施例提供的一种坐标转换流程示意图；
图5为本发明实施例提供的设备交互方法的第二种流程示意图；
图6为本发明实施例提供的一种设备交互装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
为达到上述目的，本发明实施例提供了一种设备交互方法、装置及电子设备，该方法及装置可以应用于手机、电脑、智能音箱、智能家居设备、车机设备等各种电子设备，具体不做限定。
图1为本发明实施例提供的设备交互方法的第一种流程示意图，包括：
S101：确定用户在电子设备的屏幕中的注视区域。
一种实施方式中，可以获取用户的穿戴设备采集的用户生理参数，基于所述生理参数，确定用户在电子设备的屏幕中的注视区域。比如，该穿戴设备可以为眼动仪，基于眼动仪采集的眼动数据，确定用户的视线方向，进而确定用户在电子设备的屏幕中的注视区域。再比如，该穿戴设备可以采集用户的姿态数据，根据用户的姿态数据，确定用户的视线方向，进而确定用户在电子设备的屏幕中的注视区域。再比如，该穿戴设备可以采集用户的脑电数据，根据用户的脑电数据，确定用户的视线方向，进而确定用户在电子设备的屏幕中的注视区域。具体的判断方式不做限定，不再一一列举。
另一种实施方式中，S101可以包括：根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点。
举例来说，参考图2所示，眼部坐标系可以以瞳孔的左切线与下切线的交点为原点，纵向为x坐标轴，横向为y坐标轴。或者，也可以以瞳孔的中心点为原点；或者，也可以以瞳孔的右切线与上切线的交点为原点；等等，具体的原点位置不做限定。
参考图3所示，屏幕坐标系中，可以以电子设备的屏幕的左下角为原点，纵向为x坐标轴，横向为y坐标轴。或者，也可以以电子设备的屏幕的中心点为原点；或者，也可以以电子设备的屏幕的右上角为原点；具体的原点位置不做限定。
一种实施方式中，参考图4所示，S101可以包括：S401-S403。
S401：获取待处理图像，该待处理图像中包括用户的眼部。
举例来说，用户可以为车辆内的人员，可以通过车辆内的相机采集用户眼部图像，作为待处理图像。一种实施方式中，可以通过设置于电子设备屏幕区域之外预设范围内的车载相机，采集用户图像；基于所述用户图像，判断用户头部是否转向电子设备；在用户头部转向电子设备后，将所述车载相机采集的图像确定为获取到的待处理图像。
本实施方式中，仅在用户头部转向电子设备的情况下，捕捉用户眼部图像，作为待处理图像，并触发执行后续步骤，这样，相比于针对相机采集的每张图像均执行后续步骤，节省了计算资源。
S402：检测待处理图像中的普尔钦斑，并确定普尔钦斑在眼部坐标系中的坐标。
普尔钦斑(Purkinje image)是眼球角膜上的一个亮光点，由进入瞳孔的光线在角膜外表面上反射(corneal reflection，CR)而产生。当眼球转动时，普尔钦斑不动，瞳孔相对于普尔钦斑发生偏移，根据该偏移量可以确定人眼的视线方向。
举例来说，可以先检测待处理图像中的瞳孔，瞳孔接近于黑色，可以在待处理图像中，识别黑色区域作为瞳孔。然后在瞳孔所在的区域中检测亮光点，作为普尔钦斑。
S403：根据屏幕坐标系与眼部坐标系之间的转换关系，将普尔钦斑在眼部坐标系中的坐标转换为用户的注视点在屏幕坐标系中的坐标。
一种实施方式中，获得所述屏幕坐标系与眼部坐标系之间的转换关系的过程可以包括：
获取多张所述用户的注视点不同的眼部图像，所采集的眼部图像对应的注视点均位于所述电子设备的屏幕中；
针对每张眼部图像，确定普尔钦斑在眼部坐标系中的坐标、以及该张眼部图像对应的注视点在屏幕坐标系中的坐标；
基于所述普尔钦斑在眼部坐标系中的坐标和所述注视点在屏幕坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
举例来说，可以针对使用电子设备的每个用户，分别建立该用户对应的坐标转换关系。以一个用户为例来说，当该用户注视电子设备的屏幕中的A点时，采集一张该用户的眼部图像，当该用户注视电子设备的屏幕中的B点时，采集一张该用户的眼部图像……等等，这样便获取到多张该用户的注视点不同的眼部图像。获取到该用户的注视点不同的眼部图像的具体数量不做限定，比如，可以为3张、4张、5张、6张等等。这里获取到的眼部图像用于求解屏幕坐标系与眼部坐标系之间的转换关系，这里获取到的眼部图像数量越多，后续求解得到的转换关系越准确。
针对所获取的每张眼部图像，检测该张眼部图像中的普尔钦斑，并确定普尔钦斑在眼部坐标系中的坐标；以及确定该张眼部图像对应的注视点在屏幕坐标系中的坐标。根据每张眼部图像对应的眼部坐标系坐标和屏幕坐标系坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
一种实施方式中，可以基于六组坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
举例来说，可以输出第一提示信息，所述第一提示信息用于提示用户注视电子设备的屏幕中的第一点；在用户注视所述第一点时，采集第一眼部图像；
输出第二提示信息，所述第二提示信息用于提示用户注视电子设备的屏幕中的第二点；在用户注视所述第二点时，采集第二眼部图像；
输出第三提示信息，所述第三提示信息用于提示用户注视电子设备的屏幕中的第三点；在用户注视所述第三点时，采集第三眼部图像；
输出第四提示信息，所述第四提示信息用于提示用户注视电子设备的屏幕中的第四点；在用户注视所述第四点时，采集第四眼部图像；
输出第五提示信息，所述第五提示信息用于提示用户注视电子设备的屏幕中的第五点；在用户注视所述第五点时，采集第五眼部图像；
输出第六提示信息，所述第六提示信息用于提示用户注视电子设备的屏幕中的第六点；在用户注视所述第六点时，采集第六眼部图像。
第一点、第二点、第三点、第四点、第五点和第六点，可以为电子设备的屏幕中的任意六个点。或者，一种情况下，这六个点可以包括电子设备的屏幕的四个角点和屏幕中的任意两个点。上述提示信息可以为语音提示信息、或者也可以为文字提示信息、或者也可以为图片提示信息，具体不做限定。
比如，用户可以根据语音提示，分别注视电子设备的屏幕的左上角点、左下角点、右上角点、右下角点和电子设备的屏幕中的任意两个点(非角点)，分别在用户注视每个点时，采集一张用户的眼部图像。为了区分描述，将采集到的六张眼部图像分别称为：第一眼部图像、第二眼部图像、第三眼部图像、第四眼部图像、第五眼部图像和第六眼部图像。
检测所述第一眼部图像中的普尔钦斑，作为第一普尔钦斑；并确定所述第一普尔钦斑在眼部坐标系中的坐标；确定所述第一点在屏幕坐标系中的坐标；
检测所述第二眼部图像中的普尔钦斑，作为第二普尔钦斑；并确定所述第二普尔钦斑在眼部坐标系中的坐标；确定所述第二点在屏幕坐标系中的坐标；
检测所述第三眼部图像中的普尔钦斑，作为第三普尔钦斑；并确定所述第三普尔钦斑在眼部坐标系中的坐标；确定所述第三点在屏幕坐标系中的坐标；
检测所述第四眼部图像中的普尔钦斑，作为第四普尔钦斑；并确定所述第四普尔钦斑在眼部坐标系中的坐标；确定所述第四点在屏幕坐标系中的坐标；
检测所述第五眼部图像中的普尔钦斑，作为第五普尔钦斑；并确定所述第五普尔钦斑在眼部坐标系中的坐标；确定所述第五点在屏幕坐标系中的坐标；
检测所述第六眼部图像中的普尔钦斑，作为第六普尔钦斑；并确定所述第六普尔钦斑在眼部坐标系中的坐标；确定所述第六点在屏幕坐标系中的坐标；
根据所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
举例来说，可以将所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标代入如下算式，求解屏幕坐标系与眼部坐标系之间的转换关系：
x＝a+a1*x1+a2*y1+a3*x1*y1+a4*x1^2+a5*y1^2；
y＝b+b1*y1+b2*x1+b3*x1*y1+b4*y1^2+b5*x1^2；
其中，a、a1、a2、a3、a4、a5、b、b1、b2、b3、b4、b5表示所述转换关系中的转换参数，(x1，y1)表示所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑或所述第六普尔钦斑在眼部坐标系中的坐标，(x，y)表示所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标，^2表示平方。
求解出a、a1、a2、a3、a4、a5、b、b1、b2、b3、b4、b5之后，假设S402中检测出的普尔钦斑在眼部坐标系中的坐标为(x1，y1)，将(x1，y1)代入上述算式，便可以得到用户的注视点在屏幕坐标系中的坐标(x，y)。
如上所述，获取到该用户的注视点不同的眼部图像的数量可以为3张、4张、5张、6张等等；上述内容中介绍了获取到6张眼部图像的情况，获取到3张、4张或者其他数量的眼部图像的情况类似，获取到的眼部图像的数量与求解转换关系的算式中的参数数量有关，比如，如果获取到3张眼部图像，则求解转换关系的算式中可以包括a、a1、a2、b、b1、b2，这6个参数，上述算式可以调整为：
x＝a+a1*x1+a2*y1；
y＝b+b1*y1+b2*x1。
获取到其他数量的眼部图像的情况类似，不再一一列举。
如上所述，一种情况下，可以针对使用电子设备的每个用户，分别建立该用户对应的坐标转换关系。这种情况下，S103可以包括：识别用户的身份，作为待处理身份；在预先存储的用户身份与坐标系转换关系的对应关系中，查找所述待处理身份对应的坐标系转换关系，作为待处理转换关系；其中，所述坐标系转换关系为：屏幕坐标系与眼部坐标系之间的转换关系；根据所述待处理转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点。
举例来说，可以针对每个用户，存储其对应的转换参数：a、a1、a2、a3、a4、a5、b、b1、b2、b3、b4、b5。这样，计算注视点在屏幕坐标系中的坐标时，上述算式可以看作有两组输入、一组输出，该两组输入分别为转换参数和普尔钦斑在眼部坐标系中的坐标，该一组输出即为注视点在屏幕坐标系中的坐标。
举例来说，可以通过人脸识别、指纹识别或者用户账号登录等方式，识别用户身份，具体识别方式不做限定。如果预先存储有该用户对应的转换关系，则可以利用该转换关系，确定该用户在屏幕坐标系中的注视点；如果未存储有该用户对应的转换关系，则可以利用上述实施方式，获取该用户对应的转换关系，然后再利用该转换关系，确定该用户在屏幕坐标系中的注视点。
S102：基于该注视区域，操作电子设备。
上述一种情况下，根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点；这种情况下，一种实施方式中，S102可以包括：若所述注视点位于所述电子设备的屏幕中，则唤醒所述电子设备。
举例来说，可以确定电子设备的屏幕区域在屏幕坐标系中的坐标范围，S403中确定出注视点在屏幕坐标系中的坐标，判断该坐标是否属于该坐标范围，如果属于，则表示用户正在注视电子设备的屏幕，这种情况下，可以唤醒电子设备。
或者，另一种实施方式中，可以确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令。
采用上述实施方式，可以唤醒电子设备；采用本实施方式，可以在唤醒电子设备后，对电子设备进行其他操作，比如导航、播放音乐、调节车内空调温度等等，具体不做限定。
举例来说，相机可以每隔预设时间段采集一张图像，该预设时间段可以为1秒、0.5秒等，具体不做限定。一种实施方式中，如果基于连续N张图像确定出的注视点均对应相同的操作按钮，再执行操作按钮对应的命令。N可以为2，或者可以为3，等等，具体数值不做限定。这样，可以减少用户误触发的情况。
一种情况下，如果基于连续N张图像确定出的注视点均对应相同的操作按钮，可以输出提示信息，询问用户是否执行该操作按钮对应的命令：比如，可以输出语音提示信息，用户可以通过语音选择是否执行该操作按钮对应的命令，或者，用户也可以点头确认执行该操作按钮对应的命令。或者，在电子设备的屏幕中展示“确认”和“取消”两个按钮；然后继续采集图像，如果基于后续M张图像确定出的注视点均对应“确认”按钮，再执行该操作按钮对应的命令。M可以为2，或者可以为3，等等，具体数值不做限定。这样，可以进一步减少用户误触发的情况。
举例来说，确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令，可以包括：
确定所述注视点在所述屏幕中对应的软件图标；打开所述软件图标对应的显示界面；
或者，在音乐播放界面中，确定所述注视点在所述屏幕中对应的操作按钮；若所述操作按钮为播放上一首，则播放当前音乐的上一首音乐；若所述操作按钮为播放下一首，则播放当前音乐的下一首音乐；
或者，在导航界面中，确定所述注视点在所述导航界面的地图中的位置，作为目的地；基于所述目的地进行导航。
本实施方式中，用户注视屏幕中的某个区域，相当于用户点击触摸屏中的区域；对于电子设备来说，基于用户的注视点执行相应的操作，与基于用户的触摸点执行相应的操作，操作机制类似，具体的操作情况不再一一列举。
应用本发明所示实施例，确定用户在电子设备的屏幕中的注视区域；基于注视区域，操作电子设备；可见，本方案中，用户只需要注视电子设备，便可以操作电子设备，用户不需要点击物理按键、触摸屏按键，也不需要语音操作电子设备，提高了操作便利性。
图5为本发明实施例提供的设备交互方法的第二种流程示意图，包括：
S501：输出第一提示信息，第一提示信息用于提示用户注视电子设备的屏幕中的第一点；在用户注视第一点时，采集第一眼部图像；检测第一眼部图像中的普尔钦斑，作为第一普尔钦斑；并确定第一普尔钦斑在眼部坐标系中的坐标；确定第一点在屏幕坐标系中的坐标。
S502：输出第二提示信息，第二提示信息用于提示用户注视电子设备的屏幕中的第二点；在用户注视第二点时，采集第二眼部图像；检测第二眼部图像中的普尔钦斑，作为第二普尔钦斑；并确定第二普尔钦斑在眼部坐标系中的坐标；确定第二点在屏幕坐标系中的坐标。
S503：输出第三提示信息，第三提示信息用于提示用户注视电子设备的屏幕中的第三点；在用户注视第三点时，采集第三眼部图像；检测第三眼部图像中的普尔钦斑，作为第三普尔钦斑；并确定第三普尔钦斑在眼部坐标系中的坐标；确定第三点在屏幕坐标系中的坐标。
S504：输出第四提示信息，第四提示信息用于提示用户注视电子设备的屏幕中的第四点；在用户注视第四点时，采集第四眼部图像；检测第四眼部图像中的普尔钦斑，作为第四普尔钦斑；并确定第四普尔钦斑在眼部坐标系中的坐标；确定第四点在屏幕坐标系中的坐标。
S505：输出第五提示信息，第五提示信息用于提示用户注视电子设备的屏幕中的第五点；在用户注视第五点时，采集第五眼部图像；检测第五眼部图像中的普尔钦斑，作为第五普尔钦斑；并确定第五普尔钦斑在眼部坐标系中的坐标；确定第五点在屏幕坐标系中的坐标。
S506：输出第六提示信息，第六提示信息用于提示用户注视电子设备的屏幕中的第六点；在用户注视第六点时，采集第六眼部图像；检测第六眼部图像中的普尔钦斑，作为第六普尔钦斑；并确定第六普尔钦斑在眼部坐标系中的坐标；确定第六点在屏幕坐标系中的坐标。
比如，用户可以根据语音提示，分别注视电子设备的屏幕的左上角点、左下角点、右上角点、右下角点和电子设备的屏幕中的任意两个点(非角点)，分别在用户注视每个点时，采集一张用户的眼部图像。为了区分描述，将采集到的六张眼部图像分别称为：第一眼部图像、第二眼部图像、第三眼部图像、第四眼部图像、第五眼部图像和第六眼部图像。
普尔钦斑是眼球角膜上的一个亮光点，由进入瞳孔的光线在角膜外表面上反射而产生。当眼球转动时，普尔钦斑不动，瞳孔相对于普尔钦斑发生偏移，根据该偏移量可以确定人眼的视线方向。
举例来说，可以先检测图像中的瞳孔，瞳孔接近于黑色，可以在图像中，识别黑色区域作为瞳孔。然后在瞳孔所在的区域中检测亮光点，作为普尔钦斑。
S507：根据第一点、第二点、第三点、第四点、第五点和第六点在屏幕坐标系中的坐标、以及第一普尔钦斑、第二普尔钦斑、第三普尔钦斑、第四普尔钦斑、第五普尔钦斑和第六普尔钦斑在眼部坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
举例来说，可以将所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标代入如下算式，求解屏幕坐标系与眼部坐标系之间的转换关系：
x＝a+a1*x1+a2*y1+a3*x1*y1+a4*x1^2+a5*y1^2；
y＝b+b1*y1+b2*x1+b3*x1*y1+b4*y1^2+b5*x1^2；
其中，a、a1、a2、a3、a4、a5、b、b1、b2、b3、b4、b5表示所述转换关系中的转换参数，(x1，y1)表示所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑或所述第六普尔钦斑在眼部坐标系中的坐标，(x，y)表示所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标，^2表示平方。
可以针对使用电子设备的每个用户，分别建立该用户对应的坐标转换关系。举例来说，可以针对每个用户，存储其对应的转换参数：a、a1、a2、a3、a4、a5、b、b1、b2、b3、b4、b5。
S501-S507为建立屏幕坐标系与眼部坐标系之间的转换关系的过程，该过程可以预先执行。设备交互方案可以由S508开始执行。
S508：获取待处理图像，假设待处理图像中包括用户A的眼部。
S509：检测待处理图像中的普尔钦斑，并确定普尔钦斑在眼部坐标系中的坐标。
S510：识别用户A的身份，作为待处理身份。
举例来说，可以通过人脸识别、指纹识别或者用户账号登录等方式，识别用户身份，具体识别方式不做限定。
S511：在预先存储的用户身份与坐标系转换关系的对应关系中，查找待处理身份对应的坐标系转换关系，作为待处理转换关系。其中，所述坐标系转换关系为：屏幕坐标系与眼部坐标系之间的转换关系。
S512：根据待处理转换关系，将普尔钦斑转换为用户A在屏幕坐标系中的注视点。
S512中，可以利用上述算式，计算注视点在屏幕坐标系中的坐标。
如上所述，可以针对每个用户，存储其对应的转换参数：a、a1、a2、a3、a4、a5、b、b1、b2、b3、b4、b5。这样，计算注视点在屏幕坐标系中的坐标时，上述算式可以看作有两组输入、一组输出，该两组输入分别为转换参数和普尔钦斑在眼部坐标系中的坐标，该一组输出即为注视点在屏幕坐标系中的坐标。
如果预先存储有用户A对应的转换关系(转换参数)，则可以利用该转换关系(转换参数)，确定用户A在屏幕坐标系中的注视点(计算注视点在屏幕坐标系中的坐标)；如果未存储有用户A对应的转换关系，则可以利用上述实施方式，获取用户A对应的转换关系，然后再利用该转换关系，确定用户A在屏幕坐标系中的注视点。
S513：若注视点位于电子设备的屏幕中，则唤醒电子设备；或者，确定注视点在屏幕中对应的操作按钮；执行操作按钮对应的操作命令。
一种实施方式中，可以确定电子设备的屏幕区域在屏幕坐标系中的坐标范围，S512中确定出注视点在屏幕坐标系中的坐标，判断该坐标是否属于该坐标范围，如果属于，则表示用户正在注视电子设备的屏幕，这种情况下，可以唤醒电子设备。
或者，另一种实施方式中，可以确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令。
采用上述实施方式，可以唤醒电子设备；采用本实施方式，可以在唤醒电子设备后，对电子设备进行其他操作，比如导航、播放音乐、调节车内空调温度等等，具体不做限定。
举例来说，相机可以每隔预设时间段采集一张图像，该预设时间段可以为1秒、0.5秒等，具体不做限定。一种实施方式中，如果基于连续N张图像确定出的注视点均对应相同的操作按钮，再执行操作按钮对应的命令。N可以为2，或者可以为3，等等，具体数值不做限定。这样，可以减少用户误触发的情况。
一种情况下，如果基于连续N张图像确定出的注视点均对应相同的操作按钮，可以输出提示信息，询问用户是否执行该操作按钮对应的命令：比如，可以输出语音提示信息，用户可以通过语音选择是否执行该操作按钮对应的命令，或者，用户也可以点头确认执行该操作按钮对应的命令。或者，在电子设备的屏幕中展示“确认”和“取消”两个按钮；然后继续采集图像，如果基于后续M张图像确定出的注视点均对应“确认”按钮，再执行该操作按钮对应的命令。M可以为2，或者可以为3，等等，具体数值不做限定。这样，可以进一步减少用户误触发的情况。
举例来说，确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令，可以包括：
确定所述注视点在所述屏幕中对应的软件图标；打开所述软件图标对应的显示界面；
或者，在音乐播放界面中，确定所述注视点在所述屏幕中对应的操作按钮；若所述操作按钮为播放上一首，则播放当前音乐的上一首音乐；若所述操作按钮为播放下一首，则播放当前音乐的下一首音乐；
或者，在导航界面中，确定所述注视点在所述导航界面的地图中的位置，作为目的地；基于所述目的地进行导航。
本实施方式中，用户注视屏幕中的某个区域，相当于用户点击触摸屏中的区域；对于电子设备来说，基于用户的注视点执行相应的操作，与基于用户的触摸点执行相应的操作，操作机制类似，具体的操作情况不再一一列举。
应用本发明所示实施例，确定用户在电子设备的屏幕中的注视区域；基于注视区域，操作电子设备；可见，本方案中，用户只需要注视电子设备，便可以操作电子设备，用户不需要点击物理按键、触摸屏按键，也不需要语音操作电子设备，提高了操作便利性。
需要说明的是，本发明实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本发明实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本发明实施例还提供一种设备交互装置，如图6所示，包括：
第一确定模块601，用于确定用户在电子设备的屏幕中的注视区域；
操作模块602，用于基于所述注视区域，操作所述电子设备。
作为一种实施方式，第一确定模块601具体用于：根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点；
操作模块602具体用于：若所述注视点位于所述电子设备的屏幕中，则唤醒所述电子设备；或者，确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令。
作为一种实施方式，第一确定模块601，包括：获取子模块、确定子模块和转换子模块(图中未示出)，其中，
获取子模块，用于获取待处理图像，所述待处理图像中包括用户的眼部；
确定子模块，用于检测所述待处理图像中的普尔钦斑，并确定所述普尔钦斑在眼部坐标系中的坐标；
转换子模块，用于根据屏幕坐标系与眼部坐标系之间的转换关系，将所述普尔钦斑在眼部坐标系中的坐标转换为用户的注视点在所述屏幕坐标系中的坐标。
作为一种实施方式，所述装置还包括：获取模块、第二确定模块和求解模块(图中未示出)，其中，
获取模块，用于获取多张所述用户的注视点不同的眼部图像，所采集的眼部图像对应的注视点均位于所述电子设备的屏幕中；
第二确定模块，用于针对每张眼部图像，确定普尔钦斑在眼部坐标系中的坐标、以及该张眼部图像对应的注视点在屏幕坐标系中的坐标；
求解模块，用于基于所述普尔钦斑在眼部坐标系中的坐标和所述注视点在屏幕坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
作为一种实施方式，所述获取模块，具体用于：
输出第一提示信息，所述第一提示信息用于提示用户注视电子设备的屏幕中的第一点；在用户注视所述第一点时，采集第一眼部图像；
输出第二提示信息，所述第二提示信息用于提示用户注视电子设备的屏幕中的第二点；在用户注视所述第二点时，采集第二眼部图像；
输出第三提示信息，所述第三提示信息用于提示用户注视电子设备的屏幕中的第三点；在用户注视所述第三点时，采集第三眼部图像；
输出第四提示信息，所述第四提示信息用于提示用户注视电子设备的屏幕中的第四点；在用户注视所述第四点时，采集第四眼部图像；
输出第五提示信息，所述第五提示信息用于提示用户注视电子设备的屏幕中的第五点；在用户注视所述第五点时，采集第五眼部图像；
输出第六提示信息，所述第六提示信息用于提示用户注视电子设备的屏幕中的第六点；在用户注视所述第六点时，采集第六眼部图像；
所述第二确定模块，具体用于：
检测所述第一眼部图像中的普尔钦斑，作为第一普尔钦斑；并确定所述第一普尔钦斑在眼部坐标系中的坐标；确定所述第一点在屏幕坐标系中的坐标；
检测所述第二眼部图像中的普尔钦斑，作为第二普尔钦斑；并确定所述第二普尔钦斑在眼部坐标系中的坐标；确定所述第二点在屏幕坐标系中的坐标；
检测所述第三眼部图像中的普尔钦斑，作为第三普尔钦斑；并确定所述第三普尔钦斑在眼部坐标系中的坐标；确定所述第三点在屏幕坐标系中的坐标；
检测所述第四眼部图像中的普尔钦斑，作为第四普尔钦斑；并确定所述第四普尔钦斑在眼部坐标系中的坐标；确定所述第四点在屏幕坐标系中的坐标；
检测所述第五眼部图像中的普尔钦斑，作为第五普尔钦斑；并确定所述第五普尔钦斑在眼部坐标系中的坐标；确定所述第五点在屏幕坐标系中的坐标；
检测所述第六眼部图像中的普尔钦斑，作为第六普尔钦斑；并确定所述第六普尔钦斑在眼部坐标系中的坐标；确定所述第六点在屏幕坐标系中的坐标；
所述求解模块，具体用于：
根据所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
作为一种实施方式，所述求解模块，具体用于：
将所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标代入如下算式，求解屏幕坐标系与眼部坐标系之间的转换关系：
x＝a+a1*x1+a2*y1+a3*x1*y1+a4*x1^2+a5*y1^2；
y＝b+b1*y1+b2*x1+b3*x1*y1+b4*y1^2+b5*x1^2；
其中，a、a1、a2、a3、a4、a5、b、b1、b2、b3、b4、b5表示所述转换关系中的转换参数，(x1，y1)表示所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑或所述第六普尔钦斑在眼部坐标系中的坐标，(x，y)表示所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标。
作为一种实施方式，第一确定模块601具体用于：
识别用户的身份，作为待处理身份；
在预先存储的用户身份与坐标系转换关系的对应关系中，查找所述待处理身份对应的坐标系转换关系，作为待处理转换关系；其中，所述坐标系转换关系为：屏幕坐标系与眼部坐标系之间的转换关系；
根据所述待处理转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点。
作为一种实施方式，操作模块602具体用于：
确定所述注视点在所述屏幕中对应的软件图标；打开所述软件图标对应的显示界面；
或者，在音乐播放界面中，确定所述注视点在所述屏幕中对应的操作按钮；若所述操作按钮为播放上一首，则播放当前音乐的上一首音乐；若所述操作按钮为播放下一首，则播放当前音乐的下一首音乐；
或者，在导航界面中，确定所述注视点在所述导航界面的地图中的位置，作为目的地；基于所述目的地进行导航。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
本发明实施例还提供一种电子设备，如图7所示，包括存储器702、处理器701及存储在存储器702上并可在处理器701上运行的计算机程序，处理器701执行所述程序时实现如权利要求上述任意一种设备交互方法。
该电子设备可以为电子设备，或者也可以为与电子设备通信连接的其他终端设备，具体不做限定。
处理器701可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器702可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器702可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器702中，并由处理器701来调用执行。
此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本发明实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任意一种设备交互方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种设备交互方法，其特征在于，包括：
确定用户在电子设备的屏幕中的注视区域；
基于所述注视区域，操作所述电子设备。
2.根据权利要求1所述的方法，其特征在于，所述确定用户在电子设备的屏幕中的注视区域，包括：
根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点；
所述基于所述注视区域，操作所述电子设备，包括：
若所述注视点位于所述电子设备的屏幕中，则唤醒所述电子设备；
或者，确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令。
3.根据权利要求2所述的方法，其特征在于，所述根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点，包括：
获取待处理图像，所述待处理图像中包括用户的眼部；
检测所述待处理图像中的普尔钦斑，并确定所述普尔钦斑在眼部坐标系中的坐标；
根据屏幕坐标系与眼部坐标系之间的转换关系，将所述普尔钦斑在眼部坐标系中的坐标转换为用户的注视点在所述屏幕坐标系中的坐标。
4.根据权利要求3所述的方法，其特征在于，获得所述屏幕坐标系与眼部坐标系之间的转换关系的过程包括：
获取多张所述用户的注视点不同的眼部图像，所采集的眼部图像对应的注视点均位于所述电子设备的屏幕中；
针对每张眼部图像，确定普尔钦斑在眼部坐标系中的坐标、以及该张眼部图像对应的注视点在屏幕坐标系中的坐标；
基于所述普尔钦斑在眼部坐标系中的坐标和所述注视点在屏幕坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
5.根据权利要求4所述的方法，其特征在于，所述获取多张所述用户的注视点不同的眼部图像，包括：
输出第一提示信息，所述第一提示信息用于提示用户注视电子设备的屏幕中的第一点；在用户注视所述第一点时，采集第一眼部图像；
输出第二提示信息，所述第二提示信息用于提示用户注视电子设备的屏幕中的第二点；在用户注视所述第二点时，采集第二眼部图像；
输出第三提示信息，所述第三提示信息用于提示用户注视电子设备的屏幕中的第三点；在用户注视所述第三点时，采集第三眼部图像；
输出第四提示信息，所述第四提示信息用于提示用户注视电子设备的屏幕中的第四点；在用户注视所述第四点时，采集第四眼部图像；
输出第五提示信息，所述第五提示信息用于提示用户注视电子设备的屏幕中的第五点；在用户注视所述第五点时，采集第五眼部图像；
输出第六提示信息，所述第六提示信息用于提示用户注视电子设备的屏幕中的第六点；在用户注视所述第六点时，采集第六眼部图像；
所述针对每张眼部图像，确定普尔钦斑在眼部坐标系中的坐标、以及该张眼部图像对应的注视点在屏幕坐标系中的坐标，包括：
检测所述第一眼部图像中的普尔钦斑，作为第一普尔钦斑；并确定所述第一普尔钦斑在眼部坐标系中的坐标；确定所述第一点在屏幕坐标系中的坐标；
检测所述第二眼部图像中的普尔钦斑，作为第二普尔钦斑；并确定所述第二普尔钦斑在眼部坐标系中的坐标；确定所述第二点在屏幕坐标系中的坐标；
检测所述第三眼部图像中的普尔钦斑，作为第三普尔钦斑；并确定所述第三普尔钦斑在眼部坐标系中的坐标；确定所述第三点在屏幕坐标系中的坐标；
检测所述第四眼部图像中的普尔钦斑，作为第四普尔钦斑；并确定所述第四普尔钦斑在眼部坐标系中的坐标；确定所述第四点在屏幕坐标系中的坐标；
检测所述第五眼部图像中的普尔钦斑，作为第五普尔钦斑；并确定所述第五普尔钦斑在眼部坐标系中的坐标；确定所述第五点在屏幕坐标系中的坐标；
检测所述第六眼部图像中的普尔钦斑，作为第六普尔钦斑；并确定所述第六普尔钦斑在眼部坐标系中的坐标；确定所述第六点在屏幕坐标系中的坐标；
所述基于所述坐标和所述坐标，求解屏幕坐标系与眼部坐标系之间的转换关系，包括：
根据所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系，包括：
将所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标代入如下算式，求解屏幕坐标系与眼部坐标系之间的转换关系：
x＝a+a1*x1+a2*y1+a3*x1*y1+a4*x1^2+a5*y1^2；
y＝b+b1*y1+b2*x1+b3*x1*y1+b4*y1^2+b5*x1^2；
其中，a、a1、a2、a3、a4、a5、b、b1、b2、b3、b4、b5表示所述转换关系中的转换参数，(x1，y1)表示所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑或所述第六普尔钦斑在眼部坐标系中的坐标，(x，y)表示所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标。
7.根据权利要求2所述的方法，其特征在于，所述根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点，包括：
识别用户的身份，作为待处理身份；
在预先存储的用户身份与坐标系转换关系的对应关系中，查找所述待处理身份对应的坐标系转换关系，作为待处理转换关系；其中，所述坐标系转换关系为：屏幕坐标系与眼部坐标系之间的转换关系；
根据所述待处理转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点。
8.根据权利要求1所述的方法，其特征在于，所述确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令，包括：
确定所述注视点在所述屏幕中对应的软件图标；打开所述软件图标对应的显示界面；
或者，在音乐播放界面中，确定所述注视点在所述屏幕中对应的操作按钮；若所述操作按钮为播放上一首，则播放当前音乐的上一首音乐；若所述操作按钮为播放下一首，则播放当前音乐的下一首音乐；
或者，在导航界面中，确定所述注视点在所述导航界面的地图中的位置，作为目的地；基于所述目的地进行导航。
9.一种设备交互装置，其特征在于，包括：
第一确定模块，用于确定用户在电子设备的屏幕中的注视区域；
操作模块，用于基于所述注视区域，操作所述电子设备。
10.根据权利要求9所述的装置，其特征在于，所述第一确定模块，具体用于：根据屏幕坐标系与眼部坐标系之间的转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点；
所述操作模块，具体用于：若所述注视点位于所述电子设备的屏幕中，则唤醒所述电子设备；或者，确定所述注视点在所述屏幕中对应的操作按钮；执行所述操作按钮对应的操作命令。
11.根据权利要求10所述的装置，其特征在于，所述第一确定模块，包括：
获取子模块，用于获取待处理图像，所述待处理图像中包括用户的眼部；
确定子模块，用于检测所述待处理图像中的普尔钦斑，并确定所述普尔钦斑在眼部坐标系中的坐标；
转换子模块，用于根据屏幕坐标系与眼部坐标系之间的转换关系，将所述普尔钦斑在眼部坐标系中的坐标转换为用户的注视点在所述屏幕坐标系中的坐标。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
获取模块，用于获取多张所述用户的注视点不同的眼部图像，所采集的眼部图像对应的注视点均位于所述电子设备的屏幕中；
第二确定模块，用于针对每张眼部图像，确定普尔钦斑在眼部坐标系中的坐标、以及该张眼部图像对应的注视点在屏幕坐标系中的坐标；
求解模块，用于基于所述普尔钦斑在眼部坐标系中的坐标和所述注视点在屏幕坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
13.根据权利要求12所述的装置，其特征在于，所述获取模块，具体用于：输出第一提示信息，所述第一提示信息用于提示用户注视电子设备的屏幕中的第一点；在用户注视所述第一点时，采集第一眼部图像；
输出第二提示信息，所述第二提示信息用于提示用户注视电子设备的屏幕中的第二点；在用户注视所述第二点时，采集第二眼部图像；
输出第三提示信息，所述第三提示信息用于提示用户注视电子设备的屏幕中的第三点；在用户注视所述第三点时，采集第三眼部图像；
输出第四提示信息，所述第四提示信息用于提示用户注视电子设备的屏幕中的第四点；在用户注视所述第四点时，采集第四眼部图像；
输出第五提示信息，所述第五提示信息用于提示用户注视电子设备的屏幕中的第五点；在用户注视所述第五点时，采集第五眼部图像；
输出第六提示信息，所述第六提示信息用于提示用户注视电子设备的屏幕中的第六点；在用户注视所述第六点时，采集第六眼部图像；
所述第二确定模块，具体用于：
检测所述第一眼部图像中的普尔钦斑，作为第一普尔钦斑；并确定所述第一普尔钦斑在眼部坐标系中的坐标；确定所述第一点在屏幕坐标系中的坐标；
检测所述第二眼部图像中的普尔钦斑，作为第二普尔钦斑；并确定所述第二普尔钦斑在眼部坐标系中的坐标；确定所述第二点在屏幕坐标系中的坐标；
检测所述第三眼部图像中的普尔钦斑，作为第三普尔钦斑；并确定所述第三普尔钦斑在眼部坐标系中的坐标；确定所述第三点在屏幕坐标系中的坐标；
检测所述第四眼部图像中的普尔钦斑，作为第四普尔钦斑；并确定所述第四普尔钦斑在眼部坐标系中的坐标；确定所述第四点在屏幕坐标系中的坐标；
检测所述第五眼部图像中的普尔钦斑，作为第五普尔钦斑；并确定所述第五普尔钦斑在眼部坐标系中的坐标；确定所述第五点在屏幕坐标系中的坐标；
检测所述第六眼部图像中的普尔钦斑，作为第六普尔钦斑；并确定所述第六普尔钦斑在眼部坐标系中的坐标；确定所述第六点在屏幕坐标系中的坐标；
所述求解模块，具体用于：
根据所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标，求解屏幕坐标系与眼部坐标系之间的转换关系。
14.根据权利要求13所述的装置，其特征在于，所述求解模块，具体用于：
将所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标、以及所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑和所述第六普尔钦斑在眼部坐标系中的坐标代入如下算式，求解屏幕坐标系与眼部坐标系之间的转换关系：
x＝a+a1*x1+a2*y1+a3*x1*y1+a4*x1^2+a5*y1^2；
y＝b+b1*y1+b2*x1+b3*x1*y1+b4*y1^2+b5*x1^2；
其中，a、a1、a2、a3、a4、a5、b、b1、b2、b3、b4、b5表示所述转换关系中的转换参数，(x1，y1)表示所述第一普尔钦斑、所述第二普尔钦斑、所述第三普尔钦斑、所述第四普尔钦斑、所述第五普尔钦斑或所述第六普尔钦斑在眼部坐标系中的坐标，(x，y)表示所述第一点、所述第二点、所述第三点、所述第四点、所述第五点和所述第六点在屏幕坐标系中的坐标。
15.根据权利要求10所述的装置，其特征在于，所述第一确定模块，具体用于：
识别用户的身份，作为待处理身份；
在预先存储的用户身份与坐标系转换关系的对应关系中，查找所述待处理身份对应的坐标系转换关系，作为待处理转换关系；其中，所述坐标系转换关系为：屏幕坐标系与眼部坐标系之间的转换关系；
根据所述待处理转换关系，将用户眼部的普尔钦斑转换为用户在所述屏幕坐标系中的注视点。
16.根据权利要求9所述的装置，其特征在于，所述操作模块，具体用于：
确定所述注视点在所述屏幕中对应的软件图标；打开所述软件图标对应的显示界面；
或者，在音乐播放界面中，确定所述注视点在所述屏幕中对应的操作按钮；若所述操作按钮为播放上一首，则播放当前音乐的上一首音乐；若所述操作按钮为播放下一首，则播放当前音乐的下一首音乐；
或者，在导航界面中，确定所述注视点在所述导航界面的地图中的位置，作为目的地；基于所述目的地进行导航。
17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任意一项所述的方法。
CN201911358781.0A 2019-12-25 2019-12-25 一种设备交互方法、装置及电子设备 Pending CN113031757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911358781.0A CN113031757A (zh) 2019-12-25 2019-12-25 一种设备交互方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911358781.0A CN113031757A (zh) 2019-12-25 2019-12-25 一种设备交互方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113031757A true CN113031757A (zh) 2021-06-25

Family

ID=76458656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911358781.0A Pending CN113031757A (zh) 2019-12-25 2019-12-25 一种设备交互方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113031757A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN104216508A (zh) * 2013-05-31 2014-12-17 中国电信股份有限公司 通过眼动跟踪技术进行功能键操作的方法和装置
CN109118714A (zh) * 2018-08-28 2019-01-01 北京七鑫易维信息技术有限公司 基于眼动信息的报警方法、装置、设备及存储介质
CN109144267A (zh) * 2018-09-03 2019-01-04 中国农业大学 人机交互方法及装置
CN109558012A (zh) * 2018-12-26 2019-04-02 北京七鑫易维信息技术有限公司 一种眼球追踪方法及装置
CN110248024A (zh) * 2019-06-11 2019-09-17 Oppo广东移动通信有限公司 解锁方法及相关设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216508A (zh) * 2013-05-31 2014-12-17 中国电信股份有限公司 通过眼动跟踪技术进行功能键操作的方法和装置
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN109118714A (zh) * 2018-08-28 2019-01-01 北京七鑫易维信息技术有限公司 基于眼动信息的报警方法、装置、设备及存储介质
CN109144267A (zh) * 2018-09-03 2019-01-04 中国农业大学 人机交互方法及装置
CN109558012A (zh) * 2018-12-26 2019-04-02 北京七鑫易维信息技术有限公司 一种眼球追踪方法及装置
CN110248024A (zh) * 2019-06-11 2019-09-17 Oppo广东移动通信有限公司 解锁方法及相关设备

Similar Documents

Publication Publication Date Title
EP2891954B1 (en) User-directed personal information assistant
US9317113B1 (en) Gaze assisted object recognition
WO2018000200A1 (zh) 对电子设备进行控制的终端及其处理方法
US20180079427A1 (en) Gesture based control of autonomous vehicles
CN110570200A (zh) 一种支付方法及装置
US11281370B2 (en) Electronic device and touch gesture control method thereof
US20140009378A1 (en) User Profile Based Gesture Recognition
CN106406710A (zh) 一种录制屏幕的方法及移动终端
US20150227197A1 (en) Information processing apparatus, information processing method, and program
US11436828B1 (en) Insurance inventory and claim generation
RU2598598C2 (ru) Устройство обработки информации, система обработки информации и способ обработки информации
CN108897589B (zh) 显示设备中人机交互方法、装置、计算机设备和存储介质
CN103472915B (zh) 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备
US10853024B2 (en) Method for providing information mapped between a plurality of inputs and electronic device for supporting the same
JPWO2017047182A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11199946B2 (en) Information processing apparatus, control method, and program
US11404048B2 (en) Method for operating voice recognition service and electronic device supporting same
US20180004287A1 (en) Method for providing user interface through head mounted display using eye recognition and bio-signal, apparatus using same, and computer readable recording medium
CN109271028A (zh) 智能设备的控制方法、装置、设备和存储介质
US20170131785A1 (en) Method and apparatus for providing interface interacting with user by means of nui device
CN112083795A (zh) 对象控制方法及装置、存储介质和电子设备
CN110682912B (zh) 一种数据处理方法、装置和机器可读介质
CN114489331A (zh) 区别于按钮点击的隔空手势交互方法、装置、设备和介质
EP2811369A1 (en) Method of moving a cursor on a screen to a clickable object and a computer system and a computer program thereof
JP6580625B2 (ja) 画像処理装置、画像編集装置、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination