CN111078107B - 一种屏幕交互的方法、装置、设备和存储介质 - Google Patents

一种屏幕交互的方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111078107B
CN111078107B CN201911205598.7A CN201911205598A CN111078107B CN 111078107 B CN111078107 B CN 111078107B CN 201911205598 A CN201911205598 A CN 201911205598A CN 111078107 B CN111078107 B CN 111078107B
Authority
CN
China
Prior art keywords
screen
user
determining
gazing
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911205598.7A
Other languages
English (en)
Other versions
CN111078107A (zh
Inventor
杨大业
宋建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201911205598.7A priority Critical patent/CN111078107B/zh
Publication of CN111078107A publication Critical patent/CN111078107A/zh
Application granted granted Critical
Publication of CN111078107B publication Critical patent/CN111078107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请实施例公开了一种屏幕交互的方法、装置、设备和存储介质，其中，所述方法包括：通过人眼跟踪确定用户视线在电子设备的第一屏幕上的注视位置；根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。

Description

一种屏幕交互的方法、装置、设备和存储介质
技术领域
本申请涉及通信领域，涉及但不限于一种屏幕交互的方法、装置、设备和存储介质。
背景技术
在一些电子设备上，例如，双屏笔记本电脑等双屏触摸屏电子设备，在使用时，如果用户的一只手被占用，用户则无法利用一只手有效点击全部屏幕范围，尤其是对于平板电脑来说，平板电脑的屏幕尺寸较大，单手操作全屏幕触摸几乎是不可能。另外，由于双屏触摸屏电子设备在交互方面有时会出现盲区，使得用户更加无法单手同时与两块屏幕同时进行交互。
因此，能够使用户单手与双屏电子设备进行交互是一个亟待解决的问题。
发明内容
有鉴于此，本申请实施例为解决相关技术中存在的至少一个问题而提供一种屏幕交互的方法。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种屏幕交互的方法，所述方法包括：通过人眼跟踪确定用户视线在电子设备的第一屏幕上的注视位置；根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
第二方面，本申请实施例提供一种屏幕交互的装置，所述装置包括：第一确定模块，用于通过人眼跟踪确定用户视线在电子设备的第一屏幕上的注视位置；第二确定模块，用于根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；第三确定模块，用于根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
第三方面，本申请实施例提供一种电子设备，所述电子设备包括：第一屏幕，用于显示应用界面内容；第二屏幕，用于显示交互功能；处理器，用于通过人眼跟踪确定用户视线在电子设备的第一屏幕上的注视位置；根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。
本申请实施例提供的一种屏幕交互的方法、装置、设备和存储介质，使用摄像模组跟踪用户视线，确定用户在第一屏幕注视内容，根据用户在第一屏幕注视内容确定电子设备的第二屏幕上提供的交互功能。这样，能够根据用户在第一屏幕当前注视的内容确定第二屏幕提供的交互功能，可以让用户使用一只手有效完成对双屏电子设备的操作，且不受吵杂环境的影响，提升了用户使用双屏电子设备的使用效率。
附图说明
图1A为相关技术的具有屏幕交互的电子设备的结构示意图；
图1B为相关技术的具有屏幕交互的电子设备在绘图模式下的示意图；
图1C为相关技术的具有屏幕交互的电子设备在阅读学习模式下的示意图；
图1D为相关技术的具有屏幕交互的电子设备在浏览比对模式下的示意图；
图1E为本申请实施例提供的一种屏幕交互方法的实现流程示意图；
图2A为本申请实施例提供的注视参数的示意图；
图2B为本申请实施例提供的另一种屏幕交互方法的实现流程示意图；
图3为本申请实施例提供的再一种屏幕交互方法的实现流程示意图；
图4为本申请实施例提供的又一种屏幕交互方法的实现流程示意图；
图5A为本申请实施例提供的在第一屏幕上的注视点的示意图；
图5B为本申请实施例提供的在第二屏幕上安装摄像模组的示意图；
图5C为本申请实施例提供的又一种屏幕交互方法的实现流程示意图；
图6为本申请实施例提供的屏幕交互的装置的组成结构示意图；
图7为本申请实施例提供的电子设备的一种硬件实体示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
应当理解，此处所描述的一些实施例仅仅用以解释本申请的技术方案，并不用于限定本申请的技术范围。
实施例一
图1A为相关技术的具有屏幕交互的电子设备的结构示意图，如图1A示，该电子设备包括：第一屏幕101和第二屏幕102，用于提供给用户操作。例如：双屏笔记本电脑，双屏中的每一屏幕都可以显示画面。双屏的电子设备具有很多种使用模式，例如绘图模式、阅读学习模式和浏览比对模式，其中：
图1B为相关技术的具有屏幕交互的电子设备在绘图模式下的示意图，如图1B所示，该电子设备包括：第一屏幕111和第二屏幕112，其中，第一屏幕 111用于显示画图程序的交互界面，第二屏幕112用于提供给用户画图的输入输出；使用时，用户使用绘图笔113，或使用手指在第二屏幕112上画图输入。
图1C为相关技术的具有屏幕交互的电子设备在阅读学习模式下的示意图，如图1C所示，该电子设备包括：第一屏幕121和第二屏幕122 ，其中，第一屏幕121用于显示阅读学习程序，第二屏幕122用于用户操作阅读学习方法；使用时，用户使用学习使用的笔123在第二屏幕上点击需要操作的阅读学习方法。
图1D为相关技术的具有屏幕交互的电子设备在浏览比对模式下的示意图，如图1D所示，该电子设备包括：第一屏幕131和第二屏幕132，其中，第一屏幕131用于显示浏览比对程序，第二屏幕132用于用户操作浏览比对方法。
如图1A所示屏幕交互的电子设备上，配置双屏触摸屏和摄像头，例如：双屏笔记本电脑、双屏平板电脑、双屏手机等电子设备。当用户单手持双屏笔记本电脑时，如果另一个手被占用，则无法有效点击全部屏幕范围。对于双屏平板电脑来说，由于屏幕尺寸更大(7-12英寸)，单手操作全屏幕触摸在手持状态下不可能操作屏幕内容。而第二块屏无法使用传统的触摸板，这样在交互方面会出现盲区，用户无法单手迅速地与两块屏幕同时进行交互。例如：图1B 中用户在绘图模式下使用双屏的电子设备，图1C中用户在阅读学习模式下使用双屏的电子设备，图1D中用户在浏览比对模式下使用双屏的电子设备，用户在单手操作的情况下均无法有效点击全部屏幕范围。
本实施例提供一种屏幕交互方法，应用于具有双屏的电子设备。图1E为本申请实施例提供的一种屏幕交互方法的实现流程示意图，如图1E所示，该方法包括：
步骤S101、通过人眼跟踪确定用户视线在电子设备的第一屏幕上的注视位置；
在使用有屏幕交互的电子设备时，用户的视线会落在关注的屏幕上，这里，将用户视线关注的屏幕称为第一屏幕。在实现的时候，可以利用电子设备上的摄像模组来跟踪人眼在第一屏幕上的注视位置。
注视位置是用户在使用电子设备时，目光聚焦的位置，即，用户正在看的内容。例如：图1B用户注视位置可以是绘图软件位置，图1C用户注视位置可以是阅读学习模式的阅读内容，图1D用户注视位置可以是浏览比对模式的浏览新闻内容。
步骤S102、根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；
根据用户在第一屏幕上的注视位置和第一屏幕上显示的应用界面内容可以确定用户在第一屏幕上的注视内容，例如：如图1B所示，用户注视位置是绘图软件位置，应用界面显示的是绘图，可以确定用户在第一屏幕上注视内容是绘图。如图1C所示，用户注视位置是阅读学习模式的阅读内容，可以确定用户在第一屏幕上注视内容阅读文字。如图1D所示，用户注视位置是浏览比对模式的浏览新闻内容，可以确定用户在第一屏幕上注视内容浏览新闻。
步骤S103、根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
交互功能指根据用户在第一屏幕上的注视内容，确定第二屏幕提供的操作的功能：例如：如果用户在第一屏幕上的注视内容是阅读的文章，第二屏幕提供的功能是阅读文章需要的翻页或者换行的动作。如果用户在第一屏幕上的注视内容是绘图，电子设备的第二屏幕上可以提供用户手动绘图的交互功能。这里，确定第二屏幕的操作功能可以通过第一屏幕的注释内容的软件来确定，例如，如果确定为画图软件，则在注册表中调取画图软件的名称，并将用户的画图操作的输如界面在第二屏幕中调出。
本申请使用摄像模组跟踪用户视线，确定用户在第一屏幕注视内容，根据用户在第一屏幕注视内容确定电子设备的第二屏幕上提供的交互功能。这样，能够根据用户在第一屏幕当前注视的内容确定第二屏幕提供的交互功能，可以让用户使用一只手有效完成对屏幕交互的电子设备的操作，利用人眼追踪的功能，降低了因声控等嘈杂环境的影响，提升了用户使用屏幕交互的电子设备的使用效率，提高用户的交互体验。
实施例二
图2A为本申请的实施例提供一种注视参数的示意图，如图2A示，注视参数包括：摄像节点Cj、所述虹膜反射图像上的瞳孔中心B′j和所述虹膜反射图像上的普尔钦斑P′j。
图2B为本申请实施例提供的另一种屏幕交互方法的实现流程示意图，如图 2B示，该方法包括：
步骤S201、通过电子设备的第一屏幕上的摄像模组获取用户视线的注视参数；
如图2A所示，注视参数可以包括摄像节点Cj、所述虹膜反射图像上的瞳孔中心B′j和所述虹膜反射图像上的普尔钦斑P′j。其中，Cj位于摄像模组中心， B′j是虹膜反射图像上的的瞳孔中心，P′j是虹膜反射图像上的普尔钦斑。这里，普尔钦斑是近红外光源放置在被测者头部侧方的固定位置，光源所发出的近红外光在用户眼睛角膜形成高亮度反射点。
步骤S202、根据所述注视参数确定用户视线在电子设备的第一屏幕上的注视位置；
根据获取到的用户视线的摄像节点Cj、所述虹膜反射图像上的瞳孔中心B′j和所述虹膜反射图像上的普尔钦斑P′j，可以确定用户视线在电子设备的第一屏幕上的注视位置。
步骤S203、根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；
步骤S204、根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
本申请实施例中，通过第一屏幕上的摄像模组获取用户视线的注视参数，确定用户视线的注视位置。这里，用摄像模组来获取注视参数，方法简单，易实现。
实施例三
图3为本申请实施例提供的再一种屏幕交互方法的实现流程示意图，如图3 所示，该方法包括：
步骤S301、通过所述第一屏幕上的摄像模组获取用户的虹膜反射图像；
虹膜反射图像是光线照射到用户的虹膜上反射回来在摄像模组上的成像，其中，虹膜指眼球壁中层的扁圆形环状薄膜。位于角膜和晶状体之间，透过角膜可以看到，俗称“黑眼球”。中央有一个小圆孔，称瞳孔，光线由此进入眼内。
步骤S302、通过所述虹膜反射图像得到所述用户视线的注视参数；
本实施例中，所述用户视线的注视参数包括：摄像节点Cj、所述虹膜反射图像上的瞳孔中心B′j和所述虹膜反射图像上的普尔钦斑P′j。通过虹膜反射图像可以得到用户视线的摄像节点Cj、虹膜反射图像上的瞳孔中心B′j和虹膜反射图像上的普尔钦斑P′j。
步骤S303、根据所述注视参数确定用户视线在电子设备的第一屏幕上的注视位置；
步骤S304、根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；
步骤S305、根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
本申请实施例中，通过获取用户的虹膜反射图像确定用户在第一屏幕上的注视位置。当用户的视线注视屏幕某一位置时，光线会照射在虹膜上反射回来，在摄像模组可以获取用户的虹膜反射图像，用虹膜反射图像确定用户的注视位置，获取用户的注视位置，获取的注视位置准确，精度高。
实施例四
本实施例中，所述用户视线的注视参数包括：摄像节点Cj、所述虹膜反射图像上的瞳孔中心B′j和所述虹膜反射图像上的普尔钦斑P′j。图4为本申请实施例提供的又一种屏幕交互方法的实现流程示意图，如图4所示，该方法包括：
步骤S401、通过所述第一屏幕上的摄像模组获取用户的虹膜反射图像；
步骤S402、通过所述虹膜反射图像得到所述用户视线的注视参数；
步骤S403、通过所述第一摄像模组获取用户视线所在的第一平面的注视参数；
一般情况，会在屏幕交互的电子设备的第一屏幕上安装两个摄像模组。第一摄像模组用来获取用户视线所在的第一平面的摄像节点Cj、虹膜反射图像上的瞳孔中心B′j和虹膜反射图像上的普尔钦斑P′j。
步骤S404、通过所述第二摄像模组获取用户视线所在的第二平面的注视参数；
第二摄像模组用来获取用户视线所在的第二平面的摄像节点Cj、虹膜反射图像上的瞳孔中心B′j和虹膜反射图像上的普尔钦斑P′j。
步骤S405、根据所述用户视线所在的第一平面的注视参数确定第一平面，包括：根据公式：{[Cj1-B′j]×[P′j-Cj1]}·[X1-Cj1]＝0确定第一平面X1，其中，Cj1为所述第一摄像模组对应的摄像节点；根据所述用户视线所在的第二平面的注视参数确定第二平面，包括：根据公式：{[Cj2-B′j]×[P′j-Cj2]}·[X2-Cj2]＝0确定第二平面X2；其中，Cj2为所述第二摄像模组对应的摄像节点；
给出了如何确定第一平面和第二平面的公式，用摄像模组获取的注视参数输入公式，可以确定第一平面和第二平面。
步骤S406、将所述第一平面与所述第二平面之间的交线确定为光轴；
步骤S407、根据所述光轴与所述电子设备的第一屏幕表面的交叉点，确定用户视线在电子设备的第一屏幕上的注视位置；
由用户视线确定的光轴与电子设备的第一屏幕表面的交叉点，可以确定用户视线在电子设备的第一屏幕上的注视位置。
步骤S408、根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；
步骤S409、根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
本申请实施例中，需要在屏幕交互的电子设备的第一屏幕安装两个摄像模组，两个摄像模组分别获取用户视线所在的第一平面和第二平面的注视参数，将获取到的两组注视参数输入公式可以确定两个平面的位置，两个平面之间的交线就是用户视线的光轴，光轴与第一屏幕的交叉点可以确定用户视线的注视位置。给出的计算平面的公式，方便计算平面的交线，确定交线为光轴，方法简单有效，易于实现。
实施例五
图5A为本实施例提供的第一屏幕注视点示意图，如图5A所示，包括：用户正在注视第一屏幕的注视点。
图5B为本实施例提供的第二屏幕安装摄像模组示意图，如图5B所示，包括：屏幕交互的电子设备，在第二屏幕安装摄像模组的位置。
本申请通过使用全方位人眼跟踪和触摸屏幕结合，设计针对双屏类笔记本的简洁有效地交互方式。图5C为本申请实施例提供的又一种屏幕交互方法的实现流程示意图，如图5C示，工作流程描述如下：
步骤S501、通过使用双摄像模组立体视线跟踪来得到用户对于第一屏幕的注视点；
为获取如图5A所示第一屏幕的注视点，首先屏幕交互的电子设备的双摄像模组通过检测获得两个相应的平面，眼睛的光轴分别位于这两个平面，其次利用公式：{[Cj-B′j]×[P′j-Cj]}·[X-Cj]＝0，得到两个X＝(x,y,z)T为所求两个相应的平面，其中Cj为摄像头节点，B′j为图像平面上的瞳孔中心，P′j为图像平面上的普尔钦斑，然后根据得到的两个相应的平面相交获得眼睛的光轴，光轴与屏幕的交叉点是用户眼睛的注视点。
可以在屏幕交互的电子设备上加两个间距一定距离的红外摄像模组和与之匹配的红外灯，每个红外灯位于摄像模组的镜头节点，红外灯主要是照亮虹膜，获取虹膜反射图像，靠近镜头节点的好处是光的分布与获取受用户位置影响小，易于提高处理数据的精度。对于光线良好的场景，可以关闭红外灯灯，以节省电力。
步骤S502、根据第一屏幕的注视点的数据确定第一屏幕上的某一位置，利用确定的位置上的应用程序界面完成第一屏幕的程序功能定位；
用户在第一屏幕的注视点的数据就是注视参数，根据注视参数确定视线落在屏幕的位置，利用确定的位置上的应用程序界面完成第一屏幕的程序功能定位。
步骤S503、将第一屏幕的程序功能和第二屏幕结合提供用户交互；
这里首先确定用户在第一屏幕上注视位置的程序功能，然后，根据第一屏幕的程序功能决定第二屏幕上的交互模式，其中，适用的交互模式如：浏览对比模式、阅读学习模式、绘图模式等。举例来说：如果注视第一屏幕的画图板白画布，那么手可以在第二屏幕上书写内容，如图1B所示；如果注视的是某个菜单，那么单击第二屏幕就是点击菜单。
如图5B所示，可以在屏幕交互的电子设备的下部边缘添加摄像模组，这里，下部指的是第二屏幕的下部边缘，就是与第一块屏摄像模组对称的位置。针对下边屏幕使用同样方法进行交互，下边屏幕圆圈位置为第二组双摄像模组。这里，第二屏幕的两个摄像模组需要和第一屏幕的两个摄像模组一样设置有一定距离，且第二屏幕摄像模组和第一屏幕摄像模组设置需要沿着两个屏幕平面交叉的线对称。
本申请实施例中，首先通过使用双摄像模组立体视线跟踪完成第一屏幕的程序功能定位，然后将第一屏幕的程序功能和第二屏幕结合提供用户交互。这里，可以在屏幕交互的电子设备上加两个间距一定距离的红外摄像模组和与之匹配的红外灯，红外灯主要是照亮虹膜，获取虹膜反射图像，靠近镜头节点的好处是光的分布与获取受用户位置影响小，易于提高处理数据的精度。对于光线良好的场景，可以关闭红外灯，以节省电力。可以在屏幕交互的电子设备的第二屏幕的下部边缘添加摄像模组，针对下边屏幕使用同样方法进行交互，达到用户随意切换注视屏和操作屏的效果，提升用户的使用体验。
实施例六
基于前述的实施例，本申请实施例提供一种屏幕交互的处理装置，该装置包括所包括的各模块、以及各模块所包括的各子模块，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图6为本申请实施例提供的屏幕交互的装置的组成结构示意图，如图6所示，所述装置600包括第一确定模块601、第二确定模块602和第三确定模块 603，其中：
第一确定模块601，用于通过人眼跟踪确定用户视线在电子设备的第一屏幕上的注视位置；
第二确定模块602，用于根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；
第三确定模块603，用于根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
基于前述的实施例，本申请实施例提供一种屏幕交互的装置，所述装置包括第一确定模块、第二确定模块和第三确定模块，其中第一确定模块包括第一获取模块、第一确定子模块，其中：
第一获取模块，用于通过电子设备的第一屏幕上的摄像模组获取用户视线的注视参数；
第一确定子模块，用于根据所述注视参数确定用户视线在电子设备的第一屏幕上的注视位置；
第二确定模块，用于根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；
第三确定模块，用于根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
基于前述的实施例，本申请实施例提供一种屏幕交互的装置，所述装置包括第一获取模块、第一确定子模块、第二确定模块和第三确定模块，其中第一获取模块包括第一获取子模块、第二获取子模块，其中：
第一获取子模块，用于通过所述第一屏幕上的摄像模组获取用户的虹膜反射图像；
第二获取子模块，用于通过所述虹膜反射图像得到所述用户视线的注视参数；
第一确定子模块，用于根据所述注视参数确定用户视线在电子设备的第一屏幕上的注视位置；
第二确定模块，用于根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；
第三确定模块，用于根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
基于前述的实施例，本申请实施例提供一种屏幕交互的装置，所述装置包括第一获取模块、第一确定子模块、第二确定模块和第三确定模块，其中第一确定子模块包括第三获取子模块、第四获取子模块、第二确定子模块、第三确定子模块、第四确定子模块，用户视线的注视参数包括：摄像节点Cj、所述虹膜反射图像上的瞳孔中心B′j和所述虹膜反射图像上的普尔钦斑P′j，其中：
第一获取模块，用于通过电子设备的第一屏幕上的摄像模组获取用户视线的注视参数；
第三获取子模块，用于通过所述第一摄像模组获取用户视线所在的第一平面的注视参数，包括：根据公式：{[Cj1-B′j]×[P′j-Cj1]}·[X1-Cj1]＝0确定第一平面X1，其中，Cj1为所述第一摄像模组对应的摄像节点；
第四获取子模块，用于通过所述第二摄像模组获取用户视线所在的第二平面的注视参数，包括：根据公式：{[Cj2-B′j]×[P′j-Cj2]}·[X2-Cj2]＝0确定第二平面X2；其中，Cj2为所述第二摄像模组对应的摄像节点；
第二确定子模块，用于根据所述用户视线所在的第一平面的注视参数确定第一平面，根据所述用户视线所在的第二平面的注视参数确定第二平面；
第三确定子模块，用于将所述第一平面与所述第二平面之间的交线确定为光轴；
第四确定子模块，用于根据所述光轴与所述电子设备的第一屏幕表面的交叉点，确定用户视线在电子设备的第一屏幕上的注视位置；
第二确定模块，用于根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；
第三确定模块，用于根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
本申请实施例中，如果以软件功能模块的形式实现上述的屏幕交互的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReadOnly Memory， ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的屏幕交互的方法中的步骤。
对应地，本申请实施例提供一种电子设备，图7为本申请实施例提供的电子设备的一种硬件实体示意图，如图7所示，该电子设备700的硬件实体包括：第一屏幕701、第二屏幕702和处理器703，其中：
所述第一屏幕701用于显示应用界面内容；
所述第二屏幕702用于显示交互功能；
所述处理器703用于通过人眼跟踪确定用户视线在电子设备的第一屏幕上的注视位置；根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
基于前述的实施例，本申请实施例提供一种电子设备，所述电子设备包括：第一屏幕、第二屏幕和处理器，其中第一屏幕包括设置在第一屏幕上的摄像模组，其中：
所述设置在第一屏幕上的摄像模组，用于获取用户视线的注视参数；
所述第一屏幕用于显示应用界面内容；
所述第二屏幕用于显示交互功能；
所述处理器用于通过电子设备的第一屏幕上的摄像模组获取用户视线的注视参数；根据所述注视参数确定用户视线在电子设备的第一屏幕上的注视位置；根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
基于前述的实施例，本申请实施例提供一种电子设备，所述电子设备包括：第一屏幕、第二屏幕和处理器，其中第一屏幕包括设置在第一屏幕上的摄像模组，其中：
所述设置在第一屏幕上的摄像模组，用于获取用户视线的注视参数；
所述第一屏幕用于显示应用界面内容；
所述第二屏幕用于显示交互功能；
所述处理器用于通过所述第一屏幕上的摄像模组获取用户的虹膜反射图像；通过所述虹膜反射图像得到所述用户视线的注视参数；根据所述注视参数确定用户视线在电子设备的第一屏幕上的注视位置；根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
基于前述的实施例，本申请实施例提供一种电子设备，所述电子设备包括：第一屏幕、第二屏幕和处理器，其中第一屏幕包括设置在第一屏幕上的第一摄像模组和第二摄像模组，所述用户视线的注视参数包括：摄像节点Cj、所述虹膜反射图像上的瞳孔中心B′j和所述虹膜反射图像上的普尔钦斑P′j，其中：
所述第一摄像模组用于获取用户视线所在的第一平面的注视参数；
所述第二摄像模组用于获取用户视线所在的第二平面的注视参数；
所述第一屏幕用于显示应用界面内容；
所述第二屏幕用于显示交互功能；
所述处理器用于根据所述用户视线所在的第一平面的注视参数确定第一平面，包括：根据公式：{[Cj1-B′j]×[P′j-Cj1]}·[X1-Cj1]＝0确定第一平面X1，其中，Cj1为所述第一摄像模组对应的摄像节点，根据所述用户视线所在的第二平面的注视参数确定第二平面，包括：根据公式：{[Cj2-B′j]×[P′j-Cj2]}·[X2-Cj2]＝0确定第二平面X2；其中，Cj2为所述第二摄像模组对应的摄像节点；将所述第一平面与所述第二平面之间的交线确定为光轴；根据所述光轴与所述电子设备的第一屏幕表面的交叉点，确定用户视线在电子设备的第一屏幕上的注视位置；根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种屏幕交互的方法，包括：
通过人眼跟踪确定用户视线在电子设备的第一屏幕上的注视位置；
根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；
根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能，其中，所述交互功能是根据所述注视内容所确定的程序功能确定的，且所述交互功能指第二屏幕提供的用于操作所述注视内容的功能。
2.如权利要求1所述方法，其中，所述通过人眼跟踪确定用户视线在电子设备的第一屏幕上的注视位置，包括：
通过电子设备的第一屏幕上的摄像模组获取用户视线的注视参数；
根据所述注视参数确定用户视线在电子设备的第一屏幕上的注视位置。
3.如权利要求2所述方法，其中，所述通过电子设备的第一屏幕上的摄像模组获取用户视线的注视参数，包括：
通过所述第一屏幕上的摄像模组获取用户的虹膜反射图像；
通过所述虹膜反射图像得到所述用户视线的注视参数。
4.如权利要求3所述方法，其中，所述电子设备的第一屏幕上包括第一摄像模组和第二摄像模组，所述方法还包括：
通过所述第一摄像模组获取用户视线所在的第一平面的注视参数；
通过所述第二摄像模组获取用户视线所在的第二平面的注视参数；
相应地，所述根据所述注视参数确定用户视线在电子设备的第一屏幕上的注视位置，包括：
根据所述用户视线所在的第一平面的注视参数确定第一平面，根据所述用户视线所在的第二平面的注视参数确定第二平面；
将所述第一平面与所述第二平面之间的交线确定为光轴；
根据所述光轴与所述电子设备的第一屏幕表面的交叉点，确定用户视线在电子设备的第一屏幕上的注视位置。
5.如权利要求4所述方法，其中，所述用户视线的注视参数包括：摄像节点Cj、所述虹膜反射图像上的瞳孔中心Bj′和所述虹膜反射图像上的普尔钦斑Pj′；
对应地，所述根据所述用户视线所在的第一平面的注视参数确定第一平面，包括：根据公式：{[Cj1-Bj′]×[Pj′-Cj1]}·[X1-Cj1]＝0确定第一平面X1，其中，Cj1为所述第一摄像模组对应的摄像节点；
对应地，所述根据所述用户视线所在的第二平面的注视参数确定第二平面，包括：根据公式：{[Cj2-Bj′]×[Pj′-Cj2]}·[X2-Cj2]＝0确定第二平面X2；其中，Cj2为所述第二摄像模组对应的摄像节点。
6.一种屏幕交互的装置，包括：
第一确定模块，用于通过人眼跟踪确定用户视线在电子设备的第一屏幕上的注视位置；
第二确定模块，用于根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；
第三确定模块，用于根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能，其中，所述交互功能是根据所述注视内容所确定的程序功能确定的，且所述交互功能指第二屏幕提供的用于操作所述注视内容的功能。
7.一种电子设备，包括：
第一屏幕，用于显示应用界面内容；
第二屏幕，用于显示交互功能；
处理器，用于通过人眼跟踪确定用户视线在电子设备的第一屏幕上的注视位置；
根据在所述第一屏幕上的注视位置和所述第一屏幕上显示的应用界面内容，确定在所述第一屏幕上的注视内容；
根据在所述第一屏幕上的注视内容，确定在所述电子设备的第二屏幕上提供的交互功能，其中，所述交互功能是根据所述注视内容所确定的程序功能确定的，且所述交互功能指第二屏幕提供的用于操作所述注视内容的功能。
8.如权利要求7所述电子设备，其中，还包括：
设置在第一屏幕上的摄像模组，用于获取用户视线的注视参数；
所述通过人眼跟踪确定用户视线在电子设备的第一屏幕上的注视位置，包括：
通过电子设备的第一屏幕上的摄像模组获取用户视线的注视参数；
根据所述注视参数确定用户视线在电子设备的第一屏幕上的注视位置。
9.如权利要求8所述电子设备，其中，所述通过电子设备的第一屏幕上的摄像模组获取用户视线的注视参数，包括：
通过所述第一屏幕上的摄像模组获取用户的虹膜反射图像；
通过所述虹膜反射图像得到所述用户视线的注视参数。
10.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至5任一项所述屏幕交互的方法中的步骤。
CN201911205598.7A 2019-11-29 2019-11-29 一种屏幕交互的方法、装置、设备和存储介质 Active CN111078107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911205598.7A CN111078107B (zh) 2019-11-29 2019-11-29 一种屏幕交互的方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911205598.7A CN111078107B (zh) 2019-11-29 2019-11-29 一种屏幕交互的方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111078107A CN111078107A (zh) 2020-04-28
CN111078107B true CN111078107B (zh) 2022-07-26

Family

ID=70312179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911205598.7A Active CN111078107B (zh) 2019-11-29 2019-11-29 一种屏幕交互的方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111078107B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914141A (zh) * 2013-01-07 2014-07-09 索尼公司 眼睛跟踪用户界面
CN105094604A (zh) * 2015-06-30 2015-11-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN108196676A (zh) * 2018-01-02 2018-06-22 联想(北京)有限公司 跟踪识别方法及系统
CN108628515A (zh) * 2018-05-08 2018-10-09 维沃移动通信有限公司 一种多媒体内容的操作方法和移动终端
CN109254659A (zh) * 2018-08-30 2019-01-22 Oppo广东移动通信有限公司 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
CN109767258A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 基于眼部图像识别的智能导购方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914141A (zh) * 2013-01-07 2014-07-09 索尼公司 眼睛跟踪用户界面
CN105094604A (zh) * 2015-06-30 2015-11-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN108196676A (zh) * 2018-01-02 2018-06-22 联想(北京)有限公司 跟踪识别方法及系统
CN108628515A (zh) * 2018-05-08 2018-10-09 维沃移动通信有限公司 一种多媒体内容的操作方法和移动终端
CN109254659A (zh) * 2018-08-30 2019-01-22 Oppo广东移动通信有限公司 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
CN109767258A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 基于眼部图像识别的智能导购方法及装置

Also Published As

Publication number Publication date
CN111078107A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
US20220391159A1 (en) Display method and apparatus
US20220091722A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR102219246B1 (ko) 헤드 마운티드 디바이스를 사용한 사용자 초점 제어 그래픽 사용자 인터페이스
Normand et al. Enlarging a smartphone with ar to create a handheld vesad (virtually extended screen-aligned display)
RU2579952C2 (ru) Система и способ мультисенсорного взаимодействия и подсветки на основе камеры
CN114402589B (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
CN108205374B (zh) 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
CN110618755A (zh) 可穿戴装置的用户界面控制
US11481025B2 (en) Display control apparatus, display apparatus, and display control method
CN103294260A (zh) 触敏用户界面
US20190073029A1 (en) System and method for receiving user commands via contactless user interface
US20190377464A1 (en) Display method and electronic device
JP2015518199A (ja) 光ガイドディスプレイ及び視野
EP3759576B1 (en) A high-speed staggered binocular eye tracking systems
US20170004211A1 (en) Search Recommendation Method and Apparatus
EP4250076A1 (en) Method and apparatus for adjusting interface display state, and device and storage medium
US20200218198A1 (en) Movement control of holographic objects with crown movement of a watch device
CN111078107B (zh) 一种屏幕交互的方法、装置、设备和存储介质
US20170147142A1 (en) Dynamic image compensation for pre-touch localization on a reflective surface
CN105988643A (zh) 信息处理方法及电子设备
CN108196676B (zh) 跟踪识别方法及系统
CN111708504A (zh) 一种扩展屏幕的显示方法
WO2020060596A1 (en) Electronic device with inner display and externally accessible input-output device
CN113961069A (zh) 适用于实物的增强现实交互方法、装置及存储介质
CN107194958A (zh) 一种图像处理的方法、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant