CN105630135A - 一种智能终端的控制方法和装置 - Google Patents

一种智能终端的控制方法和装置 Download PDF

Info

Publication number
CN105630135A
CN105630135A CN201410583379.3A CN201410583379A CN105630135A CN 105630135 A CN105630135 A CN 105630135A CN 201410583379 A CN201410583379 A CN 201410583379A CN 105630135 A CN105630135 A CN 105630135A
Authority
CN
China
Prior art keywords
eyes
line
user
intelligent terminal
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410583379.3A
Other languages
English (en)
Inventor
王新
罗伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201410583379.3A priority Critical patent/CN105630135A/zh
Priority to PCT/CN2014/094137 priority patent/WO2016065706A1/zh
Publication of CN105630135A publication Critical patent/CN105630135A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供的一种智能终端的控制方法和装置,属于通信领域。该智能终端控制方法,先获取用户眼睛的位置信息,根据位置信息确定用户眼睛对应在屏幕上的位置,将位置处的对象确定为控制对象;然后接收用于控制所述控制对象的控制指令,并根据该控制指令对控制对象执行相应的控制操作。采用本申请的方法能够通过用户的眼睛位置信息来定位选择控制对象,这样就能解放双手,并且避免了现有中通过手来触摸选择控制对象的不准确,以及在某些场景下,不便于用手来进行操作,例如手上有水或污渍的情况,以及双手操作屏幕的繁琐的问题。进一步,也可以通过眼部的活动,缓解眼部疲劳,增强用户体验。

Description

一种智能终端的控制方法和装置
技术领域
本发明涉及通信领域,特别涉及一种智能终端的控制方法和装置。
背景技术
随着目前手机等智能终端的屏幕越来越大,单手操作屏幕的难度也越来越大,而且针对目前的触摸屏,单手操作容易引起误操作,例如触摸不准确,以及有时手上有水或污渍不便于在触摸屏上进行操作;若使用双手操作,则显得越来越繁琐,用户体验也越来越差。如何解放双手,通过其他方式来便于用户进行智能终端的操作成为急需解决的问题。
发明内容
本发明提供一种智能终端控制方法和装置,解决现有通过手来对智能终端进行操作存在操作不准确,不便操作和操作繁琐的问题。
为解决上述问题,本发明提供一种智能终端的控制方法,包括:
获取用户眼睛的位置信息;
根据所述位置信息确定用户眼睛对应在屏幕上的位置;
将所述位置处的对象确定为控制对象;
接收用于控制所述控制对象的控制指令;
根据所述控制指令对所述控制对象执行相应的控制操作。
在本发明的一种实施例中,所述获取用户眼睛的位置信息包括获取用户双眼的位置信息;所述根据所述位置信息确定用户眼睛对应在屏幕上的位置包括:
根据所述双眼位置信息确定双眼垂直投射在所述智能终端屏幕所在平面的两个投射点;
将所述两个投射点之间连线的预设位置确定为用户眼睛对应在屏幕上的位置。
在本发明的一种实施例中,所述两个投射点之间连线的预设位置包括:所述两个投射点之间连线的中间位置,或所述两个投射点之间连线距离其中一个投射点三分之一处位置。
在本发明的一种实施例中,所述获取用户眼睛的位置信息包括:将用户双眼中的一个眼睛作为定位眼睛,获取用该定位眼睛的位置信息;
所述根据所述位置信息确定用户眼睛对应在屏幕上的位置包括:
获取所述智能终端屏幕正面的摄像头与所述定位眼睛之间的连线K;
根据所述连线K确定所述定位眼睛投射到所述智能终端屏幕上的定位线;
将所述定位线与所述智能终端屏幕的交点P所在位置作为所述定位眼睛对应在屏幕上的位置。
在本发明的一种实施例中,所述根据所述连线K确定所述定位眼睛投射到所述智能终端屏幕上的定位线包括:
设置所述摄像头的中心点为原点,所述摄像头与所述定位眼睛之间的连线为所述摄像头中心点与所述定位眼睛的中心点之间的连线K;
确定所述定位眼睛垂直于所述智能终端屏幕所在平面的垂线M;
在所述连线K和所述垂线M确定的面上,以所述定位眼睛的中心点为起点,在所述连线K和所述垂线M之间做一条直线N作为所述定位线,该直线与所述连线K的夹角为预设夹角α。
在本发明的一种实施例中,计算所述定位线与所述智能终端屏幕的交点P包括:
根据所述定位眼睛的位置信息和所述原点计算得到所述连线K的距离L;
根据所述定位眼睛的位置信息计算得到所述垂线M的长度,获取所述定位线与所述垂线M之间的夹角γ;根据所述垂线M的长度和所述定位线与所述夹角γ计算得到所述定位线的长度S;
根据所述连线K的距离L、所述夹角α和所述定位线的长度S计算得到所述交点P到所述原点的距离a;
获取所述交点P与所述原点连接的直线与所述原点y轴的夹角β;
根据所述距离a和所述夹角β计算得到所述交点P的位置。
在本发明的一种实施例中,所述接收用于控制所述控制对象的控制指令包括:
获取所述用户的眼睛动作,将所述眼睛动作与预先设置眼睛动作与控制指令对应关系进行比较,确定所述眼睛动作对应的控制指令;
获取所述用户的语音信息,将所述语音信息与预先设置语音信息与控制指令对应关系进行比较,确定所述语音信息对应的控制指令。
在本发明的一种实施例中,所述眼睛动作包括眼睛凝视屏幕的时间、眼珠的转动、眼睛闭眼的时间、眨眼的频率和眼珠的平移中的至少一种;所述预先设置眼睛动作与控制指令对应关系包括以下至少一种:
当用户眼睛凝视屏幕的某个对象超过第一预设时间时,该眼睛动作对应为“确定”控制指令;
当用户眼珠顺时针旋转时,该眼睛动作在有翻页的页面内对应为“下一页”控制指令,在有滑块的页面内对应为“向下滑动”控制指令;
当用户眼珠逆时针转动时,该眼睛动作在有翻页的页面内对应为“上一页”,在有滑块的页面内对应为“向上滑动”;
当用户左眼闭眼超过第二预设时间时,该眼睛动作对应为保存该位置的图片或者链接收藏;
当用户右眼闭眼超过第三预设时间时,该眼睛动作对应为删除该位置的文件或者其他文件;
当双眼闭眼超过第四预设时间时,该眼睛动作对应为自动打开搜索功能,或者启动语音搜索功能;
当用户左眼连续眨眼超过第一预设频率时,该眼睛动作对应为自动进入呼叫界面,并启动语音呼叫功能;
当用户右眼连续眨眼超过第二预设频率时,该眼睛动作对应为自动接听电话,并开启免提功能;
当用户眼珠向左平移时,该眼睛动作在有翻页的页面内对应为“下一页”控制指令,在有滑块的页面内对应为“向下滑动”控制指令;
当用户眼珠向右平移时,该眼睛动作在有翻页的页面内对应为“上一页”,在有滑块的页面内对应为“向上滑动”。
为解决上述问题,本发明还提供一种智能终端的控制装置,包括获取模块、确定模块、对象模块、接收模块和执行模块:
所述获取模块用于获取用户眼睛的位置信息;
所述确定模块用于根据所述位置信息确定用户眼睛对应在屏幕上的位置;
所述控制对象模块用于将所述位置处的对象确定为控制对象;
所述接收模块用于接收用于控制所述控制对象的控制指令;
所述执行模块用于根据所述控制指令对所述控制对象执行相应的控制操作。
在本发明的一种实施例中,所述获取模块还用于获取用户眼睛的位置信息包括获取用户的双眼的位置信息;所述确定模块还用于:
根据所述双眼位置信息确定双眼垂直投射在所述智能终端屏幕所在平面的两个投射点;
将所述两个投射点之间连线的预设位置确定为用户眼睛对应在屏幕上的位置。
在本发明的一种实施例中,所述获取模块还用于将用户双眼中的一个眼睛作为定位眼睛,获取用该定位眼睛的位置信息;所述确定模块还用于:
获取所述智能终端屏幕正面的摄像头与所述定位眼睛之间的连线K;
根据所述连线K确定所述定位眼睛投射到所述智能终端屏幕上的定位线;
将所述定位线与所述智能终端屏幕的交点P所在位置作为所述定位眼睛对应在屏幕上的位置。
在本发明的一种实施例中,所述确定模块还用于:
设置所述摄像头的中心点为原点,所述摄像头与所述定位眼睛之间的连线为所述摄像头中心点与所述定位眼睛的中心点之间的连线K;
确定所述定位眼睛垂直于所述智能终端屏幕所在平面的垂线M;
在所述连线K和所述垂线M确定的面上,以所述定位眼睛的中心点为起点,在所述连线K和所述垂线M之间做一条直线N作为所述定位线,该直线与所述连线K的夹角为预设夹角α。
在本发明的一种实施例中,所述确定模块还用于:
根据所述定位眼睛的位置信息和所述原点计算得到所述连线K的距离L;
根据所述定位眼睛的位置信息计算得到所述垂线M的长度,获取所述定位线与所述垂线M之间的夹角γ;根据所述垂线M的长度和所述定位线与所述夹角γ计算得到所述定位线的长度S;
根据所述连线K的距离L、所述夹角α和所述定位线的长度S计算得到所述交点P到所述原点的距离a;
获取所述交点P与所述原点连接的直线与所述原点y轴的夹角β;
根据所述距离a和所述夹角β计算得到所述交点P的位置。
在本发明的一种实施例中,所述接收模块包括眼睛接收子模块和语音接收子模块包括:
所述眼睛接收子模块用于获取所述用户的眼睛动作,将所述眼睛动作与预先设置眼睛动作与控制指令对应关系进行比较,确定所述眼睛动作对应的控制指令;
所述语音接收子模块用于获取所述用户的语音信息,将所述语音信息与预先设置语音信息与控制指令对应关系进行比较,确定所述语音信息对应的控制指令。
在本发明的一种实施例中,所述眼睛动作包括眼睛凝视屏幕的时间、眼珠的转动、眼睛闭眼的时间、眨眼的频率和眼珠的平移中的至少一种;所述预先设置眼睛动作与控制指令对应关系包括以下至少一种:
当用户眼睛凝视屏幕的某个对象超过第一预设时间时,该眼睛动作对应为“确定”控制指令;
当用户眼珠顺时针旋转时,该眼睛动作在有翻页的页面内对应为“下一页”控制指令,在有滑块的页面内对应为“向下滑动”控制指令;
当用户眼珠逆时针转动时,该眼睛动作在有翻页的页面内对应为“上一页”,在有滑块的页面内对应为“向上滑动”;
当用户左眼闭眼超过第二预设时间时,该眼睛动作对应为保存该位置的图片或者链接收藏;
当用户右眼闭眼超过第三预设时间时,该眼睛动作对应为删除该位置的文件或者其他文件;
当双眼闭眼超过第四预设时间时,该眼睛动作对应为自动打开搜索功能,或者启动语音搜索功能;
当用户左眼连续眨眼超过第一预设频率时,该眼睛动作对应为自动进入呼叫界面,并启动语音呼叫功能;
当用户右眼连续眨眼超过第二预设频率时,该眼睛动作对应为自动接听电话,并开启免提功能;
当用户眼珠向左平移时,该眼睛动作在有翻页的页面内对应为“下一页”控制指令,在有滑块的页面内对应为“向下滑动”控制指令;
当用户眼珠向右平移时,该眼睛动作在有翻页的页面内对应为“上一页”,在有滑块的页面内对应为“向上滑动”。
本发明的有益效果是:
本发明提供的一种智能终端的控制方法和装置,先获取用户眼睛的位置信息,根据位置信息确定用户眼睛对应在屏幕上的位置,将位置处的对象确定为控制对象;然后接收用于控制所述控制对象的控制指令,并根据该控制指令对控制对象执行相应的控制操作。采用本申请的方法能够通过用户的眼睛位置信息来定位选择控制对象,这样就能解放双手,并且避免了现有中通过手来触摸选择控制对象的不准确,以及在某些场景下,不便于用手来进行操作,例如手上有水或污渍的情况,以及双手操作屏幕的繁琐的问题。进一步,也可以通过眼部的活动,缓解眼部疲劳,增强用户体验。
附图说明
图1为本发明实施例一提供的智能终端控制的方法流程示意图;
图2为本发明实施例二提供的智能终端控制的方法流程示意图;
图3为本发明实施例二提供的智能终端控制的方法中涉及的智能终端整体结构示意图;
图4为本发明实施例二提供的双眼定位原理立体示意图;
图5为本发明实施例三提供的智能终端的控制装置第一种结构示意图;
图6为本发明实施例三提供的智能终端的控制装置第二种结构示意图。
具体实施方式
本申请基于模拟双眼定位算法,通过特定的图像采集设备,例如摄像头,采集用户眼睛的动作和用户眼睛对焦在智能终端的情况,通过模拟算法可以计算出用户眼睛对应在屏幕上的位置。如果将图像采集设备集成在终端上面,当用户在使用终端时,图像采集设备采集到用户眼睛的位置信息,计算出用户眼睛对应定位在在屏幕的位置,以达到模拟手指定位的效果,接收用户的控制指令进行操作,该控制指令可以通过眼睛的动作确定执行方式,以此来达到代替手指的操作,解放双手。为使本领域技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步详细描述。
实施例一:
本实施例的智能终端的控制方法,如图1所示,包括以下步骤:
步骤S101:获取用户的眼睛位置信息;
在该步骤中,智能终端获取用户的眼睛位置信息可以通过图像采集设备获取用户眼睛的图像数据,通过图像数据解析出用户眼睛的位置信息,也可以通过感应设备直接获取用户眼睛的位置信息。具体用户的眼睛的位置信息包括用户眼睛距离智能终端屏幕的距离,眼睛的坐标信息,眼睛与智能终端的夹角等信息。这里的智能终端可包括手机,平板,电脑等。这里获取用户的眼睛位置信息,可以是获取用户的双眼的位置信息,也可以是获取用户的双眼其中的一个眼睛的位置信息,具体获取情况根据具体情况而定。
步骤S102:根据位置信息确定用户眼睛对应在屏幕上的位置;
在该步骤中,人的双眼可以起到定位物体位置的作用,如果每个眼睛的视线可以认为是一条直线的话,两只眼睛视线的直线必将在屏幕的某位置汇合。在知道用户眼睛的位置信息后,就可以根据用户眼睛的位置与智能终端之间的关系,来确定用户眼睛在智能终端屏幕定位的位置,即用户眼睛盯着屏幕的位置,将该位置作为用户眼睛对应在屏幕上的位置。例如,我们阅读小说时,双眼在屏幕的定位位置一般都会随小说文字的位置而变化。在该步骤中,具体可以通过直接通过智能终端的图像采集装置或者智能装置的至少一个摄像头能够获取到用户眼睛的视线,根据用户眼睛视线能够定位在智能终端屏幕的位置。也可以获取眼睛的位置信息,根据眼睛的位置信息来得到用户眼睛视线定位在智能终端屏幕的位置。当然,还可以采取其他方式得到用户眼睛的视线定位在智能终端屏幕的位置。值得注意的是,这里的视线是指将用户的眼睛到智能终端屏幕作为一条虚拟的直线。
步骤S103:将位置处的对象确定为控制对象;
在该步骤中,在确定用户眼睛对应在智能终端屏幕的位置,判断在位置处,是不是存在对象,该对象可以是功能图标、图片文件等,应该理解为能够进行操作的对象都可以。如果存在功能图标,就判断是否要对该功能图标进行操作。例如双眼定位在屏幕的位置有一个“下一页”的功能图标,那么确定“下一页”为控制对象。如果要进入下一页,就链接下一页。应该理解为,就等同于用手触摸了该功能图标或者链接一次。如果是图片,可以是对图片的放大或缩小,以及删除、保存等操作。如果是文件,可以是打开、复制、删除等操作。
步骤S104:接收用户控制控制对象的控制指令;
在该步骤中,触发控制指令的方式可以包括语音控制方式、手动控制方式和眼睛控制方式。应该理解为,现有的各种触发控制指令的方式都可用来触发本申请的控制指令。
步骤S105:根据控制指令对控制对象执行相应的控制操作。
在该步骤中,具体根据步骤S104中触发的控制指令对步骤S103的控制对象执行相应的控制操作。例如,在步骤S103中,选择了“下一页”,在步骤S104中,触发了确定执行“下一页”的控制指令。那么可以通过来触发下“下一页”用户说出“下一页”就链接打开下一页;例如有些手机设置有上下的硬件按钮,此时也可通过上下的硬件按钮来链接打开下一页。
进一步,在上述步骤S102中,获取用户眼睛的位置信息包括获取用户的双眼的位置信息,然后根据双眼位置信息确定用户眼睛对应在屏幕上的位置可以为根据双眼位置信息确定双眼垂直投射在智能终端屏幕所在平面的两个投射点;将两个投射点之间连线的预设位置确定为用户眼睛对应在屏幕上的位置。其中两个投射点之间连线的预设位置包括:两个投射点之间连线的中间位置,或两个投射点之间连线距离其中一个投射点三分之一处位置。当然其他的预设位置不仅如此,具体可以根据具体情况进行设置。
进一步,在上述步骤S102中,获取用户眼睛的位置信息还包括获取用户的双眼其中一个眼睛的位置信息,然后根据位置信息确定用户眼睛对应在屏幕上的位置可以为:将用户双眼其中一个眼睛作为定位眼睛;获取智能终端屏幕正面的摄像头与定位眼睛之间的连线K;根据连线K确定定位眼睛投射到智能终端屏幕上的定位线;将定位线与智能终端屏幕的交点P所在位置作为定位眼睛对应在屏幕上的位置。其中,根据连线K确定定位眼睛投射到智能终端屏幕上的定位线具体可以为设置摄像头的中心点为原点,摄像头与定位眼睛之间的连线为摄像头中心点与定位眼睛的中心点之间的连线K;确定定位眼睛垂直于智能终端屏幕所在平面的垂线M;在摄像头中心点与定位眼睛的中心点之间的连线K和定位眼睛垂直于智能终端屏幕的垂线M确定的面内,以定位眼睛的中心点为起点,在摄像头中心点与定位眼睛的中心点之间的连线K和定位眼睛垂直于智能终端屏幕的垂线M之间做一条直线N作为定位线,该直线与摄像头中心点与定位眼睛的中心点之间的连线K的夹角为预设夹角α。其中,α值小于连线K和垂线M之间的夹角。具体计算定位线与智能终端屏幕的交点P可以为根据定位眼睛的位置信息计算得到定位眼睛到原点的距离L;根据定位眼睛的位置信息计算得到定位眼睛垂直于智能终端屏幕的垂线M的长度,获取定位线与定位眼睛垂直于智能终端屏幕的垂线M之间的夹角γ;根据智能终端屏幕的垂线M的长度和定位线与定位眼睛垂直于智能终端屏幕的垂线M之间的夹角γ计算得到定位线长度S;根据定位眼睛到原点的距离L、定位线与摄像头中心点与定位眼睛的中心点之间的连线K的夹角α和定位线的长度S计算得到定位线与智能终端屏幕的交点P到原点的距离a;获取定位线在智能终端屏幕的交点为P与原点连接的直线与原点y轴的夹角β;根据定位线在智能终端屏幕的交点为P到原点的距离a和定位线在智能终端屏幕的交点为P与原点连接的直线与原点y轴的夹角β计算得到定位线在智能终端屏幕的交点P的位置。当然,具体的α夹角的值可以根据具体经验值进行设置,并且不仅仅限于根据该上述方式确定定位线和计算得到定位线在智能终端屏幕的交点P的位置,其他方式也可实现。
进一步,在上述步骤S103中,优先的触发控制指令可包括获取用户的眼睛动作,将眼睛动作与预先设置眼睛动作与控制指令对应关系进行比较,确定眼睛动作对应的控制指令,触发眼睛动作对应的控制指令。具体可以理解为在获取双眼位置信息同时根据眼睛位置的变化来获取眼睛的动作,这样就可以快速的获取眼睛的动作,与预先设置好的眼睛动作与控制指令之间对应的关系进行比较,确定眼睛动作对应的控制指令,触发控制指令。还可以为通过感应设备监测眼睛的动作,将具体监测到的眼睛动作与预先设置的眼睛动作与控制指令的关系进行比较,确定眼睛动作对应的控制指令,触发控制指令。还可以获取用户的语音信息,将语音信息与预先设置语音信息与控制指令对应关系进行比较,确定语音信息对应的控制指令,触发语音信息对应的控制指令。这里具体实施方式可以采用现有的语音控制的操作方式。
进一步,在本实施例中的眼睛动作可以包括眼睛凝视屏幕的时间、眼珠的转动、眼睛闭眼的时间、眨眼的频率和眼珠的平移的至少一种。应该理解为眼睛的动作与控制指令匹配是根据用户自己喜好进行设置的。进一步,当用户眼睛凝视屏幕的某个对象超过第一预设时间时,该眼睛动作对应为“确定”控制指令;当用户眼珠顺时针旋转时,该眼睛动作在有翻页的页面内对应为“下一页”控制指令,在有滑块的页面内对应为“向下滑动”控制指令;当用户眼珠逆时针转动时,该眼睛动作在有翻页的页面内对应为“上一页”,在有滑块的页面内对应为“向上滑动”;当用户左眼闭眼超过第二预设时间时,该眼睛动作对应为保存该位置的图片或者链接收藏;当用户右眼闭眼超过第三预设时间时,该眼睛动作对应为删除该位置的文件或者其他文件;当双眼闭眼超过第四预设时间时,该眼睛动作对应为自动打开搜索功能,或者启动语音搜索功能;当用户左眼连续眨眼超过第一预设频率时,该眼睛动作对应为自动进入呼叫界面,并启动语音呼叫功能;当用户右眼连续眨眼超过第二预设频率时,该眼睛动作对应为自动接听电话,并开启免提功能。当用户眼珠向左平移时,该眼睛动作在有翻页的页面内对应为“下一页”控制指令,在有滑块的页面内对应为“向下滑动”控制指令;当用户眼珠向右平移时,该眼睛动作在有翻页的页面内对应为“上一页”,在有滑块的页面内对应为“向上滑动”。值得注意的是,这里的第一预设时间、第二预设时间、第三预设时间、第三预设时间、第一预设频率和第二预设频率都可以根据用户的喜欢进行相应的设置,而不仅仅限于本申请实施例中的具体值,并且眼睛动作与控制制冷的对应关系也可以根据用户的喜欢进行相应的设置。例如,当用户凝视屏幕中的某个链接或者图标超过2秒时,图形处理单元可以将此动作解析为“确认”指令,再将此指令以及眼部对焦在屏幕中的坐标发送给终端的处理器,处理器接受此指令后,就会操作链接该坐标处的图标,等同于用手触摸了改图标或者链接一次。此眼部动作还可以预定义多种,通过图形处理单元即可采集,然后输入相应控制指令,即可完成命令的解析。优选的,眼部动作以及被解析的命令包括如下范围:当用户凝视屏幕的某个连接或者图标超过2秒时,用户的此动作会被解析为“确认”指令;当用户眼睛顺时针旋转时,在有翻页的页面内可以解析为“下一页”,在有滑块的页面内解析为向下滑动;当用户眼睛逆时针转动时,在有翻页的页面内解析为“上一页”,在有滑块的页面内解析为“向上滑动”;当用户左眼闭眼超过2秒时,解析为保存该位置的图片或者链接收藏;当用户右眼闭眼超过2秒时,删除该位置的文件或者其他文件;当双眼闭眼超过2秒时,自动打开搜索功能,或者启动语音搜索功能;当用户左眼连续眨眼超过2次时,自动进入呼叫界面,并启动语音呼叫功能;当用户右眼连续眨眼超过2次时,自动接听电话,并开启免提功能;当眼睛向左平移时,可以解析为“下一页”;当眼睛向右平移时,可以解析为“上一页”。
实施例二:
本实施例提供的智能终端控制的方法,通过图像采集设备去获取眼睛的位置信息,优选的该图像采集设备可以为摄像头,通过模拟计算模块来完成确定用户眼睛对应在屏幕上的位置。如图2所示,包括以下步骤:
步骤S201:流程开始;
步骤S202:启动图像采集设备,去监测用户双眼定位的位置,以及眼部动作,由模拟计算模块计算出用户定位的位置对应在屏幕上的坐标,并解析眼部动作所定义的指令;
在给步骤中,如图3所示,将终端的平面设置成一个坐标图,以图像采集设备302的中心点作为平面的原点G(0,0),当然也可选择其他点作为原点,所以终端的屏幕303的每个像素点都有自己的坐标,都包含在整个坐标系内。图3中的301为手机的接收器receiver,304则为触摸按键。
图4则展示了本方案的基本原理,当用户的双眼阅读屏幕中的内容时,图像采集设备实时监测用户双眼的变化,同时将图像传至模拟计算单元,实时的模拟计算出用户双眼对焦在屏幕上的位置P,并将P的坐标同时传送至CPU,与此同时,图像采集设备302会实时采集用户的眼睛的动作,如凝视屏幕的某个位置P(x,y,0)超过1S,模拟计算单元会将此眼部动作解析为预置的指令,反馈至CPU,CPU会执行相应的指令。
用户双眼定焦在屏幕上的位置P点坐标的计算方式如下,以用户右眼402的定位位置作为基准,即将右眼402作为定位眼睛。通过图像采集设备中的红外测距模块,可以计算出右眼距离图像采集设备的距离L,以及右眼距离对焦点P的距离S。这里是以眼睛的边缘某一点为直线的起点,当然也可以以眼睛的中心点为起点。首先,在测距开始前,图像采集设备会对用户的双眼位置进行确定,方法如下:如果以右眼作为测距基准,终端会提示用户右眼连续眨眼两次确定是否为右眼,同时会虚拟出图像采集设备与右眼对焦的直线,此直线是为了算法描述所虚拟出的,当用户眼睛挪动时,就相当于直线在不停的变换。此虚拟出的直线与图像采集设备选定的y轴的夹角β、以及L和S之间的夹角α可以通过图像采集设备模拟计算出。所有的算法都是基于如上所述的前提:通过图像采集设备,在以终端的屏幕作为水平面的基础上,可以模拟出双眼的聚焦的趋势,即图像采集设备是可以将双眼的对焦点的方向模拟出来的,如果每个眼睛的视线可以认为是一条直线的话,两只眼睛的直线必将在屏幕的某位置汇合。以下算法就是说明,双眼汇合在终端屏幕上该点的算法。要计算双眼对焦的位置,必须以其中的一只眼睛作为基准,即前面所示的右眼作为基准点。图4所示,用户右眼402的位置与终端屏幕的夹角为α与P点之间虚拟的直线可以认为是人的右视线,其与采集设备跟人眼之间的虚拟直线L的夹角为α,此夹角可以通过图像采集设备采集出来,且402与y轴的夹角β也可以通过图像采集设备计算出来。通过图像采集设备的红外测距功能可以计算出402与原点G的距离L,通过夹角α可以计算出P点距离原点距离:
a=L2+S2-2LS*cosα
由于S是未知,需要先得到S的数值。因为人的右眼E2对应在立体中的坐标为E2(x2,y2,z2),如图4所示,假设右眼E2投影在终端屏幕上的点为E2’,通过图像采集设备可以模拟计算出Z轴与右眼视线(即定位线)之间的夹角为γ。因此可以通过z2,γ,可以计算出右眼视线的距离S。
即S=z2/cosγ
所以,a=L2+S2-2LS*cosα=L2+(z2/cosγ)2-2L(z2/cosγ)*cosα
由此可以得出,P点的平面坐标:
x=a*sinβ
y=a*cosβ
由此可以得出P点坐标为([L2+(z2/cosγ)2-2L(z2/cosγ)*cosα]*sinβ,[L2+(z2/cosγ)2-2L(z2/cosγ)*cosα]*cosβ,0),用户的双眼实时对焦的坐标即可通过此公式计算出来,返回给CPU进行处理。
步骤S203:判定用户眼部的动作是否有效,如用户只是正常的眨眼,则由此步骤进行滤除,流程自动返回步骤S202,当用户的眼部动作与预置的动作符合时,步骤S403会指示进行下一步操作;
步骤S204是模拟计算模块对眼部动作进行解析的过程,如果用户眼部动作与预置动作匹配成功,模拟计算模块会同时将用户定焦的位置在屏幕中的坐标计算出来,一同发送至CPU进行处理;
步骤S205是CPU接收到图像处理单元发送过来的指令以及坐标值,解析完成后,对该坐标系的图标进行确认操作,即等同于用户用手指完成操作。
例如,用户在凝视屏幕的某一段P点时,此时P点为某个链接,图像采集设备将该动作传送至模拟计算单元处理,解析为确认的命令,发送至CPU,此时CPU就链接该地址。因此,通过眼部的动作代替了用手去触摸的一系列动作,使得用户也释放了双手,用户体验也大大提升。类似的眼部动作可以预置很多,如右眼闭合,解析为向右滑动;左眼闭合,解析为向左滑动;双眼顺时针转圈,解析为翻页等等。有了以上的功能,用户在阅读的同时,既可以通过双眼的动作代替双手的操作,又能够不断的通过眼部的活动舒缓眼部疲劳,对用户的双眼也有保护的功能。
实施例三:
本发明还提供一种智能终端控制的装置,如图5所示该控制装置包括获取模块、确定模块、对象模块、接收模块和执行模块:所述获取模块用于获取用户眼睛的位置信息;所述确定模块用于根据所述位置信息确定用户眼睛对应在屏幕上的位置;所述控制对象模块用于将所述位置处的对象确定为控制对象;所述接收模块用于接收用于控制该控制对象的控制指令;所述执行模块用于根据所述控制指令对所述控制对象执行相应的控制操作。
进一步,所述获取模块还用于获取用户眼睛的位置信息包括获取用户的双眼的位置信息;所述确定模块还用于:根据所述双眼位置信息确定双眼垂直投射在所述智能终端屏幕所在平面的两个投射点;将所述两个投射点之间连线的预设位置确定为用户眼睛对应在屏幕上的位置。其中,两个投射点之间连线的预设位置包括:所述两个投射点之间连线的中间位置,或所述两个投射点之间连线距离其中一个投射点三分之一处位置。
进一步,所述获取模块还用于获取用户眼睛的位置信息包括获取用户的双眼其中一个眼睛的位置信息;所述确定模块还用于:将用户双眼其中一个眼睛作为定位眼睛;获取所述智能终端屏幕正面的摄像头与所述定位眼睛之间的连线K;根据所述连线K确定所述定位眼睛投射到所述智能终端屏幕上的定位线;将所述定位线与所述智能终端屏幕的交点P所在位置作为所述定位眼睛对应在屏幕上的位置。
进一步,所述确定模块还用于:设置所述摄像头的中心点为原点,所述摄像头与所述定位眼睛之间的连线为所述摄像头中心点与所述定位眼睛的中心点之间的连线K;确定所述定位眼睛垂直于所述智能终端屏幕所在平面的垂线M;在所述摄像头中心点与所述定位眼睛的中心点之间的连线K和所述定位眼睛垂直于所述智能终端屏幕的垂线M确定的面内,以所述定位眼睛的中心点为起点,在所述摄像头中心点与所述定位眼睛的中心点之间的连线K和所述定位眼睛垂直于所述智能终端屏幕的垂线M之间做一条直线N作为所述定位线,该直线与所述摄像头中心点与所述定位眼睛的中心点之间的连线K的夹角为预设夹角α。
进一步,所述确定模块还用于:根据所述定位眼睛的位置信息计算得到所述定位眼睛到所述原点的距离L;根据所述定位眼睛的位置信息计算得到所述定位眼睛垂直于所述智能终端屏幕的垂线M的长度,获取所述定位线与所述定位眼睛垂直于所述智能终端屏幕的垂线M之间的夹角γ;根据所述智能终端屏幕的垂线M的长度和所述定位线与所述定位眼睛垂直于所述智能终端屏幕的垂线M之间的夹角γ计算得到所述定位线长度S;根据所述定位眼睛到所述原点的距离L、所述定位线与所述摄像头中心点与所述定位眼睛的中心点之间的连线K的夹角α和所述定位线的长度S计算得到所述定位线与所述智能终端屏幕的交点P到所述原点的距离a;获取所述定位线在所述智能终端屏幕的交点为P与所述原点连接的直线与所述原点y轴的夹角β;根据所述定位线在所述智能终端屏幕的交点为P到所述原点的距离a和所述定位线在所述智能终端屏幕的交点为P与所述原点连接的直线与所述原点y轴的夹角β计算得到所述定位线在所述智能终端屏幕的交点P的位置。
在本发明还提供另外一种智能终端的控制装置,如图6所示,接收模块包括眼睛接收子模块和语音接收子模块包括:眼睛接收子模块用于获取用户的眼睛动作,将眼睛动作与预先设置眼睛动作与控制指令对应关系进行比较,确定眼睛动作对应的控制指令;语音接收子模块用于获取用户的语音信息,将语音信息与预先设置语音信息与控制指令对应关系进行比较,确定语音信息对应的控制指令。
进一步,眼睛动作包括眼睛凝视屏幕的时间、眼珠的转动、眼睛闭眼的时间、眨眼的频率和眼珠的平移的至少一种。
进一步,预先设置眼睛动作与控制指令对应关系包括以下至少一种:当用户眼睛凝视屏幕的某个对象超过第一预设时间时,该眼睛动作对应为“确定”控制指令;当用户眼珠顺时针旋转时,该眼睛动作在有翻页的页面内对应为“下一页”控制指令,在有滑块的页面内对应为“向下滑动”控制指令;当用户眼珠逆时针转动时,该眼睛动作在有翻页的页面内对应为“上一页”,在有滑块的页面内对应为“向上滑动”;当用户左眼闭眼超过第二预设时间时,该眼睛动作对应为保存该位置的图片或者链接收藏;当用户右眼闭眼超过第三预设时间时,该眼睛动作对应为删除该位置的文件或者其他文件;当双眼闭眼超过第四预设时间时,该眼睛动作对应为自动打开搜索功能,或者启动语音搜索功能;当用户左眼连续眨眼超过第一预设频率时,该眼睛动作对应为自动进入呼叫界面,并启动语音呼叫功能;当用户右眼连续眨眼超过第二预设频率时,该眼睛动作对应为自动接听电话,并开启免提功能;当用户眼珠向左平移时,该眼睛动作在有翻页的页面内对应为“下一页”控制指令,在有滑块的页面内对应为“向下滑动”控制指令;当用户眼珠向右平移时,该眼睛动作在有翻页的页面内对应为“上一页”,在有滑块的页面内对应为“向上滑动”。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,上述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上实施例仅用以说明本发明的技术方案而非限制,仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的权利要求范围当中。

Claims (15)

1.一种智能终端的控制方法,其特征在于,包括:
获取用户眼睛的位置信息;
根据所述位置信息确定用户眼睛对应在屏幕上的位置;
将所述位置处的对象确定为控制对象;
接收用于控制所述控制对象的控制指令;
根据所述控制指令对所述控制对象执行相应的控制操作。
2.如权利要求1所述智能终端的控制方法,其特征在于,所述获取用户眼睛的位置信息包括获取用户双眼的位置信息;所述根据所述位置信息确定用户眼睛对应在屏幕上的位置包括:
根据所述双眼位置信息确定双眼垂直投射在所述智能终端屏幕所在平面的两个投射点;
将所述两个投射点之间连线的预设位置确定为用户眼睛对应在屏幕上的位置。
3.如权利要求2所述智能终端的控制方法,其特征在于,所述两个投射点之间连线的预设位置包括:所述两个投射点之间连线的中间位置,或所述两个投射点之间连线距离其中一个投射点三分之一处位置。
4.如权利要求1所述智能终端的控制方法,其特征在于,所述获取用户眼睛的位置信息包括:将用户双眼中的一个眼睛作为定位眼睛,获取用该定位眼睛的位置信息;
所述根据所述位置信息确定用户眼睛对应在屏幕上的位置包括:
获取所述智能终端屏幕正面的摄像头与所述定位眼睛之间的连线K;
根据所述连线K确定所述定位眼睛投射到所述智能终端屏幕上的定位线;
将所述定位线与所述智能终端屏幕的交点P所在位置作为所述定位眼睛对应在屏幕上的位置。
5.如权利要求4所述智能终端的控制方法,其特征在于,所述根据所述连线K确定所述定位眼睛投射到所述智能终端屏幕上的定位线包括:
设置所述摄像头的中心点为原点,所述摄像头与所述定位眼睛之间的连线为所述摄像头中心点与所述定位眼睛的中心点之间的连线K;
确定所述定位眼睛垂直于所述智能终端屏幕所在平面的垂线M;
在所述连线K和所述垂线M确定的面上,以所述定位眼睛的中心点为起点,在所述连线K和所述垂线M之间做一条直线N作为所述定位线,该直线与所述连线K的夹角为预设夹角α。
6.如权利要求5所述智能终端的控制方法,其特征在于,计算所述定位线与所述智能终端屏幕的交点P包括:
根据所述定位眼睛的位置信息和所述原点计算得到所述连线K的距离L;
根据所述定位眼睛的位置信息计算得到所述垂线M的长度,获取所述定位线与所述垂线M之间的夹角γ;根据所述垂线M的长度和所述定位线与所述夹角γ计算得到所述定位线的长度S;
根据所述连线K的距离L、所述夹角α和所述定位线的长度S计算得到所述交点P到所述原点的距离a;
获取所述交点P与所述原点连接的直线与所述原点y轴的夹角β;
根据所述距离a和所述夹角β计算得到所述交点P的位置。
7.如权利要求1-6任一项所述智能终端的控制方法,其特征在于,所述接收用于控制所述控制对象的控制指令包括:
获取所述用户的眼睛动作,将所述眼睛动作与预先设置眼睛动作与控制指令对应关系进行比较,确定所述眼睛动作对应的控制指令;
获取所述用户的语音信息,将所述语音信息与预先设置语音信息与控制指令对应关系进行比较,确定所述语音信息对应的控制指令。
8.如权利要求7所述智能终端的控制方法,其特征在于,所述眼睛动作包括眼睛凝视屏幕的时间、眼珠的转动、眼睛闭眼的时间、眨眼的频率和眼珠的平移中的至少一种;所述预先设置眼睛动作与控制指令对应关系包括以下至少一种:
当用户眼睛凝视屏幕的某个对象超过第一预设时间时,该眼睛动作对应为“确定”控制指令;
当用户眼珠顺时针旋转时,该眼睛动作在有翻页的页面内对应为“下一页”控制指令,在有滑块的页面内对应为“向下滑动”控制指令;
当用户眼珠逆时针转动时,该眼睛动作在有翻页的页面内对应为“上一页”,在有滑块的页面内对应为“向上滑动”;
当用户左眼闭眼超过第二预设时间时,该眼睛动作对应为保存该位置的图片或者链接收藏;
当用户右眼闭眼超过第三预设时间时,该眼睛动作对应为删除该位置的文件或者其他文件;
当双眼闭眼超过第四预设时间时,该眼睛动作对应为自动打开搜索功能,或者启动语音搜索功能;
当用户左眼连续眨眼超过第一预设频率时,该眼睛动作对应为自动进入呼叫界面,并启动语音呼叫功能;
当用户右眼连续眨眼超过第二预设频率时,该眼睛动作对应为自动接听电话,并开启免提功能;
当用户眼珠向左平移时,该眼睛动作在有翻页的页面内对应为“下一页”控制指令,在有滑块的页面内对应为“向下滑动”控制指令;
当用户眼珠向右平移时,该眼睛动作在有翻页的页面内对应为“上一页”,在有滑块的页面内对应为“向上滑动”。
9.一种智能终端的控制装置,其特征在于,包括获取模块、确定模块、对象模块、接收模块和执行模块:
所述获取模块用于获取用户眼睛的位置信息;
所述确定模块用于根据所述位置信息确定用户眼睛对应在屏幕上的位置;
所述控制对象模块用于将所述位置处的对象确定为控制对象;
所述接收模块用于接收用于控制所述控制对象的控制指令;
所述执行模块用于根据所述控制指令对所述控制对象执行相应的控制操作。
10.如权利要求9所述智能终端的控制装置,其特征在于,所述获取模块还用于获取用户眼睛的位置信息包括获取用户的双眼的位置信息;所述确定模块还用于:
根据所述双眼位置信息确定双眼垂直投射在所述智能终端屏幕所在平面的两个投射点;
将所述两个投射点之间连线的预设位置确定为用户眼睛对应在屏幕上的位置。
11.如权利要求9所述智能终端的控制装置,其特征在于,所述获取模块还用于将用户双眼中的一个眼睛作为定位眼睛,获取用该定位眼睛的位置信息;所述确定模块还用于:
获取所述智能终端屏幕正面的摄像头与所述定位眼睛之间的连线K;
根据所述连线K确定所述定位眼睛投射到所述智能终端屏幕上的定位线;
将所述定位线与所述智能终端屏幕的交点P所在位置作为所述定位眼睛对应在屏幕上的位置。
12.如权利要求11所述智能终端的控制装置,其特征在于,所述确定模块还用于:
设置所述摄像头的中心点为原点,所述摄像头与所述定位眼睛之间的连线为所述摄像头中心点与所述定位眼睛的中心点之间的连线K;
确定所述定位眼睛垂直于所述智能终端屏幕所在平面的垂线M;
在所述连线K和所述垂线M确定的面上,以所述定位眼睛的中心点为起点,在所述连线K和所述垂线M之间做一条直线N作为所述定位线,该直线与所述连线K的夹角为预设夹角α。
13.如权利要求12所述智能终端的控制装置,其特征在于,所述确定模块还用于:
根据所述定位眼睛的位置信息和所述原点计算得到所述连线K的距离L;
根据所述定位眼睛的位置信息计算得到所述垂线M的长度,获取所述定位线与所述垂线M之间的夹角γ;根据所述垂线M的长度和所述定位线与所述夹角γ计算得到所述定位线的长度S;
根据所述连线K的距离L、所述夹角α和所述定位线的长度S计算得到所述交点P到所述原点的距离a;
获取所述交点P与所述原点连接的直线与所述原点y轴的夹角β;
根据所述距离a和所述夹角β计算得到所述交点P的位置。
14.如权利要求9-13任一项所述智能终端的控制装置,其特征在于,所述接收模块包括眼睛接收子模块和语音接收子模块包括:
所述眼睛接收子模块用于获取所述用户的眼睛动作,将所述眼睛动作与预先设置眼睛动作与控制指令对应关系进行比较,确定所述眼睛动作对应的控制指令;
所述语音接收子模块用于获取所述用户的语音信息,将所述语音信息与预先设置语音信息与控制指令对应关系进行比较,确定所述语音信息对应的控制指令。
15.如权利要求14所述智能终端的控制装置,其特征在于,所述眼睛动作包括眼睛凝视屏幕的时间、眼珠的转动、眼睛闭眼的时间、眨眼的频率和眼珠的平移中的至少一种;所述预先设置眼睛动作与控制指令对应关系包括以下至少一种:
当用户眼睛凝视屏幕的某个对象超过第一预设时间时,该眼睛动作对应为“确定”控制指令;
当用户眼珠顺时针旋转时,该眼睛动作在有翻页的页面内对应为“下一页”控制指令,在有滑块的页面内对应为“向下滑动”控制指令;
当用户眼珠逆时针转动时,该眼睛动作在有翻页的页面内对应为“上一页”,在有滑块的页面内对应为“向上滑动”;
当用户左眼闭眼超过第二预设时间时,该眼睛动作对应为保存该位置的图片或者链接收藏;
当用户右眼闭眼超过第三预设时间时,该眼睛动作对应为删除该位置的文件或者其他文件;
当双眼闭眼超过第四预设时间时,该眼睛动作对应为自动打开搜索功能,或者启动语音搜索功能;
当用户左眼连续眨眼超过第一预设频率时,该眼睛动作对应为自动进入呼叫界面,并启动语音呼叫功能;
当用户右眼连续眨眼超过第二预设频率时,该眼睛动作对应为自动接听电话,并开启免提功能;
当用户眼珠向左平移时,该眼睛动作在有翻页的页面内对应为“下一页”控制指令,在有滑块的页面内对应为“向下滑动”控制指令;
当用户眼珠向右平移时,该眼睛动作在有翻页的页面内对应为“上一页”,在有滑块的页面内对应为“向上滑动”。
CN201410583379.3A 2014-10-27 2014-10-27 一种智能终端的控制方法和装置 Pending CN105630135A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410583379.3A CN105630135A (zh) 2014-10-27 2014-10-27 一种智能终端的控制方法和装置
PCT/CN2014/094137 WO2016065706A1 (zh) 2014-10-27 2014-12-17 智能终端的控制方法、装置和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410583379.3A CN105630135A (zh) 2014-10-27 2014-10-27 一种智能终端的控制方法和装置

Publications (1)

Publication Number Publication Date
CN105630135A true CN105630135A (zh) 2016-06-01

Family

ID=55856472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410583379.3A Pending CN105630135A (zh) 2014-10-27 2014-10-27 一种智能终端的控制方法和装置

Country Status (2)

Country Link
CN (1) CN105630135A (zh)
WO (1) WO2016065706A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354777A (zh) * 2016-08-22 2017-01-25 广东小天才科技有限公司 一种应用于电子终端的搜题方法及装置
CN106527737A (zh) * 2016-12-06 2017-03-22 珠海格力电器股份有限公司 一种智能终端的控制方法、控制装置及智能终端
CN106599858A (zh) * 2016-12-20 2017-04-26 北京小米移动软件有限公司 指纹识别方法、装置和电子设备
CN106610719A (zh) * 2016-11-25 2017-05-03 奇酷互联网络科技(深圳)有限公司 快捷操作方法、装置和终端设备
CN107122102A (zh) * 2017-04-27 2017-09-01 维沃移动通信有限公司 一种翻页控制方法及移动终端
CN107247571A (zh) * 2017-06-26 2017-10-13 京东方科技集团股份有限公司 一种显示装置及其显示方法
CN108289151A (zh) * 2018-01-29 2018-07-17 维沃移动通信有限公司 一种应用程序的操作方法及移动终端
CN109445593A (zh) * 2018-10-31 2019-03-08 贵州火星探索科技有限公司 电子设备控制方法及装置
CN110120997A (zh) * 2019-06-12 2019-08-13 Oppo广东移动通信有限公司 通话控制方法及相关产品
CN111459285A (zh) * 2020-04-10 2020-07-28 康佳集团股份有限公司 基于眼控技术的显示设备控制方法、显示设备及存储介质
CN111625099A (zh) * 2020-06-02 2020-09-04 上海商汤智能科技有限公司 一种动画展示控制方法及装置
CN111857325A (zh) * 2019-04-25 2020-10-30 北京字节跳动网络技术有限公司 人机交互控制方法、装置和计算机可读存储介质
CN114237119A (zh) * 2021-12-16 2022-03-25 珠海格力电器股份有限公司 显示屏控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694045A (zh) * 2005-06-02 2005-11-09 北京中星微电子有限公司 一种非接触式目控操作系统和方法
CN102812419A (zh) * 2010-03-18 2012-12-05 富士胶片株式会社 立体图像显示设备及其控制方法
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
CN102981616A (zh) * 2012-11-06 2013-03-20 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
CN103197755A (zh) * 2012-01-04 2013-07-10 中国移动通信集团公司 一种翻页方法、装置及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436304B (zh) * 2011-11-14 2015-04-08 华为技术有限公司 一种屏幕横竖显示模式切换的方法和终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694045A (zh) * 2005-06-02 2005-11-09 北京中星微电子有限公司 一种非接触式目控操作系统和方法
CN102812419A (zh) * 2010-03-18 2012-12-05 富士胶片株式会社 立体图像显示设备及其控制方法
CN103197755A (zh) * 2012-01-04 2013-07-10 中国移动通信集团公司 一种翻页方法、装置及终端
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
CN102981616A (zh) * 2012-11-06 2013-03-20 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354777A (zh) * 2016-08-22 2017-01-25 广东小天才科技有限公司 一种应用于电子终端的搜题方法及装置
CN106354777B (zh) * 2016-08-22 2019-09-17 广东小天才科技有限公司 一种应用于电子终端的搜题方法及装置
CN106610719A (zh) * 2016-11-25 2017-05-03 奇酷互联网络科技(深圳)有限公司 快捷操作方法、装置和终端设备
CN106527737A (zh) * 2016-12-06 2017-03-22 珠海格力电器股份有限公司 一种智能终端的控制方法、控制装置及智能终端
CN106599858A (zh) * 2016-12-20 2017-04-26 北京小米移动软件有限公司 指纹识别方法、装置和电子设备
CN107122102A (zh) * 2017-04-27 2017-09-01 维沃移动通信有限公司 一种翻页控制方法及移动终端
CN107247571A (zh) * 2017-06-26 2017-10-13 京东方科技集团股份有限公司 一种显示装置及其显示方法
US10535324B2 (en) 2017-06-26 2020-01-14 Boe Technology Group Co., Ltd. Display device and display method thereof
CN107247571B (zh) * 2017-06-26 2020-07-24 京东方科技集团股份有限公司 一种显示装置及其显示方法
CN108289151A (zh) * 2018-01-29 2018-07-17 维沃移动通信有限公司 一种应用程序的操作方法及移动终端
CN109445593A (zh) * 2018-10-31 2019-03-08 贵州火星探索科技有限公司 电子设备控制方法及装置
CN111857325A (zh) * 2019-04-25 2020-10-30 北京字节跳动网络技术有限公司 人机交互控制方法、装置和计算机可读存储介质
CN110120997A (zh) * 2019-06-12 2019-08-13 Oppo广东移动通信有限公司 通话控制方法及相关产品
CN111459285A (zh) * 2020-04-10 2020-07-28 康佳集团股份有限公司 基于眼控技术的显示设备控制方法、显示设备及存储介质
CN111459285B (zh) * 2020-04-10 2023-12-12 康佳集团股份有限公司 基于眼控技术的显示设备控制方法、显示设备及存储介质
CN111625099A (zh) * 2020-06-02 2020-09-04 上海商汤智能科技有限公司 一种动画展示控制方法及装置
CN111625099B (zh) * 2020-06-02 2024-04-16 上海商汤智能科技有限公司 一种动画展示控制方法及装置
CN114237119A (zh) * 2021-12-16 2022-03-25 珠海格力电器股份有限公司 显示屏控制方法及装置

Also Published As

Publication number Publication date
WO2016065706A1 (zh) 2016-05-06

Similar Documents

Publication Publication Date Title
CN105630135A (zh) 一种智能终端的控制方法和装置
US10453457B2 (en) Method for performing voice control on device with microphone array, and device thereof
CN109410285B (zh) 一种校准方法、装置、终端设备及存储介质
CN104486543B (zh) 智能终端触控方式控制云台摄像头的系统
US10802581B2 (en) Eye-tracking-based methods and systems of managing multi-screen view on a single display screen
US9823779B2 (en) Method and device for controlling a head-mounted display by a terminal device
CN109976535B (zh) 一种校准方法、装置、设备及存储介质
WO2019214442A1 (zh) 一种设备控制方法、装置、控制设备及存储介质
CN109032358A (zh) 基于手势识别的ar交互虚拟模型的控制方法及装置
WO2020186826A1 (zh) 基于智能手环的游戏控制方法、智能手环及存储介质
CN104238726A (zh) 智能眼镜控制方法、装置及一种智能眼镜
CN106020454B (zh) 一种基于眼控技术的智能终端触摸屏操作方法及系统
CN106648398B (zh) 一种显示控制方法及装置
JP2017146927A (ja) 制御装置、制御方法及びプログラム
US20190155378A1 (en) Analysis of User Interface Interactions Within a Virtual Reality Environment
CN109101110A (zh) 一种操作指令执行方法、装置、用户终端及存储介质
WO2018045669A1 (zh) 一种电子设备界面的控制方法及电子设备
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
CN110286755B (zh) 终端操控方法、装置、电子设备及计算机可读取存储介质
EP2888716B1 (en) Target object angle determination using multiple cameras
US10318131B2 (en) Method for scaling down effective display area of screen, and mobile terminal
CN116954387A (zh) 一种终端键盘输入交互的方法、装置、终端及介质
CN113625878B (zh) 手势信息处理方法、装置、设备、存储介质及程序产品
CN116540866A (zh) 一种人机交互方法、装置、设备和存储介质
JP7112627B2 (ja) 制御装置、制御方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160601