CN110244853A - 手势控制方法、装置、智能显示终端及存储介质 - Google Patents
手势控制方法、装置、智能显示终端及存储介质 Download PDFInfo
- Publication number
- CN110244853A CN110244853A CN201910543657.5A CN201910543657A CN110244853A CN 110244853 A CN110244853 A CN 110244853A CN 201910543657 A CN201910543657 A CN 201910543657A CN 110244853 A CN110244853 A CN 110244853A
- Authority
- CN
- China
- Prior art keywords
- gesture
- control
- overlapped
- user
- display terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000000007 visual effect Effects 0.000 claims abstract description 51
- 210000001747 pupil Anatomy 0.000 claims abstract description 43
- 230000001815 facial effect Effects 0.000 claims abstract description 30
- 230000001960 triggered effect Effects 0.000 claims abstract description 11
- 230000000386 athletic effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 208000003443 Unconsciousness Diseases 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 210000001508 eye Anatomy 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种手势控制方法、装置、智能显示终端及存储介质，涉及计算机技术领域。手势控制方法应用于设置有深度摄像头的智能显示终端，智能显示终端的显示界面上设置有多个控件，该方法包括：获取用户的第一手势和面部瞳孔图像；依据面部瞳孔图像及瞳孔距离深度摄像头的距离确定用户在智能显示终端的显示界面上的视觉焦点；当视觉焦点与其中一个控件重合且第一手势与被重合的控件匹配时，触发被重合的控件。本发明公开的手势控制方法、装置、智能显示终端及存储介质可有效避免用户无意识的手势动作对受控设备的误操作。
Description
技术领域
本发明涉及计算机技术领域，尤其是涉及一种手势控制方法、装置、智能显示终端及存储介质。
背景技术
随着科技的发展进步，手势控制技术越来越被广泛的应用于各个领域中，通过对人体的手势检测，并根据检测到的手势控制受控设备执行相应的操作，即可十分方便的完成对受控设备的控制。
现有的手势控制在一定程度上能够给用户带来一定的方便，然在实际应用过程中，用户无意识的一个手势动作可能会对受控设备进行误操作，影响用户体验。
发明内容
有鉴于此，本发明的目的在于提提供一种手势控制方法、装置、智能显示终端及存储介质，以改善上述问题。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明实施例提供了一种手势控制方法，应用于设置有深度摄像头的智能显示终端，所述智能显示终端的显示界面上设置有多个控件，所述方法包括：
获取用户的第一手势和面部瞳孔图像；
依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点；
当所述视觉焦点与其中一个控件重合且所述第一手势与被重合的控件匹配时，触发所述被重合的控件。
可选的，所述方法还包括：
获取用户的第二手势；
当获取到所述第二手势与获取到所述第一手势的时间间隔小于设定的阈值，且所述第二手势与所述第一手势的运动姿态相反时，返回上一显示页面。
可选的，所述依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点，包括：
依据所述面部瞳孔图像中瞳孔在眼部的位置以及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点。
第二方面，本发明实施例提供了一种手势控制装置，应用于设置有深度摄像头的智能显示终端，所述智能显示终端的显示界面上设置有多个控件，所述手势控制装置包括：
获取模块，用于获取用户的第一手势和面部瞳孔图像；
确定模块，用于依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点；
判断模块，用于判断所述视觉焦点是否与控件重合；以及
判断所述第一手势是否与被重合的控件匹配；
触发模块，用于当所述视觉焦点与其中一个控件重合且所述第一手势与被重合的控件匹配时，触发所述被重合的控件。
可选的，手势控制装置还包括返回模块；
所述获取模块还用于获取用户的第二手势；
所述判断模块还用于判断所述第二手势与获取到所述第一手势的时间间隔是否小于设定的阈值；以及
判断所述第二手势与所述第一手势的运动姿态是否相反；
所述返回模块用于当获取到所述第二手势与获取到所述第一手势的时间间隔小于设定的阈值，且所述第二手势与所述第一手势的运动姿态相反时，返回上一显示页面。
可选的，所述确定模块用于依据所述面部瞳孔图像中瞳孔在眼部的位置以及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点。
第三方面，本发明实施例提供了一种智能显示终端，所述智能显示终端包括：
存储器；
处理器；以及
手势控制装置，所述手势控制装置安装于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组，所述手势控制装置包括：
获取模块，用于获取用户的第一手势和面部瞳孔图像；
确定模块，用于依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点；
判断模块，用于判断所述视觉焦点是否与控件重合；以及
判断所述第一手势是否与被重合的控件匹配；
触发模块，用于当所述视觉焦点与其中一个控件重合且所述第一手势与被重合的控件匹配时，触发所述被重合的控件。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述方法的步骤。
与现有技术相比，本发明的有益效果在于：
本发明提供的手势控制方法、装置、智能显示终端及存储介质可有效避免用户无意识的手势动作对受控设备的误操作，提升用户体验。
附图说明
图1为本发明较佳实施例提供的智能显示终端的方框示意图。
图2为本发明较佳实施例提供的手势控制方法的流程图。
图3为本发明较佳实施例提供的智能显示终端的显示区域的示意图。
图4为本发明较佳实施例提供的手势控制装置的功能模块图。
附图标记说明：100-智能显示终端；110-手势控制装置；111；获取模块；112-确定模块；113-判断模块；114-触发模块；115-返回模块；120-存储器；130-存储控制器；140-处理器；150-外设接口；160-输入输出单元；170-音频单元；180-显示单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参阅图1，是本发明较佳实施例提供的智能显示终端100的方框示意图，所述智能显示终端100可以是，但不限于，智能手机、平板电脑、个人数字助理(personal digitalassistant，PDA)、移动上网设备(mobile Internet device，MID)等。所述智能显示终端100包括手势控制装置110、存储器120、存储控制器130、处理器140、外设接口150、输入输出单元160、音频单元170以及显示单元180等。
所述存储器120、存储控制器130、处理器140、外设接口150、输入输出单元160、音频单元170、显示单元180各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述手势控制装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述智能显示终端100设备的操作系统(operating system，OS)中的软件功能模块。所述处理器140用于执行存储器120中存储的可执行模块，例如所述手势控制装置110包括的软件功能模块或计算机程序。
其中，存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器120用于存储程序，所述处理器140在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器140中，或者由处理器140实现。
处理器140可能是一种集成电路芯片，具有信号的处理能力。上述的处理器140可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述外设接口150将各种输入/输入装置耦合至处理器140以及存储器120。在一些实施例中，外设接口150，处理器140以及存储控制器130可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
输入输出单元160用于提供给用户输入数据实现用户与所述手势控制装置110的交互。所述输入输出单元160可以是，但不限于，鼠标、键盘或触控屏等。
音频单元170向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元180在所述手势控制装置110与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元180可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器140进行计算和处理。
请参阅图2，是本发明较佳实施例提供的应用于图1所示的手势控制装置110的手势控制方法的流程图，下面将对图2所示的流程进行详细阐述。
步骤S101，获取用户的第一手势和面部瞳孔图像。
本发明实施例中，智能显示终端100设置有前置的深度摄像头，当智能显示终端100被启动后，所述深度摄像头被唤醒。此时深度摄像头可获取其视场区域内的用户面部图像，并根据获取到的用户面部图像进行轮廓识别，识别出用户的面部瞳孔图像。其中，所述面部瞳孔图像包括用户眼部瞳孔和眼部外的面部区域，根据该面部瞳孔图像即可获知用户的视觉方向。
智能显示终端100的显示页面设置有多个不同控件，当控件被触发时可以触发相应的操作。智能显示终端100预先设定有不同控件对应的控制手势，当用户挥动第一手势来控制智能显示终端100的显示页面时，深度摄像头可获取用户的第一手势。
步骤S102，依据面部瞳孔图像及瞳孔距离深度摄像头的距离确定用户在智能显示终端的显示界面上的视觉焦点。
所述面部瞳孔图像包括用户眼部瞳孔和眼部外的面部区域，用户在观看显示界面上显示的内容时可通过眼球的转动(瞳孔在眼眶内的位置发送改变)和/或面部的转动来实现视觉方向的改变。因此根据面部瞳孔图像中瞳孔在眼眶中的位置及面部的朝向即可获知用户的视觉方向。同时，由于智能显示终端100前置深度摄像头，因此能够获取到瞳孔距离深度摄像头的距离。
在获得面部瞳孔图像及瞳孔距离深度摄像头的距离后，智能显示终端100根据面部瞳孔图像确定用户的视觉方向，并根据用户的视觉方向与瞳孔距离深度摄像头的距离计算出用户在智能显示终端的显示界面上的视觉焦点。
步骤S103，判断视觉焦点是否与其中一个控件重合，若是，执行步骤S104。
智能显示终端100的显示页面设置有多个不同控件，当控件被触发时可以触发不同的操作。如图3所示，当用户通过智能显示终端100浏览小说时，该智能显示终端100的显示区域底部设置有“上一页”、“目录”和“下一页”等三个控件。当智能显示终端100依据面部瞳孔图像及瞳孔距离深度摄像头的距离确定用户在其显示界面上的视觉焦点后，智能显示终端100判断该视觉焦点是否与其中一个控件重合。
视觉焦点与控件重合可以是指该视觉焦点在该控件所覆盖的区域内，或者该视觉焦点与该控件的覆盖区域的距离小于设定的某一阈值。本发明实施例中，视觉焦点与控件重合是指视觉焦点与该控件的覆盖区域的距离小于设定的某一阈值，该阈值的取值不宜过大，以确保不会出现判定视觉焦点同时与两个及其以上的控件重合的情形。如此，即使在确定视觉焦点的位置时出现略微的偏差也不会对后续的手势操作产生影响。
步骤S104，判断第一手势是否与被重合的控件匹配，若是，执行步骤S105。
每个控件的触发指令对应不同的操作手势，当视觉焦点与其中一个控件重合时，智能显示终端100还判断用户的第一手势与该被重合的控件是否匹配，若匹配则执行步骤S105。
步骤S105，触发被重合的控件。
当用户在显示界面上的视觉焦点其中一个控件重合且该第一手势与被重合的控件匹配时，则智能显示终端100控制触发其显示界面上该被重合的控件。
例如，智能显示终端100预先设定显示界面上的“上一页”控件与向左挥动的手势对应，“目录”控件与向上挥动手势对应，“下一页”控件与向右挥动手势对应。若用户在显示界面上的视觉焦点与“上一页”控件重合，且第一手势为向左挥手，即第一手势与被重合的“上一页”控件匹配，则此时触发该“上一页”控件，以加载上一页面的内容。若用户在显示界面上的视觉焦点与“目录”控件重合，且第一手势为向上挥手，则说明第一手势与被重合的“目录”控件匹配，此则此时触发该“目录”控件，以加载目录页面。若用户在显示界面上的视觉焦点与“下一页”控件重合，且第一手势为向右挥手，则说明第一手势与被重合的“下一页”控件匹配，此则此时触发该“下一页”控件，以加载下一页面的内容。
步骤S106，获取用户的第二手势。
智能显示终端100预先定义有用于返回上一显示页面的控制手势，该控制手势与控制从上一页面跳转到当前页面的手势相反。当用户由于误操作而导致页面切换，可挥动与从上一页面跳转到当前页面的手势相反的第二手势，智能显示终端100通过其设置的深度摄像头获取到用户的第二手势。
步骤S107，判断获取到第二手势与获取到第一手势的时间间隔是否小于设定的阈值，若是，执行步骤S108。
一般情况下若用户由于误操作而导致页面切换时，不会在切换后的显示页面过久停留而会快速重新切换回原来的页面继续浏览。因此，智能显示终端100预先定义有一用于判断用户是否可能出现误操作的(时间)阈值，当智能显示终端100获得用户的第二手势后，判断获取到第二手势与获取到第一手势的时间间隔是否小于该设定的阈值，若小于该阈值则执行步骤S108。
步骤S108，判断第二手势与第一手势的运动姿态是否相反，若是，执行步骤S109。
与此同时，智能显示终端100还判断获取到的第二手势语第一手势的运动姿态是否相反，若是则执行步骤S109。例如，第一手势为向右挥手，而第二手势为向左挥手，则第二手势语第一手势的运动姿态相反。
需要说明的是，本发明实施例中步骤S107与步骤S108的顺序并不限定。
步骤S109，返回上一显示页面。
当获取到第二手势与获取到第一手势的时间间隔小于设定的阈值，且第二手势与第一手势的运动姿态相反，则说明用户想切换回上一显示页面，此时智能显示终端100加载上一显示页面的内容，以返回上一显示页面。
请参阅图4，是本发明较佳实施例提供的图1所示的手势控制装置110的功能模块示意图，所述手势控制装置110包括有获取模块111、确定模块112、判断模块113、触发模块114、返回模块115。
所述获取模块111用于获取用户的第一手势和面部瞳孔图像。
可以理解的，所述获取模块111可以用于执行上述的步骤S101。
所述确定模块112用于依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点。
可以理解的，所述确定模块112可以用于执行上述的步骤S102。
所述判断模块113用于判断所述视觉焦点是否与控件重合，以及判断所述第一手势是否与被重合的控件匹配。
可以理解的，所述判断模块113可以用于执行上述的步骤S103和步骤S104。
所述触发模块114用于当所述视觉焦点与其中一个控件重合且所述第一手势与被重合的控件匹配时，触发所述被重合的控件。
可以理解的，所述触发模块114可以用于执行上述的步骤S105。
所述获取模块111还用于获取用户的第二手势。
可以理解的，所述获取模块111还可以用于执行上述的步骤S106。
所述判断模块113还用于判断所述第二手势与获取到所述第一手势的时间间隔是否小于设定的阈值，以及判断所述第二手势与所述第一手势的运动姿态是否相反。
可以理解的，所述判断模块113还可以用于执行上述的步骤S107和步骤S108。
所述返回模块115用于当获取到所述第二手势与获取到所述第一手势的时间间隔小于设定的阈值，且所述第二手势与所述第一手势的运动姿态相反时，返回上一显示页面。
可以理解的，所述返回模块115可以用于执行上述的步骤S109。
进一步的，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当该程序被处理器执行时可执行上述实施例中的手势控制方法。
综上所述，本发明公开的手势控制方法、装置、智能显示终端及存储介质，可根据获取到的面部瞳孔图像确定出用户在显示界面上的视觉焦点，并当视觉焦点与其中一个控件重合且获取到的第一手势与被重合的控件匹配时，触发被重合的控件。如此，通过用户视觉与手势的结合可有效避免用户无意识的手势动作对受控设备的误操作，提升用户体验。同时，即使视觉焦点与控件的覆盖区域存在一定的偏差，也能够实现对受控设备操作控制，避免在确定视觉焦点的位置时由于计算偏差而导致对受控设备控制失效的情形发生，进一步方便对受控设备的控制。另外，当出现误操作时可通过反向挥动手势返回上一显示页面，进一步方便用户对受控设备的操作控制，提升用户体验。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种手势控制方法，应用于设置有深度摄像头的智能显示终端，所述智能显示终端的显示界面上设置有多个控件，其特征在于，所述方法包括：
获取用户的第一手势和面部瞳孔图像；
依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点；
当所述视觉焦点与其中一个控件重合且所述第一手势与被重合的控件匹配时，触发所述被重合的控件。
2.根据权利要求1所述的手势控制方法，其特征在于，所述方法还包括：
获取用户的第二手势；
当获取到所述第二手势与获取到所述第一手势的时间间隔小于设定的阈值，且所述第二手势与所述第一手势的运动姿态相反时，返回上一显示页面。
3.根据权利要求1所述的手势控制方法，其特征在于，所述依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点，包括：
依据所述面部瞳孔图像中瞳孔在眼部的位置以及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点。
4.一种手势控制装置，应用于设置有深度摄像头的智能显示终端，所述智能显示终端的显示界面上设置有多个控件，其特征在于，所述手势控制装置包括：
获取模块，用于获取用户的第一手势和面部瞳孔图像；
确定模块，用于依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点；
判断模块，用于判断所述视觉焦点是否与控件重合；以及
判断所述第一手势是否与被重合的控件匹配；
触发模块，用于当所述视觉焦点与其中一个控件重合且所述第一手势与被重合的控件匹配时，触发所述被重合的控件。
5.根据权利要求4所述的手势控制装置，其特征在于，还包括返回模块；
所述获取模块还用于获取用户的第二手势；
所述判断模块还用于判断所述第二手势与获取到所述第一手势的时间间隔是否小于设定的阈值；以及
判断所述第二手势与所述第一手势的运动姿态是否相反；
所述返回模块用于当获取到所述第二手势与获取到所述第一手势的时间间隔小于设定的阈值，且所述第二手势与所述第一手势的运动姿态相反时，返回上一显示页面。
6.根据权利要求4所述的手势控制装置，其特征在于，所述确定模块用于依据所述面部瞳孔图像中瞳孔在眼部的位置以及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点。
7.一种智能显示终端，其特征在于，所述智能显示终端包括：
存储器；
处理器；以及
手势控制装置，所述手势控制装置安装于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组，所述手势控制装置包括：
获取模块，用于获取用户的第一手势和面部瞳孔图像；
确定模块，用于依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点；
判断模块，用于判断所述视觉焦点是否与控件重合；以及
判断所述第一手势是否与被重合的控件匹配；
触发模块，用于当所述视觉焦点与其中一个控件重合且所述第一手势与被重合的控件匹配时，触发所述被重合的控件。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-3任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910543657.5A CN110244853A (zh) | 2019-06-21 | 2019-06-21 | 手势控制方法、装置、智能显示终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910543657.5A CN110244853A (zh) | 2019-06-21 | 2019-06-21 | 手势控制方法、装置、智能显示终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110244853A true CN110244853A (zh) | 2019-09-17 |
Family
ID=67888799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910543657.5A Pending CN110244853A (zh) | 2019-06-21 | 2019-06-21 | 手势控制方法、装置、智能显示终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110244853A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111176433A (zh) * | 2019-10-22 | 2020-05-19 | 广东小天才科技有限公司 | 一种基于智能音箱的搜索结果显示方法及智能音箱 |
| CN111522447A (zh) * | 2020-06-17 | 2020-08-11 | 宁波视睿迪光电有限公司 | 显示切换方法、显示终端、电子设备和存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101620359A (zh) * | 2008-07-04 | 2010-01-06 | 华晶科技股份有限公司 | 眼睛视线判断的方法 |
| CN102830793A (zh) * | 2011-06-16 | 2012-12-19 | 北京三星通信技术研究有限公司 | 视线跟踪方法和设备 |
| CN103356163A (zh) * | 2013-07-08 | 2013-10-23 | 东北电力大学 | 基于视频图像和人工神经网络的凝视点测量装置及其方法 |
| CN103576843A (zh) * | 2012-07-31 | 2014-02-12 | 腾讯科技（深圳）有限公司 | 智能终端的控制方法及控制装置 |
| CN103631483A (zh) * | 2013-11-27 | 2014-03-12 | 华为技术有限公司 | 一种定位的方法及装置 |
| CN106020478A (zh) * | 2016-05-20 | 2016-10-12 | 青岛海信电器股份有限公司 | 一种智能终端操控方法、装置和智能终端 |
| CN106814854A (zh) * | 2016-12-29 | 2017-06-09 | 杭州联络互动信息科技股份有限公司 | 一种防止误操作的方法及装置 |
| CN106873774A (zh) * | 2017-01-12 | 2017-06-20 | 北京奇虎科技有限公司 | 基于视线跟踪的交互控制方法、装置及智能终端 |
| CN107003744A (zh) * | 2016-12-01 | 2017-08-01 | 深圳前海达闼云端智能科技有限公司 | 视点确定方法、装置、电子设备和计算机程序产品 |
| CN107239222A (zh) * | 2017-06-02 | 2017-10-10 | 汪念鸿 | 一种触摸屏的操控方法及终端设备 |
| CN107831987A (zh) * | 2017-11-22 | 2018-03-23 | 出门问问信息科技有限公司 | 防手势操作的误触控方法及装置 |
| CN108268196A (zh) * | 2017-08-29 | 2018-07-10 | 广州市动景计算机科技有限公司 | 连续阅读方法、装置和终端 |
| CN108717324A (zh) * | 2018-04-11 | 2018-10-30 | 努比亚技术有限公司 | 智能可穿戴设备及其控制方法、计算机可读存储介质 |
| CN109271914A (zh) * | 2018-09-07 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 检测视线落点的方法、装置、存储介质和终端设备 |
-
2019
- 2019-06-21 CN CN201910543657.5A patent/CN110244853A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101620359A (zh) * | 2008-07-04 | 2010-01-06 | 华晶科技股份有限公司 | 眼睛视线判断的方法 |
| CN102830793A (zh) * | 2011-06-16 | 2012-12-19 | 北京三星通信技术研究有限公司 | 视线跟踪方法和设备 |
| CN103576843A (zh) * | 2012-07-31 | 2014-02-12 | 腾讯科技（深圳）有限公司 | 智能终端的控制方法及控制装置 |
| CN103356163A (zh) * | 2013-07-08 | 2013-10-23 | 东北电力大学 | 基于视频图像和人工神经网络的凝视点测量装置及其方法 |
| CN103631483A (zh) * | 2013-11-27 | 2014-03-12 | 华为技术有限公司 | 一种定位的方法及装置 |
| CN106020478A (zh) * | 2016-05-20 | 2016-10-12 | 青岛海信电器股份有限公司 | 一种智能终端操控方法、装置和智能终端 |
| CN107003744A (zh) * | 2016-12-01 | 2017-08-01 | 深圳前海达闼云端智能科技有限公司 | 视点确定方法、装置、电子设备和计算机程序产品 |
| CN106814854A (zh) * | 2016-12-29 | 2017-06-09 | 杭州联络互动信息科技股份有限公司 | 一种防止误操作的方法及装置 |
| CN106873774A (zh) * | 2017-01-12 | 2017-06-20 | 北京奇虎科技有限公司 | 基于视线跟踪的交互控制方法、装置及智能终端 |
| CN107239222A (zh) * | 2017-06-02 | 2017-10-10 | 汪念鸿 | 一种触摸屏的操控方法及终端设备 |
| CN108268196A (zh) * | 2017-08-29 | 2018-07-10 | 广州市动景计算机科技有限公司 | 连续阅读方法、装置和终端 |
| CN107831987A (zh) * | 2017-11-22 | 2018-03-23 | 出门问问信息科技有限公司 | 防手势操作的误触控方法及装置 |
| CN108717324A (zh) * | 2018-04-11 | 2018-10-30 | 努比亚技术有限公司 | 智能可穿戴设备及其控制方法、计算机可读存储介质 |
| CN109271914A (zh) * | 2018-09-07 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 检测视线落点的方法、装置、存储介质和终端设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111176433A (zh) * | 2019-10-22 | 2020-05-19 | 广东小天才科技有限公司 | 一种基于智能音箱的搜索结果显示方法及智能音箱 |
| CN111176433B (zh) * | 2019-10-22 | 2024-02-23 | 广东小天才科技有限公司 | 一种基于智能音箱的搜索结果显示方法及智能音箱 |
| CN111522447A (zh) * | 2020-06-17 | 2020-08-11 | 宁波视睿迪光电有限公司 | 显示切换方法、显示终端、电子设备和存储介质 |
| CN111522447B (zh) * | 2020-06-17 | 2024-04-16 | 宁波视睿迪光电有限公司 | 显示切换方法、显示终端、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104866082B (zh) | 基于用户行为进行阅览的方法和装置 | |
| CN106648434B (zh) | 通过拖拽手势控制应用界面的方法和装置 | |
| US8866781B2 (en) | Contactless gesture-based control method and apparatus | |
| CN109903129A (zh) | 增强现实显示方法与装置、电子设备、存储介质 | |
| CN104731497B (zh) | 管理防误触的多个触摸源的设备和方法 | |
| US20140354436A1 (en) | Systems and methods for using a hand hygiene compliance system to improve workflow | |
| CN106527693A (zh) | 一种应用程序控制方法及移动终端 | |
| CN109074819A (zh) | 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备 | |
| CN107368150A (zh) | 一种拍照方法及移动终端 | |
| CN102479035A (zh) | 具有触摸屏的电子设备及显示左右手控制界面的方法 | |
| CN108984067A (zh) | 一种显示控制方法及终端 | |
| CN104881122A (zh) | 一种体感交互系统激活方法、体感交互方法及系统 | |
| CN107239222B (zh) | 一种触摸屏的操控方法及终端设备 | |
| CN107132982B (zh) | 一种终端设备的单手控制方法及系统 | |
| CN104808909B (zh) | 一种信息处理方法及电子设备 | |
| CN110244853A (zh) | 手势控制方法、装置、智能显示终端及存储介质 | |
| CN104915004A (zh) | 一种体感控制屏幕滚动方法、体感交互系统及电子设备 | |
| CN105446468A (zh) | 操控模式的切换方法及装置 | |
| CN106503625B (zh) | 一种检测头发分布情况的方法及移动终端 | |
| CN109683711B (zh) | 产品展示方法及装置 | |
| CN110413183A (zh) | 一种呈现页面的方法与设备 | |
| US20210089177A1 (en) | Method for providing contents for mobile terminal on the basis of user touch and hold time | |
| CN110174937A (zh) | 注视信息控制操作的实现方法及装置 | |
| CN106973164B (zh) | 一种移动终端的拍照虚化方法及移动终端 | |
| CN113170012A (zh) | 基于指纹识别的交互方法、电子设备及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190917 |
|
| RJ01 | Rejection of invention patent application after publication |