CN111273778A - 基于手势控制电子设备的方法和装置 - Google Patents

基于手势控制电子设备的方法和装置 Download PDF

Info

Publication number
CN111273778A
CN111273778A CN202010095286.1A CN202010095286A CN111273778A CN 111273778 A CN111273778 A CN 111273778A CN 202010095286 A CN202010095286 A CN 202010095286A CN 111273778 A CN111273778 A CN 111273778A
Authority
CN
China
Prior art keywords
gesture
control information
frames
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010095286.1A
Other languages
English (en)
Other versions
CN111273778B (zh
Inventor
王艺鹏
李远杭
赵伟松
贠挺
陈国庆
李有江
晏青云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010095286.1A priority Critical patent/CN111273778B/zh
Publication of CN111273778A publication Critical patent/CN111273778A/zh
Priority to EP21155718.6A priority patent/EP3832439A3/en
Priority to US17/171,918 priority patent/US20210191611A1/en
Priority to KR1020210018954A priority patent/KR20210038446A/ko
Priority to JP2021020915A priority patent/JP7146977B2/ja
Application granted granted Critical
Publication of CN111273778B publication Critical patent/CN111273778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种基于手势控制电子设备的方法和装置，涉及智能终端技术。具体实现方案为：获取连续的N帧第一手势图像，根据N帧第一手势图像控制屏幕上显示的第一对象，N为大于1的整数；获取至少一帧手势图像；至少一帧手势图像和所述N帧第一手势图像中的部分手势图像构成连续的N帧第二手势图像，至少一帧手势图像的获取时间在所述N帧第一手势图像的获取时间之后；根据N帧第二手势图像，继续控制屏幕上显示的第一对象。本申请实施例可实现用户通过手势连续控制电子设备。

Description

基于手势控制电子设备的方法和装置
技术领域
本申请实施例涉及图像处理技术，尤其涉及一种智能终端技术。
背景技术
目前用户可在不触碰电子设备的情况下，通过做出手势实现对对电子设备的控制，极大的方便了用户对电子设备的控制，也提高了用户操作电子设备的效率。
目前基于手势识别的电子设备控制方法一般是一种手势对应一种指令，比如画“C”的手势对应打开摄像头的指令，又比如用户单指滑动对应页面移动指令，电子设备检测到用户单指滑动的手势，则控制当前页面进行预设距离的移动。可知目前通过动态手势对电子设备的控制比较宏观，不够精细化。
发明内容
本申请实施例提供一种基于手势控制电子设备的方法和装置，可以实现通过动态手势对电子设备进行精细化控制的目的。
第一方面，本申请实施例提供一种基于手势控制电子设备的方法，包括：获取连续的N帧第一手势图像，根据所述N帧第一手势图像控制屏幕上显示的第一对象，N为大于1的整数；获取至少一帧手势图像；其中，所述至少一帧手势图像和所述N帧第一手势图像中的部分手势图像构成连续的N帧第二手势图像，所述至少一帧手势图像的获取时间在所述N帧第一手势图像的获取时间之后；根据所述N帧第二手势图像，继续控制所述屏幕上显示的第一对象。
本方案中，通过在当前通过动态手势对电子设备的控制过程中，捕获到较少数量的手势图像后就对第一对象控制一次，相邻两次对第一对象的控制所依据的手势图像具有相同的手势图像，实现了通过动态手势对电子设备进行精细化控制的目的。
在一种可能的实施方式中，所述根据所述N帧第一手势图像控制屏幕上显示的第一对象，包括：所述根据所述N帧第一手势图像控制屏幕上显示的第一对象，包括：根据所述N帧第一手势图像，识别手势为第一动态手势；根据所述N帧第一手势图像中的部分手势图像确定所述第一对象的第一控制信息；根据所述第一控制信息，执行所述第一动态手势对应的第一指令以控制所述第一对象。
第一控制信息可为第一对象的移动距离或者第一对象的尺寸变化值。本方案中第一对象的控制信息不是预设好的，而是根据N帧第一手势图像中的部分手势图像得到的，可以在实现通过手势对电子设备进行精细化控制的基础上，使得对电子设备的控制更加符合用户的需求，提升了用户的使用体验。
在一种可能的实施方式中，所述根据所述N帧第一手势图像中的部分手势图像确定所述第一对象的第一控制信息，包括：根据第二目标手势图像对应的手部关键点位置相对于第一目标手势图像对应的手部关键点位置的变化值，确定所述第一控制信息；其中，所述第二目标手势图像为所述N帧第一手势图像中的最后获取到的手势图像，所述第一目标手势图像为获取到所述第二目标手势图像之前最近获取到的一帧手势图像。
本方案中给出了确定第一对象的控制信息的一种具体实现。
在一种可能的实施方式中，所述根据第二目标手势图像中的手部关键点位置相对于第一目标手势图像中的手部关键点位置的变化值，确定所述第一控制信息，包括：根据所述第二目标手势图像对应的手部关键点位置相对于所述第一目标手势图像对应的手部关键点位置的变化值和所述第一动态手势，确定所述第一控制信息。
本方案中给出了确定第一对象的控制信息的另一种具体实现。本方案中确定第一对象的控制信息时还考虑了手势的种类，可以实现多种手势对应相同的指令、该多种手势中的不同手势对应对第一对象不同程度的控制的目的。比如，手掌滑动可控制页面快速滑动，双指滑动可控制页面低速滑动。
在一种可能的实施方式中，在所述根据第二目标手势图像中的手部关键点位置相对于第一目标手势图像中的手部关键点位置的变化值，确定所述第一控制信息之前，还包括：采用第一机器学习模型对所述第一手势图像进行学习；获取所述第一机器学习模型的输出，所述输出包括所述第一手势图像对应的手部关键点坐标。
本方案中根据第一机器学习对手势图像进行学习后可直接得到手部关键点坐标，相对于先采用检测手的模型检测图像中是否有手，若有手则将图像中的手部图像分割出来，再采用关键点检测模型检测分割出的手部图像对应的手部关键点的方案，可以提高获取手部关键点坐标的效率以及准确度，进而用户通过手势对电子设备的控制效率也较高。
在一种可能的实施方式中，所述根据所述第一控制信息，执行所述第一动态手势对应的第一指令以控制所述第一对象，包括：根据所述第一控制信息和第一历史控制信息，得到所述第一对象新的控制信息，所述第一历史控制信息为当前对所述第一对象的控制过程中的上次控制所述第一对象时所依据的控制信息；根据所述新的控制信息，执行所述第一指令以控制所述第一对象。
本方案可以使得在控制第一对象的过程中，第一对象的变化更加的平稳。
在一种可能的实施方式中，所述第一动态手势为单指向第一方向滑动，所述第一指令为在所述第一方向上移动所述第一对象，所述第一对象为定位标记；根据所述第一控制信息，执行所述第一指令以控制所述第一对象，包括：控制所述定位标记在所述第一方向上移动所述第一移动距离。
在一种可能的实施方式中，所述第一动态手势为双指向第一方向滑动，所述第一指令为在所述第一方向移动所述第一对象，所述第一对象为第一页面；根据所述第一控制信息，执行所述第一指令以控制所述第一对象，包括：控制所述第一页面在所述第一方向上移动所述第一移动距离。
在一种可能的实施方式中，所述第一动态手势为手掌向第一方向滑动，所述第一指令为在所述第一方向移动所述第一对象，所述第一对象为第一页面；所述根据所述第一控制信息，执行所述第一指令以控制所述第一对象，包括：控制所述第一页面在所述第一方向上移动所述第一移动距离。
在一种可能的实施方式中，所述第一动态手势为两指逐渐张开，所述第一指令为放大所述第一对象；所述根据所述第一控制信息，执行所述第一指令以控制所述第一对象，包括：将所述第一对象的尺寸放大所述尺寸变化值。
在一种可能的实施方式中，所述第一动态手势为两指捏合，所述第一指令为缩小所述第一对象；所述根据所述第一控制信息，执行所述第一指令以控制所述第一对象，包括：将所述第一对象的尺寸缩小所述尺寸变化值。
第二方面，本申请实施例提供一种基于手势控制电子设备的装置，该装置包括：获取模块，用于获取连续的N帧第一手势图像；N为大于1的整数；控制模块，用于根据所述N帧第一手势图像控制屏幕上显示的第一对象；获取模块，还用于获取至少一帧手势图像；其中，所述至少一帧手势图像和所述N帧第一手势图像中的部分手势图像构成连续的N帧第二手势图像，所述至少一帧手势图像的获取时间在所述N帧第一手势图像的获取时间之后；控制模块，还用于根据所述N帧第二手势图像，继续控制所述屏幕上显示的第一对象。
在一种可能的实施方式中，所述控制模块，具体用于：根据所述N帧第一手势图像，识别手势为第一动态手势；根据所述N帧第一手势图像中的部分手势图像确定所述第一对象的第一控制信息；根据所述第一控制信息，执行所述第一动态手势对应的第一指令以控制所述第一对象。
在一种可能的实施方式中，所述控制模块，具体用于：根据第二目标手势图像对应的手部关键点位置相对于第一目标手势图像对应的手部关键点位置的变化值，确定所述第一控制信息；所述第二目标手势图像为所述N帧第一手势图像中的最后获取到的手势图像，所述第一目标手势图像为获取到所述第二目标手势图像之前最近获取到的一帧手势图像。
在一种可能的实施方式中，所述控制模块，具体用于：根据所述第二目标手势图像对应的手部关键点位置相对于所述第一目标手势图像对应的手部关键点位置的变化值和所述第一动态手势，确定所述第一控制信息。
在一种可能的实施方式中，在所述控制模块根据第二目标手势图像中的手部关键点位置相对于第一目标手势图像中的手部关键点位置的变化值，确定所述第一控制信息之前，所述获取模块还用于：采用第一机器学习模型对所述第一手势图像进行学习；获取所述第一机器学习模型的输出，所述输出包括所述第一手势图像对应的手部关键点坐标。
在一种可能的实施方式中，所述控制模块，具体用于：根据所述第一控制信息和第一历史控制信息，得到所述第一对象新的控制信息，所述第一历史控制信息为当前对所述第一对象的控制过程中的上次控制所述第一对象时所依据的控制信息；根据所述新的控制信息，执行所述第一指令以控制所述第一对象。
在一种可能的实施方式中，所述第一控制信息为第一移动距离。
在一种可能的实施方式中，所述第一动态手势为单指向第一方向滑动，所述第一指令为在所述第一方向上移动所述第一对象，所述第一对象为定位标记；所述控制模块，具体用于：控制所述定位标记在所述第一方向上移动所述第一移动距离。
在一种可能的实施方式中，所述第一动态手势为双指向第一方向滑动，所述第一指令为在所述第一方向移动所述第一对象，所述第一对象为第一页面；所述控制模块，具体用于：控制所述第一页面在所述第一方向上移动所述第一移动距离。
在一种可能的实施方式中，所述第一动态手势为手掌向第一方向滑动，所述第一指令为在所述第一方向移动所述第一对象，所述第一对象为第一页面；所述控制模块，具体用于：控制所述第一页面在所述第一方向上移动所述第一移动距离。
在一种可能的实施方式中，所述第一控制信息为尺寸变化值。
在一种可能的实施方式中，所述第一动态手势为两指逐渐张开，所述第一指令为放大所述第一对象；所述控制模块，具体用于：将所述第一对象的尺寸放大所述尺寸变化值。
在一种可能的实施方式中，所述第一动态手势为两指捏合，所述第一指令为缩小所述第一对象；所述控制模块，具体用于：将所述第一对象的尺寸缩小所述尺寸变化值。
第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面以及第一方面任一可能实施方式中所述的方法。
第四方面，本申请提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面以及第一方面任一可能实施方式中所述的方法。
上述申请中的一个实施例具有如下优点或有益效果：可实现通过动态手势能够精细的控制电子设备的目的。因为通过可在当前通过动态手势对电子设备的控制过程中，捕获到较少数量的手势图像后就对第一对象控制一次，相邻两次对第一对象的控制所依据的手势图像具有相同的手势图像的技术手段，所以克服了现有技术中的用户通过动态手势对电子设备的控制比较宏观的技术问题，保证了通过动态手势能够精细的控制电子设备的技术效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为目前对电子设备精细化控制时所对应的界面交互图；
图2为本申请实施例提供的基于手势控制电子设备的方法的流程图一；
图3为本申请实施例提供的获取手势图像的示意图；
图4为本申请实施例提供的界面交互示意图一；
图5为本申请实施例提供的界面交互示意图二；
图6为本申请实施例提供的界面交互示意图三；
图7为本申请实施例提供的界面交互示意图四；
图8为本申请实施例提供的界面交互示意图五；
图9为本申请实施例提供的基于手势控制电子设备的装置的结构示意图；
图10是用来实现本申请实施例的基于手势控制电子设备的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。本申请中术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
目前，用户可通过静态手势和动态手势实现对电子设备的控制。
对于静态手势：比如，用户作出“OK”的手势，电子设备根据摄像头采集的手势图像，确定用户作出了“OK”这一静态的手势以及确定“OK”手势对应的控制对象为屏幕上显示的图片，则电子设备执行“OK”的手势对应的保存控制对象指令，电子设备保存该图片。
对于动态手势：比如用户画了一个M，电子设备根据摄像头采集的手势图像，确定用户作出了画M的手势，电子设备执行画M的手势所对应的打开微信的操作。又比如用户作了单指向下滑动的手势，电子设备根据摄像头采集的手势图像，确定用户作出了单指向下滑动的手势，电子设备执行单指向下滑动的手势对应的页面向下移动的指令，控制页面进行向下移动预设距离。可知，目前用户每做一次动态手势，对应对电子设备的一次较宏观的控制。而在许多场景中，需要精细的控制电子设备，比如逐渐的移动页面、逐渐的放大图像等。目前实现精细的控制电子设备的方法一般是用户的手部逐渐在电子设备的显示屏上移动，电子设备实时的根据显示屏的电容变化确定手部触摸轨迹并执行触摸轨迹对应的指令以实现对该电子设备的精细化控制。目前实现精细的控制电子设备的方法所对应的界面交互图可如图1所示。参见图1，手部单指触摸显示屏，手部向下方移动，从图1中的(a)图位置逐步滑动至(b)图的位置，当前显示的页面随之向下滑动，页面上显示的内容由图1中的(a)图所显示的内容更新至(b)图所显示的内容。手部继续向下方移动，手部从图1中的(b)图位置逐步滑动至(c)图的位置，当前显示的页面随之向下滑动，页面上显示的内容由图1中的(b)图所显示的内容更新至(c)图所显示的内容。
而通过动态手势控制电子设备时，得到的是多张手势图像，显示屏的电容没有变化，无法实时的根据显示屏的电容变化确定手部触摸轨迹并执行触摸轨迹对应的指令以实现对该电子设备的精细化控制。发明人发现：可在当前通过动态手势对电子设备的控制过程中，捕获到较少数量的手势图像后就对第一对象控制一次，相邻两次对第一对象的控制所依据的手势图像具有相同的手势图像，则可以实现精细化控制电子设备的目的。
下面采用具体的实施例对本申请提供的基于手势控制电子设备的方法进行说明。
图2为本申请实施例提供的基于手势控制电子设备的方法的流程图一，本实施例的执行主体为电子设备。参见图2，本实施例的方法包括：
步骤S201、获取连续的N帧第一手势图像，根据N帧第一手势图像控制屏幕上显示的第一对象，N为大于1的整数。
其中，电子设备上设置有摄像头，摄像头每秒钟可以捕获多帧图像，比如10帧图像。对于捕获到的每帧图像，电子设备确定该图像是否为手势图像，手势图像为包括手的图像。其中，本申请实施例中出现的捕获图像和获取图像具有相同的含义。
在一种具体的实现中，电子设备确定该图像是否为手势图像的方法如下：采用第一机器学习模型对该图像进行学习，获取第一机器学习模型的输出。该输出中包括该图像中包括手的概率，若该输出指示该图像中包括手的概率低于第一预设概率，则确定该图像不为手势图像，若该输出指示图像中包括手的概率大于第二预设概率，则确定该图像为手势图像。此外，若该输出指示图像中包括手的概率大于第二预设概率，则该输出中还包括手部关键点坐标。也就是说，对于手势图像：采用第一机器学习模型对该手势图像进行学习，获取第一机器学习模型的输出，该输出中包括该手势图像对应的手部关键点坐标。可如图3中所示，手势图像输入至第一机器学习模型，输出中包括该手势图像对应的手部关键点坐标。
本实施例中根据第一机器学习对手势图像进行学习后可直接得到手部关键点坐标，相对于先采用检测手的模型检测图像中是否有手，若有手则将图像中的手部图像分割出来，再采用关键点检测模型检测分割出的手部图像对应的手部关键点的方案，可以提高获取手部关键点坐标的效率以及准确度，进而用户通过手势对电子设备的控制效率也较高。
电子设备获取到连续的N帧第一手势图像后，根据N帧第一手势图像控制屏幕上显示的第一对象。N为大于1的整数，可选的，N可为区间[4,10]中的任一整数。其中，连续的N帧第一手势图像是指摄像头按照时间顺序依次捕获到的N帧第一手势图像，即对于N帧第一手势图像中在捕获时间上相邻的任意两帧第一手势图像，在捕获该两帧第一手势图像的时间之间摄像头未捕获到其它的手势图像。
示例性地：摄像头依次捕获到图像1～7，图像1和图像2不为手势图像，图像3、图像4、图像5、图像6和图像7为手势图像，则图像3和图像4为连续的2帧手势图像，图像4～6为连续的3帧手势图像，图像3～7为手势图像为连续的5帧手势图像。
下面对根据N帧第一手势图像控制屏幕上显示的第一对象的具体实现进行说明。
在一种具体实现中，根据N帧第一手势图像控制屏幕上显示的第一对象包括如下的a1～a3：
a1、根据N帧第一手势图像，识别手势为第一动态手势。
可根据N帧第一手势图像各自对应的手部关键点坐标，识别手势为第一动态手势。在一种具体的实现中，根据N帧第一手势图像各自对应的手部关键点坐标，识别手势为第一动态手势，包括：将N帧第一手势图像各自对应的手部关键点坐标作为手势分类模型的输入，经手势分类模型学习后得到输出，该输出指示第一动态手势。其中，手势分类模型可为目前通用的手势分类模型，比如神经网络模型。
其中，第一动态手势比如可为：单指滑动、双指滑动、两指逐渐张开、两指捏合、手掌滑动。
a2、根据N帧第一手势图像中的至少部分手势图像确定第一对象的第一控制信息。
第一种方案中，根据第二目标手势图像对应的手部关键点位置相对于第一目标手势图像对应的手部关键点位置的变化值，确定第一对象的第一控制信息。其中，第一目标手势图像和第二目标手势图像为N帧第一手势图像中的最后捕获到的两帧手势图像，第二目标手势图像为N帧第一手势图像最晚捕获到的手势图像。
该第一种方案适用于在当前通过第一动态手势控制电子设备上显示的第一对象的过程中，根据N帧第一手势图像控制第一对象之前，还至少根据了连续的N帧第三手势图像控制第一对象，其中，N帧第一手势图像中包括N帧第三手势图像中的部分手势图像，N帧第三手势图像中最早捕获到的手势图像的捕获时间早于N帧第一手势图像中的任意一帧手势图像的捕获时间。若N＝5，则N帧第一手势图像可包括连续的N帧第三手势图像后捕获的4帧手势图像和在该4帧手势图像后首次捕获到的1帧手势图像，或者，N帧第一手势图像还可包括连续的N帧第三手势图像中最后捕获的3帧手势图像和在该3帧手势图像后最早捕获到的2帧手势图像。
第一种方案还适用于N帧第一手势图像为当前通过第一动态手势控制电子设备上显示的第一对象的过程中，最早捕获到的N帧第一手势图像。
下面对确定第一对象的第一控制信息的具体实现进行说明。
其中，根据第二目标手势图像对应的手部关键点位置相对于第一目标手势图像对应的手部关键点位置的变化值，确定第一对象的第一控制信息，可包括如下的a21～a24：
a21、对于手部关键点中每个对应第一动态手势的目标手部关键点，根据目标手部关键点在第二目标手势图像中的第一坐标与目标手部关键点在第一目标手势图像中的第二坐标，得到目标手部关键点的移动距离。
一般预设有21个手部关键点，目标手部关键点可为21个手部关键点中与第一动态手势对应手部关键点。比如，动态手势为单指滑动，则位于该单指上的关键点为目标手部关键点；动态手势为双指张开，则位于该双指上的关键点为目标手部关键点。
其中，若第一坐标为(x1，y1)，第二坐标为(x2，y2)，则目标手部关键点的移动距离可为(x1-x2)2+(y1-y2)2。
a22、获取各目标手部关键点的移动距离的平均值。
a23、获取预设倍数。
该方案中，对于各种动态手势，预设倍数相同。预设倍数可存储在电子设备中。
a24、根据预设倍数和各目标手部关键点的移动距离的平均值，确定第一对象的第一控制信息。
在第一对象的第一控制信息包括第一对象的第一移动距离时，根据各目标手部关键点的移动距离的平均值，确定第一对象的第一控制信息，包括：确定各目标手部关键点的移动距离的平均值的预设倍数为第一对象的第一移动距离。
在第一对象的第一控制信息包括第一对象的尺寸变化值时，根据各目标手部关键点的移动距离的平均值，确定第一对象的第一控制信息，包括：获取第一移动距离，第一移动距离为各目标手部关键点的移动距离的平均值的预设倍数；根据第一移动距离和第一距离的比值，得到尺寸变化比例，第一距离为第一对象对应的矩形区域的对角线长度的一半，第一对象对应的矩形区域为用于显示第一对象的区域；根据尺寸变化比例与第一对象的当前尺寸的乘积得到尺寸变化值。
第二种方案中，根据第二目标手势图像对应的手部关键点位置相对于第一目标手势图像对应的手部关键点位置的变化值和第一动态手势，确定第一对象的第一控制信息。其中，第一目标手势图像和第二目标手势图像为N帧第一手势图像中的最后捕获到的两帧手势图像，第二目标手势图像为N帧第一手势图像最晚捕获到的手势图像。
本方案的适用条件与第一种方案的适用条件相同。
下面对确定第一对象的第一控制信息的具体实现进行说明。
根据第二目标手势图像对应的手部关键点位置相对于第一目标手势图像对应的手部关键点位置的变化值和第一动态手势，确定第一对象的第一控制信息可包括如下的a26～a29：
a26、对于手部关键点中每个对应第一动态手势的目标手部关键点，根据目标手部关键点在第二目标手势图像中的第一坐标与目标手部关键点在第一目标手势图像中的第二坐标，得到目标手部关键点的移动距离。
a26的具体实现参见a21中的阐述。
a27、获取各目标手部关键点的移动距离的平均值。
a27的具体实现参见a22中的阐述。
a28、根据第一动态手势，确定第一预设倍数。
电子设备中可存储有各种动态手势对应的预设倍数。其中，对应不同指令的动态手势的预设倍数可相同可不相同，对应相同指令的动态手势的预设倍数不相同。
a29、根据第一预设倍数和各目标手部关键点的移动距离的平均值，确定第一对象的第一控制信息。
a29的具体实现参见a24中的阐述，只需将a24中的预设倍数更新为第一预设倍数即可。比如双指滑动的动态手势对应预设倍数1，手掌滑动的动态手势对应预设倍数2，双指滑动的动态手势对应滑动页面，手掌滑动的动态手势也对应滑动页面，则在预设倍数2大于预设倍数1的情况下，手掌滑动对应的滑动页面的速度大于双指滑动对应的滑动页面的速度。即手掌滑动对应快速滑动页面，双指滑动对应慢速滑动页面。
第三种方案中，根据第二目标手势图像对应的手部关键点位置相对于第一目标手势图像对应的手部关键点位置的变化值，确定第一对象的第一控制信息；其中，第一目标手势图像和第二目标手势图像分别为N帧第一手势图像中最早捕获到的和最晚捕获到的手势图像，第二目标手势图像为N帧第一手势图像最晚捕获到的手势图像。
第三种方案适用于N帧第一手势图像为当前通过第一动态手势控制电子设备上显示的第一对象的过程中，最早捕获到的N帧手势图像。
根据上述三种方案可知，本实施例中每次对电子设备上显示的第一对象的控制信息不是预设好的，而是根据手部关键点位置的变化得到的，使得对第一对象的控制更加的精细，更加符合用户的需求，提升了用户的使用体验。
a3、根据第一对象的第一控制信息，执行第一动态手势对应的第一指令以控制第一对象。
其中，电子设备中存储有多种动态手势所对应的指令。在电子设备识别手势为第一动态手势和确定第一对象的第一控制信息后，电子设备根据第一控制信息，执行第一动态手势对应的第一指令以控制第一对象。
为了在控制第一对象的过程中，使得第一对象的变化更加的平稳，对第一对象的控制更加的平稳，根据第一控制信息，执行第一指令以继续控制所述第一对象，可包括：根据第一控制信息和第一历史控制信息，得到第一对象新的控制信息，第一历史控制信息为在当前控制第一对象的过程中上次控制第一对象时所依据的控制信息；根据新的控制信息，执行第一指令以控制第一对象。
其中，根据第一控制信息和第一历史控制信息，得到第一对象新的控制信息具体可通过如下公式实现：
vn＝[αvn-1+(1-α)sn]/(1-αn)； (1)
其中，v0＝0，n≥1，sn对应第一控制信息，vn对应新的控制信息，vn-1对应第一历史控制信息。
步骤S202、获取至少一帧手势图像；其中，至少一帧手势图像和N帧第一手势图像中的部分手势图像构成连续的N帧第二手势图像，至少一帧手势图像的获取时间在N帧第一手势图像的获取时间之后。
至少一帧手势图像为电子设备捕获到N帧第一手势图像后，最早捕获的一帧或多帧手势图像，至少一帧手势图像和N帧第一手势图像中的部分手势图像构成连续的N帧第二手势图像。
在一种具体的实现中，至少一帧手势图像为一帧手势图像。也就是说每捕获到一帧新的手势图像，便于之前捕获的手势图像组成连续的多帧手势图像，多帧手势图像比如如前所述的N帧第一手势图像、N帧第二手势图像。
示例性地，N＝5，N帧第一手势图像为当前对第一对象的控制过程中依次获取到的第2～6帧手势图像，至少一帧手势图像为第7帧手势图像，N帧第二手势图像为当前对第一对象的控制过程中依次获取到的第3～7帧手势图像。
在另一种具体的实现中，至少一帧手势图像为两帧手势图像。
示例性地，N＝5，N帧第一手势图像为当前对第一对象的控制过程中依次获取到的第2～6帧手势图像，至少一帧手势图像为第7帧和第8帧手势图像，N帧第二手势图像为当前对第一对象的控制过程中依次获取到的第4～8帧手势图像。
步骤S203、根据N帧第二手势图像，继续控制屏幕上显示的第一对象。
下面对根据N帧第二手势图像控制屏幕上显示的第一对象的具体实现进行说明。
在一种具体实现中，根据N帧第二手势图像控制屏幕上显示的第一对象包括如下的b1～b4：
b1、根据N帧第二手势图像，识别手势为第一动态手势。
其中，b1的具体实现参见a1中的具体实现，此处不再赘述。
b2、根据N帧第二手势图像中的部分手势图像确定第一对象的第二控制信息。
其中，b2的具体实现参见a2中的“根据N帧第一手势图像中的部分手势图像确定第一对象的第一控制信息”的第一种方案和第二种方案的具体实现，此处不再赘述。
b3、根据第一对象的第二控制信息，执行第一指令以继续控制第一对象。
其中，b3的具体实现参见a3中的具体实现，此处不再赘述。
可以理解的是，本实施例中在用户当前通过第一动态手势控制电子设备显示的第一对象的过程中，可实现对第一对象的连续的多次控制，步骤S201～步骤S203为对第一对象的连续的多次控制中的任意相邻的两次控制方法。举例来说，在N＝5的情况下，在用户当前通过第一动态手势控制电子设备显示的第一对象的过程中，电子设备根据前5帧手势图像识别手势为第一动态手势或者根据前5帧手势图像识别手势为第一动态手势、根据第5帧手势图像中手部关键点位置相对于第4帧手势图像中手部关键点位置的变化得到一控制信息以及根据该控制信息控制第一对象或者根据前5帧手势图像识别手势为第一动态手势、根据第5帧手势图像中手部关键点位置相对于第1帧手势图像中手部关键点位置的变化得到一控制信息以及根据该控制信息控制第一对象。其次，根据第2～6帧手势图像识别手势为第一动态手势、根据第6帧手势图像中手部关键点位置相对于第5帧手势图像中手部关键点位置的变化得到一控制信息以及根据该控制信息控制第一对象，接着根据第3～7帧手势图像识别手势为第一动态手势、根据第7帧手势图像中手部关键点位置相对于第6帧手势图像中手部关键点位置的变化得到一控制信息以及根据该控制信息控制第一对象，依次类推，直至根据最后5帧手势图像识别手势为第一动态手势、根据最后一帧手势图像中手部关键点位置相对于倒数第二帧手势图像中手部关键点位置的变化得到一控制信息以及根据该控制信息控制第一对象。
本实施例的方法，通过在当前通过动态手势对电子设备的控制过程中，捕获到较少数量的手势图像后就对第一对象控制一次，相邻两次对第一对象的控制所依据的手势图像具有相同的手势图像，实现了通过动态手势对电子设备进行精细化控制的目的。
下面对几种具体的动态手势场景下所对应的电子设备的控制方法进行说明。
首先对动态手势为单指向第一方向滑动的场景所对应的电子设备的控制方法进行说明。本申请中的第一方向可为任意的方向，比如上方向、下方向、左方向、右方向等。
在用户当前通过单指向第一方向滑动控制电子设备上的第一对象、第一对象为定位标记时：
电子设备根据捕获到的前5帧手势图像识别手势为单指向第一方向滑动，根据第5帧手势图像中目标手部关键点位置相对于第4帧手势图像中目标关键点的移动距离和第一预设倍数的乘积得到定位标记的第一移动距离，接着控制定位标记在第一方向上移动第一移动距离。
电子设备将捕获到的第6帧手势图像与第2～5帧手势图像构成连续的5帧图像，根据第2～6帧手势图像识别手势为单指向第一方向滑动，根据第6帧手势图像中目标手部关键点位置相对于第5帧手势图像中目标关键点的平均移动距离和第一预设倍数得到定位标记的第二移动距离，控制定位标记在第一方向上移动第二移动距离。
电子设备将捕获到的第7帧手势图像与第3～6帧手势图像构成连续的5帧图像，根据第3～7帧手势图像识别手势为单指向第一方向滑动，根据第7帧手势图像中目标手部关键点位置相对于第6帧手势图像中目标关键点的平均移动距离和第一预设倍数得到定位标记的第三移动距离，控制定位标记在第一方向上移动第三移动距离。
依次类推，在电子设备总共捕获到50帧手势图像的情况下，直至根据第46～50帧手势图像识别手势为单指向第一方向滑动，根据第50帧手势图像中目标手部关键点位置相对于第49帧手势图像中目标关键点的平均移动距离和第一预设倍数得到定位标记的第四移动距离，控制定位标记在第一方向上移动第四移动距离。
其中，本实施例中的定位标记可为鼠标箭头，还可为在用户当前控制第一对象的过程中，首次识别到手势为单指向第一方向滑动时所显示的定位标记，比如光标或箭头等。
该实施例对应的界面交互示意图可为图4所示。参见图4，手部实际位于屏幕的前方，为了图示的清楚，将手部画在了手机的下方。手部从图4中的(a)图位置逐步滑动至(b)图的位置，即单指向右方滑动，定位标记逐步从图4中的(a)图位置滑动至(b)图的位置。
本实施例中的方法可过单指向右方滑动精细的控制定位标记的移动。
其次，对动态手势为双指向第一方向滑动的场景所对应的电子设备的控制方法进行说明。
在用户当前通过双指向第一方向滑动控制电子设备上的第一对象的时，第一对象为当前显示的第一页面。
电子设备根据捕获到的前6帧手势图像识别手势为双指向第一方向滑动。
电子设备将捕获到的第7帧手势图像与第2～6帧手势图像构成连续的6帧图像，根据第2～7帧手势图像识别手势为双指向第一方向滑动，根据第7帧手势图像中目标手部关键点位置相对于第6帧手势图像中目标关键点的平均移动距离和第二预设倍数得到第一页面的第一移动距离，控制第一页面在第一方向上移动第一移动距离。第一预设倍数和第二预设倍数可相同也可不相同。
电子设备将捕获到的第8帧手势图像与第3～7帧手势图像构成连续的6帧图像，根据第3～8帧手势图像识别手势为双指向第一方向滑动，根据第8帧手势图像中目标手部关键点位置相对于第7帧手势图像中目标关键点的平均移动距离和第二预设倍数得到第一页面的第二移动距离，控制第一页面在第一方向上移动第二移动距离。
依次类推，在电子设备总共捕获到60帧手势图像的情况下，直至根据第55～60帧手势图像识别手势为双指向第一方向滑动，根据第60帧手势图像中目标手部关键点位置相对于第59帧手势图像中目标关键点的平均移动距离得到第一页面的第三移动距离，控制第一页面在第一方向上移动第三移动距离。
该实施例对应的界面交互示意图可为图5所示。参见图5，手部实际位于屏幕的前方，为了图示的清楚，将手部画在了手机的右方。双指向下方滑动，手部从图5中的(a)图位置逐步滑动至(b)图的位置，当前显示的页面随之向下滑动，页面上显示的内容由图5中的(a)图所显示的内容更新至(b)图所显示的内容。双指继续向下方滑动，手部从图5中的(b)图位置逐步滑动至(c)图的位置，当前显示的页面随之向下滑动，页面上显示的内容由图5中的(b)图所显示的内容更新至(c)图所显示的内容。
其中，(b)和(c)图中字体加粗的内容为由于页面向下滑动，页面上新显示出的内容，可以理解的是，(b)和(c)图中将页面上新显示出的内容加粗，是为了示意页面向下滑动后新显示出的内容，在实际过程中，页面向下滑动后新显示出的内容的具体显示形式本实施例中并不限定。
本实施例实现了通过双指滑的动态手势精细的控制页面移动的目的。
接着，对动态手势为手掌向第一方向滑动的场景所对应的电子设备的控制方法进行说明。
在用户当前通过手掌向第一方向滑动控制电子设备上的第一对象的时，第一对象为当前显示的第一页面。
电子设备根据捕获到的前5帧手势图像识别手势为手掌向第一方向滑动，根据第5帧手势图像中目标手部关键点位置相对于第4帧手势图像中目标关键点的平均移动距离和第三预设倍数得到第一页面的第一移动距离，控制第一页面在第一方向上移动第一移动距离。第三预设倍数大于第二预设倍数。
电子设备将捕获到的第6帧手势图像与第2～4帧手势图像构成连续的5帧图像，根据第2～6帧手势图像识别手势为手掌向第一方向滑动，根据第6帧手势图像中目标手部关键点位置相对于第5帧手势图像中目标关键点的平均移动距离和第三预设倍数得到第一页面的第二移动距离，控制第一页面在第一方向上移动第二移动距离。
电子设备将捕获到的第7帧手势图像与第3～6帧手势图像构成连续的5帧图像，根据第3～7帧手势图像识别手势为手掌向第一方向滑动，根据第7帧手势图像中目标手部关键点位置相对于第6帧手势图像中目标关键点的平均移动距离和第三预设倍数得到第一页面的第三移动距离，控制第一页面在第一方向上移动第三移动距离。
依次类推，在电子设备总共捕获到50帧手势图像的情况下，直至根据第46～50帧手势图像识别手势为手掌向第一方向滑动，根据第50帧手势图像中目标手部关键点位置相对于第49帧手势图像中目标关键点的平均移动距离得到第一页面的第四移动距离，控制第一页面在第一方向上移动第四移动距离。
根据图2所示的实施例中的第一对象的控制信息的获取方法可知，在第三预设倍数大于第二预设倍数时，在双指滑动与手掌滑动所对应的相邻两帧手势图像中目标关键点的移动距离相同的情况下，双指滑动控制第一页面的移动速度慢于手掌滑动控制第一页面的移动速度。因此，若用户想要快速移动页面，可以做手掌滑动的手势，若用户想要慢速移动页面，可以做双指滑动的手势。
该实施例对应的界面交互示意图可为图6所示。参见图6，手部实际位于屏幕的前方，为了图示的清楚，将手部画在了手机的右方。手掌向下方滑动，手部从图6中的(a)图位置逐步滑动至(b)图的位置，当前显示的页面随之向下滑动，页面上显示的内容由图6中的(a)图所显示的内容更新至(b)图所显示的内容。手掌继续向下方滑动，手部从图6中的(b)图位置逐步滑动至(c)图的位置，当前显示的页面随之向下滑动，页面上显示的内容由图6中的(b)图所显示的内容更新至(c)图所显示的内容。
对比图6和图5可知，在手部移动相似的距离的情况下，手掌滑动对应的页面移动速度大于双指滑动对应的页面移动速度。
本实施例实现了通过手掌滑的动态手势精细的控制页面移动的目的。
接着，对动态手势为两指逐渐张开的场景所对应的电子设备的控制方法进行说明。
在用户当前通过双指逐渐张开控制电子设备上的第一对象、第一对象为当前显示的第一图片时：
电子设备根据捕获到的前4帧手势图像识别手势为双指逐渐张开，根据第4帧手势图像中目标手部关键点位置相对于第1帧手势图像中目标关键点的平均移动距离和第四预设倍数得到第一图片的第一尺寸变化值，控制第一图片的当前尺寸放大第一尺寸变化值。
电子设备将捕获到的第5帧手势图像与第2～4帧手势图像构成连续的4帧图像，根据第2～5帧手势图像识别手势为双指逐渐张开，根据第5帧手势图像中目标手部关键点位置相对于第4帧手势图像中目标关键点的平均移动距离和第四预设倍数得到第一图片的第二尺寸变化值，控制第一图片的当前尺寸继续放大第二尺寸变化值。
电子设备将捕获到的第6帧手势图像与第3～5帧手势图像构成连续的4帧图像，根据第3～6帧手势图像识别手势为双指逐渐张开，根据第6帧手势图像中目标手部关键点位置相对于第5帧手势图像中目标关键点的平均移动距离和第四预设倍数得到第一图片的第三尺寸变化值，控制第一图片的当前尺寸继续放大第三尺寸变化值。
依次类推，在电子设备总共捕获到30帧手势图像的情况下，直至根据第27～30帧手势图像识别手势为双指逐渐张开，根据第30帧手势图像中目标手部关键点位置相对于第29帧手势图像中目标关键点的平均移动距离和第四预设倍数得到第一图片的第四尺寸变化值，控制第一图片的当前尺寸继续放大第四尺寸变化值。
该实施例对应的界面交互示意图可为图7所示。参见图7，手部实际位于屏幕的前方，为了图示的清楚，将手部画在了手机的下方。图7中(a)图的手势逐步变化至图7中(b)图的手势，即两指逐渐张开，当前显示的图片的尺寸逐步从图7中(a)图的尺寸变化至图7中(b)图的尺寸。
本实施例实现了通过两指逐渐张开的动态手势精细的控制图片放大的目的。
接着，对动态手势为两指逐渐捏合的场景所对应的电子设备的控制方法进行说明。
在用户当前通过双指逐渐捏合控制电子设备上的第一对象、第一对象为当前显示的第一图片时：
电子设备根据捕获到的前5帧手势图像识别手势为双指逐渐捏合，根据第5帧手势图像中目标手部关键点位置相对于第4帧手势图像中目标关键点的平均移动距离和第五预设倍数得到第一图片的第一尺寸变化值，控制第一图片的当前尺寸缩小第一尺寸变化值。
电子设备将捕获到的第6帧手势图像和第7帧手势图像与第3～5帧手势图像构成连续的5帧图像，根据第3～7帧手势图像识别手势为双指逐渐捏合，根据第7帧手势图像中目标手部关键点位置相对于第6帧手势图像中目标关键点的平均移动距离和第五预设倍数得到第一图片的第二尺寸变化值，控制第一图片的当前尺寸继续缩小第二尺寸变化值。
电子设备将捕获到的第8帧手势图像和第9帧手势图像与第5～7帧手势图像构成连续的5帧图像，根据第5～9帧手势图像识别手势为双指逐渐捏合，根据第9帧手势图像中目标手部关键点位置相对于第8帧手势图像中目标关键点的平均移动距离和第五预设倍数得到第一图片的第三尺寸变化值，控制第一图片的当前尺寸继续缩小第三尺寸变化值。
依次类推，在电子设备总共捕获到50帧手势图像的情况下，直至根据第46～50帧手势图像识别手势为双指逐渐捏合，根据第50帧手势图像中目标手部关键点位置相对于第49帧手势图像中目标关键点的平均移动距离和第五预设倍数得到第一图片的第四尺寸变化值，控制第一图片的当前尺寸继续缩小第四尺寸变化值。
该实施例对应的界面交互示意图可为图8所示。参见图8，手部实际位于屏幕的前方，为了图示的清楚，将手部画在了手机的下方。图8中(a)图的手势逐步变化至图8中(b)图的手势，即两指逐渐捏合，当前显示的图片的尺寸逐步从图8中(a)图的尺寸变化至图8中(b)图的尺寸。
本实施例实现了通过两指逐渐捏合的动态手势精细的控制图片放大的目的。
下面采用具体的实施例对上一实施例中的第一机器学习模型进行说明。
图2所示的实施例中用于识别图像是否为手势图像并能得到手势图像中的手部关键点位置的第一机器学习模型可为神经网络模型，比如卷积神经网络模型、双向神经网络模型等等。一种方案中，第一机器学习模型的输入可为将摄像头捕获到的图像处理成的形状为(256，256，3)的图像；其中，(256，256，3)表示长为256个像素、宽为256个像素、通道数为RGB三个通道的彩色图片。第一机器模型的输出可为(anchors，1+4+21*2)，其中anchors代表网络的输出锚框个数，1代表这个锚框中含有手的概率大小，4代表手的边界框的坐标，具体为左上角的x和y坐标，右下角的x和y坐标，21*2代表21个手部关键点的坐标(x,y)。
在训练第一机器学习模型时，可以获取大量的正样本图片和负样本图片，其中，正样本图片中包括手部，负样本图片中不包括手部。人工标注每张样本图片的标签—(anchors，1+4+21*2)。根据大量的正样本图片和负样本图片以及每张样本图片的标签，进行有监督的训练，最终可得到第一机器学习模型。为了保证第一机器学习模型的精度，在得到第一机器学习模型后，还可采用测试图片测试第一机器学习模型的精度，若精度不满足预设精度，则继续进行有监督的训练，直至精度满足预设精度。
第一机器学习模型所对应的网络结构可以是在目前的SSD网络结构的基础上更改的，也可以是重新设计的，本实施例中并不限制。
本实施例中得到的第一机器学习模型可提高获取手部关键点坐标的效率以及准确度，进而可提高用户通过手势对电子设备的控制效率。
图9为本申请实施例提供的基于手势控制电子设备的装置的结构示意图，如图9所示，本实施例的装置可以包括：获取模块901、控制模块902。
获取模块901，用于获取连续的N帧第一手势图像；N为大于1的整数；控制模块902，用于根据所述N帧第一手势图像控制屏幕上显示的第一对象；获取模块，还用于获取至少一帧手势图像；其中，所述至少一帧手势图像和所述N帧第一手势图像中的部分手势图像构成连续的N帧第二手势图像，所述至少一帧手势图像的获取时间在所述N帧第一手势图像的获取时间之后；控制模块902，还用于根据所述N帧第二手势图像，继续控制所述屏幕上显示的第一对象。
可选的，所述控制模块902，具体用于：根据所述N帧第一手势图像，识别手势为第一动态手势；根据所述N帧第一手势图像中的部分手势图像确定所述第一对象的第一控制信息；根据所述第一控制信息，执行所述第一动态手势对应的第一指令以控制所述第一对象。
可选的，所述控制模块902，具体用于：根据第二目标手势图像对应的手部关键点位置相对于第一目标手势图像对应的手部关键点位置的变化值，确定所述第一控制信息；其中，所述第二目标手势图像为所述N帧第一手势图像中的最后获取到的手势图像，所述第一目标手势图像为获取到所述第二目标手势图像之前最近获取到的一帧手势图像。
可选的，所述控制模块902，具体用于：根据所述第二目标手势图像对应的手部关键点位置相对于所述第一目标手势图像对应的手部关键点位置的变化值和所述第一动态手势，确定所述第一控制信息。
可选的，在所述控制模块902根据第二目标手势图像中的手部关键点位置相对于第一目标手势图像中的手部关键点位置的变化值，确定所述第一控制信息之前，所述获取模块901还用于：采用第一机器学习模型对所述第一手势图像进行学习；获取所述第一机器学习模型的输出，所述输出包括所述第一手势图像对应的手部关键点坐标。
可选的，所述控制模块902，具体用于：根据所述第一控制信息和第一历史控制信息，得到所述第一对象新的控制信息，所述第一历史控制信息为当前对所述第一对象的控制过程中的上次控制所述第一对象时所依据的控制信息；根据所述新的控制信息，执行所述第一指令以控制所述第一对象。
可选的，所述第一控制信息为第一移动距离。
可选的，所述第一动态手势为单指向第一方向滑动，所述第一指令为在所述第一方向上移动所述第一对象，所述第一对象为定位标记；所述控制模块902，具体用于：控制所述定位标记在所述第一方向上移动所述第一移动距离。
可选的，所述第一动态手势为双指向第一方向滑动，所述第一指令为在所述第一方向移动所述第一对象，所述第一对象为第一页面；所述控制模块902，具体用于：控制所述第一页面在所述第一方向上移动所述第一移动距离。
可选的，所述第一动态手势为手掌向第一方向滑动，所述第一指令为在所述第一方向移动所述第一对象，所述第一对象为第一页面；所述控制模块902，具体用于：控制所述第一页面在所述第一方向上移动所述第一移动距离。
可选的，所述第一控制信息为尺寸变化值。
可选的，所述第一动态手势为两指逐渐张开，所述第一指令为放大所述第一对象；所述控制模块902，具体用于：将所述第一对象的尺寸放大所述尺寸变化值。
可选的，所述第一动态手势为两指捏合，所述第一指令为缩小所述第一对象；所述控制模块902，具体用于：将所述第一对象的尺寸缩小所述尺寸变化值。
本实施例的装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图10所示，是实现本申请实施例的基于手势控制电子设备的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示，该电子设备包括：一个或多个处理器1001、存储器1002，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器1001为例。
存储器1002即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的基于手势控制电子设备的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的基于手势控制电子设备的方法。
存储器1002作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的基于手势控制电子设备的方法对应的程序指令/模块(例如，附图9所示的获取模块901和控制模块902)。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中的基于手势控制电子设备的方法。
存储器1002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现基于手势控制电子设备的方法的电子设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1002可选包括相对于处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至实现基于手势控制电子设备的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现基于手势控制电子设备的方法的电子设备还可以包括：输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接，图10中以通过总线连接为例。
输入装置1003可接收输入的数字或字符信息，以及产生与实现基于手势控制电子设备的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
本申请中，通过在当前通过动态手势对电子设备的控制过程中，捕获到较少数量的手势图像后就对第一对象控制一次，相邻两次对第一对象的控制所依据的手势图像具有相同的手势图像，实现了通过动态手势对电子设备进行精细化控制的目的。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种基于手势控制电子设备的方法，其特征在于，包括：
获取连续的N帧第一手势图像，根据所述N帧第一手势图像控制屏幕上显示的第一对象，N为大于1的整数；
获取至少一帧手势图像；其中，所述至少一帧手势图像和所述N帧第一手势图像中的部分手势图像构成连续的N帧第二手势图像，所述至少一帧手势图像的获取时间在所述N帧第一手势图像的获取时间之后；
根据所述N帧第二手势图像，继续控制所述屏幕上显示的第一对象。
2.根据权利要求1所述的方法，其特征在于，所述根据所述N帧第一手势图像控制屏幕上显示的第一对象，包括：
根据所述N帧第一手势图像，识别手势为第一动态手势；
根据所述N帧第一手势图像中的部分手势图像确定所述第一对象的第一控制信息；
根据所述第一控制信息，执行所述第一动态手势对应的第一指令以控制所述第一对象。
3.根据权利要求2所述的方法，其特征在于，所述根据所述N帧第一手势图像中的部分手势图像确定所述第一对象的第一控制信息，包括：
根据第二目标手势图像对应的手部关键点位置相对于第一目标手势图像对应的手部关键点位置的变化值，确定所述第一控制信息；
其中，所述第二目标手势图像为所述N帧第一手势图像中的最后获取到的手势图像，所述第一目标手势图像为获取到所述第二目标手势图像之前最近获取到的一帧手势图像。
4.根据权利要求3所述的方法，其特征在于，所述根据第二目标手势图像中的手部关键点位置相对于第一目标手势图像中的手部关键点位置的变化值，确定所述第一控制信息，包括：
根据所述第二目标手势图像对应的手部关键点位置相对于所述第一目标手势图像对应的手部关键点位置的变化值和所述第一动态手势，确定所述第一控制信息。
5.根据权利要求3或4所述的方法，其特征在于，在所述根据第二目标手势图像中的手部关键点位置相对于第一目标手势图像中的手部关键点位置的变化值，确定所述第一控制信息之前，还包括：
采用第一机器学习模型对所述第一手势图像进行学习；
获取所述第一机器学习模型的输出，所述输出包括所述第一手势图像对应的手部关键点坐标。
6.根据权利要求2～4任一项所述的方法，其特征在于，所述根据所述第一控制信息，执行所述第一动态手势对应的第一指令以控制所述第一对象，包括：
根据所述第一控制信息和第一历史控制信息，得到所述第一对象新的控制信息，所述第一历史控制信息为当前对所述第一对象的控制过程中的上次控制所述第一对象时所依据的控制信息；
根据所述新的控制信息，执行所述第一指令以控制所述第一对象。
7.根据权利要求2～4任一项所述的方法，其特征在于，所述第一控制信息为第一移动距离。
8.根据权利要求7所述的方法，其特征在于，所述第一动态手势为单指向第一方向滑动，所述第一指令为在所述第一方向上移动所述第一对象，所述第一对象为定位标记；
根据所述第一控制信息，执行所述第一指令以控制所述第一对象，包括：控制所述定位标记在所述第一方向上移动所述第一移动距离。
9.根据权利要求7所述的方法，其特征在于，所述第一动态手势为双指向第一方向滑动，所述第一指令为在所述第一方向移动所述第一对象，所述第一对象为第一页面；
根据所述第一控制信息，执行所述第一指令以控制所述第一对象，包括：控制所述第一页面在所述第一方向上移动所述第一移动距离。
10.根据权利要求7所述的方法，其特征在于，所述第一动态手势为手掌向第一方向滑动，所述第一指令为在所述第一方向移动所述第一对象，所述第一对象为第一页面；
所述根据所述第一控制信息，执行所述第一指令以控制所述第一对象，包括：控制所述第一页面在所述第一方向上移动所述第一移动距离。
11.根据权利要求2～4任一项所述的方法，其特征在于，所述第一控制信息为尺寸变化值。
12.根据权利要求11所述的方法，其特征在于，所述第一动态手势为两指逐渐张开，所述第一指令为放大所述第一对象；
所述根据所述第一控制信息，执行所述第一指令以控制所述第一对象，包括：将所述第一对象的尺寸放大所述尺寸变化值。
13.根据权利要求11所述的方法，其特征在于，所述第一动态手势为两指捏合，所述第一指令为缩小所述第一对象；
所述根据所述第一控制信息，执行所述第一指令以控制所述第一对象，包括：将所述第一对象的尺寸缩小所述尺寸变化值。
14.一种基于手势控制电子设备的装置，其特征在于，包括：
获取模块，用于获取连续的N帧第一手势图像；N为大于1的整数；
控制模块，用于根据所述N帧第一手势图像控制屏幕上显示的第一对象；
获取模块，还用于获取至少一帧手势图像；其中，所述至少一帧手势图像和所述N帧第一手势图像中的部分手势图像构成连续的N帧第二手势图像，所述至少一帧手势图像的获取时间在所述N帧第一手势图像的获取时间之后；
控制模块，还用于根据所述N帧第二手势图像，继续控制所述屏幕上显示的第一对象。
15.根据权利要求14所述的装置，其特征在于，所述控制模块，具体用于：
根据所述N帧第一手势图像，识别手势为第一动态手势；
根据所述N帧第一手势图像中的部分手势图像确定所述第一对象的第一控制信息；
根据所述第一控制信息，执行所述第一动态手势对应的第一指令以控制所述第一对象。
16.根据权利要求15所述的装置，其特征在于，所述控制模块，具体用于：
根据第二目标手势图像对应的手部关键点位置相对于第一目标手势图像对应的手部关键点位置的变化值，确定所述第一控制信息；
其中，所述第二目标手势图像为所述N帧第一手势图像中的最后获取到的手势图像，所述第一目标手势图像为获取到所述第二目标手势图像之前最近获取到的一帧手势图像。
17.根据权利要求16所述的装置，其特征在于，在所述控制模块根据第二目标手势图像中的手部关键点位置相对于第一目标手势图像中的手部关键点位置的变化值，确定所述第一控制信息之前，所述获取模块还用于：
采用第一机器学习模型对所述第一手势图像进行学习；
获取所述第一机器学习模型的输出，所述输出包括所述第一手势图像对应的手部关键点坐标。
18.根据权利要求15～17任一项所述的装置，其特征在于，所述控制模块，具体用于：
根据所述第一控制信息和第一历史控制信息，得到所述第一对象新的控制信息，所述第一历史控制信息为当前对所述第一对象的控制过程中的上次控制所述第一对象时所依据的控制信息；
根据所述新的控制信息，执行所述第一指令以控制所述第一对象。
19.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-13中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-13中任一项所述的方法。
CN202010095286.1A 2020-02-14 2020-02-14 基于手势控制电子设备的方法和装置 Active CN111273778B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010095286.1A CN111273778B (zh) 2020-02-14 2020-02-14 基于手势控制电子设备的方法和装置
EP21155718.6A EP3832439A3 (en) 2020-02-14 2021-02-08 Method and apparatus for controlling electronic device based on gesture
US17/171,918 US20210191611A1 (en) 2020-02-14 2021-02-09 Method and apparatus for controlling electronic device based on gesture
KR1020210018954A KR20210038446A (ko) 2020-02-14 2021-02-10 제스처를 기반으로 전자기기를 제어하는 방법 및 장치
JP2021020915A JP7146977B2 (ja) 2020-02-14 2021-02-12 ジェスチャによる電子機器の制御方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010095286.1A CN111273778B (zh) 2020-02-14 2020-02-14 基于手势控制电子设备的方法和装置

Publications (2)

Publication Number Publication Date
CN111273778A true CN111273778A (zh) 2020-06-12
CN111273778B CN111273778B (zh) 2023-11-07

Family

ID=71002768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010095286.1A Active CN111273778B (zh) 2020-02-14 2020-02-14 基于手势控制电子设备的方法和装置

Country Status (5)

Country Link
US (1) US20210191611A1 (zh)
EP (1) EP3832439A3 (zh)
JP (1) JP7146977B2 (zh)
KR (1) KR20210038446A (zh)
CN (1) CN111273778B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613384A (zh) * 2020-12-18 2021-04-06 安徽鸿程光电有限公司 手势识别方法、手势识别装置及交互显示设备的控制方法
CN112684895A (zh) * 2020-12-31 2021-04-20 安徽鸿程光电有限公司 标记方法、装置、设备及计算机存储介质
CN113190107A (zh) * 2021-03-16 2021-07-30 青岛小鸟看看科技有限公司 手势识别方法、装置及电子设备
CN113282169A (zh) * 2021-05-08 2021-08-20 青岛小鸟看看科技有限公司 头戴式显示设备的交互方法、装置及头戴式显示设备
CN113448485A (zh) * 2021-07-12 2021-09-28 交互未来(北京)科技有限公司 一种大屏幕窗口控制方法、装置、存储介质和设备
CN115695743A (zh) * 2021-07-26 2023-02-03 成都极米科技股份有限公司 投影画面调节方法、装置及投影仪
CN115798054A (zh) * 2023-02-10 2023-03-14 国网山东省电力公司泰安供电公司 一种基于ar/mr技术的手势识别方法及电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407029B (zh) * 2021-06-25 2024-02-20 腾讯云计算（北京）有限责任公司 一种页面对象状态信息确定方法、装置、设备和可读介质
CN113986093A (zh) * 2021-09-26 2022-01-28 展讯通信（上海）有限公司 互动方法及相关装置
CN117980873A (zh) * 2021-11-04 2024-05-03 海信视像科技股份有限公司 一种显示设备及其控制方法
CN114327056A (zh) * 2021-12-23 2022-04-12 新疆爱华盈通信息技术有限公司 目标对象控制方法、装置和存储介质
CN114546114A (zh) * 2022-02-15 2022-05-27 美的集团(上海)有限公司 移动机器人的控制方法、控制装置及移动机器人
CN117880413A (zh) * 2022-10-11 2024-04-12 华为技术有限公司 一种视频录制控制方法、电子设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188537A (zh) * 2011-10-05 2013-07-03 索尼公司 输入装置和输入识别方法
US20140201666A1 (en) * 2013-01-15 2014-07-17 Raffi Bedikian Dynamic, free-space user interactions for machine control
CN104102336A (zh) * 2013-04-09 2014-10-15 三星电子株式会社 提供非接触交互的便携式设备和方法
US20150052425A1 (en) * 2013-08-13 2015-02-19 Samsung Electronics Co., Ltd. Method of searching for page using three-dimensional manner in portable device and portable device for the same
KR20160079531A (ko) * 2014-12-26 2016-07-06 삼성전자주식회사 제스처 입력 처리 방법 및 장치
CN106354413A (zh) * 2016-09-06 2017-01-25 百度在线网络技术（北京）有限公司 一种屏幕控制方法及装置
CN108762505A (zh) * 2018-05-29 2018-11-06 腾讯科技（深圳）有限公司 基于手势的虚拟对象控制方法、装置、存储介质和设备
CN109255324A (zh) * 2018-09-05 2019-01-22 北京航空航天大学青岛研究院 手势处理方法、交互控制方法及设备
CN109598198A (zh) * 2018-10-31 2019-04-09 深圳市商汤科技有限公司 用于识别手势移动方向的方法、装置、介质、程序及设备
US20190107894A1 (en) * 2017-10-07 2019-04-11 Tata Consultancy Services Limited System and method for deep learning based hand gesture recognition in first person view

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
CN103926999B (zh) 2013-01-16 2017-03-01 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
RU2014117521A (ru) * 2014-04-29 2015-11-10 ЭлЭсАй Корпорейшн Распознавание динамических жестов с использованием свойств, извлекаемых из нескольких интервалов
US9767613B1 (en) 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US10187568B1 (en) 2016-05-02 2019-01-22 Bao Tran Video smart phone
FR3075107B1 (fr) * 2017-12-20 2020-05-15 Valeo Systemes Thermiques Dispositif de ventilation destine a generer un flux d'air a travers un echangeur de chaleur de vehicule automobile a conduits orientes
JP6765545B2 (ja) 2017-12-22 2020-10-07 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 動的ジェスチャ認識方法および装置、ジェスチャ対話制御方法および装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188537A (zh) * 2011-10-05 2013-07-03 索尼公司 输入装置和输入识别方法
US20140201666A1 (en) * 2013-01-15 2014-07-17 Raffi Bedikian Dynamic, free-space user interactions for machine control
CN104102336A (zh) * 2013-04-09 2014-10-15 三星电子株式会社 提供非接触交互的便携式设备和方法
US20150052425A1 (en) * 2013-08-13 2015-02-19 Samsung Electronics Co., Ltd. Method of searching for page using three-dimensional manner in portable device and portable device for the same
KR20160079531A (ko) * 2014-12-26 2016-07-06 삼성전자주식회사 제스처 입력 처리 방법 및 장치
CN106354413A (zh) * 2016-09-06 2017-01-25 百度在线网络技术（北京）有限公司 一种屏幕控制方法及装置
US20190107894A1 (en) * 2017-10-07 2019-04-11 Tata Consultancy Services Limited System and method for deep learning based hand gesture recognition in first person view
CN109635621A (zh) * 2017-10-07 2019-04-16 塔塔顾问服务有限公司 用于第一人称视角中基于深度学习识别手势的系统和方法
CN108762505A (zh) * 2018-05-29 2018-11-06 腾讯科技（深圳）有限公司 基于手势的虚拟对象控制方法、装置、存储介质和设备
CN109255324A (zh) * 2018-09-05 2019-01-22 北京航空航天大学青岛研究院 手势处理方法、交互控制方法及设备
CN109598198A (zh) * 2018-10-31 2019-04-09 深圳市商汤科技有限公司 用于识别手势移动方向的方法、装置、介质、程序及设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613384A (zh) * 2020-12-18 2021-04-06 安徽鸿程光电有限公司 手势识别方法、手势识别装置及交互显示设备的控制方法
CN112613384B (zh) * 2020-12-18 2023-09-19 安徽鸿程光电有限公司 手势识别方法、手势识别装置及交互显示设备的控制方法
CN112684895A (zh) * 2020-12-31 2021-04-20 安徽鸿程光电有限公司 标记方法、装置、设备及计算机存储介质
CN113190107A (zh) * 2021-03-16 2021-07-30 青岛小鸟看看科技有限公司 手势识别方法、装置及电子设备
CN113190107B (zh) * 2021-03-16 2023-04-14 青岛小鸟看看科技有限公司 手势识别方法、装置及电子设备
CN113282169A (zh) * 2021-05-08 2021-08-20 青岛小鸟看看科技有限公司 头戴式显示设备的交互方法、装置及头戴式显示设备
CN113448485A (zh) * 2021-07-12 2021-09-28 交互未来(北京)科技有限公司 一种大屏幕窗口控制方法、装置、存储介质和设备
CN115695743A (zh) * 2021-07-26 2023-02-03 成都极米科技股份有限公司 投影画面调节方法、装置及投影仪
CN115798054A (zh) * 2023-02-10 2023-03-14 国网山东省电力公司泰安供电公司 一种基于ar/mr技术的手势识别方法及电子设备
CN115798054B (zh) * 2023-02-10 2023-11-10 国网山东省电力公司泰安供电公司 一种基于ar/mr技术的手势识别方法及电子设备

Also Published As

Publication number Publication date
JP7146977B2 (ja) 2022-10-04
US20210191611A1 (en) 2021-06-24
JP2021089761A (ja) 2021-06-10
KR20210038446A (ko) 2021-04-07
CN111273778B (zh) 2023-11-07
EP3832439A2 (en) 2021-06-09
EP3832439A3 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
CN111273778B (zh) 基于手势控制电子设备的方法和装置
CN106775313B (zh) 分屏操作控制方法及移动终端
EP2511812B1 (en) Continuous recognition method of multi-touch gestures from at least two multi-touch input devices
US20120174029A1 (en) Dynamically magnifying logical segments of a view
TWI450128B (zh) 手勢偵測方法、手勢偵測系統及電腦可讀取儲存媒體
US20130234957A1 (en) Information processing apparatus and information processing method
CN102436343A (zh) 基于触摸输入来对齐用户界面元素
CN105824531A (zh) 数值调整方法及装置
Dhule et al. Computer vision based human-computer interaction using color detection techniques
JP2015032050A (ja) 表示制御装置、表示制御方法およびプログラム
US10656746B2 (en) Information processing device, information processing method, and program
CN112036315A (zh) 字符识别方法、装置、电子设备及存储介质
CN113359995A (zh) 人机交互方法、装置、设备以及存储介质
TWI511030B (zh) 使用者介面顯示方法及其電子裝置
EP3989051A1 (en) Input device, input method, medium, and program
CN110727383A (zh) 基于小程序的触控交互方法、装置、电子设备与存储介质
CN112162800B (zh) 页面显示方法、装置、电子设备和计算机可读存储介质
US20200341607A1 (en) Scrolling interface control for computer display
CN113485590A (zh) 触控操作方法及装置
KR20130115037A (ko) 마우스를 이용하여 터치 입력을 구현하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
Hemanth Deep Learning Technique Based Character and Speech-to-Text Recognition for Interactive Online Writing with Virtual Pen and Eraser
Pa et al. Deep Learning Technique Based Character and Speech-to-Text Recognition for Interactive Online Writing with Virtual Pen and Eraser
Devi et al. AI-Enhanced Cursor Navigator
Shindhe et al. Mouse free cursor control
CN115885238A (zh) 指尖鼠标的实现方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant