CN113885695A - 基于人工现实的手势交互方法、系统 - Google Patents

基于人工现实的手势交互方法、系统 Download PDF

Info

Publication number
CN113885695A
CN113885695A CN202110926659.XA CN202110926659A CN113885695A CN 113885695 A CN113885695 A CN 113885695A CN 202110926659 A CN202110926659 A CN 202110926659A CN 113885695 A CN113885695 A CN 113885695A
Authority
CN
China
Prior art keywords
thumb
index finger
operation icon
hand
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110926659.XA
Other languages
English (en)
Inventor
孙飞
余海桃
吴涛
李阿川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110926659.XA priority Critical patent/CN113885695A/zh
Publication of CN113885695A publication Critical patent/CN113885695A/zh
Priority to PCT/CN2022/081494 priority patent/WO2023015886A1/zh
Priority to EP22854891.3A priority patent/EP4345583A1/en
Priority to US18/400,624 priority patent/US20240134461A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于人工现实的手势交互方法，通过先将四指握拳状态时手的特定位置至食指关节形成的射线作为操作指示线，再将操作指示线与VR系统中的显示器相交的点作为VR系统的操作图标的位置，再通过移动四指握拳的手控制操作图标，以将操作图标在显示器中移动至目标按键处，而后通过拇指触接食指的动作使得操作图标点击目标按键以完成交互，该过程拇指触接食指的任何一个点均可以实现点击操作，对精度要求较小，从而减少人力、财力，并且由于精度要求较小使得便于进行点击操作，大大提高用户的交互体验。

Description

基于人工现实的手势交互方法、系统
技术领域
本发明涉及虚拟现实技术领域，更为具体地，涉及一种基于人工现实的手势交互方法、系统。
背景技术
由于科技的进步，市场需求的多元化发展，虚拟现实系统正变得越来越普遍，应用在许多领域，如电脑游戏，健康和安全，工业和教育培训。举几个例子，混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院，主题公园，大学实验室，学生教室，医院锻炼健身室等生活各个角落。
随着人工现实领域的发展，用户在VR、AR以及MR场景下与内容的交互必不可少，同时操作便捷的“裸手”手势交互成为今日发展的趋势。目前该场景下已有的手势交互大部分为单手指食指“点击”手势、拇指与食指的“捏取”手势、握拳“确定”手势等。而采用单手食指“点击”、拇指与食指的“捏取”、握拳进行“确定”的交互手势，对手势识别的精度要求较高，因而对此产生的人力、财力投入势必较大，并且虽然交互手势对手势识别的精度较高，但在交互准确度与体验度上却相对较差。
因此，亟需一种能够减少人财投入，提高手势识别精度，提高用户体验性的基于人工现实的手势交互方法。
发明内容
鉴于上述问题，本发明的目的是提供一种基于人工现实的手势交互方法，以解决目前采用单手食指“点击”、拇指与食指的“捏取”、握拳进行“确定”的交互手势对手势识别的精度要求较高，因而对此产生的人力、财力投入势必较大，并且虽然交互手势对手势识别的精度较高，但在交互准确度与体验度上却相对较差的问题。
本发明提供的一种基于人工现实的手势交互方法，其中，包括：
将四指握拳状态时手的特定位置至手指关节形成的射线作为操作指示线；其中，所述射线的端点为所述手的特定位置；
将所述操作指示线与VR系统中的显示器相交的点作为VR系统的操作图标的位置；
通过移动四指握拳的手控制所述操作图标，以将所述操作图标在所述显示器中移动至目标按键处；
通过拇指触接食指的动作使得所述操作图标点击所述目标按键以完成交互。
优选地，所述手的特定位置为手腕关节；
所述手指关节为食指关节。
优选地，所述操作图标随着手的运动而产生相对应的镜像移动。
优选地，在通过拇指触接食指的动作使得所述操作图标点击所述目标按键以完成交互的过程中，
拇指的远端指腹靠近食指中各个关节所确定的平面以形成拇指-食指间距；
当所述拇指-食指间距小于预设的点击距离阈值，则所述操作图标点击所述目标按键；
拇指抬起使所述远端指腹远离食指中各个关节所确定的平面，当所述拇指-食指间距大于预设的生效距离阈值，则完成所述操作图标点击所述目标按键的动作，并使所述操作图标点击所述目标按键的动作生效，完成一次交互动作。
优选地，还包括通过拖拽和滑动完成交互动作，其中，所述通过拖拽和滑动完成交互动作的过程，包括：
拇指的远端指腹靠近食指中各个关节所确定的平面以形成拇指-食指间距；
当所述拇指-食指间距小于预设的点击距离阈值，则所述操作图标按下待拖滑界面，并移动所述拇指-食指间距小于预设的点击距离阈值的手，使所述拖滑界面随着手拖拽或滑动；
当所述拖滑界面移动至目标位置，则使所述远端指腹远离食指中各个关节所确定的平面，当所述拇指-食指间距大于预设的生效距离阈值，则所述拖滑界面移动至目标位置的动作生效，完成一次拖拽或滑动的交互动作。
优选地，所述食指中各个关节所确定的平面包括食指远端指尖与食指指间关节之间、两个食指指间关节之间、所述食指指间关节与食指掌关节之间构成的面所覆盖的所有的点。
优选地，所述点击距离阈值等于所述生效距离阈值。
本发明还提供一种基于人工现实的手势交互系统，实现如前所述的基于人工现实的手势交互方法，包括用于捕捉手的运动姿势的摄像头、用于显示交互页面的显示器和连接所述摄像头与所述显示器的处理器；其中，所述处理器包括：
指示配置单元，用于将四指握拳状态时手的特定位置至手指关节形成的射线作为操作指示线；其中，所述射线的端点为所述手的特定位置；
图标配置单元，用于将所述操作指示线与所述显示器相交的点作为VR系统的操作图标的位置；
控制操作单元，用于通过移动四指握拳的手控制所述操作图标，以将所述操作图标在所述显示器中移动至目标按键处；
响应交互单元，用于通过拇指触接食指的动作使得所述操作图标点击所述目标按键以完成交互。
优选地，所述响应交互单元包括动作单元和生效单元，其中，
若拇指的远端指腹靠近食指中各个关节所确定的平面以形成拇指-食指间距，且当所述拇指-食指间距小于预设的点击距离阈值，则触发所述动作单元，所述动作单元用于使所述操作图标点击所述目标按键；
若拇指抬起使所述远端指腹远离食指中各个关节所确定的平面，且当所述拇指-食指间距大于预设的生效距离阈值，则触发所述生效单元，所述生效单元用于完成所述操作图标点击所述目标按键的动作，并使所述操作图标点击所述目标按键的动作生效，以完成一次交互动作。
优选地，还包括拖滑单元，所述拖滑单元用于通过拖拽和滑动完成交互动作，其中，通过拖拽和滑动完成交互动作的过程，包括：
拇指的远端指腹靠近食指中各个关节所确定的平面以形成拇指-食指间距；
当所述拇指-食指间距小于预设的点击距离阈值，则所述操作图标按下待拖滑界面，并移动所述拇指-食指间距小于预设的点击距离阈值的手，使所述拖滑界面随着手拖拽或滑动；
当所述拖滑界面移动至目标位置，则使所述远端指腹远离食指中各个关节所确定的平面，当所述拇指-食指间距大于预设的生效距离阈值，则所述拖滑界面移动至目标位置的动作生效，完成一次拖拽或滑动的交互动作。
从上面的技术方案可知，本发明提供的基于人工现实的手势交互方法、系统，通过先将四指握拳状态时手的特定位置至食指关节形成的射线作为操作指示线，再将操作指示线与VR系统中的显示器相交的点作为VR系统的操作图标的位置，再通过移动四指握拳的手控制操作图标，以将操作图标在显示器中移动至目标按键处，而后通过拇指触接食指的动作使得操作图标点击目标按键以完成交互，该过程拇指触接食指的任何一个点均可以实现点击操作，对精度要求较小，从而减少人力、财力，并且由于精度要求较小使得便于进行点击操作，大大提高用户的交互体验。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于人工现实的手势交互方法的流程图；
图2为根据本发明实施例的基于人工现实的手势交互方法中手与显示器的关系示意图；
图3为根据本发明实施例的基于人工现实的手势交互方法中拇指触接食指的示意图；
图4为根据本发明实施例的基于人工现实的手势交互方法中拖拽或或滑动交互的示意图；
图5为根据本发明实施例的基于人工现实的手势交互系统的示意图。
具体实施方式
目前采用单手食指“点击”、拇指与食指的“捏取”、握拳进行“确定”的交互手势对手势识别的精度要求较高，因而对此产生的人力、财力投入势必较大，并且虽然交互手势对手势识别的精度较高，但在交互准确度与体验度上却相对较差。
针对上述问题，本发明提供一种基于人工现实的手势交互方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于人工现实的手势交互方法、系统，图1、图2、图3、图4对本发明实施例的基于人工现实的手势交互方法进行了示例性标示；图5对本发明实施例的基于人工现实的手势交互系统进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明提供的本发明实施例的基于人工现实的手势交互方法，包括：
S1：将四指握拳状态时手的特定位置至手指关节形成的射线作为操作指示线；其中，所述射线的端点为所述手的特定位置；
S2：将所述操作指示线与VR系统中的显示器相交的点作为VR系统的操作图标的位置；
S3：通过移动四指握拳的手控制所述操作图标，以将所述操作图标在所述显示器中移动至目标按键处；
S4：通过拇指触接食指的动作使得所述操作图标点击所述目标按键以完成交互。
如图1、图2共同所示，步骤S1为将四指握拳状态时手的特定位置至手指关节形成的射线作为操作指示线的过程，射线的端点为手的特定位置，在本实施例中，四指紧握，拇指11可以为竖直状态，也可以为攥紧状态，在此不作限制，该手的特定位置和手指关节的位置均不作限制，在本实施例中，该手的特定位置为手腕关节13，该手指关节为食指关节12，从而以手腕关节13为端点形成操作指示线15，该操作指示线在人工现实场景中可以显示，也可以不显示，在本实施例中，该操作指示线透明不显示，由于为手腕关节与食指关节确定的射线，因而该操作指示线多为水平的，以便于后期用户直接用手进行操控交互。
如图1、图2共同所示，步骤S2为将操作指示线与VR系统中的显示器相交的点作为VR系统的操作图标的位置，即使以手腕关节13为端点的操作指示线15向显示器16的方向延伸，延伸至与显示器16相交，并将相交的点作为操作图标14的位置，该操作图标可以为透明无色的，也可以为有色的，若为有色的，可以为任意适当大小的标识，在本实施例中为类似圆球形的图标，以便用户明了的移动该操作图标。
如图1、图2共同所示，步骤S3为通过移动四指握拳的手控制操作图标，以将操作图标在所述显示器中移动至目标按键处的过程，在该过程中，该操作图标14随着手的运动而产生相对应的镜像移动，例如用户面向显示器，该手为左手，当左手向左、右、上、下、前、后移动，在用户看来显示器中的图标也随着手向向左、右、上、下、前、后移动，以便灵活的通过手来控制操作图标的位置。
如图1、图3共同所示，步骤S4为通过拇指触接食指的动作使得操作图标点击目标按键以完成交互的过程，在通过拇指触接食指的动作使得操作图标点击目标按键以完成交互的过程中，包括：
S41：拇指21的远端指腹靠近食指中各个关节所确定的平面22以形成拇指-食指间距；
S42：当拇指-食指间距小于预设的点击距离阈值，则操作图标点击目标按键；
S43：拇指抬起使远端指腹远离食指中各个关节所确定的平面，当拇指-食指间距大于预设的生效距离阈值，则完成操作图标点击目标按键的动作，并使操作图标点击目标按键的动作生效，完成一次交互动作；
具体的，若想进行点击确定或点击其他目标按键的交互动作，则使拇指如图3所示，即使拇指21的远端指腹(指尖处的指腹)靠近食指中各个关节所确定的平面22以使拇指-食指间距变小，甚至为0，当拇指与食指的间距小于预设的点击距离阈值，则操作图标点击目标按键，换句话说当拇指21点击食指中各个关节所确定的平面22，则操作图标点击目标按键，该点击距离阈值的具体数值不做限制，可随时调整；当点击动作发生之后，使拇指抬起，即使远端指腹远离食指中各个关节所确定的平面，当拇指-食指间距大于预设的生效距离阈值，则终止点击动作，并使操作图标点击目标按键的动作生效，如此完成一次点击、取消、确认等一键完成的交互操作，该生效距离阈值的大小也不做限制，可随时调整。
在图1、图4共同所示的实施例中，还包括S5：通过拖拽和滑动完成交互动作，其中，该通过拖拽和滑动完成交互动作的过程，包括：
S51：拇指41的远端指腹靠近食指中各个关节所确定的平面以形成拇指-食指间距；
S52：当拇指-食指间距小于预设的点击距离阈值，则操作图标按下待拖滑界面，并移动拇指-食指间距小于预设的点击距离阈值的手，使拖滑界面随着手拖拽或滑动；
S53：当拖滑界面移动至目标位置，则使远端指腹远离食指中各个关节所确定的平面，当拇指-食指间距大于预设的生效距离阈值，则拖滑界面移动至目标位置的动作生效，完成一次拖拽或滑动的交互动作。
具体的，如图4所示，在本实施例中，若想要移动待拖滑界面，则先使拇指41的远端指腹靠近食指中各个关节所确定的平面，即使拇指41按食指中各个关节所确定的平面，从而拇指-食指间距变小，当小于预设的点击距离阈值，即按下411处的待拖滑界面，而后移动手，使待拖滑界面随着手的运动由411的位置经由路径410移动至412的位置，此时该拖滑界面已到达目标位置412，此时只需抬起拇指，使远端指腹远离食指中各个关节所确定的平面，当拇指-食指间距大于预设的生效距离阈值，则该拖滑界面移动至412位置的动作即刻生效，从而完成一次拖拽或滑动的交互动作。
在图1、图2、图3、图4所示的实施例中，该生效距离阈值与该点击距离阈值为相同的数值，如此，便于一起依据现状调整两个阈值，并且，食指中各个关节所确定的平面包括食指远端指尖与食指指间关节之间、两个食指指间关节之间、食指指间关节与食指掌关节之间构成的面所覆盖的所有的点，即拇指远端指腹与食指远端指尖可形成“按下”、“点击”手势，拇指远端指腹与食指指间关节也能形成的“按下”、“点击”手势，拇指远端指腹与食指掌关节也可想成“按下”、“点击”手势，并且拇指指腹与食指指间关节之间形成的平面、两个食指指间关节之间形成的平面、食指指间关节之间形成的平面中任意一点均可实现“按下”、“点击”手势，如此降低手势控制的精度要求，提高用户的体验感。
需要说明的是，在通过手势进行“点击”或“按下”操作时，该点击可以点击显示器中的任意目标按键和待拖滑界面，既可以满足任何能够在显示其中找到操控页面的交互动作，具体的操作细节在此不作赘述。
如上所述，本发明提供的基于人工现实的手势交互方法，先将四指握拳状态时手的特定位置至食指关节形成的射线作为操作指示线，再将操作指示线与VR系统中的显示器相交的点作为VR系统的操作图标的位置，再通过移动四指握拳的手控制操作图标，以将操作图标在显示器中移动至目标按键处，而后通过拇指触接食指的动作使得操作图标点击目标按键以完成交互，该过程拇指触接食指的任何一个点均可以实现点击操作，对精度要求较小，从而减少人力、财力，并且由于精度要求较小使得便于进行点击操作，大大提高用户的交互体验。
如图5所示，本发明还提供一种基于人工现实的手势交互系统100，实现如前所述的基于人工现实的手势交互方法，包括用于捕捉手的运动姿势的摄像头110、用于显示交互页面的显示器120和连接摄像头110与显示器120的处理器13；其中，理器处130包括：
指示配置单元131，用于将四指握拳状态时手的特定位置至手指关节形成的射线作为操作指示线；其中，该射线的端点为手的特定位置；
图标配置单元132，用于将操作指示线与显示器120相交的点作为VR系统的操作图标的位置；
控制操作单元133，用于通过移动四指握拳的手控制操作图标，以将操作图标在显示器中移动至目标按键处；
响应交互单元134，用于通过拇指触接食指的动作使得操作图标点击目标按键以完成交互。
在图5所示的实施例中，该响应交互单元134包括动作单元134-1和生效单元134-2，其中，
若拇指的远端指腹靠近食指中各个关节所确定的平面以形成拇指-食指间距，且当拇指-食指间距小于预设的点击距离阈值，则触发该动作单元134-1，该动作单元134-1用于使操作图标点击目标按键；
若拇指抬起使远端指腹远离食指中各个关节所确定的平面，且当拇指-食指间距大于预设的生效距离阈值，则触发生效单元134-2，该生效单元134-2用于完成操作图标点击目标按键的动作，并使操作图标点击目标按键的动作生效，以完成一次交互动作。
此外，还包括拖滑单元135，该拖滑单元135可以集成在处理器130中，该拖滑单元135用于通过拖拽和滑动完成交互动作，其中，通过拖拽和滑动完成交互动作的过程，包括：
拇指的远端指腹靠近食指中各个关节所确定的平面以形成拇指-食指间距；
当拇指-食指间距小于预设的点击距离阈值，则操作图标按下待拖滑界面，并移动拇指-食指间距小于预设的点击距离阈值的手，使拖滑界面随着手拖拽或滑动；
当拖滑界面移动至目标位置，则使远端指腹远离食指中各个关节所确定的平面，当拇指-食指间距大于预设的生效距离阈值，则拖滑界面移动至目标位置的动作生效，完成一次拖拽或滑动的交互动作。
通过上述实施方式可以看出，本发明提供的基于人工现实的手势交互系统，首先通过摄像头110捕捉手的运动姿势，再通过处理器130中的指示配置单元131将四指握拳状态时手的特定位置至食指关节形成的射线作为操作指示线，再通过图标配置单元132将操作指示线与显示器120相交的点作为VR系统的操作图标的位置，再经由控制操作单元133通过移动四指握拳的手控制操作图标，以将操作图标在显示器中移动至目标按键处，而后由响应交互单元134通过拇指触接食指的动作使得操作图标点击目标按键以完成交互，该过程拇指触接食指的任何一个点均可以实现点击操作，对精度要求较小，从而减少人力、财力，并且由于精度要求较小使得便于进行点击操作，大大提高用户的交互体验。
如上参照附图以示例的方式描述了根据本发明提出的基于人工现实的手势交互方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于人工现实的手势交互方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种基于人工现实的手势交互方法，其特征在于，包括：
将四指握拳状态时手的特定位置至手指关节形成的射线作为操作指示线；其中，所述射线的端点为所述手的特定位置；
将所述操作指示线与VR系统中的显示器相交的点作为VR系统的操作图标的位置；
通过移动四指握拳的手控制所述操作图标，以将所述操作图标在所述显示器中移动至目标按键处；
通过拇指触接食指的动作使得所述操作图标点击所述目标按键以完成交互。
2.如权利要求1所述的基于人工现实的手势交互方法，其特征在于，
所述手的特定位置为手腕关节；
所述手指关节为食指关节。
3.如权利要求1所述的基于人工现实的手势交互方法，其特征在于，
所述操作图标随着手的运动而产生相对应的镜像移动。
4.如权利要求1所述的基于人工现实的手势交互方法，其特征在于，在通过拇指触接食指的动作使得所述操作图标点击所述目标按键以完成交互的过程中，
拇指的远端指腹靠近食指中各个关节所确定的平面以形成拇指-食指间距；
当所述拇指-食指间距小于预设的点击距离阈值，则所述操作图标点击所述目标按键；
拇指抬起使所述远端指腹远离食指中各个关节所确定的平面，当所述拇指-食指间距大于预设的生效距离阈值，则完成所述操作图标点击所述目标按键的动作，并使所述操作图标点击所述目标按键的动作生效，完成一次交互动作。
5.如权利要求4所述的基于人工现实的手势交互方法，其特征在于，还包括通过拖拽和滑动完成交互动作，其中，所述通过拖拽和滑动完成交互动作的过程，包括：
拇指的远端指腹靠近食指中各个关节所确定的平面以形成拇指-食指间距；
当所述拇指-食指间距小于预设的点击距离阈值，则所述操作图标按下待拖滑界面，并移动所述拇指-食指间距小于预设的点击距离阈值的手，使所述拖滑界面随着手拖拽或滑动；
当所述拖滑界面移动至目标位置，则使所述远端指腹远离食指中各个关节所确定的平面，当所述拇指-食指间距大于预设的生效距离阈值，则所述拖滑界面移动至目标位置的动作生效，完成一次拖拽或滑动的交互动作。
6.如权利要求5所述的基于人工现实的手势交互方法，其特征在于，
所述食指中各个关节所确定的平面包括食指远端指尖与食指指间关节之间、两个食指指间关节之间、所述食指指间关节与食指掌关节之间构成的面所覆盖的所有的点。
7.如权利要求5所述的基于人工现实的手势交互方法，其特征在于，
所述点击距离阈值等于所述生效距离阈值。
8.一种基于人工现实的手势交互系统，实现如权利要求1-7任一所述的基于人工现实的手势交互方法，包括用于捕捉手的运动姿势的摄像头、用于显示交互页面的显示器和连接所述摄像头与所述显示器的处理器；其中，所述处理器包括：
指示配置单元，用于将四指握拳状态时手的特定位置至手指关节形成的射线作为操作指示线；其中，所述射线的端点为所述手的特定位置；
图标配置单元，用于将所述操作指示线与所述显示器相交的点作为VR系统的操作图标的位置；
控制操作单元，用于通过移动四指握拳的手控制所述操作图标，以将所述操作图标在所述显示器中移动至目标按键处；
响应交互单元，用于通过拇指触接食指的动作使得所述操作图标点击所述目标按键以完成交互。
9.如权利要求8所述的基于人工现实的手势交互系统，其特征在于，所述响应交互单元包括动作单元和生效单元，其中，
若拇指的远端指腹靠近食指中各个关节所确定的平面以形成拇指-食指间距，且当所述拇指-食指间距小于预设的点击距离阈值，则触发所述动作单元，所述动作单元用于使所述操作图标点击所述目标按键；
若拇指抬起使所述远端指腹远离食指中各个关节所确定的平面，且当所述拇指-食指间距大于预设的生效距离阈值，则触发所述生效单元，所述生效单元用于完成所述操作图标点击所述目标按键的动作，并使所述操作图标点击所述目标按键的动作生效，以完成一次交互动作。
10.如权利要求8所述的基于人工现实的手势交互系统，其特征在于，还包括拖滑单元，所述拖滑单元用于通过拖拽和滑动完成交互动作，其中，通过拖拽和滑动完成交互动作的过程，包括：
拇指的远端指腹靠近食指中各个关节所确定的平面以形成拇指-食指间距；
当所述拇指-食指间距小于预设的点击距离阈值，则所述操作图标按下待拖滑界面，并移动所述拇指-食指间距小于预设的点击距离阈值的手，使所述拖滑界面随着手拖拽或滑动；
当所述拖滑界面移动至目标位置，则使所述远端指腹远离食指中各个关节所确定的平面，当所述拇指-食指间距大于预设的生效距离阈值，则所述拖滑界面移动至目标位置的动作生效，完成一次拖拽或滑动的交互动作。
CN202110926659.XA 2021-08-11 2021-08-12 基于人工现实的手势交互方法、系统 Pending CN113885695A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110926659.XA CN113885695A (zh) 2021-08-12 2021-08-12 基于人工现实的手势交互方法、系统
PCT/CN2022/081494 WO2023015886A1 (zh) 2021-08-12 2022-03-17 基于人工现实的手势交互方法、系统
EP22854891.3A EP4345583A1 (en) 2021-08-12 2022-03-17 Gesture interaction method and system based on artificial reality
US18/400,624 US20240134461A1 (en) 2021-08-11 2023-12-29 Gesture interaction method and system based on artificial reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110926659.XA CN113885695A (zh) 2021-08-12 2021-08-12 基于人工现实的手势交互方法、系统

Publications (1)

Publication Number Publication Date
CN113885695A true CN113885695A (zh) 2022-01-04

Family

ID=79011028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110926659.XA Pending CN113885695A (zh) 2021-08-11 2021-08-12 基于人工现实的手势交互方法、系统

Country Status (4)

Country Link
US (1) US20240134461A1 (zh)
EP (1) EP4345583A1 (zh)
CN (1) CN113885695A (zh)
WO (1) WO2023015886A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023015886A1 (zh) * 2021-08-12 2023-02-16 青岛小鸟看看科技有限公司 基于人工现实的手势交互方法、系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996160B2 (en) * 2014-02-18 2018-06-12 Sony Corporation Method and apparatus for gesture detection and display control
CN108052202B (zh) * 2017-12-11 2021-06-11 深圳市星野信息技术有限公司 一种3d交互方法、装置、计算机设备及存储介质
CN112000224A (zh) * 2020-08-24 2020-11-27 北京华捷艾米科技有限公司 一种手势交互方法及系统
CN113190109A (zh) * 2021-03-30 2021-07-30 青岛小鸟看看科技有限公司 头戴式显示设备的输入控制方法、装置及头戴式显示设备
CN113885695A (zh) * 2021-08-12 2022-01-04 青岛小鸟看看科技有限公司 基于人工现实的手势交互方法、系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023015886A1 (zh) * 2021-08-12 2023-02-16 青岛小鸟看看科技有限公司 基于人工现实的手势交互方法、系统

Also Published As

Publication number Publication date
WO2023015886A1 (zh) 2023-02-16
EP4345583A1 (en) 2024-04-03
US20240134461A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
CN108052202B (zh) 一种3d交互方法、装置、计算机设备及存储介质
Cabral et al. On the usability of gesture interfaces in virtual reality environments
JPH07175587A (ja) 情報処理装置
Farhadi-Niaki et al. Design and usability analysis of gesture-based control for common desktop tasks
CN111596757A (zh) 一种基于指尖交互的手势控制方法和装置
CN113608619A (zh) 增强现实中的裸手操作方法、系统
WO2015091638A1 (en) Method for providing user commands to an electronic processor and related processor program and electronic circuit.
Dhawale et al. Bare-hand 3D gesture input to interactive systems
US20240134461A1 (en) Gesture interaction method and system based on artificial reality
Xiao et al. A hand gesture-based interface for design review using leap motion controller
Tsai et al. Segtouch: Enhancing touch input while providing touch gestures on screens using thumb-to-index-finger gestures
Sugiura et al. A natural click interface for AR systems with a single camera
US11500453B2 (en) Information processing apparatus
Tosas et al. Virtual touch screen for mixed reality
Fujinawa et al. Occlusion-aware hand posture based interaction on tabletop projector
CN104951211A (zh) 一种信息处理方法和电子设备
Decle et al. A study of direct versus planned 3d camera manipulation on touch-based mobile phones
Schlattmann et al. Efficient bimanual symmetric 3D manipulation for markerless hand-tracking
WO2012114791A1 (ja) ジェスチャー操作システム
Chen et al. Unobtrusive touch‐free interaction on mobile devices in dirty working environments
CN108415571A (zh) 一种基于大拇指运动引起的数据分析的体感设备实现方法
Islam et al. Developing a novel hands-free interaction technique based on nose and teeth movements for using mobile devices
Lee et al. An implementation of multi-modal game interface based on pdas
Lee et al. Mouse operation on monitor by interactive analysis of intuitive hand motions
Schlattmann et al. Efficient bimanual symmetric 3d manipulation for bare-handed interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination