CN106990840A - 控制方法和控制系统 - Google Patents

控制方法和控制系统 Download PDF

Info

Publication number
CN106990840A
CN106990840A CN201710191836.8A CN201710191836A CN106990840A CN 106990840 A CN106990840 A CN 106990840A CN 201710191836 A CN201710191836 A CN 201710191836A CN 106990840 A CN106990840 A CN 106990840A
Authority
CN
China
Prior art keywords
gesture motion
action
finger
gesture
meets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710191836.8A
Other languages
English (en)
Inventor
周运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710191836.8A priority Critical patent/CN106990840A/zh
Publication of CN106990840A publication Critical patent/CN106990840A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本公开提供了一种控制方法,所述方法包括:通过摄像头获取包括操作体在内的图像;解析所述图像,识别所述操作体的当前手势动作;判断所述手势动作是否符合至少一种预设手势动作,其中,所述至少一种预设手势动作对应至少一种操作;以及在所述当前手势动作符合所述至少一种预设手势动作时,触发所述至少一种预设手势动作所对应的所述至少一种操作。本公开还提供了一种控制系统。

Description

控制方法和控制系统
技术领域
本公开涉及一种控制方法和控制系统。
背景技术
虚拟现实(Virtual Reality,简称VR)和增强现实(Augmented Reality,简称AR)被越来越多地应用于生活、工作、娱乐等诸多场景中。通过手势实现人机交互是虚拟现实和增强现实应用领域中关键的技术问题,同时可以实现更好的交互体验并且可以极大地增强用户在使用虚拟现实或者增强现实设备时的真实感。
发明内容
本公开的一个方面提供了一种控制方法,包括:通过摄像头获取包括操作体在内的图像,解析获取得到的图像,识别操作体的当前手势动作,判断识别到的手势动作是否符合至少一种预设的手势动作,其中,至少一种预设手势动作对应至少一种操作,以及在当前手势动作符合至少一种预设手势动作时,触发至少一种预设手势动作所对应的至少一种操作。
可选地,在识别操作体的当前手势动作之前,还包括:确定当手势动作发生时所处的应用。以及,触发至少一种预设手势动作所对应的至少一种操作,包括:根据应用确定至少一种预设手势动作对应的至少一种操作,并且触发至少一种操作。
可选地,识别操作体的当前手势动作包括在操作体为手时,识别手指的动作。以及,判断手势动作是否符合至少一种预设手势动作,包括判断至少一个手指形成的姿态是否符合预设姿态。并且,在当前手势动作符合至少一种预设手势动作时,触发至少一种预设手势动作所对应的至少一种操作,包括:在至少一个手指形成的姿态符合预设姿态时,根据形成预设姿态的至少一个手指确定至少一种操作的参数,并触发至少一种操作以该参数执行。
可选地,在触发至少一种操作之后,还包括:显示参数对应的参数调整界面,以及在该姿态的持续过程中,该参数调整界面随操作体而移动。
可选地,上述判断手势动作是否符合至少一种预设手势动作,包括:在操作体为手时,确定是否产生拇指和食指从张开状态变换至捏合,以及在产生所述拇指和食指从张开状态变换至捏合的动作时,确定该手势动作符合对应确认操作的预设手势动作。
可选地,上述判断手势动作是否符合至少一种预设手势动作,包括:在操作体为手时,确定是否产生食指、中指、无名指、小指并拢,手掌平摊,掌心朝向用户,四指张开的动作,以及在产生所述食指、中指、无名指、小指并拢,手掌平摊,掌心朝向用户,四指张开的动作时,确定该手势动作符合对应返回上一步操作的预设手势动作。
本公开的另一个方面提供了一种控制系统,包括摄像头,用于获取包括操作体在内的图像,还包括处理器,该处理器与摄像头连接,处理器执行:解析获取得到的图像,识别操作体的当前手势动作,判断识别到的手势动作是否符合至少一种预设的手势动作,其中,至少一种预设手势动作对应至少一种操作,以及在当前手势动作符合至少一种预设手势动作时,触发至少一种预设手势动作所对应的至少一种操作。
可选地,在识别操作体的当前手势动作之前,还包括:确定当手势动作发生时所处的应用。以及,触发至少一种预设手势动作所对应的至少一种操作,包括:根据应用确定至少一种预设手势动作对应的至少一种操作,并且触发至少一种操作。
可选地,识别操作体的当前手势动作包括在操作体为手时,识别手指的动作。以及,判断手势动作是否符合至少一种预设手势动作,包括判断至少一个手指形成的姿态是否符合预设姿态。并且,在当前手势动作符合至少一种预设手势动作时,触发至少一种预设手势动作所对应的至少一种操作,包括:在至少一个手指形成的姿态符合预设姿态时,根据形成预设姿态的至少一个手指确定至少一种操作的参数,并触发至少一种操作以该参数执行。
可选地,在触发至少一种操作之后,还包括:显示参数对应的参数调整界面,以及在该姿态的持续过程中,该参数调整界面随操作体而移动。
可选地,上述判断手势动作是否符合至少一种预设手势动作,包括:在操作体为手时,确定是否产生拇指和食指从张开状态变换至捏合;以及在产生所述拇指和食指从张开状态变换至捏合的动作时,确定该手势动作符合对应确认操作的预设手势动作。
可选地,上述判断手势动作是否符合至少一种预设手势动作,包括:在操作体为手时,确定是否产生食指、中指、无名指、小指并拢,手掌平摊,掌心朝向用户,四指张开的动作,以及在产生所述食指、中指、无名指、小指并拢,手掌平摊,掌心朝向用户,四指张开的动作时,确定该手势动作符合对应返回上一步操作的预设手势动作。
本公开的另一方面提供了一种非易失性存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了根据本公开实施例的控制方法的流程图;
图2示意性示出了根据本公开另一实施例的控制方法的流程图;
图3a示意性示出了根据本公开实施例的画图应用场景下的控制方法的流程图;
图3b-图3e示意性示出了根据本公开实施例的画图应用场景下的手势动作示意图;
图3f示意性示出了根据本公开另一实施例的画图应用场景下的控制方法的流程图;
图3g-图3h示意性示出了根据本公开实施例的画图应用场景下的参数调整界面示意图;
图4a-图4e示意性示出了根据本公开实施例的系统操作应用场景下的手势动作示意图;
图5示意性示出了根据本公开实施例的控制系统的框图;以及
图6示意性示出了根据本公开另一实施例的控制系统的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思,除非上下文另外明确指出。此外,在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此,本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中,计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
目前,通过手写、手绘以及手势操作等,以手势动作作为输入是AR和/或VR技术中一种非常重要的输入方式。通过使用自然的手势姿态触发相应的操作,代替目前常见的手柄操作,可以实现更加自然的交互方式,符合用户认知,学习成本低,可以优化用户体验。
在AR或VR设备中使用手写/手绘的方式可以把文字、线条、图像等信息以3D立体的形态输入给设备,以便存储或者展示给第三方等。手写/手绘输入可应用在诸多使用场景中,例如,在远程协助场景中(例如,机械维修现场、医疗救护现场、工程设计现场等),使用者通过佩戴AR眼镜,在现实环境中描画一些虚拟指示(例如,线条、箭头、圆圈等)叠加在现实物体之上作为指示,与另一名AR眼镜佩戴者交换信息。在艺术创作或者产品设计等场景中,使用者可以通过手势动作代替画笔在三维空间里进行创作。在支付场景下,使用者还可以通过手势动作实现支付签名或者3D密码绘制等。
根据本公开的各个实施例,提供了一种控制方法,可以应用于虚拟现实或者增强现实的电子设备中。该方法包括:通过摄像头获取包括操作体在内的图像。解析获取得到的图像,识别操作体的当前手势动作。判断识别到的手势动作是否符合至少一种预设的手势动作,其中,至少一种预设手势动作对应至少一种操作。在当前手势动作符合至少一种预设手势动作时,触发至少一种预设手势动作所对应的至少一种操作。
图1示意性示出了根据本公开的实施例的控制方法的流程图。
如图1所示,根据本公开实施例的控制方法开始于操作S110。
操作S110:通过摄像头获取包括操作体在内的图像。
操作S120:解析所述图像,识别所述操作体的当前手势动作。
操作S130:判断所述手势动作是否符合至少一种预设手势动作,其中,所述至少一种预设手势动作对应至少一种操作。
操作S140:在所述当前手势动作符合所述至少一种预设手势动作时,触发所述至少一种预设手势动作所对应的所述至少一种操作。
本实施例中,在使用AR或者VR设备时,通过摄像头来获取当前图像,解析获取得到的图像,识别图像中操作体的手势动作。判断识别得到的手势动作是否符合预设的手势动作,其中每种预设的手势动作都对应至少一种操作。当识别得到的手势动作符合预设的手势动作时,表示用户通过手势动作输入操作信息,则根据当前的手势动作触发相应的操作。
根据本公开实施例,通过手势动作实现对AR或者VR设备的输入操作,可以更加自然地进行人机交互,提高用户体验。
下面结合本公开实施例,针对上述操作S110-S140进行描述。
在操作S110,通过摄像头获取包括操作体在内的图像。根据本公开实施例,获取包括操作体在内的图像的手段和方式可以多种多样,例如,可以通过虚拟现实或者增强现实设备上的深度相机来捕捉进入深度相机拍摄范围内的图像。操作体可以是任何经过预先设置的,能够被摄像头获取的特定物体,也可以是任何进入摄像头拍摄范围的可以活动的物体,例如,操作体可以是人的肢体(例如,手指和/或手掌)等。
根据本公开实施例,摄像头可以在操作体出现在拍摄范围内时,开始获取包括操作体在内的图像,在操作体离开拍摄范围后,停止获取图像。摄像头也可以一直处于工作状态,持续获取图像。
在操作S120,解析获取的图像,识别操作体的当前手势动作。根据本公开的实施例,当操作体是手时,解析图像并且识别操作体的当前手势动作。手势动作可以是动态的手势动作,例如,食指伸出、握拳等其他手势动作。手势动作还可以是静态的手势姿态,例如,两手指处于捏合姿态等。
在操作S130,判断识别得到的手势动作是否符合至少一种预设手势动作,其中,至少一种预设手势动作对应至少一种操作。根据本公开实施例,预先设置至少一个手势动作,以使每一个手势动作对应至少一种操作。例如,食指伸出动作对应选中确定操作、或者两指从分开到捏合的动作对应开启画笔操作、或者两指处于捏合的姿态对应画笔正在使用等。
在操作S140,在当前手势动作符合至少一种预设手势动作时,触发至少一种预设手势动作所对应的至少一种操作。根据本公开实施例,当识别得到的手势动作符合至少一种预设的手势动作时,表示用户想要通过该手势动作触发相应的操作。例如,用户伸出食指点选一虚拟物体A时,则触发选中确定操作,表示选中虚拟物体A。
根据本公开实施例,预先设置至少一种手势动作,且每一种手势动作对应至少一种操作。当出现某一手势动作时,相应触发某一操作。这样,用户通过手势动作实现对AR或者VR设备的输入操作,可以更加自然地进行人机交互,提高用户体验。
图2示意性示出了根据本公开另一实施例的控制方法的流程图。
如图2所示,在操作S120之前还包括操作S210。操作S110、S120以及S130与上述参考图2描述的方法相同或类似。
在操作S210,确定当手势动作发生时所处的应用。根据本公开实施例,操作S210可以发生在操作S110之前,也可以发生在操作S110之后,还可以与S110同时进行。确定发生当前手势动作所处的应用,例如可以是,当前手势动作发生在画图应用下,或者当前手势动作发生在系统操作下等。
在操作S220,根据应用确定至少一种预设手势动作对应的至少一种操作,以及触发该至少一种操作。根据本公开实施例,在不同的应用中,相同的预设手势可以对应不同的操作。例如,在画图应用中,两指处于捏合的手势姿态可以对应画笔操作。在系统操作下,两指捏合的手势动作可以对应确认指令等。
因此,在确定预设手势的对应操作时,需要考虑到当前应用,根据不同应用下预先设定的预设手势与操作的对应关系触发指定的操作,从而更加符合人机交互习惯,避免用户需要掌握多种手势以应对不同的操作,可以降低学习成本。
图3和图4示意性示出了根据本公开实施例的控制方法的应用场景示意图。更具体地,图3a-图3g表示当前手势动作发生在画图应用下的手势控制方法。图4a-图4e表示当前手势动作发生在系统操作应用下的手势控制方法。
如图3a所示,操作S110和S210与上述参考图2和图3描述的方法相同或类似。
操作S310,在操作体为手时,识别手指的动作。
操作S320,判断至少一个手指形成的姿态是否符合预设姿态。
操作S330,在所述至少一个手指形成的姿态符合所述预设姿态时,根据形成所述预设姿态的所述至少一个手指确定所述至少一种操作的参数,并触发所述至少一种操作以所述参数执行。
根据本公开实施例,在确定当前手势动作发生在画图应用场景下时,并且操作体为手的情况下,识别用户的手指动作,判断手指之间形成的姿态是否符合预设姿态(例如,两指捏合的姿态),在手指形成的姿态符合预设姿态的情况下,该预设姿态对应一种操作,但是不同手指形成的该预设姿态(例如,食指和拇指形成捏合姿态,或者中指和拇指形成捏合姿态等)可以代表不同的参数,并触发该预设姿态对应的操作以不同的参数执行。
通过不同的手指形成的手势姿态对应不同的参数,方便用户的使用和记忆。
下面结合本公开实施例,针对上述操作S310-S330进行描述。
在操作S310,在操作体为手时,识别手指的动作。根据本公开实施例,当识别到操作体为手时,识别操作体的手势动作包括仅识别手指的手势动作。
操作S320,判断至少一个手指形成的姿态是否符合预设姿态。根据本公开实施例,预设姿态可以包括两指捏合形成的姿态,即,两指形成一个闭环,例如,拇指与食指捏合形成一个闭环。
操作S330,在所述至少一个手指形成的姿态符合所述预设姿态时,根据形成所述姿态的所述至少一个手指确定所述至少一种操作的参数,并触发所述至少一种操作以所述参数执行。
例如,如图3b所示,在画图应用中,识别到两指从分开到捏合的手指动作时,则对应画笔开启操作。在两指捏合的手指姿态下,则对应画笔工作中,例如,两指捏合的触屏点作为画笔的工作点,维持该手势姿态移动手则出现连续线条。在识别到两指由捏合到分开的手指动作时,则对应画笔结束操作。
根据本公开实施例,两指捏合动作简单,便于用户学习。并且,两指由分开到捏合的动作,以及由捏合到分开的动作可以准确识别,从而可以准备的控制画笔的开启点和结束点,避免留下多余笔触,不能及时地开始和结束。
根据本公开实施例,两指捏合的手势姿态可以由不同的两指实现,以对应不同的参数。其中,参数可以包括颜色、线条粗细或者线条类型等等。
例如,如图3c所示,拇指和食指捏合对应蓝色的画笔参数。拇指和中指捏合对应红色的画笔参数。拇指和无名指捏合对应黄色的画笔参数。拇指和小指捏合对应绿色的画笔参数。本领域技术人员应当理解,两指捏合不限于上述举例的两指组合情况,颜色参数也不限于上述举例的四种颜色。
例如,如图3d所示,拇指和食指捏合对应2倍线条粗细的画笔参数。拇指和中指捏合对应1倍线条粗细的画笔参数。拇指和无名指捏合对应1/2倍线条粗细的画笔参数。拇指和小指捏合对应1/4倍线条粗细的画笔参数。本领域技术人员应当理解,两指捏合不限于上述举例的两指组合情况,线条粗细参数也不限于上述举例的四种粗细参数。
例如,如图3e所示,拇指和食指捏合对应直线的画笔参数。拇指和中指捏合对应虚线的画笔参数。拇指和无名指捏合对应稀疏波浪线的画笔参数。拇指和小指捏合对应密集波浪线的画笔参数。本领域技术人员应当理解,两指捏合不限于上述举例的两指组合情况,线条类型参数也不限于上述举例的四种类型。
根据本公开实施例,两指捏合所对应的参数还可以包括,拇指和食指捏合表示颜色参数,拇指和食指捏合表示线条粗细参数,拇指和无名指捏合表示线条类型参数等。
图3f示意性示出了根据本公开另一实施例的画图应用场景下的控制方法的流程图。该实施例可以在画图应用场景下显示参数调整界面。
如图3f所示,操作S110、S210以及S310-S330与上述参考图2-图3a描述的方法相同或类似。
操作S340,显示所述参数对应的参数调整界面。
操作S350,在所述姿态的持续过程中,所述参数调整界面随所述操作体而移动。
根据本公开实施例,在画图应用场景下还可以随时显示参数调整界面,并且该参数调整界面随操作体显示,可以为用户提供更多的参数选择。
下面结合本公开实施例,针对上述操作S340-S350进行描述。
在操作S340,显示所述参数对应的参数调整界面。根据本公开实施例,显示参数调整界面可以包括显示全部参数的调整界面,例如,如图3g所示,调整界面包括颜色参数、线条粗细参数以及线条类型参数。本领域技术人员应当理解,图3g仅是示意图,本公开不限于如图3g所示的三种参数,也不限于如图3g所示的界面布局。
显示参数调整界面还可以包括只显示一种参数的调整界面。例如,食指和拇指捏合对应颜色参数,则显示颜色参数的调整界面,以供用户选择。或者中指和拇指捏合对应线条粗细参数,则显示线条粗细参数的调整界面,以供用户选择。或者无名指和拇指捏合对应线条类型参数,则显示线条类型参数的调整界面,以供用户选择。
操作S350,在所述姿态的持续过程中,所述参数调整界面随所述操作体而移动。如图3h所示,当用户维持预设的手势姿态运行过程中,参数调整页面跟随操作体(手)移动。根据本公开实施例,参数调整界面在不影响用户视野,并且不影响操作体操作的情况下,可以根据情况调整位置,例如有操作体的右侧调整到左侧或者上方或者下方。
根据本公开实施例,在操作体附近显示参数调整界面,为用户提供多种选择,便于用户操作。
图4a-图4e示意性示出了根据本公开实施例的系统操作应用场景下的手势动作示意图。
图4a-图4d表示在系统操作应用场景下的确认操作。例如,当前显示场景中,用户想要选中虚拟对象A以表示确认时,将显示焦点切换(例如通过手指选中或者其他方式切换)至虚拟对象A后,可以使用手势动作表示确认指令。
如图4a,在所述操作体为手时,确定是否产生拇指和食指从张开状态变换至捏合。在产生所述拇指和食指从张开状态变换至捏合的动作时,确定所述手势动作符合对应确认操作的预设手势动作。根据本公开实施例,当识别到拇指和食指张开,其余三指自然弯曲于掌心,拇指与食指捏合一次,则表示用户进行一次“确认”操作。
如图4b,在操作体为手时,当识别到拇指、中指、无名指、小指呈握拳状,食指伸直,指向前方,整个手部保持此姿势,向前做一次位移,则表示用户进行一次“确认”操作。
如图4c,在操作体为手时,当识别到食指、中指、无名指、小指呈握拳状,拇指自然弯曲与其余四指分开,掌心朝向用户,拇指做按压动作,碰到食指一次,则表示用户进行一次“确认”操作。
如图4d,在操作体为手时,当识别到五指张开,手掌平摊,掌心朝向用户,拇指向食指并拢,触碰到食指一次,则表示用户进行一次“确认”操作。
图4e表示在系统操作应用场景下的“返回上一步”操作。例如,用户执行操作时,用户想要返回上一步重新进行操作,可以使用手势动作表示“返回上一步”指令。
根据本公开实施例,在所述操作体为手时,确定是否产生食指、中指、无名指、小指并拢,手掌平摊,掌心朝向用户,所述四指张开的动作。以及在产生所述食指、中指、无名指、小指并拢,手掌平摊,掌心朝向用户,所述四指张开的动作时,确定所述手势动作符合对应返回上一步操作的预设手势动作。即,当识别到食指、中指、无名指、小指并拢,手掌平摊,掌心朝向用户,四指张开一次的动作,则表示用户进行一次“返回上一步”操作。
通过简单易学习并且容易记忆的手势实现系统级操作(例如,“确认”和“返回上一级”的操作),方便AR和/或VR设备的使用,优化用户体验。
图5示意性示出了根据本公开的实施例的控制系统500的框图。
如图5所示,控制系统500包括摄像头510和处理器520。该控制系统500可以执行上面参考图2-图4描述的方法,以实现通过手势动作完成特定操作。
具体地,摄像头510,用于获取包括操作体在内的图像。
处理器520与摄像头510连接,并且处理器520执行:解析所述图像,识别所述操作体的当前手势动作。判断所述手势动作是否符合至少一种预设手势动作,其中,所述至少一种预设手势动作对应至少一种操作。在所述当前手势动作符合所述至少一种预设手势动作时,触发所述至少一种预设手势动作所对应的所述至少一种操作。
根据本公开实施例,摄像头510与处理器520可以通过Wifi连接,也可以通过蓝牙连接,还可以通过物理接口连接等等。
根据本公开实施例,处理器520执行包括图2-图4中任意一个或者任意多个组合的处理方法,以及本公开中所列示的其他处理方法。
具体地,处理器520在识别操作体的当前手势动作之前,还包括,确定当手势动作发生时所处的应用。触发至少一种预设手势动作所对应的至少一种操作,包括,根据应用确定至少一种预设手势动作对应的至少一种操作,并且触发至少一种操作。
具体地,处理器520识别操作体的当前手势动作包括在操作体为手时,识别手指的动作。判断手势动作是否符合至少一种预设手势动作,包括判断至少一个手指形成的姿态是否符合预设姿态。并且,在当前手势动作符合至少一种预设手势动作时,触发至少一种预设手势动作所对应的至少一种操作,包括:在至少一个手指形成的姿态符合预设姿态时,根据形成姿态的至少一个手指确定至少一种操作的参数,并触发至少一种操作以该参数执行。
具体地,处理器520在触发至少一种操作之后,还包括,显示参数对应的参数调整界面,以及在该姿态的持续过程中,该参数调整界面随操作体而移动。
具体地,处理器520判断手势动作是否符合至少一种预设手势动作,包括:在操作体为手时,确定是否产生拇指和食指从张开状态变换至捏合,以及在产生所述拇指和食指从张开状态变换至捏合的动作时,确定该手势动作符合对应确认操作的预设手势动作。
具体地,处理器520判断手势动作是否符合至少一种预设手势动作,包括:在操作体为手时,确定是否产生食指、中指、无名指、小指并拢,手掌平摊,掌心朝向用户,四指张开的动作,以及在产生所述食指、中指、无名指、小指并拢,手掌平摊,掌心朝向用户,四指张开的动作时,确定该手势动作符合对应返回上一步操作的预设手势动作。
根据本公开实施例,通过手势动作实现对AR或者VR设备的输入操作,可以更加自然地进行人机交互,提高用户体验。
图6示意性示出了根据本公开的另一实施例的控制系统600的框图。
如图6所示,控制系统600包括处理器610、以及计算机可读存储介质620。该控制系统600可以执行上面参考图2~图4描述的方法,以实现通过手势动作完成特定操作的目的。
具体地,处理器610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行参考图2~图4描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质620,例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
计算机可读存储介质620可以包括计算机程序621,该计算机程序621可以包括代码/计算机可执行指令,其在由处理器610执行时使得处理器610执行例如上面结合图2~图4所描述的方法流程及其任何变形。
计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序621中的代码可以包括一个或多个程序模块,例如包括621A、模块621B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器610执行时,使得处理器610可以执行例如上面结合图2~图4所描述的方法流程及其任何变形。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (12)

1.一种控制方法,包括:
通过摄像头获取包括操作体在内的图像;
解析所述图像,识别所述操作体的当前手势动作;
判断所述手势动作是否符合至少一种预设手势动作,其中,所述至少一种预设手势动作对应至少一种操作;以及
在所述当前手势动作符合所述至少一种预设手势动作时,触发所述至少一种预设手势动作所对应的所述至少一种操作。
2.根据权利要求1所述的方法,其中:
所述识别所述操作体的当前手势动作之前,还包括:
确定所述当手势动作发生时所处的应用;
所述触发所述至少一种预设手势动作所对应的所述至少一种操作,包括:
根据所述应用确定所述至少一种预设手势动作对应的所述至少一种操作;以及
触发所述至少一种操作。
3.根据权利要求2所述的方法,其中:
所述识别所述操作体的当前手势动作,包括:
在所述操作体为手时,识别手指的动作;
所述判断所述手势动作是否符合至少一种预设手势动作,包括:
判断至少一个手指形成的姿态是否符合预设姿态;
在所述当前手势动作符合所述至少一种预设手势动作时,触发所述至少一种预设手势动作所对应的所述至少一种操作,包括:
在所述至少一个手指形成的姿态符合所述预设姿态时,根据形成所述预设姿态的所述至少一个手指确定所述至少一种操作的参数,并触发所述至少一种操作以所述参数执行。
4.根据权利要求3所述的方法,其中,在触发所述至少一种操作之后,还包括:
显示所述参数对应的参数调整界面;以及
在所述姿态的持续过程中,所述参数调整界面随所述操作体而移动。
5.根据权利要求1所述的方法,其中,判断所述手势动作是否符合至少一种预设手势动作,包括:
在所述操作体为手时,确定是否产生拇指和食指从张开状态变换至捏合;以及
在产生所述拇指和食指从张开状态变换至捏合的动作时,确定所述手势动作符合对应确认操作的预设手势动作。
6.根据权利要求1所述的方法,其中,判断所述手势动作是否符合至少一种预设手势动作,包括:
在所述操作体为手时,确定是否产生食指、中指、无名指、小指并拢,手掌平摊,掌心朝向用户,所述四指张开的动作;以及
在产生所述食指、中指、无名指、小指并拢,手掌平摊,掌心朝向用户,所述四指张开的动作时,确定所述手势动作符合对应返回上一步操作的预设手势动作。
7.一种控制系统,包括:
摄像头,用于获取包括操作体在内的图像;
处理器,所述处理器与所述摄像头连接,所述处理器执行:
解析所述图像,识别所述操作体的当前手势动作;
判断所述手势动作是否符合至少一种预设手势动作,其中,
所述至少一种预设手势动作对应至少一种操作;以及
在所述当前手势动作符合所述至少一种预设手势动作时,触发所述至少一种预设手势动作所对应的所述至少一种操作。
8.根据权利要求7所述的系统,其中:
所述识别所述操作体的当前手势动作之前,还包括:
确定所述当手势动作发生时所处的应用;
所述触发所述至少一种预设手势动作所对应的所述至少一种操作,包括:
根据所述应用确定所述至少一种预设手势动作对应的所述至少一种操作;以及
触发所述至少一种操作。
9.根据权利要求8所述的系统,其中:
所述识别所述操作体的当前手势动作,包括:
在所述操作体为手时,识别手指的动作;
所述判断所述手势动作是否符合至少一种预设手势动作,包括:
判断至少一个手指形成的姿态是否符合预设姿态;
在所述当前手势动作符合所述至少一种预设手势动作时,触发所述至少一种预设手势动作所对应的所述至少一种操作,包括:
在所述至少一个手指形成的姿态符合所述预设姿态时,根据形成所述预设姿态的所述至少一个手指确定所述至少一种操作的参数,并触发所述至少一种操作以所述参数执行。
10.根据权利要求9所述的系统,其中,在触发所述至少一种操作之后,还包括:
显示所述参数对应的参数调整界面;以及
在所述姿态的持续过程中,所述参数调整界面随所述操作体而移动。
11.根据权利要求7所述的系统,其中,判断所述手势动作是否符合至少一种预设手势动作,包括:
在所述操作体为手时,确定是否产生拇指和食指从张开状态变换至捏合;以及
在产生所述拇指和食指从张开状态变换至捏合的动作时,确定所述手势动作符合对应确认操作的预设手势动作。
12.根据权利要求7所述的系统,其中,判断所述手势动作是否符合至少一种预设手势动作,包括:
在所述操作体为手时,确定是否产生食指、中指、无名指、小指并拢,手掌平摊,掌心朝向用户,所述四指张开的动作;以及
在产生所述食指、中指、无名指、小指并拢,手掌平摊,掌心朝向用户,所述四指张开的动作时,确定所述手势动作符合对应返回上一步操作的预设手势动作。
CN201710191836.8A 2017-03-27 2017-03-27 控制方法和控制系统 Pending CN106990840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710191836.8A CN106990840A (zh) 2017-03-27 2017-03-27 控制方法和控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710191836.8A CN106990840A (zh) 2017-03-27 2017-03-27 控制方法和控制系统

Publications (1)

Publication Number Publication Date
CN106990840A true CN106990840A (zh) 2017-07-28

Family

ID=59412347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710191836.8A Pending CN106990840A (zh) 2017-03-27 2017-03-27 控制方法和控制系统

Country Status (1)

Country Link
CN (1) CN106990840A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908322A (zh) * 2017-10-27 2018-04-13 深圳市创凯智能股份有限公司 基于三维空间的物体删除方法、装置及计算机存储介质
CN108833774A (zh) * 2018-06-01 2018-11-16 深圳臻迪信息技术有限公司 拍照控制方法、装置和无人机系统
CN109240494A (zh) * 2018-08-23 2019-01-18 京东方科技集团股份有限公司 电子显示板的控制方法、计算机可读存储介质和控制系统
CN109634415A (zh) * 2018-12-11 2019-04-16 哈尔滨拓博科技有限公司 一种用于控制模拟量的手势识别控制方法
CN109766003A (zh) * 2018-12-29 2019-05-17 北京诺亦腾科技有限公司 一种vr场景中对象展示方法及装置
CN109799906A (zh) * 2018-12-29 2019-05-24 北京诺亦腾科技有限公司 一种利用动作捕捉手套在vr场景中绘画的方法及装置
CN110232549A (zh) * 2019-06-14 2019-09-13 陌享(上海)网络科技有限公司 一种便于仓库管理的快速拣货方法及系统
CN111447360A (zh) * 2020-03-23 2020-07-24 Oppo广东移动通信有限公司 应用程序控制方法及装置、存储介质、电子设备
CN112034975A (zh) * 2019-06-03 2020-12-04 博世汽车部件(苏州)有限公司 手势过滤方法、系统、装置及可读存储介质
CN112684895A (zh) * 2020-12-31 2021-04-20 安徽鸿程光电有限公司 标记方法、装置、设备及计算机存储介质
CN113838177A (zh) * 2021-09-22 2021-12-24 上海拾衷信息科技有限公司 一种手部动画制作方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902036A (zh) * 2012-12-29 2014-07-02 鸿富锦精密工业(深圳)有限公司 电子装置及手势控制电子装置的方法
CN104732570A (zh) * 2015-02-04 2015-06-24 腾讯科技(深圳)有限公司 一种图像生成方法及装置
CN105700671A (zh) * 2014-11-26 2016-06-22 熊兆王 手势控制方法及其系统
CN106484384A (zh) * 2015-09-01 2017-03-08 天脉聚源(北京)科技有限公司 一种页面动画展示方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902036A (zh) * 2012-12-29 2014-07-02 鸿富锦精密工业(深圳)有限公司 电子装置及手势控制电子装置的方法
CN105700671A (zh) * 2014-11-26 2016-06-22 熊兆王 手势控制方法及其系统
CN104732570A (zh) * 2015-02-04 2015-06-24 腾讯科技(深圳)有限公司 一种图像生成方法及装置
CN106484384A (zh) * 2015-09-01 2017-03-08 天脉聚源(北京)科技有限公司 一种页面动画展示方法及系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908322A (zh) * 2017-10-27 2018-04-13 深圳市创凯智能股份有限公司 基于三维空间的物体删除方法、装置及计算机存储介质
CN108833774A (zh) * 2018-06-01 2018-11-16 深圳臻迪信息技术有限公司 拍照控制方法、装置和无人机系统
CN109240494A (zh) * 2018-08-23 2019-01-18 京东方科技集团股份有限公司 电子显示板的控制方法、计算机可读存储介质和控制系统
CN109240494B (zh) * 2018-08-23 2023-09-12 京东方科技集团股份有限公司 电子显示板的控制方法、计算机可读存储介质和控制系统
CN109634415A (zh) * 2018-12-11 2019-04-16 哈尔滨拓博科技有限公司 一种用于控制模拟量的手势识别控制方法
CN109634415B (zh) * 2018-12-11 2019-10-18 哈尔滨拓博科技有限公司 一种用于控制模拟量的手势识别控制方法
CN109766003A (zh) * 2018-12-29 2019-05-17 北京诺亦腾科技有限公司 一种vr场景中对象展示方法及装置
CN109799906A (zh) * 2018-12-29 2019-05-24 北京诺亦腾科技有限公司 一种利用动作捕捉手套在vr场景中绘画的方法及装置
CN112034975A (zh) * 2019-06-03 2020-12-04 博世汽车部件(苏州)有限公司 手势过滤方法、系统、装置及可读存储介质
CN112034975B (zh) * 2019-06-03 2024-04-02 博世汽车部件(苏州)有限公司 手势过滤方法、系统、装置及可读存储介质
CN110232549A (zh) * 2019-06-14 2019-09-13 陌享(上海)网络科技有限公司 一种便于仓库管理的快速拣货方法及系统
CN111447360A (zh) * 2020-03-23 2020-07-24 Oppo广东移动通信有限公司 应用程序控制方法及装置、存储介质、电子设备
CN112684895A (zh) * 2020-12-31 2021-04-20 安徽鸿程光电有限公司 标记方法、装置、设备及计算机存储介质
CN113838177A (zh) * 2021-09-22 2021-12-24 上海拾衷信息科技有限公司 一种手部动画制作方法及系统

Similar Documents

Publication Publication Date Title
CN106990840A (zh) 控制方法和控制系统
EP3644165B1 (en) Information processing device, information processing method, and recording medium
US10664060B2 (en) Multimodal input-based interaction method and device
US20170293364A1 (en) Gesture-based control system
US10514767B2 (en) Information processing apparatus and information processing method
KR101302638B1 (ko) 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
JP6011165B2 (ja) ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
US20140157206A1 (en) Mobile device providing 3d interface and gesture controlling method thereof
WO2013139181A1 (zh) 一种用户交互系统和方法
CN103440033B (zh) 一种基于徒手和单目摄像头实现人机交互的方法和装置
EP2853989A1 (en) Contactless gesture-based control method and apparatus
CN110457103A (zh) 头像创建用户界面
CN110460799A (zh) 创意相机
CN105589553A (zh) 一种智能设备的手势控制方法和系统
JP6144743B2 (ja) ウェアラブル装置
CN112198962A (zh) 一种与虚拟现实设备交互的方法及虚拟现实设备
WO2018099258A1 (zh) 无人机的飞行控制方法和装置
CN105657249A (zh) 一种图像处理方法及用户终端
CN110543230A (zh) 基于虚拟现实的舞台灯光元素的设计方法及设计系统
US20170285694A1 (en) Control device, control method, and program
CN109976338A (zh) 一种多模态四足机器人人机交互系统及方法
CN109865283A (zh) 游戏中虚拟角色面部调整方法、装置、电子设备及介质
CN109035421A (zh) 图像处理方法、装置、设备及存储介质
KR20160137253A (ko) 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법
CN106527710A (zh) 虚拟现实交互方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170728