CN112463000B - 交互方法、装置、系统、电子设备及交通工具 - Google Patents
交互方法、装置、系统、电子设备及交通工具 Download PDFInfo
- Publication number
- CN112463000B CN112463000B CN202011249292.4A CN202011249292A CN112463000B CN 112463000 B CN112463000 B CN 112463000B CN 202011249292 A CN202011249292 A CN 202011249292A CN 112463000 B CN112463000 B CN 112463000B
- Authority
- CN
- China
- Prior art keywords
- state
- gesture
- trigger signal
- function
- menu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种交互方法、装置、系统、电子设备及交通工具,其中方法包括:获取触发信号;当触发信号处于第一状态时激活功能菜单,功能菜单为多个功能区域集合,每一功能区域对应至少一个可执行命令,当检测到触发信号由第一状态变换至第二状态,跟随触发信号功能区域在待选状态和被选状态之间切换;当检测到触发信号由第二状态切换至第三状态时,控制处于被选状态的功能区域从被选状态切换为选定状态。在激活菜单后,当目标功能区域处于被选状态后,控制触发信号的状态变化,目标功能区域被选中,无需像传统交互方式,需控制页面的选择指示标记对目标进行选择后再点击确认,极大的简化了操作。
Description
技术领域
本发明涉及人机交互处理技术领域,具体涉及到一种交互方法、装置、系统、电子设备及交通工具。
背景技术
随着科技的发展,增强现实(Augmented Reality,AR)或混合现实(MixedReality,MR)应用的场景越来越广泛,例如在,基于AR或MR的抬头显示(Heads Up Display,HUD)的概念与应用趋势正在向全交通工具产业扩张,在AR或MR与挡风玻璃或窗结合的虚拟现实场景下,传统触屏和物理按钮的操作并不能满足快速安全的完成人机交互。
目前的交互方式仅仅是传统屏幕内式样菜单的复制,传统的物理按键和屏幕内菜单无法快速控制所有当前需求与选项。用户在使用AR或MR交互的过程繁琐且效率低下。
发明内容
本发明实施例要解决的技术问题为如何简化用户在使用AR或MR交互的过程,提高交互效率。
根据第一方面,本发明实施例提供了一种交互方法,用于虚拟现实的人机交互,包括:获取触发信号;当所述触发信号处于第一状态时激活功能菜单,所述功能菜单为多个功能区域集合,每一功能区域对应至少一个可执行命令,在所述功能菜单被激活时,所述功能菜单中的所有功能区域处于待选状态;当检测到所述触发信号由第一状态变换至第二状态,跟随所述触发信号所述功能区域在待选状态和被选状态之间切换;当检测到所述触发信号由第二状态切换至第三状态时,控制处于被选状态的功能区域从被选状态切换为选定状态。
可选地,当检测到所述触发信号由第一状态变换至第二状态,处于被选状态的功能区域的数量小于或等于一个。
可选地,所述触发信号包括:肢体语言触发信号,所述肢体语言触发信号中在第一状态、第二状态和第三状态中的至少一个状态下的肢体语言与其他状态下的肢体语言不同。
可选地,所述触发信号包括:触控触发信号,所述第一状态包括触控状态;所述第二状态包括沿预设方向移动状态;所述第三状态包括触控消失状态和/或改变移动方向状态或触控点增加状态。
可选地,所述第二状态包括所述触发信号沿预设方向移动或转动的状态;所述当检测到所述触发信号由第一状态变换至第二状态,控制与所述触发信号对应的功能区域从待选状态切换为被选状态包括:当检测到所述触发信号沿所述预设方向移动,跟随所述触发信号的移动方向处于被选状态的功能区域依次切换。
可选地,所述菜单包括至少一级子菜单;在所述控制所述触发信号对应的功能区域从被选状态切换为选定状态之后包括:激活处于选定状态的功能区域对应的子菜单。
可选地,在所述控制所述触发信号对应的功能区域从被选状态切换为选定状态之后包括:当检测到所述触发信号由第三状态切换至第四状态,控制处于选定状态的功能区域从选定状态切换回被选状态。
根据第二方面,本发明实施例提供了一种交互装置,包括:获取模块,用于获取触发信号;激活模块,用于当所述触发信号处于第一状态时激活功能菜单,所述功能菜单为多个功能区域集合,每一功能区域对应至少一个可执行命令,在所述功能菜单被激活时,所述功能菜单中的所有功能区域处于待选状态;状态切换模块,用于当检测到所述触发信号由第一状态变换至第二状态,控制所述功能区域在待选状态和被选状态之间切换;选定模块,用于当检测到所述触发信号由第二状态切换至第三状态时,控制处于被选状态的功能区域从被选状态切换为选定状态。
根据第三方面,本发明实施例提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器执行上述第一方面任意一项所述的交互方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行上述第一方面任意一项所述的交互方法。
根据第五方面,本发明实施例提供了一种交互系统,包括:上述第三方面描述的电子设备;投影装置,用于投射显示信息;触发信号识别装置,用于识别触发信号。
根据第六方面,本发明实施例提供了一种交通工具,包括:交通工具,所述交通工具搭载上述第五方面描述的交互系统。
本发明实施例通过在检测到触发信号时,激活菜单,并在检测到触发信号的状态发生变化时,从第一状态切换至第二状态,菜单中的功能区域(虚拟功能按键)可以跟随触发信号在待选择状态与被选择状态之间切换,在激活菜单后,无需像传统交互方式,在激活菜单后,需控制页面的选择指示标记(例如光标)落在目标功能按键上再进行点击或操作后再选择,当目标功能区域(目标虚拟按键)处于被选状态后,可以控制触发信号的状态再次发生变化,此时目标功能区域(目标虚拟按键)被选中,改变传统交互方式,无需将支持标记精确的移动到目标功能区域后再进行选择,也无需繁琐的点击确认,只需进行连贯的选择和确认,极大的简化了操作。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本实施例的现有技术中的交互方法的示意图;
图2示出了本实施例的交互方法的示意图;
图3和图4示出了本实施例的交互过程效果的示意图;
图5示出了本发明实施例的交互装置的示意图;
图6示出了本发明实施例的电子设备的示意图;
图7示出了本发明实施例的交互系统的示意图;
图8示出了本发明实施例的交通工具示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
正如背景技术所述,目前的AR或MR交互的菜单形式均是复制传统屏幕内样式菜单,在选择某种功能时,需要先进行点击屏幕激活具有目标功能按钮的菜单,再通过滑动或点击翻页按键进行翻页,找到目标功能按键,之后在进行点击,以选中该目标功能按键。该种菜单式样以及对应的操作方式应用在AR或MR交互中会带来多种问题,例如,可以基于肢体语言交互,示例性的,可以为手势交互操作、头摆动交互操作,眼球转动交互操作等,以手势交互操作为例,用户需要特别记忆多种手势,例如,激活菜单时的第一手势,在激活菜单后,通过第二手势控制页面的选择指示标记(例如光标)落在目标功能按钮上,再通过第三手势进行选定。例如,如图1所示,申请号为:201780053132.2专利文件中的交互方式为:作为正在进行的交互会话的参与者的车辆的乘员可使用“向左滑动”手势343将选择指示符327向左移动(图1a)并且向右滑动手势344以将选择指示符向右移动(图1b)。因此,所使用的手势检测器或多个手势检测器可基于捕获交互区341内的乘员的手部的视频或静止图像,确定手部相对于手部的初始位置的位移方向,并且使用该位移方向以引起选择指示符327的类似位移(如标签345和348所指示的)。在应用位移之后,指示符327最接近(或在其上)的特定选项可被指定为所描绘的实施方案中的所选选项。基于手势交互操作时,用户需要特别记忆多种手势以及多种操作态,并且需要繁琐的手势确认,不容易快速交互。作为另一种交互方式,语音交互需要听到各类提示声音,并语音反馈,经常会打扰到用户的驾驶行为或休息。因此,现有的交互方式交互的过程繁琐且效率低下。对此,发明人提出了一种交互方法,如图2所示,该交互方法可以包括如下步骤:
S10.获取触发信号。作为示例性的实施例,可以针对AR或MR系统的进行人机交互,例如,基于AR的HUD在交通工具中的应用,可以在交通工具中安装AR-HUD或MR-HUD支持投射出投影文字、图形等内容的投影装置以及对应的触发信号的感应装置,例如,肢体语言识别感应装置或触摸版感应装置。在本实施例中,交通工具可以包括汽车、轮船、快艇、航空或航天工具等。示例性的,肢体语言可以为手势、头摆动,眼球转动等,在本实施例中可以以手势交互操作为例,在手势识别感应装置的感应区做出对应的手势即可获取到对应的触发信号。例如,可以在感应区侦测到有手在他感应区做出收缩捏取或提拉等手势时,即获取到触发信号。或在感应触摸板上侦测到有手进行按压、触控等触发事件后,即可获取到触发信号。当触发信号处于第一状态时,进入步骤S20。当触发信号从第一状态切换至第二状态时,进入步骤S30。当触发信号从第二状态切换至第三状态时,进入步骤S40。
S20.激活功能菜单。在本实施例中,功能菜单可以为主菜单,功能菜单为多个功能区域集合,即功能菜单上可设置有多个虚拟功能按键,每一虚拟功能按键均对应至少一个功能区域,其中,每一功能区域对应至少一个可执行命令,在所述功能菜单被激活时,所述功能菜单中的所有功能区域处于待选状态。示例性的,如图3所示,功能菜单上对应有A、B、C三个功能区域,当功能菜单被唤醒时,A、B、C三个功能区域均处于待选择的状态,即处于可被选择的状态。可以理解的是,此处的举例只是为了本领域技术人员更好地理解和实现本发明,并不代表功能菜单上有且只有三个功能区域。
需要说明的是,功能菜单为可执行命令的集合,而每一个可执行命令与一个功能区域所对应,也就是说,如果选中某个功能区域,就会执行所述功能区域所对应的可执行命令。
在本发明一实施例中,在功能菜单被激活时,还可以显示所述功能菜单,也就是显示至少一个待操作命令的功能区域的图像。例如,如图3所示,在应用于交通工具内的AR-HUD,显示的功能菜单可以为虚拟图像,可以显示在挡风玻璃或窗的外部,以供操作者查看。
作为示例性的实施例,该功能菜单可以具有多种功能选择,例如,音乐、视频、导航地图、短信、电话、空调、温度、智能家居等功能设置,还可以包括如座椅控制、灯光控制等多种车载控制功能以及多种车辆状况显示,例如能耗信息等。在功能菜单的功能区域可以输入的命令例如为确认、取消、忽略、拒绝、等待等功能。
示例性的,在功能菜单被激活前,可以隐藏不进行显示,当检测到触发信号处于第一状态时,激活菜单并显示。激活的菜单在显示时,功能区域可以处于待选择状态,即处于可以被选择的状态,示例性的可以参见图3中的A和C功能区域和图4a所示的功能菜单的唤出时的状态。具体的,在功能区域处于待选择状态时,可以以较暗的颜色进行显示,例如可以以灰色进行显示。具体的,以触发信号为手势触发信号为例,在检测到有手出现在感应区则获取触发信号,在检测到特定手势后,激活菜单,例如,在识别到手势为“抓”的状态,则可以认为手势处于“第一状态”则可以激活功能菜单,示例性的可以参见图4a所示的激活功能菜单动作示意图。具体的,所称第一状态还可以为其他手势,例如:“提”,“拉”,“握”等动作,本领域技术人员应当明白,此处的举例只是为了本领域技术人员更好地理解和实现本发明,并不代表有且只有上述动作。作为示例性的实施例,功能菜单被激活还可以通过对触控板的按压或触控等动作激活。例如,在触控板被触控或按压后,可以激活功能菜单。
S30.控制所述功能区域在待选状态和被选状态之间切换。作为示例性的实施例,在功能菜单被激活后,可以对功能区域进行选择,即选择对应的虚拟功能按键。作为示例性的实施例,以手势识别为例,在手势感应区检测到手势由第一状态切换至第二状态时,例如,手势由“抓”的状态切换至向预设方向移动的状态,或者向预设方向转动的状态,示例性的,可以在手势为“抓”的状态,功能菜单被激活,之后,手开始转动,开始选择功能菜单中的各个功能区域,例如,在手势转动或沿预设方向移动的过程中,功能区域开始顺次由待选状态切换为被选状态,随着手势的转动或移动,在下一个功能区域由待选状态切换为被选状态时,当前功能区域由被选状态再切换回待选状态,直至目标功能区域处于待选状态时,手势可以停止转动或移动。示例性的,当检测到所述触发信号由第一状态变换至第二状态,处于被选状态的功能区域的数量小于或等于一个。
作为示例性的实施例,在待选状态切换为被选状态的功能区域可以不按照顺序进行切换,例如,可以通过手势变换或对移动速度检测,依据移动速度进行间隔选择,示例性的,在检测到手势移动速度大于预设值或移动的速度增量Δv大于预设值,即手势移动突然加速时,可以跳过一个活多个功能区域,进行下一个或多个功能区域选择。具体的可以参见图3所示的功能区域B,以及图4b所示的功能区域处于被选状态的示意图。作为示例性的实施例,可以对处于被选状态的功能区域进行放大、提浮或高亮显示,以突出该功能区域处于被选状态。
为了避免用户的误操作,提高可靠性,在具体实施中,当根据用户手势移动或转动,或根据触控板按压或触控事件移动时,在选择功能区域时,可以检测沿预设方向移动或转动的时长是否超过第二预设时长,当超过时,可以认为用户在进行操作,此时再进行功能区域选择。
S40.控制处于被选状态的功能区域从被选状态切换为选定状态。在本实施例中,在目标功能区域处于被选状态后,可以变化触发信号的状态以选定目标功能区域。作为示例性的实施例,以手势识别为例,在手势感应区检测到手势由第二状态切换至第三状态时,例如,手势由向预设方向移动的状态,或者向预设方向转动的状态变化为“提”或“握”等状态时,处于被选状态的功能区域切换为选定状态。示例性的,可以参见图3所示的功能区域B*,以及可以参见图4c所示的功能区域C*处于选定状态的示意图。
通过在检测到触发信号时,激活菜单,并在检测到触发信号的状态发生变化时,从第一状态切换至第二状态,菜单中的功能区域(虚拟功能按键)可以跟随触发信号在待选择状态与被选择状态之间切换,在激活菜单后,无需像传统交互方式,在激活菜单后,需控制页面的选择指示标记(例如光标)落在目标功能按键上再进行点击或操作后再选择,当目标功能区域(目标虚拟按键)处于被选状态后,可以控制触发信号的状态再次发生变化,此时目标功能区域(目标虚拟按键)被选中,改变传统交互方式,无需将支持标记精确的移动到目标功能区域后再进行选择,也无需繁琐的点击确认,只需进行连贯的选择和确认,极大的简化了操作。
作为示例性的实施例,肢体语言触发信号中的第一状态、第二状态和第三状态可以相同也可以不同,具体的,以手势为例,第一状态可以为第一手势,第二状态可以为第二手势,第三状态可以为第三手势,第一手势与第二手势相同,第三手势不同,即激活手势保持不变,手势移动或转动,被选功能区依次切换,直到达到目标功能区域,变化到第三手势即可选中。另外,第一手势与第二手势不同,第一手势与第三手势相同,第一手势激活,变化到第二手势表示可以开始选中虚拟功能按键,跟随第二手势移动,直到达到目标功能区域,变化到第一手势即可选中。第三中情况可以为:第一手势、第二手势、第三手势均不同,第一手势激活,变化到第二手势表示可以开始选中虚拟功能按键,跟随第二手势移动,直到达到目标功能区域,变化到第三手势即可选中处于被选状态的功能按键。
作为示例性的实施例,作为示例性的实施例,处于被选状态的功能区域可以依据手势变化先被锁定,再进行选定,示例性的,可以通过手势变化为“提”或“握”等状态时,该功能区域被选定,在手势变化为“放开”状态时,该功能区域被选定。
作为示例性的实施例,在目标功能区域处于被选状态后,触发信号也可以不变,在停止预设时长后,目标功能区域自动被选中。作为示例性的实施例,在目标功能区域处于被选状态后,在检测区域可以将手势撤离,也可以将手势停留原处,在无下一步操作时,达到预设时长,可以确认目标功能区域自动被选中。
在功能区域被选定之后,可以执行选定状态功能区域所对应的命令,另外,如菜单为二级或多级菜单时,第一次激活的菜单可以为主菜单,在主菜单外轮廓可以存在多层成树状分布的多级别菜单。示例性的,当有二级菜单以上的菜单时,选定主菜单的功能区域后,可以自动弹出下一级菜单,该下一级菜单处于被激活状态,重复检测触发信号,根据触发信号的状态依次对下一级菜单中的功能区域进行选择或选定操作。
在执行功能区域对应的命令后,如需取消功能执行,或回到上一级动作,可以通过将触发信号由第三状态切换至第四状态,例如,在激活菜单后,可以通过变化手势,将菜单隐藏;或者在选择功能区域后,功能区域处于被选状态后,可以通过变化手势,将功能区域处于被选状态切换为全部处于待选择状态;或者功能区域被选定后,可以通过变化手势将处于被选定状态的功能区域切换为处于被选状态等。例如,可以将手势沿与选择功能区域的方向的不同方向移动手势,返回上一状态。在本实施例中,也可以通过其他手势返回上一状态。另外,也可以通过手势变化,回到主页,例如,也可以回到功能菜单被激活的状态。例如,可以通过推掌回到主页。
为使得本领域技术人员更好地理解和实现本发明,下面以交互所能实现的功能与用户的操作的对应关系来对上述实施例中的交互方法进行说明,以上实施例中的交互方法可以实现的交互功能可以包括:菜单的唤醒、功能区域切换及功能区域选定与执行,其中:
菜单的唤醒:在菜单处于未呼出状态时,也即可AR交互系统处于运行状态时,可以检测触发信号,例如检测感应区的肢体语言信号或检测触控板触控区域的触控或按压时间,若检测预设肢体语言或触控事件,可以唤醒功能菜单,即是使功能菜单的多个功能区域处于待选择的状态。比如,功能菜单上对应有三个功能区域,且三个功能按钮的名字分别为A、B、C、D,可以参考图4a所示。参照图4a所示的操作,即:在识别到手势为“抓”的状态,可以产生图4a所示的操作结果,功能菜单被激活,功能菜单中的功能区域A、B、C、D处于待选择状态。
在本发明一实施例中,可以显示所述待选择状态的按钮的图像,即功能区域A、B、C、D,因此可以方便用户的操作。
功能区域切换:
在功能菜单被激活后,可以对功能区域进行选择,检测感应区的肢体语言信号,例如检测到手势由“抓”的状态切换至向预设方向移动的状态,或者向预设方向转动的状态,在手势转动或沿预设方向移动的过程中,功能区域开始顺次由待选状态切换为被选状态,随着手势的转动或移动,在下一个功能区域由待选状态切换为被选状态时,当前功能区域由被选状态再切换回待选状态,直至目标功能区域处于待选状态时,手势可以停止转动或移动。可以参考图4b所示,参照图4b所示的操作,即:在识别到手势为“转动”或“移动”的状态,可以产生图4b所示的操作结果,功能菜单沿手势转动或移动方向依次被选择,图4b中功能区域C处于被选择状态,其他供区域仍处于待选择状态。
功能区域选定,在目标功能区域处于被选状态后,可以变化触发信号的状态以选定目标功能区域,例如,手势由向预设方向移动的状态,或者向预设方向转动的状态变化为“提”或“握”等状态时,处于被选状态的功能区域切换为选定状态。可以参考图4c所示,参照图4c所示的操作,即:在识别到手势为变化为“提”或“握”等状态,可以产生图4c所示的操作结果,处于被选状态的功能区域显示高亮或放大,并且可以标记有被选标记如图4c所示的被选标记可以为“√”,图4c中功能区域C处于选定状态,其他供区域仍处于待选择状态。
在存在二级或多级菜单时,选定主菜单的功能区域后,可以自动弹出下一级菜单,该下一级菜单处于被激活状态,菜单的唤醒、功能区域切换及功能区域选定与执行的操作。
本发明实施例提供了一种交互装置,如图5所示,该装置可以包括:
获取模块10,用于获取触发信号;激活模块20,用于当所述触发信号处于第一状态时激活功能菜单,所述功能菜单为多个功能区域集合,每一功能区域对应至少一个可执行命令,在所述功能菜单被激活时,所述功能菜单中的所有功能区域处于待选状态;状态切换模块30,用于当检测到所述触发信号由第一状态变换至第二状态,控制所述功能区域在待选状态和被选状态之间切换;选定模块40,用于当检测到所述触发信号由第二状态切换至第三状态时,控制处于被选状态的功能区域从被选状态切换为选定状态。
本发明实施例提供了一种电子设备,如图6所示,该电子设备包括一个或多个处理器61以及存储器62,图6中以一个处理器63为例。
该控制器还可以包括:输入装置63和输出装置64。
处理器61、存储器62、输入装置63和输出装置64可以通过总线或者其他方式连接,图6中以通过总线连接为例。
处理器61可以为中央处理器(CentralProcessingUnit,CPU)。处理器61还可以为其他通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器62作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的控制方法对应的程序指令/模块。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的交互方法。
存储器62可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外,存储器62可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器62可选包括相对于处理器61远程设置的存储器,这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置63可接收输入的数字或字符信息,以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置64可包括显示屏等显示设备。
一个或者多个模块存储在存储器62中,当被一个或者多个处理器61执行时,执行如图1所示的方法。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各电机控制方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)、随机存储记忆体(RandomAccessMemory,RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive,缩写:HDD)或固态硬盘(Solid-StateDrive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
本发明实施例提供了一种交互系统,如图7所示,该系统可以包括:
上述实施例描述的电子设备100;投影装置200,用于投射显示信息;触发信号识别装置300,用于识别触发信号。
本发明实施例提供了一种交通工具,如图8所示,该交通工具本体1000上可以搭载有上述实施例中的交互系统2000。具体的该交通工具可以包括:汽车、轮船、快艇、航空或航天工具等。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种交互方法,用于虚拟现实的人机交互,其特征在于,包括:
获取触发信号,所述触发信号是在手势识别感应装置的感应区做出对应的手势获取到的;
当所述触发信号处于第一状态时激活功能菜单,所述功能菜单为多个功能区域集合,每一功能区域对应至少一个可执行命令,在所述功能菜单被激活时,所述功能菜单中的所有功能区域处于待选状态;
当检测到所述触发信号由第一状态变换至第二状态,跟随所述触发信号所述功能区域在待选状态和被选状态之间切换;
当检测到所述触发信号由第二状态切换至第三状态时,控制处于被选状态的功能区域从被选状态切换为选定状态;
所述方法还包括:
在检测到手势移动速度大于预设值或移动的速度增量大于预设值,跳过一个或多个功能区域,进行下一个或多个功能区域选择;
在目标功能区域处于被选状态后,触发信号保持不变,在停止预设时长后,目标功能区域自动被选中;
所述方法还包括:
所述第一状态为第一手势,第二状态为第二手势,第三状态为第三手势;
其中第一手势与第二手势不同,第一手势与第三手势相同时,第一手势表示菜单激活,变化到第二手势表示开始选择虚拟功能按键,跟随第二手势移动,直到达到目标功能区域,变化到第一手势表示功能区域选定;
或者,第一手势与第二手势相同,第三手势不同时,菜单的激活手势保持不变,手势移动或转动,被选功能区依次切换,直到达到目标功能区域,变化到第三手势表示功能区域选定;
又或者,第一手势、第二手势、第三手势均不同时,第一手势表示菜单激活,变化到第二手势表示开始选择虚拟功能按键,跟随第二手势移动,直到达到目标功能区域,变化到第三手势表示功能区域选定。
2.如权利要求1所述的交互方法,其特征在于,当检测到所述触发信号由第一状态变换至第二状态,处于被选状态的功能区域的数量小于或等于一个。
3.如权利要求1所述的交互方法,其特征在于,所述触发信号包括:肢体语言触发信号,所述肢体语言触发信号中在第一状态、第二状态和第三状态中的至少一个状态下的肢体语言与其他状态下的肢体语言不同。
4.如权利要求1所述的交互方法,其特征在于,所述触发信号包括:触控触发信号,所述第一状态包括触控状态;所述第二状态包括沿预设方向移动状态;所述第三状态包括触控消失状态和/或改变移动方向状态或触控点增加状态。
5.如权利要求3或4所述的交互方法,其特征在于,所述第二状态包括所述触发信号沿预设方向移动或转动的状态;
所述当检测到所述触发信号由第一状态变换至第二状态,控制与所述触发信号对应的功能区域从待选状态切换为被选状态包括:
当检测到所述触发信号沿所述预设方向移动,跟随所述触发信号的移动方向处于被选状态的功能区域依次切换。
6.如权利要求1所述的交互方法,其特征在于,所述菜单包括至少一级子菜单;在所述控制所述触发信号对应的功能区域从被选状态切换为选定状态之后包括:
激活处于选定状态的功能区域对应的子菜单。
7.如权利要求1所述的交互方法,其特征在于,在所述控制所述触发信号对应的功能区域从被选状态切换为选定状态之后包括:
当检测到所述触发信号由第三状态切换至第四状态,控制所述功能菜单或功能区域返回上一级或上多级状态。
8.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-7任意一项所述的交互方法。
9.一种交互系统,其特征在于,包括:
如权利要求8所述的电子设备;
投影装置,用于投射显示信息;
触发信号识别装置,用于识别触发信号。
10.一种交通工具,其特征在于,包括:
交通工具,所述交通工具搭载有权利要求9所述的交互系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011249292.4A CN112463000B (zh) | 2020-11-10 | 2020-11-10 | 交互方法、装置、系统、电子设备及交通工具 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011249292.4A CN112463000B (zh) | 2020-11-10 | 2020-11-10 | 交互方法、装置、系统、电子设备及交通工具 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112463000A CN112463000A (zh) | 2021-03-09 |
CN112463000B true CN112463000B (zh) | 2022-11-08 |
Family
ID=74826270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011249292.4A Active CN112463000B (zh) | 2020-11-10 | 2020-11-10 | 交互方法、装置、系统、电子设备及交通工具 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112463000B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113282169B (zh) * | 2021-05-08 | 2023-04-07 | 青岛小鸟看看科技有限公司 | 头戴式显示设备的交互方法、装置及头戴式显示设备 |
CN113485136A (zh) * | 2021-06-30 | 2021-10-08 | 东风汽车集团股份有限公司 | 一种基于ar-hud实时展示并控制智能家居工作状态的系统及方法 |
CN116795203A (zh) * | 2022-03-17 | 2023-09-22 | 北京字跳网络技术有限公司 | 基于虚拟现实的操控方法、装置及电子设备 |
CN114911395B (zh) * | 2022-05-09 | 2024-08-20 | 北京字跳网络技术有限公司 | 页面交互方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1185844A (zh) * | 1996-03-28 | 1998-06-24 | 辛纳普蒂克斯有限公司 | 具有边缘移动特性和动作识别的目标位置检测器 |
CN101566917A (zh) * | 2008-04-27 | 2009-10-28 | 宏达国际电子股份有限公司 | 电子装置与其用户界面显示方法 |
CN103677614A (zh) * | 2012-09-26 | 2014-03-26 | 腾讯科技(深圳)有限公司 | 一种浏览器手势操作方法及装置 |
CN104662588A (zh) * | 2012-09-27 | 2015-05-27 | 京瓷株式会社 | 显示装置、控制系统和控制程序 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996009579A1 (en) * | 1994-09-22 | 1996-03-28 | Izak Van Cruyningen | Popup menus with directional gestures |
DE10343968A1 (de) * | 2003-09-19 | 2005-05-04 | Icido Ges Fuer Innovative Info | Verfahren und Vorrichtung zur Steuerung eines Graphiksystems der virtuellen Realität mittels Interaktionen |
CN103412712A (zh) * | 2013-07-31 | 2013-11-27 | 天脉聚源(北京)传媒科技有限公司 | 一种功能菜单的选择方法和装置 |
CN107665053B (zh) * | 2016-07-27 | 2020-09-25 | 上海擎感智能科技有限公司 | 可穿戴式电子设备及适于其的人机交互方法 |
-
2020
- 2020-11-10 CN CN202011249292.4A patent/CN112463000B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1185844A (zh) * | 1996-03-28 | 1998-06-24 | 辛纳普蒂克斯有限公司 | 具有边缘移动特性和动作识别的目标位置检测器 |
CN101566917A (zh) * | 2008-04-27 | 2009-10-28 | 宏达国际电子股份有限公司 | 电子装置与其用户界面显示方法 |
CN103677614A (zh) * | 2012-09-26 | 2014-03-26 | 腾讯科技(深圳)有限公司 | 一种浏览器手势操作方法及装置 |
CN104662588A (zh) * | 2012-09-27 | 2015-05-27 | 京瓷株式会社 | 显示装置、控制系统和控制程序 |
Non-Patent Citations (2)
Title |
---|
End-to-End Multiview Gesture Recognition for Autonomous Car Parking System;Hassene Ben AMARAFakhri KARRAY;《Instrumentation》;20190915;全文 * |
手势识别在车载多媒体系统中的应用综述;冯琳;《科教文汇》;20200910;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112463000A (zh) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112463000B (zh) | 交互方法、装置、系统、电子设备及交通工具 | |
JP6902116B2 (ja) | タッチ感知ディスプレイを備えた電子デバイス上に同時に表示される複数のアプリケーションと対話するシステム及び方法 | |
US7480863B2 (en) | Dynamic and intelligent hover assistance | |
US10366602B2 (en) | Interactive multi-touch remote control | |
US8125457B2 (en) | Switching display mode of electronic device | |
US9146672B2 (en) | Multidirectional swipe key for virtual keyboard | |
KR101593598B1 (ko) | 휴대단말에서 제스처를 이용한 기능 실행 방법 | |
KR101450231B1 (ko) | 리모트 컨트롤 동작을 위한 터치 제스처 | |
US9164578B2 (en) | Input device for operating graphical user interface | |
EP2580643B1 (en) | Jump, checkmark, and strikethrough gestures | |
US20110304556A1 (en) | Activate, fill, and level gestures | |
US20140306898A1 (en) | Key swipe gestures for touch sensitive ui virtual keyboard | |
US20150089364A1 (en) | Initiating a help feature | |
CN106464749B (zh) | 用户界面的交互方法 | |
JPH0588842A (ja) | アイコン表示システム | |
EP3726360B1 (en) | Device and method for controlling vehicle component | |
EP2131274A2 (en) | Controlling an electronic device | |
EP3046010A1 (en) | System and method for guarding emergency and critical touch targets | |
KR101154137B1 (ko) | 터치 패드 상에서 한손 제스처를 이용한 사용자 인터페이스 | |
JPH03144719A (ja) | 情報処理装置及び情報処理方法 | |
US11194466B2 (en) | Procedure for entering commands for an electronic setup | |
JP2915654B2 (ja) | 手書文字入力領域設定装置 | |
CN118525263A (zh) | 用于恢复被自动重置的机器设置的方法、计算机程序、设备和用户界面 | |
CN112349286A (zh) | 一组航空电子系统的控制方法、相关存储介质及系统 | |
CN113791711A (zh) | 车载多屏幕显示分享方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |