CN112180841B - 人机交互方法、装置、设备及存储介质 - Google Patents
人机交互方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112180841B CN112180841B CN202011023667.5A CN202011023667A CN112180841B CN 112180841 B CN112180841 B CN 112180841B CN 202011023667 A CN202011023667 A CN 202011023667A CN 112180841 B CN112180841 B CN 112180841B
- Authority
- CN
- China
- Prior art keywords
- control
- user interface
- target
- graphical user
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000009471 action Effects 0.000 claims abstract description 155
- 238000004891 communication Methods 0.000 claims abstract description 9
- 238000009877 rendering Methods 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 82
- 238000010586 diagram Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35431—Interactive
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种人机交互方法、装置、设备及存储介质，其中，该方法应用于人机交互设备，人机交互设备与机器人通信连接，通过在人机交互设备的处理器上执行软件应用并在人机交互设备的显示器上渲染得到图形用户界面，图形用户界面上显示有动作帧对应的控件，该方法包括：响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹，以初始控件为起点，将绘制轨迹经过的至少1个目标控件依次连接，获取各目标控件对应的动作帧的执行顺序。和现有技术相比，通过用户在图形用户界面上的绘制轨迹快捷地实现了动作帧和其执行顺序的编辑，操作简单，提高了操作效率。
Description
技术领域
本申请涉及机器人控制技术领域，具体而言，涉及一种人机交互方法、装置、设备及存储介质。
背景技术
随着机器人技术的快速发展，机器人在越来越多的行业得到了广泛地应用。其中，人形机器人是一种旨在模仿人类外观和行为的机器人，尤其指具有和人类相似肌的机器人。
相关技术中，用户可以设置不同时间点人形机器人的动作帧来建立机器人动作，目前常用的技术为以列表的方式将各动作帧展示给用户，并提供一操作菜单以供用户为各动作帧之间建立关系，动作编辑完成后可以显示一个自上而下的列表展示当前人形机器人的所有动作帧。
然而，采用上述列表的方法，在用户每次插入动作帧或者移动动作帧时需要进行多次基本操作，耗费的时间较长，影响用户体验。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种人机交互方法、装置、设备及存储介质，以解决现有技术中插入或者移动动作帧时耗时的问题。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请一实施例提供了一种人机交互方法，应用于人机交互设备，所述人机交互设备与机器人通信连接，通过在所述人机交互设备的处理器上执行软件应用并在所述人机交互设备的显示器上渲染得到图形用户界面，所述图形用户界面上显示有动作帧对应的控件，所述方法包括：
响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹；
以所述初始控件为起点，将所述绘制轨迹经过的至少1个目标控件依次连接，获取各所述目标控件对应的动作帧的执行顺序。
可选地，所述以所述初始控件为起点，将所述绘制轨迹经过的至少1个目标控件依次连接，获取各所述目标控件对应的动作帧的执行顺序之后，还包括：
根据各所述目标控件对应的动作帧的执行顺序，获取控制指令；
向所述机器人发送所述控制指令，所述控制指令用于控制所述机器人根据所述执行顺序依次执行各所述目标控件所对应动作帧的动作。
可选地，所述向所述机器人发送所述控制指令之后，还包括：
响应于所述机器人反馈的已执行动作帧，在所述图形用户界面以第一预设样式更新已执行动作帧对应的所述目标控件，并以第二预设样式更新已执行动作帧对应的所述目标控件与前一目标控件之间的连线。
可选地，所述响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹之前，还包括：
响应作用于所述控件的移动操作，移动所述控件在所述图形用户界面中的位置。
可选地，所述以所述初始控件为起点，将所述绘制轨迹经过的至少1个目标控件依次连接，获取各所述目标控件对应的动作帧的执行顺序之前，还包括：
在预设时间间隔、以第三预设样式显示所述初始控件。
可选地，所述响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹，包括：
响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹，并以预设动画显示所述绘制轨迹。
可选地，所述方法还包括：
根据所述绘制轨迹，依次以第四预设样式更新所述绘制轨迹经过的所述目标控件。
可选地，所述方法还包括：
响应于对所述控件的选中操作，显示所述控件对应的动作信息，其中，所述动作信息包括下述至少一种：动作名称、动作类型、动作参数。
第二方面，本申请另一实施例提供了一种人机交互装置，通过在人机交互设备的处理器上执行软件应用并在所述人机交互设备的显示器上渲染得到图形用户界面，所述图形用户界面上显示有动作帧对应的控件，所述装置包括：
检测模块，用于响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹；
获取模块，用于以所述初始控件为起点，将所述绘制轨迹经过的至少1个目标控件依次连接，获取各所述目标控件对应的动作帧的执行顺序。
可选地，所述获取模块，还用于：
根据各所述目标控件对应的动作帧的执行顺序，获取控制指令；
所述装置还包括：
发送模块，用于向所述机器人发送所述控制指令，所述控制指令用于控制所述机器人根据所述执行顺序依次执行各所述目标控件所对应动作帧的动作。
可选地，所述装置还包括：
更新模块，用于响应于所述机器人反馈的已执行动作帧，在所述图形用户界面以第一预设样式更新已执行动作帧对应的所述目标控件，并以第二预设样式更新已执行动作帧对应的所述目标控件与前一目标控件之间的连线。
可选地，所述装置还包括：
移动模块，用于响应作用于所述控件的移动操作，移动所述控件在所述图形用户界面中的位置。
可选地，所述装置还包括：
显示模块，用于在预设时间间隔、以第三预设样式显示所述初始控件。
可选地，所述检测模块，具体用于：
响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹，并以预设动画显示所述绘制轨迹。
可选地，所述更新模块，还用于：
根据所述绘制轨迹，依次以第四预设样式更新所述绘制轨迹经过的所述目标控件。
可选地，所述显示模块，还用于：
响应于对所述控件的选中操作，显示所述控件对应的动作信息，其中，所述动作信息包括下述至少一种：动作名称、动作类型、动作参数。
第三方面，本申请另一实施例提供了一种人机交互设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的计算机程序，当所述人机交互设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述计算机程序，以执行如上述第一方面任一所述方法。
第四方面，本申请另一实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一所述方法。
本申请提供的一种人机交互方法、装置、设备及存储介质，其中，该方法应用于人机交互设备，人机交互设备与机器人通信连接，通过在人机交互设备的处理器上执行软件应用并在人机交互设备的显示器上渲染得到图形用户界面，图形用户界面上显示有动作帧对应的控件，该方法包括：响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹，以初始控件为起点，将绘制轨迹经过的至少1个目标控件依次连接，获取各目标控件对应的动作帧的执行顺序。和现有技术相比，通过用户在图形用户界面上的绘制轨迹快捷地实现了动作帧和其执行顺序的编辑，操作简单，提高了操作效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1示出了本申请实施例提供的人机交互方法的架构示意图；
图2示出了本申请实施例提供的人机交互方法的流程示意图一；
图3示出了本申请实施例提供的图形用户界面的示意图一；
图4示出了本申请实施例提供的图形用户界面的示意图二；
图5示出了本申请实施例提供的人机交互方法的流程示意图二；
图6示出了本申请实施例提供的图形用户界面的示意图三；
图7示出了本申请实施例提供的人机交互方法的流程示意图三；
图8示出了本申请实施例提供的图形用户界面的示意图四；
图9示出了本申请实施例提供的图形用户界面的示意图五；
图10示出了本申请实施例提供的图形用户界面的示意图六；
图11示出了本申请实施例提供的图形用户界面的示意图七；
图12示出了本申请实施例提供的图形用户界面的示意图八；
图13示出了本申请实施例提供的人机交互装置的结构示意图；
图14示出了本申请实施例提供的人机交互设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
针对目前通过列表的方式将动作帧展示给用户，并提供操作菜单以供用户为不同的动作帧之间建立关系，这样在每次插入动作帧或者移动动作帧时都需要多次基本操作，耗费的时间较长的问题，并且用户需要学习操作菜单的功能对用户的认知负担较大的问题，本申请提供了一种人机交互方法，提供一种具象化的机器人动作帧和动作帧的执行顺序的人机交互方式，具体地，通过用户在图形用户界面上的绘制轨迹快捷地实现了动作帧和其执行顺序的编辑，操作简单，提高了操作效率。
图1示出了本申请实施例提供的人机交互方法的架构示意图，如图1所示，包括通信连接的人机交互设备100和机器人200。
人机交互设备100安装有机器人200对应的软件应用，用户通过该软件应用可以远程控制机器人200开机、关机以及执行某些动作，例如，跳舞、武术、太极等。其中，人机交互设备100例如可以为手机、平台电脑、台式电脑、专用手柄等，本实施例对此不做特别限定。
机器人200可以为人形机器人，人形机器人是一种旨在模仿人类外观和行为的机器人，尤其特指具有和人类相似肌体的种类。
人机交互设备100和机器人200之间的通信连接例如可以为蓝牙连接、通过局域网连接、通过数据网络连接等无线连接。
下面结合图1描述的内容，对本申请实施例提供的人机交互方法进行详细说明。
图2示出了本申请实施例提供的人机交互方法的流程示意图一，如图2所示，本实施例的执行主体为人机交互设备，该方法包括：
S101、响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹。
人机交互设备与机器人通信连接，通过在人机交互设备的处理器上执行软件应用并在人机交互设备的显示器上渲染得到图形用户界面，图形用户界面上显示有动作帧对应的控件。
在一可能的实施方式中，图形用户界面上提供有一操作菜单，该操作菜单包括多种动作选项，例如，瑜伽类、舞蹈类、武术类，每种动作选项下包括多个预设的动作帧对应的控件，当用户选中舞蹈类选项时，则可以将舞蹈类下的每个动作帧的控件显示在图形用户界面上。
需要说明的是，用户还可以根据需求从某个动作类型的选项中增加或者删除动作帧。
其中，确定操作可以为长按操作、双击操作、触控操作、滑动操作中的任意一种。
在本实施例中，图形用户界面上显示有动作帧对应的控件，用户可以在输入作用于初始控件的确定操作，并在图形用户界面上绘制轨迹，相应的，人机交互设备响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹，其中，确定操作用于提示用户可以绘制轨迹，也即，可以提示用户进行连线。
其中，初始控件可以为任意一个显示在图形用户界面上的控件。
可选地，该方法还包括：
响应于对控件的选中操作，显示控件对应的动作信息，其中，动作信息包括下述至少一种：动作名称、动作类型、动作参数。
其中，动作名称例如可以为出拳、收拳、下腰等，动作类型例如可以为长拳、太极拳、南拳等，动作参数例如可以为舵机角度等。
选中操作例如可以为触控操作、单击操作、双击操作中的任意一种，需要说明的是，选中操作和确定操作是不同的操作。
可选地，动作信息还可以包括该动作的持续时长等，在此不作限制。
具体地，为了确定每个控件对应的动作信息，则用户可以输入对控件的选中操作，在图形用户界面中的编辑区域可以显示控件对应的动作信息，编辑区域可以位于图形用户界面的左侧、右侧、上侧、下侧，本实施例对其不做特别限定。另外，该步骤可以在步骤S101之前执行也可以在步骤S101之后执行，本实施例对本步骤的执行顺序不做限定。
S102、以初始控件为起点，将绘制轨迹经过的至少1个目标控件依次连接，获取各目标控件对应的动作帧的执行顺序。
确定操作用于提示用户可以进行连线，则检测用户在图形用户界面上的绘制轨迹，以初始控件为起点，将绘制轨迹经过的至少1个目标控件依次连接，从而获取各目标控件对应的动作帧的执行顺序，也就是说，各目标控件对应的动作帧的执行顺序为依次连接的至少1个目标控件的顺序。
可选地，用户绘制轨迹的方式可以根据人机交互设备的类型而不同，例如触控屏就可以通过触控绘制轨迹，其他设备也可以通过鼠标等输入设备完成绘制，在此不作限制。
下面结合图3、图4实施例对本技术方案进行说明，图3示出了本申请实施例提供的图形用户界面的示意图一，如图3所示，图形用户界面10上显示有动作帧对应的控件，分别为控件1到控件10，用户通过针对控件1的选中操作可以在图形用户界面左侧的编辑区域20显示控件1对应的动作信息，例如可以为舵机角度30度，按照该方式，可以确定每个控件对应的动作信息。
图4示出了本申请实施例提供的图形用户界面的示意图二，如图4所示，用户可以根据实际需求确定初始控件，初始控件例如为控件1，然后长按控件1，人机交互设备响应作用于控件1的长按操作，开始检测用户在图形用户界面上的绘制轨迹，并以控件1为起点，将绘制轨迹经过的控件2、控件3、控件4、控件5依次连接，也即，控件2、控件3、控件4、控件5为目标控件，各目标控件对应的动作帧的执行顺序为控件1、控件2、控件3、控件4、控件5。
需要说明的是，当将绘制轨迹经过的目标控件连接后，可以将图形用户界面上显示的其它控件删除，例如将控件6、7、8、9、10删除，也就是图形用户界面上只显示已连线的各目标控件。此外，依次连接的控件1、控件2、控件3、控件4、控件5之间的连线可以更新为虚线。
本实施例提供的人机交互的方法，包括：响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹，以初始控件为起点，将绘制轨迹经过的至少1个目标控件依次连接，获取各目标控件对应的动作帧的执行顺序。和现有技术相比，通过用户在图形用户界面上的绘制轨迹快捷地实现了动作帧和其执行顺序的编辑，操作简单，提高了操作效率，另外，也可以提升用户体验。
示例性地，以初始控件为起点，将所述绘制轨迹经过的至少1个目标控件依次连接，获取各所述目标控件对应的动作帧的执行顺序之后还可以执行图5所示的步骤。图5示出了本申请实施例提供的人机交互方法的流程示意图二，如图5所示，该方法还包括：
S201、根据各目标控件对应的动作帧的执行顺序，获取控制指令。
S202、向机器人发送控制指令，控制指令用于控制机器人根据执行顺序依次执行各目标控件所对应动作帧的动作。
具体地，人机交互设备根据绘制轨迹经过的各目标控件对应的动作帧的执行顺序可以获取控制指令，控制指令用于控制机器人根据该执行顺序依次执行各目标控件所对应动作帧的动作，然后向机器人发送该控制指令，相应的，机器人接收人机交互设备发送的该控制指令，并响应于该控制指令，根据该执行顺序依次执行各目标控件所对应动作帧的动作。
在一可选的实施方式中，向机器人发送控制指令的形式可以为：用户点击图形用户界面上的“开始”按钮。
其中，机器人在执行各目标控件所对应动作帧的动作时，还可以实时地将已执行动作帧反馈给人机交互设备。
可选地，人机交互设备在向机器人发送控制指令之后，还可以执行：
S203、响应于机器人反馈的已执行动作帧，在图形用户界面以第一预设样式更新已执行动作帧对应的目标控件，并以第二预设样式更新已执行动作帧对应的目标控件与前一目标控件之间的连线。
其中，第一预设样式例如可以为高亮显示控件的图标、改变控件的图标的颜色、改变控件的图标的形状等。第二预设样式例如可以为高亮显示、加粗显示、改变连线的颜色、改变连线的形状等。
具体地，人机交互设备的图形用户界面上显示有依次连接的各目标控件，响应于机器人反馈的已执行动作帧，可以在图形用户界面以第一预设样式更新已执行动作帧对应的目标控件，以第二预设样式更新已执行动作帧对应的目标控件与前一目标控件之间的连线，其中，以第二预设样式更新已执行动作帧对应的目标控件与前一目标控件之间的连线，便于用户查看动作帧的执行方向。
另外，还可以基于预设速度、以第二预设样式更新已执行动作帧对应的目标控件与前一目标控件之间的连线，在图4实施例的基础上，图6示出了本申请实施例提供的图形用户界面的示意图三，如图6所示，机器人反馈已执行动作帧为控件2对应的动作帧，说明控件1对应的动作帧已被执行，则响应于机器人反馈的已执行动作帧为控件2对应的动作帧，可以高亮显示控件2的图标，图6中的高亮显示标记为控件2的图标的边缘加粗，其中，控件1的图标也是高亮显示，控件2与控件1之间的连线可以加粗显示，并且以预设速度加粗显示该连线。
需要说明的是，首先是控件2和控件2之间的连线的加粗显示，待该连线加粗显示完毕后，再高亮显示控件2的图标。这样，便于用户查看机器人的执行进度。
本实施例提供的人机交互方法，包括：根据各目标控件对应的动作帧的执行顺序，获取控制指令，向机器人发送控制指令，控制指令用于控制机器人根据执行顺序依次执行各目标控件所对应动作帧的动作，从而能够在图形用户界面上供用户设定动作帧的执行顺序，快捷地编辑机器人的动作，进而控制机器人按照该执行顺序执行相应的动作，操作简单，提高了用户体验。
示例性地，响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹之前，还包括：响应作用于控件的移动操作，移动控件在图形用户界面中的位置。
示例性地，以初始控件为起点，将绘制轨迹经过的至少1个目标控件依次连接，获取各目标控件对应的动作帧的执行顺序之前，还包括：
在预设时间间隔、以第三预设样式显示初始控件。
下面结合图7实施例进行具体说明。图7示出了本申请实施例提供的人机交互方法的流程示意图三，如图7所示，该方法具体包括：
S301、响应作用于控件的移动操作，移动控件在图形用户界面中的位置。其中，移动操作可以为点击并拖动、触控并拖动、短按并拖动中的任意一种。
在一可能的实施方式中，图形用户界面显示有动作帧对应的控件，用户可以根据实际需求调整图形用户界面上显示的控件的位置，因此，用户可以输入作用于控件的移动操作，终端响应作用于控件的移动操作，可以移动该控件在图形用户界面中的位置。
需要说明的是，作用于控件的移动操作可以为作用于该控件的图标的中心的移动操作、或者作用于该控件的图标的左上角、右上角、左下角、右下角的移动操作。
其中，移动操作和上述确定操作不同，以便于机器识别。
在图3实施例的基础上，不选中控件以显示编辑区域，图8示出了本申请实施例提供的图形用户界面的示意图四，如图8所示，用户点击并拖动控件1到控件10之后，终端响应该点击并拖动的操作，将控件1移动到控件10之后。
S302、响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹。
S303、在预设时间间隔、以第三预设样式显示初始控件。
响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹，包括：响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹，并以预设动画显示绘制轨迹。
其中，预设动画例如可以为水波形的动画，当用户在图形用户界面上绘制轨迹时，可以以预设动画显示该绘制轨迹，这样让用户得到类似手指划过液体表面的体验，并且可以以起点到终点的动画逐渐展示绘制轨迹，便于用户确定操作方向，进一步地提高用户体验。
当获取作用于初始控件的确定操作，也即触发连线事件，则可以在预设时间间隔、以第三预设样式显示初始控件，第三预设样式例如可以为高亮显示控件的图标、改变控件的图标的颜色、改变控件的图标的形状等，预设时间间隔例如可以为1s、2s，本实施例对此不做特别限定，从而提示用户哪个是初始控件。
可选地，上述方法还包括：
根据绘制轨迹，依次以第四预设样式更新绘制轨迹经过的目标控件。
其中，第四预设样式例如可以高亮显示控件的图标、改变控件的图标的颜色、改变控件的图标的形状等。
具体地，当绘制轨迹经过目标控件时，可以依次以第四预设样式更新绘制轨迹经过的目标控件，也就是说，当用户手指划过某一目标控件时，则可以以第四预设样式更新该目标控件，从而可以提示用户该目标控件与前一个目标控件已经建立连接，并且当前激活的目标控件作为下一次控件连接事件的起点。
其中，该目标控件的前一目标控件可以仍然以第四预设样式进行显示，还可以以其它样式进行显示，本实施例对此不做特别限定。
S304、以初始控件为起点，将绘制轨迹经过的至少1个目标控件依次连接，获取各目标控件对应的动作帧的执行顺序。
其中，各目标控件对应的动作帧的执行顺序为依次连接的至少1个目标控件的顺序，在轨迹绘制过程中，控件之间的连接可以为高亮显示的直线，待绘制完毕，可以以将高亮显示的直线变成虚线。
步骤S304的实现过程可以参照步骤S102的具体描述，在此不再赘述。
本实施例提供的人机交互方法，包括：响应作用于控件的移动操作，移动控件在图形用户界面中的位置，响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹，在预设时间间隔、以第三预设样式显示初始控件，以初始控件为起点，将绘制轨迹经过的至少1个目标控件依次连接，获取各目标控件对应的动作帧的执行顺序。通过用户在图形用户界面上的绘制轨迹快捷地实现了动作帧和其执行顺序的编辑，操作简单，提高了操作效率。
在上述实施例的基础上，将绘制轨迹经过的目标控件依次连接后，还可以删除目标连接线，具体包括：
A：响应针对图形用户界面的第一绘制操作，确定用户在图形用户界面上绘制的第一移动轨迹。
B：若第一移动轨迹与虚拟连接线中的目标连接线相交，则删除目标连接线，获取删除目标连接线后依次连接的多个目标控件。
其中，第一绘制操作用可以为滑动操作等，第一绘制操作用于在界面上绘制移动轨迹。
用户在图形用户界面输入第一绘制操作，相应的，人机交互设备响应于第一绘制操作，确定用户在图形用户界面上绘制的第一移动轨迹，若第一移动轨迹与虚拟连接线中的目标连接线相交，则删除目标连接线，并获取删除目标连接线后依次连接的多个目标控件，也就是说，将目标连接线的终点的对应的控件删除，得到依次连接的多个目标控件。
其中，目标连接线的数量包括但不限于一条。
图9示出了本申请实施例提供的图形用户界面的示意图五，如图9所示，目标连接线为控件4和控件5之间的连接线，第一移动轨迹A与目标连接线相交，则删除目标连接线，并获取删除目标连接后依次连接的多个目标控件，也就是说，当前依次连接的控件为控件1、控件2、控件3、控件4。
可选地，该方法还包括：
在删除目标连接线时，以第五预设样式更新目标连接线终点对应的控件。
其中，第五预设样式例如可以为控件的图标颜色变浅、控件的图标的亮度降低、控件的图标形状发生改变等。
在删除目标连接线时，说明目标连接线终端对应的控件要被删除，则可以以第五预设样式更新目标连接线终端对应的控件，以提示用户该控件即将断开连接。
可选地，该方法还包括：
在删除目标连接线时，以预设动画显示目标连接线消失。
其中，预设动画例如可以为目标连接线逐渐变成透明效果，也就是说，在删除目标连接线时，目标连接线播放预设动画之后消失。
当然，在删除目标连接线时，目标连接线还可以改变颜色、形状或者以其它方式提示用户该目标连接线即将被删除。
可选地，在获取删除目标连接线后依次连接的多个目标控件之后，还可以执行：
C：根据依次连接的多个目标控件，获取新的控制指令。
D：向机器人发送新的控制指令，新的控制指令用于指示机器人根据多个目标控件连接顺序对应的执行顺序，执行各目标控件所对应动作帧的动作。
当删除目标连接线后，根据当前图形用户界面上显示的依次连接的多个目标控件可以获取新的控制指令，控制指令用于指示机器人根据多个目标控件连接顺序对应的执行顺序，执行各目标控件所对应动作帧的动作，然后向机器人发送新的控制指令，相应的，机器人接收人机交互设备发送的新的控制指令，并响应于新的控制指令，根据多个目标控件连接顺序对应的执行顺序，执行各目标控件所对应动作帧的动作，也就是说，多个目标控件的连接顺序即为各目标控件多对应动作帧的执行顺序。
其中，用户可以点击图形用户界面提供的“开始”按钮，以实现向机器人发送新的控制执行。
E：响应于机器人反馈的已执行动作帧，在图形用户界面以第七预设样式更新已执行动作帧对应的目标控件，并以第八预设样式更新已执行动作帧对应的目标控件与前一目标控件之间的连线。
步骤C-E的实现过程和上述方法实施例中的步骤S201-S203类似，详细可参考上述过程。
可选地，获取新的控制指令之前，还可以执行：
F：响应针对图形用户界面的第二绘制操作，确定用户在图形用户界面上绘制的第二移动轨迹，其中，第二移动轨迹经过至少一个目标控件。
G：根据第二移动轨迹，连接第二移动轨迹所经过的目标控件以及其它至少一个控件，获取新的依次连接的多个目标控件。
其中，第二绘制操作用可以为滑动操作等，第二绘制操作用于在界面上绘制移动轨迹。
用户在图形用户界面上输入第二绘制操作，人机交互设备响应于第二绘制操作，确定用户在图形用户界面上绘制的第二移动轨迹，其中，第二移动轨迹经过至少一个目标控件，其中，至少一个目标控件可以包括目标连接线起点对应的目标控件，也可以包括当前图形用户界面上显示的第一个目标控件。
然后根据第二移动轨迹，连接第二移动轨迹所经过的目标控件以及至少一个其它控件，以获取新的依次连接的多个目标控件，其中，至少一个其它控件可以包括目标连接线终点对应的控件，也可以包括图形用户界面上未连接的其它控件。
若至少一个目标控件为目标连接线起点对应的控件，至少一个其它控件为目标连接线终点对应的控件，说明取消了目标连接线的删除操作，恢复了目标连接线。
图10示出了本申请实施例提供的图形用户界面的示意图六，图11示出了本申请实施例提供的图形用户界面的示意图七。
如图10所示，在图9实施例的基础上，第二移动轨迹B经过至少一个目标控件和至少一个其它控件，至少一个目标控件为目标连接线起点对应的控件4，至少一个其它控件为目标连接线终点对应的控件5，连接目标连接线起点对应的控件4和目标连接线终点对应的控件5，从而获取新的依次连接的多个目标控件，即多个目标控件包括依次连接的控件1、控件2、控件3、控件4、控件5。
如图11所示，在图9实施例的基础上，图形用户界面上还显示有除了控件1至控件5之外的其它控件，例如，控件6和控件7，第二移动轨迹B经过至少一个目标控件，至少一个目标控件为当前图形用户界面上显示的第一个目标控件，即控件1，根据第二移动轨迹，依次连接控件1、控件6和控件7，从而获取新的依次连接的多个目标控件，即多个目标控件包括依次连接的控件7、控件6、控件1、控件2、控件3、控件4。
可选地，获取新的控制指令之前，还可以执行：
H：响应针对图形用户界面的第二绘制操作，确定用户在图形用户界面上绘制的第二移动轨迹，第二绘制操作与第一绘制操作的方向相反。
I：若重复执行第一绘制操作和第二绘制操作的次数达到预设次数，则恢复目标连接线。
其中，第二绘制操作与第一绘制操作的方向相反，例如，第一绘制操作为由上往下滑动，第二绘制操作为由下往上的滑动，或者，第一绘制操作为由坐往右的滑动，第二绘制操作为由右往左的滑动，本实施例对第一绘制操作和第二绘制操作的具体实现不做特别限定。
具体地，用户在图形用户界面上输入第二绘制操作，人机交互设备响应于针对图形用户界面的第二绘制操作，确定用户在图形用户界面上绘制的第二移动轨迹，若重复执行第一绘制操作和第二绘制操作的次数达到预设次数，则恢复目标连接线。
也就是说，用户输入针对图形用户界面的第二绘制操作，则恢复目标连接线，再次输入针对图形用户界面的第一绘制操作，则删除目标连接线，重复执行第一绘制操作和第二绘制操作的次数达到预设次数时则恢复目标连接线。其中，第一移动轨迹和第二移动轨迹在图形用户界面上均与目标连接线相交。
图12示出了本申请实施例提供的图形用户界面的示意图八。如图12所示，第一绘制操作为由上往下滑动，第二绘制操作为由下往上的滑动，即第一移动轨迹A和第二移动轨迹B的方向相反，第一移动轨迹A与目标连接线相交，目标连接线为控件4和控件5之间的连接线，然后响应于第二绘制操作，确定第二移动轨迹B，第二移动轨迹B与目标连接线相交，重复执行第一绘制操作和第二绘制操作的次数达到预设次数，则恢复目标连接线。
需要说明的是，预设次数例如可以为3次，表示第一绘制操作和第二绘制操作交替执行、且各操作分别执行预设3次，本实施例对预设次数不做特别限定。
本实施例提供的人机交互方法，通过绘制与已有连接线相交的移动轨迹即可从依次连接的控件中删除控件，操作简单，操作效率高。
图13示出了本申请实施例提供的人机交互装置的结构示意图，如图13所示，人机交互装置40包括：
检测模块401，用于响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹；
获取模块402，用于以所述初始控件为起点，将所述绘制轨迹经过的至少1个目标控件依次连接，获取各所述目标控件对应的动作帧的执行顺序。
可选地，所述获取模块402，还用于：
根据各所述目标控件对应的动作帧的执行顺序，获取控制指令；
人机交互装置40还包括：
发送模块403，用于向所述机器人发送所述控制指令，所述控制指令用于控制所述机器人根据所述执行顺序依次执行各所述目标控件所对应动作帧的动作。
可选地，人机交互装置40还包括：
更新模块404，用于响应于所述机器人反馈的已执行动作帧，在所述图形用户界面以第一预设样式更新已执行动作帧对应的所述目标控件，并以第二预设样式更新已执行动作帧对应的所述目标控件与前一目标控件之间的连线。
可选地，人机交互装置40还包括：
移动模块405，用于响应作用于所述控件的移动操作，移动所述控件在所述图形用户界面中的位置。
可选地，人机交互装置40还包括：
显示模块406，用于在预设时间间隔、以第三预设样式显示所述初始控件。
可选地，所述检测模块401，具体用于：
响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹，并以预设动画显示所述绘制轨迹。
可选地，所述更新模块404，还用于：
根据所述绘制轨迹，依次以第四预设样式更新所述绘制轨迹经过的所述目标控件。
可选地，所述显示模块406，还用于：
响应于对所述控件的选中操作，显示所述控件对应的动作信息，其中，所述动作信息包括下述至少一种：动作名称、动作类型、动作参数。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
图14示出了本申请实施例提供的人机交互设备的结构示意图，如图14所示，人机交互设备100包括：处理器501、存储器502和总线503，所述存储器502存储有所述处理器501可执行的计算机程序，当所述人机交互设备50运行时，所述处理器501与所述存储器502之间通过总线503通信，所述处理器501执行所述计算机程序，以执行上述方法实施例。
本申请实施例还提供一种存储介质，包括：所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法实施例。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (9)
1.一种人机交互方法，其特征在于，应用于人机交互设备，所述人机交互设备与机器人通信连接，通过在所述人机交互设备的处理器上执行软件应用并在所述人机交互设备的显示器上渲染得到图形用户界面，所述图形用户界面上显示有动作帧对应的控件，所述方法包括：
响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹；
以所述初始控件为起点，将所述绘制轨迹经过的至少1个目标控件依次连接，获取各所述目标控件对应的动作帧的执行顺序；
根据各所述目标控件对应的动作帧的执行顺序，获取控制指令；
向所述机器人发送所述控制指令，所述控制指令用于控制所述机器人根据所述执行顺序依次执行各所述目标控件所对应动作帧的动作；所述向所述机器人发送所述控制指令之后，还包括：
响应于所述机器人反馈的已执行动作帧，在所述图形用户界面以第一预设样式更新已执行动作帧对应的所述目标控件，并以第二预设样式更新已执行动作帧对应的所述目标控件与前一目标控件之间的连线。
2.根据权利要求1所述的方法，其特征在于，所述响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹之前，还包括：
响应作用于所述控件的移动操作，移动所述控件在所述图形用户界面中的位置。
3.根据权利要求1-2任一项所述的方法，其特征在于，所述以所述初始控件为起点，将所述绘制轨迹经过的至少1个目标控件依次连接，获取各所述目标控件对应的动作帧的执行顺序之前，还包括：
在预设时间间隔、以第三预设样式显示所述初始控件。
4.根据权利要求1所述的方法，其特征在于，所述响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹，包括：
响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹，并以预设动画显示所述绘制轨迹。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述绘制轨迹，依次以第四预设样式更新所述绘制轨迹经过的所述目标控件。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于对所述控件的选中操作，显示所述控件对应的动作信息，其中，所述动作信息包括下述至少一种：动作名称、动作类型、动作参数。
7.一种人机交互装置，通过在人机交互设备的处理器上执行软件应用并在所述人机交互设备的显示器上渲染得到图形用户界面，所述图形用户界面上显示有动作帧对应的控件，所述装置包括：
检测模块，用于响应作用于初始控件的确定操作，检测用户在所述图形用户界面上的绘制轨迹；
获取模块，用于以所述初始控件为起点，将所述绘制轨迹经过的至少1个目标控件依次连接，获取各所述目标控件对应的动作帧的执行顺序；
所述获取模块，还用于：
根据各所述目标控件对应的动作帧的执行顺序，获取控制指令；
所述装置还包括：
发送模块，用于向机器人发送所述控制指令，所述控制指令用于控制所述机器人根据所述执行顺序依次执行各所述目标控件所对应动作帧的动作；
所述装置还包括：
更新模块，用于响应于所述机器人反馈的已执行动作帧，在所述图形用户界面以第一预设样式更新已执行动作帧对应的所述目标控件，并以第二预设样式更新已执行动作帧对应的所述目标控件与前一目标控件之间的连线。
8.一种人机交互设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的计算机程序，当人机交互设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述计算机程序，以执行权利要求1-6任一项所述的方法。
9.一种存储介质，其特征在于，包括：所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011023667.5A CN112180841B (zh) | 2020-09-25 | 2020-09-25 | 人机交互方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011023667.5A CN112180841B (zh) | 2020-09-25 | 2020-09-25 | 人机交互方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112180841A CN112180841A (zh) | 2021-01-05 |
| CN112180841B true CN112180841B (zh) | 2021-10-08 |
Family
ID=73945278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011023667.5A Active CN112180841B (zh) | 2020-09-25 | 2020-09-25 | 人机交互方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112180841B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112764834A (zh) * | 2021-01-21 | 2021-05-07 | 乐聚(深圳)机器人技术有限公司 | 控件的动作绑定方法、装置、设备及存储介质 |
| CN112770058B (zh) * | 2021-01-22 | 2022-07-26 | 维沃移动通信（杭州）有限公司 | 拍摄方法、装置、电子设备和可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013200898A (ja) * | 2013-07-08 | 2013-10-03 | Olympus Imaging Corp | 操作制御装置、操作制御方法および操作制御用プログラム |
| CN108184070A (zh) * | 2018-03-23 | 2018-06-19 | 维沃移动通信有限公司 | 一种拍摄方法及终端 |
| CN110064193A (zh) * | 2019-04-29 | 2019-07-30 | 网易（杭州）网络有限公司 | 游戏中虚拟对象的操控控制方法、装置和移动终端 |
| CN110624241A (zh) * | 2019-09-29 | 2019-12-31 | 网易（杭州）网络有限公司 | 信息处理方法及装置、电子设备、存储介质 |
| CN111452042A (zh) * | 2020-03-25 | 2020-07-28 | 慧灵科技（深圳）有限公司 | 一种机械臂的控制方法、系统及控制终端 |
-
2020
- 2020-09-25 CN CN202011023667.5A patent/CN112180841B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013200898A (ja) * | 2013-07-08 | 2013-10-03 | Olympus Imaging Corp | 操作制御装置、操作制御方法および操作制御用プログラム |
| CN108184070A (zh) * | 2018-03-23 | 2018-06-19 | 维沃移动通信有限公司 | 一种拍摄方法及终端 |
| CN110064193A (zh) * | 2019-04-29 | 2019-07-30 | 网易（杭州）网络有限公司 | 游戏中虚拟对象的操控控制方法、装置和移动终端 |
| CN110624241A (zh) * | 2019-09-29 | 2019-12-31 | 网易（杭州）网络有限公司 | 信息处理方法及装置、电子设备、存储介质 |
| CN111452042A (zh) * | 2020-03-25 | 2020-07-28 | 慧灵科技（深圳）有限公司 | 一种机械臂的控制方法、系统及控制终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112180841A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102722334B (zh) | 触摸屏幕的控制方法及装置 | |
| CN103530047B (zh) | 一种触摸屏设备事件触发方法及装置 | |
| JP7150108B2 (ja) | ゲームプログラム、情報処理装置、情報処理システム、および、ゲーム処理方法 | |
| CN111625158B (zh) | 电子交互平板、菜单展示方法及书写工具属性的控制方法 | |
| CN103870156B (zh) | 一种处理对象的方法及装置 | |
| CN110493018B (zh) | 一种群聊创建方法和装置 | |
| JP6313395B1 (ja) | 描画処理方法、描画処理プログラム及び描画処理装置 | |
| CN107185232B (zh) | 虚拟对象运动控制方法、装置、电子设备及存储介质 | |
| US9870144B2 (en) | Graph display apparatus, graph display method and storage medium | |
| CN112180841B (zh) | 人机交互方法、装置、设备及存储介质 | |
| CN108064368A (zh) | 柔性显示设备的控制方法及装置 | |
| CN102947783A (zh) | 多点触控标记菜单和有方向性的和弦手势 | |
| CN107329644A (zh) | 一种图标移动方法以及装置 | |
| JP7261845B2 (ja) | 画像制御方法およびプログラム | |
| KR20130112629A (ko) | 미디어 기기의 메뉴 제어 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체 | |
| CN109806579A (zh) | 游戏中虚拟对象的控制方法、装置、电子设备及存储介质 | |
| CN111389003A (zh) | 游戏角色控制方法、装置、设备及计算机可读存储介质 | |
| CN103309483B (zh) | 一种电子设备以及触控信息输入方法 | |
| CN111142689B (zh) | 一种移动控制方法、装置、设备及计算机可读存储介质 | |
| CN112180840B (zh) | 人机交互方法、装置、设备及存储介质 | |
| JP2016038910A (ja) | 表示制御装置、表示制御方法、及びそれをコンピュータで実行するためのコンピュータ・プログラム | |
| JP2016095716A (ja) | 情報処理装置、情報処理方法、ならびに、プログラム | |
| CN104049845B (zh) | 一种信息处理方法及电子设备 | |
| JP6034878B2 (ja) | オブジェクト選択方法、プログラムを記憶する記憶媒体及び情報処理装置 | |
| JP6131004B2 (ja) | オブジェクト表示方法、プログラム、及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |