CN112180840B - 人机交互方法、装置、设备及存储介质 - Google Patents
人机交互方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112180840B CN112180840B CN202011023660.3A CN202011023660A CN112180840B CN 112180840 B CN112180840 B CN 112180840B CN 202011023660 A CN202011023660 A CN 202011023660A CN 112180840 B CN112180840 B CN 112180840B
- Authority
- CN
- China
- Prior art keywords
- target
- control
- user interface
- graphical user
- connecting line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000009471 action Effects 0.000 claims abstract description 88
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000009877 rendering Methods 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 19
- 230000004044 response Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35431—Interactive
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种人机交互方法、装置、设备及存储介质，其中，该方法应用于人机交互设备，人机交互设备与机器人通信连接，通过在人机交互设备的处理器上执行软件应用并在人机交互设备的显示器上渲染得到图形用户界面，图形用户界面上显示有通过虚拟连接线依次连接的多个控件，每个控件对应一个动作帧，该方法包括：响应针对图形用户界面的第一绘制操作，确定用户在图形用户界面上绘制的第一移动轨迹，若第一移动轨迹与虚拟连接线中的目标连接线相交，则删除目标连接线，获取删除目标连接线后依次连接的多个目标控件。通过绘制与已有连接线相交的移动轨迹即可从依次连接的控件中删除控件，操作简单，操作效率高。
Description
技术领域
本申请涉及机器人控制技术领域，具体而言，涉及一种人机交互方法、装置、设备及存储介质。
背景技术
随着机器人技术的快速发展，机器人在越来越多的行业得到了广泛地应用。其中，人形机器人是一种旨在模仿人类外观和行为的机器人，尤其指具有和人类相似肌的机器人。
相关技术中，用户可以设置不同时间点人形机器人的动作帧来建立机器人动作，当用户想要删除某个动作帧时，可以点击该动作帧，并在弹出的菜单中选择删除，并在确认窗口进行确认。
然而，在删除某个动作帧时，往往需要多次操作，操作比较繁琐，影响用户体验。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种人机交互方法、装置、设备及存储介质，以解决现有技术中在删除动作帧时操作繁琐的问题。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请一实施例提供了一种人机交互方法，所述方法包括：
响应针对所述图形用户界面的第一绘制操作，确定用户在所述图形用户界面上绘制的第一移动轨迹；
若所述第一移动轨迹与所述虚拟连接线中的目标连接线相交，则删除所述目标连接线，获取删除所述目标连接线后依次连接的多个目标控件。
可选地，所述获取删除所述目标连接线后依次连接的多个目标控件之后，还包括：
根据依次连接的多个目标控件，获取新的控制指令；
向所述机器人发送所述新的控制指令，所述新的控制指令用于指示所述机器人根据多个所述目标控件连接顺序对应的执行顺序，执行各所述目标控件所对应动作帧的动作。
可选地，所述根据依次连接的多个目标控件，获取新的控制指令之前，还包括：
响应针对所述图形用户界面的第二绘制操作，确定所述用户在所述图形用户界面上绘制的第二移动轨迹，其中，所述第二移动轨迹经过至少一个所述目标控件；
根据所述第二移动轨迹，连接所述第二移动轨迹所经过的目标控件以及其它至少一个控件，获取新的依次连接的多个目标控件。
可选地，所述根据依次连接的多个目标控件，获取新的控制指令之前，还包括：
响应针对所述图形用户界面的第二绘制操作，确定所述用户在所述图形用户界面上绘制的第二移动轨迹，所述第二绘制操作与所述第一绘制操作的方向相反；
若重复执行所述第一绘制操作和所述第二绘制操作的次数达到预设次数，则恢复所述目标连接线。
可选地，所述向所述机器人发送执行指令之后，还包括：
响应于所述机器人反馈的已执行动作帧，在所述图形用户界面以第一预设样式更新已执行动作帧对应的所述目标控件，并以第二预设样式更新已执行动作帧对应的所述目标控件与前一目标控件之间的连线。
可选地，所述方法还包括：
在删除所述目标连接线时，以预设动画显示所述目标连接线消失。
可选地，所述方法还包括：
在删除所述目标连接线时，以第三预设样式更新所述目标连接线终点对应的所述控件。
第二方面，本申请另一实施例提供了一种人机交互装置，通过在所述人机交互设备的处理器上执行软件应用并在所述人机交互设备的显示器上渲染得到图形用户界面，所述图形用户界面上显示有通过虚拟连接线依次连接的多个控件，每个所述控件对应一个动作帧，所述装置包括：
确定模块，用于响应针对所述图形用户界面的第一绘制操作，确定用户在所述图形用户界面上绘制的第一移动轨迹；
处理模块，用于若所述第一移动轨迹与所述虚拟连接线中的目标连接线相交，则删除所述目标连接线，获取删除所述目标连接线后依次连接的多个目标控件。
可选地，所述装置还包括：
获取模块，用于根据依次连接的多个目标控件，获取新的控制指令；
发送模块，用于向所述机器人发送所述新的控制指令，所述新的控制指令用于指示所述机器人根据多个所述目标控件连接顺序对应的执行顺序，执行各所述目标控件所对应动作帧的动作。
可选地，所述确定模块，还用于：
响应针对所述图形用户界面的第二绘制操作，确定所述用户在所述图形用户界面上绘制的第二移动轨迹，其中，所述第二移动轨迹经过至少一个所述目标控件；
所述处理模块，还用于：根据所述第二移动轨迹，连接所述第二移动轨迹所经过的目标控件以及其它至少一个控件，获取新的依次连接的多个目标控件。
可选地，所述确定模块，还用于：
响应针对所述图形用户界面的第二绘制操作，确定所述用户在所述图形用户界面上绘制的第二移动轨迹，所述第二绘制操作与所述第一绘制操作的方向相反；
所述处理模块，还用于：
若重复执行所述第一绘制操作和所述第二绘制操作的次数达到预设次数，则恢复所述目标连接线。
可选地，所述处理模块，还用于：
响应于所述机器人反馈的已执行动作帧，在所述图形用户界面以第一预设样式更新已执行动作帧对应的所述目标控件，并以第二预设样式更新已执行动作帧对应的所述目标控件与前一目标控件之间的连线。
可选地，所述装置还包括：
显示模块，用于在删除所述目标连接线时，以预设动画显示所述目标连接线消失。
可选地，所述显示模块，还用于：
在删除所述目标连接线时，以第三预设样式更新所述目标连接线终点对应的所述控件。
第三方面，本申请另一实施例提供了一种人机交互设备，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的计算机程序，当所述人机交互设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述计算机程序，以执行如上述第一方面任一所述方法的。
第四方面，本申请另一实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一所述方法。
本申请提供的一种人机交互方法、装置、设备及存储介质，其中，该方法应用于人机交互设备，人机交互设备与机器人通信连接，通过在人机交互设备的处理器上执行软件应用并在人机交互设备的显示器上渲染得到图形用户界面，图形用户界面上显示有通过虚拟连接线依次连接的多个控件，每个控件对应一个动作帧，该方法包括：响应针对图形用户界面的第一绘制操作，确定用户在图形用户界面上绘制的第一移动轨迹，若第一移动轨迹与虚拟连接线中的目标连接线相交，则删除目标连接线，获取删除目标连接线后依次连接的多个目标控件。和现有技术相比，通过绘制与已有连接线相交的移动轨迹即可从依次连接的控件中删除控件，用户只需简单的操作即可实现控件的删除，操作简单，操作效率高。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1示出了本申请实施例提供的人机交互方法的架构示意图；
图2示出了本申请实施例提供的人机交互方法的流程示意图一；
图3示出了本申请实施例提供的图形用户界面的示意图一；
图4示出了本申请实施例提供的图形用户界面的示意图二；
图5示出了本申请实施例提供的人机交互方法的流程示意图二；
图6示出了本申请实施例提供的图形用户界面的示意图三；
图7示出了本申请实施例提供的人机交互方法的流程示意图三；
图8示出了本申请实施例提供的图形用户界面的示意图四；
图9示出了本申请实施例提供的图形用户界面的示意图五；
图10示出了本申请实施例提供的人机交互方法的流程示意图四；
图11示出了本申请实施例提供的图形用户界面的示意图六；
图12示出了本申请实施例提供的图形用户界面的示意图七；
图13示出了本申请实施例提供的人机交互装置的结构示意图；
图14示出了本申请实施例提供的人机交互设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
针对现有技术中删除动作帧操作繁琐的问题，本申请提供了一种人机交互方法，通过绘制与已有连接线相交的移动轨迹实现动作帧对应的控件的删除，操作简单，操作效率高。
图1示出了本申请实施例提供的人机交互方法的架构示意图，如图1所示，包括通信连接的人机交互设备100和机器人200。
人机交互设备100安装有机器人200对应的软件应用，用户通过该软件应用可以远程控制机器人200开机、关机以及执行某些动作，例如，跳舞、武术、太极等。其中，人机交互设备100例如可以为手机、平台电脑、台式电脑、专用手柄等，本实施例对此不做特别限定。
机器人200可以为人形机器人，人形机器人是一种旨在模仿人类外观和行为的机器人，尤其特指具有和人类相似肌体的种类。
人机交互设备100和机器人200之间的通信连接例如可以为蓝牙连接、通过局域网连接、通过数据网络连接等无线连接。
下面结合图1描述的内容，对本申请实施例提供的人机交互方法进行详细说明。
图2示出了本申请实施例提供的人机交互方法的流程示意图一，如图2所示，本实施例的执行主体为人机交互设备，该方法包括：
S101、响应针对图形用户界面的第一绘制操作，确定用户在图形用户界面上绘制的第一移动轨迹。
S102、若第一移动轨迹与虚拟连接线中的目标连接线相交，则删除目标连接线，获取删除目标连接线后依次连接的多个目标控件。
人机交互设备与机器人通信连接，通过在人机交互设备的处理器上执行软件应用并在人机交互设备的显示器上渲染得到图形用户界面，图形用户界面上显示有通过虚拟连接线依次连接的多个控件，每个控件对应一个动作帧。
其中，第一绘制操作用可以为滑动操作等，第一绘制操作用于在界面上绘制移动轨迹。其中，绘制移动轨迹的方式根据人机交互设备的类型决定，可以是通过触控完成，也可以通过鼠标等输入设备完成，在此不作限制。
用户在图形用户界面输入第一绘制操作，相应的，人机交互设备响应于第一绘制操作，确定用户在图形用户界面上绘制的第一移动轨迹，若第一移动轨迹与虚拟连接线中的目标连接线相交，则删除目标连接线，并获取删除目标连接线后依次连接的多个目标控件，也就是说，将目标连接线的终点的对应的控件删除，得到依次连接的多个目标控件。
其中，目标连接线的数量包括但不限于一条。用户可以执行一次或多次删除操作，即针对一条或多条目标连接线进行第一绘制操作。
图3示出了本申请实施例提供的图形用户界面的示意图一，图4示出了本申请实施例提供的图形用户界面的示意图二。
如图3所示，图形用户界面10上显示有通过虚拟连接线依次连接的5个控件，分别记作：控件1、控件2、控件3、控件4、控件5，每个控件对应一个动作帧，每个控件对应的动作帧的动作信息可以响应于针对控件的选中操作，在图形用户界面10中的编辑区域20显示，其中，其中，动作信息包括下述至少一种：动作名称、动作类型、动作参数。
其中，动作名称例如可以为出拳、收拳、下腰等，动作类型例如可以为长拳、太极拳、南拳等，动作参数例如可以为舵机角度等。
选中操作例如可以为触控操作、单击操作、双击操作中的任意一种，需要说明的是，选中操作和确定操作是不同的操作。
图3示出的动作信息为舵机角度，且编辑区域20位于图形用户界面10的左侧。
需要说明的是，虚拟连接线可以为实线，也可以为虚线，在图3中以虚线为例。
如图4所示，在图3实施例的基础上，目标连接线为控件4和控件5之间的连接线，第一移动轨迹A与目标连接线相交，则删除目标连接线，并获取删除目标连接后依次连接的多个目标控件，也就是说，当前依次连接的控件为控件1、控件2、控件3、控件4。
可选地，该方法还包括：
在删除目标连接线时，以第三预设样式更新目标连接线终点对应的控件。
其中，第三预设样式例如可以为控件的图标颜色变浅、控件的图标的亮度降低、控件的图标形状发生改变等。
在删除目标连接线时，说明目标连接线终端对应的控件要被删除，则可以以第三预设样式更新目标连接线终端对应的控件，以提示用户该控件即将断开连接。
可选地，该方法还包括：
在删除目标连接线时，以预设动画显示目标连接线消失。
其中，预设动画例如可以为目标连接线逐渐变成透明效果，也就是说，在删除目标连接线时，目标连接线播放预设动画之后消失。
当然，在删除目标连接线时，目标连接线还可以改变颜色、形状或者以其它方式提示用户该目标连接线即将被删除。
本实施例提供的人机交互方法，包括：响应针对图形用户界面的第一绘制操作，确定用户在图形用户界面上绘制的第一移动轨迹，若第一移动轨迹与虚拟连接线中的目标连接线相交，则删除目标连接线，获取删除目标连接线后依次连接的多个目标控件。通过绘制与已有连接线相交的移动轨迹即可从依次连接的控件中删除控件，操作简单，操作效率高。
可选地，步骤S102之后还可以执行图5实施例所示的步骤。图5示出了本申请实施例提供的人机交互方法的流程示意图二，如图5所示，在获取删除所述目标连接线后依次连接的多个目标控件之后，还包括：
S201、根据依次连接的多个目标控件，获取新的控制指令。
S202、向机器人发送新的控制指令，新的控制指令用于指示机器人根据多个目标控件连接顺序对应的执行顺序，执行各目标控件所对应动作帧的动作。
当删除目标连接线后，根据当前图形用户界面上显示的依次连接的多个目标控件可以获取新的控制指令，控制指令用于指示机器人根据多个目标控件连接顺序对应的执行顺序，执行各目标控件所对应动作帧的动作，然后向机器人发送新的控制指令，相应的，机器人接收人机交互设备发送的新的控制指令，并响应于新的控制指令，根据多个目标控件连接顺序对应的执行顺序，执行各目标控件所对应动作帧的动作，也就是说，多个目标控件的连接顺序即为各目标控件多对应动作帧的执行顺序。
其中，用户可以点击图形用户界面提供的“开始”按钮，以实现向机器人发送新的控制执行。
可选地，人机交互设备在向机器人发送控制指令之后，还可以执行：
S203、响应于机器人反馈的已执行动作帧，在图形用户界面以第一预设样式更新已执行动作帧对应的目标控件，并以第二预设样式更新已执行动作帧对应的目标控件与前一目标控件之间的连线。
其中，第一预设样式例如可以为高亮显示控件的图标、改变控件的图标的颜色、改变控件的图标的形状等。第二预设样式例如可以为高亮显示、加粗显示、改变连线的颜色、改变连线的形状等。
在本实施例中，图形用户界面上显示有依次连接的多个目标控件，向机器人发送控制指令，以使机器人执行各目标控件所对应动作帧的动作，当机器人执行到某一动作帧的动作时，可以向人机交互设备反馈已执行动作帧，人机交互设备响应于机器人反馈的已执行动作帧，在图像用户界面上以第一预设样式更新已执行动作帧对应的目标控件，并以第二预设样式更新已执行动作帧对应的目标控件与前一目标控件之间的连线，这样便于用户及时查看动作帧的执行方向。
另外，还可以基于预设速度、以第二预设样式更新已执行动作帧对应的目标控件与前一目标控件之间的连线，在图4实施例的基础上，图6示出了本申请实施例提供的图形用户界面的示意图三，如图6所示，机器人反馈已执行动作帧为控件2对应的动作帧，说明控件1对应的动作帧已被执行，则响应于机器人反馈的已执行动作帧为控件2对应的动作帧，可以高亮显示控件2的图标，图6中的高亮显示标记为控件2的图标的边缘加粗，其中，控件1的图标也是高亮显示，控件2与控件1之间的连线可以加粗显示，并且以预设速度加粗显示该连线。
需要说明的是，首先是控件2和控件2之间的连线的加粗显示，待该连线加粗显示完毕后，再高亮显示控件2的图标。这样，便于用户查看机器人的执行进度。
本实施例提供的人机交互方法，包括：根据依次连接的多个目标控件，获取新的控制指令，向机器人发送新的控制指令，新的控制指令用于指示机器人根据多个目标控件连接顺序对应的执行顺序，执行各目标控件所对应动作帧的动作，响应于机器人反馈的已执行动作帧，在图形用户界面以第一预设样式更新已执行动作帧对应的目标控件，并以第二预设样式更新已执行动作帧对应的目标控件与前一目标控件之间的连线。
可选地，在步骤S201之前，还可以执行图7实施例所示的步骤。图7示出了本申请实施例提供的人机交互方法的流程示意图三，如图7所示，根据依次连接的多个目标控件，获取新的控制指令之前，还包括：
S301、响应针对图形用户界面的第二绘制操作，确定用户在图形用户界面上绘制的第二移动轨迹，其中，第二移动轨迹经过至少一个目标控件。
S302、根据第二移动轨迹，连接第二移动轨迹所经过的目标控件以及其它至少一个控件，获取新的依次连接的多个目标控件。
其中，第二绘制操作用可以为滑动操作等，第二绘制操作用于在界面上绘制移动轨迹。
用户在图形用户界面上输入第二绘制操作，人机交互设备响应于第二绘制操作，确定用户在图形用户界面上绘制的第二移动轨迹，其中，第二移动轨迹经过至少一个目标控件，其中，至少一个目标控件可以包括目标连接线起点对应的目标控件，也可以包括当前图形用户界面上显示的第一个目标控件。
然后根据第二移动轨迹，连接第二移动轨迹所经过的目标控件以及至少一个其它控件，以获取新的依次连接的多个目标控件，其中，至少一个其它控件可以包括目标连接线终点对应的控件，也可以包括图形用户界面上未连接的其它控件。
若至少一个目标控件为目标连接线起点对应的控件，至少一个其它控件为目标连接线终点对应的控件，说明取消了目标连接线的删除操作，恢复了目标连接线。
图8示出了本申请实施例提供的图形用户界面的示意图四，图9示出了本申请实施例提供的图形用户界面的示意图五。
如图8所示，在图4实施例的基础上，第二移动轨迹B经过至少一个目标控件和至少一个其它控件，至少一个目标控件为目标连接线起点对应的控件4，至少一个其它控件为目标连接线终点对应的控件5，连接目标连接线起点对应的控件4和目标连接线终点对应的控件5，从而获取新的依次连接的多个目标控件，即多个目标控件包括依次连接的控件1、控件2、控件3、控件4、控件5。
如图9所示，在图4实施例的基础上，图形用户界面上还显示有除了控件1至控件5之外的其它控件，例如，控件6和控件7，第二移动轨迹B经过至少一个目标控件，至少一个目标控件为当前图形用户界面上显示的第一个目标控件，即控件1，根据第二移动轨迹，依次连接控件1、控件6和控件7，从而获取新的依次连接的多个目标控件，即多个目标控件包括依次连接的控件7、控件6、控件1、控件2、控件3、控件4。
本实施例提供的人机交互方法，包括：响应针对图形用户界面的第二绘制操作，确定用户在图形用户界面上绘制的第二移动轨迹，其中，第二移动轨迹经过至少一个目标控件，根据第二移动轨迹，连接第二移动轨迹所经过的目标控件以及其它至少一个控件，获取新的依次连接的多个目标控件，从而可以触发新的控件连接事件，或者恢复删除的目标连接线，操作简单，操作效率高。
可选地，在步骤S201之前，还可以执行图10实施例所示的步骤。图10示出了本申请实施例提供的人机交互方法的流程示意图四，如图10所示，根据依次连接的多个目标控件，获取新的控制指令之前，还包括：
S401、响应针对图形用户界面的第二绘制操作，确定用户在图形用户界面上绘制的第二移动轨迹，第二绘制操作与第一绘制操作的方向相反。
S402、若重复执行第一绘制操作和第二绘制操作的次数达到预设次数，则恢复目标连接线。
其中，第二绘制操作与第一绘制操作的方向相反，例如，第一绘制操作为由上往下滑动，第二绘制操作为由下往上的滑动，或者，第一绘制操作为由坐往右的滑动，第二绘制操作为由右往左的滑动，本实施例对第一绘制操作和第二绘制操作的具体实现不做特别限定。
具体地，用户在图形用户界面上输入第二绘制操作，人机交互设备响应于针对图形用户界面的第二绘制操作，确定用户在图形用户界面上绘制的第二移动轨迹，若重复执行第一绘制操作和第二绘制操作的次数达到预设次数，则恢复目标连接线。
也就是说，用户输入针对图形用户界面的第二绘制操作，则恢复目标连接线，再次输入针对图形用户界面的第一绘制操作，则删除目标连接线，重复执行第一绘制操作和第二绘制操作的次数达到预设次数时则恢复目标连接线。其中，第一移动轨迹和第二移动轨迹在图形用户界面上均与目标连接线相交。
图11示出了本申请实施例提供的图形用户界面的示意图六。如图11所示，第一绘制操作为由上往下滑动，第二绘制操作为由下往上的滑动，即第一移动轨迹A和第二移动轨迹B的方向相反，第一移动轨迹A与目标连接线相交，目标连接线为控件4和控件5之间的连接线，然后响应于第二绘制操作，确定第二移动轨迹B，第二移动轨迹B与目标连接线相交，重复执行第一绘制操作和第二绘制操作的次数达到预设次数，则恢复目标连接线。
需要说明的是，预设次数例如可以为3次，表示第一绘制操作和第二绘制操作交替执行、且各操作分别执行预设3次，本实施例对预设次数不做特别限定。
本实施例提供的人机交互方法，包括：响应针对图形用户界面的第二绘制操作，确定用户在图形用户界面上绘制的第二移动轨迹，第二绘制操作与第一绘制操作的方向相反，若重复执行第一绘制操作和第二绘制操作的次数达到预设次数，则恢复目标连接线。通过第一绘制操作和第二绘制操作可以实现目标连接线的删除和恢复，操作简单，操作效率高。
在上述实施例的基础上，在图形用户界面上显示依次连接的多个控件可以按照如下方式实现：
A：响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹。
B：以初始控件为起点，将绘制轨迹经过的至少1个目标控件依次连接，获取各目标控件对应的动作帧的执行顺序。
具体地，图形用户界面上显示有动作帧对应的控件。用户可以在输入作用于初始控件的确定操作，并在图形用户界面上绘制轨迹，相应的，人机交互设备响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹，其中，确定操作用于提示用户可以绘制轨迹，也即，可以提示用户进行连线。
然后，检测用户在图形用户界面上的绘制轨迹，以初始控件为起点，将绘制轨迹经过的至少1个目标控件依次连接，从而获取各目标控件对应的动作帧的执行顺序，也就是说，各目标控件对应的动作帧的执行顺序为依次连接的至少1个目标控件的顺序。
图12示出了本申请实施例提供的图形用户界面的示意图七，如图12所示，用户可以根据实际需求确定初始控件，初始控件例如为控件1，然后长按控件1，人机交互设备响应作用于控件1的长按操作，开始检测用户在图形用户界面10上的绘制轨迹，并以控件1为起点，将绘制轨迹经过的控件2、控件3、控件4、控件5依次连接，也即，控件2、控件3、控件4、控件5为目标控件，各目标控件对应的动作帧的执行顺序为控件1、控件2、控件3、控件4、控件5。
需要说明的是，当将绘制轨迹经过的目标控件连接后，可以将图形用户界面上显示的其它控件删除，例如将控件6、7、8、9、10删除，也就是图形用户界面上只显示已连线的各目标控件。此外，依次连接的控件1、控件2、控件3、控件4、控件5之间的连线可以更新为虚线。
在获取各目标控件对应的动作帧的执行顺序之后，还可以执行：
C：根据各目标控件对应的动作帧的执行顺序，获取控制指令。
D：向机器人发送控制指令，控制指令用于控制机器人根据执行顺序依次执行各目标控件所对应动作帧的动作。
E：响应于机器人反馈的已执行动作帧，在图形用户界面以第四预设样式更新已执行动作帧对应的目标控件，并以第五预设样式更新已执行动作帧对应的目标控件与前一目标控件之间的连线。
其中，第四预设样式例如可以为高亮显示控件的图标、改变控件的图标的颜色、改变控件的图标的形状等。第五预设样式例如可以为高亮显示、加粗显示、改变连线的颜色、改变连线的形状等。
步骤C、步骤D、步骤E的实现过程和上述实施例中的步骤S201-S203类似，详细可参考上述过程。
可选地，响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹之前，还包括：
响应作用于控件的移动操作，移动控件在图形用户界面中的位置。
具体地，图形用户界面显示有动作帧对应的控件，用户可以根据实际需求调整图形用户界面上显示的控件的位置，因此，用户可以输入作用于控件的移动操作，终端响应作用于控件的移动操作，可以移动该控件在图形用户界面中的位置。
可选地，以初始控件为起点，将绘制轨迹经过的至少1个目标控件依次连接，获取各目标控件对应的动作帧的执行顺序之前，还包括：
在预设时间间隔、以第六预设样式显示初始控件。
当获取作用于初始控件的确定操作，也即触发连线事件，则可以在预设时间间隔、以第六预设样式显示初始控件，第六预设样式例如可以为高亮显示控件的图标、改变控件的图标的颜色、改变控件的图标的形状等，预设时间间隔例如可以为1s、2s，本实施例对此不做特别限定，从而提示用户哪个是初始控件。
可选地，响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹，包括：响应作用于初始控件的确定操作，检测用户在图形用户界面上的绘制轨迹，并以预设动画显示绘制轨迹。
其中，预设动画例如可以为水波形的动画，当用户在图形用户界面上绘制轨迹时，可以以预设动画显示该绘制轨迹，这样让用户得到类似手指划过液体表面的体验，并且可以以起点到终点的动画逐渐展示绘制轨迹，便于用户确定操作方向，进一步地提高用户体验。
当获取作用于初始控件的确定操作，也即触发连线事件，则可以在预设时间间隔、以第三预设样式显示初始控件，第三预设样式例如可以为高亮显示控件的图标、改变控件的图标的颜色、改变控件的图标的形状等，预设时间间隔例如可以为1s、2s，本实施例对此不做特别限定，从而提示用户哪个是初始控件。
可选地，该方法还包括：
根据绘制轨迹，依次以第七预设样式更新绘制轨迹经过的目标控件。
其中，第七预设样式例如可以高亮显示控件的图标、改变控件的图标的颜色、改变控件的图标的形状等。
具体地，当绘制轨迹经过目标控件时，可以依次以第七预设样式更新绘制轨迹经过的目标控件，也就是说，当用户手指划过某一目标控件时，则可以以第七预设样式更新该目标控件，从而可以提示用户该目标控件与前一个目标控件已经建立连接，并且当前激活的目标控件作为下一次控件连接事件的起点。
其中，该目标控件的前一目标控件可以仍然以第七预设样式进行显示，还可以以其它样式进行显示，本实施例对此不做特别限定。
本实施例提供的人机交互方法，通过用户在图形用户界面上的绘制轨迹快捷地实现了动作帧和其执行顺序的编辑，操作简单，提高了操作效率。
图13示出了本申请实施例提供的人机交互装置的结构示意图，如图13所示，人机交互装置50包括：
确定模块501，用于响应针对所述图形用户界面的第一绘制操作，确定用户在所述图形用户界面上绘制的第一移动轨迹；
处理模块502，用于若所述第一移动轨迹与所述虚拟连接线中的目标连接线相交，则删除所述目标连接线，获取删除所述目标连接线后依次连接的多个目标控件。
可选地，人机交互装置50还包括：
获取模块503，用于根据依次连接的多个目标控件，获取新的控制指令；
发送模块504，用于向所述机器人发送所述新的控制指令，所述新的控制指令用于指示所述机器人根据多个所述目标控件连接顺序对应的执行顺序，执行各所述目标控件所对应动作帧的动作。
可选地，所述确定模块501，还用于：
响应针对所述图形用户界面的第二绘制操作，确定所述用户在所述图形用户界面上绘制的第二移动轨迹，其中，所述第二移动轨迹经过至少一个所述目标控件；
所述处理模块502，还用于：根据所述第二移动轨迹，连接所述第二移动轨迹所经过的目标控件以及其它至少一个控件，获取新的依次连接的多个目标控件。
可选地，所述确定模块501，还用于：
响应针对所述图形用户界面的第二绘制操作，确定所述用户在所述图形用户界面上绘制的第二移动轨迹，所述第二绘制操作与所述第一绘制操作的方向相反；
所述处理模块502，还用于：
若重复执行所述第一绘制操作和所述第二绘制操作的次数达到预设次数，则恢复所述目标连接线。
可选地，所述处理模块502，还用于：
响应于所述机器人反馈的已执行动作帧，在所述图形用户界面以第一预设样式更新已执行动作帧对应的所述目标控件，并以第二预设样式更新已执行动作帧对应的所述目标控件与前一目标控件之间的连线。
可选地，人机交互装置50还包括：
显示模块505，用于在删除所述目标连接线时，以预设动画显示所述目标连接线消失。
可选地，所述显示模块505，还用于：
在删除所述目标连接线时，以第三预设样式更新所述目标连接线终点对应的所述控件。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
图14示出了本申请实施例提供的人机交互设备的结构示意图，如图14所示，人机交互设备100包括处理器601、存储器602和总线603，所述存储器602存储有所述处理器601可执行的计算机程序，当所述人机交互设备100运行时，所述处理器601与所述存储器602之间通过总线603通信，所述处理器601执行所述计算机程序，以执行上述方法实施例。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种人机交互方法，其特征在于，应用于人机交互设备，所述人机交互设备与机器人通信连接，通过在所述人机交互设备的处理器上执行软件应用并在所述人机交互设备的显示器上渲染得到图形用户界面，所述图形用户界面上显示有通过虚拟连接线依次连接的多个控件，每个所述控件对应一个动作帧，所述方法包括：
响应针对所述图形用户界面的第一绘制操作，确定用户在所述图形用户界面上绘制的第一移动轨迹；
若所述第一移动轨迹与所述虚拟连接线中的目标连接线相交，则删除所述目标连接线，获取删除所述目标连接线后依次连接的多个目标控件；
所述获取删除所述目标连接线后依次连接的多个目标控件，包括：
将目标连接线的终点的对应的控件删除，得到依次连接的多个目标控件。
2.根据权利要求1所述的方法，其特征在于，所述获取删除所述目标连接线后依次连接的多个目标控件之后，还包括：
根据依次连接的多个目标控件，获取新的控制指令；
向所述机器人发送所述新的控制指令，所述新的控制指令用于指示所述机器人根据多个所述目标控件连接顺序对应的执行顺序，执行各所述目标控件所对应动作帧的动作。
3.根据权利要求2所述的方法，其特征在于，所述根据依次连接的多个目标控件，获取新的控制指令之前，还包括：
响应针对所述图形用户界面的第二绘制操作，确定所述用户在所述图形用户界面上绘制的第二移动轨迹，其中，所述第二移动轨迹经过至少一个所述目标控件；
根据所述第二移动轨迹，连接所述第二移动轨迹所经过的目标控件以及其它至少一个控件，获取新的依次连接的多个目标控件。
4.根据权利要求2所述的方法，其特征在于，所述根据依次连接的多个目标控件，获取新的控制指令之前，还包括：
响应针对所述图形用户界面的第二绘制操作，确定所述用户在所述图形用户界面上绘制的第二移动轨迹，所述第二绘制操作与所述第一绘制操作的方向相反；
若重复执行所述第一绘制操作和所述第二绘制操作的次数达到预设次数，则恢复所述目标连接线。
5.根据权利要求2所述的方法，其特征在于，所述向所述机器人发送所述新的控制指令之后，还包括：
响应于所述机器人反馈的已执行动作帧，在所述图形用户界面以第一预设样式更新已执行动作帧对应的所述目标控件，并以第二预设样式更新已执行动作帧对应的所述目标控件与前一目标控件之间的连线。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在删除所述目标连接线时，以预设动画显示所述目标连接线消失。
7.根据权利要求1或6所述的方法，其特征在于，所述方法还包括：
在删除所述目标连接线时，以第三预设样式更新所述目标连接线终点对应的所述控件。
8.一种人机交互装置，其特征在于，通过在人机交互设备的处理器上执行软件应用并在所述人机交互设备的显示器上渲染得到图形用户界面，所述图形用户界面上显示有通过虚拟连接线依次连接的多个控件，每个所述控件对应一个动作帧，所述装置包括：
确定模块，用于响应针对所述图形用户界面的第一绘制操作，确定用户在所述图形用户界面上绘制的第一移动轨迹；
处理模块，用于若所述第一移动轨迹与所述虚拟连接线中的目标连接线相交，则删除所述目标连接线，获取删除所述目标连接线后依次连接的多个目标控件；
所述获取删除所述目标连接线后依次连接的多个目标控件，包括：
将目标连接线的终点的对应的控件删除，得到依次连接的多个目标控件。
9.一种人机交互设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的计算机程序，当人机交互设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述计算机程序，以执行权利要求1-7任一项所述的方法。
10.一种存储介质，其特征在于，包括：所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011023660.3A CN112180840B (zh) | 2020-09-25 | 2020-09-25 | 人机交互方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011023660.3A CN112180840B (zh) | 2020-09-25 | 2020-09-25 | 人机交互方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112180840A CN112180840A (zh) | 2021-01-05 |
| CN112180840B true CN112180840B (zh) | 2021-10-08 |
Family
ID=73945338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011023660.3A Active CN112180840B (zh) | 2020-09-25 | 2020-09-25 | 人机交互方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112180840B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115237289B (zh) * | 2022-07-01 | 2024-02-23 | 杭州涂鸦信息技术有限公司 | 热区范围确定方法、装置、设备及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7861310B2 (en) * | 2006-07-14 | 2010-12-28 | Sap Ag | Runtime modification of client user controls |
| JP2013127692A (ja) * | 2011-12-19 | 2013-06-27 | Kyocera Corp | 電子機器、削除プログラムおよび削除制御方法 |
| CN105549888B (zh) * | 2015-12-15 | 2019-06-28 | 芜湖美智空调设备有限公司 | 组合控件生成方法和装置 |
| CN109597563B (zh) * | 2019-01-24 | 2021-02-09 | 网易（杭州）网络有限公司 | 一种界面编辑方法、装置、电子设备和存储介质 |
| CN110262730A (zh) * | 2019-05-23 | 2019-09-20 | 网易（杭州）网络有限公司 | 游戏虚拟资源的编辑方法、装置、设备和存储介质 |
| CN110478902A (zh) * | 2019-08-20 | 2019-11-22 | 网易（杭州）网络有限公司 | 游戏操作方法及装置 |
| CN111167120A (zh) * | 2019-12-31 | 2020-05-19 | 网易（杭州）网络有限公司 | 游戏中虚拟模型的处理方法和装置 |
-
2020
- 2020-09-25 CN CN202011023660.3A patent/CN112180840B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112180840A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7849421B2 (en) | Virtual mouse driving apparatus and method using two-handed gestures | |
| CN103530047B (zh) | 一种触摸屏设备事件触发方法及装置 | |
| CN102520860B (zh) | 一种进行桌面显示控制的方法及移动终端 | |
| CN104571852B (zh) | 图标的移动方法及装置 | |
| CN107122119B (zh) | 信息处理方法、装置、电子设备及计算机可读存储介质 | |
| JP5056809B2 (ja) | 情報処理装置およびコンピュータプログラム | |
| CN103870156B (zh) | 一种处理对象的方法及装置 | |
| CN107185232B (zh) | 虚拟对象运动控制方法、装置、电子设备及存储介质 | |
| CN108064368A (zh) | 柔性显示设备的控制方法及装置 | |
| US20150277748A1 (en) | Edit providing method according to multi-touch-based text block setting | |
| CN110493018B (zh) | 一种群聊创建方法和装置 | |
| US20180101298A1 (en) | Graph display apparatus, graph display method and storage medium | |
| JP2015132965A (ja) | 複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム | |
| KR102228335B1 (ko) | 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법 | |
| CN112180841B (zh) | 人机交互方法、装置、设备及存储介质 | |
| CN105302458A (zh) | 一种消息显示方法及装置 | |
| CN103530045A (zh) | 一种启动菜单项的方法及移动终端 | |
| CN108803974A (zh) | 一种页面处理方法、装置以及相关设备 | |
| CN112180840B (zh) | 人机交互方法、装置、设备及存储介质 | |
| CN105808129B (zh) | 一种利用手势快速开启软件功能的方法和装置 | |
| US10895979B1 (en) | Methods and user interfaces for positioning a selection, selecting, and editing, on a computing device running under a touch-based operating system, using gestures on a touchpad device | |
| JP2017004204A (ja) | タッチ操作により電子データを編集する情報処理装置 | |
| CN105116999A (zh) | 一种智能手表的控制方法及智能手表 | |
| JP2016038910A (ja) | 表示制御装置、表示制御方法、及びそれをコンピュータで実行するためのコンピュータ・プログラム | |
| CN108815843B (zh) | 虚拟摇杆的控制方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |