CN109333527B - 一种与机器人的交互方法、装置、电子设备及存储介质 - Google Patents

一种与机器人的交互方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109333527B
CN109333527B CN201811004201.3A CN201811004201A CN109333527B CN 109333527 B CN109333527 B CN 109333527B CN 201811004201 A CN201811004201 A CN 201811004201A CN 109333527 B CN109333527 B CN 109333527B
Authority
CN
China
Prior art keywords
joint
vector
new
coordinate system
rotation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811004201.3A
Other languages
English (en)
Other versions
CN109333527A (zh
Inventor
邹翼波
苏衍宇
唐凌锋
姚强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Bozhong Intelligent Robot Co ltd
Original Assignee
Suzhou Bozhong Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Bozhong Robot Co ltd filed Critical Suzhou Bozhong Robot Co ltd
Priority to CN201811004201.3A priority Critical patent/CN109333527B/zh
Publication of CN109333527A publication Critical patent/CN109333527A/zh
Application granted granted Critical
Publication of CN109333527B publication Critical patent/CN109333527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明实施例公开一种与机器人的交互方法、装置、电子设备及存储介质，该方法包括：通过获取通过视觉传感器采集的操作员的骨骼坐标数据；根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度；控制机器人中相应关节部位依据所述转动角度运动。其中，在基准关节坐标系下计算关节之间的关联部位的转动角度，进一步通过角度映射控制机器人的相应的关联部位的运动，由于角度算法更加简单，计算速度快，可以使机器人的关联部位作仿人的跟随运动，提升了自然交互性能。

Description

一种与机器人的交互方法、装置、电子设备及存储介质
技术领域
本发明涉及互联网技术领域，尤其涉及一种与机器人的交互方法装置、电子设备及存储介质。
背景技术
近年来，智能机器人产业尤其是仿人机器人行业十分火热，各行各业都出现了仿人机器人替代人工的热潮。一些高档餐厅、酒店、银行等尝试让机器人去做一些接待服务，比如让机器人做服务员，在银行迎客等，这些接待机器人的应用吸引了人们的注意。
但是目前这些接待机器人在接待时动作不自然，比如机械臂不能柔顺运动。现有技术中采用的视觉遥控方法，需要视觉传感器捕捉人体的动作，再将人的动作通过算法映射到机械臂上，做动作时机械臂也会做出相应的动作。但是，由于映射算法的复杂性，导致机器人的动作不够拟人，不能及时跟随人的动作。
发明内容
本发明提供一种与机器人的交互方法装置、电子设备及存储介质，可以实现机器人手臂的仿人跟随运动，提升了自然交互性能。
第一方面，本发明实施例提供了一种与机器人的交互方法，所述方法包括：
获取通过视觉传感器采集的操作员的骨骼坐标数据；
根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度；
控制机器人中相应关节部位依据所述转动角度运动。
进一步的，根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度，包括：
根据所述骨骼坐标数据，确定以基准关节为基点的坐标系基矢，以及由所述基准关节到关联关节的关联部位向量；
确定所述关联部位向量与所述坐标系基矢之间的夹角，作为所述关联部位的转动角度。
进一步的，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度之后，还包括：
将所述关联关节作为新基准关节，将与所述关联关节连接的另一关节作为新关联关节，并构建以所述新基准关节为基点的新坐标系；
根据所述骨骼坐标数据以及已确定的关联部位的转动角度，确定新坐标系基矢，以及由所述新基准关节到新关联关节的新关联部位向量；
确定所述新关联部位向量与所述新坐标系基矢之间的夹角，作为所述新关联部位的转动角度。
进一步的，所述骨骼坐标数据包括：头、颈、肩和肘关节的坐标，分别为(xh,yh,zh)，(xn,yn,zn)，(xs,ys,zs)和(xe,ye,ze)；
相应的，根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度，包括：
通过以下公式确定以肩坐标为基点的坐标系下的基矢
Figure GDA0002637354560000021
和由肩关节到肘关节的关联部位的向量
Figure GDA0002637354560000031
Figure GDA0002637354560000032
Figure GDA0002637354560000033
Figure GDA0002637354560000034
Figure GDA0002637354560000035
通过以下公式确定所述肩关节到肘关节的关联部位的向量与基矢的夹角：
Figure GDA0002637354560000036
Figure GDA0002637354560000037
Figure GDA0002637354560000038
其中，
Figure GDA0002637354560000039
为一组单位正交基矢，
Figure GDA00026373545600000310
为
Figure GDA00026373545600000311
在
Figure GDA00026373545600000312
所成平面上的投影向量；θ1和θ2分别是
Figure GDA00026373545600000313
与
Figure GDA00026373545600000314
和
Figure GDA00026373545600000315
的夹角。
进一步的，所述骨骼坐标数据还包括：腕关节的坐标(xw,yw,zw)；相应的，在计算所述肩关节到肘关节的关联部位的向量与基矢的夹角之后，还包括：
通过以下公式确定以肘关节坐标为基点的坐标系下的基矢
Figure GDA00026373545600000316
和由肘到腕关节的关联部位的向量
Figure GDA00026373545600000317
Figure GDA00026373545600000318
Figure GDA00026373545600000319
Figure GDA00026373545600000320
Figure GDA0002637354560000041
通过以下公式确定由肘到腕关节的关联部位的向量与基矢的夹角：
Figure GDA0002637354560000042
Figure GDA0002637354560000043
Figure GDA0002637354560000044
其中，
Figure GDA0002637354560000045
为一组单位正交基矢，
Figure GDA0002637354560000046
为
Figure GDA0002637354560000047
在
Figure GDA0002637354560000048
所成平面上的投影向量；θ3和θ4分别是
Figure GDA0002637354560000049
与
Figure GDA00026373545600000410
和
Figure GDA00026373545600000411
的夹角。
进一步的，在获取通过视觉传感器采集的操作员的骨骼坐标数据之后，还包括：
利用高斯滤波器对所述骨骼坐标数据进行滤波。
第二方面，本发明实施例提供了一种与机器人的交互装置，所述装置包括：
骨骼数据获取模块，用于获取通过视觉传感器采集的操作员的骨骼坐标数据；
转动角度确定模块，用于根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度；
机器人控制模块，用于控制机器人中相应关节部位依据所述转动角度运动。
第三方面，本发明实施例提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实任意实施例中所述的一种与机器人的交互方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实任意实施例中所述的一种与机器人的交互方法。
本发明实施例中，获取通过视觉传感器采集的操作员的骨骼坐标数据；根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度；控制机器人中相应关节部位依据所述转动角度运动。其中，在基准关节坐标系下计算关节之间的关联部位的转动角度，进一步通过角度映射控制机器人的相应的关联部位的运动，由于角度算法更加简单，计算速度快，可以使服务机器人的关联部位作仿人的跟随运动，提升了自然交互性能。
附图说明
图1是本发明实施例一中的一种与机器人的交互方法的流程图。
图2是本发明实施例二中的一种与机器人的交互方法的流程图。
图3是本发明实施例二中的肩关节到肘关节的关联部位的角度求解示意图。
图4是本发明实施例二中的肘关节到腕关节的关联部位的角度求解示意图。
图5是本发明实施例二中的机器人的机械臂关节的角度示意图。
图6是本发明实施例三中的一种与机器人的交互装置的结构示意图。
图7是本发明实施例四中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种与机器人的交互方法的流程图，本实施例可适用于与机器人交互的情况，该方法可以由机器人的交互装置来执行，该装置可通过软件和/或硬件实现，该方法具体包括如下步骤：
S110、获取通过视觉传感器采集的操作员的骨骼坐标数据。
其中，视觉传感器是用于获取足够的机器视觉系统要处理的最原始图像，具体可以是采集操作员的骨骼、骨架姿态图像信息，比如可以利用Kinect传感器采集到操作员的各关节的位置信息。骨骼坐标数据可以是以所述视觉传感器为基点的坐标系下的操作员的各关节的三维坐标数据，比如头的坐标数据，颈的坐标数据、肩的坐标数据。坐标具体可以是指获取到的操作人的图像信息中骨架位置，比如头的坐标位置可以是头部的中心点，颈的坐标可以为颈部位的中心点，肩的坐标可以是肩关节点的位置等。
S120、根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度。
其中，基准关节可以是骨骼坐标数据中的某个可以选择作为坐标系基点的关节。关联关节可以是与基准关节关联的其他关节。以基准关节的坐标作为基点建立坐标系，在该坐标系下计算关联部位的转动角度。比如，若肩关节作为基准关节，与肩关节关联的关节可以是肘关节，关联部位可以是由肩关节到肘关节的部位，则在肩关节的坐标系下，计算由肩关节到肘关节的关联部位的转动角度，具体可以是某一个时刻的肩关节到肘关节的关联部位与坐标系的基矢的角度。
S130、控制机器人中相应关节部位依据所述转动角度运动。
具体的，根据计算出的关联部位的转动角度控制机器人相应部位对应舵机的运动情况，来实现仿人运动的跟随。示例性的，通过计算手臂各部位的角度，相应控制机器人的机械臂中的对应的舵机，使机械臂的相应部位转动相应的角度。
可选的，根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度，包括：
根据所述骨骼坐标数据，确定以基准关节为基点的坐标系基矢，以及由所述基准关节到关联关节的关联部位向量；
确定所述关联部位向量与所述坐标系基矢之间的夹角，作为所述关联部位的转动角度。
其中，在建立以基准关节为基点的坐标系中，需要先确定坐标系下的基矢，具体可以根据所述骨骼坐标数据计算基矢。同时根据骨骼坐标数据计算出关联部位在该坐标系下的向量，进一步计算关联部位的向量与基矢的角度，具体可以是计算该向量与该坐标系中的不同基矢的夹角，作为关联部位的转动角度。
可选的，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度之后，还包括：
将所述关联关节作为新基准关节，将与所述关联关节连接的另一关节作为新关联关节，并构建以所述新基准关节为基点的新坐标系；
根据所述骨骼坐标数据以及已确定的关联部位的转动角度，确定新坐标系基矢，以及由所述新基准关节到新关联关节的新关联部位向量；
确定所述新关联部位向量与所述新坐标系基矢之间的夹角，作为所述新关联部位的转动角度。
其中，在已确定的关联部位的转动角度的基础上，还可以继续计算与关联关节相连的新的关联部位的转动角度。计算过程具体可以是将关联关节作为基准关节，建立以新的基准关节为基点的新坐标系，并根据所述骨骼坐标数据以及已确定的关联部位的转动角度确定新坐标系基矢，以及由所述新基准关节到新关联关节的新关联部位向量，并将新关联部位向量与新坐标系基矢之间的夹角作为新的关联部位的转动角度。由于操作员的某些关节是相联的，比如肩关节、肘关节、腕关节是相连的，因此，在计算某个关节到关联关节之间关联部位的角度之后，可以在此基础上进一步计算与关联关节相连的关节的新的关联部位的转动角度。示例性的，如果在计算出肩关节到肘关节的关联部位的转动角度之后，可以继续计算肘关节到腕关节的关联部位的转动角度。
本实施例的技术方案，通过向量之间的夹角计算各关节的转动角度，向量解法准确度较高，计算速度更快，能够实时、准确、快速地控制机器人对应部位的舵机应该转动的角度，实现机器人仿人运动的实时更随性，提升与机器人交互的自然度。
实施例二图2是本发明实施例二中提供的一种控制机械臂转动的流程图，在上述实施例的基础上，可选的，以机器人的机械臂跟随操作员的手臂运动为例，当所述骨骼坐标数据包括：头、颈、肩和肘关节的坐标，分别为(xh,yh,zh)，(xn,yn,zn)，(xs,ys,zs)和(xe,ye,ze)；
相应的，根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度，包括：
通过以下公式确定以肩坐标为基点的坐标系下的基矢
Figure GDA0002637354560000091
和由肩关节到肘关节的关联部位的向量
Figure GDA0002637354560000092
Figure GDA0002637354560000093
Figure GDA0002637354560000094
Figure GDA0002637354560000095
Figure GDA0002637354560000096
通过以下公式确定所述肩关节到肘关节的关联部位的向量与基矢的夹角：
Figure GDA0002637354560000097
Figure GDA0002637354560000098
Figure GDA0002637354560000099
其中，
Figure GDA00026373545600000910
为一组单位正交基矢，
Figure GDA00026373545600000911
为
Figure GDA00026373545600000912
在
Figure GDA00026373545600000913
所成平面上的投影向量；θ1和θ2分别是
Figure GDA00026373545600000914
与
Figure GDA00026373545600000915
和
Figure GDA00026373545600000916
的夹角。
如图2所示，Kinect视觉传感器获取操作员的运动信息，包括操作员的身体姿态信息，然后将进行滤波并转化为骨骼坐标数据。通过上述的关联部位的转动角度算法(角度映射算法)计算出肩关节到肘关节的关联部位的转动角度，肘关节到腕关节的关联部位的转动角度，相应的按照该角度控制机械臂的运动。其中，图3是本发明实施例二中的肩关节到肘关节的关联部位的角度求解示意图，如图3所示，(xh,yh,zh)，(xn,yn,zn)，(xs,ys,zs)，(xe,ye,ze)分别代表视觉传感器返回的人的头、颈、肩、肘在传感器坐标系下的3D骨架坐标。从图3中可以看出
Figure GDA0002637354560000101
两单位向量近似垂直，定义
Figure GDA0002637354560000102
那么
Figure GDA0002637354560000103
也近似为单位向量。而肩关节到肘关节的关联部位的向量
Figure GDA0002637354560000104
在
Figure GDA0002637354560000105
所张成的平面上的投影向量为
Figure GDA0002637354560000106
由于
Figure GDA0002637354560000107
近似为一组单位正交基，从而可以根据向量间的内积运算法则，得到θ1和θ2的数值。示例性的，如果θ1是负的角度，则可以表示肩关节到肘关节的关联部位向前转动θ1的角度(或向后转动θ1的角度)；相应的，如果θ1是正的角度，则可以表示肩关节到肘关节的关联部位向后转动θ1的角度(或向前转动θ1的角度)。θ2可以为正的角度，表示肩关节到肘关节的关联部位向下转动θ2的角度。
可选的，所述骨骼坐标数据还包括：腕关节的坐标(xw,yw,zw)；相应的，在计算所述肩关节到肘关节的关联部位的向量与基矢的夹角之后，还包括：
通过以下公式确定以肘关节坐标为基点的坐标系下的基矢
Figure GDA0002637354560000108
和由肘关节到腕关节的关联部位的向量
Figure GDA0002637354560000109
Figure GDA00026373545600001010
Figure GDA00026373545600001011
Figure GDA00026373545600001012
Figure GDA0002637354560000111
通过以下公式确定由肘关节到腕关节的关联部位的向量与基矢的夹角：
Figure GDA0002637354560000112
Figure GDA0002637354560000113
Figure GDA0002637354560000114
其中，
Figure GDA0002637354560000115
为一组单位正交基矢，
Figure GDA0002637354560000116
为
Figure GDA0002637354560000117
在
Figure GDA0002637354560000118
所成平面上的投影向量；θ3和θ4分别是
Figure GDA0002637354560000119
与
Figure GDA00026373545600001110
和
Figure GDA00026373545600001111
的夹角。
其中，图4是本发明实施例二中的肘关节到腕关节的关联部位的角度求解示意图。如图4所示，在肘关节处建立一组单位正交基
Figure GDA00026373545600001112
由于肘关节会随着θ1，θ2的改变而运动，从而
Figure GDA00026373545600001113
也是运动的，而且是关于θ1，θ2的函数，而在之前的肩关节处
Figure GDA00026373545600001114
是静止的，这是肩关节和肘关节最大的不同。
Figure GDA00026373545600001115
可以直接利用公式
Figure GDA00026373545600001116
计算。
具体的，可以通过寻找到一个始终垂直于
Figure GDA00026373545600001117
的向量，来确定
Figure GDA00026373545600001118
将
Figure GDA00026373545600001119
投影到
Figure GDA00026373545600001120
所成的平面上，得到投影向量
Figure GDA00026373545600001121
在该平面上可以得到垂直于
Figure GDA00026373545600001122
的单位向量
Figure GDA00026373545600001123
而由于
Figure GDA00026373545600001124
成投影关系，所以向量
Figure GDA00026373545600001125
垂直于投影面上的所有向量，从而有
Figure GDA00026373545600001126
这样
Figure GDA00026373545600001127
便垂直于
Figure GDA00026373545600001128
与
Figure GDA00026373545600001129
所成的空间，从而得到
Figure GDA00026373545600001130
这样就可以把
Figure GDA00026373545600001131
当作
Figure GDA00026373545600001132
根据之前对肩关节的分析可知，
Figure GDA00026373545600001133
与
Figure GDA00026373545600001134
夹角为θ1，由于
Figure GDA00026373545600001135
从而
Figure GDA00026373545600001136
与
Figure GDA00026373545600001137
夹角为θ1，又
Figure GDA00026373545600001138
从而可得
Figure GDA00026373545600001139
表达式为：
Figure GDA00026373545600001140
其中，θ1可由上面肩关节坐标系下的计算得出，进一步可以算出
Figure GDA00026373545600001141
又
Figure GDA0002637354560000121
从而建立起了牵连于上臂的正交向量基
Figure GDA0002637354560000122
进一步根据类似的计算方法计算肘关节到腕关节的关联部位向量与该基矢的夹角θ3和θ4，这样操作员的手臂的关节部位的角度便可以分别用θ1，θ2，θ3和θ4表示。
图5是本发明实施例二中的机器人的机械臂关节的角度示意图。如图5所示，机械臂的结构一共有四个自由度，通过向量运算可以方便地求出图5中的全部角度θ1，θ2，θ3，和θ4，控制机械臂的转动角度。
可选的，在获取通过视觉传感器采集的操作员的骨骼坐标数据之后，还包括：
利用高斯滤波器对所述骨骼坐标数据进行滤波。
由于Kinect采集到的骨架数据带有噪声，通常情况下噪声是随机正态分布，本发明实施例中采用高斯低通滤波器，对原始数据进行滤波平滑，使得骨骼坐标数据更加准确，计算的关联部位转动角度也更加准确。下面介绍高斯滤波算法的原理：
对于模拟信号而言，高斯滤波器的单位脉冲响应为高斯分布函数：
Figure GDA0002637354560000123
对于一个LTI(linear time invariant)系统来说，系统的输出为输入与系统单位脉冲响应函数的卷积。从而t0时刻高斯滤波器的输出y(t0)为：
Figure GDA0002637354560000124
为简化卷积运算，将(2)式离散化得：
Figure GDA0002637354560000125
式中K为归一化系数：
Figure GDA0002637354560000131
由于此时(3)所得的滤波器在n0时刻的输出会用到n0时刻之后的输入数据，所以它是非因果的，无法用于实时处理，但是如果人为地引入延迟，让滤波器在n0时刻输出n0-NR时刻的滤波结果，那么此时滤波器便成为一个因果的系统，可用于实时处理，此时滤波器输出为：
Figure GDA0002637354560000132
公式(5)便是用于Kinect数据滤波的滤波器。其中Kinect的采样频率为30Hz，这样当NR＝10时会产生大约300ms的滤波延迟。
本发明实施例的技术方案，通过在肩关节坐标系下计算肩关节到肘关节的关联部位的角度，在肘关节坐标系下计算肘关节与腕关节之间的的关联部位的角度，进一步映射到舵机机械臂中的每个自由度中，使得机械臂跟随人体手臂转过的角度，同时，通过高斯滤波对骨骼坐标数据进行平滑处理，使得计算的数据更准确，实现机械臂的仿人跟随运动的实时、准确和快速性。
实施例三
图6为本发明实施例提供的一种与机器人的交互装置的结构示意图，该装置可通过软件和/或硬件实现。如图6所示，所述装置包括：
骨骼数据获取模块610，用于获取通过视觉传感器采集的操作员的骨骼坐标数据；
转动角度确定模块620，用于根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度；
机器人控制模块630，用于控制机器人中相应关节部位依据所述转动角度运动。
可选的，所述转动角度确定模块620，包括：
坐标系确定单元，用户根据所述骨骼坐标数据，确定以基准关节为基点的坐标系基矢，以及由所述基准关节到关联关节的关联部位向量；
转动角度确定单元，用于确定所述关联部位向量与所述坐标系基矢之间的夹角，作为所述关联部位的转动角度。
可选的，所述转动角度确定模块620，还包括：
新坐标系确定单元，用于在确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度之后，将所述关联关节作为新基准关节，将与所述关联关节连接的另一关节作为新关联关节，并构建以所述新基准关节为基点的新坐标系；
新基矢确定单元，用于根据所述骨骼坐标数据以及已确定的关联部位的转动角度，确定新坐标系基矢，以及由所述新基准关节到新关联关节的新关联部位向量；
新转动角度确定单元，用于确定所述新关联部位向量与所述新坐标系基矢之间的夹角，作为所述新关联部位的转动角度。
可选的，所述骨骼坐标数据包括：头、颈、肩和肘关节的坐标，分别为(xh,yh,zh)，(xn,yn,zn)，(xs,ys,zs)和(xe,ye,ze)；
相应的，所述转动角度确定模块620，具体用于
通过以下公式确定以肩坐标为基点的坐标系下的基矢
Figure GDA0002637354560000151
和由肩关节到肘关节的关联部位的向量
Figure GDA0002637354560000152
Figure GDA0002637354560000153
Figure GDA0002637354560000154
Figure GDA0002637354560000155
Figure GDA0002637354560000156
通过以下公式确定所述肩关节到肘关节的关联部位的向量与基矢的夹角：
Figure GDA0002637354560000157
Figure GDA0002637354560000158
Figure GDA0002637354560000159
其中，
Figure GDA00026373545600001510
为一组单位正交基矢，
Figure GDA00026373545600001511
为
Figure GDA00026373545600001512
在
Figure GDA00026373545600001513
所成平面上的投影向量；θ1和θ2分别是
Figure GDA00026373545600001514
与
Figure GDA00026373545600001515
和
Figure GDA00026373545600001516
的夹角。
可选的，所述骨骼坐标数据还包括：腕关节的坐标(xw,yw,zw)；
相应的，所述转动角度确定模块620，具体用于在计算所述肩关节到肘关节的关联部位的向量与基矢的夹角之后，
通过以下公式确定以肘关节坐标为基点的坐标系下的基矢
Figure GDA00026373545600001517
和由肘到腕关节的关联部位的向量
Figure GDA00026373545600001518
Figure GDA00026373545600001519
Figure GDA0002637354560000161
Figure GDA0002637354560000162
Figure GDA0002637354560000163
通过以下公式确定由肘到腕关节的关联部位的向量与基矢的夹角：
Figure GDA0002637354560000164
Figure GDA0002637354560000165
Figure GDA0002637354560000166
其中，
Figure GDA0002637354560000167
为一组单位正交基矢，
Figure GDA0002637354560000168
为
Figure GDA0002637354560000169
在
Figure GDA00026373545600001610
所成平面上的投影向量；θ3和θ4分别是
Figure GDA00026373545600001611
与
Figure GDA00026373545600001612
和
Figure GDA00026373545600001613
的夹角。
可选的，所述装置还包括：数据滤波模块，用于在获取通过视觉传感器采集的操作员的骨骼坐标数据之后，利用高斯滤波器对所述骨骼坐标数据进行滤波。
本发明实施例所提供的一种与机器人的交互装置，可执行本发明任意实施例所提供的一种与机器人的交互方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的一种与机器人的交互方法。
实施例四
参见图7，本实施例提供了一种电子设备700，其包括：一个或多个处理器720；存储装置710，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器720执行，使得所述一个或多个处理器720实现本发明实施例所提供的一种与机器人的交互方法，包括：
获取通过视觉传感器采集的操作员的骨骼坐标数据；
根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度；
控制机器人中相应关节部位依据所述转动角度运动。
当然，本领域技术人员可以理解，处理器720还可以实现本发明任意实施例所提供的一种与机器人的交互方法的技术方案。
图7显示的电子设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：一个或者多个处理器720，存储装置710，连接不同系统组件(包括存储装置710和处理器720)的总线750。
总线750表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备700典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备700访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置710可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)711和/或高速缓存存储器712。电子设备700可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统713可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线750相连。存储装置710可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块715的程序/实用工具714，可以存储在例如存储装置710中，这样的程序模块715包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块715通常执行本发明所描述的任意实施例中的功能和/或方法。
电子设备700也可以与一个或多个外部设备760(例如键盘、指向设备、显示器770等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口730进行。并且，电子设备700还可以通过网络适配器740与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器740通过总线750与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器720通过运行存储在存储装置710中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种与机器人的交互方法。
实施例四
本发明实施例四提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种与机器人的交互方法，该方法包括：
获取通过视觉传感器采集的操作员的骨骼坐标数据；
根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度；
控制机器人中相应关节部位依据所述转动角度运动。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种与机器人的交互方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种与机器人的交互方法，其特征在于，所述方法包括：
获取通过视觉传感器采集的操作员的骨骼坐标数据；
根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度；
控制机器人中相应关节部位依据所述转动角度运动；
在根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度之后，还包括：
将所述关联关节作为新基准关节，将与所述关联关节连接的另一关节作为新关联关节，并构建以所述新基准关节为基点的新坐标系；
根据所述骨骼坐标数据以及已确定的关联部位的转动角度，确定新坐标系基矢，以及由所述新基准关节到新关联关节的新关联部位向量；
确定所述新关联部位向量与所述新坐标系基矢之间的夹角，作为所述新关联部位的转动角度。
2.根据权利要求1所述的方法，其特征在于，根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度，包括：
根据所述骨骼坐标数据，确定以基准关节为基点的坐标系基矢，以及由所述基准关节到关联关节的关联部位向量；
确定所述关联部位向量与所述坐标系基矢之间的夹角，作为所述关联部位的转动角度。
3.根据权利要求1所述的方法，其特征在于，所述骨骼坐标数据包括：头、颈、肩和肘关节的坐标，分别为(xh,yh,zh)，(xn,yn,zn)，(xs,ys,zs)和(xe,ye,ze)；
相应的，根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度，包括：
通过以下公式确定以肩坐标为基点的坐标系下的基矢
Figure FDA0002637354550000021
和由肩关节到肘关节的关联部位的向量
Figure FDA0002637354550000022
Figure FDA0002637354550000023
Figure FDA0002637354550000024
Figure FDA0002637354550000025
Figure FDA0002637354550000026
通过以下公式确定所述肩关节到肘关节的关联部位的向量与基矢的夹角：
Figure FDA0002637354550000027
Figure FDA0002637354550000028
Figure FDA0002637354550000029
其中，
Figure FDA00026373545500000210
为一组单位正交基矢，
Figure FDA00026373545500000211
为
Figure FDA00026373545500000212
在
Figure FDA00026373545500000213
所成平面上的投影向量；θ1和θ2分别是
Figure FDA00026373545500000214
与
Figure FDA00026373545500000215
和
Figure FDA00026373545500000216
的夹角。
4.根据权利要求3所述的方法，其特征在于，所述骨骼坐标数据还包括：腕关节的坐标(xw,yw,zw)；相应的，在计算所述肩关节到肘关节的关联部位的向量与基矢的夹角之后，还包括：
通过以下公式确定以肘关节坐标为基点的坐标系下的基矢
Figure FDA00026373545500000217
和由肘到腕关节的关联部位的向量
Figure FDA0002637354550000031
Figure FDA0002637354550000032
Figure FDA0002637354550000033
Figure FDA0002637354550000034
Figure FDA0002637354550000035
通过以下公式确定由肘到腕关节的关联部位的向量与基矢的夹角：
Figure FDA0002637354550000036
Figure FDA0002637354550000037
Figure FDA0002637354550000038
其中，
Figure FDA0002637354550000039
为一组单位正交基矢，
Figure FDA00026373545500000310
为
Figure FDA00026373545500000311
在
Figure FDA00026373545500000312
所成平面上的投影向量；θ3和θ4分别是
Figure FDA00026373545500000313
与
Figure FDA00026373545500000314
和
Figure FDA00026373545500000315
的夹角。
5.根据权利要求1所述的方法，其特征在于，在获取通过视觉传感器采集的操作员的骨骼坐标数据之后，还包括：
利用高斯滤波器对所述骨骼坐标数据进行滤波。
6.一种与机器人的交互装置，其特征在于，所述装置包括：
骨骼数据获取模块，用于获取通过视觉传感器采集的操作员的骨骼坐标数据；
转动角度确定模块，用于根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度；
机器人控制模块，用于控制机器人中相应关节部位依据所述转动角度运动；
在根据所述骨骼坐标数据，确定由基准关节到关联关节的关联部位在以基准关节作为基点构建的坐标系中的转动角度之后，还包括：
将所述关联关节作为新基准关节，将与所述关联关节连接的另一关节作为新关联关节，并构建以所述新基准关节为基点的新坐标系；
根据所述骨骼坐标数据以及已确定的关联部位的转动角度，确定新坐标系基矢，以及由所述新基准关节到新关联关节的新关联部位向量；
确定所述新关联部位向量与所述新坐标系基矢之间的夹角，作为所述新关联部位的转动角度。
7.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的一种与机器人的交互方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的一种与机器人的交互方法。
CN201811004201.3A 2018-08-30 2018-08-30 一种与机器人的交互方法、装置、电子设备及存储介质 Active CN109333527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811004201.3A CN109333527B (zh) 2018-08-30 2018-08-30 一种与机器人的交互方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811004201.3A CN109333527B (zh) 2018-08-30 2018-08-30 一种与机器人的交互方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109333527A CN109333527A (zh) 2019-02-15
CN109333527B true CN109333527B (zh) 2020-10-16

Family

ID=65296981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811004201.3A Active CN109333527B (zh) 2018-08-30 2018-08-30 一种与机器人的交互方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN109333527B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112894828B (zh) * 2021-03-02 2022-05-20 乐聚(深圳)机器人技术有限公司 机器人动作模仿方法、装置、设备及存储介质
CN113084813B (zh) * 2021-04-13 2022-05-03 中国科学院自动化研究所 基于肌肉参数优化构建约束力场的机器人运动控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108098780A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种新型的机器人仿人运动系统
CN107272593A (zh) * 2017-05-23 2017-10-20 陕西科技大学 一种基于Kinect的机器人体感编程方法
CN107225573A (zh) * 2017-07-05 2017-10-03 上海未来伙伴机器人有限公司 机器人的动作控制方法和装置
CN107238468B (zh) * 2017-08-01 2019-06-18 中科新松有限公司 机械臂末端工具质心的辨识方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109333527A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
AU2019356907B2 (en) Automated control of image acquisition via use of acquisition device sensors
WO2019170166A1 (zh) 深度相机标定方法以及装置、电子设备及存储介质
CN108805917B (zh) 空间定位的方法、介质、装置和计算设备
CN108319976B (zh) 建图方法及装置
CN111694429A (zh) 虚拟对象驱动方法、装置、电子设备及可读存储
US11331806B2 (en) Robot control method and apparatus and robot using the same
Tao et al. A novel sensing and data fusion system for 3-D arm motion tracking in telerehabilitation
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
CN109781104B (zh) 运动姿态确定及定位方法、装置、计算机设备及介质
CN113034652A (zh) 虚拟形象驱动方法、装置、设备及存储介质
CN109840508A (zh) 一个基于深度网络架构自动搜索的机器人视觉控制方法，设备及存储介质
CN109333527B (zh) 一种与机器人的交互方法、装置、电子设备及存储介质
CN113505694B (zh) 一种基于视线追踪的人机交互方法、装置及计算机设备
CN110349212A (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
Wang et al. Immersive human–computer interactive virtual environment using large-scale display system
Kumar et al. An improved tracking using IMU and vision fusion for mobile augmented reality applications
TW202238449A (zh) 室內定位系統及室內定位方法
CN111208819A (zh) 生成方法、装置、电子设备及存储介质
Jo et al. Tracking and interaction based on hybrid sensing for virtual environments
CN113496168B (zh) 手语数据采集方法、设备、存储介质
Lee et al. Real-time camera tracking using a particle filter and multiple feature trackers
Lee et al. Robust multithreaded object tracker through occlusions for spatial augmented reality
CN116030192B (zh) 一种基于动力学特征的骨骼段预处理方法及装置
CN116958450B (zh) 一种面向二维数据的人体三维重建方法
CN112243082B (zh) 一种跟踪拍摄方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 215200 standard plant 7, Dongyun Science Park, No. 558, Shanhu West Road, Wujiang Economic and Technological Development Zone, Suzhou, Jiangsu Province

Patentee after: Suzhou Bozhong intelligent robot Co.,Ltd.

Address before: 215200 No. 666 Hu Xin Road, Wujiang economic and Technological Development Zone, Suzhou, Jiangsu

Patentee before: SUZHOU BOZHONG ROBOT Co.,Ltd.