CN111438673B - 基于立体视觉和手势控制的高空作业遥操作方法及系统 - Google Patents

Abstract

本发明公开了一种基于立体视觉和手势控制的高空作业遥操作方法及系统，PC端接收双目立体相机采集的高空作业区域实景信息，并实时显示到可穿戴式立体显示器中；根据可穿戴式立体显示器显示的立体实景工况，进行手部操作并实时追踪手和手指的运动信息，将追踪的手和手指运动信息发送至PC端，经处理后转换成仿生机械手的运动指令；仿生机械手接收处理转换后的运动指令，进行相应随动以完成高空作业的遥操作。本发明通过立体视觉和手势控制相结合的遥操作方法和系统，可以保障高空作业人员的人身安全，提高遥操作时操作人员对现场实景的三维感知，同时增强遥操作的交互自然性和沉浸感。

Description

基于立体视觉和手势控制的高空作业遥操作方法及系统

技术领域

本发明属于高空作业遥操作技术领域，具体涉及一种基于立体视觉和手势控制的高空作业遥操作方法及系统。

背景技术

近年来，随着经济的快速发展，我国高层建筑越来越多。目前高空作业涉及电力检修、高架施工、高楼设备安装、清洁等领域，要求操作人员攀爬或站在很高的塔吊车上进行人工作业，危险性大，稍有不慎就会发生坠落事故，对社会及企业都会造成不可挽回的损失，因此用机器人代替蜘蛛人完成极为危险的高空作业尤为必要。

目前的高空作业机器人大多数只能完成一些简单、具有重复性的工作，针对电力检修、高架施工这些需要专业性技术的工作，往往需要操作人员辅助完成，因此遥操作成为了较为主流也比较可靠的交互方式。现有的遥操作模式大多为操作员在操作端通过二维监控屏幕了解判断高空作业区域的工况，操作员很难准确判断高空各部件之间的三维关系；同时通过二维屏幕接收到的二维工况信息利用操纵杆或操纵手柄控制机械手完成作业，这种交互模式生硬，沉浸感差，而且存在一定的误操作率，对于未经过训练的操作员来说难以上手。

因此，亟需一种沉浸感强且交互自然的高空作业遥操作系统及方法来解决传统遥操作方法缺失三维信息、交互设备不易上手，沉浸感弱等的问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于立体视觉和手势控制的高空作业遥操作方法及系统，通过远程立体视觉和远程手势控制的结合，保障高空作业人员的人身安全，提高遥操作时操作人员对现场实景的三维感知，同时增强遥操作的交互自然性和沉浸感。

本发明采用以下技术方案：

基于立体视觉和手势控制的高空作业遥操作方法，包括以下步骤：

S1、PC端接收双目立体相机采集的高空作业区域实景信息，并实时显示到可穿戴式立体显示器中；

S2、根据可穿戴式立体显示器显示的立体实景工况，进行手部操作并实时追踪手和手指的运动信息，将追踪的手和手指运动信息发送至PC端，经处理后转换成仿生机械手的运动指令；

S3、仿生机械手接收步骤S2处理转换后的运动指令，进行相应随动以完成高空作业的遥操作。

具体的，步骤S1中，高空作业区域实景信息为两路具有左右双目视差的帧图像和视频流，通过基于Linux系统的Openwrt无线图像传输模块传输至PC端，PC端建立Unity 3D虚拟场景实时显示作业区域的现场实景信息。

进一步的，Unity 3D虚拟场景包括两个作为显示左右单目相机视频流的载体RawImage，并将其目标显示器分别设置为Left Eye和Right Eye，同时将在线视频流播放插件作为载体Raw Image的附件，通过在两个在线视频流播放插件中分别设置输入两路视频流的详细IP地址将实景图像显示到可穿戴式立体显示器中。

具体的，步骤S2中，PC端通过Leap motion深度传感器检测的手部及手指信息；通过Leap motion深度传感器的SDK和API实时获取手指各个骨骼关节点在笛卡尔坐标系下的三维坐标，坐标原点位于Leap motion深度传感器长轴外表面面的中心，沿Leap motion深度传感器长轴向为X轴，沿Leap motion深度传感器长轴向上的方向为Y轴，与Leap motion深度传感器长轴向共面且垂直的方向为Z轴；计算手部及每个手指相邻骨骼节点之间的运动向量，计算相邻骨骼节点之间的弯曲角度及手部位移，完成对手指各关节从笛卡尔坐标到手掌坐标系下空间位置及角度的转换。

进一步的，采用C#语言解释并转换Leap motion深度传感器的数据；基于手指上的各个骨骼点之间的矢量信息以及与骨骼有关的解剖学研究，当扭曲手指时，测量近端和中间骨骼之间的扭曲角度，两个骨骼关节之间的弯曲角度α为：

其中，u,v为相邻两个骨骼关节在手掌坐标系下的位置向量，手掌掌心为坐标原点。

具体的，步骤S3中，PC端对Leap motion深度传感器采集的信息进行算法处理后得到的每个手指的角度和位移；然后通过TCP/IP通信协议访问从动端RaspberryPi的IP地址将转换后的角度和位移指令发送至与其连接的Arduino控制器，Arduino控制器控制通过控制仿生机械手上各个骨骼关节节点处的伺服电机实现手部及手指的动作随动。

进一步的，PC端通过RaspberryPi在PC端和仿生机械手两者之间建立数据和交互通信，具体为：

当Leap motion深度传感器在可监测范围内检测到移动的手部或手指时，PC端获取手部或手指各骨骼节点的三维坐标；将获取的坐标数据转换成仿生机械手各手指相对于手掌中心可以运动的角度和位移，通过IP地址向RaspberryPi发送虚拟连接请求；RaspberryPi中的Python代码响应PC端通过IP进行连接请求后，Arduino控制器通过串行端口获取信息指令，并将信息指令转换为PWM波形信号控制仿生机械手及对应某个手指上的执行器。

本发明的另一个技术方案是，一种使用基于立体视觉和手势控制的高空作业遥操作方法的系统，包括操作主动端，操作主动端通过PC端和通信网络设备与操作从动端进行通信连接以传输信号和数据；

操作主动端包括可穿戴式立体显示器和手势识别设备；可穿戴式立体显示器采用VR头戴式立体显示器，通过显示对应作业区域的现场实景图像形成立体视觉；手势识别设备采用Leap motion深度传感器，能够识别被测对象的手部动作变化；

操作从动端包括双目立体相机和仿生机械手；双目立体相机的两个单目具有独立的硬件ID且图像为时序同步；仿生机械手为具有五自由度的仿生五指机械手，每个手指均由内部独立的伺服电机驱动，手指的每个关节都装有伺服电机，用于对物体的抓取、移动以及其他操作。

具体的，通信网络设备包括无线图像传输单元和基于TCP/IP通信协议的数据传输单元；无线图像传输单元采用基于Linux系统的Openwrt无线图像传输模块，PC端连接Openwrt无线图像传输模块，通过无线局域网实时接收Openwrt无线图像传输模块接收到的信息和数据。

具体的，其特征在于，操作从动端的双目立体相机通过USB接口与Openwrt无线图像传输模块连接进行图像流的传输；Arduino控制器通过USB接口与RaspberryPi连接以接收PC端的动作指令，同时Ardunio控制器通过串口与仿生机械手连接，用于将接收的动作指令转换为PWM波控制仿生机械手的连续运动。

与现有技术相比，本发明至少具有以下有益效果：

本发明基于立体视觉和手势控制的高空作业遥操作方法，为高空高危作业技术人员提供了一种安全便捷、沉浸感和交互感强的遥操作方案，操作人员可以实时感知到物体在传统二维图像中不能被表达的深度信息，这种信息可以帮助操作人员更直观的判断作业区域各物体的位置和距离，从而更好地对高空作业领域的现场实景工况进行三维感知；远程手势控制使操作人员可以在安全区域自然、流畅地进行手部遥操作，大大提升操作人员的遥操作交互体验。

进一步的，双目立体相机模拟人类双目立体视觉的形成原理，可以实时、同步地采集作业区域具有双目视差的两路独立视频流并对应显示在可穿戴式立体显示器的左右显示屏中，从而在人脑中自动融合形成立体视觉，提高操作人员进行遥操作时的环境沉浸感。

进一步的，深度传感器追踪到的手和手指的运动信息由于空间坐标系的差异，需要进行相应的转换处理之后才能控制机械手，这样才可以保证操作员手和手指的动作与机械手动作的一致性。

进一步的，机械手接收到的运动指令是经控制器转换为PWM波输出的，在保证操作实时性的同时提高遥操作远程机械手控制的流畅性。

一种基于立体视觉和手势控制的高空作业遥操作系统，为操作人员呈现了更具立体感的遥操作视觉反馈环境，从而摆脱真实所处环境和视线的局限，具有实时性、沉浸感强的优点；手势控制降低了传统通过操作手柄进行遥操作方式的误操作率，同时解决了传统操作方式的生硬和不自然的技术缺陷，操作人员不需要借助机械的遥操作设备就可以在手部没有任何束缚的情况下进行遥操作，具有安全便捷、操作简单、学习成本低的优点。

进一步的，采用Openwrt无线图像传输模块进行实景工况的实时传输，具有带宽高、低延迟、图像失真小的优点；采用基于TCP/IP的数据通信方式，保证了数据传输的实时性和可靠性。

进一步的，双目立体相机由两个单目按照人眼平均瞳距放置，模拟人的两只眼睛，可以采集具有双目时差的图像对，从而为操作人员提供传统二维图像不能提供的深度信息；采用具有五自由度的仿生机械手，可以高度还原操作人员的手部操作动作。

综上所述，本发明通过立体视觉和手势控制相结合的遥操作方法和系统，可以保障高空作业人员的人身安全，提高遥操作时操作人员对现场实景的三维感知，同时增强遥操作的交互自然性和沉浸感。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明整体系统示意图；

图2为本发明视觉信息传输示意图；

图3为本发明手势信息的处理传输示意图；

图4为本发明手势信息的处理传输流程图；

图5为Leap Motion坐标系及手掌坐标系示意图，其中，(a)为Leap Motion传感器下的坐标系，(b)为手掌坐标系。

其中：1.可穿戴式立体显示器；2.手势识别设备；3.PC端；4.通信网络设备；5.双目立体相机；6.仿生机械手。

具体实施方式

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参阅图1，本发明提供了一种基于立体视觉和手势控制的高空作业遥操作系统，包括操作主动端、操作从动端、PC端3和通信网络设备4，操作主动端的各部件通过PC端3和通信网络设备4与操作从动端的各部件进行通信连接以传输信号和数据。

操作主动端包括可穿戴式立体显示器1和手势识别设备2；可穿戴式立体显示器1采用VR头戴式立体显示器，操作人员可将其戴在头上，双眼通过接收对应显示其中的作业区域的现场实景图像形成立体视觉；手势识别设备2采用Leap motion深度传感器，利用光学追踪原理来识别被测对象的手部动作变化。

操作从动端包括双目立体相机5和仿生机械手6；双目立体相机5为两个单目按人眼平均瞳孔距离(63mm)水平放置的双目相机，两个单目具有独立的硬件ID且图像为时序同步，模拟人类双眼视差和立体视觉的形成原理从而产生立体感；仿生机械手6是3D打印的具有五自由度的仿生五指机械手，每个手指均由内部的伺服电机独立驱动，手指的每个关节都装有一个小型伺服电机，主要用于对物体的抓取、移动以及其他操作。

特别地，双目相机5为广角无畸变双目相机，以减弱操作人员由于图像畸变造成辐辏调节冲突引起的视觉疲劳、头晕、恶心等不适。

通信网络设备4包括无线图像传输单元和基于TCP/IP通信协议的数据传输单元；无线图像传输单元采用带有双天线的基于Linux系统的Openwrt无线图像传输模块，通电后，PC端3连接Openwrt无线图像传输模块建立无线局域网，PC端3能够实时接收Openwrt无线图像传输模块接收到的信息和数据；基于Linux系统的树莓派RaspberryPi用于接收PC端3生成的机械手运动指令并将其传输给仿生机械手6的机械手控制器。

操作主动端的可穿戴式立体显示器1通过USB接口、DisplayPort接口连接至PC端3；Leap motion深度传感器通过USB3.0接口连接PC端3。

操作从动端的双目立体相机5通过USB接口与Openwrt无线图像传输模块连接进行图像流的传输；Arduino控制器通过USB接口与RaspberryPi连接以接收PC端3的动作指令，同时Ardunio控制器通过串口与仿生机械手6连接，用于将接收的动作指令转换为PWM波控制仿生机械手6的连续运动。

操作主动端的操作人员通过可穿戴式立体显示器1实时判断高空作业区域的工况并进行手部操作，同时Leap motion深度传感器追踪操作人员的手势动作，通过PC端3实时地映射到仿生机械手6上从而完成高空作业的遥操作。

本发明将远程立体视觉和远程手势控制结合起来，为高危高空作业技术领域提供了一种安全便捷、交互性强的遥操作系统和方法；可穿戴式立体显示器为操作人员呈现了更具沉浸感的遥操作视觉环境，使其更好地对作业领域的现场实景进行三维感知，摆脱真实所处环境和视线的局限；远程手势控制降低了传统通过操作手柄进行遥操作方式的误操作率，同时弥补了传统操作方式的生硬和不自然，提升操作人员的遥操作交互体验。

请参阅图4，本发明一种基于立体视觉和手势控制的高空作业遥操作方法，包括以下步骤：

S1、双目立体相机采集高空作业区域的实景信息，通过无线图像传输模块传输至PC端，PC端接收到实景图像流后通过Unity 3D软件实时显示到可穿戴式立体显示器中，使操作主动端的操作员能够看到作业区域的立体实景；

请参阅图2，双目立体相机采集到的高空作业区域的实景信息为两路具有左右双目视差的帧图像、视频流，采集到的两路实景信息的图像流通过基于Linux系统的Openwrt无线图像传输模块传输至PC端，通过在网页中输入Openwrt无线图像传输模块的IP地址，即可在PC端实时显示作业区域的现场实景信息。

先将基于Linux系统的Openwrt无线图像传输模块供电，之后Openwrt无线图像传输模块产生一个局域网，PC端通过连接Openwrt无线图像传输模块产生的无线网将其与PC端置于一个局域网下开始接收作业场景的实时图像，通过启动事先建立好的Unity 3D虚拟场景进而将接收到的两路实景图像流分别显示在可穿戴式立体显示器的左右显示屏中；

事先建立好的Unity 3D虚拟场景借助UMP(Universal Media Player)在线视频流播放插件，场景包括两个作为显示左右单目相机视频流的载体Raw Image，并将其目标显示器分别设置为Left Eye、Right Eye，同时将UMP预制件作为Raw Image的附件，通过在两个UMP预制件中分别设置输入两路视频流的详细IP地址从而将实景图像显示到可穿戴式立体显示器中；操作人员的左右眼接收到可穿戴式立体显示器的VR左右显示器中具有双目视差的图像对，大脑会自动融合这种视差从而形成立体视觉，使其更准确的判断现场的工况和各种硬件设施。

S2、操作员根据立体实景显示的工况进行手部操作，同时Leap motion深度传感器实时追踪操作员手部及手指的运动信息，并将这些信息传输至PC端进行处理，转换成仿生机械手的运动指令；

请参阅图3，在人为配置好Leap motion深度传感器、仿生机械手与PC端、Arduino控制器的硬件环境和空间位置后，将手置于Leap motion深度传感器可检测到的位置，通过Leap motion深度传感器的SDK和API实时获取手指各个骨骼关节点在笛卡尔坐标系下的(X,Y,Z)三维坐标。

请参阅图5，从左向右分别是Leap Motion传感器下的笛卡尔坐标系、手掌坐标系，坐标原点位于Leap motion深度传感器外表面的中心，沿Leap motion深度传感器长轴方向为X轴，沿Leap motion深度传感器长轴垂直向上的方向为Y轴，与Leap motion深度传感器长轴向共面且垂直的方向为Z轴；

请参阅图4，手势信息的处理传输具体为：

PC端通过Leap motion深度传感器检测到手部及手指信息；

通过SDK获取操作员手臂及手部各个骨骼关节节点在Leap motion深度传感器下的笛卡尔三维坐标；

用C#语言编写的应用程序解释并转换来自Leap motion深度传感器的数据；转换后得到手掌坐标系下手指上每个骨骼节点的空间位置坐标为：

A_i＝(x_Ai,y_Ai,z_Ai)

B_i＝(x_Bi,y_Bi,z_Bi)

C_i＝(x_Ci,y_Ci,z_Ci)

其中，i＝1,...,5。

计算手部及每个手指相邻骨骼节点之间的运动向量，计算相邻骨骼节点之间的弯曲角度及手部位移，具体为：

基于手指上的各个骨骼点之间的空间位置坐标以及与骨骼有关的解剖学研究，当扭曲手指时，由余弦定理可以测量近端和中间骨骼之间的扭曲角度。

通过下式完成对每根手指各关节从空间位置坐标向量到角度的转换：

其中，α为所求两个骨骼关节之间的弯曲角度，是相对于手掌中心的一个参数，u,v为相邻两个骨骼关节在手掌坐标系下的位置向量，手掌掌心为坐标原点；

S3、PC端处理完成对应的运动指令后，通过通信网络设备发送运动指令给仿生机械手，仿生机械手接收到指令后根据操作员的手部及手指的运动变化进行相应随动，完成高空作业的遥操作。

来自PC端的运动指令是经PC端算法处理Leap motion深度传感器所采集信息后得到的每个手指的角度和位移，PC端通过TCP/IP通信协议访问从动端RaspberryPi的IP地址将转换后的角度和位移指令发送至与其连接的Arduino控制器，Arduino控制器控制通过串口连接的仿生机械手上各个骨骼关节节点的伺服电机转动实现手部及手指的动作随动，从而完成高空作业的遥操作。

PC端通过RaspberryPi在PC端和仿生机械手两者之间建立数据和交互通信，具体为：

首先，当操作人员在Leap motion深度传感器的可监测范围内移动手或手指时，PC端通过接口获取手或手指各骨骼节点的三维坐标；

然后，将获取的原数据转换成机械手各手指相对于手掌中心可以运动的角度和位移，通过IP地址向RaspberryPi发送虚拟连接请求；

最后，RaspberryPi中的Python代码响应PC端通过IP进行连接的请求后，Arduino控制器通过串行端口获取这些信息指令，信息指令通过Arduino控制器被转换为PWM波形信号控制仿生机械手及对应某个手指上的执行器，即伺服电机的平移和转动来实现手的移动以及手势的动态变化以使机械手的动作操作更自然和流畅。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明将立体视觉和手势控制结合起来，提出了一种易于搭建和实现的遥操作方法和系统，该系统在实验室环境下可以较好的稳定性工作，可用于高空设备检修、高楼外表面清洁等作业领域，操作人员不用攀爬高危的作业环境，身处安全区域就可完成对高空的设备进行检修等操作，避免不必要的人员损失。

综上所述，本发明一种基于立体视觉和手势控制的高空作业遥操作方法及系统，将立体视觉和手势控制结合起来，为高危高空作业技术领域提供了一种安全便捷、交互性强的遥操作系统和方法；为操作人员呈现了更具沉浸感的遥操作视觉反馈环境，使其更好地对作业领域的现场实景进行三维感知，摆脱真实所处环境和视线的局限；降低了传统通过操作手柄进行遥操作方式的误操作率和学习成本，同时解决了传统操作方式生硬和不自然的技术缺陷，大大提升操作人员的遥操作交互体验。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (1)

1.一种基于立体视觉和手势控制的高空作业遥操作方法的系统，其特征在于，包括操作主动端，操作主动端通过PC端(3)和通信网络设备(4)与操作从动端进行通信连接以传输信号和数据；

操作主动端包括可穿戴式立体显示器(1)和手势识别设备(2)；可穿戴式立体显示器(1)采用VR头戴式立体显示器，通过显示对应作业区域的现场实景图像形成立体视觉；手势识别设备(2)采用Leap motion深度传感器，能够识别被测对象的手部动作变化；

操作从动端包括双目立体相机(5)和仿生机械手(6)；双目立体相机(5)的两个单目具有独立的硬件ID且图像为时序同步；仿生机械手(6)为具有五自由度的仿生五指机械手，每个手指均由内部独立的伺服电机驱动，手指的每个关节都装有伺服电机，用于对物体的抓取、移动以及其他操作；

通信网络设备(4)包括无线图像传输单元和基于TCP/IP通信协议的数据传输单元；无线图像传输单元采用基于Linux系统的Openwrt无线图像传输模块，PC端(3)连接Openwrt无线图像传输模块，通过无线局域网实时接收Openwrt无线图像传输模块接收到的信息和数据；

操作从动端的双目立体相机(5)通过USB接口与Openwrt无线图像传输模块连接进行图像流的传输；Arduino控制器通过USB接口与RaspberryPi连接以接收PC端(3)的动作指令，同时Ardunio控制器通过串口与仿生机械手(6)连接，用于将接收的动作指令转换为PWM波控制仿生机械手(6)的连续运动；

基于立体视觉和手势控制的高空作业遥操作方法的步骤如下：

S1、PC端接收双目立体相机采集的高空作业区域实景信息，并实时显示到可穿戴式立体显示器中，高空作业区域实景信息为两路具有左右双目视差的帧图像和视频流，通过基于Linux系统的Openwrt无线图像传输模块传输至PC端，PC端建立Unity 3D虚拟场景实时显示作业区域的现场实景信息，Unity 3D虚拟场景包括两个作为显示左右单目相机视频流的载体Raw Image，并将其目标显示器分别设置为Left Eye和Right Eye，同时将在线视频流播放插件作为载体Raw Image的附件，通过在两个在线视频流播放插件中分别设置输入两路视频流的详细IP地址将实景图像显示到可穿戴式立体显示器中；

S2、根据可穿戴式立体显示器显示的立体实景工况，进行手部操作并实时追踪手和手指的运动信息，将追踪的手和手指运动信息发送至PC端，经处理后转换成仿生机械手的运动指令，PC端通过Leap motion深度传感器检测的手部及手指信息；通过Leap motion深度传感器的SDK和API实时获取手指各个骨骼关节点在笛卡尔坐标系下的三维坐标，坐标原点位于Leap motion深度传感器长轴外表面的中心，沿Leap motion深度传感器长轴向为X轴，沿Leap motion深度传感器长轴向上的方向为Y轴，与Leap motion深度传感器长轴向共面且垂直的方向为Z轴；计算手部及每个手指相邻骨骼节点之间的运动向量，计算相邻骨骼节点之间的弯曲角度及手部位移，完成对手指各关节从笛卡尔坐标到手掌坐标系下空间位置及角度的转换，采用C#语言解释并转换Leap motion深度传感器的数据；基于手指上的各个骨骼点之间的矢量信息以及与骨骼有关的解剖学研究，当扭曲手指时，测量近端和中间骨骼之间的扭曲角度，两个骨骼关节之间的弯曲角度α为：

其中，u,v为相邻两个骨骼关节在手掌坐标系下的位置向量，手掌掌心为坐标原点；

S3、仿生机械手接收步骤S2处理转换后的运动指令，进行相应随动以完成高空作业的遥操作，PC端对Leap motion深度传感器采集的信息进行算法处理后得到的每个手指的角度和位移；然后通过TCP/IP通信协议访问从动端RaspberryPi的IP地址将转换后的角度和位移指令发送至与其连接的Arduino控制器，Arduino控制器控制通过控制仿生机械手上各个骨骼关节节点处的伺服电机实现手部及手指的动作随动，PC端通过RaspberryPi在PC端和仿生机械手两者之间建立数据和交互通信，具体为：

当Leap motion深度传感器在可监测范围内检测到移动的手部或手指时，PC端获取手部或手指各骨骼节点的三维坐标；将获取的坐标数据转换成仿生机械手各手指相对于手掌中心可以运动的角度和位移，通过IP地址向RaspberryPi发送虚拟连接请求；RaspberryPi中的Python代码响应PC端通过IP进行连接请求后，Arduino控制器通过串行端口获取信息指令，并将信息指令转换为PWM波形信号控制仿生机械手及对应某个手指上的执行器。

Images