CN107443374A - 机械手操控系统及其操控方法、操控装置、存储介质 - Google Patents

Abstract

本发明公开了一种机械手操控系统、方法、机械手操控装置及存储介质，该机械手操控系统分为操作部分和控制部分，控制部分包括手套和增强现实装置，操作部分包括机械手和图像捕获装置，其中：图像捕获装置，用于获取机械手的工作区域图像，工作区域图像包括机械手和目标物体；手套中，第一检测模块用于采集人体手部的第一动作信息；增强现实装置中，图像处理器用于根据第一动作信息生成虚拟手套且和工作区域图像中的机械手结合，显示器用于显示结合后的工作区域图像；第一检测模块还用于采集人体手部的第二动作信息；机械手，用于根据人体手部的第二动作信息对目标物体执行相应动作。本发明技术方案提高用户使用手套同步控制机械手时的精准性。

Description

机械手操控系统及其操控方法、操控装置、存储介质

技术领域

本发明涉及机器人仿生技术领域，尤其涉及机械手操控系统及其操控方法、操控装置及存储介质。

背景技术

随着科技的不断发展和进步，无人机和机器人等智能设备在生产和生活中得到广泛的应用。目前，大多无人机和机器人等智能设备都装设机械手，用于代替人手完成一些简单的动作。由于人们对智能设备的要求不断的提高，如何使机械手能够更好的模仿人手的动作，从而应对多变的环境更智能、更灵活的为人类服务成为了大家关注的焦点。

现有技术提出了通过智能手套无线同步控制机械手，使用者通过穿戴智能手套进行抓取、松开等动作，可使机械手重复使用者的相应动作，以提高人对机械手控制的灵活性。但使用者在实际操作的过程中，想将机械手移动到目标物体上实施某个动作时，却难以掌控手部合理的移动距离，手部操控手套移动一定距离时，机械手可能越过或尚未到达目标物体的位置，需要多次的调整方可顺利实现使用者的操作目的。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种机械手操控系统，旨在解决用户通过智能手套同步控制机械手时难以掌控手部合理移动距离的问题。

为实现上述目的，本发明提供一种机械手操控系统，所述机械手操控系统包括操作部分和与所述操作部分通讯连接的控制部分，所述控制部分包括手套和增强现实装置，所述操作部分包括机械手和图像捕获装置，其中：

所述图像捕获装置，用于实时获取所述机械手的工作区域图像，所述工作区域图像包括所述机械手和目标物体；

所述手套，包括第一检测模块，所述第一检测模块用于实时采集人体手部的第一动作信息；

所述增强现实装置，包括图像处理器和显示器，所述图像处理器用于根据所述第一动作信息生成虚拟手套，且将所述虚拟手套和所述工作区域图像中的机械手结合，所述显示器用于显示输出结合后的工作区域图像；

所述第一检测模块还用于采集人体手部的第二动作信息；

所述机械手，用于根据所述人体手部的第二动作信息对所述目标物体执行相应动作。

优选地，所述第一检测模块还用于检测所述手套内部的温度。

优选地，所述机械手包括第二检测模块，所述第二检测模块用于检测所述机械手与所述目标物体间的接触压力值；

所述手套还包括触感反馈装置，所述触感反馈装置用于根据所述接触压力值产生作用于所述人体手部的模拟作用力。

优选地，所述第一检测模块包括陀螺仪传感器和加速度传感器，所述陀螺仪传感器用于检测所述人体手部的第一动作信息和所述人体手部的第二动作信息中的角速度数据，所述加速度传感器用于检测所述人体手部的第一动作信息和所述人体手部的第二动作信息中的加速度数据。

此外，为实现上述目的，本发明还提供一种机械手操控方法，基于上述任一种所述的机械手操控系统，所述机械手操控方法包括以下步骤：

在机械手操控模式运行时，图像捕获装置实时获取所述机械手的工作区域图像，所述工作区域图像包括所述机械手和目标物体，同时第一检测模块实时采集人体手部的第一动作信息；

图像处理器根据所述第一动作信息生成虚拟手套，且将所述虚拟手套和所述工作区域图像中的机械手结合；

显示器显示输出结合后的工作区域图像；

第一检测模块采集人体手部的第二动作信息；

机械手根据所述人体手部的第二动作信息对所述目标物体执行相应动作。

优选地，所述在机械手操控模式运行时，在机械手操控模式运行时，图像捕获装置实时获取所述机械手的工作区域图像，所述工作区域图像包括所述机械手和目标物体，第一检测模块采集人体手部的第一动作信息步骤前还包括：

第一检测模块检测所述手套内部的温度；

机械手操控系统判断所述手套内部的温度是否大于或等于预设温度；

当所述手套内部的温度大于或等于所述预设温度时，机械手操控系统运行所述机械手操控模式。

优选地，所述当所述手套内部的温度大于或等于所述预设温度时，进入机械手操控状态步骤还包括：

当所述手套内部的温度小于所述预设温度时，机械手操控系统结束所述机械手操控模式。

优选地，所述机械手根据所述人体手部的动作信息对所述目标物体执行相应动作步骤后还包括：

第二检测模块检测所述机械手与所述目标物体间的接触压力值；

触感反馈装置根据所述接触压力值产生作用于所述人体手部的模拟作用力。

此外，为实现上述目的，本发明还提供一种机械手操控装置，所述机械手操控装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机械手操控程序，所述机械手操控程序被所述处理器执行时实现如上述任一种机械手操控方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机存储介质，所述计算机可读存储介质上存储有机械手操控程序，所述机械手操控程序被处理器执行时实现如上述任一种机械手操控方法的步骤。

本发明实施例提出的一种机械手操控系统，通过增强现实装置使操作部分工作区域图像中的机械手与控制部分根据第一检测模块所获取的手部第一动作信息生成的虚拟手套可以实时的结合和显示，用户看到上述结合图像后再进一步执行手部动作，手部的第二动作信息被第一检测模块采集，手部的第二动作信息传送至机械手操作端后，机械手根据人体手部的第二动作信息对目标物体执行相应的动作，使用户可以从增强现实图像中更好的判断手部动作对机械手运动幅度的影响，更直观判断手部动作合理的距离和幅度，从而实现用户使用手套对机械手的同步控制更为的精确。

附图说明

图1是本发明机械手操控系统方案一实施例的功能模块图；

图2为本发明机械手操控方法一实施例的第一流程示意图；

图3为本发明机械手操控方法一实施例的第二流程示意图；

图4为本发明机械手操控方法一实施例的第三流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：将机械手操控系统1分为操作部分100和与操作部分100通讯连接的控制部分300，控制部分300包括手套310和增强现实装置320，操作部分100包括机械手110和图像捕获装置120，其中：图像捕获装置120，用于实时获取机械手110的工作区域图像，工作区域图像包括机械手110和目标物体；手套310，包括第一检测模块311，第一检测模块311用于采集人体手部的第一动作信息；增强现实装置320，包括图像处理器321和显示器322，图像处理器321用于根据第一动作信息生成虚拟手套，且将虚拟手套和工作区域图像中的机械手110结合，显示器322用于显示输出结合后的工作区域图像；第一检测模块311还用于采集人体手部的第二动作信息；机械手，用于根据人体手部的第二动作信息对目标物体执行相应动作。

由于现有技术中，用户通过智能手套310同步控制机械手的操作时，难以直观的判断手部合理的移动距离可能导致机械手的误操作。

本发明提供一种解决方案，将机械手操控系统1分为操作部分100和与操作部分100通讯连接的控制部分300，控制部分300包括手套310和增强现实装置320，操作部分100包括机械手110和图像捕获装置120，其中：图像捕获装置120，用于实时获取机械手110的工作区域图像，工作区域图像包括机械手和目标物体；手套310，包括第一检测模块311，第一检测模块311用于采集人体手部的第一动作信息；增强现实装置320，包括图像处理器321和显示器322，图像处理器321用于根据第一动作信息生成虚拟手套，且将虚拟手套和工作区域图像中的机械手110结合，显示器322用于显示输出结合后的工作区域图像；第一检测模块311还用于采集人体手部的第二动作信息；机械手，用于根据人体手部的第二动作信息对目标物体执行相应动作，以提高使用手套310同步控制机械手110时的精准性。

本发明涉及的机械手操控系统1中，机械手110是一种能模仿人手和臂的某些动作功能，用以代替人手和臂抓取、搬运物件或操作工具的操作装置，机械手110可应用于无人机、机器人等智能设备中。

机械手操控系统1主要包括操作部分100、驱动部分200和控制部分300三大部分。操作部分100可分为手部、手臂和躯干等，其中躯干为安装手臂、动力源等的支架。驱动部分200可以为液压驱动、气压驱动、电气驱动和机械驱动等。控制部分300核心是向驱动部分200和操作部分100传输控制命令，实现机械手110所要的功能。

为了使机械手110更好满足人类的意识需求，机械手操控系统1可提供与人交互的功能，使机械手110可以根据人的意愿进行操作。

参照图1，本发明实施例提供一种机械手操控系统1，该机械手操控系统1包括操作部分100和与所述操作部分100通讯连接的控制部分300，所述控制部分300包括手套310和增强现实装置320，所述操作部分100包括机械手110和图像捕获装置120，其中：

所述图像捕获装置120，用于实时获取所述机械手110的工作区域图像，所述工作区域图像包括所述机械手110和目标物体；

所述手套310，包括第一检测模块311，所述第一检测模块311用于实时采集人体手部的第一动作信息；

所述增强现实装置320，包括图像处理器321和显示器322，所述图像处理器321用于根据所述第一动作信息生成虚拟手套，且将所述虚拟手套和所述工作区域图像中的机械手110结合，所述显示器322用于显示输出结合后的工作区域图像；

所述第一检测模块311还用于采集人体手部的第二动作信息；

所述机械手110，用于根据所述人体手部的第二动作信息对所述目标物体执行相应动作。

如图1所示，该机械手操控系统1具体包括操作部分100、驱动部分200和控制部分300三大部分，其中驱动部分200可与操作部分100集成安装。操作部分100包括机械手110和图像捕获装置120；控制部分300包括控制装置330、手套310和增强现实装置320。除了上述部分，该机械手110操作系统还可包括通信总线400(未图示)，通信总线400可用于实现上述组件之间的连接通信。可选地，该机械手110操作系统还可以包括无线通讯模块500，该无线通讯模块500可以为WIFI、蓝牙、2G、3G、4G、GPRS、射频或卫星通信等，可用于各部分中组件之间的连接通信，减少连接的线路，还可用于上述的操作部分100、驱动部分200和控制部分300之间的连接，实现机械手110的远程操控。

控制部分300的控制装置330可以包括处理器331(如CPU等)、存储器332等，存储器332可以是随机存取存储器(RAM)、只读存储器(ROM)等，存储器332可选的还可以是独立于前述控制装置330的存储设备。存储器332可以存储机械手110操控过程中产生的数据和机械手110操控程序等。

控制部分300的手套310包括用于实时采集人体手部动作信息(第一手部动作信息和第二手部动作信息)的第一检测模块311，第一手部动作信息指的是在机械手操控模式运行时检测人体手部的实时动作状态所形成的数据，是生成虚拟手套的数据来源，由于操作部分100和控制部分300的通讯连接，因此第一手部动作信息亦可作为控制部分300同步控制操作部分100的机械手110的数据依据，第二手部动作信息突出的是用户在看到机械手110的工作区域图像和虚拟手套的结合图像后作出控制动作时被检测到的数据，可以理解的是，第一手部动作信息和第二手部动作信息可以为相同的数据。第一检测模块311可以包括陀螺仪传感器、加速度传感器、重力传感器、电子罗盘、旋转传感器等一种或多种的结合，可由设计者根据机械手110所需复制的手部动作决定。其中手部动作可以为平移、旋转、摆动、手指弯曲等人类手部可实现的一切动作，在此不作赘述。为了更精准的检测，第一检测模块311设置多组，分布于手套310的各个部位，以实现对手部不同动作的检测。

具体的，第一检测模块311包括陀螺仪传感器和加速度传感器，陀螺仪传感器用于检测人体手部的第一动作信息和所述人体手部的第二动作信息中的角速度数据，所述加速度传感器用于检测所述人体手部的第一动作信息和所述人体手部的第二动作信息中的加速度数据。通过简单的方式实现对人体手部移动时角度和加速度的测量，以满足人体手部基本动作的检测。

控制部分300的增强现实装置320，运用的是增强现实技术。所谓增强现实技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。常用的增强现实装置320主要有如下三种形式：Monitor-Based、光学透视式和视频透视式。增强现实装置320可具体为智能手机、智能眼镜、智能头盔、计算机或显示设备与计算机构成的系统等。具体地，增强现实装置320包括图像处理器321和显示器322。图像处理器321可包括图像生成模块和图像识别匹配模块等：其中图像生成模块根据第一动作信息进行计算、拟合生成一虚拟手套，图像识别匹配模块运用基准点法、模版匹配法、仿射变换法和基于运动图像序列等方法等进行现实图像和虚拟图像的识别和匹配。显示器322可以为独立的显示设备，也可以与图像处理器321集成安装于同一设备中。

操作部分100的图像捕获装置120，安装于机械手110或机械手110所在的智能设备上，可以为深度相机、数码相机、手机摄像头、红外扫描仪等图像采集设备中的一种或多种的组合，采用惯性、超声波、电磁、光学、无线电波或机械装置等进行图像跟踪，所捕获的图像可以为深度图像、颜色图像等。

在机械手操控模式运行时，机械手操控系统1开始运作，这里的机械手操控模式指的是人与控制部分300进行交互以实现对操作部分100的同步控制时所处的运行模式。机械手操控系统1开始运作，此时手套310与机械手110通讯连接，两者开始实时同步动作，操作部分100的图像捕获装置120实时获取机械手110所在的工作区域图像，该工作区域图像包括机械手110和机械手110所要进行动作的目标物体。与此同时，控制部分300中手套310的第一检测模块311采集人体手部的第一动作信息，操作部分100的机械手110根据第一动作信息执行与当前人体手部动作一致的动作。

获取到工作区域图像后，由于操作部分100和控制部分300通过有线或无线的方式进行通信连接，图像捕获装置120把获取到的工作区域图像发送至控制系统的增强现实装置320，作为提供给增强现实装置320的现实图像数据。增强现实装置320的图像处理器321根据第一动作信息通过虚拟现实技术生成虚拟手套，并对同一时间所获取的工作区域图像和虚拟手套进行识别。图像处理器321识别出手套310图像中手套310和工作区域图像中的机械手110并将两者进行结合，结合后虚拟手套出现于上述机械手110的工作区域图像中并与其中的机械手110重合，增强现实装置320的显示器322将结合后的工作区域图像进行显示输出。

用户在增强现实装置320的显示器322上看到机械手110的工作区域图像和虚拟手套的结合，可直观的判断手套310动作对机械手110的影响，更有意识的进行相关的手部动作实现对机械手110的控制。在用户作出手部动作时，手套310中的第一检测模块311采集人体手部的第二动作信息。由于控制部分300中手套310和控制装置330间通信连接，控制装置330从手套310获取上述人体手部的第二动作信息并转化成第二动作信号。动作信号通过有线或无线的方式发送至机械手110的驱动部分200。

机械手操控系统1中的驱动部分200根据所获取的动作信号运行驱动操作部分100的机械手110，便可实现机械手110根据上述人体手部的第二动作信息对目标物体进行操作。如用户想用机械手110抓取目标物体时，通过增强显示装置所提供的图像直观判断机械手110的实时位置和与目标物体间的距离，做出移动的手部动作使机械手110同步移动至目标物体所在的位置，达到该位置时用户手部执行抓取动作，机械手110对目标物体复制该抓取动作，实现机械手110对目标物体的抓取。

进一步地，第一检测模块311还用于检测手套310内部的温度。

机械手操控系统1中控制部分300的手套310上第一检测模块311还可以包括温度检测单元，温度检测单元可具体为热电偶、热敏电阻、电阻温度检测器和IC温度传感器等。该温度检测单元用于检测手套310内部的温度。所测得的手套310内部的温度数据可用于判断是否进入上述机械手操控模式。在控制装置330的存储器332中，可先预存一预设温度值，该预设温度值可低于或等于一般正常人体的最低温度，由于人体最低温度有差异，可根据使用者实际使用情况进行设定，在此不作具体限定。将所测的手套310内部的温度与该预设温度值的大小进行比较，当所测的手套310内部的温度数据高于该预设温度值时，表明用户将手伸入手套310内，需要对机械手110进行控制，此时进入机械手操控模式；当所测的手套310内部的温度数据低于该预设温度值时，表明用户的手不在该手套310内，无需再对机械手110进行控制，退出机械手操控模式或保持该机械手操控模式的非运行状态。通过此温度检测单元，可控制机械手操控系统1的自动开启和退出，无需用户额外操作，使机械手操控系统1更加的智能。根据不同用户需要，机械手操控模式还可以通过按钮或其他与操作部分100通信连接的终端发送遥控命令触发和断开。可选择的是，上述预设值可以为一温度范围值，该温度范围的端值由一般正常人体的温度范围而定，当检测手套310内部的温度值在此温度范围内时，触发机械手操控模式，不在此温度范围内时，终端机械手操控模式，在此不作赘述。

此外，尚未进入机械手操控模式时，用户可通过发送命令的方式控制操作部分100的图像捕获装置120运作，获取机械手110工作区域图像并在增强现实装置320的显示器322或者是其他显示终端上显示，可供用户查看，在发现目标物体时，再通过手套310中的温度检测单元感应或其他方式进入机械手操控模式，实现手套310对机械手110的控制。通过此方式，可实现该机械手操控系统1的控制部分300与机械手110远程连接时，用户可对机械手110的运行状态进行远程监控，以适应用户不同的使用需求。

进一步地，机械手110包括第二检测模块111，第二检测模块111用于检测机械手与目标物体间的接触压力值；手套310还包括触感反馈装置312，触感反馈装置312用于根据接触压力值产生作用于人体手部的模拟作用力。

为了用户使用手套310对机械手110进行操控时能更为的直观和准确，在机械手110上可设置第二检测模块111，用于检测机械手110与目标物体的接触压力值，其中第二检测模块111可以为压阻式力传感器、陶瓷压力传感器、扩散硅压力传感器、压电式压力传感器等压力传感器。上述获取到的接触压力值发送至控制部分300的控制装置330，在控制部分300的手套310设有触感反馈装置312，控制装置330根据接触压力值控制触感反馈装置312运行，触感反馈装置312可通过气压、振动波、弱电刺激等方式产生一作用于位于手套310内人体手部的模拟作用力，该模拟作用力与机械手110与目标物体间的接触压力值大致相等，使用户可以感受到机械手110与目标物体间的触感，进而可以更直观的判断所作出手部动作的幅度和位置等，实现该用户通过手套310对机械手110的同步控制更为的精确。

在本实施例中，通过在机械手操控系统1增加增强现实装置320，使操作部分100工作区域图像中的机械手110与控制部分300根据第一检测模块所获取的手部第一动作信息生成的虚拟手套可以实时的结合和显示，用户看到上述结合图像后再进一步执行手部动作，手部的第二动作信息被第一检测模块311采集，手部的第二动作信息传送至机械手110操作端后，机械手110根据人体手部的第二动作信息对目标物体执行相应的动作，用户可以从增强现实图像中更好的判断手部动作对机械手110运动幅度的影响，更直观判断手部动作合理的距离和幅度，实现用户使用手套310对机械手110的同步控制更为的精确。尤其是对机械手110进行远程控制时，用户无法切实的感受到机械手110与目标物体间的距离，通过本实施例中的机械手操控系统1，实现用户使用手套310对机械手110同步控制的精确性显著的提高。

参照图2，本发明实施例提供一种机械手操控方法，所述机械手操控方法包括以下步骤：

步骤S10，在机械手操控模式运行时，图像捕获装置120实时获取所述机械手110的工作区域图像，所述工作区域图像包括所述机械手110和目标物体，同时第一检测模块311实时采集人体手部的第一动作信息；

在机械手操控模式运行时，机械手操控系统1开始运作，这里的机械手操控模式指的是人与控制部分300进行交互以实现对操作部分100的控制时所处的运行模式。机械手操控系统1开始运作，此时手套310与机械手110通讯连接，两者开始实时同步动作，操作部分100的图像捕获装置120实时获取机械手110所在的工作区域图像，该工作区域图像包括机械手110和机械手110所要进行动作的目标物体。与此同时，控制部分300中手套310的第一检测模块311采集人体手部的第一动作信息，操作部分100的机械手110根据第一动作信息执行与当前人体手部动作一致的动作。获取到工作区域图像后，由于操作部分100和控制部分300通过有线或无线的方式进行通信连接，图像捕获装置120把获取到的工作区域图像发送至控制系统的增强现实装置320，作为提供给增强现实装置320的现实图像数据。

步骤S20，图像处理器321根据所述第一动作信息生成虚拟手套，且将所述虚拟手套和所述工作区域图像中的机械手110结合；

步骤S30，显示器322显示输出结合后的工作区域图像；

获取到工作区域图像后，由于操作部分100和控制部分300通过有线或无线的方式进行通信连接，图像捕获装置120把获取到的工作区域图像发送至控制系统的增强现实装置320，作为提供给增强现实装置320的现实图像数据。增强现实装置320的图像处理器321根据第一动作信息通过虚拟现实技术生成虚拟手套，并对同一时间所获取的工作区域图像和虚拟手套进行识别。图像处理器321识别出手套310图像中手套310和工作区域图像中的机械手110并将两者进行结合，结合后虚拟手套出现于上述机械手110的工作区域图像中并与其中的机械手110重合，增强现实装置320的显示器322将结合后的工作区域图像进行显示。

步骤S40，第一检测模块311采集人体手部的第二动作信息；

用户在增强现实装置320的显示器322上看到机械手110的工作区域图像和虚拟手套的结合，可直观的判断手套310动作对机械手110的影响，更有意识的进行相关的手部动作实现对机械手110的控制。在用户作出手部动作时，手套310中的第一检测模块311采集人体手部的第二动作信息。由于控制部分300中手套310和控制装置330间通信连接，控制装置330从手套310获取上述人体手部的第二动作信息并转化成第二动作信号。动作信号通过有线或无线的方式发送至机械手110的驱动部分200。

步骤S50，机械手110根据所述人体手部的第二动作信息对所述目标物体执行相应动作。

机械手操控系统1中的驱动部分200根据所获取的动作信号运行驱动操作部分100的机械手110，便可实现机械手110根据上述人体手部的第二动作信息对目标物体进行操作。如用户想用机械手110抓取目标物体时，通过增强显示装置所提供的图像直观判断机械手110的实时位置和与目标物体间的距离，做出移动的手部动作使机械手110同步移动至目标物体所在的位置，达到该位置时用户手部执行抓取动作，机械手110对目标物体复制该抓取动作，实现机械手110对目标物体的抓取。

需要说明的是，第一手部动作信息指的是在机械手操控模式运行时检测人体手部的实时动作状态所形成的数据，是生成虚拟手套的数据来源，由于操作部分100和控制部分300的通讯连接，因此第一手部动作信息亦可作为控制部分300同步控制操作部分100的机械手110的数据依据，第二手部动作信息突出的是用户在看到机械手110的工作区域图像和虚拟手套的结合图像后作出控制动作时被检测到的数据，可以理解的是，第一手部动作信息和第二手部动作信息可以为相同的数据。进一步地，参照图3，上述S10的步骤前还包括以下步骤：

S01，第一检测模块311检测所述手套310内部的温度；

机械手操控系统1中控制部分300的手套310上第一检测模块311还可以包括温度检测单元，温度检测单元可具体为热电偶、热敏电阻、电阻温度检测器和IC温度传感器等。该温度检测单元用于检测手套310内部的温度。所测得的手套310内部的温度数据可用于判断是否进入上述机械手操控模式。通过此温度检测单元，可控制机械手操控系统1的自动开启和退出，无需用户额外操作，使机械手操控系统1更加的智能。根据不同用户需要，机械手操控模式还可以通过按钮或其他与操作部分100通信连接的终端发送遥控命令触发和断开。

S02，机械手操控系统1判断所述手套310内部的温度是否大于或等于预设温度；

S03，当所述手套310内部的温度大于或等于所述预设温度时，机械手操控系统1运行所述机械手操控模式。

在控制装置330的存储器332中，可先预存一预设温度值，该预设温度值可低于或等于一般正常人体的最低温度，由于人体最低温度有差异，可根据使用者实际使用情况进行设定，在此不作具体限定。将所测的手套310内部的温度与该预设温度值的大小进行比较，当所测的手套310内部的温度数据高于该预设温度值时，表明用户将手伸入手套310内，需要对机械手110进行控制，此时进入机械手操控模式。

进一步地，参照图3，上述步骤S03中还包括以下步骤：

S04，当所述手套310内部的温度小于所述预设温度时，机械手操控系统1结束所述机械手操控模式。

当所测的手套310内部的温度数据低于该预设温度值时，表明用户的手不在该手套310内，无需再对机械手110进行控制，退出机械手操控模式或保持该机械手操控模式的非运行状态。

可选择的是，上述预设值可以为一温度范围值，该温度范围的端值由一般正常人体的温度范围而定，当检测手套310内部的温度值在此温度范围内时，触发机械手操控模式，不在此温度范围内时，终端机械手操控模式，在此不作赘述。

此外，尚未进入机械手操控模式时，用户可通过发送命令的方式控制操作部分100的图像捕获装置120运作，获取机械手110工作区域图像并在增强现实装置320的显示器322或者是其他显示终端上显示，可供用户查看，在发现目标物体时，再通过手套310中的温度检测单元感应或其他方式进入机械手操控模式，实现手套310对机械手110的控制。通过此方式，可实现该机械手操控系统1的控制部分300与机械手110远程连接时，用户可对机械手110的运行状态进行远程监控，以适应用户不同的使用需求。

进一步地，参照图4，步骤S50后还包括以下步骤：

S60，第二检测模块111检测所述机械手110与所述目标物体间的接触压力值；

S70，触感反馈装置312根据所述接触压力值产生作用于所述人体手部的模拟作用力。

为了用户使用手套310对机械手110进行操控时能更为的直观和准确，在机械手110上可设置第二检测模块111，用于检测机械手110与目标物体的接触压力值，其中第二检测模块111可以为压阻式力传感器、陶瓷压力传感器、扩散硅压力传感器、压电式压力传感器等压力传感器。上述获取到的接触压力值发送至控制部分300的控制装置330，在控制部分300的手套310设有触感反馈装置312，控制装置330根据接触压力值控制触感反馈装置312运行，触感反馈装置312可通过气压、振动波、弱电刺激等方式产生一作用于位于手套310内人体手部的模拟作用力，该模拟作用力与机械手110与目标物体间的接触压力值大致相等，使用户可以感受到机械手110与目标物体间的触感，进而可以更直观的判断所作出手部动作的幅度和位置等，实现该用户通过手套310对机械手110的同步控制更为的精确。

在本实施例中，通过机械手操控系统1中的图像捕获装置120实时获取机械手110的工作区域图像，增强现实装置320将工作区域图像中的机械手110与控制部分300根据第一检测模块所获取的手部第一动作信息生成的虚拟手套可以实时的结合和显示，用户看到上述结合图像后再进一步执行手部动作，手部的第二动作信息被第一检测模块311采集，手部的第二动作信息传送至机械手110操作端后，机械手110根据人体手部的第二动作信息对目标物体执行相应的动作，用户可以从增强现实图像中更好的判断手部动作对机械手110运动幅度的影响，更直观判断手部动作合理的距离和幅度，实现用户使用手套310对机械手110的同步控制更为的精确。尤其是对机械手110进行远程控制时，用户无法切实的感受到机械手110与目标物体间的距离，通过本实施例中的机械手操控系统1，实现用户使用手套310对机械手110同步控制的精确性显著的提高。

此外，本发明实施例还提出一种机械手操控装置，该机械手操控装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机械手操控程序，该机械手操控程序被所述处理器执行时实现上述实施例所述的机械手操控方法的步骤。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有机械手操控程序，所述机械手操控程序被处理器执行时实现上述实施例所述的机械手操控方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种机械手操控系统，其特征在于，所述机械手操控系统包括操作部分和与所述操作部分通讯连接的控制部分，所述控制部分包括手套和增强现实装置，所述操作部分包括机械手和图像捕获装置，其中：

所述图像捕获装置，用于实时获取所述机械手的工作区域图像，所述工作区域图像包括所述机械手和目标物体；

所述手套，包括第一检测模块，所述第一检测模块用于实时采集人体手部的第一动作信息；

所述增强现实装置，包括图像处理器和显示器，所述图像处理器用于根据所述第一动作信息生成虚拟手套，且将所述虚拟手套和所述工作区域图像中的机械手结合，所述显示器用于显示输出结合后的工作区域图像；

所述第一检测模块还用于采集人体手部的第二动作信息；

所述机械手，用于根据所述人体手部的第二动作信息对所述目标物体执行相应动作。

2.如权利要求1所述的机械手操控系统，其特征在于，所述第一检测模块还用于检测所述手套内部的温度。

3.如权利要求1所述的机械手操控系统，其特征在于，所述机械手包括第二检测模块，所述第二检测模块用于检测所述机械手与所述目标物体间的接触压力值；

所述手套还包括触感反馈装置，所述触感反馈装置用于根据所述接触压力值产生作用于所述人体手部的模拟作用力。

4.如权利要求1至3中任一项所述的机械手操控系统，其特征在于，所述第一检测模块包括陀螺仪传感器和加速度传感器，所述陀螺仪传感器用于检测所述人体手部的第一动作信息和所述人体手部的第二动作信息中的角速度数据，所述加速度传感器用于检测所述人体手部的第一动作信息和所述人体手部的第二动作信息中的加速度数据。

5.一种机械手操控方法，基于权利要求1至4中任一项所述的机械手操控系统，其特征在于，所述机械手操控方法包括以下步骤：

在机械手操控模式运行时，图像捕获装置实时获取所述机械手的工作区域图像，所述工作区域图像包括所述机械手和目标物体，同时第一检测模块实时采集人体手部的第一动作信息；

图像处理器根据所述第一动作信息生成虚拟手套，且将所述虚拟手套和所述工作区域图像中的机械手结合；

显示器显示输出结合后的工作区域图像；

第一检测模块采集人体手部的第二动作信息；

机械手根据所述人体手部的第二动作信息对所述目标物体执行相应动作。

6.如权利要求5所述的机械手操控方法，其特征在于，所述在机械手操控模式运行时，图像捕获装置实时获取所述机械手的工作区域图像，所述工作区域图像包括所述机械手和目标物体，同时第一检测模块实时采集人体手部的第一动作信息步骤前还包括：

第一检测模块检测所述手套内部的温度；

机械手操控系统判断所述手套内部的温度是否大于或等于预设温度；

当所述手套内部的温度大于或等于所述预设温度时，机械手操控系统运行所述机械手操控模式。

7.如权利要求6所述的机械手操控方法，其特征在于，所述当所述手套内部的温度大于或等于所述预设温度时，进入机械手操控状态步骤还包括：

当所述手套内部的温度小于所述预设温度时，机械手操控系统结束所述机械手操控模式。

8.如权利要求5所述的机械手操控方法，其特征在于，所述机械手根据所述人体手部的动作信息对所述目标物体执行相应动作步骤后还包括：

第二检测模块检测所述机械手与所述目标物体间的接触压力值；

触感反馈装置根据所述接触压力值产生作用于所述人体手部的模拟作用力。

9.一种机械手操控装置，其特征在于，所述机械手操控装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机械手操控程序，所述机械手操控程序被所述处理器执行时实现如权利要求5至8中任一项所述的机械手操控方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有机械手操控程序，所述机械手操控程序被处理器执行时实现如权利要求5至8中任一项所述的机械手操控方法的步骤。