CN116100537A - 机器人的控制方法、机器人、存储介质及抓取系统 - Google Patents

机器人的控制方法、机器人、存储介质及抓取系统 Download PDF

Info

Publication number
CN116100537A
CN116100537A CN202111335341.0A CN202111335341A CN116100537A CN 116100537 A CN116100537 A CN 116100537A CN 202111335341 A CN202111335341 A CN 202111335341A CN 116100537 A CN116100537 A CN 116100537A
Authority
CN
China
Prior art keywords
target
image
robot
instruction
target position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111335341.0A
Other languages
English (en)
Inventor
陈鑫
李骁健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202111335341.0A priority Critical patent/CN116100537A/zh
Priority to PCT/CN2021/137999 priority patent/WO2023082404A1/zh
Publication of CN116100537A publication Critical patent/CN116100537A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了机器人的控制方法、机器人、存储介质及抓取系统。该方法包括：获取目标区域的图像；利用YOLO算法对图像进行识别，以确定图像中的目标物品的目标位置；基于目标位置生成目标指令，并基于目标指令在脉冲神经网络中计算出运行轨迹；按照运行轨迹控制机器人抓取目标物品。通过上述方式，使基于脉冲神经网络的机器人具有图像识别的功能，使机器人更加智能化。

Description

机器人的控制方法、机器人、存储介质及抓取系统
技术领域
本申请涉及机器人技术领域，特别是涉及机器人的控制方法、机器人、存储介质及抓取系统。
背景技术
世界上有许多严重瘫痪的病人，他们只能通过他人的帮助来完成一些日常生活所必需的活动，如喝水等。随着人工智能和机器人技术的不断发展，越来越多的研究成果被应用于辅助此类人群，以便改善他们的生活质量，其中，脑机接口(Brain ComputerInterface，BCI)领域作为神经工程领域的一个分支，其发展迅速，前景广泛，激起了人们对脑机接口领域的研究热潮。
当前的机器人控制方面，只能完成些简单的甚至是预设的机械臂动作控制，没有充分地发挥出的优势。
发明内容
本申请主要解决的技术问题是提供机器人的控制方法、机器人、存储介质及抓取系统，能够使基于脉冲神经网络的机器人具有图像识别的功能，使机器人更加智能化。
为了解决上述问题，本申请采用的一种技术方案是提供一种机器人的控制方法，该方法包括：获取目标区域的图像；利用YOLO算法对图像进行识别，以确定图像中的目标物品的目标位置；基于目标位置生成目标指令，并基于目标指令在脉冲神经网络中计算出运行轨迹；按照运行轨迹控制机器人抓取目标物品。
其中，获取目标区域的图像，包括：获取目标区域的第一图像和第二图像；利用YOLO算法对图像进行识别，以确定图像中的目标物品的目标位置，包括：利用YOLO算法对第一图像进行识别，以确定第一图像中的目标物品的第一目标位置，以及对第二图像进行识别，以确定第二图像中的目标物品的第二目标位置。
其中，基于目标位置生成目标指令，包括：基于第一目标位置和第二目标位置生成目标物品在世界坐标系下的第三目标位置；基于第三目标位置生成目标指令。
其中，基于第一目标位置和第二目标位置生成目标物品在世界坐标系下的第三目标位置，包括：确定初始第三目标位置；利用初始第三目标位置得到对应的多个第四目标位置；在任一第四目标位置与第一目标位置满足预设条件，以及任一第四目标位置与第二目标位置满足预设条件时，将初始第三目标位置确定为最终的第三目标位置。
其中，利用初始第三目标位置得到对应的多个第四目标位置，包括：获取第一图像或第二图像对应的图像采集设备的参数矩阵；利用初始第三目标位置、参数矩阵得到多个第四目标位置。
其中，利用YOLO算法对图像进行识别，以确定图像中的目标物品的目标位置，包括：利用已训练的图像识别模型对图像进行识别，以确定图像中的目标物品的目标位置，其中，已训练的图像识别模型是基于YOLO算法对目标物品的样本图像进行训练后得到的。
其中，按照运行轨迹控制机器人抓取目标物品，包括：根据运行轨迹生成第一指令，第一指令用于控制机器人运动至运行轨迹上的第一位置；获取机器人移动至第一位置的反馈数据；基于第一指令和反馈数据在脉冲神经网络中计算出轨迹校正数据；根据运行轨迹生成第二指令，第二指令和轨迹校正数据用于控制机器人从第一位置运动至运行轨迹上的第二位置；进而控制机器人的机械臂抓取目标物品。
为了解决上述问题，本申请采用的另一种技术方案是提供一种机器人，该机器人包括处理器以及与处理器耦接的存储器；其中，存储器用于存储计算机程序，处理器用于执行计算机程序，以实现如上述技术方案提供的方法。
为了解决上述问题，本申请采用的另一种技术方案是提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现如上述技术方案提供的方法。
为了解决上述问题，本申请采用的另一种技术方案是提供一种抓取系统，该抓取系统包括：图像采集装置，用于获取目标区域的图像；控制器，与图像采集装置连接，用于利用YOLO算法对图像进行识别，以确定图像中的目标物品的目标位置；以及基于目标位置生成目标指令，并基于目标指令在脉冲神经网络中计算出运行轨迹；机器人，与控制器连接，用于按照运行轨迹抓取目标物品。
本申请的有益效果是：区别于现有技术的情况，本申请提供的一种机器人的控制方法，该方法包括：获取目标区域的图像；利用YOLO算法对图像进行识别，以确定图像中的目标物品的目标位置；基于目标位置生成目标指令，并基于目标指令在脉冲神经网络中计算出运行轨迹；按照运行轨迹控制机器人抓取目标物品。通过上述方式，能够使基于脉冲神经网络的机器人具有图像识别的功能，使机器人更加智能化。
附图说明
图1是本申请提供的机器人的控制方法第一实施例的流程示意图；
图2是本申请提供的机器人的控制方法第二实施例的流程示意图；
图3是本申请提供的步骤24一实施例的流程示意图；
图4是本申请提供的步骤242一实施例的流程示意图；
图5是本申请提供的步骤26一实施例的流程示意图；
图6是本申请提供的步骤263一实施例的流程示意图；
图7是本申请提供的步骤2631一实施例的流程示意图；
图8是本申请提供的步骤26312一实施例的流程示意图；
图9是本申请提供的机器人一实施例的结构示意图；
图10是本申请提供的计算机可读存储介质一实施例的结构示意图；
图11是本申请提供的抓取系统一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，图1是本申请提供的机器人的控制方法第一实施例的流程示意图。该方法包括：
步骤11：获取目标区域的图像。
在一些实施例中，获取目标区域的图像可以是利用图像采集组件采集的。如，图像采集组件设置于机器人的头部，能够采集到整个目标区域的图像。又如，图像采集组件设置于机器人的机械臂的末端，通过控制机械臂，使机械臂末端的图像采集组件能够采集到整个目标区域的图像。其中，图像采集组件可以是能够采集景深图像的摄像头。
在其他实施例中，图像采集组件和机器人分离设置，只需要将图像采集组件设置于目标区域上方即可。
在其他实施例中，图像采集组件可以双目摄像头。
在一些实施例中，该目标区域可以是桌面、清理台面或分类台面等。
步骤12：利用YOLO算法对图像进行识别，以确定图像中的目标物品的目标位置。
其中，可以基于YOLO算法构建图像识别模型，并对图像识别模型进行训练。然后利用已训练的图像识别模型对图像进行识别，以确定图像中的目标物品的目标位置。
其中，已训练的图像识别模型是基于YOLO算法对目标物品的样本图像进行训练后得到的。
如，在目标物品为葡萄，则制作多张葡萄的图像数据集，使用图像标注工具LabelImg进行图像标注，使用YOLOv5在拥有两个2080ti显卡的服务器上进行训练，能够实时识别出采集的图像中的目标物品，以及将获取到的目标物体的图像坐标进行转换，得到目标物品的世界坐标。
其中，YOLO算法可以是YOLOv2、YOLOv3、YOLOv4或YOLOv5等不同版本的YOLO算法。
步骤13：基于目标位置生成目标指令，并基于目标指令在脉冲神经网络中计算出运行轨迹。
机器人由脉冲神经网络控制。在确定目标位置后，脉冲神经网络会根据机器人之间的关节结构，计算出从机器人当前位置移动至目标位置的运行轨迹。
在步骤13中，可根据目标位置和起始位置建立最合理的运动轨迹。如在目标位置和起始位置之间存在阻挡物，则可使预设运动轨迹绕过阻挡物。
步骤14：按照运行轨迹控制机器人抓取目标物品。
在一应用场景中，利用脑机接口的方式，获取被测动物的脑电信号，并对该脑电信号进行解析，得到对应的解析信号。如，被测动物想抓取桌面上的物品，如，葡萄，则脑机接口会对应获取到被测动物的脑电信号，并对该脑电信号进行解析，得到对应的解析信号。此时，机器人获取桌面的图像，利用YOLO算法对图像进行识别，以确定图像中的葡萄的目标位置。基于目标位置生成目标指令，并基于目标指令在脉冲神经网络中计算出运行轨迹，按照运行轨迹控制机器人抓取目标物品。在抓取后，将抓取的葡萄移动至被测物体处。
在本实施例中，通过获取目标区域的图像；利用YOLO算法对图像进行识别，以确定图像中的目标物品的目标位置；基于目标位置生成目标指令，并基于目标指令在脉冲神经网络中计算出运行轨迹；按照运行轨迹控制机器人抓取目标物品的方式，能够使基于脉冲神经网络的机器人具有图像识别的功能，使机器人更加智能化。
在一应用场景中，利用脑机接口的方式，获取特殊用户如瘫痪者、智障者的脑电信号，并对该脑电信号进行解析，得到对应的解析信号。如，特殊用户想抓取桌面上的物品，如，苹果，则脑机接口会对应获取到特殊用户的脑电信号，并对该脑电信号进行解析，得到对应的解析信号。此时，利用图像采集装置获取桌面的图像，利用YOLO算法对图像进行识别，以确定图像中的葡萄的目标位置。基于目标位置生成目标指令，并基于目标指令在脉冲神经网络中计算出运行轨迹，按照运行轨迹控制机器人抓取目标物品。在抓取后，将抓取的葡萄移动至特殊用户处。进而能够更好地发挥机器人的优势，更好的利用脑机接口以及图像识别的机器人来改善特殊用户的生活质量，提高他们自主生活的能力。
参阅图2，图2是本申请提供的机器人的控制方法第二实施例的流程示意图。该方法包括：
步骤21：获取目标区域的第一图像和第二图像。
在本实施例中，采用双目摄像头，则每一目摄像头可以获取到一图像。即获取得到目标区域的第一图像和第二图像。
步骤22：利用YOLO算法对第一图像进行识别，以确定第一图像中的目标物品的第一目标位置。
具体地，可以基于YOLO算法构建图像识别模型，并对图像识别模型进行训练。然后利用已训练的图像识别模型对图像进行识别，在识别出目标物品后，则可以确定出目标物品在第一图像中的第一目标位置。
步骤23：利用YOLO算法对第二图像进行识别，以确定第二图像中的目标物品的第二目标位置。
具体地，可以基于YOLO算法构建图像识别模型，并对图像识别模型进行训练。然后利用已训练的图像识别模型对图像进行识别，在识别出目标物品后，则可以确定出目标物品在第二图像中的第二目标位置。
步骤24：基于第一目标位置和第二目标位置生成目标物品在世界坐标系下的第三目标位置。
在此过程中，可以预先对双目摄像头进行标定，得到对应的焦距、内参矩阵等摄像头参数，然后利用焦距、内参矩阵等摄像头参数进行坐标转换，得到目标物品在世界坐标系下的第三目标位置。
在一些实施例中，参阅图3，步骤24可以是以下流程：
步骤241：确定初始第三目标位置。
第三目标位置为世界坐标系下三维坐标。
步骤242：利用初始第三目标位置得到对应的多个第四目标位置。
第四目标位置为图像像素坐标。
在一些实施例中，可以对初始第三目标位置进行坐标转换，得到对应的在摄像头中的坐标，对摄像头中的坐标进行坐标转换，得到图像物理坐标，然后对图像物理坐标进行转换，得到图像像素坐标。
在一些实施例中，参阅图4，步骤242可以是以下流程：
步骤2421：获取第一图像或第二图像对应的图像采集设备的参数矩阵。
其中，参数矩阵包括内参矩阵和外参矩阵。
步骤2422：利用初始第三目标位置、参数矩阵得到多个第四目标位置。
步骤243：在任一第四目标位置与第一目标位置满足预设条件，以及任一第四目标位置与第二目标位置满足预设条件时，将初始第三目标位置确定为最终的第三目标位置。
在所有第四目标位置与第一目标位置不满足预设条件，以及所有第四目标位置与第二目标位置不满足预设条件时，对初始第三目标位置的数值进行修改，然后再次执行步骤242-步骤243。直到在任一第四目标位置与第一目标位置满足预设条件，以及任一第四目标位置与第二目标位置满足预设条件时，将此时的初始第三目标位置确定为最终的第三目标位置。
在一些实施例中，可以结合以下公式确定第四目标位置：
Figure BDA0003350350250000081
其中，s表示比例因子，s不为0；dX表示像素在X轴方向上的物理尺寸，dY表示像素在Y轴方向上的物理尺寸；(u0，v0)表示主点像素坐标，f表示为有效焦距，即光心到图像平面的距离，R表示3*3的旋转矩阵；t表示3*1的平移矢量，
Figure BDA0003350350250000082
表示为世界坐标系的齐次坐标；ax＝f/dX，ay＝f/dY分别表示像素坐标中u、v轴的尺度因子，M1为相机的内部参数矩阵，M2为相机的外部参数矩阵，M为投影矩阵。
在此过程中，通过对初始第三目标位置的值进行迭代改变，转换得到对应的第一目标位置和第二目标位置的第四目标位置。
在此过程中，可以采用牛顿法进行第四目标位置的确定。其中，牛顿法公式如下：
Figure BDA0003350350250000083
其中，Ax表示上述的MXw。b表示第一目标位置或第二目标位置。在f(x)收敛至预设要求时，则可以确定对应的世界坐标系中的第三目标位置。通过牛顿法能够使求得的最终的第三目标位置与第一目标位置或第二目标位置的误差控制在一厘米以内。
步骤25：基于第三目标位置生成目标指令，并基于目标指令在脉冲神经网络中计算出运行轨迹。
步骤26：按照运行轨迹控制机器人抓取目标物品。
在一些实施例中，参阅图5，步骤26可以是以下流程：
步骤261：根据运行轨迹生成第一指令，第一指令用于控制机器人运动至运行轨迹上的第一位置。
在一些实施例中，运行轨迹由一系列的坐标点组成。
因机器人存在很多关节，则第一指令可以是对每一关节的控制信号，通过对每一关节进行控制，以使机器人运动至运行轨迹上的第一位置。
在本实施例中，机器人是按照给定目标位置以进行移动。
如机器人为机械臂，可使机械臂移动至指定目标位置。
步骤262：获取机器人移动至第一位置的反馈数据。
在一些实施例中，在机器人基于第一指令移动至第一位置时，通过机器人的传感器采集每个关节的位置信息。传感器可以是机器人关节或电机端的编码器，以获取关节的位置信息。进一步通过对位置信息进行处理，可以获取到机器人当前时刻的速度、方向等。根据传感器采集的这些数据可以获得机器人的实际轨迹数据。还可以通过这些传感器来检测机器人的当前时刻的速度。
可以理解，不同的机器人，传感器获取的数据信息不尽相同，根据机器人的特性，获取合理的数据信息。
在一些实施例中，机器人在移动至第一位置时，因机器人的本身结构的误差，会导致机器人在移动至第一位置时的实际位置并不是第一位置，则反馈数据可以是机器人当前的实际位置以及此时的实际速度、实际方向、实际关节力矩等。
步骤263：基于第一指令和反馈数据在脉冲神经网络中计算出轨迹校正数据。
在一些实施例中，脉冲神经网络可以是基于Hodgkin-Huxley模型构建而成，也可以是基于Leaky Integrate and Fire模型或Izhikevich模型构建而成。
脉冲神经网络可以是基于无监督学习算法和/或有监督学习算法进行训练。
步骤264：根据运行轨迹生成第二指令，第二指令和轨迹校正数据用于控制机器人从第一位置运动至运行轨迹上的第二位置，进而控制机器人的机械臂抓取目标物品。
在得到轨迹校正后，机器人根据轨迹校正数据和第二指令结合，生成最佳的第二指令，以控制机器人从第一位置运动至运行轨迹上的第二位置。
可以理解，通过将轨迹校正数据和第二指令结合的方式，能够使机器人从第一位置运动至运行轨迹上的第二位置的实际位置更加接近第二位置。
通过这种方式，运行轨迹上的其他位置可按照上述方式进行，得到基于前一位置的轨迹校正数据，以对当前位置的实际位置进行补偿，使实际位置趋于运行轨迹中当前位置。
在一些实施例中，参阅图6，上述的步骤263可以是以下流程：
步骤2631：利用第一指令和反馈数据对脉冲神经网络的权重进行更新。
在一些实施例中，参阅图7，步骤2631可以是如下流程：
步骤26311：将第一指令和反馈数据进行编码，以得到脉冲神经网络中的神经元的活动。
具体地，可以用以下公式表示神经元的活动：
a＝G[αe·x]；
其中，G[·]是非线性神经激活函数，α是与神经元相关的标度因子(增益)，e是神经元的编码器，x是要编码的向量，即第一指令和反馈数据。
步骤26312：利用神经元的活动计算得到解码器。
在一些实施例中，参阅图8，步骤26312可以利用以下流程来计算得到解码器：
步骤263121：利用第一指令和反馈数据和神经元的活动求出第一参数。
具体地，步骤263121可使用以下公式求出第一参数：
r＝∫ajxdx。
其中，aj是神经元j的活动，x是输入的第一指令和反馈数据，r为第一参数。
步骤263122：利用多个神经元的活动求出第二参数。
具体地，步骤263122可使用以下公式求出第二参数：
Tij＝∫aiajdx。
其中，aj是神经元j的活动，ai是神经元i的活动，Tij为神经元j和神经元i之间的第二参数。
步骤263123：利用第一参数和第二参数计算得到解码器。
具体地，步骤263123可使用以下公式求出解码器：
d＝r-1T。
步骤26313：利用解码器和神经元的活动计算得到解码估计。
具体地，利用解码器和神经元的活动进行点乘，得到解码估计。可使用如下公式进行表达：
Figure BDA0003350350250000111
步骤26314：利用解码估计和反馈数据得到第一差值。
可以理解，解码估计出的结果为脉冲神经网络预测的机器人最佳运动数据，则可与反馈数据中实际的运动数据进行比较，以得到最佳运动数据与反馈数据中实际的运动数据之间的第一差值。
步骤26315：利用第一差值和神经元的活动得到脉冲神经网络的权重修正值。
在一些实施例中，可使用在线监督学习规则来确定权重修正值。
具体地，可使用以下公式来表达：
Δdi＝κEai；
Δωij＝καjej·Eai；
其中，Δωij表示神经元j和神经元i之间连接权重的权重修正值，κ是标量学习速率，E表示第一差值，即解码估计
Figure BDA0003350350250000112
与x之间的差值。
可以理解，不同的神经元具有不同的解码器，则可根据第一差值求得该神经元对应的解码器修正值Δdi。
在一些实施例中，可使用无监督学习规则来确定权重修正值。
具体地，可使用以下公式来表达：
Δωij＝aiaj(aj-θ)；
其中，Δωij表示神经元j和神经元i之间连接权重的权重修正值，θ表示修改阈值，用于限制神经元j的修改范围。
在一些实施例中，可使用无监督学习规则和在线监督学习规则结合的方式来确定权重修正值。
具体地，利用以下公式计算权重修正值：
Δωij＝καjai(Sej·E+(1-S)aj(aj-θ))。
其中，κ表示标量学习速率，αj表示神经元j的标度因子，ai表示神经元i的活动，S表示控制参数，用于表示监督学习项相对于无监督项学习的相对加权，E表示第一差值，θ表示修改阈值。
步骤26316：利用权重修正值对脉冲神经网络的权重进行更新。
其中，脉冲神经网络的权重设置于神经元和神经元之间，则可利用修正值对神经元之间的权重进行更新。如权重修正值为负，则说明原权重需减小，权重修正值为正，则说明原权重需增加。
步骤2632：利用更新后的脉冲神经网络计算得到轨迹校正数据。
利用更新后的权重、解码器和神经元的活动得到轨迹校正数据。
具体地，利用神经元的活动乘以权重，再点乘解码器，则可以计算出轨迹校正数据。
具体地，利用以下公式：
Figure BDA0003350350250000121
其中，a表示神经元的活动，ω表示更新后的权重，d表示解码器，Γadapt表示轨迹校正数据。
上述步骤264可根据第二指令和轨迹校正数据计算出机器人每个关节需要的力矩。
具体地，可以使用以下公式计算出第二指令中对机器人移动控制的力矩。
Figure BDA0003350350250000131
其中，q表示机器人各个关节的坐标，
Figure BDA0003350350250000132
表示机器人各个关节的角速度，M(q)表示机器人各个关节运动的加速度造成的每个关节所受的惯性力，
Figure BDA0003350350250000133
表示机器人各个关节运动的速度对其他关节造成的惯性力，即科里奥利力或离心力，G(q)表示机器人各个关节需要克服的机械臂自身重力。Γadapt表示轨迹校正数据，Γ表示根据机器人动力学模型，让关节按照既定轨迹(位置、速度、加速度)运动，每个关节驱动器需要施加的力矩。
通过上述方式，利用脉冲神经网络实时的对机器人进行轨迹校正，使机器人能够稳定并准确的移动，提高对机器人控制的稳定性和鲁棒性，另一方面，利用脉冲神经网络能够提高对轨迹校正数据的计算效率，进而提升机器人的运动效率。
参阅图9，图9是本申请提供的机器人一实施例结构示意图。机器人90包括处理器91以及与处理器91耦接的存储器92。
其中，存储器92用于存储计算机程序，处理器91用于执行计算机程序，以实现以下方法：
获取目标区域的图像；利用YOLO算法对图像进行识别，以确定图像中的目标物品的目标位置；基于目标位置生成目标指令，并基于目标指令在脉冲神经网络中计算出运行轨迹；按照运行轨迹控制机器人抓取目标物品。
可以理解的，本实施例中的处理器91还用于执行计算机程序，以实现上述任一实施例中的方法，其具体的实施步骤可以参考上述实施例，这里不再赘述。
在一些实施例中，机器人90为机械臂。
参阅图10，图10是本申请提供的计算机可读存储介质一实施例结构示意图。该计算机可读存储介质100用于存储计算机程序101，计算机程序101在被处理器执行时，用于实现以下方法：
获取目标区域的图像；利用YOLO算法对图像进行识别，以确定图像中的目标物品的目标位置；基于目标位置生成目标指令，并基于目标指令在脉冲神经网络中计算出运行轨迹；按照运行轨迹控制机器人抓取目标物品。
可以理解的，本实施例中的计算机程序101在被处理器执行时，还用于实现上述任一实施例中的方法，其具体的实施步骤可以参考上述实施例，这里不再赘述。
参阅图11，图11是本申请提供的抓取系统一实施例结构示意图。该抓取系统110包括：图像采集装置111、控制器112和机器人90。
其中，图像采集装置111用于获取目标区域的图像。
控制器112与图像采集装置111连接，用于利用YOLO算法对图像进行识别，以确定图像中的目标物品的目标位置；以及基于目标位置生成目标指令，并基于目标指令在脉冲神经网络中计算出运行轨迹。
机器人90与控制器112连接，用于按照运行轨迹抓取目标物品。
其中，图像采集装置111可以是双目摄像头，则控制器112还用于获取目标区域的第一图像和第二图像；利用YOLO算法对第一图像进行识别，以确定第一图像中的目标物品的第一目标位置，以及对第二图像进行识别，以确定第二图像中的目标物品的第二目标位置。
控制器112还用于基于第一目标位置和第二目标位置生成目标物品在世界坐标系下的第三目标位置；基于第三目标位置生成目标指令。
控制器112还用于确定初始第三目标位置；利用初始第三目标位置得到对应的多个第四目标位置；在任一第四目标位置与第一目标位置满足预设条件，以及任一第四目标位置与第二目标位置满足预设条件时，将初始第三目标位置确定为最终的第三目标位置。
控制器112还用于获取第一图像或第二图像对应的图像采集设备的参数矩阵；利用初始第三目标位置、参数矩阵得到多个第四目标位置。
控制器112还用于利用已训练的图像识别模型对图像进行识别，以确定图像中的目标物品的目标位置，其中，已训练的图像识别模型是基于YOLO算法对目标物品的样本图像进行训练后得到的。
控制器112还用于根据运行轨迹生成第一指令，第一指令用于控制机器人运动至运行轨迹上的第一位置；获取机器人移动至第一位置的反馈数据；基于第一指令和反馈数据在脉冲神经网络中计算出轨迹校正数据；根据运行轨迹生成第二指令，第二指令和轨迹校正数据用于控制机器人从第一位置运动至运行轨迹上的第二位置；进而控制机器人的机械臂抓取目标物品。
在一些实施例中，控制器112与机器人90一体设置。
本实施例中的抓取系统110基于YOLO算法的目标识别模块，可以做到实时识别，将左右相机中识别出来的目标物体的图像坐标传递给坐标转换模块；坐标转换模块在已知左右相机目标物体的图像坐标的情况下，随机初始化世界坐标，使用牛顿法基于坐标转换公式不断逼近真实的世界坐标，将世界坐标传递给机械臂控制模块；基于脉冲神经网络的机械臂控制模块在获取到世界坐标后可以移动到目标物体位置进行抓取，对环境的干扰有更强、更快的自适应能力。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种机器人的控制方法，其特征在于，所述方法包括：
获取目标区域的图像；
利用YOLO算法对所述图像进行识别，以确定所述图像中的目标物品的目标位置；
基于所述目标位置生成目标指令，并基于所述目标指令在脉冲神经网络中计算出运行轨迹；
按照所述运行轨迹控制所述机器人抓取所述目标物品。
2.根据权利要求1所述的方法，其特征在于，所述获取目标区域的图像，包括：
获取所述目标区域的第一图像和第二图像；
所述利用YOLO算法对所述图像进行识别，以确定所述图像中的目标物品的目标位置，包括：
利用YOLO算法对所述第一图像进行识别，以确定所述第一图像中的所述目标物品的第一目标位置，以及对所述第二图像进行识别，以确定所述第二图像中的所述目标物品的第二目标位置。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标位置生成目标指令，包括：
基于所述第一目标位置和所述第二目标位置生成所述目标物品在世界坐标系下的第三目标位置；
基于所述第三目标位置生成所述目标指令。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一目标位置和所述第二目标位置生成所述目标物品在世界坐标系下的第三目标位置，包括：
确定初始第三目标位置；
利用所述初始第三目标位置得到对应的多个第四目标位置；
在任一所述第四目标位置与所述第一目标位置满足预设条件，以及任一所述第四目标位置与所述第二目标位置满足预设条件时，将所述初始第三目标位置确定为最终的所述第三目标位置。
5.根据权利要求4所述的方法，其特征在于，所述利用所述初始第三目标位置得到对应的多个第四目标位置，包括：
获取所述第一图像或所述第二图像对应的图像采集设备的参数矩阵；
利用所述初始第三目标位置、所述参数矩阵得到多个所述第四目标位置。
6.根据权利要求1所述的方法，其特征在于，所述利用YOLO算法对所述图像进行识别，以确定所述图像中的目标物品的目标位置，包括：
利用已训练的图像识别模型对所述图像进行识别，以确定所述图像中的目标物品的目标位置，其中，所述已训练的图像识别模型是基于YOLO算法对目标物品的样本图像进行训练后得到的。
7.根据权利要求1所述的方法，其特征在于，所述按照所述运行轨迹控制所述机器人抓取所述目标物品，包括：
根据运行轨迹生成第一指令，所述第一指令用于控制机器人运动至所述运行轨迹上的第一位置；
获取所述机器人移动至所述第一位置的反馈数据；
基于所述第一指令和所述反馈数据在所述脉冲神经网络中计算出轨迹校正数据；
根据所述运行轨迹生成第二指令，所述第二指令和所述轨迹校正数据用于控制所述机器人从所述第一位置运动至运行轨迹上的第二位置；进而控制所述机器人的机械臂抓取所述目标物品。
8.一种机器人，其特征在于，所述机器人包括处理器以及与处理器耦接的存储器；
其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以实现如权利要求1-7任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序在被处理器执行时，用于实现如权利要求1-7任一项所述的方法。
10.一种抓取系统，其特征在于，所述抓取系统包括：
图像采集装置，用于获取目标区域的图像；
控制器，与所述图像采集装置连接，用于利用YOLO算法对所述图像进行识别，以确定所述图像中的目标物品的目标位置；以及基于所述目标位置生成目标指令，并基于所述目标指令在脉冲神经网络中计算出运行轨迹；
机器人，与所述控制器连接，用于按照所述运行轨迹抓取所述目标物品。
CN202111335341.0A 2021-11-11 2021-11-11 机器人的控制方法、机器人、存储介质及抓取系统 Pending CN116100537A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111335341.0A CN116100537A (zh) 2021-11-11 2021-11-11 机器人的控制方法、机器人、存储介质及抓取系统
PCT/CN2021/137999 WO2023082404A1 (zh) 2021-11-11 2021-12-14 机器人的控制方法、机器人、存储介质及抓取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111335341.0A CN116100537A (zh) 2021-11-11 2021-11-11 机器人的控制方法、机器人、存储介质及抓取系统

Publications (1)

Publication Number Publication Date
CN116100537A true CN116100537A (zh) 2023-05-12

Family

ID=86258531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111335341.0A Pending CN116100537A (zh) 2021-11-11 2021-11-11 机器人的控制方法、机器人、存储介质及抓取系统

Country Status (2)

Country Link
CN (1) CN116100537A (zh)
WO (1) WO2023082404A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517292A (zh) * 2019-08-29 2019-11-29 京东方科技集团股份有限公司 目标跟踪方法、装置、系统和计算机可读存储介质
CN111890350A (zh) * 2020-06-12 2020-11-06 深圳先进技术研究院 机器人及其控制方法、计算机可读存储介质
CN111708366B (zh) * 2020-06-29 2023-06-06 山东浪潮科学研究院有限公司 机器人及其行动控制方法、装置和计算机可读存储介质
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法
CN113070878B (zh) * 2021-03-26 2022-06-07 中国科学院深圳先进技术研究院 基于脉冲神经网络的机器人控制方法、机器人及存储介质

Also Published As

Publication number Publication date
WO2023082404A1 (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
Joshi et al. Robotic grasping using deep reinforcement learning
Billard et al. Discriminative and adaptive imitation in uni-manual and bi-manual tasks
Pastor et al. Skill learning and task outcome prediction for manipulation
CN108247637B (zh) 一种工业机器人手臂视觉防撞操控方法
KR100941209B1 (ko) 로봇 장치, 얼굴 인식 방법 및 얼굴 인식 장치
Huang et al. Learning to pour
Koutník et al. Online evolution of deep convolutional network for vision-based reinforcement learning
US11433552B2 (en) Method for the adaptive control of a wearable robot, such as an orthesis or a prosthesis, and wearable robot operating according such method
He et al. Development of distributed control system for vision-based myoelectric prosthetic hand
Kaiser et al. Learning to reproduce visually similar movements by minimizing event-based prediction error
Wang et al. A generative human-robot motion retargeting approach using a single depth sensor
Li et al. Human-robot collaborative manipulation with the suppression of human-caused disturbance
CN116100537A (zh) 机器人的控制方法、机器人、存储介质及抓取系统
CN113561172B (zh) 一种基于双目视觉采集的灵巧手控制方法及装置
CN114952791A (zh) 肌肉骨骼机器人控制方法及装置
Shibata et al. Humanoid oculomotor control based on concepts of computational neuroscience
Fornas et al. Fitting primitive shapes in point clouds: a practical approach to improve autonomous underwater grasp specification of unknown objects
Fernandez et al. Deep reinforcement learning for haptic shared control in unknown tasks
Li et al. Guest editorial for special issue on human-centered intelligent robots: issues and challenges
Jayasurya et al. Gesture controlled AI-robot using Kinect
Cohen et al. Tight dynamic movement primitives for complex trajectory generation
Zheng et al. An online sEMG motion classification framework for tele-operating the robotic hand
CN117885101A (zh) 机器人抓取规划方法、装置、电子设备、存储介质和计算机程序产品
Molano et al. Robotic walker with high maneuverability through deep learning for sensor fusion
Pabbichetty et al. Grasp pose detection for control of an assistive robotic manipulator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination