CN117124332A - 基于ai视觉抓取的机械臂控制方法及系统 - Google Patents

基于ai视觉抓取的机械臂控制方法及系统 Download PDF

Info

Publication number
CN117124332A
CN117124332A CN202311346308.7A CN202311346308A CN117124332A CN 117124332 A CN117124332 A CN 117124332A CN 202311346308 A CN202311346308 A CN 202311346308A CN 117124332 A CN117124332 A CN 117124332A
Authority
CN
China
Prior art keywords
obstacle
coordinates
grabbed
laser radar
grabbing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311346308.7A
Other languages
English (en)
Inventor
季丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Communications Institute of Technology
Original Assignee
Nanjing Communications Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Communications Institute of Technology filed Critical Nanjing Communications Institute of Technology
Priority to CN202311346308.7A priority Critical patent/CN117124332A/zh
Publication of CN117124332A publication Critical patent/CN117124332A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了基于AI视觉抓取的机械臂控制方法及系统，涉及数据处理技术领域。本申请中融合雷达、AI识别技术对待抓取对象进行精准提取，并通过对待抓取对象的像素坐标、激光雷达坐标进行转化进行精准定位，在达到减小误差的同时，解决由于激光雷达和相机不在同一位置而造成对待抓取对象定位产生误差的问题，实现相机和激光雷达的自由装置。同时，基于定位识别结果中第二坐标确定运行路线，使得机械臂绕过障碍物去，避免发生碰撞，提高机械臂作业安全性。

Description

基于AI视觉抓取的机械臂控制方法及系统
技术领域
本发明涉及数据处理技术领域，具体而言，涉及基于AI视觉抓取的机械臂控制方法及系统。
背景技术
机械臂是一种在工业生产中代替人工完成某些单调、频繁和重复的长时间作业的自动化装置，按照设定的程序、轨迹和要求执行监控、抓取、搬运工作或操持工具进行操作。
机械臂的安装状态一般情況下默认为地面，因此其安全运动范围的设置一般来说是基于地面安装进行设置的，然而，发明人在实现本发明的过程中发现现有技术至少存在以下技术问题：当使用者根据实际使用场景改变机械臂的安装状态时，会使得其默认的安全工作范围不能满足实际需求，从而导致碰撞等事故的发生
发明内容
本发明的目的在于提供基于AI视觉抓取的机械臂控制方法及系统，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了基于AI视觉抓取的机械臂控制方法，包括：
基于激光雷达检测待工作区域预设距离空间内的障碍物，得到障碍物集合；
基于AI图像识别技术识别所述障碍物集合确定待抓取对象；
基于所述待抓取对象在AI图像中的像素坐标、激光雷达坐标进行转化，得到第一坐标；
基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线，所述第二坐标为每个所述障碍物对应的激光雷达坐标转化为像素坐标后得到的坐标；
基于所述运行路线对所述待抓取对象进行抓取控制。
第二方面，本申请还提供了一种基于AI视觉抓取的机械臂控制系统，包括检测模块、提取模块、转化模块、规划模块和执行模块，其中：
检测模块：用于基于激光雷达检测待工作区域预设距离空间内的障碍物，得到障碍物集合；
提取模块：用于基于AI图像识别技术识别所述障碍物集合确定待抓取对象；
转化模块：用于基于所述待抓取对象在AI图像中的像素坐标、激光雷达坐标进行转化，得到第一坐标；
规划模块：用于基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线，所述第二坐标为每个所述障碍物对应的激光雷达坐标转化为像素坐标后得到的坐标；
执行模块：用于基于所述运行路线对所述待抓取对象进行抓取控制。
本发明的有益效果为：
本申请中融合雷达、AI识别技术对待抓取对象进行精准提取，并通过对待抓取对象的像素坐标、激光雷达坐标进行转化进行精准定位，在达到减小误差的同时，解决由于激光雷达和相机不在同一位置而造成对待抓取对象定位产生误差的问题，实现相机和激光雷达的自由装置。同时，基于定位识别结果中第二坐标确定运行路线，使得机械臂绕过障碍物去，避免发生碰撞，提高机械臂作业安全性。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中的基于AI视觉抓取的机械臂控制方法的流程框图；
图2为本发明实施例中的基于AI视觉抓取的机械臂控制系统框图；
图3为本发明实施例中的基于AI视觉抓取的机械臂控制设备的框图。
图中标记：710-检测模块；720-提取模块；721-第一获取单元；722-匹配单元；7221-第二获取单元；7222-分类单元；7223-第二判断单元；723-第一判断单元；730-转化模块；731-第三获取单元；732-第一计算单元；733-第二计算单元；740-规划模块；741-分割单元；742-标记单元；743-查询单元；750-执行模块；800-基于AI视觉抓取的机械臂控制设备；801-处理器；802-存储器；803-多媒体组件；804-I/O接口；805-通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
参见图1，图1所示为本实施例中基于AI视觉抓取的机械臂控制方法的流程框图。本实施例提供了基于AI视觉抓取的机械臂控制方法，本方法包括步骤S1、步骤S2、步骤S3、步骤S4和步骤S5。
步骤S1、基于激光雷达检测待工作区域预设距离空间内的障碍物，得到障碍物集合。
可以理解的是，在本步骤中，以机器人为中心利用激光雷达检测预定距离内的所有障碍物，通过激光雷达可以快速捕捉待工作区域有可能是抓取对象的所有物体，对待抓取物进行初步的筛选。而且在能见度较低的场景下工作，激光雷达能够检测到预设范围内的所有障碍物而不受外界环境的影响，提高最终抓取对象正确率。
步骤S2、基于AI图像识别技术识别所述障碍物集合确定待抓取对象。
可以理解的是，在本步骤中，基于AI图像识别技术识别障碍物集合中哪些物体是待执行的抓取任务，快速确定待抓取对象。
为了减少工作场景环境因素对图像采集质量的影响，步骤S2还包括步骤S21、步骤S22和步骤S23。
步骤S21、基于红外线相机获取所述障碍物集合中每个障碍物对应的图像信息。
可以理解的是，在本步骤中，利用红外线相机获取图像信息可以解决图像采集受环境光线的影响。
步骤S22、基于AI图像识别技术检测将所述图像信息与预设标签进行匹配，得到AI识别结果及其对应的标记值，所述预设标签是带有不同标记值的图像，所述标记值是针对物体的类型不同而设置不同的数值。
可以理解的是，在本步骤中，利用AI图像识别技术，将预设标签与每个图像信息分别进行识别匹配，得到每个图像信息对应的物体分类结果(即AI识别结果)，并根据预设标签对应的标记值对每个图像信息进行标签赋值。
进一步地，为了能更好的适应能见度较低的工作场景，步骤S22包括步骤S221、步骤S222和步骤S223。
步骤S221、基于激光雷达检测技术分别获取每个所述障碍物对应的激光雷达散射截面面积信息，确定目标半径。
可以理解的是，在本步骤中，RCS是度量毫米波激光雷达探测目标反射毫米波强度的一种物理量，其数值与目标的截面大小、形状、结构及材料等有很大关系。本申请中将其引入对障碍物的识别中，能对不同种类的目标，比如人、车、墙面等会得到不同的数值(即目标半径)，进而便于后期通过该目标半径进行聚类得到分类结果。因此，本申请中引入该物理量，可以提高聚类算法分辨不同种类目标的能力。
步骤S222、基于所述目标半径和预设分类条件，得到障碍物分类结果，所述预设分类条件是不同障碍物基于所述目标半径计算所得的分数阈值。
可以理解的是，在本步骤中，根据公式(1)确定预设分类条件，本申请中可以自适应的对每种类型的障碍物分类条件进行计算，并将RCS作为分类阈值的补充量，提高聚类准确度：
L≤R+λrcs (1)
其中：L为不同物体类型对应的目标半径；R为每种物体对应的固定目标半径，λrcs为RCS对应的值。
步骤S223、当所述AI识别结果与所述障碍物分类结果为同一物体时，则对应得到所述标记值。
可以理解的是，在本步骤中，结合AI图像识别结果与激光雷达识别结果的数据融合对障碍物进行识别，避免了AI感知和激光雷达感知受大雾、沙尘暴等恶劣天气的影响，对待抓取物体的有效性进行了验证和提取，提高了分类结果识别准确率和抗干扰能力。
步骤S23、判断所述标记值和是否在预设分值内，若是则为待抓取对象，否则为非待抓取对象。
可以理解的是，在本步骤中，可以将预设分值设置为大于零，非待抓取对象对应的标记值设置为无穷小，则根据每个图像信息对应的标记值确定待抓取对象。而且根据抓取任务的重要性，针对不同类型的待抓取对象可以设置优先级并设置相应数值，根据数值的大小进行排序以便于机器人可以先执行较为重要或紧急等任务。
步骤S3、基于所述待抓取对象在AI图像中的像素坐标、激光雷达坐标进行转化，得到第一坐标。
可以理解的是，在本步骤中，为了获得抓取物相对机械臂的准确定位，解决由于激光雷达和相机不在同一位置而造成对待抓取对象定位产生误差的问题，本申请中通过像素坐标、激光雷达坐标进行转化对待抓取对象进行精准定位，在达到减小误差的同时，也能实现相机和激光雷达的自由装置。
详细地，上述步骤S3包括步骤S31、步骤S32和步骤S33。
步骤S31、基于棋盘格标定法对相机进行标定，并获取相机的内部参数和畸变系数。
步骤S32、根据多组数据对利用EPn P算法进行计算，分别得到旋转矩阵和平移矩阵，所述数据对为同一所述待抓取对象对应的所述激光雷达坐标和所述像素坐标。
可以理解的是，在本步骤中，相机和激光雷达同时对应采集棋盘格的边缘角点像素坐标和边缘角点点云坐标，并组成数据对。然后利用EPn P算法对多个数据对建立约束方程，求解得到旋转矩阵和平移矩阵。
步骤S33、基于所述旋转矩阵、所述平移矩阵、所述内部参数和所述畸变系数计算，得到第一坐标。
可以理解的是，在本步骤中，根据公式(2)计算第一坐标：
其中：dx、dy、m0和n0为相机内参数，分别为相机的横轴焦距、纵轴焦距，图像中心点的横向像素坐标和纵向像素坐标；m和n分别为待抓取对象的横向像素坐标和纵向像素坐标；P为旋转矩阵；U为平移矩阵；Aj为畸变系数；Ak、Bk和Ck为待抓取对象的雷达三位坐标。
步骤S4、基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线，所述第二坐标为每个所述障碍物对应的激光雷达坐标转化为像素坐标后得到的坐标。
可以理解的是，在本步骤中，根据第二坐标使得机械臂绕过障碍物去，避免发生碰撞，提高机械臂作业安全性。
为了提高机械人的工作效率，步骤S4包括步骤S41、步骤S42和步骤S43。
步骤S41、将所述测待工作区域进行三维空间分割，得到多个大小一致的元胞体。
可以理解的是，在本步骤中，将测待工作区域所涵盖的三维空间分割成大小相同的正方体，离散成元胞体。
步骤S42、根据每个所述第二坐标将对应的所述元胞体进行标记，得到障碍空间和通行空间。
可以理解的是，在本步骤中，根据障碍物对应的第二坐标的三维定位信息在对应的元胞体上做标记，形成障碍空间，没有做标记的地方即为通行空间。本申请中，根据第二坐标对障碍物空间与通行空间进行归类，即可得到机械臂可通行路径，进而避免发生障碍物碰撞事件，提高作业安全性。
步骤S43、基于所述通行空间，以机械臂的手抓与所述第一坐标对应的所述元胞体为路径始、终点，以最短距离为目标利用Dijkstra算法进行计算得到运行路线。
可以理解的是，在本步骤中，利用Dijkstra算法以第一坐标为起始点找到机械臂运行的最短的且无碰撞发生的最优路径，保证机械臂有效避障的同时，还能提高机器作业效率。
步骤S5、基于所述运行路线对所述待抓取对象进行抓取控制。
可以理解的是，本申请中融合雷达、AI识别技术对待抓取对象进行精准提取，并通过对待抓取对象的像素坐标、激光雷达坐标进行转化进行精准定位，在达到减小误差的同时，解决由于激光雷达和相机不在同一位置而造成对待抓取对象定位产生误差的问题，实现相机和激光雷达的自由装置。同时，基于定位识别结果中第二坐标确定运行路线，使得机械臂绕过障碍物去，避免发生碰撞，提高机械臂作业安全性。
实施例2：
参见图2，图2是根据示例性实施例示出的基于AI视觉抓取的机械臂控制系统的框图，包括检测模块710、提取模块720、转化模块730、规划模块740和执行模块750，其中：
检测模块710：用于基于激光雷达检测待工作区域预设距离空间内的障碍物，得到障碍物集合；
提取模块720：用于基于AI图像识别技术识别所述障碍物集合确定待抓取对象；
优选地，上述提取模块720包括第一获取单元721、匹配单元722和第一判断单元723，其中：
第一获取单元721：用于基于红外线相机获取所述障碍物集合中每个障碍物对应的图像信息；
匹配单元722：用于基于AI图像识别技术检测将所述图像信息与预设标签进行匹配，得到AI识别结果及其对应的标记值，所述预设标签是带有不同标记值的图像，所述标记值是针对物体的类型不同而设置不同的数值；
优选地，上述匹配单元722包括第二获取单元7221、分类单元7222和第二判断单元7223，其中：
第二获取单元7221：用于基于激光雷达检测技术分别获取每个所述障碍物对应的激光雷达散射截面面积信息，确定目标半径；
分类单元7222：用于基于所述目标半径和预设分类条件，得到障碍物分类结果，所述预设分类条件是不同障碍物基于所述目标半径计算所得的分数阈值；
第二判断单元7223：用于当所述AI识别结果与所述障碍物分类结果为同一物体时，则对应得到所述标记值。
第一判断单元723：用于判断所述标记值和是否在预设分值内，若是则为待抓取对象，否则为非待抓取对象。
转化模块730：用于基于所述待抓取对象在AI图像中的像素坐标、激光雷达坐标进行转化，得到第一坐标；
优选地，上述转化模块730包括第三获取单元731、第一计算单元732和第二计算单元733，其中：
第三获取单元731：用于基于棋盘格标定法对相机进行标定，并获取相机的内部参数和畸变系数；
第一计算单元732：用于根据多组数据对利用EPn P算法进行计算，分别得到旋转矩阵和平移矩阵，所述数据对为同一所述待抓取对象对应的所述激光雷达坐标和所述像素坐标；
第二计算单元733：用于基于所述旋转矩阵、所述平移矩阵、所述内部参数和所述畸变系数计算，得到第一坐标。
规划模块740：用于基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线，所述第二坐标为每个所述障碍物对应的激光雷达坐标转化为像素坐标后得到的坐标；
优选地，上述规划模块740包括分割单元741、标记单元742和查询单元743，其中：
分割单元741：用于将所述测待工作区域进行三维空间分割，得到多个大小一致的元胞体；
标记单元742：用于根据每个所述第二坐标将对应的所述元胞体进行标记，得到障碍空间和通行空间；
查询单元743：用于基于所述通行空间，以机械臂的手抓与所述第一坐标对应的所述元胞体为路径始、终点，以最短距离为目标利用Dijkstra算法进行计算得到运行路线。
执行模块750：用于基于所述运行路线对所述待抓取对象进行抓取控制。
需要说明的是，关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
相应于上面的方法实施例，本实施例中还提供了一种基于AI视觉抓取的机械臂控制设备800，下文描述的一种基于AI视觉抓取的机械臂控制设备800与上文描述的基于AI视觉抓取的机械臂控制方法可相互对应参照。
图3是根据示例性实施例示出的一种基于AI视觉抓取的机械臂控制设备800的框图。如图3所示，该基于AI视觉抓取的机械臂控制设备800可以包括：处理器801，存储器802。该基于AI视觉抓取的机械臂控制设备800还可以包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该基于AI视觉抓取的机械臂控制设备800的整体操作，以完成上述的基于AI视觉抓取的机械臂控制方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于AI视觉抓取的机械臂控制设备800的操作，这些数据例如可以包括用于在该基于AI视觉抓取的机械臂控制设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static RandomAccess Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于AI视觉抓取的机械臂控制设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，基于AI视觉抓取的机械臂控制设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital SignalProcessing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于AI视觉抓取的机械臂控制方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机存储介质，该程序指令被处理器执行时实现上述的基于AI视觉抓取的机械臂控制方法的步骤。例如，该计算机存储介质可以为上述包括程序指令的存储器802，上述程序指令可由基于AI视觉抓取的机械臂控制设备800的处理器801执行以完成上述的基于AI视觉抓取的机械臂控制方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种存储介质，下文描述的一种存储介质与上文描述的基于AI视觉抓取的机械臂控制方法可相互对应参照。
一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的基于AI视觉抓取的机械臂控制方法的步骤。
该存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的存储介质。
以上所述，仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.基于AI视觉抓取的机械臂控制方法，其特征在于，包括：
基于激光雷达检测待工作区域预设距离空间内的障碍物，得到障碍物集合；
基于AI图像识别技术识别所述障碍物集合确定待抓取对象；
基于所述待抓取对象在AI图像中的像素坐标、激光雷达坐标进行转化，得到第一坐标；
基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线，所述第二坐标为每个所述障碍物对应的激光雷达坐标转化为像素坐标后得到的坐标；
基于所述运行路线对所述待抓取对象进行抓取控制。
2.根据权利要求1所述的基于AI视觉抓取的机械臂控制方法，其特征在于，基于AI图像识别技术识别所述障碍物集合确定待抓取对象包括：
基于红外线相机获取所述障碍物集合中每个障碍物对应的图像信息；
基于AI图像识别技术检测将所述图像信息与预设标签进行匹配，得到AI识别结果及其对应的标记值，所述预设标签是带有不同标记值的图像，所述标记值是针对物体的类型不同而设置不同的数值；
判断所述标记值和是否在预设分值内，若是则为待抓取对象，否则为非待抓取对象。
3.根据权利要求2所述的基于AI视觉抓取的机械臂控制方法，其特征在于，基于AI图像识别技术检测将所述图像信息与预设标签进行匹配，得到AI识别结果及其对应的标记值包括：
基于激光雷达检测技术分别获取每个所述障碍物对应的激光雷达散射截面面积信息，确定目标半径；
基于所述目标半径和预设分类条件，得到障碍物分类结果，所述预设分类条件是不同障碍物基于所述目标半径计算所得的分数阈值；
当所述AI识别结果与所述障碍物分类结果为同一物体时，则对应得到所述标记值。
4.根据权利要求1所述的基于AI视觉抓取的机械臂控制方法，其特征在于，基于所述待抓取对象在AI图像中的像素坐标、激光雷达坐标进行转化，得到第一坐标包括：
基于棋盘格标定法对相机进行标定，并获取相机的内部参数和畸变系数；
根据多组数据对利用EPn P算法进行计算，分别得到旋转矩阵和平移矩阵，所述数据对为同一所述待抓取对象对应的所述激光雷达坐标和所述像素坐标；
基于所述旋转矩阵、所述平移矩阵、所述内部参数和所述畸变系数计算，得到第一坐标。
5.根据权利要求1所述的基于AI视觉抓取的机械臂控制方法，其特征在于，基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线包括：
将所述测待工作区域进行三维空间分割，得到多个大小一致的元胞体；
根据每个所述第二坐标将对应的所述元胞体进行标记，得到障碍空间和通行空间；
基于所述通行空间，以机械臂的手抓与所述第一坐标对应的所述元胞体为路径始、终点，以最短距离为目标利用Dijkstra算法进行计算得到运行路线。
6.一种基于AI视觉抓取的机械臂控制系统，其特征在于，包括：
检测模块：用于基于激光雷达检测待工作区域预设距离空间内的障碍物，得到障碍物集合；
提取模块：用于基于AI图像识别技术识别所述障碍物集合确定待抓取对象；
转化模块：用于基于所述待抓取对象在AI图像中的像素坐标、激光雷达坐标进行转化，得到第一坐标；
规划模块：用于基于所述第一坐标和每个所述障碍物对应的第二坐标计算，得到运行路线，所述第二坐标为每个所述障碍物对应的激光雷达坐标转化为像素坐标后得到的坐标；
执行模块：用于基于所述运行路线对所述待抓取对象进行抓取控制。
7.根据权利要求6所述的基于AI视觉抓取的机械臂控制系统，其特征在于，所述提取模块包括：
第一获取单元：用于基于红外线相机获取所述障碍物集合中每个障碍物对应的图像信息；
匹配单元：用于基于AI图像识别技术检测将所述图像信息与预设标签进行匹配，得到AI识别结果及其对应的标记值，所述预设标签是带有不同标记值的图像，所述标记值是针对物体的类型不同而设置不同的数值；
第一判断单元：用于判断所述标记值和是否在预设分值内，若是则为待抓取对象，否则为非待抓取对象。
8.根据权利要求7所述的基于AI视觉抓取的机械臂控制系统，其特征在于，所述匹配单元包括：
第二获取单元：用于基于激光雷达检测技术分别获取每个所述障碍物对应的激光雷达散射截面面积信息，确定目标半径；
分类单元：用于基于所述目标半径和预设分类条件，得到障碍物分类结果，所述预设分类条件是不同障碍物基于所述目标半径计算所得的分数阈值；
第二判断单元：用于当所述AI识别结果与所述障碍物分类结果为同一物体时，则对应得到所述标记值。
9.根据权利要求6所述的基于AI视觉抓取的机械臂控制系统，其特征在于，所述转化模块包括：
第三获取单元：用于基于棋盘格标定法对相机进行标定，并获取相机的内部参数和畸变系数；
第一计算单元：用于根据多组数据对利用EPn P算法进行计算，分别得到旋转矩阵和平移矩阵，所述数据对为同一所述待抓取对象对应的所述激光雷达坐标和所述像素坐标；
第二计算单元：用于基于所述旋转矩阵、所述平移矩阵、所述内部参数和所述畸变系数计算，得到第一坐标。
10.根据权利要求6所述的基于AI视觉抓取的机械臂控制系统，其特征在于，所述规划模块包括：
分割单元：用于将所述测待工作区域进行三维空间分割，得到多个大小一致的元胞体；
标记单元：用于根据每个所述第二坐标将对应的所述元胞体进行标记，得到障碍空间和通行空间；
查询单元：用于基于所述通行空间，以机械臂的手抓与所述第一坐标对应的所述元胞体为路径始、终点，以最短距离为目标利用Dijkstra算法进行计算得到运行路线。
CN202311346308.7A 2023-10-17 2023-10-17 基于ai视觉抓取的机械臂控制方法及系统 Pending CN117124332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311346308.7A CN117124332A (zh) 2023-10-17 2023-10-17 基于ai视觉抓取的机械臂控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311346308.7A CN117124332A (zh) 2023-10-17 2023-10-17 基于ai视觉抓取的机械臂控制方法及系统

Publications (1)

Publication Number Publication Date
CN117124332A true CN117124332A (zh) 2023-11-28

Family

ID=88856674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311346308.7A Pending CN117124332A (zh) 2023-10-17 2023-10-17 基于ai视觉抓取的机械臂控制方法及系统

Country Status (1)

Country Link
CN (1) CN117124332A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117463645A (zh) * 2023-12-28 2024-01-30 东屹半导体科技(江苏)有限公司 用于半导体分选一体机的自动控制方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117463645A (zh) * 2023-12-28 2024-01-30 东屹半导体科技(江苏)有限公司 用于半导体分选一体机的自动控制方法及系统
CN117463645B (zh) * 2023-12-28 2024-04-02 东屹半导体科技(江苏)有限公司 用于半导体分选一体机的自动控制方法及系统

Similar Documents

Publication Publication Date Title
US10311719B1 (en) Enhanced traffic detection by fusing multiple sensor data
US9123242B2 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
CN111753609B (zh) 一种目标识别的方法、装置及摄像机
CN103559791B (zh) 一种融合雷达和ccd摄像机信号的车辆检测方法
CN102792314B (zh) 交叉通行碰撞警报系统
JP5822255B2 (ja) 対象物識別装置及びプログラム
TWI651686B (zh) 一種光學雷達行人偵測方法
CN111222568A (zh) 一种车辆网联数据融合方法及装置
CN111016918B (zh) 一种库位检测方法、装置和模型训练装置
CN117124332A (zh) 基于ai视觉抓取的机械臂控制方法及系统
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
CN116310679A (zh) 多传感器融合目标检测方法、系统、介质、设备及终端
CN108764338B (zh) 一种应用于视频分析的行人跟踪方法
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
CN112927303A (zh) 一种基于车道线的自动驾驶车载相机位姿估计方法及系统
CN114998276A (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
CN114898319A (zh) 基于多传感器决策级信息融合的车型识别方法及系统
CN110136186B (zh) 一种用于移动机器人目标测距的检测目标匹配方法
CN110866428A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN114359865A (zh) 一种障碍物的检测方法及相关装置
CN113158779A (zh) 一种行走方法、装置和计算机存储介质
CN115880673A (zh) 一种基于计算机视觉的避障方法及系统
CN110689556A (zh) 跟踪方法、装置及智能设备
CN112347953B (zh) 无人驾驶车辆路况不规则障碍物的识别装置
Wang et al. A system of automated training sample generation for visual-based car detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination