CN113814972A - 基于ai图像识别算法的机械臂移动的控制方法 - Google Patents

基于ai图像识别算法的机械臂移动的控制方法 Download PDF

Info

Publication number
CN113814972A
CN113814972A CN202111034802.0A CN202111034802A CN113814972A CN 113814972 A CN113814972 A CN 113814972A CN 202111034802 A CN202111034802 A CN 202111034802A CN 113814972 A CN113814972 A CN 113814972A
Authority
CN
China
Prior art keywords
image
mechanical arm
recognition algorithm
model
control method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111034802.0A
Other languages
English (en)
Inventor
金玉辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Lingshou Intelligent Robot Co ltd
Original Assignee
Suzhou Lingshou Intelligent Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Lingshou Intelligent Robot Co ltd filed Critical Suzhou Lingshou Intelligent Robot Co ltd
Priority to CN202111034802.0A priority Critical patent/CN113814972A/zh
Publication of CN113814972A publication Critical patent/CN113814972A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

发明涉及控制方法领域，尤其是基于AI图像识别算法的机械臂移动的控制方法。该方法的步骤为：a)预训练深度学习的网络模型，实现图像实例识别与图像区域分割，得到区域识别模型；b)预训练深度学习的模型，得到目标物体识别模型；c)通过数个摄像头从数个不同的角度采集图像；d)使用区域识别模型对采集来的图像进行图像区域分割，依据数张图像分隔的结果进行三维空间建模。本发明通过两次图像识别算法的定位，降低了机械臂的精度要求，提高了抓取的效率和准确性。控制机械臂移动过程中不需要采集图像，对图像算法计算量大大减少。成本低灵活性高：纯图像技术可灵活应用于各种动态变化的商用场景。

Description

基于AI图像识别算法的机械臂移动的控制方法
技术领域
发明涉及控制方法领域，尤其是基于AI图像识别算法的机械臂移动的控制方法。
背景技术
现有的机械臂移动控制，是通过机械臂上的摄像头采集图像，采集的对象是目标物体。但是这种控制方式的抓取效率与准确率较低。
发明内容
为了解决背景技术中描述的技术问题，发明提供了一种基于AI图像识别算法的机械臂移动的控制方法。通过两次图像识别算法的定位，降低了机械臂的精度要求，提高了抓取的效率和准确性。控制机械臂移动过程中不需要采集图像，对图像算法计算量大大减少。成本低灵活性高：纯图像技术可灵活应用于各种动态变化的商用场景。
本发明解决其技术问题所采用的技术方案是：
一种基于AI图像识别算法的机械臂移动的控制方法，该方法的步骤为：
a)预训练深度学习的网络模型，实现图像实例识别与图像区域分割，得到区域识别模型；
b)预训练深度学习的模型，得到目标物体识别模型；
c)通过数个摄像头从数个不同的角度采集图像；
d)使用区域识别模型对采集来的图像进行图像区域分割，依据数张图像分隔的结果进行三维空间建模；
e)使用目标物体识别模型识别目标物体在三维空间中的坐标位置，并确认机械臂的坐标位置；
f)得到三维空间中的目标位置、障碍物区域后，通过机械臂的控制指令，对机械臂进行路径规划，机械臂按此路径运行运动操作；
g)机械臂运动到目标位置后，在做夹取操作前，数个摄像头重新采集图像进行一次目标位置、机械臂位置的核对与矫正，并做夹取操作。
具体地，所述三维空间建模的方式为，通过三维递归重建神经网络3D-R2N2进行多视图三维重建。
具体地，所述神经网络3D-R2N2从任意角度接收多个对象实例的图像，并以三维占用网格的形式输出对象的重建。
具体地，所述摄像头采集的图像是从顶、前、左、右四个角度采集。
具体地，通过采集的图像，提取环境图像特征，计算出关键目标间的坐标关系，采用图像分割的深度学习网络DeepLabv3+进行训练。
本发明的有益效果是：本发明提供了一种基于AI图像识别算法的机械臂移动的控制方法。通过两次图像识别算法的定位，降低了机械臂的精度要求，提高了抓取的效率和准确性。控制机械臂移动过程中不需要采集图像，对图像算法计算量大大减少。成本低灵活性高：纯图像技术可灵活应用于各种动态变化的商用场景。
附图说明
下面结合附图和实施例对发明进一步说明。
图1是本发明的结构框图；
具体实施方式
现在结合附图对发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明发明的基本结构，因此其仅显示与发明有关的构成。
图1是本发明的结构框图。
如附图1所示，一种基于AI图像识别算法的机械臂移动的控制方法，该方法的步骤为：
a)预训练深度学习的网络模型，实现图像实例识别与图像区域分割，得到区域识别模型；
b)预训练深度学习的模型，得到目标物体识别模型；
c)通过数个摄像头从数个不同的角度采集图像；
d)使用区域识别模型对采集来的图像进行图像区域分割，依据数张图像分隔的结果进行三维空间建模；
e)使用目标物体识别模型识别目标物体在三维空间中的坐标位置，并确认机械臂的坐标位置；
f)得到三维空间中的目标位置、障碍物区域后，通过机械臂的控制指令，对机械臂进行路径规划，机械臂按此路径运行运动操作；
g)机械臂运动到目标位置后，在做夹取操作前，数个摄像头重新采集图像进行一次目标位置、机械臂位置的核对与矫正，并做夹取操作。
三维空间建模的方式为，通过三维递归重建神经网络3D-R2N2进行多视图三维重建。基于重建的3D Voxel模型，可以在三维空间设计出机械臂避障与运动的最优路径。
神经网络3D-R2N2从任意角度接收多个对象实例的图像，并以三维占用网格的形式输出对象的重建。这个网络不需要任何图像注释或分类标签来进行训练或测试。并且通过大量的实验分析表明：1、优于最先进的单视图重建方法。2、能够在传统的SFM/SLAM方法失败(因为缺乏纹理和/或宽基线)的情况下实现对象的三维重建。
摄像头采集的图像是从顶、前、左、右四个角度采集。
(1)通过采集的图像，提取环境图像特征，计算出关键目标间的坐标关系，采用图像分割的深度学习网络DeepLabv3+进行训练。使用包含300-500张训练图片、100张验证图片、50张测试图片，即可以训练出效果比较好的图像分割模型。将图片根据内容分割成不同的块，对每个像素点的分类，物体的轮廓是精准勾勒的，而不是像检测那样给出边界框。
DeepLabv3+网络的整体架构，它的Encoder的主体是带有空洞卷积的DCNN，可以采用常用的分类网络如ResNet，然后是带有空洞卷积的空间金字塔池化模块(ASPP))，引入多尺度信息；DeepLabv3+引入了Decoder模块，其将底层特征与高层特征进一步融合，提升分割边界准确度。DeepLabv3+在DilatedFCN基础上引入了EcoderDecoder的思路。
以上述依据发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (5)

1.一种基于AI图像识别算法的机械臂移动的控制方法，其特征在于：该方法的步骤为：
a)预训练深度学习的网络模型，实现图像实例识别与图像区域分割，得到区域识别模型；
b)预训练深度学习的模型，得到目标物体识别模型；
c)通过数个摄像头从数个不同的角度采集图像；
d)使用区域识别模型对采集来的图像进行图像区域分割，依据数张图像分隔的结果进行三维空间建模；
e)使用目标物体识别模型识别目标物体在三维空间中的坐标位置，并确认机械臂的坐标位置；
f)得到三维空间中的目标位置、障碍物区域后，通过机械臂的控制指令，对机械臂进行路径规划，机械臂按此路径运行运动操作；
g)机械臂运动到目标位置后，在做夹取操作前，数个摄像头重新采集图像进行一次目标位置、机械臂位置的核对与矫正，并做夹取操作。
2.根据权利要求1所述的基于AI图像识别算法的机械臂移动的控制方法，其特征在于：所述三维空间建模的方式为，通过三维递归重建神经网络3D-R2N2进行多视图三维重建。
3.根据权利要求2所述的基于AI图像识别算法的机械臂移动的控制方法，其特征在于：所述神经网络3D-R2N2从任意角度接收多个对象实例的图像，并以三维占用网格的形式输出对象的重建。
4.根据权利要求1所述的基于AI图像识别算法的机械臂移动的控制方法，其特征在于：所述摄像头采集的图像是从顶、前、左、右四个角度采集。
5.根据权利要求1所述的基于AI图像识别算法的机械臂移动的控制方法，其特征在于：通过采集的图像，提取环境图像特征，计算出关键目标间的坐标关系，采用图像分割的深度学习网络DeepLabv3+进行训练。
CN202111034802.0A 2021-09-04 2021-09-04 基于ai图像识别算法的机械臂移动的控制方法 Pending CN113814972A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111034802.0A CN113814972A (zh) 2021-09-04 2021-09-04 基于ai图像识别算法的机械臂移动的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111034802.0A CN113814972A (zh) 2021-09-04 2021-09-04 基于ai图像识别算法的机械臂移动的控制方法

Publications (1)

Publication Number Publication Date
CN113814972A true CN113814972A (zh) 2021-12-21

Family

ID=78914109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111034802.0A Pending CN113814972A (zh) 2021-09-04 2021-09-04 基于ai图像识别算法的机械臂移动的控制方法

Country Status (1)

Country Link
CN (1) CN113814972A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118357903A (zh) * 2024-06-19 2024-07-19 安徽大学 一种多机械臂协同的多目标分拣方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118357903A (zh) * 2024-06-19 2024-07-19 安徽大学 一种多机械臂协同的多目标分拣方法
CN118357903B (zh) * 2024-06-19 2024-08-16 安徽大学 一种多机械臂协同的多目标分拣方法

Similar Documents

Publication Publication Date Title
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
CN109643368B (zh) 检测视频数据中的对象
Chun et al. Markerless kinematic model and motion capture from volume sequences
US9626568B2 (en) Use of spatially structured light for dynamic three dimensional reconstruction and reality augmentation
US9154773B2 (en) 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
CN112785643A (zh) 一种基于机器人平台的室内墙角二维语义地图构建方法
CN110281231B (zh) 无人化fdm增材制造的移动机器人三维视觉抓取方法
JP2022519194A (ja) 奥行き推定
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN110706269B (zh) 一种基于双目视觉slam的动态场景密集建模方法
CN114332214A (zh) 物体姿态估计方法、装置、电子设备及存储介质
CN116662600B (zh) 一种基于轻量结构化线地图的视觉定位方法
CN107944350B (zh) 一种基于外观和几何信息融合的单目视觉道路识别方法
CN113814972A (zh) 基于ai图像识别算法的机械臂移动的控制方法
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统
Salvi et al. A survey addressing the fundamental matrix estimation problem
CN115497086A (zh) 一种自动驾驶中基于细粒度识别的3d场景流估计的方法
Yong et al. A Robust CoS-PVNet Pose Estimation Network in Complex Scenarios
El Amrani Abouelassad et al. Vehicle Pose and Shape Estimation in UAV Imagery Using a CNN
Zhou et al. An anti-occlusion tracking system for UAV imagery based on Discriminative Scale Space Tracker and Optical Flow
Shilin et al. Application of a Depth Camera for Constructing Complex Three-Dimensional Models in Multiple Scanning Complexes
Szczuko Augmented reality for privacy-sensitive visual monitoring
Wang et al. Semantic Mapping Based on Visual SLAM with Object Model Replacement Visualization for Cleaning Robot
Zhang et al. VSLAM based on instance segmentation
Wang et al. Research on Machine Vision-Based Intelligent Vehicle Obstacle Recognition and Range Measurement Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination