CN114505856A - 一种基于大数据深度学习的机械臂智能控制系统 - Google Patents

一种基于大数据深度学习的机械臂智能控制系统 Download PDF

Info

Publication number
CN114505856A
CN114505856A CN202210050045.4A CN202210050045A CN114505856A CN 114505856 A CN114505856 A CN 114505856A CN 202210050045 A CN202210050045 A CN 202210050045A CN 114505856 A CN114505856 A CN 114505856A
Authority
CN
China
Prior art keywords
module
image
mechanical arm
coordinate system
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210050045.4A
Other languages
English (en)
Inventor
王燕清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xiaozhuang University
Original Assignee
Nanjing Xiaozhuang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xiaozhuang University filed Critical Nanjing Xiaozhuang University
Priority to CN202210050045.4A priority Critical patent/CN114505856A/zh
Publication of CN114505856A publication Critical patent/CN114505856A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于大数据深度学习的机械臂智能控制系统，包括图像采集模块、点云建立模块、坐标系生成模块、图像识别模块、网络连接模块、数据库模块、神经网络控制模块、抓取姿势确定模块、机械臂驱动模块、自适应学习模块和转换模块。本发明通过图像采集模块配合点云建立模块将画面信息和点云信息传递至图像识别模块内，通过图像识别模块进行画面识别，并最终将结果向神经网络控制模块输出，通过神经网络控制模块采用BO神经网络模块配合抓取姿势确定模块和机械臂驱动模块驱动机械臂实现物体抓取操作，并通过自适应学习模块提供可行标准和指标，使得机械臂可以自行学习，从而实现了可自主深度学习的目的，同时增强了机械臂的灵活性。

Description

一种基于大数据深度学习的机械臂智能控制系统
技术领域
本发明涉及机械臂控制技术领域，具体为一种基于大数据深度学习的机械臂智能控制系统。
背景技术
现代工业生产中广泛应用机械手去完成特定的任务，如抓取、搬运和分拣。它们代替人完成繁重且反复的工作任务，能在有害环境下操作以保护人身安全，实现生产的机械化和自动化，极大地解放了生产力，提高了生产效率。
但是现有技术在实际使用时，机器人视觉抓取任务中抓取目标位姿的确定一般是通过人工标记进行的，这样虽然大大提高了图像处理过程的速度，但很难应用于类似家庭、安保、物流等非结构化环境中机械臂自主抓取。
发明内容
本发明的目的在于提供一种基于大数据深度学习的机械臂智能控制系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：包括图像采集模块、点云建立模块、坐标系生成模块、图像识别模块、网络连接模块、数据库模块、神经网络控制模块、抓取姿势确定模块、机械臂驱动模块、自适应学习模块和转换模块，所述图像采集模块和点云建立模块的输出端均分别与坐标系生成模块和图像识别模块的输入端连接，所述坐标系生成模块的输出端与转换模块的输入端连接，所述转换模块的输出端与图像识别模块的输入端连接，所述网络连接模块的连接端分别与图像识别模块、数据库模块、神经网络控制模块和自适应学习模块的连接端双向连接，所述图像识别模块的输出端与神经网络控制模块的输入端连接，所述神经网络控制模块的输出端与抓取姿势确定模块的输入端连接，所述机械臂驱动模块的输入端分别与抓取姿势确定模块和自适应学习模块的输出端连接，所述图像识别模块包括特征提取模块、图像分割模块、图像分类模块、目标识别模块和预处理模块，所述预处理模块的输出端与特征提取模块的输入端连接，所述特征提取模块的输出端与图像分割模块的输入端连接，所述图像分割模块的输出端与图像分类模块的输入端连接，所述图像分类模块的输出端与目标识别模块的输入端连接。
优选的，所述图像采集模块包括但不限于相机和补光灯，且图像采集模块用于获取画面信息，所述点云建立模块包括但不限于激光扫描仪，且点云建立模块用于获取位置点云数据。
优选的，所述坐标系生成模块用于以图像采集模块中相机为原点建立三维坐标系，且坐标系生成模块包括固定在机械臂上的坐标系标定板。
优选的，所述预处理模块用于对传递来的数据进行滤波去噪处理，所述特征提取模块用于基于区域分割的方法将画面信息分割成若干个子区域。
优选的，所述图像分割模块用于根据全局特征和局部特征对图像进行特征提取，其中所述全局特征包括但不限于颜色特征、形状特征和纹理特征，所述局部特征包括角点特征和斑点特征。
优选的，所述图像分类模块用于采用人工神经算法对图像进行分类，所述目标识别模块包括图像字符识别模块和图像物体识别模块，所述图像字符识别模块用于识别图像中的字母、数字和文字符号，所述图像物体识别模块用于对图像中的物体进行分类与检测。
优选的，所述神经网络控制模块用于采用BP神经网络控制抓取姿势确定模块工作，所述抓取姿势确定模块用于确定机械手臂夹持的姿势，所述机械臂驱动模块用于控制机械手臂，所述自适应学习模块用于通过多次监督学习、半监督学习以及非监督学习过程使机械臂可自主学习，所述转换模块用于将坐标系生成模块建立的以相机为原点的坐标系通过计算转换成以机械臂固定点为原点的坐标系。
优选的，所述转换模块的输出端连接有自检模块，所述自检模块的连接端与图像识别模块的连接端双向连接。
与现有技术相比，本发明的有益效果是：
1、本发明通过图像采集模块配合点云建立模块将画面信息和点云信息传递至图像识别模块内，通过图像识别模块进行画面识别并最终将结果向神经网络控制模块输出，通过神经网络控制模块采用BO神经网络模块配合抓取姿势确定模块和机械臂驱动模块驱动机械臂实现物体抓取操作，并通过自适应学习模块提供可行标准和指标，使得机械臂可以以此为标准和指标自行学习，从而实现了可自主深度学习的目的，同时增强了机械臂的灵活性；
2、本发明同时还通过图像采集模块中相机对机械臂的图像采集，以及点云建立模块中采集的机械臂表面的点云数据形成机械臂的三维移动向量坐标，并对机械臂的移动进行持续监督，使得当机械臂两两关节之间会产生轻微的应力形变，轻微的应力形变会导致机械手在运动过程中产生轻微的位置偏差时，可以被快速得知并对机械臂进行重新校准，从而避免机械臂在持续运动过程中会不断累积轻微的位置偏差，最终形成较大的位置偏差而不能被忽略，从而导致机械手不能精确地工作。
附图说明
图1为本发明一种基于大数据深度学习的机械臂智能控制系统整体结构系统控制框图；
图2为本发明一种基于大数据深度学习的机械臂智能控制系统整体图像识别模块系统框图；
图3为本发明一种基于大数据深度学习的机械臂智能控制系统相机坐标系示意图；
图4为本发明一种基于大数据深度学习的机械臂智能控制系统机械臂固定点坐标系示意图。
图中：1、图像采集模块；2、点云建立模块；3、坐标系生成模块；4、图像识别模块；41、特征提取模块；42、图像分割模块；43、图像分类模块；44、目标识别模块；441、图像字符识别模块；442、图像物体识别模块；45、预处理模块；5、网络连接模块；6、数据库模块；7、神经网络控制模块；8、抓取姿势确定模块；9、机械臂驱动模块；10、自适应学习模块；11、转换模块；12、自检模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，本发明提供一种技术方案：包括图像采集模块1、点云建立模块2、坐标系生成模块3、图像识别模块4、网络连接模块5、数据库模块6、神经网络控制模块7、抓取姿势确定模块8、机械臂驱动模块9、自适应学习模块10和转换模块11，图像采集模块1和点云建立模块2的输出端均分别与坐标系生成模块3和图像识别模块4的输入端连接，坐标系生成模块3的输出端与转换模块11的输入端连接，转换模块11的输出端与图像识别模块4的输入端连接，网络连接模块5的连接端分别与图像识别模块4、数据库模块6、神经网络控制模块7和自适应学习模块10的连接端双向连接，图像识别模块4的输出端与神经网络控制模块7的输入端连接，神经网络控制模块7的输出端与抓取姿势确定模块8的输入端连接，机械臂驱动模块9的输入端分别与抓取姿势确定模块8和自适应学习模块10的输出端连接，图像识别模块4包括特征提取模块41、图像分割模块42、图像分类模块43、目标识别模块44和预处理模块45，预处理模块45的输出端与特征提取模块41的输入端连接，特征提取模块41的输出端与图像分割模块42的输入端连接，图像分割模块42的输出端与图像分类模块43的输入端连接，图像分类模块43的输出端与目标识别模块44的输入端连接。
图像采集模块1包括但不限于相机和补光灯，且图像采集模块1用于获取画面信息，点云建立模块2包括但不限于激光扫描仪，且点云建立模块2用于获取位置点云数据。
坐标系生成模块3用于以图像采集模块1中相机为原点建立三维坐标系，且坐标系生成模块3包括固定在机械臂上的坐标系标定板。
预处理模块45用于对传递来的数据进行滤波去噪处理，特征提取模块41用于基于区域分割的方法将画面信息分割成若干个子区域。
图像分割模块42用于根据全局特征和局部特征对图像进行特征提取，其中全局特征包括但不限于颜色特征、形状特征和纹理特征，局部特征包括角点特征和斑点特征。
图像分类模块43用于采用人工神经算法对图像进行分类，目标识别模块44包括图像字符识别模块441和图像物体识别模块442，图像字符识别模块441用于识别图像中的字母、数字和文字符号，通过对图像中的字符进行提取，之后对提取的结果进行文本检测，并将提取到的结果输出组合成字符表达，最终得到图像中完整的文字符号，图像物体识别模块442用于对图像中的物体进行分类与检测，物体分类只需要对图像中的目标物体进行特征描述，而物体检测不仅需要得到图像中物体的特征描述，还需要得到物体的具体位置信息。
神经网络控制模块7用于采用BP神经网络控制抓取姿势确定模块8工作，其中BP神经网络的输入量为机械手各关节的位置信息，BP神经网络的输出量为机械手各关节的控制量，抓取姿势确定模块8用于确定机械手臂夹持的姿势，机械臂驱动模块9用于控制机械手臂，自适应学习模块10用于通过多次监督学习、半监督学习以及非监督学习过程使机械臂可自主学习，转换模块11用于将坐标系生成模块3建立的以相机为原点的坐标系通过计算转换成以机械臂固定点为原点的坐标系。
转换模块11的输出端连接有自检模块12，自检模块12的连接端与图像识别模块4的连接端双向连接。
工作原理：在使用时，该发明在使用时，先将坐标系生成模块3中的坐标系标定板固定安装在机械臂上，然后将多组图像采集模块1中的相机固定，并使得相机对着机械臂进行画面采集，并通过坐标系生成模块3建立以图像采集模块1中相机为原点的三维坐标系，通过转换模块11根据坐标系生成模块3传递来的坐标系信息加以计算，并将坐标系生成模块3中以相机为原点的坐标系转化为以机械臂固定点为原点的坐标系，同时图像采集模块1中的补光灯工作进行补光，使得图像采集模块1中的相机可以捕捉不同反光的物体，并采用此种反差较大的背景手段，精确捕捉物体的形状，减少系统变量，同时采用点云建立模块2中的激光扫描仪对物体表面进行扫描，并采集物体表面扫描的点云数据，配合图像采集模块1中相机对物体图像的明暗对比，同时将画面信息和点云信息传递至图像识别模块4内，通过图像识别模块4将输入的图像内容先通过预处理模块45进行预处理操作，即图像采集模块1采集的明暗对比的图像配合点云建立模块2采集的点云数据进行滤波去噪，并增强图像中的有用信息，提高目标物体的可检测性，其中坐标系生成模块3采集的点云数据还可提供图像的体积等信息，之后将图像通过特征提取模块41根据基于区域分割的方法分割成若干个子区域，各区域之间特征具有明显的差异，而各区域内部特征具有一定的相似性的过程，之后通过图像分割模块42根据全局特征(颜色特征、形状特征和纹理特征)和局部特征(角点特征和电源斑点特征)对图像进行特征提取，并通过图像分类模块43中的人工神经算法对图像进行分类，之后再通过目标识别模块44采用的MobileNet+SSD的算法模型进行目标识别，其前端的主网络结构主要采用MobileNet网络的13个卷积层代替SSD模型中VGG网络的13个传统卷积层，之后连接8个卷积层构造成整个算法模型的网络结构，适合移动设备快速识别目标，最终通过其中图像字符识别模块441和图像物体识别模块442共同配合实现图像识别工作，用于分别识别图像中的字母、数字和文字符号以及对图像中的物体进行分类与检测，最终将结果向神经网络控制模块7输出，完成对物体的识别后，通过图像采集模块1中的相机对物体图像的采集以及点云建立模块2中采集物体表面的点云数据，使得可以将物体的特征信息建立在以机械臂固定点为原点的坐标系上，并通过神经网络控制模块7采用BO神经网络模块配合抓取姿势确定模块8和机械臂驱动模块9驱动机械臂实现物体抓取操作，在初次试用阶段，可通过自适应学习模块10进行多次监督学习、半监督学习以及非监督学习过程为机械臂的工作提供可行标准和指标，使得机械臂可以以此为标准和指标自行学习，从而实现了可自主深度学习的目的，同时增强了机械臂的灵活性，通过图像采集模块1中相机对机械臂的图像采集，以及点云建立模块2中采集的机械臂表面的点云数据形成机械臂的三维移动向量坐标，并对机械臂的移动进行持续监督，使得当机械臂两两关节之间会产生轻微的应力形变，轻微的应力形变会导致机械手在运动过程中产生轻微的位置偏差时，可以被快速得知并对机械臂进行重新校准，从而避免机械臂在持续运动过程中会不断累积轻微的位置偏差，最终形成较大的位置偏差而不能被忽略，从而导致机械手不能精确地工作。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于大数据深度学习的机械臂智能控制系统，其特征在于：包括图像采集模块(1)、点云建立模块(2)、坐标系生成模块(3)、图像识别模块(4)、网络连接模块(5)、数据库模块(6)、神经网络控制模块(7)、抓取姿势确定模块(8)、机械臂驱动模块(9)、自适应学习模块(10)和转换模块(11)，所述图像采集模块(1)和点云建立模块(2)的输出端均分别与坐标系生成模块(3)和图像识别模块(4)的输入端连接，所述坐标系生成模块(3)的输出端与转换模块(11)的输入端连接，所述转换模块(11)的输出端与图像识别模块(4)的输入端连接，所述网络连接模块(5)的连接端分别与图像识别模块(4)、数据库模块(6)、神经网络控制模块(7)和自适应学习模块(10)的连接端双向连接，所述图像识别模块(4)的输出端与神经网络控制模块(7)的输入端连接，所述神经网络控制模块(7)的输出端与抓取姿势确定模块(8)的输入端连接，所述机械臂驱动模块(9)的输入端分别与抓取姿势确定模块(8)和自适应学习模块(10)的输出端连接，所述图像识别模块(4)包括特征提取模块(41)、图像分割模块(42)、图像分类模块(43)、目标识别模块(44)和预处理模块(45)，所述预处理模块(45)的输出端与特征提取模块(41)的输入端连接，所述特征提取模块(41)的输出端与图像分割模块(42)的输入端连接，所述图像分割模块(42)的输出端与图像分类模块(43)的输入端连接，所述图像分类模块(43)的输出端与目标识别模块(44)的输入端连接。
2.根据权利要求1所述的一种基于大数据深度学习的机械臂智能控制系统，其特征在于：所述图像采集模块(1)包括但不限于相机和补光灯，且图像采集模块(1)用于获取画面信息，所述点云建立模块(2)包括但不限于激光扫描仪，且点云建立模块(2)用于获取位置点云数据。
3.根据权利要求1所述的一种基于大数据深度学习的机械臂智能控制系统，其特征在于：所述坐标系生成模块(3)用于以图像采集模块(1)中相机为原点建立三维坐标系，且坐标系生成模块(3)包括固定在机械臂上的坐标系标定板。
4.根据权利要求1所述的一种基于大数据深度学习的机械臂智能控制系统，其特征在于：所述预处理模块(45)用于对传递来的数据进行滤波去噪处理，所述特征提取模块(41)用于基于区域分割的方法将画面信息分割成若干个子区域。
5.根据权利要求1所述的一种基于大数据深度学习的机械臂智能控制系统，其特征在于：所述图像分割模块(42)用于根据全局特征和局部特征对图像进行特征提取，其中所述全局特征包括但不限于颜色特征、形状特征和纹理特征，所述局部特征包括角点特征和斑点特征。
6.根据权利要求1所述的一种基于大数据深度学习的机械臂智能控制系统，其特征在于：所述图像分类模块(43)用于采用人工神经算法对图像进行分类，所述目标识别模块(44)包括图像字符识别模块(441)和图像物体识别模块(442)，所述图像字符识别模块(441)用于识别图像中的字母、数字和文字符号，所述图像物体识别模块(442)用于对图像中的物体进行分类与检测。
7.根据权利要求1所述的一种基于大数据深度学习的机械臂智能控制系统，其特征在于：所述神经网络控制模块(7)用于采用BP神经网络控制抓取姿势确定模块(8)工作，所述抓取姿势确定模块(8)用于确定机械手臂夹持的姿势，所述机械臂驱动模块(9)用于控制机械手臂，所述自适应学习模块(10)用于通过多次监督学习、半监督学习以及非监督学习过程使机械臂可自主学习，所述转换模块(11)用于将坐标系生成模块(3)建立的以相机为原点的坐标系通过计算转换成以机械臂固定点为原点的坐标系。
8.根据权利要求1所述的一种基于大数据深度学习的机械臂智能控制系统，其特征在于：所述转换模块(11)的输出端连接有自检模块(12)，所述自检模块(12)的连接端与图像识别模块(4)的连接端双向连接。
CN202210050045.4A 2022-01-17 2022-01-17 一种基于大数据深度学习的机械臂智能控制系统 Withdrawn CN114505856A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210050045.4A CN114505856A (zh) 2022-01-17 2022-01-17 一种基于大数据深度学习的机械臂智能控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210050045.4A CN114505856A (zh) 2022-01-17 2022-01-17 一种基于大数据深度学习的机械臂智能控制系统

Publications (1)

Publication Number Publication Date
CN114505856A true CN114505856A (zh) 2022-05-17

Family

ID=81549017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210050045.4A Withdrawn CN114505856A (zh) 2022-01-17 2022-01-17 一种基于大数据深度学习的机械臂智能控制系统

Country Status (1)

Country Link
CN (1) CN114505856A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030275A (zh) * 2022-12-28 2023-04-28 深圳闪新软件技术服务有限公司 一种带有多个usb接口的回收终端管理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030275A (zh) * 2022-12-28 2023-04-28 深圳闪新软件技术服务有限公司 一种带有多个usb接口的回收终端管理系统

Similar Documents

Publication Publication Date Title
CN110314854B (zh) 一种基于视觉机器人的工件检测分拣的装置及方法
Chen et al. Applying a 6-axis mechanical arm combine with computer vision to the research of object recognition in plane inspection
CN111275063B (zh) 一种基于3d视觉的机器人智能抓取控制方法及系统
CN104992449B (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN108229665A (zh) 一种以深度卷积神经网络为基础的零件分拣系统
CN111590611A (zh) 一种基于多模态主动感知的物品分类回收方法
US11504846B2 (en) Robot teaching system based on image segmentation and surface electromyography and robot teaching method thereof
Djajadi et al. A model vision of sorting system application using robotic manipulator
CN114952809A (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
CN208092786U (zh) 一种以深度卷积神经网络为基础的零件分拣系统
CN114505856A (zh) 一种基于大数据深度学习的机械臂智能控制系统
Kim et al. Object recognition for cell manufacturing system
CN116984269A (zh) 一种基于图像识别的煤矸石抓取方法及系统
CN116673962A (zh) 一种基于FasterR-CNN和GRCNN的机械臂智能抓取方法及系统
CN113681552B (zh) 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN111942426A (zh) 一种基于热红外的铁水运输机车车轴测温方法
Gao et al. An automatic assembling system for sealing rings based on machine vision
Shi et al. A fast workpiece detection method based on multi-feature fused SSD
Funakubo et al. Recognition and handling of clothes with different pattern by dual hand-eyes robotic system
CN107766783A (zh) 一种三维物体识别装置及方法
Bergamini et al. Deep learning-based method for vision-guided robotic grasping of unknown objects
Phyu et al. Accuracy on photo-model-based clothes recognition
Jin et al. Determination of defects for dynamic objects using instance segmentation
Batra et al. A cognitive framework on object recognition and localization for robotic vision
Fu et al. Robotic arm intelligent grasping system for garbage recycling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220517