CN112633187A - 基于图像分析的机器人自动搬运方法、系统和存储介质 - Google Patents

基于图像分析的机器人自动搬运方法、系统和存储介质 Download PDF

Info

Publication number
CN112633187A
CN112633187A CN202011577661.2A CN202011577661A CN112633187A CN 112633187 A CN112633187 A CN 112633187A CN 202011577661 A CN202011577661 A CN 202011577661A CN 112633187 A CN112633187 A CN 112633187A
Authority
CN
China
Prior art keywords
robot
image
materials
actually
carrying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011577661.2A
Other languages
English (en)
Other versions
CN112633187B (zh
Inventor
刘文臣
孙乐美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong College of Electronic Technology
Original Assignee
Shandong College of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong College of Electronic Technology filed Critical Shandong College of Electronic Technology
Priority to CN202011577661.2A priority Critical patent/CN112633187B/zh
Publication of CN112633187A publication Critical patent/CN112633187A/zh
Application granted granted Critical
Publication of CN112633187B publication Critical patent/CN112633187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)

Abstract

本发明公开基于图像分析的机器人自动搬运方法、系统和存储介质，其中，机器人自动搬运方法包括：获取参考物料的图像训练集；使用图像训练集训练构建的深度卷积神经网络，得到与参考物料对应的神经网络模型；控制机器人获取实际搬运物料的物料图像；使用神经网络模型对实际搬运物料的物料图像进行物料特征匹配，得到实际搬运物料的物料种类；对实际搬运物料的物料图像进行坐标定位，得到实际搬运物料的空间坐标；根据实际搬运物料的物料种类和空间坐标，计算机器人的物料搬运移动参数；按照物料搬运移动参数，控制机器人搬运物料。本发明的技术方案旨在解决现有技术中搬运货物的效率和准确率不高，对现场环境感知力弱的问题。

Description

基于图像分析的机器人自动搬运方法、系统和存储介质
技术领域
本发明涉及机器人技术领域，具体为一种基于图像分析机器人自动搬运方法、系统和存储介质。
背景技术
在工业生产中经常需要进行物料搬运，传统的物料搬运往往通过人工进行，然而随着机器人技术的日益成熟，越来越多的物料搬运工作交由机器人完成，从而实现了物料搬运过程的自动化。
现有的通过机器人进行物料搬运的技术中，主要通过在需要搬运的货物上设置相应的识别码，例如ARtag码、iBeacon标签或者射频标签等，然后通过设置的摄像头扫描上述识别码；在得到上述识别码后，上传信息在数据库中匹配搜索，从而得到该货物的相应参数，例如形状、颜色和装载物件等信息。当得到货物的相应参数后，控制机器人调整相应的搬运姿态和搬运速度，从而保证货物的高效稳定搬运。
然而，对于工业生产中现场环境较为复杂，通常货物码放较为混乱，从数据库得到的货物参数并不能有效模拟现场货物的码放环境，导致现场工作的机器人搬运货物的效率和准确性不高，机器人并不能有效地感知现场实际环境，根据现场实际环境进行货物搬运。
发明内容
本发明提供一种基于图像分析的机器人自动搬运方法、系统和存储介质，旨在解决现有技术中机器人搬运货物的效率和准确性不高，机器人不能有效感知现场实际环境，根据现场实际环境搬运货物的问题。
为实现上述目的，本发明提出一种基于图像分析的机器人自动搬运方法，包括：
获取参考物料的图像训练集；
使用图像训练集训练构建的深度卷积神经网络，得到与参考物料对应的神经网络模型；
控制机器人获取实际搬运物料的物料图像；
使用神经网络模型对实际搬运物料的物料图像进行物料特征匹配，得到实际搬运物料的物料种类；
对实际搬运物料的物料图像进行坐标定位，得到实际搬运物料的空间坐标；
根据实际搬运物料的物料种类和空间坐标，计算机器人的物料搬运移动参数；
按照物料搬运移动参数，控制机器人搬运物料。
优选地，所述获取参考物料的图像训练集的步骤包括：
选取包含有不同种类参考物料，摄取每种参考物料的一张或多张物料图像；
标记每张物料图像对应的物料种类；
分别保存每一物料种类的参考物料对应所有的物料图像，得到图像训练集。
优选地，所述使用图像训练集训练构建的深度卷积神经网络，得到与参考物料对应的神经网络模型的步骤，包括：
对参考物料的图像训练集进行多次卷积操作，得到参考物料的特征图像；
压缩参考物料的特征图像，得到每张特征图像包含的所有物料特征；
提取同一物料种类的参考物料所对应的所有物料特征；
使用多种参考物料中每一类参考物料的所有物料特征，建立神经网络模型。
优选地，所述对实际搬运物料的物料图像进行坐标定位，得到实际搬运物料的空间坐标的步骤，包括：
建立机器人中摄像机的相机坐标系；
使用相机坐标系，标记物料图像中物料轮廓上各点的相机坐标；
选取实际搬运物料所在空间中的一固定点作为坐标原点，建立空间坐标系；
计算得到相机坐标系与空间坐标系之间的坐标映射系数；
使用坐标映射系数，将物料轮廓上各点的相机坐标转换为空间坐标系下的空间坐标，得到实际搬运物料的空间坐标。
优选地，所述根据实际搬运物料的物料种类和空间坐标，计算机器人的物料搬运移动参数的步骤，包括：
将机器人的机械臂的姿势调整至实际搬运物料的搬运姿势；
按照机器人的机械臂的空间坐标和实际搬运物料的空间坐标，计算机器人的机械臂与实际搬运物料的空间距离；
根据机器人的机械臂与实际搬运物料的空间距离，以及实际搬运物料的物料种类，计算得到对应搬运姿势下机器人的物料搬运移动速度和物料搬运移动角度。
优选地，所述机器人自动搬运方法，还包括：
使用实际搬运物料的空间坐标，计算机器人的移动轨迹；
按照机器人的移动轨迹，控制机器人移动至预定搬运目的地。
根据本发明的第二方面，本发明还提供了一种基于图像分析的机器人自动搬运系统，包括：
获取模块，用于获取参考物料的图像训练集；
训练模块，用于使用图像训练集训练构建的深度卷积神经网络，得到与参考物料对应的神经网络模型；
机器人控制模块，用于控制机器人获取实际搬运物料的物料图像；
匹配模块，用于使用神经网络模型对实际搬运物料的物料图像进行物料特征匹配，得到实际搬运物料的物料种类；
定位模块，用于对实际搬运物料的物料图像进行坐标定位，得到实际搬运物料的空间坐标；
计算模块，用于根据实际搬运物料的物料种类和空间坐标，计算机器人的物料搬运移动参数；
机器人控制模块，还用于按照物料搬运移动参数，控制机器人搬运物料。
优选地，所述训练模块，包括：
卷积子模块，用于对参考物料的图像训练集进行多次卷积操作，得到参考物料的特征图像；
压缩子模块，用于压缩参考物料的特征图像，得到每张特征图像包含的所有物料特征；
提取子模块，用于提取同一物料种类的参考物料所对应的所有物料特征；
生成子模块，用于使用多种参考物料中每一类参考物料的所有物料特征，生成神经网络模型。
优选地，所述定位模块，包括：
第一坐标建立子模块，用于建立机器人中摄像机的相机坐标系；
坐标标记子模块，用于使用相机坐标系，标记物料图像中物料轮廓上各点的相机坐标；
第二坐标建立子模块，用于选取实际搬运物料所在空间中的一固定点作为坐标原点，建立空间坐标系；
系数计算子模块，用于计算得到相机坐标系与空间坐标系之间的坐标映射系数；
坐标转换子模块，用于使用坐标映射系数，将物料轮廓上各点的相机坐标转换为空间坐标系下的空间坐标，得到实际搬运物料的空间坐标。
根据本发明的第三方面，本发明还提供了一种计算机存储介质，包括：存储器、处理器、通信总线以及存储在存储器上的基于图像分析的机器人自动搬运的程序；
通信总线用于实现处理器和存储器之间的连接通信；
处理器用于执行基于图像分析机器人自动搬运的程序，以实现如上述任一项技术方案所述的基于图像分析机器人自动搬运方法的步骤。
综上，本申请提供的机器人自动搬运方案，首先构建深度卷积神经网络，然后获取参考物料的图像训练集，该图像训练集包括多种参考物料的物料图像，这样使用图像训练集训练深度卷积神经网络，从而能够得到与参考物料对应的神经网络模型，该神经网络模型能够识别参考物料的物料特征，根据该物料特征判断参考物料的物料种类。当机器人需要搬运物料时，机器人能够获取实际需要搬运物料的物料图像，然后使用该神经网络模型对该物料图像进行物料特征的匹配，当神经网络模型得到的物料特征与某一种类的参考物料的物料特征匹配时，就能确定该实际搬运物料的物料种类；然后通过物料图像对该实际搬运物料进行坐标定位，得到该实际搬运物料的空间坐标，根据该实际搬运物料的物料种类和空间坐标，计算机器人需要对该物料进行搬运的物料搬运移动参数；按照该物料搬运移动参数控制机器人搬运物料。本申请提供的机器人自动搬运方案，通过深度卷积神经网络设计神经网络模型，能够精确地确定实际搬运物料的物料种类，并且通过坐标定位，能够快速移动该实际搬运物料，从而解决现有技术中机器人搬运货物的效率和准确率不高，对现场环境的感知力弱的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例提供的第一种基于图像分析的机器人自动搬运方法的流程示意图；
图2是图1所示实施例提供的一种图像训练集获取方法的流程示意图；
图3是图1所示实施例提供的一种神经网络训练方法的流程示意图；
图4是图1所示实施例提供的一种物料图像的坐标定位方法的流程示意图；
图5是图1所示实施例提供的一种物料搬运移动参数的计算方法的流程示意图；
图6是本发明实施例提供的第二种基于图像分析的机器人自动搬运方法的流程示意图；
图7是本发明实施例提供的第一种基于图像分析的机器人自动搬运系统的结构示意图；
图8是图7所示实施例提供的一种训练模块的结构示意图；
图9是图7所示实施例提供的一种定位模块的结构示意图；
图10是本发明实施例提供的一种计算机存储介质的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
本申请下述实施例提供的基于图像分析的机器人自动搬运方案，需要解决的技术问题如下：
现有的通过机器人进行物料搬运的技术，主要通过在主要通过在需要搬运的货物上设置相应的识别码，然后通过摄像头扫描上述识别码；在得到上述识别码后，上传信息在数据库中匹配搜索，从而得到该货物的相应参数，例如形状、颜色和装载物件等信息。当得到货物的相应参数后，控制机器人调整相应的搬运姿态和搬运速度以进行搬运。然而通常情况下，货物码放较为混乱，导致现场工作的机器人搬运货物的效率和准确性不高，机器人并不能有效地感知现场实际环境，根据现场实际环境进行货物搬运。
为解决上述问题，本发明下述实施例提供了基于图像分析的机器人自动搬运方案，通过使用参考物料训练深度卷积神经网络，得到神经网络模型；使用该神经网络模型识别实际搬运物料的物料特征，得到物料种类；再根据实际搬运物料的物料种类和空间坐标，计算机器人的物料搬运移动参数，控制机器人进行物料的搬运。从而解决了现场工作的机器人不能有效感知现场实际环境，搬运货物的效率和准确率不高的问题。
为实现上述目的，参见图1，图1为本发明实施例提供的第一种基于图像分析的机器人自动搬运方法的流程示意图。如图1所示，该基于图像分析的机器人自动搬运方法，包括：
S110：获取参考物料的图像训练集。本申请实施例提供的图像训练集包括多种不同种类的参考物料的物料图像，这样就能够更加准确地比对现场环境中的物料。
其中，如图2所示，该获取参考物料的图像训练集的步骤，具体包括：
S111：选取包含有不同种类参考物料，摄取每种参考物料的一张或多张物料图像。通过摄取每种参考物料的一张或多张物料图像，能够便于后续的深度卷积神经网络尽可能多地识别和比对此种参考物料的物料特征。
S112：标记每张物料图像对应的物料种类。通过标记每张物料图像对应的物料种类，然后可以将该物料种类输入至对应的深度卷积神经网络中，从而将识别到的对应的物料特征划分至对应的物料种类中。并且使用该物料种类还能够对深度卷积神经网络所识别的识别结果进行判决，以提高深度卷积神经网络的识别效率。
S113：分别保存每一物料种类的参考物料对应所有的物料图像，得到图像训练集。其中，根据物料种类划分参考物料对应的物料图像编成图像训练集，然后输入至深度卷积神经网络中，能够提高深度卷积神经网络的识别精度。
S120：使用图像训练集训练构建的深度卷积神经网络，得到与参考物料对应的神经网络模型。深度卷积神经网络能够对图像训练集中的物料图像进行特征识别和提取，并且将物料特征识别至同一物料种类之下，并且根据图像训练集中保存的物料种类，进行识别结果的验证，从而得到物料识别准确率较高的神经网络模型。
具体地，如图3所示，该使用图像训练集训练构建的深度卷积神经网络，得到与参考物料对应的神经网络模型的步骤，包括：
S121：对参考物料的图像训练集进行多次卷积操作，得到参考物料的特征图像。
通常，深度卷积神经网络具有多个卷积层，这样当第一卷积层对参考物料原始的物料图像进行卷积操作时，能够得到具有预定大小的更深层次的特征图像，使用每个卷积层分别对上一卷积层得到的特征图像进行卷积操作，能够得到参考物料最深层次的特征图像，从而方便深度卷积神经网络进行后续的特征提取和匹配等操作。
S122：压缩参考物料的特征图像，得到每张特征图像包含的所有物料特征。通过对参考物料的特征图像进行压缩，能够简化特征图像，滤除特征图像的非必要特征，通过该方法得到的所有物料特征即能够确定物料种类的物料特征。
S123：提取同一物料种类的参考物料所对应的所有物料特征。通过提取同一物料种类的参考物料对应的所有物料特征，能够将对物料特征按照物料种类进行分类处理，从而便于该深度卷积神经网络后续对实际搬运物料的特征进行统一比对识别。
S124：使用多种参考物料中每一类参考物料的所有物料特征，建立神经网络模型。
因为参考物料的图像训练集中包括多种参考物料的物料图像，这样在使用深度卷积神经网络识别得到每一类物的所有物料特征时，就能够建立神经网络模型，对后续输入的物料图像进行特征识别，从而准确地获取物料的物料种类。
其中，上述深度卷积神经网络对参考图像进行卷积操作的公式如下：
Figure BDA0002864412720000081
对参考物料的物料图像进行卷积操作，获取参考物料的物料特征图像；其中，
Yj h为第h卷积层输出的第j个的物料图像，Mi为图像训练集，Yi h-1为第h-1卷积层得到的第i个特征图像，Lij h为卷积核，Nj h为偏置系数，F为卷积函数，用于添加非线性因素至神经网络。上述卷积函数F，可以根据具体使用环境由设计人员编写。
S130：控制机器人获取实际搬运物料的物料图像。本申请实施例中，可以在机器人中设置摄像头，使用机器人内置的摄像头摄取实际搬运物料的物料图像。
S140：使用神经网络模型对实际搬运物料的物料图像进行物料特征匹配，得到实际搬运物料的物料种类。因为该神经网络模型是通过使用图像训练集训练深度卷积神经网络得到的，因此该神经网络模型能够识别物料特征，确定实际搬运物料的物料种类。具体地，该神经网络模型对实际搬运物料的物料图像进行上述卷积操作，得到特征图像，然后对上述特征图像进行特征提取，得到物料特征，从而将实际搬运物料的物料图像与深度卷积神经网络已得到参考物料的物料特征进行特征匹配，当特征匹配一致，说明该实际搬运物料即上述参考物料的物料种类。
S150：对实际搬运物料的物料图像进行坐标定位，得到实际搬运物料的空间坐标。
其中，如图4所示，该对实际搬运物料的物料图像进行坐标定位，得到实际搬运物料的空间坐标的步骤，具体包括：
S151：建立机器人中摄像机的相机坐标系。其中，能够以摄像机的镜头中心点为坐标原点建立相机坐标系，并且机器人中可以内置陀螺仪，这样就能够使得机器人感知到地球重力方向，从而将相机坐标系的x轴和y轴分别保持在水平方向和竖直方向。
S152：使用相机坐标系，标记物料图像中物料轮廓上各点的相机坐标。首先需要对物理的轮廓进行识别，然后每隔预定距离在物理轮廓上锚定多个标记点，每个标记点均具有相机坐标，这样就能够完成物理轮廓的相机坐标的标记。
S153：选取实际搬运物料所在空间中的一固定点作为坐标原点，建立空间坐标系。为了方便换算，可在机器人位置固定时，沿着过摄像机镜头中心点的中心线，延长预定距离为坐标原点，建立实际搬运物料的空间坐标系。
S154：计算得到相机坐标系与空间坐标系之间的坐标映射系数。其中，坐标映射系数主要是指两坐标系的中心点的距离，以及两坐标系的坐标轴之间的偏角，通过获取中心点距离和坐标轴偏角，即可对获取到的物料图像在相机坐标系下的各相机坐标进行变换。
S155：使用坐标映射系数，将物料轮廓上各点的相机坐标转换为空间坐标系下的空间坐标，得到实际搬运物料的空间坐标。
通过建立摄像机的相机坐标系以及空间坐标系，并且对得到的物料图像中的物料轮廓进行相机坐标的标记，从而能够将物料轮廓上各点的相机坐标转换为空间坐标系下的空间坐标，得到实际搬运物料的空间坐标，这样就能够方便机器人根据实际搬运物料在现实空间中的实际位置进行搬运，从而提高了搬运效率和准确率。
S160：根据实际搬运物料的物料种类和空间坐标，计算机器人的物料搬运移动参数。通过计算实际搬运物料的物料种类能够确定机器人的搬运姿势，避免对一些易碎或柔软等特征的物料用力过度或拿捏不稳；通过实际搬运物料的空间坐标，能够确定实际搬运物料的实际空间位置，从而计算机器人搬运该物料的移动速度和移动距离，实现对实际搬运物料的移动搬运。
其中，如图5所示，该根据实际搬运物料的物料种类和空间坐标，计算机器人的物料搬运移动参数的步骤，具体包括：
S161：将机器人的机械臂的姿势调整至实际搬运物料的搬运姿势。机器人主要通过机械臂进行搬运，因为实际搬运物料的物料种类不同，有些可能易碎，有些较为柔软，有些可能形状不规则等，这样在搬运物料时，需要根据实际搬运物料的物料种类进行搬运姿势的变换，进而实现对实际搬运物料的搬运。
S162：按照机器人的机械臂的空间坐标和实际搬运物料的空间坐标，计算机器人的机械臂与实际搬运物料的空间距离；这里需要设计机器人的机械臂的多个空间坐标点，并且将机器人机械臂的多个空间坐标点与实际搬运物料的空间坐标点建立对应关系，这些坐标点即机械臂与实际搬运物料的接触点，通过计算这些接触点之间的空间距离，能够便于机器人移动该实际搬运物料。
S163：根据机器人的机械臂与实际搬运物料的空间距离，以及实际搬运物料的物料种类，计算得到对应搬运姿势下机器人的物料搬运移动速度和物料搬运移动角度。
因为不同物料种类的材质、形状或结构均有所不同，这样就决定了机器人的物料搬运移动速度和移动角度均不同，此时根据机械臂与实际搬运物料的空间距离，结合物料种类，能够计算得到物料搬运移动速度和物料搬运移动角度。例如，当空间距离较远，物料种类并非易碎品，此时可以计算得到较快的物料搬运移动速度；当空间距离较近，物料种类为易碎品，此时能够计算得到较慢的物料搬运移动角度。其中，计算移动速度和移动角度的计算函数可以根据搬运经验进行预设。
S170：按照物料搬运移动参数，控制机器人搬运物料。
综上，本申请提供的机器人自动搬运方法，首先构建深度卷积神经网络，然后获取参考物料的图像训练集，该图像训练集包括多种参考物料的物料图像，这样使用图像训练集训练深度卷积神经网络，从而能够得到与参考物料对应的神经网络模型，该神经网络模型能够识别参考物料的物料特征，根据该物料特征判断参考物料的物料种类。当机器人需要搬运物料时，机器人能够获取实际需要搬运物料的物料图像，然后使用该神经网络模型对该物料图像进行物料特征的匹配，当神经网络模型得到的物料特征与某一种类的参考物料的物料特征匹配时，就能确定该实际搬运物料的物料种类。然后通过物料图像对该实际搬运物料进行坐标定位，得到该实际搬运物料的空间坐标，根据该实际搬运物料的物料种类和空间坐标，计算机器人需要对该物料进行搬运的物料搬运移动参数；按照该物料搬运移动参数控制机器人搬运物料。本申请提供的机器人自动搬运方案，通过深度卷积神经网络设计神经网络模型，能够精确地确定实际搬运物料的物料种类，并且通过坐标定位，能够快速移动该实际搬运物料，从而解决现有技术中机器人搬运货物的效率和准确率不高，对现场环境的感知力弱的问题。
作为一种优选的实施例，如图6所示，本申请实施例提供的机器人自动搬运方法，除了上述实施例提供的步骤外还包括：
S210：使用实际搬运物料的空间坐标，计算机器人的移动轨迹；
S220：按照机器人的移动轨迹，控制机器人移动至预定搬运目的地。
本申请实施例提供的技术方案，通过使用实际搬运物料的空间坐标，包括实际搬运物料的所在地和目的地，计算机器人的移动轨迹(具体即机器人的机械臂与实际搬运物料的接触点的移动轨迹)，能够根据该移动轨迹将机器人移动至预定搬运目的地，从而实现实际搬运物的可靠高效搬运。
基于上述方法实施例的同一构思，本发明实施例还提出了基于图像分析的机器人自动搬运系统，用于实现本发明的上述方法，由于该系统实施例解决问题的原理与方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
参见图7，图7为本发明实施例提供的第一种基于图像分析的机器人自动搬运系统的结构示意图。如图7所示，该基于图像分析的机器人自动搬运系统，包括：
获取模块110，用于获取参考物料的图像训练集；
训练模块120，用于使用图像训练集训练构建的深度卷积神经网络，得到与参考物料对应的神经网络模型；
机器人控制模块130，用于控制机器人获取实际搬运物料的物料图像；
匹配模块140，用于使用神经网络模型对实际搬运物料的物料图像进行物料特征匹配，得到实际搬运物料的物料种类；
定位模块150，用于对实际搬运物料的物料图像进行坐标定位，得到实际搬运物料的空间坐标；
计算模块160，用于根据实际搬运物料的物料种类和空间坐标，计算机器人的物料搬运移动参数；
上述机器人控制模块130，还用于按照物料搬运移动参数，控制机器人搬运物料。
综上，本申请实施例提供的机器人自动搬运系统，通过构建深度卷积神经网络，然后获取模块110获取参考物料的图像训练集，该图像训练集包括多种参考物料的物料图像，这样训练模块120使用图像训练集训练深度卷积神经网络，从而能够得到与参考物料对应的神经网络模型，该神经网络模型能够识别参考物料的物料特征，根据该物料特征判断参考物料的物料种类。当机器人需要搬运物料时，机器人控制模块130能够控制机器人获取实际需要搬运物料的物料图像，然后匹配模块140使用该神经网络模型对该物料图像进行物料特征的匹配，当神经网络模型得到的物料特征与某一种类的参考物料的物料特征匹配时，就能确定该实际搬运物料的物料种类。然后定位模块150通过物料图像对该实际搬运物料进行坐标定位，得到该实际搬运物料的空间坐标，计算模块160根据该实际搬运物料的物料种类和空间坐标，计算机器人需要对该物料进行搬运的物料搬运移动参数；机器人控制模块130再控制机器人按照该物料搬运移动参数搬运物料。本申请提供的机器人自动搬运方案，通过深度卷积神经网络设计神经网络模型，能够精确地确定实际搬运物料的物料种类，并且通过坐标定位，能够快速移动该实际搬运物料，从而解决现有技术中机器人搬运货物的效率和准确率不高，对现场环境的感知力弱的问题。
作为一种优选的实施例，如图8所示，上述训练模块120，包括：
卷积子模块121，用于对参考物料的图像训练集进行多次卷积操作，得到参考物料的特征图像；
压缩子模块122，用于压缩参考物料的特征图像，得到每张特征图像包含的所有物料特征；
提取子模块123，用于提取同一物料种类的参考物料所对应的所有物料特征；
生成子模块124，用于使用多种参考物料中每一类参考物料的所有物料特征，生成神经网络模型。
作为一种优选的实施例，如图9所示，上述定位模块150，包括：
第一坐标建立子模块151，用于建立机器人中摄像机的相机坐标系；
坐标标记子模块152，用于使用相机坐标系，标记物料图像中物料轮廓上各点的相机坐标；
第二坐标建立子模块153，用于选取实际搬运物料所在空间中的一固定点作为坐标原点，建立空间坐标系；
系数计算子模块154，用于计算得到相机坐标系与空间坐标系之间的坐标映射系数；
坐标转换子模块155，用于使用坐标映射系数，将物料轮廓上各点的相机坐标转换为空间坐标系下的空间坐标，得到实际搬运物料的空间坐标。
另外，如图10所示，本发明还提供了一种计算机存储介质，包括：存储器1003。处理器1001、通信总线1002以及存储在存储器1003上的基于图像分析的机器人自动搬运的程序。该存储器1003可包括操作系统、网络通信模块以及上述基于图像分析的机器人自动搬运程序。操作系统是管理和控制接口返回参数的校验设备硬件和软件资源的程序，支持上述机器人自动搬运程序以及其他软件和/或程序的运行。网络通信模块用于实现存储器1003内部各组件之间的通信，以及与该可读存储介质中其他硬件或软件之间的通信。
通信总线1002用于实现处理器1001和存储器1003之间的连接通信；
处理器1001用于执行基于图像分析机器人自动搬运的程序，以实现如上述任一项实施例所述的基于图像分析机器人自动搬运方法的步骤。
另外，该计算机存储介质可以设置于上述机器人内部，从而实现机器人的自动控制。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于图像分析的机器人自动搬运方法，其特征在于，包括：
获取参考物料的图像训练集；
使用所述图像训练集训练构建的深度卷积神经网络，得到与所述参考物料对应的神经网络模型；
控制机器人获取实际搬运物料的物料图像；
使用所述神经网络模型对所述实际搬运物料的物料图像进行物料特征匹配，得到所述实际搬运物料的物料种类；
对所述实际搬运物料的物料图像进行坐标定位，得到所述实际搬运物料的空间坐标；
根据所述实际搬运物料的物料种类和空间坐标，计算所述机器人的物料搬运移动参数；
按照所述物料搬运移动参数，控制所述机器人搬运所述物料。
2.根据权利要求1所述的机器人自动搬运方法，其特征在于，所述获取参考物料的图像训练集的步骤，包括：
选取包含有不同种类参考物料，摄取每种参考物料的一张或多张物料图像；
标记每张所述物料图像对应的物料种类；
分别保存每一物料种类的参考物料对应所有的物料图像，得到所述图像训练集。
3.根据权利要求1所述的机器人自动搬运方法，其特征在于，所述使用图像训练集训练构建的深度卷积神经网络，得到与所述参考物料对应的神经网络模型的步骤，包括：
对所述参考物料的图像训练集进行多次卷积操作，得到所述参考物料的特征图像；
压缩所述参考物料的特征图像，得到每张特征图像包含的所有物料特征；
提取同一物料种类的参考物料所对应的所有物料特征；
使用多种所述参考物料中每一类参考物料的所有物料特征，建立所述神经网络模型。
4.根据权利要求1所述的机器人自动搬运方法，其特征在于，所述对所述实际搬运物料的物料图像进行坐标定位，得到所述实际搬运物料的空间坐标的步骤，包括：
建立所述机器人中摄像机的相机坐标系；
使用所述相机坐标系，标记所述物料图像中物料轮廓上各点的相机坐标；
选取所述实际搬运物料所在空间中的一固定点作为坐标原点，建立空间坐标系；
计算得到相机坐标系与所述空间坐标系之间的坐标映射系数；
使用所述坐标映射系数，将所述物料轮廓上各点的相机坐标转换为所述空间坐标系下的空间坐标，得到所述实际搬运物料的空间坐标。
5.根据权利要求1所述的机器人自动搬运方法，其特征在于，所述根据实际搬运物料的物料种类和空间坐标，计算所述机器人的物料搬运移动参数的步骤，包括：
将所述机器人的机械臂的姿势调整至所述实际搬运物料的搬运姿势；
按照所述机器人的机械臂的空间坐标和所述实际搬运物料的空间坐标，计算所述机器人的机械臂与所述实际搬运物料的空间距离；
根据所述机器人的机械臂与所述实际搬运物料的空间距离，以及所述实际搬运物料的物料种类，计算得到对应搬运姿势下所述机器人的物料搬运移动速度和物料搬运移动角度。
6.根据权利要求1所述的机器人自动搬运方法，其特征在于，还包括：
使用所述实际搬运物料的空间坐标，计算所述机器人的移动轨迹；
按照所述机器人的移动轨迹，控制所述机器人移动至预定搬运目的地。
7.一种基于图像分析的机器人自动搬运系统，其特征在于，包括：
获取模块，用于获取参考物料的图像训练集；
训练模块，用于使用所述图像训练集训练构建的深度卷积神经网络，得到与所述参考物料对应的神经网络模型；
机器人控制模块，用于控制机器人获取实际搬运物料的物料图像；
匹配模块，用于使用所述神经网络模型对所述实际搬运物料的物料图像进行物料特征匹配，得到所述实际搬运物料的物料种类；
定位模块，用于对所述实际搬运物料的物料图像进行坐标定位，得到所述实际搬运物料的空间坐标；
计算模块，用于根据所述实际搬运物料的物料种类和空间坐标，计算所述机器人的物料搬运移动参数；
所述机器人控制模块，还用于按照所述物料搬运移动参数，控制所述机器人搬运所述物料。
8.根据权利要求7所述的机器人自动搬运系统，其特征在于，所述训练模块，包括：
卷积子模块，用于对所述参考物料的图像训练集进行多次卷积操作，得到所述参考物料的特征图像；
压缩子模块，用于压缩所述参考物料的特征图像，得到每张特征图像包含的所有物料特征；
提取子模块，用于提取同一物料种类的参考物料所对应的所有物料特征；
生成子模块，用于使用多种所述参考物料中每一类参考物料的所有物料特征，生成所述神经网络模型。
9.根据权利要求7所述的机器人自动搬运系统，其特征在于，所述定位模块，包括：
第一坐标建立子模块，用于建立所述机器人中摄像机的相机坐标系；
坐标标记子模块，用于使用所述相机坐标系，标记所述物料图像中物料轮廓上各点的相机坐标；
第二坐标建立子模块，用于选取所述实际搬运物料所在空间中的一固定点作为坐标原点，建立空间坐标系；
系数计算子模块，用于计算得到相机坐标系与所述空间坐标系之间的坐标映射系数；
坐标转换子模块，用于使用所述坐标映射系数，将所述物料轮廓上各点的相机坐标转换为所述空间坐标系下的空间坐标，得到所述实际搬运物料的空间坐标。
10.一种计算机存储介质，其特征在于，包括：存储器、处理器、通信总线以及存储在所述存储器上的基于图像分析的机器人自动搬运的程序；
所述通信总线用于实现处理器和存储器之间的连接通信；
所述处理器用于执行所述基于图像分析机器人自动搬运的程序，以实现如权利要求1-6中任一项所述的基于图像分析机器人自动搬运方法的步骤。
CN202011577661.2A 2020-12-28 2020-12-28 基于图像分析的机器人自动搬运方法、系统和存储介质 Active CN112633187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011577661.2A CN112633187B (zh) 2020-12-28 2020-12-28 基于图像分析的机器人自动搬运方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011577661.2A CN112633187B (zh) 2020-12-28 2020-12-28 基于图像分析的机器人自动搬运方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN112633187A true CN112633187A (zh) 2021-04-09
CN112633187B CN112633187B (zh) 2023-05-05

Family

ID=75326070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011577661.2A Active CN112633187B (zh) 2020-12-28 2020-12-28 基于图像分析的机器人自动搬运方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN112633187B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343962A (zh) * 2021-08-09 2021-09-03 山东华力机电有限公司 基于视觉感知的多agv小车工作区域最大化实现方法
CN117068891A (zh) * 2023-10-17 2023-11-17 中亿丰数字科技集团有限公司 一种工地agv搬运机器人联动升降机垂直运输方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103273496A (zh) * 2013-05-08 2013-09-04 长沙长泰机器人有限公司 一种利用智能相机在机器人搬运系统中定位工件的方法
WO2018193130A1 (de) * 2017-04-21 2018-10-25 Roboception Gmbh Verfahren zur erstellung einer datenbank mit greiferposen, verfahren zum steuern eines roboters, computerlesbares speichermedium und handhabungssystem
CN109969178A (zh) * 2019-03-26 2019-07-05 齐鲁工业大学 基于多元传感器多物料自主搬运装置及方法
CN111709389A (zh) * 2020-06-24 2020-09-25 山东省食品药品检验研究院 基于显微图像的中药粉末智能鉴别方法和系统
CN112070837A (zh) * 2020-08-31 2020-12-11 浙江省机电设计研究院有限公司 一种基于视觉分析的零部件定位及抓取方法、系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103273496A (zh) * 2013-05-08 2013-09-04 长沙长泰机器人有限公司 一种利用智能相机在机器人搬运系统中定位工件的方法
WO2018193130A1 (de) * 2017-04-21 2018-10-25 Roboception Gmbh Verfahren zur erstellung einer datenbank mit greiferposen, verfahren zum steuern eines roboters, computerlesbares speichermedium und handhabungssystem
CN109969178A (zh) * 2019-03-26 2019-07-05 齐鲁工业大学 基于多元传感器多物料自主搬运装置及方法
CN111709389A (zh) * 2020-06-24 2020-09-25 山东省食品药品检验研究院 基于显微图像的中药粉末智能鉴别方法和系统
CN112070837A (zh) * 2020-08-31 2020-12-11 浙江省机电设计研究院有限公司 一种基于视觉分析的零部件定位及抓取方法、系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343962A (zh) * 2021-08-09 2021-09-03 山东华力机电有限公司 基于视觉感知的多agv小车工作区域最大化实现方法
CN117068891A (zh) * 2023-10-17 2023-11-17 中亿丰数字科技集团有限公司 一种工地agv搬运机器人联动升降机垂直运输方法及系统
CN117068891B (zh) * 2023-10-17 2024-01-26 中亿丰数字科技集团有限公司 一种工地agv搬运机器人联动升降机垂直运输方法及系统

Also Published As

Publication number Publication date
CN112633187B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
US11772267B2 (en) Robotic system control method and controller
CN110116406B (zh) 具有增强的扫描机制的机器人系统
CN108712946B (zh) 货物摆放方法、装置、系统以及电子设备和可读存储介质
CN110176078B (zh) 一种训练集数据的标注方法及装置
CN112837371A (zh) 基于3d匹配的物体抓取方法、装置及计算设备
CN111483750A (zh) 机器人系统的控制方法以及控制装置
CN115330819B (zh) 一种软包分割定位方法、工控机和机器人抓取系统
CN112633187A (zh) 基于图像分析的机器人自动搬运方法、系统和存储介质
CN112935703B (zh) 识别动态托盘终端的移动机器人位姿校正方法及系统
CN113050636A (zh) 一种叉车自主拾取托盘的控制方法、系统及装置
CN113601501B (zh) 机器人柔性作业方法、装置及机器人
CN111470244B (zh) 机器人系统的控制方法以及控制装置
JP6730091B2 (ja) 積載手順決定装置、および積載手順決定プログラム
CN111498213B (zh) 具有动态打包机制的机器人系统
Poss et al. Perceptionbased intelligent materialhandling in industrial logistics environments
Allevato An object recognition and pose estimation library for intelligent industrial automation
JP7495688B2 (ja) ロボットシステムの制御方法及び制御装置
CN113554703B (zh) 机器人定位方法、装置、系统和计算机可读存储介质
WO2023073780A1 (ja) 学習データの生成装置および学習データの生成方法、並びに学習データを使用する機械学習装置および機械学習方法
US20240066723A1 (en) Automatic bin detection for robotic applications
WO2024019701A1 (en) Bin wall collision detection for robotic bin picking
EP4341050A1 (en) High-level sensor fusion and multi-criteria decision making for autonomous bin picking
CN116229131A (zh) 一种货件分拣方法、装置、系统及存储介质
CN116228854A (zh) 一种基于深度学习的包裹自动分拣方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant