CN109366472B - 机器人的物品放置方法、装置、计算机设备及存储介质 - Google Patents

机器人的物品放置方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN109366472B
CN109366472B CN201811474975.2A CN201811474975A CN109366472B CN 109366472 B CN109366472 B CN 109366472B CN 201811474975 A CN201811474975 A CN 201811474975A CN 109366472 B CN109366472 B CN 109366472B
Authority
CN
China
Prior art keywords
physical
coordinate
image
determining
rotation center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811474975.2A
Other languages
English (en)
Other versions
CN109366472A (zh
Inventor
孙高磊
张文刚
梅能华
李相前
罗小军
吴丰礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Topstar Technology Co Ltd
Original Assignee
Guangdong Topstar Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Topstar Technology Co Ltd filed Critical Guangdong Topstar Technology Co Ltd
Priority to CN201811474975.2A priority Critical patent/CN109366472B/zh
Publication of CN109366472A publication Critical patent/CN109366472A/zh
Application granted granted Critical
Publication of CN109366472B publication Critical patent/CN109366472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/02Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/023Cartesian coordinate type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器人的物品放置方法、装置、计算机设备及存储介质,属于机器人技术领域。所述方法包括:获取待放置物品在物品图像上的坐标,作为物品图像坐标;根据所述物品图像坐标和预先确定的第一转换关系,得到物品物理旋转中心;其中,第一转换关系为由图像坐标到物理旋转中心的对应关系,所述物理旋转中心为机器人旋转时所围绕的点;根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标;控制机器人将所述待放置物品放置在所述物品物理放置坐标上。上述技术方案,解决了机器人进行物品放置的过程准确性不够高的问题。能自动确定出待放置物品的物理放置坐标,进而将待放置物品精确地放在对应的位置上。

Description

机器人的物品放置方法、装置、计算机设备及存储介质
技术领域
本发明涉及机器人技术领域,特别是涉及机器人的物品放置方法、装置、计算机设备及存储介质。
背景技术
随着科学技术的发展,机器人的相关研究已经取得了较大的突破。目前,机器人已经能非常成熟地协助人类进行物品放置,例如,拿取某个物品并将其放置到特定位置。在实现本发明过程中,发明人发现现有技术中至少存在如下问题:目前确定待放置物品的物理坐标主要是通过人工测量或者通过独立于机器人的设备来进行。实际上,由于机器人实际构造误差等原因,机器人不一定能将物品准确地放置在所确定的物理位置上,这就使得机器人进行物品放置的过程准确性不够高。
发明内容
基于此,本发明实施例提供了机器人的物品放置方法、装置、计算机设备及存储介质,能有效提高机器人放置物品的准确性。
本发明实施例的内容如下:
一种机器人的物品放置方法,包括以下步骤:获取待放置物品在物品图像上的坐标,作为物品图像坐标;根据所述物品图像坐标和预先确定的第一转换关系,得到物品物理旋转中心;其中,第一转换关系为由图像坐标到物理旋转中心的对应关系,所述物理旋转中心为机器人旋转时所围绕的点;根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标;控制机器人将所述待放置物品放置在所述物品物理放置坐标上。
在其中一个实施例中,还包括:确定从图像坐标到物理坐标的第二转换关系;根据所述第二转换关系,确定从图像坐标到物理旋转中心的坐标的第一转换关系。
在其中一个实施例中,所述根据所述第二转换关系,确定从图像坐标到物理旋转中心的坐标的第一转换关系的步骤,包括:根据所述第二转换关系确定物理旋转中心的第一物理校正值;确定第一图像坐标以及所述第一图像坐标对应的初始物理旋转中心;根据所述第一物理校正值校正所述初始物理旋转中心,得到第一物理旋转中心;根据第一图像坐标和所述第一物理旋转中心的坐标,确定所述第一转换关系。
在其中一个实施例中,所述机器人图像包括通过拍摄装置拍摄所述机器人所得到的图像;所述根据所述第二转换关系确定物理旋转中心的第一物理校正值的步骤,包括:确定第一物理坐标;根据第二转换关系确定所述第一物理坐标对应的第二图像坐标;其中,所述第一物理坐标为机器人围绕第二物理旋转中心旋转时,特征点对应的坐标;根据预先确定的第二物理校正值校正所述第一物理坐标,得到第二物理坐标;确定所述第二物理坐标在机器人图像上对应的第三图像坐标;根据所述第二图像坐标和所述第三图像坐标的差值确定图像校正值;根据所述图像校正值、所述第二物理坐标和所述第二物理旋转中心的坐标确定所述第一物理校正值。
在其中一个实施例中,所述根据所述图像校正值、所述第二物理坐标和所述第二物理旋转中心的坐标确定第一物理校正值的步骤,包括:根据所述图像校正值校正所述第二物理坐标,得到第三物理坐标;确定与所述第三物理坐标对应的第三物理旋转中心的坐标;根据所述第二物理旋转中心和所述第三物理旋转中心的第一坐标差值确定所述第一物理校正值。
在其中一个实施例中,还包括:获取第四物理旋转中心,确定所述第四物理旋转中心对应的第四图像坐标;所述第四图像坐标为机器人围绕所述第四物理旋转中心旋转时,所述特征点在机器人图像上的坐标;确定所述第四图像坐标对应的图像旋转中心坐标;根据所述第二转换关系确定所述图像旋转中心坐标对应的第五物理旋转中心的坐标;根据所述第四物理旋转中心与所述第五物理旋转中心的第二坐标差值,确定所述第二物理校正值。
在其中一个实施例中,所述确定从图像坐标到物理坐标的第二转换关系的步骤,包括:确定第五图像坐标;根据预先确定的第三转换关系确定所述第五图像坐标对应的第四物理坐标;其中,所述第三转换关系为由图像坐标到物理坐标的对应关系;确定第六图像坐标;所述第六图像坐标为特征点处于所述第四物理坐标时,特征点在机器人图像上对应的坐标;根据所述第四物理坐标和所述第六图像坐标,确定所述第二转换关系。
在其中一个实施例中,还包括:确定第七图像坐标;所述第七图像坐标为特征点处于第五物理坐标时,特征点在机器人图像上对应的坐标;确定第八图像坐标;所述第八图像坐标为特征点处于第六物理坐标时,特征点在机器人图像上对应的坐标;所述第六物理坐标和所述第五物理坐标存在特定的距离;根据所述第五物理坐标与所述第七图像坐标的对应关系,以及所述第六物理坐标与所述第八图像坐标的对应关系,确定所述第三转换关系。
在其中一个实施例中,所述根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标的步骤,包括:根据所述物品物理旋转中心,确定待放置物品距离参考物品的第一距离;获取模板物品的模板图像坐标以及模板物理放置坐标;根据所述第一转换关系确定模板图像坐标对应的模板物理旋转中心;根据所述模板物理旋转中心确定模板物品距离所述参考物品的第二距离;根据所述第一距离、第二距离以及模板物理放置坐标确定所述待放置物品的物品物理放置坐标。
在其中一个实施例中,所述控制机器人将所述待放置物品放置在所述物品物理放置坐标上的步骤,包括:控制机器人围绕所述物品物理旋转中心旋转,将所述待放置物品放置在所述物品物理放置坐标对应的位置上。
相应的,本发明实施例提供一种机器人的物品放置装置,包括:图像坐标确定模块,用于获取待放置物品在物品图像上的坐标,作为物品图像坐标;旋转中心确定模块,用于根据所述物品图像坐标和预先确定的第一转换关系,得到物品物理旋转中心;其中,第一转换关系为由图像坐标到物理坐标的对应关系,所述物品物理旋转中心为机器人旋转时所围绕的点;物理坐标确定模块,用于根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标;以及,物品放置模块,用于控制机器人将所述待放置物品放置在所述物品物理放置坐标上。
上述机器人的物品放置方法及装置,根据待放置物品的图像坐标确定其物理旋转中心,确定待放置物品的物理放置位置,进而可以控制机器人对待放置物品进行放置。能自动确定出待放置物品的物理放置坐标,进而将待放置物品精确地放在对应的位置上。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取待放置物品在物品图像上的坐标,作为物品图像坐标;根据所述物品图像坐标和预先确定的第一转换关系,得到物品物理旋转中心;其中,第一转换关系为由图像坐标到物理旋转中心的对应关系,所述物理旋转中心为机器人旋转时所围绕的点;根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标;控制机器人将所述待放置物品放置在所述物品物理放置坐标上。
上述计算机设备,能自动确定出待放置物品的物理放置坐标,进而将待放置物品精确地放在对应的位置上。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:获取待放置物品在物品图像上的坐标,作为物品图像坐标;根据所述物品图像坐标和预先确定的第一转换关系,得到物品物理旋转中心;其中,第一转换关系为由图像坐标到物理旋转中心的对应关系,所述物理旋转中心为机器人旋转时所围绕的点;根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标;控制机器人将所述待放置物品放置在所述物品物理放置坐标上。
上述计算机可读存储介质,能自动确定出待放置物品的物理放置坐标,进而将待放置物品精确地放在对应的位置上。
附图说明
图1为一个实施例中机器人的物品放置方法的应用环境图;
图2为一个实施例中机器人的物品放置方法的流程示意图;
图3为一个实施例中机器人的结构示意图;
图4为一个实施例中物理坐标的示意图;
图5为另一个实施例中物理坐标的示意图;
图6为一个实施例中图像坐标的示意图;
图7为再一个实施例中物理坐标的示意图;
图8为一个实施例中模板物品和待放置物品的位置关系示意图;
图9另一个实施例中机器人的物品放置方法的流程示意图;
图10为一个实施例中机器人的物品放置装置的结构框图;
图11为一个实施例中计算机设备的内部结构。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请提供的机器人的物品放置方法可以应用于如图1所示的应用环境中。该应用环境包括机器人101以及服务器102,机器人101能与服务器102网络通信。在该应用环境中,服务器102根据待放置物品的图像坐标确定对应的物理旋转中心,确定其放置物理坐标,进而控制机器人将待放置物品放置在对应的位置上。其中,机器人101可以是工业机器人、服务机器人等,例如,可以是SCARA(Selective Compliance Assembly Robot Arm)型机器人。机器人形态也可以是各种各样的。服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本发明实施例提供一种机器人的物品放置方法、装置、计算机设备和存储介质。以下分别进行详细说明。
在一个实施例中,如图2所示,提供了一种机器人的物品放置方法。以该方法应用于图1中的服务器端为例进行说明,包括以下步骤:
S201、获取待放置物品在物品图像上的坐标,作为物品图像坐标。
其中,待放置物品可以是各种商品、测试品等。本发明实施例对待放置物品的种类不做限制。
物品图像指的是包含有待拿取物品的图像,这个图像可以是通过拍摄装置(拍摄装置可以是相机、录像机以及具有摄像功能的手机、IPAD等)拍摄待拿取物品得到,也可以是绘制有待拿取物品的图像等。图像坐标指的是研究对象在某一张图像上的位置。具体到物品图像,物品图像坐标指的是待拿取物品在物品图像上的坐标。相应地,物理坐标指的是在实际物理空间中的坐标(坐标系可以是大地坐标系等)。待拿取物品的物理坐标指的是其在物理空间中的空间坐标。
S202、根据所述物品图像坐标和预先确定的第一转换关系,得到物品物理旋转中心;其中,第一转换关系为由图像坐标到物理旋转中心的对应关系,所述物理旋转中心为机器人旋转时所围绕的点。
其中,第一转换关系指的是物理坐标与图像坐标的对应关系,包括物品图像坐标与物品物理放置坐标的对应关系、特征点的图像坐标与特征点的物理坐标的对应关系等。当转换关系是通过不断移动机器人来确定的,则所确定的物理坐标与图像坐标之间的转换关系就相当是对机器人的标定;根据其图像坐标就能知道对应的物理坐标,因而可以精确地对机器人上的某一点进行控制。
另外,物理旋转中心指的是机器人在物理空间中进行旋转所对应的旋转中心。由于物品从一个位置放置到另一个位置除了会发生位置的变化,其放置方向也可能会发生变化;例如:某待放置物品在A位置朝南,而放置到B位置之后需要朝北;在这种情况下,仅仅通过位置平移是不能达到放置目的的,因此需要考虑物品在放置过程中的旋转问题;而机器人在进行物品放置的过程中往往会绕机器人的旋转中心旋转,因此本发明实施例需要考虑机器人的旋转中心。
S203、根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标。
其中,物品物理放置坐标指的是待放置物品所要放置的物理位置。
在确定物品物理旋转中心以后,可以根据机器人的臂长值或者通过参考物品的位置确定待放置物品对应的物品物理放置坐标。
S204、控制机器人将所述待放置物品放置在所述物品物理放置坐标上。
其中,对待放置物品的放置除了进行机器人旋转,还可以包括机器人平移等动作。
在一个实施例中,还包括:确定从图像坐标到物理坐标的第二转换关系;根据所述第二转换关系,确定从图像坐标到物理旋转中心的坐标的第一转换关系。
其中,确定第二转换关系的实现方式可以为:确定机器人上的特征点的物理坐标以及该物理坐标在机器人图像上对应的图像坐标;所述机器人图像包括通过拍摄装置拍摄所述机器人所得到的图像。确定该物理坐标与图像坐标的转换关系,得到第二转换关系。
其中,特征点指的是机器人上具有标识作用的点、部位或者区域。该特征点可以通过在机器人末端治具(治具指的是机器人上能够抓取、固定产品的部位,可以理解为机器人的手指,如图3中的301所示)上粘贴标识图形来实现,该图形可以是圆形、方形、三角形等;例如,可以打印出圆形的纸片,将该纸片粘贴在机器人治具上。
另外,机器人处于物理空间中,根据大地坐标系等就可以确定其所在的物理位置以及其中各个组成部分的位置,因此也就能确定特征点所在的物理坐标了;服务器可以根据用户输入或服务器发送的信息得知特征点的物理坐标。图像坐标指的是特征点在某一张图像上的位置。拍摄装置通过拍摄机器人的图像,就能将机器人上的特征点记录在机器人图像中;而机器人图像由许多像素组成,根据特征点在机器人图像上的像素位置就能知道其图像坐标。
需要说明的是,本实施例中机器人图像指的是拍摄装置拍摄机器人时得到的图像。在其他实施例中,拍摄装置可能拍摄的不是机器人而是待放置物品、模板物品等,则应该认为所得到的图像与机器人图像是类似的,所确定的转换关系也是可以直接套用的。
图3中示出了机器人和拍摄装置的位置关系,拍摄装置302位于机器人末端治具的下方,能实时拍摄机器人对应区域的图像。为满足不同的需求,拍摄装置的位置是可以变换的。另外,为便于计算坐标间的关系,本发明实施例假设拍摄装置的位置不变,因此需要调整机器人的位置使得所要拍摄的对象(特征点以及移动后的特征点)都在机器人图像中。
进一步地,所述根据所述第二转换关系,确定从图像坐标到物理旋转中心的坐标的第一转换关系的步骤,包括:根据所述第二转换关系确定物理旋转中心的第一物理校正值;确定第一图像坐标以及所述第一图像坐标对应的初始物理旋转中心;根据所述第一物理校正值校正所述初始物理旋转中心,得到第一物理旋转中心;根据第一图像坐标和所述第一物理旋转中心的坐标,确定所述第一转换关系。
初始物理旋转中心可以通过一定的方法预先确定,例如,确定第一图像坐标对应的图像旋转中心,根据第二转换关系确定与该图像旋转中心对应的物理旋转中心,就可以得到初始物理旋转中心。
本发明实施例中确定物理坐标(包括物理旋转中心的坐标)与图像坐标的转换关系可以认为是:将机器人所在的物理空间坐标在画布图像上进行标定,即建立两者的对应关系。在传统的确定机器人所在的实际坐标与图像坐标的转换关系的方法中,特征点通常采用3个或4个点,并通过人眼观察的方法来确定这些特征点的物理坐标,这样的方法示校出的特征点有误差,难以保证精度,而且相机对特征点的识别要求高不容易识别,最终对转换关系的精度造成影响。此外,在标定过程中,操作员在相机视野中需要不断移动机器人,操作复杂,技术要求高,标定时间长,转换关系的精度难以保证。从而使得最终的机器人视觉定位设备操作复杂,精度不高。本实施例,能根据机器人上的特征点所在的物理坐标与机器人图像上特征点所在的图像坐标的对应关系确定出准确的转换关系,转换关系的确定不需要人工参与,因此可以精确地自动控制物品的放置。同时,标定方法简捷,标定效率高,标定结果精确,不需要额外的辅助硬件设备,所有的控制流程通过软件一键式操作即可完成。
在一个实施例中,还包括:确定第七图像坐标;所述第七图像坐标为特征点处于第五物理坐标时,特征点在机器人图像上对应的坐标;确定第八图像坐标;所述第八图像坐标为特征点处于第六物理坐标时,特征点在机器人图像上对应的坐标;所述第六物理坐标和所述第五物理坐标存在特定的距离;根据所述第五物理坐标与所述第七图像坐标的对应关系,以及所述第六物理坐标与所述第八图像坐标的对应关系,确定所述第三转换关系。
其中,特定的距离可以根据实际情况具体确定,能保证第六物理坐标在拍摄装置的视野范围内即可。
本实施例更为具体的实现方式可以为:确定所述特征点的第五物理坐标;确定所述第五物理坐标在机器人图像上对应的第七图像坐标;控制所述特征点从第五物理坐标向多个方向移动特定的距离,得到多个第六物理坐标;确定所述多个第六物理坐标在机器人图像上对应的第八图像坐标;根据所述第五物理坐标与所述第七图像坐标的对应关系以及所述多个第六物理坐标与所述多个第八图像坐标的对应关系确定所述第三转换关系。
其中,控制特征点往多个方向移动可以是往两个、三个甚至更多个方向移动(为了与第二转换关系相区别,这里的方向个数可以少于第五物理坐标的个数),所移动的方向和距离也可以是多样的。另外,在拍摄装置位置不变的情况下,为保证移动特定距离后特征点仍能在机器人图像上,可以根据二分法对特征点的移动距离进行调整(在本发明其他实施例中,若需要控制特征点移动,也需要保证特征点处于拍摄装置的视野范围内)。当然,向某一个方向也可以移动不同的距离,得到同一方向上不同的第六物理坐标。
确定第三转换关系的实现过程可以具体为:
确定一个第五物理坐标Q0(qx00,qy00),确定第五物理坐标在机器人图像上对应的第七图像坐标P0(px00,py00)。控制特征点从第五物理坐标往X轴(坐标轴的方向可以根据实际情况确定)移动一个相对位置dx。通过二分法调整dx值[如果移动dx距离以后特征点不在拍摄装置的视野范围内,则可以将dx/2作为新的移动距离,直到特征点在拍摄装置的视野范围(不在第五物理坐标)内],得到一个第六物理坐标Q0(qx01,qy01),确定其对应的图像坐标P0(px01,py01)。根据同样的方法,在Q0(qx00,qy00)位置向Y轴移动一个相对位置dy,通过二分法调整dy值,得到另一个第六物理坐标Q0(qx02,qy02)和对应的图像坐标P0(px02,py02),移动后的第六物理坐标如图4所示。计算P0和Q0之间的第三转换关系A0,便得P0*A0=Q0
Figure BDA0001891959990000101
当第六物理坐标包括两个坐标时(如图4中的情况),由于所研究的坐标对象个数少,可以认为第三转换关系是粗略的转换关系。它能大致表明物理坐标与图像坐标之间的转换关系。
进一步地,第三转换关系是一种粗略的转换关系,有必要提高其精确度,因此可以确定第二转换关系。第二转换关系是在第三转换关系的基础上得到的,可以认为是精度提高以后的第三转换关系,即一种精确转换关系。
所述确定从图像坐标到物理坐标的第二转换关系的步骤,包括:确定第五图像坐标;根据预先确定的第三转换关系确定所述第五图像坐标对应的第四物理坐标;其中,所述第三转换关系为由图像坐标到物理坐标的对应关系;确定第六图像坐标;所述第六图像坐标为特征点处于所述第四物理坐标时,特征点在机器人图像上对应的坐标;根据所述第四物理坐标和所述第六图像坐标,确定所述第二转换关系。
第五图像坐标可以为多个,例如,可以为9个、10个甚至更多。在机器人图像上确定第五图像坐标的过程可以是:将拍摄装置的所拍摄的图像划分为若干个区域,在这些区域中确定一个点,作为第五图像坐标。
具体地,确定第二转换关系的实现过程可以为:
将拍摄装置的视野区域等份划分为9个区域,提取这9个区域的中心坐标,得到第五图像坐标:P1(px10,py10)、P1(px11,py12)、......、P1(px1i,py1i)、......、P1(px18,py18),其中,0≤i≤8。根据第三转换关系A0确定这些第五图像坐标对应的第四物理坐标:Q1(qx10,qy10)、Q1(qx11,qy11)、......、Q1(qxli,qyli)、......、Q1(qx18,qy18),所得到的第四物理坐标如图5所示。根据第三转换关系得到的第四物理坐标可以认为是一种粗略物理坐标,其计算关系式可以为:
qx1i=px1i*a0 11+py1i*a0 21+a0 31
qy1i=py1i*a0 12+pyli*a0 22+a0 32
将机器人的特征点分别移动到:Q1(qx10,qy10)、Q1(qx11,qy11)、......、Q1(qx18,qy18)对应的坐标点位置,通过图像识别确定对应的第六图像坐标:P’1(p’x10,p’y10)、P’1(p’x11,p’y11)、……、P’1(p’x18,p’y18),计算P’1和Q1之间的第二转换关系A1,使得P1*A1=Q1
Figure BDA0001891959990000111
本实施例,首先确定粗略的第三转换关系,再根据第三转换关系以及多个物理坐标和图像坐标间的对应关系确定第二转换关系,所确定的第二转换关系具有较高的精确度,能有效表征物理坐标和图像坐标中的转换关系。
前述实施例中描述到确定物品物理放置坐标需要确定其旋转中心。但是,旋转中心不够准确的话会影响物品放置的精确度,因此有必要根据机器人的实际情况对机器人的旋转中心进行校正,以使放置后的物品的位置和方向都能满足预期的目的。
因此,在一个实施例中,与确定第一转换关系的过程类似,要确定精确的第一物理校正值,可以先确定精确度没有那么高的第二物理校正值。根据这个第二物理校正值来确定第一物理校正值。其中,第二物理校正值可以根据机器人实际的旋转中心以及通过机器人图像所确定的理论旋转中心的比对来确定。即
还包括:获取第四物理旋转中心,确定所述第四物理旋转中心对应的第四图像坐标;所述第四图像坐标为机器人围绕所述第四物理旋转中心旋转时,所述特征点在机器人图像上的坐标;确定所述第四图像坐标对应的图像旋转中心坐标;根据所述第二转换关系确定所述图像旋转中心坐标对应的第五物理旋转中心的坐标;根据所述第四物理旋转中心与所述第五物理旋转中心的第二坐标差值,确定所述第二物理校正值。
第二物理校正值的实现过程可以如下:根据实际情况选择一个第四物理旋转中心Q2(qx2c,qy2c),控制机器人在Q2(qx2c,qy2c)位置绕Z轴方向旋转(以图3的机器人为例,可以控制最外侧手臂的节点(旋转中心)移动到Q2(qx2c,qy2c)这个位置,再控制机器人的手臂绕垂直于地面的轴旋转),并实时通过拍摄装置拍摄机器人图像。在机器人图像上寻找能够搜索到的最大角度dr1和dr2,将从drl到dr2的角度范围分为n份(n根据实际情况确定,例如可以确定为12)。根据n的值确定步长(drl+dr2)/n,进而根据该步长记录搜索到的所有第四图像坐标:P2(px20,py20)、P2(px21,Py21)、......、P2(px2m,py2m)。第四图像坐标以及dr1、dr2如图6所示,其中0≤m≤n且n≥11。通过最小二乘法拟合所有第四图像坐标的图像旋转中心P2(px2c,py2c)。
根据A1计算得到P2(px2c,py2c)对应的第五物理旋转中心的坐标Q’2(q’x2c,q’y2c)为:
q′x2c=px2c*a1 11+Py2c*a1 21+a1 31
q′y2c=px2c*a1 12+py2c*a1 22+a1 32
计算机器人实际的旋转中心-第四物理旋转中心Q2(qx2c,qy2c)与计算出来的理论旋转中心-第五旋转中心Q’2(q’x2c,q’y2c)的坐标差值,根据该坐标差值确定第二物理校正值(D’x,D’y):
D′x=q′x2c-qx2c
D′y=q′y2c-qy2c
机器人图像包括通过拍摄装置拍摄所述机器人所得到的图像;所述根据所述第二转换关系确定物理旋转中心的第一物理校正值的步骤,包括:确定第一物理坐标;根据第二转换关系确定所述第一物理坐标对应的第二图像坐标;其中,所述第一物理坐标为机器人围绕第二物理旋转中心旋转时,特征点对应的坐标;根据预先确定的第二物理校正值校正所述第一物理坐标,得到第二物理坐标;确定所述第二物理坐标在机器人图像上对应的第三图像坐标;根据所述第二图像坐标和所述第三图像坐标的差值确定图像校正值;根据所述图像校正值、所述第二物理坐标和所述第二物理旋转中心的坐标确定所述第一物理校正值。
进一步地,所述根据所述图像校正值、所述第二物理坐标和所述第二物理旋转中心的坐标确定第一物理校正值的步骤,包括:根据所述图像校正值校正所述第二物理坐标,得到第三物理坐标;确定与所述第三物理坐标对应的第三物理旋转中心的坐标;根据所述第二物理旋转中心和所述第三物理旋转中心的第一坐标差值确定所述第一物理校正值。
基于所确定的第二物理校正值,就能确定对应的第一物理校正值,其实现过程可以为:
确定第二物理旋转中心:Q3(qx3c,qy3c)(如图7中的圆心),该第二物理旋转中心处于拍摄装置的视野范围内。控制机器人在第二物理旋转中心绕Z轴旋转(相对角度范围为0-360°,步长dθ设为固定值),确定其旋转过程中特征点所在的第一物理坐标,为了提高第一物理校正值的准确性,第一物理坐标可以为多个,例如,可以为12个:Q3(qx30,qy30)、Q3(qx31qy31)、......、Q3(qx3m,qy3m),12个第一物理坐标如图7所示。进一步地,第一物理坐标也可以处于拍摄装置的视野范围内,以便更为准确地确定图像校正值。
根据第一转换关系A1确定与第一物理坐标对应的第二图像坐标:P3(px30,py30)、P1(px31,py31)、......、P1(px3m,py3m)。
根据预先确定的第二物理校正值(D’x,D’y)对第一物理坐标进行校正,对第一物理坐标进行校正后得到第二物理坐标:Q’3(q’x30,q’y30)、Q’3(q’x31,q’y31)、......、Q’3(q’x3m,q’y3m):
q′x3m=qx3c+D′xcos(mdθ)-D′ysin(mdθ)
q′y3m=qy3c+D′xsin(mdθ)+D′ycos(mdθ)
其中,0≤m≤n且n≥11。
控制机器人的特征点分别移动到第二物理坐标上,并确定这些第二物理坐标在机器人图像上对应的第三图像坐标:P’3(p’x30,p’y30)、P’3(p’x31,p’y31)、......、P3’(p’x3m,p’y3m)。第三图像坐标可以认为是实际值,第二图像坐标可以认为是理论值,计算理论值和实际值的差值可以得到图像校正值(dx,dy):
dx=p′x3m-px3m
dy=p′y3m-py3m
通过图像校正值校正第二物理坐标Q’3(q’x30,q’y30)、Q’3(q’x31,q’y31)、......、Q’3(q’x3m,q’y3m),得到的第三物理坐标为:Q”3(q”x30+dx,q”y30+dy)、Q”3(q”x31+dx,q”y31+dy)、......、Q”3(q”x3m+dx,q”y3m+dy)。对第三物理坐标通过最小二乘法拟合其第三物理旋转中心,所得到的第三物理旋转中心的坐标为Q’3(q’x3c,q’y3c)。根据第二物理旋转中心和第三物理旋转中心的坐标差值确定第一物理校正值(Dx,Dy):
Dx=q′x3c-qx3c
Dy=q′y3c-qy3c
本实施例,根据物理坐标和图像坐标的关系自动确定第二物理校正值,进而确定更为精确的第一物理校正值。所确定的第一物理校正值能准确地对机器人的物理旋转中心进行校正,得到更为准确的物理旋转中心,使得其在物品放置的过程中机器人能根据正确的旋转中心进行旋转,提高物品放置过程中物品位置的精确性。
在一个实施例中,所述根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标的步骤,包括:根据所述物品物理旋转中心,确定待放置物品距离参考物品的第一距离;获取模板物品的模板图像坐标以及模板物理放置坐标;根据所述第一转换关系确定模板图像坐标对应的模板物理旋转中心;根据所述模板物理旋转中心确定模板物品距离所述参考物品的第二距离;根据所述第一距离、第二距离以及模板物理放置坐标确定所述待放置物品的物品物理放置坐标。
其中,参考物品可以指具体的物品,也可指一个点。参考物品的位置可以根据实际情况确定。例如,当机器人拿取物品以后需要到一个固定位置拍照,之后再进行物品放置,则可以将拍照的固定位置确定为参考物品所在的位置。
所述控制机器人将所述待放置物品放置在所述物品物理放置坐标上的步骤,包括:控制机器人围绕所述物品物理旋转中心旋转,将所述待放置物品放置在所述物品物理放置坐标对应的位置上。
其中,模板物品指的是物理坐标、图像坐标以及放置位置坐标都确定的物品,可以根据与待放置物品的关系确定待放置物品的放置位置。需要说明的是,由于模板物品和待放置物品都不仅仅是一个点,因此本实施例中的坐标都可以指物品上某一个点对应的坐标。
在放置待放置物品之前,还可以包括规划机器人的平移运动路径和旋转运动路径的步骤。
本实施例的实现过程可以为:如图8所示,设待放置物品的物理拿取坐标为(Sqx,Sqy,Sqr),其中,r指的是物品相对于参考角度的相对角度,这个参考角度可以为机器人在放置物品前所处的角度(如其头部平面所在的角度)。模板物品的模板图像坐标为(Mpx,Mpy,Mpr),其对应的模板物理放置坐标为(Tqx,Tqy,Tqr)。可以在机器人图像上确定待放置物品的物品图像坐标(Npx,Npy,Npr),进而计算其物品物理放置坐标(Rqx,Rqy,Rqr):
1、根据第一转换关系确定模板物品和待放置物品的物理旋转中心:
Mqx=Mpx*a2 11+Mpy*a2 21+a2 31
Mqy=Mpx*a2 12+Mpy*a2 22+a2 32
Nqx=Npx*a2 11+Npy*a2 21+a2 31
Nqy=Mpx*a2 12+Mpy*a2 22+a2 32
其中,Mqx、Mqy表示模板物品对应的物理旋转中心坐标值,Nqx、Nqy表示待放置物品对应的物理旋转中心坐标值。
2、模板物品从Sqr转动到Tqr时X方向的旋转偏移值为:
Mx=(Mqx-Sqx)*cos(Tqr-Sqr)一(Mqy-Sqy)*sin(Tqr-Sqr)
模板物品从Sqr转动到Tqr时Y方向旋转偏移值为:
My=(Mqx-Sqx)*sin(Tqr-Sqr)-(Mqy-Sqy)*cos(Tqr-Sqr)
待放置物品从Npr转动到模板角度Mpr时X方向的旋转偏移值为:
Nx=((Nqx-Sqx)*cos(Npr-Mpr)-(Nqy-Sqy)*sin(Nqr-Mqr))*cos(Tqr-Sqr))
-((Nqx-Sqx)*sin(Npr-Mpr)+(Nqy-Sqy)*cos(Nqr-Mqr))
*sin(Tqr-Sqr)
待放置物品从Npr转动到模板角度Mpr时Y方向旋转偏移值为:
Ny=((Nqx-Sqx)*cos(Npr-Mpr)-(Nqy-Sqy)*sin(Nqr-Mqr))*sin(Tqr-Sqr))
+((Nqx-Sqx)*sin(Npr-Mpr)+(Nqy-Sqy)*cos(Nqr-Mqr))
*cos(Tqr-Sqr)
这时待放置物品和模板物品角度相同。在同一个放置角度下计算待放置物品旋转偏差和模板物品旋转偏差的差值,可以求得机器人抓取到的物品物理放置坐标:
Rqx=Tqx-(Nx-Mx)
Rqy=Tqy-(Ny-My)
Rqr=Tqr+(Npr-Mpr)
本实施例,根据第一转换关系以及模板物品的坐标确定待放置物品的放置位置,进而控制机器人进行物品放置。且能精确地从待放置物品的物理拿取坐标拿取待放置物品并将其精确地放置在物品物理放置坐标上。
为了更好地理解上述方法,如图9所示,以下详细阐述一个本发明机器人的物品放置方法的应用实例。
S901、确定机器人上特征点的物理坐标Q0,确定其在机器人图像上的图像坐标P0;根据Q0和P0的关系计算转换关系A0
S902、将相机视野划分为9个区域,确定这些区域的中心坐标P1;根据转换关系A0计算与P1对应物理坐标Q1,根据P1与Q1的坐标关系计算转换关系A1
S903、确定物理旋转中心Q2c,控制特征点在Q2c绕Z轴旋转,确定旋转过程中特征点在机器人图像中的图像坐标P2
S904、确定这P2对应的图像旋转中心,根据转换关系A1确定与图像旋转中心对应的物理旋转中心Q’2c;根据Q2c和Q’2c的坐标差值确定物理校正值(D’x,D’y)。
S905、确定物理旋转中心Q3c,控制特征点在Q3c绕Z轴旋转,确定旋转过程中特征点的12个物理坐标Q3;根据转换关系A1确定与Q3对应的图像坐标P3
S906、通过物理校正值(D’x,D’y)对Q3进行校正得到物理坐标Q’3;控制特征点移动到Q’3位置上,并确定对应的图像坐标P’3
S907、根据P3与P’3的坐标差值确定图像校正值(dx,dy);通过图像校正值(dx,dy)校正Q’3,得到Q”3
S908、通过最小二乘法拟合Q”3得到物理旋转中心Q’3c;根据Q3c和Q’3c的坐标差值确定物理校正值(Dx,Dy)。
S909、确定图像坐标P,确定与图像坐标P对应的初始物理旋转中心Q;通过物理校正值(Dx,Dy)对初始物理旋转中心进行校正得到校正后的物理旋转中心Q’;计算P和Q’之间的转换关系A2
S910、在确定待放置物品的物理拿取坐标(Sqx,Sqy,Sqr)以及模板物品的模板图像坐标(Mpx,Mpy,Mpr)、物理放置坐标(Tqx,Tqy,Tqr)后,根据A2确定待放置物品的物理放置坐标(Rqx,Rqy,Rqr)。
S911、控制机器人从(Sqx,Sqy,Sqr)拿取待放置物品并通过平移和旋转的方式将其放置在(Rqx,Rqy,Rqr)。
本实施例,能自动确定出待放置物品的物理放置坐标,进而将待放置物品精确地放在对应的位置上。不需要人为示校机器人特征点,也不需要人为移动机器人并在相机视野中记录坐标信息,计算坐标转换关系,只需将机器人末端治具特征点移动至相机视野中,标定软件采用一键式启动就可以。标定方法更简捷,标定效率更高,标定结果更精确,不需要额外的辅助硬件设备,能够大幅度降低操作人员调机难度,提高机器人视觉定位设备的精度。
需要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的机器人的物品放置方法相同的思想,本发明还提供机器人的物品放置装置,该装置可用于执行上述机器人的物品放置方法。为了便于说明,机器人的物品放置装置实施例的结构示意图中,仅仅示出了与本发明实施例相关的部分,本领域技术人员可以理解,图示结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图10所述,机器人的物品放置装置包括图像坐标确定模块1001、旋转中心确定模块1002、物理坐标确定模块1003和物品放置模块1004,详细说明如下:图像坐标确定模块1001,用于获取待放置物品在物品图像上的坐标,作为物品图像坐标。旋转中心确定模块1002,用于根据所述物品图像坐标和预先确定的第一转换关系,得到物品物理旋转中心;其中,第一转换关系为由图像坐标到物理坐标的对应关系,所述物品物理旋转中心为机器人旋转时所围绕的点。物理坐标确定模块1003,用于根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标。以及,物品放置模块1004,用于控制机器人将所述待放置物品放置在所述物品物理放置坐标上。
本实施例,能自动确定出待放置物品的物理放置坐标,进而将待放置物品精确地放在对应的位置上。
在一个实施例中,还包括:第二转换关系确定模块,用于确定从图像坐标到物理坐标的第二转换关系;第一转换关系确定模块,用于根据所述第二转换关系,确定从图像坐标到物理旋转中心的坐标的第一转换关系。
在一个实施例中,第一转换关系确定模块,包括:第一物理校正值确定子模块,用于根据所述第二转换关系确定物理旋转中心的第一物理校正值;第一物理旋转中心确定子模块,用于确定第一图像坐标以及所述第一图像坐标对应的初始物理旋转中心;根据所述第一物理校正值校正所述初始物理旋转中心,得到第一物理旋转中心;第一转换关系确定子模块,用于根据第一图像坐标和所述第一物理旋转中心的坐标,确定所述第一转换关系。
在一个实施例中,所述机器人图像包括通过拍摄装置拍摄所述机器人所得到的图像;第一物理校正值确定子模块,包括:第二图像坐标确定单元,用于确定第一物理坐标;根据第二转换关系确定所述第一物理坐标对应的第二图像坐标;其中,所述第一物理坐标为机器人围绕第二物理旋转中心旋转时,特征点对应的坐标;第三图像坐标确定单元,用于根据预先确定的第二物理校正值校正所述第一物理坐标,得到第二物理坐标;确定所述第二物理坐标在机器人图像上对应的第三图像坐标;图像校正值确定单元,用于根据所述第二图像坐标和所述第三图像坐标的差值确定图像校正值;第一物理校正值确定单元,用于根据所述图像校正值、所述第二物理坐标和所述第二物理旋转中心的坐标确定所述第一物理校正值。
在一个实施例中,第一物理校正值确定单元,包括:第三物理坐标确定子单元,用于根据所述图像校正值校正所述第二物理坐标,得到第三物理坐标;旋转中心确定子单元,用于确定与所述第三物理坐标对应的第三物理旋转中心的坐标;第一物理校正值确定子单元,用于根据所述第二物理旋转中心和所述第三物理旋转中心的第一坐标差值确定所述第一物理校正值。
在一个实施例中,还包括:第四图像坐标确定模块,用于获取第四物理旋转中心,确定所述第四物理旋转中心对应的第四图像坐标;所述第四图像坐标为机器人围绕所述第四物理旋转中心旋转时,所述特征点在机器人图像上的坐标;图像旋转中心确定模块,用于确定所述第四图像坐标对应的图像旋转中心坐标;第五旋转中心确定模块,用于根据所述第二转换关系确定所述图像旋转中心坐标对应的第五物理旋转中心的坐标;第二物理校正值确定模块,用于根据所述第四物理旋转中心与所述第五物理旋转中心的第二坐标差值,确定所述第二物理校正值。
在一个实施例中,第二转换关系确定模块,包括:第四物理坐标确定子模块,用于确定第五图像坐标;根据预先确定的第三转换关系确定所述第五图像坐标对应的第四物理坐标;其中,所述第三转换关系为由图像坐标到物理坐标的对应关系;第六图像坐标确定子模块,用于确定第六图像坐标;所述第六图像坐标为特征点处于所述第四物理坐标时,特征点在机器人图像上对应的坐标;第二转换关系确定子模块,用于根据所述第四物理坐标和所述第六图像坐标,确定所述第二转换关系。
在一个实施例中,第二转换关系确定模块,还包括:第七图像坐标确定子模块,用于确定第七图像坐标;所述第七图像坐标为特征点处于第五物理坐标时,特征点在机器人图像上对应的坐标;第八图像坐标确定子模块,用于确定第八图像坐标;所述第八图像坐标为特征点处于第六物理坐标时,特征点在机器人图像上对应的坐标;所述第六物理坐标和所述第五物理坐标存在特定的距离;第三转换关系确定子模块,用于根据所述第五物理坐标与所述第七图像坐标的对应关系,以及所述第六物理坐标与所述第八图像坐标的对应关系,确定所述第三转换关系。
在一个实施例中,物品放置模块1004,包括:第一距离确定子模块,用于根据所述物品物理旋转中心,确定待放置物品距离参考物品的第一距离;坐标获取子模块,用于获取模板物品的模板图像坐标以及模板物理放置坐标;第二距离确定子模块,用于根据所述第一转换关系确定模板图像坐标对应的模板物理旋转中心;根据所述模板物理旋转中心确定模板物品距离所述参考物品的第二距离;放置坐标确定子模块,用于根据所述第一距离、第二距离以及模板物理放置坐标确定所述待放置物品的物品物理放置坐标。
在一个实施例中,物品放置模块1004,还用于控制机器人围绕所述物品物理旋转中心旋转,将所述待放置物品放置在所述物品物理放置坐标对应的位置上。
需要说明的是,本发明的机器人的物品放置装置与本发明的机器人的物品放置方法一一对应,在上述机器人的物品放置方法的实施例阐述的技术特征及其有益效果均适用于机器人的物品放置装置的实施例中,具体内容可参见本发明方法实施例中的叙述,此处不再赘述,特此声明。
此外,上述示例的机器人的物品放置装置的实施方式中,各程序模块的逻辑划分仅是举例说明,实际应用中可以根据需要,例如出于相应硬件的配置要求或者软件的实现的便利考虑,将上述功能分配由不同的程序模块完成,即将所述机器人的物品放置装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分功能。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储物理坐标、图像坐标、第一转换关系、第二转换关系等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器人的物品放置方法。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:获取待放置物品在物品图像上的坐标,作为物品图像坐标;根据所述物品图像坐标和预先确定的第一转换关系,得到物品物理旋转中心;其中,第一转换关系为由图像坐标到物理旋转中心的对应关系,所述物理旋转中心为机器人旋转时所围绕的点;根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标;控制机器人将所述待放置物品放置在所述物品物理放置坐标上。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定从图像坐标到物理坐标的第二转换关系;根据所述第二转换关系,确定从图像坐标到物理旋转中心的坐标的第一转换关系。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据所述第二转换关系确定物理旋转中心的第一物理校正值;确定第一图像坐标以及所述第一图像坐标对应的初始物理旋转中心;根据所述第一物理校正值校正所述初始物理旋转中心,得到第一物理旋转中心;根据第一图像坐标和所述第一物理旋转中心的坐标,确定所述第一转换关系。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定第一物理坐标;根据第二转换关系确定所述第一物理坐标对应的第二图像坐标;其中,所述第一物理坐标为机器人围绕第二物理旋转中心旋转时,特征点对应的坐标;根据预先确定的第二物理校正值校正所述第一物理坐标,得到第二物理坐标;确定所述第二物理坐标在机器人图像上对应的第三图像坐标;根据所述第二图像坐标和所述第三图像坐标的差值确定图像校正值;根据所述图像校正值、所述第二物理坐标和所述第二物理旋转中心的坐标确定所述第一物理校正值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据所述图像校正值校正所述第二物理坐标,得到第三物理坐标;确定与所述第三物理坐标对应的第三物理旋转中心的坐标;根据所述第二物理旋转中心和所述第三物理旋转中心的第一坐标差值确定所述第一物理校正值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取第四物理旋转中心,确定所述第四物理旋转中心对应的第四图像坐标;所述第四图像坐标为机器人围绕所述第四物理旋转中心旋转时,所述特征点在机器人图像上的坐标;确定所述第四图像坐标对应的图像旋转中心坐标;根据所述第二转换关系确定所述图像旋转中心坐标对应的第五物理旋转中心的坐标;根据所述第四物理旋转中心与所述第五物理旋转中心的第二坐标差值,确定所述第二物理校正值。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取待放置物品在物品图像上的坐标,作为物品图像坐标;根据所述物品图像坐标和预先确定的第一转换关系,得到物品物理旋转中心;其中,第一转换关系为由图像坐标到物理旋转中心的对应关系,所述物理旋转中心为机器人旋转时所围绕的点;根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标;控制机器人将所述待放置物品放置在所述物品物理放置坐标上。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,作为独立的产品销售或使用。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本发明实施例的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或(模块)单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,不能理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器人的物品放置方法,其特征在于,包括以下步骤:
获取待放置物品在物品图像上的坐标,作为物品图像坐标;
根据所述物品图像坐标和预先确定的第一转换关系,得到物品物理旋转中心;其中,第一转换关系为由图像坐标到物理旋转中心的对应关系,所述物理旋转中心为机器人旋转时所围绕的点;
根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标;
控制机器人将所述待放置物品放置在所述物品物理放置坐标上;
还包括:
确定从图像坐标到物理坐标的第二转换关系;
根据所述第二转换关系,确定从图像坐标到物理旋转中心的坐标的第一转换关系;
所述根据所述第二转换关系,确定从图像坐标到物理旋转中心的坐标的第一转换关系的步骤,包括:
根据所述第二转换关系确定物理旋转中心的第一物理校正值;
确定第一图像坐标以及所述第一图像坐标对应的初始物理旋转中心;根据所述第一物理校正值校正所述初始物理旋转中心,得到第一物理旋转中心;
根据第一图像坐标和所述第一物理旋转中心的坐标,确定所述第一转换关系;
所述根据所述第二转换关系确定物理旋转中心的第一物理校正值的步骤,包括:
确定第一物理坐标;根据第二转换关系确定所述第一物理坐标对应的第二图像坐标;其中,所述第一物理坐标为机器人围绕第二物理旋转中心旋转时,特征点对应的坐标;
根据预先确定的第二物理校正值校正所述第一物理坐标,得到第二物理坐标;确定所述第二物理坐标在机器人图像上对应的第三图像坐标;所述机器人图像包括通过拍摄装置拍摄所述机器人所得到的图像;
根据所述第二图像坐标和所述第三图像坐标的差值确定图像校正值;
根据所述图像校正值、所述第二物理坐标和所述第二物理旋转中心的坐标确定所述第一物理校正值。
2.根据权利要求1所述的机器人的物品放置方法,其特征在于,所述根据所述图像校正值、所述第二物理坐标和所述第二物理旋转中心的坐标确定第一物理校正值的步骤,包括:
根据所述图像校正值校正所述第二物理坐标,得到第三物理坐标;
确定与所述第三物理坐标对应的第三物理旋转中心的坐标;
根据所述第二物理旋转中心和所述第三物理旋转中心的第一坐标差值确定所述第一物理校正值。
3.根据权利要求1所述的机器人的物品放置方法,其特征在于,还包括:
获取第四物理旋转中心,确定所述第四物理旋转中心对应的第四图像坐标;所述第四图像坐标为机器人围绕所述第四物理旋转中心旋转时,所述特征点在机器人图像上的坐标;
确定所述第四图像坐标对应的图像旋转中心坐标;
根据所述第二转换关系确定所述图像旋转中心坐标对应的第五物理旋转中心的坐标;
根据所述第四物理旋转中心与所述第五物理旋转中心的第二坐标差值,确定所述第二物理校正值。
4.根据权利要求1所述的机器人的物品放置方法,其特征在于,所述确定从图像坐标到物理坐标的第二转换关系的步骤,包括:
确定第五图像坐标;根据预先确定的第三转换关系确定所述第五图像坐标对应的第四物理坐标;其中,所述第三转换关系为由图像坐标到物理坐标的对应关系;
确定第六图像坐标;所述第六图像坐标为特征点处于所述第四物理坐标时,特征点在机器人图像上对应的坐标;
根据所述第四物理坐标和所述第六图像坐标,确定所述第二转换关系。
5.根据权利要求4所述的机器人的物品放置方法,其特征在于,还包括:
确定第七图像坐标;所述第七图像坐标为特征点处于第五物理坐标时,特征点在机器人图像上对应的坐标;
确定第八图像坐标;所述第八图像坐标为特征点处于第六物理坐标时,特征点在机器人图像上对应的坐标;所述第六物理坐标和所述第五物理坐标存在特定的距离;
根据所述第五物理坐标与所述第七图像坐标的对应关系,以及所述第六物理坐标与所述第八图像坐标的对应关系,确定所述第三转换关系。
6.根据权利要求1至5任一项所述的机器人的物品放置方法,其特征在于,所述根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标的步骤,包括:
根据所述物品物理旋转中心,确定待放置物品距离参考物品的第一距离;
获取模板物品的模板图像坐标以及模板物理放置坐标;
根据所述第一转换关系确定模板图像坐标对应的模板物理旋转中心;根据所述模板物理旋转中心确定模板物品距离所述参考物品的第二距离;
根据所述第一距离、第二距离以及模板物理放置坐标确定所述待放置物品的物品物理放置坐标。
7.根据权利要求1至5任一项所述的机器人的物品放置方法,其特征在于,所述控制机器人将所述待放置物品放置在所述物品物理放置坐标上的步骤,包括:
控制机器人围绕所述物品物理旋转中心旋转,将所述待放置物品放置在所述物品物理放置坐标对应的位置上。
8.一种机器人的物品放置装置,其特征在于,包括:
图像坐标确定模块,用于获取待放置物品在物品图像上的坐标,作为物品图像坐标;
旋转中心确定模块,用于根据所述物品图像坐标和预先确定的第一转换关系,得到物品物理旋转中心;其中,第一转换关系为由图像坐标到物理坐标的对应关系,所述物品物理旋转中心为机器人旋转时所围绕的点;
物理坐标确定模块,用于根据所述物品物理旋转中心确定所述待放置物品的物品物理放置坐标;
以及,物品放置模块,用于控制机器人将所述待放置物品放置在所述物品物理放置坐标上;
还包括:第二转换关系确定模块,用于确定从图像坐标到物理坐标的第二转换关系;第一转换关系确定模块,用于根据所述第二转换关系,确定从图像坐标到物理旋转中心的坐标的第一转换关系;
第一转换关系确定模块,包括:第一物理校正值确定子模块,用于根据所述第二转换关系确定物理旋转中心的第一物理校正值;第一物理旋转中心确定子模块,用于确定第一图像坐标以及所述第一图像坐标对应的初始物理旋转中心;根据所述第一物理校正值校正所述初始物理旋转中心,得到第一物理旋转中心;第一转换关系确定子模块,用于根据第一图像坐标和所述第一物理旋转中心的坐标,确定所述第一转换关系;
第一物理校正值确定子模块,包括:第二图像坐标确定单元,用于确定第一物理坐标;根据第二转换关系确定所述第一物理坐标对应的第二图像坐标;其中,所述第一物理坐标为机器人围绕第二物理旋转中心旋转时,特征点对应的坐标;第三图像坐标确定单元,用于根据预先确定的第二物理校正值校正所述第一物理坐标,得到第二物理坐标;确定所述第二物理坐标在机器人图像上对应的第三图像坐标;所述机器人图像包括通过拍摄装置拍摄所述机器人所得到的图像;图像校正值确定单元,用于根据所述第二图像坐标和所述第三图像坐标的差值确定图像校正值;第一物理校正值确定单元,用于根据所述图像校正值、所述第二物理坐标和所述第二物理旋转中心的坐标确定所述第一物理校正值。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
CN201811474975.2A 2018-12-04 2018-12-04 机器人的物品放置方法、装置、计算机设备及存储介质 Active CN109366472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811474975.2A CN109366472B (zh) 2018-12-04 2018-12-04 机器人的物品放置方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811474975.2A CN109366472B (zh) 2018-12-04 2018-12-04 机器人的物品放置方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN109366472A CN109366472A (zh) 2019-02-22
CN109366472B true CN109366472B (zh) 2020-11-27

Family

ID=65375743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811474975.2A Active CN109366472B (zh) 2018-12-04 2018-12-04 机器人的物品放置方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN109366472B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829953B (zh) * 2019-02-27 2021-09-03 广东拓斯达科技股份有限公司 图像采集装置标定方法、装置、计算机设备和存储介质
CN110744544B (zh) * 2019-10-31 2021-03-02 昆山市工研院智能制造技术有限公司 服务机器人视觉抓取方法及服务机器人
CN113290552B (zh) * 2020-02-24 2022-09-16 株式会社理光 物品放置系统以及物品放置方法
CN111369625B (zh) * 2020-03-02 2021-04-13 广东利元亨智能装备股份有限公司 定位方法、装置和存储介质
CN111590550A (zh) * 2020-07-06 2020-08-28 佛山隆深机器人有限公司 一种搬运机械手的物料位置标定方法
CN112991461A (zh) * 2021-03-11 2021-06-18 珠海格力智能装备有限公司 物料装配方法及装配装置、计算机可读存储介质、处理器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107443375A (zh) * 2017-07-20 2017-12-08 深圳市同川科技有限公司 机器人原点标定方法、装置、存储介质和计算机设备
CN108145712A (zh) * 2017-12-29 2018-06-12 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机器人
CN108326850A (zh) * 2018-01-10 2018-07-27 温州大学 一种机器人准确移动机械臂到达指定位置的方法及系统
CN108555902A (zh) * 2017-12-29 2018-09-21 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机器人
CN108665031A (zh) * 2018-05-15 2018-10-16 连云港伍江数码科技有限公司 物品核对方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107443375A (zh) * 2017-07-20 2017-12-08 深圳市同川科技有限公司 机器人原点标定方法、装置、存储介质和计算机设备
CN108145712A (zh) * 2017-12-29 2018-06-12 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机器人
CN108555902A (zh) * 2017-12-29 2018-09-21 深圳市越疆科技有限公司 一种机器人分拣物品的方法、装置及机器人
CN108326850A (zh) * 2018-01-10 2018-07-27 温州大学 一种机器人准确移动机械臂到达指定位置的方法及系统
CN108665031A (zh) * 2018-05-15 2018-10-16 连云港伍江数码科技有限公司 物品核对方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN109366472A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN109366472B (zh) 机器人的物品放置方法、装置、计算机设备及存储介质
CN109118545B (zh) 基于旋转轴和双目摄像头的三维成像系统标定方法及系统
CN113532311B (zh) 点云拼接方法、装置、设备和存储设备
CN111445533B (zh) 一种双目相机标定方法、装置、设备及介质
CN109829953B (zh) 图像采集装置标定方法、装置、计算机设备和存储介质
CN110561423A (zh) 位姿变换的方法、机器人及存储介质
CN109636783B (zh) 机器人臂长的确定方法、装置、计算机设备及存储介质
CN110470320B (zh) 摆动扫描式线结构光测量系统的标定方法及终端设备
CN111489288B (zh) 一种图像的拼接方法和装置
CN111390901A (zh) 机械臂自动标定方法以及标定装置
CN112659129B (zh) 机器人的定位方法、装置、系统和计算机设备
CN110722558A (zh) 机器人的原点校正方法、装置、控制器和存储介质
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
CN114952856A (zh) 机械臂手眼标定方法、系统、计算机及可读存储介质
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
CN113137958B (zh) 一种rtk主机的放样控制方法、系统及存储介质
CN111429529B (zh) 一种坐标转换的标定方法、电子设备以及计算机存储介质
US20210008724A1 (en) Method and apparatus for managing robot system
CN111815714B (zh) 一种鱼眼相机标定方法、装置、终端设备及存储介质
CN109615658B (zh) 机器人的物品拿取方法、装置、计算机设备及存储介质
CN113252066A (zh) 里程计设备参数的标定方法及装置、存储介质、电子装置
CN114063046A (zh) 参数标定方法、装置、计算机设备和存储介质
CN112631200A (zh) 一种机床轴线测量方法以及装置
CN112847350B (zh) 手眼标定方法、系统、计算机设备和存储介质
CN113393378B (zh) 光伏组件的图像拼接方法、装置、电子装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant