CN114102622B - 机器人系统及其测控方法和面激光接受器 - Google Patents

机器人系统及其测控方法和面激光接受器 Download PDF

Info

Publication number
CN114102622B
CN114102622B CN202111388884.9A CN202111388884A CN114102622B CN 114102622 B CN114102622 B CN 114102622B CN 202111388884 A CN202111388884 A CN 202111388884A CN 114102622 B CN114102622 B CN 114102622B
Authority
CN
China
Prior art keywords
coordinate system
base
plane
acquisition camera
light curtain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111388884.9A
Other languages
English (en)
Other versions
CN114102622A (zh
Inventor
姜峣
田向宇
陈志远
李铁民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202111388884.9A priority Critical patent/CN114102622B/zh
Publication of CN114102622A publication Critical patent/CN114102622A/zh
Application granted granted Critical
Publication of CN114102622B publication Critical patent/CN114102622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种机器人系统及其测控方法和面激光接受器。面激光接受器包括：光屏，包括多块依次连接的半透明板，相邻两块半透明板不相互平行，所述半透明板用于接受平面光幕的照射；以及采集相机，用于在所述半透明板被所述平面光幕照射时采集所述光屏的光屏图片。面激光接受器成本低廉、结构简单、精度较高，可以解决累计误差。

Description

机器人系统及其测控方法和面激光接受器
技术领域
本文涉及机器人技术，尤指一种机器人系统及其测控方法和面激光接受。
背景技术
随着机器人技术的发展，机器人的应用场景从原本的结构化环境逐渐拓展到了非结构化环境，例如物流、建筑领域的搬运、堆叠等工作。这些工作往往需要机器人系统具有定位能力。目前定位方式主要分为全局定位和局部定位，全局定位主要依赖于固定在环境中的定位基准，比如激光跟踪仪，对机器人和工件进行定位，精度较高，但一般器材较为昂贵，且全局基准的安装设置较为繁琐、受环境影响大、覆盖范围相对有限，不符合很多工作对高效的要求；局部定位主要依赖于安装在机器人上传感器，比如相机等视觉传感器，对于工件进行定位，工作方式相对于全局定位更为灵活，更适合面对复杂的非结构化环境，但往往会产生累计误差。因此迫切需求一种成本低廉、结构简单、精度较高且可以解决累计误差的定位技术和装置。
发明内容
本申请提供了一种面激光接受器，其成本低廉、结构简单、精度较高，可以解决累计误差。
与相关技术相比，本申请的面激光接受器，包括：
光屏，包括多块依次连接的半透明板，相邻两块半透明板不相互平行，所述半透明板用于接受平面光幕的照射；以及
采集相机，用于在所述半透明板被所述平面光幕照射时采集所述光屏的光屏图片。
这种面激光接受器结构简单、成本低廉，可以利用设置在环境中的平面光幕来进行精确定位，消除累计误差。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例中的一种机器人系统的结构示意图；
图2为本申请实施例中的末端抓取模块的结构示意图；
图3为本申请实施例中的末端抓取模块的结构示意图；
图4为本申请实施例中的面激光接受器与基准面发生器的配合示意图；
图5为本申请实施例中的测控方法在抓取阶段的流程图；
图6为本申请实施例中拍摄顶部图片的示意图；
图7为本申请实施例中调整基座的基准板面与待堆叠物品的顶面平行的示意图；
图8为本申请实施例中相机的成像模型的示意图；
图9为本申请实施例中第一相机的工作示意图；
图10为本申请实施例中基准面发生器的工作示意图；
图11为本申请实施例中第二相机的工作示意图；
图12为本申请实施例中的测控方法在放置阶段的流程图；
图13为本申请实施例中第二相机的工作示意图。
具体实施方式
如图1所示，图1显示了一种机器人系统100。该机器人系统100包括测量组件2、计算组件(图中未示出)和执行装置1。测量组件2和执行装置1均电连接于计算组件。
执行装置1包括机械臂11和末端抓取模块12。机械臂11可以是多轴机械臂，例如可以是六轴机械臂。机械臂11可以是安装在地面上。末端抓取模块12设置在机械臂11的末端。末端抓取模块12用于抓取待堆叠物品4。
如图2、3所示，末端抓取模块12包括基座121、第一连接件122、第二连接件123和多个吸盘128。测量组件2、第一连接件122、第二连接件123和多个吸盘128均设置在基座121上。
基座121包括第一安装部1211、第二安装部1212和第三安装部1213。第一安装部1211和第二安装部1212的外轮廓构造为大致的块状结构。第一安装部1211和第二安装部1212相互分隔开，第一安装部1211和第二安装部1212之间具有间隙。第三安装部1213设置在第一安装部1211和第二安装部1212的同一侧，第三安装部1213的一端连接于第一安装部1211，第三安装部1213的另一端连接于第二安装部1212。第一安装部1211、第二安装部1212和第三安装部1213的内部可以均设置有内腔，第一安装部1211、第二安装部1212和第三安装部1213上均设置有连通各自内腔的检修口，检修口可以打开和关闭，以便于基座121上的电器元件。第二安装部1212背离第一安装部1211具有一个板面，该板面为基准板面1210。
吸盘128均设置在第二安装部1212上。吸盘128位于第二安装部1212背离第一安装部1211的一侧，即位于第二安装部1212靠近基准板面1210的一侧。第二安装部1212上设置有四个吸盘128，四个吸盘128呈矩阵分布。吸盘128能外接于真空管路，真空管路能为吸盘128内部提供负压以使得吸盘128能吸住待堆叠物品4。吸盘128的吸附口朝向背离第二安装部1212的一侧。
第一连接件122可以构造为法兰。第一连接件122设置在第一安装部1211背离第二安装部1212的一侧上。第一连接件122与第一安装部1211之间可以是螺钉连接。第一连接件122与机械臂11之间可以是螺钉连接。第一连接件122将基座121和机械臂11相连接。
第二连接件123可以构造为V形板结构。第二连接件123包括第一连接板1231和第二连接板1232。第一连接板1231连接于第一安装部1211背离第二安装部1212的一侧。第一连接板1231与第一安装部1211之间可以是螺钉连接。第二连接板1232连接于第一连接板1231。第二连接板1232向第一安装部1211的斜上方伸出。
测量组件2包括深度相机20、多个测距元件21、第一相机22、第二相机23、基准面发生器25和面激光接受器24。
深度相机20安装在第二连接件123的第二连接板1232上。深度相机20与第二连接板1232之间可以是螺钉连接。深度相机20的镜头可以是朝向基座121的斜下方。深度相机20的镜头的朝向与水平面之间的夹角可以是45°，深度相机20用于抓取和堆叠过程中基于视觉的粗定位。根据工作场景，在抓取阶段时一般需要深度相机20镜头垂直朝下拍摄至少一次以对待堆叠物品4进行粗定位，堆叠阶段需要深度相机20朝前拍摄至少一次以对已堆叠物品5进行粗定位。
测距元件21安装在基座121的第二安装部1212背离第一安装部1211的一侧上。测距元件21至少设置3个。在本实施例中，测距元件21设置4个。4个测距元件21呈矩阵排列在第二安装部1212上。测距元件21可以是嵌入在第二安装部1212上。测距元件21位于相邻两个吸盘128之间。测距元件21用于测量吸盘128的吸附口朝向上待堆叠物品4到该测距元件21之间的距离。测距元件21可以是激光位移传感器或红外传感器。测距元件21向吸盘128的吸附口的朝向上发送探测光，探测光可以是激光或红外光，探测光照射到待堆叠物品4上即可测量到在吸盘128的吸附口的朝向上该测距元件21到待堆叠物品4的距离。
第一相机22设置两个，两个第一相机22可以分别设置在第一安装部1211的相对两侧。第一相机22的镜头的朝向与吸盘128的吸附口的朝向相同。第一相机22能抓取吸盘128的吸附口的朝向上的图片。第一相机22可以朝向基座121的正下方拍摄。
第二相机23可以设置在第三安装部1213的一侧。第二相机23可以向基座121的斜下方拍摄，以获取已堆叠物品5的图片。
基准面发生器25固定在机械臂11周围的环境中。基准面发生器25用于生成一个平面光幕251。该平面光幕251可以是激光平面光幕，例如，基准面发生器25可以发出一个大致扇形的激光平面光幕作为平面光幕251。该平面光幕251所在平面作为堆叠物品的参考平面，可以是与已堆叠物品5的一个侧面51平齐。该平面光幕251可以是设置成竖直平面结构。
如图3、4所示，面激光接受器24设置在第三安装部1213背离第二相机23的一侧。面激光接受器24包括光屏241和采集相机240。采集相机240固定在第三安装部1213的侧面上。光屏241构造为罩壳结构，光屏241罩在采集相机240上。光屏241的边缘可以是与第三安装部1213的侧面连接。光屏241包括多块半透明板。半透明板设置成平板。多块半透明板依次连接在一起。相邻两块半透明板不相互平行。采集相机240的镜头朝向多块半透明板，多块半透明板均处于镜头的视野内，镜头能采集所有半透明板的图像。在本实施例中，多块半透明板包括第一半透明板242、第二半透明板243和第三半透明板244。第一半透明板242和第三半透明板243分布设置在第二半透明板243的相对两端。第二半透明板243与第三安装部1213的侧面相互平行，且相互分开。第一半透明板242从第二半透明板243的一端向靠近第三安装部1213方向延伸，第三半透明板243从第一半透明板242的另一端向靠近第三安装部1213的方向延伸。第一半透明板242与第二半透明板243之间的夹角可以是钝角，第三半透明板243与第二半透明板243之间的夹角可以是钝角。基准面发生器25发出的该平面光幕251照射到一块半透明板上后，在半透明板上形成一条光亮的直线段。平面光幕251照射相邻两块半透明板上后，在两块半透明板上均形成一条光亮的直线段，这两条直线段连接成一条折线。
计算组件可以是安装在基座121内上。计算组件可以是嵌入式计算机。计算组件电连接于测距元件21、第一相机22、第二相机23、面激光接受器24和机械臂11。
在本实施例中，如图9所示，待堆叠物品4和已堆叠物品5的形状和大小都一样。待堆叠物品4和已堆叠物品5均为长方体。
如图5所示，本实施例还提出了一种测控方法。该测控方法包括以下步骤：
步骤S0：预先建立基座坐标系，该基座坐标系与基座121相对固定；
预先建立两个第一相机坐标系，该两个第一相机坐标系与分别与两个第一相机22相对固定；
预先建立第二相机坐标系，该第二相机坐标系与第二相机23相对固定；
预先建立采集相机坐标系，该采集相机坐标系与采集相机240相对固定。
如图6所示，基座坐标系可以是直角坐标系。该基座坐标系具有x、y、z轴。基座坐标系的z轴可以与基座121的基准板面1210垂直，并且该z轴的正方方向指向基座121靠近吸盘128的一侧。基座坐标系的原点O可以是位于基准板面1210的的中心位置。
步骤S1：驱动机械臂11使得末端抓取模块12运动到待堆叠物品4的上方；
将基于视觉的目标位姿测量通常为粗测量可以基于视觉测量来粗略测量待堆叠物品4的位置和姿态信息，在本实施例中，计算组件通过深度相机20对待堆叠物品4进行拍摄以获得待堆叠物品4的深度照片，根据该深度照片可以获得待堆叠物品4粗略位置和姿态信息。再驱动机械臂11将该末端抓取模块12移动到待堆叠物品4的上方附近。
当然，也可以是人工控制机械臂11将末端抓取模块12移动到待堆叠物品4上方。
步骤S2：采用末端抓取模块12上的至少3个测距元件21进行测量，以获每个测距元件21的测量起始点在基座121的基准板面1210的法向上到待堆叠物品4的顶面之间的距离；
在该步骤中，如图8所示，待堆叠物品4平放在地面上，机械臂11将末端抓取模块12移动到待堆叠物品4的上方，基座121的基准板面1210朝下，吸盘128位于待堆叠物品4与基座121之间，第一相机22的镜头朝向待堆叠物品4。每个测距元件21均朝待堆叠物品4的发射探测光，探测光从该测距元件21的测量起始点沿平行于基座121的基准板面1210的法向的方向入射到待堆叠物品4的顶面上。测距元件21所发射的探测光照射在该顶面上后反射回测距元件21，探测光照射在顶面上的部分即为该顶面上的一个测量点。
测距元件21所测得的测量起始点到该测量点的直线距离即为该测距元件21的测量起始点在基准板面1210的法向上到待堆叠物品4的顶面之间的距离。在本实施例中，采用4个测距元件21对待堆叠物品4的顶面进行测量，以获每个测距元件21的测量起始点在基准板面1210的法向上到待堆叠物品4的顶面之间的距离。分别与四个测量起始点K1、K2、K3、K4相对应的测量点分别为点H1、H2、H3、H4，测量起始点K1与测量点H1之间的距离为d1，测量起始点K2与测量点H2之间的距离为d2，测量起始点K3与测量点H3之间的距离为d3，测量起始点K4与测量点H4之间的距离为d4。测距元件21将测量结果发送给计算组件。
步骤S3：根据每个测量起始点到该顶面的距离以及每个测量起始点与末端抓取模块12的基座121的相对位置关系，计算出基座121的基准板面1210运动到基准板面1210与该顶面相互平行时所需要的运动量；
在本实施例中，计算组件根据每个测距元件21的测量起始点在基座121的基准板面1210的法向上到待堆叠物品4的顶面之间的距离以及每个测量起始点在基座坐标系下的坐标，计算出将基座121的基准板面1210转动到与待堆叠物品4的顶面相互平行需要将该基准板面1210绕基座坐标系的x轴转动的转角角度、绕基座坐标系的y轴转动的转角角度。
步骤S3包括步骤S31～S33；
步骤S31：根据每个测距元件21的测量起始点在基座121的基准板面1210的法向上到待堆叠物品4的顶面之间的距离以及每个测量起始点在基座坐标系下的坐标，计算出基座坐标系下该顶面所在平面的平面方程；
测距元件21的测量起始点在基座坐标系下的坐标已知。在本实施例中，测量起始点K1、K2、K3、K4在基座坐标系下的坐标分别为K1(x1,y1,z1)，K2(x2,y2,z2)，K3(x3,y3,z3)，K4(x4,y4,z4)，测量起始点K1与测量点H1之间的距离为d1，测量起始点K2与测量点H2之间的距离为d2，测量起始点K3与测量点H3之间的距离为d3，测量起始点K4与测量点H4之间的距离为d4，则测量点H1、H2、H3、H4在基座坐标系下的坐标分别为H1(x1,y1,z1+d1)，H2(x2,y2,z2+d2)，H3(x3,y3,z3+d3)，H4(x4,y4,z4+d4)。
根据待堆叠物品4的顶面上的测量点H1、H2、H3、H4在基座坐标系下的坐标，可采用空间平面拟合算法计算出该顶面所在平面的平面方程Ax+By+Cz+D＝0。该空间平面拟合算法可以是最小二乘法。
步骤S32：根据顶面所在平面6在基座坐标系下的平面方程，设定一个第一工件坐标系，第一工件坐标系的原点为点F，该第一工件坐标系的x轴和y轴处于该平面6内，该第一工件坐标系的z轴与该平面6的法向平行，并获得从基座坐标系到第一工件坐标系的旋转矩阵。
在本实施例中，平面方程为Ax+By+Cz+D＝0则该平面6的法向量记为
Figure BDA0003368087350000081
该法向量的方向选取与基座坐标系的z轴正向之间的夹角的余弦值大于或等于0的方向。令第一工件坐标系的z轴在基座坐标系下的方向向量为/>
Figure BDA0003368087350000082
的方向相同。这样，能将第一工件坐标系的z轴正向与该法向量方向一致。
令第一工件坐标系的x轴在基座坐标系下的方向向量为：
Figure BDA0003368087350000083
令第一工件坐标系的y轴在基座坐标系下的方向向量为：
Figure BDA0003368087350000084
根据基座坐标系下的第一工件坐标系的x、y、z轴的方向向量，计算出基座坐标系到第一工件坐标系的旋转矩阵。
步骤S33：根据基座坐标系到第一工件坐标系的旋转矩阵，计算出将基座121的基准板面1210与待堆叠物品4的顶面相互平行需要将该基座121绕基座坐标系的x轴转动的转角角度和绕基座坐标系的y轴转动的转角角度。
根据旋转矩阵推算转角是本领域的常规技术，在此不再赘述。
步骤S4：驱动机械臂11使得该基座121运动到其基准板面1210与该顶面相互平行；
计算组件驱动机械臂11将基座121绕基座坐标系的x轴转动上述转角角度和绕基座坐标系的y轴转动上述转角角度。这样就将基座121的基准板面1210转动到与待堆叠物品4的顶面平行了。
步骤S5：采用两个第一相机22同时对待堆叠物品4的顶部进行拍摄，获得待堆叠物品4的两张顶部图片；
如图6所示，在计算组件控制两个第一相机22同时进行拍摄。两个第一相机22均从待堆叠物品4的顶部对待堆叠物品4进行拍摄，能获得该待堆叠物品4的两张顶部图片。
步骤S6：根据两张顶部图片以及每个第一相机22与基座121之间的相对位置关系计算出将与基座121相对固定的吸盘128移动到在基准板面1210的法向上与该顶面上的预定抓取点相对准时该基座121所需要的运动量；
步骤S6包括S61～S64。
步骤S61：采用测距元件21对待堆叠物品4的顶面41进行测量，以获测距元件21的测量起始点到待堆叠物品4的顶面41之间的距离。
计算组件在机械臂11将基座121转动到位后，控制测距元件21对待堆叠物品4的顶面41进行测量。此时由于待堆叠物品4的顶面41与基准板面1210的基准板面1210平行，测距元件21的激光传播方向与待堆叠物品4的顶面41垂直，测距元件21所测得的距离即为该测距元件21的测量起始点到该顶面41的距离d。
在本实施例中，采用4个测距元件21同时测量，这4个测距元件21分别测得距离d5、d6、d7、d8，计算组件对这几个距离求平均值可以获得平均距离，将该平均距离作为测距元件21的测量起始点到待堆叠物品4的顶面41之间的距离d。
步骤S62：识别两张顶部图片中的第一特征。
在本实施例中，如图6所示，第一特征包括待堆叠物品4的顶面41上相邻两条棱构成的直角。在第一张顶部图片中该直角可以是位于左侧的一个直角，在第二张顶部图片中该直角可以是位于右侧的一个直角。
计算组件对每张顶部图片进行边缘检测后能从该顶部图片中识别出该第一特征。
步骤S63：根据测距元件21的测量起始点在第一相机坐标系中的位置、测量起始点到待堆叠物品4的顶面41之间的距离、第一特征在两张顶部图片中的位置，获得第一特征在拍摄该第一特征的第一相机所对应的第一相机坐标系中的位置。
对每张顶部图片均建立一个对应的二维的像素坐标系，第一特征在顶部图片中的位置即为该第一特征在该顶部图片所对应的像素坐标系中的坐标值。
在本实施例中，如图8所示，每个第一相机坐标系的原点为点C，点C为第一相机22的光心，每个第一相机坐标系均具有相互垂直的Xc轴、Yc轴和Zc轴。其中，Zc轴与基准板面1210的法向平行。可以将第一相机坐标系的Xc轴与基座坐标系的x轴平行设置，将第一相机坐标系的Yc轴与基座坐标系的y轴平行设置，将第一相机坐标系的Zc轴与基座坐标系的z轴平行设置。4个测距元件21的测量起始点处于同一平面上，该平面与第一相机坐标系的XCCYC平面相互平行。可以预先标定出测量起始点到该XCCYC平面之间的距离Δd。该距离Δd为测距元件21的测量起始点所在的与XCCYC平面平行的平面与XCCYC平面之间的距离。
采用下列算式可计算出第一特征中任意一点在第一相机坐标系中的坐标：
Figure BDA0003368087350000101
其中，K为第一相机22的内参矩阵，ZC是点GC(XC,YC,ZC)的深度值，(u,v)为在像素坐标系下第一特征中任意一点的坐标值，GC(XC,YC,ZC)是在第一相机坐标系下该点的坐标值。
第一相机22的内参矩阵为第一相机22的固有参数，该内参矩阵可以通过标定获得，例如采用单目棋盘格张正友标定法获得，该内参矩阵也可以是由相机生产厂家直接给出的。因此，该第一相机22的内参矩阵为已知量。
当第一相机坐标系的Zc轴朝上且第一相机坐标系的XCCYC平面在测距元件起始测量点的上方时，深度值ZC可以采用以下算式获得：
ZC＝-(d+Δd)
其中，d为测距元件21的测量起始点到待堆叠物品4的顶面41之间的距离，Δd为测量起始点到第一相机坐标系的XCCYC平面之间的距离。Δd为已知量，可以预先标定出来。
如图9所示，建立第二工件坐标系，第二工件坐标系的原点为第一特征的顶点Q，第二工件坐标系的x、y轴分别沿第一特征的两条棱延伸，第二工件坐标系的z轴垂直于这两条棱。采用上述算式，可以计算出每个第一特征的顶点在获取该第一特征的第一相机所对应的第一相机坐标系中的坐标，以及分别位于该第一特征的两条棱上的其他任意两个点在获取该第一相机坐标系中的坐标。根据每个第一特征中的顶点在获取该第一特征的第一相机所对应的第一相机坐标系中的坐标和该第一特征中分别位于两条棱上的两个点在该第一相机坐标系中的坐标可以计算出第二工件坐标系的x、y轴在每个第一相机坐标系中的方向向量。
由于每个第一特征的两条棱分别与第二工件坐标系的x、y轴重合，这样就获得在每个第一相机坐标系下该第二工件坐标系的原点坐标和x、y轴的方向向量，即可知道每个第一特征在获取该第一特征的第一相机所对应的第一相机坐标系下的位置。
另外，还可以在每个第一相机22旁边额外加装一个相机，该相机与第一相机22组成双目深度相机系统，深度值ZC还可通过双目深度相机系统直接测得。
步骤S64：根据每个第一特征在获取该第一特征的第一相机22所对应的第一相机坐标系中的位置、每个第一相机坐标系到基座坐标系的旋转矩阵以及基座坐标系下分别与两个第一特征相对应的两个第一预设位置，计算出将每个第一特征移动到与该第一特征相对应的第一预设位置时该基座121还需沿基座坐标系的x轴移动的第一平动量、沿基座坐标系的y轴移动的第二平动量以及基座坐标系的z轴转动的第一转角角度，对两个第一平动量求平均以获得校准后的第一校准平动量，对两个第二平动量求平均以获得校准后的第二校准平动量，对第一转角角度求平均后以获得校准后的第一校准转角角度。
在基座坐标系下具有两个第一预设位置，两个第一预设位置分别对应于两张顶部图片中的第一特征，任意一个第一特征处于与其相对应的第一预设位置时，待堆叠物品4的顶面41上的预定抓取点与吸盘128正好对准，吸盘128沿垂直于基座121的法向靠近待堆叠物品4时能正好抵住待堆叠物品4的顶面41上的预定抓取点。
在本实施例中，基座坐标系下具有两个第一预设坐标，每个第一预设坐标对应一个第一特征。第一预设坐标为吸盘128正好抵住待堆叠物品4的顶面41上的预定抓取点时其所对应的第一特征中的顶点Q在基座坐标系下的坐标。第二工件坐标系的原点位于基座坐标系下的第一预设坐标下、第二工件坐标系的x轴与基座坐标系的x轴平行、且第二工件坐标系的y轴与基座坐标系的y轴平行时，该第一特征即位于与其相对应的第一预设位置。
两个第一相机坐标系到基座坐标系的旋转矩阵均为已知量，可以预先标定出来。根据两个第一相机坐标系到基座坐标系的旋转矩阵以及两张顶部图片中的第一特征分别在两个第一相机坐标系下的位置，可以获得两张顶部图片中的第一特征分别在该基座坐标系下的位置。
根据每个第一特征在基座坐标系下的位置与基座坐标系下该第一特征所对应的第一预设位置，可以计算出将每个第一特征移动到与其对应的第一预设位置时该基座121还需沿基座坐标系的x轴移动的第一平动量、沿基座坐标系的y轴移动的第二平动量以及基座坐标系的z轴转动的第一转角角度。
这样，可以获得两个第一平动量，两个第二平动量和两个第一转角角度，对对两个第一平动量求平均能获得校准后的第一校准平动量，对两个第二平动量求平均能获得校准后的第二校准平动量，对第一转角角度求平均后能获得校准后的第一校准转角角度。
步骤S7：驱动机械臂11移动基座121以使得吸盘128移动到与预定抓取点相对准的位置，再沿基座121的基准板面1210的法向靠近待堆叠物品4直至吸盘128抓取到待堆叠物品4；
在本实施例中，计算组件驱动机械臂11按照所得的基座坐标系的x轴移动的第一校准平动量、沿基座坐标系的y轴移动的第二校准平动量以及基座坐标系的z轴转动的第一校准转角角度来移动基座121，能使得两个第一特征分别处于基座坐标系下的两个第一预设位置上。
此时，吸盘128与待堆叠物品4的顶面41上的预定抓取点相对准，计算组件控制机械臂11移动基座121使得基座121沿基准板面1210的法向靠近待堆叠物品4，吸盘128在基座121的带动下沿基座121的基准板面1210的法向靠近待堆叠物品4直至抵住待堆叠物品4的顶面41上的预定抓取点，然后吸盘128吸住该待堆叠物品4。
基座121沿基准板面1210的法向靠近待堆叠物品4的距离可以根据测距元件21的测量起始点到待堆叠物品4的顶面41之间的距离d以及测距元件21的测量起始点与吸盘128之间的相对位置计算出来。
通过两个第一相机22拍摄顶部图片，以对基座121沿基座坐标系的x轴移动的平动量、沿基座坐标系的y轴移动的平动量以及基座坐标系的z轴转动的转角角度进行求平均，能提高对待堆叠物品4的定位精度。
步骤S8：将待堆叠物品4移动到已堆叠物品5的上方；
可以基于视觉测量技术来粗略测量最上层的一个已堆叠物品5的位置和姿态信息，在本实施例中，计算组件通过深度相机20对已堆叠物品5进行拍摄以获得已堆叠物品5的深度照片，根据该深度照片可以获得已堆叠物品5粗略位置和姿态信息。计算组件再驱动机械臂11将该末端抓取模块12移动到该已堆叠物品5的上方附近。
当然，也可以是人工控制机械臂11将末端抓取模块12移动到已堆叠物品5上方。
步骤S9：驱动基准面发生器25设置一个平面光幕251，该平面光幕251与已堆叠物品5的一个侧面平齐。
步骤S10：采用末端抓取模块12上的面激光接受器24测量平面光幕251与基座121之间的相对位置；
步骤S10包括步骤S101～S103；
步骤S101：将末端抓取模块12移动到平面光幕251能照射到面激光接受器24的光屏241的位置；
在该步骤中，计算组件驱动机械臂11转动末端抓取模块12，使得面激光接受器24位于末端抓取模块12朝向基准面发生器25的一侧。
计算组件再驱动机械臂11平移末端抓取模块12，同时通过采集相机240实时拍摄光屏241，当末端抓取模块12移动到光屏241的相邻半透明板上均出现一条光亮的直线段时，计算组件能通过采集相机240拍摄到这两条光亮的直线段，在计算组件识别出相邻半透明板上均出现一条光亮的直线段后停止驱动机械臂11平移末端抓取模块12。
此时，平面光幕251照射在面激光接受器24的相邻两块半透明板上使得这两块半透明板上均被照射出一条光亮的直线段，这两条直线段相交于两块半透明板的连接处。例如，第一半透明板242和第二半透明板243上均被平面光幕251照射，平面光幕251照射到第一半透明板242上以使得第一半透明板242上形成第一条直线段2421，平面光幕251照射到第二半透明板243上以使得第二半透明板243上形成第二条直线段2422，第一条直线段2421和第二条直线段2422连接成一条折线。
步骤S102：采集相机240拍摄光屏图片，根据平面光幕251照射在相邻两个板透明板上所形成的直线段在光屏图片中的位置以及相邻两个半透明板与采集相机240的相对位置计算平面光幕240与采集相机240的相对位置。
光屏图片中可以建立一个二维的像素坐标系，该像素坐标系为直角坐标系，该像素坐标系包括u轴和v轴。u轴和v轴相互垂直。光亮的直线段在顶部图片中的位置为该直线段在像素坐标系中的坐标，可以采用直线方程来表达出直线段在像素坐标系中的位置。可以取一条直线段上任意两点在像素坐标系中的坐标来计算出该直线段在像素坐标系中的直线方程，这样能快速的求出两条直线段的直线方程。
第一条直线段2421在像素坐标系中直线方程的表达式可以为：
u＝m1v+n1
第二条直线段2422在像素坐标系中直线方程的表达式可以为：
u＝m2v+n2
在本实施例中，采集相机坐标系的原点为点E，点E为采集相机240的光心，采集相机坐标系具有相互垂直的XE轴、YE轴和ZE轴。其中，ZE轴与基准板面1210的法向平行。可以将采集相机坐标系的XE轴与基座坐标系的x轴平行设置，将采集相机坐标系的YE轴与基座坐标系的y轴平行设置，将采集相机坐标系的ZE轴与基座坐标系的z轴平行设置。
由于半透明板与采集相机240的位置相对固定，预先标定出每个半透明板所处平面在采集相机坐标系下的表达式。
在本实施例中，第一半透明板242所处平面在采集相机坐标系中平面方程的表达式为：
a1x+b1y+c1z+d1＝0
第二半透明板243所处平面在采集相机坐标系中平面方程的表达式为：
a2x+b2y+c2z+d2＝0
采用下列变换公式可将像素坐标系中直线段的任意一点的坐标转换到采集相机坐标系中的坐标：
Figure BDA0003368087350000151
其中，K为采集相机240的内参矩阵，ZE是点GE(XE，YE，ZE)的深度值，(u，v)为在像素坐标系下每条直线段的任意一点的坐标值，GE(XE，YE，ZE)是在采集相机坐标系下该点的坐标值。
采集相机240的内参矩阵为采集相机240的固有参数，该内参矩阵可以通过标定获得，例如采用单目棋盘格张正友标定法获得，该内参矩阵也可以是由相机生产厂家直接给出的。因此，该采集相机240的内参矩阵为已知量。
根据半透明板所处平面在采集相机坐标系中平面方程、该半透明板上的直线段在像素坐标系中直线方程以及像素坐标系与采集相机坐标系的变换公式可以获得该直线端在采集相机坐标系中直线方程的表达式。
在本实施例中，第一半透明板242上的第一条直线段2421在采集相机坐标系下的表达式为：
Figure BDA0003368087350000161
第二半透明板243上的第二条直线段2422在采集相机坐标系下的表达式为：
Figure BDA0003368087350000162
其中，第一条直线段2421和第二条直线段2422相交于点R(x0，y0，z0)。
根据两条直线段在采集相机坐标系下的表达式可以获得这两条直线段在采集相机坐标系下的空间向量。在本实施例中，第一条直线段2421在采集相机坐标系下的空间向量为(p1，q1，r1)，第二条直线段2422在采集相机坐标系下的空间向量为(p2，q2，r2)。
两条直线段在采集相机坐标系下的空间向量叉乘，可以得到两条直线段所张成的平面在采集相机坐标系下的法向向量。该平面即为平面光幕251所在平面。在本实施例中，第一条直线段2421的空间向量(p1，q1，r1)与第一条直线段2421的空间向量(p2，q2，r2)叉乘得到平面的法向向量(p3，q3，r3)。
根据平面在采集相机坐标系下的法向向量(p3，q3，r3)以及这两条直线段的交点R在采集相机坐标系下的坐标(x0，y0，z0)可以得到该平面在采集相机坐标系下的平面方程的表达式：
p3x+q3y+r3z-(p3x0+q3y0+r3z0)＝0
由于该平面为平面光幕251所处的平面，获知该平面的平面方程后即获得了平面光幕251在采集相机坐标系中的位置。
步骤S103：根据平面光幕251与采集相机240的相对位置以及采集相机240与基座121的相对位置，计算平面光幕251与基座121之间的相对位置。
采集相机240与基座的相对固定，可以根据采集相机240与基座之间的相对位置关系预先标定出采集相机坐标系与基座坐标系的变换关系，即采集相机坐标系到基座坐标系的旋转矩阵，根据该变换关系以及平面光幕251所处的平面在采集相机坐标系下的平面方程可以计算出平面光幕251所处的平面在基座坐标系下的平面方程，即获得了平面光幕251在基座坐标系中的位置。
平面光幕251在基座坐标系下的平面方程可以表示为：
A1x+B1y+C1z+D1＝0
步骤S11：根据平面光幕251与基座121之间的相对位置，以及基座121与待堆叠物品4的侧面之间的相对位置，计算出将该侧面运动到与平面光幕251平行时该基座121所需要的运动量；
步骤S11包括步骤S111～112。
步骤S111：根据平面光幕251在基座坐标系下的平面方程，设定一个第三工件坐标系，该第三工件坐标系的x轴和z轴处于该平面光幕251内，该第三工件坐标系的y轴与该平面光幕251的法向平行，并获得从基座坐标系到该第三工件坐标系的旋转矩阵。
在本实施例中，如图8所示，平面方程为A1x+B1y+C1z+D1＝0则该平面光幕251的法向量记为
Figure BDA0003368087350000171
该法向量的方向选取与基座坐标系的y轴正向之间的夹角的余弦值大于或等于0的方向。令第三工件坐标系的y轴在基座坐标系下的方向向量为
Figure BDA0003368087350000172
的方向相同。这样，能将第三工件坐标系的y轴正向与该法向量方向一致。
令第三工件坐标系的x轴在基座坐标系下的方向向量为：
Figure BDA0003368087350000173
令第三工件坐标系的z轴在基座坐标系下的方向向量为：
Figure BDA0003368087350000174
根据基座坐标系下的第三工件坐标系的x、y、z轴的方向向量，计算出基座坐标系到该第三工件坐标系的旋转矩阵。
步骤S112：根据基座坐标系到第三工件坐标系的旋转矩阵，以及基座121与待堆叠物品4的侧面之间的相对位置，计算出将该侧面运动到与平面光幕251平行时该基座121所需要绕基座坐标系的x轴转动的转角角度和绕基座坐标系的z轴转动的转角角度。
在本实施例中，待堆叠物品4在被末端抓取模块12准确抓取后，待堆叠物品4的一个侧面的法向与基座坐标系的y轴相互平行。因此，只需要将基座坐标系的y轴转动到与第三工件坐标的y轴相互平行，即可使得待堆叠物品4的该侧面与平面光幕251相互平行。
根据基座坐标系到第三工件坐标系的旋转矩阵能得出将基座坐标系的y轴转动到与第三工件坐标的y轴平行时该基座121所需要绕基座坐标系的x轴转动的转角角度和绕基座坐标系的z轴转动的转角角度。
步骤S12：驱动机械臂11移动末端抓取模块12使得待堆叠物品4的侧面与平面光幕251平行；
在本实施例中，计算组件驱动机械臂11按照所得的基座坐标系的x轴转动的转角角度和绕基座坐标系的z轴转动的转角角度来移动基座121，能使得待堆叠物品4的侧面与平面光幕251平行。
步骤S13：沿垂直于平面光幕251的法向调整基座121的位置，直至平面光幕251与面激光接受器24相交于面激光接受器24上的预设位置点，以使得待堆叠物品4的侧面与平面光幕251平齐。
在本实施例中，吸盘128准确吸附在待堆叠物品4的顶面41的预定抓取点上时，每个面激光接受器24的感应部241的预设位置点与该待堆叠物品4的侧面42处于同一平面，该预设位置点可以是感应部241的中点。每个感应部241的预设位置点都感应到该平面光幕251时则该侧面42与平面光幕251平齐。而平面光幕251还平齐于已堆叠物品5的一个侧面51，因此，当平面光幕251与面激光接受器24相交于面激光接受器24上的预设位置点时已堆叠物品5的一个侧面51与待堆叠物品4相应的一个侧面42平齐。
面激光接受器24的感应部241感应到平面光幕251后，将该感应部241感应平面光幕251的位置点的信息发送给个计算组件。
该计算组件根据一个面激光接受器24的感应部241感应到平面光幕251的位置点与该面激光接受器24的预设位置点之间的距离，控制机械臂11在平行于基座坐标系的y轴方向上移动该距离，使得该平面光幕251过该预设位置点。
步骤S14：采用第二相机23进行拍摄以获得已堆叠物品5的侧面图片。
如图11所示，在计算组件控制第二相机23从已堆叠物品5的侧部对已堆叠物品5进行拍摄。第二相机23从待堆叠物品4的侧方对已堆叠物品5进行拍摄，能获得该已堆叠物品5的侧面图片。
步骤S15：根据该侧面图片，第二相机23与基座121之间的相对位置关系计算出将待堆叠物品4的底面与已堆叠物品5的顶面重叠该基座121所需的运动量；
步骤S15包括步骤S151～S153。
步骤S151：识别出侧面图片中的第二特征。
在本实施例中，如图11所示，第二特征包括处于最上方一个已堆叠物品5的侧面51上相邻两条棱构成的直角。在侧面图片中，该直角可以是位于左下方的直角。计算组件对侧面图片进行边缘检测后能从该侧面图片中识别出该第二特征。
步骤S152：根据待堆叠物品4的侧面42所在平面在第二相机坐标系中的位置，以及第二特征在侧面图片中的位置，获得第二特征在第二相机坐标系中的位置。
侧面图片中可以建立一个二维的像素坐标系，第二特征在侧面图片中的位置即为该第二特征在像素坐标系中的坐标值。
在本实施例中，第二相机坐标系的原点为点D，点D为第二相机23的光心，第二相机坐标系具有相互垂直的XD轴、YD轴和ZD轴。其中，YD轴与基座121的法向平行。可以将第二相机坐标系的XD轴与基座坐标系的x轴平行设置，将第二相机坐标系的ZD轴与基座坐标系的y轴平行设置。第二相机坐标系到基座坐标系的旋转矩阵已知。
待堆叠物品4的侧面、3个面激光接受器24的感应部241上的预设位置点和平面光幕251处于同一平面内，该平面平行于第二相机坐标系的XDDYD平面。可以预先标定出预设位置点到该XDDYD平面之间的距离d2。根据该距离d2即得到待堆叠物品4的侧面所在平面在第二相机坐标系中的位置。
采用下列算式可计算出第二特征中任意一点在第二相机坐标系中的坐标：
Figure BDA0003368087350000201
其中，K为第二相机23的内参矩阵，ZD是点GD(XD,YD,ZD)的深度值，(u,v)为在像素坐标系下第二特征中任意一点的坐标值，GD(XD,YD,ZD)是在第二相机坐标系下该点的坐标值。
第二相机23的内参矩阵为第二相机23的固有参数，该内参矩阵可以通过标定获得，例如采用单目棋盘格张正友标定法获得，该内参矩阵也可以是由相机生产厂家直接给出的。因此，该第二相机23的内参矩阵为已知量。
深度值ZD等于预设位置点到XDDYD平面之间的距离d2。距离d2能被预先标定出来，为已知量。
如图9所示，建立第四工件坐标系，第四工件坐标系的原点为第二特征的顶点W，第四工件坐标系的x、y轴分别沿第二特征的两条棱延伸，第四工件坐标系的z轴垂直于这两条棱。采用上述算式，可以计算出第二特征的顶点在第二相机坐标系中的坐标，以及分别位于第二特征的两条棱上的其他任意两个点在第二相机坐标系中的坐标。根据第二特征中的顶点在第二相机坐标系中的坐标和分别位于两条棱上的两个点在第二相机坐标系中的坐标可以计算出第四工件坐标系的x、y轴在第二相机坐标系中的方向向量。
由于第二特征与第四工件坐标系的x、y轴重合，获得在第二相机23坐标下该第四工件坐标系的原点坐标和x、y轴的方向向量即可知道该第二特征在第二相机坐标系下的位置。
另外，还可以在第二相机23旁边加装一个相机，该相机与第二相机23组成双目深度相机20系统，深度值ZQ还可通过双目深度相机20系统直接测得。
步骤S153：根据第二特征在第二相机坐标系中的位置、第二相机坐标系到基座坐标系的旋转矩阵以及基座坐标系下的第二预设位置，计算出将第二特征移动到该第二预设位置时该基座121还需沿基座坐标系的x轴移动的平动量、沿基座坐标系的z轴移动的平动量以及绕基座坐标系的y轴转动的转角。
在基座坐标系下具有一个第二预设位置，第二特征处于该第二预设位置时，待堆叠物品4的底面与最上层一个已堆叠物品5的顶面正好重叠。
在本实施例中，第四工件坐标系的原点位于基座坐标系的第二预设坐标，且第四工件坐标系的x轴与基座坐标系的z轴平行、第四工件坐标系的y轴与基座坐标系的x轴平行时，该第二特征即位于该第二预设位置。
第二相机坐标系到基座坐标系的旋转矩阵为已知量，可以预先标定出来。根据第二相机坐标系到基座坐标系的旋转矩阵以及第二特征在第二相机坐标系下的位置，可以获得该第二特征在该基座坐标系下的位置。
根据第二特征在基座坐标系下的位置与基座坐标系下的第二预设位置，可以计算出将第二特征移动到该第二预设位置时该基座121还需沿基座坐标系的x轴移动的平动量、沿基座坐标系的z轴移动的平动量以及绕基座坐标系的y轴转动的转角角度。
步骤S16：驱动机械臂11移动基座121以使待堆叠物品4的底面与已堆叠物品5的顶面重叠，然后松开待堆叠物品4。
在本实施例中，计算组件驱动机械臂11按照所得的基座坐标系的x轴移动的平动量、沿基座坐标系的z轴移动的平动量以及基座坐标系的y轴转动的转角角度来移动基座121，能使得第二特征处于基座坐标系下的第二预设位置。
此时，待堆叠物品4的底面与已堆叠物品5的顶面重叠在一起，待堆叠物品4整齐的被放置到该已堆叠物品5的顶部。最后计算组件控制多个吸盘128同时松开该待堆叠物品4。
重复上述步骤S1～S16，可以将规则物品依次堆叠起来，且由于在摆放时以平面光幕251为基准进行堆叠，可以减少甚至消除重复堆叠带来的累积误差，使得堆叠摆放更加精确。
在一个示意性的实施例中，在上述步骤S6中介绍了两个第一相机22均拍摄到了第一特征，根据两个第一特征来进行定位的场景，下面再来介绍另一种仅有一个第一相机22拍摄到了第一特征的场景如何进行定位。
在步骤S6中，当两个第一相机22所拍摄的顶部图片中仅有一个顶部图片存在第一特征时，通过存在第一特征的顶部图片来计算基座121还需沿基座坐标系的x轴移动的第一平动量、沿基座坐标系的y轴移动的第二平动量以及基座坐标系的z轴转动的第一转角角度。再将该第一平动量作为第一校准平动量，将该第二平动量作为第二校准平动量，将该第一转角角度作为第一校准转角角度。
这样，在步骤S7中，计算组件驱动机械臂11按照所得的基座坐标系的x轴移动的第一校准平动量、沿基座坐标系的y轴移动的第二校准平动量以及基座坐标系的z轴转动的第一校准转角角度来移动基座121，能使得两个第一特征分别处于基座坐标系下的两个第一预设位置上。
此时，吸盘128与待堆叠物品4的顶面41上的预定抓取点相对准，计算组件控制机械臂11移动基座121使得基座121沿基准板面1210的法向靠近待堆叠物品4，吸盘128在基座121的带动下沿基座121的基准板面1210的法向靠近待堆叠物品4直至抵住待堆叠物品4的顶面41上的预定抓取点，然后吸盘128吸住该待堆叠物品4。
这样，两个第一相机22同时拍摄顶部图片，即便有一个第一相机22所拍摄的顶部图片中丢失了第一特征，还可以依据另一个第一相机22所拍摄的顶部图片来计算基座121的移动量，从而提高了对待堆叠物品4的识别成功率。
在一个示意性的实施例中，第二相机23设置有两个，如图13所示，另一个第二相机23设置在第三安装部1213的中部。第三安装部1213的中部设置有凹槽，设置在中部的第二相机23位于该凹槽内。
两个第二相机23功能相同，均用于拍摄已堆叠物品的角点和边线。设置在第三安装部1213的中部的第二相机23用于拍摄待堆叠物品所要放置的位置的正下方的角点和边线，适用于每横排已堆叠物品的交错堆叠工况。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种机器人系统，其特征在于，包括：
执行装置，包括
末端抓取模块，包括基座；
测量组件，包括
设置在环境中的基准面发生器，用于生成一个平面光幕；
面激光接受器，设置在所述基座上，用于测量平面光幕与基座之间的相对位置；
计算组件，用于根据平面光幕与基座之间的相对位置，以及基座与待堆叠物品的侧面之间的相对位置，计算出将该侧面运动到与所述平面光幕平行时该基座所需要的运动量；
其中，所述面激光接受器包括：
光屏，包括多块依次连接的半透明板，相邻两块半透明板不相互平行，所述半透明板用于接受平面光幕的照射；以及
采集相机，用于在所述半透明板被所述平面光幕照射时采集所述光屏的光屏图片。
2.根据权利要求1所述的机器人系统，其特征在于，所述半透明板为平板。
3.根据权利要求1所述的机器人系统，其特征在于，所述光屏构造为罩住所述采集相机的罩壳结构。
4.一种机器人系统的测控方法，其特征在于，基于权利要求1至3中任一项所述的机器人系统实施，包括：
设置一个平面光幕，该平面光幕与已堆叠物品的一个侧面平齐；
在末端抓取模块抓住待堆叠物品时，采用面激光接受器测量平面光幕与基座之间的相对位置；
根据平面光幕与基座之间的相对位置，以及基座与待堆叠物品的侧面之间的相对位置，计算出将该侧面运动到与所述平面光幕平行时该基座所需要的运动量；
驱动机械臂移动末端抓取模块使得待堆叠物品的侧面与平面光幕平行。
5.根据权利要求4所述的测控方法，其特征在于，采用末端抓取模块上的面激光接受器测量平面光幕与基座之间的相对位置，包括：
将末端抓取模块移动到平面光幕能照射到面激光接受器的光屏的位置，以使得光屏的相邻两个半透明板上均被照射出直线段；
面激光接受器的采集相机拍摄光屏以获得光屏图片，根据平面光幕照射在相邻两个半透明板上所形成的直线段在光屏图片中的位置以及相邻两个半透明板与采集相机的相对位置获取平面光幕与采集相机的相对位置；
根据平面光幕与采集相机的相对位置以及采集相机与基座的相对位置，计算平面光幕与基座之间的相对位置。
6.根据权利要求5所述的测控方法，其特征在于，预先建立与采集相机相对固定的采集相机坐标系；
预先标定出相邻两个半透明板分别所处平面在采集相机坐标系的平面方程；
预先在光屏图片上建立像素坐标系，并预先标定出像素坐标系与采集相机坐标系之间的变换关系，
根据平面光幕照射在相邻两个半透明板上所形成的直线段在光屏图片中的位置以及相邻两个半透明板与采集相机的相对位置获取平面光幕与采集相机的相对位置，包括：
获取每条直线段在像素坐标系内的直线方程；
根据每条直线段在像素坐标系内的直线方程、相邻两个半透明板分别所处平面在采集相机坐标系的平面方程以及像素坐标系与采集相机坐标系之间的变换关系获取每条直线段在采集相机坐标系中的直线方程；
根据每条直线段在采集相机坐标系中的直线方程获取两条直线段所张成的平面在采集相机坐标系下的平面方程。
7.根据权利要求6所述的测控方法，其特征在于，根据每条直线段在采集相机坐标系中的直线方程获取两条直线段所张成的平面在采集相机坐标系下的平面方程，包括：
根据每条直线段在采集相机坐标系中的直线方程获取每条直线在采集相机坐标系下的空间向量以及两条直线段的交点在采集相机坐标系下的坐标；
根据每条直线段在采集相机坐标系下的空间向量获取两条直线段所张成的平面在采集相机坐标系下的法向向量；
根据平面在采集相机坐标系下的法向向量以及两条直线段的交点在采集相机坐标系下的坐标获得该平面在采集相机坐标系下的平面方程。
8.根据权利要求6所述的测控方法，其特征在于，预先建立与基座相对固定的基座坐标系，预先标定出采集相机坐标系到基座坐标系的变换关系；
根据平面光幕与采集相机的相对位置以及采集相机与基座的相对位置，计算平面光幕与基座之间的相对位置，包括：
根据平面在采集相机坐标系下的平面方程以及采集相机坐标系与基座坐标系的变换关系获得面光幕在基座坐标系中的平面方程。
9.根据权利要求8所述的测控方法，其特征在于，根据平面光幕与基座之间的相对位置，以及基座与待堆叠物品的侧面之间的相对位置，计算出将该侧面运动到与所述平面光幕平行时该基座所需要的运动量，包括：
根据平面光幕在基座坐标系下的平面方程，设定一个第三工件坐标系，该第三工件坐标系的x轴和z轴处于该平面光幕内，该第三工件坐标系的y轴与该平面光幕的法向平行，并获得从基座坐标系到该第三工件坐标系的旋转矩阵
根据基座坐标系到第三工件坐标系的旋转矩阵，以及基座与待堆叠物品的侧面之间的相对位置，计算出将该侧面运动到与平面光幕平行时该基座所需要绕基座坐标系的x轴转动的转角角度和绕基座坐标系的z轴转动的转角角度。
10.根据权利要求9所述的测控方法，其特征在于，测控方法还包括：按照所得的基座坐标系的x轴转动的转角角度和绕基座坐标系的z轴转动的转角角度来移动基座，能使得待堆叠物品的侧面与平面光幕平行。
CN202111388884.9A 2021-11-22 2021-11-22 机器人系统及其测控方法和面激光接受器 Active CN114102622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111388884.9A CN114102622B (zh) 2021-11-22 2021-11-22 机器人系统及其测控方法和面激光接受器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111388884.9A CN114102622B (zh) 2021-11-22 2021-11-22 机器人系统及其测控方法和面激光接受器

Publications (2)

Publication Number Publication Date
CN114102622A CN114102622A (zh) 2022-03-01
CN114102622B true CN114102622B (zh) 2023-07-14

Family

ID=80439755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111388884.9A Active CN114102622B (zh) 2021-11-22 2021-11-22 机器人系统及其测控方法和面激光接受器

Country Status (1)

Country Link
CN (1) CN114102622B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106524945B (zh) * 2016-10-13 2019-07-12 无锡科技职业学院 一种基于机械臂和结构光视觉的平面夹角在线测量方法
CN110553600B (zh) * 2019-08-14 2021-05-14 华南理工大学 一种用于工件检测的结构光传感器仿真激光线的生成方法
CN113001535B (zh) * 2019-12-18 2022-11-15 财团法人工业技术研究院 机器人工件坐标系自动校正系统与方法
CN112123342B (zh) * 2020-11-25 2021-03-23 清华大学 一种机器人系统以及测控方法

Also Published As

Publication number Publication date
CN114102622A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
JP2020116734A (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
CN112123342B (zh) 一种机器人系统以及测控方法
AU2008342721B2 (en) Method and system for the high-precision positioning of at least one object in a final location in space
EP2543483B1 (en) Information processing apparatus and information processing method
EP3407088A1 (en) Systems and methods for tracking location of movable target object
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
US20210291376A1 (en) System and method for three-dimensional calibration of a vision system
EP3577629B1 (en) Calibration article for a 3d vision robotic system
CN208818162U (zh) 定位机器人
US20220080597A1 (en) Device and method for calibrating coordinate system of 3d camera and robotic arm
JP2018051670A (ja) ロボット、ロボットの制御装置、及び、ロボットの位置教示方法
KR20110095700A (ko) 작업대상물 픽업을 위한 산업용 로봇 제어방법
CN107030689B (zh) 部件定位在板上期望定向和位置的方法，取放机和传感器
CN114102622B (zh) 机器人系统及其测控方法和面激光接受器
CN113781576A (zh) 多自由度位姿实时调整的双目视觉检测系统、方法、装置
Armstrong et al. RGR-3D: simple, cheap detection of 6-DOF pose for teleoperation, and robot programming and calibration
CN111716340B (zh) 3d相机与机械手臂坐标系统的校正装置及方法
CN113593050A (zh) 一种双目视觉引导的机器人智能装配方法、系统及装置
JPH0545117A (ja) 光学式３次元位置計測方法
CN111823222A (zh) 单目相机多视场视觉引导装置及引导方法
US20240185455A1 (en) Imaging device for calculating three-dimensional position on the basis of image captured by visual sensor
WO2022244212A1 (ja) 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置
WO2023040095A1 (zh) 相机的标定方法、装置、电子设备及存储介质
JPH0934552A (ja) 移動体の制御装置、位置検出装置、そして移動体装置、及びそれらの制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant