CN115570564A - 一种家用服务机器人对目标位姿的识别与规范化方法 - Google Patents

一种家用服务机器人对目标位姿的识别与规范化方法 Download PDF

Info

Publication number
CN115570564A
CN115570564A CN202211179956.3A CN202211179956A CN115570564A CN 115570564 A CN115570564 A CN 115570564A CN 202211179956 A CN202211179956 A CN 202211179956A CN 115570564 A CN115570564 A CN 115570564A
Authority
CN
China
Prior art keywords
target
coordinate system
pose
eyes
root
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211179956.3A
Other languages
English (en)
Inventor
陈殿生
罗亚哲
徐颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202211179956.3A priority Critical patent/CN115570564A/zh
Publication of CN115570564A publication Critical patent/CN115570564A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)

Abstract

本发明提出一种家用服务机器人识别目标位姿并规范化的实现方法。该实现方法包括以下步骤：首先通过手眼标定系统建立机器人的视觉相机与机械臂执行机构的位姿变换关系；然后识别带有标记的目标类别与标记位姿，之后利用居家场景下物品放置规则，对抓取目标与环境障碍物采用不同的方法规范化得到最终的物品位姿。该方法利用Aruco码标记、OpneCV计算机视觉库与家庭环境提供的先验信息来求解实现，最终减小了机器人在目标位姿估计过程中由于标记贴合与识别抖动造成的目标位姿偏差，同时规范化后的目标位姿稳定性高，提升了机器人抓取与避障轨迹规划能力。

Description

一种家用服务机器人对目标位姿的识别与规范化方法
技术领域
本发明属于机器人目标位姿识别技术领域，提出一种家用服务机器人对目标位姿识别与规范化的方法。
背景技术
机器人对目标位姿的识别与估计是实现机器人抓取与避障规划的重要环节，随着机器人技术提升与硬件成本降低，操作型服务机器人逐渐走入日常生活，而对目标的识别抓取是主要的居家任务之一。机器人在抓取操作中，首先需要视觉系统对待抓取物品与环境障碍物识别区分，并估计其位姿，然后进行机械臂的轨迹规划，执行并完成对目标的避障抓取。
但在实际抓取流程中，由于受到半结构化居家环境的限制，机器人对目标位姿的识别估计反馈到最后的实际抓取规划执行，整个系统往往存在厘米级的累计误差，故导致机器人对最终目标抓取失败或与环境障碍发生碰撞，造成安全事故。因此本发明提出了一种利用居家环境先验信息对目标位姿进行识别与规范化的方法，最终结果符合居家物品摆放规则，提升机械臂避障抓取的稳定性。
发明内容
本发明的目的在于实现一种机器人对目标位姿识别与规范化的方法，依据居家环境先验信息减小识别噪声，提升整个机器人系统避障抓取的稳定性。
一种家用服务机器人对目标位姿的识别与规范化方法包括以下步骤：
在机器人的任务空间下，定义四个坐标系与目标主轴，即位于机械臂基座的空间坐标系root，识别的ArUco码坐标系mark，位于抓取物品或障碍物中心的坐标系target，相机坐标系camera，目标主轴方向为target坐标系z目轴正向方向，且通过目标几何中心；
通过手眼标定系统确定眼在手外布局下的相机坐标系camera相对于机械臂基座的空间坐标系root的位姿变换关系rcT；
利用相机与计算机视觉库识别ArUco码码值作为目标类别c，将ArUco码中心相对于camera坐标系的位姿mcT转换到root坐标系下并分解为位置P标与姿态R标；
将识别到的ArUco码坐标系mask的姿态R标向目标坐标系target仅按旋转关系mtR对齐，得到目标姿态R目，同时计算目标主轴z目与root坐标系z轴正向的夹角θ；
根据识别类别c判断目标是否为环境中的障碍物或待抓取物品，若为障碍物，则直接将目标主轴z目向root坐标系z轴旋转对齐得姿态R障；若为待抓取物品，则判断夹角θ是否小于设定阈值|Φ|，如果小于设定阈值，则将目标主轴z目向root坐标系旋转对齐得姿态R竖，否则将目标主轴z目向root坐标系xOy面旋转对齐得姿态R平；
在步骤5得到的相对root坐标系的障碍物或抓取物品的姿态下，将ArUco码中心位置P标转换到目标坐标系中心得P目；
将规范化后的目标姿态R障、R竖或R平与目标坐标系中心位置P目合并为用于机器人抓取或避障规划的最终目标位姿T目。
上述方法将识别目标分为静态摆放移动性差的环境障碍与摆放位姿随机性强的抓取物品。并采用不同的规范化策略，使得最终的识别目标位姿符合居家环境下物品摆放规则，同时该目标的规范化位姿可直接用于机器人避障或抓取过程中的路径规划与抓取位姿生成。
附图说明
为了更清楚的说明本发明所涉及的技术方案，下实施例或现有的技术描述中所使用的附图做简单的介绍，显而易见的，下面描述中的附图是本发明的实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中机器人对目标位姿识别与规范化的原理流程图；
图2是本发明实施例中机器人四个重要的坐标系模型示意图；
图3是本发明实施例中四个重要坐标系间的变换原理图；
图4是本发明实施例中目标主轴z目与空间z轴的关系说明图；
图5是本发明实施例中将目标识别为环境障碍时位姿规范化的原理说明图
图6是本发明实施例中将目标识别为抓取物品时位姿规范化的原理说明图，其中(a)为将目标主轴向空间z轴转换对齐的原理，(b)为将目标主轴向空间水平面转换对齐的原理。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
一种家用服务机器人对目标位姿的识别与规范化方法，如图1所示，包括以下步骤：
步骤1：在机器人的任务空间下，定义四个坐标系与目标主轴，即位于机械臂基座的空间坐标系root，识别的ArUco码坐标系mark，位于抓取物品或障碍物中心的坐标系target，相机坐标系camera，目标主轴方向为target坐标系z目轴正向方向，且通过目标几何中心；
本实施例中，一共确定了四个直角坐标系，如图2所示，空间坐标系root与相机坐标系camera为绝对坐标系，另有ArUco码坐标系mark与抓取物品或障碍物中心的坐标系target间的相互变换关系不随物品或障碍的移动而变化，其相对位姿由ArUco码贴合位置与target坐标系的设置而确定，选择target坐标系为居家环境下按照物品语义摆放在root坐标系的xOy水平面时，垂直于该水平面且通过该目标几何中心的向上方向为z目轴正向；
步骤2：通过手眼标定系统确定眼在手外布局下的相机坐标系camera相对于机械臂基座的空间坐标系root的位姿变换关系
Figure BDA0003863078460000021
本实施例中，如图3所示，可以采用ROS机器人开发平台中的easy_handeye功能包完成相机坐标系camera相对于机械臂基座的空间坐标系root的外参数标定，即位姿变换关系rcT，且二者变换关系固定；
步骤3：利用相机与计算机视觉库识别ArUco码码值作为目标类别c，将ArUco码中心相对于camera坐标系的位姿mcT转换到root坐标系下并分解为位置P标与姿态R标；
本实施例中，利用OpenCV计算机视觉库识别具有特异性的目标码值，记为c并将其作为目标类别，同时获得ArUco码坐标系mark相对于camera坐标系的位姿变换关系
Figure BDA0003863078460000022
之后依据步骤2中得到的camera坐标系与root坐标系之间的相对变换
Figure BDA0003863078460000023
可求解mark坐标系在root坐标系下的位置P标与姿态R标，具体计算如公式(1)：
Figure BDA0003863078460000024
步骤4：将识别到的ArUco码坐标系mask的姿态R标向目标坐标系target仅按旋转关系
Figure BDA0003863078460000025
对齐，得到目标姿态R目，同时计算目标主轴z目与root坐标系z轴正向的夹角θ；
本实施例中，在目标上贴合ArUco码与设定其target坐标系后，即可得到target坐标系相对ArUco坐标系的位姿变换矩阵，取其中的姿态变换关系
Figure BDA0003863078460000026
由
Figure BDA0003863078460000027
得相对于root坐标系的姿态R目；
如图4所示，计算该姿态的目标主轴z目与root坐标系z轴正向的夹角θ，同时判断与设定阈值|Φ|的大小关系,由于两轴夹角θ范围为0～π，所以夹角的计算方法如公式(2)：
Figure BDA0003863078460000031
其中z与z目分别为root坐标系z轴与目标主轴z目的方向向量；
步骤5：根据识别类别c判断目标是否为环境中的障碍物或待抓取物品，若为障碍物，则直接将目标主轴z目向root坐标系z轴旋转对齐得姿态R障；若为待抓取物品，则判断夹角θ是否小于设定阈值|Φ|，如果小于设定阈值|Φ|，则将目标主轴z目向root坐标系z轴正向旋转对齐得姿态R竖，否则将目标主轴z目向root坐标系xOy面旋转对齐得姿态R平；
本实施例中，利用3得到的目标类别c首先判断其为障碍物还是待抓取物品，若为环境障碍，根据家居物品摆放规则，障碍物在与xOy平行的水平面上放置，其最终规范化的目标主轴方向应与最终的空间坐标系root的z轴同向，但受到贴合的ArUco码坐标系与设定的目标坐标系的相对关系存在测量误差、以及识别过程中ArUco码的识别受环境光照与相机性能影响，存在识别抖动，因此由步骤4得到的R目无法达到抓取所需要的目标主轴与空间z轴的重合精度，所以需要进行规范化；
如图5所示，在步骤3与步骤4得到的ArUco位置P标与目标姿态R目的基础上，进行规范化求解；
其中，夹角θ即为规范化的旋转角，而代表旋转轴的方向与大小如公式(3)所示：
Figure BDA0003863078460000032
如果l旋小于0.001，则认为目标主轴与空间坐标系root的z轴基本重合，无需进行规范化位姿，当前目标姿态R目即为最后要求的R障；
若l旋大于0.001，将该旋转轴n旋与旋转角θ组合为旋转向量，并转换为旋转矩阵R旋，然后由R旋·R目得R障；
若识别的为抓取物品，则为了机械臂规划与抓取的稳定性，同时也满足家居物品的放置规则，采用两种规划抓取方案：
一种是机械臂从上而下的竖直抓取位姿，此时抓取物品位姿为其目标主轴z目与空间xOy水平面平行，该姿态为家居物品的躺置摆放姿态；
另一种是机械臂采用与水平面平行的水平抓取位姿，此时抓取物品位姿为其目标主轴z目与空间z轴重合，该姿态为家居物品的竖直摆放姿态；
上述两种抓取位姿对应了两种物品位姿的极限情况，但在实际识别过程中，如[0036]所述，存在识别抖动，因此采用如图6所示的规范化方法：
即当目标主轴z目与空间z轴正向夹角θ小于设定阈值|Φ|时，即可认为抓取物品应为竖直摆放姿态，此时夹角θ即为规范化的旋转角，而代表旋转轴的方向与大小如公式(3)所示；
也需要判断l旋大小，若其小于0.001，则认为目标主轴与空间坐标系root的z轴基本重合，无需进行规范化位姿，当前目标姿态R目即为最后要求的R竖；
若l旋大于0.001，将该旋转轴n旋与旋转角θ组合为旋转向量，并转换为旋转矩阵R旋，然后由R旋·R目得R竖；
而当目标主轴z目与空间z轴正向夹角θ大于设定阈值|Φ|时，即可认为抓取物品应为躺置摆放姿态，此时旋转角大小为
Figure BDA0003863078460000033
将该旋转轴n旋与旋转角
Figure BDA0003863078460000034
组合为旋转向量，并转换为旋转矩阵R旋，然后由R旋·R目得R平；
步骤6：在步骤5得到的相对root坐标系的障碍物或抓取物品的姿态下，将ArUco码中心位置P标转换到目标坐标系中心得P目；
本实施例中，在规范化后的姿态下，将目标贴合的ArUco码中心与target坐标系原点的相对关系中提取位置变换
Figure BDA0003863078460000041
将ArUco码中心位置平移
Figure BDA0003863078460000042
得到P目；
步骤7：将规范化后的目标姿态R障、R竖或R平与目标坐标系中心位置P目合并为用于机器人抓取或避障规划的最终目标位姿T目；
本实例中，根据不同目标的位姿识别结果，最后可得到三类用于机器人抓取规划的目标位姿矩阵，如图5与图6。
最后需说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (6)

1.一种家用服务机器人对目标位姿的识别与规范化方法，其特征在于，包括以下步骤：
步骤1：在机器人的任务空间下，定义四个坐标系与目标主轴，即位于机械臂基座的空间坐标系root，识别的ArUco码坐标系mark，位于抓取物品或障碍物中心的坐标系target，相机坐标系camera，目标主轴方向为target坐标系z目轴正向方向，且通过目标几何中心；
步骤2：通过手眼标定系统确定眼在手外布局下的相机坐标系camera相对于机械臂基座的空间坐标系root的位姿变换关系r
Figure FDA0003863078450000011
步骤3：利用相机与计算机视觉库识别ArUco码码值作为目标类别c，将ArUco码中心相对于camera坐标系的位姿
Figure FDA0003863078450000012
转换到root坐标系下并分解为位置P标与姿态R标；
步骤4：将识别到的ArUco码坐标系mask的姿态R标向目标坐标系target仅按旋转关系
Figure FDA0003863078450000013
对齐，得到目标姿态R目，同时计算目标主轴z目与root坐标系z轴正向的夹角θ；
步骤5：根据识别类别c判断目标是否为环境中的障碍物或待抓取物品，若为障碍物，则直接将目标主轴z目向root坐标系z轴旋转对齐得姿态R障；若为待抓取物品，则判断夹角θ是否小于设定阈值|Φ|，如果小于设定阈值|Φ|，则将目标主轴z目向root坐标系旋转对齐得姿态R竖，否则将目标主轴z目向root坐标系xOy面旋转对齐得姿态R平；
步骤6：在步骤5规范化后的相对root坐标系的障碍物或抓取物品的姿态下，将ArUco码中心位置P标转换到目标坐标系中心得P目；
步骤7：将规范化后的目标姿态R障、R竖或R平与目标坐标系中心位置P目合并为用于机器人抓取或避障规划的最终目标位姿T目。
2.如权利要求1所述的一种家用服务机器人对目标位姿的识别与规范化方法，其特征在于：步骤1所述target坐标系的选择是居家环境下按照物品语义摆放在root坐标系的xOy水平面时，垂直于该水平面且通过该目标几何中心的向上方向为z目轴正向。
3.如权利要求1所述的一种家用服务机器人对目标位姿的识别与规范化方法，其特征在于：步骤3所述的ArUco码码值与目标类别一一对应，不可重复，但贴合的ArUco码码值具有任意性，且将该ArUco码识别位姿转换到root坐标系下并分解与手眼系统的标定外参数有关。
4.如权利要求1所述的一种家用服务机器人对目标位姿的识别与规范化方法，其特征在于：步骤4所述将识别到的mask坐标系姿态R标向target坐标系对齐，得到目标姿态R目，与该ArUco码贴合位置、目标几何尺寸以及目标坐标系在目标上设定的相对位置有关。
5.如权利要求1所述的一种家用服务机器人对目标位姿的识别与规范化方法，其特征在于：步骤5所述的抓取物品与环境障碍主要由识别的ArUco码码值决定，若识别为环境障碍，根据居家环境的物品摆放规则，一般环境障碍摆放在与root坐标系xOy面平行的水平面上，因此将步骤4中目标主轴z目依据步骤4中计算的夹角θ旋转对齐到root坐标系的正向z轴得姿态R障；而对于抓取物品，由于体积质量小，因此摆放姿态随机性强，但机器人常采用从上而下的竖直抓取或与水平面平行的水平抓取，因此当夹角θ小于设定阈值|Φ|时，将物品主轴旋转对齐到root坐标系z轴得姿态R竖，当夹角θ大于阈值|Φ|时，将物品主轴旋转对齐到root坐标系xOy水平面得姿态R平，且设定阈值|Φ|与视觉系统和ArUco的相对位姿、ArUco码贴合位置以及光照有关。
6.如权利要求1所述的一种家用服务机器人对目标位姿的识别与规范化方法，其特征在于：在步骤5得到规范化的姿态R障、R竖或R平后，再将ArUco码的中心位置P标转换到目标坐标系下，此处变换顺序不可颠倒，且在转换到目标中心的过程中，与目标的几何尺寸、目标坐标系在目标上设定的相对位置有关。
CN202211179956.3A 2022-09-26 2022-09-26 一种家用服务机器人对目标位姿的识别与规范化方法 Pending CN115570564A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211179956.3A CN115570564A (zh) 2022-09-26 2022-09-26 一种家用服务机器人对目标位姿的识别与规范化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211179956.3A CN115570564A (zh) 2022-09-26 2022-09-26 一种家用服务机器人对目标位姿的识别与规范化方法

Publications (1)

Publication Number Publication Date
CN115570564A true CN115570564A (zh) 2023-01-06

Family

ID=84583053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211179956.3A Pending CN115570564A (zh) 2022-09-26 2022-09-26 一种家用服务机器人对目标位姿的识别与规范化方法

Country Status (1)

Country Link
CN (1) CN115570564A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524011A (zh) * 2023-04-26 2023-08-01 北京航空航天大学 一种居家环境下机器人对目标位姿的精化方法
CN116524011B (zh) * 2023-04-26 2024-04-30 北京航空航天大学 一种居家环境下机器人对目标位姿的精化方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524011A (zh) * 2023-04-26 2023-08-01 北京航空航天大学 一种居家环境下机器人对目标位姿的精化方法
CN116524011B (zh) * 2023-04-26 2024-04-30 北京航空航天大学 一种居家环境下机器人对目标位姿的精化方法

Similar Documents

Publication Publication Date Title
Qin et al. Precise robotic assembly for large-scale objects based on automatic guidance and alignment
US9089971B2 (en) Information processing apparatus, control method thereof and storage medium
US7280687B2 (en) Device for detecting position/orientation of object
CN108453743B (zh) 机械臂抓取方法
WO2015045834A1 (ja) マーカ画像処理システム
WO2023104207A1 (zh) 一种协同三维建图方法及系统
CN110796700B (zh) 基于卷积神经网络的多物体抓取区域定位方法
CN111360821A (zh) 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN113284179A (zh) 一种基于深度学习的机器人多物体分拣方法
US20230041378A1 (en) Systems and methods for object detection
Paolillo et al. Interlinked visual tracking and robotic manipulation of articulated objects
CN113269723A (zh) 三维视觉定位与机械手协同工作的零部件无序抓取系统
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
Xu et al. Multi-view human pose estimation in human-robot interaction
CN111331604A (zh) 一种基于机器视觉的阀门旋拧柔顺作业方法
WO2022110767A1 (zh) 定位与地图构建方法、装置、机器人及计算机存储介质
CN115570564A (zh) 一种家用服务机器人对目标位姿的识别与规范化方法
US20230326096A1 (en) Processing device, processing system, head mounted display, processing method, and storage medium
Tahri et al. Brunovsky's linear form of incremental structure from motion
Mehta et al. New approach to visual servo control using terminal constraints
Ruf et al. Visual trajectories from uncalibrated stereo
CN114851206A (zh) 基于视觉引导机械臂抓取炉具的方法
CN111612847B (zh) 机器人抓取操作的点云数据匹配方法及系统
Zhang et al. High-precision pose estimation method of the 3C parts by combining 2D and 3D vision for robotic grasping in assembly applications
Hietanen et al. Object pose estimation in robotics revisited

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination