CN111805543A - 一种红外成像目标作业轨迹检测系统及其坐标转换方法 - Google Patents

一种红外成像目标作业轨迹检测系统及其坐标转换方法 Download PDF

Info

Publication number
CN111805543A
CN111805543A CN202010663488.1A CN202010663488A CN111805543A CN 111805543 A CN111805543 A CN 111805543A CN 202010663488 A CN202010663488 A CN 202010663488A CN 111805543 A CN111805543 A CN 111805543A
Authority
CN
China
Prior art keywords
coordinate
infrared imaging
coordinate system
model
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010663488.1A
Other languages
English (en)
Other versions
CN111805543B (zh
Inventor
王志锋
郭成龙
林泽钦
陈海初
甄志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202010663488.1A priority Critical patent/CN111805543B/zh
Publication of CN111805543A publication Critical patent/CN111805543A/zh
Application granted granted Critical
Publication of CN111805543B publication Critical patent/CN111805543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种红外成像目标作业轨迹检测系统，其包括所述三维模型处理模块，用于获取作业对象的三维点云信息并基于三维模型得到特征数据信息；所述红外成像检测模块，其形成有红外成像系统并用于获取作业对象的成像模型且基于所述三维模型处理模块获得的特征数据信息对作业对象进行检测和匹配，并将匹配完成的点云模型轨迹信息发送至所述坐标信息转换模块；所述坐标信息转换模块，用于将作业对象在点云坐标下的作业轨迹信息转换成在机器人坐标下的作业轨迹信息。本发明还公开了一种基于红外成像目标作业轨迹检测系统的坐标转换方法。本发明具有获取对象模型能够更快、更准确定位使得目标检测的效果更佳且实现坐标的实时转换的优点。

Description

一种红外成像目标作业轨迹检测系统及其坐标转换方法
技术领域
本发明涉及机器人控制技术领域，具体而言，涉及一种红外成像目标作业轨迹检测系统及其坐标转换方法。
背景技术
随着当前个性化产品定制需求的不断增加，产品单一重复性降低。这对于作业机器人的提出了更高的要求，在作业对象的快速变换情况下，机器人仍需保持高效率、高可靠性的工作。因此对于提高作业机器人对于变换的作业对象的适应能力非常重要。典型的或者常见的现有技术有：
如CN109648549A公开了一种机器人轨迹规划方法和机器人，所述方法包括以下步骤：控制机器人处于零重力拖动模式，并对机器人施加外部拖动力；在外部拖动力的作用下，记录机器人各个关节电机形成的运动轨迹和速度；以记录的机器人各个关节电机形成的运动轨迹和速度实现机器人的轨迹规划。再来看如CN1755562A的现有技术公开了机器人轨迹控制方法，其把持工件的机器人和安装了作业刀具的机器人的协同动作中，即使在插补动作中也能够容易地使作业刀具获得希望的位置以及姿势。对安装在引导机器人上的作业刀具设定的第一刀具坐标系的位置以及姿势协同控制多台机器人，以使在对把持在随动机器人上的工件设定的第二刀具坐标系上描绘出希望的轨迹。对两机器人进行示教，在再生运转时，根据关于引导机器人的插补位置数据、两机器人的相对位置数据计算关于随动机器人的插补位置数据。
综上所述，如上两种轨迹控制方法，均采用的是离线编程方法对机器人轨迹进行规划，但当作业对象快速变化时，在机器人坐标系进行位置标定花费的时间长。除了以上两种轨迹控制办法，目前还采用在线标定方法，把摄像机安装在机器人末端进行实时检测对象位置信息。该方法所需的工作空间大，且耗时长效率低。
因此，需要开发或者改进一种红外成像目标作业轨迹检测系统及其坐标转换方法。
发明内容
本发明的目的在于提供一种红外成像目标作业轨迹检测系统及其坐标转换方法以解决如何能够有效解决作业对象在快速变换后机器人工作效率低的问题。
为实现上述目的，本发明所提供的一种基于红外成像目标检测作业轨迹坐标转换系统，其包括三维模型处理模块、红外成像检测模块和坐标信息转换模块；其中，所述三维模型处理模块，用于获取作业对象的三维点云信息并基于三维模型得到特征数据信息；所述红外成像检测模块，其形成有红外成像系统并用于获取作业对象的成像模型且基于所述三维模型处理模块获得的特征数据信息对作业对象进行检测和匹配，并将匹配完成的点云模型轨迹信息发送至所述坐标信息转换模块；所述坐标信息转换模块，用于将作业对象在点云坐标下的作业轨迹信息转换成在机器人坐标下的作业轨迹信息。
优选的是，还包括数据存储模块，所述数据存储模块用于对存储作业对象的三维模型以及已生成的作业轨迹信息数据
优选的是，所述红外成像检测模块包括红外成像仪和用于对来自于所述红外成像仪的红外成像模型进行检测的检测装置。
优选的是，在红外成像系统下引入机器人笛卡尔坐标系(XR,YR,ZR)；所述三维模型处理模块获取作业对象的三维模型得到作业对象模型数据坐标系(u，v，w)；所述红外成像检测模块的获取作业对象的成像模型进行检测和匹配得到红外成像系统坐标系(x，y，z)；所述作业对象模型数据坐标系(u，v，w)、笛卡尔坐标系(XR,YR,ZR)和红外成像系统坐标系(x，y，z)之间的关系得到如下公式：
Figure BDA0002579473670000031
其中，f为红外系统焦距，K为旋转矩阵，T为平移矩阵，U0和V0均表示相对于红外成像系统坐标的初值，dx为在x方向上的焦距值。
本发明还提供了一种红外成像目标作业轨迹检测系统的坐标转换方法，其包括如下步骤：
S1：将所述三维模型处理模块得到的点云模型数据转换至红外成像系统坐标系下；
S2：将红外成像模型从红外成像系统坐标系转换到机器人坐标系下；
S3：根据步骤S1和S2的转换结果得到变换矩阵关系；
S4：将S3的变换矩阵关系用于模型轨迹位置信息转换上得到机器人坐标系下的作业轨迹。
优选的是，所述S1步骤中的计算公式如下：
CQ＝CHD DP
其中，DP为点云模型在点云坐标系下的坐标值,CHD点云坐标系与红外成像系统坐标系的变换矩阵。
优选的是，所述S2步骤中的计算公式如下：
RQ＝RHc CQ
其中，CQ为红外模型在红外成像系统坐标系下的坐标值，RHC为红外成像系统坐标系与机器人坐标系转换的变换矩阵，RQ为红外模型在机器人坐标系下的坐标值。
优选的是，所述S3步骤中的计算公式如下：
RHD＝RHC CHD
优选的是，所述S4步骤中在机器人坐标系下作业轨迹GR的计算公式如下：
GR＝RHDGD＝RHC CHDGD
其中，GD为点云坐标系下的轨迹。
优选的是，还包括点云模型与红外成像模型间的坐标系转换，其计算公式如下：
CL＝CND DM+CJD
其中，CND为红外模型坐标系与点云坐标系旋转转换的描述，CJD为红外坐标系与点云坐标系下的平移变换描述，L、M分别为红外模型数据信息，点云数据信息；其中，CHD＝[CND,CJD]；机器人作业轨迹GR的计算公式：
GR＝RHDGD＝RHC[CND,CJD]GD
上述技术方案所提供的一种基于红外成像目标检测作业轨迹坐标转换系统，与现有技术相比，其有益效果包括：利用红外成像技术获取对象模型能够更快、更准确定位使得目标检测的效果更佳，通过红外成像系统坐标系作为中间层可实现以获取点云作业对象模型轨迹数据与适用于作业机器人的轨迹数据进行坐标系快速实时转换。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。
图1是本发明实施例中一种红外成像目标作业轨迹检测系统的红外成像检测模块的结构示意图；
图2是本发明实施例中一种基于红外成像目标作业轨迹检测系统的坐标转换方法的步骤流程图。
具体实施方式
下面结合附图和实施例对本发明进行进一步说明。
如图1～2所示的一种基于红外成像目标检测作业轨迹坐标转换系统，其包括三维模型处理模块、红外成像检测模块和坐标信息转换模块；其中，所述三维模型处理模块，用于获取作业对象的三维点云信息并基于三维模型得到特征数据信息；所述红外成像检测模块，其形成有红外成像系统并用于获取作业对象的成像模型且基于所述三维模型处理模块获得的特征数据信息对作业对象进行检测和匹配，并将匹配完成的点云模型轨迹信息发送至所述坐标信息转换模块；所述坐标信息转换模块，用于将作业对象在点云坐标下的作业轨迹信息转换成在机器人坐标下的作业轨迹信息。
本实施例通过设置有三维模型处理模块、红外成像检测模块和坐标信息转换模块，从而利用红外成像技术获取对象模型能够更快、更准确定位使得目标检测的效果更佳，通过红外成像系统坐标系作为中间层可实现以获取点云作业对象模型轨迹数据与适用于作业机器人的轨迹数据进行坐标系快速实时转换。
本实施例通过设置有数据存储模块，从而解决了数据的储存问题，所述数据存储模块用于对存储作业对象的三维模型以及已生成的作业轨迹信息数据
其中，所述红外成像检测模块包括红外成像仪和用于对来自于所述红外成像仪的红外成像模型进行检测的检测装置。
为了保证三维模型处理模块、红外成像检测模块和坐标信息转换模块之间的转换，本实施例中，在红外成像系统下引入机器人笛卡尔坐标系(XR,YR,ZR)；所述三维模型处理模块获取作业对象的三维模型得到作业对象模型数据坐标系(u，v，w)；所述红外成像检测模块的获取作业对象的成像模型进行检测和匹配得到红外成像系统坐标系(x，y，z)；所述作业对象模型数据坐标系(u，v，w)、笛卡尔坐标系(XR,YR,ZR)和红外成像系统坐标系(x，y，z)之间的关系得到如下公式：
Figure BDA0002579473670000051
其中，f为红外系统焦距，K为旋转矩阵，T为平移矩阵，U0和V0均表示相对于红外成像系统坐标的初值，dx为在x方向上的焦距值。
本实施例还提供了一种红外成像目标作业轨迹检测系统的坐标转换方法，其包括如下步骤：
S1：将所述三维模型处理模块得到的点云模型数据转换至红外成像系统坐标系下；
S2：将红外成像模型从红外成像系统坐标系转换到机器人坐标系下；
S3：根据步骤S1和S2的转换结果得到变换矩阵关系；
S4：将S3的变换矩阵关系用于模型轨迹位置信息转换上得到机器人坐标系下的作业轨迹。
所述S1步骤中的计算公式如下：
CQ＝CHD DP
其中，DP为点云模型在点云坐标系下的坐标值,CHD点云坐标系与红外成像系统坐标系的变换矩阵。
所述S2步骤中的计算公式如下：
RQ＝RHc CQ
其中，CQ为红外模型在红外成像系统坐标系下的坐标值，RHC为红外成像系统坐标系与机器人坐标系转换的变换矩阵，RQ为红外模型在机器人坐标系下的坐标值。其中，由于红外成像仪位置固定，所以RHC该值为已知。
所述S3步骤中的计算公式如下：
RHD＝RHC CHD
所述S4步骤中在机器人坐标系下作业轨迹GR的计算公式如下：
GR＝RHDGD＝RHC CHDGD
其中，GD为点云坐标系下的轨迹。
还包括点云模型与红外成像模型间的坐标系转换，其计算公式如下：
CL＝CND DM+CJD
其中，CND为红外模型坐标系与点云坐标系旋转转换的描述，CJD为红外坐标系与点云坐标系下的平移变换描述，L、M分别为红外模型数据信息，点云数据信息；其中，CHD＝[CND,CJD]；机器人作业轨迹GR的计算公式：
GR＝RHDGD＝RHC[CND,CJD]GD
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种检测目标作业轨迹的系统，其特征在于，其包括三维模型处理模块、红外成像检测模块和坐标信息转换模块；
其中，所述三维模型处理模块，用于获取作业对象的三维点云信息并基于三维模型得到特征数据信息；所述红外成像检测模块，其形成有红外成像系统并用于获取作业对象的成像模型且基于所述三维模型处理模块获得的特征数据信息对作业对象进行检测和匹配，并将匹配完成的点云模型轨迹信息发送至所述坐标信息转换模块；所述坐标信息转换模块，用于将作业对象在点云坐标下的作业轨迹信息转换成在机器人坐标下的作业轨迹信息。
2.根据权利要求1所述的基于红外成像目标检测作业轨迹坐标转换系统，其特征在于，还包括数据存储模块，所述数据存储模块用于对存储作业对象的三维模型以及已生成的作业轨迹信息数据。
3.根据权利要求1所述的基于红外成像目标检测作业轨迹坐标转换系统，其特征在于，所述红外成像检测模块包括红外成像仪和用于对来自于所述红外成像仪的红外成像模型进行检测的检测装置。
4.根据权利要求4所述的基于红外成像目标检测作业轨迹坐标转换系统，其特征在于，在红外成像系统下引入机器人笛卡尔坐标系(XR,YR,ZR)；所述三维模型处理模块获取作业对象的三维模型得到作业对象模型数据坐标系(u，v，w)；所述红外成像检测模块的获取作业对象的成像模型进行检测和匹配得到红外成像系统坐标系(x，y，z)；所述作业对象模型数据坐标系(u，v，w)、笛卡尔坐标系(XR,YR,ZR)和红外成像系统坐标系(x，y，z)之间的关系得到如下公式：
Figure FDA0002579473660000011
得到
Figure FDA0002579473660000012
其中，f为红外系统焦距，K为旋转矩阵，T为平移矩阵，U0和V0均表示相对于红外成像系统坐标的初值，dx为在x方向上的焦距值。
5.一种基于权利要求1～4任一一项所述的红外成像目标作业轨迹检测系统的坐标转换方法，其特征在于，其包括如下步骤：
S1：将所述三维模型处理模块得到的点云模型数据转换至红外成像系统坐标系下；
S2：将红外成像模型从红外成像系统坐标系转换到机器人坐标系下；
S3：根据步骤S1和S2的转换结果得到变换矩阵关系；
S4：将S3的变换矩阵关系用于模型轨迹位置信息转换上得到机器人坐标系下的作业轨迹。
6.根据权利要求5所述的坐标转换方法，其特征在于，所述S1步骤中的计算公式如下：
CQ＝CHD DP
其中，DP为点云模型在点云坐标系下的坐标值,CHD点云坐标系与红外成像系统坐标系的变换矩阵。
7.根据权利要求6所述的坐标转换方法，其特征在于，所述S2步骤中的计算公式如下：
RQ＝RHc CQ
其中，CQ为红外模型在红外成像系统坐标系下的坐标值，RHC为红外成像系统坐标系与机器人坐标系转换的变换矩阵，RQ为红外模型在机器人坐标系下的坐标值。
8.根据权利要求7所述的坐标转换方法，其特征在于，所述S3步骤中的计算公式如下：
RHD＝RHC CHD。.
9.根据权利要求8所述的坐标转换方法，其特征在于，所述S4步骤中在机器人坐标系下作业轨迹GR的计算公式如下：
GR＝RHDGD＝RHC CHDGD
其中，GD为点云坐标系下的轨迹。
10.根据权利要求9所述的坐标转换方法，其特征在于，还包括点云模型与红外成像模型间的坐标系转换，其计算公式如下：
CL＝CND DM+CJD
其中，CND为红外模型坐标系与点云坐标系旋转转换的描述，CJD为红外坐标系与点云坐标系下的平移变换描述，L、M分别为红外模型数据信息，点云数据信息；其中，CHD＝[CND,CJD]；机器人作业轨迹GR的计算公式：
GR＝RHDGD＝RHC[CND,CJD]GD。
CN202010663488.1A 2020-07-10 2020-07-10 一种红外成像目标作业轨迹检测系统及其坐标转换方法 Active CN111805543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010663488.1A CN111805543B (zh) 2020-07-10 2020-07-10 一种红外成像目标作业轨迹检测系统及其坐标转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010663488.1A CN111805543B (zh) 2020-07-10 2020-07-10 一种红外成像目标作业轨迹检测系统及其坐标转换方法

Publications (2)

Publication Number Publication Date
CN111805543A true CN111805543A (zh) 2020-10-23
CN111805543B CN111805543B (zh) 2022-04-26

Family

ID=72842678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010663488.1A Active CN111805543B (zh) 2020-07-10 2020-07-10 一种红外成像目标作业轨迹检测系统及其坐标转换方法

Country Status (1)

Country Link
CN (1) CN111805543B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106423656A (zh) * 2016-08-11 2017-02-22 重庆大学 基于点云与图像匹配的自动喷涂系统及方法
CN107598775A (zh) * 2017-07-27 2018-01-19 芜湖微云机器人有限公司 一种通过激光进行检测并多轴机器人打磨的方法
CN109448034A (zh) * 2018-10-24 2019-03-08 华侨大学 一种基于几何基元的零件位姿获取方法
CN109571152A (zh) * 2018-12-27 2019-04-05 丰泰智控(深圳)有限公司 一种基于离线编程的工件自动打磨加工方法
CN110404715A (zh) * 2019-08-15 2019-11-05 茂联橡胶制品（深圳）有限公司 基于机器人的橡胶喷涂生产线控制系统及方法
US10565787B1 (en) * 2017-01-27 2020-02-18 NHIAE Group, LLC Systems and methods for enhanced 3D modeling of a complex object
CN111013883A (zh) * 2019-11-25 2020-04-17 浙江明泉工业涂装有限公司 一种可用于多车型的智能喷涂的机器人控制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106423656A (zh) * 2016-08-11 2017-02-22 重庆大学 基于点云与图像匹配的自动喷涂系统及方法
US10565787B1 (en) * 2017-01-27 2020-02-18 NHIAE Group, LLC Systems and methods for enhanced 3D modeling of a complex object
CN107598775A (zh) * 2017-07-27 2018-01-19 芜湖微云机器人有限公司 一种通过激光进行检测并多轴机器人打磨的方法
CN109448034A (zh) * 2018-10-24 2019-03-08 华侨大学 一种基于几何基元的零件位姿获取方法
CN109571152A (zh) * 2018-12-27 2019-04-05 丰泰智控(深圳)有限公司 一种基于离线编程的工件自动打磨加工方法
CN110404715A (zh) * 2019-08-15 2019-11-05 茂联橡胶制品（深圳）有限公司 基于机器人的橡胶喷涂生产线控制系统及方法
CN111013883A (zh) * 2019-11-25 2020-04-17 浙江明泉工业涂装有限公司 一种可用于多车型的智能喷涂的机器人控制方法

Also Published As

Publication number Publication date
CN111805543B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN109655024B (zh) 采用空间变换技术的位移传感器外部参数标定方法
Chang et al. Visual-based automation of peg-in-hole microassembly process
CN101402199B (zh) 基于视觉的手眼式低伺服精度机器人抓取移动目标的方法
US20140277731A1 (en) Robot picking system, control device, and method of manufacturing a workpiece
JP5904635B2 (ja) 制御装置、制御方法及びロボット装置
CN110253574B (zh) 一种多任务机械臂位姿检测和误差补偿方法
Huang et al. Dynamic compensation robot with a new high-speed vision system for flexible manufacturing
CN106647529B (zh) 一种面向六轴工业机器人轨迹精确跟踪控制的智能示教系统
CN101116968A (zh) 六维力传感器装配机械手姿态及力的控制方法
CN113858217B (zh) 多机器人交互的三维视觉位姿感知方法及系统
KR102111655B1 (ko) 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
CN111805547B (zh) 一种轨迹动态跟踪实现方法
CN114770461B (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
CN111805543B (zh) 一种红外成像目标作业轨迹检测系统及其坐标转换方法
WO2023124735A1 (zh) 机器人控制方法、装置、系统及存储介质
JP6939729B2 (ja) 制御システム、制御方法およびプログラム
Chen et al. Application of visual servoing to an X-ray based welding inspection robot
CN112171664B (zh) 基于视觉识别的生产线机器人轨迹补偿方法、装置和系统
Djelal et al. Target tracking by visual servoing
CN109029322A (zh) 一种全新数控机器人多坐标测量系统及测量方法
Zhao Multifeature video modularized arm movement algorithm evaluation and simulation
Xie et al. Visual servoing with modified smith predictor for micromanipulation tasks
CN108958249B (zh) 一种考虑未知控制方向的地面机器人控制系统及控制方法
Xu et al. A fast and straightforward hand-eye calibration method using stereo camera
CN114945884A (zh) 用于控制机器人的系统和方法、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant