CN109389642A - 视觉系统对机器人的标定方法、系统和具有存储功能装置 - Google Patents

视觉系统对机器人的标定方法、系统和具有存储功能装置 Download PDF

Info

Publication number
CN109389642A
CN109389642A CN201710665261.9A CN201710665261A CN109389642A CN 109389642 A CN109389642 A CN 109389642A CN 201710665261 A CN201710665261 A CN 201710665261A CN 109389642 A CN109389642 A CN 109389642A
Authority
CN
China
Prior art keywords
coordinate system
robot
coordinates
photographing
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710665261.9A
Other languages
English (en)
Inventor
张晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou City Delegates Electromechanical Co Ltd
Original Assignee
Huizhou City Delegates Electromechanical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou City Delegates Electromechanical Co Ltd filed Critical Huizhou City Delegates Electromechanical Co Ltd
Priority to CN201710665261.9A priority Critical patent/CN109389642A/zh
Publication of CN109389642A publication Critical patent/CN109389642A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明属于机器人定位技术领域，提供一种视觉系统对机器人的标定方法、智能系统和具有存储功能的装置，旨在解决现有的视觉系统对机器人的标定方法不能实时根据摄影设备的拍摄位置提供定位的问题。本发明通过确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点，从而得到像素坐标系的原点，并通过计算摄影设备的内方位参数，将像素坐标系和机器人工件坐标系二者之间的方位和比例关联在一起，由这两方面建立像素坐标系与机器人工件坐标系的联系，如此可推出摄影设备在保持与标定时相同的高度和姿态进行移动并拍摄时，视觉系统可根据摄影设备的拍摄位置实时为机器人提供定位。

Description

视觉系统对机器人的标定方法、系统和具有存储功能装置
技术领域
本发明涉及机器人定位技术领域，特别是涉及一种视觉系统对机器人的标定方法、一种智能系统和一种具有存储功能的装置。
背景技术
目前，随着消费者个性化、定制化需求的增长和产品更新换代周期的缩短，对制造的柔性要求大大提高，如此视觉系统对机器人的标定的要求也相应提高。
常用的视觉系统对机器人的标定方法有刻度校准法、九点标定法和棋盘格标定法。刻度校准法、九点标定法和棋盘格标定法的缺点是每次拍摄时摄影设备的位置须固定，即多次拍摄时摄影设备在同一坐标系中的位置须相同，才能对机器人提供引导和定位。
发明内容
本发明提供一种视觉系统对机器人的标定方法、一种智能系统和一种具有存储功能的装置、旨在解决现有的视觉系统对机器人的标定方法不能实时根据摄影设备的拍摄位置提供定位的问题。
本发明实施例的第一方面，提供一种视觉系统对机器人的标定方法，所述方法包括：
确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点；
控制摄影设备以预设的方式进行移动，并在移动过程中以相同的高度和姿态对已知机器人工件坐标系中坐标的一特征点进行拍摄，记录拍摄所述一特征点时对应的基于机器人工件坐标系的所述摄影设备的拍摄位置的坐标；
根据所述像素点确定所述被拍摄的所述一特征点在视觉系统中对应的点的像素坐标；
根据所述一特征点在机器人工件坐标系中的坐标、所述基于机器人工件坐标系的所述摄影设备的拍摄位置的坐标和所述像素坐标，计算出所述摄影设备的内方位参数。
本发明实施例的第二方面，提供一种智能系统，所述智能系统包括视觉系统、机器人系统，所述视觉系统和所述机器人系统耦接，所述机器人系统包括机器人和摄影设备，所述机器人与所述摄影设备连接，所述视觉系统和/或所述机器人系统包括处理器和存储器，所述存储器耦合所述处理器，且存储有指令，所述处理器执行所述指令时实现第一方面中任意一项所述方法的步骤。
本发明实施例的第三方面，提供一种具有存储功能的装置，所述装置上存储有指令，所述指令被处理器执行时实现第一方面中任意一项所述方法的步骤。
本发明提供的技术方案与现有技术相比存在的有益效果是：本发明通过确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点，从而得到像素坐标系的原点，并通过计算摄影设备的内方位参数，将像素坐标系和机器人工件坐标系二者之间的方位和比例关联在一起，由这两方面建立像素坐标系与机器人工件坐标系的联系，如此可推出摄影设备在保持与标定时相同的高度和姿态进行移动并拍摄时，视觉系统可根据摄影设备的拍摄位置实时为机器人提供定位。
附图说明
图1是本发明第一实施例提供的一种视觉系统对机器人的标定方法的流程图；
图2是本发明第一实施例的可选步骤中摄影设备与机器人工件坐标系同步进行旋转并对同一特征点进行拍摄的平面示意图；
图3是是本发明第一实施例的可选步骤中摄影设备按行列方向进行移动并以相同的高度和姿态对一特征点进行拍摄的平面示意图；
图4是本发明第一实施例中通过摄影设备坐标系和成像平面坐标系建立机器人工件坐标系下空间点与视觉系统的像素坐标系下相应像素点之间的关系的示意图；
图5是本发明第一实施例中成像平面坐标系中点和摄影设备坐标系中相应点之间的关系的示意图；
图6是本发明第一实施例中将原来像素坐标系转换为符合规定的像素坐标系的过程；
图7是本发明第二实施例提供的一种智能系统的结构示意图；
图8是本发明第二实施例提供的另一种智能系统的结构示意图；
图9是本发明第二实施例提供的另一种智能系统的结构示意图；
图10是本发明第三实施例提供的一种具有存储功能的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
以下描述中，为了说明而不是为了限定，给出了诸多技术特征的说明示意图，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的设备、终端及方法等的详细说明，以免不必要的细节妨碍本发明的描述。
本发明第一实施例提供了一种视觉系统对机器人的标定方法，所述方法包括：确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点；控制摄影设备以预设的方式进行移动，并在移动过程中以相同的高度和姿态对已知机器人工件坐标系中坐标的一特征点进行拍摄，记录拍摄所述一特征点时对应的基于机器人工件坐标系的所述摄影设备的拍摄位置的坐标；根据所述像素点确定所述被拍摄的所述一特征点在视觉系统中对应的点的像素坐标；根据所述一特征点在机器人工件坐标系中的坐标、所述基于机器人工件坐标系的所述摄影设备的拍摄位置的坐标和所述像素坐标，计算出所述摄影设备的内方位参数。以下通过文字与示例性附图描述进行详细说明，具体数字只是示例性说明。
参阅图1，图1示出了本发明第一实施例提供的一种视觉系统对机器人的标定方法的流程，为了便于说明，图1仅示出了与本发明实施例相关的部分，图1示例的一种视觉系统对机器人的标定方法可由步骤S101、步骤S102、步骤S103和步骤S104实现：
S101，确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点。
可选的是，建立机器人工件坐标系。
可选的是，本实施例中，步骤S101可包括：步骤S1011、步骤S1012、步骤S1013和步骤S1014。
S1011，控制摄影设备以相对于机器人工件坐标系的位置不变的预设的方式进行旋转，在旋转过程中以预设的高度和姿态对已知机器人工件坐标系中坐标的同一特征点进行拍照，拍照的次数至少为三次。
可选的是，摄影设备可为相机、摄影机等。
可选的是，摄影设备的内方位参数是固定的，例如焦距或主距是固定的。
可选的是，摄影设备与机器人连接，摄影设备可安装于机器人法兰盘上，也可安装于机器人抓手上，也可为安装于机器人抓手抓取的工件上等。
可选的是，摄影设备的主光轴与机器人工件坐标系的竖轴平行，如此可对摄影设备坐标系与机器人工件坐标系之间的映射关系进行简化，方便计算。
可选的是，步骤S1011中控制摄影设备以相对于机器人工件坐标系的位置不变的预设的方式进行旋转可指机器人工件坐标系与摄影设备同时同步进行旋转，保证摄影设备在机器人工件坐标系中的位置不变。
可所选的是，预设的方式可为顺时针或逆时针，旋转的次数至少三次，每次旋转的角度可根据旋转次数确定，例如旋转次数与每次旋转的角度的乘积可为360度。
可选的是，步骤S1011中在旋转过程中以预设的高度和姿态对已知机器人工件坐标系中坐标的同一特征点进行拍照可为控制摄像设备在旋转过程中以预设的高度和姿态对已知机器人工件坐标系中坐标的同一特征点进行拍照，每旋转一次，就以预设的高度和姿态对已知机器人工件坐标系中坐标的同一特征点进行拍照一次。
可选的是，同一特征点可为特征明显的一个特征点，同一特征点可为一固定特征点，如此，易于确定该同一特征点的坐标，减少测量该同一特征点坐标的误差，防止误差的累积。
例如，参阅图2，图2示出了本发明第一实施例的可选步骤中摄影设备与机器人工件坐标系同步进行旋转并对同一特征点进行拍摄的平面示意图，图2中为了便于说明，未示出竖轴，竖轴可为垂直于纸面或屏幕，实际上机器人工件坐标系的竖轴在旋转过程中是不变的。起初机器人工件坐标系的状态与摄影设备分别为X0OY0和c1，同一特征点w，此时，该状态下的摄影设备c1可对同一特征点w拍照一次。第一次旋转后的机器人工件坐标系的状态与摄影设备分别为X1OY1和c2，此时，该状态下的摄影设备c2可对同一特征点w第二次拍照，第二次旋转后的机器人工件坐标系的状态与摄影设备分别为X2OY2和c3，此时，该状态下的摄影设备c3可对同一特征点w第三次拍照，第三次旋转后的机器人工件坐标系的状态与摄影设备分别为X3OY3和c4，此时，该状态下的摄影设备c4可对同一特征点w第四次拍照，第四次旋转后的机器人工件坐标系的状态与摄影设备分别为X4OY4和c5，此时，该状态下的摄影设备c5可对同一特征点w第五次拍照，如此依次进行，摄像设备的旋转轨迹在虚线圆G上。
可选的是，已知机器人工件坐标系中坐标的同一特征点中该同一特征点的坐标可通过全站仪等通过测角和测距的方式获得。
可选的是，摄影设备旋转的轨迹为一圆弧或摄影设备拍摄时的多个位置可位于一圆弧上。
可选的是，预设的高度和姿态可为相同的高度和姿态，即每次拍摄时摄影设备的相对于一固定坐标系(例如机器人工件坐标系)的高度和和摄影设备本身相对于一固定坐标系(例如机器人工件坐标系)的姿态保持不变。
可选的是，拍照的次数至少为三次可保证后续确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点，原因在于：一般情况想要确定一个圆，一个可选的方式是必须知道该圆上的三点，理论上而言，拍照次数越多越好，如此可增加多余观测量，降低误差，使得后续的结果更加精准。
S1012，记录摄影设备对同一特征点进行拍照时对应的基于机器人工件坐标系的拍照位置的坐标。
可选的是，步骤S1012可为摄影设备每旋转一次，就可对同一特征点进行拍照，同时获取当前摄影设备在机器人工件坐标系下的坐标并记录。
可选的是，多次记录的摄影设备的拍照位置的坐标除有预设范围的误差外(例如测量极限误差)，实际上是相同的。例如，如图2中所示，摄像设备c1在X0OY0中所处的位置与旋转后摄影设备c2在X1OY1中所处的位置、与旋转后摄影设备c3在X2OY2中所处的位置、与旋转后摄影设备c4在X3OY3中所处的位置、与旋转后摄影设备c5在X4OY4中所处的位置是相同的，记录的坐标也是相同的。
S1013，根据记录的拍照位置的坐标和同一特征点在对应的机器人工件坐标系中坐标，确定视觉系统中与同一特征点对应的像素点。
可选的是，根据如上的方式可在视觉系统中得到至少三个在同一圆弧上的三点，该三点分别与至少三次拍摄时同一特征点的相对应，原因在于：在机器人工件坐标系进行旋转的情况下，同一固定特征点事实上在每次旋转后的机器人工件坐标系中的位置是变化的，所以每次同一固定特征点会对应一个在视觉系统中的像素点。具体原因后续通过具体公式进行说明。
S1014，根据视觉系统中与同一特征点对应的像素点，拟合出机器人工件坐标系的坐标原点在视觉系统中对应的像素点。
可选的是，根据至少三个在视觉系统中与同一特征点对应的像素点，拟合出机器人工件坐标系的坐标原点在视觉系统中对应的像素点。
可选的是，拟合出机器人工件坐标系的坐标原点在视觉系统中对应的像素点的方法具体可为：通过三点定圆的方法最终确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点。
可选的是，对于有多于三个与同一特征点对应的像素点，可选取其中三个确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点，也可利用最小二乘的方法进行平差后确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点，如此，可使得最终确定的机器人工件坐标系的坐标原点在视觉系统中对应的像素点更加精准，最终提高标定精度和对机器人的控制定位精度。
S102，控制摄影设备以预设的方式进行移动，并在移动过程中以相同的高度和姿态对已知机器人工件坐标系中坐标的一特征点进行拍摄，记录拍摄一特征点时对应的基于机器人工件坐标系的摄影设备的拍摄位置的坐标。
可选的是，一特征点可与步骤S1011中同一特征点相同。
可选的是，高度和姿态可指摄影设备在每次进行拍摄时的高度和姿态，即每次拍摄时摄影设备的相对于一固定坐标系(例如机器人工件坐标系)的高度和和摄影设备本身相对于一固定坐标系(例如机器人工件坐标系)的姿态保持不变。
可选的是，本实施例中，步骤S102可包括：步骤S1021和步骤S1022。
S1021，在固定的机器人工件坐标系下，控制摄影设备按行列方向进行移动，并在移动过程中以相同的高度和姿态对已知机器人工件坐标系中坐标的一特征点进行预设次数的拍摄。
可选的是，固定的机器人工件坐标系可指机器人工件坐标系是固定的，不进行移动和旋转。
可选的是，固定的机器人工件坐标系可为步骤S1011中机器人工件坐标系发生第一次旋转之前的状态，例如旋转回到图2中原来X0OY0的状态。
可选的是，控制摄影设备按行列方向进行移动可指摄影设备拍摄的位置是处在相互垂直的多行和多列的交叉的位置，并不一定指摄影设备移动的轨迹符合严格意义上的互相垂直的行和列。
S1022，记录拍摄一特征点时对应的基于机器人工件坐标系的摄影设备的拍摄位置的坐标，拍摄位置的坐标符合集合I，I＝{(x1,y1),(x2,y1),(x3,y1),…,(xm,y1),…,(xn,y1),(x1,y2),(x2,y2),(x3,y2),…,(xm,y2),…,(xn,y2),(x1,y3),(x2,y3),(x3,y3),…,(xm,y3),…,(xn,y3),…,(x1,ym),(x2,ym),(x3,ym),…,(xm,ym),…,(xn,ym),…,(x1,yn'),(x2,yn'),(x3,yn'),…,(xm,yn'),…,(xn,yn')}，其中，m≤n，m≤n'且m、n和n'为正整数。
例如，参阅图3，图3示出了本发明第一实施例的可选步骤中摄影设备按行列方向进行移动并以相同的高度和姿态对一特征点进行拍摄的平面示意图，图3中为了便于说明，未示出竖轴，竖轴可为垂直于纸面或屏幕，固定的机器人工件坐标系XOY，一特征点w'，起初摄影设备在固定的机器人工件坐标系XOY中为C1，此时，以一定的高度和姿态对一特征点w'拍摄，记录的摄影设备的拍摄位置的坐标为(x1,y1)，按行移动，摄影设备在固定的机器人工件坐标系XOY中为C2时，再以前述一定的高度和姿态对一特征点w'拍摄，记录的摄影设备的拍摄位置的坐标为(x2,y1)，再按行移动，摄影设备在固定的机器人工件坐标系XOY中为C3时，再以前述一定的高度和姿态对一特征点w'拍摄，记录的摄影设备的拍摄位置的坐标为(x3,y1)，按列移动，摄影设备在固定的机器人工件坐标系XOY中为C4时，再以前述一定的高度和姿态对一特征点w'拍摄，记录的摄影设备的拍摄位置的坐标为(x1,y2)，如此摄影设备在固定的机器人工件坐标系XOY中为依次为C5、C6、C7、C8、C9时，以前述一定的高度和姿态对一特征点w'拍摄，记录的摄影设备的拍摄位置的坐标为依次为(x2,y2)、(x3,y2)、(x3,y3)、(x2,y3)、(x1,y3)。
需要说明的是，摄影设备的拍摄位置坐标可为摄影设备上任一点的坐标，例如摄影设备的中心点在固定的机器人工件坐标系XOY中坐标，因为摄影设备是以相同的高度和姿态对已知机器人工件坐标系中坐标的一特征点进行拍摄，故前述举例给出的只是平面坐标，事实上，可为三维空间坐标，只是所有摄影设备的拍摄位置的三维空间坐标的竖轴分量均相等。
可选的是，n和n'可相同，也可不同。
S103，根据像素点确定被拍摄的一特征点在视觉系统中对应的点的像素坐标。
需要说明的是，根据像素点确定被拍摄的一特征点在视觉系统中对应的点的像素坐标的步骤为本领域技术人员所知的，可通过摄影设备物理底层确定，例如，摄像机或相机的CCD(Charge-coupled Device，电荷耦合元件)器件的物理底层确定。
S104，根据一特征点在机器人工件坐标系中的坐标、基于机器人工件坐标系的摄影设备的拍摄位置的坐标和像素坐标，计算出摄影设备的内方位参数。
可选的是，一特征点在机器人工件坐标系中的坐标与像素坐标是对应的，且二者是不变的。
可选的是，基于机器人工件坐标系的摄影设备的拍摄位置的坐标是变化的，例如图3中起初摄影设备在固定的机器人工件坐标系XOY中为C1，摄影设备在固定的机器人工件坐标系XOY中的坐标为(x1,y1)，按行移动后，摄影设备在固定的机器人工件坐标系XOY中为C2时，摄影设备在固定的机器人工件坐标系XOY中的坐标为(x2,y1)。
可选的是，本实施例中，步骤S104可包括：步骤S1041和步骤S1042。
S1041，建立视觉系统中像素坐标系与机器人工件坐标系的映射模型，映射模型中包含摄影设备的内方位参数。
可选的是，可通过过渡坐标系建立视觉系统中像素坐标系与机器人工件坐标系的映射模型。
可选的是，过渡坐标系可为摄影设备坐标系和/或成像平面坐标系。
可选的是，本申请中机器人工件坐标系可理解为世界坐标系。
可选的是，建立视觉系统中像素坐标系与机器人工件坐标系的映射模型的可为机器人工件坐标系(世界坐标系，即空间物理坐标系)通过旋转和平移变换到摄影设备坐标系，摄影设备坐标系通过几何变换到成像平面坐标系(即图像物理坐标系)，图像物理坐标系再通过像素和公制单位的比率得到像素坐标系(即图像像素坐标系)。
例如，参阅图4，图4示出了本发明第一实施例中通过摄影设备坐标系和成像平面坐标系建立机器人工件坐标系下空间点Pw与视觉系统的像素坐标系下相应像素点P'之间的关系的示意图，机器人的工件坐标系OXYZ(可理解为世界坐标系)下的空间点Pw坐标为Pw＝Pw(xw,yw,zw)，机器人工件坐标系OXYZ中空间点Pw在摄影设备坐标系OX'Y'Z'中对应点Pc的坐标为Pc＝Pc(xc,yc,zc)，摄影设备坐标系OX'Y'Z'中点Pc投影到成像平面坐标系xoy后的对应点P的坐标为P(u,v)，图4中将摄影设备的成像模型简化为线性针孔模型，摄影设备的焦距为f，为了便于立体观察及理解摄影设备坐标系OX'Y'Z'和成像平面坐标系xoy之间的关系，图4中示出了摄影设备坐标系OX'Y'Z'中由点Pc和对顶点O'决定的与各坐标轴平面无限紧贴的立方体。成像平面坐标系xoy中点P变换到像素坐标系x'o'y'后的相应像素点P'的坐标为P'(c,r)。
由于机器人工件坐标系OXYZ和摄影设备坐标系OX'Y'Z'原点不同，而且各对应坐标轴(例如，机器人工件坐标系X轴和摄影设备坐标系X'轴)的指向不同，因此，机器人工件坐标系OXYZ中空间点Pw可经过旋转和平移变换到摄影设备坐标系OX'Y'Z'中对应点Pc，摄影设备坐标系OX'Y'Z'与机器人工件坐标系OXYZ的关系可为公式1：
Pc＝R(α,β,γ)Pw+M (公式1)
其中，将机器人工件坐标系OXYZ旋转到与摄影设备坐标系OX'Y'Z'各坐标轴方向相同(即机器人工件坐标系OXYZ的X轴与摄影设备坐标系OX'Y'Z'的X'轴指向相同，机器人工件坐标系OXYZ的Y轴与摄影设备坐标系OX'Y'Z'的Y'轴指向相同，机器人工件坐标系OXYZ的Z轴与摄影设备坐标系OX'Y'Z'的Z'轴指向相同)时绕X轴旋转角度为α，绕Y轴旋转角度为β，绕Z旋转角度为γ，旋转矩阵为R＝R(α,β,γ)，R(α,β,γ)＝RX(α)RY(β)RZ(γ)，绕X轴旋转α角的旋转矩阵绕Y轴旋转β角的旋转矩阵绕Z旋转γ角的旋转矩阵机器人工件坐标系OXYZ的原点O指向摄影设备坐标系OX'Y'Z'的原点O'的平移向量为M＝(mx,my,mz)T。
参阅图5，图5示出了本发明第一实施例中成像平面坐标系中点P和摄影设备坐标系中相应点Pc之间的关系的示意图，图5相当于将图4中的摄影设备坐标系OX'Y'Z'和成像平面坐标系xoy之间的关系分离出来，并进一步进行直观化表达，仔细观察图5，根据三角形相似性可知，图5中摄影设备坐标系中点Pc与成像平面坐标系xoy中对应点P之间存在公式2表示的关系：
其中，摄影设备的焦距或主距为f，空间点Pw在摄影设备坐标系下对应点Pc的坐标为(xc,yc,zc)。对于非线性针孔模型而言，与线性针孔模型类似，本领域技术人员可将非线性模型用于本申请中建立成像平面坐标系xoy和摄影设备坐标系OX'Y'Z'的关系，不再赘述，图5中未描述的字母标号及其含义可与图4对应的字母及其含义相同，不再赘述。
参阅图4，图4中成像平面坐标系中点P(u,v)与像素坐标系中点P'之间存在公式3表示的关系：
其中，机器人工件坐标系OXYZ中空间点Pw对应的像素坐标系中点P'的坐标为(c,r)。由于相机制造装配工艺等的原因，像主点通常不在视觉传感器的中心，简单而言，即感光芯片中心不在光轴上，由此引入参数(ax,ay)，表示像主点(即摄影设备主光轴在影像面上的垂足)相对于影像中心位置的像素坐标，该两参数的单位是像素(pixel)。在成像平面坐标系x轴方向参数为ax，在成像平面坐标系y轴方向参数为ay。为将空间距离值u和v转化成像素引入参数sx，sy，分别表示每个像素在像素坐标系x'o'y'的横轴(即x'轴)和纵轴(即y'轴)方向的物理尺寸。图4示出的u、v、c、r、ax、ay、sx、sy等与前述公式中的物理意义相同。图4中i指示的虚线表示像素分割线。
尽管成像平面位于摄影设备镜头投影中心(像方节点)的后端，但为了便于计算及使得像素坐标系符合一般情况下图像采用的坐标系的规定，即行坐标向下递增，列坐标向右递增，可假设成像平面在像方节点前端f处，参阅图6，图6示出了本发明第一实施例中将原来像素坐标系转换为符合规定的像素坐标系x'o'y'的过程，图6中字母含义的描述可与图中4或图5中相应的字母相同，不再赘述。
通过前述公式1、2和3即可建立像素坐标系x'o'y'中点P'与机器人工件坐标系OXYZ中点空间点Pw的关系。
可选的是，摄影设备的内方位参数(即内方位元素)是确定摄影机的镜头中心(镜头的像方节点)相对于影像位置关系的参数。包含3个参数：像主点(主光轴在影像面上的垂足)相对于影像中心的位置以及镜头中心到影像面的垂距(即主距)，一般可为固定的参数。
可选的是，本实施例中摄影设备的内方位参数可为前面对图4描述中提到的ax、ay和f。
可选的是，本实施例中，步骤S1041可包括：步骤S10411、步骤S10412和S10413。
S10411，分别建立成像平面坐标系与所述摄影设备坐标系的第二映射关系，和所述像素坐标系与所述成像平面坐标系的第三映射关系。
可选的是，建立成像平面坐标系与所述摄影设备坐标系的第二映射关系和所述像素坐标系与所述成像平面坐标系的第三映射关系不分先后次序。
可选的是，第二映射关系可为公式2表示的关系。
可选的是，第三映射关系可为公式3表示的关系。
S10412，分别执行：将第二映射关系代入第三映射关系中，得到第五映射关系，和建立摄影设备坐标系与机器人工件坐标系的第一映射关系，第五映射关系关于像素坐标系和摄影设备坐标系，第五映射关系为：其中，c和r分别表示一特征点对应的像素坐标系下点的像素横坐标和像素纵坐标，表示像素坐标的齐次坐标，f表示摄影设备焦距，sx和sy分别表示每个像素在像素坐标系的横轴和纵轴方向的物理尺寸，ax和ay分别表示摄影设备主光轴和摄影设备成像平面的交点相对于在成像平面上所成影像的中心点位置的像素坐标，xc，yc和zc分别表示一特征点对应的摄影设备坐标系下的点的横坐标、纵坐标和竖坐标。
可选的是，将第二映射关系代入第三映射关系中，得到第五映射关系和建立摄影设备坐标系与机器人工件坐标系的第一映射关系不分先后次序。
可选的是，
其中，c和r分别表示一特征点对应的像素坐标系下点的像素横坐标和像素纵坐标，所述表示像素坐标的齐次坐标，f表示摄影设备焦距，sx和sy分别表示每个像素在像素坐标系的横轴和纵轴方向的物理尺寸，ax和ay分别表示摄影设备主光轴和摄影设备成像平面的交点相对于在成像平面上所成影像的中心点位置的像素坐标，xc，yc和zc分别表示一特征点对应的摄影设备坐标系下的点的横坐标、纵坐标和竖坐标。
可选的是，第一映射关系可为公式1表示的关系。
S10413，将第一映射关系代入第五映射关系中，得到映射模型。
可选的是，采用表征摄影设备坐标系和世界坐标系之间的角度旋转和位置平移这两方面的信息的3行4列的矩阵系数W＝(RM)对第一映射关系进行重新表达，即Pc＝Pc(xc,yc,zc)和Pw＝Pw(xw,yw,zw)之间的第一映射关系为：
其中，
(xw yw zw 1)T为(xw yw zw)T的齐次坐标，旋转矩阵R(α,β,γ)和平移向量M中的六个参数α，β，γ，mx，my，mz可称为摄影设备外方位参数(即外方位元素)，该六个外方位参数决定了摄影设备坐标系与世界坐标系的相对位置关系。
可选的是，映射模型可为：
可选的是，本实施例中，步骤S1041可包括：步骤S10414、步骤S10415和S10416。
S10414，分别建立摄影设备坐标系与机器人工件坐标系的第一映射关系，成像平面坐标系与摄影设备坐标系的第二映射关系。
可选的是，建立摄影设备坐标系与机器人工件坐标系的第一映射关系，和成像平面坐标系与摄影设备坐标系的第二映射关系可不分先后次序。
可选的是，第一映射关系可为公式1表示的关系。
可选的是，第二映射关系可为公式2表示的关系。
S10415，分别执行：将所述第一映射关系代入所述第二映射关系中，得到第四映射关系和建立所述像素坐标系与所述成像平面坐标系的第三映射关系，所述第四映射关系关于所述成像平面坐标系和所述机器人工件坐标系。
可选的是，将所述第一映射关系代入所述第二映射关系中，得到第四映射关系和建立所述像素坐标系与所述成像平面坐标系的第三映射关系可不分先后次序。
可选的是第四映射关系可为：
其中，zc＝(cosαsinβcosγ+sinαsinγ)·xw+(cosαsinβsinγ-sinαcosγ)·yw+cosαcosβ·zw+mz。
可选的是，第三映射关系可为公式3表示的关系。
S10416，将第四映射关系代入第三映射关系中，得到映射模型。
可选的是，映射模型可为：
其中，c和r分别表示一特征点对应的像素坐标系下点的像素横坐标和像素纵坐标，所述表示像素坐标的齐次坐标，f表示摄影设备焦距，sx和sy分别表示每个像素在像素坐标系的横轴和纵轴方向的物理尺寸，ax和ay分别表示摄影设备主光轴和摄影设备成像平面的交点相对于在成像平面上所成影像的中心点位置的像素坐标，xc，yc和zc分别表示一特征点对应的摄影设备坐标系下的点的横坐标、纵坐标和竖坐标，其它字母可与前述描述相同，将第四映射关系代入第三映射关系中，得到映射模型可变换成该与形式，原因在于：该步骤S10414、步骤S10415和S10416中得到的映射模型本质上与步骤S10411、步骤S10412和S10413中得到的映射模型可相同。
S1042，将一特征点在机器人工件坐标系中的坐标、基于机器人工件坐标系的摄影设备的拍摄位置的坐标和像素坐标代入映射模型中，计算出摄影设备的内方位参数。
可选的是，摄影设备的内方位参数可为前述提到的fx、fy、ax和ay。
可选的是，本实施例中，在步骤S1042之前可包括：步骤S1043、和/或步骤S1045。
S1043，执行：根据摄影设备坐标系与机器人工件坐标系的空间关系，和根据一特征点与机器人工件坐标系的空间关系，对第一映射关系进行简化，简化后的第一映射关系为：xc，yc和zc分别表示一特征点对应的摄影设备坐标系下的点的横坐标、纵坐标和竖坐标，γ表示摄影设备坐标系的竖轴指向与机器人工件坐标系的竖轴指向之间的角度差，mx、my和mz分别表示摄影设备坐标系的原点与机器人工件坐标系的原点在横轴、纵轴和竖轴的差值，xw和yw表示一特征点在机器人工件坐标系下的横坐标和纵坐标。
可选的是，摄影设备坐标系与机器人工件坐标系的空间关系可为：本实施例中摄影设备的主光轴垂直于机器人工件坐标系OXYZ的XOY平面，因此角度的旋转实际上也只存在于Z轴，即α＝0，β＝0。
可选的是，一特征点与机器人工件坐标系的空间关系可为一特征点位于机器人工件坐标系OXYZ的XOY平面上，即zw＝0。
可选的是，第一映射关系的简化过程为：
S1045，根据摄影设备坐标系与机器人工件坐标系的空间关系，和一特征点与机器人工件坐标系的空间关系，对第五映射关系或映射模型进行简化，简化后的所述第五映射关系为：mz表示摄影设备坐标系的原点与机器人工件坐标系的原点竖轴的差值。
可选的是，摄影设备坐标系与机器人工件坐标系的空间关系可为：本实施例中摄影设备的主光轴垂直于机器人工件坐标系OXYZ的XOY平面，因此角度的旋转实际上也只存在于Z轴，即α＝0，β＝0。
可选的是，一特征点与机器人工件坐标系的空间关系可为一特征点位于机器人工件坐标系OXYZ的XOY平面上，即zw＝0。
可选的是，根据α＝0，β＝0和zw＝0可知，zc＝mz，原因在于：摄影设备坐标系OX'Y'Z'与机器人工件坐标系OXYZ横轴和纵轴指向相同，竖轴指向相反，显然位于机器人工件坐标系OXYZ的XOY平面上的一特征点在摄影设备坐标系OX'Y'Z'下的竖坐标是与机器人工件坐标系OXYZ的原点移动到摄影设备坐标系OX'Y'Z'时的竖轴分量mz是相同的。
可选的是，简化后的映射模型为：
可选的是，物理意义为机器人工件坐标系OXYZ的XOY平面上的一点Pw(xw,yw,0)与像素坐标系x'o'y'的对应点P'(c,r)的映射模型。
可选的是，利用简化后的映射模型计算摄影设备的内方位参数，摄影设备是以相同的高度和姿态对已知机器人工件坐标系中坐标的一特征点进行拍摄，故mz和γ是固定不变的且可通过测量得到，mx和my是变化的且已经记录，xw和yw是已知的，c和r是通过机器人工件坐标系的坐标原点在视觉系统中对应的像素点(即像素坐标系原点)已经确定的，因此简化后的映射模型中只有fx、fy、ax和ay为未知量，在方程数量足够的情况下(例如拍摄九次，九个矩阵方程)，即可求解出摄影设备的内方位参数，并且可利用最小二乘法求解出误差最小的内方位参数的解。
可选的是，简化映射模型的过程可为：
承前关于步骤S1013的说明，从公式的角度对比步骤S1013进行解释说明，从对步骤S1012的说明中可知，记录的拍照位置的坐标本质上是相同的，因此每次拍照mx、my不变，而且摄影设备是以预设的高度和姿态进行拍照，因而γ、mz不变，摄影设备的内方位参数fx、fy、ax和ay也是固定的。而每次拍照时，机器人工件坐标系是旋转的，因此至少三次对固定的同一特征点进行拍照时，同一特征点的xw和yw是变化的，且该至少三次的xw和yw决定的三点位于同一圆弧上，公式相当于其中K为固定不变的量，因此，至少三次确定的视觉系统中与同一特征点对应的像素点也会在某个特定圆上，因此可利用关于步骤S1014中说明，即通过三点定圆的方法最终确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点。
因此，本发明通过确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点，从而得到像素坐标系的原点，并通过计算摄影设备的内方位参数，将像素坐标系和机器人工件坐标系二者之间的方位和比例关联在一起，由这两方面建立像素坐标系与机器人工件坐标系的联系，如此可推出摄影设备在保持与标定时相同的高度和姿态进行移动并拍摄时，视觉系统可根据摄影设备的拍摄位置实时为机器人提供定位。
可选的是，本实施例中，视觉系统对机器人的标定方法可进一步包括：步骤S105。
S105，根据像素坐标系中的待追踪点的坐标、映射模型、内方位参数和摄影设备位置在保持相同的高度和姿态下的变化量，输出待追踪点对应的机器人工件坐标系中的坐标，对机器人进行控制。
可选的是，给定待追踪点的坐标c和r，映射模型内方位参数fx、fy、ax和ay，以及摄影设备位置在保持相同的高度和姿态下的变化量相当于c和r已知，fx、fy、ax和ay已知，mz和γ是固定不变且可与之前求解fx、fy、ax和ay时候相同，可通过测量得到，mx和my变化之前的值和变化量已知，求解并输出待追踪点对应的机器人工件坐标系中的坐标xw和yw，对机器人进行控制。
可选的是，对机器人进行控制可为对机器人进行引导或定位，具体可为控制机器人抓取机器人工件坐标系OXYZ的XOY平面上的待追踪点坐标为xw和yw的某个工件，或将某工件安装或放置于机器人工件坐标系OXYZ的XOY平面上待追踪点坐标为xw和yw的位置。
可选的是，本实施例中，步骤S105可包括：步骤S1051和步骤S1052。
S1051，根据摄影设备位置在保持相同的高度和姿态下的变化量，计算出当前摄影设备在机器人工件坐标系下的坐标。
可选的是，通过mx和my的变化量与变化之前的mx和my分别进行加减运算，即可计算出当前摄影设备在机器人工件坐标系下的坐标，即变化后的mx和my。
S1052，根据像素坐标系中的待追踪点的坐标、映射模型、内方位参数和当前摄影设备在机器人工件坐标系下的坐标，输出待追踪点对应的机器人工件坐标系中的坐标，对机器人进行控制。
可选的是，将变化后的mx和my，和给定的待追踪点的坐标，已经求解出的内方位参数代入映射模型，即可求解出待追踪点对应的机器人工件坐标系中的坐标xw和yw，输出坐标xw和yw，即可对机器人进行控制。
包括步骤S101、S102、S103和S104的本实施例通过确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点，从而得到像素坐标系的原点，并通过计算摄影设备的内方位参数，将像素坐标系和机器人工件坐标系二者之间的方位和比例关联在一起，由这两方面建立像素坐标系与机器人工件坐标系的联系，如此可推出摄影设备在保持与标定时相同的高度和姿态进行移动并拍摄时，视觉系统可根据摄影设备的拍摄位置实时为机器人提供定位，如此，即使是被拍摄特征超出视野，只要平移摄影设备的拍摄位置，视觉系统都可以准确地给出偏移值而无需重新标定。另一方面，刻度校准法、九点标定法一般标定误差大，精确度低，而且在拆除标定针之后，后期若需要重新标定，整个标定过程又必须重新进行一次。而本申请中提供的技术方案当外部标定对象(例如标定针)拆除后，标定过程仍可以重复进行，如此可减少重复标定的工作量，提高机器人作业效率，另一角度而言，因为是以机器人工件坐标系的坐标原点在视觉系统中对应的像素点为基准，消除了对外部标定对象(例如标定针)的依赖，因而，标定的精度也提高了。
本发明第二实施例提供一种智能系统，所述智能系统包括视觉系统、机器人系统，所述视觉系统和所述机器人系统耦接，所述机器人系统包括机器人和摄影设备，所述机器人与所述摄影设备连接，所述视觉系统和/或所述机器人系统包括处理器和存储器，所述存储器耦合所述处理器，且存储有指令，所述处理器执行所述指令时实现第一实施例中任意一项所述方法的步骤。
参阅图7，图7示出了本发明第二实施例提供的一种智能系统200的结构，智能系统200包括视觉系统21、机器人系统22，视觉系统21和机器人系统22耦接，机器人系统22包括机器人221和摄影设备222，机器人221与摄影设备222连接，视觉系统21包括处理器211和存储器212，存储器212耦合处理器211，且存储有指令，处理器211执行指令时实现第一实施例中任意一项方法的步骤。
可选的是，视觉系统21可为便于自动化操控的可视化后台系统，例如可对机器人进行操控的操控室等。
可选的是，机器人系统22可为作业端系统，负责实际的自动化生产、安装等的操作。
可选的是，视觉系统21和机器人系统22耦接可为利用了电磁波特性通过有线或无线的直接或间接连接。
可选的是，机器人221与摄影设备222连接可为摄影设备222安装在机器人221的法兰盘上，也可为摄影设备222安装在于与机器人221(例如法兰盘)连接的抓手上，也可为摄影设备222安装于与机器人221(例如法兰盘)连接的抓手所抓取的工件上。
可选的是，处理器211可以是CPU。也可以是一种集成电路芯片，具有计算(包括判断)和控制能力，处理器211还可以是通用处理器、专用集成电路、现成可编程门阵列或其它可编程逻辑器件等，在此不作具体限定。
可选的是，处理器211可用于执行第一实施例中的所有动作步骤，例如控制、计算等的步骤。
可选的是，存储器212，可为视觉系统21的内存、缓存，也可为视觉系统21的外部存储器。
可选的是，存储器212可用于存储第一实施例中的所有步骤的执行需要的数据、判断条件、程序或指令等。
可选的是，存储器212存储的指令在被处理器211执行时实现第一实施例中任意一项所述方法的步骤。
可选的是，智能系统200的硬件之间通过通信电路耦接，可相互之间直接或间接地传递指令，驱动其它硬件进行工作。
参阅图8，图8示出了本发明第二实施例提供的一种智能系统300，智能系统300包括视觉系统21、机器人系统22，视觉系统21和机器人系统22耦接，机器人系统22包括机器人221和摄影设备222，机器人221与摄影设备222连接，机器人221包括处理器2211和存储器2212，存储器2212耦合处理器2211，且存储有指令，处理器2211执行指令时实现第一实施例中任意一项方法的步骤。
参阅图9，图9示出了本发明第二实施例提供的一种智能系统400，智能系统400包括视觉系统21、机器人系统22，视觉系统21和机器人系统22耦接，机器人系统22包括机器人221和摄影设备222，机器人221与摄影设备222连接，视觉系统21包括处理器211和存储器212，机器人221包括处理器2211和存储器2212，存储器212耦合处理器211，且存储有指令，存储器2212耦合处理器2211，且存储有指令，处理器211和/或处理器2211执行指令时实现第一实施例中任意一项方法的步骤。
本领域技术人员可结合图7及其说明对关于图8和图9进行适应性描述，例如处理器2211可用于执行第一实施例中的所有动作步骤，例如控制、计算等的步骤，在此不再赘述。
前述第一实施例中对相应名词、句子含义的解释均可用于本实施例，在此不再赘述。
本发明第三实施例提供一种具有存储功能的装置，所述装置上存储有指令，所述指令被处理器执行时实现第一实施例中任意一项所述方法的步骤。
参阅图10，图10示出了本发明第三实施例提供的一种具有存储功能的装置500的示意结构，为了便于说明，图10仅示出了与本发明实施例相关的部分，图10示例的具有存储功能的装置500上存储有指令501，指令501被处理器执行时实现第一实施例中任意一项所述方法的步骤。
可选的是，具有存储功能的装置500可指存储数据的载体，例如软盘、光盘、DVD、基因硬盘(例如DNA硬盘)以及各种终端、服务器和芯片及用于其中的存储介质等，在此不作具体限定。
前述第一和第二实施例中对相应名词、句子含义的解释均可用于本实施例，在此不再赘述。
需要说明的是，前述第二和第三实施例的内容，由于与本发明第一实施例基于同一构思，其带来的技术效果与本发明第一实施例相同，具体内容可参见本发明第一实施例中的叙述。
需要说明的是，本发明所有实施例中涉及“第一”、“第二”等词，例如预设的第一值班终端、第二值班终端等在此为表述和指代的方便。
以上所述仅为结合具体的实施例对本发明原理及实施方式所作的进一步较详细说明，不能认定本发明的具体实施只局限于这些说明，只是用于帮助理解本发明的方法及其核心思想；同时，对于本发明所属技术领域的普通技术人员而言，在不脱离本发明构思的前提下，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，都应当视为属于本发明的专利保护范围。

Claims (10)

1.一种视觉系统对机器人的标定方法，其特征在于，所述方法包括：
确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点；
控制摄影设备以预设的方式进行移动，并在移动过程中以相同的高度和姿态对已知机器人工件坐标系中坐标的一特征点进行拍摄，记录拍摄所述一特征点时对应的基于机器人工件坐标系的所述摄影设备的拍摄位置的坐标；
根据所述像素点确定所述被拍摄的所述一特征点在视觉系统中对应的点的像素坐标；
根据所述一特征点在机器人工件坐标系中的坐标、所述基于机器人工件坐标系的所述摄影设备的拍摄位置的坐标和所述像素坐标，计算出所述摄影设备的内方位参数。
2.如权利要求1所述的方法，其特征在于，所述确定机器人工件坐标系的坐标原点在视觉系统中对应的像素点的步骤包括：
控制摄影设备以相对于机器人工件坐标系的位置不变的预设的方式进行旋转，在所述旋转过程中以预设的高度和姿态对已知机器人工件坐标系中坐标的同一特征点进行拍照，所述拍照的次数至少为三次；
记录所述摄影设备对所述同一特征点进行拍照时对应的基于机器人工件坐标系的拍照位置的坐标；
根据记录的所述拍照位置的坐标和所述同一特征点在对应的机器人工件坐标系中坐标，确定视觉系统中与所述同一特征点对应的像素点；
根据所述视觉系统中与所述同一特征点对应的像素点，拟合出机器人工件坐标系的坐标原点在视觉系统中对应的像素点。
3.如权利要求1所述的方法，其特征在于，所述控制摄影设备以预设的方式进行移动，并在移动过程中以相同的高度和姿态对已知机器人工件坐标系中坐标的一特征点进行拍摄，记录拍摄所述一特征点时对应的基于机器人工件坐标系的所述摄影设备的拍摄位置的坐标的步骤包括:
在固定的所述机器人工件坐标系下，控制所述摄影设备按行列方向进行移动，并在移动过程中以相同的高度和姿态对已知机器人工件坐标系中坐标的一特征点进行预设次数的拍摄；
记录拍摄一特征点时对应的基于机器人工件坐标系的摄影设备的拍摄位置的坐标，拍摄位置的坐标符合集合I，I＝{(x1,y1),(x2,y1),(x3,y1),…,(xm,y1),…,(xn,y1),(x1,y2),(x2,y2),(x3,y2),…,(xm,y2),…,(xn,y2),(x1,y3),(x2,y3),(x3,y3),…,(xm,y3),…,(xn,y3),…,(x1,ym),(x2,ym),(x3,ym),…,(xm,ym),…,(xn,ym),…,(x1,yn'),(x2,yn'),(x3,yn'),…,(xm,yn'),…,(xn,yn')}，其中，m≤n，m≤n'且m、n和n'为正整数。
4.如权利要求1至3中任意一项所述的方法，其特征在于，所述根据所述一特征点在机器人工件坐标系中的坐标、所述基于机器人工件坐标系的所述摄影设备的拍摄位置的坐标和所述像素坐标，计算出所述摄影设备的内方位参数的步骤包括：
建立所述视觉系统中像素坐标系与所述机器人工件坐标系的映射模型，所述映射模型中包含所述摄影设备的内方位参数；
将所述一特征点在机器人工件坐标系中的坐标、所述基于机器人工件坐标系的所述摄影设备的拍摄位置的坐标和所述像素坐标代入所述映射模型中，计算出所述摄影设备的内方位参数。
5.如权利要求4所述的方法，其特征在于，所述建立所述视觉系统中像素坐标系与所述机器人工件坐标系的映射模型的步骤包括：
分别建立成像平面坐标系与所述摄影设备坐标系的第二映射关系，和所述像素坐标系与所述成像平面坐标系的第三映射关系；
分别执行：将所述第二映射关系代入所述第三映射关系中，得到第五映射关系，和建立所述摄影设备坐标系与所述机器人工件坐标系的第一映射关系，所述第五映射关系关于所述像素坐标系和所述摄影设备坐标系，所述第五映射关系为：其中， 所述c和所述r分别表示所述一特征点对应的所述像素坐标系下点的像素横坐标和像素纵坐标，所述表示所述像素坐标的齐次坐标，所述f表示所述摄影设备焦距，所述sx和所述sy分别表示每个像素在像素坐标系的横轴和纵轴方向的物理尺寸，所述ax和所述ay分别表示所述摄影设备主光轴和所述摄影设备成像平面的交点相对于在所述成像平面上所成影像的中心点位置的像素坐标，所述xc，所述yc和所述zc分别表示所述一特征点对应的所述摄影设备坐标系下的点的横坐标、纵坐标和竖坐标；
将所述第一映射关系代入所述第五映射关系中，得到所述映射模型；
或者，所述建立所述视觉系统中像素坐标系与所述机器人工件坐标系的映射模型的步骤包括：
分别建立所述摄影设备坐标系与所述机器人工件坐标系的第一映射关系，和成像平面坐标系与所述摄影设备坐标系的第二映射关系；
分别执行：将所述第一映射关系代入所述第二映射关系中，得到第四映射关系，和建立所述像素坐标系与所述成像平面坐标系的第三映射关系，所述第四映射关系关于所述成像平面坐标系和所述机器人工件坐标系；
将所述第四映射关系代入所述第三映射关系中，得到所述映射模型。
6.如权利要求5中任意一项所述的方法，其特征在于，所述将所述一特征点在机器人工件坐标系中的坐标、所述基于机器人工件坐标系的所述摄影设备的拍摄位置的坐标和所述像素坐标代入所述映射模型中，计算出所述摄影设备的内方位参数的步骤之前包括：
执行：根据所述摄影设备坐标系与所述机器人工件坐标系的空间关系，和根据所述一特征点与所述机器人工件坐标系的空间关系，对所述第一映射关系进行简化，简化后的所述第一映射关系为：所述xc，所述yc和所述zc分别表示所述一特征点对应的所述摄影设备坐标系下的点的横坐标、纵坐标和竖坐标，所述γ表示所述摄影设备坐标系的竖轴指向与所述机器人工件坐标系的竖轴指向之间的角度差，所述mx、所述my和所述mz分别表示所述摄影设备坐标系的原点与所述机器人工件坐标系的原点在横轴、纵轴和竖轴的差值，所述xw和所述yw表示所述一特征点在所述机器人工件坐标系下的横坐标和纵坐标；
和/或，根据所述摄影设备坐标系与所述机器人工件坐标系的空间关系，和所述一特征点与所述机器人工件坐标系的空间关系，对所述第五映射关系或所述映射模型进行简化，简化后的所述第五映射关系为：所述mz表示所述摄影设备坐标系的原点与所述机器人工件坐标系的原点竖轴的差值。
7.如权利要求4中任意一项所述的方法，其特征在于，所述方法进一步包括：
根据像素坐标系中的待追踪点的坐标、所述映射模型、所述内方位参数和所述摄影设备位置在保持所述相同的高度和姿态下的变化量，输出所述待追踪点对应的机器人工件坐标系中的坐标，对机器人进行控制。
8.如权利要求7所述的方法，其特征在于，所述根据像素坐标系中的待追踪点的坐标、所述映射模型、所述内方位参数和所述摄影设备位置在保持所述相同的高度和姿态下的变化量，输出所述待追踪点对应的机器人工件坐标系中的坐标，对机器人进行控制的步骤包括：
根据所述摄影设备位置在保持所述相同的高度和姿态下的变化量，计算出当前所述摄影设备在所述机器人工件坐标系下的坐标；
根据像素坐标系中的待追踪点的坐标、所述映射模型、所述内方位参数和所述当前所述摄影设备在所述机器人工件坐标系下的坐标，输出所述待追踪点对应的机器人工件坐标系中的坐标，对机器人进行控制。
9.一种智能系统，其特征在于，所述智能系统包括视觉系统、机器人系统，所述视觉系统和所述机器人系统耦接，所述机器人系统包括机器人和摄影设备，所述机器人与所述摄影设备连接，所述视觉系统和/或所述机器人系统包括处理器和存储器，所述存储器耦合所述处理器，且存储有指令，所述处理器执行所述指令时实现权利要求1至8中任意一项所述方法的步骤。
10.一种具有存储功能的装置，其特征在于，所述装置上存储有指令，所述指令被处理器执行时实现权利要求1至8中任意一项所述方法的步骤。
CN201710665261.9A 2017-08-04 2017-08-04 视觉系统对机器人的标定方法、系统和具有存储功能装置 Pending CN109389642A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710665261.9A CN109389642A (zh) 2017-08-04 2017-08-04 视觉系统对机器人的标定方法、系统和具有存储功能装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710665261.9A CN109389642A (zh) 2017-08-04 2017-08-04 视觉系统对机器人的标定方法、系统和具有存储功能装置

Publications (1)

Publication Number Publication Date
CN109389642A true CN109389642A (zh) 2019-02-26

Family

ID=65413344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710665261.9A Pending CN109389642A (zh) 2017-08-04 2017-08-04 视觉系统对机器人的标定方法、系统和具有存储功能装置

Country Status (1)

Country Link
CN (1) CN109389642A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110176036A (zh) * 2019-05-28 2019-08-27 中南林业科技大学 一种移动车平面内定位的方法及系统
CN110514675A (zh) * 2019-08-29 2019-11-29 珠海格力电器股份有限公司 一种标签的智能检测方法及系统
CN110533731A (zh) * 2019-08-30 2019-12-03 无锡先导智能装备股份有限公司 相机解析度的标定方法及相机解析度的标定装置
CN110533727A (zh) * 2019-07-23 2019-12-03 南京航空航天大学 一种基于单个工业相机的机器人自定位方法
CN111791227A (zh) * 2019-12-31 2020-10-20 深圳市豪恩声学股份有限公司 机器人手眼标定方法、装置及机器人
CN114359266A (zh) * 2022-03-04 2022-04-15 成都创像科技有限公司 通过视觉检测设备检测被测零件的方法和视觉检测设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009210331A (ja) * 2008-03-03 2009-09-17 Toa Corp カメラキャリブレーション装置およびカメラキャリブレーション方法
CN101630409A (zh) * 2009-08-17 2010-01-20 北京航空航天大学 一种用于机器人制孔系统的手眼视觉标定方法
CN103440643A (zh) * 2013-08-07 2013-12-11 河南科技大学 一种单线阵摄像机标定方法
US20140094136A1 (en) * 2012-10-01 2014-04-03 Jung-Tang Huang Earth positioning system
CN103780837A (zh) * 2014-01-02 2014-05-07 中安消技术有限公司 一种运动检测和定位拍摄的方法及其装置
CN103854271A (zh) * 2012-11-28 2014-06-11 华中科技大学 一种平面摄像机标定方法
CN104613930A (zh) * 2015-01-04 2015-05-13 宇龙计算机通信科技(深圳)有限公司 一种测距的方法、装置及移动终端
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
CN106204560A (zh) * 2016-07-02 2016-12-07 上海大学 菌落挑选仪自动标定方法
CN106403828A (zh) * 2016-08-30 2017-02-15 成都唐源电气股份有限公司 一种基于棋盘格标定的单轨接触线残高测量方法及系统
CN106767706A (zh) * 2016-12-09 2017-05-31 中山大学 一种无人机勘查交通事故现场的航拍图像采集方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009210331A (ja) * 2008-03-03 2009-09-17 Toa Corp カメラキャリブレーション装置およびカメラキャリブレーション方法
CN101630409A (zh) * 2009-08-17 2010-01-20 北京航空航天大学 一种用于机器人制孔系统的手眼视觉标定方法
US20140094136A1 (en) * 2012-10-01 2014-04-03 Jung-Tang Huang Earth positioning system
CN103854271A (zh) * 2012-11-28 2014-06-11 华中科技大学 一种平面摄像机标定方法
CN103440643A (zh) * 2013-08-07 2013-12-11 河南科技大学 一种单线阵摄像机标定方法
CN103780837A (zh) * 2014-01-02 2014-05-07 中安消技术有限公司 一种运动检测和定位拍摄的方法及其装置
CN104613930A (zh) * 2015-01-04 2015-05-13 宇龙计算机通信科技(深圳)有限公司 一种测距的方法、装置及移动终端
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
CN106204560A (zh) * 2016-07-02 2016-12-07 上海大学 菌落挑选仪自动标定方法
CN106403828A (zh) * 2016-08-30 2017-02-15 成都唐源电气股份有限公司 一种基于棋盘格标定的单轨接触线残高测量方法及系统
CN106767706A (zh) * 2016-12-09 2017-05-31 中山大学 一种无人机勘查交通事故现场的航拍图像采集方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHULICHKOV, AI 等: "Stereoscopic ground-based determination of the cloud base height: theory of camera position calibration with account for lens distortion", 《PROCEEDINGS OF SPIE》 *
卢明腾等: "调制度测量轮廓术中高度映射与相机同时标定的方法", 《光学学报》 *
崔海华等: "一种单双目视觉结合的实时激光三维测量方法", 《光学与光电技术》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110176036A (zh) * 2019-05-28 2019-08-27 中南林业科技大学 一种移动车平面内定位的方法及系统
CN110176036B (zh) * 2019-05-28 2023-03-03 中南林业科技大学 一种移动车平面内定位的方法及系统
CN110533727A (zh) * 2019-07-23 2019-12-03 南京航空航天大学 一种基于单个工业相机的机器人自定位方法
CN110514675A (zh) * 2019-08-29 2019-11-29 珠海格力电器股份有限公司 一种标签的智能检测方法及系统
CN110533731A (zh) * 2019-08-30 2019-12-03 无锡先导智能装备股份有限公司 相机解析度的标定方法及相机解析度的标定装置
CN111791227A (zh) * 2019-12-31 2020-10-20 深圳市豪恩声学股份有限公司 机器人手眼标定方法、装置及机器人
CN114359266A (zh) * 2022-03-04 2022-04-15 成都创像科技有限公司 通过视觉检测设备检测被测零件的方法和视觉检测设备

Similar Documents

Publication Publication Date Title
CN109389642A (zh) 视觉系统对机器人的标定方法、系统和具有存储功能装置
JP6859442B2 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
TWI672206B (zh) 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
CN106426172B (zh) 一种工业机器人工具坐标系的标定方法与系统
KR101330373B1 (ko) 파노라마 카메라 시스템을 위한 파라미터 보정
CN110103219A (zh) 执行自动相机校准以进行机器人控制的方法和系统
WO2018076154A1 (zh) 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
CN109658460A (zh) 一种机械臂末端相机手眼标定方法和系统
CN110136208A (zh) 一种机器人视觉伺服系统的联合自动标定方法及装置
US20100259624A1 (en) Method and apparatus for calibrating video camera
CN108453701A (zh) 控制机器人的方法、示教机器人的方法和机器人系统
CN109807937B (zh) 一种基于自然场景的机器人手眼标定方法
JP2012253758A (ja) 車両視覚システムの較正方法および車両視覚システム
CN111390901A (zh) 机械臂自动标定方法以及标定装置
JP7185860B2 (ja) 多軸可動視覚システムのキャリブレーション方法
CN110465946B (zh) 一种像素坐标与机器人坐标关系标定方法
WO2018209592A1 (zh) 一种机器人的运动控制方法、机器人及控制器
CN113298886B (zh) 一种投影仪的标定方法
WO2021134219A1 (zh) 参数标定方法及装置
CN111476876B (zh) 一种三维影像渲染方法、装置、设备及可读存储介质
CN109887002A (zh) 图像特征点的匹配方法、装置、计算机设备和存储介质
CN113744340A (zh) 用轴向视点偏移的非中心相机模型校准相机并计算点投影
CN115797468B (zh) 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备
CN117173254A (zh) 一种相机标定方法、系统、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190226