CN116934866A - 一种机器人的摄像头标定方法 - Google Patents
一种机器人的摄像头标定方法 Download PDFInfo
- Publication number
- CN116934866A CN116934866A CN202310830473.3A CN202310830473A CN116934866A CN 116934866 A CN116934866 A CN 116934866A CN 202310830473 A CN202310830473 A CN 202310830473A CN 116934866 A CN116934866 A CN 116934866A
- Authority
- CN
- China
- Prior art keywords
- calibration
- robot
- camera
- point
- calibration plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
本发明公开了一种机器人的摄像头标定方法，本申请所述的机器人在进行摄像头的内外参标定时，先通过标定治具的标定板的图像对摄像头的内参进行优化，提高摄像头的准确率；然后再通过根据同一标定治具的标定板的图像获取的摄像头相对于每块标定板的位姿和预先获取的标定治具的标定板相对于标定治具的中心点的位姿，来标定摄像头的外参，使机器人可以通过同一标定治具在一次摄像头标定操作中，完成摄像头的内参和外参的标定，缩短标定摄像头的内参和外参的时间，提高机器人的量产效率，而且还不需要移动标定治具和机器人，实用性较高。
Description
技术领域
本发明涉及摄像头技术领域，具体涉及一种机器人的摄像头标定方法。
背景技术
在计算机视觉和图形学领域，对于安防监控、互动体感游戏、自动驾驶、环境3D建模等应用场景，都需要对摄像头进行外参标定，从而实现真实物理空间与摄像头视野的位置关系映射。例如对于机器人来说，摄像头是机器人获取外部信息的重要设备，机器人为了获得基于自身坐标系的外部信息的准确位置，就需要对摄像头进行内外参标定。目前，针对机器人的摄像头的内外参进行校准时，需要更换不同的标定治具来对摄像头内参和外参分开标定，降低了标定机器人的摄像头的外参和内参的速度。
发明内容
为解决上述问题，本发明提供了一种机器人的摄像头标定方法。本发明的具体技术方案如下：
一种机器人的摄像头标定方法，该方法包括以下步骤：S1：机器人通过摄像头获取标定治具的标定板的图像，然后从标定板的图像中识别出标定点；S2：机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来标定摄像头的内参和获取摄像头相对于每块标定板的位姿；S3：机器人通过标定治具的标定板相对于标定治具的中心点的位姿和摄像头相对于每块标定板的位姿，来标定摄像头的外参。
进一步地，步骤S1中，机器人通过摄像头获取具有若干个标定板的图像，包括以下步骤：机器人移动到由若干个标定板构成的标定治具中，然后使机器人的中心点与标定治具的中心点重合；机器人使摄像头竖直向上，然后通过摄像头获取具有标定治具所有标定板的图像。
进一步地，步骤S1中，机器人从标定板的图像中识别出标定点，包括以下步骤：机器人检测标定板的图像中四边形的黑色区域；机器人按顺时针方向连接检测到的四边形的黑色区域；机器人获取四边形的黑色区域的内四边形；机器人通过角点检测将内四边形的四个端点作为标定板的标定点；其中，所述标定板为棋盘格标定板，所述内四边形的四条边分别与四边形的黑色区域相连。
进一步地，步骤S2中，机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来标定摄像头的内参和获取摄像头相对于每块标定板的位姿，包括以下步骤：机器人获取标定点在标定板的物理坐标系上的物理坐标和图像中的标定点在图像上的像素坐标；机器人根据每块标定板相对于机器人中心点的初始位姿和摄像头的初始内参，将该标定板上的标定点投影到标定板的图像中得到标定板的标定点的投影坐标；机器人根据欧氏距离公式计算标定板的标定点的投影坐标和与该标定点相对应的图像中的标定点的像素坐标之间的欧氏距离；机器人根据获取的欧氏距离通过高斯牛顿法的迭代公式来对摄像头的内参进行优化，得到最佳的摄像头内参和摄像头相对于每块标定板的位姿。
进一步地，机器人在通过高斯牛顿法的迭代公式来对摄像头的内参进行优化时，在计算过程中获取到最小的欧氏距离时，将最小的欧氏距离对应的每块标定板与机器人中心点的位姿和摄像头的内参，作为最佳的摄像头内参和摄像头相对于每块标定板的位姿。
进一步地，机器人获取标定板相对于机器人中心点的初始位姿，包括以下步骤：机器人过标定板的左上角的角点做垂直于标定板的垂线；机器人将垂直于标定板的垂线与机器人的前进方向之间的夹角作为标定板与机器人的夹角；机器人获取机器人的中心点与标定板的左上角的角点之间的距离；机器人根据标定板与机器人的夹角和机器人的中心点与标定板的左上角的角点之间的距离，组合得到标定板相对于机器人中心点的初始位姿。
进一步地，机器人获取标定点在标定板的物理坐标系上的物理坐标，包括以下步骤：机器人以每块标定板的左上角的角点为原点，标定板连接左上角的角点的两条边分别为X轴和Y轴，构建物理坐标系；机器人根据标定点在标定板上的位置，获取标定点在物理坐标系上的坐标。
进一步地，步骤S3中，机器人通过标定治具的标定板相对于标定治具的中心点的位姿和摄像头相对于每块标定板的位姿，来标定摄像头的外参，包括以下步骤：机器人获取标定治具的标定板相对于标定治具的中心点的位姿的旋转矩阵；机器人获取摄像头相对于其中一块标定板的位姿的旋转矩阵；机器人对标定治具的标定板相对于标定治具的中心点的位姿的旋转矩阵和摄像头相对于其中一块标定板的位姿的旋转矩阵根据欧拉公式进行转换，得到摄像头的外参矩阵。
进一步地，机器人在进行摄像头标定前，先获取标定治具的标定板相对于标定治具的中心点的位姿，包括以下步骤：机器人使标定板在摄像头的拍摄范围内，然后移动到不同的预设位置来获取若干张标定板的图像，并获取移动时的IMU数据；机器人从获取的标定板的图像中识别出标定点，然后根据识别出的标定点，采用非线性优化算法计算出在不同的预设位置摄像头相对于标定板的位姿；机器人根据IMU数据和在不同的预设位置摄像头相对于标定板的位姿，采用非线性优化算法计算出摄像头相对于机器人的中心点的位姿；机器人移动到由若干个标定板构成的标定治具中，然后将当前机器人的中心点所处的位置设置为标定治具的中心点；机器人使摄像头竖直向上，然后通过摄像头获取具有标定治具所有标定板的图像，并从标定板的图像中识别出标定点；机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来获取摄像头相对于每块标定板的位姿；机器人根据摄像头相对于每块标定板的位姿和摄像头相对于机器人的中心点的位姿，采用矩阵变换的方式获取标定治具的标定板相对于标定治具的中心点的位姿。
与现有的技术相比，本申请的有益之处在于：本申请所述的机器人在进行摄像头的内外参标定时，先通过标定治具的标定板的图像对摄像头的内参进行优化，提高摄像头的准确率；然后再通过根据同一标定治具的标定板的图像获取的摄像头相对于每块标定板的位姿和预先获取的标定治具的标定板相对于标定治具的中心点的位姿，来标定摄像头的外参，使机器人可以通过同一标定治具在一次摄像头标定操作中，完成摄像头的内参和外参的标定，缩短标定摄像头的内参和外参的时间，提高机器人的量产效率，而且还不需要移动标定治具和机器人，实用性较高。
附图说明
图1为本发明一种实施例中机器人的摄像头标定方法的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述的实施例示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
下面结合说明书的附图，通过对本发明的具体实施方式作进一步的描述，使本发明的技术方案及其有益效果更加清楚、明确。下面通过参考附图描述实施例是示例性的，旨在解释本发明，而不能理解为对本发明的限制。
如图1所示，一种机器人的摄像头标定方法，该方法包括以下步骤：
S1：机器人通过摄像头获取标定治具的标定板的图像，然后从标定板的图像中识别出标定点。标定治具由若干块标定板构成，标定板的数量和尺寸根据机器人的需求来调整，不对标定板的数量和尺寸进行限定。标定板可以是棋盘格标定板、ArUco标定板(ArUco是一个根据预设黑白markers(二维码)来估计相机位姿的开源库)或ChArUco标定板(ChArUco标定板由棋盘格标定板和ArUco标定板组合得到)等，根据标定板的类型，标定点可以是角点、圆点或Charuco角等等。机器人可以通过角点检测算法从标定板的图像中识别出标定点。S2：机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来标定摄像头的内参和获取摄像头相对于每块标定板的位姿。标定板上的标定点为现实中标定治具中的标定板上的点，标定板上的标定点在标定板上的位置由标定板的类型和尺寸来确定，不同类型和尺寸的标定板的标定点在标定板上的位置都是不同的，用户可以在标定摄像头前通过辅助工具检测出来。图像中的标定点为标定板图像中识别出的标定点，图像中的标定点在图像上的位置为图像的像素坐标，根据机器人在图像中识别出标定点时，标定点所占据的像素点得到。S3：机器人通过标定治具的标定板相对于标定治具的中心点的位姿和摄像头相对于每块标定板的位姿，来标定摄像头的外参。摄像头的外参为摄像头相对于机器人中心点的位姿。其中，本申请文件中，机器人在确定所述的摄像头相对于每块标定板的位姿、标定治具的标定板相对于标定治具的中心点的位姿和摄像头相对于机器人中心点的位姿时，摄像头的正方向为摄像头向前拍摄的方向，机器人的正方向为机器人的前进方向，标定治具的标定板的正方向根据标定板的物理坐标系来决定。本申请所述的机器人在进行摄像头的内外参标定时，先通过标定治具的标定板的图像对摄像头的内参进行优化，提高摄像头的准确率；然后再通过根据同一标定治具的标定板的图像获取的摄像头相对于每块标定板的位姿和预先获取的标定治具的标定板相对于标定治具的中心点的位姿，来标定摄像头的外参，使机器人可以通过同一标定治具在一次摄像头标定操作中，完成摄像头的内参和外参的标定，缩短标定摄像头的内参和外参的时间，提高机器人的量产效率，而且还不需要移动标定治具和机器人，实用性较高。
作为其中一种实施例，步骤S1中，机器人通过摄像头获取标定治具的标定板的图像，包括以下步骤：机器人移动到由若干个标定板构成的标定治具中，然后使机器人的中心点与标定治具的中心点重合，机器人的中心点与标定治具的中心点重合可以是水平面上的重合。标定治具的标定板一般围绕机器人设置，机器人在获取标定板的图像时，机器人使摄像头竖直向上，然后通过摄像头获取具有标定治具所有标定板的图像，为了使摄像头能捕捉到所有的标定板，机器人可以通过自转使标定治具的所有标定板落在摄像头的视角范围中，如果有标定板没有落入摄像头的视角范围，可以将该标定板去除。在本申请文件中，机器人的中心点可以是机器人水平截面的中心点，而标定治具的中心点在机器人获取标定治具的标定板相对于标定治具的中心点的位姿时，通过机器人的中心点来设置，并且在设置后不进行改变，设置的时间为机器人开始标定工作前。本申请所述的机器人通过使摄像头竖直向上的方式来获取标定板的图像，有利于机器人获取具有标定治具所有标定板的图像，提高标定效率。
作为其中一种实施例，步骤S1中，机器人从标定板的图像中识别出标定点，包括以下步骤：机器人检测标定板的图像中四边形的黑色区域。机器人按顺时针方向连接检测到的四边形的黑色区域。机器人获取四边形的黑色区域的内四边形。机器人通过角点检测将内四边形的四个端点作为标定板的标定点。其中，所述标定板为棋盘格标定板，所述内四边形的四条边分别与四边形的黑色区域相连，即所述四边形的黑色区域为棋盘格的黑色四边形，所述四边形的黑色区域的内四边形为棋盘格的白色四边形，由四个黑色四边形围成。机器人先从棋盘格标定板中识别出内四边形，然后将内四边形的四个端点作为标定点，有效去除棋盘格中与棋盘格的四条边相连的标定点，提高标定结果的准确率。
作为其中一种实施例，步骤S2中，机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来标定摄像头的内参和获取摄像头相对于每块标定板的位姿，包括以下步骤：机器人获取标定点在标定板的物理坐标系上的物理坐标和图像中的标定点在图像上的像素坐标。机器人根据每块标定板相对于机器人中心点的初始位姿(可以手动测量标定板相对于机器人的中心点的距离计算出初始位姿)和摄像头的初始内参(从图像估算初始摄像头内参(或者从摄像头厂家获取))，将该标定板上的标定点投影到标定板的图像中得到标定板的标定点的投影坐标。机器人根据欧氏距离公式计算标定板的标定点的投影坐标和与该标定点相对应的图像中的标定点的像素坐标之间的欧氏距离。机器人根据获取的欧氏距离通过高斯牛顿法的迭代公式来对摄像头的内参进行优化，得到最佳的摄像头内参和摄像头相对于每块标定板的位姿。假设标定点在标定板的物理坐标系上的物理坐标为(x0，y0)，根据投影坐标转换得到标定板的标定点的投影坐标(x1，y1)，图像中的标定点在图像上的像素坐标为(x2，y2)，根据标定板的标定点的投影坐标和与该标定点相对应的图像中的标定点的像素坐标之间的欧氏距离为d＝sqrt((x1-x2)∧2-(y1-y2)∧2)。然后机器人根据高斯牛顿法的迭代公式来对摄像头的内参进行优化，θn+1＝θn-(JTJ)∧-1*JTd；其中，θn+1为更新后的内参或外参，θn为更新前的内参或外参，d为计算得到的欧氏距离，J为雅克比矩阵。机器人还可以通过Levenberg-Marquardt算法(LM算法是使用最广泛的非线性最小二乘算法，中文为列文伯格-马夸尔特法。它是利用梯度求最大(小)值的算法。)来优化每块标定板与机器人中心点的位姿和摄像头的内参。机器人在获取每块标定板相对于机器人中心点的初始位姿和摄像头的初始内参后，通过高斯牛顿法不断迭代优化每块标定板与机器人中心点的位姿和摄像头的内参，使机器人获取到的每块标定板与机器人中心点的位姿和摄像头的内参为最优值，提高计算结果的准确率。
作为其中一种实施例，机器人在通过高斯牛顿法的迭代公式来对摄像头的内参进行优化时，在计算过程中获取到最小的欧氏距离时，将最小的欧氏距离对应的每块标定板与机器人中心点的位姿和摄像头的内参，作为最佳的摄像头内参和摄像头相对于每块标定板的位姿。本申请文件中所述的欧氏距离为标定板的标定点和图像中的标定点的重投影误差，通过获取重投影误差的最小值来获取最优的每块标定板与机器人中心点的位姿和摄像头的内参，实用性较高。
作为其中一种实施例，机器人获取标定板相对于机器人中心点的初始位姿，包括以下步骤：机器人过标定板的左上角的角点做垂直于标定板的垂线；机器人将垂直于标定板的垂线与机器人的前进方向之间的夹角作为标定板与机器人的夹角；机器人获取机器人的中心点与标定板的左上角的角点之间的距离；机器人根据标定板与机器人的夹角和机器人的中心点与标定板的左上角的角点之间的距离，组合得到标定板相对于机器人中心点的初始位姿。机器人以自身的中点作为机器人坐标系的原点，机器人前进方向作为机器人坐标系的X轴，机器人的轮轴线作为机器人坐标系的Y轴，构建机器人坐标系，机器人根据机器人将垂直于标定板的垂线与机器人的前进方向之间的夹角、标定板的左上角的角点之间的距离和标定板的左上角的高度，就可以换算出每个标定板相对于机器人中心点的初始位姿。机器人根据标定板与机器人的夹角和机器人的中心点与标定板的左上角的角点之间的距离来计算出标定板相对于机器人中心点的位姿，提高计算速度。
作为其中一种实施例，机器人获取标定点在标定板的物理坐标系上的物理坐标，包括以下步骤：机器人以每块标定板的左上角的角点为原点，标定板连接左上角的角点的两条边分别为X轴和Y轴，构建物理坐标系。机器人根据标定点在标定板上的位置，获取标定点在物理坐标系上的坐标。机器人分别根据标定板的边来构建物理坐标系，提高计算的准确度。
作为其中一种实施例，步骤S3中，机器人通过预设的标定板相对于机器人中心的位姿和摄像头相对于每块标定板的位姿，来标定摄像头的外参，包括以下步骤：机器人获取预设的标定板相对于机器人中心的位姿的旋转矩阵。机器人获取摄像头相对于其中一块标定板的位姿的旋转矩阵。机器人对预设的标定板相对于机器人中心的位姿的旋转矩阵和摄像头相对于其中一块标定板的位姿的旋转矩阵根据欧拉公式进行转换，得到摄像头的外参矩阵。机器人通过矩阵变换的方式来获取摄像头的外参，计算速度较快。
作为其中一种实施例，机器人在进行摄像头标定前，先获取标定治具的标定板相对于标定治具的中心点的位姿，包括以下步骤：机器人使标定板在摄像头的拍摄范围内，然后机器人移动到不同的预设位置来获取若干张标定板的图像，并获取移动时的IMU数据。机器人从获取的标定板的图像中识别出标定点，然后根据识别出的标定点，采用非线性优化算法计算出在不同的预设位置摄像头相对于标定板的位姿。机器人根据IMU数据和在不同的预设位置摄像头相对于标定板的位姿，采用非线性优化算法计算出摄像头相对于机器人的中心点的位姿。机器人获取摄像头的初始内参和根据IMU数据获取机器人在不同预设位置时每块标定板相对于机器人中心点的初始位姿。机器人分别从标定板的图像中识别出标定点，并获取标定点在标定板的物理坐标系上的物理坐标。机器人将标定板上的标定点的物理坐标分别投影到对应的标定板图像上，得到标定板的标定点的投影坐标。机器人根据欧氏距离公式计算标定板的标定点的投影坐标和与该标定点相对应的图像中的标定点的像素坐标之间的欧氏距离。机器人根据获取的欧氏距离通过高斯牛顿法的迭代公式来对摄像头的内参进行优化，得到最佳的摄像头相对于每块标定板的位姿。机器人根据每块标定板相对于机器人中心点的初始位姿和摄像头相对于每块标定板的位姿，通过高斯牛顿法的迭代公式来获取摄像头相对于机器人的中心点的位姿。机器人移动到由若干个标定板构成的标定治具中，然后将当前机器人的中心点所处的位置设置为标定治具的中心点，当标定治具的中心点设置完成后，标定治具用于标定其他机器人的摄像头时，标定治具的中心点不会改变。机器人使摄像头竖直向上，然后通过摄像头获取具有标定治具所有标定板的图像，并从标定板的图像中识别出标定点。机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来获取摄像头相对于每块标定板的位姿。机器人根据摄像头相对于每块标定板的位姿和摄像头相对于机器人的中心点的位姿，采用矩阵变换的方式获取标定治具的标定板相对于标定治具的中心点的位姿。机器人在摄像头标定前获取标定治具的标定板相对于标定治具的中心点的位姿，只要将不同的外参的机器人的中心点与标定治具的中心点重合，就可以通过标定治具的标定板相对于标定治具的中心点的位姿计算出机器人的外参，灵活性较高。
本申请所述的机器人在进行摄像头的内外参标定时，先通过标定治具的标定板的图像对摄像头的内参进行优化，提高摄像头的准确率；然后再通过根据同一标定治具的标定板的图像获取的摄像头相对于每块标定板的位姿和预先获取的标定治具的标定板相对于标定治具的中心点的位姿，来标定摄像头的外参，使机器人可以通过同一标定治具在一次摄像头标定操作中，完成摄像头的内参和外参的标定，缩短标定摄像头的内参和外参的时间，提高机器人的量产效率，而且还不需要移动标定治具和机器人，实用性较高。
在说明书的描述中，参考术语“合一个实施例”、“优选地”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点，包含于本发明的至少一个实施例或示例中，在本说明书中对于上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或者示例中以合适方式结合。说明书的描述中连接的所述连接方式具有明显的效果和实用效力。
通过上述的结构和原理的描述，所属技术领域的技术人员应当理解，本发明不局限于上述的具体实施方式，在本发明基础上采用本领域公知技术的改进和替代均落在本发明的保护范围，应由各权利要求限定之。
Claims (9)
1.一种机器人的摄像头标定方法，其特征在于，该方法包括以下步骤：
S1：机器人通过摄像头获取标定治具的标定板的图像，然后从标定板的图像中识别出标定点；
S2：机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来标定摄像头的内参和获取摄像头相对于每块标定板的位姿；
S3：机器人通过标定治具的标定板相对于标定治具的中心点的位姿和摄像头相对于每块标定板的位姿，来标定摄像头的外参。
2.根据权利要求1所述的一种机器人的摄像头标定方法，其特征在于，步骤S1中，机器人通过摄像头获取具有若干个标定板的图像，包括以下步骤：
机器人移动到由若干个标定板构成的标定治具中，然后使机器人的中心点与标定治具的中心点重合；
机器人使摄像头竖直向上，然后通过摄像头获取具有标定治具所有标定板的图像。
3.根据权利要求2所述的一种机器人的摄像头标定方法，其特征在于，步骤S1中，机器人从标定板的图像中识别出标定点，包括以下步骤：
机器人检测标定板的图像中四边形的黑色区域；
机器人按顺时针方向连接检测到的四边形的黑色区域；
机器人获取四边形的黑色区域的内四边形；
机器人通过角点检测将内四边形的四个端点作为标定板的标定点；
其中，所述标定板为棋盘格标定板，所述内四边形的四条边分别与四边形的黑色区域相连。
4.根据权利要求3所述的一种机器人的摄像头标定方法，其特征在于，步骤S2中，机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来标定摄像头的内参和获取摄像头相对于每块标定板的位姿，包括以下步骤：
机器人获取标定点在标定板的物理坐标系上的物理坐标和图像中的标定点在图像上的像素坐标；
机器人根据每块标定板相对于机器人中心点的初始位姿和摄像头的初始内参，将该标定板上的标定点投影到标定板的图像中得到标定板的标定点的投影坐标；
机器人根据欧氏距离公式计算标定板的标定点的投影坐标和与该标定点相对应的图像中的标定点的像素坐标之间的欧氏距离；
机器人根据获取的欧氏距离通过高斯牛顿法的迭代公式来对摄像头的内参进行优化，得到最佳的摄像头内参和摄像头相对于每块标定板的位姿。
5.根据权利要求4所述的一种机器人的摄像头标定方法，其特征在于，机器人在通过高斯牛顿法的迭代公式来对摄像头的内参进行优化时，在计算过程中获取到最小的欧氏距离时，将最小的欧氏距离对应的每块标定板与机器人中心点的位姿和摄像头的内参，作为最佳的摄像头内参和摄像头相对于每块标定板的位姿。
6.根据权利要求4所述的一种机器人的摄像头标定方法，其特征在于，机器人获取标定板相对于机器人中心点的初始位姿，包括以下步骤：
机器人过标定板的左上角的角点做垂直于标定板的垂线；
机器人将垂直于标定板的垂线与机器人的前进方向之间的夹角作为标定板与机器人的夹角；
机器人获取机器人的中心点与标定板的左上角的角点之间的距离；
机器人根据标定板与机器人的夹角和机器人的中心点与标定板的左上角的角点之间的距离，组合得到标定板相对于机器人中心点的初始位姿。
7.根据权利要求4所述的一种机器人的摄像头标定方法，其特征在于，机器人获取标定点在标定板的物理坐标系上的物理坐标，包括以下步骤：
机器人以每块标定板的左上角的角点为原点，标定板连接左上角的角点的两条边分别为X轴和Y轴，构建物理坐标系；
机器人根据标定点在标定板上的位置，获取标定点在物理坐标系上的坐标。
8.根据权利要求7所述的一种机器人的摄像头标定方法，其特征在于，步骤S3中，机器人通过标定治具的标定板相对于标定治具的中心点的位姿和摄像头相对于每块标定板的位姿，来标定摄像头的外参，包括以下步骤：
机器人获取标定治具的标定板相对于标定治具的中心点的位姿的旋转矩阵；
机器人获取摄像头相对于其中一块标定板的位姿的旋转矩阵；
机器人对标定治具的标定板相对于标定治具的中心点的位姿的旋转矩阵和摄像头相对于其中一块标定板的位姿的旋转矩阵根据欧拉公式进行转换，得到摄像头的外参矩阵。
9.根据权利要求8所述的一种机器人的摄像头标定方法，其特征在于，机器人在进行摄像头标定前，先获取标定治具的标定板相对于标定治具的中心点的位姿，包括以下步骤：
机器人使标定板在摄像头的拍摄范围内，然后移动到不同的预设位置来获取若干张标定板的图像，并获取移动时的IMU数据；
机器人从获取的标定板的图像中识别出标定点，然后根据识别出的标定点，采用非线性优化算法计算出在不同的预设位置摄像头相对于标定板的位姿；
机器人根据IMU数据和在不同的预设位置摄像头相对于标定板的位姿，采用非线性优化算法计算出摄像头相对于机器人的中心点的位姿；
机器人移动到由若干个标定板构成的标定治具中，然后将当前机器人的中心点所处的位置设置为标定治具的中心点；
机器人使摄像头竖直向上，然后通过摄像头获取具有标定治具所有标定板的图像，并从标定板的图像中识别出标定点；
机器人根据标定板上的标定点在标定板上的位置和图像中的标定点在图像上的位置，来获取摄像头相对于每块标定板的位姿；
机器人根据摄像头相对于每块标定板的位姿和摄像头相对于机器人的中心点的位姿，采用矩阵变换的方式获取标定治具的标定板相对于标定治具的中心点的位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310830473.3A CN116934866A (zh) | 2023-07-07 | 2023-07-07 | 一种机器人的摄像头标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310830473.3A CN116934866A (zh) | 2023-07-07 | 2023-07-07 | 一种机器人的摄像头标定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116934866A true CN116934866A (zh) | 2023-10-24 |
Family
ID=88378260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310830473.3A Pending CN116934866A (zh) | 2023-07-07 | 2023-07-07 | 一种机器人的摄像头标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116934866A (zh) |
-
2023
- 2023-07-07 CN CN202310830473.3A patent/CN116934866A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4191080B2 (ja) | 計測装置 | |
| US8436904B2 (en) | Method and apparatus for calibrating video camera | |
| CN109807885B (zh) | 一种机械手的视觉标定方法、装置及智能终端 | |
| CN113379849B (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
| CN111612794A (zh) | 基于多2d视觉的零部件高精度三维位姿估计方法及系统 | |
| US9591228B2 (en) | Method for the localization of a tool in a workplace, corresponding system and computer program product | |
| CN110827361B (zh) | 基于全局标定架的相机组标定方法及装置 | |
| CN112621743B (zh) | 机器人及其相机固定于末端的手眼标定方法及存储介质 | |
| CN109556510B (zh) | 位置检测装置以及计算机可读存储介质 | |
| TWI699264B (zh) | 視覺導引機器手臂校正方法 | |
| CN110815201B (zh) | 机器手臂校正坐标的方法 | |
| US11548156B2 (en) | Device and method for calibrating coordinate system of 3D camera and robotic arm | |
| JPWO2018043524A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| CN115201883A (zh) | 一种运动目标视频定位测速系统及方法 | |
| CN114677429B (zh) | 一种机械手的定位方法、装置、计算机设备和存储介质 | |
| CN111098306A (zh) | 机器人的标定方法、装置、机器人和存储介质 | |
| CN116934866A (zh) | 一种机器人的摄像头标定方法 | |
| CN116912325A (zh) | 基于标定治具的摄像头外参标定方法、芯片和机器人 | |
| Seo et al. | 3D Hole center and surface normal estimation in robot vision systems | |
| CN116934867A (zh) | 一种摄像头标定方法 | |
| CN111716340B (zh) | 3d相机与机械手臂坐标系统的校正装置及方法 | |
| CN116912326A (zh) | 一种标定治具的校准方法、标定治具和系统 | |
| CN116136388A (zh) | 机器人工具坐标系的标定方法、装置、设备以及存储介质 | |
| CN116912324A (zh) | 一种摄像头的内参标定方法 | |
| CN109242910A (zh) | 一种基于任意已知平面形状的单目相机自标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |