CN116619392A - 机器人跨介质视觉的标定板、标定方法及系统 - Google Patents
机器人跨介质视觉的标定板、标定方法及系统 Download PDFInfo
- Publication number
- CN116619392A CN116619392A CN202310905093.1A CN202310905093A CN116619392A CN 116619392 A CN116619392 A CN 116619392A CN 202310905093 A CN202310905093 A CN 202310905093A CN 116619392 A CN116619392 A CN 116619392A
- Authority
- CN
- China
- Prior art keywords
- calibration
- image
- robot
- medium
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000003384 imaging method Methods 0.000 claims abstract description 97
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 230000000877 morphologic effect Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000005260 corrosion Methods 0.000 claims description 7
- 230000007797 corrosion Effects 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明公开了一种机器人跨介质视觉的标定板、标定方法及系统，首先对跨介质视觉成像系统进行建模，并设计了以编码圆为特征图元的标定板，该标定板能够有效克服光线在不同介质中传播时出现的干扰因素。在此基础上，本发明通过直线检测和迭代算法确定编码圆中心点，能够更加精准地进行特征点定位，从而提高标定精度。最后，根据跨介质视觉系统成像模型，本发明改进了当前常用的标定算法，完成机器人跨介质视觉系统的标定。通过这些方法，提高了机器人在跨介质工作条件下的标定精度，能够为机器人在视觉测量、三维重构等工作时提供更准确的视觉信息，具有广阔的应用市场空间和经济价值。
Description
技术领域
本发明属于视觉标定技术领域，本发明涉及一种机器人跨介质视觉的标定板、标定方法及系统，尤其适用于机器人跨介质作业。
背景技术
目前，随着机器人技术的发展，人类对其在不同介质中进行工作的要求也大大提高，特别是随着人类对河流、海洋等水下资源的开发利用越来越多，使用机器人代替人类进行水下资源探测、获取水下环境信息的情境也更加迫切。然而，由于跨介质工作环境的复杂性，机器人成像系统所拍摄的照片质量会严重下降，而且用于获得不同介质中的目标空间信息的技术同样受到多种环境因素的影响。因此，如何提高机器人视觉系统的工作能力、工作精度等成为制约机器人跨介质工作的重要课题。当前，针对机器人跨介质视觉系统标定方法主要沿用传统的在空气介质中进行标定的方法，但因工作环境改变，传统的标定方法在标定精度、工作复杂度等方面存在已难以满足跨介质工作需要。
申请号2016108955221公开了一种基于实心圆标定板的立体视觉系统标定平台及标定方法，标定板是基于实心圆，首先利用Canny Zernike组合算法对靶标圆心进行识别并提出基于三角形标记的圆心排序方法。接着基于线性针孔模型获得立体视觉系统的内外参数，然后分别对左右摄像机内外参数进行优化，优化变量数目减半，获得外参数近似解。最后以实心圆靶标对角线上两实心圆的距离作为约束条件，对摄像机外参数进行优化，获得外参数最优解。该标定板及标定方法无法实现机器人跨介质视觉系统的标定。
发明内容
本发明的目的在于提供一种机器人跨介质视觉的标定板、标定方法及系统，建立了跨介质成像系统模型，提出了更优的标定板设计方案和特征点定位方法，根据跨介质成像模型的非线性特点，对当前常用的标定方法进行了改进，提高机器人在不同工作介质中进行视觉测量、三维重构等工作的精度。
实现本发明目的的技术解决方案为：
一种机器人跨介质视觉的标定板，包括板体，所述板体为平面结构，所述板体上分布有多个编码圆，所述编码圆相邻结构条纹夹角为45°，所述编码圆分成8份，每一份颜色为黑或白，分别表示二进制“1”或“0”，在编码圆中，任何一位都能够视为起始位，按照顺时针方向进行编解码，将编码二进制数中最小的数所对应的十进制数作为该编码圆的编号。
本发明还公开了一种机器人跨介质视觉标定方法，包括以下步骤：
S01：采用上述的标定板，获取标定图像；
S02：通过在空气中成像得到机器人成像系统的内参和外参；
S03：保持标定板与机器人成像系统相对位置不变，将标定板和机器人至于其它工作环境介质中，得到标定板的成像图像；
S04：识别编码圆和定位编码圆中心，获取精确的中心点坐标，通过多个点的坐标数据，得到最终的标定结果。
优选的技术方案中，所述步骤S04中编码圆中心计算方法包括：
S11：使用霍夫变换对编码圆中的结构条纹进行检测，其计算公式为：
其中，为坐标原点到直线的距离，/>为直线与横坐标的夹角，/>、/>分别为直线上一点的横纵坐标，/>和/>即是直线的参数。
S12：将图像中像素点的坐标转换到参数空间进行处理，检测出图中的所有直线。
优选的技术方案中，所述S12之后还包括：
使用迭代算法进行计算，得到离8条直线距离和最近的点即为编码圆中心点，计算公式为：
其中，为图像中的一点，/>为编码圆结构条纹直线，/>为索引，/>表示点到直线/>的距离，/>和/>是直线的参数，/>、/>为某一点的像素坐标。
优选的技术方案中，所述步骤S04识别编码圆的方法包括：
S21：得到编码圆结构条纹后，分别在相邻两条条纹之间的区域中随机选取5个点，如果这5个点中超过4个点为白色或黑色，则该区域对应的二进制码分别为0或1，否则继续随机选取点，直到所选择的点中某一颜色所占的比例超过80%为止，以占多数的颜色对应的二进制码值作为该区域的二进制码值；
S22：对所得的8位二进制编码移位循环8次，计算其中最小的编码，其对应的十进制数值为该编码圆对应的码值。
优选的技术方案中，所述步骤S04之前还包括图像预处理，所述图像预处理包括：
S31：使用高斯滤波对图像进行去噪，设物体所成图像用表示，/>、/>为某一点的像素坐标，/>表示该点的像素值，高斯滤波的计算公式为：/>
其中，为滤波后的像素值，/>为高斯滤波器的标准差，计算得到的高斯滤波窗口；
S32：采用最大类间方差法，对图像进行二值化处理，使用下式得到一幅图像的最佳分割灰度阈值：
其中，、/>分别为前景像素和背景像素的比例，/>、/>分别为两类像素的平均值；
S33：完成二值化后，使用形态学算子对图像进行去噪处理，从标定板图像中分离出编码圆，去噪处理方法包括：
使用开运算消除图像中的细小噪声点，使用膨胀运算填补图像中的空洞，使用闭运算对图像边缘进行平滑处理，形态学算子腐蚀、膨胀、开运算和闭运算的计算式为：
其中，为源图像，/>为形态学结构元素，/>为/>中与/>相同大小的图像块，/>为/>的中心点像素，/>和/>分别为与、或运算，/>、/>、/>和/>分别表示腐蚀、膨胀、开运算和闭运算。
优选的技术方案中，所述步骤S04中标定结果的计算方法包括：
S41：在单一介质中，光学系统的成像变换关系为：
其中，、/>分别为成像系统在横、纵方向上单个像素的物理尺寸，/>、/>分别为一点成像后的像素坐标，/>、/>为图像中心点的像素坐标，/>、/>分别为成像系统的旋转和平移参数，/>为比例系数；
S42：设为成像系统的内参矩阵、/>为外参矩阵，则在上式中，/>、/>分别为：
跨介质成像系统中空间点成像坐标和物理坐标的关系为：
其中，，/>为空间点成像在图像坐标系中的坐标，/>为摄像机像方焦距，/>和/>分别为两种介质的折射率，/>为空间中一点在相机坐标系中的坐标，/>为跨介质成像时的比例系数，/>为摄像机镜头与工作环境介质外壳之间的距离；
S43：通过多个点的坐标数据，解得式中的未知参数，得到最终的标定结果。
本发明又公开了一种机器人跨介质视觉标定系统，包括：
标定图像获取模块，采用上述的标定板，获取标定图像；
内外参获取模块，通过在空气中成像得到机器人成像系统的内参和外参；
跨介质成像模块，保持标定板与机器人成像系统相对位置不变，将标定板和机器人至于其它工作环境介质中，得到标定板的成像图像；
标定模块，识别编码圆和定位编码圆中心，获取精确的中心点坐标，通过多个点的坐标数据，得到最终的标定结果。
优选的技术方案中，所述标定模块中编码圆中心计算方法包括：
S11：使用霍夫变换对编码圆中的结构条纹进行检测，其计算公式为：
其中，为坐标原点到直线的距离，/>为直线与横坐标的夹角，/>、/>分别为直线上一点的横纵坐标，/>和/>即是直线的参数。
S12：将图像中像素点的坐标转换到参数空间进行处理，检测出图中的所有直线。
本发明又公开了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的机器人跨介质视觉标定方法。
本发明与现有技术相比，其显著优点为：
本发明首先对跨介质视觉成像系统进行建模，并设计了以编码圆为特征图元的标定板，该标定板能够有效克服光线在不同介质中传播时出现的干扰因素。在此基础上，本发明通过直线检测和迭代算法确定编码圆中心点，能够更加精准地进行特征点定位，从而提高标定精度。最后，根据跨介质视觉系统成像模型，本发明改进了当前常用的标定算法，完成机器人跨介质视觉系统的标定。通过这些方法，提高了机器人在跨介质工作条件下的标定精度，能够为机器人在视觉测量、三维重构等工作时提供更准确的视觉信息，具有广阔的应用市场空间和经济价值。
附图说明
图1为实施例的机器人跨介质视觉的标定板的示意图；
图2为实施例的机器人跨介质视觉标定方法的流程图；
图3为机器人视觉系统跨介质成像模型；
图4为光在两种不同介质中的折射示意图；
图5为编码圆编码示意图；
图6为标定板水中成像图像处理效果；
图7为标定板编码圆中心点偏差示意图；
图8为实验标定板（标定板实际颜色为黑白两色）；
图9为传统标定方法重投影误差；
图10为本发明标定方法重投影误差。
具体实施方式
本发明的原理是：相比传统标定系统和方法，本发明建立了跨介质成像系统模型，提出了更优的标定板设计方案和特征点定位方法，根据跨介质成像模型的非线性特点，对当前常用的标定方法进行了改进，提高机器人在不同工作介质中进行视觉测量、三维重构等工作的精度。
实施例1：
如图1所示，一种机器人跨介质视觉的标定板，包括板体，板体为平面结构，板体上分布有多个编码圆，编码圆相邻结构条纹夹角为45°，编码圆分成8份，每一份颜色为黑或白，分别表示二进制“1”或“0”，在编码圆中，任何一位都能够视为起始位，按照顺时针方向进行编解码，将编码二进制数中最小的数所对应的十进制数作为该编码圆的编号。
如图2所示，一种机器人跨介质视觉标定方法，包括以下步骤：
S01：采用上述的标定板，获取标定图像；
S02：通过在空气中成像得到机器人成像系统的内参和外参；
S03：保持标定板与机器人成像系统相对位置不变，将标定板和机器人至于其它工作环境介质中，得到标定板的成像图像；
S04：识别编码圆和定位编码圆中心，获取精确的中心点坐标，通过多个点的坐标数据，得到最终的标定结果。
一实施例中，步骤S04中编码圆中心计算方法包括：
S11：使用霍夫变换对编码圆中的结构条纹进行检测，其计算公式为：
其中，为坐标原点到直线的距离，/>为直线与横坐标的夹角，/>、/>分别为直线上一点的横纵坐标，/>和/>即是直线的参数。
S12：将图像中像素点的坐标转换到参数空间进行处理，检测出图中的所有直线。
一实施例中，步骤S12之后还包括：
使用迭代算法进行计算，得到离8条直线距离和最近的点即为编码圆中心点，计算公式为：
其中，为图像中的一点，/>为编码圆结构条纹直线，/>为索引，/>表示点到直线/>的距离，/>和/>是直线的参数，/>、/>为某一点的像素坐标。
一实施例中，步骤S04识别编码圆的方法包括：
S21：得到编码圆结构条纹后，分别在相邻两条条纹之间的区域中随机选取5个点，如果这5个点中超过4个点为白色或黑色，则该区域对应的二进制码分别为0或1，否则继续随机选取点，直到所选择的点中某一颜色所占的比例超过80%为止，以占多数的颜色对应的二进制码值作为该区域的二进制码值；
S22：对所得的8位二进制编码移位循环8次，计算其中最小的编码，其对应的十进制数值为该编码圆对应的码值。
一实施例中，步骤S04之前还包括图像预处理，所述图像预处理包括：
S31：使用高斯滤波对图像进行去噪，设物体所成图像用表示，/>、/>为某一点的像素坐标，/>表示该点的像素值，高斯滤波的计算公式为：/>
其中，为滤波后的像素值，/>为高斯滤波器的标准差，计算得到的高斯滤波窗口；
S32：采用最大类间方差法，对图像进行二值化处理，使用下式得到一幅图像的最佳分割灰度阈值：
其中，、/>分别为前景像素和背景像素的比例，/>、/>分别为两类像素的平均值；
S33：完成二值化后，使用形态学算子对图像进行去噪处理，从标定板图像中分离出编码圆，去噪处理方法包括：
使用开运算消除图像中的细小噪声点，使用膨胀运算填补图像中的空洞，使用闭运算对图像边缘进行平滑处理，形态学算子腐蚀、膨胀、开运算和闭运算的计算式为：
其中，为源图像，/>为形态学结构元素，/>为/>中与/>相同大小的图像块，/>为/>的中心点像素，/>和/>分别为与、或运算，/>、/>、/>和/>分别表示腐蚀、膨胀、开运算和闭运算。
一实施例中，步骤S04中标定结果的计算方法包括：
S41：在单一介质中，光学系统的成像变换关系为：
其中，、/>分别为成像系统在横、纵方向上单个像素的物理尺寸，/>、/>分别为一点成像后的像素坐标，/>、/>为图像中心点的像素坐标，/>、/>分别为成像系统的旋转和平移参数，/>为比例系数；
S42：设为成像系统的内参矩阵、/>为外参矩阵，则在上式中，/>、/>分别为：
跨介质成像系统中空间点成像坐标和物理坐标的关系为：
其中，，/>为空间点成像在图像坐标系中的坐标，/>为摄像机像方焦距，/>和/>分别为两种介质的折射率，/>为空间中一点在相机坐标系中的坐标，/>为跨介质成像时的比例系数，/>为摄像机镜头与工作环境介质外壳之间的距离；
S43：通过多个点的坐标数据，解得式中的未知参数，得到最终的标定结果。
另一实施例中，一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的机器人跨介质视觉标定方法。
又一实施例中，一种机器人跨介质视觉标定系统，包括：
标定图像获取模块，采用上述的标定板，获取标定图像；
内外参获取模块，通过在空气中成像得到机器人成像系统的内参和外参；
跨介质成像模块，保持标定板与机器人成像系统相对位置不变，将标定板和机器人至于其它工作环境介质中，得到标定板的成像图像；
标定模块，识别编码圆和定位编码圆中心，获取精确的中心点坐标，通过多个点的坐标数据，得到最终的标定结果。
具体的，下面以一较佳的实施例为例对机器人跨介质视觉标定系统的工作流程说明如下：
步骤一：跨介质成像系统建模。
机器人的成像系统在跨介质工作时，入射光线先后经过玻璃、空气以及工作环境介质等介质进入摄像机镜头完成成像。在这个过程中，光线经过不同介质，因折射导致入射角发生变化，此时相机的成像模型不再是简单的单视点模型，如图3所示。
光在两种不同介质中的折射如图4所示，其中，和/>分别为两种介质的折射率，相机坐标系为/>，/>为空间中一点在相机坐标系中的坐标，/>为空间点成像在图像坐标系中的坐标，/>和/>分别为入射角和折射角，/>为入射光线的方向向量，/>为折射光线的方向向量，/>为摄像机镜头与工作环境介质之间的距离，/>为摄像机像方焦距。假设折射面与摄像机光轴垂直，则光轴的方向向量为/>。根据光的折射定律，折射光线与出射光线和界面法线共面，则存在式（5）所示关系，其中/>、/>为各向量的系数。
（5）
根据斯涅尔定理可得：
（6）
根据单位向量的性质和向量运算法则，可知：
（7）
因此可以得到入射光线与折射光线两者方向向量的关系为：
（8）
同时，根据相机成像原理可知空间点成像坐标中/>，那么折射光线方向向量可表示为：
（9）
因此式（8）可以转化为：
（10）
其中 。根据向量运算法则，可以将空间点坐标表示为式（11），其中/>为入射光线与折射界面的焦点，/>为比例系数。
（11）
由图2可知，，因此可以得到：
（12）
根据式（8）和式（12），使用齐次坐标可以将空间点成像坐标和物理坐标的关系表示为：
（13）
根据成像系统像素坐标系和图像坐标系的关系，式（13）可进一步转化得到空间点成像后的像素坐标与空间坐标的关系，如式（14）所示，其中、/>分别为一点成像后的像素坐标，/>为跨介质成像时的比例系数。
（14）
步骤二：跨介质成像标定系统设计。
步骤21：跨介质成像标定板设计。由于光线在跨介质传播时存在严重的衰减和散射等现象，所成图像中噪声、畸变等干扰增多，特征提取比较困难。为克服跨介质工作时的不利因素影响，本发明使用相邻结构条纹夹角为 45°的编码圆为跨介质成像系统标定板的基本图元，夹角为45°的编码圆可增大条纹边缘解码的容错性，降低特征提取的误差，如图1所示。
因为编码圆相邻结构条纹夹角为45°，因此一个编码圆被分为了8份，每一份根据颜色黑或白，分别表示二进制“1”或“0”，一个编码圆包含8位2进制数据，共可表示0~255之间的十进制整数，如图5所示。在编码圆中，任何一位都可以视为起始位，按照顺时针方向进行编解码，定义这些编码二进制数中最小的数所对应的十进制数为该编码圆的编号。图5中的编码圆共对应8个二进制数：00001011，10000101，11000010，01100001，10110000，01011000，00101100，00010110。在这8个数中，00001011最小，所对应的十进制数为11，因此，定义该编码圆的编号为77。图1所示的标定板中使用了0~63（00000000-00011111）号的编码，采用从左到右、从上到下的顺序进行排列。
步骤22：图像预处理。
首先使用高斯滤波对图像进行去噪。设物体所成图像用表示，/>、/>为某一点的像素坐标，/>表示该点的像素值，高斯滤波的计算如式（15）所示，其中/>为滤波后的像素值，/>为高斯滤波器的标准差。为了突出编码圆的高频信息，设置高斯滤波窗口大小为/>、/>，由此计算得到的高斯滤波窗口/>如式（16）所示。
（15）
（16）
经高斯滤波后，采用最大类间方差法，对图像进行二值化处理。使用式（17）可以得到一幅图像的最佳分割灰度阈值，其中/>、/>分别为前景像素和背景像素的比例，/>、分别为两类像素的平均值。
（17）
完成二值化后，使用形态学算子对图像进行去噪处理，从标定板图像中分离出编码圆。本发明首先使用开运算消除图像中的细小噪声点，然后使用膨胀运算，填补图像中的空洞，最后使用闭运算，对图像边缘进行平滑处理。形态学算子腐蚀、膨胀、开运算和闭运算的计算如式（18）所示，其中为源图像，/>为形态学结构元素，/>为/>中与/>相同大小的图像块，/>为/>的中心点像素，/>和/>分别为与、或运算，/>、/>、/>和/>分别表示腐蚀、膨胀、开运算和闭运算。以机器人在水中工作为例，图6所示为标定板在水中成像的局部图片经过以上图像处理操作后所得到的效果。
（18）
步骤23：编码圆中心点计算。
首先使用霍夫变换对编码圆中的结构条纹进行检测，霍夫变化通过将直线映射至参数空间完成检测，其计算原理如式（19）所示，其中为坐标原点到直线的距离，/>为直线与横坐标的夹角，/>、/>分别为直线上一点的横纵坐标，/>和/>即是直线的参数。图像中一条直线上的像素点在参数空间中必然相较于一点，据此只需要将图像中像素点的坐标转换到参数空间进行处理，便能够检测出图中的所有直线。
（19）/>
本发明的标定板中，每个编码圆有8条结构条纹，因此经过直线检测后会得到8条直线的参数方程，因为拍摄时的干扰、标定板加工制作过程中的误差等因素，8条直线不会完美地交于中心点，如图7所示。为了能够得到最准确的中心点坐标，使用迭代算法进行计算，得到离8条直线距离和最近的点即为编码圆中心点，如式（20）所示，其中为图像中的一点，/>为编码圆结构条纹直线，/>为索引，/>表示点/>到直线/>的距离，/>和/>是直线的参数。
（20）
步骤24：编码圆解码。
编码圆中，白色区域对应二进制码值0，黑色区域则为1。得到编码圆结构条纹后，分别在相邻两条条纹之间的区域中随机选取5个点，如果这5个点中超过4个点为白色或黑色，则该区域对应的二进制码分别为0或1，否则继续随机选取点，直到所选择的点中某一颜色所占的比例超过80%为止，以占多数的颜色对应的二进制码值作为该区域的二进制码值。对所得的8位二进制编码移位循环8次，计算其中最小的编码，其对应的十进制数值为该编码圆对应的码值。
步骤三：跨介质成像系统标定。
根据光学系统的成像原理，在单一介质中，光学系统的成像变换关系可以用式（21）表示，其中、/>分别为成像系统在横、纵方向上单个像素的物理尺寸，/>、/>分别为一点成像后的像素坐标，/>、/>为图像中心点的像素坐标，/>、/>分别为成像系统的旋转和平移参数，/>为比例系数。
（21）
成像系统的内参是本身具有的性质，不会因为拍摄环境的变化而发生变化；而外参矩阵表示世界坐标系与摄像机坐标系之间的转换关系，仅涉及到坐标系空间位置的转换，也不会受到工作介质的变化而变化。设为成像系统的内参矩阵、/>为外参矩阵，则在式（21）中，/>、/>分别为：/>
（22）
因此，式（14）可以转化为：
（23）
根据式（23）机器人成像系统在跨介质工作时的成像模型和式（21）单一介质工作成像模型，可以看出跨介质工作时，视觉系统成像不再是线性模型，已有的标定算法不能直接使用。
以在水下工作为例，因为成像系统的内参和外参不因工作环境改变而变化，因此本发明首先使用传统的标定方法，通过在空气中成像得到机器人成像系统的内参和外参，然后保持标定板与机器人成像系统相对位置不变，将标定板和机器人至于水中，得到标定板的成像图片，通过识别编码圆和定位编码圆中心，获取精确的中心点坐标，将相应数据代入式（23），通过多个点的坐标数据，即可解得式（23）中的未知参数，得到最终的标定结果。
为验证本发明的标定技术，制作大小为250×250mm的标定板，相邻目标点中心的间距为30mm，编码圆直径为15mm，如图8所示。使用分辨率为2048×2048的相机在1m的距离上对标定板进行成像，分别测试比较重投影误差和三维坐标重构误差。
如图9和图10所示分别为传统标定方法和本发明方法对水中工作机器人视觉系统进行标定时的重投影误差图，从中可以明显看出本发明的标定系统和方法具有更小的重投影误差平均值和标准差，从而说明了本发明方法具有较高的标定精度和较高的稳定性。
同时，我们选择标定板中位于4个角的编码圆中心，以标定板左下角为世界坐标系原点，分别使用本发明和传统标定方法得到的视觉系统参数进行三维重构，得到相应的三维坐标 、/> 、/>值，测量结果如表1所示：/>
可以看出本发明对目标的三维重构精度更高。
上述实施例为本发明优选地实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种机器人跨介质视觉的标定板，包括板体，其特征在于，所述板体为平面结构，所述板体上分布有多个编码圆，所述编码圆相邻结构条纹夹角为45°，所述编码圆分成8份，每一份颜色为黑或白，分别表示二进制“1”或“0”，在编码圆中，任何一位都能够视为起始位，按照顺时针方向进行编解码，将编码二进制数中最小的数所对应的十进制数作为该编码圆的编号。
2.一种机器人跨介质视觉标定方法，其特征在于，包括以下步骤：
S01：采用权利要求1所述的标定板，获取标定图像；
S02：通过在空气中成像得到机器人成像系统的内参和外参；
S03：保持标定板与机器人成像系统相对位置不变，将标定板和机器人至于其它工作环境介质中，得到标定板的成像图像；
S04：识别编码圆和定位编码圆中心，获取精确的中心点坐标，通过多个点的坐标数据，得到最终的标定结果。
3.根据权利要求2所述的机器人跨介质视觉标定方法，其特征在于，所述步骤S04中编码圆中心计算方法包括：
S11：使用霍夫变换对编码圆中的结构条纹进行检测，其计算公式为：
,
其中，为坐标原点到直线的距离，/>为直线与横坐标的夹角，/>、/>分别为直线上一点的横纵坐标，/>和/>即是直线的参数；
S12：将图像中像素点的坐标转换到参数空间进行处理，检测出图中的所有直线。
4.根据权利要求3所述的机器人跨介质视觉标定方法，其特征在于，所述S12之后还包括：
使用迭代算法进行计算，得到离8条直线距离和最近的点即为编码圆中心点，计算公式为：
,
其中，为图像中的一点，/>为编码圆结构条纹直线，/>为索引，/>表示点/>到直线/>的距离，/>和/>是直线的参数，/>、/>为某一点的像素坐标。
5.根据权利要求2所述的机器人跨介质视觉标定方法，其特征在于，所述步骤S04识别编码圆的方法包括：
S21：得到编码圆结构条纹后，分别在相邻两条条纹之间的区域中随机选取5个点，如果这5个点中超过4个点为白色或黑色，则该区域对应的二进制码分别为0或1，否则继续随机选取点，直到所选择的点中某一颜色所占的比例超过80%为止，以占多数的颜色对应的二进制码值作为该区域的二进制码值；
S22：对所得的8位二进制编码移位循环8次，计算其中最小的编码，其对应的十进制数值为该编码圆对应的码值。
6.根据权利要求2所述的机器人跨介质视觉标定方法，其特征在于，所述步骤S04之前还包括图像预处理，所述图像预处理包括：
S31：使用高斯滤波对图像进行去噪，设物体所成图像用表示，/>、/>为某一点的像素坐标，/>表示该点的像素值，高斯滤波的计算公式为：/>,
其中，为滤波后的像素值，/>为高斯滤波器的标准差，计算得到的高斯滤波窗口；
S32：采用最大类间方差法，对图像进行二值化处理，使用下式得到一幅图像的最佳分割灰度阈值：
,
其中，、/>分别为前景像素和背景像素的比例，/>、/>分别为两类像素的平均值；
S33：完成二值化后，使用形态学算子对图像进行去噪处理，从标定板图像中分离出编码圆，去噪处理方法包括：
使用开运算消除图像中的细小噪声点，使用膨胀运算填补图像中的空洞，使用闭运算对图像边缘进行平滑处理，形态学算子腐蚀、膨胀、开运算和闭运算的计算式为：
,
其中，为源图像，/>为形态学结构元素，/>为/>中与/>相同大小的图像块，/>为/>的中心点像素，/>和/>分别为与、或运算，/>、/>、/>和/>分别表示腐蚀、膨胀、开运算和闭运算。
7.根据权利要求2所述的机器人跨介质视觉标定方法，其特征在于，所述步骤S04中标定结果的计算方法包括：
S41：在单一介质中，光学系统的成像变换关系为：
,
其中，、/>分别为成像系统在横、纵方向上单个像素的物理尺寸，/>、/>分别为一点成像后的像素坐标，/>、/>为图像中心点的像素坐标，/>、/>分别为成像系统的旋转和平移参数，/>为比例系数；
S42：设为成像系统的内参矩阵、/>为外参矩阵，则在上式中，/>、/>分别为：
,
跨介质成像系统中空间点成像坐标和物理坐标的关系为：
,
其中，，/>为空间点成像在图像坐标系中的坐标，/>为摄像机像方焦距，/>和/>分别为两种介质的折射率，/>为空间中一点在相机坐标系中的坐标，/>为跨介质成像时的比例系数，/>为摄像机镜头与工作环境介质外壳之间的距离；
S43：通过多个点的坐标数据，解得式中的未知参数，得到最终的标定结果。
8.一种机器人跨介质视觉标定系统，其特征在于，包括：
标定图像获取模块，采用权利要求1所述的标定板，获取标定图像；
内外参获取模块，通过在空气中成像得到机器人成像系统的内参和外参；
跨介质成像模块，保持标定板与机器人成像系统相对位置不变，将标定板和机器人至于其它工作环境介质中，得到标定板的成像图像；
标定模块，识别编码圆和定位编码圆中心，获取精确的中心点坐标，通过多个点的坐标数据，得到最终的标定结果。
9.根据权利要求8所述的机器人跨介质视觉标定系统，其特征在于，所述标定模块中编码圆中心计算方法包括：
S11：使用霍夫变换对编码圆中的结构条纹进行检测，其计算公式为：
,
其中，为坐标原点到直线的距离，/>为直线与横坐标的夹角，/>、/>分别为直线上一点的横纵坐标，/>和/>即是直线的参数；
S12：将图像中像素点的坐标转换到参数空间进行处理，检测出图中的所有直线。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现权利要求2-7任一项所述的机器人跨介质视觉标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310905093.1A CN116619392B (zh) | 2023-07-24 | 2023-07-24 | 机器人跨介质视觉的标定板、标定方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310905093.1A CN116619392B (zh) | 2023-07-24 | 2023-07-24 | 机器人跨介质视觉的标定板、标定方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116619392A true CN116619392A (zh) | 2023-08-22 |
| CN116619392B CN116619392B (zh) | 2023-11-07 |
Family
ID=87642173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310905093.1A Active CN116619392B (zh) | 2023-07-24 | 2023-07-24 | 机器人跨介质视觉的标定板、标定方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116619392B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911542A (zh) * | 2024-03-19 | 2024-04-19 | 杭州灵西机器人智能科技有限公司 | 一种标定板、标定板识别方法、系统、设备及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060007452A1 (en) * | 2002-10-24 | 2006-01-12 | Commissariat A L'energie Atomique | Coded target and photogrammetry method using such targets |
| CN105550683A (zh) * | 2015-12-07 | 2016-05-04 | 重庆大学 | 基于视觉的指针式仪表自动读取系统和方法 |
| CN105678742A (zh) * | 2015-12-29 | 2016-06-15 | 哈尔滨工业大学深圳研究生院 | 一种水下相机标定方法 |
| CN107146257A (zh) * | 2017-04-28 | 2017-09-08 | 南京信息工程大学 | 一种自适应水质的水下相机标定装置 |
| CN108986038A (zh) * | 2018-06-01 | 2018-12-11 | 浙江大学 | 一种基于改进Hough变换的轮毂轮廓检测方法 |
| CN110246185A (zh) * | 2018-03-07 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置、系统、存储介质和标定系统 |
| CN111402330A (zh) * | 2020-04-03 | 2020-07-10 | 山东省科学院激光研究所 | 一种基于平面靶标的激光线关键点提取方法 |
| CN113177593A (zh) * | 2021-04-29 | 2021-07-27 | 上海海事大学 | 一种水上交通环境中雷达点云与影像数据的融合方法 |
| CN113592958A (zh) * | 2021-08-13 | 2021-11-02 | 大连海事大学 | 一种基于单目视觉的auv对接坞站光学引导方法 |
| CN115359127A (zh) * | 2022-07-30 | 2022-11-18 | 西北工业大学 | 一种适用于多层介质环境下的偏振相机阵列标定方法 |
| CN115880373A (zh) * | 2022-12-28 | 2023-03-31 | 常熟理工学院 | 基于新型编码特征的立体视觉系统的标定板及标定方法 |
-
2023
- 2023-07-24 CN CN202310905093.1A patent/CN116619392B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060007452A1 (en) * | 2002-10-24 | 2006-01-12 | Commissariat A L'energie Atomique | Coded target and photogrammetry method using such targets |
| CN105550683A (zh) * | 2015-12-07 | 2016-05-04 | 重庆大学 | 基于视觉的指针式仪表自动读取系统和方法 |
| CN105678742A (zh) * | 2015-12-29 | 2016-06-15 | 哈尔滨工业大学深圳研究生院 | 一种水下相机标定方法 |
| CN107146257A (zh) * | 2017-04-28 | 2017-09-08 | 南京信息工程大学 | 一种自适应水质的水下相机标定装置 |
| CN110246185A (zh) * | 2018-03-07 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置、系统、存储介质和标定系统 |
| CN108986038A (zh) * | 2018-06-01 | 2018-12-11 | 浙江大学 | 一种基于改进Hough变换的轮毂轮廓检测方法 |
| CN111402330A (zh) * | 2020-04-03 | 2020-07-10 | 山东省科学院激光研究所 | 一种基于平面靶标的激光线关键点提取方法 |
| CN113177593A (zh) * | 2021-04-29 | 2021-07-27 | 上海海事大学 | 一种水上交通环境中雷达点云与影像数据的融合方法 |
| CN113592958A (zh) * | 2021-08-13 | 2021-11-02 | 大连海事大学 | 一种基于单目视觉的auv对接坞站光学引导方法 |
| CN115359127A (zh) * | 2022-07-30 | 2022-11-18 | 西北工业大学 | 一种适用于多层介质环境下的偏振相机阵列标定方法 |
| CN115880373A (zh) * | 2022-12-28 | 2023-03-31 | 常熟理工学院 | 基于新型编码特征的立体视觉系统的标定板及标定方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911542A (zh) * | 2024-03-19 | 2024-04-19 | 杭州灵西机器人智能科技有限公司 | 一种标定板、标定板识别方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116619392B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110276808B (zh) | 一种单相机结合二维码测量玻璃板不平度的方法 | |
| CN107607040B (zh) | 一种适用于强反射表面的三维扫描测量装置及方法 | |
| CN112651968B (zh) | 一种基于深度信息的木板形变与凹坑检测方法 | |
| CN116619392B (zh) | 机器人跨介质视觉的标定板、标定方法及系统 | |
| CN112465912B (zh) | 一种立体相机标定方法及装置 | |
| CN111981982B (zh) | 一种基于加权sfm算法的多向合作靶标光学测量方法 | |
| CN113205593B (zh) | 一种基于点云自适应修复的高反光表面结构光场三维重建方法 | |
| KR20130000356A (ko) | 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템 | |
| CN101697233A (zh) | 一种基于结构光的三维物体表面重建方法 | |
| CN113129430B (zh) | 基于双目结构光的水下三维重建方法 | |
| CN111602177B (zh) | 用于生成物体的3d重建的方法和设备 | |
| CN115880373B (zh) | 基于新型编码特征的立体视觉系统的标定板及标定方法 | |
| CN110660072B (zh) | 一种直线边缘的识别方法、装置、存储介质及电子设备 | |
| CN115345822A (zh) | 一种面向航空复杂零件的面结构光自动化三维检测方法 | |
| CN116958419A (zh) | 一种基于波前编码的双目立体视觉三维重建系统和方法 | |
| CN114663578A (zh) | 一种基于深度学习的多目标场景偏振三维成像方法 | |
| CN113963067B (zh) | 一种采用小靶标对大视场视觉传感器进行标定的标定方法 | |
| CN110823106B (zh) | 一种基于激光连续波调制原理的平板玻璃质量检测方法 | |
| CN116608794B (zh) | 一种抗纹理3d结构光成像方法、系统、装置及存储介质 | |
| CN116824047A (zh) | 一种基于条纹图像增强的结构光三维重建方法 | |
| CN111006599A (zh) | 基于像素光栅和计算机视觉的物体表面微尺度测量方法 | |
| CN115601423A (zh) | 一种双目视觉场景下基于边缘增强的圆孔位姿测量方法 | |
| CN115661258A (zh) | 标定方法及装置、畸变校正方法及装置、存储介质、终端 | |
| CN111783877A (zh) | 基于单帧网格复合编码模板结构光的深度信息测量方法 | |
| CN117804381B (zh) | 一种基于相机阵列聚焦结构光对物体三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |