CN112634375B - 一种ai智能检测中的平面标定和三维重建方法 - Google Patents

Abstract

一种AI智能检测中的平面标定和三维重建方法，包括：采用平板标定法标定相机内参和畸变系数；将标定板放置于测量平台上若干位置，从标定板上选取多个特征点，并计算每个特征点外参，然后采用图优化方法，根据每个位置的标定板上的所有特征点的三维坐标、二维坐标、特征点外参，计算每个标定板的外参，最后继续采用图优化方法，根据所有标定板上的所有特征点的三维坐标、二维坐标、特征点所在位置的标定板的外参，计算相机外参；将待重建三维坐标的物体放置于测量平台上，获取物体上特征点的二维坐标，然后根据相机内参、相机外参，计算特征点的三维坐标。本发明属于信息技术领域，能基于现有AI智能检测中的单目相机来计算物体的三维坐标信息。

Description

一种AI智能检测中的平面标定和三维重建方法

技术领域

本发明涉及一种AI智能检测中的平面标定和三维重建方法，属于信息技术领域。

背景技术

近些年来，工业技术不断提高，印刷自动化水平也飞速提升，印刷机印刷速度大幅度进步。所以，对于彩色印刷复制品的质量评价也变得十分重要。

传统的质量检测方法主要通过成熟的印刷技术人员，根据主观评价或者利用专业检测仪对印刷测控条进行监测。传统检测是对印品进行抽检，不能及时的发现印品质量问题，而且受到主观因素影响干扰，不具有稳定的质量评价。并且利用测控条对印品质量进行检测，不能全面反应印刷质量，造成额外印刷幅面，增加印刷成本。为了改善传统印刷检测的不足，增强质量检测效率，基于机器视觉的全画面印刷质量检测被许多研究人员所重视。其大致思路为利用图像采集设备与计算机技术，将印刷生产的印品通过数字图像采集设备记录，代替人眼对图像获取，再结合图像处理技术对获取到的图像完成判别，进而做出客观评价。通过数字图像处理技术的全画面印品质量评价，能够规范企业质量要求，克服人为状况的影响，提升产品的全面质量评价，从而更加准确、全面、及时的反馈印品与原稿间的一致程度，对生产中出现的缺陷做出及时调整，完善后续生产质量，减少缺陷复制品的数量，提高企业印刷生产效率。传统的解决“印刷品质事故”的方法就是人工检测，所以在印刷企业中检测岗也是人工最为密集的岗位，但传统的人工检测有查验速度慢，查验易疏忽等不可避免的问题，给企业带来的就是人工生产成本增长，运营成本增长等难题。

目前AI智能检测算法在印刷产品中的应用主要还是在二维图像缺陷检测上，但是随着工艺的提高和对产品检测项目的增加，产品的三维信息也逐渐被纳入了需要检测的项目中。由于现有AI智能检测系统使用的是单目工业相机，而传统的三维重建方法都是基于双目相机的视差原理来计算三维坐标，因此，如何基于现有AI智能检测中的单目相机来计算物体的三维坐标信息，已成为技术人员重点关注的技术问题。

发明内容

有鉴于此，本发明的目的是提供一种AI智能检测中的平面标定和三维重建方法，能基于现有AI智能检测中的单目相机来计算物体的三维坐标信息。

为了达到上述目的，本发明提供了一种AI智能检测中的平面标定和三维重建方法，包括有：

步骤一、采用平板标定法标定相机内参和对应的畸变系数；

步骤二、将标定板放置于测量平台上的若干不同位置，从每个位置的标定板上选取多个特征点，并根据每个特征点的三维坐标和二维坐标计算每个特征点外参，然后采用图优化方法，根据每个位置的标定板上的所有特征点的三维坐标、二维坐标、特征点外参，计算得到每个位置的标定板在相机物理坐标系下的外参，最后继续采用图优化方法，根据所有位置的标定板上的所有特征点的三维坐标、二维坐标、特征点所在位置的标定板在相机物理坐标系下的外参，计算获得相机外参：

步骤三、将待重建三维坐标的物体放置于测量平台上，检测获取物体上一个特征点的二维坐标，然后根据相机内参、相机外参，计算获得该特征点的三维坐标。

与现有技术相比，本发明的有益效果是：本发明基于现有AI智能检测中的单目相机，采用图优化的方法来标定一个测量平台，并基于平面标定参数来进行三维重建，从而可以精确的获取到物体在某个平面上的三维坐标，不仅可以在印刷品质检行业得以实用，还适用于同类型平面检测，比如钢板、平板、地板、板材等。

附图说明

图1是现有AI智能检测系统的硬件组成结构示意图。

图2是本发明一种AI智能检测中的平面标定和三维重建方法的流程图。

图3是图2步骤一的具体流程图。

图4是图2步骤二将标定板放置于测量平台上的若干不同位置的一个实施例的示意图。

图5是图2步骤二的具体流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

图1是现有AI智能检测系统的硬件组成结构示意图，包括1个整体测量平台、1个工业面阵相机、2个显示器、以及部署AI智能检测系统的处理器。

如图2所示，本发明一种AI智能检测中的平面标定和三维重建方法，包括有：

步骤一、采用平板标定法标定相机内参和对应的畸变系数；

步骤二、将标定板放置于测量平台上的若干不同位置，从每个位置的标定板上选取多个特征点，并根据每个特征点的三维坐标和二维坐标计算每个特征点外参，然后采用图优化方法，根据每个位置的标定板上的所有特征点的三维坐标、二维坐标、特征点外参，计算得到每个位置的标定板在相机物理坐标系下的外参，最后继续采用图优化方法，根据所有位置的标定板上的所有特征点的三维坐标、二维坐标、特征点所在位置的标定板在相机物理坐标系下的外参，计算获得相机外参：

步骤三、将待重建三维坐标的物体放置于测量平台上，检测获取物体上一个特征点的二维坐标，然后根据相机内参、相机外参，计算获得该特征点的三维坐标。

如图3所示，图2步骤一可以进一步包括有：

步骤11、以相机图像的左上角为原点来建立相机物理坐标系，选取空间坐标系下的一个三维点，该三维点的三维坐标为X_c＝(X，Y，Z)，然后采用图像处理技术，获得该三维点在相机物理坐标系下的二维坐标(u，v)，最后采用下式来计算相机内参K：

其中，

f_x和f_y是相机的横向和纵向的焦距，(u₀，v₀)是相机的主点(即中心点)在相机物理坐标系下的二维坐标；

步骤11中，相机内参的标定主要是标定相机的主点坐标和焦距，本发明中的相机可以使用面阵CCD相机，若主点在相机物理坐标系下的坐标(u₀，v₀)，空间坐标系下一个三维点的三维坐标X_c＝(X，Y，Z)，根据相机的透视原理，则摄像机的投影关系变为：

设相机矩阵为P＝K(I，0)，I是单位向量，相机的内参为：

CCD相机数字离散化后的像素为一个矩形，矩形的长和宽分别为dx，dy，该值为相机的物理实际参数，相机物理坐标系下的坐标为(x，y)，设物理坐标转换到图像再离散化后的坐标为(u，v，1)，则有：

步骤12、采用图像处理技术，获取所选取三维点的实际二维坐标

然后基于所选取点的二维坐标(u，v)和实际二维坐标

采用下式来计算相机的畸变系数k₁、k₂、p₁、p₂：

其中，δ_u(u，v)与δ_v(u，v)均为畸变误差，k₁、k₂分别是一阶和二阶径向畸变系数，p₁、p₂分别是一阶和二阶切向畸变系数。

由于单目相机的成像模型是遵循线性的小孔成像模型，但在实际成像过程中，摄像机光学系统因为各种加工的问题，使得其成像模型与理想的模型存在一定的区别，这种区别就引起了在成像过程中的非线性光学畸变，因此在进行相机内参标定的时候需要将畸变系数一起标定。

图4是图2步骤二将标定板放置于测量平台上的若干不同位置的1个实施例的示意图。图4中，标定板被放置于5个不同位置，并从每个位置的标定板上选取了16个特征点。

如图5所示，图2步骤二可以进一步包括有：

步骤21、将标定板放置于测量平台上的若干不同位置，并从每个位置的标定板上选取多个特征点，然后检测获得每个特征点在相机物理坐标系下的二维坐标，最后根据每个特征点在标定板坐标系下的三维坐标和在相机物理坐标系下的二维坐标，计算每个标定板上的每个特征点的外参，其中，特征点在标定板坐标系下的三维坐标值在标定板加工时就已确定；

步骤21中，以放置于测量平台上的第k个位置的标定板上的第a个特征点Q_ka为例，特征点Q_ka在标定板坐标系下的三维坐标是X_ka＝(x_ka，y_ka，z_ka)、在相机物理坐标系下的二维坐标是Z_ka＝(u_ka，v_ka)，根据特征点的三维坐标和二维坐标来计算特征点Q_ka的外参：

Z_ka＝K(R_kaX_ka+T_ka)，其中，K是相机内参，R_ka、T_ka分别是特征点Q_ka外参中的旋转矩阵和偏移矩阵；

步骤22、为每个位置的标定板分别构造一个图：以每个位置的标定板上所有特征点的三维坐标和二维坐标为顶点、且每个三维坐标和二维坐标顶点之间的边是坐标所属特征点的外参(即旋转矩阵和偏移矩阵)，然后采用图优化方法对每个图中所有顶点之间的边值进行调整，调整后最终得到的边值即是每个位置的标定板在相机物理坐标系下的外参：旋转矩阵R_k和偏移矩阵T_k，其中，R_k、T_k分别是第k个位置的标定板在相机物理坐标系下的旋转矩阵和偏移矩阵，图优化的目标函数设置为：

n是每个位置的标定板上的特征点数，e_ka表示一个三维到二维的反投影的矢量误差函数，信息矩阵B_k表示协方差矩阵，它是一个对称矩阵，它的每个元素b_ij作为e_ki、e_kj的系数，i、j∈[1，n]，b_ij可以根据样本数据中所有e_ki、e_kj之间误差项的平均值而计算获得；

步骤23、为所有位置的标定板构造一个图：以所有标定板上的所有特征点的三维坐标和二维坐标为顶点、且每个三维坐标和二维坐标顶点之间的边是坐标所属特征点所在位置的标定板在相机物理坐标系下的外参(即旋转矩阵和偏移矩阵)，然后采用图优化方法对图中所有顶点之间的边值进行调整，调整后最终得到的边值即是相机外参：旋转矩阵R和偏移矩阵T，其中，图优化的目标函数设置为：

m是标定板放置于测量平台上的不同位置数。

步骤三可以进一步包括有：

将待重建三维坐标的物体p放置于测量平台上，先使用相机内参和畸变系数进行畸变矫正，然后检测获取物体p上一个特征点的二维坐标(u_p，v_p)，最后计算获得该特征点对应的三维坐标(x_p，y_p，z_p)，由于坐标系是建立在标定板的一个平面上，所以2_p＝0，x_p、y_p的计算公式如下：

a₁＝f_ur₁₁+u₀r₃₁-u_pr₃₁，a₂＝f_ur₁₂+u₀r₃₂-u_pr₃₂，a₃＝f_ut₁+u₀t₃-u_pt₃，a₄＝f_vr₂₁+v₀r₃₁-v_pr₃₁，a₅＝f_vr₂₂+v₀r₃₂-v_pr₃₂，a₆＝f_vt₂+v₀t₃-v_pt₃，f_u、f_v、u₀、v₀分别是相机的内参

中的对应元素值，r₁₁、r₁₂、r₂₁、r₂₂、r₃₁、r₃₂分别是外参的旋转矩阵

中的对应元素值，t₁、t₂、t₃分别是偏移矩阵

中的对应元素值。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (5)

1.一种AI智能检测中的平面标定和三维重建方法，其特征在于，包括有：

步骤一、采用平板标定法标定相机内参和对应的畸变系数；

步骤二、将标定板放置于测量平台上的若干不同位置，从每个位置的标定板上选取多个特征点，并根据每个特征点的三维坐标和二维坐标计算每个特征点外参，然后采用图优化方法，根据每个位置的标定板上的所有特征点的三维坐标、二维坐标、特征点外参，计算得到每个位置的标定板在相机物理坐标系下的外参，最后继续采用图优化方法，根据所有位置的标定板上的所有特征点的三维坐标、二维坐标、特征点所在位置的标定板在相机物理坐标系下的外参，计算获得相机外参：

步骤三、将待重建三维坐标的物体放置于测量平台上，检测获取物体上一个特征点的二维坐标，然后根据相机内参、相机外参，计算获得该特征点的三维坐标。

2.根据权利要求1所述的方法，其特征在于，步骤一进一步包括有：

步骤11、以相机图像的左上角为原点来建立相机物理坐标系，选取空间坐标系下的一个三维点，该三维点的三维坐标为X_c＝(X,Y,Z)，然后采用图像处理技术，获得该三维点在相机物理坐标系下的二维坐标(u,v)，最后采用下式来计算相机内参

其中，

f_x和f_y是相机的横向和纵向的焦距，(u₀，v₀)是相机的主点在相机物理坐标系下的二维坐标；

步骤12、采用图像处理技术，获取所选取三维点的实际二维坐标

然后基于所选取点的二维坐标(u,v)和实际二维坐标

采用下式来计算相机的畸变系数k₁、k₂、p₁、p₂：

其中，δ_u(u,v)与δ_v(u,v)均为畸变误差，k₁、k₂分别是一阶和二阶径向畸变系数，p₁、p₂分别是一阶和二阶切向畸变系数。

3.根据权利要求1所述的方法，其特征在于，步骤二进一步包括有：

步骤21、将标定板放置于测量平台上的若干不同位置，并从每个位置的标定板上选取多个特征点，然后检测获得每个特征点在相机物理坐标系下的二维坐标，最后根据每个特征点在标定板坐标系下的三维坐标和在相机物理坐标系下的二维坐标，计算每个标定板上的每个特征点的外参，其中，特征点在标定板坐标系下的三维坐标值在标定板加工时就已确定；

步骤22、为每个位置的标定板分别构造一个图：以每个位置的标定板上所有特征点的三维坐标和二维坐标为顶点、且每个三维坐标和二维坐标顶点之间的边是坐标所属特征点的外参，然后采用图优化方法对每个图中所有顶点之间的边值进行调整，调整后最终得到的边值即是每个位置的标定板在相机物理坐标系下的外参：旋转矩阵R_k和偏移矩阵T_k，其中，R_k、T_k分别是第k个位置的标定板在相机物理坐标系下的旋转矩阵和偏移矩阵，图优化的目标函数设置为：

n是每个位置的标定板上的特征点数，e_ka表示一个三维到二维的反投影的矢量误差函数，信息矩阵B_k表示协方差矩阵，它是一个对称矩阵，X_ka是特征点Q_ka在标定板坐标系下的三维坐标，Z_ka是特征点Q_ka在相机物理坐标系下的二维坐标；

步骤23、为所有位置的标定板构造一个图：以所有标定板上的所有特征点的三维坐标和二维坐标为顶点、且每个三维坐标和二维坐标顶点之间的边是坐标所属特征点所在位置的标定板在相机物理坐标系下的外参，然后采用图优化方法对图中所有顶点之间的边值进行调整，调整后最终得到的边值即是相机外参：旋转矩阵R和偏移矩阵T，其中，图优化的目标函数设置为：

m是标定板放置于测量平台上的不同位置数。

4.根据权利要求3所述的方法，其特征在于，步骤21中，以放置于测量平台上的第k个位置的标定板上的第a个特征点Q_ka为例，特征点Q_ka在标定板坐标系下的三维坐标是X_ka＝(x_ka，y_ka,z_ka)、在相机物理坐标系下的二维坐标是Z_ka＝(u_ka，v_ka)，根据特征点的三维坐标和二维坐标来计算特征点Q_ka的外参：

Z_ka＝K(R_kaX_ka+T_ka)，其中，K是相机内参，R_ka、T_ka分别是特征点Q_ka外参中的旋转矩阵和偏移矩阵。

5.根据权利要求1所述的方法，其特征在于，步骤三进一步包括有：

将待重建三维坐标的物体p放置于测量平台上，先使用相机内参和畸变系数进行畸变矫正，然后检测获取物体p上一个特征点的二维坐标(u_p，v_p)，最后计算获得该特征点对应的三维坐标(x_p，y_p，z_p)，z_p＝0，x_p、y_p的计算公式如下：

a₁＝f_ur₁₁+u₀r₃₁-u_pr₃₁，a₂＝f_ur₁₂+u₀r₃₂-u_pr₃₂，a₃＝f_ut₁+u₀t₃-u_pt₃，a₄＝f_vr₂₁+v₀r₃₁-v_pr₃₁，a₅＝f_vr₂₂+v₀r₃₂-v_pr₃₂，a₆＝f_vt₂+v₀t₃-v_pt₃，f_u、f_v、u₀、v₀分别是相机的内参

中的对应元素值，r₁₁、r₁₂、r₂₁、r₂₂、r₃₁、r₃₂分别是外参的旋转矩阵

中的对应元素值，t₁、t₂、t₃分别是偏移矩阵

中的对应元素值。

Images