CN114972539A

CN114972539A - 机房相机平面在线标定方法、系统、计算机设备和介质

Info

Publication number: CN114972539A
Application number: CN202210619388.8A
Authority: CN
Inventors: 周流平; 杨静; 王莉
Original assignee: Guangzhou Railway Polytechnic
Current assignee: Guangzhou Railway Polytechnic
Priority date: 2022-06-01
Filing date: 2022-06-01
Publication date: 2022-08-30

Abstract

本发明提供了机房相机平面在线标定方法、系统、计算机设备和介质，通过双目相机，获取预设数量的机柜双目时序图像，提取对应的机柜深度图和相机坐标系机柜3D点云，以及通过预设物体检测模型提取机柜双目图像的多个二维机柜关键点坐标，并根据二维机柜关键点坐标和机柜深度图得到对应的三维机柜关键点坐标后，再将根据相机坐标系机柜3D点云拟合得到对应的潜在机柜平面方程联立得到多平面方程组，以及求解多平面方程组得到相机相对地平面外参矩阵的技术方案，无需标定板就能基于机房先验信息实现相机参数在线校正，不仅能避免对现场环境的改造，而且能保证在线标定的高效性、精准性、以及适应环境变化的高鲁棒性。

Description

机房相机平面在线标定方法、系统、计算机设备和介质

技术领域

本发明涉及机器视觉的相机标定技术领域，特别是涉及一种基于机柜信息的机房相机平面在线标定方法、系统、计算机设备和存储介质。

背景技术

在机房无人值守的视觉定位应用中，相机参数的标定是非常关键的一个环节，其标定结果的精度及方法稳定性直接影响相机计算精度，最终影响视觉定位的准确性。因此，提供一个便捷、准确、易维护的相机标定方法，是相机在机房无人值守视觉定位应用中的重要环节。

传统的相机标定方法通常采用在设备出厂时一次性标定相机与巡逻小车的外参的离线标定方式，但该方法在实际应用中主要会受到两方面限制：1)应用现场的地面并非绝对平整，在机房自动巡逻小车定位导航过程中，地面的平整度使小车产生定位误差，且在长期运行中定位误差会逐渐累计，形成更大的累计误差，最终导致机房巡逻小车定位不准，甚至失效；2)机房巡逻小车24小时不间断作业，机械疲劳会使相机固定机构产生松动，相机位姿极易偏离出厂标定参数，需要定期维护固定设备，增加应用成本的同时，还减小了方案的灵活性。尽管，已有部分学者针对传统离线标定的缺陷问题，提出了相机在线标定方法，但现有在线标定方法仍存在着应用缺陷，比如，应用时需要对现场环境改造，且当地面信息有明显遮挡时，无法输出有效标定结果，或由于使用特性标定算法对光照等条件比较敏感，导致在线标定的鲁棒性会显著降低。

因此，亟需提供一种能够符合标定精度要求，且在机房场景的不同光照环境中鲁棒运行的适于机房自主巡逻的相机平面在线标定方法。

发明内容

本发明的目的是提供一种基于机柜信息的机房相机平面在线标定方法，通过对获取的预设数目机柜双目时序图像进行双目匹配得到深度信息和3D点云信息，并在利用3D点云信息基于霍夫空间投票拟合潜在机柜平面方程后，将预设数目机柜双目时序图像对应的潜在机柜平面方程联立得到的多平面方程组，并结合利用预设物体检测模型提取的机房机柜图像的机柜关键点信息，最大化利用环境信息，实时更新相机相对地平面外参矩阵，实现对相机平面的高效、精准且高鲁棒性的在线标定。

为了实现上述目的，有必要针对上述技术问题，提供了一种机房相机平面在线标定方法、系统、计算机设备和存储介质。

第一方面，本发明实施例提供了一种机房相机平面在线标定方法，所述方法包括以下步骤：

通过双目相机，获取预设数量的机柜双目时序图像；所述机柜双目图像包括左目机柜图像和右目机柜图像；

根据各个机柜双目图像，提取对应的机柜深度图和相机坐标系机柜3D点云；

通过预设物体检测模型，根据各个机柜双目图像的多个二维机柜关键点坐标，并根据所述二维机柜关键点坐标和所述机柜深度图，得到对应的三维机柜关键点坐标；

根据各个相机坐标系机柜3D点云，拟合得到对应的潜在机柜平面方程；所述潜在机柜平面方程包括潜在左机柜平面方程和潜在右机柜平面方程；

联立所有潜在机柜平面方程，得到多平面方程组，并通过求解所述多平面方程组，得到相机相对地平面外参矩阵。

进一步地，所述根据各个机柜双目图像，提取对应的机柜深度图和相机坐标系机柜3D点云的步骤包括：

获取双目相机的内参矩阵和双目极线距离；

根据所述双目极线距离，对左目机柜图像和右目机柜图像进行双目极线匹配，并通过SGBM算法生成对应的机柜视差图；

根据所述机柜视差图和双目基线，得到对应的机柜深度图；

根据所述机柜深度图和所述内参矩阵，得到所述相机坐标系机柜3D点云。

进一步地，所述根据所述机柜深度图和所述内参矩阵，得到所述相机坐标系机柜3D点云的步骤包括：

根据所述机柜深度图和所述内参矩阵，计算得到初始相机坐标系机柜3D点云；

根据八叉树结构，对所述初始相机坐标系机柜3D点云进行体元剖分，得到具有相同时间复杂度和空间复杂度的稀疏3D数据树；

通过预设的离散值滤波器，对所述稀疏3D数据树的节点进行稀疏离群点移除处理，得到机柜稠密3D点云；

对所述机柜稠密3D点云依次进行体素下采样和高斯曲率滤波处理，得到所述相机坐标系机柜3D点云。

进一步地，所述预设物体检测模型为预先根据离线训练数据集训练得到的，以mobilenet为主干网的自底向上的openpose关键点检测模型；所述离线训练数据集包括机房内多种环境背景、多种环境光照、以及多种相机视角下的机柜图像数据；

所述通过预设物体检测模型，根据各个机柜双目图像的多个二维机柜关键点坐标，并根据所述二维机柜关键点坐标和所述机柜深度图，得到对应的三维机柜关键点坐标的步骤包括：

将左目机柜图像或右目机柜图像输入所述预设物体检测模型，获取所述机柜双目图像中机柜脚区域的多个二维机柜关键点坐标；

根据各个机柜双目图像建立图像坐标系，根据各个二维机柜关键点坐标查询所述机柜深度图，得到对应的关键点深度信息；

将各个关键点深度信息转化为相机坐标系的三维坐标，得到对应的三维机柜关键点坐标。

进一步地，所述根据各个相机坐标系机柜3D点云，拟合得到对应的潜在机柜平面方程的步骤包括：

将所述相机坐标系机柜3D点云的3维欧式空间坐标转换为极坐标系下对应的霍夫空间坐标；

根据所述霍夫空间坐标对应参数曲面的多个交点，确定待拟合平面初始参数范围；

根据机柜平面的先验信息，对所述待拟合平面初始参数范围进行筛选，得到待拟合平面候选点；

对所述待拟合平面候选点进行霍夫空间投票，提取投票数大于预设阈值的机柜平面点云区域；

根据所述机柜平面点云区域，拟合得到对应的潜在机柜平面方程。

进一步地，所述通过求解所述多平面方程组，得到相机相对地平面外参矩阵的步骤包括：

根据所述多平面方程组，构建对应的最小化误差方程组，并将所述最小化误差方程组的求解问题转化为对应线性方程组的最小二乘问题；

将所述线性方程组对应的交叉协方差矩阵进行SVD分解，得到相机坐标系的地平面旋转矩阵，并将所述地平面旋转矩阵进行角轴分解，得到地平面法向量；

根据所述地平面法向量和所述三维机柜关键点坐标，得到相机坐标系相对地平面高度；

根据相机坐标系的Y轴向量和地平面法向量，得到旋转轴和旋转角度，并将所述旋转轴和旋转角度转换为相机坐标系相对地平面旋转矩阵；

根据所述相机坐标系相对地平面高度和相机坐标系相对地平面旋转矩阵，得到所述相机相对地平面外参矩阵；所述相机相对地平面外参矩阵表示为：

T＝[R|t]

式中，

其中，T表示相机相对地平面外参矩阵；R和t分别表示相机坐标系旋转矩阵和相机坐标系相对地平面高度；

θ、

和

分别表示旋转轴、旋转角度、地平面方程法向量和相机坐标系的Y轴向量。

进一步地，所述根据所述地平面法向量和所述三维机柜关键点坐标，得到相机坐标系相对地平面高度的步骤包括：

将根据所述地平面法向量与各个三维机柜关键点坐标分别代入平面方程公式，分别得到对应的候选地平面方程；

将各个候选地平面方程求平均值，得到地平面方程；

根据所述地平面方程，得到所述相机坐标系相对地平面高度；所述相机坐标系相对地平面高度表示为：

t＝(0，0，height)

式中，

其中，t表示相机坐标系相对地平面高度；D表示原点到地平面方程的截距；

表示地平面方程法向量

的范数。

第二方面，本发明实施例提供了一种机房相机平面在线标定系统，所述系统包括：

图像采集模块，用于通过双目相机，获取预设数量的机柜双目时序图像；所述机柜双目图像包括左目机柜图像和右目机柜图像；

图像处理模块，用于根据各个机柜双目图像，提取对应的机柜深度图和相机坐标系机柜3D点云；

关键点提取模块，用于通过预设物体检测模型，根据各个机柜双目图像的多个二维机柜关键点坐标，并根据所述二维机柜关键点坐标和所述机柜深度图，得到对应的三维机柜关键点坐标；

平面拟合模块，用于根据各个相机坐标系机柜3D点云，拟合得到对应的潜在机柜平面方程；所述潜在机柜平面方程包括潜在左机柜平面方程和潜在右机柜平面方程；

外参求解模块，用于联立所有潜在机柜平面方程，得到多平面方程组，并通过求解所述多平面方程组，得到相机相对地平面外参矩阵。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

上述本申请提供了一种机房相机平面在线标定方法、系统、计算机设备及存储介质，通过所述方法，实现了通过双目相机，获取预设数量的机柜双目时序图像，提取对应的机柜深度图和相机坐标系机柜3D点云，以及通过预设物体检测模型提取机柜双目图像的多个二维机柜关键点坐标，并根据二维机柜关键点坐标和机柜深度图得到对应的三维机柜关键点坐标后，再对根据相机坐标系机柜3D点云拟合得到对应的潜在机柜平面方程进行联立得到多平面方程组，以及求解多平面方程组得到相机相对地平面外参矩阵的技术方案。与现有技术相比，该机房相机平面在线标定方法能够合理有效的利用机房现场信息，无需标定板就能基于机房先验信息实现相机参数在线校正，不仅能避免对现场环境的改造，而且能保证在线标定的高效性、精准性、以及适应环境变化的高鲁棒性。

附图说明

图1是本发明实施例中机房相机平面在线标定方法的应用场景示意图；

图2是本发明实施例中机房相机平面在线标定方法的流程示意图；

图3是本发明实施例中机房机柜的机脚关键点示意图；

图4是本发明实施例中机房相机平面在线标定系统的结构示意图；

图5是本发明实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案和有益效果更加清楚明白，下面结合附图及实施例，对本发明作进一步详细说明，显然，以下所描述的实施例是本发明实施例的一部分，仅用于说明本发明，但不用来限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的机房相机平面在线标定方法可以应用于如图1所示的终端或服务器上。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。比如，服务器可以根据使用机房内多种环境背景、多种环境光照、以及多种相机视角下的机柜图像数据作为训练数据集训练得到以mobilenet为主干网的自底向上的openpose关键点检测模型作为预设物体检测模型，基于实时获取的双目彩色相机拍摄得到的机柜双目图像，采用本发明提供的机房相机平面在线标定方法完成对机房相机平面的在线标定，并直接控制相机外参矩阵调整，或将其传送至终端，以供终端使用者接收评估后对相机外参矩阵调整使用。

本发明方法主要用于标定机房巡逻相机的外参投影矩阵，在机房巡检的环境中，机柜是原本存在的客观物体，机柜平面垂直于地平面且规律排放，当巡逻小车行走在机柜环境中时，能够看到过道两侧的机柜，即其背后隐藏很强的位置先验信息，基于机柜平面对相机平面进行标定，不仅能避免对现场环境的改造，保证实时标定精准性和高效性，而且能保证适应环境变化的高鲁棒性；在基于机柜平面信息的相机标定过程中，需要使用图像坐标系、图像世界坐标系、双目相机坐标系和安装双目相机的车身坐标系等四种均参照右手坐标系建立的坐标系。具体的，图像坐标系的原点为双目相机中左目图像的中心点，x轴正方向指向图像右方，y轴正方向指向图像下方，按右手坐标系建立z轴；双目相机坐标系的原点为左目镜头的几何中心，x轴正方向指向右目镜头，y轴正方向指向相机下方，按右手坐标系建立z轴；图像世界坐标系是一个相对量，在对机柜双目图像的关键点的描述中，以坐标值最小的一个关键点为坐标原点，x轴正方向与双目相机坐标系相同，y轴正方向与双目相机坐标系相同；车身坐标系的x轴正方向指向车头，y轴正方向指向车身左侧，按右手坐标系建立z轴，原点与双目相机坐标系的原点在z轴上重合；下述实施例将以上述四种坐标系为基础，对本发明的机房相机平面在线标定方法进行详细说明。

在一个实施例中，如图2所示，提供了一种机房相机平面在线标定方法，包括以下步骤：

S11、通过双目相机，获取预设数量的机柜双目时序图像；所述机柜双目图像包括左目机柜图像和右目机柜图像；其中，双目相机可为安装在差速轮巡逻AGV(AutomatedGuided Vehicle)车上的双目彩色相机，其与AGV车身刚性连接，不可移动；对应的，左目机柜图像和右目机柜图像为双目彩色摄像头实时采集到的包含机房机柜实物的图像；机柜双目时序图像的预设数量可根据实际应用需求确定，此处不做具体限制，该预设数量直接影响后续联立多平面方程求解相机外参的平面方程个数，原则上数预设量越大，就越能保证后续在线标定结果的精准性；

S12、根据各个机柜双目图像，提取对应的机柜深度图和相机坐标系机柜3D点云；其中，机柜深度图和相机坐标系机柜3D点云根据现有技术实现即可，本实例优选的采用OpenCV中的SGBM算法对机柜双目图像进行立体匹配得到机柜深度图，再结合相机内参计算得到相机坐标系机柜3D点云；具体地，所述根据各个机柜双目图像，提取对应的机柜深度图和相机坐标系机柜3D点云的步骤包括：

获取双目相机的内参矩阵和双目极线距离；其中，内参矩阵可通过双目相机自带的驱动API得到；

根据所述机柜视差图和双目基线，得到对应的机柜深度图；

原则上，根据得到的机柜深度图结合相应的内参矩阵，直接可将二维机柜深度图转化为三维空间的3D点云，且该方法得到的相机坐标系机柜3D点云可直接用于后续的在线标定，但考虑到3D点云存在稀疏离群点，且使用OpenCV的SGBM方法获得的视差图一般含有较多散斑噪声，为了在机房场景中得到较好的深度点云数据，本实施例优选对上述方法直接得到的3D点云数据进行滤波和下采样等预处理后，去除噪声和冗余点数据信息，再用于相机平面标定，进而有效保证了相机在线标定处理的高效性和精准性；具体地，所述根据所述机柜深度图和所述内参矩阵，得到所述相机坐标系机柜3D点云的步骤包括：

根据所述机柜深度图和所述内参矩阵，计算得到初始相机坐标系机柜3D点云；其中，初始相机坐标系机柜3D点云内的三维坐标点满足下述公式：

其中，u，v表示图像坐标系下的二维点x轴和y轴坐标信息；u₀，v₀分别表示图像的中心坐标；f/dx和f/dy分别表示使用像素描述x轴和y轴方向焦距的长度；x_w、y_w、z_w表示相机坐标系下三维点的x轴、y轴和z轴坐标信息；z_c表示相机坐标系的z轴值，即目标到相机的距离；R和T分别表示外参矩阵的3x3旋转矩阵和3x1平移矩阵，此处的3D点是相对于相机坐标系的，取[R T]为单位变换矩阵。

根据八叉树结构，对所述初始相机坐标系机柜3D点云进行体元剖分，得到具有相同时间复杂度和空间复杂度的稀疏3D数据树；其中，稀疏3D数据树的获取方法采用现有的八叉树体元剖分得到即可，此处不再赘述；

通过预设的离散值滤波器，对所述稀疏3D数据树的节点进行稀疏离群点移除处理，得到机柜稠密3D点云；其中，离散值滤波器是根据下述公式创建的统计分析滤波器；由于机房场景中，物体视野和环境视野都不会太远，本实施例采用统计分析滤波器进行散斑滤波(speckle filter)时，选择滤波的窗口大小为20像素，散斑阈值为10，以确保在机房场景中得到较好的深度点云数据；

式中，

其中，C表示局部协方差矩阵(covariance matrix)；

表示领域内的几何中心坐标；p_i表示当前相机坐标系下点云的坐标；k表示是点的个数；ξ_i表示当前点p_i的权重；μ和d_i分别表示当前查询点p_i与领域之间的均值和距离；

将上述得到的稀疏3D数据树的所有节点输入离散值滤波器，对每个节点的邻域进行类似于局部协方差的离群点统计分析，并修剪掉那些不符合一定标准的点，输出离散值滤波后的有效3D点云；具体地，遍历每个节点，计算该点到它的所有临近点的平均距离，假设得到的结果是一个高斯分布，其形状由均值和标准差决定，那么平均距离在标准范围(由全局距离平均值和方差定义)之外的点，可被定义为离群点并可从数据集中剔除掉，如，设置每个领域分析的距离半径为5厘米，标准差的倍数置为1，即如果一个点的距离超出了平均距离一个标准差以上，则该点被标记为离群点，并将它移除。

由于上述双目机柜图像进行立体匹配得到机柜深度图的方法，采用的是双目极线搜索匹配，存在一些固有的测量精度误差，若拍摄一幅平坦墙的图像，然后检查深度值，则会在图像的角落看到一些非平面的糊涂现象，且查看多个图像上每个(x，y)像素的深度值的范围(或标准差)时，中心像素和边缘像素之间存在噪点差异。为了解决上述问题，对本实施例对上述步骤得到的机柜稠密3D点云数据进一步采用下述方法进行体素下采样和高斯曲率滤波处理，在点云曲率大的地方保留更多的采样个数，在类平面区域，增加采样率，去除冗余的点云数据，进而有效提高后续计算效率；

对所述机柜稠密3D点云依次进行体素下采样和高斯曲率滤波处理，得到所述相机坐标系机柜3D点云。具体的，体素下采样和高斯曲率滤波处理，即曲率重采样，也叫几何采样，在点云曲率越大的地方，即几何特征越明显的地方，采样点的个数分布越多。点云曲率计算比较耗时，本实施例优选采用了一个简单方法，来近似达到曲率的效果，具体方法如下：

a)预先设置目标采样数S为20，采样均匀性U为0.32；遍历输入每一个点云数据，选取每个点的K邻域点，构建局部协方差，分解后取最大特征值对应的特征向量，即法向量；然后判断两相邻点的法线夹角值，即为曲率，这个夹角值就越大，曲率也就越大；

b)设置一个角度阈值，如5度；点的邻域夹角值大于这个阈值的点，被放入几何特征区域G，其余放入不明显区域，把点云分成了两部分：几何特征区域G和其它区域；

c)分别对几何特征区域G和其它区域进行均匀采样，对应的采样数分别为S*(1-U)，S*U。

通过上述对机柜稠密3D点云的几何划分和基于法向量曲率滤波，可有效减少采样后点云的冗余信息，使抗噪性更强，为后续潜在机柜平面拟合的有效性提供了可靠保障，也保证了后续在线标定的精准性。

S13、通过预设物体检测模型，根据各个机柜双目图像的多个二维机柜关键点坐标，并根据所述二维机柜关键点坐标和所述机柜深度图，得到对应的三维机柜关键点坐标；其中，机柜双目图像如上所述，为双目相机采集的左右两幅RGB图像，将包含机柜实物图像导入至预先设定的特定物体检测模型，预测生成特定数量(一般大于4个)的关键点二维图像坐标数据；

预设物体检测模型原则上可以采用现有的其他能实现所需特征提取的网络模型，但为同时兼顾机柜关键点信息提取的高效性和精准性，本实施例优选地，预设物体检测模型通过预先收集包括机房内多种环境背景、多种环境光照、以及多种相机视角下的机柜图像，并将机柜图像中的机柜脚信息作为关键点制作离线训练数据集后，进行离线训练生成的以mobilenet为backbone(主干网)的openpose关键点检测模型；其中，openpose是一种自底向上的关键点提取模型，而mobilenet是一种可以在消费级CPU上实时运行的轻量级特征提取网络，以mobilenet为主干网，替换openpose中的基于2阶特征提取模块后的参数数量只有原openpose模型参数的15％，而性能却相差无几(精度降低1％)，改进得到的预设物体检测模型在Intel为i7-7700、内存8G的PC机上运行时，能达到10帧每秒的处理性能。具体地，所述通过预设物体检测模型，根据各个机柜双目图像的多个二维机柜关键点坐标，并根据所述二维机柜关键点坐标和所述机柜深度图，得到对应的三维机柜关键点坐标的步骤包括：

在实际机房环境中，如图3所示，机柜脚关键点所代表的平面就等同于地平面；原则上，本实施例中提取的机柜关键点坐标可直接用于计算出所代表的地平面方程，但由于上述预设物体检测模型提取关键点的精度高度依赖于离线训练数据集中图像标注数据的精度，因此，在难以保证离线训练数据集中图像标注精度的基础上，为了保证求解地平面的精准性，本实施例优选采用下述方法，基于得到的各个机柜双目时序图像对应的相机坐标系机柜3D点云拟合得到对应的潜在机柜平面方程后，再通过求解基于所有潜在机柜平面方程联立生成的多平面方程的多平面联合优化方法，得到相机外参矩阵。

S14、根据各个相机坐标系机柜3D点云，拟合得到对应的潜在机柜平面方程；所述潜在机柜平面方程包括潜在左机柜平面方程和潜在右机柜平面方程；其中，潜在机柜平面方程的拟合优选采用基于霍夫空间投票的平面拟合，通过将欧式空间转换到空间直线参数的霍夫空间，对每一个候选点进行霍夫空间投票，提取左右机柜平面点云区域和对应的平面区域方程，为了下一步联立多平面方程求解外参旋转矩阵最优解奠定基础；具体地，所述根据各个相机坐标系机柜3D点云，拟合得到对应的潜在机柜平面方程的步骤包括：

将所述相机坐标系机柜3D点云的3维欧式空间坐标转换为极坐标系下对应的霍夫空间坐标；其中，相机坐标系机柜3D点云的3维欧式空间的三维平面方式表示如下：

a₀X+a₁Y+a₃Z+D＝0(D≠0)(1)

其中，X，Y，Z分别属于同一平面的点云的X轴、Y轴和Z轴坐标；(a0，a1，a2)表示平面的法向量，D为原点(0，0，0)到平面的截距；将平面法向量代入极坐标系，可得到平面法向量在极坐标系下的表达：

其中，θ∈[0,2π]，φ∈[0,2π]；可以通过离散θ、φ以及原点到平面的距离ρ来实现对霍夫参数空间的离散化。对应的，平面方程可表示为：

(cosφsinθ)x+(sinφsinθ)y+(cosθ)z+ρ＝0 (2)

对于任一三维点，从欧式空间转换为霍夫空间，将(θ,φ)带入方程，即可求得对应的ρ，因此每个点都可在霍夫参数空间形成对应的参数曲面；

根据所述霍夫空间坐标对应参数曲面的多个交点，确定待拟合平面初始参数范围；其中，多个点霍夫空间坐标对应的参数曲面会形成多个交点，其中任意三个不共线的交点都可确定一个平面，即根据所有的交点只能初步得到待拟合平面的初始参数范围，后续通过下述方法步骤对交点进行筛选，进一步确定对应的机柜平面点云区域，即当参数(θ,φ,ρ)对应的交点个数大于预设阈值时，就对应为所求的平面方程；

根据机柜平面的先验信息，对所述待拟合平面初始参数范围进行筛选，得到待拟合平面候选点；其中，机柜平面的先验信息可理解为机柜平面的法向量相互平行，(x,y,z)与(-x,-y,-z)是等同的，且其法向量平行于地平面；据此，结合极坐标霍夫空间(θ,φ)的具体含义，可进一步缩小上述参数的值域范围为θ∈[0,π]，φ∈[0,π]，得到待拟合平面候选点，不仅可以排除无关平面的影响，而且极大地减小了计算量，进而有效提升算法效率；然而，得到待拟合平面候选点中存在平面也包含一定数量的噪音，且由于噪声的影响，同一平面可能在霍夫空间上划分为多个(θ,φ,ρ)参数空间，会引发其在后续统计累加器上的霍夫峰值变的模糊。针对此类现象，本实施例优选采用下述投票方法来解决，即在霍夫空间进行投票累加值峰值统计时，并不统计每个基本单元的点个数得到最大值，而是对每个单元的一个邻域进行合并统计，解决了噪音导致的峰值分散问题。

对所述待拟合平面候选点进行霍夫空间投票，提取投票数大于预设阈值的机柜平面点云区域；其中，霍夫空间投票的思想可概括为：由各个待拟合平面候选点向其符合霍夫空间参数进行投票，得票者最多的霍夫空间参数胜出，成为最优平面估计；

具体的，初始化一块缓冲区构建一个三维数组，对应于参数空间，将其所有数据置为0，三维数组的大小为参数离散化的步长，本实施例中分别选择stepθ＝π/180，stepφ＝π/180；第三维保存符合平面的点的个数，称为累加器或投票器；同时，根据实际情况确定预设阈值，并以此阈值为单位，按照下述过程对霍夫空间离散化：遍历每个三维点对应的霍夫空间坐标，对其对应的(θ,φ,ρ)数组进行累加投票加1，即在累计统计阶段，将落入同一离散化区间的值相加，作为此区间的累计投票得分，同时，由于法向量的对称性，在统计累加器个数时，认为θ＝0与θ＝π是毗连的，属于同一个平面，同理，φ＝0与φ＝π是毗连的，属于同一个平面；遍历投票完成后，查找霍夫空间参数中累加值大于预设阈值的区域，并对此区域求平均值，确定最终的机柜平面点云区域，即得到左机柜平面点云区域和右机柜平面点云区域；

根据所述机柜平面点云区域，拟合得到对应的潜在机柜平面方程；，则此选中机柜平面点云区域满足如下方程：

ρ＝xcos(θ)sin(φ)+ysin(θ)sin(φ)+zcos(φ)，ρ∈[0,R] (3)

其中，R为三维数据中的最大值；

由(3)式，可确定：

A＝cos(θ)sin(φ)

B＝sin(θ)sin(φ)

C＝cos(φ)

D＝-ρ

即拟合得到对应的潜在机柜平面方程为：Ax+By+Cz+D＝0，对应的霍夫空间参数区域为属于同一平面的点云簇。

本实施例中采用的霍夫空间平面拟合方式，可通过一次计算同时拟合多个不同平面的方程，相比于基于随机采样一致性(RANSAC)及其变种的平面拟合方法，并没有因拟合平面数目的增加而明显增大计算量；

S15、联立所有潜在机柜平面方程，得到多平面方程组，并通过求解所述多平面方程组，得到相机相对地平面外参矩阵；其中，潜在机柜平面方程的数量为机柜双目时序图像预设数量的两倍；巡逻小车在机房移动过程中，并不会破坏机柜平面的法向量平行于地平面的假设，基于此，本实施例优选使用滑动窗口的方式，联立预设数量机柜双目时序图像对应的多个潜在机柜平面方程，并通过SVD分解求具有最小二乘意义的最小值，确定最优相机外参旋转矩阵；

具体地，如机柜双目时序图像的预设数量设为20，窗口内的每一个机柜双目图像按照上述方法得到2个机柜平面点云簇以及对应的平面方程，即20个机柜双目时序图像的潜在机柜平面方程联立可得到40个方程；具体地，所述通过求解所述多平面方程组，得到相机相对地平面外参矩阵的步骤包括：

根据所述多平面方程组，构建对应的最小化误差方程组，并将所述最小化误差方程组的求解问题转化为对应线性方程组的最小二乘问题；其中，多平面方程组如上所述可理解为同时包括所有机柜双目时序图像的潜在机柜平面方程，假设PG为待求的地平面，即待优化未知量，PL、PR分别为拟合得到的潜在左机柜平面和潜在右机柜平面，则每个机柜双目时序图像的2个潜在机柜平面方程对应的误差方程可表示为：

式中，

其中，i和N分别表示机柜双目时序图像的序号和总数；

表示关键点平面PG的法向量，是待优化变量，且

和

分别表示平面PL的法向量和平面PR的法向量；R_x90，R_-x90分别表示绕车体坐标系的X轴正、逆向旋转π/2；

对于机房现场巡逻的场景，

和

逻辑上代表现场机柜表面外壳的垂直平面，所以

和

的旋转矩阵分别经过正反向90°旋转后，应该和地平面PG平行，所以根据上述2个误差方程，可以构建对应的最小化误差方程组，进而将最小化误差问题转换为求解线性方程组AX＝b的最小二乘问题，即，

x＝(A^TA)^-1A^Tb

其中，(x_i，y_i，z_i)表示输入的地平面法向量；对应的交叉协方差矩阵可表示为：

将所述线性方程组对应的交叉协方差矩阵进行SVD分解，得到相机坐标系的地平面旋转矩阵，并将所述地平面旋转矩阵进行角轴分解，得到地平面法向量；其中，交叉协方差矩阵如上所示，通过UQV^T的SVD矩阵分解方式，得到相机坐标系的地平面旋转矩阵为R＝VU^T，且根据罗德里格斯公式Rodrigues’s Formula进行角轴形式分解为

即得到优化后的地平面法向量；

根据所述地平面法向量和所述三维机柜关键点坐标，得到相机坐标系相对地平面高度；其中，地平面法向量通过上述方法确定后，即可与前述得到三维机柜关键点坐标结合，确定所求的地平面方程，进而根据地平面方程计算得到相机坐标系相对地平面高度；具体地，所述根据所述地平面法向量和所述三维机柜关键点坐标，得到相机坐标系相对地平面高度的步骤包括：

将根据所述地平面法向量与各个三维机柜关键点坐标分别代入平面方程公式，分别得到对应的候选地平面方程；其中，候选地平面方程表示为：

a₀X+a₁Y+a₃Z+D_i＝0(D_i≠0，i＝1，2，3，...)

将各个候选地平面方程求平均值，得到地平面方程；其中，地平面方程表示为：

a₀X+a₁Y+a₃Z+D＝0

其中，D为D_i的平均值；

t＝(0，0，height)

式中，

表示地平面方程法向量

的范数；

本实施例中基于机房环境的先验信息确定地平面法向量，并结合从预设数量机柜双目时序图像提取的大量机柜关键点，确定最终的地平面方程，为地平面方程的精准性提供可靠保证；

根据相机坐标系的Y轴向量和地平面法向量，得到旋转轴和旋转角度，并将所述旋转轴和旋转角度转换为相机坐标系相对地平面旋转矩阵；其中，相机坐标系的Y轴向量和地平面法向量构成的平面必为旋转角所在的平面，则旋转轴必垂直该平面，即旋转轴和旋转角度可分别表示为：

式中，

θ、

和

分别表示旋转轴、旋转角度、地平面方程法向量和相机坐标系的Y轴向量；将得到的旋转轴归一化得到单位旋转轴后，采用罗德里格旋转公式(Rodrigues′rotation formula)，即可得到相机坐标系相对地平面旋转矩阵R；

T＝[R|t]

式中，

其中，T表示相机相对地平面外参矩阵；R和t分别表示相机坐标系旋转矩阵和相机坐标系相对地平面高度。

本申请实施例通过对获取的预设数目机柜双目时序图像进行双目匹配得到深度信息和3D点云信息，并在将3D点云信息依次通过离散值滤波、体素下采样和高斯曲率滤波处理后，利用其基于霍夫空间投票拟合潜在机柜平面方程后，将预设数目机柜双目时序图像对应的潜在机柜平面方程联立得到的多平面方程组，并结合利用特定轻量级关键点提取网络提取的机房机柜图像的机柜关键点信息，最大化利用环境信息，无需标定板的情况下实时更新相机相对地平面外参矩阵，即基于机房先验信息实现相机参数在线校正，不仅能避免对现场环境的改造，而且能保证在线标定的高效精准、以及适应环境变化的高鲁棒性。

需要说明的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。

在一个实施例中，如图4所示，提供了一种机房相机平面在线标定系统，所述系统包括：

图像采集模块1，用于通过双目相机，获取预设数量的机柜双目时序图像；所述机柜双目图像包括左目机柜图像和右目机柜图像；

图像处理模块2，用于根据各个机柜双目图像，提取对应的机柜深度图和相机坐标系机柜3D点云；

关键点提取模块3，用于通过预设物体检测模型，根据各个机柜双目图像的多个二维机柜关键点坐标，并根据所述二维机柜关键点坐标和所述机柜深度图，得到对应的三维机柜关键点坐标；

平面拟合模块4，用于根据各个相机坐标系机柜3D点云，拟合得到对应的潜在机柜平面方程；所述潜在机柜平面方程包括潜在左机柜平面方程和潜在右机柜平面方程；

外参求解模块5，用于联立所有潜在机柜平面方程，得到多平面方程组，并通过求解所述多平面方程组，得到相机相对地平面外参矩阵。

关于一种机房相机平面在线标定系统的具体限定可以参见上文中对于一种机房相机平面在线标定方法的限定，在此不再赘述。上述一种机房相机平面在线标定系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图5示出一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。如图5所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机房相机平面在线标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域普通技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。

综上，本发明实施例提供的一种机房相机平面在线标定方法、系统、计算机设备及存储介质，其机房相机平面在线标定方法实现了通过双目相机获取预设数量的机柜双目时序图像，并提取对应的机柜深度图、相机坐标系机柜3D点云，和对3D点云信息依次通过离散值滤波、体素下采样和高斯曲率滤波处理进一步筛选，以及通过特定轻量级关键点提取网络提取机柜双目图像的多个二维机柜关键点坐标，并根据二维机柜关键点坐标和机柜深度图得到对应的三维机柜关键点坐标后，再对根据相机坐标系机柜3D点云拟合得到对应的潜在机柜平面方程进行联立得到多平面方程组，以及求解多平面方程组得到相机相对地平面外参矩阵的技术方案，通过合理有效的利用机房现场信息，无需标定板就能基于机房先验信息实现相机参数在线校正，不仅能避免对现场环境的改造，而且能保证在线标定的高效性、精准性、以及适应环境变化的高鲁棒性。

本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。