CN114332345B - 一种基于双目视觉的冶金库区局部三维重建方法及系统 - Google Patents

Abstract

本发明提供一种基于双目视觉的冶金库区局部三维重建方法及系统，涉及三维重建技术领域，包括：当接收到获取原始图像请求时，通过双目相机获取所述原始图像请求中的原始图像数据；通过原始图像数据和双目相机标定参数确定待检测物体相机坐标数据；通过所述待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端。本发明中，通过引入有能够较好获取深度信息的双目视觉技术可相对精确获取目标物体的三维信息，同时双目视觉系统成本较低，调试方便，定位所花费时长较为稳定，可以适用于多种目标物体的三维信息检测，利于天车控制系统广泛地实现智能装卸工作，提高冶金库区内的物流运输效率。

Description

一种基于双目视觉的冶金库区局部三维重建方法及系统

技术领域

本发明涉及三维重建技术领域，特别是指一种基于双目视觉的冶金库区局部三维重建方法及系统。

背景技术

目前，无人天车库区内天车对于自身的定位主要依靠格雷母线测量装置，在天车运动过程中通过PLC实现反馈回调系统来获得当前天车位置。但是，这种方法无法精确地得到目标所处的方位和角度，误差也较大，无法满足对定位精度要求较高的实时性的要求，同时不利于天车控制系统智能化装卸工作的普遍实现。因此，目前亟需一种高效快捷的冶金库区局部三维重建方法。

发明内容

为了解决上述现有技术无法满足对定位精度要求较高的实时性的要求的问题，本发明实施例提供了一种基于双目视觉的冶金库区局部三维重建方法及系统。所述技术方案如下：

一方面，提供了一种基于双目视觉的冶金库区局部三维重建方法，该方法包括：

当接收到获取原始图像请求时，通过双目相机获取所述原始图像请求中的原始图像数据；

通过原始图像数据和双目相机标定参数确定待检测物体相机坐标数据；

通过所述待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端。

可选地，所述当接收到获取原始图像请求时，通过双目相机获取所述原始图像请求中的原始图像数据之前，还包括：获取所述双目相机标定参数，所述双目相机标定参数包括：双目相机的内部参数、视差以及双目相机间的转换关系。

可选地，所述获取所述双目相机标定参数包括：

分别获取双目相机的内部参数以及双目相机间的转换关系；

获取双目相机的初始视差；

通过所述双目相机的初始视差得到双目相机视差值。

可选地，所述分别获取双目相机的内部参数以及双目相机间的转换关系，包括：

获取双目相机的棋盘格标定板多位姿图像；

通过所述棋盘格标定板多位姿图像得到若干个标定图像棋盘格角点数据；

通过若干个所述标定图像棋盘格角点数据确定双目相机的内部参数；

通过所述双目相机的内部参数和双目相机基线距离确定双目相机间的转换关系。

可选地，所述获取双目相机的初始视差,包括：

设定窗口图像范围，通过所述窗口图像范围确定源图像与目标图像；

获取所述源图像与目标图像对应的编码数据；

通过所述源图像与目标图像对应的编码数据得到源图像与目标图像的汉明距离；

通过源图像与目标图像的汉明距离得到双目相机的初始视差。

可选地，所述通过所述双目相机的初始视差得到双目相机视差值，包括：

通过所述双目相机的初始视差确定初始代价空间；

通过初始代价空间确定最优代价空间；

通过所述最优代价空间确定亚像素精度视差；

通过所述亚像素精度视差确定双目相机视差值。

可选地，所述通过原始图像数据和双目相机标定参数确定待检测物体相机坐标数据，包括：

通过原始图像数据和双目相机标定参数确定待测物体特征参数；

通过待测物体特征参数确定待检测物体相机坐标数据，待检测物体相机坐标数据包括：待检测物体在检测区域内的相机坐标空间位置信息及尺寸信息。

可选地，所述通过原始图像和双目相机标定参数确定待测物体特征参数，包括：

通过原始图像和双目相机标定参数确定原始图像空间三维坐标；

原始图像空间三维坐标确定待测物体特征参数。

可选地，所述通过所述待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端，包括：

通过相机坐标系和库区坐标系确定相机坐标系和库区坐标系的关系；

通过相机坐标系和库区坐标系的关系待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端，所述待检测物体天车坐标数据包括：待检测物体天车坐标空间位置数据及尺寸数据。

另一方面，提供了一种基于双目视觉的冶金库区局部三维重建系统，该装置应用于基于双目视觉的冶金库区局部三维重建方法，该系统包括：

获取模块，用于当接收到获取原始图像请求时，通过双目相机获取所述获取原始图像请求中的原始图像数据；

确定模块，用于通过原始图像数据和双目相机标定参数确定待检测物体相机坐标数据；

发送模块，用于通过所述待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端。

可选地，所述确定模块，用于：

通过原始图像数据和双目相机标定参数确定待测物体特征参数；

通过待测物体特征参数确定待检测物体相机坐标数据，待检测物体相机坐标数据包括：待检测物体在检测区域内的相机坐标空间位置信息及尺寸信息。

另一方面，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于双目视觉的冶金库区局部三维重建方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于双目视觉的冶金库区局部三维重建方法。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明中，通过引入有能够较好获取深度信息的双目视觉技术可相对精确获取目标物体的三维信息，同时双目视觉系统成本较低，调试方便，定位所花费时长较为稳定，可以适用于多种目标物体的三维信息检测，利于天车控制系统广泛地实现智能装卸工作，提高冶金库区内的物流运输效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于双目视觉的冶金库区局部三维重建方法的流程图；

图2是本发明实施例提供的一种基于双目视觉的冶金库区局部三维重建方法的流程图；

图3是本发明实施例提供的一种基于双目视觉的冶金库区局部三维重建方法中视差后处理过程算法的流程图；

图4是本发明实施例提供的一种基于双目视觉的冶金库区局部三维重建系统结构图；

图5是本发明实施例提供的一种基于双目视觉的冶金库区局部三维重建系统框图；

图6是根据一示例性实施例示出的一种终端的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种基于双目视觉的冶金库区局部三维重建方法，该方法可以由终端或服务器实现。如图1所示的基于双目视觉的冶金库区局部三维重建方法流程图，该方法的处理流程可以包括如下的步骤：

S101、当接收到获取原始图像请求时，通过双目相机获取所述原始图像请求中的原始图像数据；

S102、通过原始图像数据、双目相机标定参数和双目相机视差值确定待检测物体相机坐标数据；

S103、通过所述待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端。

可选地，所述当接收到获取原始图像请求时，通过双目相机获取所述原始图像请求中的原始图像数据之前，还包括：获取所述双目相机标定参数和双目相机视差值，所述双目相机标定参数包括：双目相机的内部参数、视差以及双目相机间的转换关系。

可选地，获取所述双目相机标定参数包括：

分别获取双目相机的内部参数以及双目相机间的转换关系；

获取所述双目相机视差值包括：

获取双目相机的初始视差；

通过所述双目相机的初始视差得到双目相机视差值。

可选地，所述分别获取双目相机的内部参数以及双目相机间的转换关系，包括：

获取双目相机的棋盘格标定板多位姿图像；

通过所述棋盘格标定板多位姿图像得到若干个标定图像棋盘格角点数据；

通过若干个所述标定图像棋盘格角点数据确定双目相机的内部参数；

通过所述双目相机的内部参数和双目相机基线距离确定双目相机间的转换关系。

可选地，所述获取双目相机的初始视差,包括：

设定窗口图像范围，通过所述窗口图像范围确定源图像与目标图像；

获取所述源图像与目标图像对应的编码数据；

通过所述源图像与目标图像对应的编码数据得到源图像与目标图像的汉明距离；

通过源图像与目标图像的汉明距离得到双目相机的初始视差。

可选地，所述通过所述双目相机的初始视差得到双目相机视差值，包括：

通过所述双目相机的初始视差确定初始代价空间；

通过初始代价空间确定最优代价空间；

通过所述最优代价空间确定亚像素精度视差；

通过所述亚像素精度视差确定双目相机视差值。

可选地，所述通过原始图像数据和双目相机标定参数确定待检测物体相机坐标数据，包括：

通过原始图像数据和双目相机标定参数确定待测物体特征参数；

通过待测物体特征参数确定待检测物体相机坐标数据，待检测物体相机坐标数据包括：待检测物体在检测区域内的相机坐标空间位置信息及尺寸信息。

可选地，所述通过原始图像和双目相机标定参数确定待测物体特征参数，包括：

通过原始图像和双目相机标定参数确定原始图像空间三维坐标；

原始图像空间三维坐标确定待测物体特征参数。

可选地，所述通过所述待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端，包括：

通过相机坐标系和库区坐标系确定相机坐标系和库区坐标系的关系；

通过相机坐标系和库区坐标系的关系待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端，所述待检测物体天车坐标数据包括：待检测物体天车坐标空间位置数据及尺寸数据。

本发明实施例提供了一种基于双目视觉的冶金库区局部三维重建方法，该方法可以由终端或服务器实现。如图2所示的基于双目视觉的冶金库区局部三维重建方法流程图，该方法的处理流程可以包括如下的步骤：

S201、分别获取双目相机的内部参数以及双目相机间的转换关系。

首先，获取双目相机的棋盘格标定板多位姿图像，通过获取左右相机一致的对应的棋盘格标定板多位姿图像，所采集图像中需保证标定板不超出左右相机视野范围；

将标定板放置于左右相机视野的重叠区域内，拍摄9-16张图像，保证标定板图像能够布满整个视野且标定板不能超出左右相机各自的视野范围。

接下来，通过棋盘格标定板多位姿图像得到若干个标定图像棋盘格角点数据，采用Harris角点检测算法提取各标定图像棋盘格角点信息，得到对应的角点坐标(u，v)。

通过若干个所述标定图像棋盘格角点数据确定双目相机的内部参数；

根据得到的棋盘格角点像素坐标值计算左右相机的内部参数M_InL、M_InR。

本实施例中相机的内参矩阵可以表示为：

式中，f_x,f_y——相机标定参数，分别表示焦距在图像像素坐标系下沿两坐标轴方向的分量；

C_x,C_y——相机标定参数，分别表示图像主点的位置坐标；

本实施例中左右相机内参矩阵标定结果分别为：

接下来，通过双目相机的内部参数和双目相机基线距离确定双目相机间的转换关系，双目相机标定的过程如下，首先假设棋盘标定板上有一特征点P，其在世界坐标系下的坐标为P_W，其在左右相机下的左边分别记为P_L＝[X_L,Y_L,Z_L]^T，P_R＝[X_R,Y_R,Z_R]^T，

本实施例中左右相机间的关联关系可以表示为：

式中，R_R,R_L——分别表示左右相机相对于标定平面的空间旋转矩阵；

T_R,T_L——分别表示左右相机相对于标定平面的空间平移矩阵；

R,T——表示左右相机间的空间旋转量和空间平移量；

本实施例中左右相机间的空间旋转量与空间平移量标定结果可以表示为：

双目相机标定完成后，可以建立以左目相机坐标系为原点的双目立体视觉基准坐标系；

在本实施例中，由图像处理获取一组待检测车辆边缘像素坐标为A(600，263)、B(600，473)。

S202、获取双目相机的初始视差。

首先，设定窗口图像范围，通过所述窗口图像范围确定源图像与目标图像，通过构建一个以像素点p为中心像素的局部窗口，以像素点p为中心像素为源图像，窗口内像素q为目标图像。

接下来，获取源图像与目标图像对应的编码数据，将窗口内像素q的灰度值依次与中心像素(点p)值进行比较，其计算公式为：

式中：I(p),I(q)——表示中心像素(p)与窗口内像素(q)灰度值；

N_p——表示在设定窗口范围内中心像素邻域内各像素点；

若I(q)≥I(p)则记为0，若I(q)＜I(p)则记为1，获取一个对应像素点p的二进制字符串。

接下来，通过源图像与目标图像对应的编码数据得到源图像与目标图像的汉明距离，已经求出的源图像与目标图像对应的编码串(获取一个对应像素点p的二进制字符串)，通过对长度一致的两组二进制编码进行异或运算求解其对应的汉明距离，计算公式为：

C(x,y,d)＝Hamming(S^l(x,y),S^r(x-d,y))

式中：S^l(x,y),S^r(x-d,y)——表示源图像与目标图像在视差为d像素点处对应的编码串；

在本实施例中选取立体匹配算法窗口大小为5，在匹配过程中构建以待检测像素为中心，窗口为大小5的局部窗口，并将窗口内像素依次与中心像素的灰度值进行比较，并统计各像素点的比较结果生成像素点描述子。

式中：I(p),I(q)——表示中心像素与窗口内像素灰度值；

N_p——表示在设定窗口范围内中心像素邻域内各像素点；

若I(q)≥I(p)则记为0，若I(q)＜I(p)则记为1，获取一个对应像素点p的二进制字符串。

在本实施例中像素点A的描述子为101111011001110111100000，像素点B的描述子为101011011000110111110010。同时对源图像与目标图像相似度计算：通过已经求出的源图像与目标图像对应的编码串，通过对长度一致的两组二进制编码进行异或运算求解其对应的汉明距离，计算公式为：

C(x,y,d)＝Hamming(S^l(x,y),S^r(x-d,y))

式中：S^l(x,y),S^r(x-d,y)——表示源图像与目标图像在视差为d像素点处对应的编码串

通过源图像与目标图像的汉明距离得到双目相机的初始视差，通过WTA算法计算得到经过局部立体匹配算法得到的初始视差。

S203、通过双目相机的初始视差得到双目相机视差值。

如图3所示，首先，通过双目相机的初始视差确定初始代价空间，基于初始视差(S2.2)图，根据相邻层级视差构建新的代价空间C_(i)(x,y,d)，

C_(i)(x,y,d)＝min(η*L,(d-D_(i)(x,y))²)

式中：L——表示搜寻视差层级范围；

d——表示候选视差；

D_(i)(x,y)——表示对应L层级的视差；

η——表示在划分视差层级时的尺度系数。

通过初始代价空间确定最优代价空间，采用双边滤波器对重新构建C_(i)(x,y,d)，进行处理，在平滑图像的同时保持其边缘特征已解决在深度变化区域的不连续问题，获得代价空间C_i ^CW。

双边滤波器模型及参数选取表达式为：

式中：R,G,B——表示图像的各个颜色通道；

γ_c,γ_s——分别表示空间距离与图像强度信息两个阈值。

通过最优代价空间确定亚像素精度视差，通过双边滤波器生成的新的代价空间，亚像素精度视差可以通过视差后处理的方式来获得，利用代价空间中由WTA得到最佳视差的相邻视差及对应代价值作为补充信息进行求解。对于任意一个像素点(x，y)可计算出最佳亚像素坐标值，其表达式为：

式中：d_min——表示代价空间中利用WTA获取的最佳视差；

C(x,y,d_min)——表示像素点(x,y)对应的最佳视差；

(d_min-1,C(x,y,d_min-))，(d_min+1,C(x,y,d_min+))——分别表示最佳视差相邻层级相同像素点的对应视差；

d^*——表示经过视差后处理过程计算得到的亚像素精度视差。

在本实施例中，在经过亚像素精度视差求解后得到最终视差，像素点A的亚像素精度视差为9.95356，像素点B的亚像素精度视差为11.2854。

通过亚像素精度视差确定双目相机视差值，设定迭代次数N，使用生成的亚像素精度视差作为代价空间C_(i)(x,y,d)的输入值，当迭代次数达到设定值时，生成双目相机视差值。

S204、当接收到获取原始图像请求时，通过双目相机获取所述原始图像请求中的原始图像数据。

将双目相机架设于天车上并通过以太网与地面服务器相连接，以面扫描的方式获取覆盖整个检测区域的原始图像数据。

S205、通过原始图像数据、双目相机的内部参数、双目相机视差值以及双目相机间的转换关系确定待检测物体相机坐标数据。

通过原始图像数据和双目相机标定参数确定待测物体特征参数；

通过原始图像和双目相机标定参数确定原始图像空间三维坐标；

原始图像空间三维坐标确定待测物体特征参数。

通过待测物体特征参数确定待检测物体相机坐标数据，待检测物体相机坐标数据包括：待检测物体在检测区域内的相机坐标空间位置信息及尺寸信息。

S206、通过所述待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端。

通过相机坐标系和库区坐标系确定相机坐标系和库区坐标系的关系；

通过相机坐标系和库区坐标系的关系待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端，所述待检测物体天车坐标数据包括：待检测物体天车坐标空间位置数据及尺寸数据。

在本实施例中，在经过亚像素精度视差求解后得到最终视差，像素点A的亚像素精度视差为9.95356，像素点B的亚像素精度视差为11.2854。

在本实施例中，利用计算的最终视差带入双目立体视觉模型中，计算对应像素点的空间三维坐标，其计算公式为：

式中：(u,v)——表示对象像素点坐标；

d——表示生成的最终视差；

C_x,C_y——相机标定参数，分别表示图像主点的位置坐标；

f_x,f_y——相机标定参数，分别表示焦距在图像像素坐标系下沿两坐标轴方向的分量；

X,Y,Z——表示与图像像素坐标对应的空间真实点在相机坐标系的空间三维信息。

在本实施例中，像素点A的深度坐标为6245mm，像素点B的深度坐标为5508mm，将深度值代入双目视觉模型中求解另外两个维度的坐标值。

在本实施例中，相机坐标系下A点的三维坐标值为[-83.5790，-621.6017，6245]，B点的三维坐标值为[-73.7155，571.6141，5508]。

在本实施例中，通过获取双目相机与库区坐标系下的相同点在各自坐标系下的坐标值为：

在本申请实施例中，视觉坐标系与库区坐标系的空间变换矩阵拟合结果为：

在本实施例中，在库区坐标系下像素点A的库区坐标值为[-6868.046，-882.8242，-1004.287]，像素点B的库区坐标值[-7306.432，-905.2015，327.7115]。

在本实施例中计算得到空间两点距离为1402.5mm，即待检测车辆的宽度为1402.5mm。

本发明中，通过引入有能够较好获取深度信息的双目视觉技术可相对精确获取目标物体的三维信息，同时双目视觉系统成本较低，调试方便，定位所花费时长较为稳定，可以适用于多种目标物体的三维信息检测，利于天车控制系统广泛地实现智能装卸工作，提高冶金库区内的物流运输效率。

图5是根据一示例性实施例示出的一种基于双目视觉的冶金库区局部三维重建系统框图。参照图4和5，提供了：

获取模块510，用于当接收到获取原始图像请求时，获取所述获取原始图像请求中的通过双目相机获取原始图像数据；

确定模块520，用于通过原始图像数据和双目相机标定参数确定待检测物体相机坐标数据；

发送模块530，用于通过所述待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端。

可选地，所述确定模块520，用于：

通过原始图像数据和双目相机标定参数确定待测物体特征参数；

通过待测物体特征参数确定待检测物体相机坐标数据，待检测物体相机坐标数据包括：待检测物体在检测区域内的相机坐标空间位置信息及尺寸信息。

本发明中，通过引入有能够较好获取深度信息的双目视觉技术可相对精确获取目标物体的三维信息，同时双目视觉系统成本较低，调试方便，定位所花费时长较为稳定，可以适用于多种目标物体的三维信息检测，利于天车控制系统广泛地实现智能装卸工作，提高冶金库区内的物流运输效率。

图6是本发明实施例提供的一种终端600的结构示意图，该终端600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述基于双目视觉的冶金库区局部三维重建方法的步骤。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于双目视觉的冶金库区局部三维重建方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于双目视觉的冶金库区局部三维重建方法，其特征在于，所述方法包括：

当接收到获取原始图像请求时，通过双目相机获取所述原始图像请求中的原始图像数据；

通过原始图像数据、双目相机标定参数和双目相机视差值确定待检测物体相机坐标数据；

通过所述待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端；

其中，所述当接收到获取原始图像请求时，通过双目相机获取所述原始图像请求中的原始图像数据之前，还包括：获取所述双目相机标定参数和双目相机视差值，所述双目相机标定参数包括：双目相机的内部参数以及双目相机间的转换关系；

其中，获取所述双目相机标定参数，包括：

分别获取双目相机的内部参数以及双目相机间的转换关系；

获取所述双目相机视差值包括：

获取双目相机的初始视差；

通过所述双目相机的初始视差得到双目相机视差值；

其中，所述通过所述双目相机的初始视差得到双目相机视差值，包括：

通过所述双目相机的初始视差确定初始代价空间；

其中，通过所述双目相机的初始视差确定初始代价空间，包括：

通过双目相机的初始视差确定初始代价空间，基于初始视差图，根据相邻层级视差构建新的代价空间C_(i)(x,y,d)，

C_(i)(x,y,d)＝min(η*L,(d-D_(i)(x,y))²)

式中：L——表示搜寻视差层级范围；

d——表示候选视差；

D_(i)(x,y)——表示对应L层级的视差；

η——表示在划分视差层级时的尺度系数；

通过初始代价空间确定最优代价空间；

其中，通过初始代价空间确定最优代价空间，包括：

采用双边滤波器对重新构建C_(i)(x,y,d)，进行处理，在平滑图像的同时保持其边缘特征已解决在深度变化区域的不连续问题，获得代价空间C_i ^CW；

双边滤波器模型及参数选取表达式为：

式中：R,G,B——表示图像的各个颜色通道；

γ_c,γ_s——分别表示空间距离与图像强度信息两个阈值；

通过所述最优代价空间确定亚像素精度视差；

其中，确定亚像素精度视差的公式如下：

其中：d_min表示代价空间中利用WTA获取的最佳视差；C(x,y,d_min)表示像素点(x,y)对应的最佳视差的代价值；d_min-1和d_min+1分别表示最佳视差相邻层级相同像素点的对应视差；C(x,y,d_min-)表示d_min-1对应的代价值，C(x,y,d_min+)表示d_min+1对应的代价值，d^*表示经过视差后处理过程计算得到的亚像素精度视差；

通过所述亚像素精度视差确定双目相机视差值；通过亚像素精度视差确定双目相机视差值，设定迭代次数N，使用生成的亚像素精度视差作为代价空间C_(i)(x,y,d)的输入值，当迭代次数达到设定值时，生成双目相机视差值；

其中，所述分别获取双目相机的内部参数以及双目相机间的转换关系，包括：

获取双目相机的棋盘格标定板多位姿图像；

通过所述棋盘格标定板多位姿图像得到若干个标定图像棋盘格角点数据；

通过若干个所述标定图像棋盘格角点数据确定双目相机的内部参数；

通过所述双目相机的内部参数和双目相机基线距离确定双目相机间的转换关系；

其中，所述获取双目相机的初始视差,包括：

设定窗口图像范围，通过所述窗口图像范围确定源图像与目标图像；

获取所述源图像与目标图像对应的编码数据；

通过所述源图像与目标图像对应的编码数据得到源图像与目标图像的汉明距离；

通过源图像与目标图像的汉明距离得到双目相机的初始视差；

其中，所述分别获取双目相机的内部参数以及双目相机间的转换关系，包括：

首先，获取双目相机的棋盘格标定板多位姿图像，通过获取左右相机一致的对应的棋盘格标定板多位姿图像，所采集图像中需保证标定板不超出左右相机视野范围；

将标定板放置于左右相机视野的重叠区域内，拍摄9-16张图像，保证标定板图像能够布满整个视野且标定板不能超出左右相机各自的视野范围；

接下来，通过棋盘格标定板多位姿图像得到若干个标定图像棋盘格角点数据，采用Harris角点检测算法提取各标定图像棋盘格角点信息，得到对应的角点坐标(u，v)；

通过若干个所述标定图像棋盘格角点数据确定双目相机的内部参数；

根据得到的棋盘格角点像素坐标值计算左右相机的内部参数M_InL、M_InR；

相机的内参矩阵表示为：

式中，f_x,f_y——相机标定参数，分别表示焦距在图像像素坐标系下沿两坐标轴方向的分量；

C_x,C_y——相机标定参数，分别表示图像主点的位置坐标；

接下来，通过双目相机的内部参数和双目相机基线距离确定双目相机间的转换关系，双目相机标定的过程如下，首先假设棋盘标定板上有一特征点P，其在世界坐标系下的坐标为P_W，其在左右相机下的坐标分别记为P_L＝[X_L,Y_L,Z_L]^T，P_R＝[X_R,Y_R,Z_R]^T，

左右相机间的关联关系表示为：

式中，R_R,R_L——分别表示左右相机相对于标定平面的空间旋转矩阵；

T_R,T_L——分别表示左右相机相对于标定平面的空间平移矩阵；

R,T——表示左右相机间的空间旋转量和空间平移量；

其中，所述通过原始图像数据、双目相机标定参数和双目相机视差值确定待检测物体相机坐标数据，包括：

通过原始图像数据和双目相机标定参数确定待测物体特征参数；

通过待测物体特征参数确定待检测物体相机坐标数据，待检测物体相机坐标数据包括：待检测物体在检测区域内的相机坐标空间位置信息及尺寸信息；

其中，所述通过所述待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端，包括：

通过相机坐标系和库区坐标系确定相机坐标系和库区坐标系的关系；

通过相机坐标系和库区坐标系的关系以及待检测物体相机坐标数据，确定待检测物体天车坐标数据并发送给天车终端，所述待检测物体天车坐标数据包括：待检测物体天车坐标空间位置数据及尺寸数据；

其中，获取双目相机的初始视差，包括：

首先，设定窗口图像范围，通过所述窗口图像范围确定源图像与目标图像，通过构建一个以像素点p为中心像素的局部窗口，以像素点p为中心像素为源图像，窗口内像素q为目标图像；

接下来，获取源图像与目标图像对应的编码数据，将窗口内像素q的灰度值依次与中心像素点p值进行比较，其计算公式为：

式中：I(p),I(q)——表示中心像素p与窗口内像素q灰度值；

N_p——表示在设定窗口范围内中心像素邻域内各像素点；

若I(q)≥I(p)则记为0，若I(q)＜I(p)则记为1，获取一个对应像素点p的二进制字符串；

接下来，通过源图像与目标图像对应的编码数据得到源图像与目标图像的汉明距离，已经求出的源图像与目标图像对应的编码串，即获取一个对应像素点p的二进制字符串，通过对长度一致的两组二进制编码进行异或运算求解其对应的汉明距离，计算公式为：

C(x,y,d)＝Hamming(S^l(x,y),S^r(x-d,y))

式中：S^l(x,y),S^r(x-d,y)——表示源图像与目标图像在视差为d像素点处对应的编码串；

通过源图像与目标图像的汉明距离得到像素点在双目相机的视差下的初始代价值，进而通过WTA算法计算得到经过局部立体匹配算法得到的初始视差；

其中，所述通过原始图像和双目相机标定参数确定待测物体特征参数，包括：

通过原始图像和双目相机标定参数确定原始图像空间三维坐标；

原始图像空间三维坐标确定待测物体特征参数；

其中，利用计算的最终视差带入双目立体视觉模型中，计算对应像素点的空间三维坐标的计算公式为：

式中：(u,v)——表示对象像素点坐标；

d——表示生成的最终视差；

C_x,C_y——相机标定参数，分别表示图像主点的位置坐标；

f_x,f_y——相机标定参数，分别表示焦距在图像像素坐标系下沿两坐标轴方向的分量；

X,Y,Z——表示与图像像素坐标对应的空间真实点在相机坐标系的空间三维信息。

2.一种基于双目视觉的冶金库区局部三维重建系统，其特征在于，所述系统包括：

获取模块，用于当接收到获取原始图像请求时，通过双目相机获取所述原始图像请求中的原始图像数据；

确定模块，用于通过原始图像数据和双目相机标定参数确定待检测物体相机坐标数据；

发送模块，用于通过所述待检测物体相机坐标数据确定待检测物体天车坐标数据并发送给天车终端；

其中，所述获取模块，还用于：

当接收到获取原始图像请求时，通过双目相机获取所述原始图像请求中的原始图像数据之前，获取所述双目相机标定参数和双目相机视差值，所述双目相机标定参数包括：双目相机的内部参数以及双目相机间的转换关系；

其中，所述获取模块，用于：

分别获取双目相机的内部参数以及双目相机间的转换关系；

获取所述双目相机视差值包括：

获取双目相机的初始视差；

通过所述双目相机的初始视差得到双目相机视差值；

其中，所述获取模块，还用于：

通过所述双目相机的初始视差确定初始代价空间；

其中，通过所述双目相机的初始视差确定初始代价空间，包括：

通过双目相机的初始视差确定初始代价空间，基于初始视差图，根据相邻层级视差构建新的代价空间C_(i)(x,y,d)，

C_(i)(x,y,d)＝min(η*L,(d-D_(i)(x,y))²)

式中：L——表示搜寻视差层级范围；

d——表示候选视差；

D_(i)(x,y)——表示对应L层级的视差；

η——表示在划分视差层级时的尺度系数；

通过初始代价空间确定最优代价空间；

其中，通过初始代价空间确定最优代价空间，包括：

采用双边滤波器对重新构建C_(i)(x,y,d)，进行处理，在平滑图像的同时保持其边缘特征已解决在深度变化区域的不连续问题，获得代价空间C_i ^CW；

双边滤波器模型及参数选取表达式为：

式中：R,G,B——表示图像的各个颜色通道；

γ_c,γ_s——分别表示空间距离与图像强度信息两个阈值；

通过所述最优代价空间确定亚像素精度视差；

其中，确定亚像素精度视差的公式如下：

其中：d_min表示代价空间中利用WTA获取的最佳视差；C(x,y,d_min)表示像素点(x,y)对应的最佳视差的代价值；d_min-1和d_min+1分别表示最佳视差相邻层级相同像素点的对应视差C(x,y,d_min-)表示d_min-1对应的代价值，C(x,y,d_min+)表示d_min+1对应的代价值；d^*表示经过视差后处理过程计算得到的亚像素精度视差；

通过所述亚像素精度视差确定双目相机视差值；通过亚像素精度视差确定双目相机视差值，设定迭代次数N，使用生成的亚像素精度视差作为代价空间C_(i)(x,y,d)的输入值，当迭代次数达到设定值时，生成双目相机视差值；

其中，所述获取模块，用于：

获取双目相机的棋盘格标定板多位姿图像；

通过所述棋盘格标定板多位姿图像得到若干个标定图像棋盘格角点数据；

通过若干个所述标定图像棋盘格角点数据确定双目相机的内部参数；

通过所述双目相机的内部参数和双目相机基线距离确定双目相机间的转换关系；

其中，所述获取模块，用于：

设定窗口图像范围，通过所述窗口图像范围确定源图像与目标图像；

获取所述源图像与目标图像对应的编码数据；

通过所述源图像与目标图像对应的编码数据得到源图像与目标图像的汉明距离；

通过源图像与目标图像的汉明距离得到双目相机的初始视差；

其中，所述分别获取双目相机的内部参数以及双目相机间的转换关系，包括：

首先，获取双目相机的棋盘格标定板多位姿图像，通过获取左右相机一致的对应的棋盘格标定板多位姿图像，所采集图像中需保证标定板不超出左右相机视野范围；

将标定板放置于左右相机视野的重叠区域内，拍摄9-16张图像，保证标定板图像能够布满整个视野且标定板不能超出左右相机各自的视野范围；

接下来，通过棋盘格标定板多位姿图像得到若干个标定图像棋盘格角点数据，采用Harris角点检测算法提取各标定图像棋盘格角点信息，得到对应的角点坐标(u，v)；

通过若干个所述标定图像棋盘格角点数据确定双目相机的内部参数；

根据得到的棋盘格角点像素坐标值计算左右相机的内部参数M_InL、M_InR；

相机的内参矩阵表示为：

式中，f_x,f_y——相机标定参数，分别表示焦距在图像像素坐标系下沿两坐标轴方向的分量；

C_x,C_y——相机标定参数，分别表示图像主点的位置坐标；

接下来，通过双目相机的内部参数和双目相机基线距离确定双目相机间的转换关系，双目相机标定的过程如下，首先假设棋盘标定板上有一特征点P，其在世界坐标系下的坐标为P_W，其在左右相机下的坐标分别记为P_L＝[X_L,Y_L,Z_L]^T，P_R＝[X_R,Y_R,Z_R]^T，

左右相机间的关联关系表示为：

式中，R_R,R_L——分别表示左右相机相对于标定平面的空间旋转矩阵；

T_R,T_L——分别表示左右相机相对于标定平面的空间平移矩阵；

R,T——表示左右相机间的空间旋转量和空间平移量；

其中，确定模块，用于：

通过原始图像数据和双目相机标定参数确定待测物体特征参数；

通过待测物体特征参数确定待检测物体相机坐标数据，待检测物体相机坐标数据包括：待检测物体在检测区域内的相机坐标空间位置信息及尺寸信息；

其中，所述发送模块，用于：

通过相机坐标系和库区坐标系确定相机坐标系和库区坐标系的关系；

通过相机坐标系和库区坐标系的关系以及待检测物体相机坐标数据，确定待检测物体天车坐标数据并发送给天车终端，所述待检测物体天车坐标数据包括：待检测物体天车坐标空间位置数据及尺寸数据；

其中，获取双目相机的初始视差，包括：

首先，设定窗口图像范围，通过所述窗口图像范围确定源图像与目标图像，通过构建一个以像素点p为中心像素的局部窗口，以像素点p为中心像素为源图像，窗口内像素q为目标图像；

接下来，获取源图像与目标图像对应的编码数据，将窗口内像素q的灰度值依次与中心像素点p值进行比较，其计算公式为：

式中：I(p),I(q)——表示中心像素p与窗口内像素q灰度值；

N_p——表示在设定窗口范围内中心像素邻域内各像素点；

若I(q)≥I(p)则记为0，若I(q)＜I(p)则记为1，获取一个对应像素点p的二进制字符串；

接下来，通过源图像与目标图像对应的编码数据得到源图像与目标图像的汉明距离，已经求出的源图像与目标图像对应的编码串，即获取一个对应像素点p的二进制字符串，通过对长度一致的两组二进制编码进行异或运算求解其对应的汉明距离，计算公式为：

C(x,y,d)＝Hamming(S^l(x,y),S^r(x-d,y))

式中：S^l(x,y),S^r(x-d,y)——表示源图像与目标图像在视差为d像素点处对应的编码串；

通过源图像与目标图像的汉明距离得到像素点在双目相机的初始视差下的初始代价值，进而通过WTA算法计算得到经过局部立体匹配算法得到的初始视差；

其中，所述通过原始图像和双目相机标定参数确定待测物体特征参数，包括：

通过原始图像和双目相机标定参数确定原始图像空间三维坐标；

原始图像空间三维坐标确定待测物体特征参数；

其中，利用计算的最终视差带入双目立体视觉模型中，计算对应像素点的空间三维坐标的计算公式为：

式中：(u,v)——表示对象像素点坐标；

d——表示生成的最终视差；

C_x,C_y——相机标定参数，分别表示图像主点的位置坐标；

f_x,f_y——相机标定参数，分别表示焦距在图像像素坐标系下沿两坐标轴方向的分量；

X,Y,Z——表示与图像像素坐标对应的空间真实点在相机坐标系的空间三维信息。

Images