CN106767399B - 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法 - Google Patents

Abstract

一种基于计算机双目立体视觉技术和点激光测距技术的物流货物体积的非接触测量方法。该方法引入点激光测距辅助手段，利用点激光测距器得到的货物物体测量点位上的深度、距离初始点的距离与图像上点坐标之间的对应关系，建立起了左右摄像机所拍摄图像的几何投影关联关系，并定位和设立左右图像中对应特征点的几何投影相关性区域，在设立的对应特征点的几何投影相关区域中来进行左右图像特征点的图像立体匹配，同时只需要对左图像进行全幅特征点提取，大大缩小图像匹配搜索的范围，降低运算量。本发明解决了其存在的空间点还原问题解唯一性的问题，避免了其图像匹配过程中的误匹配和漏匹配的问题，大大提高了图像立体匹配的有效性和精确性，从而提高了双目立体视觉系统的测量中的精度和速度。

Description

基于双目立体视觉和点激光测距的物流货物体积的非接触测 量方法

技术领域

本发明属于智能非接触测控技术领域，涉及一种基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法。

背景技术

计算机双目立体视觉技术的原理是从不同视角两台摄像机分别获取的两幅图像进行特征成像点的精确匹配，进而找到空间物体点在左右图像上所对应的准确投影像素点，以便利用三角测量原理来计算得到空间物体上物体点的坐标，这样就能得到这个物体尺寸、姿态和空间位置信息。在测量方面，计算机视觉系统技术具有非接触、精度高、速度快等优点，能够轻松地得到其测量结果，相比于使用游标尺等传统方式进行测量在感知广度和效率方面更加能满足人们的需求，而且具有成本低廉、容易安装调试，操作方便，能够海量感知对象和处理信息，不受人为因素影响等优点，且能在各种复杂环境条件下工作，甚至不需要人工操作，可以在远程条件下完成自动进行，很好的克服传统测量技术，以及机械测量臂、三坐标测量机、电子经纬仪、雷达测距仪等新式测量设备要求严格的作业流程，操作复杂，测量效率不高，价格昂贵、维修等困难和问题。

但在计算机利用双目立体视觉技术的图像匹配中一般用到的灰度窗口匹配方法在进行视差不连续或细节不丰富的图像匹配时存在较大的误差；因要搜索整幅图像，来进行灰度相似性计算，所以计算量很大，处理速度很慢；因为对摄像机镜头畸变也比较敏感，很容易受到光照和噪声的影响干扰，算法鲁棒性比较差。而利用极线约束下的图像匹配也存在当图像待匹配点与对应的图像极线上好几个图像点的灰度相关系数都很接近时，会发生匹配出的右图像匹配点并不是真正的空间物体点形成的成像点，出现误匹配；因光照和噪声等原因导致的灰度变化，图像中某条极线上的待匹配特征点在相关图像中的对应极线上找不到对应的匹配点，因而形成漏匹配；当图像中某条极线上有好几个待匹配点与相关图像对应极线上的同一个图像点的灰度相关系数都很接近时，也会造成误匹配情况。

而另一方面，当前物流业在国内快速发展，如何能够快速准确对物流货物和包裹进行非接触测量已成为难点。物流货物、快递包裹种类多，变化大，大小不固定，事先可预测性小，而且量都非常大，人工难以应付，常常造成物流业“大塞车”，针对物流快递业的特点和存在的这些情况，本发明进行了深入研究，设计了结合点激测距的规则货物物体的非接触测量方法，目标代替人工进行规则货物和包裹的测量，提高物流企业的效率。

发明内容

本发明针对以上问题的提出研制的一种基于计算机双目立体视觉技术和点激光测距技术的物流货物体积的非接触测量方法。

本发明的技术方案如下：

一种基于计算机双目立体视觉和点激光测距的物流货物体积的非接触测量方法，该非接触测量方法由两个型号相同的摄像机、一个由计算机控制的点激光测距器、一台计算机组成测量控制系统；将相同型号的两台摄像机光轴互相平行设置，将两台摄像机光轴与物流传输带垂直设置，将两台摄像机光心连线与物流传输带平行设置，将点激光测距器的激光源点设置于两摄像机光心连线中点位置，点激光方向与摄像机光轴平行配置。两台摄像机焦距为f，光心连线，也就是基线的距离为b。点激光源点距离物流传输带的高度为h，点激光源测量的距离为d。以左摄像机光心作为原点，左摄像机主光轴为z轴，基线为x轴，y轴垂直于x轴和y轴，建立测量空间坐标系，对货物物体进行测量。

其具体步骤为：

步骤一:使用相应的方法对摄像机进行标定，得到摄像机的内外部参数和图像极线校正变换矩阵，如张正友平板标定法、两步定标法等摄像机标定方法。

步骤二：在物流货物测量区采集建立背景图像，如传输带上没有货物物体时，使用左右摄像机采集建立背景图像。

步骤三：点激光测距器自动对传输带上物流进行检测。如果有货物时，则测量控制系统自动控制左右摄像机拍摄货物的图像，并记录相关数据。

步骤四：对左右摄像机拍摄的图像进行图像预处理，如进行灰度处理、数字剪影、阈值分割、去噪处理，以便利于后面步骤中对图像中特征点的提取。

步骤五:在预处理后的左右图像中搜索提取图像特征点和货物物体各顶点；

步骤六:进行左右图像匹配计算，得到准确的图像匹配点对；

步骤七:利用三维还原技术进行货物物体上表面各顶点的空间坐标三维还原，利用还原出的各顶点的空间坐标，对货物物体进行外形尺寸和体积计算。

由于采用了上述技术方案，本发明提供的非接触测量的方法，引入点激光测距辅助手段，利用点激光测距器得到的货物物体测量点位上的深度、距离初始点的距离与图像上点坐标之间的对应关系，建立起了左右摄像机所拍摄图像的几何投影关联关系，并定位和设立左右图像中对应特征点的几何投影相关性区域，在设立的对应特征点的几何投影相关区域中来进行左右图像特征点的图像立体匹配，同时只需要对左图像进行全幅特征点提取，大大缩小图像匹配搜索的范围，降低运算量，克服了局部窗口的图像匹配中要对两幅图像所有点进行搜索匹配计算和基于极线约束的图像匹配中必须对对应极线上的点逐个查找造成的运算量大、效率不高和存在多点匹配的问题。而对于因特征点的提取存在的误差、货物物体本身表面或棱线不平整和图像受到光照、噪声点的影响等因素造成的待匹配点在右图像上找不到匹配点的情况，则定义几何投影相关点作为匹配点，解决了匹配漏点而不能计算还原空间物体点的问题，从而在利用双目立体视觉的系统特性对空间物体点的坐标位置进行还原时，解决了其存在的空间点还原问题解唯一性的问题，避免了其图像匹配过程中的误匹配和漏匹配的问题，大大提高了图像立体匹配的有效性和精确性，从而提高了双目立体视觉系统的测量中的精度和速度。该方法测量的高效性在一定程度上能够满足物流业对货物和包裹在线测量的实时性要求，可以部分代替人工工作。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍。

图1为基于双目立体视觉和点激光测距的物流货物非接触测量模型图。

图2为基于双目立体视觉和点激光测距的物流货物非接触测量原理图。

图3为基于双目立体视觉和点激光测距的左右匹配图像相关原理图。

图4为非接触测量物流货物物体测量执行流程图。

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

利用双目立体视觉系统和点激光测距进行物流货物物体三维测量算法执行过程如下：

步骤一:使用相应的方法，如张正友平板标定法、Tsai两步标定法等摄像机标定方法，对摄像机进行标定，得到摄像机的内外部参数和图像极线校正变换矩阵。

未测量前通过进行摄像机标定来得到摄像机的内外部参数，同时计算求解出左右摄像机图像极线校正用的变换矩阵并保存于一个表中，测量时摄像机参数不变，相对位置也不改变，采集的图像对之间的极线几何关系也不会变，也就不需要重复计算变换矩阵，所以可以在正式开始测量时快速进行图像校正。

步骤二：在物流货物测量区采集建立背景图像，如物流传输带上没有货物物体时，使用左右摄像机采集建立背景图像。

采集建立背景图像，在步骤四对货物图像进行预处理时，将其作为参照背景帧，与货物进行差分处理，以从整幅图像中提取和分离出货物图像。

步骤三：点激光测距器自动对传输带上的物流进行检测。如果有货物时，则测量控制系统自动控制左右摄像机拍摄货物的图像，并记录相关数据。

具体过程如下：放置货物的物流传输带在电机控制下以速度α从右向左运动，物体放置在物流传输带时会被轨道带动也从右向左移动。

在物流传输带带动货物向左移动时，在测量控制系统控制下点激光测距器连续工作，对物流传输带上的状态进行检测，当货物和包裹一到达点激光测量点位时，点激光测距器测量数据发生跳变，得到d＜h，就可以知道点激光正打到了货物物体上，设此时点为初始点D，此时触发测量控制系统控制左右两摄像机拍摄图像。

在货物移动过程中利用点激光测距器对货物物体连续进行测距，同时实时记录：点激光源测量的距离值d，及计算得到的当前激光点与测量初始点D之间的距离l(l＝α×t，α为物流传输带的速度，t为运行时间)，以及根据当前激光点所在货物上的位置计算得到的其在摄像机所拍摄图像上的虚拟成像点的纵坐标y。

当点激光测距器当前测到d＝h的时候，就是货物物体离开测量区域的时候，一次测量结束。

其中,当前激光测量点的虚拟成像点的纵坐标y计算方式如下：

而从模型运行特点知道只要货物物体边缘任一点被点激光测到时，测量控制系统就会控制摄像机拍摄当前物体，因为点激光和两台摄像机都是垂直设置且点激光处在和两台摄像机的光心连线上，所以当摄像机拍摄图像时，点激光测量起点D点位置必然处于图像坐标系下的x轴上。

而货物物体在向前运动时，点激光当前的测量点M的成像点M'始终处于图像坐标系的x轴上，货物物体上的测量初始点D点的当前成像点D'的坐标跟着货物物体运动方向运动，D'M'是连续变化的。而这个过程可以看成D点的当前成像点D'始终处在图像坐标系的x轴上，而点激光当前的测量点M有个的虚拟成像点(假设为M″)在摄像机拍摄的图像上与物体运动相反的方向上做速率相同的连续运动。而D'M'的长度实际上等于点M在图像上的虚拟成像点M″距离x坐标轴的长度，也就是M点的虚拟成像点M″的y坐标值。又因货物在水平传输台上移动过程中，其上的所有物点的z坐标方向上的坐标值是近似不变的，所以，点激光对货物的测距过程可以映射成光点在货物测量起点拍摄的左右两幅图像上的移动过程。

如图2所示，设点激光当前测量点为M(x,y)，DM＝l，CM'＝f，CM＝d，从图中三角形CD'M'和CDM的相似关系，可以得到D'M'＝fl/d。所以而M点在距离D点为l的时候，其对应的虚拟成像点M″的y坐标值就为y＝fl/d。

步骤四:对左右摄像机拍摄的图像进行图像预处理，如进行灰度处理、数字剪影、阈值分割、去噪处理，以便利于后面步骤中对图像中特征点的提取。

①对这左右摄像机拍摄的两幅图像进行灰度均衡预处理得到灰度直方图。

②利用预存的背景图像对含有货物的两幅图像进行数字剪影和阈值分割处理，得到只留下货物物体图像的二值化图像；

③对二值化图像作去噪声处理，将干扰点排除后得到干净的二值化图像。

步骤五:在预处理后的左右图像中搜索提取图像特征点和货物物体各顶点。

①利用步骤一中求取的图像极限校正变换矩阵，对预处理后的左右图像进行极线校正处理；

②利用特征提取算法，如Harris、SIFT等特征提取算法，对预处理后的左图像进行特征提取，得到货物物体特征点集合；

③从特征点集合数组中搜索和找出计算体积需要的货物物体上表面的各个顶点作为待匹配点；

步骤六:进行左右图像匹配计算，得到准确的图像匹配点对。

①首先，建立左右图像特征点几何投影关联关系；

如图3，假设货物上有一当前激光测量点M，过点M的平行于基线的线上有一物点P，根据测量控制系统中空间物体上点与两台摄像机成像平面几何关系分析，可知当前激光测量点M所在的平行于基线的线上的所有点相对于基线的距离值是相同的，也就是其在z坐标方向上的点激光源测量的距离d都是相同的。而当前激光测量点M的点激光源测量的距离d也就是点激光源点到在货物物体上的位置点M的距离值，所以，当通过点激光测距器得到点M的点激光源测量的距离d时，也就是知道了物点P的点激光源测量的距离值是d。从而可计算出物点P在左右摄像机成像面上的对应成像点在x方向上的视差s的值bf/d，根据左图像上的待匹配点的坐标(x_l,y_l)，便能立刻定位出右图像上的与之对应的匹配点的位置，坐标为(x_l-s,y_l)，设定其为几何投影相关点。这样就能建立起左右图像上的匹配点对的几何投影坐标关联关系，完成左右图像上匹配点对的初步定位匹配。

②其次，定位右图像中的几何投影相关区域；

因极线约束和特征点的提取存在的误差、货物物体本身表面或棱线不平整和图像受到光照、噪声点的影响等因素，右图像上的几何投影相关点位置上的点不一定是真实的匹配点，所以需要在右图像上的几何投影相关点的位置处，以几何投影相关点为中心取一个小的区域，定义为左图像中待匹配点的几何投影相关区域，将该区域中的特征点与左图像上待匹配点进行相似度计算，从而找到待匹配点的真实匹配点。几何投影相关区域一般取25×25像素左右即可。

③最后，进行左右图像相似性匹配计算，得到真实匹配点。

利用ZNCC或ZSSD等相似度计算算法，对左图像上的待匹配点，在以与其对应的右图像上的匹配点为中心的几何投影相关区域内的特征点进行灰度相似性匹配计算，找到相似度最大的某个灰度窗口，其坐标位置就是左图像待匹配点对应的右图像匹配点的精确位置坐标，从而得到了待匹配点的实际匹配点。而当精确相似度计算后，没有找到匹配点时，就强制将左图像在右图像上的几何投影相关点作为匹配点。

步骤七:利用三维还原技术进行货物物体上表面的各顶点的空间坐标三维还原，利用还原出的各顶点点的三维坐标，对货物物体进行外形尺寸和体积计算。

当得到货物物体上表面各顶点(如图1中的货物上表面各角顶点A,B,C,D)的在左右摄像机成像平面上的精确匹配成像点时，利用双目立体视觉技术基于的三角测量原理(也称为立体视差原理)，就可以计算出这些点的准确三维空间坐标，继而就能计算货物的尺寸等信息。

Claims (1)

1.基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法，该非接触测量方法由两个型号相同的摄像机、一个由计算机控制的点激光测距器、一台计算机组成测量控制系统；将相同型号的两台摄像机光轴互相平行设置，将两台摄像机光轴与物流传输带垂直设置，将两台摄像机光心连线与物流传输带平行设置，将点激光测距器的激光源点设置于两摄像机光心连线中点位置，点激光方向与摄像机光轴平行配置；摄像机焦距为f，两台摄像机光心连线，也就是基线的距离为b；点激光源点距离物流传输带的高度为h，点激光源测量的距离为d；以左摄像机光心作为原点，左摄像机主光轴为z轴，光心连线为x轴，y轴垂直于x轴和z轴，建立测量空间坐标系对货物物体进行测量；其特征在于以下步骤：

步骤一:使用相应的摄像机标定方法，张正友平板标定法、Tsai两步标定法，对摄像机进行标定，得到摄像机的内外部参数和图像极线校正变换矩阵；

步骤二：在物流货物测量区采集建立背景图像，如物流传输带上没有货物物体时，使用左右摄像机采集建立背景图像；

步骤三：点激光测距器自动对传输带上的物流进行检测；如果有货物时，则测量控制系统自动控制左右摄像机拍摄货物的图像，并记录相关数据；

步骤四：对左右摄像机拍摄的图像进行图像预处理，进行灰度处理、数字剪影、阈值分割、去噪处理，以便利于后面步骤中对图像中特征点的提取；

步骤五:在预处理后的左右图像中搜索提取图像特征点和货物物体各顶点；

①利用步骤一中求取的图像极限校正变换矩阵，对预处理后的左右图像进行极线校正处理；

②利用Harris、SIFT特征提取算法，对预处理后的左图像进行特征提取，得到货物物体特征点集合；

③从特征点集合数组中搜索和找出计算体积需要的货物物体上表面的各个顶点作为待匹配点；

步骤六:进行左右图像匹配计算，得到准确的图像匹配点对；

①首先，建立左右图像特征点几何投影关联关系；

假设货物上有一当前激光测量点M，过点M的平行于基线的线上有一物点P，根据测量控制系统中空间物体上点与两台摄像机成像平面几何关系分析，可知当前激光测量点M所在的平行于基线的线上的所有点相对于基线的距离值是相同的，也就是其在z坐标方向上的点激光源测量的距离d都是相同的；而当前激光测量点M的点激光源测量的距离d也就是点激光源点到在货物物体上的位置点M的距离值，所以，当通过点激光测距器得到点M的点激光源测量的距离d时，也就是知道了物点P的点激光源测量的距离值是d；从而可计算出物点P在左右摄像机成像面上的对应成像点在x方向上的视差s的值bf/d，根据左图像上的待匹配点的坐标(x_l,y_l)，便能立刻定位出右图像上的与之对应的匹配点的位置，坐标为(x_l-s,y_l)，设定其为几何投影相关点；这样就能建立起左右图像上的匹配点对的几何投影坐标关联关系，完成左右图像上匹配点对的初步定位匹配；

②其次，定位右图像中的几何投影相关区域；

因极线约束和特征点的提取存在的误差、货物物体本身表面或棱线不平整和图像受到光照、噪声点的影响因素，右图像上的几何投影相关点位置上的点不一定是真实的匹配点，所以需要在右图像上的几何投影相关点的位置处，以几何投影相关点为中心取一个小的区域，定义为左图像中待匹配点的几何投影相关区域，将该区域中的特征点与左图像上待匹配点进行相似度计算，从而找到待匹配点的真实匹配点；几何投影相关区域取25×25像素即可；

③最后，进行左右图像相似性匹配计算，得到真实匹配点；

利用ZNCC或ZSSD相似度计算算法，对左图像上的待匹配点，在以与其对应的右图像上的匹配点为中心的几何投影相关区域内的特征点进行灰度相似性匹配计算，找到相似度最大的某个灰度窗口，其坐标位置就是左图像待匹配点对应的右图像匹配点的精确位置坐标，从而得到了待匹配点的实际匹配点；而当精确相似度计算后，没有找到匹配点时，就强制将左图像在右图像上的几何投影相关点作为匹配点；

步骤七:利用三维还原技术进行货物物体上表面的各顶点的空间坐标三维还原，利用还原出的各顶点三维坐标，对货物物体进行外形尺寸和体积计算。