CN110766755A - 用于半挂车物料装填的车斗实时定位方法 - Google Patents

Abstract

本发明公开了一种用于半挂车物料装填的车斗实时定位方法。包括：对当前车斗视频帧图像进行预处理，得到半挂车灰度图像；对半挂车灰度图像进行处理，得到光晕图像数据；对光晕图像数据进行车斗外角点特征提取，得到车辆轮廓图像数据；对光晕图像数据进行高斯模糊，利用车辆轮廓图像数据，进行鲁棒性最佳建模；利用车辆轮廓图像数据以及鲁棒性最佳建模结果进行自商图处理；对自商图处理结果进行坐标回归，得到车斗角点坐标；取视频帧图像序列的下一帧执行步骤一至六的处理，如此循环，得到视频帧图像序列的车斗角点坐标，实现车斗实时定位。利用本发明，可以降低手工调试参数的工作量，提高光照变化条件下的检测鲁棒性。

Description

用于半挂车物料装填的车斗实时定位方法

技术领域

本发明涉及一种目标检测与定位方法，具体涉及一种车斗实时定位方法。

背景技术

半挂车车斗的装填设备定位多为人工肉眼估计为主，主要通过控制器控制装填斗的位置，以经验控制下料时长，然后换到下一个位置继续下料，保证装填的均匀性。人工控制不仅需要专门培训，而且工作中容易出现分神或操作生疏情况，导致下料溢出车斗位置。人工操作问题常引起诸多不必要的麻烦，例如倾泻到半挂车车头、物料洒落地面等情况。目前解决此类问题的办法仍是培训专业操作人员进行下料操作，并在工地加装监控相机，起到一定的责任溯源作用。然而仍无法避免操作时的误差，且需要专人操作。

由于人工控制下料人力成本高，逐渐出现了自动装填设备。目前，自动装填设备主要分为两类。一种是基于手工调整的定时器参数，实现简易的下料系统。该办法虽然解决了人工问题，但参数和场景的过度专用化，导致在临时场合难以及时调整适应。同时，较高的调试人力成本和固化的车辆尺寸要求显著降低了实用性。另一种是基于车斗信标进行自动导航的下料系统，该方法可以在夜间工作，主要通过相机的主动红外光源和车斗的反光标志进行位置检测，进而识别下料路径，通过设定下料速率等参数进行自动控制。该方法能够适应不同尺寸的车斗，且对车辆停靠位置要求较灵活。但是，该方法过度依赖反光信标，而日光具有很强的红外辐射，强度会强于主动红外的发射功率，容易导致检测失效，需要通过遮荫等措施克服，鲁棒性不强。

因此，现有技术存在手工调试参数工作量大，光照变化条件下车斗边缘位置检测鲁棒性不佳的问题。

发明内容

本发明提供了一种用于半挂车物料装填的车斗实时定位方法，该方法实现了车斗实时定位，降低手工调试参数的工作量，提高光照变化条件下的检测鲁棒性。

一种用于半挂车物料装填的车斗实时定位方法，该方法包括：

步骤一，将顶置相机获得的当前车斗视频帧图像I作为被处理图像；

步骤二，对被处理图像进行预处理得到半挂车灰度图像G；

步骤三，基于神经侧抑制原理建立光晕图像获取模型，对半挂车灰度图像G进行处理，得到光晕图像数据SQI；

步骤四，构建形态信息车斗关键点感知模型对光晕图像数据SQI进行车斗外角点特征提取，得到车辆轮廓图像数据SE；

步骤五，对光晕图像数据SQI进行高斯模糊得到模糊的光晕图像数据SQI₂，利用获得的SQI₂以及车辆轮廓图像数据SE，进行鲁棒性最佳建模，得到图像数据Mask；

步骤六，利用车辆轮廓图像数据SE以及图像数据Mask进行自商图处理，进一步消除噪声影响，得到车斗角点自商图数据

步骤七，基于得到的车斗角点自商图数据KPSQI进行坐标回归，得到车斗角点坐标位置；

步骤八，取当前车斗视频帧图像I的下一帧图像作为被处理图像，执行上述步骤二至七的处理，获取下一帧图像中的车斗角点坐标位置，如此循环，直至获得顶置相机获取的车斗视频帧图像序列的最后一帧图像的车斗角点坐标位置，从而实现车斗实时定位。

步骤二中的预处理为灰度化处理，灰处理方法具体为：获取车斗视频帧图像I的RGB数据，分别计算像素点RGB通道分量的最小值U(x,y)＝min(R(x,y),G(x,y),B(x,y))和最大值V(x,y)＝max(R(x,y),G(x,y),B(x,y))，其中，R(x,y)，G(x,y)，B(x,y)分别代表位置(x，y)处像素的红、绿、蓝通道分量值，则半挂车灰度图像G＝0.5*U(x,y)+0.5*V(x,y)。

步骤三具体为：

光晕图像数据获取模型的神经侧抑制系数采用高斯分布，高斯核大小为3*3，σ＝1，构建高斯核

对半挂车灰度图像G进行迭代高斯滤波处理，得到模糊化后的分母图像H；

利用分母图像H，对半挂车灰度图像G做自商图处理，得到初始光晕图像数据SQI’；

对初始光晕图像数据SQI’中超出值域范围的数据进行截断处理得到光晕图像数据SQI。

步骤四具体为：

形态信息车斗关键点感知模型使用Sobel算子对光晕图像数据SQI进行边缘检测，获得横向的图像灰度值S_x、纵向的图像灰度值S_y；

对S_x以及S_y超出值域的图像灰度进行截断处理；

对S_x以及S_y沿梯度算子的垂直方向进行腐蚀，留出边角；

将腐蚀后的梯度合并，得到车辆轮廓图像数据SE。

步骤五中的鲁棒性最佳建模具体为：对获得的SQI₂以及车辆轮廓图像数据SE进行自商图处理，得到图像数据

对Mask′进行腐蚀操作得到图像数据Mask。

步骤六之后还包括：

对车斗角点自商图数据KPSQI做离差标准化，将其结果映射到[0,1]区间。

步骤七具体为：

对车斗角点自商图数据KPSQI进行阈值化处理，得到车斗角点二值图BIN；

对车斗角点二值图BIN进行包围框检测，得到车斗角点的包围框；

对包围框内部的车斗角点进行坐标回归计算，得到车斗角点的坐标位置。

本发明的有益效果在于：

1、本发明监控相机视频流，通过建立车斗感知模型来实现车斗的定位，降低手工调试参数的工作量。

2、本发明使用神经侧抑制网络、形态信息车斗关键点感知模型以及自商图方法，实现日间图像和夜间图像的特征一致性，优于现有图像信标方法的导航方案，提高光照变化条件下的检测鲁棒性。

附图说明

图1为用于半挂车物料装填的车斗实时定位方法流程图；

图2为顶置相机获取的日间、夜间车辆图像示意图；

图3为本发明方法效果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

自动导航装填系统具有很大的智能化潜力，调试时一般仅适配执行机构和进给量即可，而其余调试工作主要关于图像导航。通过调研目前的顶置相机视角发现，顶置相机主要以监控相机为主，相机的图像内容较为一致，皆为拍摄完整车辆顶视图像，且相机都具备主动红外夜间拍摄能力。

本发明使用监控相机视频流，通过建立车斗感知模型来实现车斗的定位。无需在实施现场加装额外的相机、无需改造现有的运输车辆外观，最大限度地降低了改造难度，并提供优于现有图像信标方法的导航方案，实现日间夜间工作。本发明主要提供一种基于计算机视觉的常见填料系统的改造方案，克服了识别及控制系统专用性强、调试复杂的问题。能够基于现有的装填设备、复用现有的顶置监控相机，直接处理车斗区域并自动装填。大大降低了系统间的耦合性，能够广泛运用于常见的装填设备中，实现自动化或半自动化，降低人工成本。下面通过具体实施例来进行说明。

实施例一：

图1是本发明方法流程图。用于半挂车物料装填的车斗实时定位方法，该方法包括：

步骤一，将顶置相机获得的当前车斗视频帧图像I作为被处理图像。

步骤二，对被处理图像进行预处理得到半挂车灰度图像G。即预处理步骤。

由于视频流是以三通道的彩色图像进行传输的，因此可以考虑三通道之间的曝光关系，获取车斗视频帧图像I的RGB数据，使用如下处理方法，融合日间的过曝区域和欠曝区域：

为了压制并最大限度恢复过曝区域亮度细节，有：

U(x,y)＝min(R(x,y),G(x,y),B(x,y))

为了提高并最大限度恢复欠曝区域亮度细节，有：

V(x,y)＝max(R(x,y),G(x,y),B(x,y))

其中，R(x,y)，G(x,y)，B(x,y)分别代表位置(x，y)处像素的红、绿、蓝通道分量值；

融合两者，得到半挂车灰度图像G：

G＝0.5*U(x,y)+0.5*V(x,y)

图2为顶置相机获取的日间、夜间的车辆图像。其中，图2左边图像为日间车辆图像，右边为夜间车辆图像。图3左边图像为日间车辆图像的各处理阶段的效果图，图3右边为夜间车辆图像的各处理阶段的效果图。对获得的图像分别进行预处理，得到灰度图像G，如图3所示。

步骤三，基于神经侧抑制原理建立光晕图像获取模型，对半挂车灰度图像G进行处理，得到光晕图像数据SQI。即光晕图像获取步骤。

将图像的每一个像素作为输入，每一个像素与它周围的像素有侧向网络联系，并且是相互抑制关系。抑制系数与距离宏观上成反比关系，距离中心感受器越远，对中心感受器抑制作用越小。

光晕图像数据获取模型的神经侧抑制系数可采用高斯滤波或均值滤波提供光晕化的感知结果，在此采用高斯分布，高斯核大小为3*3，σ＝1，构建高斯核K：

将矩阵M中九个元素相加即获得中心点的数据值，重复高斯滤波5次以等效13x13的卷积结果以提高高斯核精度，得到分母图像H。

利用分母图像H，对半挂车灰度图像G做自商图处理，得到初始光晕图像数据SQI’；

SQI是自商图像Self-quotient的英文缩写，通过原图和滤波后的图像作商来表示光晕信息。

对初始光晕图像数据SQI’中超出值域范围的数据进行截断处理得到光晕图像数据SQI。光晕信息保留了高频梯度信息，从而克服了欠曝、过曝的信息丢失，并将幅度归一到1附近，因此，需要将SQI的结果偏置-0.5以实现值域在[0,1]的图像，对于超出值域的，做截断处理：SQI(x,y)＝min(1,max(0,SQI’(x,y)-0.5))，至此，得到了SQI图像，特征见图3，夜间和日间的感知效果是相同的。

步骤四，构建形态信息车斗关键点感知模型对光晕图像数据SQI进行车斗外角点特征提取，得到车辆轮廓图像数据SE。即车斗外角点特征提取步骤。

形态信息车斗关键点感知模型使用Sobel算子对光晕图像数据SQI进行边缘检测，获得横向的图像灰度值S_x、纵向的图像灰度值S_y：

将矩阵Sobel_x、Sobel_y中各个元素相加，即得到S_x、S_y，对S_x以及S_y超出值域的图像灰度进行截断处理：S_x＝min(1,max(0,S_x))，S_y＝min(1,max(0,S_y))；

对S_x以及S_y沿梯度算子的垂直方向进行腐蚀，留出边角：

S_x(x,y)＝min(S_x(x-2,y),S_x(x-1,y),S_x(x,y),S_x(x+1,y),S_x(x+2,y))，

S_y(x,y)＝min(S_y(x,y-2),S_y(x,y-1),S_y(x,y),S_y(x,y+1),S_y(x,y+2))，

将腐蚀后的梯度合并，得到车辆轮廓图像数据SE：SE＝S_x+S_y，如图3所示。至此得到了车斗外角点特征，基于感知结果，需要过滤无关特征以生成车斗角点的概率云。

步骤五，对光晕图像数据SQI进行高斯模糊得到模糊的光晕图像数据SQI₂，利用获得的SQI₂以及车辆轮廓图像数据SE，进行鲁棒性最佳建模，得到图像数据Mask。即鲁棒性最佳建模步骤。

车辆轮廓图像数据SE的图像在车斗边角的响应较低，边角特征可见，但仍无法直接阈值分割，主要是因为还有细小的边缘没有剔除，因此，对SQI进行高斯模糊得到模糊的SQI₂，方法等同于分母图像H的处理方式。鲁棒性最佳建模具体为：对获得的SQI₂以及车辆轮廓图像数据SE进行自商图处理，得到图像数据

对Mask′进行腐蚀操作得到图像数据Mask。对Mask’进行大小为5x5的腐蚀操作，即求邻域局部最小值。至此Mask如图3所示，消除了关键点的响应，突出了误识别的响应。

步骤六，利用车辆轮廓图像数据SE以及图像数据Mask进行自商图处理，进一步消除噪声影响，得到车斗角点自商图数据

即自商图步骤。对KPSQI做离差标准化，使其值域位于[0,1]区间。获得的车斗角点自商图数据KPSQI如图3所示。

步骤七，基于得到的车斗角点自商图数据KPSQI进行坐标回归，得到车斗角点坐标位置。即坐标回归步骤。

对车斗角点自商图数据KPSQI进行阈值化处理，得到车斗角点二值图BIN，如图3所示。由于原始图像的噪点会影响到阈值的选择，因此实施者应根据具体的相机质量而定，经验值为0.7。对车斗角点二值图BIN进行包围框检测，得到车斗角点的包围框。对包围框内部的车斗角点进行坐标回归计算，得到车斗角点的坐标位置。车斗角点坐标位置可采用softargmax方法计算。

步骤八，取当前车斗视频帧图像I的下一帧图像作为被处理图像，执行上述步骤二到七的处理，获取下一帧图像中的车斗角点坐标位置，如此循环，直至获得顶置相机获取的车斗视频帧图像序列的最后一帧图像的车斗角点坐标位置，从而实现车斗实时定位。

基于实时定位信息，实施者完成相机与行程之间的缩放比例换算以及运动、下料等相关参数，从而实现半挂车物料装填。

本发明提供一种无标半挂车车斗装填定位系统，该系统可以克服现有的信标导航系统专用性过强问题，实现日夜间兼容，最大限度降低手工调试参数量，同时对车辆的车斗尺寸、停靠位置无严格要求。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于半挂车物料装填的车斗实时定位方法，其特征在于，该方法包括：

步骤一，将顶置相机获得的当前车斗视频帧图像I作为被处理图像；

步骤二，对被处理图像进行预处理得到半挂车灰度图像G；

步骤三，基于神经侧抑制原理建立光晕图像获取模型，对半挂车灰度图像G进行处理，得到光晕图像数据SQI；

步骤四，构建形态信息车斗关键点感知模型对光晕图像数据SQI进行车斗外角点特征提取，得到车辆轮廓图像数据SE；

步骤五，对光晕图像数据SQI进行高斯模糊得到模糊的光晕图像数据SQI₂，利用获得的SQI₂以及车辆轮廓图像数据SE，进行鲁棒性最佳建模，得到图像数据Mask；

步骤六，利用车辆轮廓图像数据SE以及图像数据Mask进行自商图处理，进一步消除噪声影响，得到车斗角点自商图数据

步骤七，基于得到的车斗角点自商图数据KPSQI进行坐标回归，得到车斗角点坐标位置；

步骤八，取当前车斗视频帧图像I的下一帧图像作为被处理图像，执行上述步骤二至七的处理，获取下一帧图像中的车斗角点坐标位置，如此循环，直至获得顶置相机获取的车斗视频帧图像序列的最后一帧图像的车斗角点坐标位置，从而实现车斗实时定位。

2.如权利要求1所述的用于半挂车物料装填的车斗实时定位方法，其特征在于，所述步骤二中的预处理为灰度化处理，灰处理方法具体为：获取车斗视频帧图像I的RGB数据，分别计算像素点RGB通道分量的最小值U(x，y)＝min(R(x，y)，G(x，y)，B(x，y))和最大值V(x，y)＝max(R(x，y)，G(x，y)，B(x，y))，其中，R(x，y)，G(x，y)，B(x，y)分别代表位置(x，y)处像素的红、绿、蓝通道分量值，则半挂车灰度图像G＝0.5*U(x，y)+0.5*V(x，y)。

3.如权利要求1所述的用于半挂车物料装填的车斗实时定位方法，其特征在于，所述步骤三具体为：

光晕图像数据获取模型的神经侧抑制系数采用高斯分布，高斯核大小为3*3，σ＝1，构建高斯核

对半挂车灰度图像G进行迭代高斯滤波处理，得到模糊化后的分母图像H；

利用分母图像H，对半挂车灰度图像G做自商图处理，得到初始光晕图像数据SQI’；

对初始光晕图像数据SQI’中超出值域范围的数据进行截断处理得到光晕图像数据SQI。

4.如权利要求1所述的用于半挂车物料装填的车斗实时定位方法，其特征在于，所述步骤四具体为：

所述形态信息车斗关键点感知模型使用Sobel算子对光晕图像数据SQI进行边缘检测，获得横向的图像灰度值S_x、纵向的图像灰度值S_y；

对S_x以及S_y超出值域的图像灰度进行截断处理；

对S_x以及S_y沿梯度算子的垂直方向进行腐蚀，留出边角；

将腐蚀后的梯度合并，得到车辆轮廓图像数据SE。

5.如权利要求1所述的用于半挂车物料装填的车斗实时定位方法，其特征在于，所述步骤五中的鲁棒性最佳建模具体为：对获得的SQI₂以及车辆轮廓图像数据SE进行自商图处理，得到图像数据

对Mask′进行腐蚀操作得到图像数据Mask。

6.如权利要求1所述的用于半挂车物料装填的车斗实时定位方法，其特征在于，所述步骤六之后还包括：

对车斗角点自商图数据KPSQI做离差标准化，将其结果映射到[0，1]区间。

7.如权利要求1所述的用于半挂车物料装填的车斗实时定位方法，其特征在于，所述步骤七具体为：

对车斗角点自商图数据KPSQI进行阈值化处理，得到车斗角点二值图BIN；

对车斗角点二值图BIN进行包围框检测，得到车斗角点的包围框；

对包围框内部的车斗角点进行坐标回归计算，得到车斗角点的坐标位置。

Images