CN110054089B - 一种轮胎吊机器视觉自动纠偏系统及纠偏方法 - Google Patents

Abstract

本发明涉及一种轮胎吊机器视觉自动纠偏系统及纠偏方法，采集模块在轮胎吊行进过程中获取规定线路的图像；标定模块获取标定参照物特征部位分别在像素坐标系和实际坐标系下的坐标；坐标转换模块实现像素坐标系与实际坐标系之间的转换；预处理模块对采集模块的图像进行处理以获得特征清晰稳定的数据，线路识别模块，通过对图像中规定线路检测识别，确定实际行驶过程中实际线路与规定线路的方向偏差Δα和距离偏差Δd，并发送给PLC通讯模块；PLC通讯模块存储上述数据并发送给轮胎吊控制系统进行纠偏。本发明利用机器视觉技术，实现对轮胎吊大车行进过程的自动纠偏，提高作业效率，减少事故发生。

Description

一种轮胎吊机器视觉自动纠偏系统及纠偏方法

技术领域

本发明涉及一种轮胎吊机器视觉自动纠偏系统及纠偏方法，尤其是一种利用机器视觉技术针对轮胎吊行驶过程进行自动纠偏的系统及方法，属于计算机视觉领域。

背景技术

轮胎吊也称轮胎式起重机，是集装箱的堆叠和码头、堆场内的水平运输的主力机械，具有机动灵活可转场作业的优点。考虑到作业安全，一般要求轮胎吊大车在行驶过程中严格按照规定轨道行驶。

为提高场地利用率，轮胎吊大车两侧下横梁距集装箱的安全距离较近，最近处小于1m。然而实际作业中，常会由于轮胎吊两侧给定速度一致但跨度大、负载分布不平衡等外界原因导致两腿沿着轨道方向行走速度不一致，传动机构转速误差，路面不够平坦导致轮胎吊大车颠簸、小车位于电气房侧导致电气房侧轮胎磨损大、机械结构无法绝对对称、作业人员误操作等原因造成起重机偏斜或偏离预定轨道的现象。轻则出现啃轨现象、起重机严重变形报废等，重则出现轮胎吊装箱、或两轮胎吊相撞等伤亡事故。这就需要依靠操作司机时刻集中精力，目测距离，根据工作经验提前预判是否需要纠偏，通过在联动台不断手动控制纠偏手柄方向，保持轮胎沿轨道中心线行走，以达到保持安全距离的目的。

目前，国内外各港口主要通过人工检测的方式来预防该类事故，但港口工作环境恶劣复杂，劳动强度大，极易因人员疲劳而疏忽，为解决此问题，曾试验过一些方法，比如润滑车轮轮缘及轨道侧面、加装水平轮、调整车轮安装精度、加大车架的水平刚性、短时断电纠偏等一些方法，但长期效果并不理想，仍需手动纠偏作业。目前国内外主要纠偏方法及存在问题如下：

1.采用以GPS差分定位系统为基础的RTG大车自动纠偏系统。该方案需要在堆场上建造GPS的基准站和移动站，在轮胎吊上安装差分接收天线等，地面需增加电台或局域网等支持设备。通过无线数据电台将移动站与基准站进行信号差分，以获取高精度的定位结果。该方法设备投资大，技术要求高，且完全依赖GPS定位。当GPS不稳定时，系统会失效，而且其定位精度经常会有短时间的跳动，降低系统的实用性。

2.采用红外线或光电技术等测距纠偏。这种方案对反射体要求较高，需要有很强的反射光才能工作，而且外部光线等干涉严重，不能准确地反映设备实际位置情况，难以满足设备的实际要求。

3.构建防护墙，约束轮胎吊的走偏。这种方案属于被动式方法，对设备的冲击较大,对轮胎外缘的磨损也很快，存在较大的安全隐患。

4.光电编码器纠偏。在两腿运行机构的检测轮上各安装一套光电编码器，通过统计大车驱动电机马达的运转情况，检测两侧行程的相对量，并推算一定时间内的大车行进情况，确定大车大致位置。但光电编码器存在累计误差，致使编码器差值反应不出两腿实际偏差，最后造成起重机急停，严重影响起重机正常使用。

5.采用地面埋设检测体技术进行纠偏。这种方案尽管资金投入不高，但地面划定的检测线或埋设的检测体受雨雪天气影响太大，导致运行不稳定，或无法正常工作。

所以本领域急需一种自动纠偏系统及纠偏方法对该类问题进行纠正或预警。

发明内容

本发明的目的在于克服现有技术的不足，提供一种轮胎吊机器视觉自动纠偏系统及纠偏方法，基于对轮胎吊行进方向上规定线路的检测跟踪，判断轮胎吊是否偏离规定方向，进一步提示轮胎吊司机或控制轮胎吊自动纠正行进方式。减少操作人员疏忽且成本较低，还可根据需要进行功能扩展。

本发明目的通过如下技术方案予以实现：

提供一种轮胎吊自动纠偏系统，包括：

采集模块，轮胎吊行进过程中获取规定线路的图像；

标定模块，存储标定参照物特征部位分别在像素坐标系和实际坐标系下的坐标；

坐标转换模块，实现像素坐标系与实际坐标系之间的转换；

预处理模块，对采集模块的图像进行处理进行分割，获得二值化图像；

线路识别模块，通过对规定线路检测识别，获取规定线路在像素坐标系下的直线方程，并通过坐标转换模块获取在实际坐标系下的直线方程，确定实际行驶过程中规定线路与预置标准规定线路的方向偏差Δα和距离偏差Δd，并发送给PLC通讯模块；

PLC通讯模块存储上述数据并发送给轮胎吊控制系统进行纠偏。

优选的，采集模块的图像采集装置采用单路或多路摄像头，视场能够同时覆盖到规定线路左右两侧的行车标识线。

优选的，将标定参照物放置于采集系统视场内，检测并识别其特征部位，保存各个特征部位的像素坐标，保持标定参照物不动，测量识别出的特征部位在实际坐标系下的坐标并保存，并将各个特征部位的像素坐标以及实际坐标系下的坐标传输给坐标转换模块。

优选的，坐标转换模块根据输入的像素坐标系下的像素坐标，搜索距离该像素坐标最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算该像素坐标的实际位置坐标。

优选的，预处理模块首先根据实际视场选取感兴趣区域ROI，通过对采样图像做通道分离，获得三个通道的图像数据为M_y，M_u，M_v；使用大津法 OTSU对M_y进行分割，使用大津法OTSU将M_y分割成只包含0和1两个像素值的图像M_y0和M_y1，得到M_y0和M_y1两个区域及其包含像素点的坐标值；分别计算M_y图像中M_y0区域和M_y1区域像素值的均值M_{y0_mean}、M_{y1_mean}；

令M_{y0_mean}作为阈值，对M_y0进行二值化处理；令M_{y1_mean}作为阈值，对M_y1进行二值化处理；并将M_y0和M_y1结果重新赋值给M_u；将M₀转换成 CMYK格式，并提取其中Y通道图像保存为M_yellow；M_u和M_yellow图像做“或”运算，得到图像M_p，作为预处理模块的输出。

优选的，线路识别模块获取规定线路在像素坐标系下的直线方程的具体方法为：

5.1统计图像M_p每一列像素值之和，得到大小为C的一列数组P_c；遍历数组P_c，找出像素和最大的两个标号记为X_max1和X_max2；

5.2在M_p中以X_max1和X_max2为图像坐标系Y轴坐标最大处的X方向基础搜索点，设置m×n大小的滑动窗口W，使其以X_max1和X_max2的中心位置为底边中心，X_max1和X_max2间距离的1.5倍为窗口长m，以HM_p/step的值为窗口高度n，其中HM_p为图像M_p的高度，step为统计次数；

5.3滑动窗口W在M_p内滑动step次；在每个位置统计W内非0像素的个数，保存非0像素的像素坐标，计算所有非0像素点的中心位置坐标，记为P_ceni；以此时滑动窗口W的上边界Y向坐标为下一次搜索时滑动窗口的下边界，以P_ceni的x坐标左边为滑动窗口的X向中心坐标；

5.4将step次的P_ceni点坐标拟合成直线，并计算各点P_ceni到直线间距离，并根据距离从小到大排序后，使用排在前的2/3个点重新拟合成直线，该直线即为检测到的规定行车线方程Ls。

优选的，通过坐标转换模块获取在实际坐标系下的直线方程的具体方法为：

取Ls上0.3和0.7长度位置处的两个点，记为P0，P1，搜索距离P1 最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算P1的实际位置坐标；搜索距离P0最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算P0的实际位置坐标；计算实际坐标系下两点所在直线L0的方程。

优选的，距离偏差Δd的计算方法为：计算预置标准规定线路在摄像头视场最近端的交点距直线L0实际距离d_r0，计算△d＝d_r0*cos(△α)-l_p0*sin (△α)，l_p0为摄像头在地面投影点到摄像头视场最近端的距离。

优选的，轮胎吊控制系统进行纠偏的方法为：

当检测出方向偏差△α和距离偏差△d，任何一个超过阈值时，制停轮胎吊的行进；

当检测出方向偏差△α和距离偏差△d均未超过阈值时，控制轮胎吊行驶速度进行调整；当△α>0，且△d>1cm时，控制轮胎吊增大右侧轮的行驶速度；当△α0，且△d>1cm时，控制轮胎吊增大左侧轮的行驶速度；

当△α＝0，或者△d≤1cm，无需调整。

同时提供一种基于所述装置的轮胎吊自动纠偏系统进行纠偏的方法，包括如下步骤：

步骤9：在轮胎吊两侧其任意一侧的下横梁上安装摄像头，用于获取轮胎吊行驶方向上车道线及周围场景图像，摄像头视场应当覆盖该侧规定线路上的左右两条车道线；

步骤10：判断纠偏系统使用模式，若轮胎吊自动纠偏系统为首次使用或处于标定模式下，则进入步骤3，若为实时纠偏模式则进入步骤4；

步骤11：启动轮胎吊自动纠偏系统的标定模块，存储标定参照物特征部位分别在像素坐标系和实际坐标系下的坐标；

步骤12：纠偏模式下首先调用预处理模块，进行图像分割，获得二值化图像M_p；

步骤13：调用纠偏模式的线路识别模块，在二值化图像M_p中检测场区内规定行驶区域内的车道线的特征点的集合；

步骤14：将特征点集合中各特征点坐标拟合成直线，并计算各点到拟合直线间距离，并根据距离从小到大排序后，使用排在前的2/3个点重新拟合成直线，该重新拟合的直线即为检测到的规定行车线Ls；

步骤15：调用坐标转换模块，采用双线性插值法，将Ls转换到实际坐标系中；

步骤16：线路识别模块计算L0和预置标准规定线路间的夹角，即为方向偏差△α；计算预置标准规定线路在摄像头视场最近端的交点距L0实际距离，记为d_r0，进一步计算d_r0*cos(△α)-l_p0*sin(△α)的值即为距离偏差△d，l_p0为摄像头在地面投影点到摄像头视场最近端的距离。

优选的，步骤3中存储标定参照物特征部位分别在像素坐标系和实际坐标系下的坐标的具体方法为：

3.1将棋盘格标定板放置在摄像头视场范围内的路面上，棋盘格标定板尽量多的覆盖视场内的车道线；

3.2轮胎吊自动纠偏系统的标定模块检测棋盘格标定板上所有角点并保存在像素坐标系下的坐标；

3.3人工测量棋盘格标定板上至少三个不位于同一条直线上的角点A、 B、C与摄像头在地面投影点O间的实际距离AO、BO、CO，并根据所用棋盘格标定板出厂参数计算所有角点在实际坐标系中的位置坐标并保存；

3.4在像素坐标系下检测标定板上所有角点位置坐标，并保存。

优选的，进行图像分割，获得二值化图像M_p的具体方法为：

4.1读取一帧图像数据，根据实际视场选取感兴趣区域ROI，得到R行 C列的图像M₀；

4.2调用纠偏模式中的预处理模块，将当前帧图像转换成YUV格式或 YCrCb格式并分别保存三个通道的图像数据为M_y，M_u，M_v；

4.3使用大津法OTSU对M_y进行分割，使用大津法OTSU将M_y分割成只包含0和1两个像素值的图像M_y0和M_y1，得到M_y0和M_y1两个区域及其包含像素点的坐标值；

4.4分别计算M_y图像中M_y0区域和M_y1区域像素值的均值M_{y0_mean}、 M_{y1_mean}和方差M_{y0_std}、M_{y1_std}；

4.5令M_{y0_mean}作为阈值，对M_y0进行二值化处理，若M_y0某点像素值大于M_{y0_mean}则置1，若小于M_{y0_mean}则置0，遍历M_y0所有像素点；令M_{y1_mean}作为阈值，对M_y1进行二值化处理，若M_y1某点像素值大于M_{y0_mean}则置1，若小于M_{y0_mean}则置0，遍历M_y1所有像素点；并将M_y0和M_y1结果重新赋值给M_u；

4.6将M₀转换成CMYK格式，并提取其中Y通道图像保存为M_yellow；

4.7M_u和M_yellow图像做“或”运算，去除干扰，得到图像M_p，作为预处理模块的输出。

优选的，在二值化图像M_p中检测场区内规定行驶区域内的车道线的特征点的集合的具体步骤如下：

5.1统计图像M_p每一列像素值之和，得到大小为C的一列数组P_c；遍历数组P_c，找出像素和最大的两个标号记为X_max1和X_max2；

5.2在M_p中以X_max1和X_max2为图像坐标系Y轴坐标最大处的X方向基础搜索点，设置m×n大小的滑动窗口W，使其以X_max1和X_max2的中心位置为底边中心，X_max1和X_max2间距离的1.5倍为窗口长m，以HM_p/step的值为窗口高度n，其中HM_p为图像M_p的高度，step为统计次数；

5.3滑动窗口W在M_p内滑动step次；在每个位置统计W内非0像素的个数，保存非0像素的像素坐标，计算所有非0像素点的中心位置坐标，记为P_ceni；以此时滑动窗口W的上边界Y向坐标为下一次搜索时滑动窗口的下边界，以P_ceni的x坐标左边为滑动窗口的X向中心坐标。

优选的，调用坐标转换模块，采用双线性插值法，将Ls转换到实际坐标系的具体方法为：

具体方法为：取Ls上0.3和0.7长度位置处的两个点，记为P0，P1，搜索距离P1最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算P1的实际位置坐标；搜索距离P0最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算P0的实际位置坐标；计算实际坐标系下两点所在直线L0的方程。

优选的，还包括步骤9，轮胎吊控制系统接收方向偏差△α和距离偏差△d，并进行纠偏控制，具体方法为：

当检测出方向偏差△α和距离偏差△d，任何一个超过阈值时，制停轮胎吊的行进；

当检测出方向偏差△α和距离偏差△d均未超过阈值时，控制轮胎吊行驶速度进行调整。当△α>0，且△d>1cm时，控制轮胎吊增大右侧轮的行驶速度；当△α0，且△d>1cm时，控制轮胎吊增大左侧轮的行驶速度；

当△α＝0，或者△d≤1cm，无需调整。

本发明与现有技术相比具有如下优点：

(1)本发明利用机器视觉技术，实现对轮胎吊大车行进过程的自动纠偏，提高作业效率，减少事故发生；

(2)本发明在检测车道标识线的基础上，动态选取图像中的ROI区域，增强系统的处理速度；

(3)本发明对不同光照区域动态计算并选取不同阈值进行分割，使系统对光照的鲁棒性增强；

(4)本发明根据规定线路一般为黄色这一特征，提取黄色通道图像进行处理，增强特征同时一定程度减少背景干扰；

(5)本发明采用数据融合方法将多路图像采集装置的检测结果进行融合处理，提高系统的准确性和稳定性；

(6)本发明根据方向偏差和距离偏差调整轮胎吊左右两侧轮胎的行进速度进行纠偏，保证了作业的安全。

附图说明

图1为摄像头视场示意图；

图2为检测流程示意图；

图3为规定线路与预置标准规定线路偏差示意图。

具体实施方式

本发明提供一种轮胎吊自动纠偏系统，包括：采集模块，轮胎吊行进过程中获取规定线路的图像；标定模块，获取标定参照物关键部位分别在像素坐标系和实际坐标系下的坐标；坐标转换模块，实现像素坐标系与实际坐标系之间的转换；预处理模块，对采集模块的图像进行处理以获得特征更为清晰稳定的数据；线路识别模块，通过对图像中规定线路检测识别，确定实际行驶过程中规定线路与预置标准规定线路的方向偏差△α和距离偏差△d，并发送给PLC通讯模块；PLC通讯模块存储上述数据并发送给轮胎吊控制系统进行纠偏。

采集模块的图像采集装置，采用单路或多路摄像头；安装在轮胎吊两侧下横梁上，每个横梁上设置两路图像采集装置，图像采集装置的安装高度根据实际情况，应以其视场能够至少覆盖正常行驶区域为准。较佳的，图像采集装置应当同时观测到规定线路左右两侧的行车标识线；

标定模块，将标定参照物放置于采集系统视场内，检测并识别其特征部位，保存各个特征部位的像素坐标，保持标定参照物不动，测量识别出的特征部位在实际坐标系下的坐标并保存，上述信息传输给坐标转换模块；

坐标转换模块，读取标定模块保存的信息，以双线性插值的方式得到像素坐标系和实际坐标系之间的转换关系；

对采集模块的图像进行处理进行分割，获得二值化图像；

线路识别模块，首先设置一个滑动窗口，统计图像各列像素值之和，找到和最大的两个位置，以这两个位置的中点为滑动窗口底边中点，以两点间距离的K倍为窗口宽度，以图像高度除以Nh的结果为滑动窗口的高度，计算滑动窗口内像素为1的所有点的平均坐标，并将上述坐标拟合成直线方程，即为该时刻规定线路的位置方程；确定实际行驶过程中规定线路与预置标准规定线路的方向偏差Δα和距离偏差Δd，并发送给PLC通讯模块；

PLC通讯模块将方向偏差△α和距离偏差△d信息传输给轮胎吊PLC控制系统。在一个实施例中，使用数据融合方法将各个采集装置检测的位置偏差和方向偏差，通过PLC通讯模块控制纠轮胎吊沿规定方向行驶。当检测出方向偏差△α和距离偏差△d较大时，制停轮胎吊的行进。

下面结合附图和实施例来详细阐述本发明的具体实施方式。

实施例：

轮胎吊自动纠偏方法，结合图2，包括具体步骤如下：

步骤1：在轮胎吊两侧其任意一侧的下横梁上安装1路摄像头，用于获取轮胎吊行驶方向上车道线及周围场景图像。较佳的，根据实际情况，摄像头视场应当覆盖该侧规定线路上的左右两条(或2*N条，N＝1,2,3……)车道线；如图1所示；

步骤2：判断纠偏系统使用模式，若轮胎吊自动纠偏系统为首次使用或处于标定模式下，启动轮胎吊自动纠偏系统的标定模块并继续步骤3，若为实时纠偏模式则进入步骤4。

步骤3：启动轮胎吊自动纠偏系统的标定模块，存储标定参照物特征部位分别在像素坐标系和实际坐标系下的坐标；

3.1将棋盘格标定板放置在摄像头视场范围内的路面上，较佳的，棋盘格标定板应尽量多的覆盖住视场内的车道线。

3.2轮胎吊自动纠偏系统的标定模块自动检测棋盘格标定板上所有角点并保存其在像素坐标系下的坐标。

3.3人工测量标定板上任意三个(或多于三个)不同时位于一条直线上的角点A、B、C与摄像头在地面投影点O间的实际距离AO、BO、CO，并根据所用棋盘格标定板出厂参数(每个小棋盘的长宽)计算所有角点在实际坐标系中的位置坐标，输入给轮胎吊自动纠偏系统后，该系统保存上述数据；

3.4在像素坐标系下检测标定板上所有角点位置坐标，并保存。标定完成后，轮胎吊自动纠偏系统自动切换至纠偏模式，执行步骤4；

步骤4：纠偏模式下首先调用预处理模块，进行图像分割，获得二值化图像；

4.1读取一帧图像数据，根据实际视场选取感兴趣区域ROI，得到R行 C列的图像M₀；

4.2(进入纠偏模式)调用纠偏模式中的预处理模块，将当前帧图像转换成YUV格式(或YCrCb格式)并分别保存Y、U(Cr)、V(Cb)这三个通道的图像数据为M_y，M_u，M_v；

4.3使用大津法OTSU对M_y进行分割，使用OTSU法将M_y分割成只包含0和1两个像素值的图像M_y0和M_y1，得到M_y0和M_y1两个区域及其包含像素点的坐标值；

4.4分别计算M_y图像中M_y0区域和M_y1区域像素值的均值M_{y0_mean}、 M_{y1_mean}和方差M_{y0_std}、M_{y1_std}；

4.5令M_{y0_mean}作为阈值，对M_y0进行二值化处理，若M_y0某点像素值大于M_{y0_mean}则置1，若小于M_{y0_mean}则置0，以此类推遍历M_y0所有像素点；令M_{y1_mean}作为阈值，对M_y1进行二值化处理，若M_y1某点像素值大于 M_{y0_mean}则置1，若小于M_{y0_mean}则置0，以此类推遍历M_y1所有像素点；并将M_y0和M_y1结果重新赋值给M_u

4.6将M₀转换成CMYK格式，并提取其中Y通道图像保存为M_yellow；

4.7M_u和M_yellow图像做“或”运算，去除干扰，得到图像M_p，作为预处理模块的输出；

步骤5：调用纠偏模式的线路识别模块，该模块在二值化图像M_p中检测场区内规定行驶区域内的车道线，并输出车道线的直线方程、轮胎吊偏离直线的位置偏差和角度偏差。具体步骤如下：

5.1统计M_p每一列像素值之和，即可得到大小为C的一列数组，设为 P_c。遍历该数组，找出像素和最大的两个标号记为X_max1和X_max2；

5.2在M_p中以X_max1和X_max2为图像坐标系Y轴坐标最大处的X方向基础搜索点，设置m×n大小的滑动窗口W，使其以X_max1和X_max2的中心位置(坐标均值)为底边中心，X_max1和X_max2间距离的1.5倍为窗口长m，以 HM_p/step(HM_p为图像M_p的高度，step为统计次数，视实际情况定)的值为窗口高度n；

5.3滑动窗口W在M_p内滑动；在每个位置统计W内非0像素的个数，保存非0像素的像素坐标，计算所有非0像素点的中心位置坐标，记为P_ceni；以此时滑动窗口W的上边界Y向坐标为下一次搜索时滑动窗口的下边界，以P_ceni的x坐标左边为滑动窗口的X向中心坐标，重复步骤5.3共step次后，转至步骤6；

步骤6：根据上述step次的P_ceni点坐标拟合成直线，并计算各点P_ceni到直线间距离，并根据距离从小到大排序后，使用排在前的2/3个点重新拟合成直线，该直线即为检测到的规定行车线方程Ls；

步骤7：调用坐标转换模块，采用双线性插值法，将Ls转换到实际坐标系中。具体方法为：取Ls上0.3和0.7长度位置处的两个点，记为P0， P1，搜索距离P1最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算P1的实际位置坐标，采用同样的方法计算P0的实际位置坐标，计算实际坐标系下该两点所在直线方程L0。

步骤8：线路识别模块计算L0和预置标准规定线路间的夹角，即为方向偏差△α，结合图3；

步骤9：计算预置标准规定线路在摄像头视场最近端的交点距L0实际距离，记为d_r0，进一步计算d_r0*cos(△α)-l_p0*sin(△α)的值即为距离偏差△d，l_p0为摄像头在地面投影点到摄像头视场最近端的距离。

较佳的，可以对龙门吊左右两侧前后的共4路摄像头做上述步骤处理后，调用数据融合模块，数据融合模块将多个摄像头采样图像的处理结果融合成一路，并传输给PLC通讯模块。由于轨道的对称性，基于不同边缘线计算获得的角度偏差△α以及距离偏差△d理论上应当相同。因此基于每个摄像头采集的图像，计算一组角度偏差△α以及距离偏差△d，取均值作为最终的角度偏差△αz以及距离偏差△dz，将最终的角度偏差△αz以及距离偏差△dz发送给PLC通讯模块；

数据处理软件的PLC通讯模块将上述检测结果传输至轮胎吊控制的 PLC通讯模块，当检测出方向偏差△α和距离偏差△d，任何一个超过阈值时，制停轮胎吊的行进。当检测出方向偏差△α和距离偏差△d均未超过阈值时，控制轮胎吊行驶速度进行调整。当△α>0，且△d>1cm时，控制轮胎吊增大右侧轮的行驶速度；当△α0，且△d>1cm时，控制轮胎吊增大左侧轮的行驶速度；当△α＝0，或者△d≤1cm，无需调整。

以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (15)

1.一种轮胎吊自动纠偏系统，其特征在于，包括：

采集模块，轮胎吊行进过程中获取规定线路的图像；

标定模块，存储标定参照物特征部位分别在像素坐标系和实际坐标系下的坐标；

坐标转换模块，实现像素坐标系与实际坐标系之间的转换；

预处理模块，对采集模块的图像进行处理进行分割，获得二值化图像；

线路识别模块，通过对规定线路检测识别，获取规定线路在像素坐标系下的直线方程，并通过坐标转换模块获取在实际坐标系下的直线方程，确定实际行驶过程中规定线路与预置标准规定线路的方向偏差△α和距离偏差△d，并发送给PLC通讯模块；

PLC通讯模块接收线路识别模块发送的所述方向偏差△α和距离偏差△d，同时存储并发送给轮胎吊控制系统进行纠偏。

2.根据权利要求1所述轮胎吊自动纠偏系统，其特征在于，采集模块的图像采集装置采用单路或多路摄像头，视场能够同时覆盖到规定线路左右两侧的行车标识线。

3.根据权利要求1所述轮胎吊自动纠偏系统，其特征在于，将标定参照物放置于采集系统视场内，检测并识别其特征部位，保存各个特征部位的像素坐标，保持标定参照物不动，测量识别出的特征部位在实际坐标系下的坐标并保存，并将各个特征部位的像素坐标以及实际坐标系下的坐标传输给坐标转换模块。

4.根据权利要求3所述轮胎吊自动纠偏系统，其特征在于，坐标转换模块根据输入的像素坐标系下的像素坐标，搜索距离该像素坐标最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算该像素坐标的实际位置坐标。

5.根据权利要求4所述轮胎吊自动纠偏系统，其特征在于，预处理模块首先根据实际视场选取感兴趣区域ROI，通过对采样图像做通道分离，获得三个通道的图像数据为M_y，M_u，M_v；使用大津法OTSU对M_y进行分割，使用大津法OTSU将M_y分割成只包含0和1两个像素值的图像M_y0和M_y1，得到M_y0和M_y1两个区域及其包含像素点的坐标值；分别计算M_y图像中M_y0区域和M_y1区域像素值的均值M_{y0_mean}、M_{y1_mean}；

令M_{y0_mean}作为阈值，对M_y0进行二值化处理；令M_{y1_mean}作为阈值，对M_y1进行二值化处理；并将M_y0和M_y1结果重新赋值给M_u；将M₀转换成CMYK格式，并提取其中Y通道图像保存为M_yellow；M_u和M_yellow图像做“或”运算，得到图像M_p，作为预处理模块的输出。

6.根据权利要求5所述轮胎吊自动纠偏系统，其特征在于，线路识别模块获取规定线路在像素坐标系下的直线方程的具体方法为：

5.1统计图像M_p每一列像素值之和，得到大小为C的一列数组P_c；遍历数组P_c，找出像素和最大的两个标号记为X_max1和X_max2；

5.2在M_p中以X_max1和X_max2为图像坐标系Y轴坐标最大处的X方向基础搜索点，设置m×n大小的滑动窗口W，使其以X_max1和X_max2的中心位置为底边中心，X_max1和X_max2间距离的1.5倍为窗口长m，以HM_p/step的值为窗口高度n，其中HM_p为图像M_p的高度，step为统计次数；

5.3滑动窗口W在M_p内滑动step次；在每个位置统计W内非0像素的个数，保存非0像素的像素坐标，计算所有非0像素点的中心位置坐标，记为P_ceni；以此时滑动窗口W的上边界Y向坐标为下一次搜索时滑动窗口的下边界，以P_ceni的x坐标左边为滑动窗口的X向中心坐标；

5.4将step次的P_ceni点坐标拟合成直线，并计算各点P_ceni到直线间距离，并根据距离从小到大排序后，使用排在前的2/3个点重新拟合成直线，该直线即为检测到的规定行车线方程Ls。

7.根据权利要求6所述轮胎吊自动纠偏系统，其特征在于，通过坐标转换模块获取在实际坐标系下的直线方程的具体方法为：

取Ls上0.3和0.7长度位置处的两个点，记为P0，P1，搜索距离P1最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算P1的实际位置坐标；搜索距离P0最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算P0的实际位置坐标；计算实际坐标系下两点所在直线L0的方程。

8.根据权利要求7所述轮胎吊自动纠偏系统，其特征在于，距离偏差△d的计算方法为：计算预置标准规定线路在摄像头视场最近端的交点距直线L0实际距离d_r0，计算△d＝d_r0*cos(△α)-l_p0*sin(△α)，l_p0为摄像头在地面投影点到摄像头视场最近端的距离。

9.根据权利要求8所述轮胎吊自动纠偏系统，其特征在于，轮胎吊控制系统进行纠偏的方法为：

当检测出方向偏差△α和距离偏差△d，任何一个超过阈值时，制停轮胎吊的行进；

当检测出方向偏差△α和距离偏差△d均未超过阈值时，控制轮胎吊行驶速度进行调整；当△α>0，且△d>1cm时，控制轮胎吊增大右侧轮的行驶速度；当△α0，且△d>1cm时，控制轮胎吊增大左侧轮的行驶速度；

当△α＝0，或者△d≤1cm，无需调整。

10.一种基于权利要求1所述的轮胎吊自动纠偏系统进行纠偏的方法，其特征在于，包括如下步骤：

步骤1：在轮胎吊两侧其任意一侧的下横梁上安装摄像头，用于获取轮胎吊行驶方向上车道线及周围场景图像，摄像头视场应当覆盖该侧规定线路上的左右两条车道线；

步骤2：判断纠偏系统使用模式，若轮胎吊自动纠偏系统为首次使用或处于标定模式下，则进入步骤3，若为实时纠偏模式则进入步骤4；

步骤3：启动轮胎吊自动纠偏系统的标定模块，存储标定参照物特征部位分别在像素坐标系和实际坐标系下的坐标；

步骤4：纠偏模式下首先调用预处理模块，进行图像分割，获得二值化图像M_p；

步骤5：调用纠偏模式的线路识别模块，在二值化图像M_p中检测场区内规定行驶区域内的车道线的特征点的集合；

步骤6：将特征点集合中各特征点坐标拟合成直线，并计算各点到拟合直线间距离，并根据距离从小到大排序后，使用排在前的2/3个点重新拟合成直线，该重新拟合的直线即为检测到的规定行车线Ls；

步骤7：调用坐标转换模块，采用双线性插值法，将Ls转换到实际坐标系中；

步骤8：线路识别模块计算L0和预置标准规定线路间的夹角，即为方向偏差△α；计算预置标准规定线路在摄像头视场最近端的交点距L0实际距离，记为d_r0，进一步计算d_r0*cos(△α)-l_p0*sin(△α)的值即为距离偏差△d，l_p0为摄像头在地面投影点到摄像头视场最近端的距离。

11.根据权利要求10所述纠偏的方法，其特征在于，步骤3中存储标定参照物特征部位分别在像素坐标系和实际坐标系下的坐标的具体方法为：

3.1将棋盘格标定板放置在摄像头视场范围内的路面上，棋盘格标定板尽量多的覆盖视场内的车道线；

3.2轮胎吊自动纠偏系统的标定模块检测棋盘格标定板上所有角点并保存在像素坐标系下的坐标；

3.3人工测量棋盘格标定板上至少三个不位于同一条直线上的角点A、B、C与摄像头在地面投影点O间的实际距离AO、BO、CO，并根据所用棋盘格标定板出厂参数计算所有角点在实际坐标系中的位置坐标并保存；

3.4在像素坐标系下检测标定板上所有角点位置坐标，并保存。

12.根据权利要求11所述纠偏的方法，其特征在于，进行图像分割，获得二值化图像M_p的具体方法为：

4.1读取一帧图像数据，根据实际视场选取感兴趣区域ROI，得到R行C列的图像M₀；

4.2调用纠偏模式中的预处理模块，将当前帧图像转换成YUV格式或YCrCb格式并分别保存三个通道的图像数据为M_y，M_u，M_v；

4.3使用大津法OTSU对M_y进行分割，使用大津法OTSU将M_y分割成只包含0和1两个像素值的图像M_y0和M_y1，得到M_y0和M_y1两个区域及其包含像素点的坐标值；

4.4分别计算M_y图像中M_y0区域和M_y1区域像素值的均值M_{y0_mean}、M_{y1_mean}和方差M_{y0_std}、M_{y1_std}；

4.5令M_{y0_mean}作为阈值，对M_y0进行二值化处理，若M_y0某点像素值大于M_{y0_mean}则置1，若小于M_{y0_mean}则置0，遍历M_y0所有像素点；令M_{y1_mean}作为阈值，对M_y1进行二值化处理，若M_y1某点像素值大于M_{y0_mean}则置1，若小于M_{y0_mean}则置0，遍历M_y1所有像素点；并将M_y0和M_y1结果重新赋值给M_u；

4.6将M₀转换成CMYK格式，并提取其中Y通道图像保存为M_yellow；

4.7M_u和M_yellow图像做“或”运算，去除干扰，得到图像M_p，作为预处理模块的输出。

13.根据权利要求12所述纠偏的方法，其特征在于，在二值化图像M_p中检测场区内规定行驶区域内的车道线的特征点的集合的具体步骤如下：

5.1统计图像M_p每一列像素值之和，得到大小为C的一列数组P_c；遍历数组P_c，找出像素和最大的两个标号记为X_max1和X_max2；

5.2在M_p中以X_max1和X_max2为图像坐标系Y轴坐标最大处的X方向基础搜索点，设置m×n大小的滑动窗口W，使其以X_max1和X_max2的中心位置为底边中心，X_max1和X_max2间距离的1.5倍为窗口长m，以HM_p/step的值为窗口高度n，其中HM_p为图像M_p的高度，step为统计次数；

5.3滑动窗口W在M_p内滑动step次；在每个位置统计W内非0像素的个数，保存非0像素的像素坐标，计算所有非0像素点的中心位置坐标，记为P_ceni；以此时滑动窗口W的上边界Y向坐标为下一次搜索时滑动窗口的下边界，以P_ceni的x坐标左边为滑动窗口的X向中心坐标。

14.根据权利要求13所述纠偏的方法，其特征在于，调用坐标转换模块，采用双线性插值法，将Ls转换到实际坐标系的具体方法为：

具体方法为：取Ls上0.3和0.7长度位置处的两个点，记为P0，P1，搜索距离P1最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算P1的实际位置坐标；搜索距离P0最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算P0的实际位置坐标；计算实际坐标系下两点所在直线L0的方程。

15.根据权利要求14所述纠偏的方法，其特征在于，还包括步骤9，轮胎吊控制系统接收方向偏差△α和距离偏差△d，并进行纠偏控制，具体方法为：

当检测出方向偏差△α和距离偏差△d，任何一个超过阈值时，制停轮胎吊的行进；

当检测出方向偏差△α和距离偏差△d均未超过阈值时，控制轮胎吊行驶速度进行调整；当△α>0，且△d>1cm时，控制轮胎吊增大右侧轮的行驶速度；当△α0，且△d>1cm时，控制轮胎吊增大左侧轮的行驶速度；

当△α＝0，或者△d≤1cm，无需调整。

Images