CN109341664A - 基于视觉的二维桥式吊车的摆动状态测量方法 - Google Patents

Abstract

本发明提供了一种基于视觉的二维桥式吊车的摆动状态测量方法，包括：根据初始跟踪点，依次识别出后续运动状态图像中的跟踪点；根据跟踪点，获取后续运动状态图像中的跟踪区域；然后获取跟踪区域内各个点对应的颜色直方图；将颜色直方图与预设的参考颜色直方图进行比较，得到跟踪区域的匹配值；去除匹配值小于预设阈值的跟踪区域所对应的运动状态图像，得到目标图像；根据目标图像中跟踪点的位置，获取吊绳的摆动角度。本发明基于视觉图像来获取桥式吊车的摆动状态，无需设置接触式传感器，可以实现远程、非接触地实时监测；在对采集到的运动状态图像进行图像识别处理时，仅需要对跟踪区域范围内的图像进行识别处理，算法速度快，精度高。

Description

基于视觉的二维桥式吊车的摆动状态测量方法

技术领域

本发明涉及吊车摆动检测领域，具体地，涉及基于视觉的二维桥式吊车的摆动状态测量方法。

背景技术

二维桥式吊车负载能力强，操作灵活，在工业与运输领域有着广泛的应用，如货运码头、建筑工地、铁路建设等。但是，桥式吊车是一种典型的非线性、强耦合、欠驱动系统，吊车在实际运行过程中，台车的运动会导致负载的摆动，尤其在启停的过程中尤为明显。

一台吊车需要两名操作人员进行操作，其中一位负责台车的驾驶，另一名负责通过眼睛来监控负载的运动状态。然而在工业现场中，桥式吊车是一种很危险的设备，为了提高桥式吊车的自动化程度和安全性，设计一套自动化控制系统就显得尤为重要。通常，系统使用编码器作为台车定位与负载摆动的传感器，但是由于重载引起的吊车震动会导致传感器的移位和损坏，从而影响测量结果的准确性。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于视觉的二维桥式吊车的摆动状态测量方法。

根据本发明提供的一种基于视觉的二维桥式吊车的摆动状态测量方法，包括：

设置二维桥式吊车的吊绳为预设的标记颜色；

采集桥式吊车的N张运动状态图像；其中，N为大于1的自然数，根据相机的采样帧数确定N的值，假设每秒采集30帧，则N＝30*t，t为时间；

从第1张运动状态图像中确定位于吊绳上的初始跟踪点，并根据所述初始跟踪点确定跟踪区域的大小和位置；

根据所述初始跟踪点，依次识别出后续N-1张运动状态图像中的跟踪点；

根据所述跟踪点，获取所述N-1张运动状态图像中的跟踪区域；

获取所述跟踪区域内各个点对应的颜色直方图；

将所述颜色直方图与预设的参考颜色直方图进行比较，得到所述跟踪区域的匹配值；

去除所述匹配值小于预设阈值的跟踪区域所对应的运动状态图像，得到目标图像；

根据所述目标图像中跟踪点的位置，获取所述吊绳的摆动角度。

可选地，采集桥式吊车的N张运动状态图像，包括：

通过摄像机采集所述桥式吊车的N张运动状态图像，其中所述摄像机的镜头对准所述桥式吊车的中心位置。

可选地，从第1张运动状态图像中确定位于吊绳上的初始跟踪点，包括：

从所述吊绳上选取两个初始跟踪点，分别记为第一初始跟踪点(x1，y1)、第二初始跟踪点(x2，y2)；其中，第二初始跟踪点(x2，y2)位于吊绳的末端。

可选地，根据所述初始跟踪点确定所述吊绳的跟踪区域的大小和位置，包括：

以所述初始跟踪点为跟踪区域的中心，设置所述跟踪区域的长度和宽度；其中，第一初始跟踪点(x1，y1)的跟踪区域的面积小于第二初始跟踪点(x2，y2)的跟踪区域。

可选地，根据所述跟踪点，获取所述N-1张运动状态图像中的跟踪区域，包括：

根据跟踪区域移动算法获取所述N-1张运动状态图像中的跟踪区域，所述跟踪区域移动算法的公式如下：

其中：c₁(k+1)为第k+1张图像的第一跟踪区域的中心点，c₂(k+1)为第k+1张图像的第二个跟踪区域的中心点，为第k张图片的第一跟踪点位置， 为第k张图片的第二跟踪点位置，k的取值范围为1～N。

可选地，获取所述跟踪区域内各个点对应的颜色直方图，包括：

以跟踪区域内的各个点为中线，生成预设尺寸区域的颜色直方图。

可选地，将所述颜色直方图与预设的参考颜色直方图进行比较，得到所述跟踪区域的匹配值，包括：

通过Bhattacharyya相似性度量来计算所述跟踪区域的匹配值，计算公式如下：

其中：ρ^*为匹配值，p^*和q^*为两个概率分布分布，的值作为匹配值。

可选地，在根据所述跟踪点，获取所述N-1张运动状态图像中的跟踪区域之前，还包括：

根据所述跟踪点，对N-1张运动状态图像的吊绳进行失真校正处理；其中，校正线的校正角度的计算公式如下：

其中：θ为校正角度，为第一跟踪点的横坐标，为偏移的角度，为第一跟踪点的纵坐标，y_p为线垂直于摄像机处的纵坐标，δ为校正因子为第二跟踪点的横坐标为第二跟踪点的纵坐标。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的基于视觉的桥式吊车的摆动状态测量方法，基于视觉图像来获取桥式吊车的摆动状态，无需设置接触式传感器，可以实现远程、非接触地实时监测；在对采集到的运动状态图像进行图像识别处理时，仅需要对跟踪区域范围内的图像进行识别处理，算法速度快，精度高。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的应用场景示意图；

图2为跟踪区域的选取原理示意图；

图3为吊绳校正的原理示意图；

图4为基于物理编码器与基于视觉传感器的跟踪结果示意图。

图中：

1-桥式吊车；

2-摄像机；

3-图像处理器；

4-控制器；

5-跟踪区域；

6-校正线；

7-吊绳；

8-基于物理编码器的跟踪结果曲线；

9-基于视觉传感器的跟踪结果曲线。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

图1为本发明提供的应用场景示意图，在桥式吊车运动过程中，台车、载物以及连接的钢绳都是在移动的，所以本专利使用的算法并不是针对桥式吊车的整个画面，而是仅跟踪需要跟踪的部分，这里把它叫做跟踪区域，如图2所示。由于需要处理的图像区域很小，所以将大大缩短计算的时间。所提出的视觉跟踪方法的设计步骤如下：

步骤1：设置跟踪区域。

本实施例中，如图2所示，选择绳上的两点(x1，y1)、(x2，y2)作为RGB模型图像中的初始跟踪点，跟踪区域仅覆盖R_x像素的长度和R_y像素的宽度。

跟踪区域的长度和宽度必须等于或大于H_x和H_y，H_x和H_y分别是颜色直方图块的长度和宽度。因此，图像处理的两个约束是颜色直方图块要不大于(H_x，H_y)的大小并且跟踪区域具有最多为(R_x，R_y)。包含跟踪点(x1，y1)的跟踪区域仅跟随吊绳沿X轴移动，此时Y轴的值不会改变。因此，R_y可以设置为其最低的值H_y。在吊绳长度已知的情况下，第二跟踪点(x2，y2)跟随吊绳的终端。另外，由于在桥式吊车运动过程中负载会升高或降低，所以第二跟踪点会沿X轴和Y轴移动；因此，第二(下)跟踪区域的大小必须大于第一(上)跟踪区域。跟踪区域必须尽可能小，以尽量减少处理时间，同时要满足能够捕获到跟踪点的大小。

本实施例中，为了便于进行图像识别，可以将吊绳用红色进行标记。当然，在实际应用中也可以根据需要将吊绳设置为其他的标记颜色，例如黄色、蓝色等等。

步骤2：计算颜色直方图：为了进行有用的测量，目标被建模为颜色分布。

本实施例中，第一个点(x1，y1)可以是吊绳上的任何点，但第二个点(x2，y2)必须位于吊绳的末端，以便能够跟踪负载的位置。第一和第二点之间的距离决定了摆角计算的分辨率。

两个点周围的R，G和B的三个1-D颜色直方图是：

其中：q^R，q^G和q^B是补丁中的像素数(H_x，H_y)；r表示红色箱中的红色值；g是绿色箱中的绿色值，b是蓝色箱中的蓝色值。常数R，G和B分别代表红色，绿色和蓝色区的数量。

步骤3：进行移动跟踪区域和相似性测量。

本实施例中，提出了移动跟踪区域的方法，该跟踪区域遵循相应的跟踪点(x1，y1)和(x2，y2)。由于跟踪点的移动与台车的移动速度、相机的速度，相机的位置以及其他因素相关，因此难以确定跟踪区域的最佳尺寸。另外R_x和R_y只能通过跟踪点从图像序列的运动速度来确定。

跟踪区域仅跟踪跟踪点。描述跟踪区域移动的算法如下：

其中：c1和c2是两个跟踪区域的中心；(x1，y1)和(x2，y2)是图像序列中跟踪点的位置，k是时间序列的数量，k＝0，1，2，3...，N。初始中心c₁(1)和c₂(1)分别在图像模型中的位置(x1，y1)和(x2，y2)处选择。因此，跟踪区域的中心随着跟踪点移动。

对于跟踪区域内的每个点，在尺寸的区域内(H_x，H_y)生成颜色直方图p^R，p^G和p^B，然后将模型的颜色直方图与图像序列中的颜色直方图进行比较。Bhattacharyya相似性度量用于测量颜色直方图的匹配值：

其中*∈{R，G，B}，ρ^R，ρ^G和ρ^B是Bhattacharyya相似系数。由此获得的三个相似性被混合以产生统一的相似性ρ(x，y)，因为，

ρ(x，y)＝α·ρ^R(x，y)+β·ρ^G(x，y)+γ·ρ^B(x，y)

其中α，β和γ是红色、绿色和蓝色的加权系数，满足α+β+γ＝1和0≤α，β，γ≤1，α，β和γ的值取决于物体的特征颜色。

计算与每个位置相关的区域；将每个ρ(x，y)与由模型确定的ρ(参考的值)进行比较，值最接近的位置是目标的位置。

步骤4：执行校正。

通常，可以在已知跟踪点的位置之后确定负载摆动角度，但是必须考虑图像失真的问题。主要外部失真由定义相机方向的旋转矩阵带来。这种失真将方形转换为梯形，图3显示了图像中的梯形失真。在图像的左侧和右侧添加理想线，因此确定图像中的红线稍微变形。当已知跟踪点的位置时，可以通过补偿图像失真来校正线的角度，如下：

其中是感测图像的分辨率极限。的值越大，角分辨率越好。通过设置θ＝0°，我们可以得到校正因子δ＝0.00157度/像素。

通过步骤1-4，我们可以通过所提出的简化跟踪方法实现位置跟踪并计算桥式吊车的负载摆动，如图3所示。

图4为基于物理编码器与基于视觉传感器的跟踪结果示意图，校准系数δ＝0.00157度/像素。根据图4，基于颜色直方图的线移动的视觉跟踪是成功的。视觉跟踪和编码器的输出几乎相同。而且，用于计算摆动角度的处理时间仅为大约1ms或2ms。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种基于视觉的二维桥式吊车的摆动状态测量方法，其特征在于，包括：

设置二维桥式吊车的吊绳为预设的标记颜色；

采集桥式吊车的N张运动状态图像；其中，N为大于1的自然数，根据相机的采样帧数确定N的值，假设每秒采集30帧，则N＝30*t，t为时间；

从第1张运动状态图像中确定位于吊绳上的初始跟踪点，并根据所述初始跟踪点确定跟踪区域的大小和位置；

根据所述初始跟踪点，依次识别出后续N-1张运动状态图像中的跟踪点；

根据所述跟踪点，获取所述N-1张运动状态图像中的跟踪区域；

获取所述跟踪区域内各个点对应的颜色直方图；

将所述颜色直方图与预设的参考颜色直方图进行比较，得到所述跟踪区域的匹配值；

去除所述匹配值小于预设阈值的跟踪区域所对应的运动状态图像，得到目标图像；

根据所述目标图像中跟踪点的位置，获取所述吊绳的摆动角度。

2.根据权利要求1所述的基于视觉的二维桥式吊车的摆动状态测量方法，其特征在于，采集桥式吊车的N张运动状态图像，包括：

通过摄像机采集所述桥式吊车的N张运动状态图像，其中所述摄像机的镜头对准所述桥式吊车的中心位置。

3.根据权利要求1所述的基于视觉的二维桥式吊车的摆动状态测量方法，其特征在于，从第1张运动状态图像中确定位于吊绳上的初始跟踪点，包括：

从所述吊绳上选取两个初始跟踪点，分别记为第一初始跟踪点(x1，y1)、第二初始跟踪点(x2，y2)；其中，第二初始跟踪点(x2，y2)位于吊绳的末端。

4.根据权利要求3所述的基于视觉的二维桥式吊车的摆动状态测量方法，其特征在于，根据所述初始跟踪点确定所述吊绳的跟踪区域的大小和位置，包括：

以所述初始跟踪点为跟踪区域的中心，设置所述跟踪区域的长度和宽度；其中，第一初始跟踪点(x1，y1)的跟踪区域的面积小于第二初始跟踪点(x2，y2)的跟踪区域。

5.根据权利要求1所述的基于视觉的二维桥式吊车的摆动状态测量方法，其特征在于，根据所述跟踪点，获取所述N-1张运动状态图像中的跟踪区域，包括：

根据跟踪区域移动算法获取所述N-1张运动状态图像中的跟踪区域，所述跟踪区域移动算法的公式如下：

其中：c₁(k+1)为第k+1张图像的第一跟踪区域的中心点，c₂(k+1)为第k+1张图像的第二个跟踪区域的中心点，为第k张图片的第一跟踪点位置， 为第k张图片的第二跟踪点位置，k的取值范围为1～N。

6.根据权利要求1所述的基于视觉的二维桥式吊车的摆动状态测量方法，其特征在于，获取所述跟踪区域内各个点对应的颜色直方图，包括：

以跟踪区域内的各个点为中线，生成预设尺寸区域的颜色直方图。

7.根据权利要求1所述的基于视觉的二维桥式吊车的摆动状态测量方法，其特征在于，将所述颜色直方图与预设的参考颜色直方图进行比较，得到所述跟踪区域的匹配值，包括：

通过Bhattacharyya相似性度量来计算所述跟踪区域的匹配值，计算公式如下：

其中：ρ^*为匹配值，p^*和q^*为两个概率分布分布，的值作为匹配值。

8.根据权利要求1-7中任一项所述的基于视觉的二维桥式吊车的摆动状态测量方法，其特征在于，在根据所述跟踪点，获取所述N-1张运动状态图像中的跟踪区域之前，还包括：

根据所述跟踪点，对N-1张运动状态图像的吊绳进行失真校正处理；其中，校正线的校正角度的计算公式如下：

其中：θ为校正角度，为第一跟踪点的横坐标，为偏移的角度，为第一跟踪点的纵坐标，y_p为线垂直于摄像机处的纵坐标，δ为校正因子为第二跟踪点的横坐标为第二跟踪点的纵坐标。