CN105271004B - 采用单目视觉的吊具空间定位装置及方法 - Google Patents

Abstract

本发明提供一种采用单目视觉的吊具空间定位装置及方法，桥吊的每个吊具运动时，带动该吊具相应的球形标识物以定位孔为固定点进行摆动；通过单目摄像机拍摄所述球形标识物从光心正下方摆动到与竖直方向有夹角时的图像；通过信号处理装置对拍摄到的图像进行处理得到例如球形标识物在与光心距离等于焦距的像平面上对应圆形的圆心坐标等一些参数，并根据相应参数计算得到该球形标识物在世界坐标系下的球心空间坐标。本发明可以对双吊具的球心空间坐标进行计算，实现双吊具的空间定位，提供给桥吊驾驶员进行参考，或帮助完成双起升双吊具的同步或者防摇控制。本发明结构简单，造价低廉，精确度高，可以同时测量多种信号。

Description

采用单目视觉的吊具空间定位装置及方法

技术领域

本发明涉及机器视觉检测技术，特别涉及采用单目视觉的双起升双吊具桥吊的吊具空间定位装置及方法。

背景技术

双起升桥式吊车的双吊具可以同时装卸两个不同的集装箱，大大提高了集装箱码头的运输效率。双起升桥式吊车在装卸过程中，需要两个吊具同步协调无摇晃运行才能保证准确的对位以最大效率完成集装箱的装卸工作。但在双吊具驱动电机运行过程中，外部负载重量的变化，以及外部其他干扰，桥吊系统内部参数的变化，装卸过程中双吊具会产生摇晃或者运行不同步的现象。这样会对装卸效率带来不利影响，也会带来不安全因素。因此，精确测量吊具的空间位置并对桥吊进行同步和防摇控制非常重要。

在双起升双吊具桥吊的自动控制中，需要检测双吊具的空间位置信息，使之参与反馈控制。现有的桥吊吊具空间位置检测装置是针对单吊具桥吊设计的，比如接触式的检测装置和非接触式的检测装置。其中接触式的测量装置，比如编码器等，存在电气噪音，多传感器配置，易磨损，使测量装置复杂化等问题。现有的非接触式检测装置也需要多传感器配合，比如双目摄像机配合激光测距仪，这种测量方式造价昂贵，且多传感器信号不同步等问题，影响着其应用。

发明内容

本发明的目的是提供一种双起升双吊具桥吊的吊具空间定位装置及测量方法，采用单目视觉的原理，通过设置于双吊具上方的标识小球与小车下方的单目摄像机，将采集得到的图像经过处理后计算得到双吊具的空间位置，解决了双起升双吊具桥吊吊具的空间定位以及信号处理问题，装置成本低，效率高，结构简单且采集的信息范围广泛。

为了达到上述目的，本发明的一个技术方案是提供一种采用单目视觉的吊具空间定位装置，其包含：

与桥吊中每一个吊具相应设置的以下部件：桥吊的小车机构处开设的定位孔；起升电机的转轴连接吊绳一端，使吊绳的另一端穿过定位孔后，与吊具及吊具上方的球形标识物连接；

单目摄像机，设置于小车机构处，用于拍摄吊具运动时所述球形标识物随之以定位孔为固定点从第一位置摆动到第二位置时的图像；第一位置时球形标识物的球心位于单目摄像机的光心正下方；第二位置时球形标识物的球心与光心的连线与竖直方向构成有夹角；

信号处理装置，根据对拍摄到的图像进行处理得到的参数，计算得到该球形标识物在世界坐标系下的球心空间坐标：

其中，图像处理得到的参数包含：

单目摄像机的焦距f；

光心到第一位置时球形标识物球心的高度h；

球形标识物在与光心距离为f处的像平面上对应圆形的圆心在图像坐标系下的坐标x,y；

摄像机坐标系O_cx_cy_cz_c与世界坐标系O_wx_wy_wz_w的原点，分别在x_w,y_w,z_w方向的距离x₀,y₀,z₀。

优选地，信号处理装置是包含以下模块的图像处理计算机：

前置滤波模块，对拍摄到的图像进行滤波处理；

双圆检测模块，对图像中第一位置和第二位置的球形标识物进行识别得到相应的参数；

空间定位模块，根据得到的参数计算得到球形标识物在世界坐标系下的球心空间坐标。

优选地，所述桥吊是双起升双吊具桥吊，在小车机构处设置有与两个吊具分别对应的定位孔、起升电机、吊绳及球形标识物；

所述小车机构上共用的单目摄像机，对两个吊具各自对应球形标识物以各自定位孔为固定点在两个位置摆动的图像进行拍摄；

所述小车机构上共用的信号处理装置，对两个吊具各自对应球形标识物在世界坐标系下的球心空间坐标进行计算，实现双吊具的空间定位。

优选地，所述信号处理装置将双吊具的空间定位信息发送给监视控制计算机；由监视控制计算机发送给桥吊司机操作室的显示器处进行显示，和/或发送给同步或者防摇控制装置进行双吊具的同步或者防摇控制。

本发明的另一个技术方案是提供一种采用单目视觉的吊具空间定位方法，桥吊运行，控制每个吊具运动，带动该吊具相应的球形标识物以定位孔为固定点进行摆动；

通过单目摄像机拍摄所述球形标识物从第一位置摆动到第二位置时的图像；第一位置时球形标识物的球心位于单目摄像机的光心正下方；第二位置时球形标识物的球心与光心的连线与竖直方向构成有夹角；

通过信号处理装置对拍摄到的图像进行处理得到相应参数，并根据相应参数计算得到该球形标识物在世界坐标系下的球心空间坐标：

其中，图像处理得到的参数包含：

单目摄像机的焦距f；

光心到第一位置时球形标识物球心的高度h；

球形标识物在与光心距离为f处的像平面上对应圆形的圆心在图像坐标系下的坐标x,y；

摄像机坐标系O_cx_cy_cz_c与世界坐标系O_wx_wy_wz_w的原点，分别在x_w,y_w,z_w方向的距离x₀,y₀,z₀。

优选地，所述桥吊是双起升双吊具桥吊；通过共用的单目摄像机，对两个吊具各自对应球形标识物以各自定位孔为固定点在两个位置摆动的图像进行拍摄；

通过共用的信号处理装置，对两个吊具各自对应球形标识物在世界坐标系下的球心空间坐标进行计算，实现双吊具的空间定位；

通过监视控制计算机，将双吊具的空间定位信息发送给桥吊司机操作室的显示器处进行显示，和/或发送给同步或者防摇控制装置进行双吊具的同步或者防摇控制。

本发明涉及的桥吊吊具空间定位装置采用了单目视觉原理，通过单目摄像机对安装于两个吊具上方的两个标识小球进行图像采集并通过图像处理获得小球球心的空间坐标。

目前为止有关双起升桥吊吊具的空间定位装置的方案较少，相对于传统的桥吊吊具定位系统，本发明所涉及的双吊具定位装置使用的为非接触的单目视觉定位装置，成本低，结构简单，精确度能够得到保证，且不存在多传感器的信号不同步问题，既可以为双起升双吊具桥吊的同步和防摇控制提供反馈信息，参与桥吊的自动控制，又可以再桥吊控制室的监视计算机中显示，为桥吊司机手动操作提供参考。

附图说明

图1是双起升双吊具桥吊吊具空间定位装置结构图；

图2是吊具空间定位装置放大图；

图3是系统坐标原理图；

图4是定位原理图；

图5是信号流程图。

具体实施方式

本发明采用单目视觉技术，通过单个摄像机和两个球形标识物，依据对采集到的图像中两个球形标志物的位置和大小，从而测量得到表示小球的空间坐标，完成双吊具的空间定位。

附图1为双起升双吊具桥吊及本发明所涉及的吊具空间定位装置的结构和组成：如图1所示的双起升双吊具桥式吊车中，设有大车机构1，大车驱动机构2、3，小车机构4，桥吊司机操作室5；在小车机构4上搭载有单目摄像机8，信号处理装置9，以及两个起升电机6、7，并通过两个吊绳10、11对应连接了两个吊具14、15及相应的两个球形标识物12、13。

图2为单个吊具定位装置结构放大示意图。起升电机的转轴16连接吊绳10，吊绳10穿过小车机构底板的定位孔17后，连接相应的吊具14和球形标识物12。桥吊在运动过程中，此定位孔17所在的点为吊绳10摆动时的固定点，通过此固定点，构建空间坐标系，以此对桥吊吊具进行空间定位。信号处理装置9主要由图像处理计算机组成，对于小车机构底板下方的单目摄像机8采集的图像进行处理。

图3为系统坐标原理图，图4为定位原理图。吊具运动带动球形标识物一起运动，由单目摄像机捕捉球形标识物，并由计算机处理得到吊具的位置信息。如图3所示，18为摄像机的光心，设置三个桥吊坐标系：摄像机坐标系O_cx_cy_cz_c，世界坐标系O_wx_wy_wz_w以及图像坐标系xOy。标定小球在摄像机坐标系内的球心坐标为(x_c,y_c,z_c)。在图像坐标系内的圆心坐标为(x,y)。摄像机坐标系和世界坐标系的转换关系为：

(x_w,y_w,z_w)＝(x_c-x₀,y_w-y₀,z_w+z₀) (1)

其中，x₀为两坐标系的原点在x_w方向的距离，y₀为y_w方向的距离，z₀为z_w方向的距离。

依据相机的小孔成像模型，如图4所示，O为光心，AB与CD分别是单个球形标识物在两个位置时在像平面上对应的圆形(圆心为O₁和O₂)的直径，A₁B₁与C₁D₁分别是该球形标识物在这两个位置时对应的成像圆切面的直径，FG与C₁D₁平行，FG相当于像平面圆形的直径AB随着球形标识物在像平面的位置变化后对应的直径所在位置。M₁N₁和MN分别是球形标识物位置变化前后的直径，P、P₁分别是A₁B₁和C₁D₁的中点，各点关系具体请参见图4标示。

1)当球形标识物球心位于光心正下方时，对应图4中球形标识物球心位于O₃

的情况。根据几何原理，此时球形标识物到光心的高度为

2)当球形标识物球心在竖直方向与光心有一定夹角时，对应图4中球形标识

物球心位于O₄的情况。移动的夹角为

则

则，此时球形标识物球心到光心的高度为

令球形标识物到光心的高度OO₃为h；光心到像平面的距离OO₁为f，即为焦距。则在摄像机坐标系中的坐标为

由公式(4)结合公式(1)即可求出球形标识物在世界坐标系内的空间坐标，实现吊具的定位。

即，球形标识物球心空间坐标计算公式为：

双吊具的定位原理类似，即同时检测两个球形标识物，即可完成双吊具的空间定位。

图5为整个装置的信号流程图。本发明涉及的基于单目视觉测量原理的双起升双吊具空间定位装置，其具体工作如下：

桥吊接收到运行命令后，开始运动，此时两个吊具上方的球形标识物相应也发生运动，单目摄像机实时的拍摄相应拍摄角度内的场景图像，并把图像传输到信号处理装置中，由图像处理计算机对接收到的图像进行滤波处理(前置滤波)，并使用相应的快速圆检测算法对图像中的两个球形标识物进行识别，得到相应的圆心坐标和半径，再利用公式(1-4)对两个球形标识物球心的空间坐标进行计算，实现双吊具的空间定位。之后将吊具的空间信息传送到驾驶室显示器中供桥吊驾驶员进行参考，也可以作为反馈信息传送到同步或者防摇控制装置中，帮助完成双起升双吊具的同步或者防摇控制。

综上所述，本发明采用单目视觉的原理，通过设置于双吊具上方的标识小球与小车下方的单目摄像机，将采集得到的图像经过处理后计算得到双吊具的空间位置。这些位置信息可以为桥吊的同步和防摇控制提供反馈信息，同时可以直观地呈现给桥吊控制室。由于单目视觉测量的本身特性，免去了复杂的传感器配置与信号同步问题，且测量精度高。在信号采集范围方面，通过单目视觉测量得到的桥吊空间位置，可以转换为负载的空间摆角和吊绳的绳长，而这些信息使用传统测量方法时，则需要多传感器协同工作才能实现。因此，本发明具有结构简单，造价低廉，精确度高，可以同时测量多种信号等特点。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (6)

1.一种采用单目视觉的吊具空间定位装置，其特征在于，包含：

与桥吊中每一个吊具相应设置的以下部件：桥吊的小车机构处开设的定位孔；起升电机的转轴连接吊绳一端，使吊绳的另一端穿过定位孔后，与吊具及吊具上方的球形标识物连接；

单目摄像机，设置于小车机构处，用于拍摄吊具运动时所述球形标识物随之以定位孔为固定点从第一位置摆动到第二位置时的图像；第一位置时球形标识物的球心位于单目摄像机的光心正下方；第二位置时球形标识物的球心与光心的连线与竖直方向构成有夹角；

信号处理装置，根据对拍摄到的图像进行处理得到的参数，计算得到该球形标识物在世界坐标系下的球心空间坐标：

$(x_w,y_w,z_w)=(\frac{f}{h}*x-x_0,\frac{f}{h}*y-y_0,h+z_0)$

其中，图像处理得到的参数包含：

单目摄像机的焦距f；

光心到第一位置时球形标识物球心的高度h；

球形标识物在与光心距离为f处的像平面上对应圆形的圆心在图像坐标系下的坐标x,y；

摄像机坐标系O_cx_cy_cz_c与世界坐标系O_wx_wy_wz_w的原点，分别在x_w,y_w,z_w方向的距离x₀,y₀,z₀。

2.如权利要求1所述采用单目视觉的吊具空间定位装置，其特征在于，

信号处理装置是包含以下模块的图像处理计算机：

前置滤波模块，对拍摄到的图像进行滤波处理；

双圆检测模块，对图像中第一位置和第二位置的球形标识物进行识别得到相应的参数；

空间定位模块，根据得到的参数计算得到球形标识物在世界坐标系下的球心空间坐标。

3.如权利要求1或2所述采用单目视觉的吊具空间定位装置，其特征在于，

所述桥吊是双起升双吊具桥吊，在小车机构处设置有与两个吊具分别对应的定位孔、起升电机、吊绳及球形标识物；

所述小车机构上共用的单目摄像机，对两个吊具各自对应球形标识物以各自定位孔为固定点在两个位置摆动的图像进行拍摄；

所述小车机构上共用的信号处理装置，对两个吊具各自对应球形标识物在世界坐标系下的球心空间坐标进行计算，实现双吊具的空间定位。

4.如权利要求3所述采用单目视觉的吊具空间定位装置，其特征在于，

所述信号处理装置将双吊具的空间定位信息发送给监视控制计算机；由监视控制计算机发送给桥吊司机操作室的显示器处进行显示，和/或发送给同步或者防摇控制装置进行双吊具的同步或者防摇控制。

5.一种采用单目视觉的吊具空间定位方法，其特征在于，

桥吊运行，控制每个吊具运动，带动该吊具相应的球形标识物以定位孔为固定点进行摆动；

通过单目摄像机拍摄所述球形标识物从第一位置摆动到第二位置时的图像；第一位置时球形标识物的球心位于单目摄像机的光心正下方；第二位置时球形标识物的球心与光心的连线与竖直方向构成有夹角；

通过信号处理装置对拍摄到的图像进行处理得到相应参数，并根据相应参数计算得到该球形标识物在世界坐标系下的球心空间坐标：

$(x_w,y_w,z_w)=(\frac{f}{h}*x-x_0,\frac{f}{h}*y-y_0,h+z_0)$

其中，图像处理得到的参数包含：

单目摄像机的焦距f；

光心到第一位置时球形标识物球心的高度h；

球形标识物在与光心距离为f处的像平面上对应圆形的圆心在图像坐标系下的坐标x,y；

摄像机坐标系O_cx_cy_cz_c与世界坐标系O_wx_wy_wz_w的原点，分别在x_w,y_w,z_w方向的距离x₀,y₀,z₀。

6.如权利要求5所述采用单目视觉的吊具空间定位方法，其特征在于，

所述桥吊是双起升双吊具桥吊；

通过共用的单目摄像机，对两个吊具各自对应球形标识物以各自定位孔为固定点在两个位置摆动的图像进行拍摄；

通过共用的信号处理装置，对两个吊具各自对应球形标识物在世界坐标系下的球心空间坐标进行计算，实现双吊具的空间定位；

通过监视控制计算机，将双吊具的空间定位信息发送给桥吊司机操作室的显示器处进行显示，和/或发送给同步或者防摇控制装置进行双吊具的同步或者防摇控制。