CN101289156B - 基于全方位视觉传感器的智能集装箱吊具 - Google Patents

Abstract

一种基于全方位视觉传感器的智能集装箱吊具，包括微处理器、用于视频测量集装箱吊具的扭锁与集装箱的锁孔之间偏差的视觉传感器、用于控制吊机的臂架伸缩、俯仰以及吊具的伸缩、回转的执行模块和吊具，视觉传感器与微处理器连接，微处理器与执行模块连接，微处理器安装在吊机的控制室内，视觉传感器为全方位视觉传感器，全方位视觉传感器安装在吊具的中下部，微处理器包括图像数据读取模块、虚拟外形轮廓定制模块、边缘检测模块和检测与控制模块，检测与控制模块包括旋转的角度θ的检测与控制单元、平移距离的检测与控制单元和吊具的下放距离的检测与控制单元。本发明能够辅助操作人员操作、降低操作难度、提高操作安全性、增加工作效率。

Description

基于全方位视觉传感器的智能集装箱吊具

技术领域

本发明属于全方位视觉传感器的应用，尤其是一种全方位计算机传感器技术、图像识别技术和控制技术在集装箱吊具方面的应用。

背景技术

集装箱吊具在对集装箱船舶装卸、对集装箱车辆的装卸过程中是一个关键设备，由于集装箱船舶的大型化，对集装箱起重设备提出了更新更高的要求，比如吊装的高速化，外伸距、起升高度增大，额定起重量和效率提高。因此改进集装箱吊具运行功能已经成为燃眉之急。

集装箱吊具通常采用高强度钢制作，从结构上看像一个钢制框架，四角配备扭锁和导向装置，上部则配备钢索，大多以液压驱动，由驾驶室遥控。大量的实验数据表明，集装箱码头的设备再先进，其运行效率都取决于集装箱吊具。其中最难的操作工作就是将集装箱吊具上的四角旋锁对准集装箱的角孔。目前都是靠高技术工人用手动控制的方式来完成这项高难度的工作的，著名的许振超团队创造的“显新穿针”的绝活，就是赵显新带着工人们练的就是从16层楼高的桥吊上，把一根筷子粗细的钢针在40秒内插入地面上的啤酒瓶中。

但是，完全要靠人工来实现这样的高技能的工作，存在着几个方面的问题：1)对操作人员的基本要求高，培养这样一种高技能工人需要较长的培养时间和培养成本，同时也不能保证所有受培训的工人都能胜任这项工作；2)对人在操作过程中要求高，即使能胜任这项工作，由于在工作过程中要花费操作人员的大量体力与注意力；3)集装箱的角孔视角不可见，随着起升高度增大，操作人员无法看见集装箱的角孔，完全要凭驾驶员自己的感觉。

中国发明专利公开号为CN1978306A公开了一种集装箱吊具，该吊具包括吊具主体、安装在吊具主体上的导向板、安装在主体下方且与集装箱的锁孔对应的扭锁，它还包括监控扭锁与锁孔位置关系的摄像头以及与摄像头电连接的显示屏。在起吊作业过程中，摄像头监视锁孔与扭锁的对准情况，操作人员可通过显示器观察，从而实现吊具与集装箱的迅速、准确定位。该发明中将摄像头安置在吊具主体的外侧，摄像头本身容易与其他物体相碰而造成损坏；另外，摄像头视野只是一个集装箱的锁孔，而实际上需要四个旋锁都对准锁孔；由于无法检测集装箱上的四角旋锁是否对准集装箱的锁孔，要真正实现自动控制吊具非常困难。

发明内容

为了克服已有的集装箱吊具的对操作人员要求高、吊装过程费时费力、自动化水平低、操作安全性低、吊装效率低的不足，本发明提供一种能够辅助操作人员操作、降低操作难度、提高操作安全性、增加工作效率的基于全方位视觉传感器的智能集装箱吊具。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位视觉传感器的智能集装箱吊具，包括微处理器、用于视频测量集装箱吊具的扭锁与集装箱的锁孔之间偏差的视觉传感器、用于控制吊机的臂架伸缩、俯仰以及吊具的伸缩、回转的执行模块和用于吊装集装箱的吊具，所述视觉传感器与微处理器连接，所述微处理器与执行模块连接，所述微处理器安装在吊机的控制室内，所述视觉传感器为全方位视觉传感器，所述全方位视觉传感器安装在所述吊具的中下部，所述全方位视觉传感器包括一次折反射镜面、二次折反射镜面、透明外罩和摄像部件，所述一次折反射镜面和二次折反射镜面安装在透明外罩上，所述摄像部件位于一次折反射镜面后面的视点上，所述二次折反射镜面位于一次折反射镜面的前面，所述一次折反射镜面和二次折反射镜面上均开有一个小孔，所述二次折反射镜面内嵌入广角镜头，所述摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；所述微处理器包括：图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；虚拟外形轮廓定制模块，用于设定与采集的集装箱外形轮廓图像进行比对的标准轮廓；边缘检测模块，用于对所读取全景视频图像进行边缘检测处理，得到集装箱外形边缘轮廓；检测与控制模块，用于将边缘检测模块中所得到的集装箱外形边缘轮廓与虚拟外形轮廓定制模块所定制的虚拟外形轮廓进行比对，计算出偏移量，然后根据所计算出的偏移量，向所述执行模块发出控制指令；所述的检测与控制模块中包括，旋转的角度θ的检测与控制单元，用于检测虚拟外形轮廓图像上的对角线是否与集装箱外形轮廓图像上对角线平行，当检测结果是不平行时，将吊具旋转的一个角度差θ，角度差θ的计算方法是：

$\mathrm{\θ}=\arctan \left(\frac{{y1}^{\′}-{y2}^{\′}}{{x1}^{\′}-{x2}^{\′}}\right)-\arctan \left(\frac{y1-y2}{x1-x2}\right)---\left(18\right)$

式中，(x1’，y1’)、(x2’，y2’)是虚拟外形轮廓图像上对角线上的两个点的坐标；(x1，y1)、(x2，y2)是集装箱外形轮廓图像上对角线上的两个点的坐标；平移距离的检测与控制单元，用于检测虚拟外形轮廓图像上的中心点是否与集装箱外形轮廓图像上的中心点是否出现偏离，当检测结果存在偏离时，获得集装箱吊具的平移距离，通过计算两条对角线的中点之间的距离来获得吊具所需要平移的距离ΔX、ΔY，首先移动ΔX、ΔY的距离计算，计算公式由(19)所示，

$\mathrm{\Δy}=\left(\frac{{y1}^{\′}-{y2}^{\′}-y1+y2}{2}\right)---\left(19\right)$

需要移动ΔX距离，ΔX计算公式由(20)所示，

$\mathrm{\Δx}=\left(\frac{{x1}^{\′}-{x2}^{\′}-x1+x2}{2}\right)---\left(20\right)$

将吊具平移一个偏移值，使虚拟外形轮廓图像上的中心点与集装箱外形轮廓图像上的中心点重合：吊具的下放距离的检测与控制单元，用于检测吊具上的扭锁离插入到集装箱的锁孔内所需的距离ΔZ，计算吊具所需要的下放距离ΔZ，通过计算虚拟外形轮廓图像上的对角线与集装箱外形轮廓图像上对角线的长度比来获得吊具的下放距离，首先要计算两者缩放的比例N，计算公式用(21)表示，

$N=\frac{\sqrt{{({x1}^{\′}-{x2}^{\′})}^2+{({y1}^{\′}-{y2}^{\′})}^2}}{\sqrt{{(x1-x2)}^2+{(y1-y2)}^2}}---\left(21\right)$

式中，N表示虚拟外形轮廓图像上的对角线与集装箱外形轮廓图像上对角线的长度比，N越大表示吊具离集装箱的顶部距离越远，反之越近，当N为1时表示吊具上的扭锁已准确地插入集装箱的锁孔位置；采用下放距离ΔZ标定回归的方式来确定吊具的下放距离ΔZ与缩放的比例N之间的关系，即ΔZ＝f(N)，从(21)所求得的缩放的比例N根据ΔZ＝f(N)的函数关系得到下放距离ΔZ。

作为优选的一种方案：所述一次折反射镜面和二次折反射镜面的曲线是按照平均角分辨率方式进行设计，具体有：

一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ₁，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

$\left\{\begin{array}{c}\mathrm{\σ}={180}^0-\mathrm{\ϵ}\\ 2\mathrm{\ϵ}=\mathrm{\φ}-{\mathrm{\θ}}_2\\ {\mathrm{\σ}}_1={180}^0-{\mathrm{\ϵ}}_1\\ {2\mathrm{\ϵ}}_1={\mathrm{\θ}}_1-{\mathrm{\θ}}_2\end{array}\right.---\left(1\right)$

其中， $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；利用三角关系并进行简化整理，得到公式(2)、(3)：

F₁′²-2αF₁′-1＝0         (2)

F₂′²-2βF₂′-1＝0           (3)

上式中，

$\mathrm{\σ}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

$F_1^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(4\right)$

$\left(5\right),F_2^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}$

式中：F₁′为F₁曲线的微分，F₂′为F₂曲线的微分；

建立一种像素点P到Z轴距离与入射角φ之间的线性关系，用公式(6)来表示，

φ＝a₀*P+b₀            (6)

式中：a₀、b₀是任意参数，

将摄像单元的焦距作为f，P为像素到Z轴的距离，在二次反射镜面上的反射点(t₂，F₂)；则根据成像原理，P由公式(7)表示：

$P=f*\frac{t_2}{F_2}---\left(7\right)$

将式(7)代入式(6)，可得公式(8)，

$\mathrm{\φ}=a_0*(f*\frac{t_2}{F_2})+b_0---\left(8\right)$

根据折反射原理公式(8)用公式(9)表示：

${\tan }^{-1}=\left(\frac{t_1}{F_1-s}\right)=a_0*(f*\frac{t_2}{F_2})+b_0---\left(9\right)$

F₁

利用公式(2)、(3)、(9)，利用4阶Runge-Kutta算法求和F₂的数字解，计算得到一次折反射镜面和二次折反射镜面的曲线。

作为优选的另一种方案：通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，第一成像点通过摄像部件镜头在视点处成像，将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3        (12)

从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头，将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

对于将摄像部件镜头与广角镜头作为一个组合镜头，其焦距f由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将合成镜头的直径作为D，其放大倍数由下式来表示：

$n=\frac{D}{f}---\left(14\right)$

在设计合成镜头时满足以下公式：

$n=\frac{D}{f}={2\mathrm{\θ}}_{1\max }---\left(15\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角。

进一步，在所述的边缘检测模块中，采用边缘检测算法对所读取全景视频图像进行加工，得到集装箱外形边缘轮廓；所述的边缘检测算法分为以下四个步骤：

①滤波：边缘检测算法主要是基于图像强度的一阶导数和二阶导数，使用滤波器来改善与噪声有关的边缘检测方法的性能；

②增强：增强边缘的基础是确定图像中各点邻域强度的变化值；

③检测：在图像中有许多点的梯度幅值比较大，边缘检测判据采用梯度幅值A值；

④定位：确定边缘所在的像素，在子像素分辨率上估计边缘位置，边缘的方向也被估计出来；

采用索贝尔，即Sobel算子作为边缘检测算法，Sobel算子采用3*3大小的模板，Sobel算子用下式计算偏导数：

S_x＝(a₂+ca₃+a₄)-(a₀+ca₇+a₆)    (16)

S_y＝(a₀+ca₁+a₂)-(a₆+ca₅+a₄)

公式中常数c为2，Sobel算子用以下卷积模板来实现：

$S_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $S_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]---\left(17\right).$

再进一步，确定吊具的下放距离ΔZ与缩放的比例N之间的关系的过程为：采用分别测量吊具离集装箱的顶部距离为100mm、200mm、500mm、1000mm、2000mm时计算得到不同的N值，然后采用回归的方法计算出下放距离与缩放的比例N之间的关系曲线。

所述透明外罩呈碗状，包括半圆球和圆台的形体，所述半圆球的球心与全方位视觉传感器的视点重合，在半圆球部分的半径处与圆台部分过渡。

所述的摄像头是模拟式摄像装置，所述的连接单元包括连线与视频卡，视频卡插入在微处理器机箱内。

或者是：所述的摄像头是数字式摄像装置，所述的连接单元是符合通信标准的无线网卡，所述的微处理器包括与所述无线网卡配合的TCP/IP协议、无线网络接口，通信协议标准为IEEE802.11b。

本发明的技术构思为：图像处理与计算机视觉是一个不断发展的新技术，原则上采用计算机视觉进行观测有四个目的，即预处理、最底层的特征提取、中级特征的辩识以及通过图像对高级情景的解释。一般来说，计算机视觉包括主要特征、图像处理以及图像理解。图像是人类视觉的延伸。通过机器视觉，可以帮助操作人员立即准确地把握集装箱上方四个孔的位置。图像检测快速性的基础是视觉所接受的信息以光为传播媒介；而图像信息的丰富和直观，是其它目前各种探测技术均不能提供如此丰富和直观的信息。

近年发展起来的全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。因此基于ODVS的全方位视觉系统近几年迅速发展，正成为计算机视觉研究中的重要领域，IEEE从2000年开始举办每年一次的全方位视觉的专门研讨会(IEEE workshop on Omni-directional vision)。由于在集装箱上方四个孔的检测至少要覆盖整个集装箱顶视面积，因此利用全方位视觉传感器可以非常方便的检测集装箱顶视面积，只要将全方位视觉传感器安装在集装箱吊具的中间就非常容易地把握整个要吊装的集装箱顶视平面以及周围的状况，目前还没有检索到将全方位视觉传感器运用到集装箱吊具领域的论文与专利。

因此，采用全方位视觉传感器ODVS并利用数字图像处理技术，结合集装箱上孔的分布以及集装箱的一些特征，检测集装箱上的四角旋锁是否对准集装箱的角孔，计算出其偏移值，根据该偏移值自动控制集装箱吊具旋转以及集装箱起重设备的移动，给集装箱起重设备配备一双智能化的慧眼。

本发明的有益效果主要表现在：1)提高了操作的安全性，能对方位在200米直径以内的空间进行检测，在检测吊具上的扭锁与集装箱的锁孔之间的偏差的同时，也能帮助驾驶人员扩展视野，避免吊具与其他物体的碰撞；2)降低了操作的难度，驾驶人员通过在驾驶室内屏幕上显示的由全方位视觉传感器所获得的视频图像，驾驶人员根据屏幕上的提示快速地将吊具上的扭锁准确地插入集装箱的锁孔位置；3)提高了吊具自动化程度和吊机的工作效率，计算机通过图像检测，得到吊具与锁孔的偏差量，根据该偏离状态计算机输出相关的控制量经电液比例控制技术实现臂架的伸缩、俯仰以及吊具的伸缩、回转等动作来实现吊具上的扭锁准确插入集装箱的锁孔；4)应用范围广，不仅适用于吊运机，也适用于龙门吊，可以在港口、铁路集装箱中转等场合得到广泛的应用。

附图说明

图1为无死角的全方位视觉传感器的结构示意图；

图2为全方位视觉传感器所拍摄的视频图像示意图；

图3为摄像部件镜头与广角镜头进行组合的光学原理图；

图4为按二次折反射原理以及水平方向平均分辨率来设计的ODVS说明图；

图5为按水平方向平均分辨率来设计的成像平面投影原理图；

图6为利用4阶Runge-Kutta算法求F1和F2的数字解的折反射镜面曲线图；

图7为吊具上安装全方位视觉传感器的位置说明图；

图8为吊具的扭锁与集装箱的锁孔之间的位置偏差示意图；

图9为图8的位置偏差上纠正了角度θ偏差后的示意图；

图10为图9的位置偏差上纠正了Y方向上的偏差后的示意图；

图11为图10的位置偏差上纠正了X方向上的偏差后的示意图；

图12为吊具上的扭锁已准确地插入集装箱的锁孔位置时的示意图；

图13为吊具的下放距离与缩放的比例N之间的关系图；

图14为基于全方位视觉传感器的智能集装箱吊具工作原理框图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～图14，本实施例将全方位视觉传感器9安装在吊具8的中下部，如图7所示，安装要求是全方位视觉传感器能捕捉到整个集装箱以及周围的视频图像，并且要求所获得的视频图像中心与吊具中心位置重合；全方位视觉传感器9通过连线和视频卡与驾驶室内的微处理机相连接，微处理机读取全方位视觉传感器获得的视频图像，通过软件检测和计算吊具8的扭锁与集装箱7的锁孔的偏离度，根据偏离状态计算机输出相关的控制量经D/A转换控制电液比例阀，实现臂架的平移以及吊具的伸缩、回转等动作，最终将吊具上的扭锁自动准确地插入集装箱的锁孔；

首先，本发明提出采用全方位视觉传感器来获得集装箱顶视视频图像，希望所获得的视频图像在水平方向上不变形，因此需要进行水平方向平均分辨率设计，以满足集装箱顶视视频图像不变形要求；所以在ODVS设计上可以归结于折反射镜面曲线的设计，如附图4所示，空间上的一个光源点P的入射光V1在主反射镜面(t1，F₁)点上进行反射，反射光V2反射到次反射镜面(t2，F₂)点上再进行反射，反射光V3以角度θ1进入摄像装置的镜头，在摄像单元(CCD或者CMOS)上成像。

根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ₁，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

$\left\{\begin{array}{c}\mathrm{\σ}={180}^0-\mathrm{\ϵ}\\ 2\mathrm{\ϵ}=\mathrm{\φ}-{\mathrm{\θ}}_2\\ {\mathrm{\σ}}_1={180}^0-{\mathrm{\ϵ}}_1\\ {2\mathrm{\ϵ}}_1={\mathrm{\θ}}_1-{\mathrm{\θ}}_2\end{array}\right.---\left(1\right)$

其中 $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

F₁′²-2αF₁′-1＝0       (2)

F₂′²-2βF₂′-1＝0       (3)

上式中，

$\mathrm{\σ}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

$F_1^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(4\right)$

$F_2^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(5\right)$

式中：F₁′为F₁曲线的微分，F₂′为F₂曲线的微分；

所述的成像平面上的点与水平面上的点之间的关系来说具有某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，如附图4所示，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)可以用以下公式来表示，

r＝C*tanφ，z＝s+C       (6)

为了设计水平面上具有平均分辨率ODVS，即水平方向不变形的ODVS，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t₂/F₂(t₂)之间要保证具有线性关系。使得以下公式能成立，

r＝a*f*t₂/F₂(t₂)+b        (7)

根据成像原理有以下关系成立，入射角用公式(8)表示，

$\tan \mathrm{\φ}=\frac{t_1}{F_1-s}---\left(8\right)$

将公式(6)、(8)代入公式(7)并整理，得到在水平方向不变形的条件，用公式(9)表示，

$t_2=\frac{F_2\left(t_2\right)}{a*f}(\frac{t_1}{F_1\left(t_1\right)-s}-b)---\left(9\right)$

满足公式(9)的镜面曲线设计符合水平方向平均分辨率要求；

更进一步，通过对公式(2)、(3)、(9)利用4阶Runge-Kutta算法求F₁和F₂的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现水平方向平均分辨率；图6是利用4阶Runge-Kutta算法求F₁和F₂的数字解的折反射镜面曲线图；

进一步，设计透明外罩2，为了使得透明外罩2不会产生内壁的反射干扰光，如图1所示。具体做法是将透明外罩设计成碗状，即设计成半圆球，这样能避免在透明外罩2发生反射干扰光，ODVS的结构如图1所示；

更进一步，在一次折反射镜面的顶部留出一个小孔，摄像机3通过该小孔能拍摄到一次折反射镜面后面的图像信息，但是通过该小孔能拍摄到一次折反射镜面后面的图像信息的大部分二次折反射镜面上所折反射的图像，仍然有一些空间图像信息被二次折反射镜面所遮挡；本发明中将广角镜头配置在二次折反射镜面上，设计广角镜头以及确定广角镜头的位置是本发明的一个任务。图3是摄像部件镜头与广角镜头的位置关系图。在图3中将广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像。这里将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3        (12)

要使公式(12)成立的话，也就是将图3中的从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，就可以得到图2中图像中部所显示的广角成像图；但是本发明中是将广角镜头配置在第二折反射镜面上，因此将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

进一步，对于图3中将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f}---\left(14\right)$

为了将合成镜头的视场与ODVS的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n=\frac{D}{f}={2\mathrm{\θ}}_{1\max }---\left(15\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角；经过上述设计的ODVS拍摄出来的图像效果图如图2所示，从单个ODVS来说消除了原来ODVS的死角部分，并且通过摄像部件镜头与广角镜头的组合方式加上第一折反射镜面以及第二折反射镜面的设计，能有效地覆盖原来的ODVS的死角部分。

所述的第一折反射镜面、第一折反射镜面上的小孔、摄像机、透明外罩、第二折反射镜面、广角镜头在同一中心轴线上；摄像机的镜头安置在第一折反射镜面后部的视点位置上，如图1所示；

所述的透明外罩，主要用于支撑第一折反射镜面、第二折反射镜面、广角镜头以及保护第一折反射镜面和第二折反射镜面不受到外界粉尘的污染而影响折反射的质量，但是透明外罩本身也会受到外界粉尘等污染而影响图像质量，在透明外罩的外边涂上一层薄膜，薄膜材料的主要成分是二氧化钛的纳米材料；

ODVS与吊具的装配的方案，ODVS安置在吊具的中下部，并且ODVS的中心与吊具的中心重合，如附图7所示，ODVS的视角部分正朝下使得ODVS能捕获到整个集装箱顶部视图；由于ODVS固定在吊具的中下部，这样就决定了吊具的外形尺寸在ODVS成像平面上的大小，如附图8中所示，用实线矩形框表示集装箱的外形尺寸在ODVS成像平面上投影大小；用虚线矩形框表示的吊具外形尺寸在ODVS成像平面上投影大小；由于集装箱的外形尺寸以及集装箱上的锁孔位置是按照规范进行制造的，吊具的扭锁之间的尺寸也是按照规范进行制造的，因此可以将锁孔与扭锁的对准问题简化为集装箱的外形轮廓与吊具的外形轮廓的对准问题，也就是说，只要将附图8中的虚线矩形框与实线矩形框完全重叠就表示了吊具的扭锁对准了集装箱的锁孔；

对于没有明显的吊具的外形轮廓的吊具，可以采用学习方法获得虚拟外形轮廓，具体做法是将吊具的扭锁对准集装箱的锁孔状态下的集装箱外形轮廓图像保存在计算机中，作为虚拟外形轮廓，因此可以将锁孔与扭锁的对准问题简化为集装箱的外形轮廓与虚拟外形轮廓的对准问题，在后面的吊装操作过程中只要判断存放在计算机中的虚拟外形轮廓与实时采集到的集装箱外形轮廓图像是否对齐就行了；因此下面的主要任务可以认为是集装箱外形边缘轮廓的检测问题；

在吊具投入使用前，首先需要在微处理机上为吊具定制虚拟外形轮廓，定制虚拟外形轮廓的大小与实际的吊具尺寸相吻合，如果更换、拆卸全方位视觉传感器后需要重新定制虚拟外形轮廓，定制的结果保存在微处理机的存储单元中，微处理机启动后自动将所定制虚拟外形轮廓读入到内存中并自动显示该虚拟外形轮廓；

集装箱的边界是描述集装箱特征的一类非常重要的描述子，这些边界可能在成像过程中产生边缘信息。边缘是指在其周围像素灰度有明显变化的那些像素的组合。边缘是具有幅值和方向的矢量，其在图像中表现为灰度的突变。边缘检测就是要检测出图像中这种灰度的非连续性。

目前对边缘检测有几种方法可以选择，由于在本专利中期望得到的是集装箱的边缘，而对边缘轮毂的完整性以及光滑性要求不高，因此我们采用其中的计算简单、运算速度快的经典边缘检测方法-微分算子法，该方法依靠对图像进行微分运算求得梯度来进行边缘检测，主要从边缘点往往对应于一阶微分幅值大的点，同时也对应于二阶微分的零交叉点出发，设计一些一阶或二阶微分算子，求得其梯度或二阶导数过零点，再选择一定的阈值提取边界。

所述的边缘检测方法大致上可以分为以下四个步骤：

①滤波：边缘检测算法主要是基于图像强度的一阶导数和二阶导数，但导数的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测方法的性能。需要指出，大多数滤波器在降低噪声的同时也导致了边缘强度的损失。因此边缘增强和降低图像噪声之间需要取得一种平衡。

②增强：增强边缘的基础是确定图像中各点邻域强度的变化值。增强算法可以突出邻域强度值有显著变化的点。边缘增强一般是通过计算梯度幅值来完成的。

③检测：在图像中有许多点的梯度幅值比较大，而这些点在特定的情况下并不一定都是边缘，所以应该用某种方法来确定那些点是边缘点。最简单的边缘检测判据是梯度幅值A值判据。

④定位：确定边缘所在的像素，如果要更精确的确定边缘位置，也可以在子像素分辨率上来估计边缘位置，边缘的方向也可以被估计出来。

在本发明中采用索贝尔(Sobel)算子作为边缘检测算法，Sobel算子采用3*3大小的模板，这样就避免了在像素之间的内插点上计算梯度。Sobel算子用下式计算偏导数：

S_x＝(a₂+ca₃+a₄)-(a₀+ca₇+a₆)      (16)

S_y＝(a₀+ca₁+a₂)-(a₆+ca₅+a₄)

公式中常数c为2，Sobel算子可用以下卷积模板来实现：

$S_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $S_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]---\left(17\right)$

在实际吊装过程中，由于吊具离集装箱的相对位置不同，在ODVS成像平面上的集装箱外形轮廓图像的大小尺寸都会小于虚拟外形轮廓图像的大小尺寸，在将吊具的扭锁对准了集装箱的锁孔并插入时，这两者的大小尺寸相等；从图像处理角度来看，可以归结为旋转、平移、缩放过程；从吊具的控制角度来看，可以归结为旋转控制、平移控制、上下控制；为了图像处理方便，我们分别在集装箱外形轮廓图像和虚拟外形轮廓图像上作对角线，两条对角线之间的夹角就是所需要旋转的角度θ，旋转的中心是虚拟外形轮廓图像上的对角线的中点，即显示图像的中心；两条对角线的中点之间的距离就是所需要平移的距离ΔX、ΔY，两条对角线的长度比就是要缩放的比例N；

要实现吊具的自动控制，首先要计算出偏移量，然后根据所计算出的偏移量，通过D/A转换输出相应的控制电压量，驱动电液比例阀控制臂架的伸缩、俯仰以及吊具的伸缩、回转等，使得吊具上的扭锁准确地插入集装箱的锁孔；这些功能是在检测与控制模块中实现的，所述的检测与控制模块中包括，旋转的角度θ的检测与控制单元，平移距离的检测与控制单元，吊具的下放距离的检测与控制单元；

所述的旋转的角度θ的检测与控制单元，用于检测虚拟外形轮廓图像上的对角线是否与集装箱外形轮廓图像上对角线平行，如果检测结果是不平行的话，需要将吊具旋转的一个角度差θ，使得两条对角线平行；因此首先要计算所需要旋转的角度θ，如附图8所示，旋转角度θ的计算方法是，

$\mathrm{\θ}=\arctan \left(\frac{{y1}^{\′}-{y2}^{\′}}{{x1}^{\′}-{x2}^{\′}}\right)-\arctan \left(\frac{y1-y2}{x1-x2}\right)---\left(18\right)$

式中，(x1’，y1’)、(x2’，y2’)是虚拟外形轮廓图像上对角线上的两个点的坐标；(x1，y1)、(x2，y2)是集装箱外形轮廓图像上对角线上的两个点的坐标；吊具旋转角度θ后的图像如附图9所示，从图中可以看出经过旋转角度θ后的吊具、即虚拟外形轮廓图像上的对角线与集装箱外形轮廓图像上对角线平行；

所述的平移距离的检测与控制单元，用于检测虚拟外形轮廓图像上的中心点是否与集装箱外形轮廓图像上的中心点是否出现偏离，如果检测结果存在偏离的话，需要将吊具平移一个偏移值，使得虚拟外形轮廓图像上的中心点是否与集装箱外形轮廓图像上的中心点重合；因此首先要获得集装箱吊具的平移距离，我们通过计算两条对角线的中点之间的距离来获得吊具所需要平移的距离ΔX、ΔY，首先移动ΔX、ΔY的距离计算，计算公式由(19)所示，

$\mathrm{\Δy}=\left(\frac{{y1}^{\′}-{y2}^{\′}-y1+y2}{2}\right)---\left(19\right)$

吊具移动ΔY后的图像如附图10所示，从图中可以看出经过移动吊具ΔY后，吊具位置已经与集装箱平行；

更进一步，为了使得吊具的中心位置与集装箱的中心位置完全重合，还需要移动ΔX距离，ΔX计算公式由(20)所示，

$\mathrm{\Δx}=\left(\frac{{x1}^{\′}-{x2}^{\′}-x1+x2}{2}\right)---\left(20\right)$

通过移动ΔX距离后，如附图11所示，吊具的中心位置与集装箱的中心位置完全重合；在检测到虚拟外形轮廓图像上的对角线与集装箱外形轮廓图像上对角线平行，且吊具的中心位置与集装箱的中心位置完全重合情况下，接下来的是吊具的下放动作，使得吊具上的扭锁准确地插入集装箱的锁孔中；

所述的吊具的下放距离的检测与控制单元，用于检测吊具上的扭锁离插入到集装箱的锁孔内所需的距离ΔZ，并控制吊具的下放ΔZ的距离，使得吊具上的扭锁插入到集装箱的锁孔内；因此首先需要计算吊具所需要的下放距离ΔZ；我们可以通过计算虚拟外形轮廓图像上的对角线与集装箱外形轮廓图像上对角线的长度比来获得吊具的下放距离，因此首先要计算两者缩放的比例N，计算公式用(21)表示，

$N=\frac{\sqrt{{({x1}^{\′}-{x2}^{\′})}^2+{({y1}^{\′}-{y2}^{\′})}^2}}{\sqrt{{(x1-x2)}^2+{(y1-y2)}^2}}---\left(21\right)$

式中，N表示虚拟外形轮廓图像上的对角线与集装箱外形轮廓图像上对角线的长度比，N越大表示吊具离集装箱的顶部距离越远，反之越近，当N为1时表示吊具上的扭锁已准确地插入集装箱的锁孔位置，为了获得实际吊具的下放距离，可以采用标定的方式来确定吊具的下放距离与缩放的比例N之间的关系，比如我们可以采用分别测量吊具离集装箱的顶部距离为100mm、200mm、500mm、1000mm、2000mm时计算得到不同的N值，然后采用回归的方法计算出下放距离与缩放的比例N之间的关系曲线，用附图13表示；实际使用中根据计算所得到的缩放的比例N值的大小，通过图13所示的图表得到实际所需要的吊具的下放距离ΔZ，根据该ΔZ值输出相对应的控制电压值，驱动电液比例阀控制吊具的下降，使得吊具上的扭锁完全插入集装箱的锁孔内；接着在吊具上的扭锁完全插入集装箱的锁孔内后，控制吊具上的扭锁旋转90°角度，使得吊具上的扭锁紧扣在集装箱的锁孔内，最后就可以实现起吊工作。

下面对目前的RSC45-5M型集装箱正面吊运机的自动化吊装技术改造为例，说明基于全方位视觉传感器的智能集装箱吊具工作原理，系统的基本组成由附图14给出，液压系统为开式系统回路，2台主油泵采用结构紧凑、工作压力高、对液压油污染不敏感的恒压恒流量柱塞泵，安装在液力变矩器取力口上，由柴油发动机驱动，柱塞泵1通过转向器和流量放大器优先为转向系统提供压力油，与柱塞泵2合流经主阀后供油给臂架系统，齿轮泵与柱塞泵1同轴驱动，单独供油给刹车系统，吊具系统直接由柱塞泵2供油；主阀用于控制主液压系统，采用负载适应控制，根据工况的变化自行调节主油泵的输出流量，达到节能效果；由电液比例控制技术实现对阀门的控制，实现控制操纵臂架的伸缩、俯仰以及吊具的伸缩、回转等功能；目前的技术，如图中所示的阀门是由驾驶人员操作驾驶室内的手柄来实现臂架的伸缩、俯仰以及吊具的伸缩、回转等动作；本发明提出的方案是，1)辅助驾驶人员操作，使得在驾驶人员通过肉眼看不见或者看不清楚集装箱顶部上的锁孔情况下，通过全方位视觉传感器所获得的视频图像，帮助驾驶人员快速地将吊具上的扭锁准确地插入集装箱的锁孔位置；2)完全实现自动化操作，通过全方位视觉传感器所获得的视频图像，检测吊具的扭锁与集装箱的锁孔的偏离，根据偏离状态计算机输出相关的控制量经电液比例控制技术实现臂架的伸缩、俯仰以及吊具的伸缩、回转等动作来实现吊具上的扭锁准确插入集装箱的锁孔；偏移量的计算是通过公式(18)、(19)、(20)得到的，吊具的伸缩控制量是通过公式(21)的计算来得到的。

全方位视觉传感器通过视频卡与PC机相连接，在PC机中实现上述的算法，计算后的偏差通过D/A接口控制电液比例阀，实现对臂架的伸缩、俯仰以及吊具的伸缩、回转等控制，本实施例中的实现算法是由Java语言实现的。

实施例2

参照图1-图14，本实施例的全方位视觉传感器与PC机之间采用无线通信的方式，将集装箱顶部周围的视频图像通过无线的方式传输给计算机，计算机根据所给定的算法计算吊具上的扭锁与集装箱的锁孔之间的偏差，然后根据该偏离状态计算机输出相关的控制量经电液比例控制技术实现臂架的伸缩、俯仰以及吊具的伸缩、回转等动作来实现吊具上的扭锁准确插入集装箱的锁孔。

其余结构和工作过程与实施例1相同。

实施例3

参照图1-图14，本实施例是驾驶人员通过在驾驶室内屏幕上显示的由全方位视觉传感器所获得的视频图像，驾驶人员根据屏幕上的提示快速地将吊具上的扭锁准确地插入集装箱的锁孔位置。

其余结构和工作过程与实施例1相同。

Claims (6)

1.一种基于全方位视觉传感器的智能集装箱吊具，包括微处理器、用于视频测量集装箱吊具的扭锁与集装箱的锁孔之间偏差的视觉传感器、用于控制吊机的臂架伸缩、俯仰以及吊具的伸缩、回转的执行模块和用于吊装集装箱的吊具，所述视觉传感器与微处理器连接，所述微处理器与执行模块连接，所述微处理器安装在吊机的控制室内，其特征在于：所述视觉传感器为全方位视觉传感器，所述全方位视觉传感器安装在所述吊具的中下部，所述全方位视觉传感器包括一次折反射镜面、二次折反射镜面、透明外罩和摄像部件，所述一次折反射镜面和二次折反射镜面安装在透明外罩上，所述摄像部件位于一次折反射镜面后面的视点上，所述二次折反射镜面位于一次折反射镜面的前面，所述一次折反射镜面和二次折反射镜面上均开有一个小孔，所述二次折反射镜面内嵌入广角镜头，所述摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；所述微处理器包括：

图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；虚拟外形轮廓定制模块，用于设定与采集的集装箱外形轮廓图像进行比对的标准轮廓；

边缘检测模块，用于对所读取全景视频图像进行边缘检测处理，得到集装箱外形边缘轮廓；

检测与控制模块，用于将边缘检测模块中所得到的集装箱外形边缘轮廓与虚拟外形轮廓定制模块所定制的虚拟外形轮廓进行比对，计算出偏移量，然后根据所计算出的偏移量，向所述执行模块发出控制指令；所述的检测与控制模块中包括，旋转的角度θ的检测与控制单元，用于检测虚拟外形轮廓图像上的对角线是否与集装箱外形轮廓图像上对角线平行，当检测结果是不平行时，将吊具旋转的一个角度差θ，角度差θ的计算方法是：

$\mathrm{\θ}=\arctan \left(\frac{{y1}^{\′}-{y2}^{\′}}{{x1}^{\′}-{x2}^{\′}}\right)-\arctan \left(\frac{y1-y2}{x1-x2}\right)---\left(18\right)$

式中，(x1’，y1’)、(x2’，y2’)是虚拟外形轮廓图像上对角线上的两个点的坐标；(x1，y1)、(x2，y2)是集装箱外形轮廓图像上对角线上的两个点的坐标；

平移距离的检测与控制单元，用于检测虚拟外形轮廓图像上的中心点是否与集装箱外形轮廓图像上的中心点是否出现偏离，当检测结果存在偏离时，获得集装箱吊具的平移距离，通过计算两条对角线的中点之间的距离来获得吊具所需要平移的距离ΔX、ΔY，首先移动ΔX、ΔY的距离计算，计算公式由(19)所示，

$\mathrm{\Δy}=\left(\frac{{y1}^{\′}-{y2}^{\′}-y1+y2}{2}\right)---\left(19\right)$

需要移动ΔX距离，ΔX计算公式由(20)所示，

$\mathrm{\Δx}=\left(\frac{{x1}^{\′}-{x2}^{\′}-x1+x2}{2}\right)---\left(20\right);$

将吊具平移一个偏移值，使虚拟外形轮廓图像上的中心点与集装箱外形轮廓图像上的中心点重合：

吊具的下放距离的检测与控制单元，用于检测吊具上的扭锁离插入到集装箱的锁孔内所需的距离ΔZ，计算吊具所需要的下放距离ΔZ，通过计算虚拟外形轮廓图像上的对角线与集装箱外形轮廓图像上对角线的长度比来获得吊具的下放距离，首先要计算两者缩放的比例N，计算公式用(21)表示，

$N=\frac{\sqrt{{({x1}^{\′}-{x2}^{\′})}^2+{({y1}^{\′}-{y2}^{\′})}^2}}{\sqrt{{(x1-x2)}^2+{(y1-y2)}^2}}---\left(21\right)$

式中，N表示虚拟外形轮廓图像上的对角线与集装箱外形轮廓图像上对角线的长度比，N越大表示吊具离集装箱的顶部距离越远，反之越近，当N为1时表示吊具上的扭锁已准确地插入集装箱的锁孔位置；采用下放距离ΔZ标定回归的方式来确定吊具的下放距离ΔZ与缩放的比例N之间的关系，即ΔZ＝f(N)，从(21)所求得的缩放的比例N根据ΔZ＝f(N)的函数关系得到下放距离ΔZ；

所述一次折反射镜面和二次折反射镜面的曲线是按照平均角分辨率方式进行设计，具体有：

一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为式θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ₁，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

$\left\{\begin{array}{c}\mathrm{\σ}={180}^0-\mathrm{\ϵ}\\ 2\mathrm{\ϵ}=\mathrm{\φ}-{\mathrm{\θ}}_2\\ {\mathrm{\σ}}_1={180}^0-{\mathrm{\ϵ}}_1\\ {2\mathrm{\ϵ}}_1={\mathrm{\θ}}_1-{\mathrm{\θ}}_2\end{array}\right.---\left(1\right)$

其中， $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

F₁′²-2αF₁′-1＝0                   (2)

F₂′²-2βF₂′-1＝0                   (3)

上式中，

$\mathrm{\σ}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

$F_1^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(4\right)$

$F_2^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(5\right)$

式中：F₁′为F₁曲线的微分，F₂′为F₂曲线的微分；

建立一种像素点P到Z轴距离与入射角φ之间的线性关系，用公式(6)来表示，

φ＝a₀*P+b₀          (6)

式中：a₀、b₀是任意参数，

将摄像单元的焦距作为f，P为像素到Z轴的距离，在二次反射镜面上的反射点(t₂，F₂)；则根据成像原理，P由公式(7)表示：

$P=f*\frac{t_2}{F_2}---\left(7\right)$

将式(7)代入式(6)，可得公式(8)，

$\mathrm{\φ}=a_0*(f*\frac{t_2}{F_2})+b_0---\left(8\right)$

根据折反射原理公式(8)用公式(9)表示：

${\tan }^{-1}=\left(\frac{t_1}{F_1-s}\right)=a_0*(f*\frac{t_2}{F_2})+b_0---\left(9\right)$

利用公式(2)、(3)、(9)，利用4阶Runge-Kutta算法求和F₂的F₁数字解，计算得到一次折反射镜面和二次折反射镜面的曲线；

通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，第一成像点通过摄像部件镜头在视点处成像，将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3         (12)

从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头，将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

对于将摄像部件镜头与广角镜头作为一个组合镜头，其焦距f由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将合成镜头的直径作为D，其放大倍数由下式来表示：

$n=\frac{D}{f}---\left(14\right)$

在设计合成镜头时满足以下公式：

$n=\frac{D}{f}={2\mathrm{\θ}}_{1\max }---\left(15\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角。

2.如权利要求1所述的基于全方位视觉传感器的智能集装箱吊具，其特征在于：在所述的边缘检测模块中，采用边缘检测算法对所读取全景视频图像进行加工，得到集装箱外形边缘轮廓；所述的边缘检测算法分为以下四个步骤：

①滤波：边缘检测算法主要是基于图像强度的一阶导数和二阶导数，使用滤波器来改善与噪声有关的边缘检测方法的性能；

②增强：增强边缘的基础是确定图像中各点邻域强度的变化值；

③检测：在图像中有许多点的梯度幅值比较大，边缘检测判据采用梯度幅值A值；

④定位：确定边缘所在的像素，在子像素分辨率上估计边缘位置，边缘的方向也被估计出来；

采用索贝尔，即Sobel算子作为边缘检测算法，Sobel算子采用3*3大小的模板，Sobel算子用下式计算偏导数：

S_x＝(a₂+ca₃+a₄)-(a₀+ca₇+a₆)    (16)

S_y＝(a₀+ca₁+a₂)-(a₆+ca₅+a₄)

公式中常数c为2，Sobel算子用以下卷积模板来实现：

$S_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $S_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]---\left(17\right).$

3.如权利要求1所述的基于全方位视觉传感器的智能集装箱吊具，其特征在于：确定吊具的下放距离ΔZ与缩放的比例N之间的关系的过程为：采用分别测量吊具离集装箱的顶部距离为100mm、200mm、500mm、1000mm、2000mm时计算得到不同的N值，然后采用回归的方法计算出下放距离与缩放的比例N之间的关系曲线。

4.如权利要求3所述的基于全方位视觉传感器的智能集装箱吊具，其特征在于：所述透明外罩呈碗状，包括半圆球和圆台的形体，所述半圆球的球心与全方位视觉传感器的视点重合，在半圆球部分的半径处与圆台部分过渡。

5.如权利要求1所述的基于全方位视觉传感器的智能集装箱吊具，其特征在于：所述的摄像头是模拟式摄像装置，所述的连接单元包括连线与视频卡，视频卡插入在微处理器机箱内。

6.如权利要求1所述的一种基于全方位视觉传感器的智能集装箱吊具，其特征在于：所述的摄像头是数字式摄像装置，所述的连接单元是符合通信标准的无线网卡，所述的微处理器包括与所述无线网卡配合的TCP/IP协议、无线网络接口，通信协议标准为IEEE802.11b。

Images