CN110619645A - 一种桥吊下集装箱拖架的自动识别与定位装置及方法 - Google Patents

Abstract

本发明公开了一种桥吊下集装箱拖架的自动识别与定位装置及方法，涉及计算机视觉技术领域。该装置包括车辆识别定位相机、数据传输模块、数据处理模块，车辆识别定位相机、数据传输模块、数据处理模块安装在桥吊横梁上，车辆识别定位相机通过数据传输模块连接与数据处理模块，且数据处理模块设置在防水盒中；本发明使用计算机视觉技术等智能化技术解决了起重机作业区内的作业集装箱的识别定位问题，改善了以人工引导为主的集装箱装卸工作模式，能够准确、及时的对集装箱进行识别定位，并且能够极大提高集装箱的装卸效率，进一步实现了码头装卸集装箱自动化，节省了大量的人力成本。

Description

一种桥吊下集装箱拖架的自动识别与定位装置及方法

技术领域

本发明涉及计算机视觉技术领域，具体的说，它涉及一种桥吊下集装箱拖架的自动识别与定位装置及方法。

背景技术

在传统的人工港口码头，港区内部集装箱卡车(以下简称集装箱)在桥吊内的定位及引导主要依靠人工指挥引导及标线等方式。这种模式是通过人工“站位盯梢”的方式在现场进行的，该模式在环境恶劣下存在较大的安全隐患，现场工人除了指挥集装箱走位外，还需记录确认集装箱箱号、箱体检查、锁钮拆卸等工作，劳动强度大。并且，这种模式比较依赖现场工人及集装箱司机的经验，作业效率有待提升。本发明针对以上的不足提出了一种集装箱的自动识别与定位的装置与方法。

发明内容

针对上述技术问题，本发明的目的是提供一种桥吊下集装箱拖架的自动识别与定位装置及方法，用于解决集装箱卡车在桥吊内的定位问题。

为实现上述目的，本发明提供了如下技术方案：

一种桥吊下集装箱拖架的自动识别与定位装置，包括设置在桥吊横梁上的定位相机、数据传输模块、数据处理模块，所述定位相机与数据传输模块耦接，所述数据传输模块与数据处理模块耦接，所述定位相机是用于获得桥吊下的集装箱图像，并确定所述集装箱图像中的所有像素点；所述数据传输模块是将定位相机收集的图像传输至数据处理模块中；所述数据处理模块是对数据模块传输过来的图像进行自动识别定位处理；所述横梁上设置有防水盒，所述数据处理模块设置在防水盒中。

本发明进一步设置为：所述定位相机设置在车道的正上方。

一种桥吊下集装箱的自动识别与定位方法，其特征在于，所述方法包括：

S1、对传送来的图像数据进行预处理；

S2、采用高斯背景建模方法，对预处理图像中的背景像素建立参数模型；

S3、运用背景减除法对预处理图像中前景图像进行检测；

S4、基于预置的至少一个初始聚类中心点和所述所有像素点及其位置，对步骤S3中检测的前景进行聚类处理，得到每个初始聚类中心点对应的聚类像素区域；

S5、对步骤S4中的聚类像素区域依次进行图像二值化、图像腐蚀及图像膨胀处理；

S6、对步骤S5处理后的图像区域中的连通域进行筛选过滤，并计算筛选后的连通域，最后截取出集装箱的图像。

本发明进一步设置为：所述步骤S1包括：

S101、对彩色图像进行灰度化处理，减少视频帧图像的信息处理量与复杂度；

S102、采用图像滤波方法对图像进行滤波来抑制图像中的噪声。

本发明进一步设置为，所述步骤S2包括:

S201、采用第一帧图像初始化参数，初始期望，初始标准差，阈值系数以及学习率或者更新率；

μ_t(x,y)＝I(x,y,t)

σ₀(x,y)＝20

λ＝2.5

α＝0.5

其中I(x,y,t)表示像素点(x,y,t)在t时刻的像素值、μ(x,y)为初始期望公式、σ₀(x,y)表示初始标准差公式、λ为阈值系数、α为学习率；

S202、前景检测，将新读入图像的像素值与期望值做差，结果与阈值比较，检测前景目标；

前景像素检测公式：|I(x,y,t)-μ_t-1(x,y)|≥λσ_t-1

其中μ_t-1是背景模型在t-1时刻的均值，σ_t-1是背景模型在t-1时刻的标准差；

S203、更新参数包括，期望，标准差；

更新公式如下：

μ_t(x,y)＝(1-α)＊μ_t-1(x,y)+α*I(x,y,t)

其中μ_t(x,y)表示期望、σ_t(x,y)表示标准差、α表示学习率；

S204、重复S202，S203步骤直至图像序列结束

本发明进一步设置为：所述步骤S3包括：

S301、经过预处理的输入图像与构建的背景模型进行差分运算；

S302、差分图像的像素差值与实验确定的阈值T进行比较，差分图像的像素差值大于该阈值T，该像素点为前景点，差分图像的像素差值小于或等于该阈值T，该像素点为背景点；

比较公式如下：

中F(x,y,m)为第m个输入图像的像素值，H(x,y,m)为第m个输入图像的背景像素值。

本发明进一步设置为：所述步骤S4包括：

S401、在步骤S3中提取的前景图像中随机预置至少一个初始聚类中心点，通过硬聚类算法和所述初始聚类中心点，对步骤S3中提取的前景图像中的所有像素点进行聚类，得到每个所述初始聚类中心点对应的至少一个像素点及其位置坐标；

S402、基于所述至少一个像素点及其位置坐标，更新对应的所述初始聚类中心点，得到所述初始聚类中心点对应的更新聚类中心点；

S403、将所述更新聚类中心点确定为所述初始聚类中心；

S404、重复S401～S404步骤，直至对所述初始聚类中心点的更新为零，确定每个初始聚类中心点对应的聚类像素区域及其中的至少一个像素点及其位置坐标。

本发明进一步设置为：所述步骤S5包括：

S501、确定预设的二值化阈值；

S502、基于所述预设的二值化阈值，对每个初始聚类中心点对应的聚类像素区域进行图像二值化处理。

本发明进一步设置为：S601、通过区域筛选，得到集装箱的区域连通域；

S602、基于外接矩形截取步骤S601中处理后的连通域，获得集装箱的定位图像。

综上所述，本发明具有以下有益效果：

1、利用设置的定位相机获取集装箱图片，数据处理模块对采集到的图片首先进行预处理；然后，利用高斯建模方法对预处理图像中的背景建立参数模型；接着，运用背景减除法对预处理图像中的前景进行检测；再通过硬聚类算法，对检测后的前景进行聚类处理，得到初始聚类中心点对应的聚类像素区域；对聚类像素区域依次进行图像二值化、图像腐蚀、图像膨胀处理；最后，通过区域筛选得到集装箱的区域连通域，并基于矩形算法计算区域连通域得到集装箱定位图片；通过上述方式，能够准确、及时对集装箱进行识别定位，极大的提高集装箱的装卸效率，进一步提高集装箱自动化，节省大量的人力成本；

2、通过设置的防水盒，避免雨水或溅水进入数据处理模块，造成其损坏，有效延长该装置的使用寿命。

附图说明

图1是一种桥吊下集装箱拖架的自动识别与定位装置整体布置示意图；

图2是一种桥吊下集装箱的自动识别与定位方法原理流程图示意图；

图3是一种桥吊下集装箱的自动识别与定位方法具体流程图示意图；

图4是一种桥吊下集装箱拖架的自动识别与定位装置拍摄的原始图像示意图。

附图标记：1、定位相机；2、数据传输模块；3、数据处理模块；4、防水盒。

具体实施方式

本发明提供一种桥吊下集装箱拖架的自动识别与定位装置及方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的数据在适当情况下可以互换。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列单元的系统、产品或设备不必限于清楚地列出的那些单元，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它单元。

参见附图1，一种桥吊下集装箱的自动识别装置，包括定位相机1、数据传输模块2、数据处理模块3，定位相机1与数据传输模块2耦接，数据传输模块2与数据处理模块3耦接。定位相机1固定在桥吊横梁上，定位相机1设置在待卸集装箱车道的正上方，方便定位相机1能够及时有效的拍摄集装箱图片。定位相机1的作用是获取桥吊下集装箱的图像。定位相机1获取桥吊下集装箱的图像，确定集装箱图像中的所有像素点及其位置坐标；例如，利用安装在起重机横梁上的相机装置(例如工业相机等)采集抓拍起重机下集装箱的拍摄图像，如图4所示为港口桥吊下集装箱的原始图像；

数据传输模块2固定在桥吊横梁上，其作用是将定位相机1获取的图像数据传输给数据处理模块3。数据处理模块3固定在桥吊横梁上，其作用是将数据传输模块2传送过来的数据信息进行处理，实现自动识别定位集装箱的位置。

桥吊横梁上固定设置有防水盒4，数据处理模块3设置在防水盒4中，其可有效阻挡雨水或其它溅水，避免数据处理模块3因进水损坏，有助于延长整个装置的使用寿命。

参见附图2-3，一种桥吊下集装箱的自动识别与定位方法，包括S1、对定位相机传送来的集装箱图像数据进行预处理；

预处理分为两步，首先S101、对彩色图像进行灰度化处理，减少视频帧图像的信息处理量与复杂度；

S102、像进行滤波来抑制图像中的噪声。

S2、采用高斯背景建模方法，对预处理图像中的背景像素建立参数模型，包括：

S201、采用第一帧图像初始化参数

包括，初始期望，初始标准差，阈值系数以及学习率或者更新率；μ_t(x,y)＝I(x,y,t)

σ₀(x,y)＝20

λ＝2.5

α＝0.5

其中I(x,y,t)表示像素点(x,y,t)在t时刻的像素值、μ(x,y)为初始期望公式、σ₀(x,y)表示初始标准差公式、λ为阈值系数、α为学习率；

S202、前景检测

将新读入图像与期望值做差，结果与阈值比较，检测前景目标；

前景像素检测公式：|I(x,y,t)-μ_t-1(x,y)|≥λσ_t-1

其中μ_t-1是背景模型在t-1时刻的均值，σ_t-1是背景模型在t-1时刻的标准差；

S203、更新参数

包括，期望，标准差，更新公式如下：

μ_t(x,y)＝(1-α)＊μ_t-1(x,y)+α*I(x,y,t)

其中μ_t(x,y)表示期望、σ_t(x,y)表示标准差、α表示学习率；

S204、重复S202前景检测与S203更新参数两步骤直至图像序列结束。

S3、运用背景减除法对预处理图像中前景图像进行检测；

S301、经过预处理的输入图像与构建的背景模型进行差分运算；

S302、差分图像的像素差值与实验确定的阈值T进行比较，差分图像的像素差值大于该阈值T，该像素点为前景点，差分图像的像素差值小于或等于该阈值T，该像素点为背景点；

比较公式如下：

中F(x,y,m)为第m个输入图像的像素值，H(x,y,m)为第m个输入图像的背景像素值。

S4、在步骤S3中提取的前景图像中随机预置至少一个初始聚类中心点(例如K个，K为大于等于一的正整数)，通过硬聚类算法和所述初始聚类中心点，对步骤S3中检测的前景图像中的所有像素点进行聚类，得到每个所述初始聚类中心点对应的至少一个像素点及其位置坐标；

其中，该硬聚类算法可以是包括但不限于是K-means聚类算法。例如前景图像中存在3个初始聚类中心点分别为O1、O2和O3，前景图像中的所有像素点为F1、F2、F3、……、Fn，n表示像素点的总个数，此处选择n＝30；若基于初始聚类中心点O1、O2和O3和拍摄图像的所有像素点，采用K-means聚类算法对该拍摄图像中的所有像素点：F1、F2、F3、……、Fn进行聚类，得到每个聚类中心点对应的像素点及其位置坐标，例如，初始聚类中心点O1对应的像素点为F2、F6、F8、F13、F30；初始聚类中心点O2对应的像素点为F1、F7、F9、F10、F11、F12、F29；初始聚类中心点O3对应的像素点为F3、F4、F5、F14、F15、……、F28；及每个像素点分别对应的位置坐标(xi，yi)，i＝1,2,3,……,30。

S402、基于所述至少一个像素点及其位置坐标，更新对应的所述初始聚类中心点，得到所述初始聚类中心点对应的更新聚类中心点；例如，在初始聚类中心点O1对应的像素点为F2、F6、F8、F13、F30中进行重新计算，将像素点：F2、F6、F8、F13、F30形成的聚类像素区域中的中心点确定为新的聚类中心点，并将这个新的聚类中心点作为更新聚类中心点O1’，则得到初始聚类中心点对应的至少一个像素点及其位置进行计算之后的更新聚类中心点O1’。

S403、将所述更新聚类中心点确定为所述初始聚类中心。将更新聚类中心点O1’该确定为所述初始聚类中心O1，即初始聚类中心点O1＝O1’。

S404、重复S401～S404步骤，直至对所述初始聚类中心点的更新为零，确定每个初始聚类中心点对应的聚类像素区域及其中的至少一个像素点及其位置坐标。

此外通过硬聚类算法和初始聚类中心点，对步骤S3中检测的前景图像中的所有像素点进行聚类，包括：

采用欧式距离算法，分别计算步骤S3中检测的前景图像中的每个像素点与每个初始聚类中心点之间的距离d(x，y)；其中，针对每个像素点，计算其与每个初始聚类中心点之间的距离d(x，y)的计算公式如下：

其中，(xi，yi)表示像素点对应的位置坐标。

基于硬聚类算法和所述距离，对步骤S3中检测的前景图像中的所有像素点进行聚类。即：针对每个像素点，将像素点到每个初始聚类中心点之间的距离d(x，y)按照从小到大的顺序排列，将像素点与每个初始聚类中心点之间的距离最小时对应的初始聚类中心点，作为该像素点进行聚类之后所对应的初始聚类中线点。对每个像素点进行上述距离最小判断，得到每个所述初始聚类中心点对应的至少一个像素点及其位置坐标，进而得到至少一个像素点及其位置坐标的聚类像素区域。

S5、对步骤S4中的聚类像素区域依次进行图像二值化、图像腐蚀及图像膨胀处理；

S501、确定预设的二值化阈值；在确定预设的二值化阈值t时，先分别计算每个所述初始聚类中心点对应的聚类像素区域的平均灰度值，之后将所述平均灰度值按照从大到小的顺序进行排列，并计算排在第一位的平均灰度值和第二位的平均灰度值之间的平均值；最后将所述平均值确定为所述预设的二值化阈值t，实现对用于进行图像二值化处理的预设的二值化阈值t的计算。

S502、基于所述预设的二值化阈值，对每个初始聚类中心点对应的聚类像素区域进行图像二值化处理；

具体进行图像二值化处理的计算公式如下：

，所述Gf(x,y)表示：原始图像，f(表示：值化之后的图像。

S6、对骤S5处理后的图像区域中的连通域进行筛选过滤，并计算筛选后的连通域，最后截取出集装箱的图像；

S601、通过区域筛选，得到步骤S5处理后的图像区域的区域连通域；根据步骤S5处理后的集装箱图片上的区域大小设定阈值，并用设定的阈值进行筛选，筛选原理和上述二值化原理一样，例如阈值大小为长400像素、宽150像素，用设定好的阈值进行筛选，然后得到集装箱的区域连通域。

S602、基于外接矩形算法计算步骤S601中处理后的连通域；基于外接矩形，截取出上述处理后连通域，通过图片中集装箱的大小对外接矩形进行参数设置，例如根据集装箱的大小，设置外接矩形的长500像素、宽200像素，用于对上述处理后的连通域进行截取，从而获得集装箱的定位图像。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护(本发明不仅仅代表集卡车，还代表其他车辆)。

Claims (9)

1.一种桥吊下集装箱拖架的自动识别与定位装置，其特征在于，包括设置在桥吊横梁上的定位相机(1)、数据传输模块(2)、数据处理模块(3)，所述定位相机(1)与数据传输模块(2)耦接，所述数据传输模块(2)与数据处理模块(3)耦接，所述定位相机(1)是用于获得桥吊下的集装箱图像，并确定所述集装箱图像中的所有像素点；所述数据传输模块(2)是将定位相机(1)收集的图像传输至数据处理模块(3)中；所述数据处理模块(3)是对数据模块传输过来的图像进行自动识别定位处理；所述横梁上设置有防水盒(4)，所述数据处理模块(3)设置在防水盒(4)中。

2.根据权利要求1所述的一种桥吊下集装箱拖架的自动识别与定位装置，其特征在于，所述定位相机(1)设置在车道的正上方。

3.一种桥吊下集装箱拖架的自动识别与定位的方法，其特征在于，所述方法包括：

S1、对传送来的集装箱图像数据进行预处理；

S2、采用高斯背景建模方法，对预处理图像中的背景像素建立参数模型；

S3、运用背景减除法对预处理图像中前景图像进行检测；

S4、基于预置的至少一个初始聚类中心点和所有像素点及其位置，对步骤S3中检测的前景进行聚类处理，得到每个初始聚类中心点对应的聚类像素区域；

S5、对步骤S4中的聚类像素区域依次进行图像二值化、图像腐蚀及图像膨胀处理；

S6、对步骤S5处理后的图像区域中的连通域进行筛选过滤，并计算筛选后的连通域，最后截取出集装箱的图像。

4.根据权利要求4所述的一种桥吊下集装箱拖架的自动识别与定位的方法，其特征在于，所述步骤S1包括：

S101、对彩色图像进行灰度化处理，减少视频帧图像的信息处理量与复杂度；

S102、采用图像滤波方法对图像进行滤波来抑制图像中的噪声。

5.根据权利要求4所述的一种桥吊下集装箱拖架的自动识别与定位的方法，其特征在于，所述步骤S2包括:

S201、采用第一帧图像初始化参数，初始期望，初始标准差，阈值系数以及学习率或者更新率；

μ_t(x,y)＝I(x,y,t)

σ₀(x,y)＝20

λ＝2.5

α＝0.5

其中I(x,y,t)表示像素点(x,y,t)在t时刻的像素值、μ(x,y)为初始期望公式、σ₀(x,y)表示初始标准差公式、λ为阈值系数、α为学习率；

S202、前景检测，将新读入图像的像素值与期望值做差，结果与阈值比较，检测前景目标；

前景像素检测公式：|I(x,y,t)-μ_t-1(x,y)|≥λσ_t-1

其中μ_t-1是背景模型在t-1时刻的均值，σ_t-1是背景模型在t-1时刻的标准差；

S203、更新参数包括，期望，标准差；

更新公式如下：

μ_t(x,y)＝(1-α)＊μ_t-1(x,y)+α*I(x,y,t)

其中μ_t(x,y)表示期望、σ_t(x,y)表示标准差、α表示学习率；

S204、重复S202，S203步骤直至图像序列结束。

6.根据权利要求4所述的一种桥吊下集装箱拖架的自动识别与定位的方法，其特征在于，所述步骤S3包括：

S301、经过预处理的输入图像与构建的背景模型进行差分运算；

S302、差分图像的像素差值与实验确定的阈值T进行比较，差分图像的像素差值大于该阈值T，该像素点为前景点，差分图像的像素差值小于或等于该阈值T，该像素点为背景点；

比较公式如下：

中F(x,y,m)为第m个输入图像的像素值，H(x,y,m)为第m个输入图像的背景像素值。

7.根据权利要求4所述的一种桥吊下集装箱拖架的自动识别与定位的方法，其特征在于，所述步骤S4包括：

S401、在步骤S3中提取的前景图像中随机预置至少一个初始聚类中心点，通过硬聚类算法和所述初始聚类中心点，对步骤S3中提取的前景图像中的所有像素点进行聚类，得到每个所述初始聚类中心点对应的至少一个像素点及其位置坐标；

S402、基于所述至少一个像素点及其位置坐标，更新对应的所述初始聚类中心点，得到所述初始聚类中心点对应的更新聚类中心点；

S403、将所述更新聚类中心点确定为所述初始聚类中心；

S404、重复S401～S404步骤，直至对所述初始聚类中心点的更新为零，确定每个初始聚类中心点对应的聚类像素区域及其中的至少一个像素点及其位置坐标。

8.根据权利要求4所述的一种桥吊下集装箱拖架的自动识别与定位的方法，其特征在于，所述步骤S5包括：

S501、确定预设的二值化阈值；

S502、基于所述预设的二值化阈值，对每个初始聚类中心点对应的聚类像素区域进行图像二值化处理。

9.根据权利要求4所述的一种桥吊下集装箱拖架的自动识别与定位的方法，其特征在于，所述步骤S6包括：

S601、通过区域筛选，得到集装箱的区域连通域；

S602、基于外接矩形截取步骤S601中处理后的连通域，获得集装箱的定位图像。