CN113979367A - 集装箱位置自动识别系统及其识别方法 - Google Patents

Abstract

本发明涉及一种集装箱位置自动识别系统及其识别方法，包括高精度定位模组、识别摄像头组、边缘计算服务器、空箱堆高机及后台管理系统；所述高精度定位模组通过串口连接边缘计算服务器，所述识别摄像头组通过POE网口连接边缘计算服务器，堆高机给边缘计算服务器供电，边缘服务器通过无线网络将数据发送到后台管理系统；所述边缘计算服务器包括串口通讯模组、网络通讯模组、箱号识别模组、堆位识别模组。

Description

集装箱位置自动识别系统及其识别方法

技术领域

本发明属于集装箱技术领域，特别涉及一种集装箱位置自动识别系统及其识别方法。

背景技术

目前在集装箱堆场大量使用空箱堆高机进行调箱、翻箱作业。目前大量堆场让驾驶员每次登记集装箱所在堆位。但由于翻箱作业经常会涉及到翻调多个集装箱，驾驶员为了省事，经常只记录最后作业的集装箱。经常发生客户需要领集装箱时，从堆场的记录的位置里面找不到对应的集装箱，从而需要再次翻箱作业，大大延长了找箱时间，也造成堆高机能源、人力资源浪费。

CN201911312373.1公开了一种基于集装箱空箱堆垛机对集装箱定位的方法,它的目的是提供一种通过在堆高机上面安装雷达测距、GPS定位和箱号识别多种设备，识别集装箱所在层列位置。该技术方案:该基于集装箱空箱堆垛机对集装箱定位的方法，包括以下步骤：

⑴在集装箱空箱堆垛机1上选取两个基准点，所述两个基准点标记为A和B；

⑵通过定位来获取A和B在整个堆场的坐标，将A的坐标标记为A(Xa,Ya)，将B的坐标标记为B(Xb,Yb)，定位为双GNSS-RTK定位和北斗定位；

⑶通过测距传感器测量集装箱空箱堆垛机1的吊臂长度L1和集装箱空箱堆垛机1的吊臂的顶端到集装箱2的长度L2，从而得到集装箱2相对于集装箱空箱堆垛机1上的坐标为H(0，L1-L2)中，所述测距传感器为雷达测距传感器；

⑷在集装箱空箱堆垛机1的悬臂上安装图像采集设备3，然后通过集装箱2相对于集装箱空箱堆垛机1上的坐标来计算出识别相机3的跟踪参数δ，所述跟踪参数δ用来调整图像采集设备3的识别角度和焦距，调整好图像采集设备3后，然后通过图像采集设备3自动跟踪并识别集装箱2的箱号；

⑸通过H(0，L1-L2)、A和B的坐标来获取集装箱2在整个堆场的坐标为(Xb-Xa，Yb-Ya+L1-L2)；

⑹采集集装箱空箱堆垛机1的开锁信号、闭锁信号，从而得到集装箱空箱堆垛机1在开锁时集装箱2的坐标和闭锁时的集装箱2的坐标，从而完成对集装箱2的定位和集装箱2的作业轨迹。

其不足之处是:

1)需要找出两个相对位置，进行距离标注，由于堆高机有多个厂家多种型号，每台都标注需要花不少时间。

2)所需要安装的设备比较多，安装复杂，成本较高。

发明内容

针对上述现有技术存在的不足，本发明的目的是提供一种采用摄像头和高精度定位模组对堆高机作业的集装箱进行实时摄像，对获取的视频和图像进行图像分析和处理，自动获得集装箱实时堆位位置的自动识别系统。

本发明的技术解决方案是所述集装箱位置自动识别系统。所述位置自动识别系统，包括高精度定位模组、识别摄头组、工控机。识别摄像头组分别连接位置识别子系统和箱号识别子系统，位置识别子系统与箱号识别子系统共同接入工控机，工控机连接后台管理系统；位置自动识别系统还包括网络结构。

作为优选：所述识别摄像头组对空箱堆高机当前作业的集装箱进行实时摄像，并将数据视频流实时传输到边缘计算服务器，边缘计算服务器采用感知哈希对比方式，进行照片抓取和箱号；感知哈希对比过程：定义阈值h，h>7％，，h代表两幅图片的哈希差异；对图片进行统一预处理，包括图像缩放、压缩，使得处于同一分辨率和图像质量；采用相邻帧对比方法，利用感知哈希算法f(I1,I2)，对差异超过阈值h的视频取图像帧，当第n帧In加入计算队列后，后续帧In+1跟In进行对比，差异超过h，则将In+1加入计算队列；如果不超过h，则跳过此帧；下一帧，继续跟第一帧In进行对比，直至出现超过h的差异；只有超过h差异的照片才进行抓拍。

作为优选：所述识别摄像头组至少包含4组摄像头，分别安装在空箱堆高机驾驶室顶部、车头部和机械臂左右两侧；根据多个摄像头的相对位置基于三角原理进行测距计算；摄像头采用双目匹配，所述的双目匹配包括双RGB摄像头+可选的照明系统；所述三角原理测距计算：即目标点在左右两幅视图中成像的横坐标之间存在的视差Disparity差异,与目标点到成像平面的距离成反比例的关系:Z＝ft/d；得到深度信息；双目匹配采用三角测量原理完全基于图像处理技术，通过寻找两个图像中的相同的特征点得到匹配点，从而得到深度值；这里计算的距离只作为参考，用于辅助高精度定位。

作为优选：高精度定位模组为厘米级别高精度定位，安装在空箱堆高机机械臂上。

作为优选：所述边缘计算服务器包括但不限于串口通讯模组、网络通讯模组、箱号识别模组、堆位识别模组，并由空箱堆高机供电，在空箱堆高机启动时，边缘计算服务器自动启动。

本发明集装箱位置自动识别系统的识别方法，包括以下步骤：

⑴启动空箱堆高机；

⑵边缘计算服务器自动启动；

⑶高精度定位设备自动激活并上报位置

⑷基于集装箱机器视觉识别、多摄像头三角原理定位和厘米级高精度定位，实现集装箱三维空间定位；

⑸数据存储

作为优选：所述步骤⑶进一步包括：建立3D地理空间模型，启动高精度定位，定位结果记做(lng,lat,alt),其中lng代表经度，lat代表纬度，alt代表海拔高度。将经纬度坐标采用三角函数转化为空间坐标(x,y,z)

作为优选：所述步骤⑷进一步包括：

(4.1)基于箱号识别，识别出对应的箱号和集装箱侧面在照片中的具体位置，坐标范围[{X0,Y0},{X0,Y1},{X1,Y1},{X1,Y0}]

集装箱的像素高度d＝Y1-Y0

(4.2)基于堆位识别系统，空箱堆高机机械臂上下移动时，前后抓取的集装箱照片像素高度必然一致，而此时，高精度定位模块的海拔高度发生变化：

海拔高度变化a＝alt1-alt0

其中alt0表示集装箱初始位置海拔高度，alt1表示空箱堆高机抓取集装箱往上移动后位置海拔高度。

集装箱的像素高度d跟海拔高度变化a是线性关系，将这个线性比例关系记做f，也就是:

f＝a/d

(4.3)空箱堆高机机械臂未进行抬举作业时，距离地面的初始高度是一个常数，记做c，此时的高精度定位海拔高度记做alt0,作业完成后，集装箱堆放的海拔高度记做alt1

海拔高度变化a＝alt1-alt0

那么集装箱在三维空间的实际高度坐标是：

z＝c+a

这样，(x,y,z)即可以代表集装箱在空间的实际坐标位置；

(4.4)集装箱高度是固定的，通过图像中像素跟三维空间高度关系，可以算出集装箱所在的层高(第几层)：

层高n＝z/a

计算结果向上取整数，其中z代表高度坐标，a代表集装箱高度。

与现有技术相比，本发明的有益效果:

⑴本发明采用摄像头对空箱堆高机作业的集装箱进行实时摄像，对获取的视频和图像进行图像分析和处理，基于人工智能技术获取集装箱在图像中的具体位置。

⑵本发明基于摄像头对空箱堆高机作业的集装箱进行实时摄像，基于人工智能技术获取集装箱箱号、箱型等信息。

⑶本发明基于高精度定位结合集装箱在图像中的位置，自动计算集装箱所在的堆位和层高。

⑷本发明解决集装箱放置位置的自动记录和上传的问题，避免人工抄录和录入，大大提升了堆场的作业效率。

⑸本发明堆场发生作业时，系统能自动识别该作业，同时自动记录作业过程中集装箱的存放位置和作业结束后的集装箱实际存放位置，大大降低了箱位记录的差错率，同时也避免了人工记录和录入，大大提升了堆场管理效率。

附图说明

图1是本发明集装箱堆存位置自动识别系统架构图；

图2是本发明网络结构图。

具体实施方式

本发明下面将结合附图作进一步详述：

请参阅图1所示，所述位置自动识别系统，包括高精度定位模组、识别摄头组、工控机。识别摄像头组分别连接位置识别子系统和箱号识别子系统，位置识别子系统与箱号识别子系统共同接入工控机，工控机连接后台管理系统；位置自动识别系统还包括网络结构。

本实施例中，所述识别摄像头组对空箱堆高机当前作业的集装箱进行实时摄像，基于高精度定位计算出集装箱所在三维空间位置；安装在作业设备上内置图像识别算法的边缘计算服务器，边缘计算服务器采用运动判断和感知哈希对比方式，进行照片抓取和箱号、相对距离识别；感知哈希对比过程：定义阈值h(h>7％)，h代表两幅图片的哈希差异；对图片进行统一预处理，包括图像缩放、压缩，使得处于同一分辨率和图像质量；采用相邻帧对比方法，利用感知哈希算法f(I₁,I₂)，对差异超过阈值h的视频取图像帧，当第n帧In加入计算队列后，后续帧In+1跟In进行对比，差异超过h，则将In+1加入计算队列；如果不超过h，则跳过此帧；下一帧，继续跟第一帧In进行对比，直至出现超过h的差异；只有超过h差异的照片才进行抓拍；边缘计算服务器可自动识别作业的集装箱的箱号，将箱号、箱型和其他状态信息及集装箱位置上传后台系统。所述识别摄像头组至少包含4组摄像头，分别安装在空箱堆高机驾驶室顶部、车头部和机械臂左右两侧；根据多个摄像头的相对位置基于三角原理进行测距计算；摄像头采用双目匹配，所述的双目匹配(双RGB摄像头+可选的照明系统)；所述三角原理测距计算：即目标点在左右两幅视图中成像的横坐标之间存在的视差Disparity差异,与目标点到成像平面的距离成反比例的关系:Z＝ft/d；得到深度信息；双目匹配采用三角测量原理完全基于图像处理技术，通过寻找两个图像中的相同的特征点得到匹配点，从而得到深度值；这里计算的距离只作为参考，用于辅助高精度定位。所述高精度定位模组为厘米级别高精度定位，安装在空箱堆高机的机械臂上。

请参阅图2所示，所述系统硬软件组成结构，包括4个摄像头、一套高精度定位，一套边缘服务器。边缘服务器跟管理后台通过无线网络连接(WIFI或5G)。

该集装箱堆存位置的自动识别方法，包括以下步骤：

⑴启动空箱堆高机；

⑵边缘计算服务器自动启动；

⑶高精度定位设备自动激活并上报位置：

建立3D地理空间模型，启动高精度定位，定位结果记做(lng,lat,alt),其中lng代表经度，lat代表纬度，alt代表海拔高度。将经纬度坐标采用三角函数转化为空间坐标(x,y,z)

⑷基于集装箱机器视觉识别、多摄像头三角原理定位和厘米级高精度定位，实现集装箱三维空间定位：

基于堆位识别系统，空箱堆高机机械臂上下移动时，前后抓取的集装箱照片像素高度必然一致，而此时，高精度定位模块的海拔高度发生变化：

海拔高度变化a＝alt1-alt0

其中alt0表示集装箱初始位置海拔高度，alt1表示空箱堆高机抓取集装箱往上移动后位置海拔高度。

集装箱的像素高度d跟海拔高度变化a是线性关系。将这个线性比例关系记做f，也就是:

f＝a/d

(4.3)空箱堆高机机械臂未进行抬举作业时，距离地面的初始高度是一个常数，记做c，此时的高精度定位海拔高度记做alt0,作业完成后，集装箱堆放的海拔高度记做alt1

海拔高度变化a＝alt1-alt0

那么集装箱在三维空间的实际高度坐标是：

z＝c+a

这样，(x,y,z)即可以代表集装箱在空间的实际坐标位置；

(4.4)集装箱高度是固定的，通过图像中像素跟三维空间高度关系，可以算出集装箱所在的层高(第几层)：

层高n＝z/a

计算结果向上取整数，其中z代表高度坐标，a代表集装箱高度；

⑸数据存储，计算结果存储在边缘计算服务器，并且由边缘计算服务器通过无线传输到后台管理系统。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明权利要求的涵盖范围。

Claims (8)

1.一种集装箱位置自动识别系统，其特征在于，包括高精度定位模组、识别摄像头组、边缘计算服务器、空箱堆高机及后台管理系统；所述高精度定位模组通过串口连接边缘计算服务器，所述识别摄像头组通过POE网口连接边缘计算服务器，空箱堆高机给边缘计算服务器供电，边缘服务器通过无线网络将数据发送到后台管理系统；所述边缘计算服务器包括串口通讯模组、网络通讯模组、箱号识别模组、堆位识别模组。

2.根据权利要求1所述集装箱位置自动识别系统，其特征在于，所述边缘计算服务器包括但不限于串口通讯模组、网络通讯模组、箱号识别模组、堆位识别模组，并由空箱堆高机供电，在空箱堆高机启动时，边缘计算服务器自动启动。

3.根据权利要求1所述集装箱位置自动识别系统，其特征在于，所述识别摄像头组对空箱堆高机当前作业的集装箱进行实时摄像，并将数据视频流实时传输到边缘计算服务器，边缘计算服务器采用感知哈希对比方式，进行照片抓取和箱号；感知哈希对比过程：定义阈值h，h>7％，h代表两幅图片的哈希差异；对图片进行统一预处理，包括图像缩放、压缩，使得处于同一分辨率和图像质量；采用相邻帧对比方法，利用感知哈希算法f(I₁,I₂)，对差异超过阈值h的视频取图像帧，当第n帧In加入计算队列后，后续帧In+1跟In进行对比，差异超过h，则将In+1加入计算队列；如果不超过h，则跳过此帧；下一帧，继续跟第一帧In进行对比，直至出现超过h的差异；只有超过h差异的照片才进行抓拍。

4.根据权利要求3所述集装箱位置自动识别系统，其特征在于，所述识别摄像头组至少包含4组摄像头，分别安装在空箱堆高机驾驶室顶部、车头部和机械臂左右两侧；根据多个摄像头的相对位置基于三角原理进行测距计算；摄像头采用双目匹配，所述的双目匹配包括双RGB摄像头+可选的照明系统；所述三角原理测距计算：即目标点在左右两幅视图中成像的横坐标之间存在的视差Disparity差异,与目标点到成像平面的距离成反比例的关系:Z＝ft/d；得到深度信息；双目匹配采用三角测量原理完全基于图像处理技术，通过寻找两个图像中的相同的特征点得到匹配点，从而得到深度值；这里计算的距离只作为参考，用于辅助高精度定位。

5.根据权利要求1集装箱位置自动识别系统，其特征在于，所述高精度定位模组为厘米级别高精度定位，安装在空箱堆高机的机械臂上。

6.一种集装箱位置自动识别系统的识别方法，其特征在于，包括以下步骤：

⑴启动空箱堆高机；

⑵边缘计算服务器自动启动；

⑶高精度定位设备自动激活并上报位置

⑷基于集装箱机器视觉识别、多摄像头三角原理定位和厘米级高精度定位，实现集装箱三维空间定位；

⑸数据存储。

7.根据权利要求6所述集装箱位置自动识别系统的识别方法，其特征在于，所述步骤⑶进一步包括：建立3D地理空间模型，启动高精度定位，定位结果记做(lng,lat,alt),其中lng代表经度，lat代表纬度，alt代表海拔高度；将经纬度坐标采用三角函数转化为空间坐标(x,y,z)。

8.根据权利要求6所述集装箱位置自动识别系统的识别方法，其特征在于，所述步骤⑷进一步包括：

(4.1)基于箱号识别，识别出对应的箱号和集装箱侧面在照片中的具体位置，坐标范围[{X0,Y0},{X0,Y1},{X1,Y1},{X1,Y0}]

集装箱的像素高度d＝Y1-Y0

(4.2)基于堆位识别系统，空箱堆高机的机械臂上下移动时，前后抓取的集装箱照片像素高度必然一致，而此时，高精度定位模块的海拔高度发生变化：

海拔高度变化a＝alt1-alt0

式中alt0表示集装箱初始位置海拔高度，alt1表示空箱堆高机抓取集装箱往上移动后位置海拔高度；

集装箱的像素高度d跟海拔高度变化a是线性关系；将这个线性比例关系记做f，也就是:

f＝a/d

(4.3)空箱堆高机机械臂未进行抬举作业时，距离地面的初始高度是一个常数，记做c，此时的高精度定位海拔高度记做alt0,作业完成后，集装箱堆放的海拔高度记做alt1

海拔高度变化a＝alt1-alt0

那么集装箱在三维空间的实际高度坐标是：

z＝c+a

这样，(x,y,z)即可以代表集装箱在空间的实际坐标位置；

(4.4)集装箱高度是固定的，通过图像中像素跟三维空间高度关系，可以算出集装箱所在的层高(第几层)：

层高n＝z/a

计算结果向上取整数，式中z代表高度坐标，a代表集装箱高度。

Images