CN117550486A - 一种岸桥集装箱智能理货方法 - Google Patents
一种岸桥集装箱智能理货方法 Download PDFInfo
- Publication number
- CN117550486A CN117550486A CN202311689401.8A CN202311689401A CN117550486A CN 117550486 A CN117550486 A CN 117550486A CN 202311689401 A CN202311689401 A CN 202311689401A CN 117550486 A CN117550486 A CN 117550486A
- Authority
- CN
- China
- Prior art keywords
- container
- lifting appliance
- laser radar
- real
- intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000005259 measurement Methods 0.000 claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 4
- 238000012544 monitoring process Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 19
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 238000007726 management method Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 229910000831 Steel Inorganic materials 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/16—Applications of indicating, registering, or weighing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/46—Position indicators for suspended loads or for crane elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C15/00—Safety gear
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Control And Safety Of Cranes (AREA)
Abstract
本发明提供了一种岸桥集装箱智能理货方法,预先通过安装在吊具上的3D激光雷达对岸桥区域进行扫描,确定岸桥区域的三维测量数据;基于3D激光雷达的实时位置,搭建3D激光雷达坐标系,并通过三维测量数据,判断吊具作业范围内是否存在集装箱;其中,当不存在集装箱时,执行吊具巡航作业,通过吊具上安装的摄像装置进行集装箱检测;当存在集装箱时,执行吊具理货作业,并通过吊具上的安装的摄像装置进行吊具理货追踪,并在吊具作业范围内无集装箱时,重新启动吊具巡航作业。本申请基于3D激光雷达和摄像设备可以通过全景检测信息和3D激光雷达的检测,判断吊具开锁和闭锁的具体状态,从而实现自动识别集装箱的号码,实现集装箱吊装的自动统计。
Description
技术领域
本发明涉及岸桥集装箱智能理货技术领域,特别涉及一种岸桥集装箱智能理货方法。
背景技术
目前,岸桥吊具PLC可以提供的信号包括吊具开闭锁状态、吊具形状、吊具与货物重量吊具水平坐标(x坐标)和吊具垂直坐标(y坐标)。在岸桥集装箱智能理货领域,一般通过吊具的开锁与闭锁状态来确定一吊作业的开始与结束,通过x坐标确定作业开始位置是陆地还是船侧,通过y坐标确定集装箱吊装高度,实现集装箱图片的抓拍与识别,从而完成理货作业。
但是某些情况下由于PLC信号的确实或者不完整,会导致自动识别失败,例如:
1、但是对于特种集装箱,例如开顶柜、凳仔柜和平板柜等,在运输特种设备或者超高设备时,岸桥吊具需要增加吊装支架或缆绳,导致吊具无法给出开锁与闭锁状态,如附图2所示,岸桥吊具通过钢丝绳直接导致货物,无法通过PLC获取吊具开闭锁信号,导致理货作业系统无法准确判断吊装作业的开始与结束,必须人工干预。
2、由于老旧岸桥无PLC信号或者关键数据有缺失,如附图3所示,由于特殊作业会采用钢丝绳或者加高框架,如果利用PLC的吊具垂直坐标(y坐标),会导致理货系统摄像头无法准确抓拍到集装箱箱面,从而导致箱号识别失败。
以上问题会导致,理货系统无法工作,当货物被吊装上船时,智能理货平台无法收到任何数据,从而导致漏箱等重大事故。
另外,在专利文件CN201811310621.4一种基于桥吊PLC的集装箱理货系统,也提出了一种利用安装在桥吊上的PLC控制系统,计算出集装箱在船上的位置,并且能判断出在一个集装箱的作业周期,以及作业周期内是否正常作业和装卸作业的类型。
上述专利中的技术方案,首先不能实现无人的智能化操作,另外,也不能解决上述两个技术问题。
发明内容
本发明提供一种岸桥集装箱智能理货方法,用以解决理货系统无法工作,当货物被吊装上船时,智能理货平台无法收到任何数据,从而导致漏箱等重大事故的情况。
本发明提出了一种岸桥集装箱智能理货方法,包括:
预先通过安装在吊具上的3D激光雷达对岸桥区域进行扫描,确定岸桥区域的三维测量数据;
基于3D激光雷达的实时位置,搭建3D激光雷达坐标系,并通过三维测量数据,判断吊具作业范围内是否存在集装箱;其中,
当不存在集装箱时,执行吊具巡航作业,通过吊具上安装的摄像装置进行集装箱检测;
当存在集装箱时,执行吊具理货作业,并通过吊具上的安装的摄像装置进行吊具理货追踪,并在吊具作业范围内无集装箱时,重新启动吊具巡航作业。
优选的,所述三维测量数据包括集装箱分布数据、车道数据、吊具作业范围数据和吊具开闭锁数据。
优选的,所述三维测量坐标系的横轴、纵轴和竖直轴依据岸桥吊具所在位置的海侧、陆侧、装货车道和3D3D激光雷达的实时位置确定;其中,
三维测量侧标系的横轴为海侧至陆侧的水平线,并用于测量作业位置;
三维测量侧标系的竖直轴为3D激光雷达和地面垂直线,并用于测量集装箱作业起升高度;
三维测量侧标系的纵轴为装货车道方向的车道线,用于测量集装箱尺寸。
优选的,所述3D激光雷达安装于吊具起升机构底部。
优选的,所述摄像装置包括:第一摄像装置、第二摄像装置、第三摄像装置;其中,
第一摄像装置,第一摄像装置为安装于吊具小车底部的全景摄像头;
第二摄像装置,第二摄像装置为安装于吊具横梁下侧的连续梁摄像机;
第三摄像装置,第三摄像装置为安装于吊具两侧的海侧摄像头和陆侧摄像头。
优选的,所述执行吊具理货作业还用于判断作业类型,判断步骤如下:
基于第三摄像装置,获取作业开始位置和作业结束位置信息;其中,
当作业开始位置为海侧,作业结束位置为陆侧时,响应卸船作业;
当作业开始位置为陆侧,作业结束位置为海侧时,响应装船作业;
当作业开始位置为陆侧,作业结束位置为陆侧时,响应陆侧翻倒作业;
当作业开始位置为海侧,作业结束位置为海侧时,响应海侧翻倒作业。
优选的,所述摄像装置进行吊具理货追踪,包括如下步骤:
步骤1:基于3D激光雷达坐标系,设置作业点位;其中,
作业点位包括:箱门检测点位、车顶号检测点位、车号识别点位
步骤2:根据作业点位,在执行吊具理货作业时,判断进行集装箱追踪的特写位、全景位和箱门位、车顶号位是否处于目标位置;
步骤3:当处于目标位置时,顺序执行对应作业类型,当存在集装箱的作业点位不符合目标位置时,根据3D激光雷达坐标系,确定位置偏差,并根据位置偏差,进行作业位补偿。
优选的,所述摄像装置进行吊具理货追踪,还包括如下步骤:
预先获取当前吊具作业范围内的集装箱分布信息,并通过3D激光雷达坐标系搭建,确定吊具作业的起始作业信息;其中,
起始作业信息包括:当前作业类型、集装箱尺寸、集装箱的分布坐标和集装箱的目标理货区域坐标;
根据起始作业信息,搭建基于作业点位的空间理货轨迹节点网络;
根据轨迹节点网络,通过摄像装置和3D激光雷达的实时测距信息,进行轨迹节点映射;
根据轨迹节点映射,进行吊具理货追踪,并判断是否存在轨迹偏差。
优选的,所述吊具巡航作业包括如下步骤:
根据3D激光雷达和摄像装置,进行岸桥区域信息采集,确定吊具巡航路线;
根据吊具巡航路线,搭建基于三维巡航的集装箱识别模型;
根据集装箱识别模型,识别吊具巡航路线上,每个集装箱的实时位置,并判断当前识别的集装箱是否经过理货流程;
当经过理货流程,根据吊具巡航路线执行理货;
当没有经过理货流程,根据集装箱的实时位置判断作业类型,并启动吊具理货作业。
优选的,所述吊具巡航作业还包括如下步骤:
获取摄像装置实时采集的吊具作业区域的全景监控视频,并基于全景监控视频建立和更新吊具作业区域的全景背景三维空间;
根据全景背景三维空间分割出全景监控视频中的集装箱目标,自动抓取当前作业集装箱作为被跟踪目标并锁定,从全景监控视频中构建实时窗口,通过实时窗口跟踪当前作业集装箱的实时监控画面;
基于预设预训练模型对当前作业集装箱的实时监控画面进行识别,获取当前作业集装箱的多标识检测结果;
根据预设的集装箱作业标准,进行吊具作业标识检测,确定异常检测结果,并在全景监控视频中对当前作业集装箱设置异常监测框,保存异常检测的实时监控画面。
上述技术方案的有益效果在于:
本申请基于3D激光雷达和摄像设备可以通过全景检测信息和3D激光雷达的检测,判断吊具开锁和闭锁的具体状态,从而实现自动识别集装箱的号码,实现集装箱吊装的自动统计;
本申请可以实现智能化的自动吊装和自动巡航,吊装作业可以自动进行。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种岸桥集装箱智能理货方法的方法流程图;
图2为现有技术中岸桥吊具通过钢丝绳吊装,无PLC关键数据的示意图;
图3为现有技术中特殊作业会采用钢丝绳或者加高框架,PLC数据不准确的示意图;
图4为本发明实施例中激光雷达安装的示意图;
图5为本发明实施例中摄像头安装方案的侧视示意图;
图6为本发明实施例中摄像头安装方案的俯视示意图;
图7为本发明实施例中作业点位的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明提出了一种通过在岸桥司机的吊具横梁下方安装3D激光雷达和摄像装置,通过3D激光雷达测量的三维数据来替代岸桥PLC数据,进行集装箱追踪和集装箱理货类型识别,从而实现智能理货的技术方案。
本申请的具体执行步骤如下,包括:
预先通过安装在吊具上的3D激光雷达对岸桥区域进行扫描,确定岸桥区域的三维测量数据;
基于3D激光雷达的实时位置,搭建3D激光雷达坐标系,并通过三维测量数据,判断吊具作业范围内是否存在集装箱;其中,
当不存在集装箱时,执行吊具巡航作业,通过吊具上安装的摄像装置进行集装箱检测;
当存在集装箱时,执行吊具理货作业,并通过吊具上的安装的摄像装置进行吊具理货追踪,并在吊具作业范围内无集装箱时,重新启动吊具巡航作业。
上述技术方案的原理在于:
在具体的实施过程中,如附图1所示,本申请会基于3D激光雷达进行扫描,判断吊具作业的范围内是否存在集装箱,然后再存在集装箱的情况下,进行智能理货,吊具通过3D激光雷达和摄像装置检测追踪实时检测集装箱的轨迹,判断根据轨迹判断集装箱的作业是否存在偏差,并在存在偏差的时候通过坐标进行距离计算,从而进行吊装的移动轨迹补偿,实现智能化的自动吊装和位置调整,另外在执行吊具巡航作业的时候,可以通过巡航作用(巡航作用是通过PLC设备中植入的自动巡航程序,自动在吊具移动的时候,检测吊具下是否存在集装箱,从而,实现基于自动巡航识别作业,自动按照巡航轨迹,进行集装箱的全范围监督,判断是否存在没有进行吊装的集装箱,从而执行自动吊装),自动判断集装箱是否需要进行吊装作业,并且判断吊装作业的具体类型,实现自动巡航,自动作业判定。
本申请的3D激光雷达优选扇形扫描形式的机械式雷达,机械式雷达更容易获取3D激光雷达的3D信息,即集装箱的坐标信息;3D激光雷达坐标系包括一个机遇吊具整体的固定3D坐标系和一个动态的用于实时对集装箱进行定位,依靠3D激光雷达实时位置作为原点的动态坐标系。
上述技术方案的有益效果在于:
1.本申请基于3D激光雷达和摄像设备可以通过全景检测信息和3D激光雷达的检测,判断吊具开锁和闭锁的具体状态,从而实现自动识别集装箱的号码,实现集装箱吊装的自动统计;
2.本申请可以实现智能化的自动吊装和自动巡航,吊装作业可以自动进行。
具体的,所述三维测量数据包括集装箱分布数据、车道数据、吊具作业范围数据和吊具开闭锁数据。
集装箱分布数据为岸桥区域内不同集装箱的坐标位置,车道数据为陆侧的进行运输集装箱的运输车的车道数据;吊具作业范围数据为动态坐标系下吊具的实时作业范围;以及固定3D坐标系吊具的可移动范围的作业范围数据,吊具开闭锁数据是基于3D激光雷达结合高清摄像的目标识别技术联合构成的开锁闭锁识别数据。
具体的,所述三维测量坐标系的横轴、纵轴和竖直轴依据岸桥吊具所在位置的海侧、陆侧、装货车道和3D3D激光雷达的实时位置确定;其中,
三维测量侧标系的横轴为海侧至陆侧的水平线,并用于测量作业位置;
三维测量侧标系的竖直轴为3D激光雷达和地面垂直线,并用于测量集装箱作业起升高度;
三维测量侧标系的纵轴为装货车道方向的车道线,用于测量集装箱尺寸。
上述技术方案的原理在于:
为保证与PLC数据一致,再通过3D激光雷达搭建三维坐标系的情况下:从海侧到陆侧为x坐标轴,雷达与地面垂直方向为y坐标轴,车道方向为z坐标轴。通过三维数据,如果判断吊具下是否有集装箱或者货物如果吊具下方从无货物状态变为有货物状态,判断作业开始,反之判断为作业结束。通过y坐标判断货物的起升高度通过x坐标判断作业位置。通过z坐标判断吊装货物或集装箱的尺寸。
上述技术方案的有益效果在于:
本申请在构建基于3D激光雷达的3D坐标系的过程中,能够按照海侧和陆侧进行测量作业,而不是只是依据3D坐标系直接构建的立体坐标系进行测量,通过本申请的方式,可以基于地理参数作为参照数据,通过参照数据实现集装箱定位和集装箱扫描,实现精确数据的测量,在存在参照线的情况下,对于集装箱的测量更加准确。
具体的,所述3D激光雷达安装于吊具起升机构底部。
如附图4和5所示,本申请的3D激光雷达安装在吊具的起升机构,向下扫描,可完整覆盖吊具作业范围,在本申请具体实施的时候,3D激光雷达安装在起升机构的正下方,3D激光雷达的四周对称设置四个水平传感器,水平传感器用于对3D激光雷达的实时坐标位置进行测量,判断是否3D激光雷达出现位置偏差,从而可以进行3D激光雷达的位置修正,3D激光雷达和四个水平传感器具备有保护罩,防止不良天气造成的强气象干扰;四个水平传感器连接自动调平器,依照天气情况,在存在大风的情况下,对3D激光雷达自动调平。
具体的,所述摄像装置包括:第一摄像装置、第二摄像装置、第三摄像装置;其中,
第一摄像装置,第一摄像装置为安装于吊具小车底部的全景摄像头;
第二摄像装置,第二摄像装置为安装于吊具横梁下侧的连续梁摄像机;
第三摄像装置,第三摄像装置为安装于吊具两侧的海侧摄像头和陆侧摄像头。
上述技术方案的原理在于:
如附图4和5所示,本申请设置有多种不同类型的摄像头可以实现全景的拍摄集装箱作业的整体流程,也能够实现吊具作业范围内的全景监控。
本申请在进行集装箱的3D测量吊装的时候,第一摄像装置、第二摄像装置、第三摄像装置还通过多视图融合,实现在集装箱的3D坐标系中进行全场景搭建,测量数据输出,多视图融合的时候,第一摄像装置、第二摄像装置、第三摄像装置分别提取对应图像特征,然后通过图像特征的融合技术,实现视图融合(视图融合的过程是基于特征填充的融合技术,3D激光雷达通过3D测量技术搭建岸桥区域的全场景模型,然后第一摄像装置、第二摄像装置、第三摄像装置分别将对应图像特征填充在全场景模型中,从而生成全场景的监控视图),生成整个岸桥区域的集装箱位置定位和全场景监控。
上述技术方案的有益效果在于:
本申请可以生成岸桥区域的全场景监控视图,通过全场景监控视图,可以进行高精确度的集装箱定位和集装箱检测。
具体的,所述执行吊具理货作业还用于判断作业类型,判断步骤如下:
基于第三摄像装置,获取作业开始位置和作业结束位置信息;其中,
当作业开始位置为海侧,作业结束位置为陆侧时,响应卸船作业;
当作业开始位置为陆侧,作业结束位置为海侧时,响应装船作业;
当作业开始位置为陆侧,作业结束位置为陆侧时,响应陆侧翻倒作业;
当作业开始位置为海侧,作业结束位置为海侧时,响应海侧翻倒作业。
上述技术方案的原理在于:
本申请在进行作业类型判断的过程中,通过摄像装置的不同位置,执行不同方位的检测,并相应于对应的作业类型,自动判断。
为了提高整体吊具理货作业的速度,实现直接响应,本申请设置了多种不同的任务响应方式,在作业开始位置为海侧的时候,有两种作业方式,在作业开始位置为陆侧的时候,又有两种作业方式;
因此,在进行作业类型响应的过程中,首先根据作业开始位置,响应两种不同的作业方式,然后基于集装箱的位置,响应具体的作业类型;其它作业方式,在第二步中也是确定集装箱的位置,如果集装箱的位置在海侧,表示结束位置为陆侧,此时执行卸船作业,只有当集装箱到达陆侧,卸船作业响应完成,响应卸船作业、装船作业、陆侧翻倒作业和海侧翻倒作业,表示对应的作业类型完成。
具体的,所述摄像装置进行吊具理货追踪,包括如下步骤:
步骤1:基于3D激光雷达坐标系,设置作业点位;其中,
作业点位包括:箱门检测点位、车顶号检测点位、车号识别点位
步骤2:根据作业点位,在执行吊具理货作业时,判断进行集装箱追踪的特写位、全景位和箱门位、车顶号位是否处于目标位置;
步骤3:当处于目标位置时,顺序执行对应作业类型,当存在集装箱的作业点位不符合目标位置时,根据3D激光雷达坐标系,确定位置偏差,并根据位置偏差,进行作业位补偿。
上述技术方案的原理在于:
如附图7所示,本申请再进行作业的具体过程中,会设置作业点位,箱门检测点位B点、车顶号检测点位P点、车号识别点位A点。
这些作业点位在3D激光雷达坐标系进行集装箱的位置建模,实现集装箱定位,在集装箱定位之后,可以进行集装箱的吊装,实现集装箱的理货作业;在进行理货作业的过程中,也可以根据定位信息,进行集装箱的位置追踪,从而实现集装箱的精确理货,到达目标的理货位置。
在集装箱处于目标位置的时候,即理货的目标位置的时候,可以确定对应的作业类型,通过对应的作业类型,判断集装箱的目标放置位置是否存在位置偏差,从而在进行位置偏差判定的时候,如果存在集装箱的位置出现偏差,可以通过位置偏差的具体偏差信息,进行作业位置的实时补偿。
具体的,所述摄像装置进行吊具理货追踪,还包括如下步骤:
预先获取当前吊具作业范围内的集装箱分布信息,并通过3D激光雷达坐标系搭建,确定吊具作业的起始作业信息;其中,
起始作业信息包括:当前作业类型、集装箱尺寸、集装箱的分布坐标和集装箱的目标理货区域坐标;
根据起始作业信息,搭建基于作业点位的空间理货轨迹节点网络;
根据轨迹节点网络,通过摄像装置和3D激光雷达的实时测距信息,进行轨迹节点映射;
根据轨迹节点映射,进行吊具理货追踪,并判断是否存在轨迹偏差。
上述技术方案的原理在于:
首先在进行当前吊具作业范围内的集装箱分布信息的采集获取过程中,本申请会进行每个集装箱的位置划分,位置划分的方式采用球面均匀采样的方法获取第一集装箱位置分布图;并采用网格划分的方式获取第二集装箱位置分布图;然后通过这两种方式,分别在3D激光雷达坐标系进行集装箱的位置填充标记,因为采用了两种方式,所以可以清楚的判断是否存在位置偏差,也能实现两种不同方式的优势融合,在3D激光雷达坐标系中得到更加精确的集装箱坐标位置信息;然后通过搭建的空间理货轨迹节点网络(空间理货轨迹节点网络是一种集装箱理货步骤流程的监督控制网络,设定了在对集装箱进行理货过程中的每个节点,通过这些节点(例如作业点位),实现集装箱的理货轨迹跟踪,并且通过摄像装置和3D激光雷达的实时测距信息,将这些测距信息按照理货步骤流程的对应节点,进行一一映射到3D激光雷达坐标系中,判断每一步骤是否存在位置上的偏差,进而实现整个理货过程中的监督,同时可以判断吊具的开闭锁信息,在图像识别的开闭锁图像识别和3D激光雷达的开闭锁建模上进行开闭锁信息的判定,相对于PLC信号也更加准确。
上述技术方案的有益效果在于:
本申请通过一种简单的方式,在进行集装箱吊装作业的一系列步骤中,进行每个步骤的精确监督,通过精确监督的方式,实现集装箱的吊装跟踪,并且能进行吊具开闭锁信息判定,判定的结果更加准确。
具体的,所述吊具巡航作业包括如下步骤:
根据3D激光雷达和摄像装置,进行岸桥区域信息采集,确定吊具巡航路线;
根据吊具巡航路线,搭建基于三维巡航的集装箱识别模型;
根据集装箱识别模型,识别吊具巡航路线上,每个集装箱的实时位置,并判断当前识别的集装箱是否经过理货流程;
当经过理货流程,根据吊具巡航路线执行理货;
当没有经过理货流程,根据集装箱的实时位置判断作业类型,并启动吊具理货作业。
上述技术方案的原理在于:
本申请在进行理货的过程中,为了实现智能化的自动理货流程,首先基于3D激光雷达和摄像装置采集的岸桥区域的区域信息,可以制定在理货过程中吊具对整个岸桥区域的巡航线路,实现对整个岸桥区域集装箱的自动检测;
三维巡航的集装箱识别模型可以在巡航线路中,进行集装箱的识别,识别包括集装箱的大小型号识别和集装箱上的编号识别,在不同类型的集装箱存在颜色不同或者标志信息不同的时候,还可以识别集装箱归属于的企业、货船、集装箱内的产品类型;从而实现更加精确的无人化自动吊装;
在集装箱识别完成之后,通过判断集装箱是否已经经过了理货,如果没有经过理货,就制定理货任务,识别判断需要执行的作业类型,生成对应的任务,执行理货任务。如果已经执行过理货,集装箱的编号会进行记录,不再进行理货,除非人工触发,再次进行理货操作。
上述技术方案的有益效果在于:
本申请可以实现吊装巡航,自动无人化的执行理货作业,相对于人工控制的理货作业,在作业流程上更加标准更加规范,不会出现失误信息,存在测量偏差的时候也可以实现自动补偿,更加可以进行PLC锁开闭信息的判定,不会因为数据缺失导致出现理货错误。
具体的,所述吊具巡航作业还包括如下步骤:
获取摄像装置实时采集的吊具作业区域的全景监控视频,并基于全景监控视频建立和更新吊具作业区域的全景背景三维空间;
根据全景背景三维空间分割出全景监控视频中的集装箱目标,自动抓取当前作业集装箱作为被跟踪目标并锁定,从全景监控视频中构建实时窗口,通过实时窗口跟踪当前作业集装箱的实时监控画面;
基于预设预训练模型对当前作业集装箱的实时监控画面进行识别,获取当前作业集装箱的多标识检测结果;
根据预设的集装箱作业标准,进行吊具作业标识检测,确定异常检测结果,并在全景监控视频中对当前作业集装箱设置异常监测框,保存异常检测的实时监控画面。
上述技术方案的原理在于:
本申请在进行巡航的时候,会通过全景监控视频,进行全景监督,对实时作业的集装箱通过一个监控窗口进行标记,实时跟踪监控窗口,通过实时监控画面,进行多标识检测,判断集装箱的是否出现作业异常。
在进行异常判定的过程中,全景背景三维空间是不存在动态元素的场景标定空间,从而在执行吊装作业的时候,可以快速的判定岸桥区域的其它异常元素,通过异常元素的识别,能够进行动态元素的自动跟踪和锁定,跟踪和锁定的元素信息通过窗口进行实时展现。然后通过预先设定的异常因素判定的事件库,可以进行对应的异常元素的识别判定,将异常元素通过异常监测框进行实时显示。
上述技术方案的有益效果在于:
本申请可以进行异常元素的实时分析,并且通过异常监测框进行异常元素的实时显示,输出对应的异常信息,保证整个理货流程不会出现干扰因素,例如:岸桥理货区域出现人、出现车辆或者出现其他干扰理货的动态元素。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种岸桥集装箱智能理货方法,其特征在于,包括:
预先通过安装在吊具上的3D激光雷达对岸桥区域进行扫描,确定岸桥区域的三维测量数据;
基于3D激光雷达的实时位置,搭建3D激光雷达坐标系,并通过三维测量数据,判断吊具作业范围内是否存在集装箱;其中,
当不存在集装箱时,执行吊具巡航作业,通过吊具上安装的摄像装置进行集装箱检测;
当存在集装箱时,执行吊具理货作业,并通过吊具上的安装的摄像装置进行吊具理货追踪,并在吊具作业范围内无集装箱时,重新启动吊具巡航作业。
2.如权利要求1所述的一种岸桥集装箱智能理货方法,其特征在于,所述三维测量数据包括集装箱分布数据、车道数据、吊具作业范围数据和吊具开闭锁数据。
3.如权利要求1所述的一种岸桥集装箱智能理货方法,其特征在于,所述三维测量坐标系的横轴、纵轴和竖直轴依据岸桥吊具所在位置的海侧、陆侧、装货车道和3D激光雷达的实时位置确定;其中,
三维测量侧标系的横轴为海侧至陆侧的水平线,并用于测量作业位置;
三维测量侧标系的竖直轴为3D激光雷达和地面垂直线,并用于测量集装箱作业起升高度;
三维测量侧标系的纵轴为装货车道方向的车道线,用于测量集装箱尺寸。
4.如权利要求1所述的一种岸桥集装箱智能理货方法,其特征在于,所述3D激光雷达安装于吊具起升机构底部。
5.如权利要求1所述的一种岸桥集装箱智能理货方法,其特征在于,所述摄像装置包括:第一摄像装置、第二摄像装置、第三摄像装置;其中,
第一摄像装置,第一摄像装置为安装于吊具小车底部的全景摄像头;
第二摄像装置,第二摄像装置为安装于吊具横梁下侧的连续梁摄像机;
第三摄像装置,第三摄像装置为安装于吊具两侧的海侧摄像头和陆侧摄像头。
6.如权利要求5所述的一种岸桥集装箱智能理货方法,其特征在于,所述执行吊具理货作业还用于判断作业类型,判断步骤如下:
基于第三摄像装置,获取作业开始位置和作业结束位置信息;其中,
当作业开始位置为海侧,作业结束位置为陆侧时,响应卸船作业;
当作业开始位置为陆侧,作业结束位置为海侧时,响应装船作业;
当作业开始位置为陆侧,作业结束位置为陆侧时,响应陆侧翻倒作业;
当作业开始位置为海侧,作业结束位置为海侧时,响应海侧翻倒作业。
7.如权利要求6所述的一种岸桥集装箱智能理货方法,其特征在于,所述摄像装置进行吊具理货追踪,包括如下步骤:
步骤1:基于3D激光雷达坐标系,设置作业点位;其中,
作业点位包括:箱门检测点位、车顶号检测点位、车号识别点位
步骤2:根据作业点位,在执行吊具理货作业时,判断进行集装箱追踪的特写位、全景位和箱门位、车顶号位是否处于目标位置;
步骤3:当处于目标位置时,顺序执行对应作业类型,当存在集装箱的作业点位不符合目标位置时,根据3D激光雷达坐标系,确定位置偏差,并根据位置偏差,进行作业位补偿。
8.如权利要求7所述的一种岸桥集装箱智能理货方法,其特征在于,所述摄像装置进行吊具理货追踪,还包括如下步骤:
预先获取当前吊具作业范围内的集装箱分布信息,并通过3D激光雷达坐标系搭建,确定吊具作业的起始作业信息;其中,
起始作业信息包括:当前作业类型、集装箱尺寸、集装箱的分布坐标和集装箱的目标理货区域坐标;
根据起始作业信息,搭建基于作业点位的空间理货轨迹节点网络;
根据轨迹节点网络,通过摄像装置和3D激光雷达的实时测距信息,进行轨迹节点映射;
根据轨迹节点映射,进行吊具理货追踪,并判断是否存在轨迹偏差。
9.如权利要求1所述的一种岸桥集装箱智能理货方法,其特征在于,所述吊具巡航作业包括如下步骤:
根据3D激光雷达和摄像装置,进行岸桥区域信息采集,确定吊具巡航路线;
根据吊具巡航路线,搭建基于三维巡航的集装箱识别模型;
根据集装箱识别模型,识别吊具巡航路线上,每个集装箱的实时位置,并判断当前识别的集装箱是否经过理货流程;
当经过理货流程,根据吊具巡航路线执行理货;
当没有经过理货流程,根据集装箱的实时位置判断作业类型,并启动吊具理货作业。
10.如权利要求7所述的一种岸桥集装箱智能理货方法,其特征在于,所述吊具巡航作业还包括如下步骤:
获取摄像装置实时采集的吊具作业区域的全景监控视频,并基于全景监控视频建立和更新吊具作业区域的全景背景三维空间;
根据全景背景三维空间分割出全景监控视频中的集装箱目标,自动抓取当前作业集装箱作为被跟踪目标并锁定,从全景监控视频中构建实时窗口,通过实时窗口跟踪当前作业集装箱的实时监控画面;
基于预设预训练模型对当前作业集装箱的实时监控画面进行识别,获取当前作业集装箱的多标识检测结果;
根据预设的集装箱作业标准,进行吊具作业标识检测,确定异常检测结果,并在全景监控视频中对当前作业集装箱设置异常监测框,保存异常检测的实时监控画面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311689401.8A CN117550486B (zh) | 2023-12-11 | 2023-12-11 | 一种岸桥集装箱智能理货方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311689401.8A CN117550486B (zh) | 2023-12-11 | 2023-12-11 | 一种岸桥集装箱智能理货方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117550486A true CN117550486A (zh) | 2024-02-13 |
CN117550486B CN117550486B (zh) | 2024-06-28 |
Family
ID=89821745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311689401.8A Active CN117550486B (zh) | 2023-12-11 | 2023-12-11 | 一种岸桥集装箱智能理货方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117550486B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3228492A1 (de) * | 2016-04-05 | 2017-10-11 | Stemmann-Technik GmbH | Energiezuführung für eine umschlagmaschine |
CN112039973A (zh) * | 2020-08-26 | 2020-12-04 | 深圳市平方科技股份有限公司 | 特种集装箱理货系统 |
CN112875529A (zh) * | 2021-02-03 | 2021-06-01 | 深圳市平方科技股份有限公司 | 基于人工智能的门座式起重机理货系统 |
CN114782483A (zh) * | 2022-06-17 | 2022-07-22 | 广州港数据科技有限公司 | 岸桥起重机智能理货跟踪方法及系统 |
-
2023
- 2023-12-11 CN CN202311689401.8A patent/CN117550486B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3228492A1 (de) * | 2016-04-05 | 2017-10-11 | Stemmann-Technik GmbH | Energiezuführung für eine umschlagmaschine |
CN112039973A (zh) * | 2020-08-26 | 2020-12-04 | 深圳市平方科技股份有限公司 | 特种集装箱理货系统 |
CN112875529A (zh) * | 2021-02-03 | 2021-06-01 | 深圳市平方科技股份有限公司 | 基于人工智能的门座式起重机理货系统 |
CN114782483A (zh) * | 2022-06-17 | 2022-07-22 | 广州港数据科技有限公司 | 岸桥起重机智能理货跟踪方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117550486B (zh) | 2024-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105431370B (zh) | 用于使用集装箱起重机将集装箱自动地卸货在卸货目标上的方法和系统 | |
CN105438993B (zh) | 自动地光学确定集装箱吊具的目标位置的方法和系统 | |
FI129963B (fi) | Kontin siirtolaitteen valvominen konttia laskettaessa kuljetusalustalle tai nostettaessa pois kuljetusalustalta ja optinen tunnistuslaitteisto kontin siirtolaitteen valvomiseksi | |
JP4300118B2 (ja) | 車両へのコンテナの自動積み降ろし用光学装置 | |
EP2903925B1 (en) | Load handling by load handling device | |
US7289876B2 (en) | Container crane, and method of determining and correcting a misalignment between a load-carrying frame and a transport vehicle | |
CN105480864B (zh) | 一种集装箱起重机自动化检测标定系统及方法 | |
CN108946487B (zh) | 集装箱起重机远程操作系统 | |
CN110411530A (zh) | 一种货箱剩余体积的智能识别方法 | |
CN112875529B (zh) | 基于人工智能的门座式起重机理货系统 | |
CN109335964B (zh) | 一种集装箱旋锁检测系统及检测方法 | |
CN110758473B (zh) | 一种铁水联运轨道车辆跟踪定位方法及系统 | |
CN109987519A (zh) | 一种抓斗卸船机进行卸船作业的方法、装置及系统 | |
US20040125985A1 (en) | Chassis alignment system | |
WO2015135015A1 (en) | Train wagon 3d profiler | |
CN113256702B (zh) | 基于无人机的船舶净空高度检测方法、系统、设备及介质 | |
US20200391981A1 (en) | Loading of a load with a crane system | |
CN106643661B (zh) | 基于机器视觉的轨道式起重机吊具位姿检测系统及方法 | |
CN107055331A (zh) | 集装箱对箱引导系统 | |
CN112661013A (zh) | 一种自动化码头桥吊遗留锁垫检测方法及系统 | |
CN117550486B (zh) | 一种岸桥集装箱智能理货方法 | |
EP1337454B1 (en) | Chassis alignment system | |
AU2013237637A1 (en) | Train Wagon 3D Profiler | |
CN205472298U (zh) | 一种集装箱起重机自动化检测标定系统 | |
CN115077385B (zh) | 无人集卡集装箱位姿测量方法及其测量系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |