CN113184707A - 一种基于激光视觉融合和深度学习的集卡防吊起方法、系统 - Google Patents

一种基于激光视觉融合和深度学习的集卡防吊起方法、系统 Download PDF

Info

Publication number
CN113184707A
CN113184707A CN202110055702.XA CN202110055702A CN113184707A CN 113184707 A CN113184707 A CN 113184707A CN 202110055702 A CN202110055702 A CN 202110055702A CN 113184707 A CN113184707 A CN 113184707A
Authority
CN
China
Prior art keywords
container
truck
frame
lifted
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110055702.XA
Other languages
English (en)
Other versions
CN113184707B (zh
Inventor
罗永祥
严志展
陈志辉
刘键涛
魏秋新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian E Port Co ltd
Original Assignee
Fujian E Port Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian E Port Co ltd filed Critical Fujian E Port Co ltd
Priority to CN202110055702.XA priority Critical patent/CN113184707B/zh
Publication of CN113184707A publication Critical patent/CN113184707A/zh
Application granted granted Critical
Publication of CN113184707B publication Critical patent/CN113184707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/40—Applications of devices for transmitting control pulses; Applications of remote control devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明提供一种基于激光视觉融合和深度学习的集卡防吊起方法，包括如下步骤：获取集装箱和集卡车架的视频信息3D点云数据；采用语义分割算法识别集装箱和集卡车架特征数据；并与3D点云图进行配准；利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与集卡车架之间的几何空间进行计算；根据几何空间的形状和位置判断车架是否被吊起；若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。本发明提供的方法通过激光和视觉手段的融合，根据吊具、集装箱、集卡等多维信息，全面精确地实现吊起状态的判定，达到安全生产的要求。

Description

一种基于激光视觉融合和深度学习的集卡防吊起方法、系统
技术领域
本发明涉及起重机装卸领域，特别是指一种基于激光视觉融合和深度学习的集卡防吊起方法、系统及可读存储介质。
背景技术
在场桥从集卡上卸箱作业过程中，由于集卡锁销未完全解锁，吊具将集装箱连同集卡一并吊起或是半边吊起，通常称为吊集卡事故，吊集卡事故会导致人员和车辆的危险。
通过对目前市场上针对该问题的安全检测保护系统的调研得出以下结论：大部分通过使用光电开关装置判断集装箱与托架之间的空间从而得出是否安全分离的判断，然而弊端在于该装置过于依赖大车PLC获取吊具编码器、开闭锁状态等数据，而且检测受到集装箱卡车托架的高度影响，分离检测存在很大的不确定性，从而无法满足安全生产的需要。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于激光视觉融合和深度学习的集卡防吊起方法，通过激光和视觉手段的融合，根据吊具、集装箱、集卡等多维信息，全面精确地实现吊起状态的判定，达到安全生产的要求。
本发明采用如下技术方案：
一种基于激光视觉融合和深度学习的集卡防吊起方法，包括如下步骤：
利用摄像头获取集装箱和集卡车架的视频信息，利用面阵激光传感器获取集装箱和集卡的3D点云数据；
采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡车架特征数据；
将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；
利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与集卡车架之间的几何空间进行计算；
根据几何空间的形状和位置判断车架是否被吊起；
若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。
具体地，所述采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡特征数据；具体包括：
调整视频信息中的图像尺寸，并对图像中的每个像素进行归一化处理，获得像素归一化后的图像；
将得到的像素归一化后的图像输入到UNet网络中，对图像中的集装箱和集卡车架进行轮廓提取；
将轮廓提取后的结果利用腐蚀和膨胀等形态学操作去除轮廓中的噪点，得到集装箱和集卡车架特征数据。
具体地，所述归一化处理具体为：
Figure BDA0002900864850000021
Figure BDA0002900864850000022
Figure BDA0002900864850000023
其中，xi为原有像素值，
Figure BDA0002900864850000024
为像素平均值，s2为像素方差值，xd为归一化后的像素值。
具体地，所述将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；配准操作具体包括：
通过对基准雷达进行移动建图；
将其余雷达数据对基准雷达的重建地图进行迭代配准与计算；
根据一致性假设减少匹配误差，直到算法收敛且满足标定矩阵刚性不变特性；
根据一致性算法得出最终标定矩阵。
具体地，所述利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与车架之间的几何空间进行计算，具体包括：
所述利用视觉识别出的集装箱和集卡车架特征数据，确定集装箱与车架在图像中的位置，进一步利用配准过的数据，提取出集装箱与车架的真实世界三维坐标；
对车架和集装箱的数据利用线性回归方法对车架顶部和集装箱底部进行平面拟合；
利用拟合出的车架顶部平面和集装箱底部的平面，计算出两个平面的夹角。
具体地，所述利用拟合出的车架顶部平面和集装箱底部的平面，计算出两个平面的夹角，具体为：
两平面夹角的余弦为：
Figure BDA0002900864850000031
根据余弦进一步计算出夹角α＝cos-1(cosα)；
其中，拟合出的车架顶部和集装箱底部的平面表达式分别为A1x+B1y+C1z+D1＝0和A2x+B2y+C2z+D2＝0。
具体地，根据几何空间的形状和位置判断车架是否被吊起，具体为：
若两个平面的夹角超过设定阈值角度，则认为集装箱被吊起；
如果两个平面的夹角小于设定阈值角度，且两个平面的最大距离小于设定阈值距离，则认为集装箱被吊起；
否则，认为集装箱正常起升，即未被吊起。
本发明实施例另一方面提供一种基于激光视觉融合和深度学习的集卡防吊起系统，包括：
数据获取单元：利用摄像头获取集装箱和集卡车架的视频信息，利用面阵激光传感器获取集装箱和集卡的3D点云数据；
视频信息处理单元：采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡车架特征数据；
数据配准单元：将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；
定位计算单元：利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与集卡车架之间的几何空间进行计算；
吊起判定单元：根据几何空间的形状和位置判断车架是否被吊起；
操作执行单元：若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。
本发明实施例再一方面提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述基于激光视觉融合和深度学习的集卡防吊起方法步骤。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
(1)本发明提出一种基于激光视觉融合和深度学习的集卡防吊起方法，通过激光和视觉手段的融合，并进行数据配准，且方案中根据吊具、集装箱、集卡等多维信息，从而实现精确全面数据的获取，为下一步吊起状态的精确判定提供基础，从而达到安全生产的要求。
(2)本发明中利用面阵激光传感器获取集装箱和集卡的3D点云数据，能够全面获取集装箱和集卡的数据信息，解决了现有技术中采用线扫激光容易被阻挡导致数据不全的问题。
(3)本发明提供的判定方法，能够支持所有集卡吊起的状态识别，便于下一步的吊起状态解除操作。
附图说明
图1为本发明实施例提供的基于激光视觉融合和深度学习的集卡防吊起方法流程图；
图2为本发明实施例提供的视频信息中的图像示例图；
图3为本发明实施例提供的3D点云数据；
图4为本发明实施例提供的车架顶部和集装箱底部平面拟合示意图；
图5为本发明实施例提供的基于激光视觉融合和深度学习的集卡防吊起系统框图。
图6为本发明实施例提供的可读存储介质结构框图。
具体实施方式
本发明实施例提供了一种基于激光视觉融合和深度学习的集卡防吊起方法、系统及可读存储介质，通过激光和视觉手段的融合，并进行数据配准，根据吊具、集装箱、集卡等多维信息，全面精确地实现吊起状态的判定，达到安全生产的要求。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
集卡的扭锁总共有4个锁角，需要防吊起的状态总共有
Figure BDA0002900864850000051
Figure BDA0002900864850000061
种(分别对应锁住一个锁角的四种情况，锁住两个锁角的六种工况，锁住三个锁角的四种工况，四个角都锁住的工况)，正常的状态为
Figure BDA0002900864850000062
所以需要模拟这15+1＝16种工况的数据，我们通过人工配合的方式模拟被锁住的15种工况，并在这15种工况下记录数据，正常没有锁住的工况数据可以在车辆正常作业时候进行采集。
如图1，为本发明实施例提供的基于激光视觉融合和深度学习的集卡防吊起方法流程图，具体包括如下步骤：
S101：利用摄像头获取集装箱和集卡车架的视频信息，利用面阵激光传感器获取集装箱和集卡的3D点云数据；
摄像机为前端视频数据采集设备，用于采集作业车道的视频流数据；本发明在设备上安装了4台摄像机，固定在三维支架上，与POE供电交换机连接，一条网线将视频线、音频线、电源线和控制线四合为一传输，安装简便。
此外，本发明采用的是面阵激光传感器，获取集装箱和集卡的3D点云数据，如图3所示，能够全面获取集装箱和集卡的数据信息，解决了现有技术中采用线扫激光容易被阻挡导致数据不全的问题。
S102：采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡车架特征数据；
将视频信息中的图像调整大小为1920x1080的尺寸，其中图像示意图如图2所示，并对图像中的每个像素进行归一化处理，得到归一化后的像素值xd,这样做可以使得图像分布更加稳定，避免由于光线等异常因素造成数据部分差异过大导致识别效果不好；具体归一化操作为：
Figure BDA0002900864850000063
Figure BDA0002900864850000064
Figure BDA0002900864850000065
其中，xi为原有像素值，
Figure BDA0002900864850000066
为像素平均值，s2为像素方差值，xd为归一化后的像素值。
将得到的结果输入到UNet(现有通用技术)网络中，对物体信息进行提取轮廓；然后利用腐蚀和膨胀等形态学操作去除轮廓中的噪点，保留真正需要的信息。
S103：将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；
在实际使用中，有时不方便找到用于标定的开源环境或参考物体，为此Livox推出了自动标定技术TFAC-Livox算法(Target-Free Automatic Calibration)并在Github上开源。该技术主要依靠几何一致性假设，即多个雷达扫描出来的局部三维模型是一致的，通过对基准雷达(LiDAR0)进行移动建图，然后将其余雷达数据对LiDAR0的重建地图不断进行迭代配准与计算，依靠一致性假设不断减少匹配误差，直到算法收敛并且满足标定矩阵刚性不变特性(六条平行线)，最后用一致性算法得出最终标定矩阵(外参)。
S104：利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与集卡车架之间的几何空间进行计算；
激光给出的值即是真实世界坐标，只不过无法区分哪些点是什么物体，视觉能够识别出视野内某个物体在哪，但是无法给出三维的坐标系；
本发明实施例将记录的数据进行分析，利用视觉识别出的语义分割轮廓可以知道集装箱与车架在图像中的位置，进一步利用配准过的点云数据，提取出集装箱与车架的真实世界三维坐标；
明确了车架与集装箱的真正世界坐标后，就可以对车架和集装箱的数据利用线性回归方法对车架顶部和集装箱底部进行平面拟合，拟合示意图如图4所示；
利用拟合出的车架顶部平面和集装箱底部的平面，可以计算出两个平面的夹角。
假设拟合出的车架顶部和集装箱底部的平面表达式分别为A1x+B1y+C1z+D1＝0和A2x+B2y+C2z+D2＝0，则他们的夹角的余弦为：
Figure BDA0002900864850000081
根据余弦我们能进一步计算出夹角α＝cos-1(cos α)
S105：根据几何空间的形状和位置判断车架是否被吊起；
在理想情况下，他们之间应该是平行的，即夹角是0；现实世界是有误差的，所以正常未被吊起的情况下，两个平面的夹角应该是很小的，因为车架和集装箱应该是接近平行的。但是在某个或某几个锁角被锁住的情况下，车架和集装箱有比较大的夹角。但是当四个锁角都锁住的情况下，两个平面也是接近平行的，但是这时候两个平面之间的距离会比正常吊起时候大很多。所以我们提出了以下判断规则：
(1)如果两个平面的夹角超过5度，则认为集装箱被吊起；
(2)如果两个平面的夹角小于5度，且两个平面的最大距离小于20cm，则认为集装箱被吊起
(3)如不满足(1)(2)条件，则认为集装箱正常起升，即未被吊起。
S106：若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。
如图5，本发明实施例另一方面提供一种基于激光视觉融合和深度学习的集卡防吊起系统50，包括：
数据获取单元501：利用摄像头获取集装箱和集卡车架的视频信息，利用面阵激光传感器获取集装箱和集卡的3D点云数据；
视频信息处理单元502：采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡车架特征数据；
数据配准单元503：将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；
定位计算单元504：利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与集卡车架之间的几何空间进行计算；
吊起判定单元505：根据几何空间的形状和位置判断车架是否被吊起；
操作执行单元506：若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。
如图6所示，本实施例提供了一种计算机可读存储介质60，其上存储有计算机程序601，该计算机程序601被处理器执行时实现如下步骤：
利用摄像头获取集装箱和集卡车架的视频信息，利用面阵激光传感器获取集装箱和集卡的3D点云数据；
采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡车架特征数据；
将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；
利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与集卡车架之间的几何空间进行计算；
根据几何空间的形状和位置判断车架是否被吊起；
若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (9)

1.一种基于激光视觉融合和深度学习的集卡防吊起方法，其特征在于，包括如下步骤：
利用摄像头获取集装箱和集卡车架的视频信息，利用面阵激光传感器获取集装箱和集卡的3D点云数据；
采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡车架特征数据；
将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；
利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与集卡车架之间的几何空间进行计算；
根据几何空间的形状和位置判断车架是否被吊起；
若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。
2.根据权利要求1所述的一种基于激光视觉融合和深度学习的集卡防吊起方法，其特征在于，所述采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡特征数据；具体包括：
调整视频信息中的图像尺寸，并对图像中的每个像素进行归一化处理，获得像素归一化后的图像；
将得到的像素归一化后的图像输入到UNet网络中，对图像中的集装箱和集卡车架进行轮廓提取；
将轮廓提取后的结果利用腐蚀和膨胀等形态学操作去除轮廓中的噪点，得到集装箱和集卡车架特征数据。
3.根据权利要求2所述的一种基于激光视觉融合和深度学习的集卡防吊起方法，其特征在于，所述归一化处理具体为：
Figure FDA0002900864840000011
Figure FDA0002900864840000012
Figure FDA0002900864840000021
其中，xi为原有像素值，
Figure FDA0002900864840000022
为像素平均值，s2为像素方差值，xd为归一化后的像素值。
4.根据权利要求1所述的一种基于激光视觉融合和深度学习的集卡防吊起方法，其特征在于，所述将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；配准操作具体包括：
通过对基准雷达进行移动建图；
将其余雷达数据对基准雷达的重建地图进行迭代配准与计算；
根据一致性假设减少匹配误差，直到算法收敛且满足标定矩阵刚性不变特性；
根据一致性算法得出最终标定矩阵。
5.根据权利要求1所述的一种基于激光视觉融合和深度学习的集卡防吊起方法，其特征在于，所述利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与车架之间的几何空间进行计算，具体包括：
所述利用视觉识别出的集装箱和集卡车架特征数据，确定集装箱与车架在图像中的位置，进一步利用配准过的数据，提取出集装箱与车架的真实世界三维坐标；
对车架和集装箱的数据利用线性回归方法对车架顶部和集装箱底部进行平面拟合；
利用拟合出的车架顶部平面和集装箱底部的平面，计算出两个平面的夹角。
6.根据权利要求5所述的一种基于激光视觉融合和深度学习的集卡防吊起方法，其特征在于，所述利用拟合出的车架顶部平面和集装箱底部的平面，计算出两个平面的夹角，具体为：
两平面夹角的余弦为：
Figure FDA0002900864840000031
根据余弦进一步计算出夹角α＝cos-1(cosα)；
其中，拟合出的车架顶部和集装箱底部的平面表达式分别为A1x+B1y+C1z+D1＝0和A2x+B2y+C2z+D2＝0。
7.根据权利要求5所述的一种基于激光视觉融合和深度学习的集卡防吊起方法，其特征在于，根据几何空间的形状和位置判断车架是否被吊起，具体为：
若两个平面的夹角超过设定阈值角度，则认为集装箱被吊起；
如果两个平面的夹角小于设定阈值角度，且两个平面的最大距离小于设定阈值距离，则认为集装箱被吊起；
否则，认为集装箱正常起升，即未被吊起。
8.一种基于激光视觉融合和深度学习的集卡防吊起系统，其特征在于，包括：
数据获取单元：利用摄像头获取集装箱和集卡车架的视频信息，利用面阵激光传感器获取集装箱和集卡的3D点云数据；
视频信息处理单元：采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡车架特征数据；
数据配准单元：将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；
定位计算单元：利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与集卡车架之间的几何空间进行计算；
吊起判定单元：根据几何空间的形状和位置判断车架是否被吊起；
操作执行单元：若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202110055702.XA 2021-01-15 2021-01-15 一种基于激光视觉融合和深度学习的集卡防吊起方法、系统 Active CN113184707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110055702.XA CN113184707B (zh) 2021-01-15 2021-01-15 一种基于激光视觉融合和深度学习的集卡防吊起方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110055702.XA CN113184707B (zh) 2021-01-15 2021-01-15 一种基于激光视觉融合和深度学习的集卡防吊起方法、系统

Publications (2)

Publication Number Publication Date
CN113184707A true CN113184707A (zh) 2021-07-30
CN113184707B CN113184707B (zh) 2023-06-02

Family

ID=76972584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110055702.XA Active CN113184707B (zh) 2021-01-15 2021-01-15 一种基于激光视觉融合和深度学习的集卡防吊起方法、系统

Country Status (1)

Country Link
CN (1) CN113184707B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113979306A (zh) * 2021-10-27 2022-01-28 上海亥伯智能科技有限公司 集装箱起重机自动装车系统及方法
CN114066847A (zh) * 2021-11-16 2022-02-18 北京国泰星云科技有限公司 基于2d激光和图像数据融合的集卡吊起状态检测方法
CN114155438A (zh) * 2021-12-07 2022-03-08 南京飞衍智能科技有限公司 一种集装箱装卸安全检测方法和系统
CN116343125A (zh) * 2023-03-30 2023-06-27 北京国泰星云科技有限公司 一种基于计算机视觉的集装箱箱底锁头检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106829742A (zh) * 2017-03-20 2017-06-13 北京国泰星云科技有限公司 一种基于激光的防吊起检测系统及方法
JP2018188250A (ja) * 2017-04-28 2018-11-29 Ｊｆｅエンジニアリング株式会社 荷役機械の操作支援方法及び装置並びに保守作業支援方法及び装置
EP3418244A1 (en) * 2017-06-20 2018-12-26 ABB Schweiz AG Loading a container on a landing target
WO2019017458A1 (ja) * 2017-07-21 2019-01-24 株式会社タダノ ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
CN109534177A (zh) * 2019-01-10 2019-03-29 上海海事大学 一种基于机器视觉的集卡防吊起装置及集卡防吊起方法
US20200115195A1 (en) * 2017-07-04 2020-04-16 Psa International Pte Ltd Apparatus and method for remote crane control
WO2020133694A1 (zh) * 2018-12-26 2020-07-02 上海图森未来人工智能科技有限公司 一种岸吊区卡车精准停车方法、设备及系统
WO2020177288A1 (zh) * 2019-03-04 2020-09-10 青岛港国际股份有限公司 自动化集装箱码头堆场陆侧自动化运行系统及其控制方法
CN111704035A (zh) * 2020-07-02 2020-09-25 上海驭矩信息科技有限公司 一种基于机器视觉的集装箱装卸集卡自动定位装置及方法
CN111832415A (zh) * 2020-06-15 2020-10-27 航天智造（上海）科技有限责任公司 一种用于集装箱吊装作业的卡车安全智能保护系统
CN112027918A (zh) * 2020-09-04 2020-12-04 上海驭矩信息科技有限公司 一种基于机器视觉的集卡防吊起检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106829742A (zh) * 2017-03-20 2017-06-13 北京国泰星云科技有限公司 一种基于激光的防吊起检测系统及方法
JP2018188250A (ja) * 2017-04-28 2018-11-29 Ｊｆｅエンジニアリング株式会社 荷役機械の操作支援方法及び装置並びに保守作業支援方法及び装置
EP3418244A1 (en) * 2017-06-20 2018-12-26 ABB Schweiz AG Loading a container on a landing target
US20200115195A1 (en) * 2017-07-04 2020-04-16 Psa International Pte Ltd Apparatus and method for remote crane control
WO2019017458A1 (ja) * 2017-07-21 2019-01-24 株式会社タダノ ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
WO2020133694A1 (zh) * 2018-12-26 2020-07-02 上海图森未来人工智能科技有限公司 一种岸吊区卡车精准停车方法、设备及系统
CN109534177A (zh) * 2019-01-10 2019-03-29 上海海事大学 一种基于机器视觉的集卡防吊起装置及集卡防吊起方法
WO2020177288A1 (zh) * 2019-03-04 2020-09-10 青岛港国际股份有限公司 自动化集装箱码头堆场陆侧自动化运行系统及其控制方法
CN111832415A (zh) * 2020-06-15 2020-10-27 航天智造（上海）科技有限责任公司 一种用于集装箱吊装作业的卡车安全智能保护系统
CN111704035A (zh) * 2020-07-02 2020-09-25 上海驭矩信息科技有限公司 一种基于机器视觉的集装箱装卸集卡自动定位装置及方法
CN112027918A (zh) * 2020-09-04 2020-12-04 上海驭矩信息科技有限公司 一种基于机器视觉的集卡防吊起检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113979306A (zh) * 2021-10-27 2022-01-28 上海亥伯智能科技有限公司 集装箱起重机自动装车系统及方法
CN114066847A (zh) * 2021-11-16 2022-02-18 北京国泰星云科技有限公司 基于2d激光和图像数据融合的集卡吊起状态检测方法
CN114066847B (zh) * 2021-11-16 2022-09-23 北京国泰星云科技有限公司 基于2d激光和图像数据融合的集卡吊起状态检测方法
CN114155438A (zh) * 2021-12-07 2022-03-08 南京飞衍智能科技有限公司 一种集装箱装卸安全检测方法和系统
CN116343125A (zh) * 2023-03-30 2023-06-27 北京国泰星云科技有限公司 一种基于计算机视觉的集装箱箱底锁头检测方法
CN116343125B (zh) * 2023-03-30 2024-04-02 北京国泰星云科技有限公司 一种基于计算机视觉的集装箱箱底锁头检测方法

Also Published As

Publication number Publication date
CN113184707B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN113184707A (zh) 一种基于激光视觉融合和深度学习的集卡防吊起方法、系统
CN112418103B (zh) 一种基于动态双目视觉的桥式起重机吊装安全防撞系统及方法
CN112150388B (zh) 一种连续卸船机船舶及物料的识别感知方法
CN109335964B (zh) 一种集装箱旋锁检测系统及检测方法
Yan et al. A method of lane edge detection based on Canny algorithm
CN112836633A (zh) 停车位检测方法以及停车位检测系统
CN112027918B (zh) 一种基于机器视觉的集卡防吊起检测方法
WO2021179983A1 (zh) 基于三维激光的集卡防吊起检测方法、装置和计算机设备
CN103149222A (zh) 射线实时成像中缺陷检测方法
CN106548147A (zh) 一种快速的噪声鲁棒性图像异物检测方法及teds系统
CN113376654A (zh) 基于三维激光的集卡防砸检测方法、装置和计算机设备
Yan et al. Towards automated detection and quantification of concrete cracks using integrated images and lidar data from unmanned aerial vehicles
CN112465706A (zh) 一种闸口集装箱自动验残方法
CN113173502B (zh) 一种基于激光视觉融合和深度学习的防撞方法、系统
US9818198B2 (en) Method for near-realtime workspace mapping
CN115359021A (zh) 一种基于激光雷达和相机信息融合的目标定位检测方法
CN112767358A (zh) 基于图像特征配准的铁路电力机车故障检测方法
CN111832571B (zh) 一种货车制动梁支柱故障自动检测方法
WO2021000948A1 (zh) 配重重量的检测方法与系统、获取方法与系统及起重机
CN111723723A (zh) 一种图像检测方法及装置
CN116310294A (zh) 一种地铁列车螺栓松动检测方法及装置
CN115909216A (zh) 一种基于激光雷达和单目相机的货船舱口检测方法及系统
CN112883789A (zh) 一种基于激光视觉融合和深度学习的防打保龄方法、系统
CN113177557B (zh) 一种基于机器视觉和深度学习的防打保龄的方法和系统
CN116309371A (zh) 列车零部件异常检测方法、装置及电子设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant