CN112883789A - 一种基于激光视觉融合和深度学习的防打保龄方法、系统 - Google Patents

一种基于激光视觉融合和深度学习的防打保龄方法、系统 Download PDF

Info

Publication number
CN112883789A
CN112883789A CN202110054254.1A CN202110054254A CN112883789A CN 112883789 A CN112883789 A CN 112883789A CN 202110054254 A CN202110054254 A CN 202110054254A CN 112883789 A CN112883789 A CN 112883789A
Authority
CN
China
Prior art keywords
container
point cloud
current
height
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110054254.1A
Other languages
English (en)
Inventor
张强
严志展
陈志辉
刘键涛
魏秋新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian E Port Co ltd
Original Assignee
Fujian E Port Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian E Port Co ltd filed Critical Fujian E Port Co ltd
Priority to CN202110054254.1A priority Critical patent/CN112883789A/zh
Publication of CN112883789A publication Critical patent/CN112883789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于激光视觉融合和深度学习的防打保龄方法、系统，其中方法包括如下步骤：利用面阵激光扫描得到当前呗位和隔壁呗位的3D点云图，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；利用摄像头采集得到RGB图像；输入Mask R‑CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框；判定吊具位置、长度与集装箱的位置信息和高度信息的关系，触发当前呗位的保护。本发明将视觉手段和激光手段的结合，并分别利用视觉图像和激光数据训练有效模型，检测识别集装箱的各参数特征，然后根据两种识别方法得出的参数特征共同判断防打保龄，实现精确判定防打保龄，符合安全生产的要求。

Description

一种基于激光视觉融合和深度学习的防打保龄方法、系统
技术领域
本发明涉及起重机领域，特别是指一种基于激光视觉融合和深度学习的防打保龄方法、系统和可读存储介质。
背景技术
随着集装箱码头和堆场起重机的快速发展，在装卸集装箱的过程中是否精准安全，直接关系到码头生产效率的高低和经济效益。在司机疲劳和视觉不佳的情况下，箱子容易相撞。也称“打保龄”事故，这不仅会造成集装箱箱体和箱内获取、拖车、托架损坏，而且会造成人员伤亡，并在一定程度上限制龙门吊作业效率的提高。
目前，针对在堆场内，在起重机起带箱或者不带箱时，起升未到足够高度的情况下，动小车从而造成吊具撞翻前后邻近的集装箱的问题，现有技术一般采用激光扫描的手段，通过实时进行扫描小车前后方集装箱高度和位置，控制小车速度和停止以实现防撞保护。但目前通过激光手段仍存在盲区问题导致扫描不全，司机无法准确判断，使得安全事故频有发生，无法达到安全生产的要求。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种视觉手段和激光手段的结合，并分别利用视觉图像和激光数据训练有效模型，检测识别集装箱的各参数特征，然后根据两种识别方法得出的参数特征共同判断防打保龄，实现精确判定防打保龄，符合安全生产的要求。
本发明采用如下技术方案：
一种基于激光视觉融合和深度学习的防打保龄方法，包括如下步骤：
利用安装在小车上的面阵激光扫描得到当前呗位和隔壁呗位的3D点云图；
利用设置在大梁和小车上的摄像头采集得到RGB图像；
根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；
根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框；
根据得到当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度等信息，以及当前呗位集装箱边界框和隔壁呗位集装箱的边界框，判定吊具位置、长度与集装箱的位置信息和高度信息的关系，若小于设定值，触发当前呗位的保护。
具体地，根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；具体包括：
建立PointNet++网络结构，通过PointNet++网络结构实现多帧点云图的目标检测，在特征图上回归检测目标的位置、尺寸；
将已知数据集输入到PointNet++网络结构进行训练，同时设置总损失函数对已知数据集通过PointNet++网络结构回归出的所有目标的位置、尺寸进行优化监督，获得PointNet++网络结构中所有参数的参数值。
具体地，根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；还包括：确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息具体为：
对于最终特征图上的每个像素具有的参数向量(f，px，py，w，sinθ，cosθ)，对最终特征图上的每个像素进行如下操作：若像素的目标置信度f大于目标判别阈值thresf，则最终特征图的当前像素对应的空间位置存在目标，计算目标的中心位置[cXobj，cYobj]：
cXobj＝cXp+px
cYobj＝cYp+py
其中，cXp和cYp分别表示当前像素的中心对应的空间位置在当前帧点云图的点云坐标系下的x轴和y轴的坐标，px，py分别表示目标的中心相对于该像素的横向和纵向偏移；w为目标的长宽，θ为目标的朝向角，其中，sinθ为目标朝向角的正弦值，cosθ为目标朝向角的余弦值；
提取所有目标置信度f大于目标判别阈值thresf的像素回归出的目标的位置、尺寸和角度，最终确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息。
具体地，所述RGB图像预处理具体包括以下一种或多种的组合：翻转、拉伸、调节亮度、增加噪声点干扰以及抖动。
具体地，所述根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框，具体包括：
所述根据得到的所述RGB图像，将RGB图像预处理后，形成样本集，将所述样本集划分测试集和训练集；
将所述训练集输入到初始Mask R-CNN模型中进行训练，检测图像中的集装箱目标，得到基于集装箱图像的Mask R-CNN检测集装箱目标的模型；
将所述测试集对已经训练好的Mask R-CNN模型进行测试并调整至模型收敛，得到最终Mask R-CNN训练模型。
具体地，所述根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框，还包括：
将读取的测试集的图像信息放入Mask R-CNN网络模型的骨干网络层，用于集装箱信息的特征提取；
将骨干网络层提取到的特征图信息放入候选区域网络RPN，用于生成精准的检测区域，RPN依靠一个在共享特征图上滑动的窗口，为每个位置生成预先设置好长宽比与面积的目标；
最后在Mask R-CNN网络的分类层对提取到的分类信息进行检测、分类和分割，并在图像上标出集装箱的边界框。
具体地，判定吊具位置、长度与集装箱的位置信息和高度信息的关系，若小于设定值，触发当前呗位的保护，具体为：
当吊具高度(区分带箱和不带箱)<箱子高度+安全距离时；
触发当前呗位的保护，当小于第一设定值内进行智能减速，当小于第二设定值，执行停止操作。
本发明实施例另一方面提供一种基于激光视觉融合和深度学习的防打保龄系统，包括:
3D点云图获取单元：利用安装在小车上的面阵激光扫描得到当前呗位和隔壁呗位的3D点云图；
RGB图像获取单元：利用设置在大梁和小车上的摄像头采集得到RGB图像；
3D点云图检测单元：根据得到的所述3D点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；
RGB图像检测单元：根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框；
判定单元：根据得到当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度等信息，以及当前呗位集装箱边界框和隔壁呗位集装箱的边界框，判定吊具位置、长度与集装箱的位置信息和高度信息的关系，若小于设定值，触发当前呗位的保护，
本发明另一方面提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述基于激光视觉融合和深度学习的防打保龄方法步骤。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
(1)本发明通过面阵激光得到3D点云图，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；利用摄像头得到RGB图像，输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框；根据上述信息判定吊具位置、长度与集装箱的位置信息和高度信息的关系，触发当前呗位的保护；本发明将视觉手段和激光手段的结合，并分别利用视觉图像和激光数据训练有效模型，检测识别集装箱的各参数特征，然后根据两种识别方法得出的参数特征共同判断防打保龄，实现精确判定防打保龄，符合安全生产的要求。
(2)本发明在视觉角度上，设置一个固定的主摄像头首先判断场内堆叠情况，小车前后两个摄像头作为辅助校验判断场内堆叠情况，并且小车前后摄像头作为隔壁呗位的堆叠情况判断；在激光角度上，首次采用面阵激光作为判断手段，也能够实现当前呗位和隔壁呗位集装箱情况的扫描，此外，实现数据的全面采集，为后续算法判断提供数据基础。
(3)本发明在视觉和激光手段上以及后续的算法上，都实现了隔壁呗位集装箱参数的采集和识别，实现更准确的防打保龄检测。
附图说明
图1为本发明实施例提供的基于激光视觉融合和深度学习的防打保龄方法流程图
图2为本发明实施例在小车前后位置分别安装面阵激光和摄像头的示意图；
图3为本发明实施例在大车的大梁中间安装180度广角摄像头的示意图；
图4为本发明实施例小车前后安装的面阵激光获得的激光3D点云图；
图5为本发明实施例在系统界面显示的摄像头拍摄的图像；
图6为本发明实施例摄像头拍摄的图像；图6(a)是大梁中间安装180度广角摄像头视角拍摄的图像，图6(b)是小车前摄像头视角拍摄的图像，图6(c)是小车后摄像头视角拍摄的图像；
图7为本实施例提供了的计算机可读存储介质。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
本发明实施例提供了一种基于激光视觉融合和深度学习的防打保龄方法、系统及可读存储介质，本发明通过面阵激光得到3D点云图，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；利用摄像头得到RGB图像，输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框；根据上述信息判定吊具位置、长度与集装箱的位置信息和高度信息的关系，触发当前呗位的保护；本发明将视觉手段和激光手段的结合，并分别利用视觉图像和激光数据训练有效模型，检测识别集装箱的各参数特征，然后根据两种识别方法得出的参数特征共同判断防打保龄，实现精确判定防打保龄，符合安全生产的要求。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例
以下通过具体实施方式对本发明作进一步的描述。
如图1，为本发明实施例提供的基于激光视觉融合和深度学习的防打保龄方法流程图，具体包括如下步骤：
S101：利用安装在小车上的面阵激光扫描得到当前呗位和隔壁呗位的3D点云图；
S102：利用设置在大梁和小车上的摄像头采集得到RGB图像；
如图2-3所示，在小车前后位置分别安装面阵激光和摄像头，以及在大车的大梁中间安装180度广角摄像头；
在纯视觉上面一个固定的主摄像头首先判断场内堆叠情况，小车前后两个摄像头作为辅助校验判断场内堆叠情况，并且小车前后摄像头作为隔壁呗位的堆叠情况判断；此外，在单纯激光的应用上，首次采用面阵激光作为判断手段，面阵激光在算法处理上面会比传统的线扫激光复杂很多，现有技术中应用均为线扫激光，存在容易被阻挡导致数据不全的问题。
如图4，小车前后黑框安装的面阵激光获得的激光3D点云图；如图5是在系统界面显示的摄像头拍摄的图像，图6(a)是大梁中间黑框安装180度广角摄像头视角拍摄的图像，图6(b)是小车前摄像头视角拍摄的图像，图6(c)是小车后摄像头视角拍摄的图像；
S103：根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；
具体地，根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；具体包括：
建立PointNet++网络结构，通过PointNet++网络结构实现多帧点云图的目标检测，在特征图上回归检测目标的位置、尺寸；
将已知数据集输入到PointNet++网络结构进行训练，同时设置总损失函数对已知数据集通过PointNet++网络结构回归出的所有目标的位置、尺寸进行优化监督，获得PointNet++网络结构中所有参数的参数值。
具体地，根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；还包括：确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息具体为：
对于最终特征图上的每个像素具有的参数向量(f，px，py，w，sinθ，cosθ)，对最终特征图上的每个像素进行如下操作：若像素的目标置信度f大于目标判别阈值thresf，则最终特征图的当前像素对应的空间位置存在目标，计算目标的中心位置[cXobj，cYobj]：
cXobj＝cXp+px
cYobj＝cYp+py
其中，cXp和cYp分别表示当前像素的中心对应的空间位置在当前帧点云图的点云坐标系下的x轴和y轴的坐标，px，py分别表示目标的中心相对于该像素的横向和纵向偏移；w为目标的长宽，θ为目标的朝向角，其中，sinθ为目标朝向角的正弦值，cosθ为目标朝向角的余弦值；
提取所有目标置信度f大于目标判别阈值thresf的像素回归出的目标的位置、尺寸和角度，最终确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息。
S104：根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框；
所述RGB图像预处理具体包括以下一种或多种的组合：翻转、拉伸、调节亮度、增加噪声点干扰以及抖动，增加数据集，提高模型的训练精度。
所述根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框，具体包括：
所述根据得到的所述RGB图像，将RGB图像预处理后，形成样本集，将所述样本集划分测试集和训练集；
将所述训练集输入到初始Mask R-CNN模型中进行训练，检测图像中的集装箱目标，得到基于集装箱图像的Mask R-CNN检测集装箱目标的模型；
将所述测试集对已经训练好的Mask R-CNN模型进行测试并调整至模型收敛，得到最终Mask R-CNN训练模型。
所述根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框，还包括：
将读取的测试集的图像信息放入Mask R-CNN网络模型的骨干网络层，用于集装箱信息的特征提取；
将骨干网络层提取到的特征图信息放入候选区域网络RPN，用于生成精准的检测区域，RPN依靠一个在共享特征图上滑动的窗口，为每个位置生成预先设置好长宽比与面积的目标；
最后在Mask R-CNN网络的分类层对提取到的分类信息进行检测、分类和分割，并在图像上标出集装箱的边界框；
S105：根据得到当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度等信息，以及当前呗位集装箱边界框和隔壁呗位集装箱的边界框，判定吊具位置、长度与集装箱的位置信息和高度信息的关系，若小于设定值，触发当前呗位的保护。
具体地，判定吊具位置、长度与集装箱的位置信息和高度信息的关系，若小于设定值，触发当前呗位的保护，具体为：
当吊具高度(区分带箱和不带箱)<箱子高度+安全距离时；
触发当前呗位的保护，当小于第一设定值内进行智能减速，当小于第二设定值，执行停止操作。
在实际操作中，停止和减速区分一二级，一二级的意思是，当前吊具(带箱高度减去箱子高度/不带箱)底下(箱子/地面)距离小于1米时，使用二级减速的开始减速距离和停止距离，大于1米时，使用一级减速的开始减速距离和停止距离)。
其它技术参数：防打保龄：(当前距离箱子的距离/(开始减速距离-停止距离))^2*小车最大速度；
一级停止距离:300m
一级停止距离[带箱]:300m
一级停止距离[不带箱]:300m
一级减速距离:3500m
一级减速距离[带箱]:5000m
一级减速距离[不带箱]:4500m
二级减速距离:400m
二级停止距离:50m
当前吊具底下的箱子，触发二级操作的高度阈值:1000m
二级减速：需要把一级的停止距离改小，二级判断条件是，当前吊具(带箱高度减去箱子高度/不带箱)底下(箱子/地面)距离小于1米，则认为是需要二级。
本发明实施例另一方面提供一种基于激光视觉融合和深度学习的防打保龄系统，包括:
3D点云图获取单元：利用安装在小车上的面阵激光扫描得到当前呗位和隔壁呗位的3D点云图；
RGB图像获取单元：利用设置在大梁和小车上的摄像头采集得到RGB图像；
3D点云图检测单元：根据得到的所述3D点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；
RGB图像检测单元：根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框；
判定单元：根据得到当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度等信息，以及当前呗位集装箱边界框和隔壁呗位集装箱的边界框，判定吊具位置、长度与集装箱的位置信息和高度信息的关系，若小于设定值，触发当前呗位的保护
本发明另一方面提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述基于激光视觉融合和深度学习的防打保龄方法步骤；
如图7所示，本实施例提供了一种计算机可读存储介质70，其上存储有计算机程序701，该计算机程序701被处理器执行时实现如下步骤：
利用安装在小车上的面阵激光扫描得到当前呗位和隔壁呗位的3D点云图；
利用设置在大梁和小车上的摄像头采集得到RGB图像；
根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；
根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框；
根据得到当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度等信息，以及当前呗位集装箱边界框和隔壁呗位集装箱的边界框，判定吊具位置、长度与集装箱的位置信息和高度信息的关系，若小于设定值，触发当前呗位的保护。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (9)

1.一种基于激光视觉融合和深度学习的防打保龄方法，其特征在于，包括如下步骤：
利用安装在小车上的面阵激光扫描得到当前呗位和隔壁呗位的3D点云图；
利用设置在大梁和小车上的摄像头采集得到RGB图像；
根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；
根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框；
根据得到当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度等信息，以及当前呗位集装箱边界框和隔壁呗位集装箱的边界框，判定吊具位置、长度与集装箱的位置信息和高度信息的关系，若小于设定值，触发当前呗位的保护。
2.根据权利要求1所述的一种基于激光视觉融合和深度学习的防打保龄方法，其特征在于，根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；具体包括：
建立PointNet++网络结构，通过PointNet++网络结构实现多帧点云图的目标检测，在特征图上回归检测目标的位置、尺寸；
将已知数据集输入到PointNet++网络结构进行训练，同时设置总损失函数对已知数据集通过PointNet++网络结构回归出的所有目标的位置、尺寸进行优化监督，获得PointNet++网络结构中所有参数的参数值。
3.根据权利要求1所述的一种基于激光视觉融合和深度学习的防打保龄方法，其特征在于，根据得到的所述三维点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；还包括：确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息具体为：
对于最终特征图上的每个像素具有的参数向量(f，px，py，w，sinθ，cosθ)，对最终特征图上的每个像素进行如下操作：若像素的目标置信度f大于目标判别阈值thresf，则最终特征图的当前像素对应的空间位置存在目标，计算目标的中心位置[cXobj，cYobj]：
cXobj＝cXp+px
cYobj＝cYp+py
其中，cXp和cYp分别表示当前像素的中心对应的空间位置在当前帧点云图的点云坐标系下的x轴和y轴的坐标，px，py分别表示目标的中心相对于该像素的横向和纵向偏移；w为目标的长宽，θ为目标的朝向角，其中，sinθ为目标朝向角的正弦值，cosθ为目标朝向角的余弦值；
提取所有目标置信度f大于目标判别阈值thresf的像素回归出的目标的位置、尺寸和角度，最终确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息。
4.根据权利要求1所述的一种基于激光视觉融合和深度学习的防打保龄方法，其特征在于，所述RGB图像预处理具体包括以下一种或多种的组合：翻转、拉伸、调节亮度、增加噪声点干扰以及抖动。
5.根据权利要求1所述的一种基于激光视觉融合和深度学习的防打保龄方法，其特征在于，所述根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框，具体包括：
所述根据得到的所述RGB图像，将RGB图像预处理后，形成样本集，将所述样本集划分测试集和训练集；
将所述训练集输入到初始Mask R-CNN模型中进行训练，检测图像中的集装箱目标，得到基于集装箱图像的Mask R-CNN检测集装箱目标的模型；
将所述测试集对已经训练好的Mask R-CNN模型进行测试并调整至模型收敛，得到最终Mask R-CNN训练模型。
6.根据权利要求1所述的一种基于激光视觉融合和深度学习的防打保龄方法，其特征在于，所述根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框，还包括：
将读取的测试集的图像信息放入Mask R-CNN网络模型的骨干网络层，用于集装箱信息的特征提取；
将骨干网络层提取到的特征图信息放入候选区域网络RPN，用于生成精准的检测区域，RPN依靠一个在共享特征图上滑动的窗口，为每个位置生成预先设置好长宽比与面积的目标；
最后在Mask R-CNN网络的分类层对提取到的分类信息进行检测、分类和分割，并在图像上标出集装箱的边界框。
7.根据权利要求1所述的一种基于激光视觉融合和深度学习的防打保龄方法，其特征在于，判定吊具位置、长度与集装箱的位置信息和高度信息的关系，若小于设定值，触发当前呗位的保护，具体为：
当吊具高度(区分带箱和不带箱)<箱子高度+安全距离时；
触发当前呗位的保护，当小于第一设定值内进行智能减速，当小于第二设定值，执行停止操作。
8.一种基于激光视觉融合和深度学习的防打保龄系统，其特征在于，包括:
3D点云图获取单元：利用安装在小车上的面阵激光扫描得到当前呗位和隔壁呗位的3D点云图；
RGB图像获取单元：利用设置在大梁和小车上的摄像头采集得到RGB图像；
3D点云图检测单元：根据得到的所述3D点云图，将多帧三维点云图进行配准并配准到当前帧点云图的点云坐标系中，输入到PointNet++网络进行检测，确定当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息；
RGB图像检测单元：根据得到的所述RGB图像，将RGB图像预处理后输入Mask R-CNN模型中，确定当前呗位集装箱边界框和隔壁呗位集装箱的边界框；
判定单元：根据得到当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度等信息，以及当前呗位集装箱边界框和隔壁呗位集装箱的边界框，判定吊具位置、长度与集装箱的位置信息和高度信息的关系，若小于设定值，触发当前呗位的保护。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202110054254.1A 2021-01-15 2021-01-15 一种基于激光视觉融合和深度学习的防打保龄方法、系统 Pending CN112883789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110054254.1A CN112883789A (zh) 2021-01-15 2021-01-15 一种基于激光视觉融合和深度学习的防打保龄方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110054254.1A CN112883789A (zh) 2021-01-15 2021-01-15 一种基于激光视觉融合和深度学习的防打保龄方法、系统

Publications (1)

Publication Number Publication Date
CN112883789A true CN112883789A (zh) 2021-06-01

Family

ID=76048109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110054254.1A Pending CN112883789A (zh) 2021-01-15 2021-01-15 一种基于激光视觉融合和深度学习的防打保龄方法、系统

Country Status (1)

Country Link
CN (1) CN112883789A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114104980A (zh) * 2021-10-15 2022-03-01 福建电子口岸股份有限公司 一种基于ai与视觉结合的岸桥安全作业控制方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893940A (zh) * 2016-03-29 2016-08-24 南京大学 基于边缘检测的集装箱起吊防撞定准系统的实现方法
US20170103269A1 (en) * 2015-10-07 2017-04-13 Honda Motor Co., Ltd. System and method for providing laser camera fusion for identifying and tracking a traffic participant
CN110363820A (zh) * 2019-06-28 2019-10-22 东南大学 一种基于激光雷达、图像前融合的目标检测方法
CN111170153A (zh) * 2020-02-24 2020-05-19 上海驭矩信息科技有限公司 一种基于运动规划的集装箱装卸方法
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN111612059A (zh) * 2020-05-19 2020-09-01 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170103269A1 (en) * 2015-10-07 2017-04-13 Honda Motor Co., Ltd. System and method for providing laser camera fusion for identifying and tracking a traffic participant
CN105893940A (zh) * 2016-03-29 2016-08-24 南京大学 基于边缘检测的集装箱起吊防撞定准系统的实现方法
CN110363820A (zh) * 2019-06-28 2019-10-22 东南大学 一种基于激光雷达、图像前融合的目标检测方法
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN111170153A (zh) * 2020-02-24 2020-05-19 上海驭矩信息科技有限公司 一种基于运动规划的集装箱装卸方法
CN111612059A (zh) * 2020-05-19 2020-09-01 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邵昀岑;: "基于深度学习的三维目标检测算法综述" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114104980A (zh) * 2021-10-15 2022-03-01 福建电子口岸股份有限公司 一种基于ai与视觉结合的岸桥安全作业控制方法和系统
CN114104980B (zh) * 2021-10-15 2023-06-02 福建电子口岸股份有限公司 一种基于ai与视觉结合的岸桥安全作业控制方法和系统

Similar Documents

Publication Publication Date Title
CN112528721B (zh) 一种桥吊集卡安全定位方法和系统
CN113376654A (zh) 基于三维激光的集卡防砸检测方法、装置和计算机设备
CN113184707B (zh) 一种基于激光视觉融合和深度学习的集卡防吊起方法、系统
CN110245663A (zh) 一种用于钢卷信息识别的方法
CN112027918B (zh) 一种基于机器视觉的集卡防吊起检测方法
CN113173502B (zh) 一种基于激光视觉融合和深度学习的防撞方法、系统
CN110378957A (zh) 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统
CN112784814A (zh) 车辆倒车入库的姿态识别方法及输送车倒车入库引导系统
CN111723723A (zh) 一种图像检测方法及装置
CN112883789A (zh) 一种基于激光视觉融合和深度学习的防打保龄方法、系统
CN108108656B (zh) 一种基于车窗角点检测和多方向投影的车窗精确定位方法
CN114995387A (zh) 一种智慧型引导运输车的控制方法和装置
JP2020135616A (ja) 物体検出装置
JP3883124B2 (ja) 画像処理におけるテンプレートマッチング処理方法と処理装置
CN109752726A (zh) 一种集装箱姿态检测装置和方法
CN113177557B (zh) 一种基于机器视觉和深度学习的防打保龄的方法和系统
US20230264938A1 (en) Obstacle detector and obstacle detection method
CN115909216A (zh) 一种基于激光雷达和单目相机的货船舱口检测方法及系统
CN112611360B (zh) 物体检测装置、车辆及物体检测处理方法
CN115410399A (zh) 一种货车停车方法、装置及电子设备
CN108182376B (zh) 一种基于车窗角点检测的车窗定位方法
CN112580517A (zh) 集卡车头防砸保护系统及方法、计算机存储介质、龙门吊
CN112767425A (zh) 一种基于视觉的车位检测方法及装置
Yan et al. Lane Line Detection Based On Machine Vision
Petwal et al. Computer vision based real time lane departure warning system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination