CN113177431A - 一种基于机器视觉和深度学习的集卡防吊起方法、系统 - Google Patents

一种基于机器视觉和深度学习的集卡防吊起方法、系统 Download PDF

Info

Publication number
CN113177431A
CN113177431A CN202110276748.4A CN202110276748A CN113177431A CN 113177431 A CN113177431 A CN 113177431A CN 202110276748 A CN202110276748 A CN 202110276748A CN 113177431 A CN113177431 A CN 113177431A
Authority
CN
China
Prior art keywords
container
lifted
image
characteristic data
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110276748.4A
Other languages
English (en)
Other versions
CN113177431B (zh
Inventor
罗永祥
严志展
刘键涛
魏秋新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian E Port Co ltd
Original Assignee
Fujian E Port Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian E Port Co ltd filed Critical Fujian E Port Co ltd
Priority to CN202110276748.4A priority Critical patent/CN113177431B/zh
Publication of CN113177431A publication Critical patent/CN113177431A/zh
Application granted granted Critical
Publication of CN113177431B publication Critical patent/CN113177431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了基于机器视觉和深度学习的的集卡防吊起方法，利用摄像头获取集装箱和集卡车架的视频信息；对视频信息中的图像进行预处理并进行图像增强，得到增强图像；采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据；构建至少两个分类回归树；根据所述至少两个分类回归树生成随机森林；根据测试集中的特征数据输入到随机森林中，利用随机森林算法预测集卡是否被吊起；若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。本发明提供的方法通过改进的特征提取网络和分类模型，全面精确地实现吊起状态的判定，达到安全生产的要求。

Description

一种基于机器视觉和深度学习的集卡防吊起方法、系统
技术领域
本发明涉及起重机装卸领域，特别是指一种基于机器视觉和深度学习的集卡防吊起方法、系统。
背景技术
在场桥从集卡上卸箱作业过程中，由于集卡锁销未完全解锁，吊具将集装箱连同集卡一并吊起或是半边吊起，通常称为吊集卡事故，吊集卡事故会导致人员和车辆的危险。
通过对目前市场上针对该问题的安全检测保护系统的调研得出以下结论：大部分通过使用光电开关装置判断集装箱与托架之间的空间从而得出是否安全分离的判断，然而弊端在于该装置过于依赖大车PLC获取吊具编码器、开闭锁状态等数据，而且检测受到集装箱卡车托架的高度影响，分离检测存在很大的不确定性，从而无法满足安全生产的需要。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出基于机器视觉和深度学习的集卡防吊起方法，通过改进的特征提取网络和分类模型，全面精确地实现吊起状态的判定，达到安全生产的要求。
本发明采用如下技术方案：
一种基于机器视觉和深度学习的集卡防吊起方法，包括如下步骤：
利用摄像头获取集装箱和集卡车架的视频信息；
对视频信息中的图像进行预处理，包括归一化操作、图像伸缩操作，通过特征编码器提取预处理之后图像的图像特征；图像增强模型基于所述图像特征对样本图像进行图像增强，得到增强图像；
采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据；
将获取得到集装箱和集卡车架特征数据分为训练集和测试集，并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树；根据所述至少两个分类回归树生成随机森林；
根据测试集中的特征数据输入到随机森林中，利用随机森林算法预测集卡是否被吊起；
若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。
具体地，所述特征编码器为ResNet网络，其中，第四-七模块采用了空泛卷积作为卷积核,卷积核的尺寸都为3x3,步长分别为4,8,16。
具体地，所述采用改进的语义分割网路获取增强图像中的集装箱和集卡车架特征数据；改进的语义分割网络具体包括：
以间隔的方式获取初始分割样本集中的初始分割样本作为当前初始分割样本；
与当前初始分割样本相邻的下一个初始分割样本作为下一初始分割样本；
用当前初始分割样本对已优化的语义分割网络进行训练，得到训练后的语义分割网络，用下一初始分割样本对训练后的语义分割网络进行验证，得到改进的语义分割网络。
具体地，在采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据之后还包括：
根据获取的集装箱和集卡车架特征数据，计算出轮胎的中心点位置；
并根据轮胎的中心点位置得出轮胎与车架的最短距离，轮胎与集装箱的最短距离。
具体地，根据获取的集装箱和集卡车架特征数据，计算出轮胎的中心点位置，具体包括：
采用最小二乘法拟合该椭圆，得到椭圆的参数xc，yc，a，b，θ分别表示椭圆x轴中心点，椭圆y轴中心点，椭圆长轴，椭圆短轴，椭圆偏转角；
即对椭圆
Figure BDA0002976956770000031
进行拟合；
其中，x＝x(θ)＝xcosθ-ycosθ
y＝y(θ)＝xcosθ+ycosθ。
本发明实施例另一方面提供一种基于机器视觉和深度学习的集卡防吊起系统，包括：
获取单元：利用摄像头获取集装箱和集卡车架的视频信息；
预处理单元：对视频信息中的图像进行预处理，包括归一化操作、图像伸缩操作，通过特征编码器提取预处理之后图像的图像特征；图像增强模型基于所述图像特征对样本图像进行图像增强，得到增强图像；
特征获取单元：采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据；
预测模型生成单元：将获取得到集装箱和集卡车架特征数据分为训练集和测试集，并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树，根据所述至少两个分类回归树生成随机森林；
吊起判定单元：根据测试集中的特征数据输入到随机森林中，利用随机森林算法预测集卡是否被吊起；
操作执行单元：若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。
具体地，所述特征编码器为ResNet网络，其中，第四-七模块采用了空泛卷积作为卷积核,卷积核的尺寸都为3x3,步长分别为4,8,16。
具体地，所述特征获取单元，采用改进的语义分割网路获取增强图像中的集装箱和集卡车架特征数据；改进的语义分割网络具体包括：
以间隔的方式获取初始分割样本集中的初始分割样本作为当前初始分割样本；
与当前初始分割样本相邻的下一个初始分割样本作为下一初始分割样本；
用当前初始分割样本对已优化的语义分割网络进行训练，得到训练后的语义分割网络，用下一初始分割样本对训练后的语义分割网络进行验证，得到改进的语义分割网络。
具体地，还包括特征再提取模块，所述特征再提取模块包括：
根据获取的集装箱和集卡车架特征数据，计算出轮胎的中心点位置；
并根据轮胎的中心点位置得出轮胎与车架的最短距离，轮胎与集装箱的最短距离。
具体地，根据获取的集装箱和集卡车架特征数据，计算出轮胎的中心点位置，具体包括：
采用最小二乘法拟合该椭圆，得到椭圆的参数xc，yc，a，b，θ分别表示椭圆x轴中心点，椭圆y轴中心点，椭圆长轴，椭圆短轴，椭圆偏转角；
即对椭圆
Figure BDA0002976956770000041
进行拟合；
其中，x＝x(θ)＝xcosθ-ycosθ
y＝y(θ)＝xcosθ+ycosθ。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
(1)本发明提出一种基于机器视觉和深度学习的的集卡防吊起方法，利用摄像头获取集装箱和集卡车架的视频信息；对视频信息中的图像进行预处理，包括归一化操作、图像伸缩操作，通过特征编码器提取预处理之后图像的图像特征；图像增强模型基于所述图像特征对样本图像进行图像增强，得到增强图像；采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据；将获取得到集装箱和集卡车架特征数据分为训练集和测试集，并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树；根据所述至少两个分类回归树生成随机森林；根据测试集中的特征数据输入到随机森林中，利用随机森林算法预测集卡是否被吊起；若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。本发明提供的方法通过改进的特征提取网络和分类模型，全面精确地实现吊起状态的判定，达到安全生产的要求。
(2)本发明提出的改进的语义分割网络，基于叠代方式的训练语义分割网络的方法，由于优化的图像样本经过语义分割网络的多次分割，数量会逐渐庞大，并且先训练后验证，再训练再验证，如此反复得到最终的改进后语义分割网络，不会有训练数据差异较大导致的精度降低问题，有助于提升精度。
(3)本发明提出的改进的随机森林分类模型，能够支持所有集卡吊起的状态识别，便于下一步的吊起状态解除操作。
附图说明
图1为本发明实施例提供的基于激光视觉融合和深度学习的集卡防吊起方法流程图；
图2为本发明实施例提供的视频信息中的图像示例图；
图3为本发明实施例提供的基于激光视觉融合和深度学习的集卡防吊起系统框图。
具体实施方式
本发明实施例提出了一种基于机器视觉和深度学习的集卡防吊起方法，通过改进的特征提取网络和分类模型，全面精确地实现吊起状态的判定，达到安全生产的要求。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
集卡的扭锁总共有4个锁角，需要防吊起的状态总共有
Figure BDA0002976956770000061
Figure BDA0002976956770000062
种(分别对应锁住一个锁角的四种情况，锁住两个锁角的六种工况，锁住三个锁角的四种工况，四个角都锁住的工况)，正常的状态为
Figure BDA0002976956770000063
所以需要模拟这15+1＝16种工况的数据，我们通过人工配合的方式模拟被锁住的15种工况，并在这15种工况下记录数据，正常没有锁住的工况数据可以在车辆正常作业时候进行采集。
如图1，为本发明实施例提供的基于激光视觉融合和深度学习的集卡防吊起方法流程图，具体包括如下步骤：
一种基于机器视觉和深度学习的集卡防吊起方法，包括如下步骤：
S101：利用摄像头获取集装箱和集卡车架的视频信息；
摄像机为前端视频数据采集设备，用于采集作业车道的视频流数据；本发明在设备上安装了4台摄像机，固定在三维支架上，与POE供电交换机连接，一条网线将视频线、音频线、电源线和控制线四合为一传输，安装简便。
S102：对视频信息中的图像进行预处理，包括归一化操作、图像伸缩操作，通过特征编码器提取预处理之后图像的图像特征；图像增强模型基于所述图像特征对样本图像进行图像增强，得到增强图像；
首先将视频信息中的图像调整大小为1920x1080的尺寸，如图2为本发明实施例提供的视频信息中的图像示例图，根据图像语义分割网络思想，输出图像与输入图像在大小上保持一致，通过网络中的池化操作可以达到感受视野增大的效果，但同时会衍生出图像分辨率降低的弊端。因此本发明对特征编码器作出了优化。
具体地，所述特征编码器为ResNet网络，其中，第四-七模块采用了空泛卷积作为卷积核,卷积核的尺寸都为3x3,步长分别为4,8,16。采用空泛卷积作为卷积核能够有效避免图像分辨率降低的弊端。
S103：采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据；
具体地，所述采用改进的语义分割网路获取增强图像中的集装箱和集卡车架特征数据；改进的语义分割网络具体包括：
以间隔的方式获取初始分割样本集中的初始分割样本作为当前初始分割样本；
与当前初始分割样本相邻的下一个初始分割样本作为下一初始分割样本；
用当前初始分割样本对已优化的语义分割网络进行训练，得到训练后的语义分割网络，用下一初始分割样本对训练后的语义分割网络进行验证，得到改进的语义分割网络。
具体地，在采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据之后还包括：
根据获取的集装箱和集卡车架特征数据，计算出轮胎的中心点位置；
并根据轮胎的中心点位置得出轮胎与车架的最短距离，轮胎与集装箱的最短距离。
具体地，根据获取的集装箱和集卡车架特征数据，计算出轮胎的中心点位置，具体包括：
采用最小二乘法拟合该椭圆，得到椭圆的参数xc，yc，a，b，θ分别表示椭圆x轴中心点，椭圆y轴中心点，椭圆长轴，椭圆短轴，椭圆偏转角；
即对椭圆
Figure BDA0002976956770000071
进行拟合；
其中，x＝x(θ)＝xcosθ-ycosθ
y＝y(θ)＝xcosθ+ycosθ。
S104：将获取得到集装箱和集卡车架特征数据分为训练集和测试集，并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树；根据所述至少两个分类回归树生成随机森林；
随机森林分类器利用多棵随机决策树对样本进行训练和预测，可以有效避免单个决策树分类器常出现的过拟合现象。每棵树所使用的训练样本集是从总的训练样本集中随机地有放回地抽取的，而在训练决策数的每个分支节点时，所使用的特征是从所有特征中按照一定比例通过无放回随机采样获取的。本发明通过对随机森林分类器进行反复的训练和测试来获取随机森林的最优参数设置。
S105：根据测试集中的特征数据输入到随机森林中，利用随机森林算法预测集卡是否被吊起；
S106：若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。
如图3，本发明实施例另一方面提供一种基于机器视觉和深度学习的集卡防吊起系统30，包括：
获取单元301：利用摄像头获取集装箱和集卡车架的视频信息；
摄像机为前端视频数据采集设备，用于采集作业车道的视频流数据；本发明在设备上安装了4台摄像机，固定在三维支架上，与POE供电交换机连接，一条网线将视频线、音频线、电源线和控制线四合为一传输，安装简便。
预处理单元302：对视频信息中的图像进行预处理，包括归一化操作、图像伸缩操作，通过特征编码器提取预处理之后图像的图像特征；图像增强模型基于所述图像特征对样本图像进行图像增强，得到增强图像；
首先将视频信息中的图像调整大小为1920x1080的尺寸，根据图像语义分割网络思想，输出图像与输入图像在大小上保持一致，通过网络中的池化操作可以达到感受视野增大的效果，但同时会衍生出图像分辨率降低的弊端。因此本发明对特征编码器作出了优化。
具体地，所述特征编码器为ResNet网络，其中，第四-七模块采用了空泛卷积作为卷积核,卷积核的尺寸都为3x3,步长分别为4,8,16。
特征获取单元303：采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据；
具体地，所述特征获取单元，采用改进的语义分割网路获取增强图像中的集装箱和集卡车架特征数据；改进的语义分割网络具体包括：
以间隔的方式获取初始分割样本集中的初始分割样本作为当前初始分割样本；
与当前初始分割样本相邻的下一个初始分割样本作为下一初始分割样本；
用当前初始分割样本对已优化的语义分割网络进行训练，得到训练后的语义分割网络，用下一初始分割样本对训练后的语义分割网络进行验证，得到改进的语义分割网络。
具体地，还包括特征再提取模块，所述特征再提取模块包括：
根据获取的集装箱和集卡车架特征数据，计算出轮胎的中心点位置；
并根据轮胎的中心点位置得出轮胎与车架的最短距离，轮胎与集装箱的最短距离。
具体地，根据获取的集装箱和集卡车架特征数据，计算出轮胎的中心点位置，具体包括：
采用最小二乘法拟合该椭圆，得到椭圆的参数xc，yc，a，b，θ分别表示椭圆x轴中心点，椭圆y轴中心点，椭圆长轴，椭圆短轴，椭圆偏转角；
即对椭圆
Figure BDA0002976956770000091
进行拟合；
其中，x＝x(θ)＝xcosθ-ycosθ
y＝y(θ)＝xcosθ+ycosθ。
预测模型生成单元304：将获取得到集装箱和集卡车架特征数据分为训练集和测试集，并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树，根据所述至少两个分类回归树生成随机森林；
随机森林分类器利用多棵随机决策树对样本进行训练和预测，可以有效避免单个决策树分类器常出现的过拟合现象。每棵树所使用的训练样本集是从总的训练样本集中随机地有放回地抽取的，而在训练决策数的每个分支节点时，所使用的特征是从所有特征中按照一定比例通过无放回随机采样获取的。本发明通过对随机森林分类器进行反复的训练和测试来获取随机森林的最优参数设置。
吊起判定单元305：根据测试集中的特征数据输入到随机森林中，利用随机森林算法预测集卡是否被吊起；
操作执行单元306：若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。
本发明提出一种基于机器视觉和深度学习的的集卡防吊起方法，利用摄像头获取集装箱和集卡车架的视频信息；对视频信息中的图像进行预处理，包括归一化操作、图像伸缩操作，通过特征编码器提取预处理之后图像的图像特征；图像增强模型基于所述图像特征对样本图像进行图像增强，得到增强图像；采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据；将获取得到集装箱和集卡车架特征数据分为训练集和测试集，并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树；根据所述至少两个分类回归树生成随机森林；根据测试集中的特征数据输入到随机森林中，利用随机森林算法预测集卡是否被吊起；若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。本发明提供的方法通过改进的特征提取网络和分类模型，全面精确地实现吊起状态的判定，达到安全生产的要求。
本发明提出的改进的语义分割网络，基于叠代方式的训练语义分割网络的方法，由于优化的图像样本经过语义分割网络的多次分割，数量会逐渐庞大，并且先训练后验证，再训练再验证，如此反复得到最终的改进后语义分割网络，不会有训练数据差异较大导致的精度降低问题，有助于提升精度。
本发明提出的改进的随机森林分类模型，能够支持所有集卡吊起的状态识别，便于下一步的吊起状态解除操作。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (10)

1.一种基于机器视觉和深度学习的集卡防吊起方法，其特征在于，包括如下步骤：
利用摄像头获取集装箱和集卡车架的视频信息；
对视频信息中的图像进行预处理，包括归一化操作、图像伸缩操作，通过特征编码器提取预处理之后图像的图像特征；图像增强模型基于所述图像特征对样本图像进行图像增强，得到增强图像；
采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据；
将获取得到集装箱和集卡车架特征数据分为训练集和测试集，并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树；根据所述至少两个分类回归树生成随机森林；
根据测试集中的特征数据输入到随机森林中，利用随机森林算法预测集卡是否被吊起；
若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。
2.根据权利要求1所述的一种基于机器视觉和深度学习的集卡防吊起方法，其特征在于，所述特征编码器为ResNet网络，其中，第四-七模块采用了空泛卷积作为卷积核，卷积核的尺寸都为3x3，步长分别为4，8，16。
3.根据权利要求1所述的一种基于机器视觉和深度学习的集卡防吊起方法，其特征在于，所述采用改进的语义分割网路获取增强图像中的集装箱和集卡车架特征数据；改进的语义分割网络具体包括：
以间隔的方式获取初始分割样本集中的初始分割样本作为当前初始分割样本；
与当前初始分割样本相邻的下一个初始分割样本作为下一初始分割样本；
用当前初始分割样本对已优化的语义分割网络进行训练，得到训练后的语义分割网络，用下一初始分割样本对训练后的语义分割网络进行验证，得到改进的语义分割网络。
4.根据权利要求1所述的一种基于机器视觉和深度学习的集卡防吊起方法，其特征在于，在采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据之后还包括：
根据获取的集装箱和集卡车架特征数据，计算出轮胎的中心点位置；
并根据轮胎的中心点位置得出轮胎与车架的最短距离，轮胎与集装箱的最短距离。
5.根据权利要求4所述的一种基于机器视觉和深度学习的集卡防吊起方法，其特征在于，根据获取的集装箱和集卡车架特征数据，计算出轮胎的中心点位置，具体包括：
采用最小二乘法拟合该椭圆，得到椭圆的参数xc，yc，a，b，θ分别表示椭圆x轴中心点，椭圆y轴中心点，椭圆长轴，椭圆短轴，椭圆偏转角；
即对椭圆
Figure FDA0002976956760000021
进行拟合；
其中，x＝x(θ)＝xcosθ-ycosθ
y＝y(θ)＝xcosθ+ycosθ。
6.一种基于机器视觉和深度学习的集卡防吊起系统，其特征在于，包括：
获取单元：利用摄像头获取集装箱和集卡车架的视频信息；
预处理单元：对视频信息中的图像进行预处理，包括归一化操作、图像伸缩操作，通过特征编码器提取预处理之后图像的图像特征；图像增强模型基于所述图像特征对样本图像进行图像增强，得到增强图像；
特征获取单元：采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据；
预测模型生成单元：将获取得到集装箱和集卡车架特征数据分为训练集和测试集，并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树，根据所述至少两个分类回归树生成随机森林；
吊起判定单元：根据测试集中的特征数据输入到随机森林中，利用随机森林算法预测集卡是否被吊起；
操作执行单元：若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。
7.根据权利要求6所述的一种基于机器视觉和深度学习的集卡防吊起系统，其特征在于，所述特征编码器为ResNet网络，其中，第四-七模块采用了空泛卷积作为卷积核，卷积核的尺寸都为3x3，步长分别为4，8，16。
8.根据权利要求6所述的一种基于机器视觉和深度学习的集卡防吊起系统，其特征在于，所述特征获取单元，采用改进的语义分割网路获取增强图像中的集装箱和集卡车架特征数据；改进的语义分割网络具体包括：
以间隔的方式获取初始分割样本集中的初始分割样本作为当前初始分割样本；
与当前初始分割样本相邻的下一个初始分割样本作为下一初始分割样本；
用当前初始分割样本对已优化的语义分割网络进行训练，得到训练后的语义分割网络，用下一初始分割样本对训练后的语义分割网络进行验证，得到改进的语义分割网络。
9.根据权利要求6所述的一种基于机器视觉和深度学习的集卡防吊起系统，其特征在于，还包括特征再提取模块，所述特征再提取模块包括：
根据获取的集装箱和集卡车架特征数据，计算出轮胎的中心点位置；
并根据轮胎的中心点位置得出轮胎与车架的最短距离，轮胎与集装箱的最短距离。
10.根据权利要求9所述的一种基于机器视觉和深度学习的集卡防吊起系统，其特征在于，根据获取的集装箱和集卡车架特征数据，计算出轮胎的中心点位置，具体包括：
采用最小二乘法拟合该椭圆，得到椭圆的参数xc，yc，a，b，θ分别表示椭圆x轴中心点，椭圆y轴中心点，椭圆长轴，椭圆短轴，椭圆偏转角；
即对椭圆
Figure FDA0002976956760000041
进行拟合；
其中，x＝x(θ)＝xcosθ-ycosθ
y＝y(θ)＝xcosθ+ycosθ。
CN202110276748.4A 2021-03-15 2021-03-15 一种基于机器视觉和深度学习的集卡防吊起方法、系统 Active CN113177431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110276748.4A CN113177431B (zh) 2021-03-15 2021-03-15 一种基于机器视觉和深度学习的集卡防吊起方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110276748.4A CN113177431B (zh) 2021-03-15 2021-03-15 一种基于机器视觉和深度学习的集卡防吊起方法、系统

Publications (2)

Publication Number Publication Date
CN113177431A true CN113177431A (zh) 2021-07-27
CN113177431B CN113177431B (zh) 2023-12-08

Family

ID=76922032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110276748.4A Active CN113177431B (zh) 2021-03-15 2021-03-15 一种基于机器视觉和深度学习的集卡防吊起方法、系统

Country Status (1)

Country Link
CN (1) CN113177431B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155438A (zh) * 2021-12-07 2022-03-08 南京飞衍智能科技有限公司 一种集装箱装卸安全检测方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012108034A1 (de) * 2012-04-20 2013-10-24 Still Gmbh Steuerungsverfahren für Flurförderzeug sowie Flurförderzeug
CN109534177A (zh) * 2019-01-10 2019-03-29 上海海事大学 一种基于机器视觉的集卡防吊起装置及集卡防吊起方法
CN109858573A (zh) * 2019-03-14 2019-06-07 上海西井信息科技有限公司 基于神经网络的集卡防吊起方法
CN111539344A (zh) * 2020-04-27 2020-08-14 北京国泰星云科技有限公司 基于视频流及人工智能的集卡防吊起控制系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012108034A1 (de) * 2012-04-20 2013-10-24 Still Gmbh Steuerungsverfahren für Flurförderzeug sowie Flurförderzeug
CN109534177A (zh) * 2019-01-10 2019-03-29 上海海事大学 一种基于机器视觉的集卡防吊起装置及集卡防吊起方法
CN109858573A (zh) * 2019-03-14 2019-06-07 上海西井信息科技有限公司 基于神经网络的集卡防吊起方法
CN111539344A (zh) * 2020-04-27 2020-08-14 北京国泰星云科技有限公司 基于视频流及人工智能的集卡防吊起控制系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
袁露露: "基于视频图像处理的集装箱卡车防吊起方法研究" *
黄伟;赵德安;刘晓洋;: "基于机器视觉的港口集装箱卡车防吊方法研究" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155438A (zh) * 2021-12-07 2022-03-08 南京飞衍智能科技有限公司 一种集装箱装卸安全检测方法和系统

Also Published As

Publication number Publication date
CN113177431B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
CN111080598B (zh) 一种钩尾销安全吊的螺栓、螺母缺失检测方法
CN103512762B (zh) 图像处理方法、装置及列车故障检测系统
CN103903005B (zh) 车牌影像辨识系统及方法
Ersoz et al. Crack identification for rigid pavements using unmanned aerial vehicles
CN112465706A (zh) 一种闸口集装箱自动验残方法
CN107886047A (zh) 一种车辆年检检验报告的检测系统及方法
CN104573680B (zh) 图像检测方法、图像检测装置以及交通违法检测系统
CN113184707B (zh) 一种基于激光视觉融合和深度学习的集卡防吊起方法、系统
CN106485694A (zh) 一种基于级联分类器的高铁接触网双套管连接器六边形螺母脱落不良状态检测方法
CN102708691A (zh) 基于车牌车型匹配的虚假车牌识别方法
CN113516629A (zh) Tfds通过作业智能检测系统
CN109460787A (zh) 入侵检测模型建立方法、装置及数据处理设备
CN106228106B (zh) 一种改进的实时车辆检测过滤方法及系统
CN111832571B (zh) 一种货车制动梁支柱故障自动检测方法
CN113177431A (zh) 一种基于机器视觉和深度学习的集卡防吊起方法、系统
CN116012762A (zh) 一种针对电力设备的交通路口视频影像分析方法及系统
CN112985515B (zh) 一种产品紧固件装配合格性检测方法、系统及存储介质
CN110674900A (zh) 基于rfid的无人机巡检杆塔缺陷的方法及装置
CN116310294A (zh) 一种地铁列车螺栓松动检测方法及装置
CN113128563B (zh) 一种高速工程车辆检测方法、装置、设备及存储介质
CN113723258B (zh) 危险品车辆图像识别方法及其相关设备
CN113177557B (zh) 一种基于机器视觉和深度学习的防打保龄的方法和系统
CN114418983A (zh) 基于智能物联网的设备风险检测方法
CN113506290A (zh) 一种线路绝缘子缺陷检测方法及装置
Hadjidemetriou et al. Patch defects detection for pavement assessment, using smartphones and support vector machines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant