CN113177431B - 一种基于机器视觉和深度学习的集卡防吊起方法、系统 - Google Patents
一种基于机器视觉和深度学习的集卡防吊起方法、系统 Download PDFInfo
- Publication number
- CN113177431B CN113177431B CN202110276748.4A CN202110276748A CN113177431B CN 113177431 B CN113177431 B CN 113177431B CN 202110276748 A CN202110276748 A CN 202110276748A CN 113177431 B CN113177431 B CN 113177431B
- Authority
- CN
- China
- Prior art keywords
- container
- image
- ellipse
- lifting
- semantic segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 104
- 238000007637 random forest analysis Methods 0.000 claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 46
- 238000010606 normalization Methods 0.000 claims description 8
- 230000002265 prevention Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 6
- 238000013145 classification model Methods 0.000 abstract description 5
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000003066 decision tree Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000006467 substitution reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了基于机器视觉和深度学习的的集卡防吊起方法,利用摄像头获取集装箱和集卡车架的视频信息;对视频信息中的图像进行预处理并进行图像增强,得到增强图像;采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据;构建至少两个分类回归树;根据所述至少两个分类回归树生成随机森林;根据测试集中的特征数据输入到随机森林中,利用随机森林算法预测集卡是否被吊起;若为未被吊起状态,则循环进行判断,直到吊具提升至设定位置为止,若是吊起状态,则停止并返回结果给PLC。本发明提供的方法通过改进的特征提取网络和分类模型,全面精确地实现吊起状态的判定,达到安全生产的要求。
Description
技术领域
本发明涉及起重机装卸领域,特别是指一种基于机器视觉和深度学习的集卡防吊起方法、系统。
背景技术
在场桥从集卡上卸箱作业过程中,由于集卡锁销未完全解锁,吊具将集装箱连同集卡一并吊起或是半边吊起,通常称为吊集卡事故,吊集卡事故会导致人员和车辆的危险。
通过对目前市场上针对该问题的安全检测保护系统的调研得出以下结论:大部分通过使用光电开关装置判断集装箱与托架之间的空间从而得出是否安全分离的判断,然而弊端在于该装置过于依赖大车PLC获取吊具编码器、开闭锁状态等数据,而且检测受到集装箱卡车托架的高度影响,分离检测存在很大的不确定性,从而无法满足安全生产的需要。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷,提出基于机器视觉和深度学习的集卡防吊起方法,通过改进的特征提取网络和分类模型,全面精确地实现吊起状态的判定,达到安全生产的要求。
本发明采用如下技术方案:
一种基于机器视觉和深度学习的集卡防吊起方法,包括如下步骤:
利用摄像头获取集装箱和集卡车架的视频信息;
对视频信息中的图像进行预处理,包括归一化操作、图像伸缩操作,通过特征编码器提取预处理之后图像的图像特征;图像增强模型基于所述图像特征对样本图像进行图像增强,得到增强图像;
采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据;
将获取得到集装箱和集卡车架特征数据分为训练集和测试集,并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树;根据所述至少两个分类回归树生成随机森林;
根据测试集中的特征数据输入到随机森林中,利用随机森林算法预测集卡是否被吊起;
若为未被吊起状态,则循环进行判断,直到吊具提升至设定位置为止,若是吊起状态,则停止并返回结果给PLC。
具体地,所述特征编码器为ResNet网络,其中,第四-七模块采用了空泛卷积作为卷积核,卷积核的尺寸都为3x3,步长分别为4,8,16。
具体地,所述采用改进的语义分割网路获取增强图像中的集装箱和集卡车架特征数据;改进的语义分割网络具体包括:
以间隔的方式获取初始分割样本集中的初始分割样本作为当前初始分割样本;
与当前初始分割样本相邻的下一个初始分割样本作为下一初始分割样本;
用当前初始分割样本对已优化的语义分割网络进行训练,得到训练后的语义分割网络,用下一初始分割样本对训练后的语义分割网络进行验证,得到改进的语义分割网络。
具体地,在采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据之后还包括:
根据获取的集装箱和集卡车架特征数据,计算出轮胎的中心点位置;
并根据轮胎的中心点位置得出轮胎与车架的最短距离,轮胎与集装箱的最短距离。
具体地,根据获取的集装箱和集卡车架特征数据,计算出轮胎的中心点位置,具体包括:
采用最小二乘法拟合该椭圆,得到椭圆的参数xc,yc,a,b,θ分别表示椭圆x轴中心点,椭圆y轴中心点,椭圆长轴,椭圆短轴,椭圆偏转角;
即对椭圆
进行拟合;
其中,x=x(θ)=xcosθ-ycosθ
y=y(θ)=xcosθ+ycosθ。
本发明实施例另一方面提供一种基于机器视觉和深度学习的集卡防吊起系统,包括:
获取单元:利用摄像头获取集装箱和集卡车架的视频信息;
预处理单元:对视频信息中的图像进行预处理,包括归一化操作、图像伸缩操作,通过特征编码器提取预处理之后图像的图像特征;图像增强模型基于所述图像特征对样本图像进行图像增强,得到增强图像;
特征获取单元:采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据;
预测模型生成单元:将获取得到集装箱和集卡车架特征数据分为训练集和测试集,并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树,根据所述至少两个分类回归树生成随机森林;
吊起判定单元:根据测试集中的特征数据输入到随机森林中,利用随机森林算法预测集卡是否被吊起;
操作执行单元:若为未被吊起状态,则循环进行判断,直到吊具提升至设定位置为止,若是吊起状态,则停止并返回结果给PLC。
具体地,所述特征编码器为ResNet网络,其中,第四-七模块采用了空泛卷积作为卷积核,卷积核的尺寸都为3x3,步长分别为4,8,16。
具体地,所述特征获取单元,采用改进的语义分割网路获取增强图像中的集装箱和集卡车架特征数据;改进的语义分割网络具体包括:
以间隔的方式获取初始分割样本集中的初始分割样本作为当前初始分割样本;
与当前初始分割样本相邻的下一个初始分割样本作为下一初始分割样本;
用当前初始分割样本对已优化的语义分割网络进行训练,得到训练后的语义分割网络,用下一初始分割样本对训练后的语义分割网络进行验证,得到改进的语义分割网络。
具体地,还包括特征再提取模块,所述特征再提取模块包括:
根据获取的集装箱和集卡车架特征数据,计算出轮胎的中心点位置;
并根据轮胎的中心点位置得出轮胎与车架的最短距离,轮胎与集装箱的最短距离。
具体地,根据获取的集装箱和集卡车架特征数据,计算出轮胎的中心点位置,具体包括:
采用最小二乘法拟合该椭圆,得到椭圆的参数xc,yc,a,b,θ分别表示椭圆x轴中心点,椭圆y轴中心点,椭圆长轴,椭圆短轴,椭圆偏转角;
即对椭圆
进行拟合;
其中,x=x(θ)=xcosθ-ycosθ
y=y(θ)=xcosθ+ycosθ。
由上述对本发明的描述可知,与现有技术相比,本发明具有如下有益效果:
(1)本发明提出一种基于机器视觉和深度学习的的集卡防吊起方法,利用摄像头获取集装箱和集卡车架的视频信息;对视频信息中的图像进行预处理,包括归一化操作、图像伸缩操作,通过特征编码器提取预处理之后图像的图像特征;图像增强模型基于所述图像特征对样本图像进行图像增强,得到增强图像;采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据;将获取得到集装箱和集卡车架特征数据分为训练集和测试集,并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树;根据所述至少两个分类回归树生成随机森林;根据测试集中的特征数据输入到随机森林中,利用随机森林算法预测集卡是否被吊起;若为未被吊起状态,则循环进行判断,直到吊具提升至设定位置为止,若是吊起状态,则停止并返回结果给PLC。本发明提供的方法通过改进的特征提取网络和分类模型,全面精确地实现吊起状态的判定,达到安全生产的要求。
(2)本发明提出的改进的语义分割网络,基于叠代方式的训练语义分割网络的方法,由于优化的图像样本经过语义分割网络的多次分割,数量会逐渐庞大,并且先训练后验证,再训练再验证,如此反复得到最终的改进后语义分割网络,不会有训练数据差异较大导致的精度降低问题,有助于提升精度。
(3)本发明提出的改进的随机森林分类模型,能够支持所有集卡吊起的状态识别,便于下一步的吊起状态解除操作。
附图说明
图1为本发明实施例提供的基于激光视觉融合和深度学习的集卡防吊起方法流程图;
图2为本发明实施例提供的视频信息中的图像示例图;
图3为本发明实施例提供的基于激光视觉融合和深度学习的集卡防吊起系统框图。
具体实施方式
本发明实施例提出了一种基于机器视觉和深度学习的集卡防吊起方法,通过改进的特征提取网络和分类模型,全面精确地实现吊起状态的判定,达到安全生产的要求。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
集卡的扭锁总共有4个锁角,需要防吊起的状态总共有 种(分别对应锁住一个锁角的四种情况,锁住两个锁角的六种工况,锁住三个锁角的四种工况,四个角都锁住的工况),正常的状态为/>所以需要模拟这15+1=16种工况的数据,我们通过人工配合的方式模拟被锁住的15种工况,并在这15种工况下记录数据,正常没有锁住的工况数据可以在车辆正常作业时候进行采集。
如图1,为本发明实施例提供的基于激光视觉融合和深度学习的集卡防吊起方法流程图,具体包括如下步骤:
一种基于机器视觉和深度学习的集卡防吊起方法,包括如下步骤:
S101:利用摄像头获取集装箱和集卡车架的视频信息;
摄像机为前端视频数据采集设备,用于采集作业车道的视频流数据;本发明在设备上安装了4台摄像机,固定在三维支架上,与POE供电交换机连接,一条网线将视频线、音频线、电源线和控制线四合为一传输,安装简便。
S102:对视频信息中的图像进行预处理,包括归一化操作、图像伸缩操作,通过特征编码器提取预处理之后图像的图像特征;图像增强模型基于所述图像特征对样本图像进行图像增强,得到增强图像;
首先将视频信息中的图像调整大小为1920x1080的尺寸,如图2为本发明实施例提供的视频信息中的图像示例图,根据图像语义分割网络思想,输出图像与输入图像在大小上保持一致,通过网络中的池化操作可以达到感受视野增大的效果,但同时会衍生出图像分辨率降低的弊端。因此本发明对特征编码器作出了优化。
具体地,所述特征编码器为ResNet网络,其中,第四-七模块采用了空泛卷积作为卷积核,卷积核的尺寸都为3x3,步长分别为4,8,16。采用空泛卷积作为卷积核能够有效避免图像分辨率降低的弊端。
S103:采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据;
具体地,所述采用改进的语义分割网路获取增强图像中的集装箱和集卡车架特征数据;改进的语义分割网络具体包括:
以间隔的方式获取初始分割样本集中的初始分割样本作为当前初始分割样本;
与当前初始分割样本相邻的下一个初始分割样本作为下一初始分割样本;
用当前初始分割样本对已优化的语义分割网络进行训练,得到训练后的语义分割网络,用下一初始分割样本对训练后的语义分割网络进行验证,得到改进的语义分割网络。
具体地,在采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据之后还包括:
根据获取的集装箱和集卡车架特征数据,计算出轮胎的中心点位置;
并根据轮胎的中心点位置得出轮胎与车架的最短距离,轮胎与集装箱的最短距离。
具体地,根据获取的集装箱和集卡车架特征数据,计算出轮胎的中心点位置,具体包括:
采用最小二乘法拟合该椭圆,得到椭圆的参数xc,yc,a,b,θ分别表示椭圆x轴中心点,椭圆y轴中心点,椭圆长轴,椭圆短轴,椭圆偏转角;
即对椭圆
进行拟合;
其中,x=x(θ)=xcosθ-ycosθ
y=y(θ)=xcosθ+ycosθ。
S104:将获取得到集装箱和集卡车架特征数据分为训练集和测试集,并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树;根据所述至少两个分类回归树生成随机森林;
随机森林分类器利用多棵随机决策树对样本进行训练和预测,可以有效避免单个决策树分类器常出现的过拟合现象。每棵树所使用的训练样本集是从总的训练样本集中随机地有放回地抽取的,而在训练决策数的每个分支节点时,所使用的特征是从所有特征中按照一定比例通过无放回随机采样获取的。本发明通过对随机森林分类器进行反复的训练和测试来获取随机森林的最优参数设置。
S105:根据测试集中的特征数据输入到随机森林中,利用随机森林算法预测集卡是否被吊起;
S106:若为未被吊起状态,则循环进行判断,直到吊具提升至设定位置为止,若是吊起状态,则停止并返回结果给PLC。
如图3,本发明实施例另一方面提供一种基于机器视觉和深度学习的集卡防吊起系统30,包括:
获取单元301:利用摄像头获取集装箱和集卡车架的视频信息;
摄像机为前端视频数据采集设备,用于采集作业车道的视频流数据;本发明在设备上安装了4台摄像机,固定在三维支架上,与POE供电交换机连接,一条网线将视频线、音频线、电源线和控制线四合为一传输,安装简便。
预处理单元302:对视频信息中的图像进行预处理,包括归一化操作、图像伸缩操作,通过特征编码器提取预处理之后图像的图像特征;图像增强模型基于所述图像特征对样本图像进行图像增强,得到增强图像;
首先将视频信息中的图像调整大小为1920x1080的尺寸,根据图像语义分割网络思想,输出图像与输入图像在大小上保持一致,通过网络中的池化操作可以达到感受视野增大的效果,但同时会衍生出图像分辨率降低的弊端。因此本发明对特征编码器作出了优化。
具体地,所述特征编码器为ResNet网络,其中,第四-七模块采用了空泛卷积作为卷积核,卷积核的尺寸都为3x3,步长分别为4,8,16。
特征获取单元303:采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据;
具体地,所述特征获取单元,采用改进的语义分割网路获取增强图像中的集装箱和集卡车架特征数据;改进的语义分割网络具体包括:
以间隔的方式获取初始分割样本集中的初始分割样本作为当前初始分割样本;
与当前初始分割样本相邻的下一个初始分割样本作为下一初始分割样本;
用当前初始分割样本对已优化的语义分割网络进行训练,得到训练后的语义分割网络,用下一初始分割样本对训练后的语义分割网络进行验证,得到改进的语义分割网络。
具体地,还包括特征再提取模块,所述特征再提取模块包括:
根据获取的集装箱和集卡车架特征数据,计算出轮胎的中心点位置;
并根据轮胎的中心点位置得出轮胎与车架的最短距离,轮胎与集装箱的最短距离。
具体地,根据获取的集装箱和集卡车架特征数据,计算出轮胎的中心点位置,具体包括:
采用最小二乘法拟合该椭圆,得到椭圆的参数xc,yc,a,b,θ分别表示椭圆x轴中心点,椭圆y轴中心点,椭圆长轴,椭圆短轴,椭圆偏转角;
即对椭圆
进行拟合;
其中,x=x(θ)=xcosθ-ycosθ
y=y(θ)=xcosθ+ycosθ。
预测模型生成单元304:将获取得到集装箱和集卡车架特征数据分为训练集和测试集,并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树,根据所述至少两个分类回归树生成随机森林;
随机森林分类器利用多棵随机决策树对样本进行训练和预测,可以有效避免单个决策树分类器常出现的过拟合现象。每棵树所使用的训练样本集是从总的训练样本集中随机地有放回地抽取的,而在训练决策数的每个分支节点时,所使用的特征是从所有特征中按照一定比例通过无放回随机采样获取的。本发明通过对随机森林分类器进行反复的训练和测试来获取随机森林的最优参数设置。
吊起判定单元305:根据测试集中的特征数据输入到随机森林中,利用随机森林算法预测集卡是否被吊起;
操作执行单元306:若为未被吊起状态,则循环进行判断,直到吊具提升至设定位置为止,若是吊起状态,则停止并返回结果给PLC。
本发明提出一种基于机器视觉和深度学习的的集卡防吊起方法,利用摄像头获取集装箱和集卡车架的视频信息;对视频信息中的图像进行预处理,包括归一化操作、图像伸缩操作,通过特征编码器提取预处理之后图像的图像特征;图像增强模型基于所述图像特征对样本图像进行图像增强,得到增强图像;采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据;将获取得到集装箱和集卡车架特征数据分为训练集和测试集,并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树;根据所述至少两个分类回归树生成随机森林;根据测试集中的特征数据输入到随机森林中,利用随机森林算法预测集卡是否被吊起;若为未被吊起状态,则循环进行判断,直到吊具提升至设定位置为止,若是吊起状态,则停止并返回结果给PLC。本发明提供的方法通过改进的特征提取网络和分类模型,全面精确地实现吊起状态的判定,达到安全生产的要求。
本发明提出的改进的语义分割网络,基于叠代方式的训练语义分割网络的方法,由于优化的图像样本经过语义分割网络的多次分割,数量会逐渐庞大,并且先训练后验证,再训练再验证,如此反复得到最终的改进后语义分割网络,不会有训练数据差异较大导致的精度降低问题,有助于提升精度。
本发明提出的改进的随机森林分类模型,能够支持所有集卡吊起的状态识别,便于下一步的吊起状态解除操作。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。
Claims (8)
1.一种基于机器视觉和深度学习的集卡防吊起方法,其特征在于,包括如下步骤:
利用摄像头获取集装箱和集卡车架的视频信息;
对视频信息中的图像进行预处理,包括归一化操作、图像伸缩操作,通过特征编码器提取预处理之后图像的图像特征;图像增强模型基于所述图像特征对样本图像进行图像增强,得到增强图像;
采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据;
将获取得到集装箱和集卡车架特征数据分为训练集和测试集,并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树;根据所述至少两个分类回归树生成随机森林;
根据测试集中的特征数据输入到随机森林中,利用随机森林算法预测集卡是否被吊起;
若为未被吊起状态,则循环进行判断,直到吊具提升至设定位置为止,若是吊起状态,则停止并返回结果给PLC;
改进的语义分割网络具体包括:
以间隔的方式获取初始分割样本集中的初始分割样本作为当前初始分割样本;
与当前初始分割样本相邻的下一个初始分割样本作为下一初始分割样本;
用当前初始分割样本对已优化的语义分割网络进行训练,得到训练后的语义分割网络,用下一初始分割样本对训练后的语义分割网络进行验证,得到改进的语义分割网络。
2.根据权利要求1所述的一种基于机器视觉和深度学习的集卡防吊起方法,其特征在于,所述特征编码器为ResNet网络,其中,第四-七模块采用了空泛卷积作为卷积核,卷积核的尺寸都为3x3,步长分别为4,8,16。
3.根据权利要求1所述的一种基于机器视觉和深度学习的集卡防吊起方法,其特征在于,在采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据之后还包括:
根据获取的集装箱和集卡车架特征数据,计算出轮胎的中心点位置;
并根据轮胎的中心点位置得出轮胎与车架的最短距离,轮胎与集装箱的最短距离。
4.根据权利要求3所述的一种基于机器视觉和深度学习的集卡防吊起方法,其特征在于,根据获取的集装箱和集卡车架特征数据,计算出轮胎的中心点位置,具体包括:
采用最小二乘法拟合一椭圆,得到椭圆的参数xc,yc,a,b,θ分别表示椭圆x轴中心点,椭圆y轴中心点,椭圆长轴,椭圆短轴,椭圆偏转角;
即对椭圆
进行拟合;
其中,x′=x(θ)=xcosθ-ycosθ
y′=y(θ)=xcosθ+ycosθ。
5.一种基于机器视觉和深度学习的集卡防吊起系统,其特征在于,包括:
获取单元:利用摄像头获取集装箱和集卡车架的视频信息;
预处理单元:对视频信息中的图像进行预处理,包括归一化操作、图像伸缩操作,通过特征编码器提取预处理之后图像的图像特征;图像增强模型基于所述图像特征对样本图像进行图像增强,得到增强图像;
特征获取单元:采用改进的语义分割网络获取增强图像中的集装箱和集卡车架特征数据;
预测模型生成单元:将获取得到集装箱和集卡车架特征数据分为训练集和测试集,并根据所述训练集中的训练样本的多个特征构建至少两个分类回归树,根据所述至少两个分类回归树生成随机森林;
吊起判定单元:根据测试集中的特征数据输入到随机森林中,利用随机森林算法预测集卡是否被吊起;
操作执行单元:若为未被吊起状态,则循环进行判断,直到吊具提升至设定位置为止,若是吊起状态,则停止并返回结果给PLC;
改进的语义分割网络具体包括:
以间隔的方式获取初始分割样本集中的初始分割样本作为当前初始分割样本;
与当前初始分割样本相邻的下一个初始分割样本作为下一初始分割样本;
用当前初始分割样本对已优化的语义分割网络进行训练,得到训练后的语义分割网络,用下一初始分割样本对训练后的语义分割网络进行验证,得到改进的语义分割网络。
6.根据权利要求5所述的一种基于机器视觉和深度学习的集卡防吊起系统,其特征在于,所述特征编码器为ResNet网络,其中,第四-七模块采用了空泛卷积作为卷积核,卷积核的尺寸都为3x3,步长分别为4,8,16。
7.根据权利要求5所述的一种基于机器视觉和深度学习的集卡防吊起系统,其特征在于,还包括特征再提取模块,所述特征再提取模块包括:
根据获取的集装箱和集卡车架特征数据,计算出轮胎的中心点位置;
并根据轮胎的中心点位置得出轮胎与车架的最短距离,轮胎与集装箱的最短距离。
8.根据权利要求7所述的一种基于机器视觉和深度学习的集卡防吊起系统,其特征在于,根据获取的集装箱和集卡车架特征数据,计算出轮胎的中心点位置,具体包括:
采用最小二乘法拟合一椭圆,得到椭圆的参数xc,yc,a,b,θ分别表示椭圆x轴中心点,椭圆y轴中心点,椭圆长轴,椭圆短轴,椭圆偏转角;
即对椭圆
进行拟合;
其中,x′=x(θ)=xcosθ-ycosθ
y′=y(θ)=xcosθ+ycosθ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110276748.4A CN113177431B (zh) | 2021-03-15 | 2021-03-15 | 一种基于机器视觉和深度学习的集卡防吊起方法、系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110276748.4A CN113177431B (zh) | 2021-03-15 | 2021-03-15 | 一种基于机器视觉和深度学习的集卡防吊起方法、系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113177431A CN113177431A (zh) | 2021-07-27 |
CN113177431B true CN113177431B (zh) | 2023-12-08 |
Family
ID=76922032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110276748.4A Active CN113177431B (zh) | 2021-03-15 | 2021-03-15 | 一种基于机器视觉和深度学习的集卡防吊起方法、系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113177431B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114155438A (zh) * | 2021-12-07 | 2022-03-08 | 南京飞衍智能科技有限公司 | 一种集装箱装卸安全检测方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012108034A1 (de) * | 2012-04-20 | 2013-10-24 | Still Gmbh | Steuerungsverfahren für Flurförderzeug sowie Flurförderzeug |
CN109534177A (zh) * | 2019-01-10 | 2019-03-29 | 上海海事大学 | 一种基于机器视觉的集卡防吊起装置及集卡防吊起方法 |
CN109858573A (zh) * | 2019-03-14 | 2019-06-07 | 上海西井信息科技有限公司 | 基于神经网络的集卡防吊起方法 |
CN111539344A (zh) * | 2020-04-27 | 2020-08-14 | 北京国泰星云科技有限公司 | 基于视频流及人工智能的集卡防吊起控制系统及方法 |
-
2021
- 2021-03-15 CN CN202110276748.4A patent/CN113177431B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012108034A1 (de) * | 2012-04-20 | 2013-10-24 | Still Gmbh | Steuerungsverfahren für Flurförderzeug sowie Flurförderzeug |
CN109534177A (zh) * | 2019-01-10 | 2019-03-29 | 上海海事大学 | 一种基于机器视觉的集卡防吊起装置及集卡防吊起方法 |
CN109858573A (zh) * | 2019-03-14 | 2019-06-07 | 上海西井信息科技有限公司 | 基于神经网络的集卡防吊起方法 |
CN111539344A (zh) * | 2020-04-27 | 2020-08-14 | 北京国泰星云科技有限公司 | 基于视频流及人工智能的集卡防吊起控制系统及方法 |
Non-Patent Citations (2)
Title |
---|
袁露露.基于视频图像处理的集装箱卡车防吊起方法研究.《中国优秀硕士学位论文全文数据库 工程科技II辑》.2019,(第04期),C034-409. * |
黄伟 ; 赵德安 ; 刘晓洋 ; .基于机器视觉的港口集装箱卡车防吊方法研究.软件导刊.2019,(第05期),第43-46页. * |
Also Published As
Publication number | Publication date |
---|---|
CN113177431A (zh) | 2021-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108022235B (zh) | 高压输电铁塔关键部件缺陷识别方法 | |
Nguyen et al. | Pavement crack detection using convolutional neural network | |
CN104036323B (zh) | 一种基于卷积神经网络的车辆检测方法 | |
CN103512762B (zh) | 图像处理方法、装置及列车故障检测系统 | |
CN111080598B (zh) | 一种钩尾销安全吊的螺栓、螺母缺失检测方法 | |
CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
CN102915432B (zh) | 一种车载微机图像视频数据提取方法及装置 | |
US9208172B2 (en) | Method and system for vehicle identification | |
CN103914839A (zh) | 一种基于隐写分析的图像拼接篡改检测方法及装置 | |
CN106250838A (zh) | 车辆识别方法及系统 | |
CN104601956A (zh) | 基于固定翼无人机的输电线路在线监测系统及监测方法 | |
CN113184707B (zh) | 一种基于激光视觉融合和深度学习的集卡防吊起方法、系统 | |
CN106485694A (zh) | 一种基于级联分类器的高铁接触网双套管连接器六边形螺母脱落不良状态检测方法 | |
CN113808098A (zh) | 道路病害识别方法、装置、电子设备及可读存储介质 | |
CN113177431B (zh) | 一种基于机器视觉和深度学习的集卡防吊起方法、系统 | |
CN109446345A (zh) | 核电文件校验处理方法以及系统 | |
CN114494161A (zh) | 基于图像对比的受电弓异物检测方法、设备及存储介质 | |
Onim et al. | Traffic surveillance using vehicle license plate detection and recognition in bangladesh | |
CN116012762A (zh) | 一种针对电力设备的交通路口视频影像分析方法及系统 | |
CN202815869U (zh) | 一种车载微机图像视频数据提取装置 | |
CN114821725A (zh) | 一种基于神经网络的矿工人脸识别系统 | |
CN113506290A (zh) | 一种线路绝缘子缺陷检测方法及装置 | |
CN116993517A (zh) | 一种车险理赔欺诈识别方法、装置、设备及存储介质 | |
CN110826473A (zh) | 一种基于神经网络的绝缘子图像自动识别方法 | |
CN106599865A (zh) | 刀闸状态识别装置与方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |