CN113177557A - 一种基于机器视觉和深度学习的防打保龄的方法和系统 - Google Patents

Abstract

本发明提供一种基于机器视觉和深度学习的防打保龄的方法，包括如下步骤：利用设置在大梁和小车上的摄像头采集得到RGB图像；将得到的RGB图像通过矩形分割方法提取ROI区域，并通过高斯滤波进行图像降噪，通过改进的尺度不变特征变换算法进行图像的特征提取；将得到的图像特征输入训练好的改进的boosting分类模型中，判定是否出现防打保龄；当判定结果为出现防打保龄，则触发当前呗位的保护；本发明提出一种基于机器视觉和深度学习的防打保龄的方法，通过机器视觉的手段，结合改进的尺度不变特征变换算法以及改进的boost分类模型能够精确快速地判定防打保龄的情况，实现安全生产。

Description

一种基于机器视觉和深度学习的防打保龄的方法和系统

技术领域

本发明涉及龙门吊检测领域，特别是指一种基于机器视觉和深度学习的防打保龄的方法和系统。

背景技术

轮胎式集装箱门式起重机，简称龙门吊作为堆场集装箱起重设备，在集装箱码头得到广泛应用，但随着集装箱码头和堆场起重机的快速发展，在装卸集装箱的过程中是否精准安全，直接关系到码头生产效率的高低和经济效益。在龙门吊作业过程中，有时会因为吊具起升高度不够而发生“打保龄”事故，这不仅会造成集装箱箱体和箱内获取、拖车、托架损坏，而且会造成人员伤亡，并在一定程度上限制龙门吊作业效率的提高。

目前，针对在堆场内，在起重机起带箱或者不带箱时，起升未到足够高度的情况下，动小车从而造成吊具撞翻前后邻近的集装箱的问题，现有技术一般采用激光扫描的手段，通过实时进行扫描小车前后方集装箱高度和位置，控制小车速度和停止以实现防撞保护。但目前通过激光手段仍存在盲区问题导致扫描不全，司机无法准确判断，使得安全事故频有发生，无法达到安全生产的要求。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于机器视觉和深度学习的防打保龄的方法，通过机器视觉的手段，结合改进的尺度不变特征变换算法以及改进的boosting分类模型能够精确快速地判定防打保龄的情况，实现安全生产。

本发明采用如下技术方案：

本发明实施例一方面提供一种基于机器视觉和深度学习的防打保龄的方法，包括如下步骤：

利用设置在大梁和小车上的摄像头采集得到RGB图像；

将得到的RGB图像通过矩形分割方法提取ROI区域，并通过高斯滤波进行图像降噪，通过改进的尺度不变特征变换算法进行图像的特征提取；

将得到的图像特征输入训练好的改进的boosting分类模型中，判定是否出现防打保龄；

当判定结果为出现防打保龄，则触发当前呗位的保护。

具体地，将得到的RGB图像通过矩形分割方法提取ROI区域，具体包括：

在待处理的RGB图像选取两个点；

以这两个点为一条对角线，确定出一个矩形区域。

具体地，通过改进的尺度不变特征变换算法进行图像的特征提取，具体为：

建立图像的高斯差分金字塔，构建出高斯差分尺度空间，并通过改变滤波器模板尺寸获取不同尺度的图像；

寻找局部极值点，并通过计算Hessian矩阵和积分图像进行局部极值点的检测，确定特征点；

根据特征点领域的像素梯度分布情况求出特征点的稳定方向。

具体地，通过改进的尺度不变特征变换算法进行图像的特征提取，其中提取的特征具体包括：

当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息，当前呗位集装箱边界框和隔壁呗位集装箱的边界框，以及吊具位置、长度。

具体地，改进的boosting分类模型，具体为：

由至少两个的基分类器组成Bagging分类器，并由至少两个Bagging分类器以串行方式排列组成Boosting分类器，所述基分类器包括：随机森林、支持向量机、决策树、朴素贝叶斯，随机梯度下降。

本发明实施例另一方面提供一种基于机器视觉和深度学习的防打保龄的系统，包括如下：

获取图像单元：利用设置在大梁和小车上的摄像头采集得到RGB图像；

图像预处理和特征提取单元：将得到的RGB图像通过矩形分割方法提取ROI区域，并通过高斯滤波进行图像降噪，通过改进的尺度不变特征变换算法进行图像的特征提取；

判定单元：将得到的图像特征输入训练好的改进的boosting分类模型中，判定是否出现防打保龄；

执行单元：当判定结果为出现防打保龄，则触发当前呗位的保护。

具体地，图像预处理和特征提取单元，将得到的RGB图像通过矩形分割方法提取ROI区域，具体包括：

在待处理的RGB图像选取两个点；

以这两个点为一条对角线，确定出一个矩形区域。

具体地，图像预处理和特征提取单元，通过改进的尺度不变特征变换算法进行图像的特征提取，具体为：

建立图像的高斯差分金字塔，构建出高斯差分尺度空间，并通过改变滤波器模板尺寸获取不同尺度的图像；

寻找局部极值点，并通过计算Hessian矩阵和积分图像进行局部极值点的检测，确定特征点；

根据特征点领域的像素梯度分布情况求出特征点的稳定方向。

具体地，图像预处理和特征提取单元，通过改进的尺度不变特征变换算法进行图像的特征提取，其中提取的特征具体包括：

当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息，当前呗位集装箱边界框和隔壁呗位集装箱的边界框，以及吊具位置、长度。

具体地，判定单元中，改进的boosting分类模型，具体为：

由至少两个的基分类器组成Bagging分类器，并由至少两个Bagging分类器以串行方式排列组成Boosting分类器，所述基分类器包括：随机森林、支持向量机、决策树、朴素贝叶斯和随机梯度下降。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

(1)利用设置在大梁和小车上的摄像头采集得到RGB图像；将得到的RGB图像通过矩形分割方法提取ROI区域，并通过高斯滤波进行图像降噪，通过改进的尺度不变特征变换算法进行图像的特征提取；将得到的图像特征输入训练好的改进的boosting分类模型中，判定是否出现防打保龄；当判定结果为出现防打保龄，则触发当前呗位的保护；本发明提出一种基于机器视觉和深度学习的防打保龄的方法，通过机器视觉的手段，结合改进的尺度不变特征变换算法以及改进的boosting分类模型能够精确快速地判定防打保龄的情况，实现安全生产。

(2)本发明提出了改进的尺度不变特征变换算法，不会对原图像进行下采样，仅仅是改变滤波器模版尺寸来获得不同尺度的图像，另外，通过积分图像和计算Hessian矩阵进行极值点检测的方式，提高了算法的执行效率。

(3)本发明提出的改进的Boosting分类模型，结合Bagging和Boosting两种集成技术的优点，Bagging分类器又以随机森林、支持向量机、决策树、随机梯度下降、朴素贝叶斯为基础，利用基分类器的多样性，充分提高了分类模型的准确性。

附图说明

图1为本发明实施例提供的一种基于机器视觉和深度学习的防打保龄的方法流程图；

图2为本发明实施例在小车前后位置安装摄像头的示意图；

图3为本发明实施例在大车的大梁中间安装180度广角摄像头的示意图；

图4为本发明实施例摄像头拍摄的图像；图4(a)是大梁中间安装180度广角摄像头视角拍摄的图像，图4(b)是小车前摄像头视角拍摄的图像，图4(c)是小车后摄像头视角拍摄的图像；

图5为本发明实施例提供的一种基于机器视觉和深度学习的防打保龄的系统框图。

具体实施方式

本发明提出一种基于机器视觉和深度学习的防打保龄的方法，利用设置在大梁和小车上的摄像头采集得到RGB图像；将得到的RGB图像通过矩形分割方法提取ROI区域，并通过高斯滤波进行图像降噪，通过改进的尺度不变特征变换算法进行图像的特征提取；将得到的图像特征输入训练好的改进的boosting分类模型中，判定是否出现防打保龄；当判定结果为出现防打保龄，则触发当前呗位的保护；本发明提出一种基于机器视觉和深度学习的防打保龄的方法，通过机器视觉的手段，结合改进的尺度不变特征变换算法以及改进的boost分类模型能够精确快速地判定防打保龄的情况，实现安全生产。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第

三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

以下通过具体实施方式对本发明作进一步的描述。

如图1，为本发明实施例提供的一种基于机器视觉和深度学习的防打保龄的方法流程图，具体包括如下步骤：

S101：利用设置在大梁和小车上的摄像头采集得到RGB图像；

如图2-3所示，在小车前后位置分别安装面阵激光和摄像头，以及在大车的大梁中间安装180度广角摄像头；在纯视觉上面一个固定的主摄像头首先判断场内堆叠情况，小车前后两个摄像头作为辅助校验判断场内堆叠情况，并且小车前后摄像头作为隔壁呗位的堆叠情况判断。

图4为本发明实施例摄像头拍摄的图像；图4(a)是大梁中间安装180度广角摄像头视角拍摄的图像，图4(b)是小车前摄像头视角拍摄的图像，图4(c)是小车后摄像头视角拍摄的图像。

S102：将得到的RGB图像通过矩形分割方法提取ROI区域，并通过高斯滤波进行图像降噪，通过改进的尺度不变特征变换算法进行图像的特征提取；

感兴趣区域，即ROI(region of interest)，是指从根据研究需要，在图像中选择的某特定的区域，该区域中含有的有效信息较多，并将该区域作为本次研究实验的重点。将感兴趣区域作为研究的主要目标，开展图像识别、图像检测等相关研究，可以提高准确率、缩短处理时间、提高算法运行效率。因此，提取图像ROI成为图像处理研究与实验的首要任务。

本实施例采用的矩形分割方法提取ROI区域，具体为：

在待处理的RGB图像选取两个点；

以这两个点为一条对角线，确定出一个矩形区域。

图像降噪的主要手段就是图像滤波，本实施例中采用的为高斯滤波进行图像降噪，高斯滤波是一种线性低通平滑滤波，与前面常规的滤波方法不同的是，高斯滤波属于一种基于频率域的滤波方法，常用于图像的模糊处理和图像的降噪。高斯滤波模版中的系数服从高斯分布；

高斯分布如式：

其中，(x,y)表示图像的像素坐标，σ为高斯分布的标准差，该值越大，表示的高斯函数图像越平滑。高斯滤波的过程可以表示为原图像和高斯分布的卷积；

g(x，y)＝G(x，y)*f(x，y)

其中，f(x,y)为待处理图像的灰度值，g(y,z)为处理后的灰度值。

本实施例采用为改进的尺度不变特征变换算法进行图像的特征提取，具体为：

建立图像的高斯差分金字塔，构建出高斯差分尺度空间，并通过改变滤波器模板尺寸获取不同尺度的图像；按照如下公式可构建出高斯差分尺度空间：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*P(x，y)＝L(x，y，kσ)-L(x，y，σ)

D(x，y,σ)是图像的高斯尺度空间，从上式可以看出，每层高斯差分金字塔就是高斯金字塔同一八度内相邻两层的差值。

寻找局部极值点，并通过计算Hessian矩阵和积分图像进行局部极值点的检测，确定特征点；

根据特征点领域的像素梯度分布情况求出特征点的稳定方向。

本发明采用的为改进的尺度不变特征变换算法，与尺度不变特征变换算法不同的是，改进的尺度不变特征变换算法不会对原图像进行下采样，仅仅是改变滤波器模版尺寸来获得不同尺度的图像；另外，通过积分图像和计算Hessian矩阵进行极值点检测的方式，提高了算法的执行效率。

具体地，通过改进的尺度不变特征变换算法进行图像的特征提取，其中提取的特征具体包括：

当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息，当前呗位集装箱边界框和隔壁呗位集装箱的边界框，以及吊具位置、长度。

S103：将得到的图像特征输入训练好的改进的boosting分类模型中，判定是否出现防打保龄；

具体地，改进的boosting分类模型，具体为：

由至少两个的基分类器组成Bagging分类器，并由至少两个Bagging分类器以串行方式排列组成Boosting分类器，所述基分类器包括：随机森林、支持向量机、决策树、朴素贝叶斯，随机梯度下降。

本发明提出的改进的Boosting分类模型，结合Bagging和Boosting两种集成技术的优点，Bagging分类器又以随机森林、支持向量机、决策树、随机梯度下降、朴素贝叶斯为基础，利用基分类器的多样性，充分提高了分类模型的准确性。

S104：当判定结果为出现防打保龄，则触发当前呗位的保护。

当判定结果出现一级防打保龄时，触发当前呗位的保护，进行智能减速，当判定结果出现二级防打保龄时，触发当前呗位的保护，执行停止操作。

如图5，为本发明实施例另一方面提供一种基于机器视觉和深度学习的防打保龄的系统框图，包括如下：

获取图像单元501：利用设置在大梁和小车上的摄像头采集得到RGB图像；

如图2-3所示，在小车前后位置分别安装面阵激光和摄像头，以及在大车的大梁中间安装180度广角摄像头；在纯视觉上面一个固定的主摄像头首先判断场内堆叠情况，小车前后两个摄像头作为辅助校验判断场内堆叠情况，并且小车前后摄像头作为隔壁呗位的堆叠情况判断。

图像预处理和特征提取单元502：将得到的RGB图像通过矩形分割方法提取ROI区域，并通过高斯滤波进行图像降噪，通过改进的尺度不变特征变换算法进行图像的特征提取；

感兴趣区域，即ROI(region of interest)，是指从根据研究需要，在图像中选择的某特定的区域，该区域中含有的有效信息较多，并将该区域作为本次研究实验的重点。将感兴趣区域作为研究的主要目标，开展图像识别、图像检测等相关研究，可以提高准确率、缩短处理时间、提高算法运行效率。因此，提取图像ROI成为图像处理研究与实验的首要任务。

本实施例采用的矩形分割方法提取ROI区域，具体为：

在待处理的RGB图像选取两个点；

以这两个点为一条对角线，确定出一个矩形区域。

图像降噪的主要手段就是图像滤波，本实施例中采用的为高斯滤波进行图像降噪，高斯滤波是一种线性低通平滑滤波，与前面常规的滤波方法不同的是，高斯滤波属于一种基于频率域的滤波方法，常用于图像的模糊处理和图像的降噪。高斯滤波模版中的系数服从高斯分布；

高斯分布如式：

其中，(x，y)表示图像的像素坐标，σ为高斯分布的标准差，该值越大，表示的高斯函数图像越平滑。高斯滤波的过程可以表示为原图像和高斯分布的卷积；

g(x，y)＝G(x，y)*f(x，y)

其中，f(x，y)为待处理图像的灰度值，g(y，z)为处理后的灰度值。

本实施例采用为改进的尺度不变特征变换算法进行图像的特征提取，具体为：

建立图像的高斯差分金字塔，构建出高斯差分尺度空间，并通过改变滤波器模板尺寸获取不同尺度的图像；按照如下公式可构建出高斯差分尺度空间：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*P(x，y)＝L(x，y，kσ)-L(x，y，σ)D(x，y，σ)是图像的高斯尺度空间，从上式可以看出，每层高斯差分金字塔就是高斯金字塔同一八度内相邻两层的差值。

寻找局部极值点，并通过计算Hessian矩阵和积分图像进行局部极值点的检测，确定特征点；

根据特征点领域的像素梯度分布情况求出特征点的稳定方向。

本发明采用的为改进的尺度不变特征变换算法，与尺度不变特征变换算法不同的是，改进的尺度不变特征变换算法不会对原图像进行下采样，仅仅是改变滤波器模版尺寸来获得不同尺度的图像；另外，通过积分图像和计算Hessian矩阵进行极值点检测的方式，提高了算法的执行效率。

具体地，通过改进的尺度不变特征变换算法进行图像的特征提取，其中提取的特征具体包括：

当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息，当前呗位集装箱边界框和隔壁呗位集装箱的边界框，以及吊具位置、长度。

判定单元503：将得到的图像特征输入训练好的改进的boosting分类模型中，判定是否出现防打保龄；

具体地，改进的boosting分类模型，具体为：

由至少两个的基分类器组成Bagging分类器，并由至少两个Bagging分类器以串行方式排列组成Boosting分类器，所述基分类器包括：随机森林、支持向量机、决策树、朴素贝叶斯，随机梯度下降。

本发明提出的改进的Boosting分类模型，结合Bagging和Boosting两种集成技术的优点，Bagging分类器又以随机森林、支持向量机、决策树、随机梯度下降、朴素贝叶斯为基础，利用基分类器的多样性，充分提高了分类模型的准确性。

执行单元504：当判定结果为出现防打保龄，则触发当前呗位的保护。

当判定结果出现一级防打保龄时，触发当前呗位的保护，进行智能减速，当判定结果出现二级防打保龄时，触发当前呗位的保护，执行停止操作。

综上，本发明利用设置在大梁和小车上的摄像头采集得到RGB图像；将得到的RGB图像通过矩形分割方法提取ROI区域，并通过高斯滤波进行图像降噪，通过改进的尺度不变特征变换算法进行图像的特征提取；将得到的图像特征输入训练好的改进的boosting分类模型中，判定是否出现防打保龄；当判定结果为出现防打保龄，则触发当前呗位的保护；本发明提出一种基于机器视觉和深度学习的防打保龄的方法，通过机器视觉的手段，结合改进的尺度不变特征变换算法以及改进的boosting分类模型能够精确快速地判定防打保龄的情况，实现安全生产，此外，本发明提出了改进的尺度不变特征变换算法，不会对原图像进行下采样，仅仅是改变滤波器模版尺寸来获得不同尺度的图像，另外，通过积分图像和计算Hessian矩阵进行极值点检测的方式，提高了算法的执行效率；而且，本发明提出的改进的Boosting分类模型，结合Bagging和Boosting两种集成技术的优点，Bagging分类器又以随机森林、支持向量机、决策树、随机梯度下降、朴素贝叶斯为基础，利用基分类器的多样性，充分提高了分类模型的准确性。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (10)

1.一种基于机器视觉和深度学习的防打保龄的方法，其特征在于，包括如下步骤：

利用设置在大梁和小车上的摄像头采集得到RGB图像；

将得到的RGB图像通过矩形分割方法提取ROI区域，并通过高斯滤波进行图像降噪，通过改进的尺度不变特征变换算法进行图像的特征提取；

将得到的图像特征输入训练好的改进的boosting分类模型中，判定是否出现防打保龄；

当判定结果为出现防打保龄，则触发当前呗位的保护。

2.根据权利要求1所述的一种基于机器视觉和深度学习的防打保龄的方法，其特征在于，将得到的RGB图像通过矩形分割方法提取ROI区域，具体包括：

在待处理的RGB图像选取两个点；

以这两个点为一条对角线，确定出一个矩形区域。

3.根据权利要求1所述的一种基于机器视觉和深度学习的防打保龄的方法，其特征在于，通过改进的尺度不变特征变换算法进行图像的特征提取，具体为：

建立图像的高斯差分金字塔，构建出高斯差分尺度空间，并通过改变滤波器模板尺寸获取不同尺度的图像；

寻找局部极值点，并通过计算Hessian矩阵和积分图像进行局部极值点的检测，确定特征点；

根据特征点领域的像素梯度分布情况求出特征点的稳定方向。

4.根据权利要求1所述的一种基于机器视觉和深度学习的防打保龄的方法，其特征在于，通过改进的尺度不变特征变换算法进行图像的特征提取，其中提取的特征具体包括：

当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息，当前呗位集装箱边界框和隔壁呗位集装箱的边界框，以及吊具位置、长度。

5.根据权利要求1所述的一种基于机器视觉和深度学习的防打保龄的方法，其特征在于，改进的boosting分类模型，具体为：

由至少两个的基分类器组成Bagging分类器，并由至少两个Bagging分类器以串行方式排列组成Boosting分类器，所述基分类器包括：随机森林、支持向量机、决策树、朴素贝叶斯，随机梯度下降。

6.一种基于机器视觉和深度学习的防打保龄的系统，其特征在于，包括如下：

获取图像单元：利用设置在大梁和小车上的摄像头采集得到RGB图像；

图像预处理和特征提取单元：将得到的RGB图像通过矩形分割方法提取ROI区域，并通过高斯滤波进行图像降噪，通过改进的尺度不变特征变换算法进行图像的特征提取；

判定单元：将得到的图像特征输入训练好的改进的boosting分类模型中，判定是否出现防打保龄；

执行单元：当判定结果为出现防打保龄，则触发当前呗位的保护。

7.根据权利要求6所述的一种基于机器视觉和深度学习的防打保龄的系统，其特征在于，图像预处理和特征提取单元，将得到的RGB图像通过矩形分割方法提取ROI区域，具体包括：

在待处理的RGB图像选取两个点；

以这两个点为一条对角线，确定出一个矩形区域。

8.根据权利要求6所述的一种基于机器视觉和深度学习的防打保龄的系统，其特征在于，图像预处理和特征提取单元，通过改进的尺度不变特征变换算法进行图像的特征提取，具体为：

建立图像的高斯差分金字塔，构建出高斯差分尺度空间，并通过改变滤波器模板尺寸获取不同尺度的图像；

寻找局部极值点，并通过计算Hessian矩阵和积分图像进行局部极值点的检测，确定特征点；

根据特征点领域的像素梯度分布情况求出特征点的稳定方向。

9.根据权利要求6所述的一种基于机器视觉和深度学习的防打保龄的系统，其特征在于，图像预处理和特征提取单元，通过改进的尺度不变特征变换算法进行图像的特征提取，其中提取的特征具体包括：

当前呗位集装箱的位置、高度、偏转角度和隔壁呗位集装箱的位置、高度信息，当前呗位集装箱边界框和隔壁呗位集装箱的边界框，以及吊具位置、长度。

10.根据权利要求6所述的一种基于机器视觉和深度学习的防打保龄的系统，其特征在于，判定单元中，改进的boosting分类模型，具体为：

由至少两个的基分类器组成Bagging分类器，并由至少两个Bagging分类器以串行方式排列组成Boosting分类器，所述基分类器包括：随机森林、支持向量机、决策树、朴素贝叶斯和随机梯度下降。

Images