CN110399820B - 一种公路路边景物视觉识别分析方法 - Google Patents

Abstract

本发明公开了一种公路路边景物视觉识别分析方法，属于图像识别领域，本发明通过视频视觉识别的方法，可以通过神经网络进行学习，使得生成建筑物的识别模型，后期直接识别公路路边的图像进行建筑物识别，通过识别的建筑边框进行使用测距方法计算建筑物与公路的实际距离，然后把检测不合格的图片数据和位置发给相应的执法部门，使得执法部门执法更加方便，可以快速的定位到公路两边违规的建筑信息，为执法部门执法提供信息支持，大大降低了人工成本，使得检测的速度加快，提高执法部门的效率。

Description

一种公路路边景物视觉识别分析方法

技术领域

本发明涉及图像识别领域，尤其涉及一种公路路边景物视觉识别分析方法。

背景技术

公路是乡镇重要交通纽带，但是我国很多的乡镇人员均喜欢把房子建筑在公路的两旁，从而可以方便出入或者货物运输方便的。同时也有一些人员在房子前边再搭一个铁硼或者零时建筑等。由于建筑物离公路太靠近，从而影响了公路两边的景观或者影响后期扩大的情况。同时也存在很多安全隐患，包括人员安全隐患和牲畜的安全隐患。同时建筑物力公路太近，常常会影响公路的美观，从而使得公路视野常常受到影响。因此，需要设计一种快速的公路两边的景物识别方法，把识别结果传给相应的执法部门进行处理。

发明内容

本发明的目的在于提供一种公路路边景物视觉识别分析方法，以解决现有公路两边建筑物太靠近公路，影响公路的美观，以及带来很大的安全隐患的技术问题。本方法用于识别公路两边的景物中建筑物的多少，并识别与公路的距离，把识别到不符合标准的图片以及信息传给相应的执法部门进行作为执法前期信息的采集。

一种公路路边景物视觉识别分析方法，所述方法包括如下步骤：

步骤1：通过摄像装置对公路两边进行图像采集，得到采集图像；

步骤2：使用标注工具对公路两边景物的图片进行建筑物标记，识别建筑物特征，制作训练集，训练集包括输入照片以及对应的建筑物特征分类标签；

步骤3：将训练集输入卷积神经网络中，使用卷积神经网络进行训练，训练迭代学习输出最优深度学习模型，得到权重参数文件；

步骤4：启动公路两边建筑物特征识别，对摄像头采集的视频进行处理，保存为图片，同时使用定位装置标注该图标的具体位置，并设置照片的读取速度，将图片输入学习模型进行识别定位，对图片进行识别，输出建筑物边框素坐标；

步骤5：对识别后的建筑物边框素坐标数据进行处理，得到实际建筑物位置并通过单目视觉测距方法算出建筑物与拍摄装置的距离；

步骤6：当检测到建筑物的距离与公路的距离小于预设定的距离时，判断为违规建筑，标注违规图片，把标注的图片和图片定位的位置传给违规拆解部门。

进一步地，所述步骤1的具体过程为：

使用摄像装置对公路两边不同路段的景物进行视频采样，得到农村道路两边景物采样视频，对采样视频进行帧处理得到采样图像，并设置图片尺寸，图片尺寸为520*520。

进一步地，所述步骤2的具体过程为：

使用标注软件对采集的图片进行建筑物标记，识别建筑物特征，制作训练集，训练集包括输入照片以及对应的建筑物特征分类标签，通过关键特征点定位，特征点的特性必须在所有图片中保持一致，并且所有标签在所有图片中必须保持一致，之后生成标记文件，文件内含公路景物建筑物位置像素点坐标以及建筑物特征的分类标签，即包含神经网络要预测的对象分类标签与表示边界框的四个数字，分别为中心点坐标以及边界框的宽与高。

进一步地，所述步骤3中，卷积神经网络包括输入层、隐含层、卷积层、池化层、隐含层、全连接层和输出层，所述卷积层包括卷积核、卷积层参数和激励函数，所述池化层包括Lp池化、随机混合池化和谱池化。

进一步地，所述步骤4的具体过程为，对摄像头采集的视频进行处理，保存为图片，按照8帧一次的对照片进行读取，对图片进行识别处理，输出建筑物特征数据，同时识别出建筑物的外边框，然后根据外边框识别出边框上的坐标数据。

进一步地，所述步骤5的具体过程为：

通过检测边框的坐标数据，然后根据边框的坐标数据进行确定建筑物的中心点坐标数据，然后把中心点坐标数据和边框数据汇总，然后根据现有单目视觉测距方法算出实际建筑物与摄像装置的距离，然后在算出实际建筑物与公路边的距离。

本发明采用了上述技术方案，本发明具有以下技术效果：

本发明通过视频视觉识别的方法，可以通过神经网络进行学习，使得生成建筑物的识别模型，后期直接识别公路路边的图像进行建筑物识别，通过识别的建筑边框进行使用测距方法计算建筑物与公路的实际距离，然后把检测不合格的图片数据和位置发给相应的执法部门，使得执法部门执法更加方便，可以快速的定位到公路两边违规的建筑信息，为执法部门执法提供信息支持，大大降低了人工成本，使得检测的速度加快，提高执法部门的效率。

附图说明

图1为本发明流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。

请参阅图1，本发明提供一种公路路边景物视觉识别分析方法，所述方法包括如下步骤：

步骤1：通过摄像装置对公路两边进行图像采集，得到采集图像。使用摄像装置对公路两边不同路段的景物进行视频采样，得到农村道路两边景物采样视频，对采样视频进行帧处理得到采样图像，并设置图片尺寸，图片尺寸为520*520。

步骤2：使用标注工具对公路两边景物的图片进行建筑物标记，识别建筑物特征，制作训练集，训练集包括输入照片以及对应的建筑物特征分类标签。使用标注软件对采集的图片进行建筑物标记，识别建筑物特征，制作训练集，训练集包括输入照片以及对应的建筑物特征分类标签，通过关键特征点定位，特征点的特性必须在所有图片中保持一致，并且所有标签在所有图片中必须保持一致，之后生成标记文件，文件内含公路景物建筑物位置像素点坐标以及建筑物特征的分类标签，即包含神经网络要预测的对象分类标签与表示边界框的四个数字，分别为中心点坐标以及边界框的宽与高。

步骤3：将训练集输入卷积神经网络中，使用卷积神经网络进行训练，训练迭代学习输出最优深度学习模型，得到权重参数文件。卷积神经网络包括输入层、隐含层、卷积层、池化层、隐含层、全连接层和输出层，所述卷积层包括卷积核、卷积层参数和激励函数，所述池化层包括Lp池化、随机混合池化和谱池化。

输入层是卷积神经网络的输入层可以处理多维数据，一维卷积神经网络的输入层接收一维或二维数组，其中一维数组通常为时间或频谱采样；二维数组可能包含多个通道；二维卷积神经网络的输入层接收二维或三维数组；三维卷积神经网络的输入层接收四维数组。由于卷积神经网络在计算机视觉领域有广泛应用，因此许多研究在介绍其结构时预先假设了三维输入数据，即平面上的二维像素点和RGB通道。由于使用梯度下降进行学习，卷积神经网络的输入特征需要进行标准化处理。具体地，在将学习数据输入卷积神经网络前，需在通道或时间/频率维对输入数据进行归一化，若输入数据为像素，也可将分布于[0，255]的原始像素值归一化至[0，1]区间。输入特征的标准化有利于提升算法的运行效率和学习表现。

隐含层是卷积神经网络的隐含层包含卷积层、池化层和全连接层3类常见构筑，在一些更为现代的算法中可能有Inception模块、残差块(residual block)等复杂构筑。在常见构筑中，卷积层和池化层为卷积神经网络特有。卷积层中的卷积核包含权重系数，而池化层不包含权重系数，因此在文献中，池化层可能不被认为是独立的层。3类构筑在隐含层中的顺序通常为：输入-卷积层-池化层-卷积层-池化层-全连接层-输出。

卷积核是卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量，类似于一个前馈神经网络的神经元。卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小，其含义可类比视觉皮层细胞的感受野。卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量。

式中的求和部分等价于求解一次交叉相关，b为偏差量，Z^l和Z^l+1表示第l+1层的卷积输入和输出，也被称为特征图，L_l+1为Z_l+1的尺寸，这里假设特征图长宽相同。Z(i，j)对应特征图的像素，K为特征图的通道数，f、s₀和p是卷积层参数，对应卷积核大小、卷积步长和填充层数。

一维或三维卷积核的工作方式与之类似。理论上卷积核也可以先翻转180度，再求解交叉相关，其结果等价于满足交换律的线性卷积，但这样做在增加求解步骤的同时并不能为求解参数取得便利，因此线性卷积核使用交叉相关代替了卷积。

当卷积核是大小f＝1，步长s₀＝1且不包含填充的单位卷积核时，卷积层内的交叉相关计算等价于矩阵乘法，并由此在卷积层间构建了全连接网络。

由单位卷积核组成的卷积层也被称为网中网或多层感知器卷积层。单位卷积核可以在保持特征图尺寸的同时减少图的通道数从而降低卷积层的计算量。完全由单位卷积核构建的卷积神经网络是一个包含参数共享的多层感知器。

卷积层参数是卷积层参数包括卷积核大小、步长和填充，三者共同决定了卷积层输出特征图的尺寸，是卷积神经网络的超参数。其中卷积核大小可以指定为小于输入图像尺寸的任意值，卷积核越大，可提取的输入特征越复杂。卷积步长定义了卷积核相邻两次扫过特征图时位置的距离，卷积步长为1时，卷积核会逐个扫过特征图的元素，步长为n时会在下一次扫描跳过n-1个像素。

由卷积核的交叉相关计算可知，随着卷积层的堆叠，特征图的尺寸会逐步减小，例如16×16的输入图像在经过单位步长、无填充的5×5的卷积核后，会输出12×12的特征图。为此，填充是在特征图通过卷积核之前人为增大其尺寸以抵消计算中尺寸收缩影响的方法。常见的填充方法为按0填充和重复边界值填充。填充依据其层数和目的可分为四类：

有效填充：即完全不使用填充，卷积核只允许访问特征图中包含完整感受野的位置。输出的所有像素都是输入中相同数量像素的函数。使用有效填充的卷积被称为“窄卷积”，窄卷积输出的特征图尺寸为(L-f)/s+1。

相同填充/半填充：只进行足够的填充来保持输出和输入的特征图尺寸相同。相同填充下特征图的尺寸不会缩减但输入像素中靠近边界的部分相比于中间部分对于特征图的影响更小，即存在边界像素的欠表达。使用相同填充的卷积被称为“等长卷积”。

全填充：进行足够多的填充使得每个像素在每个方向上被访问的次数相同。步长为1时，全填充输出的特征图尺寸为L+f-1，大于输入值。使用全填充的卷积被称为“宽卷积”

任意填充：介于有效填充和全填充之间，人为设定的填充，较少使用。

若16×16的输入图像在经过单位步长的5×5的卷积核之前先进行相同填充，则会在水平和垂直方向填充两层，即两侧各增加2个像素(p＝2)变为20×20大小的图像，通过卷积核后，输出的特征图尺寸为16×16，保持了原本的尺寸。

激励函数是卷积层中包含激励函数以协助表达复杂特征，其表示形式如下，

类似于其它深度学习算法，卷积神经网络通常使用线性整流单元，其它类似ReLU的变体包括有斜率的ReLU(Leaky ReLU,LReLU)、参数化的ReLU(Parametric ReLU,PReLU)、随机化的ReLU(Randomized ReLU,RReLU)、指数线性单元。

池化层是在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。池化层选取池化区域与卷积核扫描特征图步骤相同，由池化大小、步长和填充控制。

Lp池化是一类受视觉皮层内阶层结构启发而建立的池化模型，其一般表示形式为：

式中步长s₀、像素(i，j)的含义与卷积层相同，p是预指定参数。当p＝1时，Lp池化在池化区域内值，被称为均值池化；当p→∞时，Lp池化在区域内取极大值，被称为极大池化。均值池化和极大池化是最常见的池化方法，二者以损失特征图尺寸为代价保留图像的背景和纹理信息。此外p＝2时的L2池化在一些工作中也有使用。

随机混合池化包括混合池化和随机池化，是Lp池化概念的延伸。随机池化会在其池化区域内按特定的概率分布随机选取一值，以确保部分非极大的激励信号能够进入下一个构筑。混合池化可以表示为均值池化和极大池化的线性组合。

混合池化和随机池化有利于防止卷积神经网络的过度拟合，比均值和极大池化有更好的表现。

谱池化是基于FFT的池化方法，可以和FFT卷积一起被用于构建基于FFT的卷积神经网络。在给定特征图尺寸和池化层输出尺寸时/>谱池化对特征图的每个通道分别进行DFT变换，并从频谱中心截取n×n大小的序列进行DFT逆变换得到池化结果。谱池化有滤波功能，可以最大限度地保存低频变化信息，并能有效控制特征图的大小。此外，基于成熟的FFT算法，谱池化能够以很小的计算量完成。

隐含层是对多个卷积层和池化层进行堆叠所得的特殊隐含层构筑。具体而言，一个Inception模块会同时包含多个不同类型的卷积和池化操作，并使用相同填充使上述操作得到相同尺寸的特征图，随后在数组中将这些特征图的通道进行叠加并通过激励函数。由于上述做法在一个构筑中引入了多个卷积计算，其计算量会显著增大。

全连接层是卷积神经网络中的全连接层等价于传统前馈神经网络中的隐含层。全连接层通常搭建在卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。特征图在全连接层中会失去3维结构，被展开为向量并通过激励函数传递至下一层。全连接层的功能可部分由全局均值池化取代，全局均值池化会将特征图每个通道的所有值取平均，即若有7×7×256的特征图，全局均值池化将返回一个256的向量，其中每个元素都是7×7，步长为7，无填充的均值池化。

输出层是卷积神经网络中输出层的上游通常是全连接层，因此其结构和工作原理与传统前馈神经网络中的输出层相同。对于图像分类问题，输出层使用逻辑函数或归一化指数函数输出分类标签。在物体识别问题中，输出层可设计为输出物体的中心坐标、大小和分类。在图像语义分割中，输出层直接输出每个像素的分类结果，

步骤4：启动公路两边建筑物特征识别，对摄像头采集的视频进行处理，保存为图片，同时使用定位装置标注该图标的具体位置，并设置照片的读取速度，将图片输入学习模型进行识别定位，对图片进行识别，输出建筑物边框素坐标。对摄像头采集的视频进行处理，保存为图片，按照8帧一次的对照片进行读取，对图片进行识别处理，输出建筑物特征数据，同时识别出建筑物的外边框，然后根据外边框识别出边框上的坐标数据。

步骤5：对识别后的建筑物边框素坐标数据进行处理，得到实际建筑物位置并通过单目视觉测距方法算出建筑物与拍摄装置的距离。通过检测边框的坐标数据，然后根据边框的坐标数据进行确定建筑物的中心点坐标数据，然后把中心点坐标数据和边框数据汇总，然后根据现有单目视觉测距方法算出实际建筑物与摄像装置的距离，然后在算出实际建筑物与公路边的距离。

步骤6：当检测到建筑物的距离与公路的距离小于预设定的距离时，判断为违规建筑，标注违规图片，把标注的图片和图片定位的位置传给违规拆解部门。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种公路路边景物视觉识别分析方法，其特征在于，所述方法包括如下步骤：

步骤1：通过摄像装置对公路两边进行图像采集，得到采集图像；

步骤2：使用标注工具对公路两边景物的图片进行建筑物标记，识别建筑物特征，制作训练集，训练集包括输入照片以及对应的建筑物特征分类标签；

步骤3：将训练集输入卷积神经网络中，使用卷积神经网络进行训练，训练迭代学习输出最优深度学习模型，得到权重参数文件；

步骤4：启动公路两边建筑物特征识别，对摄像头采集的视频进行处理，保存为图片，同时使用定位装置标注图标的具体位置，并设置照片的读取速度，将图片输入学习模型进行识别定位，对图片进行识别，输出建筑物边框素坐标；

步骤5：对识别后的建筑物边框素坐标数据进行处理，得到实际建筑物位置并通过单目视觉测距方法算出建筑物与拍摄装置的距离；

步骤6：当检测到建筑物的距离与公路的距离小于预设定的距离时，判断为违规建筑，标注违规图片，把标注的图片和图片定位的位置传给违规拆解部门。

2.根据权利要求1所述的一种公路路边景物视觉识别分析方法，其特征在于：所述步骤1的具体过程为：

使用摄像装置对公路两边不同路段的景物进行视频采样，得到农村道路两边景物采样视频，对采样视频进行帧处理得到采样图像，并设置图片尺寸，图片尺寸为520*520。

3.根据权利要求1所述的一种公路路边景物视觉识别分析方法，其特征在于：所述步骤2的具体过程为：

使用标注软件对采集的图片进行建筑物标记，识别建筑物特征，制作训练集，训练集包括输入照片以及对应的建筑物特征分类标签，通过关键特征点定位，特征点的特性必须在所有图片中保持一致，并且所有标签在所有图片中必须保持一致，之后生成标记文件，文件内含公路景物建筑物位置像素点坐标以及建筑物特征的分类标签，即包含神经网络要预测的对象分类标签与表示边界框的四个数字，分别为中心点坐标以及边界框的宽与高。

4.根据权利要求1所述的一种公路路边景物视觉识别分析方法，其特征在于：所述步骤3中，卷积神经网络包括输入层、隐含层、卷积层、池化层、隐含层、全连接层和输出层，所述卷积层包括卷积核、卷积层参数和激励函数，所述池化层包括Lp池化、随机混合池化和谱池化。

5.根据权利要求1所述的一种公路路边景物视觉识别分析方法，其特征在于：所述步骤4的具体过程为，对摄像头采集的视频进行处理，保存为图片，按照8帧一次的对照片进行读取，对图片进行识别处理，输出建筑物特征数据，同时识别出建筑物的外边框，然后根据外边框识别出边框上的坐标数据。

6.根据权利要求1所述的一种公路路边景物视觉识别分析方法，其特征在于：所述步骤5的具体过程为：

通过检测边框的坐标数据，然后根据边框的坐标数据进行确定建筑物的中心点坐标数据，然后把中心点坐标数据和边框数据汇总，然后根据现有单目视觉测距方法算出实际建筑物与摄像装置的距离，然后在算出实际建筑物与公路边的距离。