CN112766232A - 一种基于可重构卷积神经网络的道路风险目标识别方法 - Google Patents

Abstract

一种基于可重构卷积神经网络的道路风险目标识别方法，包括如下步骤：用户对当前实际场景当中的需要进行识别的个体进行拍摄并上传至识别端；识别端启动图像识别程序，选择并保存用户上传的图片；在识别端的界面选择可重构卷积神经网络模型，调用可重构卷积神经网络模型进行识别，识别完成后将识别结果输出到界面。本方法通过车载摄像头设备或移动终端设备对前方道路进行实时检测，出现风险目标时进行拍摄，并上传到系统数据库完成道路风险目标检测，并将检测结果通过移动终端返回。不仅保证了数据的私密性，并且还可以将检测过的图片进行保存，用于后续训练优化卷积神经网络模型，提高在实际场景中的应用，极大程度上降低了识别的误差率。

Description

一种基于可重构卷积神经网络的道路风险目标识别方法

技术领域

本发明属于基于卷积神经网络的目标识别领域，具体涉及一种基于可重构卷积神经网络的道路风险目标识别方法。

背景技术

智能交通的概念随着智能社会的发展逐渐进入人们的视野，智能交通的主要目的是通过改善对道路的安排、车辆调控、视频监控，实现交通优化运营。人、交通工具、道路之间逐渐形成了以人为中心的友好道路局面，并且完成了人、交通工具、道路三方之间的信息共享和传输。对于城市智慧交通系统来说，实现该系统的基础应该是智慧交通工具、智慧基础设施等部分，将车辆、基础设施统一化管理与调度。欲实现该功能，基本需要包括：传感器、接收单元、反馈单元等部分。将数据通过传感器传输到接收单元以后，进行下一步判断与处理，再将结果反馈给传感器终端设备响应操作。从而在不需要人为参与管理的情况下，系统可以自行有效地对终端进行调配，以达到减缓交通压力的目的。当前的控制道路流量的技术主要围绕在以车载传感器为核心，定位追踪技术为辅的情况下，单一化的从车辆一个方面进行节流。人机交互性的统一化程度较低。

针对行人、车辆这样的识别目标，与静态物体不同。这类目标会实时的发出不一样的动作、伴随着不同的速度、穿着形态各异的服饰。这些客观存在的不稳定因素，将会造成卷积神经网络对这样的图像在学习和识别的过程当中特征提取不完整，导致最后的整个卷积神经网络识别精度较差。而对于现有的公开数据集当中，可用于卷积神经网络训练的图像的质量较好，但是结构相对简单。而实际当中存在目标状态的图像结构相对复杂，相同目标的的图像的不同存在于装饰；而对于不同目标之间的图像，则会在实际的视频监管下，不同角度的摄像头所处在的光线、角度位置、遮蔽物、发出行为的不同，所获取到的图像数据产生较大的差异。所以，能真正使用在训练卷积神经网络当中的图像数据不足，并且这样的差异也导致了最终卷积神经网络的识别难度。

发明内容

本发明针对数训练卷积神经网络时数据量不足、识别精度较差的问题，提出在基本卷积神经网络结构当中，搭建一个层数较浅的卷积神经网络模型，并结合在卷积神经网络当中数据增强的方法，组成一个实时检测道路风险目标的检测方法，实现在道路当中实时检测出现的目标，通过车载摄像头设备或者连接的移动终端设备，对前方道路进行实时检测，出现风险目标时进行拍摄，并上传到系统数据库完成道路风险目标检测，并将检测结果通过移动终端返回。不仅保证了数据的私密性，并且还可以将检测过的图片进行保存，用于后续训练优化卷积神经网络模型，提高在实际场景中的应用，极大程度上降低了识别的误差率。

一种基于可重构卷积神经网络的道路风险目标识别方法，包括如下步骤：

步骤1，用户对当前实际场景当中的需要进行识别的个体进行拍摄并上传至识别端；

步骤2，识别端启动图像识别程序，选择并保存用户上传的图片；

步骤3，在识别端的界面选择可重构卷积神经网络模型，调用可重构卷积神经网络模型进行识别，识别完成后将识别结果输出到界面。

进一步地，步骤1中，用户选择需要进行识别检测的道路风险目标，然后利用移动终端提供的摄像头设备或者用户自己的拍摄设备，对目标进行拍摄，之后将所拍摄好的图片上传到终端，识别端为网页端或者移动终端。

进一步地，步骤2中，识别端运行可重构的卷积神经网络模型程序，在识别端界面选择已经拍摄好的、需要进行识别检测的图像，选择好的图像自动保存在识别端的数据库系统中，用于后续优化可重构卷积神经网络模型和对相同图片进行重复操作。

进一步地，步骤3中，在界面选择可重构卷积神经网络模型进行检测识别；识别端后台接收到选择可重构卷积神经网络模型确定的指令后，调用保存在本地的经过训练的可重构卷积神经网络模型，并开始识别已经选定的图片数据；识别端后台完成检测识别后，将后台得到的图像分类结果输入到界面；前端界面接收到以后，将结果输出在相应的图片中。

进一步地，可重构的卷积神经网络模型，包括由多层卷积层与池化层相连接的卷积结构。

进一步地，建立的卷积神经网络模型将卷积层和池化层相互堆叠连接，形成一个四层组合，以及平面化图层、随机失活层和全连接层。

进一步地，选择最大池化作为池化层的运算，最大池化运算将从输入进来的特种图当中，滑动提取窗口，并输出其中每个通道的最大值来代表这个窗口中的特征。

进一步地，所述最大池化运算的滑动窗口大小为2×2，对特征图进行下采样操作，使前层输出后的特征图大小减半。

进一步地，可重构的卷积神经网络模型对原始数据集其进行预处理和数据加强，然后图像经过数层卷积结构操作之后，提取输入的图像中目标的特征，并经过每一层池化层的降维处理，传递给最终的全连接层进行整合和分类。

进一步地，所述数据预处理，将输入的JPEG图像文件转码为由RGB像素组成的图像，然后将这些像素网格转换化为浮点数张量，将像素值按比例缩放为[0,1]区间内。

本发明达到的有益效果为：提出了一种基于可重构卷积神经网络模型的道路风险目标检测的方法，利用卷积神经网络的识别效果较好、成本较低等特点，能够在实时的道路当中、复杂的道路环境下完成目标检测与识别。并且保证了利用可重构卷积神经网络模型在识别的过程中的准确度，降低了层数较浅带来的损失。

附图说明

图1为本发明实施例中所述可重构卷积神经网络结构图。

图2为本发明实施例中所述基于可重构卷积神经网络的道路风险目标检测系统。

图3为本发明实施例中所述可重构卷积神经网络的道路风险目标检测方法的核心架构图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

本发明提出一种基于可重构卷积神经网络模型的道路风险目标检测的方法，具体步骤如下：

步骤1，用户对当前实际场景当中的需要进行识别的个体进行拍摄、上传。

选择需要进行识别检测的道路风险目标；利用移动终端提供的摄像头设备或者用户自己的可拍摄设备，对目标进行拍摄；将所拍摄好的图片选择上传到网页端或者移动终端。

步骤2，启动图像识别程序、图像识别移动终端，选择拍摄好的图片，并保存在本地。

运行移动终端或者网页端可重构卷积神经网络模型程序；在终端界面选择已经拍摄好的、需要进行识别检测的图像；选择好的图片将自动保存在数据库系统中。用于后续优化可重构卷积神经网络模型，也方便用户重复对相同图片进行操作。

步骤3，在可视化界面、移动终端界面选择可重构卷积神经网络模型。调用可重构卷积神经网络模型，开始识别。识别完成后将识别结果输出到可视化界面。

在可视化界面、移动终端界面选择利用可重构卷积神经网络模型进行检测识别；后端接收到选择可重构卷积神经网络模型确定的指令后，调用保存在本地的经过训练的可重构卷积神经网络模型，并开始识别已经选定的图片数据；后端完成检测识别后，将后端得到的图像分类结果输入到前端界面。前端界面接收到以后，将不同的结果输出的相应的图片中，并在可视化界面显示。用户只需等待数秒即可在可视化见面得到最终的识别结果。

本实施例中设计了一个只有五层卷积结构的可重构卷积神经网络模型。对于浅层的卷积神经网络模型，每一层所能学习到的参数数量十分有限，对每一个训练数据集当中的图像所能涉及到的特征较少。这样就可以避免了与图像当中的目标之间的一一映射关系。可重构卷积神经网络具备以现有学习的特征为基础，推测新的特征表示的能力。并且，为了防止数据量不足带来的欠拟合，导致可重构卷积神经网络模型推测能力不足的问题，卷积神经网络所使用到的网络规模要在这两者之间达到平衡。本发明在使用到的训练数据集上，逐层累加，选择最合理的卷积结构搭配，并确定了当前使用的网络层数，得到最终的可重构的卷积神经网络模型结构。

可重构卷积神经网络在基于空间的基础上，对原始数据集当中的图像进行操作，并且在小规模的卷积神经网络上，通过数据增强和随机失活两种降低过拟合的方法，提高整个卷积神经网络最终识别精度。

本实施例将卷积层和池化层相互堆叠连接，形成一个四层组合，以及一个全连接层和分类输出层。这样可以处理本身尺寸较大的图像，并进一步减小要素图的大小。可重构卷积神经网络结构以单个道路风险目标图像作为输入。该卷积神经网络模型首先通过数据预处理，将输入的JPEG图像文件转码为由RGB像素组成的图像，然后将这些像素网格转换化为浮点数张量。对于卷积神经网络而言，较小的输入值将可以得到卷积神经网络的更快速的处理，因此像素值将按比例缩放为[0,1]区间内。并且图像的大小会根据卷积神经网络的要求进行调整。然后，经过数层卷积结构操作之后，提取输入的图像中目标的特征，并经过每一层池化层的降维处理，传递给最终的全连接层进行整合和分类。

本实施例选择最大池化作为池化层的运算。最大池化运算将从输入进来的特种图当中，滑动提取窗口，并输出其中每个通道的最大值来代表这个窗口中的特征。所用到的最大池化运算的滑动窗口大小为2×2，对特征图进行下采样操作，使前层输出后的特征图大小减半。

一个完整的卷积结构可分为三级，在第一级中，并行的通过卷积运算得出一系列的线性激活响应。在第二级激活函数中，每一个线性激活响应通过所选择的非线性的激活函数。在第三级当中，将使用到最大池化对前一层的输出进行选最大特征的操作。根据前层输出的特征图，选择某一相邻位置的输出的特征来近似代替该点的输出特征，代替后的特征值近似不变。经过池化层的操作减少接下来的网络层所接收到的输入，减轻了下一个网络层的计算和统计负担，整个特征提取的过程可以表述为：第k层的第q个特征图上的特征，通过与卷积核的运算得到卷积运算结果。其次，将运算后的结果经过激活函数的非线性变化，舍弃掉部分参数后，输出给池化层进行最大池化运算。然后，通过最大池化运算，提取每个滑动窗口当中最大的特征值，利用这个最大的特征值近似的代替整个特征后，下一层需要处理的数据的数量将大大减少。反复迭代上述步骤之后，将最终的输出数据经过降维压缩，与全连接层连接，并得到最终的结果。

数据增强操作对原始数据集进行操作，可以把现有的数据集进行扩充，从而允许卷积神经网络进行更深层次的学习。通过对单个的RGB图像进行在一定的约束范围条件内，作出角度翻转、在水平方向或者竖直方向上的移动、随机对图像进行缩放、随机将整幅图像当中的部分内容进行水平翻转、将平移或者旋转操作后的新像素点进位重新填充等操作，形成新的可以学习的数据。成倍的扩展当前较少的样本数据数量。训练的可重构卷积神经网络将不会有机会重复的看到相同的输入数据。但所有的输入数据都是相关的，也就是说所能提取出来的特征都是相关的，可以有效的降低过拟合的影响。

随机失活方法的核心思想是降低每个数据之间的关联性，有关联的数据在可重构卷积神经网络学习的过程当中，不会同时进行学习，使得两个数据之间的关联性也学习得到，导致过拟合严重。采用了随机失活的方法之后，规定通过一定的概率函数，随机的对采用了该方法的卷积神经网络层舍弃一部分输出特征，确定被舍弃的数据。将剩余的数据乘以权重，然后形成新的关联性被降低后的数据集，传递给后续连接的网络结构进行其他操作。

设计的基于可重构卷积神经网络模型系统的硬件环境主要由本地服务器、NVIDIA2070、16G的内存条件下完成训练和系统运行的。因为NVIDIA所提供的GPU图形处理可以有效地对整个过程进行加速，识别模型以keras为基础架构除此之外，移动终端选用Jetson Nano开发组件，该模块大小仅有70*45毫米，它所采用的GPU为架构最小的128核的Maxwell显卡，CPU采用了4核的ARM芯片，配备了4GB内存以及16G存储空间。所使用到的组件完成架构时都具有可重复、可优化、轻量等特点。所以，在使用的过程当中可以不断地对可重构卷积神经网络模型进行优化和更新。

如图1所示，在本实施例所搭建的可重构卷积神经网络模型中，通过卷积神经网络对目标特征进行提取。每个卷积层中的卷积核大小均为3×3的规格，卷积的步幅长度选择为1。并且，在每个卷积层的后面都会连接一个最大池化层和ReLU激活函数。其中卷积的主要有两个参数，第一个参数为当前卷积输入的一张二维图像，包含了输入的二维图像的尺寸。第二个参数为卷积的的二维核函数，包含了二维核函数的尺寸。然后经过一个分段激活函数ReLU，ReLU函数中数值为负的所有取值均以0处理，而所有为正的数值取值保持当前数值不变，起到了单侧抑制的作用。这样的函数结构使得激活函数在对特征响应时，只可以对部分特征进行激活而非所有特征，具有更好的稀疏激活性，这也使得了可重构卷积神经网络在对特征提取的过程当中，精度有了更好的保证，提取到更加贴近目标的特征取值。这样的操作，使得可重构卷积神经网络模型具备了以学习到的特征为基础，对未知特征具有泛化的能力。

如图2所示，所实现的可重构卷积神经网络识别系统主要由两部分组成：基于可重构卷积神经网络模型的识别模块与可视化操作模块。将基于可重构卷积神经网络模型的识别程序将部署在服务器上，用户可以通过不同的开放端口进行访问，并在上面根据自己的需要进行操作，实时的对输入到原型系统当中的数据进行判断。终端提供可视化界面，向用户提供友好的界面服务。在不同的终端上都可以通过访问提供的端口进行操作。前端界面通过后端判断结果，输出到可视化界面当中，提供给用户当前每一个图像数据的分类结果。并且，提供了在移动终端上的应用，可以将所需要进行识别的图片上传到移动终端，终端将对图像当中的目标进行识别并将识别结果输出。

如图3所示，整个系统的架构主要由应用层与数据处理层来负责整个系统当中的逻辑控制和数据处理等操作。数据库主要用于存储不同用户的信息，为不同用户所检测的图片数据进行加密保存，防止信息泄露。各层的主要功能如下：数据库主要将不同的用户登录信息进行存储，保证不同的用户登陆时，可以查询到不同用户数据库中存储的数据。并且，可以查询当前用户已经处理过的图片数据，以及对模型进行修改的信息等。应用层主要是负责提供给用户可视化的图形界面进行操作，管理可重构卷积神经网络模型的训练以及优化更新，提供给用户图片选择、判断与保存的功能。数据处理层为可重构卷积神经网络道路风险目标检测系统的核心部分，主要提供管理用户输出的图片数据，并将输入的图片保存到本地，便于用户进行选择的功能；以及将用户选择完成后的图片传输到可重构卷积神经网络模型当中，调用模型进行识别检测的工作。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (10)

1.一种基于可重构卷积神经网络的道路风险目标识别方法，其特征在于：所述方法包括如下步骤：

步骤1，用户对当前实际场景当中的需要进行识别的个体进行拍摄并上传至识别端；

步骤2，识别端启动图像识别程序，选择并保存用户上传的图片；

步骤3，在识别端的界面选择可重构卷积神经网络模型，调用可重构卷积神经网络模型进行识别，识别完成后将识别结果输出到界面。

2.根据权利要求1所述的一种基于可重构卷积神经网络的道路风险目标识别方法，其特征在于：步骤1中，用户选择需要进行识别检测的道路风险目标，然后利用移动终端提供的摄像头设备或者用户自己的拍摄设备，对目标进行拍摄，之后将所拍摄好的图片上传到终端，识别端为网页端或者移动终端。

3.根据权利要求1所述的一种基于可重构卷积神经网络的道路风险目标识别方法，其特征在于：步骤2中，识别端运行可重构的卷积神经网络模型程序，在识别端界面选择已经拍摄好的、需要进行识别检测的图像，选择好的图像自动保存在识别端的数据库系统中，用于后续优化可重构卷积神经网络模型和对相同图片进行重复操作。

4.根据权利要求1所述的一种基于可重构卷积神经网络的道路风险目标识别方法，其特征在于：步骤3中，在界面选择可重构卷积神经网络模型进行检测识别；识别端后台接收到选择可重构卷积神经网络模型确定的指令后，调用保存在本地的经过训练的可重构卷积神经网络模型，并开始识别已经选定的图片数据；识别端后台完成检测识别后，将后台得到的图像分类结果输入到界面；前端界面接收到以后，将结果输出在相应的图片中。

5.根据权利要求1所述的一种基于可重构卷积神经网络的道路风险目标识别方法，其特征在于：可重构的卷积神经网络模型，包括由多层卷积层与池化层相连接的卷积结构。

6.根据权利要求5所述的一种基于可重构卷积神经网络的道路风险目标识别方法，其特征在于：建立的卷积神经网络模型将卷积层和池化层相互堆叠连接，形成一个四层组合，以及平面化图层、随机失活层和全连接层。

7.根据权利要求5所述的一种基于可重构卷积神经网络的道路风险目标识别方法，其特征在于：选择最大池化作为池化层的运算，最大池化运算将从输入进来的特种图当中，滑动提取窗口，并输出其中每个通道的最大值来代表这个窗口中的特征。

8.根据权利要求7所述的一种基于可重构卷积神经网络的道路风险目标识别方法，其特征在于：所述最大池化运算的滑动窗口大小为2×2，对特征图进行下采样操作，使前层输出后的特征图大小减半。

9.根据权利要求1所述的一种基于可重构卷积神经网络的道路风险目标识别方法，其特征在于：可重构的卷积神经网络模型对原始数据集其进行预处理和数据加强，然后图像经过数层卷积结构操作之后，提取输入的图像中目标的特征，并经过每一层池化层的降维处理，传递给最终的全连接层进行整合和分类。

10.根据权利要求9所述的一种基于可重构卷积神经网络的道路风险目标识别方法，其特征在于：所述数据预处理，将输入的JPEG图像文件转码为由RGB像素组成的图像，然后将这些像素网格转换化为浮点数张量，将像素值按比例缩放为[0,1]区间内。

Images