CN107480599A - 一种基于深度学习算法的共享单车还车管理方法 - Google Patents

Abstract

本发明涉及一种基于深度学习算法的共享单车还车管理方法，包括步骤：1)、单车用户还车时候，系统要求用户通过智能终端(比如手机)，拍取用户还车情形图片，拍照时候，用户需要将自己所还单车放在相机预览的预设小框里，预设框可以通过触摸屏改变位置，然后上传图片和预设框坐标到服务端，如图4虚线框所示；2)、服务端接收到图片，首先对图片做预处理，主要是大小归一化；3)、将2)图片输入做单车检测，结合Faster R‑CNN算法和预设框坐标，检测出自己所还单车。本发明的有益效果是：采用人工智能深度学习的方法解决共享单车还车是否违规、整齐度、是否异常的评估，并且给出判断的分数，分数越高，表明判断为该类别的概率越大。

Description

一种基于深度学习算法的共享单车还车管理方法

技术领域

本发明涉及一种共享单车还车管理方法，具体涉及基于深度学习算法的共享单车还车管 理方法。

背景技术

自共享单车出世以来，乱停乱放、私自占用、故意毁坏等乱象就一直相随。随着共享单 车的普及和发展，乱象越来越严重，而且日益突出。目前还没有很好的方法解决这个问题。

发明内容

本发明的目的是克服现有技术中的不足，提供了一种基于深度学习算法的共享单车还车 管理方法。

本发明的目的是通过以下技术方案实现的。这种基于深度学习算法的共享单车还车管理 方法，包括如下步骤：

1)、单车用户还车时候，系统要求用户通过智能终端(比如手机)，拍取用户还车情形图 片，拍照时候，用户需要将自己所还单车放在相机预览的预设小框里，预设框可以通过触摸 屏改变位置，然后上传图片和预设框坐标到服务端，如图4虚线框所示；

2)、服务端接收到图片，首先对图片做预处理，主要是大小归一化；

3)、将2)图片输入做单车检测，结合Faster R-CNN算法和预设框坐标，检测出自己所 还单车；

4)、将3)检测出的图片中自己所还单车抠出来小图片，上传到单车图片数据库，与单车 库中的图片进行匹配，返回匹配值。匹配值如高于阈值，表明图片单车和自己所还的单车匹 配一致，否则，用户需要重新拍照上传鉴定，或者做算法检测异常处理；

5)、将3)图片输入违规检测模型，检测还车是否违规。若违规(绿化带停放、单车摔倒、 占用人行道、占用盲道等)，则返回到步骤1)，若不违规，则进入步骤6)；

6)、将5)图片输入异常检测模型，检测还车是否异常。若异常(有异物、单车损坏等)， 则返回到步骤1)，若不违规，则进入步骤7)；

7)、将6)图片输入整齐度评估模型，评估分类为优、良、可、差。

作为优选：步骤3)具体包括如下步骤：

3.1)、将整张图片输入CNN，进行特征提取得到特征映射图(Feature map)；

卷积神经网络CNN是一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者其它 形式的变形具有高度不变性。这些良好的性能是网络在有监督方式下学会的，网络的结构主 要有稀疏连接和权值共享两个特点。

每层都包含连接权值(可训练参数),每个层有多个特征图，每个特征图通过一种卷积滤 波器提取输入的一种特征，然后每个特征图有多个神经元。如图5所示。

稀疏连接(局部感知)，卷积神经网络中，层与层之间的神经元节点不再是全连接形式， 利用层间局部空间相关性将相邻每一层的神经元节点只与和它相近的上层神经元节点连接， 即局部连接。这样大大降低了神经网络架构的参数规模。如图6所示。

权重共享，在卷积神经网络中，卷积层的每一个卷积滤波器重复的作用于整个感受野中， 如图7，黑色方框区域代表的卷积滤波器一直没变，对输入图像进行卷积，卷积结果构成了 输入图像的特征图，提取出图像的局部特征。每一个卷积滤波器共享相同的参数，包括相同 的权重矩阵和偏置项。共享权重的好处是在对图像进行特征提取时不用考虑局部特征的位置。 而且权重共享提供了一种有效的方式，使要学习的卷积神经网络模型参数数量大大降低。如 图7所示。

卷积神经网络(CNN)计算公式，定义如下：

其中X为输入信号Mat的卷积后的特征映射图(Feature map)，Mat表示灰度图像矩阵，W表示卷积核，B表示偏置，S()激活函数，N为分类类别数量。

3.2)、用区域生成网络(RPN：Region Proposal Networks)生成建议窗口(Proposals)， 每张图片生成300个建议窗口(Proposals)；

3.3)、把建议窗口(Proposals)通过映射到CNN的最后一层卷积特征映射图(Feature map)；如图8所示。

3.4)、通过感兴趣区域(RoI:Region of Interest)池化层使每个感兴趣区域(RoI: Region of Interest)生成固定尺寸的特征映射图(Feature map)；如图9所示。

3.5)、经过2层全连接层(FC层)，得到固定大小的RoI特征向量；

3.6)、特征向量输入各自的全连接层(FC层)，得到两个输出向量：第一个是分类，第二 个是每一类的Bounding Box(四个角点坐标值)回归；

3.7)、计算Bounding Box与预设框的重叠度，最大值为返回结果。

作为优选：步骤3.6)中，分类使用Softmax函数；Softmax函数给出属于每一个类别的 概率,概率和等于1，k为多分类数目，φk的最值即为所求：

作为优选：步骤3.7)的具体计算方法为：

如图10所示，A虚线框为预设框，B实线框为Bounding Box，重叠度计算公式为：

重叠度＝(A∩B)/(A∪B) (公式3)

作为优选:所述步骤4)中匹配值范围从0到1，匹配值越大，表明匹配度越高；大于0.6 表明图片单车和自己所还的单车匹配一致，否则，用户需要重新拍照上传鉴定，或者做算法 检测异常处理。

作为优选：步骤5)、6)、7)具体包括如下步骤：

5.1)、将还车时候手机拍照的照片分类、尺寸大小归一化处理，得到还车违规检测的图 片数据库、还车异常检测的图片数据库、还车整齐度评估的图片数据库，然后再将这三个图 片数据库中的样本图片划分为训练集和验证集；

5.2)、分别构建用于识别分类还车违规检测、还车异常检测、还车整齐度评估的卷积神 经网络；

5.3)、将图片大小归一化预处理后的还车是三个图片数据库分别作为三个卷积神经网络 的输入，提取CNN特征，调整调优训练参数，训练得到三个优化后的网络模型；

5.4)、输入单车用户上传的还车情形图片，利用训练好的三个网络模型分别对其进行还 车违规检测、还车异常检测、还车整齐度评估识别分类。

本发明的有益效果是：采用人工智能深度学习的方法解决共享单车还车是否违规、整齐 度、是否异常的评估，并且给出判断的分数，分数越高，表明判断为该类别的概率越大。通 过这种方式引导用户文明规范还车，用于市容的改进，也便于共享单车的良性推广和智能维 护。

附图说明

图1为本发明整体流程原理图；

图2为本发明Faster R-CNN进行单车检测流程图；

图3为本发明还车违规检测、还车整齐度评估、还车异常检测流程图；

图4为拍取用户还车情形图片的示意图；

图5为将整张图片输入CNN，进行特征提取得到特征映射图的示意图；

图6为卷积神经网络示意图；

图7为对输入图像进行卷积示意图；

图8为区域生成网络示意图；

图9为感兴趣区域池化层示意图；

图10为Bounding Box与预设框示意图；

图11为系统架构示意图。

具体实施方式

下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。 应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对 本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

如图1至图11所示，本实施例的基于深度学习算法的共享单车还车管理方法如下：

1、原理概述

采用人工智能深度学习的方法解决共享单车还车是否违规、整齐度、是否异常的评估， 并且给出判断的分数，分数越高，表明判断为该类别的概率越大。

2、算法原理说明

单车用户还车时候，系统要求用户通过智能终端(比如手机)，拍取用户还车情形图片， 拍照时候，用户需要将自己所还单车放在相机预览的预设小框里，预设框可以通过触摸屏改 变位置，然后上传图片和预设框坐标到服务端。服务端接收到图片，首先通过opencv图片开 源算法处理库对图片做预处理，主要是大小归一化，然后输入做单车检测，结合Faster R-CNN 算法和预设框坐标，检测出自己所还单车。检测出的图片中自己所还单车抠出来小图片，上 传到单车图片数据库，与单车库中的图片进行匹配，返回匹配值。匹配值范围从0到1，匹 配值越大，表明匹配度越高。大于0.6表明图片单车和自己所还的单车匹配一致，否则，用 户需要重新拍照上传鉴定，或者做算法检测异常处理。然后图片输入违规检测模型，检测还 车是否违规。若违规(绿化带停放、单车摔倒、占用人行道、占用盲道等)，则返回，若不违 规，则进入异常检测模型，检测还车是否异常。若异常(有异物、单车损坏等)，则返回，若 不违规，则进入整齐度评估模型，评估分类为优、良、可、差。

我们的模型需要固定的输入维度。因此我们将所有图像都进行下采样处理，统一调整为 256×256规格。具体步骤是，对一张长方形图像，我们先将其短边长度缩小至256像素，然 后截取图像中央256×256大小的部分作为最终使用图像。除此以外，我们还对图像的每一个 像素进行中心化处理。将训练集每个图像对应像素的R、G、B三个值分别求平均数，然后每 个图像的每个像素的R值减去R平均，G值减去G平均，B值减去B平均。神经网络训练使用 的是图像像素中心化后的RGB值。

用Caffe深度学习框架训练，配置网络结构ResNet或者其它网络结构

3、实施时具体步骤：

1)、单车用户还车时候，系统要求用户通过智能终端(比如手机)，拍取用户还车情形图 片，拍照时候，用户需要将自己所还单车放在相机预览的预设小框里，预设框可以通过触摸 屏改变位置，然后上传图片和预设框坐标到服务端；

2)、服务端接收到图片，首先对图片做图像预处理，主要是大小归一化到大小256*256；

3)、将归一化后的图片输入到Faster R-CNN算法模块，检测单车,具体步骤如下；

3.1)、将整张图片输入CNN，进行特征提取得到特征映射图(Feature map)；

3.2)、用区域生成网络(RPN：Region Proposal Networks)生成建议窗口(Proposals)， 每张图片生成300个建议窗口(Proposals)；

3.3)、把建议窗口(Proposals)通过映射到CNN的最后一层卷积特征映射图(Feature map)；

3.4)、通过感兴趣区域(RoI:Region of Interest)池化层使每个感兴趣区域(RoI: Region of Interest)生成固定尺寸的特征映射图(Feature map)；

3.5)、经过2层全连接层(FC层)，得到固定大小的RoI特征向量；

3.6)、特征向量输入各自的全连接层(FC层)，得到两个输出向量：第一个是分类，使用 Softmax，第二个是每一类的Bounding Box(四个角点坐标值)回归；

3.7)、计算Bounding Box与预设框的重叠度，最大值为返回结果。

4)、将检测出的图片中自己所还单车抠出来小图片，上传到单车图片数据库，与单车库 中的图片进行匹配，返回匹配值。匹配值范围从0到1，匹配值越大，表明匹配度越高。大 于0.6表明图片单车和自己所还的单车匹配一致，否则，用户需要重新拍照上传鉴定，或者 做算法检测异常处理；

5)、将图片输入违规检测模型，检测还车是否违规。若违规(绿化带停放、单车摔倒、占 用人行道、占用盲道等)，则返回到步骤1)，若不违规，则进入步骤6)；

6)、将图片输入异常检测模型，检测还车是否异常。若异常(有异物、单车损坏等)，则 返回到步骤1)，若不违规，则进入步骤7)；

7)、将图片输入整齐度评估模型，评估分类为优、良、可、差。

其中违规检测模型、异常检测模型、整齐度评估模型的训练方法是：

1)、首先，样本收集分类：将还车时候手机拍照的照片分类、尺寸大小归一化处理；其 次，样本分类如下：

违规检测样本分类停在路中10万张、停在路边10万张、绿化带停放10万张、自行车摔 倒10万张、占用人行道10万张、占用盲道10万张、停在指定区域10万张；

异常检测样本分类有异物单车10万张、损坏单车10万张；

整齐评估样本分类有优良可差各10万张。

得到还车违规检测的图片数据库、还车异常检测的图片数据库、还车整齐度评估的图片 数据库，然后再将这三个图片数据库中的样本图片划分为训练集和验证集(训练集：验证集＝ 8：2)；

2)、分别构建用于识别分类还车违规检测、还车异常检测、还车整齐度评估的卷积神经 网络,用Caffe深度学习框架训练，配置网络结构ResNet；

3)、将图片大小归一化预处理后的还车是三个图片数据库分别作为三个卷积神经网络的 输入，提取CNN特征，调整调优训练参数，训练得到三个优化后的网络模型；

4)、输入单车用户上传的还车情形图片，利用训练好的三个网络模型分别对其进行还车 违规检测、还车异常检测、还车整齐度评估识别分类。

本发明采用人工智能深度学习的方法解决共享单车还车是否违规、整齐度、是否异常的 评估，并且给出判断的分数，分数越高，表明判断为该类别的概率越大。通过这种方式引导 用户文明规范还车，用于市容的改进，也便于共享单车的良性推广和智能维护。

系统架构如图11所示，硬件环境：显卡为英伟达GPU显卡，型号GTX1080Ti、CPU为Intel I7、内存为DDR 64G、硬盘为希捷硬盘数据10TB、软件环境为Ubuntu、编程语言为C。

Claims (7)

1.一种基于深度学习算法的共享单车还车管理方法，其特征在于，包括如下步骤：

1)、单车用户还车时候，系统要求用户通过智能终端，拍取用户还车情形图片，拍照时，用户需要将自己所还单车放在相机预览的预设小框里，预设框可通过触摸屏改变位置，然后上传图片和预设框坐标到服务端；

2)、服务端接收到图片，首先对图片做预处理，主要是大小归一化；

3)、将2)图片输入做单车检测，结合卷积神经网络算法和预设框坐标，检测出所还单车；

4)、将3)检测出的图片中所还单车抠出来小图片，上传到单车图片数据库，与单车库中的图片进行匹配，返回匹配值；匹配值如高于阈值，表明图片单车和自己所还的单车匹配一致，否则，用户需要重新拍照上传鉴定，或者做算法检测异常处理；

5)、将3)图片输入违规检测模型，检测还车是否违规；若违规，则返回到步骤1)，若不违规，则进入步骤6)；

6)、将5)图片输入异常检测模型，检测还车是否异常；若异常，则返回到步骤1)，若不违规，则进入步骤7)；

7)、将6)图片输入整齐度评估模型进行评估。

2.根据权利要求1所述的基于深度学习算法的共享单车还车管理方法，其特征在于：所述步骤3)具体包括如下步骤：

3.1)、将整张图片输入卷积神经网络，进行特征提取得到特征映射图；

卷积神经网络是一个多层感知器，每层都包含连接权值，每个层有多个特征图，每个特征图通过一种卷积滤波器提取输入的一种特征，然后每个特征图有多个神经元；

稀疏连接，卷积神经网络中，利用层间局部空间相关性将相邻每一层的神经元节点只与和它相近的上层神经元节点连接；

权重共享，在卷积神经网络中，卷积层的每一个卷积滤波器重复的作用于整个感受野中，对输入图像进行卷积，卷积结果构成了输入图像的特征图，提取出图像的局部特征；每一个卷积滤波器共享相同的参数，包括相同的权重矩阵和偏置项；

卷积神经网络计算公式，定义如下：

其中X为输入信号Mat的卷积后的特征映射图，Mat表示灰度图像矩阵，W表示卷积核，B表示偏置，S()激活函数，N为分类类别数量；

3.2)、用区域生成网络生成建议窗口，每张图片生成300个建议窗口；

3.3)、把建议窗口通过映射到卷积神经网络的最后一层卷积特征映射图；

3.4)、通过感兴趣区域池化层使每个感兴趣区域生成固定尺寸的特征映射图；

3.5)、经过2层全连接层，得到固定大小的感兴趣区域特征向量；

3.6)、特征向量输入各自的全连接层，得到两个输出向量：第一个是分类，第二个是每一类的Bounding Box回归；

3.7)、计算Bounding Box与预设框的重叠度，最大值为返回结果。

3.根据权利要求2所述的基于深度学习算法的共享单车还车管理方法，其特征在于：所述步骤3.6)中，分类使用Softmax函数；Softmax函数给出属于每一个类别的概率,概率和等于1，k为多分类数目，φk的最值即为所求：

4.根据权利要求2所述的基于深度学习算法的共享单车还车管理方法，其特征在于：所述步骤3.7)的具体计算方法为：A虚线框为预设框，B实线框为Bounding Box，重叠度计算公式为：重叠度＝(A∩B)/(A∪B)。

5.根据权利要求1所述的基于深度学习算法的共享单车还车管理方法，其特征在于：所述步骤4)中匹配值范围从0到1，匹配值越大，表明匹配度越高；大于0.6表明图片单车和自己所还的单车匹配一致，否则，用户需要重新拍照上传鉴定，或者做算法检测异常处理。

6.根据权利要求1所述的基于深度学习算法的共享单车还车管理方法，其特征在于：所述步骤5)具体包括:

5.1)、将还车时候手机拍照的照片分类、尺寸大小归一化处理，得到还车违规检测的图片数据库、还车异常检测的图片数据库、还车整齐度评估的图片数据库，然后再将这三个图片数据库中的样本图片划分为训练集和验证集；

5.2)、分别构建用于识别分类还车违规检测、还车异常检测、还车整齐度评估的卷积神经网络；

5.3)、将图片大小归一化预处理后的还车是三个图片数据库分别作为三个卷积神经网络的输入，提取CNN特征，调整调优训练参数，训练得到三个优化后的网络模型；

5.4)、输入单车用户上传的还车情形图片，利用训练好的三个网络模型分别对其进行还车违规检测、还车异常检测、还车整齐度评估识别分类。

7.根据权利要求1所述的基于深度学习算法的共享单车还车管理方法，其特征在于：所述步骤7)中评估分类为优、良、可、差。