CN109029641A

CN109029641A - 一种基于Faster-rcnn的水表自动检测方法

Info

Publication number: CN109029641A
Application number: CN201810847125.6A
Authority: CN
Inventors: 金连文; 刘禹良; 谢乐乐
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2018-07-27
Filing date: 2018-07-27
Publication date: 2018-12-18

Abstract

本发明提供了一种基于Faster‑rcnn的水表自动检测方法。具体包括如下步骤：（1）数据获取：用手机拍摄50000多张水表读书照片，涵盖多种水表（2）数据处理：对照片进行裁剪，处理后大小为480*200（3）label制作：采用有监督的方法来检测水表，通过人工用软件手动标定水表读数边框（4）训练网络：把准备好的训练数据及label输入到Faster‑rcnn网络中训练（5）测试网络：输入测试数据到已训练网络中，最后得到水表检测结果和概率。本发明利用Faster‑rcnn实现了水表的自动检测，能快速地将水表读数区域检测出，检测时间为0.177秒，检测准确率达99%，具有极高的实用性和应用价值。

Description

一种基于Faster-rcnn的水表自动检测方法

技术领域

本发明属于模式识别与人工智能技术领域，特别涉及一种与深度神经网络相关的自动检测方法。

背景技术

随着计算机技术的飞速发展，人工智能技术正在逐渐改变我们的生活，使我们的生活变得更加便利和高效。而近期GPU等硬件技术的快速发展，也使深度神经网络的实际应用成为可能。

在实际生活中，我们离不开自来水，无论是在农村或是城市，自来水都已经大大普及。而自来水在结算过程中，每个月都需要专门的人员前往每户人家，抄取水表读数，这是一个费时费力的工作。居民房屋数量众多，覆盖范围广，甚至偏僻，而人工读取水表读数容易出错，种种因素使得水表人工读取变得无比繁琐，寻取一种自动而高效的水表读取方法已经势在必行。

深度神经网络的研究进展恰恰为我们提供了工具，最近，研究人员提出多种利用深度神经网络进行自动检测的方法，其中，Faster-rcnn以其高帧速和回调率正被运用于许多实时检测系统中，我们也基于Faster-rcnn实现了水表读数的自动检测，为以后简化自来水结算过程奠定基础。

发明内容

本发明为了实现水表读数的自动检测，提供一种基于Faster-rcnn的水表自动检测方法，该方案具有实时性强，准确率高的特点，具有很高的使用价值。

本发明的目的采用如下技术方案之一实现。

一种基于Faster-rcnn的水表自动检测方法，其特征在于包括：

(1)数据获取：拍摄适量多张水表读书照片，涵盖给定的不同种水表；

(2)数据处理：数据处理：对照片进行裁剪，处理成设定大小；

(3)label制作：通过人工用软件手动标定水表读数边框；

(4)训练网络：把准备好的训练数据及label输入到Faster-rcnn网络中训练；

(5)测试网络：输入测试数据到已训练网络中，最后得到水表检测结果和概率。

优选地，所述步骤(2)对图片进行裁剪，使图片大小最终为480*200。在保证水表读数框完整保留的前提下，可以任意裁剪图片的区域。

优选地，所述步骤(3)包括以下步骤：

(3-1)人工标定水表读数框。

(3-2)将边框的坐标以及宽高存于txt文件中，同时将水表的读数也记录于文件中。

(3-3)将照片随机划分为训练集(约45000张)和测试集(约5000张)。

优选地，所述边框坐标为矩形框四个顶点坐标，将左上顶点坐标记录于第一个位置，其次按照顺时针将其余坐标记录在文本中，最后记录水表读数，各个坐标值和读数值之间用逗号分隔开。

优选地，所述步骤(4)包含以下步骤：

4-1)构建卷积神经网络：Input(480x200)->conv1_1(3*3)->conv1_2(3*3)->pool1->conv2_1(3*3)->conv2_2(3*3)->pool2->->conv3_1(3*3)->conv3_2(3*3)->conv3_3(3*3)->pool3->conv4_1(3*3)->conv4_2(3*3)->conv4_3(3*3)->pool4->conv5_1(3*3)->conv5_2(3*3)->conv5_3(3*3)，在第五层卷积层(共享卷积层)后，分别接RPN网络和fast-rcnn网络：

conv5_3->conv(3*3)->conv(1*1)->rpn_loss_bbox/rpn_cls_loss

conv5_3->conv(3*3)->conv(1*1)->RoI->fc->loss_cls/loss_bbox

(4-2)权值初始化：共享卷积层的权值使用Imagenet分类任务训练模型进行初始化，其余新的层采用零均值高斯分布进行初始化。

(4-3)训练参数设定：迭代次数iters＝70000，学习率更新策略：step，更新步长:50000，初始学习率：0.001，系数为：0.1，weight_decay：0.0005。

(4-4)在RPN网络中，每一个3*3滑动窗位置产生9个anchor，设置anchor的大小为：128²,256²,512²，宽高比为1:1,1:2和2:1。

(4-5)对边框的坐标进行参数化；

(4-6)训练卷积神经网络：采用交替训练的方法来训练RPN网络和fast-rcnn网络。首先训练RPN网络，利用它产生的proposal来训练fast-rcnn网络。在fast-rcnn网络微调后，用该网络来初始化RPN，再训练RPN，按这种方式重复迭代该训练过程。

优选地，所述步骤(5)包含以下步骤：

(5-1)把测试集中的图片以及标签输入到已训练好的网路中，进行检测。

(5-2)检测完成后，计算平均精度、回调率。

(5-3)随机显示20张照片的检测效果，每张照片的水表读数被自动框出，

并带有判断概率。

与传统的人工读取方法相比，本发明具有以下优点和有益效果：

(1)由于采用深度网络结构的自动学习检测算法，所以能够很好的从数据中学习到有效的表达，提高检测的准确率。

(2)本发明采用端到端的设计，与传统人工读取相比，读取速度快，准确率更高，同时避免人工读取时的有意干扰或故意出错。

(3)本发明分类方法检测准确率高、鲁棒性强、效率高、速度快。

附图说明

图1为实施例中分类方法的流程图；

图2为实施例中数据采集和处理流程图；

图3为实施例中深度卷积神经网络结构图；

图4为实施例中水表检测流程图；

图5为实施例中检测结果示例图。

具体实施方式

下面结合实施例和附图对本发明做进一步的说明，但本发明的实施方式和保护不限于此，需指出的是，以下若有未特别详细说明之过程或符号，均是本领域技术人员可通过现有技术理解或实现的，特别是关于Faster-rcnn、卷积神经网络中的一些参数和符号，在此不再赘述。

本实施例基于Faster-rcnn的水表自动检测方法，流程框图如附图1所示，包括下列步骤：

(1)数据获取：用手机拍摄50000多张水表读书照片，涵盖多种水表。

(2)数据处理：对图片进行裁剪，使图片大小最终为480*200。在保证水表读数框完整保留的前提下，可以任意裁剪图片的区域。如图5所示。

(3)Label制作，包括如下三个步骤：

(3-1)使用标注软件，人工标定水表读数框。

(3-2)将边框的坐标以及宽高存于txt文件中，同时将水表的读数也记录

于文件中。

(3-3)将照片随机划分为训练集(约45000张)和测试集(约5000张)。

所述边框坐标为矩形框四个顶点坐标，将左上顶点坐标记录于第一个位置，其次按照顺时针将其余坐标记录在文本中，最后记录水表读数，各个坐标值和读数值之间用逗号分隔开。

(4)训练网络，包含以下步骤：

(4-1)构建卷积神经网络(各层的名称可以参照现有技术)：Input(480x200)->conv1_1(3*3)->conv1_2(3*3)->pool1->conv2_1(3*3)->conv2_2(3*3)->pool2->->conv3_1(3*3)->conv3_2(3*3)->conv3_3(3*3)->pool3->conv4_1(3*3)->conv4_2(3*3)->conv4_3(3*3)->pool4->conv5_1(3*3)->conv5_2(3*3)->conv5_3(3*3)。

在第五层卷积层(共享卷积层)后，分别接RPN网络和fast-rcnn网络：

conv5_3->conv(3*3)->conv(1*1)->rpn_loss_bbox/rpn_cls_loss

conv5_3->conv(3*3)->conv(1*1)->RoI->fc->loss_cls/loss_bbox

卷积神经网络结构如图3所示。

作为举例，采用的loss函数为(参数定义可参照现有定义)：

(4-5)对边框的坐标进行参数化：

t_x＝(x-x_a)/w_a t_y＝(y-y_a)/h_a

t_w＝log(w/w_a)t_h＝log(h/h_a)

t_x ^*＝(x^*-x_a)/w_a t_y ^*＝(y^*-y_a)/h_a

t_w ^*＝log(w^*/w_a)t_h ^*＝log(h^*/h_a)

其中，x,y,w,h代表边框的中心坐标和宽高。x,x_a,x*来自于预测框，anchor框和ground truth框，y,y_a,y*、h,h_a,h*与此相同。

(5)测试网络，包含以下步骤：

(5-2)检测完成后，程序计算平均精度、回调率。

并带有判断概率。

在图5所示的实例中，显示了将一张480*200的水表图片检测后的结果，图中已将读数自动框出，同时左上角带有判定概率0.999。

本发明的实施方式并不受上述实施例的限制，其他任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于Faster-rcnn的水表自动检测方法，其特征在于，包括以下步骤：

(3)label制作：通过人工用软件手动标定水表读数边框；

2.根据权利要求1所述的基于Faster-rcnn的水表自动检测方法，其特征在于，所述步骤(1)使用手机拍摄水表盘，使水表读数框尽量保持水平；所拍摄的水表应涵盖多种已知水表。

3.根据权利要求1所述的基于Faster-rcnn的水表自动检测方法，其特征在于，所述步骤(1)拍摄水表读书照片的张数为50000张。

4.根据权利要求1所述的基于Faster-rcnn的水表自动检测方法，其特征在于，所述步骤(2)对拍得的照片进行裁剪，裁剪后的图片大小为480*200，并使得水表读数得到完整保留。

5.根据权利要求1所述的基于Faster-rcnn的水表自动检测方法，其特征在于，所述步骤(3)包括以下步骤：

(3-1)使用标注软件，人工标定水表读数框；

于文件中；

(3-3)将照片随机划分为训练集和测试集。

6.根据权利要求1所述的基于Faster-rcnn的水表自动检测方法，其特征在于，所述步骤(4)包括以下步骤：

(4-1)构建卷积神经网络；

(4-2)Faster-rcnn训练参数设定；

(4-3)在RPN网络中，每一个3*3滑动窗位置产生9个anchor，设置anchor的大小为：128²,256²,512²，宽高比为1:1,1:2和2:1；

(4-4)对边框的坐标进行参数化；

(4-5)权值初始化：共享卷积层的权值使用Imagenet分类任务训练模型进行初始化，其余新的层采用零均值高斯分布进行初始化；

(4-6)训练卷积神经网络：采用交替训练的方法来训练RPN网络和fast-rcnn网络；首先训练RPN网络，利用它产生的proposal来训练fast-rcnn网络；在fast-rcnn网络微调后，用该网络来初始化RPN，再训练RPN，按这种方式重复迭代该训练过程。

7.根据权利要求6所述的基于Faster-rcnn的水表自动检测方法，其特征在于，步骤(4-1)构建的神经网络为：Input(480x200)->conv1_1(3*3)->conv1_2(3*3)->pool1->conv2_1(3*3)->conv2_2(3*3)->pool2->->conv3_1(3*3)->conv3_2(3*3)->conv3_3(3*3)->pool3->conv4_1(3*3)->conv4_2(3*3)->conv4_3(3*3)->pool4->conv5_1(3*3)->conv5_2(3*3)->conv5_3(3*3)；在第五层卷积层后，分别接RPN网络和fast-rcnn网络：

conv5_3->conv(3*3)->conv(1*1)->rpn_loss_bbox/rpn_cls_loss

conv5_3->conv(3*3)->conv(1*1)->RoI->fc->loss_cls/loss_bbox。

8.根据权利要求6所述的基于Faster-rcnn的水表自动检测方法，其特征在于，步骤(4-2)Faster-rcnn训练参数设定包括：迭代次数iters＝70000，学习率更新策略：step更新步长:50000，初始学习率：0.001，系数为：0.1，weight_decay：0.0005。

9.根据权利要求1所述的基于Faster-rcnn的水表自动检测方法，其特征在于，所述步骤(5)包括以下步骤：

(5-1)把测试集中的图片以及标签输入到已训练好的网路中，进行检测；

(5-2)检测完成后，计算平均精度、回调率；

并带有判断概率。